dziad_saksonskiKosmonauta
2piorunówPewnie wielu z was zna PewDiePie. Koleś sobie złożył rack AI. Zastanawiam się nad podobnym tworem.
Doszedłem do kilku rzeczy w punktach ale nadal zastanawiam się poważnie jak do tego podejść, bo prędzej czy później takie coś trzeba będzie mieć lokalnie. Trenowanie zawsze można zlecić gdzieś w chmurce, ale odpalany lokalnie model to zupełnie inna jakość.
W związku z tym mam pytanie.
Czy ktoś z was już coś takiego robi/robił/chce zrobić?
Poszperałem trochę i okazuje się, że największym bottleneckiem finansowym w tym przypadku jest CPU.
Potrzebny jest procesor z co najmniej 128 liniami picie w standardzie 5.0 i ddr5 i płyta główna z miejscami picie 5.0 na kilka kart graficznych.
Jak na razie udało mi się zmontować podstawkę (mentalnie xD) za 15000 złotych, plan jest taki by co miesiąc dorzucać do budżetu i dokupować np.: kartę graficzną.
Sumarycznie wyszłoby pewnie 8 kart , 3 dyski nvme jakiś zasilacz na 3000 W i obudowa monster. Czyli no z 25000 złotych jak nic.
Marzy mi się swój własny Jarvis na chacie z kamerami w kuchni, pralce czy w piwnicy, który będzie mógł być podpięty że mną przez np.: telefon.
> bo prędzej czy później takie coś trzeba będzie mieć lokalnie
@dziad_saksonski Jeśli do tego dojdziemy to będą dedykowane chipy AI a nie jakieś potwory zużywające kWh.
@odyshon Myślisz, że TPU czy NPU robią dużo bardziej skomplikowana robotę od CPU czy GPU? To i tak zasada lojalności musi być tam coś warta, i zależy, czy model ma być trenowany na tym chipie czy używany. FPGA już prędzej zaczną wypuszczać xD
@dziad_saksonski Dzisiaj nie, w przyszłości tak jak napisałem. Zdecydowana większość ludzi nie potrzebuje modeli on premises. Jak na tym zarabiasz to jest inna rozmowa i wtedy traktujesz to jako koszt.

