Hejto.pl
Dodaj post

Wpisz coś do wyszukania (minimum 2 znaki)

Wpis użytkownika dziad_saksonski w Machine learning

Kosmonauta

w Machine learning

2piorunów

Pewnie wielu z was zna PewDiePie. Koleś sobie złożył rack AI. Zastanawiam się nad podobnym tworem.

Doszedłem do kilku rzeczy w punktach ale nadal zastanawiam się poważnie jak do tego podejść, bo prędzej czy później takie coś trzeba będzie mieć lokalnie. Trenowanie zawsze można zlecić gdzieś w chmurce, ale odpalany lokalnie model to zupełnie inna jakość.

W związku z tym mam pytanie.

Czy ktoś z was już coś takiego robi/robił/chce zrobić?

Poszperałem trochę i okazuje się, że największym bottleneckiem finansowym w tym przypadku jest CPU.

Potrzebny jest procesor z co najmniej 128 liniami picie w standardzie 5.0 i ddr5 i płyta główna z miejscami picie 5.0 na kilka kart graficznych.

Jak na razie udało mi się zmontować podstawkę (mentalnie xD) za 15000 złotych, plan jest taki by co miesiąc dorzucać do budżetu i dokupować np.: kartę graficzną.

Sumarycznie wyszłoby pewnie 8 kart , 3 dyski nvme jakiś zasilacz na 3000 W i obudowa monster. Czyli no z 25000 złotych jak nic.

Marzy mi się swój własny Jarvis na chacie z kamerami w kuchni, pralce czy w piwnicy, który będzie mógł być podpięty że mną przez np.: telefon.

Komentarze (3)

Sum0piorunów
bo prędzej czy później takie coś trzeba będzie mieć lokalnie

@dziad_saksonski Jeśli do tego dojdziemy to będą dedykowane chipy AI a nie jakieś potwory zużywające kWh.

Sum0piorunów

@dziad_saksonski Dzisiaj nie, w przyszłości tak jak napisałem. Zdecydowana większość ludzi nie potrzebuje modeli on premises. Jak na tym zarabiasz to jest inna rozmowa i wtedy traktujesz to jako koszt.

Kosmonauta0piorunów

@odyshon Myślisz, że TPU czy NPU robią dużo bardziej skomplikowana robotę od CPU czy GPU? To i tak zasada lojalności musi być tam coś warta, i zależy, czy model ma być trenowany na tym chipie czy używany. FPGA już prędzej zaczną wypuszczać xD