Hejto.pl
Dodaj post

Wpisz coś do wyszukania (minimum 2 znaki)

Machine learning

Kategoria: Technologia

Społeczność dla osób zajmujących się machine learningiem

  • 112 członków
  • 8 wpisów

Kosmonauta

w Machine learning

2piorunów

Pewnie wielu z was zna PewDiePie. Koleś sobie złożył rack AI. Zastanawiam się nad podobnym tworem.

Doszedłem do kilku rzeczy w punktach ale nadal zastanawiam się poważnie jak do tego podejść, bo prędzej czy później takie coś trzeba będzie mieć lokalnie. Trenowanie zawsze można zlecić gdzieś w chmurce, ale odpalany lokalnie model to zupełnie inna jakość.

W związku z tym mam pytanie.

Czy ktoś z was już coś takiego robi/robił/chce zrobić?

Poszperałem trochę i okazuje się, że największym bottleneckiem finansowym w tym przypadku jest CPU.

Potrzebny jest procesor z co najmniej 128 liniami picie w standardzie 5.0 i ddr5 i płyta główna z miejscami picie 5.0 na kilka kart graficznych.

Jak na razie udało mi się zmontować podstawkę (mentalnie xD) za 15000 złotych, plan jest taki by co miesiąc dorzucać do budżetu i dokupować np.: kartę graficzną.

Sumarycznie wyszłoby pewnie 8 kart , 3 dyski nvme jakiś zasilacz na 3000 W i obudowa monster. Czyli no z 25000 złotych jak nic.

Marzy mi się swój własny Jarvis na chacie z kamerami w kuchni, pralce czy w piwnicy, który będzie mógł być podpięty że mną przez np.: telefon.

#kartygraficzne

Sum0piorunów

> bo prędzej czy później takie coś trzeba będzie mieć lokalnie

@dziad_saksonski Jeśli do tego dojdziemy to będą dedykowane chipy AI a nie jakieś potwory zużywające kWh.

Kosmonauta0piorunów

@odyshon Myślisz, że TPU czy NPU robią dużo bardziej skomplikowana robotę od CPU czy GPU? To i tak zasada lojalności musi być tam coś warta, i zależy, czy model ma być trenowany na tym chipie czy używany. FPGA już prędzej zaczną wypuszczać xD

Sum0piorunów

@dziad_saksonski Dzisiaj nie, w przyszłości tak jak napisałem. Zdecydowana większość ludzi nie potrzebuje modeli on premises. Jak na tym zarabiasz to jest inna rozmowa i wtedy traktujesz to jako koszt.

Pokaż więcej komentarzy (3)

Wirtuoz

w Machine learning

0piorunów

Słuchajcie chce sobie wytrenować model im2txt do serwisu ogłoszeniowego by odrazy dawał fajna nazwę co widzi na zdjęciu. Myślicie że złożenie kompa do tego będzie dobrym pomysłem?

Sum1piorunów

@rayros ale jeśli chcesz robić fine-tuning to raczej blip 1, bo jest mniej wymagający pod względem pamięci. Pytanie ile vram do fine-tuningu potrzeba. Pewnie setek GB.

Wirtuoz1piorunów

@DOgi dzięki za cenna pomoc

Pokaż więcej komentarzy (3)

Twórca

w Machine learning

4piorunów

Muszę sobie wreszcie sprawić sensowny komputer. Do tej pory korzystałem z mocy obliczeniowej zapewnianej przez uczelnie lub firmę w której pracy. I zasadniczo do nadal będę z niej korzystał w celu treningu sieci.

Jednak brakuje mi sprzętu do debugowania kodu, prototypowania rozwiązań oraz nauki nowych frameworków. Oczywiście można korzystać z rozwiązań chmurowych typu Google Cloud, Colab i tak dalej, jednak mnie zależy na szybkiej możliwości przetestowania jakiegoś rozwiązania.

Chcę odpalić szybko jakiś framework i po minucie mieć odpowiedź, czy wszystko działa sprawnie. Bez wysyłania datasetu na serwery zewnętrzne i instalowania tam całego badziewia. Po prostu, zobaczyć na własnym IDE, czy dany kod ma sens.

Planuje zakup maszyny z RTX 3070 od Gigabyte, Razenem 7 7700X oraz płytą główną TUF GAMING B650M-PLUS WIFI. Płytę w tym zestawie pewnie zmienię na coś mocniejszego. Całość planuje zamknąć w około 11 tyś PLN.

Miałem ten zakup odroczyć do lutego/marca ale po dzisiejszej sesji z męczeniem się nad terminalem, chyba kupie już po najbliższej wypłacie.

Twórca1piorunów

@zero Zapewne. Zakup PC do ML to mimo wszystko popularny problem.

Twórca2piorunów

@warzone Dzięki za wpis, choć nie mam do końca zaufania do używanych kart. Planuję kupić nówkę.

Pokaż więcej komentarzy (7)

Praktykant

w Machine learning

15piorunów

Best-of Machine Learning with Python - lista najpopularniejszych repozytoriów aktualizowana co tydzień. Przejrzałem zawartość i śmiało mogę polecić jako jedną z lepiej zorganizowanych list typu "awesome". Na + zasługuje duża przejrzystość, ogrom kategorii i posortowanie narzędzi po liczbie gwiazdek na GitHubie/ich jakości.

https://github.com/ml-tooling/best-of-ml-python

Polecam też sprawdzić resztę list "best of" od powyższych autorów (link znajdziecie w repo)