DisTrO - potencjalna rewolucja w uczeniu modeli AI.

NrmvYOsobistość

w e/acc w zeszłym roku

Metoda DisTrO może być rewolucyjna, ponieważ umożliwia dużo łatwiejsze trenowanie wielkich modeli AI, takich jak GPT-4, które obecnie wymagają dziesiątek tysięcy GPU oraz synchronizacji zawartości ich pamięci pomiędzy wszystkimi kartami. Tradycyjnie wymaga to przepustowości setek i więcej GB/s, co jest osiągalne jedynie w najpotężniejszych centrach danych.
DisTrO obniża te wymagania przepustowości od 1000 do 10000 razy, co oznacza, że synchronizacja stanu może odbywać się przy użyciu zwykłych połączeń internetowych. To otwiera możliwość trenowania dużych modeli AI nie tylko w centrach danych najbogatszych korporacji, potencjalnie umożliwiając otwarte i rozproszone trenowanie modeli AI na zasadzie projektów takich jak Folding@Home czy BOINC.

https://github.com/NousResearch/DisTrO/tree/main

Komentarze (4)

mordaJakZiemniaczekGruba rybaw zeszłym roku0

Czy dobrze rozumiem, ta metoda nie zmniejsza w żaden sposób zapotrzebowanie na moc obliczeniową konieczną do wytrenowania LLMa, a jedynie obcina narzut na komunikację między wykorzystywanymi GPU? Czyli wciąż trzeba będzie zużyć chore ilości prądu, tyle że zajmie to sto lat, bo będzie się to odbywało na oddalonych w nocy kompach losowych internautów?

ajakamrZawodowiecw zeszłym roku11

Bitch please. Nie ma kodu. Nie ma opisu metody. Poki co ten 'artykul' to śmieć.

NrmvYOsobistośćw zeszłym roku2

@ajakamr zobaczymy jak będzie. Może vaporware a może faktycznie opublikują tak jak zapowiadają. Ja tam trzymam kciuki bo potrzeba nam każdego ulepszenia które zabierze trochę przewagi wielkim korpo.

NiebieskiSzpadelNihilizmuLiderw zeszłym roku11

Mhm, wyczuwam znowu się zacznie web scraping na szeroką skalę. Jeszcze niech to zepną jakimś JSowym gównem ze stronami jak to już raz robili z kopaniem shitcoinów i będzie zabawnie.