@DexterFromLab ile tych tokenów masz?
@DexterFromLab Do AGI to jeszcze droga daleka, bo to ciągle bardzo prymitywne narzędzia. Tylko wydają się być zaawansowanymi. I nie będzie drogi LLMy -> AGI. Nawet jak będą giganci bardzo chcieli. Nastęnym krokiem sa maszyny symboliczne, ale te muszą mieć inną architekturę i na razie nie ma na nie dobrego pomysłu w świecie bardzo ograniczonych jeszcze mocy obliczeniowych.
@ataxbras miałem już nie ruszać nic w swojej konfiguracji.... Ale może jeszcze coś poprawie. To wkładam pomysły do wiadra 😛 trzeba te środowiska obmyślać tak żeby działały na systemach, właśnie wykorzystując gotowe klocki. Bo jak mówiłeś szybko się zmieniają i nie ma wielkiego sensu robić idealnie dopasowany system w języku programowania. Lepiej poskładać to z klocków bo zaraz znowu będzie jakiś przełom i wtedy te architektóre szybko się przebuduje. Musi być tak zrobione zeby szybko to przebudować jak znowu wyjdzie jakieś AGI czy jakieś inne diabły xD
@DexterFromLab Tak, to potrafię. I mam kilka chodzących. Mam też kilka na jednej maszynie. Do tego dochodzą długo żyjące OAuth tokens.
Co do mojego setupu to nazwałem to Autonomous Development Framework i działa nieco mniej patchworkowo na kilku serwerach. W skład tego wchodzi architect (podobnie, na Fable), virtual devs, PR reviewer, automatyczny QA na RAGu, RAG dla globalnej pamięci, bot Discord, żeby można się było z tym spinać, bot Plane dla koordynacji. Wszystko na kilku serwkach od Hetzner. Deterministycznie to wszystko spinam, ale tak jak i Ty, pozwalam hulać poza tym.
@ataxbras prosta rzecz. Robisz sobie VM, na nim robisz docker immage z claudem. Do tego robisz komunikator zarządzany z centralnego serwera i stawiasz go na hoście. Potem priorytet kto z kim ma rozmawiać, opis ról przy starcie i pomiar. W komunikatorze kanały ogólne i bezpośrednie i reguły komunikacji. Robisz jedną wspólną pulę zadań dla kilku typów agentów ze względu na rolę i w plikach je opisunesz. Nadrzędny architekt(fable) wrzuca zadania. Jest workflow testerzy testują każdą zmianę od programistów. Fable na końcu robi rewiew każdego commita do deva. Dasz taki prompt dla fable i on ci to ustawi. Razem z virtualboxem i cała resztą. U mnie wszystko działa. Jeszcze dasboard do tego systemu dodałem i jednego agenta który jest koordynatorem całego systemu i go obserwuje i zgłasza problemy albo pomaga organizować proces. Wszystko działa w ramach workflow który nie jest wymuszony deterministyczne. Deterministyczne tylko moerge, gitea to załatwia. A i warto mieć swój serwer na infrastrukturę. Ja sobie kupiłem qnap i postawiłem tam proxmoxa więc infrastruktura też jest potrzebna, na repo czy serwer testowy. No u mnie śmiga jak złoto.
@DexterFromLab Ja już mam poustawiane i mam ludków, więc mogę się skupić na pierdołach :D
Ale swój system na razie kompletnie odłożyłem, bo środowiska LLMów zbyt szybko ewoluują. W miejsce tego mam zestaw narzędzi terminalowych i środowisko grające autonomicznie w obrębie całej firmy.
@ataxbras taaa miałem ten sam problem. Ale czasami mam awarie. Wiesz nie skupiałem się jakoś bardzo nad tym sowim systemem do pracy agenturalnej. Miałem długa przerwę od tego bo msiałem inne tematy podomykac. I tak skleiłem ten swoj system na taśme i gumę. Wszystko jest poustawiane na wirtualnych maszynach i działa. Czasem coś się wysypie to to stawiam. Nie bawiłem się w dopieszanie tego bez końca. Działa mi, do tego efektywnie.... I tyle. Nie mam czasu się bawić w jakieś niuanse. Musze zbudować coś co mi zacznie zarabiać i iść najszybszą droga do celu a nie rozpraszać się na szczegółach. Nie jest to u mnie łatwe ale staram się mieć żelazna dyscyplinę. Ostatnio stosuje zasadę że jak mam pomysł który nie prowadzi mnie w prostej linii do celu to odkładam go do wiadra z pomysłami których mam dziesiątki. A potem jak zrobię to co miałem zrobić to szukam w tym wiadrze tego co doprowadzi mnie do celu najszybciej. I to fajnej działa.
@DexterFromLab Nastukany na wszystkich kontach mam już ponad bilion (hamerykański trillion lepiej brzmi). Mam interfejsik do zliczania po OTEL, ale on łapie tylko zakończenia, a nie toole. I niedolicza. Kiedyś łapał wszystko, ale w pewnym momencie Antropic pomieszał nieco w tool hooks i nie chciało mi się poprawiać. Teraz już mi się chce :grinning:
@HmmJakiWybracNick tak to możliwe. 10 milionów tokenów to takie minimalne zużycie gdzie prowadząc słaby model za rączke tyle zrobisz. Ale wiesz, to są bieda limity. Ja miałem robicie 40 mln na miesiąc xD to mi połowa zespołu swoje kontaoddawala bo mi to starczyło na 2 dni pracy a tylko ja umiałem tam tego używać xD
@ataxbras ale ty tam masz już 259 miliardów tokenów nastukane. No ale nie dziwię się tym się nie bawisz wnpolsrodki xD tak trzeba żyć xD
@ataxbras tak, optymalizowalem zużycie. Nie policzyłem wszystkich tokoenow. Dużo robiłem na słabszych modelach bo szybciej programują. Mocniejsze modele rozdzielają zadania na słabsze i robią review ich pracy. W ten sposób idzie to szybciej. No i generuje więcej tokenów.
@DexterFromLab Statsy globalne niedoliczają :grinning: Dzięki, bo muszę je poprawić. Więc przekroczyłem już bilion na wszystkich.
@DexterFromLab a dobra, bo mi się pomylilo, tokeny nie są tym samym co kredyty xd zapytałem ai, żeby mi to przeliczył, to zużywam dziennie ok. 10-80 milionów tokenów, tylko rozliczenie jest inne xd no chyba, że mi źle przeliczył, to wtedy nie wiem
@DexterFromLab Na jednym Maxie?
@ataxbras @HmmJakiWybracNick 240 milionów tylko z dzisiejszej sesji.
@HmmJakiWybracNick U mnie stan na dziś z ostatnich kilku miesięcy - 946m. Ale nie liczy wszystkiego, niestety :grinning:
@DexterFromLab coo xd to ja dziennie max kilkadziesiat tysięcy zużyje xd zazwyczaj kilka tysięcy
@HmmJakiWybracNick milardy xD
@DexterFromLab a dobra, bo mi się pomylilo, tokeny nie są tym samym co kredyty xd zapytałem ai, żeby mi to przeliczył, to zużywam dziennie ok. 10-80 milionów tokenów, tylko rozliczenie jest inne xd no chyba, że mi źle przeliczył, to wtedy nie wiem
@DexterFromLab coo xd to ja dziennie max kilkadziesiat tysięcy zużyje xd zazwyczaj kilka tysięcy
