Wpis użytkownika DexterFromLab w Hydepark

@DexterFromLab Do AGI to jeszcze droga daleka, bo to ciągle bardzo prymitywne narzędzia. Tylko wydają się być zaawansowanymi. I nie będzie drogi LLMy -> AGI. Nawet jak będą giganci bardzo chcieli. Nastęnym krokiem sa maszyny symboliczne, ale te muszą mieć inną architekturę i na razie nie ma na nie dobrego pomysłu w świecie bardzo ograniczonych jeszcze mocy obliczeniowych.

@ataxbras miałem już nie ruszać nic w swojej konfiguracji.... Ale może jeszcze coś poprawie. To wkładam pomysły do wiadra 😛 trzeba te środowiska obmyślać tak żeby działały na systemach, właśnie wykorzystując gotowe klocki. Bo jak mówiłeś szybko się zmieniają i nie ma wielkiego sensu robić idealnie dopasowany system w języku programowania. Lepiej poskładać to z klocków bo zaraz znowu będzie jakiś przełom i wtedy te architektóre szybko się przebuduje. Musi być tak zrobione zeby szybko to przebudować jak znowu wyjdzie jakieś AGI czy jakieś inne diabły xD

@DexterFromLab Tak, to potrafię. I mam kilka chodzących. Mam też kilka na jednej maszynie. Do tego dochodzą długo żyjące OAuth tokens.
Co do mojego setupu to nazwałem to Autonomous Development Framework i działa nieco mniej patchworkowo na kilku serwerach. W skład tego wchodzi architect (podobnie, na Fable), virtual devs, PR reviewer, automatyczny QA na RAGu, RAG dla globalnej pamięci, bot Discord, żeby można się było z tym spinać, bot Plane dla koordynacji. Wszystko na kilku serwkach od Hetzner. Deterministycznie to wszystko spinam, ale tak jak i Ty, pozwalam hulać poza tym.

@ataxbras prosta rzecz. Robisz sobie VM, na nim robisz docker immage z claudem. Do tego robisz komunikator zarządzany z centralnego serwera i stawiasz go na hoście. Potem priorytet kto z kim ma rozmawiać, opis ról przy starcie i pomiar. W komunikatorze kanały ogólne i bezpośrednie i reguły komunikacji. Robisz jedną wspólną pulę zadań dla kilku typów agentów ze względu na rolę i w plikach je opisunesz. Nadrzędny architekt(fable) wrzuca zadania. Jest workflow testerzy testują każdą zmianę od programistów. Fable na końcu robi rewiew każdego commita do deva. Dasz taki prompt dla fable i on ci to ustawi. Razem z virtualboxem i cała resztą. U mnie wszystko działa. Jeszcze dasboard do tego systemu dodałem i jednego agenta który jest koordynatorem całego systemu i go obserwuje i zgłasza problemy albo pomaga organizować proces. Wszystko działa w ramach workflow który nie jest wymuszony deterministyczne. Deterministyczne tylko moerge, gitea to załatwia. A i warto mieć swój serwer na infrastrukturę. Ja sobie kupiłem qnap i postawiłem tam proxmoxa więc infrastruktura też jest potrzebna, na repo czy serwer testowy. No u mnie śmiga jak złoto.

@DexterFromLab Ja już mam poustawiane i mam ludków, więc mogę się skupić na pierdołach :D
Ale swój system na razie kompletnie odłożyłem, bo środowiska LLMów zbyt szybko ewoluują. W miejsce tego mam zestaw narzędzi terminalowych i środowisko grające autonomicznie w obrębie całej firmy.

@ataxbras taaa miałem ten sam problem. Ale czasami mam awarie. Wiesz nie skupiałem się jakoś bardzo nad tym sowim systemem do pracy agenturalnej. Miałem długa przerwę od tego bo msiałem inne tematy podomykac. I tak skleiłem ten swoj system na taśme i gumę. Wszystko jest poustawiane na wirtualnych maszynach i działa. Czasem coś się wysypie to to stawiam. Nie bawiłem się w dopieszanie tego bez końca. Działa mi, do tego efektywnie.... I tyle. Nie mam czasu się bawić w jakieś niuanse. Musze zbudować coś co mi zacznie zarabiać i iść najszybszą droga do celu a nie rozpraszać się na szczegółach. Nie jest to u mnie łatwe ale staram się mieć żelazna dyscyplinę. Ostatnio stosuje zasadę że jak mam pomysł który nie prowadzi mnie w prostej linii do celu to odkładam go do wiadra z pomysłami których mam dziesiątki. A potem jak zrobię to co miałem zrobić to szukam w tym wiadrze tego co doprowadzi mnie do celu najszybciej. I to fajnej działa.

@DexterFromLab Nastukany na wszystkich kontach mam już ponad bilion (hamerykański trillion lepiej brzmi). Mam interfejsik do zliczania po OTEL, ale on łapie tylko zakończenia, a nie toole. I niedolicza. Kiedyś łapał wszystko, ale w pewnym momencie Antropic pomieszał nieco w tool hooks i nie chciało mi się poprawiać. Teraz już mi się chce :grinning:

@HmmJakiWybracNick tak to możliwe. 10 milionów tokenów to takie minimalne zużycie gdzie prowadząc słaby model za rączke tyle zrobisz. Ale wiesz, to są bieda limity. Ja miałem robicie 40 mln na miesiąc xD to mi połowa zespołu swoje kontaoddawala bo mi to starczyło na 2 dni pracy a tylko ja umiałem tam tego używać xD

@ataxbras ale ty tam masz już 259 miliardów tokenów nastukane. No ale nie dziwię się tym się nie bawisz wnpolsrodki xD tak trzeba żyć xD

@ataxbras tak, optymalizowalem zużycie. Nie policzyłem wszystkich tokoenow. Dużo robiłem na słabszych modelach bo szybciej programują. Mocniejsze modele rozdzielają zadania na słabsze i robią review ich pracy. W ten sposób idzie to szybciej. No i generuje więcej tokenów.

@DexterFromLab Statsy globalne niedoliczają :grinning: Dzięki, bo muszę je poprawić. Więc przekroczyłem już bilion na wszystkich.

@DexterFromLab a dobra, bo mi się pomylilo, tokeny nie są tym samym co kredyty xd zapytałem ai, żeby mi to przeliczył, to zużywam dziennie ok. 10-80 milionów tokenów, tylko rozliczenie jest inne xd no chyba, że mi źle przeliczył, to wtedy nie wiem

@DexterFromLab Na jednym Maxie?

@ataxbras @HmmJakiWybracNick 240 milionów tylko z dzisiejszej sesji.

@HmmJakiWybracNick U mnie stan na dziś z ostatnich kilku miesięcy - 946m. Ale nie liczy wszystkiego, niestety :grinning:

@DexterFromLab coo xd to ja dziennie max kilkadziesiat tysięcy zużyje xd zazwyczaj kilka tysięcy

@HmmJakiWybracNick milardy xD

@ataxbras To są wyjątki, Ci o których piszesz. Wiem że są tacy ludzie, ale jednocześnie wiem też że jest ich na tyle mało, że nie ma co liczyć na to że akurat spotkałeś jednego z nich :grinning:

@Taxidriver Ja sam wysłałem kilku doświadczonych dewów na zieloną trawkę, bo nie potrafili się przestawić na tryb pracy z AI. Jednocześnie, jeśli ktoś ma poukładane w głowie i panuje nad tworzeniem logiki systemu, to może to robić nie będąc programistą. Doświadczenie programistyczne owocuje w pewnych sytuacjach, bo czym innym jest trzepanie apek, do których nic właściwie o kodzie nie musisz wiedzieć, czym innym zaś będzie dla przykładu system do energetyki, gdzie ten kod musi spełniać określone wymagania.

@Taxidriver Często tak jest że komuś się coś uda. Czasami tak jest. I szczerze powiem nie ma co się ekscytować takimi przypadkami. Dlaczego tak uważam? Bo widziałem to od środka.

@DexterFromLab przyjaciel wskoczył w AI rok temu. Za miesiąc zjeżdża do Warszawki be kontrakcie €65k/rok.
Zero pojęcia o IT.

@Taxidriver Daruj sobie te branżę, najlepsze teraz są takie co się pracuje rękami. Automatyka, Elektryka -> coś takiego. Jak do tej pory nie wskoczyłeś do pociągu to już nie wskoczysz. No chyba że jesteś jakimś geniszuem :grinning: o czym nic nie wiemy :smiley: Ja mam plan C, automatyka przemysłowa...

@Taxidriver Firma. Co do progu wejścia - nie mam pojęcia, robię w tym od 30 lat (IT), a od 10 w AI (choć zaczynałem w systemach eksperckich ~25 lat temu, ale proste sieci neuronowe to nie to samo, co LLMy i maszyny Bolzmanna).

@ataxbras firma czy freelancer? Wysoki próg wejścia do branży?

@Taxidriver AI development. Autonomiczny (prawie). Takie tam różne produkty w różnych dziedzinach.

@DexterFromLab @ataxbras co Wy robicie zawodowo?

@DexterFromLab Czasami mi się zdarza - uroki Fable. Ale na szczęście mam kilka.

@ataxbras Zakładam że ty zerujesz pakiet pierwszego dnia? :grinning:

@LondoMollari generalnie są 2 podejściambwnpelni automatyczne i pół automatyczne. Pół automatyczne daje mozjwlosc pracy nad jednym tematem. Idzie szybciej, wtedy obserwuje agentów, podpowiadamy im jak się mierzą z problemami. Wiem że mógłbym puścić fullnautomat ale nie mam tyle środków, musiał bym wykupić więcej różnych dostawców żeby pokryć braki w rozumowaniu agentów. Niestety stać mnie w tym momencie na pracę semi automatyczna która jest też tańsza no ale trzeba prowadzić zespół do celu. Full automat to bym tylko ustalał cele dziennie. Ja nie ustawiłem jeszcze nigdy full automatu ale jak bym miał hajs to bym to zrobił.

@LondoMollari Lecę z wieloma. Mój rekord to 16 na raz. Zazwyczaj są to odrębne projekty, więc odrębne konteksty. Jeśli jeden projekt, to robię kilka worktrees i też idzie równolegle.
Jakoś się nie gubię.

@ataxbras A lecisz z jednym, spójnym tematem, czy z wieloma? Bo niestety charakterystyka pracy z Claudem spowodowała, że robię mnóstwo rzeczy równolegle, i co chwilę zmieniam kontekst.

@LondoMollari Ja dalej miewam to coś, co nazywasz "flow". Szczególnie, gdy ktoś się do mnie zwraca z nowym problemem. I nie przeszkadza mi pośrednictwo Claude'a, może dlatego, że mam go poustawianego, żeby się słuchał i żeby odpowiednio składał czynności z braniem pod uwagę mojego udziału, jeśli to konieczne.
Znam to uczucie zaangażowanie, teraz zmieniło mi jedynie formę.

@DexterFromLab @ataxbras Jedno co obserwuję u siebie, to to, że nie zdarza mi się już nigdy stan "flow". Przed Claudem, miewałem (rzadko, ale miewałem) tak, że zabierałem się do jakiegoś projektu, potrafiłem przez 16 godzin siedzieć przy kompie, i zrobić naprawdę dużo. Raz pamiętam (jestem z tego nadal dumny) robiłem jakiś customowe narzędzie pythonowe z zeroMQ i koordynacją kilku usług po sieci. Siadłem na jakieś 6h, zacząłem w moim ulubionym Vimie, nie zdejmując rąk z klawiatury, klepać, klepać, klepać, skończyłem, odpaliłem... i zadziałało perfekcyjnie od pierwszego uruchomienia. Żadnych poprawek, crashy, i błędów - ogarnęło sieciową koordynację wielu procesów. Potem jakieś testy i drobne tweaki, ale brak bugów. Sam byłem wręcz zszokowany jak to odpaliłem.

W każdym razie - do czego zmierzam - od czasu Claude'a nie ma szans na taki stan. Jedynie pingi, szybkie przełączanie między sesjami, skanowanie outputu, pobieżne zerknięcie na jakiś dokument, który wyprodukował, i tak w pętli. 4-5 godzin czegoś takiego powoduje u mnie otumanienie.

@ataxbras @DexterFromLab Aktualnie się przerzuciłem z korpa do startupu, i jako człowiek-orkiestra robię architekturę, infra, security i nawet teraz trochę robię za prawnika przy audycie.

Z kodem tak bardzo się nie obawiam, bo naprawdę głupie rzeczy wyjdą w testach, ale przy dokumentacji (szczególnie pod audyt), albo terraformie, staram się trzymać Claude'a na krótkiej smyczy, bo jedna halucynacja może zrobić duuuże szkody. Dlatego zerkam w kod.

@ataxbras @LondoMollari Ja tam nigdy nie lubiłem grzebania nisko w kodzie. Generalnie mój background to elektronika i jakoś na wysokim poziomie abstrakcji pracuje mi sie najlepiej. Od kiedy weszły LLMY to wybawiły mnie od rzeczy których nie lubiłem robić ale były moją drogą do celu, którą musiałem przejść. Teraz świat jest piękniejszy...

@LondoMollari To są dwie odrębne kwestie - architektura i kod. Musisz być skupiony na pierwszym, drugie możesz zostawić multiagentowym QA. To znacząco poprawia pracę. A co do pamiętania architektury - nie mam z tym problemu, ale to może dlatego, żem aspie.

@ataxbras Też tego na początku nie robiłem, nieraz nawet nie dotykałem klawiatury - tylko do Claude'a mówiłem - ale długotrwałe oderwanie od kodu powoduje lekką "mgłę mózgową", która potem czyni nawet zrozumienie tego co LLM wypluł trudniejszym. No i Claude lubi czasem coś pościemniać - dobrze być na tyle na czasie z kodem i architekturą, aby gnoja na tym łapać.

@LondoMollari To podobnie, jak ja. Z wyjątkiem ostatniego - zmusiłem się nie grzebać w tym, co robię ręcznie. I zmuszam moich devów do tego samego. Bo to tylko wprowadza opór, a per saldo nic nie daje na końcu.

@ataxbras Też rzeźbię w Claudzie, i też z Fablem przepalam tokeny, ale zawsze mam jakiś backlog roboty projektowej, planowanie softu, planowanie dokumentacji, przygotowanie notatek. Czasem też po prostu sobie poanalizuję jakiś temat ręcznie, aby w ogóle nie zapomnieć jak się programuje.

@LondoMollari Można też jeździć konno po mieście, ale zrobiło się to nieco staroświeckie i niewydajne.

@LondoMollari nie można xD

@roadie praca praca...