Hejto.pl
Dodaj post

Wpisz coś do wyszukania (minimum 2 znaki)

#ejaj

Gruba ryba

w Hydepark

8

Pytanko do ludzi co maja home-laby IT. Na czym sobie hostujecie lokalne LLMy? Chodzi mi o sprzet. Rozgladam sie za jakims mini pc i wychodzi mi na to ze te applowe beda naj bo maja ten trik z pamiecia i daje to rade (u kumpla sprawdzalem i bangla pieknie). Natomiast mini pc nie wezme w plecak tak jak bym wzial sojebanego macbooka pro. No i sie wacham jak wahadlo. Jak zyc jak setupowac.

Fanatyk2
Fanatyk0

@ostrynacienkim - czyli powinieneś wiedzieć, że uruchomić się da na prawie wszystkiem 😉

A jak szybko to będzie działać to już tylko zależy od zasobności Twojego portfela :stuck_out_tongue_closed_eyes:

Fanatyk0

@ostrynacienkim - tylko głupi by czytał więcej niż raz :stuck_out_tongue_winking_eye:

Fanatyk3

@ostrynacienkim mam u siebie 5080 (16gb), 48gb ram i fedore.

Nie miałem zbyt wiele czasu się tym bawić, więc mam tylko LM studio.

Quen3.6 35B wyciąga mi jakieś 25tok/s

Gemma4 31B to max 10/s

Próbowałem też malutkie żeby dodać do autouzupelniania w VS Code, raz działa a raz nie, ogólnie średnio.

Pewnie jakbym spędził więcej czasu to inaczej bym sobie ten setup zorganizował, ale mam mało więc tylko tyle mi się udało w jeden sobotni poranek.

Gruba ryba1

@rith @rith mam podobnie 16 gb ramu na karcie i tam pcham model(e). Tylko ja to taktuje jako zabawe bardziej i nie mysle zeby zastapic frontier modele loklnymi. Alw chcialbym miec cos rzedu 80-100 tokenow /s

Pokaż więcej komentarzy (19)

GURU

w Hydepark

15

A, aż wrzucę jako osobny wpis :grinning:

Miałem ostatnio niezłą jazdę z Gemini.

* Pytam się go o wypowiedź polityka z lutego 2026.

* Ten mi coś wypluwa.

* Pytam się czy polityk sprostował tę wypowiedź?

* Ten mi, że tak i rzuca cytat.

* Proszę o linka.

* Ten mi daje link do wypowiedzi z 2023, zupełnie innej niż ta co cytował i o którą pytam.

* Piszę debilowi, że to zupełnie coś innego niż prosiłem...

A ten do mnie, że mnie bardzo przeprasza, że po prostu zrobił sobie takie ćwiczenie i wyobraził sobie, że jest 2026 i co mógłby powiedzieć ten polityk, ale tak naprawdę jest przecież dzisiaj 2023 i ten polityk nie pełni tej funkcji, przy której miałby coś takiego powiedzieć i to prostować...

O JPRDL... To nie halucynacje, to psychoza...

GURU4

@sireplama bezużyteczny badziew

Wirtuoz4

@radziol Almost Intelligence :rolling_on_the_floor_laughing:

Fenomen3

wziąłem teraz gemini ai pro, na próbę, darmowy miesiąc. k⁎⁎wa. to jest dalej tak głupie jak było, ale przynajmniej mam dostęp do lepszego generatora zdjęć. 100 pln za miesiąc. jakbym pił, to bym wolał to przepić.

Pokaż więcej komentarzy (5)