Hejto.pl
Dodaj post

Wpisz coś do wyszukania (minimum 2 znaki)

Wpis użytkownika ostrynacienkim w Hydepark

Gruba ryba

w Hydepark

8piorunów

Pytanko do ludzi co maja home-laby IT. Na czym sobie hostujecie lokalne LLMy? Chodzi mi o sprzet. Rozgladam sie za jakims mini pc i wychodzi mi na to ze te applowe beda naj bo maja ten trik z pamiecia i daje to rade (u kumpla sprawdzalem i bangla pieknie). Natomiast mini pc nie wezme w plecak tak jak bym wzial sojebanego macbooka pro. No i sie wacham jak wahadlo. Jak zyc jak setupowac.

Komentarze (19)

Mocarz2piorunów

Generalnie ciężko pobić value for money Mac’ów Ultra/Mini szczególnie biorąc pod uwagę wartość rezydualną tego sprzętu - tak wydasz parę kafli ale za każdym razem odzyskasz więcej niż z jakiegoś mini PC x86.

Gruba ryba0piorunów

@Donald_Tusk no sklaniam sie coraz bardziej na jakies m5 pro czy max. Pytalem o to czy ktos ma i jesli tak to na czym a nie teoretyzowanie o to czym mozna i za ile bo to wiem :stuck_out_tongue_winking_eye: (praktyka > teoria z dupy z neta). A samego maka mam w robocie no i kuzwa to jest to

Fanatyk3piorunów

@ostrynacienkim mam u siebie 5080 (16gb), 48gb ram i fedore.

Nie miałem zbyt wiele czasu się tym bawić, więc mam tylko LM studio.

Quen3.6 35B wyciąga mi jakieś 25tok/s

Gemma4 31B to max 10/s

Próbowałem też malutkie żeby dodać do autouzupelniania w VS Code, raz działa a raz nie, ogólnie średnio.

Pewnie jakbym spędził więcej czasu to inaczej bym sobie ten setup zorganizował, ale mam mało więc tylko tyle mi się udało w jeden sobotni poranek.

Gruba ryba1piorunów

@rith @rith mam podobnie 16 gb ramu na karcie i tam pcham model(e). Tylko ja to taktuje jako zabawe bardziej i nie mysle zeby zastapic frontier modele loklnymi. Alw chcialbym miec cos rzedu 80-100 tokenow /s

Fanatyk2piorunów

@ostrynacienkim - hostuj na czym Cię stać - bo wszystko poszło w górę.

Tu masz coś do poczytania: https://apatero.com/blog/running-open-source-llms-locally-hardware-guide-2026

A małe modele to też możesz nawet na Raspberry Pi 5 hostować 🤷

Running Open Source LLMs Locally: Hardware Guide 2026 | Apatero Blog - Open Source AI & Programming TutorialsComplete guide to running LLMs locally with GPU requirements, RAM needs, Ollama setup, quantization levels, and performance benchmarks for 2026.Apatero Blog - Open Source AI & Programming Tutorials
Fanatyk0piorunów

@ostrynacienkim - tylko głupi by czytał więcej niż raz :stuck_out_tongue_winking_eye:

Fanatyk0piorunów

@ostrynacienkim - czyli powinieneś wiedzieć, że uruchomić się da na prawie wszystkiem 😉

A jak szybko to będzie działać to już tylko zależy od zasobności Twojego portfela :stuck_out_tongue_closed_eyes:

Fanatyk14piorunów

@ostrynacienkim

wacham jak wahadlo

matkojedyna....

Gruba ryba2piorunów

@MostlyRenegade przecież widzisz, że bez polskich znaków pisze. miało byc wącham jak wahadło

Fanatyk18piorunów

@MostlyRenegade na wszelki wypadek ujął obie możliwości ( ͡° ͜ʖ ͡°)

Fenomen2piorunów

nie hostuje