Wpis użytkownika ostrynacienkim w Hydepark
ostrynacienkimGruba ryba
8piorunówPytanko do ludzi co maja home-laby IT. Na czym sobie hostujecie lokalne LLMy? Chodzi mi o sprzet. Rozgladam sie za jakims mini pc i wychodzi mi na to ze te applowe beda naj bo maja ten trik z pamiecia i daje to rade (u kumpla sprawdzalem i bangla pieknie). Natomiast mini pc nie wezme w plecak tak jak bym wzial sojebanego macbooka pro. No i sie wacham jak wahadlo. Jak zyc jak setupowac.
Komentarze (19)
Generalnie ciężko pobić value for money Mac’ów Ultra/Mini szczególnie biorąc pod uwagę wartość rezydualną tego sprzętu - tak wydasz parę kafli ale za każdym razem odzyskasz więcej niż z jakiegoś mini PC x86.
@Donald_Tusk no sklaniam sie coraz bardziej na jakies m5 pro czy max. Pytalem o to czy ktos ma i jesli tak to na czym a nie teoretyzowanie o to czym mozna i za ile bo to wiem :stuck_out_tongue_winking_eye: (praktyka > teoria z dupy z neta). A samego maka mam w robocie no i kuzwa to jest to
@ostrynacienkim mam u siebie 5080 (16gb), 48gb ram i fedore.
Nie miałem zbyt wiele czasu się tym bawić, więc mam tylko LM studio.
Quen3.6 35B wyciąga mi jakieś 25tok/s
Gemma4 31B to max 10/s
Próbowałem też malutkie żeby dodać do autouzupelniania w VS Code, raz działa a raz nie, ogólnie średnio.
Pewnie jakbym spędził więcej czasu to inaczej bym sobie ten setup zorganizował, ale mam mało więc tylko tyle mi się udało w jeden sobotni poranek.
@ostrynacienkim - hostuj na czym Cię stać - bo wszystko poszło w górę.
Tu masz coś do poczytania: https://apatero.com/blog/running-open-source-llms-locally-hardware-guide-2026
A małe modele to też możesz nawet na Raspberry Pi 5 hostować 🤷
Running Open Source LLMs Locally: Hardware Guide 2026 | Apatero Blog - Open Source AI & Programming TutorialsComplete guide to running LLMs locally with GPU requirements, RAM needs, Ollama setup, quantization levels, and performance benchmarks for 2026.Apatero Blog - Open Source AI & Programming Tutorials@ostrynacienkim - tylko głupi by czytał więcej niż raz :stuck_out_tongue_winking_eye:
@koszotorobur jakbys przezczytal pytanie raz jeszcze 😉
@ostrynacienkim - czyli powinieneś wiedzieć, że uruchomić się da na prawie wszystkiem 😉
A jak szybko to będzie działać to już tylko zależy od zasobności Twojego portfela :stuck_out_tongue_closed_eyes:
@koszotorobur dzieki, takich teksow przerobilem ostatnio sporo
@MostlyRenegade zgaduj zgadula
@MostlyRenegade przecież widzisz, że bez polskich znaków pisze. miało byc wącham jak wahadło
@Zielczan dokaldnie tak XD @MostlyRenegade mozesz wirtuanie zakreslic i podkreslic na czerwono ;O
@MostlyRenegade na wszelki wypadek ujął obie możliwości ( ͡° ͜ʖ ͡°)
Mordko jest taki gościu co na Facebooku hostuje LLMy na embeded devices. Po pracy poszukam linka to wrzucę 🙂
@Hajt dzieki
nie hostuje