Wpis użytkownika Aryo w Memy

Komentarz usunięty

@mortt btw. Widzę że jest fajny edytor dla zielonych jak ja. Nazywa się LM Studio.

@Aryo generalnie powinieneś jak najwięcej pchać do vram. Natomiast w związku z tym, że mało osób ma możliwość upchnięcia całego modelu do vram to ludzie robią wersje kombinowane. Tylko, że operowanie na CPU jest znacznie wolniejsze niż GPU. Zrobienie takiej "hybrydy" wymaga też trochę wiedzy, żeby to mądrze rozegrać. Powiem tak, próbowałem kiedyś na samym CPU i na samym GPU i na cpu było o wiele, wiele gorzej mimo większej ilości ram (zależy od cpu i wszystkiego dookoła). Popróbuj, są takie rozwiązania co dzielą automatycznie.

@mortt Czekaj, ale oni alokują też zwykły RAM? Bo jak wliczać RAM+vram to mam znacznie, znacznie więcej możliwości i korekta 24 gb vram a nie 27

@Aryo no to nie jest potężna maszyna.
Ludzie mówią, że ten bez problemu bije gpt 3.5
https://huggingface.co/TheBloke/Nous-Capybara-34B-GGUF
Ale czy to odpalisz na 27? pewnie jak użyjesz kwantyzacji i paru innych sztuczek będzie się dało używać. Llama2 70b niby lepszy ale tu bez ~60gb nie podchodź. Do wielu zadań w zupełności styknie 15b, jak odpalam na 32gb vram można normalnie funkcjonować bez odczucia, że modele chodzą.

tak dla perspektywy - potężne maszyny (na warunki domowe) to mają ludzie ze ~140gb vram i dalej muszą się ograniczać w wyborze modeli.

edit jest tabelka:
Q5_K_S - 26gb ram - large, low quality loss - recommended

TheBloke/Nous-Capybara-34B-GGUF · Hugging FaceWe’re on a journey to advance and democratize artificial intelligence through open source and open science.Huggingface

@mortt a jaki jest najlepszy model w tej chwili? Z tych open source? Mam potężną maszynę z 27 gb vram więc ¯\\_(ツ)_/¯

@Aryo vicuna jest 90% gpt4 https://lmsys.org/blog/2023-03-30-vicuna/
oczywiście to nie jest rzetelne badanie ale stawiam, że jest w podobnej lidze co Grok właśnie.

edit: problem lokalnych llm nie jest ich "mądrość" tylko dostępne zasoby w lokalnym setupie przez co tnie się ich możliwości. Jak odpalisz pełny model jest dużo lepiej

Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality | LMSYS OrgWe introduce Vicuna-13B, an open-source chatbot trained by fine-tuning LLaMA on user-shared conversations collected from ShareGPT. Preliminary evaluation ...Lmsys

@mortt Ale tamte były o wiele głupsze. Grok jest czymś pomiędzy GPT 3.5 a 4