To ni cholery nie może być 120B. Nawet modele 7B gadają sensowniej.
@szatkus-7 Z tego co kojarzę to obliczenia mogą iść inną ścieżką jeśli np nie korzysta z CUDA. Pamiętam że musiałem modyfikować wywołanie pod to w Ollama właśnie. Aż tak nie zagłębiałem się wtedy w temat.
@Czokowoko że mniejsza moc obliczeniowa pogarsza jakość odpowiedzi? Jak to działa?
@szatkus-7 Mi to przypomina odpowiedzi AI jak postawiłem któregoś DeepSeeka ale zapomniałem w dockerze dać dostęp do GPU XD
@Czokowoko że mniejsza moc obliczeniowa pogarsza jakość odpowiedzi? Jak to działa?