b0lecOsobistość

@Keyra To teraz już wiesz, kto na hejto jest gejem xD

@b0lec jestem kobitą xd haha, ale dzięki

a i jeszcze nie na stawiać się jakoś bardzo, jak nie ta to inna

@Glonojad Jeśli nie jesteś power userem, tylko chcesz wypróbować możliwości różnych model, to nie zaczynaj od zakupu karty. Zacznij od wykupu jakichś symbolicznych kwot na Openrouter albo na nano-gpt.com

Ceny odpowiedzi to jakieś $0.5 za milion tokenów dla modeli ze średniej półki. Haczyk w tym że płacisz też za tokeny wejściowe, więc im dłuższa konwersacja tym większe koszty, a kiedy dochodzi analiza dokumentów to zaczyna być już odczuwalne.

Niemniej jeśli używasz ich sporadycznie, to wpłać z $5 i używaj miesiącami, to nie jest abonament, to zwykły prepaid i doładowana kwota nie wygasa.

Jeśli chcesz kupować kartę, to 16GB to absolutne minimum - a i tak zmieścisz w najlepszym razie najmniejsze, najgłupsze modele (dla LMstudio które ma opcje backendu LLama Vulkan, marka karty nie ma znaczenia - każda współczesna karta zadziała dobrze.)

Jeśli chcesz używać silnika Strata i mocnego modelu, to potrzebujesz 16GB kartę z obsługą obecnego rocm albo cuda i 64GB RAM. RX 6800, albo 4060ti 16GB to byłyby dobre rozwiązania. Od strony RAM, DDR4 to rozsądne minimum, ale DDR5 jest mocno zalecane. Jeśli budujesz kompa od zera, możesz poszukać używanej platformy intela z Core i7 7800x - ten procek ma 4 kanałowy kontroler pamięci, więc masz cenę DDR4 z wydajnością DDR5 z dolnej półki. Pamięć tak czy siak będzie niestety kosztować krocie.

@Amebcio super dziękuję bardzo. a gdybyś Ty miał wybierać dzisiaj jakąś kartę to na co byś się zdecydował?

@Glonojad Ale ogólnie czy dla tego konkretnego silnika?

Jeśli mówimy o Strata, to możesz używać AMD pod warunkiem że karta obsługuje najnowszą wersję rocm. (W ptaktyce seria 6000 i nowsze) ludzie odpalają to na starszych kartach ale wyniki nie są wybitne.

Jeśli mówisz ogólnie to LmStudio jest z obsługą API Vulkan, praktycznie wszystkie GPU z tym działają dobrze, nawet starożytne np. Radeon VII.

Nvidia jest szybsza ale nie drastycznie. W inferencji liczy się przede wszystkim przepuatowość pamięci.

Natomiast jakbyś chciał trenować to tylko na Nvidii

@Amebcio jak wygląda dostępność modeli na Radeona? Podobno nvidia lepiej sobie radzi, przyznam że zastanawiałem się nad używaną rtx 3090 ale bądź co bądź to już raczej stara karta

@b0lec dokładnie tak. Krata ma 24GB, ale 16 też by stykło

@b0lec mam 850 z tdi na pokladzie. Benzyna zawsze mnie bardziej jara

Komentarz usunięty