Komputer do 40 000 zł, do LLM-ów

[Komputer do 40 000 zł, do LLM-ów]

tu masz ziomka który miał podobny dylemat do twojego:

https://www.reddit.com/r/LocalLLaMA/comments/178gkr0/performance_report_inference_with_two_rtx_4060_ti/

i zdecydował się na maszynę z dwoma rtx4060ti 16gb, w twoim przypadku można by pokusić się o stację która ma co najmniej 2 gniazda pci-e 4.0, to ważne bo rtx4060 ma sprzętowo wejście pci-e x8. a nawet jakiś kombajn od amd z czterema slotami pci-e 4.0 i zapakować 4 rtxy 4060 16gb

np. taki mobasek:

https://www.morele.net/plyta-glowna-asrock-trx50-ws-13173212/

https://www.morele.net/procesor-amd-ryzen-threadripper-7960x-4-2-ghz-128-mb-box-100-100001352wof-13145848/

i trzy rtx4060ti 16gb na start, w 20k pln się zamkniesz

[Komputer do 40 000 zł, do LLM-ów]

to pewnie masz liczenie odpowiedzi na cpu, czyli model jest trzymany w ram lub w jakimś pliku symulującym ram na ssd. tylko jaki jest sens kupić rtx za 8k pln a potem liczyć na cpu bo model nie zmieścił się do vram gpu. to duże uogólnienie ale możesz założyć ze 9b modelu w precyzji 16-bitowej zajmuje 12GB w vram, więc wersja 27b potrzebuje 36GB i bez kwantyzacji nie będzie działać poprawnie nawet na rtx4090, po prostu się w nim nie zmieści

[Komputer do 40 000 zł, do LLM-ów]

do jakiego modelu ten 4090? llama 3.1 70b się w nim nie zmieści nawet po najbardziej stratnej kwantyzacji

[Komputer do 40 000 zł, do LLM-ów]

musisz się zdecydowac jaki model chcesz zapakować do gpu, niektóre mają po 27-30GB i nie zmieszczą się w jednym rtx4090, ale np zmieszczą się w dwóch rtx4060ti 16GB które można miec poniżej 4k pln

[Komputer do 40 000 zł, do LLM-ów]

11 godzin temu, Hayabooza napisał:

@ghsProblem w tym, że muszę mieć lokalnie, bardziej mi się to opłaca, wydaje sporo kasy na GPT-4 (4o jest moim zdaniem gorsze, 4 prawie nigdy mnie nie zawiodła, a 4o non stop coś nie tak generowało) oraz sonnet 3.5, do pewnych zadań nadal będę wykorzystywał, ale w mniejszym stopniu, więc zwróci mi się leasing za kompa. Ponadto często gpt czy sonnet nie chce generować mi tłumaczeń, jeśli są związane z erotyką itp, więc muszę mieć lokalnie.

na azure masz tych modeli kilka do wyboru, 4o wypada nieźle cenowo ale mają też zwykły 4 a także 4 obsługą wizji. te modele po api mogą nie miec takich restrykcji jak to co masz teraz na www od openai. zanim wywalisz 40k to lepiej przetestowac

[Komputer do 40 000 zł, do LLM-ów]

jak jesteś zielony w temacie to lepiej wykup sobie abonament na azure na gpt 4o po api. dla nowych klientów mają jakąś wersję testową nawet, zobaczysz czy ci pasuje https://learn.microsoft.com/pl-pl/azure/ai-services/openai/concepts/models

[Komputer do 40 000 zł, do LLM-ów]

28 minut temu, Hayabooza napisał:

Zastanawiam się też, czy za kilka miesięcy nie wyskoczą z jakimiś kartami, które będą dedykowane pod LLM i znacznie tańsze? 

nie ma szans, będą cisnąć jak cytrynę każdy grosz z tej technologii, pytanie czy musisz mieć model na 405b parametrów, 3.1 8b załaduje ci się w jednym rtx 4090, zmieścisz się z zakupem w 15k  dodatkowo llama zawsze po macoszemu traktowała język PL, chyba że nie jest to dla ciebie ważne i promptujesz po angielsku. Do języka PL polecam Mistrala jak lokalnie, jak może być po API to gpt 4o

[Komputer do 40 000 zł, do LLM-ów]

11 minut temu, Hayabooza napisał:

Dzięki, musze dowiedzieć się czy jestem w stanie np. na 2x 4090 uruchomić ten model 405b od Meta, aby na nim w miarę swobodnie pracować, tj. proszę go o coś i max. za minutę, dwie, wypluwa gotowy tekst.

o panie! to masz problem, raczej nie ma szans aby 405b odpalić na sprzęcie za 40k, nawet po kwantyzacji, a w pełnej precyzji fp16 trzeba kilkanaście h100 do llama 3.1 405b https://huggingface.co/blog/llama31. a jak będziesz chciał go trzymać w RAM systemowym a nie w GPU to może to się liczyć nawet kilkadziesiąt razy wolniej

[Komputer do 40 000 zł, do LLM-ów]

1 godzinę temu, Caps napisał:

Na allegro to dojdzie ładna sumka za prowizję przy kompie za 40k  Większość sklepów raczej ma opcję leasingu

Potrzebujesz tutaj 512GB pamięci? Przy LLM z tego co wiem trzeba pompować GPU, multi GPU ile wejdzie ale specem nie jestem. 

Za 34k masz https://proline.pl/koszyk/c192e7ed z multi GPU RTX 4090. 

I teraz wiesz, jak tu to dopchnąć do 512GB DDR5. O ile z płytą nie będzie problemu bo za 3,5k masz spokojnie sTR5 to problem pokazuje się z cpu, bo najtańsze to ponad 7k więc już wychodzisz ponad 40 000 a zostaje jeszcze majątek na dobicie z 192 do 512GB.

Możesz przekroczyć 40k? Chyba że 1x RTX 4090 

A czekaj, są też Z790 z 256GB więc można to na LGa1700 dobić do 256GB DDR5

 

👍 2x 4090, imho nawet 3x warto zapakować jak jest budżet, za 4090 dasz ~23k ale trzeci rtx to już jest problem z doborem mobo, ram 128gb będzie ok. do ML gpu nigdy za mało

@autor tu ziomuś składa set na 3x rtx i w to celuj, ofc musisz spuścić z tonu co do cpu:

 

[PKP Cargo SA do piachu]

jeżeli uważasz że coś pominął lub gdzieś coś przekręcił to podziel się tą wiedzą, inaczej to jakaś szamanko-profeska

[PKP Cargo SA do piachu]

bez zaskoczenia, najbardziej merytoryczna ocena sytuacji jak prawie zawsze u Stanowskiego:

 

[upgrade starego kompa czy sprzedaż i zakup nowego]

tu masz gpu do tego sprzętu: https://allegrolokalnie.pl/oferta/karta-graficzna-gtx-1060-zotac-5qh

za 60pln na i7-4770 ale bez gpu czyli xeon: https://allegro.pl/oferta/procesor-cpu-e3-1230v3-4-rdzenie-3-3-ghz-lga1150-16113348332

ram weź też 1600 cl10, max 40pln, w sumie wyjdzie jakieś 350pln

24 minuty temu, Markiz88 napisał:

procesora bym już nie zmieniła, a skupił się na dołożeniu pamieci ram + grafika rx570/580

do zasilacza 350W? niezbyt cwane

[Co uszkodzone, płyta czy procesor?]

36 minut temu, toomek77 napisał:

@ghs

Do tej pory testowałem to na karcie graficznej zintegrowanej. Na dwóch zewnętrznych kartach zestaw nie startuje, co dziwne. W BIOSIE ustawiona jako pierwsza karta PCI-E.

te dolne sloty gpu pci-e też testowałeś?

[Co uszkodzone, płyta czy procesor?]

@up 👍

wszystkie sloty dodatkowo pzredmuchać powietrzem

[Co uszkodzone, płyta czy procesor?]

bios na defult i lecisz: jak 32gb ram w dwóch kosciach to próbuj raz na jednej, raz na drugiej. jak testowałeś tylko na dyskach sata (wszystkie porty?) to daj nvme lub m.2 i odwrotnie. spróbuj też z jakimś linuksem. gpu jakie? integra z intela? to spróbuj na zewnętrznym gpu lub odwrotnie. zasilacz pewny na 100%? jak przejdziesz te testy i dalej będzie crash to dopiero masz problem binarny typu cpu vs mobo, kiedyś stawiało się na mobo ale po ostatnich cyrkach intela już jest 50:50 i trzeba organizować testowe cpu lub mobo

[Off Polityczny]

9 minut temu, jagular napisał:

Wersja A: strzelec strzelał naprawdę. Wtedy to jest to mistrzostwo świata: cyknąć kogoś w ucho ze 100m tak, aby nie zabić, ale żeby drasnąć.
Wersja B: strzelec nie strzelał tak naprawdę w Trumpa, krew jest dodana podczas schylenia się za trybunę. Dalej to jest plan mistrzowski. Kogo chcą Amerykanie wybrać na przywódcę: skur***na, kombinatora, manipulatora, kolesia z wyrokami, szowinistę, kłamcę, itd, ale mistrza w gry polityczne, czy (niestety) pana z demencją?

SS jest kontolowane przez demokratów to zatem, twoim zdaniem, to kto mu tę krew podał? z buta sobie wyjął? z dziurkaczem aby sobie w uchu zrobić dziarę dla lekarzy? kogo jak kogo ale ciebie o takie głupoty nie podejrzewałem

[Off Polityczny]

5 minut temu, forfun napisał:

Ale on wcześniej pewnie oddał dziesiątki tysięcy strzałów z podobnej odległości. Jasne, to nie to samo co strzelanie do żywego człowieka, ale jednak... poprawny strzelec z tego typu karabinku trafia pewnie 9/10(strzelałem z podobnej odległości, ale z AKMS i nie jest to wymagające przy użyciu standardowych przyrządów celowniczych). W dodatku ten amator celował w głowę, kiedy celujemy w pierś(pewne trafienie i też pewny zgon przy danych kalibrach, i przy wykorzystaniu odpowiedniej amunicji) i pewnie też miał optykę na tym AR-15.

tego nie wiemy ale śledczy w USA będą wiedzieli, jeżeli Trump nosił kamizelkę a strzelec tego się spodziewał to musiał celować w głowę, dla mnie też to było bez sensu że ziomek z 200 metrów celował w głowę

[Off Polityczny]

Tomasz Piątek poważnym dziennikarzem OMEGALUL nie pij tyle w weekendy

[Off Polityczny]

1 minutę temu, Fikołek napisał:

Po prostu dali dupy jako ochrona i tyle, kolejny mit obalony. Gdyby strzelec miał mocniejszą broń to by nie było rannego tylko łeb Trampka by sie rozwalił jak arbuz. 

szefową secret service została pani która realizuję politykę parytetów równości mniejszości seksualnych w szeregach organizacji więc jest jak jest

[Off Polityczny]

13 minut temu, Kris194 napisał:

To zdjęcie jest sprzed 5 lat...

no i? ta uśmiechnięta mowa miłości trwa od lat, u mnie na osiedlu 5-letnie dzieci malowały kredą ***** *** po chodnikach, nie widziałem jednak aby rysowały ***** **

[Off Polityczny]

gość celował w głowę chociaż to o wiele trudniejsze niż strzał w korpus, pytanie czy Trump nosi kamizelkę i czy strzelec o tym wiedział

[Off Polityczny]

1 minutę temu, Element Wojny napisał:

Czyli podsumowując: WINA TUSKA.

[Off Polityczny]

uśmiechnięta mowa miłości daje efekty:

https://x.com/donaldtuskEPP/status/1202532538033590272

[Off Polityczny]

13 minut temu, bergercs napisał:

Teoria, że sam Trumpek wynajął zamachowca, żeby "strzelił mu w ucho" totalnie bez sensu. ALE czytając (Konflikty.pl): "Według pojawiających się coraz częściej – ale wciąż nieoficjalnych – informacji zamachowiec wcale nie postrzelił Trumpa. W rzeczywistości chybił, ale jeden z jego pocisków roztrzaskał teleprompter, i to właśnie kawałki szkła z tego urządzenia raniły Trumpa w ucho." to znając dotychczasowe "dokonania" tego debila, wcale nie jest to niemożliwe, żeby kogoś najął: "Zastrzel kogo za mną, aby wyglądało, że ktoś próbował zabić munie".

goście żyją w takiej bańce nienawiści (patrz na naszego Lisa czy Palikota) że nawet gdyby go zabili to by twierdzili że to była ustawka tylko coś nie pykło

[Procesor do komputera z GTX1060 6GB]

uaktualnij bios, potem sprawdź w bios czy masz tę opcję:

https://winraid.level1techs.com/t/use-the-e3-v5-series-cpu-method-on-the-h110-b150-z170-motherboard/32510/3

jak masz to tu jest najlepszy cpu jaki jest sens zapakować do tej płyty:

https://allegro.pl/oferta/intel-xeon-e3-1245v5-4x-3-5ghz-3-9ghz-s1151-jak-i7-6700-14018508106