Komputer do 40 000 zł, do LLM-ów

[Hayabooza 0]

Cześć, chciałbym kupić gotowego kompa do 40 tysięcy, chociaż wolałbym pewnie coś tańszego...

Wymóg: minimum 512 GB pamięci ram i dobra karta graficzna.

Znalazłem coś takiego https://allegro.pl/oferta/lenovo-thinkstation-p620-threadripper-pro-3975wx-512gb-2tb-2tb-ssd-rtx8000-15293784602 ale chyba grafika dupy nie urywa https://technical.city/pl/video/Quadro-RTX-8000-vs-GeForce-RTX-4090 ?

Ewentualnie chciałbym coś złożyć samemu, tam gdzie można brać leasing na całość zamówienia, chociaż wolałbym gotowy zestaw na allegro. Może jakaś firma tutaj jest w stanie złożyć taki zestaw i wystawić na allegro lub przez ich sklep można wziąć leasing? 

[Caps 1538]

Na allegro to dojdzie ładna sumka za prowizję przy kompie za 40k  Większość sklepów raczej ma opcję leasingu

Potrzebujesz tutaj 512GB pamięci? Przy LLM z tego co wiem trzeba pompować GPU, multi GPU ile wejdzie ale specem nie jestem. 

Za 34k masz https://proline.pl/koszyk/c192e7ed z multi GPU RTX 4090. 

I teraz wiesz, jak tu to dopchnąć do 512GB DDR5. O ile z płytą nie będzie problemu bo za 3,5k masz spokojnie sTR5 to problem pokazuje się z cpu, bo najtańsze to ponad 7k więc już wychodzisz ponad 40 000 a zostaje jeszcze majątek na dobicie z 192 do 512GB.

Możesz przekroczyć 40k? Chyba że 1x RTX 4090 

A czekaj, są też Z790 z 256GB więc można to na LGa1700 dobić do 256GB DDR5

 

Edytowane 28 Lipca przez Caps

[Hayabooza 0]

Wolałbym nie przekraczać 40k, wiem że GPU ważne, ale wolałbym opcję dołożenia kolejnego później (jeśli jest taka możliwość), jeśli coś mi się zacznie zwracać. 

[Caps 1538]

Dołożenie GPU jak najbardziej ma sens w przyszłości startując teraz z 1x 4090 ale mając gotowy set pod podpięcie drugiej karty. 

Idąc w tą stronę pod 2x RTX 4090 na radiatorach 360 to tutaj masz 18.3k https://proline.pl/koszyk/be8187f7 przy czym tutaj jeszcze zmiana chłodzenia pod str5

Threadripper 7960X 24/48 za 7200 zł 

Gigabyte TRX50 AERO D za 3500 zł ale za chiny nie wyrobisz nawet 4x128GB bo to koszt ~ 25k 😅 Jak dasz 2x128GB to 11K i jesteś tutaj w okolice 40k za całość ale moim zdaniem to nie ma sensu względem 256GB na LGA1700. No chyba że TR będziesz wydawać sobie po prawie 7k za każdą kolejną kostkę za jakiś czas. 

https://www.gigabyte.pl/products/page/mb/TRX50-AERO-D/support#support-memsup

A tutaj masz 27k https://proline.pl/koszyk/dbf2b4a0 i zostaje 13k na 4x64GB ale dostępność kostek jest tragiczna

Ogólnie pytanie, czy potrzeba Ci faktycznie więcej niż 192GB DDR5 przy dwóch RTX 4090? Moim zdaniem zdecydowanie nie. 

https://www.linkedin.com/pulse/demystifying-vram-requirements-llm-inference-why-how-ken-huang-cissp-rqqre

Wydaje mi się że opcja 14900K, 2x RTX 4090, 192GB to wszystko a nawet więcej niż potrzebujesz. 

[Hayabooza 0]

@Caps muszę chyba bardziej zgłębić temat

 

"NOTE 405B:

• Model requires significant storage and computational resources, occupying approximately 750GB of disk storage space and necessitating two nodes on MP16 for inferencing.

• We are releasing multiple versions of the 405B model to accommodate its large size and facilitate multiple deployment options: MP16 (Model Parallel 16) is the full version of BF16 weights. These weights can only be served on multiple nodes using pipelined parallel inference. At minimum it would need 2 nodes of 8 GPUs to serve.

• MP8 (Model Parallel 8) is also the full version of BF16 weights, but can be served on a single node with 8 GPUs by using dynamic FP8 (floating point 8) quantization. We are providing reference code for it. You can download these weights and experiment with different quantization techniques outside of what we are providing.

• FP8 (Floating Point 8) is a quantized version of the weights. These weights can be served on a single node with 8 GPUs by using the static FP quantization. We have provided reference code for it as well."

No przy 8 GPU to trochę drogo wyjdzie Muszę znaleźć info, czy przy dwóch to mi się uruchomi, mogę poczekać na odpowiedź minutę czy dwie, zamiast 5 sekund

[ghs 304]

1 godzinę temu, Caps napisał:

Na allegro to dojdzie ładna sumka za prowizję przy kompie za 40k  Większość sklepów raczej ma opcję leasingu

Potrzebujesz tutaj 512GB pamięci? Przy LLM z tego co wiem trzeba pompować GPU, multi GPU ile wejdzie ale specem nie jestem. 

Za 34k masz https://proline.pl/koszyk/c192e7ed z multi GPU RTX 4090. 

I teraz wiesz, jak tu to dopchnąć do 512GB DDR5. O ile z płytą nie będzie problemu bo za 3,5k masz spokojnie sTR5 to problem pokazuje się z cpu, bo najtańsze to ponad 7k więc już wychodzisz ponad 40 000 a zostaje jeszcze majątek na dobicie z 192 do 512GB.

Możesz przekroczyć 40k? Chyba że 1x RTX 4090 

A czekaj, są też Z790 z 256GB więc można to na LGa1700 dobić do 256GB DDR5

 

👍 2x 4090, imho nawet 3x warto zapakować jak jest budżet, za 4090 dasz ~23k ale trzeci rtx to już jest problem z doborem mobo, ram 128gb będzie ok. do ML gpu nigdy za mało

@autor tu ziomuś składa set na 3x rtx i w to celuj, ofc musisz spuścić z tonu co do cpu:

 

Edytowane 28 Lipca przez ghs

[Hayabooza 0]

Dzięki, musze dowiedzieć się czy jestem w stanie np. na 2x 4090 uruchomić ten model 405b od Meta, aby na nim w miarę swobodnie pracować, tj. proszę go o coś i max. za minutę, dwie, wypluwa gotowy tekst.

Problemem jest też to, aby skompletować wszystko w jednym sklepie, bo chyba Threadripper nie ma w proline, a chce mieć w leasing już wszystko w jednym sklepie + usługę złożenia, przy tak drogim sprzęcie wolę aby robili to specjaliści. 

Zastanawiam się też, czy za kilka miesięcy nie wyskoczą z jakimiś kartami, które będą dedykowane pod LLM i znacznie tańsze? 

[ghs 304]

11 minut temu, Hayabooza napisał:

Dzięki, musze dowiedzieć się czy jestem w stanie np. na 2x 4090 uruchomić ten model 405b od Meta, aby na nim w miarę swobodnie pracować, tj. proszę go o coś i max. za minutę, dwie, wypluwa gotowy tekst.

o panie! to masz problem, raczej nie ma szans aby 405b odpalić na sprzęcie za 40k, nawet po kwantyzacji, a w pełnej precyzji fp16 trzeba kilkanaście h100 do llama 3.1 405b https://huggingface.co/blog/llama31. a jak będziesz chciał go trzymać w RAM systemowym a nie w GPU to może to się liczyć nawet kilkadziesiąt razy wolniej

Edytowane 28 Lipca przez ghs

[ghs 304]

28 minut temu, Hayabooza napisał:

Zastanawiam się też, czy za kilka miesięcy nie wyskoczą z jakimiś kartami, które będą dedykowane pod LLM i znacznie tańsze? 

nie ma szans, będą cisnąć jak cytrynę każdy grosz z tej technologii, pytanie czy musisz mieć model na 405b parametrów, 3.1 8b załaduje ci się w jednym rtx 4090, zmieścisz się z zakupem w 15k  dodatkowo llama zawsze po macoszemu traktowała język PL, chyba że nie jest to dla ciebie ważne i promptujesz po angielsku. Do języka PL polecam Mistrala jak lokalnie, jak może być po API to gpt 4o

Edytowane 28 Lipca przez ghs

[Hayabooza 0]

https://www.youtube.com/watch?v=1xdneyn6zjw&t=400s

Tutaj mniej więcej gość mówi co trzeba mieć za sprzęt, więc muszę jednak celować w 70B, a więc może być coś tańszego (najlepiej 25k łącznie i z mniejszym ramem niż 512 gb, ale żeby była możliwość w płycie głównej obsługi 512 GB. Jak ceny spadną za rok, czy dwa, to dorzucę/wymienię pamięć)

Jestem zielony w tym temacie, czy ta ilość kart graficznych jest potrzebna do nauki, czy po prostu, aby dany model wygenerował mi odpowiedź korzystając ze wszystkich danych, parametrów itp.? 

Ogólnie chciałbym korzystać z kilku modeli, głównie potrzebuje angielski, ale korzystam z 21 wersji językowych obecnie. 

To co byście polecili, jak najtaniej teraz (zapewne z 2x 4090 i ramem najlepiej bliżej 200 gb niż 128gb?)

Edit: @ghs widzę, że nie ma szans przy dwóch 4090, więc jedyna opcja to jeden + mając gotowy set pod podpięcie drugiej karty tak jak napisał @Caps

Jest jakiś sklep co ma wszystkie podzespoły na stanie i mi to złoży? 

Edytowane 28 Lipca przez Hayabooza

[ghs 304]

jak jesteś zielony w temacie to lepiej wykup sobie abonament na azure na gpt 4o po api. dla nowych klientów mają jakąś wersję testową nawet, zobaczysz czy ci pasuje https://learn.microsoft.com/pl-pl/azure/ai-services/openai/concepts/models

[Hayabooza 0]

@ghsProblem w tym, że muszę mieć lokalnie, bardziej mi się to opłaca, wydaje sporo kasy na GPT-4 (4o jest moim zdaniem gorsze, 4 prawie nigdy mnie nie zawiodła, a 4o non stop coś nie tak generowało) oraz sonnet 3.5, do pewnych zadań nadal będę wykorzystywał, ale w mniejszym stopniu, więc zwróci mi się leasing za kompa. Ponadto często gpt czy sonnet nie chce generować mi tłumaczeń, jeśli są związane z erotyką itp, więc muszę mieć lokalnie.

Edytowane 28 Lipca przez Hayabooza

[Hayabooza 0]

4 godziny temu, Caps napisał:

 

Za 34k masz https://proline.pl/koszyk/c192e7ed z multi GPU RTX 4090. 

 

Usunąłem tutaj jeden GPU, dodałem złożenie i wyszło 25k, tylko nie widzę opcji leasingu w proline

To jest najlepsza opcja? Czy iść jednak w sTR5?

@CapsObudowa do komputera Lian Li O11 Dynamic EVO XL Black - widzę, że już nie mają na stanie.

Edytowane 28 Lipca przez Hayabooza

[Caps 1538]

Wrzuć jak ten zestaw wygląda. Leasing to raczej załatwia się inną drogą niż przez stronę ale tego nie wiem. 

Ja bym nie miał parcia na sTR5 bo takiej ilości pamięci nie wiem czy potrzebujesz. Ogólnie pod LGA1700 idzie włożyć 256GB - kwestia dostępności kostek 4x64GB ale zapewne coś się znajdzie. Jakbyś nawet dał 4x48 to to moim zdaniem styknie i w tym przypadku mimo wszystko masz 2x4090 w tej kasie. 

O dostępność sprzętu jak coś to pytaj sklep / sklepy, to nie są "popularne" podzespoły więc często trzeba będzie zapewne coś ściągać z dystrybucji. 

Zostaje tutaj jeszcze kwestia płyty. Z790 Pro ART ma 2x PCIe 5.0 więc pod multi GPU bajeczka ale w specyfikacji cały czas maks 4 x DIMM, Max. 192GB, DDR5

ASRocki mają oficjalnie podane już 256GB. Dałbym już nawet nie Lite a pełną wersję https://www.asrock.com/MB/Intel/Z790 Taichi/index.pl.asp 

Z MSI też widzę że się znajdzie 2x PCIe 5.0 + 256 oficjalnie.

Ale z tymi 256GB to raz że problem z dostępnością kostek a dwa, zakładam że to będzie hulać na JEDEC ale to w zasadzie nie będzie miało tutaj i tak znaczenia. 

[Hayabooza 0]

@CapsA pod te moje wymagania nadawałby się najmocniejszy Ryzen? Chyba to będzie AMD Ryzen 9 7950X3D?
I musiałbym coś skompletować na x-kom, bo tam mogę wziąć leasing.

Mają Gigabyte GeForce RTX 4090 Aorus XTREME WATERFORCE 24GB GDDR6X, ale nie mają Phanteks Glacier One 360 T30 Gen2 ARGB czarne, chłodzenie wodne 360mm.

Jest też nieco droższy ASUS GeForce RTX 4090 ROG Strix OC 24GB GDDR6X

Edit: Widzę w benchmarkach, że te i9 lepiej wypadają od Ryzena, czy to https://www.x-kom.pl/p/1179896-procesor-intel-core-i9-intel-core-i9-14900k.html#Opinie jest to samo co dodałeś z proline?

Edytowane 29 Lipca przez Hayabooza

[ghs 304]

11 godzin temu, Hayabooza napisał:

@ghsProblem w tym, że muszę mieć lokalnie, bardziej mi się to opłaca, wydaje sporo kasy na GPT-4 (4o jest moim zdaniem gorsze, 4 prawie nigdy mnie nie zawiodła, a 4o non stop coś nie tak generowało) oraz sonnet 3.5, do pewnych zadań nadal będę wykorzystywał, ale w mniejszym stopniu, więc zwróci mi się leasing za kompa. Ponadto często gpt czy sonnet nie chce generować mi tłumaczeń, jeśli są związane z erotyką itp, więc muszę mieć lokalnie.

na azure masz tych modeli kilka do wyboru, 4o wypada nieźle cenowo ale mają też zwykły 4 a także 4 obsługą wizji. te modele po api mogą nie miec takich restrykcji jak to co masz teraz na www od openai. zanim wywalisz 40k to lepiej przetestowac

[Caps 1538]

58 minut temu, Hayabooza napisał:

A pod te moje wymagania nadawałby się najmocniejszy Ryzen? Chyba to będzie AMD Ryzen 9 7950X3D?

Nie brałbym AMD bo będzie problem z obsługą większej ilości pamięci ram. Są straszne problemy w ogóle z uruchomieniem 4 modułów, a jak się uruchomią to najczęściej na 3600 MHz. 

59 minut temu, Hayabooza napisał:

I musiałbym coś skompletować na x-kom, bo tam mogę wziąć leasing.

Napisz może do proline, zapewne też mają. 

59 minut temu, Hayabooza napisał:

Jest też nieco droższy ASUS GeForce RTX 4090 ROG Strix OC 24GB GDDR6X

Pod multi GPU brałbym dwie wody olewając całkowicie powietrze, no połączenie 1x powietrze na górze + 1x woda na dole jeszcze ujdzie ale mimo wszystko, najlepsza opcja 2x woda

 

[Hayabooza 0]

22 minuty temu, Caps napisał:

Pod multi GPU brałbym dwie wody olewając całkowicie powietrze, no połączenie 1x powietrze na górze + 1x woda na dole jeszcze ujdzie ale mimo wszystko, najlepsza opcja 2x wod

A co byś wziął na ten moment? Wolałbym już iść taniej w jedno GPU (ale żeby płyta obsługiwała multi). Za np. rok wymienie powietrze na wodę + dokupię drugie GPU. 
Czy ta płyta będzie ok? https://proline.pl/plyta-glowna-asrock-z790-taichi-carrara-ddr5-lga1700-p8119245

Edytowane 29 Lipca przez Hayabooza

[ghs 304]

musisz się zdecydowac jaki model chcesz zapakować do gpu, niektóre mają po 27-30GB i nie zmieszczą się w jednym rtx4090, ale np zmieszczą się w dwóch rtx4060ti 16GB które można miec poniżej 4k pln

[Hayabooza 0]

@ghs jeśli chodzi o GPU to chyba to co polecił Caps, Gigabyte RTX 4090 Aorus Xtreme Water Force

Edytowane 29 Lipca przez Hayabooza

[ghs 304]

do jakiego modelu ten 4090? llama 3.1 70b się w nim nie zmieści nawet po najbardziej stratnej kwantyzacji

[Hayabooza 0]

@ghs W trybie inference-only nie pójdzie? Bo teraz mój laptop niby nie spełnia wymagań gemma2 27b i działa, co prawda wolno, widzę jak pisze po słowie, więc wygenerowanie odpowiedzi zajmuje 2-3 minuty. 

[ghs 304]

to pewnie masz liczenie odpowiedzi na cpu, czyli model jest trzymany w ram lub w jakimś pliku symulującym ram na ssd. tylko jaki jest sens kupić rtx za 8k pln a potem liczyć na cpu bo model nie zmieścił się do vram gpu. to duże uogólnienie ale możesz założyć ze 9b modelu w precyzji 16-bitowej zajmuje 12GB w vram, więc wersja 27b potrzebuje 36GB i bez kwantyzacji nie będzie działać poprawnie nawet na rtx4090, po prostu się w nim nie zmieści

Edytowane 29 Lipca przez ghs

[Hayabooza 0]

W takim razie zostaną mi gorsze modele, a drugiego RTX4090 dokupię za kilka miesięcy. Chyba jedyne rozwiązanie przy tych cenach

[ghs 304]

tu masz ziomka który miał podobny dylemat do twojego:

https://www.reddit.com/r/LocalLLaMA/comments/178gkr0/performance_report_inference_with_two_rtx_4060_ti/

i zdecydował się na maszynę z dwoma rtx4060ti 16gb, w twoim przypadku można by pokusić się o stację która ma co najmniej 2 gniazda pci-e 4.0, to ważne bo rtx4060 ma sprzętowo wejście pci-e x8. a nawet jakiś kombajn od amd z czterema slotami pci-e 4.0 i zapakować 4 rtxy 4060 16gb

np. taki mobasek:

https://www.morele.net/plyta-glowna-asrock-trx50-ws-13173212/

https://www.morele.net/procesor-amd-ryzen-threadripper-7960x-4-2-ghz-128-mb-box-100-100001352wof-13145848/

i trzy rtx4060ti 16gb na start, w 20k pln się zamkniesz

Edytowane 29 Lipca przez ghs