Komputer do 40 000 zł, do LLM-ów

[ghs 304]

a tu masz ziutka z 6x 4060ti:

 

 

[ghs 304]

możesz też poczekać na x870 od amd, będą lada dzień, będą miały pci-e 5.0 więc jak nawet slot będzie x4 to do rtx4060ti wystarczy. w takie mobasy włożysz 3 karciochy plus poczytasz o kwantyzacji sieci za pomocą tego narzędzia LLM.int8() i będzie sprzęt po kosztach <10k

https://ithardware.pl/aktualnosci/amd_przedstawilo_chipsety_x870_i_x870e_zapewniono_tez_wieloletnie_wsparcie_am5-33335.html

Edytowane 29 Lipca przez ghs

[ghs 304]

podsumowując, branża żyje, starndardy zmieniają się z miesiąca na miesiąc, za 40k nie kupisz sprzętu który pozwoli komfortowo pracować, tę samą jakość co na sprzęcie za 40k uzyskasz na secie za 10k czyli:

- czekasz do premiery x870 czyli w zasadzie godziny
- na x870 spokojnie obsadzisz 3x 4060ti 16gb bez strat wydajności z tytułu ograniczenia pci-e (48GB vram to tyle co dwa 4090)
- do tego setu wziąłbym ryzena 12/24 ale obecnej generacji 7xxx, optymalny stosunek ceny do wydajności       https://www.ceneo.pl/140261854, czy jest sens dopłacać do 16/32 lub 3D? sam przeanalizuj -  https://www.techpowerup.com/review/amd-ryzen-9-7900/8.html, i9 niby lepsze ale nie zawsze i ostatnio ładnie się fajczą
- dysk nvme koniecznie 4T, to ważne bo często będziesz musiał wykonywać kwantyzację modelu z jednej precyzji do drugiej, i to się będzie liczyć na cpu i dysku
- ram imho 64GB (2x32), będzie brakować to dorzucisz, najmniejszy problem w zestawie 
- rtxy undervoltujesz, optymalne nastawy to 2730 na 950mv i power limicie na 80%, do tego vram +400, nie powinny brać więcej niż 100w sztuka
- zasilacz 1000W będzie z duuużym zapasem
- doczytaj o kwantyzacji LLM.int8(), to podstawa jak chce się odpalać duże modele małymi zasobami z jak najmniejszym błędem, zwykłe kwantyzacje przez wartości skrajne wag sieci mają duży błąd a int8() ma wbudowaną obsługę wartości skrajnych wag dzięki czemu błąd jest minimalny

pzdr

Edytowane 29 Lipca przez ghs

[kalderon 5860]

B650E i X670Ej już teraz mają PCI-E 5.

[ghs 304]

ale z ramem jest loteria, a jak będzie potzreba dołożenia do tych 128gb

[Hayabooza 0]

Może trochę się pospieszyłem, ale nie tylko do LLM-ów będę wykorzystywał kompa, chyba też przy większej ilości GPU wiecej prądu będzie pożerał komputer?

Zamówiłem już wczoraj takiego (wyszło ok. 23 700 zł) https://www.x-kom.pl/lista/4gkdlp44a + zasilacz Corsair AX1600i 1600W 80 Plus Titanium, chciałem tańszy, ale nie było nic na stanie. Ogólnie był problem ze sprzętem, bo co chwila coś znikało na proline z tego co polecaliście na początku. Jak będzie 4090 po 5k to wtedy dokupię drugą kartę + z czasem wymienię ram na możliwe najlepszy (był problem z dostępnością 6400) + dysk na jakiś topowy.

Możecie polecić, który nvme 4TB najlepiej obecnie? I wtedy jak kupię to ten co mam zostawić pod system, a ten nowy na dane czy odwrotnie?

 

Edytowane 30 Lipca przez Hayabooza

[ghs 304]

co do dysku to sie nie wypowiem, cpu ryzykowny do ML, jarają sie pod obciążeniem jak choinka na święta, pogooglaj sobie "intel series 13 14 fail"

[Hayabooza 0]

Caps polecał, ale mimo że nie siedzę w temacie, to Intel już chyba ma coraz gorszą opinie i wolałem iść w AMD, więc się trochę zdziwiłem tym poleceniem.
Ale jak patrzyłem na testy najlepszego Ryzena vs 14900 to niestety AMD dużo gorzej wypadał. 
Musiałbym iść w threadripper, ale był już droższy znacznie od 14900K.

No nic, gwarancje ma + pod leasing muszę wziąć dodatkowe ubezpieczenie. Jeśli coś się stanie to będzie ostatni produkt Intela jaki kupię.

[kalderon 5860]

14900 ma problemy ze stabilnością. 15 sierpnia wychodzą nowe Ryzeny 9000.

[Hayabooza 0]

@ghs @kalderon x-kom mi odpisał, że jeszcze mogę zmienić płytę i procesor, co robić, na co zamienić? Nie mogę czekać 2 tygodnie  Na najlepszego Ryzena? Wtedy jaka płyta główna? Może być tylko ze sklepu x-kom, to co jest dostępne. Płyta główna musi mieć obsługę tych 192 GB co zamówiłem.

 

EDIT: https://www.x-kom.pl/p/1117003-procesor-amd-ryzen-9-amd-ryzen-9-7950x3d.html i https://www.x-kom.pl/p/1072682-plyta-glowna-socket-am5-asus-rog-strix-x670e-e-gaming-wifi.html? Ale widzę, że max. obsługuje 128 GB...

EDIT2: to widzę, że z droższych tylko obsługuje 192 GB https://www.x-kom.pl/p/1072711-plyta-glowna-socket-am5-asus-proart-x670e-creator-wifi.html i jeszcze to ma do 192 GB https://www.x-kom.pl/p/1216798-plyta-glowna-socket-am5-gigabyte-x670e-aorus-pro-x.html

Edytowane 30 Lipca przez Hayabooza

[ghs 304]

wyżej ci linkowałem test do ryzenów w AI

[kalderon 5860]

Żaden z tych procesorów ani płyt nie ma blokady na obsługę RAMu. Limiterem jest to ile uciągnie kontroler pamięci to raz. Dwa - na 99% ani AMD, a na 100% Intel nie uciągną 6000MT/s na 4 kościach, ręczne ustabilizowanie 4400-4800MT/s będzie sukcesem na obu platformach chociaż na AMD są przypadki że ludzie ustabilizowali 5200-5600 a nawet 6000MT/s na 4 kościach (choć ten ostatni wynik to na 4x32GB). Tym niemniej czeka cię "zabawa".

EDIT. Tu gość  uruchomił 192GB na 6000MT/s:

44 minuty temu, Hayabooza napisał:

Nie mogę czekać 2 tygodnie  Na najlepszego Ryzena? Wtedy jaka płyta główna?

Taka sama, AMD nie zmienia platformy.

Edytowane 30 Lipca przez kalderon

[Hayabooza 0]

Jak go nie składam, tylko x-kom, jeśli stwierdzą że będzie problem to będą pewnie kombinować (przynajmniej mam taką nadzieję). 

[ghs 304]

jak składa x-kom to bierz docelową ilość ram i niech potestują te x670e i wybiorą tę na której będzie ok

[kalderon 5860]

Oni raczej nie będą testować kilku płyt głównych tylko wezmą jedna sztukę zamówionej płyty, zamówiony komplet RAMu i zmontują. Oni dopiero w montażu rozszerzonym aktywują XMP, a co tu jeszcze mówić o jakichś ręcznych ustawieniach.

[amsztel 2659]

Wez sie tez upewnij czy na serio potrzebujesz PSU 1.6kW bo bardzo porzadne PSU 1.2kW kosztuje nie 2400 tylko 800zl  

[kalderon 5860]

7 godzin temu, Hayabooza napisał:

Zamówiłem już wczoraj takiego (wyszło ok. 23 700 zł) https://www.x-kom.pl/lista/4gkdlp44a

Ale wiesz, że zamówiłeś 420mm AIO do obudowy która wspiera max 360mm? I nawet gdybyś zamówił 2 chłodzenia po 360mm to jeden radiator musiał by być na dole, co oznacza że pompka byłą by górnym elementem układu. Bąbelek powietrza w układzie i pompa zatarta.

Edytowane 30 Lipca przez kalderon

[Hayabooza 0]

10 minut temu, amsztel napisał:

Wez sie tez upewnij czy na serio potrzebujesz PSU 1.6kW bo bardzo porzadne PSU 1.2kW kosztuje nie 2400 tylko 800zl  

A to już nie wiem  Docelowo maja być 2x 4090, albo coś lepszego jak będzie można włożyć w tą płytę w przyszłym roku

[Hayabooza 0]

25 minut temu, kalderon napisał:

Ale wiesz, że zamówiłeś 420mm AIO do obudowy która wspiera max 360mm? I nawet gdybyś zamówił 2 chłodzenia po 360mm to jeden radiator musiał by być na dole, co oznacza że pompka byłą by górnym elementem układu. Bąbelek powietrza w układzie i pompa zatarta.

Obudowę oni dobierali oni, to chyba musze im zgłosić. 

[Caps 1538]

15 godzin temu, Hayabooza napisał:

Zamówiłem już wczoraj takiego (wyszło ok. 23 700 zł) https://www.x-kom.pl/lista/4gkdlp44a + zasilacz Corsair AX1600i 1600W 80 Plus Titanium, chciałem tańszy, ale nie było nic na stanie. Ogólnie był problem ze sprzętem, bo co chwila coś znikało na proline z tego co polecaliście na początku. Jak będzie 4090 po 5k to wtedy dokupię drugą kartę + z czasem wymienię ram na możliwe najlepszy (był problem z dostępnością 6400) + dysk na jakiś topowy.

Brawo Ty. Jak Ty widzisz układ multi GPU w tej obudowie? Wiesz że ten zestaw jest niekompatybilny? Jak i gdzie chcesz zamontować dwie chłodnice w tej obudowie?  Aż normalnie nie wierze, Vision + aio 420 + aio 360 i to jeszcze ma być docelowo 2x 4090? 😅Już pomijając niekompatybilność na pierwszym etapie - najprostszym z jedną kartą, to dobieranie pod 2x 4090 jeden woda + jeden powietrze to nieporozumienie kiedy można bez problemu przygotować się na dwie wody. 

Na jaki dysk topowy chcesz tutaj coś zmieniać? Gen5? Intel + Gen5 to kastrowanie GPU do x4 więc niczego nie zmieniaj. Jeszcze zasilacz nawet nie 3.0 i bez 2 x 12vhpwr

8 godzin temu, Hayabooza napisał:

Obudowę oni dobierali oni, to chyba musze im zgłosić. 

To żeś sobie fachowców dobrał z x-kom do składania takiego PC. Widać że oni nawet nie mają najmniejszego pojęcia o kompatybilności prostego jako tako zestawu więc no życzę powodzenia. 

8 godzin temu, Hayabooza napisał:

Obudowę oni dobierali oni, to chyba musze im zgłosić. 

Zostaw. Niech się głowią jak masz czas  Ale ogólnie coś mi się wydaje z tego co piszesz, jak dobierasz + to co robi x-kom - że będą jaja z tym zestawem. 

To co Ci dawałem to masz o wiele lepsze opcje, ogólnie to masz takie PC

Kolejna stacja robocza w obudowie... - ProLine.pl - Sklep komputerowy | Facebook

To masz praktycznie to co Ci poleciłem Stacja robocza do pracy z grafiką... - ProLine.pl - Sklep komputerowy | Facebook

A póki co masz niekompatybilnego ulepa z losowych części które wpycha Ci x-kom 

8 godzin temu, Hayabooza napisał:

A to już nie wiem  Docelowo maja być 2x 4090, albo coś lepszego jak będzie można włożyć w tą płytę w przyszłym roku

Podejście masz dobre do wydatku ponad 20k - "nie wiem" .... "to oni" .... ale to Ty płacisz? Wydaje mi się że nie raz będziesz wracał do tego wątku 😔

 

9 godzin temu, Hayabooza napisał:

Jak go nie składam, tylko x-kom, jeśli stwierdzą że będzie problem to będą pewnie kombinować (przynajmniej mam taką nadzieję). 

Nadzieja ... 

Edytowane 31 Lipca przez Caps

[wrobel_krk 1169]

Hahaha ale babola X-kom składa chłopie zwracaj póki możesz.

Nawet płyta nie jest pod 2 GPU bo ma tylko :

PCIe x16    (2) v5.0 (x16, or x8/x8)

Maks X8/X8 przy 2 GPU. Czyli będziesz mieć obcięte linie GPU do polowy.

Przepladlcony psu chłodzenie za duże. Obudowa za mała. Widać że biorą do pracy z ulicy ludzi;)

[Hayabooza 0]

Obudowa ma być ta Deepcool MORPHEUS, a tutaj wcześniej polecany ASRock Z790 Taichi Carrara też nie nadaje się na 2x 4090? Bo widzę, że ma PCI podobnie do ASUS ProArt X670E-CREATOR WIFI

[wrobel_krk 1169]

No to jaja są bo nie wiem czy są w ogóle takie płyty x670 z dwoma slotami x16. Może X8 Gen4 w zastosowaniach Ai wystarcza

[ghs 304]

16 minut temu, wrobel_krk napisał:

No to jaja są bo nie wiem czy są w ogóle takie płyty x670 z dwoma slotami x16. Może X8 Gen4 w zastosowaniach Ai wystarcza

rtx 4090 obsługuje nvlink więc najważniejsze że da się zunifikować ram z dwóch rtx 4090 do 48GB. na rtx 4060 ti takiej sztuczki nie zrobimy bo nie obsługuje nvlink ale to nie problem bo są już narzędzia np pytorch gdzie warstwy modelu pakuje się do poszczególnych vramów kart i przetwarza się szeregowo. user nawet o tym nie wiem bo framework robi to za niego

Edytowane 31 Lipca przez ghs

[wrobel_krk 1169]

To na pewno nie jest nvlink bo to zostało ubite:) Ostatni wspierający był 3090ti

Ale widzę że też już nie ma 2x16 fizycznych linii na plytach z790 czy x670.

No nic postęp nie do końca jest postępem