Distributed rendering - jaki router i kable?

[LukasPreiss 0]

Witam,

zastanawia mnie dlaczego na moim obecnym routerze tp-link TL-SG108 dość długo ładują się tekstury itp z innych kompów na główny komp liczący render. ( zwykle około 2 GB danych) . Czy jest to kwestia przepustowości mojej domowej sieci?

Czy raczej chodzi o dyski twarde, które generują opóźnienia?

Warto zmienić router i kable(mam zwykłe) na coś lepszego?

Mam też dołączoną do płyty głównej kartę Asusa aerion 10 GB - można ją jakoś wykorzystać do zwiększenia przepustowości w przypadku 10 pc?

[Nyat 0]

TL-SG108 to switch, a nie router tak informacyjnie.

[SiiTher 0]

To nie router tylko przełącznik.

[bialy100k 0]

długo ładują się tekstury itp z innych kompów na główny komp liczący render. ( zwykle około 2 GB danych)

Może masz uszkodzony kabel? Masz W PRAKTYCE połączenie 1000Mbps ? Może jedna z żył w okablowaniu jakie masz jest urwana/nie łączy i dane lecą 100Mbps... Przy małym pliku nie zauważysz, przy dużym zaczyna się "mulić". Nie wiem jak w tym tp-linku, ale w wielu sprzętach widać to "na diodach" obok wtyczek.

[LukasPreiss 0]

kable są ok , sprawne. Czasem mam taka sytuację ,że z 10 kompów załączają się tylko 3 i po długim czasie (10 min) kolejne.

Nie znam się zupełnie na sieciach wiec ponawiam pytanie czy przy tym typu pracy- rendering 3d- jest sens kupować jakiś drogi switch który ma super przepustowość?

Pytanie co jest wąskim gardłem w takiej konfiguracji? Maszyny są silne - najsłabsze to 4x dual xeon 2670 w racku foxconn ( karta sieciowa usb), 2x 9900k, ryzen 1950x, ryzen 2990 wx jako masternode.

[LukasPreiss 0]

tutaj dodaję test z lan test speed

[Qwinto 427]

kable są ok , sprawne.

Sam robiłeś te kable cy kupiłeś gotowce? Sprawdzałeś ich przepustowość? Link jest zestawiony na 1Gbps?

 

Czasem mam taka sytuację ,że z 10 kompów załączają się tylko 3 i po długim czasie (10 min) kolejne.

Co się nie załącza? Opisz bardziej precyzyjniej co masz na myśli. Jeśli nie wiesz jak opisać, to wyjaśnij swoimi słowami jak wygląda ten proces załączania...

 

Pytanie co jest wąskim gardłem w takiej konfiguracji? Maszyny są silne - najsłabsze to 4x dual xeon 2670 w racku foxconn ( karta sieciowa usb), 2x 9900k, ryzen 1950x, ryzen 2990 wx jako masternode.

 

A jakich dysków używasz? HDD, SSD? W jakiej konfiguracji (solo czy może jakiś RAID)? Karta sieciowa na USB? Ale 2.0 czy 3.0?

 

Ciężko na razie wskazać czy sieć jest słaby punktem czy nie. Zainstaluj iperfa i przetestuj jakie prędkości otrzymujesz na tym switchu pomiędzy komputerami. Rzuć też okiem na ten wpis, może wiedza się poszerzy.

A ten Asus ROG AREION 10G jest bez sensu, skoro i tak działa tylko w gigabicie...

[LukasPreiss 0]

racja, opiszę bardziej precyzyjnie.

- kable to gotowce

- nie sprawdzałem przepustowości kabli, raczej nie są jakieś super wydajne

- przez dłuższy czas nie załączają się render nody do master noda - wskakują dopiero po 10 min jak inne kompy prześlą assety (textury,itp).

- Dyski: w xeonach talerzowe 7200 rpm , w reszcie m2 nvme, 1 dysk do ssd.

- karty usb w xeonach to tplink ue300 gigabit usb 3

 

Dłuższe załączanie się nodów zauważyłem po zwiększeniu ilośc kompów (z 5 na 10).

Problem leży w tym ,że rendering zwiększa swój czas na przesyle assetów. Rozumiem ,że idealna sytuacja byłaby taka ,że w momencie kliknięcia renderowania wszystkie kompy włączają się od razu i od razu liczą render.

Pytanie jak można najbardziej zbliżyć się do takiej sytuacji

[Qwinto 427]

Jeszcze raz, iperfem przetestuj przepustowości, na masternodzie sprawdź obciążenie interfejsu sieciowego, obciążenie procka i dysku w momencie uruchomienia renderingu. Nikt za Ciebie tego nie zrobi.

[Szczota 98]

Masternod dobrze by zapiąć na linku 10gbit do switcha.

 

Prosta matematyka.

Plik 2gb przesyła się około 20sekund na maszynę jedna. Pomnóż to razy 10 i daje nam to 200 sekund czyli 3min z groszami i to przy założeniu z średnia prędkość wyniesie 100MB/s

[narmiak 502]

Wymagasz wydajnej sieci, a korzystasz ze switcha SOHO i z jakiegoś niezrozumiałego dla mnie powodu karty sieciowej na USB w serwerze?

No chłopie. Jak to ma działać?

Xeon to procesor. Nic nie mówi o przepustowości sieci. Co to dokładnie za serwer i dlaczego nie korzystasz chociażby z wbudowanej sieciówki, albo nie kupisz takiej na PCIe z kilkoma portami i możliwością agregacji łącza?

[LukasPreiss 0]

dzięki za odpowiedzi,

- niestety iperf mi się nie uruchamia na win 10 64 bit - włączam i szybko znika, nie pokazuje sie w task manager.

- czyli rozumiem ,że jest sens aby kupić switch 10 gbit? Jaki model switcha polecacie?

- karty usb w serwerach mam dlatego ,że defaultowo są tam wbudowane jakies inne złącza pod kabel sieciowy ( kabel wchodzi ale nie jest wykrywane połączenie) i nie miałem jak ich wykorzystać ze zwyklymi kablami i moim switchem tp link TL-SG108

- serwery mam takie:https://www.bargainhardware.co.uk/foxconn-1u-lga2011-cloud-server-configure-to-order

[narmiak 502]

Serwer nie posiada zwykłej ethernetowej karty sieciowej. To, do czego pasuje kabel to port zarządzania, dzięki któremu możesz zdalnie zarządzać serwerem tak, jak gdybyś podłączył do niego bezpośrednio myszkę, klawiaturę i monitor. Chyba. Nie wiem, jak to jest rozwiązane w Foxconach ale w ten sposób działa iLO od HP i IMM od IBM.

Serwer za to posiada gniazdo SFP+ do którego możesz podłączyć albo gotowy kabel zwany DAC, albo wkładkę dodającą port optyczny lub Ethernetowy + wybrany kabel. Tak czy siak będziesz miał wtedy na tym porcie nawet 10 Gbps. Do tego switch z kompatybilnym portem i jesteś ustawiony, bo sygnał z serwera jest przesyłany kablem optycznym do switcha, który rozdziela go potem na kable miedziane. A teraz minus. 3 metrowy kabel DAC to koszt ok 100 zł, switche z tym portem zaczynają się od ok 1000 zł (są też tańsze z modułem SFP bez +).

Patrząc jednak na sprzęt, jaki podałeś to poszedłeś raczej w taniość niż w jakość i marne szanse, że będziesz chciał wydać jeszcze tyle pieniędzy na upgrade sprzętu żeby to chociaż odrobinę sensowniej działało.

[SeN81 34]

Wg specyfikacji ten serwer ma kartę 10Gbps z modułem SFP+ czyli podłączasz do niego światłowód. Natomiast drugi interfejs 1Gb służy tylko do zarządzania serwerem więc nie dziw że nie działa ci na nim LAN.

 

IMO aby to chulało jak należy to kup switch z portami SFP+ i kabel światłowodowy, może być DAC lub wkładka SFP+ + kabel światłowodowy.

Nie wiem ile masz tych serwerów ale jeśli nie więcej niż 2 to proponował bym zakup:

- switch - https://cdr.pl/p5853,mikrotik-cloud-router-switch-crs326-24g-2s-rm-dual-boot.html

- kabel DAC - https://cdr.pl/p6162,opton-direct-attach-cable-kabel-dac-sfp-sfp-10g-1m-awg24.html , dla każdego serwera

 

ewentualnie jeśli serwerów jest nie więcej niż 4 to switch z 4 portami SFP+

https://cdr.pl/p5162,tp-link-t1700g-28tq-24x-ge-4x-sfp-sfp.html

 

a jak więcej niż 4 to dodatkowo dedykowany switch tylko z portami SFP+, wtedy serwery podłączasz do switcha SFP+ a ten z kolei do drugiego switcha.

[LukasPreiss 0]

dzięki bardzo za odpowiedźi,

 

myślę , że priorytetem dla mnie jest zbudowanie wydajnej sieci liczącej rendering 3d , w której będę miał około 10 rendernodów.

Rozumiem jednak ,że im więcej kompów tym siec bardziej obciążona i mniejsze trensfery przesyłu assetów z masternoda do innych nodów.

Myślę, że 10 kompów wystarczy, czyli będę potrzebował 11 portów z wysoką przepustowością (+1 port na internet)

 

Ten switch tp linka https://www.cdr.pl/p5162,tp-link-t1700g-28tq-24x-ge-4x-sfp-sfp.html ma ich wystarczająco dużo i jeszcze 4 sfp.Więc skłaniam sie ku niemu.

(Mam 3 te serwery foxconna a reszta to desktop pc i jeden laptop z 9900k desktopwym.)

Czy potrzebuje jakieś inne kable ethernet do połączenia desktopów i laptopa do tego switcha ,aby transfery były wysokie?

 

Też zastanawie mnie jak mają to zorganizowane wielkie renderfarmy typu rebusfarm / garagefarm przy tak wielu serwerach??

[LukasPreiss 0]

własnie przejrzałem sobie switche na stronie cdr i mam pytanie:

- czy nie lepiej kupic Switch z 16x 24gbit ethernet port + przejściówkę z sfp na ethernet?

- czy lepiej switch który ma ethernet oraz sfp i dokupic kablec DAC?

rozumiem ,ze te ethernet 24 gbit jest szybsze niż 10gbit sfp +?

[1minuser 0]

własnie przejrzałem sobie switche na stronie cdr i mam pytanie:

- czy nie lepiej kupic Switch z 16x 24gbit ethernet port + przejściówkę z sfp na ethernet?

- czy lepiej switch który ma ethernet oraz sfp i dokupic kablec DAC?

rozumiem ,ze te ethernet 24 gbit jest szybsze niż 10gbit sfp +?

Linkuj konkretne modele, bo inaczej zrobisz sobie krzywdę kupując coś co nie zadziała.

Nie ma switchy 24Gbit

Są 24 portowe, gdzie każdy port ma 1 Gbit

Są też takie, gdzie każdy port jest 10 Gbit, albo część jest 10 Gbit, a reszta jest wolniejsza, jak 1Gbit.

SFP to zwykle 1Gbit

SFP+ to zwykle 10Gbit

Tak samo kable są różne i musisz bardzo uważać, co kupujesz.

Nie każdy port SFP(+) pozwala na użycie wkładki, która zrobi z niego Ethernet.

 

Proponowany przez użytkowników układ to:

Twój Serwer z karta sieciowa z interfejsem SFP+ <-- Kabel DAC, miedziany, 10Gbit, 3m -- > Switch z portami 10GBit SFP+ i portami Ethernet 1Gbit ---> kable ethernet które już masz --> stacje robocze czy co tam masz

 

W takim połączeniu, jeśli Twój serwer jest w stanie tyle danych dostarczyć, to około 10 stacji będzie miało 1 Gbit połączenia z serwerem jednocześnie (w wielkim uproszczeniu).

 

W Twoim obecnym, 1 Gbit z serwera jest dzielone na 10, do poziomu ~100mbit/s dla każdej stacji (każda ze stacji ma łącze 1 Gbit ze switchem, ale 1 Gbit do serwera jest wąskim gardłem).

 

Ja tylko mam nadzieję, że dobrze rozumiem, co chcesz osiągnąć i w którą stronę płyną dane.

[LukasPreiss 0]

dzięki,

 

dane są transportowane z masternoda do rendenodów ( 2GB assetów) i później z rendernodów do masternoda trafia przeliczony materiał - który ma wagę około 500 mb z każdego rendernoda

 

działa to tak:

 

albo tu:

https://www.google.com/imgres?imgurl=https%3A%2F%2Fstatic.videomaker.com%2Fwp-content%2Fuploads%2Fdrpl%2Farticles%2F18933%2F362%2520C01%2520Editing%2520secondary%25202.png&imgrefurl=https%3A%2F%2Fwww.videomaker.com%2Farticle%2Fc01%2F18933-make-a-render-farm-out-of-old-computers-for-a-cost-effective-way-to-speed-up-rendering&docid=LSdYQqrJFgrIpM&tbnid=Mpgats7UoDZHzM%3A&vet=10ahUKEwiW9f_b7NzjAhXNwsQBHSkbCs8QMwiFASg2MDY..i&w=1200&h=675&client=firefox-b-d&bih=1086&biw=1891&q=vray%20distributed%20rendering%20node%20setup&ved=0ahUKEwiW9f_b7NzjAhXNwsQBHSkbCs8QMwiFASg2MDY&iact=mrc&uact=8

[SeN81 34]

Serwer z którego rendernody będą pobierały materiał powinny być wyposażone w jak najszybsze dyski , także najlepiej jakby siedziały tam dyski NVMe. Te serwery foxconna niestety nie posiadają portu PCIExpress więc dysku NVMe tam nie wsadzisz. Wiec jeśli miałby one robić za masternody to można by dopakować im RAMu i w nim zrobić RAMDrive na który wrzucał być materiał do dystrybucji po sieci wtedy wydajność dysku nie stanowiła by hamulca. Bo przy dyskach talerzowych i to 7200obr, 1Gb sieci to ty za mocno nie obciążysz.

[Szczota 98]

Jak jest kasa to kup taki switch Mój link

Cena rewelacja. Jedyna wadą że wyje niemiłosiernie i jest głęboki.

U mnie poleciał do piwnicy wraz ze swiatlem

[1minuser 0]

Za 40Gbit i tyle portów 10Gbit tak, rewelacja, ale jeszcze trzeba karty sieciowe po stronie klientów + wkładki sfp+

Chyba nie połączy tego kablami DAC jak ma być w piwnicy?

 

@SeN81

Nie wiesz czy program zapisuje dane na dysk po odbiorze czy tylko do ram. No, chyba, że wiesz, to napisz.

[Szczota 98]

Wkładki sfp+ multimode są po 75zl.

Patchcordy dokupić i do serwerów karty używane Intela na sfp+ nie są drogie.

Zrobi się raz do porządku i spokój na lata.

 

Osobiście preferuję kable jednomodowe ale na 10gbit są drozsze wkladki

[SeN81 34]

Zapewne to co nie zmieści się w ramie wrzucane jest do pliku stronicownia a więc na dysk. Więc jeśli materiał do obróbki waży te 2GB to bez problemu zmieści się w RAMie.