Chia "kopanie na dysku".

[mobo 18]

Godzinę temu, arcticfox napisał:

Niestety nie działa to, Windows 10 to paździerz, nadal wywala to samo co kiedyś B1InitializeLibrary failed 0x00000bb, to co piszesz to dotyczy SATA RAID  a nie PCIE NVMe RAID, SATA RAID w biosie nie koliduje mi z systemem

@RemiKo te Seagate na USB się grzeją, nie mają aktywnego chłodzenia

Nie ma różnicy dla Windowsa czy SATA czy NVMe. Mi to rozwiązało sprawę przy  PCIE NVMe 970PRO w RAID 0. 

Ale przed ustawieniem w RAID trzeba system przestawić w "awaryjny" i potem lecieć z tematem. Kluczowa jest kolejność.
X299 czy Z490 nie miały problemów z tym. Tutaj u Ciebie może być kwestia że masz AMD. A kontrolery RAID na AMD jednak odbiegają od tych na Intelu.... choć nie podejrzewam ze akurat tutaj ma to jakieś znaczenie...

Edytowane 18 Maja 2021 przez mobo

[arcticfox 128]

28 minut temu, mobo napisał:

Nie ma różnicy dla Windowsa czy SATA czy NVMe. Mi to rozwiązało sprawę przy  PCIE NVMe 970PRO w RAID 0. 

Ale przed ustawieniem w RAID trzeba system przestawić w "awaryjny" i potem lecieć z tematem. Kluczowa jest kolejność.
X299 czy Z490 nie miały problemów z tym. Tutaj u Ciebie może być kwestia że masz AMD. A kontrolery RAID na AMD jednak odbiegają od tych na Intelu.... choć nie podejrzewam ze akurat tutaj ma to jakieś znaczenie...

AMD a Intel to inna para kaloszy

https://pclab.pl/art75813-3.html

https://community.amd.com/t5/drivers-software/amd-nvme-raid-drivers-which-one-to-choose/td-p/425172
 

mam nadzieję, że to rozwiąże problem, szczególnie istotny jest dobór sterownika

Edytowane 18 Maja 2021 przez arcticfox

[dinozaur50 72]

2 godziny temu, lukadd napisał:

Goodram się chyba popłacze jak ludzie zaczną te ich dyski wykorzystywać do plotowania

"SSD CX400 gen. 2 bazuje na wydajnych pamięciach NAND Flash 3D w technologii TLC. Intensywne testy i umiejętny dobór komponentów umożliwił stworzenie wydajnego i wytrzymałego dysku. Jako dowód zastosowania najwyższej jakości komponentów oraz niezwykłej dbałości o szczegóły, dysk objęty jest 3-letnią gwarancją bez ograniczenia TBW."

Chyba ktoś bzdurę napisał. W warunkach gwarancji jest

1. Produkty firmy Wilk Elektronik S.A. objęte są wieczystą gwarancją producenta, za wyłączeniem:

 dysków SSD GOODRAM C Series, które objęte są 3-letnią gwarancją producenta ograniczoną parametrem TBW 

Choć rzeczywiście na stronie napisane że bez ograniczenia TBW ale wyżej najważniejsze cechy znów jest ograniczenie parametrem TBW  No jest pole do popisu

Edytowane 18 Maja 2021 przez dinozaur50

[lukadd 9020]

No faktycznie bzdury piszą Nawet widzę, że w sklepach też tak potrafią ten dysk reklamować. W danych technicznych jest 350TBW dla wersji 500GB i 720TBW dla 1TB.

https://www.goodram.com/produkty/ssd-cx400-gen-2-sata-iii-25/

[Karister 1533]

@RemiKo wiesz, że te Seagate są w wersji 5TB?  Też ich używam.

[RemiKo 293]

@Karister Jaki masz parametr PLN/1TB na Twoich dyskach?

W sensie, po ile je kupiłeś, bo to jest najistotniejsze

Edytowane 18 Maja 2021 przez RemiKo

[Karister 1533]

To zależy od momentu kupna. Na początku wychodziło 80PLN/TB, teraz jest stówka. Chyba podobnie, co z 4TB, ale na większych masz mniejszy % zmarnowanej przestrzeni (bo ostatni plik nie wejdzie) oraz mniej hubów USB trzeba per TB.

[RemiKo 293]

Czyli całkiem podobnie kupiliśmy.

Mówisz, że jesteś w stanie upchać 46 działek na dysk 5TB i nie brakuje Ci miejsca?

Wiesz, ja ze względów bezpieczeństwa przyjąłem, że jeden plot to równowartość 102GB i wg moich obliczeń to właśnie na 5TB zmarnuję najwięcej miejsca, a 8TB i jego wielokrotność będzie idealna.

Docelowo chcę te wszystkie dyski wrzucić w obudowę Rack 2U i wtedy programowo scalić dwa dyski fizyczne w jeden, żeby osiągnąć 8TB. Będą miały chłodzenie i ładnie będą wyglądały w szafie rack 

...

Huby USB 3.0 już mam. W sensie nie musiałem ich kupować, bo dostałem je jako gratis w postaci dysków 6 i 8TB Seagate Backup Plus Hub:

Tymczasowo bardzo ładnie mi to wszystko zagra, bo te porty i tak się obecnie marnują

[Karister 1533]

Nie, nie wejdzie 46. Działka zajmuje 108,877GB. Chodziło mi o to, że 100GB wolnego miejsca na dysku 1TB to 10% straty jego pojemności. Dla 4TB 2.5%, a dla 5TB 2%. Im większy dysk, tym to ostatnie, wolne 100GB to mniejsza strata przestrzeni w %. Z drugiej strony, dla niektórych pojemności (np 12GB) zapcha się prawie pod korek i zostanie tylko koło 20GB wolnego miejsca. Więc w sumie chyba nie ma co się spinać.

Edytowane 18 Maja 2021 przez Karister

[Minciu 5609]

Tutaj macie polski test wypierdów 250GB. 

 

 

[RemiKo 293]

Mi wszystkie działki (każda osobno) zajmują na dysku obszar dokładnie 101 GB (bajtów: 108 906 565 632), czyli jakieś 101,4271 GB.

Dyski 4TB mają dokładnie 3725,29 GB, a 5TB mają 4656,61 GB.

Na dyski 4TB zmieszczę więc 36,7287 działki, a na 5TB weszłoby 45,9109 działki.

Zaś na 8TB wejdzie 73,4575 działki, czyli są najbardziej opłacalne.

Łącząc dwa dyski 4TB w jeden 8TB dorzucę sobie działeczkę "gratis"

[Minciu 5609]

Nie trzeba jak siedzisz na Windowsie. Zmniejsz partycje tak aby dało się resztki połączyć  

Z końcówek możesz zrobić łączonego stripa co sumuje pojemność. Albo zakładaj od razu partycje spasowane pod działki . 

[Karister 1533]

33 minuty temu, RemiKo napisał:

Mi wszystkie działki (każda osobno) zajmują na dysku obszar dokładnie 101 GB (bajtów: 108 906 565 632), czyli jakieś 101,4271 GB.

Dyski 4TB mają dokładnie 3725,29 GB, a 5TB mają 4656,61 GB.

Na dyski 4TB zmieszczę więc 36,7287 działki, a na 5TB weszłoby 45,9109 działki.

Zaś na 8TB wejdzie 73,4575 działki, czyli są najbardziej opłacalne.

Łącząc dwa dyski 4TB w jeden 8TB dorzucę sobie działeczkę "gratis"

Windows kłamie i to, co podaje jako GB, to są tak naprawdę GiB. Działka zajmuje 101.4GiB czyli 108.877GB, a Twoje dyski mają po 4000GB = 3725GiB. Producenci dysków akurat piszą prawdę i nie motają jednostek. Z tego powodu, kupując dysk 4000GB, Windows podaje mniej. Bo podaje GiB, a pisze GB. Czyli dzielisz albo 4000/108.877 albo 3725/101.4 i dostajesz ~36.76.

Edytowane 18 Maja 2021 przez Karister

[Minciu 5609]

Z ciekawszych rzeczy, Phiosion E12 + Toshiba BiSC3 2TB nie ogarnia 5 działek na garbie, czas jaki miałem to Total 28000s

W tym samym czasie Raid 2xNVME PC400 512GB (Micron z 3D MLC) miał okolice 22000s

I jeszcze wspominany MX300 275GB SATA również zrobił okolice 28000-29000s

 

Rano będę miał wynik dla Phision E12 na 4 działkach. Później zamknę jeszcze jedną i zejdę na 3 działki.

 

Jak to czytać? Ano jak ktoś ma 2xNVME, to 10 działek nawet niech nie odpala bo to klęska wydajności na Phisionie E12 PCUE 3.0. Prawdopodobnie E16 i E18 z PCIE 4.0 również polegną, bo mimo teoretycznych transferów z kosmosu, to same kości mają wydajność taką jak E12. Kontroler nieco lepszy, ale warto sprawdzić na dwa osobne dyski bez raida co się dzieje kiedy dysk dłubie 3/4/5 działek na raz. Czyli wystarczy walnąć na jeden dysk 3 działki a na drugi 5 działek i porównać. Później 2x4 działki a będzie przekrój dla możliwości naszego NVME. Można też dorzucić 2 działki / 6 działek. W takim teście ciągle będzie po 8 działek na ramie i CPU ale na dyskach różnie dowalone obciązenie. Pozwoli to określić gdzie jest granica NVME. U mnie ewidentnie coś jest słabawo. No chyba że się mylę i nawet na mniejszej ilości działek poprawy nie będzie? 

 

Edytowane 19 Maja 2021 przez Minciu

[RemiKo 293]

@Minciu

Hehe, próbowałem to zrobić na dyskach podpiętych pod USB, ale nie otrzymałem takiego pozwolenia od Windowsa

@Karister

Myślę, że możesz mieć rację, bo cały ten ekosystem Chia aż prosi się o Linuxa.

Z lenistwa puszczam wszystko na Windzie, bo większość kompów już miałem wstępnie skonfigurowanych właśnie z tym systemem.

Tak z ciekawości: to jak jeszcze najszybciej mogę sprawdzić ile miejsca tak naprawdę zajmują gotowe działki?

[Karister 1533]

6 minut temu, RemiKo napisał:

Tak z ciekawości: to jak jeszcze najszybciej mogę sprawdzić ile miejsca tak naprawdę zajmują gotowe działki?

Na Windowsie - nie wiem. Na Linuchu wygląda to u mnie tak dla jednego z dysków 5TB (jest na nim 35 plotów):

df -hk /chia/xch-001/chia
Filesystem      1K-blocks       Used  Available Use% Mounted on
/dev/sda2      4883539968 3719963648 1163576320  77% /chia/xch-001

 

Edytowane 18 Maja 2021 przez Karister

[RemiKo 293]

Kurde, zacząłem się zastanawiać nad przestrzenią roboczą...

Bo skoro na Windzie GiB to GB, to po kiego grzyba ja liczę ~256GB temp na działkę, skoro mogę liczyć te 239GB Windowsowych gigabajtów...

Jeżeli to jest prawda, to muszę wszędzie przekonfigurować sobie plottery.

Kurde, człowiek uczy się całe życie

@Karister

Czyli wychodzi Ci 101,3609 GB na działkę.

[Minciu 5609]

Jak puścisz 4x Plota na 1TB ( 2x 512GB NVME ) to się zawiesi bez odstępów czasowych. Jak walniesz plota na z odsępami 40min to spokojnie nic się nie zatnie. Tak na siłę to wystarczy miejsca na 5 plotów nawet, ale z przenoszeniem działek w sesji wydobywczej albo z TMP2 na innm dysku. Tylko znowu robiąc 4x działkę na 1TB kręcisz się w okolicy 75% zapełnienia dysku. Czyli dość bezpieczna opcja nawet dla TLC. Robiąc 5 działek zatkasz dysk prawie pod korek, gdzie nawet MLC nie ogarnie idealnie tamatu.

Zatykając dysk pod korek, raz że spada wydajność, a dwa to SPADA ŻYWOTNOŚĆ. Nie ma wówczas możliwości równomiernego rozkładania zapisów po komórkach. 

Najoptymalniej dla 1TB to plotowanie 4x w odstępach 40min plus wyłaczenie przenoszenia działki na HDD. Przeniesienie zrobionej działki z SSD na HDD musi się odbyć już osobno innym programem

( o ile kontroler da radę - u mnie 1TB to dwa kontrolery więc z palcem w nosie leci, możliwe że szybsze PCIE 4.0 też ogarniają. )

 

Powiedzicie jeszcze jak ustawiacie wątki CPU? Robiąc ploty w odstępach czasowych ponoć jedynie w pierwszej fazie CPU jest wykożystany wielowątkowo? Dajecie po 8 wątków czy więcej? Np dla ryśka 5950 12 wątków? Ktoś robił jakieś porównania?

*Note: As of v1.0.4, phase 1 is the only stage that is multi-threaded.

Edytowane 19 Maja 2021 przez Minciu

[Karister 1533]

Godzinę temu, RemiKo napisał:

 

@Karister

Czyli wychodzi Ci 101,3609 GB na działkę.

GiB.  1000 * 1000 * 1000 bajtów = 1GB (Gigabajt - system dziesiętny). 1024 * 1024 * 1024 bajtów =  1GoB (Gibibajt - system dwójkowy). 1GiB = 1024 * 1024 * 1024 / 1000 /1000 / 1000 = 1.07374GB.

Przykładowo rozmiar mojego plota to 108833410398 bajtów. 108833410398 / 1024 / 1024 / 1024 = 101.36GiB, czyli 108.8GB. Producenci dysków pisząc 5TB, mają na myśli 5000GB, bo stosują dziesiętny system liczbowy. Komputery stosują dwójowy. Linux podaje w jednostkach dwójowych, a Windows też w dwójkowych, ale opisuje je jednostkami dziesiętnymi rotfl. Linucha można poprosić o wydruk w G, czyli GiB:

df -B1G /chia/xch-001/chia
Filesystem     1G-blocks  Used Available Use% Mounted on
/dev/sda2           4658  3548      1110  77% /chia/xch-001

Jak widzisz, dysk 5TB ma 4658GiB (4658GiB / 1024 = 4.54TiB), a Windows napisze Ci, że ma 4.54TB, co jest wierutną bzdurą.

Inna sprawa, czy warto SSD do plotowania upychać pod korek, bo jak napisał @Minciu , może się to nie opłacać ze względu na wydajność pracy takiego dysku..

Edytowane 19 Maja 2021 przez Karister

[RemiKo 293]

@Minciu

Dziękuję za kawał przydatnej wiedzy, popartej praktyką.

...

Tak, tylko pierwsza faza jest wielowątkowa.

Ja po prostu dzielę wątki procesora na pół i wiem, że na spokojnie mogę zrobić tyle działek jednocześnie przy maksymalnej prędkości (puszczam wszystkie na raz - wiem, do ogarnięcia, ale wolałem robić działki, a nie kombinować zbyt bardzo).

@Karister

Bardzo dziękuję Ci za wyjaśnienie tej kwestii. Jak już pisałem: człowiek uczy się całe życie.

...

Sprawdzając moje obliczenia doczytałem się, że "1K-block" to nie 1000, a obecnie już 1024 bajty.

Podsumowując to, nadal mnie to wszystko zadziwia jak teoretycznie proste i przyjemne rzeczy mogą być tak zakręcone

[Karister 1533]

1 minutę temu, RemiKo napisał:

Sprawdzając moje obliczenia doczytałem się, że "1K-block" to nie 1000, a obecnie już 1024 bajty

Tak, 1k oznacza 1000, a 1K oznacza 1024. W normalnych systemach operacyjnych.  

[RemiKo 293]

No to raz na zawsze: GiB i MiB podawane w GUI Chia, to dla użytkowników Windowsa są normalnie GB i MB?

Dotyczy to również pamięci ram, co nie?

 

EDIT:

Ja to od samego początku przeliczałem sobie kalkulatorem aby mi nie zabrakło zasobów

Edytowane 19 Maja 2021 przez RemiKo

[Minciu 5609]

Tutaj są staty z pythona na 10 działek wrzuconego. Widać wyraźnie że druga faza między 40-75% pochłania najwięcej pojemności SSD. Jak dobrze rozłoży się ploty tak na 90minut około, to powinno wyjść max 1 plot w najgrubszej fazie. Wówczas będzie 239GiB + 165GiB + 165GiB + 165GiB + 165GiB = 900GiB na 5 plotów.

Ale weź nie traf idealnie i cała Chia stanie.

https://github.com/swar/Swar-Chia-Plot-Manager

Edytowane 19 Maja 2021 przez Minciu

[RemiKo 293]

@Karister

Wiele mi to dzisiaj wyjaśniło. Raz jeszcze bardzo Ci dziękuję, bo okazuje się, że przez cały ten czas żyłem w błędzie, bo nigdy też nie zgłębiłem tego tematu.

Nadal jestem w lekkim szoku jak bardzo Windows kłamie i jak mocno mają to już gdzieś.

Nauczyłeś czegoś nowego i odkrywczego, dobry człowieku

...

Teraz będę musiał iść przekonfigurować sobie wszystkie maszyny, bo wychodzi na to, że nawet nie wykorzystałem pamięci operacyjnej na maksa

[Karister 1533]

Godzinę temu, RemiKo napisał:

No to raz na zawsze: GiB i MiB podawane w GUI Chia, to dla użytkowników Windowsa są normalnie GB i MB?

Dotyczy się to również pamięci ram, co nie?

 

EDIT:

Ja to od samego początku przeliczałem sobie kalkulatorem aby mi nie zabrakło zasobów

GUI Chia podaje 101.4GiB, czyli prawdę. Co Windows napisze, nie chcę zgadywać.  Po prostu 101.4GiB to jest 108.87GB, a Twoje dyski mają po 4000GB. Dzielisz 4000 przez 108.87 i tyle działek upchasz.

W przypadku RAM nie jest tak samo, aby było trudniej. Nie wiem, jak to podają producenci RAM. Ja mam "16GB" w serwerze domowym. Linuch mówi, że:

free --kilo
              total        used        free      shared  buff/cache   available
Mem:       16490336     2350850      211107        1851    13928378    13778804

Poprosiłem o dziesiętne kilobajty, czyli mam 16490336 kilobajtów. To powinno dać 16490336000 bajtów, czyli 16.49GB albo 16490336000 /1024 /1024 /1024 = 15.36GiB

Można sprawdzić, pytając Linucha o jednostki dwójkowe:

free --kibi
              total        used        free      shared  buff/cache   available
Mem:       16103844     2295728      206184        1808    13601932    13455888

Poprosiłem o dwójkowe kibibajty, czyli mam 16103844 kibibajtów. To jest 16103844 * 1024 = 16490336256 bajtów, czyli 16.49GB albo 16490336256 / 1024 / 1024 / 1024 = 15.36GiB. Powyżej 256 bajtów posiało się na zaokrągleniach, ale ogólnie wychodzi to samo.

Edytowane 19 Maja 2021 przez Karister