Techniki rekonstrukcji obrazu w grach - NVIDIA DLSS, AMD FSR, Intel XeSS, Checkerboard Rendering oraz inne

[kadajo 20550]

1 godzinę temu, Phoenix. napisał:

Bo tworzenie klatki przez TV a FG to nie to samo, trudno zrozumiec Jedyne co maja wspolnego to  wstawanie miedzy klatke udawanej klatki. Ale przeciez dla ciebie to ta sama jakosc i to samo wykonanie

Jak mi udowodnisz, ze tv tworzy tej samej jakosci klatke co FG to wysylam ci flaszke ale twoje niedoczekanie

A jak mam sie nie czepiac technicznych szczegolow jak od tego zalezy jakosc obrazu, nagle to nie ma znaczenia ??

Nie od dzis wiadomo ze interpolacja w tv o cos na zsadzie AMF 1.0 AMD czyli jedna wielka sraczka na ekranie zrywajaca fps przy szybkich ruchach. No ale dla ciebie obie techniki robia to samo i ja sie czepiam technicznych szczegolow wykonnia tego

Ale gdzie ja napisałem, że jest to takiej samej jakości ?
Napisałem, tylko że obydwie technologie to interpolacja klatek, czyli wstawianie klatki pośredniej pomiędzy klatki prawdziwe.

To ty zacząłeś się kłócić ze to nie to samo, bo nie działają tak samo i nie mają tej samej jakości.

Można co najwyżej napisać ze FG nie jest klasycznym interpolatorem klatek tylko bardziej zaawansowanym, bo ma dostęp do większej ilości danych gdzie klasyczny interpolator ma tylko klatkę Video.
Definicja interpolatora klatek:

Interpolacja klatek wideo polega na analizowaniu istniejących klatek w filmie i tworzeniu nowych klatek, które są wstawiane pomiędzy oryginalnymi klatkami.
Proces ten polega na przewidywaniu ruchu i zmian pomiędzy klatkami, przy użyciu algorytmów do oszacowania, jak powinny wyglądać klatki pośrednie.

 

 

Zapytałem się czataGPT i też nie rozumie do końca, o co chodzi, ale ostatecznie na końcu przyznaje racje

 

Czy Frame Generation Nvidii jest interpolatorem klatek ?

 

ChatGPT
NVIDIA Frame Generation nie jest klasycznym interpolatorem klatek, chociaż jego funkcja jest podobna. Kluczowe różnice:

Interpolator klatek tworzy dodatkowe klatki na podstawie poprzednich i następnych klatek wideo, przewidując ruch między nimi.
Frame Generation Nvidii działa na bazie sztucznej inteligencji i danych dostarczanych przez grę, takich jak wektory ruchu, aby generować nowe klatki. To bardziej zaawansowana technologia, wykorzystująca AI do przewidywania, co powinno znaleźć się w nowych klatkach,
a nie tylko wypełnianie luk między istniejącymi klatkami.
Więc nie jest klasycznym interpolatorem klatek, ale pełni funkcję generowania dodatkowych klatek, jednak w bardziej zaawansowany sposób.

 

Więc jest interpolatorem czy nie ?

 

ChatGPT
Nie, NVIDIA Frame Generation nie jest interpolatorem klatek w klasycznym sensie. Chociaż generuje dodatkowe klatki, to robi to za pomocą sztucznej inteligencji, a nie przez interpolację istniejących klatek.

Technicznie rzecz biorąc, interpolacja polega na przewidywaniu pośrednich klatek między dwiema istniejącymi. NVIDIA Frame Generation tworzy całkowicie nowe klatki, bazując na analizie ruchu i danych z renderowania, a nie na interpolacji między sąsiadującymi klatkami.

Czyli: NVIDIA Frame Generation nie jest interpolatorem klatek, choć może mieć podobny efekt zwiększania płynności obrazu.

 

Ale przecież Frame Generation przewiduje klatkę tylko dzięki sztucznej inteligencji tylko robi to znacznie lepiej niż klasyczny interpolator.
Więc to nadal interpolator klatek tylko bardziej zaawansowany czy nie ?

 

ChatGPT
Masz rację co do tego, że NVIDIA Frame Generation przewiduje dodatkowe klatki i że proces ten jest bardziej zaawansowany dzięki sztucznej inteligencji. Zatem, pod względem funkcji – generowania nowych klatek w celu zwiększenia płynności – można uznać, że działa podobnie do interpolatora.

Jednak różnica tkwi w metodzie działania. Klasyczne interpolatory klatek przewidują pośrednie klatki na podstawie dwóch sąsiednich klatek wideo, często na podstawie prostych algorytmów analizy ruchu. Frame Generation Nvidii działa natomiast w oparciu o:

Dane z gry (np. wektory ruchu).
Sztuczną inteligencję, która przewiduje całe klatki, nie tylko na podstawie sąsiednich klatek, ale także bardziej kompleksowych danych.
Dlatego technicznie rzecz biorąc, nie jest to klasyczny interpolator klatek, ale bardzo zaawansowana metoda przewidywania klatek. Można go nazwać "generatorem klatek". Różnica jest więc bardziej semantyczna i techniczna:
Frame Generation to bardziej zaawansowana technologia niż klasyczna interpolacja, ale ostatecznie jego funkcja – tworzenie dodatkowych klatek w celu poprawy płynności – jest podobna.

W skrócie:

Tak, pełni rolę tworzenia dodatkowych klatek (więc w tym sensie spełnia funkcję interpolatora),
Ale nie, nie jest to klasyczna interpolacja, bo używa dużo bardziej zaawansowanych technik.

 

Ale ja się nie pytam, czy jest to klasyczny interpolator tylko, czy to ogólnie jest interpolator ?

 

ChatGPT
Tak, NVIDIA Frame Generation można uznać za interpolator klatek, ale bardziej zaawansowany. Chociaż nie jest to klasyczna interpolacja oparta na analizie sąsiadujących klatek, jego funkcja jest podobna — przewiduje i generuje dodatkowe klatki w celu zwiększenia płynności ruchu.

Więc w ujęciu ogólnym: tak, jest to interpolator, ale oparty na sztucznej inteligencji i bardziej zaawansowanych technologiach, które przewyższają tradycyjne metody interpolacji.

 

Czyli po prostu Frame Generator to zaawansowany interpolator klatek ?


ChatGPT
Tak, dokładnie! NVIDIA Frame Generation to zaawansowany interpolator klatek, który wykorzystuje sztuczną inteligencję i zaawansowane algorytmy do przewidywania i generowania nowych klatek.
W porównaniu do klasycznych interpolatorów klatek działa znacznie lepiej, ale jego podstawowa funkcja — tworzenie dodatkowych klatek w celu zwiększenia płynności ruchu — pozostaje taka sama.

Można więc powiedzieć, że Frame Generation to zaawansowany interpolator klatek.

 

END OF LINE

No i wszystko się zgadza, ja nigdzie nie napisałem ze interpolacja klatek w TV jest tak dobra jak FG tylko ze geneza/założenie działania jest takie same, czyli przewidywanie i generowanie dodatkowych klatek w celu zwiększenia płynności ruchu. Czyli w obydwu przypadkach interpolujemy klaki. Przecież artefakty, które powstają przy FG, powstają dokładnie z tego samego powodu jak te w klasycznych interpolatorach. Natomiast przez to ze technika FG jest bardziej zaawansowana powoduje ze tych artefaktów jest znacznie mniej a sama technologia jest bardziej wydajana. Ale koniec końców to jest nadal interpolator.

[skypan 2541]

Dla mnie nie ma znaczenia jak ta klatka powstaje. Tu i tu są generowane a najlepsze jest to, że robi to jakiś tam śmieszny procesor z TV i jak już było wspomniane było to lata przed tym co dała Nvidia w RTX z rodziny 4xxx za grube tysiące. 

[kadajo 20550]

FG to chyba pierwszy wyspecjalizowany interpolator klatek do grafiki 3D. Ale nie mam pewności czy ktoś wcześniej tego nie próbował. Na pewno nie można mu odebrać tego że działa nadzwyczaj dobrze.

[Phoenix. 12500]

5 godzin temu, kadajo napisał:

To ty zacząłeś się kłócić ze to nie to samo, bo nie działają tak samo i nie mają tej samej jakości.

Ja się nie kłócę tylko stwierdziłem że zasada jest podobna bo nazwa podobna ale technicznie obydwie interpolacje się znacząco różnią bo FG wykorzystuje AI i więcej danych  Jakościowo to jest spora różnica oraz napisałem tez że to jest wstawianie klatki między inne klatki po prostu bez użycia słowa „interpolacja”  No ale Ty już wyczerpałeś temat z czatem gpt więc nic dodawać nie trzeba 👌

[azgan 9243]

Korzysta z AI a efekt jest i tak 💩 bo nadal generuje artefakty co widać najczęściej jak jest HUD w grach, ma więcej danych a i tak gubi się w różnych scenariuszach 😁. Najlepsze jest to że FG od AMD nie wykorzystuje chyba AI a wygląda to praktycznie tak samo jak u NVIDIA różnica jest wyczuwalna tylko w Input Lag gdzie Reflex zauważalnie go zmniejsza.

Edytowane 29 Września przez azgan

[kadajo 20550]

Dziś sobie zainstalowałem Forze Horizon 5 i trochę się pobawiłem ustawieniami.
Testowałem DLAA i FG.

Przy ustawieniu DLAA+FG z bazowymi 82 FPS udało się dobić do maksymalnego FPS dla monitora (Freesync włączony 158 FPS) i ku mojemu zdziwieniu w dzień nie dało się wyłapać żadnych artefaktów, choć ich usilnie szukałem. 
Robiłem też test w nocy i tam już dało się wyłapać w kilku miejscach, m.in. przy cieniu samochodu, który się za nim ciągną.
Ale ogólnie dało się praktycznie zdublować FPS, obciążenie karty wyraźnie wzrosło wiec te "darmowe" klatki nie są do końca takie darmowe.

Eksperyment był o tyle ciekawy ze przez tydzień grałem w FH 4 gdzie jak wiadomo nie ma DLAA czy FG wiec używałem tam DLDSR i grałem w skalowanym 4K. 
Po odpaleniu "5", włączeniu DLAA i ostrości na 30% obraz do złudzenia przypominał to co widziałem w FH4 z DLDSR, oczywiście nie był aż tak szczegółowy i drobne detale uciekały, ale ogólnie było naprawdę blisko skalowanego 4K.

Trzeba przyznać ze Nvidia umie czarować tymi technikami i naprawdę to robi niezłe wrażenie i robotę.
Przynajmniej w FH 5

[ronaldo864 163]

FH5 DLAA ma ogromne problemy z kablami łączącymi słupy elektryczne. Natomiast w Forza motorsport DLAA powoduje ghosting za samochodami. FG zmiękcza obraz i to znacząco jak dla mnie. Każda z tych technologi ma jeszcze spory aspektów do poprawy.

Edytowane 6 Października przez kadajo
Nie cytujemy postów bezpośrednio odpowiadając na nie niżej. Następnym razem post zostanie usunięty.

[kadajo 20550]

To zależy w którą stronę kable na słupach są widoczne na ekranie. Przynajmniej z tego co dzis widziałem, może kiedyś był z tym większy problem. FM aktualnie nie posiadam.
Ciekawe co piszesz o zmiękczeniu obrazu przez FG, bo to DLAA zmiękcza obraz, a nie FG. DLAA to technika AA, która z zasady zmniejsza ostrość obrazu w celu jego wygładzenia.
Z tego powodu mamy w grze dostępne wyostrzenie, aby każdy ustawił pod siebie ostrość.

[Phoenix. 12500]

14 minut temu, ronaldo864 napisał:

H5 DLAA ma ogromne problemy z kablami łączącymi słupy elektryczne.

I pewnie w grze wyscigowej  przy 150fps to zapewne problem

14 minut temu, ronaldo864 napisał:

 FG zmiękcza obraz

Bzdrua.

Potocznie zmiekczenie rozdzialki i obrazu to po prostu nizsza rozdzialka, przy FG nic takie nie ma miejsca.

14 minut temu, ronaldo864 napisał:

Natomiast w Forza motorsport DLAA powoduje ghosting za samochodami.

Te techniki tak maja dlatego wole bazowy wysoki fps i FG bez DLSS.

Edytowane 6 Października przez Phoenix.

[kadajo 20550]

4 minuty temu, Phoenix. napisał:

I pewnie w grze wyscigowej  przy 150fps to zapewne problem

Nie zwraca się na to uwagi co jest chyba oczywiste

4 minuty temu, Phoenix. napisał:

Poteoczne zmiekczenie rozdzialki i obrazu to po prostu nizsza rozdzialka, przy FG nic takie nie ma miejsca.

Jemu się chyba pomylił FG z DLSS

 

 

[azgan 9243]

5 godzin temu, kadajo napisał:

To zależy w którą stronę kable na słupach są widoczne na ekranie. Przynajmniej z tego co dzis widziałem, może kiedyś był z tym większy problem. FM aktualnie nie posiadam.
Ciekawe co piszesz o zmiękczeniu obrazu przez FG, bo to DLAA zmiękcza obraz, a nie FG. DLAA to technika AA, która z zasady zmniejsza ostrość obrazu w celu jego wygładzenia.
Z tego powodu mamy w grze dostępne wyostrzenie, aby każdy ustawił pod siebie ostrość.

W Forza Horizon 5 rzeczywiście dobrze to wygląda 

[ronaldo864 163]

7 godzin temu, kadajo napisał:

Nie zwraca się na to uwagi co jest chyba oczywiste

Jemu się chyba pomylił FG z DLSS

 

 

Oczywiście lakonicznie napisałem, że Fg zmiękcza obraz, a to nie prawda. DLAA + FG zmiękcza obraz względem natywnej, dodaje input laga i artefakty, oraz prawie zawsze problemy powoduje problemy ze  *hudem* gry. 

[kadajo 20550]

4 godziny temu, azgan napisał:

W Forza Horizon 5 rzeczywiście dobrze to wygląda 

Teraz sobie tak pomyślałem ze FH5 ma trochę nawalone blura i glow, przez co obraz w ilość detali nie grzeszy może dlatego "rozmydlacze" tutaj się tak dobrze sprawdzają.

[azgan 9243]

@kadajo bardzo możliwe nie zmienia to faktu że rzeczywiście jest tak jak napisałeś i FG w tym tytule nie przeszkadza zresztą tam nawet nie ma za bardzo czasu żeby się przyglądać podczas wyścigów i tak nie zwraca się na to uwagi

[galakty 6687]

A na prawili dym? Przy DLSS było widać kwadraty zamiast ładnego dymu

[kadajo 20550]

To akurat widać nawet bez DLSS i jest nadal

[galakty 6687]

Supcio, mnie to strasznie irytowało jak z daleka widzisz linię mety i kwadraty z Minecraft XD

[azgan 9243]

https://ithardware.pl/aktualnosci/technologia_dlss_dociera_do_kolejnych_gier_na_liscie_silent_hill_2-35665.html

[Phoenix. 12500]