slashCAM Forum

Noch vor kurzem wäre die Idee, die Auflösung eines Bildes nachträglich zu erhöhen und so mehr Bilddetails sichtbar zu machen, als unmöglich abgetan worden. Dank DeepLearn...

Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?

Viel interessanter wäre ein Vergleich in Sachen Bewegtbild, was ja erheblich komplexer ist. Da gibt's ja inzwischen ein paar Kandidaten.

Beispiel: altes Interlaced-Archivmaterial (Beta/Beta SP/DV) in glaubhaftes progressives HD verwandeln - was geht real?

Wir haben gerade altes (gutes) HDV-Material in einem Projekt, da muss ich selber mal rumspielen, ob die Versprechen gehalten werden können. Bis jetzt habe ich zwar leichte Verbesserungen, aber nicht das versprochene Wunder aus den Demos gesehen. Wäre schon nett. Und muss gar nicht kostenlos sein.

Bei gutem HDV Material sollte es bzgl. deinterlacing schon sehr gute Ergebnisse in Davinci geben. Dort kann man auch eine KI rechnen lassen, bei Bedarf inkl. superresolution ( hängt ganz hinten in den Sequenz Einstellungen )

Ansonsten ist VEAI von topaz ganz gut beim skalieren. In der aktuellen 3.1 wird schnell gerechnet. Ich habe aber einen Bug: laut Log verabschiedet sich bei mir nach ein paar tausend frames die rtx3090 aus dem System. Black Screen, der Rest läuft weiter...
Die 3.0.12 läuft stabil, aber im Vergleich zur 3.1 deutlich langsamer.

Am deutlichsten sieht man den Detailgewinn bei DV und sonstigem SD Material.
Kompressionsartefakte lassen sich auch gut rausrechnen.
Farbinformationen werden auch "ergänzt". Kommen zwar keine echten 10bit raus, aber das Material wird stabiler beim keying/Grading.

Etwas irreführend, es werden keine zusätzlichen Details sichtbar gemacht sondern plausibel hinzugedichtet.

Wie denn sonst ?
Die KI ist immer noch etwas unberechenbar…;)))
Gruss Boris

medienonkel hat geschrieben: ↑Mo 23 Jan, 2023 18:27 Bei gutem HDV Material sollte es bzgl. deinterlacing schon sehr gute Ergebnisse in Davinci geben. Dort kann man auch eine KI rechnen lassen, bei Bedarf inkl. superresolution ( hängt ganz hinten in den Sequenz Einstellungen )

Cool, danke, kannte bloß die Clip Attributes.

Was nimmt man denn? Schärfer? Weicher? Bikubisch? Erfahrungen?

Lorphos hat geschrieben: ↑Mo 23 Jan, 2023 18:45 Etwas irreführend, es werden keine zusätzlichen Details sichtbar gemacht sondern plausibel hinzugedichtet.

Steht doch im Text:

Super Resolution Verfahren nutzen für das "Mehr an Pixeln" und damit mehr an Bildinformationen nicht die alte und eher primitive Interpolation zwischen bekannten Pixeln, sondern erfinden Details schlüssig hinzu.
....
Man sollte allerdings im Hinterkopf behalten, daß die entstehenden hochskalierten Bilder nur sehr wahrscheinliche, zusätzliche Details enthalten und nicht die "wahren" Details aus der der ursprünglichen Aufnahmesituation des Bildes.

Thomas

In Sachen Bewegtbild wird ja seit einiger Zeit Topaz AI breit beworben. Ich hab es mir vor kurzem tatsächlich gekauft, weil ich ein paar alte DV-Film für den Upload auf youtube aufwerten wollte und kann dazu folgendes sagen:

Was das Programm phantastisch kann: Deinterlacing. Der Wandel von 25i in 50p Material ist absolut tadellos, ohne die sonst oft auftretende Treppchenbildung durch Deinterlacing. Auch das Farbsubsampling wird glattgebügelt und die grobklotzigen Farbinformationen (auffällig grade bei rot) sind danach quasi komplett unauffällig.

Was mich sehr überrascht hat: Topaz AI kann die starke elektronische Nachschärfung von altem SD-Material quasi wegrechnen!! DAS ist für mich ein echtes Highlight, da ich bis dato immer dachte, elektronische Schärfe im Bild ist quasi nicht entfernbar im Nachhinein. Es gibt natürlich Szenen, wo es weniger gut funktioniert und zum Beispiel bei weichen Blenden tauchen die Artefakte dann wieder kurz auf, aber grundsätzlich für mich eines der besten features!

Der eigentliche USP der Software, also das Upscaling: Naja. Die "dazu erfundenen Details" sehen für mich einfach nicht gut aus. Bei klaren Linien schafft es die Software gut, diese nachzuzeichnen. Bei chaotischen Details, wie Haaren oder Blattwerk und Zweige, werden, soweit ich das beurteilen kann, weitere Linien parallel dazu erzeugt und die sehen dann aus die Echowellen oder Rasterdruck. Also für eine Verdopplung der Auflösung mag das noch gehen, aber das was beworben wird ist ja "Von SD auf 4K (oder 8K)" und das ist Quatsch, bzw. sieht einfach nur sch*** aus.

Ich denke mal, wenn in ein paar Jahren die KI versteht, was menschliche Haut ist und was Blattwerk, Haare, Asphalt, etc. dann kann das richtig geil werden. Zur Zeit steckt es noch sehr in den Kinderschuhen meiner Meinung nach.

Bei Deinem vorletzten Bild (der Mann im beigen Jackett) werden für meinen Geschmack zuviele Bilddetails/Texturen glattgegebügelt...

Vectorizer hat geschrieben:Was das Programm phantastisch kann: Deinterlacing. Der Wandel von 25i in 50p Material ist absolut tadellos, ohne die sonst oft auftretende Treppchenbildung durch Deinterlacing. Auch das Farbsubsampling wird glattgebügelt und die grobklotzigen Farbinformationen (auffällig grade bei rot) sind danach quasi komplett unauffällig.

Nur zum Verständnis: Wenn ein Deinterlacer Treppchen an Kanten produziert, dann hat der Schalter auf AUS gestanden. Treppchen hat man nur, wenn kein Deinterlacing durchgeführt wird, sondern die beiden Halbbilder ohne jegliche Verrechnungsmethode zusammen angezeigt werden.

dienstag_01 hat geschrieben: ↑Di 24 Jan, 2023 09:17

Vectorizer hat geschrieben:Was das Programm phantastisch kann: Deinterlacing. Der Wandel von 25i in 50p Material ist absolut tadellos, ohne die sonst oft auftretende Treppchenbildung durch Deinterlacing. Auch das Farbsubsampling wird glattgebügelt und die grobklotzigen Farbinformationen (auffällig grade bei rot) sind danach quasi komplett unauffällig.

Nur zum Verständnis: Wenn ein Deinterlacer Treppchen an Kanten produziert, dann hat der Schalter auf AUS gestanden. Treppchen hat man nur, wenn kein Deinterlacing durchgeführt wird, sondern die beiden Halbbilder ohne jegliche Verrechnungsmethode zusammen angezeigt werden.

Treppchen können beim Deinterlacing immer dort auftreten, wo der Algorithmus versagt und die Halbbilder nicht korrekt ineinander verrechnen kann.
Da siehst Du schön beim DaVinci Deinterlacer in den Einstellungen "Normal" und "High", aber selbst bei der "Neural Engine" kommt es vor, wobei mir vorkommt, dass letztere mit Resolve 18 nochmals einen Qualitätssprung gegenüber DVR17 hatte.

freezer hat geschrieben: ↑Di 24 Jan, 2023 09:39

dienstag_01 hat geschrieben: ↑Di 24 Jan, 2023 09:17
Nur zum Verständnis: Wenn ein Deinterlacer Treppchen an Kanten produziert, dann hat der Schalter auf AUS gestanden. Treppchen hat man nur, wenn kein Deinterlacing durchgeführt wird, sondern die beiden Halbbilder ohne jegliche Verrechnungsmethode zusammen angezeigt werden.

Treppchen können beim Deinterlacing immer dort auftreten, wo der Algorithmus versagt und die Halbbilder nicht korrekt ineinander verrechnen kann.
Da siehst Du schön beim DaVinci Deinterlacer in den Einstellungen "Normal" und "High", aber selbst bei der "Neural Engine" kommt es vor, wobei mir vorkommt, dass letztere mit Resolve 18 nochmals einen Qualitätssprung gegenüber DVR17 hatte.

Ah, ok, ist mir neu.
Ich hatte vor Jahren sehr viel deinterlaced, da ist mir sowas nie untergekommen, da ging es eher darum, dass es nicht zu weich/matchig wird.
Hat wahrscheinlich mit den neuen Methoden zu tun, muss ich mich wieder mal damit beschäftigen, danke.

dienstag_01 hat geschrieben: ↑Di 24 Jan, 2023 09:17 Nur zum Verständnis: Wenn ein Deinterlacer Treppchen an Kanten produziert, dann hat der Schalter auf AUS gestanden. Treppchen hat man nur, wenn kein Deinterlacing durchgeführt wird, sondern die beiden Halbbilder ohne jegliche Verrechnungsmethode zusammen angezeigt werden.

Wenn der Deinterlacer AUS ist, sieht man "Kämme" auf einem progressivem Display, keine Treppchen. Bei meinem Beispielbild ist das Ausgangsmaterial auch schon deinterlaced, so wie es Premiere standardmäßig macht. Aber ohne deinterlacing fand ich es schwerer mit dem Endergebnis zu vergleichen.

Vectorizer hat geschrieben: ↑Di 24 Jan, 2023 10:05

dienstag_01 hat geschrieben: ↑Di 24 Jan, 2023 09:17 Nur zum Verständnis: Wenn ein Deinterlacer Treppchen an Kanten produziert, dann hat der Schalter auf AUS gestanden. Treppchen hat man nur, wenn kein Deinterlacing durchgeführt wird, sondern die beiden Halbbilder ohne jegliche Verrechnungsmethode zusammen angezeigt werden.

Wenn der Deinterlacer AUS ist, sieht man "Kämme" auf einem progressivem Display, keine Treppchen. Bei meinem Beispielbild ist das Ausgangsmaterial auch schon deinterlaced, so wie es Premiere standardmäßig macht. Aber ohne deinterlacing fand ich es schwerer mit dem Endergebnis zu vergleichen.

Ja, hatte sich ja schon geklärt, dass ich keine Ahnung hab ;)

Andere Frage: Was genau wird eigentlich in deinem Bild oben verglichen? Original mit Topaz? Originalgröße, skaliert...?

dienstag_01 hat geschrieben: ↑Di 24 Jan, 2023 10:26

Vectorizer hat geschrieben: ↑Di 24 Jan, 2023 10:05

Wenn der Deinterlacer AUS ist, sieht man "Kämme" auf einem progressivem Display, keine Treppchen. Bei meinem Beispielbild ist das Ausgangsmaterial auch schon deinterlaced, so wie es Premiere standardmäßig macht. Aber ohne deinterlacing fand ich es schwerer mit dem Endergebnis zu vergleichen.

Ja, hatte sich ja schon geklärt, dass ich keine Ahnung hab ;)

Andere Frage: Was genau wird eigentlich in deinem Bild oben verglichen? Original mit Topaz? Originalgröße, skaliert...?

Oben ist das original, auf gleiche Größe skaliert mit den Einstellungen von Premiere. Unten ist mein Ergebnis mit zwei Durchgängen in Topaz AI: Erster Durchgang deinterlacing und "dehalo"ing - so nennt Topaz das Schärfe wegrechnen - zweiter Durchgang Upscaling durch den Proteus-algorithmus mit angepassten Einstellungen.

Vectorizer hat geschrieben: ↑Di 24 Jan, 2023 11:27

dienstag_01 hat geschrieben: ↑Di 24 Jan, 2023 10:26
Ja, hatte sich ja schon geklärt, dass ich keine Ahnung hab ;)

Andere Frage: Was genau wird eigentlich in deinem Bild oben verglichen? Original mit Topaz? Originalgröße, skaliert...?

Oben ist das original, auf gleiche Größe skaliert mit den Einstellungen von Premiere. Unten ist mein Ergebnis mit zwei Durchgängen in Topaz AI: Erster Durchgang deinterlacing und "dehalo"ing - so nennt Topaz das Schärfe wegrechnen - zweiter Durchgang Upscaling durch den Proteus-algorithmus mit angepassten Einstellungen.

Ah, ok.
Finde es schon interessant, was gerade bei der künstlichen Nachschärfung damit geht.
(Verwenden werde ich es wahrscheinlich trotzdem eher nie, ich wüsste keinen Zweck, altes Material seines ursprünglichen Charakters zu berauben. Ist allerdings eine ästhetische Ansicht; und über die kann man ja bekanntlich streiten ;)

Axel hat geschrieben: ↑Mo 23 Jan, 2023 19:26

medienonkel hat geschrieben: ↑Mo 23 Jan, 2023 18:27 Bei gutem HDV Material sollte es bzgl. deinterlacing schon sehr gute Ergebnisse in Davinci geben. Dort kann man auch eine KI rechnen lassen, bei Bedarf inkl. superresolution ( hängt ganz hinten in den Sequenz Einstellungen )

Cool, danke, kannte bloß die Clip Attributes.

Was nimmt man denn? Schärfer? Weicher? Bikubisch? Erfahrungen?

Ich weiß ehrlich gesagt nicht, ob die superresolution in resolve wirklich was mit der superresolution zu tun hat, die slashcam meint. Also, ob da wirklich ein trainiertes Netz Details dazu erfindet.
Ich kenne den Begriff der superresolution eher im Sinne von spatialem oversampling. Würde auch zu den Auswahlmöglichkeiten passen: 2x,4x,...
Superresolution habe ich mal so verstanden, dass man die originale Auflösung z.b. vervierfacht (z.b. bikubisch) und dann mit einem anderen Filter wieder auf die Zielauflösung runter rechnet. So können z.b. aliasing Artefakte oder leichtes moiré verschönert werden. Und das skalierte Bild wirkt weniger matschig. Hinzu kommt quasi eine Suche nach Details in den umgebenden frames.

Ich weiß allerdings nicht, ob das wirklich was mit neuronalen Netzen zu tun hat.


Gab es auch schon vor Jahren so in avisynth, virtual dub usw.
http://www.infognition.com/articles/wha ... ution.html

Hab bisher alle 1080-Clips (APSC-Modus der A7Siii) farbig markiert und vor dem Export, wenn ich auf UHD umgeschaltet habe, mühselig Superscale gewählt. Schön, dass das auch Auto für die ganze Timeline geht.

medienonkel hat geschrieben: ↑Di 24 Jan, 2023 18:03
Ich weiß ehrlich gesagt nicht, ob die superresolution in resolve wirklich was mit der superresolution zu tun hat, die slashcam meint. Also, ob da wirklich ein trainiertes Netz Details dazu erfindet.

Ja, ich glaub auch nicht, daß SuperScale schon auf AI basiert.

"However, DaVinci Resolve provides advanced Super Scale image processing in the Clip Attributes of
every video and image clip, that make it possible to resize clips beyond their native resolution while
maintaining the perceptible sharpness of a clip that’s still within it’s native resolution. This is an illusion,
but it’s a convincing one."

Axel hat geschrieben: ↑Di 24 Jan, 2023 18:23 Hab bisher alle 1080-Clips (APSC-Modus der A7Siii) farbig markiert und vor dem Export, wenn ich auf UHD umgeschaltet habe, mühselig Superscale gewählt. Schön, dass das auch Auto für die ganze Timeline geht.

Mühselig wählen?

Einen SmartBin anlegen der per Metadaten alle Clips der A7S-III beinhaltet. Kann man auch als Default für alle Projekte anlegen.
SmartBin auswählen um alle Clips der A7S-III im Media Pool zu selektieren und dann mit einer Clip-Farbe belegen.

In der Timeline dann aus dem Menü wählen "Select Clips with Clip Color" und der entsprechenden Farbe. Damit sind alle passenden Clips in der Timeline selektiert.
Dann Rechts-Klick und "Clip Attributes" und einmal SuperScale für alle auswählen. Fertig.

Ich hab so einen SmartBin für mein Olympus 12-100mm um alle Clips mit einer bestimmten Brennweite auszuwählen und eine Optikkorrektur anzuwenden.

Klassische Superresolution-Algorithmen kombinieren Bilddetails benachbarter Frames, ohne irgendwelches machine learning/KI. Selbst Avisynth kann das. Hier ein guter Artikel zu dem Thema (der Autor arbeitet als Softwareentwickler für Adobe):

https://www.filmkorn.org/zwischen-den-z ... n/?lang=en

freezer hat geschrieben: ↑Di 24 Jan, 2023 19:19

Axel hat geschrieben: ↑Di 24 Jan, 2023 18:23 Hab bisher alle 1080-Clips (APSC-Modus der A7Siii) farbig markiert und vor dem Export, wenn ich auf UHD umgeschaltet habe, mühselig Superscale gewählt. Schön, dass das auch Auto für die ganze Timeline geht.

Mühselig wählen?

Einen SmartBin anlegen der per Metadaten alle Clips der A7S-III beinhaltet. Kann man auch als Default für alle Projekte anlegen.
SmartBin auswählen um alle Clips der A7S-III im Media Pool zu selektieren und dann mit einer Clip-Farbe belegen.

In der Timeline dann aus dem Menü wählen "Select Clips with Clip Color" und der entsprechenden Farbe. Damit sind alle passenden Clips in der Timeline selektiert.
Dann Rechts-Klick und "Clip Attributes" und einmal SuperScale für alle auswählen. Fertig.

:-)
Ich denke im Moment immer aus der Perspektive „Resolve auf iPad“, wo es keine Edit- oder Mediapage gibt (der Hack sorgt für Abstürze, deswegen ignoriere ich den hier mal). Sonst: klar, das meinte ich. „Mühselig“ ist sicherlich relativ, sagen wir mal die Markierungsmethode ist mühseliger als Auto.

freezer hat geschrieben: ↑Di 24 Jan, 2023 19:19

Axel hat geschrieben: ↑Di 24 Jan, 2023 18:23 Hab bisher alle 1080-Clips (APSC-Modus der A7Siii) farbig markiert und vor dem Export, wenn ich auf UHD umgeschaltet habe, mühselig Superscale gewählt. Schön, dass das auch Auto für die ganze Timeline geht.

Mühselig wählen?

Einen SmartBin anlegen der per Metadaten alle Clips der A7S-III beinhaltet. Kann man auch als Default für alle Projekte anlegen.
SmartBin auswählen um alle Clips der A7S-III im Media Pool zu selektieren und dann mit einer Clip-Farbe belegen.

In der Timeline dann aus dem Menü wählen "Select Clips with Clip Color" und der entsprechenden Farbe. Damit sind alle passenden Clips in der Timeline selektiert.
Dann Rechts-Klick und "Clip Attributes" und einmal SuperScale für alle auswählen. Fertig.

Ich hab so einen SmartBin für mein Olympus 12-100mm um alle Clips mit einer bestimmten Brennweite auszuwählen und eine Optikkorrektur anzuwenden.

Frage. Nein, Behauptung: man kann doch Superresolution global aktivieren, muss nichts "mühselig" auswählen, da es sowieso nur auf Clips angewendet wird, die skaliert werden. Alle anderen bleiben unberührt.
Auswählen nur, wenn man unterschiedliche Skalierungen mit unterschiedlichen Einstellungen in einer Timeline verwendet.

dienstag_01 hat geschrieben: ↑Mi 25 Jan, 2023 12:57 Frage. Nein, Behauptung: man kann doch Superresolution global aktivieren, muss nichts "mühselig" auswählen, da es sowieso nur auf Clips angewendet wird, die skaliert werden. Alle anderen bleiben unberührt.
Auswählen nur, wenn man unterschiedliche Skalierungen mit unterschiedlichen Einstellungen in einer Timeline verwendet.

Ja, kannst Du machen wenn das auf Deinen Anwendungsfall zutrifft.
Ich will oft nur bestimmte Clips per SR behandeln lassen - nämlich quasi als leichte Nachschärfung und Kantenglättung ohne Änderung der Auflösung.

Die SmartBin Variante kommt bei mir eher für die schnelle Korrektur von Optikverzerrung zur Anwendung. Ich finde die sehr praktisch um mal schnell durch hunderte Clips nach bestimmten immer wiederkehrenden Kriterien zu filtern.

freezer hat geschrieben: ↑Mi 25 Jan, 2023 16:54

dienstag_01 hat geschrieben: ↑Mi 25 Jan, 2023 12:57 Frage. Nein, Behauptung: man kann doch Superresolution global aktivieren, muss nichts "mühselig" auswählen, da es sowieso nur auf Clips angewendet wird, die skaliert werden. Alle anderen bleiben unberührt.
Auswählen nur, wenn man unterschiedliche Skalierungen mit unterschiedlichen Einstellungen in einer Timeline verwendet.

Ja, kannst Du machen wenn das auf Deinen Anwendungsfall zutrifft.
Ich will oft nur bestimmte Clips per SR behandeln lassen - nämlich quasi als leichte Nachschärfung und Kantenglättung ohne Änderung der Auflösung.

Die SmartBin Variante kommt bei mir eher für die schnelle Korrektur von Optikverzerrung zur Anwendung. Ich finde die sehr praktisch um mal schnell durch hunderte Clips nach bestimmten immer wiederkehrenden Kriterien zu filtern.

Wie ist das zu verstehen, "ohne Änderung der Auflösung"?

dienstag_01 hat geschrieben: ↑Mi 25 Jan, 2023 17:13

freezer hat geschrieben: ↑Mi 25 Jan, 2023 16:54

Ja, kannst Du machen wenn das auf Deinen Anwendungsfall zutrifft.
Ich will oft nur bestimmte Clips per SR behandeln lassen - nämlich quasi als leichte Nachschärfung und Kantenglättung ohne Änderung der Auflösung.

Die SmartBin Variante kommt bei mir eher für die schnelle Korrektur von Optikverzerrung zur Anwendung. Ich finde die sehr praktisch um mal schnell durch hunderte Clips nach bestimmten immer wiederkehrenden Kriterien zu filtern.

Wie ist das zu verstehen, "ohne Änderung der Auflösung"?

Ein HD Clip in einer HD Timeline. Aktiviert man SR dann wird der Clip per SR hochskaliert und wieder in die Timeline eingepasst. Ein Up+Downscaling sozusagen.

freezer hat geschrieben: ↑Mi 25 Jan, 2023 18:47

dienstag_01 hat geschrieben: ↑Mi 25 Jan, 2023 17:13
Wie ist das zu verstehen, "ohne Änderung der Auflösung"?

Ein HD Clip in einer HD Timeline. Aktiviert man SR dann wird der Clip per SR hochskaliert und wieder in die Timeline eingepasst. Ein Up+Downscaling sozusagen.

Interessant. Das funktioniert? Dann könnte man in die native Auflösung skalieren (ihr wisst schon, wie digital zoomen). Man müsste später nur den Clip 2 x oder 4 x superscalen. Muss ich mal probieren.

Axel hat geschrieben: ↑Mi 25 Jan, 2023 22:29

freezer hat geschrieben: ↑Mi 25 Jan, 2023 18:47

Ein HD Clip in einer HD Timeline. Aktiviert man SR dann wird der Clip per SR hochskaliert und wieder in die Timeline eingepasst. Ein Up+Downscaling sozusagen.

Interessant. Das funktioniert? Dann könnte man in die native Auflösung skalieren (ihr wisst schon, wie digital zoomen). Man müsste später nur den Clip 2 x oder 4 x superscalen. Muss ich mal probieren.

Ja, funktioniert.
Probieren muss man trotzdem ;)

dienstag_01 hat geschrieben: ↑Mi 25 Jan, 2023 22:44

Axel hat geschrieben: ↑Mi 25 Jan, 2023 22:29

Interessant. Das funktioniert? Dann könnte man in die native Auflösung skalieren (ihr wisst schon, wie digital zoomen). Man müsste später nur den Clip 2 x oder 4 x superscalen. Muss ich mal probieren.

Ja, funktioniert.
Probieren muss man trotzdem ;)

Wie gut (unter anderem), dass es Render in Place gibt!

Axel hat geschrieben: ↑Do 26 Jan, 2023 12:17

dienstag_01 hat geschrieben: ↑Mi 25 Jan, 2023 22:44
Ja, funktioniert.
Probieren muss man trotzdem ;)

Wie gut (unter anderem), dass es Render in Place gibt!

Da kannst du ja mal Bescheid sagen, bei welchen Einstellungen du überhaupt was siehst (ich meine den 1:1 Workflow ohne wirkliches Scaling).
Ich hab jetzt 3 Tage gesucht und 1 Pixel gefunden ;)

tom hat geschrieben: ↑Mo 23 Jan, 2023 20:32

Lorphos hat geschrieben: ↑Mo 23 Jan, 2023 18:45 Etwas irreführend, es werden keine zusätzlichen Details sichtbar gemacht sondern plausibel hinzugedichtet.

Steht doch im Text:

Super Resolution Verfahren nutzen für das "Mehr an Pixeln" und damit mehr an Bildinformationen nicht die alte und eher primitive Interpolation zwischen bekannten Pixeln, sondern erfinden Details schlüssig hinzu.
....
Man sollte allerdings im Hinterkopf behalten, daß die entstehenden hochskalierten Bilder nur sehr wahrscheinliche, zusätzliche Details enthalten und nicht die "wahren" Details aus der der ursprünglichen Aufnahmesituation des Bildes.

Aber gleich die ersten zwei Sätze des Artikels suggerieren etwas anderes:

Noch vor kurzem wäre die Idee, die Auflösung eines Bildes nachträglich zu erhöhen und so mehr Bilddetails sichtbar zu machen, als unmöglich abgetan worden. Dank DeepLearning KI-Algorithmen ist aber genau das seit einigen Jahren möglich...

Totao hat geschrieben: ↑Fr 14 Apr, 2023 17:46

tom hat geschrieben: ↑Mo 23 Jan, 2023 20:32 Steht doch im Text:

Aber gleich die ersten zwei Sätze des Artikels suggerieren etwas anderes:

Noch vor kurzem wäre die Idee, die Auflösung eines Bildes nachträglich zu erhöhen und so mehr Bilddetails sichtbar zu machen, als unmöglich abgetan worden. Dank DeepLearning KI-Algorithmen ist aber genau das seit einigen Jahren möglich...

Ja, stimmt. Eigentlich ist es ja noch komplexer - es werden zwar Details dazuerfunden, aber diese sind nicht beliebig, sondern sehr wahrscheinlich (weil aus vielen Beispielen realer Bilder gelernt), d.h. sie werden in den meisten Fällen sehr nahe an der Realität sein. Ich werde das bei der nächstes Superresolution-News besser erklären :-)

Thomas
slashCAM

tom hat geschrieben: ↑Fr 14 Apr, 2023 21:55 Eigentlich ist es ja noch komplexer - es werden zwar Details dazuerfunden, aber diese sind nicht beliebig, sondern sehr wahrscheinlich (weil aus vielen Beispielen realer Bilder gelernt), d.h. sie werden in den meisten Fällen sehr nahe an der Realität sein.

Bei solchen Verfahren für Fotos muss man sich zukünftig noch ein wenig mehr als bisher von der Vorstellung verabschieden, immer möglichst nah an einer für Vergleichszwecke hochauflösend gemessenen Wahrheit sein zu wollen.

Die erfundenen Details müssen der Realität eigentlich gar nicht besonders nahe kommen, es reicht völlig aus, wenn sie von der Wahrnehmung als plausible Möglichkeit akzeptiert werden. Wir werden nie erfahren, welchen Zahlenwert die hinzugefügten Pixel gehabt hätten, wenn sie tatsächlich erfasst worden wären.

Aus dem Raum aller möglichen hochauflösenden Varianten eines geringer auflösenden Fotos muss eine solche ausgewählt werden, die von der Wahrnehmung als möglichst real akzeptiert wird. Da die als Trainingsdaten verwendeten Fotos von der Wahrnehmung als echt akzeptiert werden (das ist hier eine der gemachten Festlegungen/Voraussetzungen), kann man mit ihrer Hilfe eine Berechnungsvorschrift entwerfen die, anschließend auf unbekannte Daten angewendet, eine Variante auswählt, die für die Wahrnehmung hoffentlich möglichst plausibel erscheint.

Allerdings sind die Unterschiede zwischen AI Scaling (also hier z.B. Topaz) und Resolves Super Resolution jetzt auch nicht so riesig wie man meinen möchte, und oft genug lohnt sich der zusätzliche Zeit/Rechen Aufwand für AI dann auch nicht wirklich.

AI Scaler für Video sind IMO im Vergleich zum Foto-Einsatzbereich auch schwieriger. Das gibt bei den klassischen Skalierverfahren in anderer Form aber auch schon: Aliasing fällt z.B. beim Betrachtern von Videos viel schneller auf als Aliasing bei Fotos.

Bei Fotos ist es relativ egal welche plausible Variante von der AI aus allen Möglichkeiten als Ergebnis ausgewählt wird. Die konkrete Wahl kann beispielsweise durch Rauschen oder andere Pixelwerte in einzelnen Bereichen beeinflusst werden. Solange die Wahrnehmung die Ausgabe als hochauflösend akzeptiert, reicht es.

Wenn bei Videos allerdings ständig wechselnde Varianten ausgewählt werden, dann dürfte das sofort als eine neue Form temporaler Artefakte auffallen.

Die Verfahren für Video-Anwendungen müssen daher stabiler bzw. so angelegt sein, dass solche Probleme entlang der Zeitachse entweder nicht auftreten oder nicht auffallen.