Computergraphik Übungsblatt #11

OpenGL Tutorial: Postprocessing & Image FX

Motivation

Die Macht der Mathematik lässt sich anhand von Shadertoy Beispielen gut demonstrieren:

FX	Shadertoy Beispiel	Hint
Bokeh	https://www.shadertoy.com/view/MdfBRX	`DROP_DEBUG`
Schärfentiefe	https://www.shadertoy.com/view/MsG3Dz	`RAY_STEPS_SECOND`
Videoartefakte	https://www.shadertoy.com/view/Md2GDw
Rainy Window	https://www.shadertoy.com/view/tlVGWK	`USE_POST_PROCESSING`

Wir werden in der heutigen Übung einfache Shader selber programmieren. Schon mit wenig Mathematik lassen sich künstlerische Effekte auf den Bildschirm zaubern. Wir konzentrieren uns insbesondere auf Postprocessing-Effekte.

Aufgabe 11.1: Präliminarien

Starten Sie mit dem Basisquelltext postpro.cpp.

Dieser zeichnet die Szene nicht direkt sondern zuerst einmal in einen sog. FBO hinein ohne dass dieser angezeigt wird. Dieser FBO kann nun in einem zweiten Post-Processing Pass als Lookup-Textur verwendet werden, um die dargestellte Szene zu verfremden.

Dieser zweite Pass fehlt noch: Zeichnen Sie ein Viereck (LGL_QUADS), welches das ganze Fenster überdeckt (entsprechend den Koordinaten −1 bis 1 bei einer orthographischen Projektion), so dass jeder Pixel des Fensters einmal rasterisiert wird.

Verwenden Sie im zweiten Pass einen GLSL Postprocessing Shader, der für jeden Pixel die Farbe in der FBO-Textur nachschlägt. Als Texturkoordinaten für den Textur-Lookup verwenden wir der Einfachheit halber die Vertexposition. Hinweis: Die Vertexposition muß dafür noch auf den Bereich [0–1] abgebildet werden.

Für die nachfolgenden Aufgaben ist jeweils nur dieser GLSL-Shader anzupassen.

Material und Links:

Relevante Vorlesungsdemos: X, Y, Z

Aufgabe 11.2: Gamma-Korrektur

Verändern Sie nun im 2ten Pass die Fragment-Farbe, so dass deren Helligkeit $I$ mit Hilfe einer Gamma-Funktion [1] angepasst wird. Verwenden Sie ein beliebiges $\gamma$, z.B. $\gamma = 2.2$.

Tipp: $I' = I^\gamma$

Aufgabe 11.3: Vignettierung

Post-Processing: Vignette

Verändern Sie im 2ten Pass die Farbe so, dass die Helligkeit mit zunehmendem Abstand $r$ zum Bildzentrum mit der Texturkoordinate (0.5, 0.5) abnimmt.

Tipp: $I'(r) = I \cdot (1 - r^2)$

Aufgabe 11.4: Fish-Eye

Post-Processing: Fish-Eye

Verändern Sie im 2ten Pass die Farbe so, dass die Farbe zum äußeren Bildrand verzerrt wird. Dazu wird die Textur-koordinate $t$ für den Textur-Lookup verändert → Lookup-Offset.

Tipp: Die Änderung hängt nicht-linear vom Abstand $r$ zum Bildzentrum ab → $(t-0.5)\tan(2r)+0.5$

Aufgabe 11.5: Time-Based Image FX

Verändern Sie im 2ten Pass die Farbe so, dass die Farbe und/oder Verzerrung von der Zeit abhängt. Zum Beispiel ergibt sich durch einen zeitabhängigen Sinus ein Welleneffekt.

Experimentieren Sie mit der Zeitabhängigkeit, d.h. experimentieren im GLSL Shader mit der uniformen Variablen time.

Tipp: sin(0.001*gl_FragPos.y + 3*time)

OpenGL Kür: Postprocessing & Image FX

Von den folgenden Aufgaben suchen Sie Sich bitte eine Aufgabe aus und implementieren einen entsprechenden GLSL Shader (zusätzliche Aufgaben sind optional und ergeben entsprechend Bonuspunkte ++):

Aufgabe 11.6: Kantendetektion

Kantendetektion

Verwendet den Mittelwert der Farbdifferenzen zu den vier Nachbarpixeln.

Tipp: Verwenden Sie einen Lookup-Offset der jeweils der Größe eines Pixels im normierten Bildraum entspricht.

Aufgabe 11.7: Chromatische Aberration

Chromatic Aberration

Verwendet einen Lookup-Offset, der farbkanalabhängig ist.

Tipp: Der Lookup-Offset für den Rot- und Blau-Kanal ist proportional zum Differenzvektor zum Bildzentrum, aber mit umgekehrtem Vorzeichen.

Aufgabe 11.8: Halftoning

Halftoning

Verwendet ein prozedurales Punktmuster als Basis für eine Threshold-Operation.

Tipp: Berechnen Sie den normierten Abstand zum Punktzentrum und verwenden Sie diesen als Threshold für jeden Farbkanal.

Aufgabe 11.9: Cracked Lens FX

Cracked Lens

Normalentextur

Verwendet einen Lookup-Offset, der von einer Normalen-Textur abhängig ist.

Tipp: Die Normalen (Wertebereich −1..1) sind in der Textur als Farbe (Wertebereich 0..1) codiert. D.h. die Normalen müssen zuerst wieder decodiert werden. Nach der Decodierung wird der Rot- und Grün-Kanal als Lookup-Offset verwendet.

OpenGL Ausblick: Postprocessing, Perlin Noise, 3D Textures etc.

Es gibt noch viele weitere Einsatzmöglichkeiten für Postprocessing; manche benötigen ziemlich viel zusätzlichen Aufwand, fast alle aktuellen Spiele benutzen sie:

Fog: Auch Nebel kann als Postprocessing-Effect dargestellt werden. Dazu benötigt man die Tiefeninformation, also muss diese auch in einer Textur bereit gestellt werden.

Bloom-Effekt: Überstrahlen heller Bildanteile; dafür muss in einen Floating Point Renderbuffer gezeichnet werden, damit Beleuchtungswerte >1 erhalten bleiben und auf die Überstrahlung ein Blur-Effekt gelegt werden; das ganze ist ein Teil von HDR (High Dynamic Range) Rendering.

Motion Blur: Bewegte Szenen sollten unscharf sein, da das Auge keine Momentaufnahme macht sondern eine gewisse Trägheit hat. Ohne Motion Blur können Bewegungen abgehackt wirken. Dazu wird die Szene mehrmals gezeichnet, jeweils mit kleinen zeitlichen Änderungen, und diese anschließend überlagert. Achtung: Performance!

Lens Flares: Kameraobjektive erzeugen Störungen (Flares), wenn sie direkt in die Sonne gehalten werden, da sich das Licht teilweise im Objektiv reflektiert wird. Diese Lens Flares sind eigentlich ein störender Effekt, sind in der Computergrafik aber ein “willkommener” Seiteneffekt, um die Lichtquelle glaubwürdiger erscheinen zu lassen. Lens-Flare wird nicht physikalisch simuliert sondern gefakt!

Stroking: Man kann auch künstlerische Zeicheneffekte (Strichzeichnungen, Wasserfarben, Impressionismus, Expressionismus, …) mit Hilfe von entsprechenden Texturen und aufwändigeren Berechnungen nachbilden.
… und noch unendlich viel mehr

Zum Abschluß des Praktikums hier ein Potpourri an Shader-Effekten: