JPEG und visuelle Neurophysiologie: Wie das Format das Auge täuscht

Wie JPEG das visuelle System täuscht: Ingenieurkunst mit Wurzeln in der Neurophysiologie

JPEG ist nicht nur ein Kompressionsformat. Es ist ein dreidimensionales Modell des menschlichen Sehens, kodiert in einen Algorithmus aus dem Jahr 1992. Es optimiert nicht die Daten für die Speicherung; vielmehr simuliert es, was das Auge sieht, wie das Gehirn es verarbeitet und wo das visuelle System Informationen verliert. Das Ergebnis? Dateien, die 5–10 Mal kleiner sind – ohne merklichen Verlust der Wahrnehmung. Dieser Effekt wird nicht durch Vereinfachung der Mathematik erreicht, sondern durch präzise Anpassung an biologische Grenzen: Photorezeptordichte, Kontrastempfindlichkeit und die räumliche Frequenzselektivität des Kortex. Im Folgenden finden Sie eine technische Aufschlüsselung jeder Stufe im JPEG-Pipeline aus der Perspektive der visuellen Neurophysiologie.

YCbCr: Trennung der Signale nach biologischer Bedeutung

Der erste Schritt bei der JPEG-Kodierung ist die Umwandlung von RGB in YCbCr. Dies ist keine rein technische Bequemlichkeit; es ist eine direkte Umsetzung der Netzanatomie. Der Mensch besitzt etwa 120 Millionen Stäbchen (empfindlich für Helligkeit) und nur 6–7 Millionen Zapfen (Farbrezeptoren), ein Verhältnis von ungefähr 20:1. Folglich kann das visuelle System Helligkeitsabstufungen viel genauer unterscheiden als Farbtöne.

Die Formel zur Berechnung des Y-Kanals lautet:

Y = 0,299 × R + 0,587 × G + 0,114 × B

Diese Koeffizienten sind nicht willkürlich: Die 0,587 für Grün spiegelt die maximale Empfindlichkeit des menschlichen Auges bei etwa 555 nm wider – dem gelb-grünen Bereich des Spektrums, evolutionär angepasst, um reife Früchte vor dem Laub zu erkennen. Deshalb wirken Schwarz-Weiß-Bilder mit diesen Gewichten voluminös und kontrastreich, während eine gleichmäßige Mittelung (0,33R + 0,33G + 0,33B) ein flaches, „seifiges“ Bild erzeugt.

In YCbCr enthält der Y-Kanal alle kritischen Informationen für die Wahrnehmung – Struktur, Konturen und Texturen. Cb und Cr sind lediglich Anpassungen für den Farbton. Sie können aggressiv verarbeitet werden, ohne die Wahrnehmungsqualität zu gefährden.

Chroma-Untersampling: Komprimierung der Farbe basierend auf der Anatomie des peripheren Sehens

Nach der Umwandlung wird Chroma-Untersampling angewendet – die Auflösung der Farbkanäle wird reduziert. Der gängigste Modus, 4:2:0, bedeutet ein Cb-Block und ein Cr-Block für jeweils vier Y-Blöcke (2×2 Pixel). In der Praxis werden somit 75 % der Farbinformationen verworfen.

Dies entspricht direkt der Netzanatomie: Zapfen sind in der Fovea konzentriert, während ihre Dichte zur Peripherie hin stark abnimmt. Die räumliche Auflösung für das Farbsehen ist im Durchschnitt viermal geringer als für das Monochrom-Sehen. JPEG „verliert“ also nicht die Farbe – es bewahrt genau so viel, wie das visuelle System in jedem lokalen Bereich des Bildes unterscheiden kann.

Um dies zu überprüfen, öffnen Sie einfach jedes JPEG in Photoshop, teilen Sie es in YCbCr-Kanäle auf und vergleichen Sie die visuelle Qualität von Y mit Cb/Cr: Letztere erscheinen unscharf und niederfrequent – doch wenn sie auf Y gelegt werden, stellt das Gehirn automatisch die Integrität des Bildes wieder her. Dies ist kein Fehler des Formats; es nutzt vielmehr die Funktionsweise des visuellen Kortex.

DCT und Quantisierung: Eine Frequenzkarte der blinden Flecken

Die Diskrete Kosinus-Transformation (DCT) zerlegt das Bild in 8×8-Blöcke und dekomponiert jeden Block in 64 Basiskomponenten – von niederfrequenten Gradienten bis hin zu hochfrequenten Kanten, Rauschen und Texturen. Dies ist keine Abstraktion: Neuronen im primären visuellen Kortex (V1) reagieren auf orientierte Streifen mit spezifischen räumlichen Frequenzen – im Grunde genommen eine biologische Annäherung an die DCT.

Anschließend werden die Koeffizienten quantisiert – dividiert durch Werte aus einer Quantisierungstabelle und gerundet. Die Standardtabelle für den Y-Kanal hat folgende Struktur: minimale Divisorwerte in der oberen linken Ecke (niedrige Frequenzen, hohe Empfindlichkeit), maximale Divisorwerte in der unteren rechten Ecke (hohe Frequenzen, niedrige Empfindlichkeit). Diese Tabelle ist keine ingenieurtechnische Schätzung; sie ist eine empirische Karte der Kontrastempfindlichkeit (CSF), abgeleitet aus psychovisuellen Experimenten an Menschen. Der CSF-Gipfel liegt bei 3–5 Zyklen pro Grad Gesichtsfeld; jenseits von ~60 Zyklen/Grad können Menschen Details physisch nicht mehr unterscheiden.

Wenn Sie in Photoshop die Qualität auf 80 einstellen, setzen Sie damit einen Schwellenwert, bei dem die Quantisierung nur noch Frequenzen beeinflusst, die unterhalb der Wahrnehmungsschwelle liegen. Bei Qualität=5 beginnt der Algorithmus, sogar mittelfrequente Komponenten zu eliminieren – genau diejenigen, die das Gehirn tatsächlich zur Erkennung von Form und Textur verwendet. Daher der starke Einbruch der wahrgenommenen Qualität.

Experiment: Visualisierung dessen, was das Auge nicht wahrnimmt

Um genau zu sehen, welche Komponenten JPEG als „unsichtbar“ betrachtet, können Sie ein einfaches Experiment durchführen: Speichern Sie dasselbe Bild als JPEG bei verschiedenen Qualitäten und berechnen Sie dann die Differenz zwischen dem Original (PNG) und der komprimierten Version.

from PIL import Image
import numpy as np

original = np.array(Image.open("photo.png")).astype(np.float32)

for q in [95, 80, 50, 20, 5]:
    Image.open("photo.png").save(f"q{q}.jpg", quality=q)
    compressed = np.array(Image.open(f"q{q}.jpg")).astype(np.float32)

    diff = original - compressed
    diff_visual = ((diff - diff.min()) / (diff.max() - diff.min()) * 255)
    Image.fromarray(diff_visual.astype(np.uint8)).save(f"diff_q{q}.png")

Die Ergebnisse sind eindrucksvoll:

• Bei Qualität=95 ist die Differenzkarte fast schwarz – Verluste beschränken sich auf Rauschen.
• Bei Qualität=80 konzentrieren sich die Unterschiede auf Konturen, feine Linien und hochfrequente Texturen (Haare, Stoffe) – genau die Komponenten, die die DCT in hochfrequente Koeffizienten legt und die die Quantisierung zuerst eliminiert.
• Bei Qualität=5 wird die Differenzkarte zu einer erkennbaren „körnigen Version des Originals“ – der Algorithmus hat bereits die Grenzen der CSF überschritten und beginnt, Informationen zu entfernen, die für die Wahrnehmung von Form und Textur unerlässlich sind.

Dies ist kein Programmierfehler; es ist eine Karte Ihrer eigenen visuellen Schwellenwerte.

Qualität 80: Der Wendepunkt auf der CSF-Kurve

Warum genau 80 – der De-facto-Webstandard? Die Grafik, die Dateigröße gegen SSIM (Strukturelle Ähnlichkeitsindex) als Funktion der Qualität zeigt, offenbart einen klaren Wendepunkt bei etwa 80. Vorher steigt die Qualität (SSIM) nur mit einem geringen Anstieg der Dateigröße. Danach verdoppelt sich die Dateigröße bei einem verschwindend geringen Gewinn an SSIM (weniger als 0,001).

Dies fällt mit dem Übergang vom „Ausschneiden unsichtbarer Frequenzen“ zum „Ausschneiden sichtbarer Frequenzen“ zusammen. Die Quantisierung bei Qualität < 80 arbeitet in der Zone, in der die CSF nahe Null liegt; bei Qualität > 80 hingegen in der Zone, in der die CSF stark ansteigt. Somit ist die Regel „Qualität=80“ keine magische Zahl; sie ist eine praktische Annäherung an die Kontrastempfindlichkeitsschwelle für ein typisches Bild, betrachtet unter Standardbedingungen (30 cm, 1080p).

Was wirklich zählt

• JPEG komprimiert nicht das „Bild“; es modelliert vielmehr, wie das visuelle System funktioniert: Stäbchen/Zapfen → Y/CbCr, peripheres Farbsehen → Chroma-Untersampling, neuronale Frequenzselektivität im V1 → DCT, Kontrastempfindlichkeitsschwellen → Quantisierungstabelle.
• Die Koeffizienten in der Formel Y = 0,299R + 0,587G + 0,114B sind keine Näherungen – sie sind ein parametrisiertes Modell der spektralen Empfindlichkeit des menschlichen Auges.
• Der 4:2:0-Chroma-Untersampling-Modus entspricht dem tatsächlichen Auflösungsverhältnis von Monochrom- zu Farbsehen (~4:1), nicht technischen Hardwarebeschränkungen.
• Die Quantisierungstabelle ist kein statisches Muster; sie ist eine empirische Karte der CSF, abgeleitet aus Laborexperimenten an lebenden Probanden.
• Qualität=80 ist kein „Kompromiss“; es ist der Punkt, an dem der Algorithmus aufhört, in der Zone unsichtbarer Verluste zu arbeiten, und beginnt, Komponenten zu beeinflussen, die im Bild wahrnehmbar sind.

— Editorial Team