Pipeline für Auto-Shorts aus Anime: Architektur

Automatisierte Pipeline für YouTube Shorts aus Anime-Folgen

Das System verwandelt eine horizontale Anime-Folge in vertikale Shorts mit maximal 60 Sekunden Laufzeit. Als Eingabe dient eine Videodatei; die Ausgabe ist ein polierter Clip mit dynamischer Beschneidung, Untertiteln und Metadaten. Kernansatz: modulare Architektur mit Zwischenergebnissen statt eines End-to-End-Modells. Dadurch lassen sich einzelne Verarbeitungsschritte isoliert bearbeiten, unabhängig neu starten und Feedback basierend auf Sichtbarkeitsmetriken integrieren.

Die Pipeline ist in drei Bereiche unterteilt: Produktion für die Generierung, Forschung & Entwicklung (R&D) zur Metrikanalyse und Community für die Zuschauerbindung. Jede Folge wird in einem Ordner mit zugehörigen Artefakten gespeichert:

episode_001/
  source.mp4
  transcript.json
  audio_features.json
  scene_cuts.json
  faces.json
  candidates.json
  crop_path.json
  subtitles.srt
  metadata.json
  final_short_01.mp4

Diese Struktur beschleunigt die Fehlersuche: Die Neuberechnung von crop_path erfordert keine erneute Transkription der gesamten Folge.

Transkription und Audioanalyse

Erster Schritt: Extraktion des gesprochenen Textes mit Zeitstempeln. Die Transkription wird segmentiert für Untertitel und Bewertung der Inhaltsrelevanz. Doch Text allein reicht nicht aus – emotionale Höhepunkte werden oft durch audiovisuelle Signale getragen.

Die Audioanalyse berechnet ein kombiniertes Signal:

def extract_audio_signal(window):
    speech_density = measure_speech_density(window)
    loudness_peak = detect_loudness_peak(window)
    energy_delta = detect_energy_change(window)

    return (
        0.45 * speech_density +
        0.35 * loudness_peak +
        0.20 * energy_delta
    )

In der Praxis werden Normalisierung, Schwellwerte und Rauschfilter hinzugefügt. Das Signal wird mit dem Text kombiniert, um Momente hoher emotionaler Intensität zu identifizieren: kurze Sätze gepaart mit Lautstärke-Spitzen.

• Sprachdichte: Anteil der Sprache im Fenster.
• Lautstärke-Spitze: Volumenanstiege.
• Energie-Delta: Änderungen der Energie, inklusive Musik und Pausen.

Dies filtert neutrale Segmente heraus, in denen visuelle Elemente dominieren.

Computer Vision für Szenen und Gesichter

Der CV-Modul erkennt Szenenwechsel, Gesichter und deren Fokussierung:

def analyze_frame(frame):
    faces = detect_faces(frame)
    scene_score = detect_scene_change(frame)
    face_focus_score = estimate_face_focus(faces, frame)

    return {
        "faces": faces,
        "scene_score": scene_score,
        "face_focus_score": face_focus_score,
    }

Daten treiben die dynamische Umwandlung von 16:9 in 9:16. Statt statischer Zentrierung simuliert das System Kamerabewegungen: Es verfolgt Gesichtspositionen und hält wichtige Charaktere im Bild. Bei Szenen mit mehreren Figuren wechselt es zwischen Frames, um die Komposition zu bewahren.

Kandidaten entstehen durch Kombination der Signale:

| Signal | Score | Ziel |

|--------|--------|------|

| Transkript | Dialogdichte | Hook-Stärke |

| Audio | Emotionale Peaks | Dynamischer Impact |

| Gesicht | Gesichtsposition | Vertikale Fokussierung |

| Szene | Szenenwechsel | Visuelle Vielfalt |

| Tempo | Fragment-Tempo | Rhythmus |

Die Bewertung sortiert Clips nach gewichtetem Summenwert und filtert träge oder störende Segmente aus.

Dynamische Beschneidung und Nachbearbeitung

Nach Auswahl der Kandidaten wird ein crop_path generiert – die virtuelle Kamerafahrt. Das System bewegt den Frame nahtlos, fokussiert auf Gesichter und Schlüsselelemente. Untertitel werden über .srt mit optimaler Positionierung eingeblendet: minimaler Overlay, schnelle Lesbarkeit.

Die Nachbearbeitung umfasst Stabilisierung, Farbkorrektur und Metadaten (Titel, Beschreibung, Tags). Der finale Render nutzt Batch-Verarbeitung, um aus einer Folge mehrere Clips zu erstellen.

Feedback und Verbesserungen

Der R&D-Bereich analysiert YouTube Analytics: Aufrufe, Retention, CTR. Metriken aktualisieren die Gewichtungen bei der Bewertung und aktivieren Wörterbücher (z. B. emotionale Phrasen aus erfolgreichen Clips).

Der Community-Bereich automatisiert Kommentarantworten und begeistert Zuschauer durch ähnliche Empfehlungen.

Was zählt

• Modulare Architektur mit Artefakten beschleunigt Iterationen um das 5- bis 10-fache gegenüber monolithischen Skripten.
• Signalfusion (Text + Audio + CV) steigert die Kandidatenqualität um 40–60 % gegenüber Einzelmethoden.
• Dynamische Beschneidung hält die Fokussierung in 90 % der Szenen mit mehreren Figuren.
• Metrik-basiertes Feedback ermöglicht Selbstoptimierung ohne manuelle Einstellungen.
• Skalierbarkeit: Eine Folge → 10–50 Shorts im Batch.

— Editorial Team