WhisperJAV: Untertitel für japanische Erwachsenenvideos, gebaut gegen die Fehler von Whisper
ASR/STT subtitle generator. Uses Qwen3-ASR, local LLM, Whisper, TEN-VAD. Noise-robust for JAV
Auf einen Blick
- Was ist das?
- WhisperJAV ist ein lokaler Untertitelgenerator, der nicht auf ein einzelnes ASR-Modell setzt, sondern auf Szenentrennung, VAD-Klammerung und japanische Nachbearbeitung. Der Ansatz ist nachvollziehbar, die Dokumentation zu den Modi bleibt aber an mehreren Stellen dünn.
- Für wen ist es gedacht?
- WhisperJAV gehört auf Rechner, auf denen japanisches Audio mit viel Hintergrundgeräusch und langen Sprechpausen anfällt und die Medien die Maschine nicht verlassen sollen. Wer schnelle Batch-Verarbeitung großer Bestände braucht oder ein Modell mit verlässlichen Zeitstempeln ohne VAD-Gerüst sucht, ist hier falsch.
- Darf ich es kommerziell nutzen?
- Ja. MIT ist eine freizügige Lizenz: Sie dürfen darauf aufbauende Software nutzen, verändern und verkaufen, solange Sie die Urheberrechts- und Lizenzhinweise beibehalten.
- Wird es noch gepflegt?
- Ja. Die letzten Commits kamen vor 3 Tagen.
- In welcher Sprache ist es geschrieben?
- Hauptsächlich Python, laut der Sprachstatistik von GitHub.
Die Antworten beruhen auf den GitHub-Daten des Projekts (zuletzt abgeglichen am 15. September 2026) und auf unserer Analyse. Sie sind keine Rechtsberatung.
TIEFGEHENDE OPEN-SOURCE-ANALYSE
Welches Problem hier eigentlich gelöst wird
Spracherkennungsmodelle wie Whisper sind auf sauberem, kuratiertem Material trainiert. Das Audio, um das es in diesem Projekt geht, ist das Gegenteil davon, und das README benennt drei konkrete Bruchstellen. Erstens das akustische Profil: niedriges Signal-Rausch-Verhältnis, viele nonverbale Lautäußerungen, deren Spektren japanischen Silben ähneln, dazu extreme Lautstärkeschwankungen vom Flüstern bis zum Schreien und eine Rollensprache, die in den Trainingskorpora fehlt. Zweitens die Langform-Drift: Es handelt sich um abendfüllende Aufnahmen, nicht um 30-Sekunden-Clips, und über längere ambivalente Passagen füllt das Modell die Lücke mit wiederholtem oder erfundenem Text. Drittens das Vorverarbeitungsparadox: Blankes Denoising und Stimmisolierung können genau die Höhen entfernen, die für die Unterscheidung von Konsonanten nötig sind.
Die Zielgruppe ist entsprechend eng umrissen. Wer japanisches Audio dieser Art untertiteln will und die Dateien nicht in eine Cloud hochladen möchte, bekommt hier ein Werkzeug. Wer englischsprachige Interviews, Vorlesungen oder Podcasts transkribiert, hat mit diesem Projekt nichts zu tun; die gesamte Nachbearbeitung ist japanischsprachig gedacht.
Szenen, VAD-Klammerung und der getrennte Zeitstempel
Das README zeigt die Pipeline als Kette: Audioextraktion, Szenenerkennung, optionale Sprachverbesserung, VAD-Segmentierung, ASR-Modell, Nachbearbeitung, SRT. Die Szenenerkennung schneidet nach vorhergesagten Szenen, damit VAD und ASR Abschnitte mit ähnlichem Charakter erhalten. Die VAD-Segmentierung sucht dann innerhalb jeder Szene die tatsächlichen Sprechstellen. Laut README entscheidet diese Wahl mehr als die meisten anderen Einstellungen, weil sie festlegt, was das Modell hört und wo die Zeitstempel herkommen.
Der interessanteste Teil ist ChronosJAV. Die besten Erkennungsmodelle für diese Domäne, genannt werden anime-whisper und Qwen3-ASR samt japanischer Finetunes, liefern dem README zufolge keine verlässlichen Zeitstempel aus eigener Kraft. ChronosJAV trennt deshalb Textgenerierung und Timing: Die VAD liefert das Zeitgerüst, das Modell die Worte. Seit v1.9 stammen die Zeitstempel standardmäßig aus den VAD-Frames, ohne dass ein Aligner-Modell geladen wird, was laut Release-Hinweis rund 1 GB VRAM spart. Ein Modus mit Qwen-Forced-Aligner bleibt für wortgenaue Ausrichtung in den Einstellungen verfügbar. Diese Entkopplung ist der Grund, warum neue Modelle ohne Umbau der Pipeline ergänzt werden können.
Die Nachbearbeitung ist der japanischspezifische Teil und arbeitet mit Satzumgruppierung nach Endpartikeln (ね, よ, わ, の), Aizuchi (うん, はい) und Dialektmustern wie Kansai-ben. Dazu kommen Halluzinations- und Wiederholungsfilter, das Entfernen reiner Lautzeilen, eine Zeitkorrektur für absurd lange Untertitel und die Auflösung von Überlappungen an Szenengrenzen. Der Evidenztest beim Entfernen von Stöhnzeilen ist eine Designentscheidung, die ich ausdrücklich gut finde: Ohne ihn würde echter Dialog mit denselben Silben mitgelöscht.
Installation und erste Befehle
Das README nennt zwei Wege. Unter Windows startet die grafische Oberfläche über die Desktop-Verknüpfung des Installers oder über den Befehl whisperjav-gui. Dort werden Dateien hinzugefügt, ein Modus gewählt und der Lauf gestartet; die Untertitel landen als .srt neben dem Video. Auf der Kommandozeile sieht der Standardaufruf so aus:
whisperjav video.mp4
Mit Modus und Sensitivität:
whisperjav video.mp4 --mode balanced --sensitivity aggressive
Für einen ganzen Ordner:
whisperjav /path/to/folder --output-dir ./subtitles
Als Eingabe akzeptiert das Werkzeug laut README alles, was FFmpeg lesen kann, also MP4, MKV, AVI, WMV, MP3, WAV und FLAC. Die Ausgabe ist standardmäßig SRT, alternativ WebVTT oder beides über --output-format both. Für Umgebungen ohne lokale Installation verlinkt das README zwei Notebooks, eines für Google Colab und eines für Kaggle mit paralleler Ausführung.
Wichtig für die Erwartungssteuerung: Die Sensitivitätsstufen conservative, balanced und aggressive gelten laut README für jeden Modus. Aggressive fängt mehr leisen Dialog und ist nach Angabe des Projekts das Ziel der meisten Benchmark-Arbeiten, produziert aber auch mehr Falschpositive. Wer mit verrauschtem Material arbeitet, sollte mit conservative beginnen und erst dann hochdrehen.
Acht Modi und die Frage, welcher wann passt
Die Modustabelle ist lang: balanced auf Faster-Whisper als Standard mit vollem Pipeline-Durchlauf, fidelity auf OpenAI Whisper als langsamster und gründlichster der klassischen Wege, fast auf OpenAI Whisper mit Szenenerkennung für gemischte Audioqualität, faster auf Faster-Whisper mit minimaler Vorverarbeitung für sauberes Material, qwen und anime-whisper als ChronosJAV-Varianten, transformers für HuggingFace-Modelle wie Kotoba und schließlich crispasr als experimenteller Modus für einen selbst gebauten CrispASR.
Hier wird die Dokumentation dünn. Das README sagt, Modi unterschieden sich darin, welche Komponenten sie nutzen und wie aggressiv sie abgestimmt sind, nennt aber keine Kriterien, nach denen man zwischen balanced und fidelity wählt, wenn beide infrage kommen. Auch die VRAM-Anforderungen der einzelnen Modi stehen nicht im Text; die einzige konkrete Zahl ist die Einsparung von rund 1 GB durch den Verzicht auf das Aligner-Modell in v1.9. Wer auf einer kleineren GPU arbeitet, muss das über die verlinkte Dokumentationsseite oder durch Ausprobieren klären. Der Modus crispasr verlangt einen eigenen Build, den das Projekt nicht mitliefert; das ist kein Auspacken-und-Laufen-Pfad.
Die Sprachverbesserung ist bewusst abgeschaltet
Die optionale Sprachverbesserung steht im Flussdiagramm zwischen Szenenerkennung und VAD und ist standardmäßig aus. Das README begründet das mit dem Vorverarbeitungsparadox und empfiehlt, sie nur chirurgisch pro Szene einzusetzen. Das ist eine der ehrlichsten Stellen der Dokumentation: Ein Werkzeug, das Rauschen entfernt, kann die Erkennung verschlechtern, und statt das zu verschweigen, wird es als Designgrund genannt.
Allerdings fehlt jede Anleitung, wann eine Szene als Kandidat für die Verbesserung gilt und welche Einstellung sie aktiviert. Das README sagt nicht, ob es einen Schwellenwert gibt, ein Flag, oder ob die Entscheidung vollständig beim Nutzer liegt. Wer das Feature produktiv einsetzen will, muss sich diese Information woanders holen. Dasselbe gilt für die Finetuning-Warnung: Gute Datensätze für diese Domäne sind knapp, und feinabgestimmte Modelle neigen laut README zum Overfitting und werden unzuverlässig. Das ist eine nachvollziehbare Begründung dafür, warum das Projekt auf Pipeline-Teile statt auf ein eigenes Modell setzt.
Wo das Werkzeug scheitert
Die wichtigste Einschränkung steht im README selbst: Die Ergebnisse schwanken mit der Qualität des Ausgangsmaterials. Es gibt keine Angabe zu Wortfehlerraten, keine Referenzwerte pro Modus, und die Formulierung, die Standardwerte seien gegen Ground-Truth-Benchmarks abgestimmt, wird nicht mit Zahlen belegt. Wer eine Zusage über erreichbare Genauigkeit sucht, findet sie hier nicht.
Ein zweiter Punkt betrifft die Architektur. Die Zeitstempel kommen in den modernen Pipelines aus dem VAD-Gerüst, nicht aus dem akustischen Modell. Das ist robust gegen die unzuverlässigen Zeitstempel von Qwen3-ASR und anime-whisper, bedeutet aber, dass die Untertitelgenauigkeit an der Qualität der Spracherkennung im VAD hängt. Bei überlappender Sprache, bei schnellem Wechsel zwischen Sprechern oder wenn Musik und Stimme gleichzeitig laufen, kann die Segmentgrenze mitten im Wort liegen. Das README nennt dafür keine Lösung, nur die Zeitkorrektur für einzelne zu lange Zeilen.
Drittens die Zielbindung. Die gesamte Nachbearbeitung ist auf japanische Endpartikeln, Aizuchi und Dialekte ausgelegt, und die Halluzinationsfilter sind auf das spezifische Lautinventar dieses Materials abgestimmt. Für andere Sprachen ist die Pipeline nicht gebaut, auch wenn die ASR-Schicht technisch austauschbar wäre.
Was ein Wechsel zu Faster-Whisper allein kostet
Die naheliegende Alternative ist Faster-Whisper direkt, ohne WhisperJAV. Der Unterschied liegt nicht im Modell, denn balanced nutzt genau dieses Backend, sondern in allem drumherum: Szenenerkennung, VAD-Klammerung mit gemessenem Padding, japanische Nachbearbeitung, Halluzinationsfilter und die Trennung von Text und Timing in ChronosJAV. Wer Faster-Whisper roh auf eine lange Aufnahme mit viel nonverbalem Audio loslässt, bekommt laut der Problembeschreibung im README genau die Wiederholungsschleifen und erfundenen Passagen, gegen die WhisperJAV gebaut ist.
Der Preis für diese Schichten ist Geschwindigkeit und Komplexität. Der Modus faster mit minimaler Vorverarbeitung existiert genau für den Fall, dass die zusätzlichen Stufen mehr kosten als bringen. Wer bereits eine eigene Pipeline mit VAD und Nachbearbeitung betreibt, gewinnt durch WhisperJAV wenig; wer bei null anfängt und japanisches Material verarbeitet, spart sich die Arbeit, die das Projekt schon gemacht hat. Ein Vergleich mit einem kommerziellen Transkriptionsdienst wäre unfair, weil diese Dienste eine Hochladeentscheidung erzwingen, die das Projekt gerade vermeiden will.
Wartung, Lizenz und was vor dem Einsatz zu klären ist
Die Release-Historie zeigt eine kurze Taktung: v1.8.13 im Mai 2026, v1.8.14 wenige Tage später mit Fehlerbehebungen, v1.9.0 im August 2026 mit FireRedVAD, einem feinabgestimmten QwenASR, CrispASR und verbesserten Untertitelzeiten. Das spricht für aktive Pflege, bringt aber auch Upgrade-Kosten mit sich: v1.9 hat die Standardquelle der Zeitstempel geändert und dabei ein Modell entfernt, was die Speicherbelegung senkt, aber die Ausgabe verschieben kann. Wer Untertitel archiviert, sollte nach einem Upgrade Stichproben vergleichen, bevor alte Ergebnisse ersetzt werden.
Das Projekt steht unter MIT-Lizenz. Das ist eine der permissivsten Varianten: Nutzung, Änderung und Weitergabe sind erlaubt, solange der Lizenztext und der Urheberrechtsvermerk erhalten bleiben. Wichtig ist die Abgrenzung: Die MIT-Lizenz des Wrappers sagt nichts über die Lizenz der Modelle, die er herunterlädt. Qwen3-ASR, Whisper, anime-whisper und die HuggingFace-Modelle im transformers-Modus haben eigene Bedingungen, die je nach Herkunft und Nutzungsart abweichen können. Wer das Werkzeug kommerziell einsetzen will, muss diese Bedingungen getrennt prüfen; das README geht darauf nicht ein. Eine Rechtsberatung kann dieser Text nicht ersetzen.
Redaktionelles Fazit
WhisperJAV gehört auf Rechner, auf denen japanisches Audio mit viel Hintergrundgeräusch und langen Sprechpausen anfällt und die Medien die Maschine nicht verlassen sollen. Wer schnelle Batch-Verarbeitung großer Bestände braucht oder ein Modell mit verlässlichen Zeitstempeln ohne VAD-Gerüst sucht, ist hier falsch. Vor dem ersten Lauf sollten Interessierte die im Repository verlinkte Dokumentationsseite prüfen und dort nachsehen, welche Provider der gewählte Modus tatsächlich lädt.
Community-Notizen