video-use: Videoschnitt per Claude Code, das LLM liest Transkripte statt Frames
Video-Use stellt Programmieragenten Befehle zum Schneiden, Anordnen, Untertiteln und Rendern von Videoprojekten zur Verfügung.
Auf einen Blick
- Was ist das?
- Das Python-Skill von browser-use schneidet, färbt, untertitelt und rendert Videos aus einem Ordner Rohmaterial, indem es über ElevenLabs-Scribe-Transkripte und bedarfsgesteuerte Bildkomposits argumentiert.
- Für wen ist es gedacht?
- video-use richtet sich an Nutzer von Claude Code, Codex oder Hermes, die aus Rohmaterial wie Interviews oder Tutorials schnell einen geschnittenen finalen Clip wollen, ohne Schnittprogramm und ohne Presets. Die Architektur ist konsequent textbasiert, Kosten und Grenzen sitzen aber bei ElevenLabs: Ohne API-Schlüssel keine Transkripte, und die Ratenlimits stehen im Material nicht.
- Darf ich es kommerziell nutzen?
- Ja. MIT ist eine freizügige Lizenz: Sie dürfen darauf aufbauende Software nutzen, verändern und verkaufen, solange Sie die Urheberrechts- und Lizenzhinweise beibehalten.
- Wird es noch gepflegt?
- Ja. Die letzten Commits kamen vor 17 Tagen.
- In welcher Sprache ist es geschrieben?
- Hauptsächlich Python, laut der Sprachstatistik von GitHub.
Die Antworten beruhen auf den GitHub-Daten des Projekts (zuletzt abgeglichen am 15. September 2026) und auf unserer Analyse. Sie sind keine Rechtsberatung.
TIEFGEHENDE OPEN-SOURCE-ANALYSE
Rohmaterial rein, final.mp4 raus: der Ansatz von video-use
video-use ist ein Python-Skill, der Coding-Agenten wie Claude Code Videobearbeitung beibringt, als vollständig quelloffenes Projekt unter MIT. Der versprochene Kreislauf ist schlicht: Rohmaterial in einen Ordner legen, mit dem Agenten chatten, eine final.mp4 zurückbekommen. Der Zuschnitt gilt für beliebige Inhalte, von Talking Heads über Montagen bis zu Tutorials, Reisen und Interviews, und zwar laut README ohne Presets oder Menüs.
Die Metadaten zeigen ein zügig gewachsenes Projekt: 21534 Sterne, 2668 Forks, 78 offene Issues, Branch main. Releases sind im Material keine hinterlegt, der Zustand definiert sich über den Stand von main. Für einen immer laufenden Betrieb aus der eigenen VPS oder Telegram verweist das README auf Browser Use Box, und eine 15-Sekunden-Demo auf TikTok zeigt den Ablauf im Zeitraffer.
Was der Lauf von video-use konkret erledigt
Die Funktionsliste ist bemerkenswert handwerklich. Der Skill schneidet Füllwörter wie umm und uh sowie tote Zeit zwischen Takes heraus. Er färbt jedes Segment automatisch, mit warmem Kino-Look, neutralem Punch oder einer eigenen ffmpeg-Kette. An jedem Schnitt sitzt ein 30ms Audio-Fade, damit kein Knacks zu hören ist. Untertitel werden eingebrannt, standardmäßig in Zweier-Wort-Blöcken in Großbuchstaben, vollständig anpassbar.
Dazu kommen Animations-Overlays, erzeugt über HyperFrames, Remotion, Manim oder PIL, jeweils in parallelen Sub-Agenten, einer pro Animation. Der gerenderte Output wird an jeder Schnittgrenze selbst bewertet, bevor der Nutzer etwas zu sehen bekommt. Sitzungsspeicher landet in project.md, sodass die Session nächste Woche dort weiterarbeitet, wo die vorherige endete. Alle Ausgaben wandern nach <videos_dir>/edit/, das Skill-Verzeichnis bleibt sauber.
Zwei Leseschichten: takes_packed.md und timeline_view
Der Kern des Entwurfs steht in einem Satz: Das LLM schaut das Video nie an, es liest es. Die erste Schicht ist ein ElevenLabs-Scribe-Aufruf pro Quelle, der Wort-Zeitstempel, Sprecherdiarisierung und Audioereignisse wie Lachen oder Applaus liefert. Alle Takes werden in eine einzige takes_packed.md von etwa 12KB gepackt, die als primäre Leseansicht des Modells dient. Das Beispiel im README zeigt einen Clip C0103 mit 43,0 Sekunden und 8 Phrasen, jeweils mit Zeitbereich und Sprecher.
Die zweite Schicht arbeitet nur auf Zuruf. timeline_view erzeugt für einen beliebigen Zeitbereich ein zusammengesetztes PNG aus Filmstreifen, Wellenform und Wortbeschriftungen. Aufgerufen wird es nur an Entscheidungspunkten, bei mehrdeutigen Pausen, beim Vergleich von Retakes, bei der Kontrolle von Schnittstellen. Die README rechnet den Kontrast vor: Der naive Weg würde 30000 Frames mit je 1500 Tokens zu 45 Millionen Tokens Rauschen aufblähen, video-use kommt mit 12KB Text plus einer Handvoll PNGs aus. Die Analogie zum Schwesterprojekt: Wie browser-use einem LLM ein strukturiertes DOM statt eines Screenshots gibt, gibt video-use ein Transkript statt Frames.
Die Pipeline von Transcribe bis Self-Eval mit maximal drei Rerenders
Der Verarbeitungspfad ist als Kette dokumentiert: Transcribe, Pack, LLM Reasons, EDL, Render, Self-Eval. Die Self-Eval-Stufe läuft timeline_view auf der bereits gerenderten Ausgabe an jeder Schnittgrenze und fängt visuelle Sprünge, Audio-Pops und verdeckte Untertitel ab. Findet sich ein Problem, wird repariert und neu gerendert, maximal dreimal. Erst nach bestandener Prüfung sieht der Nutzer die Vorschau.
Dazu passen fünf dokumentierte Designprinzipien. Text plus bedarfsgesteuerte Visuals statt Frame-Dumping. Audio ist primär, Visuals folgen, Schnitte entstehen aus Sprachgrenzen und Stillelücken. Der Ablauf verlangt fragen, bestätigen, ausführen, selbst bewerten, persistieren, ein Schnitt wird nie ohne freigegebene Strategie verändert. Es gibt null Annahmen über den Inhaltstyp, erst schauen, dann fragen, dann schneiden. Und schließlich: 12 harte Regeln für Produktionskorrektheit, künstlerische Freiheit überall sonst. Die vollständige Regelliste steht in SKILL.md.
Installation per Setup-Prompt oder manuell mit uv sync und brew install ffmpeg
Der bequeme Weg läuft wieder über einen Prompt. Der Setup-Text für Claude Code, Codex, Hermes, Openclaw oder beliebige Agenten mit Shell-Zugriff weist an, zuerst install.md zu lesen, ffmpeg zu verdrahten, den Skill zu registrieren und den ElevenLabs-API-Schlüssel einzurichten, der Nutzer fügt ihn auf Aufforderung ein. Danach soll der Agent SKILL.md und stets helpers/ lesen, dort wohnen die Schnittskripte. Bemerkenswert ist die letzte Anweisung: Der Agent soll nach der Installation nichts selbst transkribieren, sondern bereit melden und auf Material warten.
Der manuelle Weg dokumentiert jede Stufe: git clone nach ~/Developer/video-use, dann ein symbolischer Link, ln -sfn ~/Developer/video-use ~/.claude/skills/video-use für Claude Code oder ~/.codex/skills/video-use für Codex. Danach uv sync oder pip install -e ., brew install ffmpeg als Pflicht, brew install yt-dlp optional für Online-Quellen. Der Schlüssel geht über cp .env.example .env in die Projektumgebung. Im Betrieb zeigt man dem Agenten den Materialordner mit cd /path/to/your/videos und startet die Session, auf die Aufforderung edit these into a launch video inventarisiert er die Quellen, schlägt eine Strategie vor, wartet auf Freigabe und schreibt edit/final.mp4 neben die Quellen.
Grenzen: ElevenLabs-Abhängigkeit, sprechlastiger Zuschnitt, 21534 Sterne
Die deutlichste Abhängigkeit sitzt bei ElevenLabs. Ohne API-Schlüssel gibt es keine Scribe-Transkripte, damit keine Wort-Zeitstempel und keine word-boundary-genaue Schnittebene. Was der Dienst kostet und welche Ratenlimits gelten, sagt das Material nicht, in der Dokumentation nicht angegeben. Wer also lange Sessions mit viel Material plant, kalkuliert zuerst die Transkriptionskosten, bevor der erste Schnitt läuft.
Die zweite Grenze folgt aus dem Prinzip, dass Audio primär ist. Projekte, die vorwiegend aus visuellen Sequenzen ohne Sprechanteile bestehen, finden in takes_packed.md wenig Anhaltspunkt, hier muss der Agent über timeline_view aufwendiger arbeiten. Das Skill ist als Schnittwerkzeug ausgerichtet, nicht als Farben- oder VFX-Studio, die ffmpeg-Ketten bleiben der Rahmen. Positiv gerechnet ist der Selbstbewertungsloop mit maximal drei Rerenders eine ehrliche Fehlertoleranz, und project.md macht wiederholbare Produktion über Wochen möglich. Für Sprechvideo-Alltagsaufgaben ist die Architektur schlüssig, für alles andere sollte man zuerst die 12 Regeln in SKILL.md gegen das eigene Material lesen.
Redaktionelles Fazit
video-use richtet sich an Nutzer von Claude Code, Codex oder Hermes, die aus Rohmaterial wie Interviews oder Tutorials schnell einen geschnittenen finalen Clip wollen, ohne Schnittprogramm und ohne Presets. Die Architektur ist konsequent textbasiert, Kosten und Grenzen sitzen aber bei ElevenLabs: Ohne API-Schlüssel keine Transkripte, und die Ratenlimits stehen im Material nicht. Ungeeignet ist das Skill für rein visuelle Projekte ohne Sprechanteile, wo die audiozentrierte Strategie wenig Anhalt findet. Wer übernimmt, sollte zuerst die Demo-Aufgabe edit these into a launch video mit eigenem Testmaterial durchlaufen lassen und im edit/ Verzeichnis prüfen, ob die selbstbewerteten Schnitte tatsächlich poppfrei sind.
Community-Notizen