Autonomes LLM-Post-Training mit Tunix auf TPUs
🇬🇧 Read in English~2 min read
aiaillmfine-tuningagentsautoresearchtpu
Zwei Muster für Streaming-Tools in Googles ADK-Sprachagenten – Live-Fortschrittserzählung mit Teilaktualisierungen und leise Hintergrundausführung – plus die Produktionsfallen: Idempotenz, stop_streaming und Barge-in-Semantik.
LLM-Post-Training ist eine repetitive, meist mechanische Disziplin: einen Trainingsjob ausführen, Loss-Kurven beobachten, Benchmark-Evaluierungen prüfen, Fehlschläge manuell zurücksetzen oder Erfolge in einer Tabelle festhalten. Das Projekt "autofinetune" stellt die naheliegende Frage – wenn Agenten forschen können, warum sollten sie nicht auch diesen Zyklus übernehmen?
Wie in autoresearch demonstriert, kann der gesamte Prozess mit KI-Agenten in drei Teilen automatisiert werden:
program.md) – der Mensch definiert den Zyklus: Randbedingungen, Bewertungskriterien und Einschränkungen.run.py) – ein einzelnes, sauberes, in sich geschlossenes Feintuning-Skript.program.md: er modifiziert run.py, führt den Trainingsjob aus, misst die Zielmetrik, behält erfolgreiche Commits oder macht Regressionen rückgängig und protokolliert Ergebnisse in results.tsv.Die Aufgabe des Menschen reduziert sich darauf zu definieren, wie gut aussieht; die Aufgabe des Agenten ist der Zyklus – vorschlagen, ausführen, messen, behalten oder zurücksetzen, protokollieren.
Das erste Experiment in autofinetune übernahm das gleiche Supervised Fine-Tuning (SFT)-Setup aus einem früheren Beitrag und erweiterte es in den Auto-Forschungszyklus: Optimierung von google/functiongemma-270m-it auf dem google/mobile-actions-Datensatz. Statt eines einzigen manuell abgestimmten Laufs erkundet der Agent den Trainingskonfigurationsraum, behält, was die Metrik verbessert, und hinterlässt eine reproduzierbare results.tsv-Spur.
Dies ist ein grundlegend anderer Arbeitsablauf als "ein großes Feintuning": Post-Training wird zu einem Suchproblem, das der Agent über Nacht ausführt. Jede Kandidatenkonfiguration wird gegen dieselbe Metrik gemessen, Gewinner und Verlierer werden beide aufgezeichnet, und der Mensch überprüft die Arena, anstatt jeden Lauf zu beaufsichtigen. Es wird keine Forschungsfragen ersetzen – aber es ersetzt die Tabelle.
Wenn Sie Modelle auf TPUs feintunen, ist autofinetune das Muster, das Sie übernehmen sollten: Definieren Sie Ihre Randbedingungen einmal, übergeben Sie den Iterationszyklus einem Agenten und lassen Sie ein reproduzierbares Ergebnisprotokoll anstelle von Erfahrungswissen ansammeln. Das Arena-Design – program.md + run.py + Agentenzyklus – ist eine saubere Vorlage für jeden repetitiven experimentellen Arbeitsablauf.