Skill test_quality_audit · Version 0.1.0
Test-, CI- und Flaky-Qualitätsaudit
Deterministische statische Prüfung eines synthetischen Python-Projekts auf Testqualität, CI-Enforcement und Flakiness: übersprungene/deaktivierte kritische Tests, fehlende Assertions, breite Mocks, fehlende Negativpfade, Test-Retries und Sleep-Flakiness, langsame Tests über Schwellenwert, ignorierte CI-Fehlschläge, fehlendes Coverage-Gate, Critical-Module-Coverage unter Schwellenwert, xfail-Ignorierung, veraltete Assertion-Stile und TODO-Tests. Der Skill parst Testdateien, CI-Workflow, Coverage-JSON, Laufzeit-Report und Flaky-Log sowie ein Qualitätsprofil (kritische Module, Schwellenwerte); er führt keine Tests aus, nutzt kein Netzwerk und keine LLM-Aufrufe; zwei Läufe liefern byte-identische Findings. Dokumentierte saubere Muster (echte Assertions, Negativpfade, CI-Gate, schnelle Tests, Critical-Path-Coverage, dokumentierter Skip) werden über Guards unterdrückt. Der Quality-Score ist eine transparente Heuristik ohne Coverage-/Stabilitäts- oder Release-Garantie.
Berechtigungen
- Nur Lesen (Workspace)
- Kein Netzwerk
Kosten- und Laufzeitmodell
| Feld | Wert |
|---|---|
| LLM-Aufrufe erlaubt | 0 |
| Netzwerkzugriff | nein (erzwungen) |
| Max. Laufzeit | 120000 ms |
| Letzte Evidenz | d384e1169b2c47878f415f225f21ba8c (2026-11-03T11:34:13Z) |
Validierungs-Schwellenwerte
| Feld | Bedeutung | Wert |
|---|---|---|
min_recall | Mindest-Recall | 1 |
min_precision | Mindest-Precision | 0.9 |
max_runtime_ms | Max. Laufzeit (ms) | 120000 |
max_cost_usd | Max. Kosten (USD) | 0.05 |
Grenzen des Skills
- Rein statischer Heuristik-Audit; die Testsuite wird nicht ausgeführt und es wird nichts kompiliert oder gestartet.
- Der Quality-Score ist eine transparente Heuristik über statische Signale und keine Coverage-, Stabilitäts- oder Release-Garantie.
- Assertion-Qualität, Flakiness und Langsamkeit werden über Muster in Quelltext, Logs und Reports geschätzt; echte Laufzeiten und Flakes können abweichen.
- Die Regeln decken die im Lab-Target codifizierten Testmuster ab; weitere Test-Smells (z. B. Reihenfolgeabhängigkeit, Race Conditions) können ungemeldet bleiben.
- Die aktuelle Evidenz basiert ausschließlich auf dem synthetischen Lab-Target weak-test-suite, nicht auf einem Kundenprojekt.
- Alle Dateien, Tests und Reports sind fiktiv; es werden keine echten Dienste, Daten, Repositories oder Zugangsdaten verarbeitet.
Eingabe-Vertrag (JSON-Schema)
Der Runner validiert Eingaben gegen dieses Schema, bevor der Skill startet.
{
"additionalProperties": false,
"properties": {
"max_findings": {
"default": 200,
"type": "integer"
},
"scope": {
"default": [
"coverage",
"assertions",
"flakiness",
"ci",
"maintainability"
],
"items": {
"type": "string"
},
"type": "array"
},
"target_path": {
"type": "string"
}
},
"required": [
"target_path"
],
"type": "object"
}
Ausgabe-Vertrag (JSON-Schema)
Die Ausgabe wird nach dem Lauf gegen dieses Schema geprüft; Abweichungen brechen den Lauf ab.
{
"additionalProperties": false,
"properties": {
"findings": {
"maxItems": 500,
"type": "array"
},
"summary": {
"type": "object"
}
},
"required": [
"findings",
"summary"
],
"type": "object"
}
Evidenz für diesen Skill
Nur verifizierte Records, neueste zuerst. Ein Record belegt einen konkreten Lauf gegen ein synthetisches Lab-Ziel.
| Record | Zeitstempel | Status | Reife | Precision / Recall | Laufzeit | Kosten |
|---|---|---|---|---|---|---|
| d384e1169b2c47878f415f225f21ba8c | 2026-11-03T11:34:13Z | PASSED | VALIDATED | 1,000 / 1,000 | 723 ms | 0,00 € |