Der Audit erkennt deaktivierte oder übersprungene kritische Tests, fehlende Assertions und fehlende Tests für kritische Module datei- und zeilengenau.
Produkt test-quality-audit · Version 0.1.0
Test-, CI- und Flaky-Qualitätsaudit
Standardisierter, deterministischer Qualitätsaudit für Testsuiten und CI-Konfigurationen. Das Produkt prüft einen synthetischen Projekt-Snapshot statisch auf Testqualität und -stabilität: deaktivierte oder übersprungene kritische Tests, fehlende Assertions, breite Mocks, fehlende Negativpfade, Retry-/Sleep-Flakiness, langsame Tests, ignorierte CI-Fehlschläge, fehlende Coverage-Gates, Critical-Module-Coverage unter Schwellenwert, xfail-Ignorierung, veraltete Assertion-Stile und TODO-Tests. Es liefert datei- und zeilengenaue Befunde mit konkreten Fix-Anweisungen und einen transparent dokumentierten Quality-Score. Jeder Lauf wird unabhängig re-validiert und ist über einen hash-verketteten Evidence-Record reproduzierbar; Claims werden nur mit verifizierter Evidenz veröffentlicht.
Zielkunde (ICP)
Engineering Leads und QA-Verantwortliche in mittelständischen und Enterprise-Softwareteams (10–100 Entwickler), die vor einem Release, einer Migration oder einem regelmaäßigen Qualitätsreview eine schnelle, reproduzierbare Bestandsaufnahme ihrer Testsuite und CI-Gates benötigen, ohne Testläufe oder externes QA-Consulting anzustoßen.
Problem
Deaktivierte Tests, fehlende Assertions, Retry-Ignorierung und nicht durchgesetzte CI-Gates entstehen schleichend und bleiben in Code-Reviews unsichtbar. Teams erhalten grüne Builds, obwohl kritische Module ungetestet oder instabil sind; manuelle Test-Audits sind uneinheitlich und nicht reproduzierbar. Engineering Leads benötigen eine deterministische, evidenzbasierte Bestandsaufnahme mit datei- und zeilengenauen Fix-Aufträgen, die ohne Testausführung und ohne Datenabfluss funktioniert.
Liefermodelle
- Audit as a Service
Service-Level (SLA)
| Feld | Wert |
|---|---|
delivery_time_hours | 48 |
max_findings_per_audit | 200 |
max_runtime_seconds | 120 |
Grenzen des Produkts
- Rein statischer Heuristik-Audit; die Testsuite wird nicht ausgeführt, es wird nichts kompiliert oder gestartet. Echte Laufzeiten und Flakes können von den statischen Signalen abweichen.
- Der Quality-Score ist eine transparente Heuristik und keine Coverage-, Stabilitäts- oder Release-Garantie.
- Assertion-Qualität, Flakiness und Langsamkeit werden über Muster geschätzt; Reihenfolgeabhängigkeit, Race Conditions und dynamisches Verhalten werden nicht erkannt.
- Die aktuelle Evidenz basiert ausschließlich auf dem synthetischen Lab-Target weak-test-suite, nicht auf einem Kundenprojekt.
- Es werden keine echten Dienste, Daten, Repositories oder Zugangsdaten verarbeitet.
- Preis und Kostenmodell sind Startwerte; die gemessene Marge wird aus dem Evidence-Record übernommen und nicht geschätzt.
- Rein statischer Heuristik-Audit; die Testsuite wird nicht ausgeführt und es wird nichts kompiliert oder gestartet.
- Der Quality-Score ist eine transparente Heuristik über statische Signale und keine Coverage-, Stabilitäts- oder Release-Garantie.
- Assertion-Qualität, Flakiness und Langsamkeit werden über Muster in Quelltext, Logs und Reports geschätzt; echte Laufzeiten und Flakes können abweichen.
- Die Regeln decken die im Lab-Target codifizierten Testmuster ab; weitere Test-Smells (z. B. Reihenfolgeabhängigkeit, Race Conditions) können ungemeldet bleiben.
- Die aktuelle Evidenz basiert ausschließlich auf dem synthetischen Lab-Target weak-test-suite, nicht auf einem Kundenprojekt.
- Alle Dateien, Tests und Reports sind fiktiv; es werden keine echten Dienste, Daten, Repositories oder Zugangsdaten verarbeitet.
Verträge: Eingabe und Ausgabe
Ein Claim erscheint nur, wenn die Evidenz zur exakten Version passt. Contract-Felder werden aus dem veröffentlichten Datenvertrag gerendert.
JSON-Schema (input_contract) aus dem veröffentlichten Datenvertrag. Der Runner validiert Ein- und Ausgaben gegen dieses Schema.
{
"properties": {
"project_snapshot": {
"description": "Read-only Snapshot des Projekts (Testdateien, Quellmodule, CI-Workflow, Coverage-Report, Laufzeit-Report, Flaky-Log, quality-profile.json); keine Credentials, keine Testausführung, keine Änderung am Zielsystem.",
"type": "object"
}
},
"required": [
"project_snapshot"
],
"type": "object"
}| Feld | Typ | Pflicht | Beschreibung |
|---|---|---|---|
project_snapshot | object | ja | Read-only Snapshot des Projekts (Testdateien, Quellmodule, CI-Workflow, Coverage-Report, Laufzeit-Report, Flaky-Log, quality-profile.json); keine Credentials, keine Testausführung, keine Änderung am Zielsystem. |
JSON-Schema (output_contract) aus dem veröffentlichten Datenvertrag. Der Runner validiert Ein- und Ausgaben gegen dieses Schema.
{
"properties": {
"findings": {
"description": "Maschinenlesbare Findings als JSON inkl. Summary mit transparentem Quality-Score, Score-Formel, Kategorie-Scores und ausgewiesenen Heuristik-Regeln.",
"type": "object"
},
"report": {
"description": "Kundenbericht (Markdown) mit Zusammenfassung, Methodik, priorisierten Testqualitätsbefunden inkl. Datei, Zeile, Schweregrad, Fix-Anweisung, Qualitätsmetriken, Reproduzierbarkeitsdaten und Grenzen.",
"type": "object"
}
},
"required": [
"report",
"findings"
],
"type": "object"
}| Feld | Typ | Pflicht | Beschreibung |
|---|---|---|---|
findings | object | ja | Maschinenlesbare Findings als JSON inkl. Summary mit transparentem Quality-Score, Score-Formel, Kategorie-Scores und ausgewiesenen Heuristik-Regeln. |
report | object | ja | Kundenbericht (Markdown) mit Zusammenfassung, Methodik, priorisierten Testqualitätsbefunden inkl. Datei, Zeile, Schweregrad, Fix-Anweisung, Qualitätsmetriken, Reproduzierbarkeitsdaten und Grenzen. |
Veröffentlichte Claims (gate-geprüft)
Jeder folgende Claim ist an mindestens einen PASSED-Evidenz-Record gebunden. Die SHA-256-Hashwerte der Records sind direkt an jedem Claim sichtbar; nicht freigegebene Claims werden nicht gerendert.
Der Audit erkennt Flakiness-Marker (Retries, Sleeps, Retry-Logs, xfail-Ignorierung), langsame Tests sowie nicht durchgesetzte CI-Gates und fehlende Coverage-Schwellenwerte.
Jeder Audit-Lauf ist deterministisch, wird unabhängig re-validiert und ist über einen hash-verketteten Evidence-Record mit Artefakt-Hashes reproduzierbar.
Es sind keine unterdrückten Claims für dieses Produkt im Gatekeeper-Status enthalten.
Workflow
Ausführungsschritte laut Manifest; jeder Schritt referenziert einen geprüften Skill.
| Schritt | Skill | Beschreibung | Abhängig von |
|---|---|---|---|
audit | test_quality_audit | Statischen Test-/CI-/Flaky-Qualitätsaudit des Projekt-Snapshots mit dem Skill test_quality_audit ausführen und Findings deterministisch erzeugen. | — |
Skills in diesem Produkt
Versionen, Schwellenwerte und Evidenzstand je Skill. Details in der Skill-Registry.
| Skill | Version | Reife | Recall / Precision | Evidenz | Letzte Evidenz |
|---|---|---|---|---|---|
| Test-, CI- und Flaky-Qualitätsaudit | 0.1.0 | VALIDATED | 1,000 / 0,900 | 1 | d384e1169b2c47878f415f225f21ba8c |
Evidenz für dieses Produkt
Ausschließlich verifizierte Records. Hashes und Artefaktpfade sind im Evidenz-Detail einsehbar.
record_sha256: e37b58f56449f63af66412f8350620aba98a9ddbf91a321470f9a3279c58da75
- Rein statischer Heuristik-Audit; die Testsuite wird nicht ausgeführt, es wird nichts kompiliert oder gestartet. Echte Laufzeiten und Flakes können von den statischen Signalen abweichen.
- Der Quality-Score ist eine transparente Heuristik und keine Coverage-, Stabilitäts- oder Release-Garantie.
- Assertion-Qualität, Flakiness und Langsamkeit werden über Muster geschätzt; Reihenfolgeabhängigkeit, Race Conditions und dynamisches Verhalten werden nicht erkannt.
- … 9 weitere
Bericht: evidence/artifacts/d384e1169b2c47878f415f225f21ba8c/report.md
Weitere Dokumentation
Kein Dokumentationspfad veröffentlicht.