Gatekeeper: Hash-Kette verifiziert 212 veröff. Claims · 0 unterdrückt · 256 PASSED-Records · 1024 Ed25519-Kritiker-Signaturen · Stand

Produkt test-quality-audit · Version 0.1.0

Test-, CI- und Flaky-Qualitätsaudit

Standardisierter, deterministischer Qualitätsaudit für Testsuiten und CI-Konfigurationen. Das Produkt prüft einen synthetischen Projekt-Snapshot statisch auf Testqualität und -stabilität: deaktivierte oder übersprungene kritische Tests, fehlende Assertions, breite Mocks, fehlende Negativpfade, Retry-/Sleep-Flakiness, langsame Tests, ignorierte CI-Fehlschläge, fehlende Coverage-Gates, Critical-Module-Coverage unter Schwellenwert, xfail-Ignorierung, veraltete Assertion-Stile und TODO-Tests. Es liefert datei- und zeilengenaue Befunde mit konkreten Fix-Anweisungen und einen transparent dokumentierten Quality-Score. Jeder Lauf wird unabhängig re-validiert und ist über einen hash-verketteten Evidence-Record reproduzierbar; Claims werden nur mit verifizierter Evidenz veröffentlicht.

VALIDATED Produktreife: VALIDATED 1 Evidenz-Record(s) 3 veröffentlichte Claims

Zielkunde (ICP)

Engineering Leads und QA-Verantwortliche in mittelständischen und Enterprise-Softwareteams (10–100 Entwickler), die vor einem Release, einer Migration oder einem regelmaäßigen Qualitätsreview eine schnelle, reproduzierbare Bestandsaufnahme ihrer Testsuite und CI-Gates benötigen, ohne Testläufe oder externes QA-Consulting anzustoßen.

Problem

Deaktivierte Tests, fehlende Assertions, Retry-Ignorierung und nicht durchgesetzte CI-Gates entstehen schleichend und bleiben in Code-Reviews unsichtbar. Teams erhalten grüne Builds, obwohl kritische Module ungetestet oder instabil sind; manuelle Test-Audits sind uneinheitlich und nicht reproduzierbar. Engineering Leads benötigen eine deterministische, evidenzbasierte Bestandsaufnahme mit datei- und zeilengenauen Fix-Aufträgen, die ohne Testausführung und ohne Datenabfluss funktioniert.

Liefermodelle

  • Audit as a Service

Service-Level (SLA)

Service-Level des Produkts
FeldWert
delivery_time_hours48
max_findings_per_audit200
max_runtime_seconds120

Grenzen des Produkts

  • Rein statischer Heuristik-Audit; die Testsuite wird nicht ausgeführt, es wird nichts kompiliert oder gestartet. Echte Laufzeiten und Flakes können von den statischen Signalen abweichen.
  • Der Quality-Score ist eine transparente Heuristik und keine Coverage-, Stabilitäts- oder Release-Garantie.
  • Assertion-Qualität, Flakiness und Langsamkeit werden über Muster geschätzt; Reihenfolgeabhängigkeit, Race Conditions und dynamisches Verhalten werden nicht erkannt.
  • Die aktuelle Evidenz basiert ausschließlich auf dem synthetischen Lab-Target weak-test-suite, nicht auf einem Kundenprojekt.
  • Es werden keine echten Dienste, Daten, Repositories oder Zugangsdaten verarbeitet.
  • Preis und Kostenmodell sind Startwerte; die gemessene Marge wird aus dem Evidence-Record übernommen und nicht geschätzt.
  • Rein statischer Heuristik-Audit; die Testsuite wird nicht ausgeführt und es wird nichts kompiliert oder gestartet.
  • Der Quality-Score ist eine transparente Heuristik über statische Signale und keine Coverage-, Stabilitäts- oder Release-Garantie.
  • Assertion-Qualität, Flakiness und Langsamkeit werden über Muster in Quelltext, Logs und Reports geschätzt; echte Laufzeiten und Flakes können abweichen.
  • Die Regeln decken die im Lab-Target codifizierten Testmuster ab; weitere Test-Smells (z. B. Reihenfolgeabhängigkeit, Race Conditions) können ungemeldet bleiben.
  • Die aktuelle Evidenz basiert ausschließlich auf dem synthetischen Lab-Target weak-test-suite, nicht auf einem Kundenprojekt.
  • Alle Dateien, Tests und Reports sind fiktiv; es werden keine echten Dienste, Daten, Repositories oder Zugangsdaten verarbeitet.

Verträge: Eingabe und Ausgabe

Ein Claim erscheint nur, wenn die Evidenz zur exakten Version passt. Contract-Felder werden aus dem veröffentlichten Datenvertrag gerendert.

JSON-Schema (input_contract) aus dem veröffentlichten Datenvertrag. Der Runner validiert Ein- und Ausgaben gegen dieses Schema.

{
  "properties": {
    "project_snapshot": {
      "description": "Read-only Snapshot des Projekts (Testdateien, Quellmodule, CI-Workflow, Coverage-Report, Laufzeit-Report, Flaky-Log, quality-profile.json); keine Credentials, keine Testausführung, keine Änderung am Zielsystem.",
      "type": "object"
    }
  },
  "required": [
    "project_snapshot"
  ],
  "type": "object"
}
Eigenschaften des input_contract
FeldTypPflichtBeschreibung
project_snapshotobjectjaRead-only Snapshot des Projekts (Testdateien, Quellmodule, CI-Workflow, Coverage-Report, Laufzeit-Report, Flaky-Log, quality-profile.json); keine Credentials, keine Testausführung, keine Änderung am Zielsystem.

JSON-Schema (output_contract) aus dem veröffentlichten Datenvertrag. Der Runner validiert Ein- und Ausgaben gegen dieses Schema.

{
  "properties": {
    "findings": {
      "description": "Maschinenlesbare Findings als JSON inkl. Summary mit transparentem Quality-Score, Score-Formel, Kategorie-Scores und ausgewiesenen Heuristik-Regeln.",
      "type": "object"
    },
    "report": {
      "description": "Kundenbericht (Markdown) mit Zusammenfassung, Methodik, priorisierten Testqualitätsbefunden inkl. Datei, Zeile, Schweregrad, Fix-Anweisung, Qualitätsmetriken, Reproduzierbarkeitsdaten und Grenzen.",
      "type": "object"
    }
  },
  "required": [
    "report",
    "findings"
  ],
  "type": "object"
}
Eigenschaften des output_contract
FeldTypPflichtBeschreibung
findingsobjectjaMaschinenlesbare Findings als JSON inkl. Summary mit transparentem Quality-Score, Score-Formel, Kategorie-Scores und ausgewiesenen Heuristik-Regeln.
reportobjectjaKundenbericht (Markdown) mit Zusammenfassung, Methodik, priorisierten Testqualitätsbefunden inkl. Datei, Zeile, Schweregrad, Fix-Anweisung, Qualitätsmetriken, Reproduzierbarkeitsdaten und Grenzen.

Veröffentlichte Claims (gate-geprüft)

Jeder folgende Claim ist an mindestens einen PASSED-Evidenz-Record gebunden. Die SHA-256-Hashwerte der Records sind direkt an jedem Claim sichtbar; nicht freigegebene Claims werden nicht gerendert.

Der Audit erkennt deaktivierte oder übersprungene kritische Tests, fehlende Assertions und fehlende Tests für kritische Module datei- und zeilengenau.

Evidenz: d384e1169b2c47878f415f225f21ba8c

Der Audit erkennt Flakiness-Marker (Retries, Sleeps, Retry-Logs, xfail-Ignorierung), langsame Tests sowie nicht durchgesetzte CI-Gates und fehlende Coverage-Schwellenwerte.

Evidenz: d384e1169b2c47878f415f225f21ba8c

Jeder Audit-Lauf ist deterministisch, wird unabhängig re-validiert und ist über einen hash-verketteten Evidence-Record mit Artefakt-Hashes reproduzierbar.

Evidenz: d384e1169b2c47878f415f225f21ba8c

Es sind keine unterdrückten Claims für dieses Produkt im Gatekeeper-Status enthalten.

Workflow

Ausführungsschritte laut Manifest; jeder Schritt referenziert einen geprüften Skill.

Workflow des Produkts
SchrittSkillBeschreibungAbhängig von
audittest_quality_auditStatischen Test-/CI-/Flaky-Qualitätsaudit des Projekt-Snapshots mit dem Skill test_quality_audit ausführen und Findings deterministisch erzeugen.—

Skills in diesem Produkt

Versionen, Schwellenwerte und Evidenzstand je Skill. Details in der Skill-Registry.

Skills im Produkt
SkillVersionReifeRecall / PrecisionEvidenzLetzte Evidenz
Test-, CI- und Flaky-Qualitätsaudit0.1.0VALIDATED1,000 / 0,9001d384e1169b2c47878f415f225f21ba8c

Evidenz für dieses Produkt

Ausschließlich verifizierte Records. Hashes und Artefaktpfade sind im Evidenz-Detail einsehbar.

Produkt: Test-, CI- und Flaky-Qualitätsaudit v0.1.0Skill: Test-, CI- und Flaky-Qualitätsaudit v0.1.0Zeitstempel: Precision: 1,000Recall: 1,000Task-Erfolg: 1,000Laufzeit: 723 msKosten: 0,00 €

record_sha256: e37b58f56449f63af66412f8350620aba98a9ddbf91a321470f9a3279c58da75

  • Rein statischer Heuristik-Audit; die Testsuite wird nicht ausgeführt, es wird nichts kompiliert oder gestartet. Echte Laufzeiten und Flakes können von den statischen Signalen abweichen.
  • Der Quality-Score ist eine transparente Heuristik und keine Coverage-, Stabilitäts- oder Release-Garantie.
  • Assertion-Qualität, Flakiness und Langsamkeit werden über Muster geschätzt; Reihenfolgeabhängigkeit, Race Conditions und dynamisches Verhalten werden nicht erkannt.
  • … 9 weitere

Bericht: evidence/artifacts/d384e1169b2c47878f415f225f21ba8c/report.md

Weitere Dokumentation

Kein Dokumentationspfad veröffentlicht.

Gatekeeper Evidence Inspector

Produkt-Manifest:

—

Evidence-Record-ID:

—

Record-Digest (SHA-256):

—
Record im Evidenz-Explorer