Gatekeeper: Hash-Kette verifiziert 212 veröff. Claims · 0 unterdrückt · 256 PASSED-Records · 1024 Ed25519-Kritiker-Signaturen · Stand

Skill test_quality_audit · Version 0.1.0

Test-, CI- und Flaky-Qualitätsaudit

Deterministische statische Prüfung eines synthetischen Python-Projekts auf Testqualität, CI-Enforcement und Flakiness: übersprungene/deaktivierte kritische Tests, fehlende Assertions, breite Mocks, fehlende Negativpfade, Test-Retries und Sleep-Flakiness, langsame Tests über Schwellenwert, ignorierte CI-Fehlschläge, fehlendes Coverage-Gate, Critical-Module-Coverage unter Schwellenwert, xfail-Ignorierung, veraltete Assertion-Stile und TODO-Tests. Der Skill parst Testdateien, CI-Workflow, Coverage-JSON, Laufzeit-Report und Flaky-Log sowie ein Qualitätsprofil (kritische Module, Schwellenwerte); er führt keine Tests aus, nutzt kein Netzwerk und keine LLM-Aufrufe; zwei Läufe liefern byte-identische Findings. Dokumentierte saubere Muster (echte Assertions, Negativpfade, CI-Gate, schnelle Tests, Critical-Path-Coverage, dokumentierter Skip) werden über Guards unterdrückt. Der Quality-Score ist eine transparente Heuristik ohne Coverage-/Stabilitäts- oder Release-Garantie.

VALIDATED Kategorie: Software-Audit 1 Evidenz-Record(s)

Berechtigungen

  • Nur Lesen (Workspace)
  • Kein Netzwerk

Kosten- und Laufzeitmodell

Kostenmodell des Skills
FeldWert
LLM-Aufrufe erlaubt0
Netzwerkzugriffnein (erzwungen)
Max. Laufzeit120000 ms
Letzte Evidenzd384e1169b2c47878f415f225f21ba8c (2026-11-03T11:34:13Z)

Validierungs-Schwellenwerte

Schwellenwerte
FeldBedeutungWert
min_recallMindest-Recall1
min_precisionMindest-Precision0.9
max_runtime_msMax. Laufzeit (ms)120000
max_cost_usdMax. Kosten (USD)0.05

Grenzen des Skills

  • Rein statischer Heuristik-Audit; die Testsuite wird nicht ausgeführt und es wird nichts kompiliert oder gestartet.
  • Der Quality-Score ist eine transparente Heuristik über statische Signale und keine Coverage-, Stabilitäts- oder Release-Garantie.
  • Assertion-Qualität, Flakiness und Langsamkeit werden über Muster in Quelltext, Logs und Reports geschätzt; echte Laufzeiten und Flakes können abweichen.
  • Die Regeln decken die im Lab-Target codifizierten Testmuster ab; weitere Test-Smells (z. B. Reihenfolgeabhängigkeit, Race Conditions) können ungemeldet bleiben.
  • Die aktuelle Evidenz basiert ausschließlich auf dem synthetischen Lab-Target weak-test-suite, nicht auf einem Kundenprojekt.
  • Alle Dateien, Tests und Reports sind fiktiv; es werden keine echten Dienste, Daten, Repositories oder Zugangsdaten verarbeitet.

Eingabe-Vertrag (JSON-Schema)

Der Runner validiert Eingaben gegen dieses Schema, bevor der Skill startet.

{
  "additionalProperties": false,
  "properties": {
    "max_findings": {
      "default": 200,
      "type": "integer"
    },
    "scope": {
      "default": [
        "coverage",
        "assertions",
        "flakiness",
        "ci",
        "maintainability"
      ],
      "items": {
        "type": "string"
      },
      "type": "array"
    },
    "target_path": {
      "type": "string"
    }
  },
  "required": [
    "target_path"
  ],
  "type": "object"
}

Ausgabe-Vertrag (JSON-Schema)

Die Ausgabe wird nach dem Lauf gegen dieses Schema geprüft; Abweichungen brechen den Lauf ab.

{
  "additionalProperties": false,
  "properties": {
    "findings": {
      "maxItems": 500,
      "type": "array"
    },
    "summary": {
      "type": "object"
    }
  },
  "required": [
    "findings",
    "summary"
  ],
  "type": "object"
}

Evidenz für diesen Skill

Nur verifizierte Records, neueste zuerst. Ein Record belegt einen konkreten Lauf gegen ein synthetisches Lab-Ziel.

Evidenz des Skills
RecordZeitstempelStatusReifePrecision / RecallLaufzeitKosten
d384e1169b2c47878f415f225f21ba8c2026-11-03T11:34:13ZPASSEDVALIDATED1,000 / 1,000723 ms0,00 €

Verwendet von

Gatekeeper Evidence Inspector

Produkt-Manifest:

—

Evidence-Record-ID:

—

Record-Digest (SHA-256):

—
Record im Evidenz-Explorer