Gatekeeper: Hash-Kette verifiziert 212 veröff. Claims · 0 unterdrückt · 256 PASSED-Records · 1024 Ed25519-Kritiker-Signaturen · Stand

Skill ai_agent_eval_audit · Version 0.1.0

AI Agent Evaluation & Guardrail Evidence Audit (synthetic export)

Deterministische, statische Prüfung eines synthetischen KI-Agenten-Eval- Exports gegen eine Eval-Policy: Eval-Coverage (Suite/Owner/Version), Regression-/Red-Team-Coverage inkl. Prompt-Injection-Testfällen, Ergebnisqualität (Pass-Rate, veraltete/fehlgeschlagene Runs, Regression- Drops, Duplikate, unbekannte Agenten), Guardrails (deaktiviert/veraltet/ failed Red-Team-Status), Budgets (Kosten/Latenz), Human-Approval für High-Risk-Actions, Tool-Permissions (undokumentiert/überbreit) und Incidents (fehlender Eval-Link, fehlendes Review). Der Skill liest ausschließlich lokale CSV/JSON/YAML-Dateien, führt keine Modelle/Evals aus, nutzt kein Netzwerk und keine LLM-Aufrufe; zwei Läufe liefern byte-identische Findings. Agent-Eval-Score und Kategorie-Scores sind transparente Heuristiken. **Disclaimer: technischer Evidenzentwurf; keine Modell-, Sicherheits- oder Konformitätsgarantie; Recurring-Betrieb wird nicht beworben.**

VALIDATED Kategorie: Software-Audit 1 Evidenz-Record(s)

Berechtigungen

  • Nur Lesen (Workspace)
  • Kein Netzwerk

Kosten- und Laufzeitmodell

Kostenmodell des Skills
FeldWert
LLM-Aufrufe erlaubt0
Netzwerkzugriffnein (erzwungen)
Max. Laufzeit120000 ms
Letzte Evidenz27160f123da04bd6abc5f51490937b69 (2026-11-03T11:20:10Z)

Validierungs-Schwellenwerte

Schwellenwerte
FeldBedeutungWert
min_recallMindest-Recall1
min_precisionMindest-Precision0.9
max_runtime_msMax. Laufzeit (ms)120000
max_cost_usdMax. Kosten (USD)0.05

Grenzen des Skills

  • Rein statischer Audit eines synthetischen Agenten-Eval-Exports – keine Modell-/Eval-Ausführung, kein Registry-Zugriff, kein Netzwerk.
  • Eval-/Guardrail-/Approval-Prüfungen basieren auf deklarierten Feldern und Policy-Schwellen.
  • Stale-/Duplikat-/Regression-Drop-Prüfungen sind Heuristiken.
  • Technischer Evidenzentwurf; keine Modell-, Sicherheits- oder Konformitätsgarantie; Recurring-Betrieb wird nicht beworben.

Eingabe-Vertrag (JSON-Schema)

Der Runner validiert Eingaben gegen dieses Schema, bevor der Skill startet.

{
  "additionalProperties": false,
  "properties": {
    "max_findings": {
      "default": 200,
      "type": "integer"
    },
    "scope": {
      "default": [
        "evalcoverage",
        "regression",
        "results",
        "guardrails",
        "budget",
        "approvals",
        "incidents",
        "tooling"
      ],
      "items": {
        "type": "string"
      },
      "type": "array"
    },
    "target_path": {
      "type": "string"
    }
  },
  "required": [
    "target_path"
  ],
  "type": "object"
}

Ausgabe-Vertrag (JSON-Schema)

Die Ausgabe wird nach dem Lauf gegen dieses Schema geprüft; Abweichungen brechen den Lauf ab.

{
  "additionalProperties": false,
  "properties": {
    "findings": {
      "maxItems": 500,
      "type": "array"
    },
    "summary": {
      "type": "object"
    }
  },
  "required": [
    "findings",
    "summary"
  ],
  "type": "object"
}

Evidenz für diesen Skill

Nur verifizierte Records, neueste zuerst. Ein Record belegt einen konkreten Lauf gegen ein synthetisches Lab-Ziel.

Evidenz des Skills
RecordZeitstempelStatusReifePrecision / RecallLaufzeitKosten
27160f123da04bd6abc5f51490937b692026-11-03T11:20:10ZPASSEDVALIDATED1,000 / 1,000333 ms0,00 €

Verwendet von

Gatekeeper Evidence Inspector

Produkt-Manifest:

—

Evidence-Record-ID:

—

Record-Digest (SHA-256):

—
Record im Evidenz-Explorer