Gatekeeper: Hash-Kette verifiziert 212 veröff. Claims · 0 unterdrückt · 256 PASSED-Records · 1024 Ed25519-Kritiker-Signaturen · Stand

Produkt ai-agent-eval-audit · Version 0.1.0

AI Agent Evaluation & Guardrail Evidence Audit

Standardisierter, deterministischer Audit für KI-Agenten-Evaluations- und Guardrail-Evidenz. Das Produkt prüft einen Agenten-Eval-Export statisch auf Evidenzlücken: Agenten ohne Eval-Suite/Owner/Version, fehlende Regression- und Red-Team-Coverage, fehlende Prompt-Injection-Testfälle, Pass-Raten unter Schwelle, veraltete/fehlgeschlagene Runs, ignorierte Failed-Runs, Regression-Pass-Drops, Duplikate, unbekannte Agenten-Referenzen, deaktivierte/veraltete Guardrails, failed Red-Team-Status, Kosten-/Latenz- Budgetüberschreitungen, fehlende Human-Approval für High-Risk-Actions, undokumentierte/überbreite Tool-Permissions sowie Incidents ohne Eval-Link oder Review. Jeder Befund ist datei- und zeilengenau mit konkreter Korrekturanweisung; Agent-Eval-Score und Kategorie-Scores sind transparente Formeln, heuristische Regeln sind gekennzeichnet. Der Lauf wird unabhängig re-validiert und ist über einen hash-verketteten Evidence-Record mit Ed25519-Signaturen und Contract-Digests reproduzierbar.

VALIDATED Produktreife: VALIDATED 1 Evidenz-Record(s) 3 veröffentlichte Claims

Zielkunde (ICP)

AI-Plattform-, ML-Engineering- und AI-Governance-Teams in mittelständischen Unternehmen (5-100 KI-Agenten), die Eval-Suiten, Guardrails, Red-Teaming und Agent-Approvals verantworten und vor Agent-Reviews, Release-Gates oder AI-Audits eine schnelle, reproduzierbare Prüfung ihres Eval-Exports benötigen.

Problem

Agenten-Evaluations-Risiken stecken in Details: Agenten ohne Eval-Suite, fehlende Regression-/Red-Team-Coverage und Prompt-Injection-Tests, Pass-Raten unter Schwelle, veraltete oder ignorierte Failed-Runs, deaktivierte oder veraltete Guardrails, Budgetüberschreitungen, fehlende Human-Approvals für High-Risk-Actions, undokumentierte/überbreite Tool-Permissions und Incidents ohne Eval-Link. Diese Lücken verteilen sich über Agenten-, Suiten-, Run-, Guardrail- und Incident-Exporte; manuelle Reviews sind langsam und liefern keine zeilengenauen Evidenz-Pointer. Teams benötigen eine deterministische, lokal laufende Vorprüfung ihres Eval-Exports.

Liefermodelle

  • Audit as a Service
  • Agent as a Service

Service-Level (SLA)

Service-Level des Produkts
FeldWert
delivery_time_hours48
max_findings_per_audit200
max_runtime_seconds120

Grenzen des Produkts

  • Rein statischer Audit eines synthetischen Agenten-Eval-Exports – keine Modell-/Eval-Ausführung, kein Registry-Zugriff, kein Netzwerk.
  • Eval-/Guardrail-/Approval-Prüfungen basieren auf deklarierten Feldern und Policy-Schwellen.
  • Stale-/Duplikat-/Regression-Drop-Prüfungen sind Heuristiken.
  • Technischer Evidenzentwurf; keine Modell-, Sicherheits- oder Konformitätsgarantie; Recurring-Betrieb wird nicht beworben.
  • Die aktuelle Evidenz basiert ausschließlich auf dem synthetischen Lab-Target synthetic-agent-eval, nicht auf echten Eval-Exporten.
  • Rein statischer Audit eines synthetischen Agenten-Eval-Exports – keine Modell-/Eval-Ausführung, kein Registry-Zugriff, kein Netzwerk.
  • Eval-/Guardrail-/Approval-Prüfungen basieren auf deklarierten Feldern und Policy-Schwellen.
  • Stale-/Duplikat-/Regression-Drop-Prüfungen sind Heuristiken.
  • Technischer Evidenzentwurf; keine Modell-, Sicherheits- oder Konformitätsgarantie; Recurring-Betrieb wird nicht beworben.

Verträge: Eingabe und Ausgabe

Ein Claim erscheint nur, wenn die Evidenz zur exakten Version passt. Contract-Felder werden aus dem veröffentlichten Datenvertrag gerendert.

JSON-Schema (input_contract) aus dem veröffentlichten Datenvertrag. Der Runner validiert Ein- und Ausgaben gegen dieses Schema.

{
  "properties": {
    "repository_snapshot": {
      "description": "Read-only Agenten-Eval-Export (Agenten, Suiten, Runs, Guardrails, Incidents, Policy); synthetische oder kundenseitig freigegebene Metadaten, kein Registry-/Modell-Zugriff.",
      "type": "object"
    }
  },
  "required": [
    "repository_snapshot"
  ],
  "type": "object"
}
Eigenschaften des input_contract
FeldTypPflichtBeschreibung
repository_snapshotobjectjaRead-only Agenten-Eval-Export (Agenten, Suiten, Runs, Guardrails, Incidents, Policy); synthetische oder kundenseitig freigegebene Metadaten, kein Registry-/Modell-Zugriff.

JSON-Schema (output_contract) aus dem veröffentlichten Datenvertrag. Der Runner validiert Ein- und Ausgaben gegen dieses Schema.

{
  "properties": {
    "findings": {
      "description": "Maschinenlesbare Findings als JSON inkl. Summary mit Severity-Zählern, Score-Formel, Kategorie-Scores, Zählern, Disclaimer, Recurring-Hinweis und unterdrückten Decoy-Mustern.",
      "type": "object"
    },
    "report": {
      "description": "Agent-Eval-Bericht (Markdown) mit Zusammenfassung, Methodik, priorisierten Findings inkl. Datei, Zeile, Schweregrad, Fix-Anweisung, Agent-Eval-/Kategorie-Scores, Heuristik-Kennzeichnung, Evidenz-/ Reproduzierbarkeitsdaten und Grenzen.",
      "type": "object"
    }
  },
  "required": [
    "report",
    "findings"
  ],
  "type": "object"
}
Eigenschaften des output_contract
FeldTypPflichtBeschreibung
findingsobjectjaMaschinenlesbare Findings als JSON inkl. Summary mit Severity-Zählern, Score-Formel, Kategorie-Scores, Zählern, Disclaimer, Recurring-Hinweis und unterdrückten Decoy-Mustern.
reportobjectjaAgent-Eval-Bericht (Markdown) mit Zusammenfassung, Methodik, priorisierten Findings inkl. Datei, Zeile, Schweregrad, Fix-Anweisung, Agent-Eval-/Kategorie-Scores, Heuristik-Kennzeichnung, Evidenz-/ Reproduzierbarkeitsdaten und Grenzen.

Veröffentlichte Claims (gate-geprüft)

Jeder folgende Claim ist an mindestens einen PASSED-Evidenz-Record gebunden. Die SHA-256-Hashwerte der Records sind direkt an jedem Claim sichtbar; nicht freigegebene Claims werden nicht gerendert.

Der Audit erkennt Coverage-/Regression-/Ergebnis-/Guardrail-Defekte (Agent ohne Eval-Suite/Owner/Version, fehlende Regression-/Red-Team-/ Prompt-Injection-Coverage, Pass-Rate unter Schwelle, veraltete/ fehlgeschlagene/doppelte Runs, Regression-Drops, deaktivierte/veraltete Guardrails, failed Red-Team-Status) datei- und zeilengenau.

Evidenz: 27160f123da04bd6abc5f51490937b69

Der Audit erkennt Budget-/Approval-/Tooling-/Incident-Defekte (Kosten-/Latenzüberschreitung, fehlende Human-Approval für High-Risk- Actions, undokumentierte/überbreite Tool-Permissions, Incidents ohne Eval-Link oder Review, unbekannte Agenten-Referenzen).

Evidenz: 27160f123da04bd6abc5f51490937b69

Jeder Audit-Lauf ist deterministisch, wird unabhängig re-validiert und ist über einen hash-verketteten Evidence-Record mit Ed25519-Signaturen, Artefakt-Hashes und Contract-Digests reproduzierbar.

Evidenz: 27160f123da04bd6abc5f51490937b69

Es sind keine unterdrückten Claims für dieses Produkt im Gatekeeper-Status enthalten.

Workflow

Ausführungsschritte laut Manifest; jeder Schritt referenziert einen geprüften Skill.

Workflow des Produkts
SchrittSkillBeschreibungAbhängig von
auditai_agent_eval_auditAgenten-Eval-Export statisch prüfen und Eval-Evidence-Findings deterministisch mit dem Skill ai_agent_eval_audit erzeugen.—

Skills in diesem Produkt

Versionen, Schwellenwerte und Evidenzstand je Skill. Details in der Skill-Registry.

Skills im Produkt
SkillVersionReifeRecall / PrecisionEvidenzLetzte Evidenz
AI Agent Evaluation & Guardrail Evidence Audit (synthetic export)0.1.0VALIDATED1,000 / 0,900127160f123da04bd6abc5f51490937b69

Evidenz für dieses Produkt

Ausschließlich verifizierte Records. Hashes und Artefaktpfade sind im Evidenz-Detail einsehbar.

Produkt: AI Agent Evaluation & Guardrail Evidence Audit v0.1.0Skill: AI Agent Evaluation & Guardrail Evidence Audit (synthetic export) v0.1.0Zeitstempel: Precision: 1,000Recall: 1,000Task-Erfolg: 1,000Laufzeit: 333 msKosten: 0,00 €

record_sha256: ffc634f4288fa081de85c7c8946f6d702498390d2c17029b649a3bf9e94fda5b

  • Rein statischer Audit eines synthetischen Agenten-Eval-Exports – keine Modell-/Eval-Ausführung, kein Registry-Zugriff, kein Netzwerk.
  • Eval-/Guardrail-/Approval-Prüfungen basieren auf deklarierten Feldern und Policy-Schwellen.
  • Stale-/Duplikat-/Regression-Drop-Prüfungen sind Heuristiken.
  • … 6 weitere

Bericht: evidence/artifacts/27160f123da04bd6abc5f51490937b69/report.md

Weitere Dokumentation

Kein Dokumentationspfad veröffentlicht.

Gatekeeper Evidence Inspector

Produkt-Manifest:

—

Evidence-Record-ID:

—

Record-Digest (SHA-256):

—
Record im Evidenz-Explorer