Der Audit erkennt Coverage-/Regression-/Ergebnis-/Guardrail-Defekte (Agent ohne Eval-Suite/Owner/Version, fehlende Regression-/Red-Team-/ Prompt-Injection-Coverage, Pass-Rate unter Schwelle, veraltete/ fehlgeschlagene/doppelte Runs, Regression-Drops, deaktivierte/veraltete Guardrails, failed Red-Team-Status) datei- und zeilengenau.
Produkt ai-agent-eval-audit · Version 0.1.0
AI Agent Evaluation & Guardrail Evidence Audit
Standardisierter, deterministischer Audit für KI-Agenten-Evaluations- und Guardrail-Evidenz. Das Produkt prüft einen Agenten-Eval-Export statisch auf Evidenzlücken: Agenten ohne Eval-Suite/Owner/Version, fehlende Regression- und Red-Team-Coverage, fehlende Prompt-Injection-Testfälle, Pass-Raten unter Schwelle, veraltete/fehlgeschlagene Runs, ignorierte Failed-Runs, Regression-Pass-Drops, Duplikate, unbekannte Agenten-Referenzen, deaktivierte/veraltete Guardrails, failed Red-Team-Status, Kosten-/Latenz- Budgetüberschreitungen, fehlende Human-Approval für High-Risk-Actions, undokumentierte/überbreite Tool-Permissions sowie Incidents ohne Eval-Link oder Review. Jeder Befund ist datei- und zeilengenau mit konkreter Korrekturanweisung; Agent-Eval-Score und Kategorie-Scores sind transparente Formeln, heuristische Regeln sind gekennzeichnet. Der Lauf wird unabhängig re-validiert und ist über einen hash-verketteten Evidence-Record mit Ed25519-Signaturen und Contract-Digests reproduzierbar.
Zielkunde (ICP)
AI-Plattform-, ML-Engineering- und AI-Governance-Teams in mittelständischen Unternehmen (5-100 KI-Agenten), die Eval-Suiten, Guardrails, Red-Teaming und Agent-Approvals verantworten und vor Agent-Reviews, Release-Gates oder AI-Audits eine schnelle, reproduzierbare Prüfung ihres Eval-Exports benötigen.
Problem
Agenten-Evaluations-Risiken stecken in Details: Agenten ohne Eval-Suite, fehlende Regression-/Red-Team-Coverage und Prompt-Injection-Tests, Pass-Raten unter Schwelle, veraltete oder ignorierte Failed-Runs, deaktivierte oder veraltete Guardrails, Budgetüberschreitungen, fehlende Human-Approvals für High-Risk-Actions, undokumentierte/überbreite Tool-Permissions und Incidents ohne Eval-Link. Diese Lücken verteilen sich über Agenten-, Suiten-, Run-, Guardrail- und Incident-Exporte; manuelle Reviews sind langsam und liefern keine zeilengenauen Evidenz-Pointer. Teams benötigen eine deterministische, lokal laufende Vorprüfung ihres Eval-Exports.
Liefermodelle
- Audit as a Service
- Agent as a Service
Service-Level (SLA)
| Feld | Wert |
|---|---|
delivery_time_hours | 48 |
max_findings_per_audit | 200 |
max_runtime_seconds | 120 |
Grenzen des Produkts
- Rein statischer Audit eines synthetischen Agenten-Eval-Exports – keine Modell-/Eval-Ausführung, kein Registry-Zugriff, kein Netzwerk.
- Eval-/Guardrail-/Approval-Prüfungen basieren auf deklarierten Feldern und Policy-Schwellen.
- Stale-/Duplikat-/Regression-Drop-Prüfungen sind Heuristiken.
- Technischer Evidenzentwurf; keine Modell-, Sicherheits- oder Konformitätsgarantie; Recurring-Betrieb wird nicht beworben.
- Die aktuelle Evidenz basiert ausschließlich auf dem synthetischen Lab-Target synthetic-agent-eval, nicht auf echten Eval-Exporten.
- Rein statischer Audit eines synthetischen Agenten-Eval-Exports – keine Modell-/Eval-Ausführung, kein Registry-Zugriff, kein Netzwerk.
- Eval-/Guardrail-/Approval-Prüfungen basieren auf deklarierten Feldern und Policy-Schwellen.
- Stale-/Duplikat-/Regression-Drop-Prüfungen sind Heuristiken.
- Technischer Evidenzentwurf; keine Modell-, Sicherheits- oder Konformitätsgarantie; Recurring-Betrieb wird nicht beworben.
Verträge: Eingabe und Ausgabe
Ein Claim erscheint nur, wenn die Evidenz zur exakten Version passt. Contract-Felder werden aus dem veröffentlichten Datenvertrag gerendert.
JSON-Schema (input_contract) aus dem veröffentlichten Datenvertrag. Der Runner validiert Ein- und Ausgaben gegen dieses Schema.
{
"properties": {
"repository_snapshot": {
"description": "Read-only Agenten-Eval-Export (Agenten, Suiten, Runs, Guardrails, Incidents, Policy); synthetische oder kundenseitig freigegebene Metadaten, kein Registry-/Modell-Zugriff.",
"type": "object"
}
},
"required": [
"repository_snapshot"
],
"type": "object"
}| Feld | Typ | Pflicht | Beschreibung |
|---|---|---|---|
repository_snapshot | object | ja | Read-only Agenten-Eval-Export (Agenten, Suiten, Runs, Guardrails, Incidents, Policy); synthetische oder kundenseitig freigegebene Metadaten, kein Registry-/Modell-Zugriff. |
JSON-Schema (output_contract) aus dem veröffentlichten Datenvertrag. Der Runner validiert Ein- und Ausgaben gegen dieses Schema.
{
"properties": {
"findings": {
"description": "Maschinenlesbare Findings als JSON inkl. Summary mit Severity-Zählern, Score-Formel, Kategorie-Scores, Zählern, Disclaimer, Recurring-Hinweis und unterdrückten Decoy-Mustern.",
"type": "object"
},
"report": {
"description": "Agent-Eval-Bericht (Markdown) mit Zusammenfassung, Methodik, priorisierten Findings inkl. Datei, Zeile, Schweregrad, Fix-Anweisung, Agent-Eval-/Kategorie-Scores, Heuristik-Kennzeichnung, Evidenz-/ Reproduzierbarkeitsdaten und Grenzen.",
"type": "object"
}
},
"required": [
"report",
"findings"
],
"type": "object"
}| Feld | Typ | Pflicht | Beschreibung |
|---|---|---|---|
findings | object | ja | Maschinenlesbare Findings als JSON inkl. Summary mit Severity-Zählern, Score-Formel, Kategorie-Scores, Zählern, Disclaimer, Recurring-Hinweis und unterdrückten Decoy-Mustern. |
report | object | ja | Agent-Eval-Bericht (Markdown) mit Zusammenfassung, Methodik, priorisierten Findings inkl. Datei, Zeile, Schweregrad, Fix-Anweisung, Agent-Eval-/Kategorie-Scores, Heuristik-Kennzeichnung, Evidenz-/ Reproduzierbarkeitsdaten und Grenzen. |
Veröffentlichte Claims (gate-geprüft)
Jeder folgende Claim ist an mindestens einen PASSED-Evidenz-Record gebunden. Die SHA-256-Hashwerte der Records sind direkt an jedem Claim sichtbar; nicht freigegebene Claims werden nicht gerendert.
Der Audit erkennt Budget-/Approval-/Tooling-/Incident-Defekte (Kosten-/Latenzüberschreitung, fehlende Human-Approval für High-Risk- Actions, undokumentierte/überbreite Tool-Permissions, Incidents ohne Eval-Link oder Review, unbekannte Agenten-Referenzen).
Jeder Audit-Lauf ist deterministisch, wird unabhängig re-validiert und ist über einen hash-verketteten Evidence-Record mit Ed25519-Signaturen, Artefakt-Hashes und Contract-Digests reproduzierbar.
Es sind keine unterdrückten Claims für dieses Produkt im Gatekeeper-Status enthalten.
Workflow
Ausführungsschritte laut Manifest; jeder Schritt referenziert einen geprüften Skill.
| Schritt | Skill | Beschreibung | Abhängig von |
|---|---|---|---|
audit | ai_agent_eval_audit | Agenten-Eval-Export statisch prüfen und Eval-Evidence-Findings deterministisch mit dem Skill ai_agent_eval_audit erzeugen. | — |
Skills in diesem Produkt
Versionen, Schwellenwerte und Evidenzstand je Skill. Details in der Skill-Registry.
| Skill | Version | Reife | Recall / Precision | Evidenz | Letzte Evidenz |
|---|---|---|---|---|---|
| AI Agent Evaluation & Guardrail Evidence Audit (synthetic export) | 0.1.0 | VALIDATED | 1,000 / 0,900 | 1 | 27160f123da04bd6abc5f51490937b69 |
Evidenz für dieses Produkt
Ausschließlich verifizierte Records. Hashes und Artefaktpfade sind im Evidenz-Detail einsehbar.
record_sha256: ffc634f4288fa081de85c7c8946f6d702498390d2c17029b649a3bf9e94fda5b
- Rein statischer Audit eines synthetischen Agenten-Eval-Exports – keine Modell-/Eval-Ausführung, kein Registry-Zugriff, kein Netzwerk.
- Eval-/Guardrail-/Approval-Prüfungen basieren auf deklarierten Feldern und Policy-Schwellen.
- Stale-/Duplikat-/Regression-Drop-Prüfungen sind Heuristiken.
- … 6 weitere
Bericht: evidence/artifacts/27160f123da04bd6abc5f51490937b69/report.md
Weitere Dokumentation
Kein Dokumentationspfad veröffentlicht.