Skill ai_agent_eval_audit · Version 0.1.0
AI Agent Evaluation & Guardrail Evidence Audit (synthetic export)
Deterministische, statische Prüfung eines synthetischen KI-Agenten-Eval- Exports gegen eine Eval-Policy: Eval-Coverage (Suite/Owner/Version), Regression-/Red-Team-Coverage inkl. Prompt-Injection-Testfällen, Ergebnisqualität (Pass-Rate, veraltete/fehlgeschlagene Runs, Regression- Drops, Duplikate, unbekannte Agenten), Guardrails (deaktiviert/veraltet/ failed Red-Team-Status), Budgets (Kosten/Latenz), Human-Approval für High-Risk-Actions, Tool-Permissions (undokumentiert/überbreit) und Incidents (fehlender Eval-Link, fehlendes Review). Der Skill liest ausschließlich lokale CSV/JSON/YAML-Dateien, führt keine Modelle/Evals aus, nutzt kein Netzwerk und keine LLM-Aufrufe; zwei Läufe liefern byte-identische Findings. Agent-Eval-Score und Kategorie-Scores sind transparente Heuristiken. **Disclaimer: technischer Evidenzentwurf; keine Modell-, Sicherheits- oder Konformitätsgarantie; Recurring-Betrieb wird nicht beworben.**
Berechtigungen
- Nur Lesen (Workspace)
- Kein Netzwerk
Kosten- und Laufzeitmodell
| Feld | Wert |
|---|---|
| LLM-Aufrufe erlaubt | 0 |
| Netzwerkzugriff | nein (erzwungen) |
| Max. Laufzeit | 120000 ms |
| Letzte Evidenz | 27160f123da04bd6abc5f51490937b69 (2026-11-03T11:20:10Z) |
Validierungs-Schwellenwerte
| Feld | Bedeutung | Wert |
|---|---|---|
min_recall | Mindest-Recall | 1 |
min_precision | Mindest-Precision | 0.9 |
max_runtime_ms | Max. Laufzeit (ms) | 120000 |
max_cost_usd | Max. Kosten (USD) | 0.05 |
Grenzen des Skills
- Rein statischer Audit eines synthetischen Agenten-Eval-Exports – keine Modell-/Eval-Ausführung, kein Registry-Zugriff, kein Netzwerk.
- Eval-/Guardrail-/Approval-Prüfungen basieren auf deklarierten Feldern und Policy-Schwellen.
- Stale-/Duplikat-/Regression-Drop-Prüfungen sind Heuristiken.
- Technischer Evidenzentwurf; keine Modell-, Sicherheits- oder Konformitätsgarantie; Recurring-Betrieb wird nicht beworben.
Eingabe-Vertrag (JSON-Schema)
Der Runner validiert Eingaben gegen dieses Schema, bevor der Skill startet.
{
"additionalProperties": false,
"properties": {
"max_findings": {
"default": 200,
"type": "integer"
},
"scope": {
"default": [
"evalcoverage",
"regression",
"results",
"guardrails",
"budget",
"approvals",
"incidents",
"tooling"
],
"items": {
"type": "string"
},
"type": "array"
},
"target_path": {
"type": "string"
}
},
"required": [
"target_path"
],
"type": "object"
}
Ausgabe-Vertrag (JSON-Schema)
Die Ausgabe wird nach dem Lauf gegen dieses Schema geprüft; Abweichungen brechen den Lauf ab.
{
"additionalProperties": false,
"properties": {
"findings": {
"maxItems": 500,
"type": "array"
},
"summary": {
"type": "object"
}
},
"required": [
"findings",
"summary"
],
"type": "object"
}
Evidenz für diesen Skill
Nur verifizierte Records, neueste zuerst. Ein Record belegt einen konkreten Lauf gegen ein synthetisches Lab-Ziel.
| Record | Zeitstempel | Status | Reife | Precision / Recall | Laufzeit | Kosten |
|---|---|---|---|---|---|---|
| 27160f123da04bd6abc5f51490937b69 | 2026-11-03T11:20:10Z | PASSED | VALIDATED | 1,000 / 1,000 | 333 ms | 0,00 € |