Der Audit erkennt Coverage-/Regression-/Ergebnis-/Guardrail-Defekte (Agent ohne Eval-Suite/Owner/Version, fehlende Regression-/Red-Team-/ Prompt-Injection-Coverage, Pass-Rate unter Schwelle, veraltete/ fehlgeschlagene/doppelte Runs, Regression-Drops, deaktivierte/veraltete Guardrails, failed Red-Team-Status) datei- und zeilengenau.
Evidenz-Record 27160f123da04bd6abc5f51490937b69
Verifizierter Lauf: AI Agent Evaluation & Guardrail Evidence Audit
Synthetische Labor-Evidenz — keine echten Kundendaten. Dieser Record ist der öffentliche Beleg für die an ihn gebundenen Claims.
Integrität und Hash-Kette
| record_sha256 | ffc634f4288fa081de85c7c8946f6d702498390d2c17029b649a3bf9e94fda5b |
|---|---|
| prev_record_sha256 (Kettenvorgänger) | c50af9ea2d9d491ea7b0eef81001832d e05d8a3cb374f94086a2674460decd3b436da69d890d3ad82ea0fcdbf31e9fd8 |
| Position in der verifizierten Kette | 120 von 256 |
| Kette vollständig verifiziert | Hash-Kette verifiziert |
| Datenstand der Veröffentlichung |
Zuordnung
| Produkt | AI Agent Evaluation & Guardrail Evidence Audit v0.1.0 |
|---|---|
| Skill | AI Agent Evaluation & Guardrail Evidence Audit (synthetic export) v0.1.0 |
| Zeitstempel (UTC) | |
| Git-Commit | a1321eb29a… auf work/critic-keys-and-targets |
| Worktree beim Lauf | sauberer Worktree |
| Arbeitsbaum-Hinweis | Der Arbeitsbaum war beim Lauf sauber — VALIDATED-Evidenz war grundsätzlich möglich. |
Reproduktion
python -m factory.cli run-product --product ai-agent-eval-audit --target synthetic-agent-eval --record
Der Befehl reproduziert den Lauf innerhalb des Repositorys. Er wird hier nur als Text angezeigt und von der Website nicht ausgeführt.
Messwerte der unabhängigen Validierung
Berechnet vom Validator aus Golden-Dataset und unabhängigem Re-Run.
| precision | 1,000 |
|---|---|
| recall | 1,000 |
| task_success_rate | 1,000 |
| error_rate | 0,000 |
| deterministic_checks_passed | ja |
| findings_total | 22 |
| blocking_findings | 10 |
Performance und Kosten
| execution_time_ms | 333 ms |
|---|---|
| prompt_tokens | 0 |
| completion_tokens | 0 |
| llm_calls | 0 |
| total_cost_usd | 0,00 € |
| container_compute_usd | 0,00 € |
Unit Economics
| price_eur | 490,00 € |
|---|---|
| measured_cost_eur | 0,00 € |
| gross_margin_percent | 100,0 % |
- Compute price assumption: 0.06 EUR per CPU-hour.
- LLM input price assumption: 0.3 EUR per 1M tokens.
- LLM output price assumption: 1.2 EUR per 1M tokens.
- Costs are measured runtime and measured provider usage, not supplier invoices.
- No support, sales, hosting or human-review cost is included unless stated.
Kritiker-Signaturen
Unabhängige Kritikerrollen bestätigen den Bericht; die Signatur bindet die Freigabe an den Inhalts-Hash.
| Kritiker | Verdikt | Algorithmus | Signiert am | Signatur (gekürzt) |
|---|---|---|---|---|
| technical_critic | APPROVE | ed25519 | 2026-11-03T11:20:10Z | 3be2a62c59c679fd… |
| security_critic | APPROVE | ed25519 | 2026-11-03T11:20:10Z | 1e68a82cf51d6126… |
| business_critic | APPROVE | ed25519 | 2026-11-03T11:20:10Z | fb3d9949c7b6caa5… |
| evidence_critic | APPROVE | ed25519 | 2026-11-03T11:20:10Z | 5ea553a51bbd5297… |
Artefakte und Bericht
Alle Artefakte sind SHA-256-gebunden; die Website lädt keine Dateien nach, sondern nennt die Repository-Pfade aus dem Datenvertrag.
evidence/artifacts/27160f123da04bd6abc5f51490937b69/input.jsonevidence/artifacts/27160f123da04bd6abc5f51490937b69/product.manifest.jsonevidence/artifacts/27160f123da04bd6abc5f51490937b69/skill.manifest.jsonevidence/artifacts/27160f123da04bd6abc5f51490937b69/findings.jsonevidence/artifacts/27160f123da04bd6abc5f51490937b69/output.jsonevidence/artifacts/27160f123da04bd6abc5f51490937b69/report.mdBerichtevidence/artifacts/27160f123da04bd6abc5f51490937b69/critic_reviews.jsonevidence/artifacts/27160f123da04bd6abc5f51490937b69/validation.jsonevidence/logs/27160f123da04bd6abc5f51490937b69.log
Hinweis: Die Website lädt keine Artefakte nach; die Pfade sind relativ zum Repository und hash-gebunden im Record. Der Bericht selbst wird nicht als HTML eingebettet.
Bekannte Limitations
Grenzen dieses konkreten Records, wie im Record hinterlegt — sie gelten zusätzlich zu den Produkt-/Skill-Limitations.
- Rein statischer Audit eines synthetischen Agenten-Eval-Exports – keine Modell-/Eval-Ausführung, kein Registry-Zugriff, kein Netzwerk.
- Eval-/Guardrail-/Approval-Prüfungen basieren auf deklarierten Feldern und Policy-Schwellen.
- Stale-/Duplikat-/Regression-Drop-Prüfungen sind Heuristiken.
- Technischer Evidenzentwurf; keine Modell-, Sicherheits- oder Konformitätsgarantie; Recurring-Betrieb wird nicht beworben.
- Die aktuelle Evidenz basiert ausschließlich auf dem synthetischen Lab-Target synthetic-agent-eval, nicht auf echten Eval-Exporten.
- Rein statischer Audit eines synthetischen Agenten-Eval-Exports – keine Modell-/Eval-Ausführung, kein Registry-Zugriff, kein Netzwerk.
- Eval-/Guardrail-/Approval-Prüfungen basieren auf deklarierten Feldern und Policy-Schwellen.
- Stale-/Duplikat-/Regression-Drop-Prüfungen sind Heuristiken.
- Technischer Evidenzentwurf; keine Modell-, Sicherheits- oder Konformitätsgarantie; Recurring-Betrieb wird nicht beworben.
Durch diesen Record belegte Claims
Claims, die in der Gatekeeper-Ausgabe auf diesen Record verweisen. Jeder Claim ist an den oben genannten Hash gebunden.
Der Audit erkennt Budget-/Approval-/Tooling-/Incident-Defekte (Kosten-/Latenzüberschreitung, fehlende Human-Approval für High-Risk- Actions, undokumentierte/überbreite Tool-Permissions, Incidents ohne Eval-Link oder Review, unbekannte Agenten-Referenzen).
Jeder Audit-Lauf ist deterministisch, wird unabhängig re-validiert und ist über einen hash-verketteten Evidence-Record mit Ed25519-Signaturen, Artefakt-Hashes und Contract-Digests reproduzierbar.