Der Audit erkennt Telemetrie-, Tool-Permission-, Injection-, Approval- und Kostenlücken in Agent-Exports datei- und zeilengenau.
Produkt agent-observability-audit · Version 0.1.0
Agent Observability & Telemetry Audit (synthetic export)
Standardisierter, deterministischer Observability-Audit für Agent-Telemetrie. Prüft einen synthetischen Export (Traces, Logs, Metriken, Alerts, Dashboards, Tool-Calls, Injection-Suite, Kostenreport) auf unvollständige Traces, Status-/Latenz-Probleme, PII-/Secret-Leaks, unstrukturierte/unkorrelierte Logs, Sampling-/Retention-/SLO-Lücken, fehlende Alerts/Dashboards, Write-Tool ohne Approval, Tool-Calls ohne Scope, fehlende Fallbacks, unblockierte Prompt-Injections und fehlende Token-/Kostenbuchhaltung. Liefert datei-/ zeilengenaue Befunde, transparenten Observability-Score, evidenzgebunden und reproduzierbar. Keine Security-Zertifizierung; keine echten Prompts/Secrets.
Zielkunde (ICP)
AI-Platform-/SRE-/Security-Teams in mittelständischen Unternehmen, die Agenten betreiben und vor Produktivgang oder Reviews die Telemetrie-, Tool-Permission-, Injection- und Kosten-Nachweise prüfen müssen.
Problem
Agenten laufen mit unvollständigen Traces, fehlenden Alerts, PII-Leaks, ungeprüften Write-Tools und fehlender Kostenkontrolle; Lücken werden spät sichtbar. Manuelle Stichproben sind langsam und inkonsistent. Teams brauchen eine deterministische, lokal laufende Prüfung mit datei-/zeilengenauen Fix-Aufträgen.
Liefermodelle
- Audit as a Service
- Agent as a Service
Service-Level (SLA)
| Feld | Wert |
|---|---|
delivery_time_hours | 48 |
max_findings_per_audit | 200 |
max_runtime_seconds | 120 |
Grenzen des Produkts
- Rein statischer Audit eines synthetischen Telemetrie-Exports; kein Live- Agent-/OTel-Backend-Zugriff, keine Synchronisation, kein Netz/LLM.
- Keine Security-Zertifizierung; Observability-/Privacy-Prüfungen sind Heuristiken über deklarierte Felder.
- Alle Traces, Prompts und Daten sind fiktiv; keine echten Secrets/Prompts.
- Observability-Score ist ein technisches Signal, keine Betriebs-/Security-Garantie.
- Rein statischer Audit eines synthetischen Telemetrie-Exports; kein Live- Agent-/OTel-Backend-Zugriff, keine Synchronisation, kein Netz/LLM.
- Keine Security-Zertifizierung; Observability-/Privacy-Prüfungen sind Heuristiken über deklarierte Felder.
- Alle Traces, Prompts und Daten sind fiktiv; keine echten Secrets/Prompts.
Verträge: Eingabe und Ausgabe
Ein Claim erscheint nur, wenn die Evidenz zur exakten Version passt. Contract-Felder werden aus dem veröffentlichten Datenvertrag gerendert.
JSON-Schema (input_contract) aus dem veröffentlichten Datenvertrag. Der Runner validiert Ein- und Ausgaben gegen dieses Schema.
{
"properties": {
"repository_snapshot": {
"description": "Read-only synthetischer Telemetrie-Export; keine echten Prompts/Secrets.",
"type": "object"
}
},
"required": [
"repository_snapshot"
],
"type": "object"
}| Feld | Typ | Pflicht | Beschreibung |
|---|---|---|---|
repository_snapshot | object | ja | Read-only synthetischer Telemetrie-Export; keine echten Prompts/Secrets. |
JSON-Schema (output_contract) aus dem veröffentlichten Datenvertrag. Der Runner validiert Ein- und Ausgaben gegen dieses Schema.
{
"properties": {
"findings": {
"type": "object"
},
"report": {
"type": "object"
}
},
"required": [
"report",
"findings"
],
"type": "object"
}| Feld | Typ | Pflicht | Beschreibung |
|---|---|---|---|
findings | object | ja | |
report | object | ja |
Veröffentlichte Claims (gate-geprüft)
Jeder folgende Claim ist an mindestens einen PASSED-Evidenz-Record gebunden. Die SHA-256-Hashwerte der Records sind direkt an jedem Claim sichtbar; nicht freigegebene Claims werden nicht gerendert.
Jeder Audit-Lauf ist deterministisch, unabhängig re-validiert und über einen hash-verketteten Evidence-Record mit Ed25519-Signaturen und Contract-Digests reproduzierbar.
Jeder Befund ist datei- und zeilengenau mit Evidenz/Fix-Anweisung dokumentiert; der Observability-Score ist transparent.
Es sind keine unterdrückten Claims für dieses Produkt im Gatekeeper-Status enthalten.
Workflow
Ausführungsschritte laut Manifest; jeder Schritt referenziert einen geprüften Skill.
| Schritt | Skill | Beschreibung | Abhängig von |
|---|---|---|---|
audit | agent_observability_audit | Telemetrie statisch prüfen und Findings deterministisch erzeugen. | — |
Skills in diesem Produkt
Versionen, Schwellenwerte und Evidenzstand je Skill. Details in der Skill-Registry.
| Skill | Version | Reife | Recall / Precision | Evidenz | Letzte Evidenz |
|---|---|---|---|---|---|
| Agent Observability & Telemetry Audit (synthetic export) | 0.1.0 | VALIDATED | 1,000 / 0,900 | 1 | f69b6b86b8464fb6a14d1ac2d45211d8 |
Evidenz für dieses Produkt
Ausschließlich verifizierte Records. Hashes und Artefaktpfade sind im Evidenz-Detail einsehbar.
record_sha256: b54572413ea41e64e81ac0ac44f3bd75b1805ed7daa86488f0e929bf9f736335
- Rein statischer Audit eines synthetischen Telemetrie-Exports; kein Live- Agent-/OTel-Backend-Zugriff, keine Synchronisation, kein Netz/LLM.
- Keine Security-Zertifizierung; Observability-/Privacy-Prüfungen sind Heuristiken über deklarierte Felder.
- Alle Traces, Prompts und Daten sind fiktiv; keine echten Secrets/Prompts.
- … 4 weitere
Bericht: evidence/artifacts/f69b6b86b8464fb6a14d1ac2d45211d8/report.md
Weitere Dokumentation
Kein Dokumentationspfad veröffentlicht.