Der Audit erkennt Detection-/Coverage-/Threshold-/Baseline-Defekte (unmonitorierte Metriken, Incident-Services ohne Regel, bekannte Anomalien ohne Event, fehlende/veraltete Baselines, fehlende Seasonality, fehlende/ungültige Thresholds) datei- und zeilengenau.
Produkt anomaly-detection-audit · Version 0.1.0
Anomaly Detection & Monitoring Quality Audit
Standardisierter, deterministischer Audit für Anomalie-Erkennung und Monitoring-Qualität. Das Produkt prüft einen Monitoring-Export statisch auf Detection- und Alert-Lücken: überwachte Metriken ohne Regel, Incident-Services ohne Detection-Coverage, bekannte gelabelte Anomalien ohne ausgelöstes Event (False Negatives), ungelabelte/unreviewte Events, Labels ohne Reviewer, fehlende/ungültige Thresholds, False-Positive-Raten über Policy, statische Thresholds auf saisonalen Metriken, fehlende/veraltete Baselines, fehlende Seasonality-Angaben, fehlende Severity/Runbook/Owner/ Escalation, veraltete Regeln, ungültige Evaluationsfenster, Auto-Resolve ohne Review, Alert-Flapping, doppelte Alerts, offene unreviewte Alerts über der Review-SLA und manuell erkannte Incidents ohne Alert. Jeder Befund ist datei- und zeilengenau mit konkreter Korrekturanweisung; Detection-Quality-Score und Kategorie-Scores sind transparente Formeln, heuristische Regeln sind gekennzeichnet. Der Lauf wird unabhängig re-validiert und ist über einen hash-verketteten Evidence-Record mit Ed25519-Signaturen und Contract-Digests reproduzierbar.
Zielkunde (ICP)
SRE-/Observability- und Data-Intelligence-Teams in mittelständischen Unternehmen (10-200 Services, 100-5.000 Alert-Regeln), die Monitoring, Anomalie-Erkennung und Alert-Routing verantworten und vor Observability-Reviews, Alert-Reduktions-Projekten oder Audits eine schnelle, reproduzierbare Prüfung ihres Monitoring-Exports benötigen.
Problem
Anomalie-Erkennung scheitert an Details: Metriken ohne Regel, zu lockere Thresholds, die bekannte Anomalien verpassen, zu empfindliche Regeln, die False-Positive-Storms erzeugen, fehlende/veraltete Baselines ohne Seasonality, flappende Alerts, unreviewte Incidents und Regeln ohne Severity/ Runbook/Owner/Escalation. Diese Lücken verteilen sich über Metrik-, Regel-, Event-, Label-, Baseline- und Incident-Exporte; manuelle Reviews sind langsam und liefern keine zeilengenauen Evidenz-Pointer. Teams benötigen eine deterministische, lokal laufende Vorprüfung ihres Monitoring-Exports.
Liefermodelle
- Audit as a Service
- Agent as a Service
Service-Level (SLA)
| Feld | Wert |
|---|---|
delivery_time_hours | 48 |
max_findings_per_audit | 200 |
max_runtime_seconds | 120 |
Grenzen des Produkts
- Rein statischer Audit eines synthetischen Exports – kein Live-Monitoring, keine Detektor-Ausführung, kein Netzwerk.
- Recall/False-Positive-Signale werden aus Labels/Events im Export abgeleitet (keine echte Detection-Accuracy-Messung).
- Threshold-/Baseline-/Seasonality-Prüfungen sind Heuristiken.
- Keine Detection-Accuracy-, Coverage- oder ROI-Garantie; alle Daten sind synthetisch.
- Rein statischer Audit eines synthetischen Exports – kein Live-Monitoring, keine Detektor-Ausführung, kein Netzwerk.
- Recall/False-Positive-Signale werden aus Labels/Events im Export abgeleitet (keine echte Detection-Accuracy-Messung).
- Threshold-/Baseline-/Seasonality-Prüfungen sind Heuristiken.
- Keine Detection-Accuracy-, Coverage- oder ROI-Garantie; alle Daten sind synthetisch.
Verträge: Eingabe und Ausgabe
Ein Claim erscheint nur, wenn die Evidenz zur exakten Version passt. Contract-Felder werden aus dem veröffentlichten Datenvertrag gerendert.
JSON-Schema (input_contract) aus dem veröffentlichten Datenvertrag. Der Runner validiert Ein- und Ausgaben gegen dieses Schema.
{
"properties": {
"repository_snapshot": {
"description": "Read-only Monitoring-Export (Metriken, Regeln, Events, Labels, Baselines, Incidents, Policy); synthetische oder kundenseitig freigegebene Metadaten, kein Live-Monitoring-Zugriff.",
"type": "object"
}
},
"required": [
"repository_snapshot"
],
"type": "object"
}| Feld | Typ | Pflicht | Beschreibung |
|---|---|---|---|
repository_snapshot | object | ja | Read-only Monitoring-Export (Metriken, Regeln, Events, Labels, Baselines, Incidents, Policy); synthetische oder kundenseitig freigegebene Metadaten, kein Live-Monitoring-Zugriff. |
JSON-Schema (output_contract) aus dem veröffentlichten Datenvertrag. Der Runner validiert Ein- und Ausgaben gegen dieses Schema.
{
"properties": {
"findings": {
"description": "Maschinenlesbare Findings als JSON inkl. Summary mit Severity-Zählern, Score-Formel, Kategorie-Scores, Zählern und unterdrückten Decoy-Mustern.",
"type": "object"
},
"report": {
"description": "Detection-Quality-Bericht (Markdown) mit Zusammenfassung, Methodik, priorisierten Findings inkl. Datei, Zeile, Schweregrad, Fix-Anweisung, Detection-Quality-/Kategorie-Scores, Heuristik-Kennzeichnung, Evidenz-/ Reproduzierbarkeitsdaten und Grenzen.",
"type": "object"
}
},
"required": [
"report",
"findings"
],
"type": "object"
}| Feld | Typ | Pflicht | Beschreibung |
|---|---|---|---|
findings | object | ja | Maschinenlesbare Findings als JSON inkl. Summary mit Severity-Zählern, Score-Formel, Kategorie-Scores, Zählern und unterdrückten Decoy-Mustern. |
report | object | ja | Detection-Quality-Bericht (Markdown) mit Zusammenfassung, Methodik, priorisierten Findings inkl. Datei, Zeile, Schweregrad, Fix-Anweisung, Detection-Quality-/Kategorie-Scores, Heuristik-Kennzeichnung, Evidenz-/ Reproduzierbarkeitsdaten und Grenzen. |
Veröffentlichte Claims (gate-geprüft)
Jeder folgende Claim ist an mindestens einen PASSED-Evidenz-Record gebunden. Die SHA-256-Hashwerte der Records sind direkt an jedem Claim sichtbar; nicht freigegebene Claims werden nicht gerendert.
Der Audit erkennt Alert-/Label-/Operabilitäts-Defekte (Flapping, Duplikate, offene unreviewte Alerts über SLA, ungelabelte Events, Labels ohne Reviewer, False-Positive-Raten, fehlende Severity/Runbook/Owner/ Escalation, veraltete Regeln, ungültige Fenster, manuell erkannte Incidents ohne Alert).
Jeder Audit-Lauf ist deterministisch, wird unabhängig re-validiert und ist über einen hash-verketteten Evidence-Record mit Ed25519-Signaturen, Artefakt-Hashes und Contract-Digests reproduzierbar.
Es sind keine unterdrückten Claims für dieses Produkt im Gatekeeper-Status enthalten.
Workflow
Ausführungsschritte laut Manifest; jeder Schritt referenziert einen geprüften Skill.
| Schritt | Skill | Beschreibung | Abhängig von |
|---|---|---|---|
audit | anomaly_detection_audit | Monitoring-Export statisch prüfen und Detection-/Alert-Findings deterministisch mit dem Skill anomaly_detection_audit erzeugen. | — |
Skills in diesem Produkt
Versionen, Schwellenwerte und Evidenzstand je Skill. Details in der Skill-Registry.
| Skill | Version | Reife | Recall / Precision | Evidenz | Letzte Evidenz |
|---|---|---|---|---|---|
| Anomaly Detection & Monitoring Quality Audit (synthetic export) | 0.1.0 | VALIDATED | 1,000 / 0,900 | 1 | 7842642209ed4c60abe09621d944c0ee |
Evidenz für dieses Produkt
Ausschließlich verifizierte Records. Hashes und Artefaktpfade sind im Evidenz-Detail einsehbar.
record_sha256: 8dcf09769754a9566ab964a0ce20c7da207b5a2a26265710ec532700f6109ddb
- Rein statischer Audit eines synthetischen Exports – kein Live-Monitoring, keine Detektor-Ausführung, kein Netzwerk.
- Recall/False-Positive-Signale werden aus Labels/Events im Export abgeleitet (keine echte Detection-Accuracy-Messung).
- Threshold-/Baseline-/Seasonality-Prüfungen sind Heuristiken.
- … 5 weitere
Bericht: evidence/artifacts/7842642209ed4c60abe09621d944c0ee/report.md
Weitere Dokumentation
Kein Dokumentationspfad veröffentlicht.