Der Audit erkennt Idempotenz-/Retry-Defekte (non-idempotente Appends, Merge ohne Upsert-Key, unbounded Retries, deaktiviertes Dead-Letter, kaputte Dependencies, Full-Refresh) datei- und zeilengenau.
Produkt data-pipeline-audit · Version 0.1.0
ETL & Data Pipeline Audit
Standardisierter, deterministischer Audit für ETL-/ELT-Datenpipelines. Das Produkt prüft ein Pipeline-Repository statisch auf Zuverlässigkeitsdefekte: non-idempotente Loads, fehlende Dedupe-/Upsert-Keys, unbounded Retries, fehlendes Dead-Letter-Handling, überlappende Schedules, unbounded Parallelität, fehlende Backfill-/Watermark-/Freshness-Strategie, timezone-naive Schedules, fehlende Schema-Evolution, Full-Refresh bei jedem Lauf, fehlende/deaktivierte Data-Quality-Checks, fehlende Alerts/SLA/Owner, kaputte Task-Dependencies, Secret-Literale, hardcodierte Pfade, Doppel-Load-Evidenz aus der Run-Historie und Lücken im Lineage-Export. Jeder Befund ist datei- und zeilengenau mit konkreter Korrekturanweisung; der Reliability-Score ist eine transparente Formel, heuristische Regeln sind gekennzeichnet. Der Lauf wird unabhängig re-validiert und ist über einen hash-verketteten Evidence-Record mit Ed25519-Signaturen und Contract-Digests reproduzierbar.
Zielkunde (ICP)
Data-Engineering-Leads und Platform-Teams in mittelständischen Unternehmen (3-30 Data-Engineers), die ETL-/ELT-Pipelines (Orchestrator + SQL) betreiben und vor Releases oder Betriebs-Reviews eine schnelle, reproduzierbare Prüfung von Idempotenz, Retry-/Dead-Letter-Verhalten, Schema-Evolution, Monitoring, Data-Quality-Gates und Backfill-Fähigkeit benötigen.
Problem
Datenpipelines scheitern selten am SQL, sondern an Betriebsdetails: non-idempotente Loads erzeugen Duplikate, unbounded Retries blockieren Schedules, fehlendes Dead-Letter verliert Daten, Schema-Änderungen brechen Downstream-Modelle und fehlende Alerts lassen Ausfälle unbemerkt. Reviews dieser Konfiguration sind manuell, langsam und inkonsistent; Runtime-Metriken zeigen Probleme erst im Betrieb. Teams benötigen eine deterministische, lokal laufende Vorprüfung ihrer Pipeline-Konfiguration mit zeilengenauen Fix-Aufträgen.
Liefermodelle
- Audit as a Service
Service-Level (SLA)
| Feld | Wert |
|---|---|
delivery_time_hours | 48 |
max_findings_per_audit | 200 |
max_runtime_seconds | 120 |
Grenzen des Produkts
- Nur statische Konfigurationsanalyse – Pipelines werden nicht ausgeführt, Connectoren nicht kontaktiert, keine Daten gescannt und keine Runtime- Metriken ausgewertet.
- Heuristische Regeln (Schedule-Overlap, Doppel-Load-Evidenz) können False Positives/Negatives liefern.
- Data-Quality-/Monitoring-Abdeckung basiert auf deklarierter Konfiguration, nicht auf tatsächlichen Testergebnissen.
- Keine operativen Garantien; Findings erfordern menschliche Data-Engineering-Prüfung und Freigabe.
- Die aktuelle Evidenz basiert ausschließlich auf dem synthetischen Lab-Target synthetic-etl-pipeline, nicht auf echten Produktionspipelines.
- Nur statische Konfigurationsanalyse – Pipelines werden nicht ausgeführt, Connectoren nicht kontaktiert, keine Daten gescannt.
- Heuristische Regeln (Schedule-Overlap, Doppel-Load-Evidenz) können False Positives/Negatives liefern.
- Data-Quality-/Monitoring-Abdeckung basiert auf deklarierter Konfiguration, nicht auf Laufzeitmetriken.
- Keine operativen Garantien; Findings erfordern menschliche Data-Engineering-Prüfung.
- Das Golden-Dataset ist synthetisch; keine echten Daten oder Secrets.
Verträge: Eingabe und Ausgabe
Ein Claim erscheint nur, wenn die Evidenz zur exakten Version passt. Contract-Felder werden aus dem veröffentlichten Datenvertrag gerendert.
JSON-Schema (input_contract) aus dem veröffentlichten Datenvertrag. Der Runner validiert Ein- und Ausgaben gegen dieses Schema.
{
"properties": {
"repository_snapshot": {
"description": "Read-only Pipeline-Repository-Snapshot (DAG-/Pipeline-YAML, SQL- Transformationen, Schema-Evolutions-Policies, Connector-/Monitoring- Konfiguration, DQ-Checks, Run-Historie, Lineage); synthetische oder kundenseitig freigegebene Metadaten, kein Connector-Zugriff.",
"type": "object"
}
},
"required": [
"repository_snapshot"
],
"type": "object"
}| Feld | Typ | Pflicht | Beschreibung |
|---|---|---|---|
repository_snapshot | object | ja | Read-only Pipeline-Repository-Snapshot (DAG-/Pipeline-YAML, SQL- Transformationen, Schema-Evolutions-Policies, Connector-/Monitoring- Konfiguration, DQ-Checks, Run-Historie, Lineage); synthetische oder kundenseitig freigegebene Metadaten, kein Connector-Zugriff. |
JSON-Schema (output_contract) aus dem veröffentlichten Datenvertrag. Der Runner validiert Ein- und Ausgaben gegen dieses Schema.
{
"properties": {
"findings": {
"description": "Maschinenlesbare Findings als JSON inkl. Summary mit Severity-Zählern, Score-Formel, Pipeline-/Task-/DQ-/Alert-Zählern und unterdrückten Decoy-Mustern.",
"type": "object"
},
"report": {
"description": "Kundenbericht (Markdown) mit Zusammenfassung, Methodik, priorisierten Findings inkl. Datei, Zeile, Schweregrad, Fix-Anweisung, Reliability-Score, Heuristik-Kennzeichnung, Reproduzierbarkeitsdaten und Grenzen.",
"type": "object"
}
},
"required": [
"report",
"findings"
],
"type": "object"
}| Feld | Typ | Pflicht | Beschreibung |
|---|---|---|---|
findings | object | ja | Maschinenlesbare Findings als JSON inkl. Summary mit Severity-Zählern, Score-Formel, Pipeline-/Task-/DQ-/Alert-Zählern und unterdrückten Decoy-Mustern. |
report | object | ja | Kundenbericht (Markdown) mit Zusammenfassung, Methodik, priorisierten Findings inkl. Datei, Zeile, Schweregrad, Fix-Anweisung, Reliability-Score, Heuristik-Kennzeichnung, Reproduzierbarkeitsdaten und Grenzen. |
Veröffentlichte Claims (gate-geprüft)
Jeder folgende Claim ist an mindestens einen PASSED-Evidenz-Record gebunden. Die SHA-256-Hashwerte der Records sind direkt an jedem Claim sichtbar; nicht freigegebene Claims werden nicht gerendert.
Der Audit erkennt fehlende Schema-Evolution, fehlende/deaktivierte Data-Quality-Checks, fehlende Alerts/SLA/Owner, fehlende Freshness-/Watermark-/Backfill-Strategie, Secret-Literale, hardcodierte Pfade und Lineage-Lücken.
Jeder Audit-Lauf ist deterministisch, wird unabhängig re-validiert und ist über einen hash-verketteten Evidence-Record mit Ed25519-Signaturen, Artefakt-Hashes und Contract-Digests reproduzierbar.
Es sind keine unterdrückten Claims für dieses Produkt im Gatekeeper-Status enthalten.
Workflow
Ausführungsschritte laut Manifest; jeder Schritt referenziert einen geprüften Skill.
| Schritt | Skill | Beschreibung | Abhängig von |
|---|---|---|---|
audit | data_pipeline_audit | Pipeline-Repository statisch prüfen und Zuverlässigkeits-Findings deterministisch mit dem Skill data_pipeline_audit erzeugen. | — |
Skills in diesem Produkt
Versionen, Schwellenwerte und Evidenzstand je Skill. Details in der Skill-Registry.
| Skill | Version | Reife | Recall / Precision | Evidenz | Letzte Evidenz |
|---|---|---|---|---|---|
| ETL & Data Pipeline Audit | 0.1.0 | VALIDATED | 1,000 / 0,900 | 1 | 9c667da6ec6648fc86acadc01f5daa9b |
Evidenz für dieses Produkt
Ausschließlich verifizierte Records. Hashes und Artefaktpfade sind im Evidenz-Detail einsehbar.
record_sha256: 40d472ffad60f25eb4992e04edd474fcc4452c4035cb26d149aa714b61096785
- Nur statische Konfigurationsanalyse – Pipelines werden nicht ausgeführt, Connectoren nicht kontaktiert, keine Daten gescannt und keine Runtime- Metriken ausgewertet.
- Heuristische Regeln (Schedule-Overlap, Doppel-Load-Evidenz) können False Positives/Negatives liefern.
- Data-Quality-/Monitoring-Abdeckung basiert auf deklarierter Konfiguration, nicht auf tatsächlichen Testergebnissen.
- … 7 weitere
Bericht: evidence/artifacts/9c667da6ec6648fc86acadc01f5daa9b/report.md
Weitere Dokumentation
Kein Dokumentationspfad veröffentlicht.