Gatekeeper: Hash-Kette verifiziert 212 veröff. Claims · 0 unterdrückt · 256 PASSED-Records · 1024 Ed25519-Kritiker-Signaturen · Stand

Produkt data-pipeline-audit · Version 0.1.0

ETL & Data Pipeline Audit

Standardisierter, deterministischer Audit für ETL-/ELT-Datenpipelines. Das Produkt prüft ein Pipeline-Repository statisch auf Zuverlässigkeitsdefekte: non-idempotente Loads, fehlende Dedupe-/Upsert-Keys, unbounded Retries, fehlendes Dead-Letter-Handling, überlappende Schedules, unbounded Parallelität, fehlende Backfill-/Watermark-/Freshness-Strategie, timezone-naive Schedules, fehlende Schema-Evolution, Full-Refresh bei jedem Lauf, fehlende/deaktivierte Data-Quality-Checks, fehlende Alerts/SLA/Owner, kaputte Task-Dependencies, Secret-Literale, hardcodierte Pfade, Doppel-Load-Evidenz aus der Run-Historie und Lücken im Lineage-Export. Jeder Befund ist datei- und zeilengenau mit konkreter Korrekturanweisung; der Reliability-Score ist eine transparente Formel, heuristische Regeln sind gekennzeichnet. Der Lauf wird unabhängig re-validiert und ist über einen hash-verketteten Evidence-Record mit Ed25519-Signaturen und Contract-Digests reproduzierbar.

VALIDATED Produktreife: VALIDATED 1 Evidenz-Record(s) 3 veröffentlichte Claims

Zielkunde (ICP)

Data-Engineering-Leads und Platform-Teams in mittelständischen Unternehmen (3-30 Data-Engineers), die ETL-/ELT-Pipelines (Orchestrator + SQL) betreiben und vor Releases oder Betriebs-Reviews eine schnelle, reproduzierbare Prüfung von Idempotenz, Retry-/Dead-Letter-Verhalten, Schema-Evolution, Monitoring, Data-Quality-Gates und Backfill-Fähigkeit benötigen.

Problem

Datenpipelines scheitern selten am SQL, sondern an Betriebsdetails: non-idempotente Loads erzeugen Duplikate, unbounded Retries blockieren Schedules, fehlendes Dead-Letter verliert Daten, Schema-Änderungen brechen Downstream-Modelle und fehlende Alerts lassen Ausfälle unbemerkt. Reviews dieser Konfiguration sind manuell, langsam und inkonsistent; Runtime-Metriken zeigen Probleme erst im Betrieb. Teams benötigen eine deterministische, lokal laufende Vorprüfung ihrer Pipeline-Konfiguration mit zeilengenauen Fix-Aufträgen.

Liefermodelle

  • Audit as a Service

Service-Level (SLA)

Service-Level des Produkts
FeldWert
delivery_time_hours48
max_findings_per_audit200
max_runtime_seconds120

Grenzen des Produkts

  • Nur statische Konfigurationsanalyse – Pipelines werden nicht ausgeführt, Connectoren nicht kontaktiert, keine Daten gescannt und keine Runtime- Metriken ausgewertet.
  • Heuristische Regeln (Schedule-Overlap, Doppel-Load-Evidenz) können False Positives/Negatives liefern.
  • Data-Quality-/Monitoring-Abdeckung basiert auf deklarierter Konfiguration, nicht auf tatsächlichen Testergebnissen.
  • Keine operativen Garantien; Findings erfordern menschliche Data-Engineering-Prüfung und Freigabe.
  • Die aktuelle Evidenz basiert ausschließlich auf dem synthetischen Lab-Target synthetic-etl-pipeline, nicht auf echten Produktionspipelines.
  • Nur statische Konfigurationsanalyse – Pipelines werden nicht ausgeführt, Connectoren nicht kontaktiert, keine Daten gescannt.
  • Heuristische Regeln (Schedule-Overlap, Doppel-Load-Evidenz) können False Positives/Negatives liefern.
  • Data-Quality-/Monitoring-Abdeckung basiert auf deklarierter Konfiguration, nicht auf Laufzeitmetriken.
  • Keine operativen Garantien; Findings erfordern menschliche Data-Engineering-Prüfung.
  • Das Golden-Dataset ist synthetisch; keine echten Daten oder Secrets.

Verträge: Eingabe und Ausgabe

Ein Claim erscheint nur, wenn die Evidenz zur exakten Version passt. Contract-Felder werden aus dem veröffentlichten Datenvertrag gerendert.

JSON-Schema (input_contract) aus dem veröffentlichten Datenvertrag. Der Runner validiert Ein- und Ausgaben gegen dieses Schema.

{
  "properties": {
    "repository_snapshot": {
      "description": "Read-only Pipeline-Repository-Snapshot (DAG-/Pipeline-YAML, SQL- Transformationen, Schema-Evolutions-Policies, Connector-/Monitoring- Konfiguration, DQ-Checks, Run-Historie, Lineage); synthetische oder kundenseitig freigegebene Metadaten, kein Connector-Zugriff.",
      "type": "object"
    }
  },
  "required": [
    "repository_snapshot"
  ],
  "type": "object"
}
Eigenschaften des input_contract
FeldTypPflichtBeschreibung
repository_snapshotobjectjaRead-only Pipeline-Repository-Snapshot (DAG-/Pipeline-YAML, SQL- Transformationen, Schema-Evolutions-Policies, Connector-/Monitoring- Konfiguration, DQ-Checks, Run-Historie, Lineage); synthetische oder kundenseitig freigegebene Metadaten, kein Connector-Zugriff.

JSON-Schema (output_contract) aus dem veröffentlichten Datenvertrag. Der Runner validiert Ein- und Ausgaben gegen dieses Schema.

{
  "properties": {
    "findings": {
      "description": "Maschinenlesbare Findings als JSON inkl. Summary mit Severity-Zählern, Score-Formel, Pipeline-/Task-/DQ-/Alert-Zählern und unterdrückten Decoy-Mustern.",
      "type": "object"
    },
    "report": {
      "description": "Kundenbericht (Markdown) mit Zusammenfassung, Methodik, priorisierten Findings inkl. Datei, Zeile, Schweregrad, Fix-Anweisung, Reliability-Score, Heuristik-Kennzeichnung, Reproduzierbarkeitsdaten und Grenzen.",
      "type": "object"
    }
  },
  "required": [
    "report",
    "findings"
  ],
  "type": "object"
}
Eigenschaften des output_contract
FeldTypPflichtBeschreibung
findingsobjectjaMaschinenlesbare Findings als JSON inkl. Summary mit Severity-Zählern, Score-Formel, Pipeline-/Task-/DQ-/Alert-Zählern und unterdrückten Decoy-Mustern.
reportobjectjaKundenbericht (Markdown) mit Zusammenfassung, Methodik, priorisierten Findings inkl. Datei, Zeile, Schweregrad, Fix-Anweisung, Reliability-Score, Heuristik-Kennzeichnung, Reproduzierbarkeitsdaten und Grenzen.

Veröffentlichte Claims (gate-geprüft)

Jeder folgende Claim ist an mindestens einen PASSED-Evidenz-Record gebunden. Die SHA-256-Hashwerte der Records sind direkt an jedem Claim sichtbar; nicht freigegebene Claims werden nicht gerendert.

Der Audit erkennt Idempotenz-/Retry-Defekte (non-idempotente Appends, Merge ohne Upsert-Key, unbounded Retries, deaktiviertes Dead-Letter, kaputte Dependencies, Full-Refresh) datei- und zeilengenau.

Evidenz: 9c667da6ec6648fc86acadc01f5daa9b

Der Audit erkennt fehlende Schema-Evolution, fehlende/deaktivierte Data-Quality-Checks, fehlende Alerts/SLA/Owner, fehlende Freshness-/Watermark-/Backfill-Strategie, Secret-Literale, hardcodierte Pfade und Lineage-Lücken.

Evidenz: 9c667da6ec6648fc86acadc01f5daa9b

Jeder Audit-Lauf ist deterministisch, wird unabhängig re-validiert und ist über einen hash-verketteten Evidence-Record mit Ed25519-Signaturen, Artefakt-Hashes und Contract-Digests reproduzierbar.

Evidenz: 9c667da6ec6648fc86acadc01f5daa9b

Es sind keine unterdrückten Claims für dieses Produkt im Gatekeeper-Status enthalten.

Workflow

Ausführungsschritte laut Manifest; jeder Schritt referenziert einen geprüften Skill.

Workflow des Produkts
SchrittSkillBeschreibungAbhängig von
auditdata_pipeline_auditPipeline-Repository statisch prüfen und Zuverlässigkeits-Findings deterministisch mit dem Skill data_pipeline_audit erzeugen.—

Skills in diesem Produkt

Versionen, Schwellenwerte und Evidenzstand je Skill. Details in der Skill-Registry.

Skills im Produkt
SkillVersionReifeRecall / PrecisionEvidenzLetzte Evidenz
ETL & Data Pipeline Audit0.1.0VALIDATED1,000 / 0,90019c667da6ec6648fc86acadc01f5daa9b

Evidenz für dieses Produkt

Ausschließlich verifizierte Records. Hashes und Artefaktpfade sind im Evidenz-Detail einsehbar.

Produkt: ETL & Data Pipeline Audit v0.1.0Skill: ETL & Data Pipeline Audit v0.1.0Zeitstempel: Precision: 1,000Recall: 1,000Task-Erfolg: 1,000Laufzeit: 597 msKosten: 0,00 €

record_sha256: 40d472ffad60f25eb4992e04edd474fcc4452c4035cb26d149aa714b61096785

  • Nur statische Konfigurationsanalyse – Pipelines werden nicht ausgeführt, Connectoren nicht kontaktiert, keine Daten gescannt und keine Runtime- Metriken ausgewertet.
  • Heuristische Regeln (Schedule-Overlap, Doppel-Load-Evidenz) können False Positives/Negatives liefern.
  • Data-Quality-/Monitoring-Abdeckung basiert auf deklarierter Konfiguration, nicht auf tatsächlichen Testergebnissen.
  • … 7 weitere

Bericht: evidence/artifacts/9c667da6ec6648fc86acadc01f5daa9b/report.md

Weitere Dokumentation

Kein Dokumentationspfad veröffentlicht.

Gatekeeper Evidence Inspector

Produkt-Manifest:

—

Evidence-Record-ID:

—

Record-Digest (SHA-256):

—
Record im Evidenz-Explorer