Der Audit erkennt deaktivierte oder übersprungene kritische Tests, fehlende Assertions und fehlende Tests für kritische Module datei- und zeilengenau.
Evidenz-Record d384e1169b2c47878f415f225f21ba8c
Verifizierter Lauf: Test-, CI- und Flaky-Qualitätsaudit
Synthetische Labor-Evidenz — keine echten Kundendaten. Dieser Record ist der öffentliche Beleg für die an ihn gebundenen Claims.
Integrität und Hash-Kette
| record_sha256 | e37b58f56449f63af66412f8350620aba98a9ddbf91a321470f9a3279c58da75 |
|---|---|
| prev_record_sha256 (Kettenvorgänger) | 7cda905e1c1b4824a8483618e8cc0313 a8f77ede01a2c954f598ce0413f99423ae2e68f18cb60a837bd9d6f48b5a8139 |
| Position in der verifizierten Kette | 184 von 256 |
| Kette vollständig verifiziert | Hash-Kette verifiziert |
| Datenstand der Veröffentlichung |
Zuordnung
| Produkt | Test-, CI- und Flaky-Qualitätsaudit v0.1.0 |
|---|---|
| Skill | Test-, CI- und Flaky-Qualitätsaudit v0.1.0 |
| Zeitstempel (UTC) | |
| Git-Commit | a768c16a41… auf work/critic-keys-and-targets |
| Worktree beim Lauf | sauberer Worktree |
| Arbeitsbaum-Hinweis | Der Arbeitsbaum war beim Lauf sauber — VALIDATED-Evidenz war grundsätzlich möglich. |
Reproduktion
python -m factory.cli run-product --product test-quality-audit --target weak-test-suite --record
Der Befehl reproduziert den Lauf innerhalb des Repositorys. Er wird hier nur als Text angezeigt und von der Website nicht ausgeführt.
Messwerte der unabhängigen Validierung
Berechnet vom Validator aus Golden-Dataset und unabhängigem Re-Run.
| precision | 1,000 |
|---|---|
| recall | 1,000 |
| task_success_rate | 1,000 |
| error_rate | 0,000 |
| deterministic_checks_passed | ja |
| findings_total | 22 |
| blocking_findings | 9 |
Performance und Kosten
| execution_time_ms | 723 ms |
|---|---|
| prompt_tokens | 0 |
| completion_tokens | 0 |
| llm_calls | 0 |
| total_cost_usd | 0,00 € |
| container_compute_usd | 0,00 € |
Unit Economics
| price_eur | 390,00 € |
|---|---|
| measured_cost_eur | 0,00 € |
| gross_margin_percent | 100,0 % |
- Compute price assumption: 0.06 EUR per CPU-hour.
- LLM input price assumption: 0.3 EUR per 1M tokens.
- LLM output price assumption: 1.2 EUR per 1M tokens.
- Costs are measured runtime and measured provider usage, not supplier invoices.
- No support, sales, hosting or human-review cost is included unless stated.
Kritiker-Signaturen
Unabhängige Kritikerrollen bestätigen den Bericht; die Signatur bindet die Freigabe an den Inhalts-Hash.
| Kritiker | Verdikt | Algorithmus | Signiert am | Signatur (gekürzt) |
|---|---|---|---|---|
| technical_critic | APPROVE | ed25519 | 2026-11-03T11:34:13Z | fdbf15364efef15d… |
| security_critic | APPROVE | ed25519 | 2026-11-03T11:34:13Z | 5929280624d26447… |
| business_critic | APPROVE | ed25519 | 2026-11-03T11:34:13Z | 8c5fadf03b429506… |
| evidence_critic | APPROVE | ed25519 | 2026-11-03T11:34:13Z | 1ca5f89afcbede7f… |
Artefakte und Bericht
Alle Artefakte sind SHA-256-gebunden; die Website lädt keine Dateien nach, sondern nennt die Repository-Pfade aus dem Datenvertrag.
evidence/artifacts/d384e1169b2c47878f415f225f21ba8c/input.jsonevidence/artifacts/d384e1169b2c47878f415f225f21ba8c/product.manifest.jsonevidence/artifacts/d384e1169b2c47878f415f225f21ba8c/skill.manifest.jsonevidence/artifacts/d384e1169b2c47878f415f225f21ba8c/findings.jsonevidence/artifacts/d384e1169b2c47878f415f225f21ba8c/output.jsonevidence/artifacts/d384e1169b2c47878f415f225f21ba8c/report.mdBerichtevidence/artifacts/d384e1169b2c47878f415f225f21ba8c/critic_reviews.jsonevidence/artifacts/d384e1169b2c47878f415f225f21ba8c/validation.jsonevidence/logs/d384e1169b2c47878f415f225f21ba8c.log
Hinweis: Die Website lädt keine Artefakte nach; die Pfade sind relativ zum Repository und hash-gebunden im Record. Der Bericht selbst wird nicht als HTML eingebettet.
Bekannte Limitations
Grenzen dieses konkreten Records, wie im Record hinterlegt — sie gelten zusätzlich zu den Produkt-/Skill-Limitations.
- Rein statischer Heuristik-Audit; die Testsuite wird nicht ausgeführt, es wird nichts kompiliert oder gestartet. Echte Laufzeiten und Flakes können von den statischen Signalen abweichen.
- Der Quality-Score ist eine transparente Heuristik und keine Coverage-, Stabilitäts- oder Release-Garantie.
- Assertion-Qualität, Flakiness und Langsamkeit werden über Muster geschätzt; Reihenfolgeabhängigkeit, Race Conditions und dynamisches Verhalten werden nicht erkannt.
- Die aktuelle Evidenz basiert ausschließlich auf dem synthetischen Lab-Target weak-test-suite, nicht auf einem Kundenprojekt.
- Es werden keine echten Dienste, Daten, Repositories oder Zugangsdaten verarbeitet.
- Preis und Kostenmodell sind Startwerte; die gemessene Marge wird aus dem Evidence-Record übernommen und nicht geschätzt.
- Rein statischer Heuristik-Audit; die Testsuite wird nicht ausgeführt und es wird nichts kompiliert oder gestartet.
- Der Quality-Score ist eine transparente Heuristik über statische Signale und keine Coverage-, Stabilitäts- oder Release-Garantie.
- Assertion-Qualität, Flakiness und Langsamkeit werden über Muster in Quelltext, Logs und Reports geschätzt; echte Laufzeiten und Flakes können abweichen.
- Die Regeln decken die im Lab-Target codifizierten Testmuster ab; weitere Test-Smells (z. B. Reihenfolgeabhängigkeit, Race Conditions) können ungemeldet bleiben.
- Die aktuelle Evidenz basiert ausschließlich auf dem synthetischen Lab-Target weak-test-suite, nicht auf einem Kundenprojekt.
- Alle Dateien, Tests und Reports sind fiktiv; es werden keine echten Dienste, Daten, Repositories oder Zugangsdaten verarbeitet.
Durch diesen Record belegte Claims
Claims, die in der Gatekeeper-Ausgabe auf diesen Record verweisen. Jeder Claim ist an den oben genannten Hash gebunden.
Der Audit erkennt Flakiness-Marker (Retries, Sleeps, Retry-Logs, xfail-Ignorierung), langsame Tests sowie nicht durchgesetzte CI-Gates und fehlende Coverage-Schwellenwerte.
Jeder Audit-Lauf ist deterministisch, wird unabhängig re-validiert und ist über einen hash-verketteten Evidence-Record mit Artefakt-Hashes reproduzierbar.