Der Audit erkennt Freshness-/Duplikat-/Link-Defekte (überfällige Reviews, fehlende Review-Historie, abgelehnte Reviews auf publizierten Artikeln, doppelte und widersprüchliche Versionen, Broken Internal Links, orphaned Articles) datei- und zeilengenau.
Produkt knowledge-base-audit · Version 0.1.0
Enterprise Knowledge Base & RAG Audit
Standardisierter, deterministischer Audit für Enterprise-Knowledge-Bases und RAG-Exports. Das Produkt prüft einen KB-Snapshot statisch auf Knowledge- und RAG-Qualität: überfällige Reviews, fehlende Review-Historie, abgelehnte Reviews auf veröffentlichten Artikeln, doppelte und widersprüchliche Versionen, fehlende Owner/Kategorie/Tags, Broken Internal Links, orphaned Articles, fehlende Restriktionen für vertrauliche Inhalte, PII-/Secret- Platzhalter, überdimensionierte und überlappende RAG-Chunks, fehlende Quellenangaben, veraltete Produktnamen, Sprach-Inkonsistenz, stale Embeddings und nicht indexierte Artikel. Jeder Befund ist datei- und zeilengenau mit konkreter Korrekturanweisung; KB-Quality-Score und Kategorie-Scores sind transparente Formeln, heuristische Regeln sind gekennzeichnet. Der Lauf wird unabhängig re-validiert und ist über einen hash-verketteten Evidence-Record mit Ed25519-Signaturen und Contract-Digests reproduzierbar.
Zielkunde (ICP)
Knowledge-Management-, Intranet- und AI-Enablement-Teams in mittelständischen Unternehmen (200-10.000 Mitarbeitende), die Confluence-/SharePoint-Wikis oder einen RAG-Assistenten betreiben und vor Migration, Audit oder Assistenz-Rollout eine schnelle, reproduzierbare Prüfung ihres KB-Exports benötigen.
Problem
Knowledge-Base-Qualität leidet an Details: Artikel veralten ohne Review, Duplikate und widersprüchliche Versionen kursieren, Owner und Kategorien fehlen, Links brechen, vertrauliche Inhalte sind offen, PII/Secrets landen im Text, RAG-Chunks sind zu groß oder überlappen zu stark, Embeddings veralten und Artikel fehlen im Index. Diese Lücken verteilen sich über Artikel, Index, Taxonomie, Permissions, Links, Review-Log und Chunk-Export; manuelle Reviews sind langsam und liefern keine zeilengenauen Evidenz-Pointer. Teams benötigen eine deterministische, lokal laufende Vorprüfung ihres KB-Exports.
Liefermodelle
- Audit as a Service
- Workflow as a Service
Service-Level (SLA)
| Feld | Wert |
|---|---|
delivery_time_hours | 48 |
max_findings_per_audit | 200 |
max_runtime_seconds | 120 |
Grenzen des Produkts
- Nur statische Knowledge-Base-Export-Analyse – kein Confluence-/SharePoint-/ RAG-/Vector-DB-Zugriff und keine Netzwerkaufrufe.
- Heuristische Regeln (doppelte Titel, widersprüchliche Policy-Werte) können False Positives/Negatives liefern.
- Findings sind KB-Hygiene-Evidenz, keine Rechts-/Compliance-Beratung; PII-/Secret-Checks sind pattern-basierte Platzhalter.
- Die aktuelle Evidenz basiert ausschließlich auf dem synthetischen Lab-Target synthetic-knowledge-base, nicht auf echten KB-Exporten.
- Nur statische Knowledge-Base-Export-Analyse – kein Confluence-/SharePoint-/ RAG-/Vector-DB-Zugriff und keine Netzwerkaufrufe.
- Heuristische Regeln (doppelte Titel, widersprüchliche Policy-Werte) können False Positives/Negatives liefern.
- Findings sind KB-Hygiene-Evidenz, keine Rechts-/Compliance-Beratung; PII-/Secret-Checks sind pattern-basierte Platzhalter.
- Das Golden-Dataset ist synthetisch; keine echten Dokumente/Personen.
Verträge: Eingabe und Ausgabe
Ein Claim erscheint nur, wenn die Evidenz zur exakten Version passt. Contract-Felder werden aus dem veröffentlichten Datenvertrag gerendert.
JSON-Schema (input_contract) aus dem veröffentlichten Datenvertrag. Der Runner validiert Ein- und Ausgaben gegen dieses Schema.
{
"properties": {
"repository_snapshot": {
"description": "Read-only KB-Export (Artikel, Index, Taxonomie, Owner, Permissions, Links, Review-Log, RAG-Chunks, Policy); synthetische oder kundenseitig freigegebene Metadaten, kein Live-KB-Zugriff.",
"type": "object"
}
},
"required": [
"repository_snapshot"
],
"type": "object"
}| Feld | Typ | Pflicht | Beschreibung |
|---|---|---|---|
repository_snapshot | object | ja | Read-only KB-Export (Artikel, Index, Taxonomie, Owner, Permissions, Links, Review-Log, RAG-Chunks, Policy); synthetische oder kundenseitig freigegebene Metadaten, kein Live-KB-Zugriff. |
JSON-Schema (output_contract) aus dem veröffentlichten Datenvertrag. Der Runner validiert Ein- und Ausgaben gegen dieses Schema.
{
"properties": {
"findings": {
"description": "Maschinenlesbare Findings als JSON inkl. Summary mit Severity-Zählern, Score-Formel, Kategorie-Scores, Zählern und unterdrückten Decoy-Mustern.",
"type": "object"
},
"report": {
"description": "KB-Bericht (Markdown) mit Zusammenfassung, Methodik, priorisierten Findings inkl. Datei, Zeile, Schweregrad, Fix-Anweisung, KB-Quality-/Kategorie-Scores, Heuristik-Kennzeichnung, Evidenz-/ Reproduzierbarkeitsdaten und Grenzen.",
"type": "object"
}
},
"required": [
"report",
"findings"
],
"type": "object"
}| Feld | Typ | Pflicht | Beschreibung |
|---|---|---|---|
findings | object | ja | Maschinenlesbare Findings als JSON inkl. Summary mit Severity-Zählern, Score-Formel, Kategorie-Scores, Zählern und unterdrückten Decoy-Mustern. |
report | object | ja | KB-Bericht (Markdown) mit Zusammenfassung, Methodik, priorisierten Findings inkl. Datei, Zeile, Schweregrad, Fix-Anweisung, KB-Quality-/Kategorie-Scores, Heuristik-Kennzeichnung, Evidenz-/ Reproduzierbarkeitsdaten und Grenzen. |
Veröffentlichte Claims (gate-geprüft)
Jeder folgende Claim ist an mindestens einen PASSED-Evidenz-Record gebunden. Die SHA-256-Hashwerte der Records sind direkt an jedem Claim sichtbar; nicht freigegebene Claims werden nicht gerendert.
Der Audit erkennt Permission-/Metadaten-/Chunk-Defekte (fehlende Restriktion vertraulicher Inhalte, PII-/Secret-Platzhalter, fehlende Owner/Kategorie/Tags, überdimensionierte/überlappende RAG-Chunks, stale Embeddings, fehlende Quellenangaben, veraltete Produktnamen).
Jeder Audit-Lauf ist deterministisch, wird unabhängig re-validiert und ist über einen hash-verketteten Evidence-Record mit Ed25519-Signaturen, Artefakt-Hashes und Contract-Digests reproduzierbar.
Es sind keine unterdrückten Claims für dieses Produkt im Gatekeeper-Status enthalten.
Workflow
Ausführungsschritte laut Manifest; jeder Schritt referenziert einen geprüften Skill.
| Schritt | Skill | Beschreibung | Abhängig von |
|---|---|---|---|
audit | knowledge_base_audit | KB-Export statisch prüfen und Knowledge-/RAG-Findings deterministisch mit dem Skill knowledge_base_audit erzeugen. | — |
Skills in diesem Produkt
Versionen, Schwellenwerte und Evidenzstand je Skill. Details in der Skill-Registry.
| Skill | Version | Reife | Recall / Precision | Evidenz | Letzte Evidenz |
|---|---|---|---|---|---|
| Enterprise Knowledge Base & RAG Audit | 0.1.0 | VALIDATED | 1,000 / 0,900 | 1 | 8958b8c096b94d8b9de908da765b5a2f |
Evidenz für dieses Produkt
Ausschließlich verifizierte Records. Hashes und Artefaktpfade sind im Evidenz-Detail einsehbar.
record_sha256: 9e83a5aa786ce47ab760b3e11c718c6d77d5b35b14514fafea51a8efca132872
- Nur statische Knowledge-Base-Export-Analyse – kein Confluence-/SharePoint-/ RAG-/Vector-DB-Zugriff und keine Netzwerkaufrufe.
- Heuristische Regeln (doppelte Titel, widersprüchliche Policy-Werte) können False Positives/Negatives liefern.
- Findings sind KB-Hygiene-Evidenz, keine Rechts-/Compliance-Beratung; PII-/Secret-Checks sind pattern-basierte Platzhalter.
- … 5 weitere
Bericht: evidence/artifacts/8958b8c096b94d8b9de908da765b5a2f/report.md
Weitere Dokumentation
Kein Dokumentationspfad veröffentlicht.