Skill knowledge_base_audit · Version 0.1.0
Enterprise Knowledge Base & RAG Audit
Deterministische statische Prüfung eines synthetischen Enterprise- Knowledge-Base-Exports (Artikel-Markdown mit Metadaten, KB-Index, Kategorie-Taxonomie, Owner-Registry, Berechtigungs-Export, Link-Graph, Review-Log, RAG-Chunk-Export, KB-Policy) auf Knowledge- und RAG-Qualität: überfällige Reviews, fehlende Review-Historie, abgelehnte Reviews auf veröffentlichten Artikeln, doppelte und widersprüchliche Versionen, fehlende Owner/Kategorie/Tags, Broken Internal Links, orphaned Articles, fehlende Restriktionen für vertrauliche Inhalte, PII-/Secret-Platzhalter, überdimensionierte/überlappende RAG-Chunks, fehlende Quellenangaben, veraltete Produktnamen, Sprach-Inkonsistenz, stale Embeddings und nicht indexierte Artikel. Es gibt keinen Live-Confluence-/SharePoint-/RAG-/ Vector-DB-Zugriff und keine LLM-Aufrufe; zwei Läufe sind byte-identisch. Der KB-Quality-Score sowie Kategorie-Scores werden transparent aus Severity-Gewichten berechnet, heuristische Regeln sind gekennzeichnet. Saubere Muster (frisch reviewed, eindeutige kanonische Version, Owner+ Kategorie, restringierter Confidential-Artikel, sauberer Chunk, Quellenangabe) werden über explizite Guards unterdrückt.
Berechtigungen
- Nur Lesen (Workspace)
- Kein Netzwerk
Kosten- und Laufzeitmodell
| Feld | Wert |
|---|---|
| LLM-Aufrufe erlaubt | 0 |
| Netzwerkzugriff | nein (erzwungen) |
| Max. Laufzeit | 120000 ms |
| Letzte Evidenz | 8958b8c096b94d8b9de908da765b5a2f (2026-11-03T11:29:04Z) |
Validierungs-Schwellenwerte
| Feld | Bedeutung | Wert |
|---|---|---|
min_recall | Mindest-Recall | 1 |
min_precision | Mindest-Precision | 0.9 |
max_runtime_ms | Max. Laufzeit (ms) | 120000 |
max_cost_usd | Max. Kosten (USD) | 0.05 |
Grenzen des Skills
- Nur statische Knowledge-Base-Export-Analyse – kein Confluence-/SharePoint-/ RAG-/Vector-DB-Zugriff und keine Netzwerkaufrufe.
- Heuristische Regeln (doppelte Titel, widersprüchliche Policy-Werte) können False Positives/Negatives liefern.
- Findings sind KB-Hygiene-Evidenz, keine Rechts-/Compliance-Beratung; PII-/Secret-Checks sind pattern-basierte Platzhalter.
- Das Golden-Dataset ist synthetisch; keine echten Dokumente/Personen.
Eingabe-Vertrag (JSON-Schema)
Der Runner validiert Eingaben gegen dieses Schema, bevor der Skill startet.
{
"additionalProperties": false,
"properties": {
"max_findings": {
"default": 200,
"type": "integer"
},
"scope": {
"default": [
"freshness",
"duplicates",
"ownership",
"categories",
"links",
"permissions",
"metadata",
"chunks",
"citations",
"content",
"rag"
],
"items": {
"type": "string"
},
"type": "array"
},
"target_path": {
"type": "string"
}
},
"required": [
"target_path"
],
"type": "object"
}
Ausgabe-Vertrag (JSON-Schema)
Die Ausgabe wird nach dem Lauf gegen dieses Schema geprüft; Abweichungen brechen den Lauf ab.
{
"additionalProperties": false,
"properties": {
"findings": {
"maxItems": 500,
"type": "array"
},
"summary": {
"type": "object"
}
},
"required": [
"findings",
"summary"
],
"type": "object"
}
Evidenz für diesen Skill
Nur verifizierte Records, neueste zuerst. Ein Record belegt einen konkreten Lauf gegen ein synthetisches Lab-Ziel.
| Record | Zeitstempel | Status | Reife | Precision / Recall | Laufzeit | Kosten |
|---|---|---|---|---|---|---|
| 8958b8c096b94d8b9de908da765b5a2f | 2026-11-03T11:29:04Z | PASSED | VALIDATED | 1,000 / 1,000 | 883 ms | 0,00 € |