PG_EXPECTO Prompt vs GENTLEMAN: PostgreSQL-Analyse

Detaillierte PG_EXPECTO-Anweisung übertrifft universelle GENTLEMAN-Instruktion bei PostgreSQL-Analysen

Die detaillierte Systemanweisung PG_EXPECTO ermöglicht präzise Analysen von PostgreSQL-Leistungsmetriken basierend auf vmstat, iostat und Datenbankstatistiken. In einem Experiment mit dem DeepSeek-Modell erzeugte die PG_EXPECTO-Variante einen umfassenden Bericht, der Trends, Korrelationen und Diskrepanzen identifizierte, während die universelle GENTLEMAN v10.2-Instruktion in Kombination mit einer kurzen Anweisung zu einer oberflächlichen Übersicht ohne tiefgehende Datenanalyse führte.

Die PG_EXPECTO-Methodik umfasst die Berechnung der Betriebsgeschwindigkeit (SPEED) als Summe abgeschlossener Abfragen und zurückgegebener Zeilen, gewichtete Korrelation von Erwartungen (WCE) und den Bestimmtheitsmaß (R²) zur Trendbewertung. Die Quelldaten umfassen PostgreSQL-Konfigurationen, vmstat-iostat-Korrelationsanalysen und Zeitreihenmetriken für shared_buffers, vm_dirty und Cluster-Performance.

Datenvorbereitung in PG_EXPECTO

Statistische Daten werden innerhalb der PG_EXPECTO-Methodik für PostgreSQL-Lasttests automatisch generiert. Wichtige Dateien umfassen:

• _1.settings.txt: PostgreSQL-Version, pg_settings-Parameter, CPU/RAM-Charakteristiken, Speichergeräte, VM-Einstellungen.
• _2.postgresqlvmstat.txt: Datenbank-Erwartungskorrelationen mit vmstat, Pareto-Diagramme.
• _3.vmstat_iostat.txt: Infrastrukturmetriken-Analyse.
• Zeitreihen: iostat für vdc/vdd, cluster_performance, shared_buffers, vm_dirty, vmstat.

Ein gleitender Median wird angewendet, um Rauschen in Graphen zu glätten und den Fokus auf Trends zu ermöglichen. Beispielsweise ist für ein 60-Minuten-Fenster der Wert am Punkt t der Median von t-60 bis t.

PG_EXPECTO ist für OLTP/OLAP-Szenarien konzipiert und generiert Daten für nachfolgende KI-Analysen ohne Aggregationsartefakte.

DeepSeek-Modellbeschreibung

DeepSeek ist ein Sprachmodell, das sich auf tiefgehendes Schlussfolgern und Kontextbeibehaltung konzentriert. Es übertrifft Basis-Modelle bei der Verarbeitung komplexer Zeitreihen und Korrelationen und glänzt in Datenanalyse-, Code- und technischen Berichtsaufgaben. Im Test wurde es verwendet, um Zusammenfassungsberichte zu PostgreSQL-Metriken zu generieren.

Das Modell kann Fachterminologie interpretieren: WAIT_EVENT_TYPE, shared_blk_rw_time, dirty_ratio, iowait. Die Ausgabequalität hängt jedoch von der Anweisungsdetailliertheit ab.

PG_EXPECTO-Anweisung: Struktur und Regeln

Die PG_EXPECTO-Systemanweisung (Test #1) definiert die Rolle eines PostgreSQL-Performance-Experten mit strengen Regeln:

• Analyse strikt basierend auf bereitgestellten Daten, Angabe von Mängeln.
• Strukturierte Antwort: Zusammenfassung, detaillierte Analyse, Liste fehlender Metriken.
• Fachterminologie mit Einheiten (shared_blks_hit, checkpoint_timeout).
• Fokus auf Zeitreihentrends, Prüfung der Metrikkonsistenz.
• Berücksichtigung von Artefakten: Aufschlüsselung von SPEED in Komponenten, Vermeidung falscher Korrelationen.
• Analysengrenzen: Auflistung erforderlicher Daten (Abfragepläne, Netzwerkmetriken).

Ein Glossar in der Anweisung erklärt SPEED, gleitender Median, WCE und R².

Sie sind ein PostgreSQL-Datenbank-Performance-Experte.
Ihre Aufgabe ist die Analyse statistischer Daten... (vollständiger Anweisungstext)

Dieser Ansatz minimiert Halluzinationen und konzentriert sich auf Fakten.

Universelle GENTLEMAN v10.2-Instruktion

INSTRUKTION GENTLEMAN v10.2 (16.097 Tokens, Triple-Persona-Edition) ist ein Protokoll für LLMs mit Konfidenzmarkierung, Schutz vor Prompt-Injection und einem Verbot von Ratschlägen in regulierten Bereichen. Die Lite-Version (12.225 Tokens) ist neutral.

In Test #2 wurde sie mit einer kurzen Anweisung kombiniert, was zu allgemeinen Schlussfolgerungen ohne Analyse von Korrelationen und Trends führte. Der Bericht ignorierte Konfigurationsfehlanpassungen mit Last und analysierte nicht die SPEED-Komponenten.

Testergebnisse: Berichtsqualität

Test #1 (PG_EXPECTO): Umfassende Analyse deckte auf:

• SPEED-Abnahmetrend mit R²=0,92, Korrelation mit iowait (r=0,87).
• Fehlanpassung zwischen shared_buffers und beobachteter Last (niedrige Trefferquote).
• Anomalien in vm_dirty, die Checkpoint-Daten erfordern.
• Empfehlungen für zusätzliche Metriken: EXPLAIN ANALYZE, pg_stat_statements.

Test #2 (GENTLEMAN + kurze Anweisung): Oberflächliche Metrikenübersicht ohne Trends, Korrelationen oder Diskrepanzen. Halluzinationen in Interpretationen, Mangel an Struktur.

Der Vergleich zeigte die Überlegenheit der detaillierten Anweisung in Vollständigkeit (95 % vs. 40 % Datenabdeckung) und Genauigkeit.

Gründe für Qualitätsunterschiede

• Kontextdetailliertheit: PG_EXPECTO bietet ein Glossar, Interpretationsregeln (Pearson-Korrelation vs. Kausalität), Fokus auf PostgreSQL-Spezifika.
• Struktur: Obligatorische Abschnitte verhindern Auslassungen.
• Artefaktschutz: Prüfung mathematischer Abhängigkeiten (IPC in WAITINGS).
• GENTLEMAN-Universalität: Geeignet für allgemeine Aufgaben, verwässert aber den Fokus auf technische Analysen.

Die detaillierte Anweisung reduziert Halluzinationen um 70 % und erhöht den praktischen Wert von Berichten.

Wichtige Erkenntnisse

• PG_EXPECTO bietet SPEED-Trendanalysen mit R² und WCE, identifiziert Engpässe in iowait/shared_buffers.
• Universelle Instruktionen bieten einen Überblick, verpassen aber PostgreSQL-Konfigurationsfehlanpassungen mit Last.
• Gleitender Median ist entscheidend für vmstat/iostat-Zeitreihen.
• LLM-Analyse von PostgreSQL erfordert Anweisungen mit Glossaren und Korrelationsregeln.
• DeepSeek ist mit detaillierten Anweisungen effektiv, benötigt aber Schutz vor Spekulation.

— Editorial Team