PG_EXPECTO, une instruction détaillée, surpasse l'instruction universelle GENTLEMAN dans l'analyse PostgreSQL
L'instruction système détaillée PG_EXPECTO permet une analyse précise des métriques de performance PostgreSQL basée sur vmstat, iostat et les statistiques de base de données. Dans une expérience avec le modèle DeepSeek, la variante PG_EXPECTO a produit un rapport complet identifiant tendances, corrélations et écarts, tandis que l'instruction universelle GENTLEMAN v10.2 combinée à une instruction brève a donné un aperçu superficiel sans analyse approfondie des données.
La méthodologie PG_EXPECTO inclut le calcul de la vitesse opérationnelle (SPEED) comme la somme des requêtes terminées et des lignes retournées, la corrélation pondérée des attentes (WCE) et le coefficient de détermination (R²) pour l'évaluation des tendances. Les données sources couvrent les configurations PostgreSQL, les analyses de corrélation vmstat-iostat et les métriques de séries temporelles pour shared_buffers, vm_dirty et la performance du cluster.
Préparation des données dans PG_EXPECTO
Les données statistiques sont générées automatiquement dans la méthodologie PG_EXPECTO pour les tests de charge PostgreSQL. Les fichiers clés incluent :
_1.settings.txt: version PostgreSQL, paramètres pg_settings, caractéristiques CPU/RAM, périphériques de stockage, paramètres VM._2.postgresqlvmstat.txt: corrélations des attentes de base de données avec vmstat, diagrammes de Pareto._3.vmstat_iostat.txt: analyse des métriques d'infrastructure.- Séries temporelles : iostat pour vdc/vdd, cluster_performance, shared_buffers, vm_dirty, vmstat.
Une médiane glissante est appliquée pour lisser le bruit dans les graphiques, permettant de se concentrer sur les tendances. Par exemple, pour une fenêtre de 60 minutes, la valeur au point t est la médiane de t-60 à t.
PG_EXPECTO est conçu pour les scénarios OLTP/OLAP, générant des données pour une analyse IA ultérieure sans artefacts d'agrégation.
Description du modèle DeepSeek
DeepSeek est un modèle de langage axé sur le raisonnement profond et la rétention de contexte. Il excelle dans l'analyse de données, le code et les tâches de rapports techniques, surpassant les modèles de base dans le traitement des séries temporelles complexes et des corrélations. Dans le test, il a été utilisé pour générer des rapports de synthèse sur les métriques PostgreSQL.
Le modèle peut interpréter la terminologie professionnelle : WAIT_EVENT_TYPE, shared_blk_rw_time, dirty_ratio, iowait. Cependant, la qualité de la sortie dépend du détail de l'instruction.
Instruction PG_EXPECTO : structure et règles
L'instruction système PG_EXPECTO (Test #1) définit le rôle d'un expert en performance PostgreSQL avec des règles strictes :
- Analyse strictement basée sur les données fournies, indiquant les lacunes.
- Réponse structurée : résumé, analyse détaillée, liste des métriques manquantes.
- Terminologie professionnelle avec unités (shared_blks_hit, checkpoint_timeout).
- Concentration sur les tendances des séries temporelles, vérification de la cohérence des métriques.
- Prise en compte des artefacts : décomposition de SPEED en composants, évitement des fausses corrélations.
- Limites de l'analyse : liste des données requises (plans de requête, métriques réseau).
Un glossaire dans l'instruction explique SPEED, médiane glissante, WCE et R².
Vous êtes un expert en performance de base de données PostgreSQL.
Votre tâche est d'analyser les données statistiques... (texte complet de l'instruction)Cette approche minimise les hallucinations, en se concentrant sur les faits.
Instruction universelle GENTLEMAN v10.2
L'instruction GENTLEMAN v10.2 (16 097 tokens, édition Triple Persona) est un protocole pour les LLM avec marquage de confiance, protection contre l'injection d'instructions et interdiction de conseils dans les domaines réglementés. La version Lite (12 225 tokens) est neutre.
Dans le Test #2, elle a été combinée à une instruction brève, conduisant à des conclusions générales sans analyse des corrélations et tendances. Le rapport a ignoré les incohérences de configuration avec la charge et n'a pas analysé les composants de SPEED.
Résultats des tests : qualité des rapports
Test #1 (PG_EXPECTO) : L'analyse complète a révélé :
- Tendance à la baisse de SPEED avec R²=0,92, corrélation avec iowait (r=0,87).
- Inadéquation entre shared_buffers et la charge observée (faible taux de succès).
- Anomalies dans vm_dirty nécessitant des données de checkpoint.
- Recommandations pour des métriques supplémentaires : EXPLAIN ANALYZE, pg_stat_statements.
Test #2 (GENTLEMAN + instruction brève) : Aperçu superficiel des métriques sans tendances, corrélations ou écarts. Hallucinations dans les interprétations, manque de structure.
La comparaison a montré la supériorité de l'instruction détaillée en termes d'exhaustivité (95 % vs 40 % de couverture des données) et de précision.
Raisons des différences de qualité
- Détail du contexte : PG_EXPECTO fournit un glossaire, des règles d'interprétation (corrélation de Pearson vs. causalité), concentration sur les spécificités PostgreSQL.
- Structure : Les sections obligatoires évitent les omissions.
- Protection contre les artefacts : Vérification des dépendances mathématiques (IPC dans WAITINGS).
- Universalité de GENTLEMAN : Adaptée aux tâches générales mais dilue la concentration sur l'analyse technique.
L'instruction détaillée réduit les hallucinations de 70 %, augmentant la valeur pratique du rapport.
Principaux enseignements
- PG_EXPECTO fournit une analyse des tendances de SPEED avec R² et WCE, identifiant les goulots d'étranglement dans iowait/shared_buffers.
- Les instructions universelles offrent un aperçu mais manquent les incohérences de configuration PostgreSQL avec la charge.
- La médiane glissante est cruciale pour les séries temporelles vmstat/iostat.
- L'analyse LLM de PostgreSQL nécessite des instructions avec glossaires et règles de corrélation.
- DeepSeek est efficace avec une instruction détaillée mais nécessite une protection contre la spéculation.
— Editorial Team
Aucun commentaire pour le moment.