Grands Modèles de Langage : Bases et Pratique

Les bases des grands modèles de langage : des fondamentaux à la pratique

Un modèle de langage estime la probabilité du token suivant donné le contexte : P(w_t | w_1, ..., w_{t-1}). C'est le principe fondamental de tous les systèmes modernes, y compris les LLMs.

Le développement a connu trois étapes :

• n-grammes statistiques : comptage des fréquences de séquences de 2–3 mots. Rapide, mais ils ignorent le contexte à longue portée et la sémantique.
• Embeddings vectoriels (word2vec, GloVe) : les mots comme points dans un espace multidimensionnel, où la distance reflète la similarité sémantique.
• Transformers : le mécanisme d'attention permet de considérer les connexions entre tokens distants, autorisant une compréhension profonde du texte.

Les Transformers forment la base des LLMs capables de générer du texte cohérent.

Échelle des grands modèles de langage

Les LLMs se distinguent par leur échelle : des centaines de milliards de tokens dans les données d'entraînement, paramètres de 7B à 175B. Les paramètres sont les poids du réseau de neurones qui capturent les motifs statistiques du langage.

Les modèles de 7B–14B peuvent s'exécuter localement sous forme quantisée sur un GPU. Les plus grands nécessitent des clusters. À grande échelle, les LLMs capturent non seulement la linguistique mais aussi des connaissances encodées issues des textes — des faits à la logique. Ce sont des modèles de base pour les chatbots, l'analyse et la génération.

LLMs instructifs et conversationnels

Les LLMs de base prédisent des tokens mais ne suivent pas toujours les tâches. Les modèles instructifs sont affinés sur des paires instruction-réponse avec RLHF : les évaluations humaines façonnent les préférences pour la politesse et la cohérence.

Résultat : des systèmes conversationnels comme ChatGPT, Claude, Gemini. Ils clarifient les requêtes, structurent les réponses et expliquent le raisonnement.

Tokenisation et fenêtre de contexte

Les LLMs travaillent avec des tokens — unités submot (mots, morphèmes, ponctuation). Le tokenizer construit un vocabulaire à partir du corpus, en fusionnant les séquences fréquentes.

Processus :

• Texte → tokens.
• Tokens → embeddings.
• Entrée au modèle.

Fenêtre de contexte — limite de tokens (par ex., 128k). Les coûts API et la génération sont facturés par tokens. Longueur de mot ≠ tokens.

Paramètres clés de génération

• Temperature : contrôle l'aléatoire. Faible (0.1–0.3) — réponses déterministes. Élevée (0.8+) — créativité, mais risque d'hallucinations.
• Max tokens : limite de sortie, empêche la génération infinie.

Les paramètres sont ajustés pour les tâches : stabilité en production, diversité en brainstorming.

Multimodalité dans les LLMs

Les modèles multimodaux intègrent texte, images, audio, vidéo. Les tokens de différentes modalités sont projetés dans un espace partagé.

Exemples : GPT-4o, Gemini, Claude 3. Capacités :

• Descriptions d'images.
• Analyse de graphiques/tableaux.
• Réponses à des requêtes visuelles.

Cela étend les LLMs en systèmes universels.

Pratique : Exécuter Qwen dans Google Colab

Pour les expériences, utilisez des modèles ouverts. Qwen2.5-3B-Instruct — texte uniquement, Qwen2.5-VL-3B-Instruct — multimodal. La qualité est inférieure aux propriétaires, mais suffisante pour des prototypes.

Modèle texte

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
import textwrap

model_name = "Qwen/Qwen2.5-3B-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model_name)

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.float16,
    device_map="auto"
)

prompt = "Explain prostymi slovami, that takoe bolshaya yazykovaya model."

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=150,
    temperature=0.7
)

generated_tokens = outputs[0][inputs["input_ids"].shape[-1]:]
answer = tokenizer.decode(generated_tokens, skip_special_tokens=True)
print()
print(textwrap.fill(answer.strip(), width=80))

La sortie démontre une explication cohérente malgré seulement 3B de paramètres.

Modèle multimodal

De même, chargez Qwen2.5-VL-3B-Instruct et passez des images en entrée.

Points clés à retenir

• Les LLMs ont évolué des n-grammes aux transformers avec attention.
• L'échelle (paramètres, données) produit des capacités émergentes et des connaissances.
• Instruct + RLHF assurent l'adhésion aux tâches.
• Les tokens définissent les limites : fenêtre de contexte, coûts.
• La multimodalité unifie les modalités dans un espace unique.

— Editorial Team