LLM Diálogo: Creando una Utilidad en Go para Comparar Modelos de Lenguaje

Diálogos Automatizados con LLM: Utilidad GUI en Go para Comparar Modelos de Lenguaje

Automatizar conversaciones entre dos modelos de lenguaje abre posibilidades fascinantes para probar, comparar y analizar el comportamiento de la IA. Esta utilidad GUI basada en Go, impulsada por Fyne, visualiza el proceso, ofreciendo a investigadores y desarrolladores una herramienta práctica para trabajar con LLM locales mediante Ollama.

Arquitectura de la App para Diálogos con LLM

El programa es una aplicación de escritorio basada en Fyne con una interfaz intuitiva para configurar y controlar las conversaciones. El panel izquierdo incluye los controles: selecciona dos modelos de la salida de ollama list, asigna roles opcionalmente, introduce un tema de conversación, establece límites de rondas y tiempos de espera en minutos. El lado derecho muestra el flujo del chat con mensajes codificados por colores y marcas de tiempo.

Aspectos técnicos clave:

• Aprovecha el servidor local de Ollama en el puerto 11434
• API HTTP para interacciones con modelos
• Gestión de contexto por modelo con los últimos 20 mensajes
• Manejo de tiempos de espera mediante contextos de Go para evitar cuelgues
• Mecanismo de reinicio para borrar el historial de conversación

Implementación de Interacciones con Modelos

La app adopta un enfoque estructurado para la gestión de conversaciones. Cada modelo mantiene su propio contexto, incluyendo un mensaje del sistema con su rol e historial de chat, garantizando intercambios coherentes sin hinchazón de contexto.

Flujo de conversación:

• Inicializa contextos para ambos modelos con prompts del sistema
• Alterna turnos durante el número de rondas establecido
• Actualiza historiales de ambos modelos tras cada respuesta
• Impone tiempos de espera mediante contextos

Aquí tienes un código de ejemplo para llamar a la API de Ollama:

func callOllamaAPI(ctx context.Context, model string, messages []Message) (string, error) {
    requestBody := ChatRequest{
        Model:    model,
        Messages: messages,
        Stream:   false,
    }
    requestBody.Options.NumPredict = 1024
    
    jsonData, err := json.Marshal(requestBody)
    if err != nil {
        return "", fmt.Errorf("request marshal error: %v", err)
    }
    
    req, err := http.NewRequestWithContext(ctx, "POST",
        "http://localhost:11434/api/chat",
        bytes.NewBuffer(jsonData))
    if err != nil {
        return "", fmt.Errorf("request creation error: %v", err)
    }
    req.Header.Set("Content-Type", "application/json")
    
    client := &http.Client{Timeout: 0}
    resp, err := client.Do(req)
    if err != nil {
        return "", fmt.Errorf("HTTP request error: %v", err)
    }
    defer resp.Body.Close()
    
    body, err := io.ReadAll(resp.Body)
    if err != nil {
        return "", fmt.Errorf("response read error: %v", err)
    }
    
    var response ChatResponse
    if err := json.Unmarshal(body, &response); err != nil {
        return "", fmt.Errorf("JSON parse error: %v", err)
    }
    return response.Message.Content, nil
}

Casos de Uso Prácticos

Esta herramienta brilla para profesionales de la tecnología de varias formas:

• Comparación de Modelos

- Prueba LLM con prompts idénticos

- Detecta diferencias en estilo, tono y contenido

- Analiza consistencia y contradicciones en chats

• Estudios de Impacto de Roles

- Asigna personalidades a los modelos

- Observa cambios de comportamiento por rol

- Experimenta con dinámicas sociales de IA

• Pruebas de Casos Límite

- Verifica estabilidad en conversaciones largas

- Explora manejo de temas complicados o conflictivos

- Evalúa retención de contexto

• Educación y Demostraciones

- Muestra mecánicas de LLM

- Visualiza generación de texto

- Explora patrones de diseño de apps de IA

Detalles de Implementación

Construida con:

• Fyne para la GUI
• Biblioteca estándar de Go para redes y JSON
• API de Ollama para LLM
• Goroutines y mutexes para concurrencia
• Contextos para control de tiempos de espera

Estructuras de datos principales:

• Message para mensajes individuales
• ChatRequest y ChatResponse para llamadas a API
• ModelContext para estado por modelo
• ConversationState para seguimiento de chats
• guiApp como la estructura principal de la app

Optimizaciones y Mejoras

Para potenciar rendimiento y funciones:

• Almacena en caché respuestas de modelos repetidas
• Añade streaming en tiempo real
• Exporta chats a JSON, Markdown, PDF
• Integra métricas de calidad de diálogos
• Soporte para parámetros de generación (temperatura, top_p)
• Carga prompts personalizados desde archivos

Lecciones Clave

• Automatiza chats cara a cara entre LLM sin intervención humana
• GUI de Fyne facilita ajustes de configuración
• Soporte local de Ollama evita dependencias en la nube
• Gestión inteligente de contexto e historial mantiene coherencia
• Ideal para comparaciones, pruebas e investigación en IA

— Editorial Team