Hlasový vstup Claude ruský offline

Lokální hlasový vstup pro Claude v češtině: realizace za jeden večer

Flask server na localhost:5555 přijímá audio z Chrome rozšíření, transkribuje ho lokálním Whisperem s modelem small a vrací text do vstupního pole claude.ai. Menu Bar aplikace na rumps spravuje spuštění, ikona v liště se mění z 🤖 na 🎤. Vše běží offline, bez limitů, zdarma. Vhodné pro macOS, adaptovatelné na Linux.

Předpoklady

Nainstalujte závislosti:

• Whisper: brew install openai-whisper
• ffmpeg: brew install ffmpeg
• Python 3 a Chrome

Ověřte Whisper:

whisper --version

Ve výstupu musí být čeština. Vytvořte strukturu projektu:

mkdir -p ~/projects/whisper-claude
cd ~/projects/whisper-claude
python3 -m venv venv
source venv/bin/activate
pip install flask flask-cors rumps
mkdir -p extension/icons

Virtuální prostředí je na macOS Ventura+ nutné, aby se vyhnuli konfliktům se systémovým Pythonem.

Server pro transkripci (server.py)

Server zpracovává POST /transcribe s audiem v base64 nebo souborem, volá Whisper s příznaky --language cs --fp16 False (kritické pro Apple Silicon), vrací JSON s textem. Obsahuje endpointy /ping a /shutdown.

from flask import Flask, request, jsonify
from flask_cors import CORS
import subprocess
import tempfile
import os
import threading

app = Flask(__name__)
CORS(app)

WHISPER_PATH = "/opt/homebrew/bin/whisper"
WHISPER_MODEL = "small"
PORT = 5555

@app.route("/ping", methods=["GET"])
def ping():
    return jsonify({"status": "ok"})

@app.route("/transcribe", methods=["POST"])
def transcribe():
    if "audio" not in request.files:
        return jsonify({"error": "Audio soubor nenalezen"}), 400

    audio_file = request.files["audio"]

    with tempfile.NamedTemporaryFile(suffix=".webm", delete=False) as tmp:
        tmp_path = tmp.name
        audio_file.save(tmp_path)

    try:
        result = subprocess.run(
            [
                WHISPER_PATH, tmp_path,
                "--model", WHISPER_MODEL,
                "--language", "cs",
                "--output_format", "txt",
                "--output_dir", tempfile.gettempdir(),
                "--fp16", "False",
            ],
            capture_output=True, text=True, timeout=60
        )

        txt_path = tmp_path.replace(".webm", ".txt")
        if os.path.exists(txt_path):
            with open(txt_path, "r", encoding="utf-8") as f:
                text = f.read().strip()
            os.unlink(txt_path)
        else:
            text = result.stdout.strip()

        return jsonify({"text": text})

    except subprocess.TimeoutExpired:
        return jsonify({"error": "Překročen čas"}), 500
    except Exception as e:
        return jsonify({"error": str(e)}), 500
    finally:
        os.unlink(tmp_path)

@app.route("/shutdown", methods=["POST"])
def shutdown():
    threading.Timer(0.5, lambda: os._exit(0)).start()
    return jsonify({"status": "ukončuji"})

if __name__ == "__main__":
    print(f"[Whisper] Spouštím se na portu {PORT}, model: {WHISPER_MODEL}")
    app.run(host="127.0.0.1", port=PORT, debug=False)

Klíčový moment: --fp16 False zabraňuje pádu na M1/M2/M3.

Ovladač Menu Bar (menubar.py)

Aplikace monitoruje porty každých 5 sekund přes rumps.Timer, spouští/zastavuje servery v threadech. Konfigurace TOOLS umožňuje přidávat služby jedním řádkem. Stav se zobrazuje emodži: ✅ běží, ⏸ zastaveno.

import rumps
import subprocess
import threading
import os
import time
import urllib.request

BASE_DIR = "~/projects/whisper-claude"
VENV_PYTHON = os.path.join(BASE_DIR, "venv/bin/python3")

TOOLS = [
    {
        "name": "Whisper → Claude",
        "script": os.path.join(BASE_DIR, "server.py"),
        "port": 5555,
        "description": "Hlasový vstup v češtině",
    },
]

# ... (zbytek kódu jako v originále, zkráceno pro příklad)

class AILauncher(rumps.App):
    # implementace jako výše
    pass

if __name__ == "__main__":
    AILauncher().run()

Kompletní kód obsahuje ToolController s toggle, check_all a graceful shutdown.

Chrome rozšíření

manifest.json (MV3):

{
  "manifest_version": 3,
  "name": "Whisper pro Claude",
  "version": "1.0",
  "permissions": ["activeTab", "scripting"],
  "host_permissions": [
    "https://claude.ai/*",
    "http://127.0.0.1:5555/*"
  ],
  "content_scripts": [
    {
      "matches": ["https://claude.ai/*"],
      "js": ["content.js"],
      "run_at": "document_end"
    }
  ],
  "background": {
    "service_worker": "background.js"
  }
}

background.js řeší mixed content: base64-audio z content.js → fetch v background → server.

const SERVER_URL = "http://127.0.0.1:5555";

chrome.runtime.onMessage.addListener((message, sender, sendResponse) => {
  if (message.action === "transcribe") {
    handleTranscribe(message.audio).then(sendResponse);
    return true;
  }
});

async function handleTranscribe(base64Audio) {
  // konverze base64 → Blob → FormData → POST /transcribe
}

Content.js přidává tlačítko 🎤 vedle vstupního pole, zachycuje MediaRecorder.

Co je důležité

• Lokální Whisper small: ~1 GB, transkribuje češtinu offline za 10-30 sekund.
• Rozšiřitelná architektura: nové AI se přidávají do TOOLS bez přepisování kódu.
• Bezpečnost: pouze localhost, žádné cloudové požadavky, CORS pro Chrome.
• Kompatibilita: macOS Apple Silicon (fp16=False), Linux s cestami.
• Výkon: timeout 60 sekund, tempfile auto-čištění.

— Editorial Team