Karpathy 方法的 LLM wiki：自动化

由 LLM 驱动的自动化 Wiki：Andrey Karpathy 针对 IT 专业人士的方法

Andrey Karpathy 使用 LLM 从原始材料创建结构化的 wiki：文章、科学出版物、仓库和数据集。将材料收集到一个文件夹中，模型随后生成一组 markdown 文件。这包括摘要、交叉引用以及关于关键概念的独立文章。一个知识库包含约 100 个文档，总计 40 万字——所有内容均自动生成，无需任何人工干预。

这种方法消除了对 RAG 管道的需求。LLM 独立管理索引、文档摘要，并检索相关片段，无需额外基础设施。浏览使用 Obsidian；演示使用 Marp。

知识库自我丰富循环

系统在闭环中运行：查询结果反馈到 wiki 中。这包括对问题的回答、生成的图表和幻灯片。丰富过程自动进行，提升未来交互的质量。

LLM 执行完整性检查：

• 检测文档间的矛盾。
• 通过网络搜索填补空白。
• 建议新文章主题。

这种架构让知识库无需外部干预即可演化。索引文件实现顺畅导航，文档描述加速检索。

接口与工具

Obsidian 作为主要接口，用于导航 markdown 结构。其知识图谱支持和插件使概念间连接可视化变得简单。Marp 将文件转换为演示幻灯片，同时保留格式。

无需自定义基础设施，即可轻松部署。LLM 代理处理从编译到查询的一切。这使得该方法对处理大型数据语料库的中高级开发者来说易于上手。

发展前景

未来改进包括合成数据和微调。LLM 可以将知识库直接整合到其权重中，绕过上下文窗口限制。这将降低延迟并提升准确性。

当前设置是一组脚本，但完整产品的潜力显而易见。自动化知识库解决了技术专家的策展挑战。

关键点：

• LLM 独立索引和检索数据，无需 RAG。
• 反馈循环用回答和图表丰富知识库。
• 健康检查发现矛盾和空白。
• Obsidian + Marp 作为即用接口栈。
• 展望：微调以内化知识。

该方法可扩展到任何领域：从机器学习研究到企业知识。只需具备代理能力的 LLM 和 markdown 渲染即可。

— Editorial Team