什么是大语言模型？初学者完全指南
什么是大语言模型？初学者完全指南
大语言模型（LLM）本质上是一种人工智能程序，旨在理解、处理和生成类人文本。它通过分析海量书面数据——从书籍、文章到网站和代码——来学习，从而根据给定的提示预测最可能的词语序列，使其能够完成从翻译、摘要到创意内容生成等各种任务。
你将学到什么
通过本指南，你将了解大语言模型在底层是如何工作的，为什么它们会成为如此具有变革性的技术，以及它们的主要优势和局限性是什么。你将获得一个清晰的框架，用于理性看待ChatGPT、Gemini和Claude等AI工具，而非盲目追捧，从而能够在个人或职业生活中更有效、更具批判性地使用它们。
大语言模型的工作原理：机制视角
要真正理解这一概念，了解其背后的技术引擎会很有帮助。以下是关键组件的分解。
核心原理：下一个词元预测
与普遍看法相反，大语言模型并非像人类那样“思考”或“理解”。相反，它是一个用于预测下一个语言片段（称为“词元”）的高级统计引擎。一个词元可以是一个完整的单词、单词的一部分，甚至是一个字符。模型处理提示，将其分解为词元，并根据训练中学到的模式计算最可能出现的下一个词元。这个过程迭代进行，以生成完整的响应。
例如，给定提示“敏捷的棕色狐狸跳过了懒惰的……”，一个训练有素的大语言模型会为词元“狗”分配非常高的概率来完成句子。虽然这看起来很简单，但当模型拥有数十亿个参数并在数万亿个词元上进行训练时，其预测能力会呈指数级增长。
架构：Transformer与自注意力机制
使大语言模型成为可能的革命性技术是Transformer架构。与逐个处理单词的旧式AI模型不同，Transformer可以同时分析句子的所有部分。这是通过一种称为自注意力的机制实现的，该机制评估每个单词之间的关系，并分配“权重”以指示相对重要性。这使得模型能够理解长距离依赖关系和细微的上下文——例如，确定单词“bank”是指金融机构还是河岸。
规模：参数与数据
“大语言模型”中的“大”指的是两件事：参数数量和训练数据集的大小。参数是模型在训练过程中学习到的内部变量和权重，它们影响模型的预测。训练数据集的范围从数亿到数万亿个参数不等。例如：
- GPT-3（2020年）： 1750亿个参数，在570GB的文本数据上训练。
- Llama 3（2024年）： 4050亿个参数，在15.6万亿个词元的庞大数据集上训练。
- Gemini（2023年）： 该模型拥有惊人的1.6万亿个参数。
训练过程：预训练与后训练
创建像GPT-4这样的模型涉及两个阶段的学习过程：
- 预训练： 模型接触到一个庞大且多样化的公共文本数据集。这一阶段是无监督的，模型通过理解语言的工作原理来学习语法、事实、推理，甚至一些偏见。可以把它想象成一名新员工花数周时间阅读图书馆里的每一本手册和参考文本。
- 后训练： 使用特定任务对模型进行微调，关键是，还要使用基于人类反馈的强化学习（RLHF）。这一阶段教会模型遵循指令、采用有用的语气，并拒绝有害的请求。这就像经理指导新员工如何有效且安全地完成工作。
为什么它很重要：对生活的具体影响
大语言模型的兴起标志着我们与机器交互方式的重大转变。它们将AI从数据科学家的专业工具转变为每个人都能使用的技术。其影响范围广泛：
- 生产力： 它们起草电子邮件、总结复杂报告、生成代码和创建教案，大大减少了花在日常任务上的时间。
- 可及性： 它们通过即时翻译打破语言障碍，并帮助那些有写作障碍的人进行创意写作。
- 决策： 它们可以模拟面试、规划项目，并帮助推理复杂问题，充当研究助手和个人规划师。
例如，大学教授可以使用大语言模型在几分钟内起草课程大纲和学习目标，从而腾出时间专注于创建更具吸引力的课程材料。
数据说话：关键统计数据和里程碑
大语言模型的增长可谓爆炸性。下表说明了关键模型的快速扩展：
| 模型 | 发布日期 | 参数 | 训练数据 | 使用的GPU |
|---|---|---|---|---|
| GPT-1 | 2018年6月 | 1.17亿 | 4.5GB（文本） | 8 |
| GPT-2 | 2019年2月 | 15亿 | 40GB（文本） | - |
| GPT-3 | 2020年6月 | 1750亿 | 570GB（文本） | 10,000 |
| GPT-3.5 | 2022年3月 | 3550亿 | - | - |
| Llama 2 | 2023年7月 | 700亿 | 2万亿（词元） | - |
| PaLM 2 | 2023年5月 | 5400亿 | - | - |
| Llama 3 | 2024年7月 | 4050亿 | 15.6万亿（词元） | - |
时间线与影响：基于GPT-3.5的ChatGPT于2022年11月推出，这是一个分水岭时刻，其用户数达到1亿的速度比以往任何消费类应用都快。
常见误区与事实
大语言模型的快速普及和复杂性导致了一些误解。
| 误区 | 事实 |
|---|---|
| 误区： 大语言模型具有感知能力，能像人类一样理解世界。 | 事实： 大语言模型是复杂的模式匹配器。它们根据训练数据预测最可能的文本序列，但并没有真正的意识、信念或对世界的真实理解。 |
| 误区： 大语言模型的响应总是准确的，可以信赖。 | 事实： 大语言模型容易产生“幻觉”——生成流畅自信但事实错误的文本。它们无法评估自身输出的准确性。务必核实关键信息。 |
| 误区： 由于是AI，大语言模型是中立的、客观的。 | 事实： 大语言模型从人类创建的文本中学习，这些文本可能包含偏见、刻板印象和成见。因此，大语言模型可能会延续甚至放大这些偏见。 |
| 误区： 所有大语言模型本质上都是一样的。 | 事实： 不同的大语言模型针对不同任务进行了优化。有些是“即时”模型，针对快速、流畅的响应进行了优化；而另一些则是“推理”模型，旨在为复杂的多步骤问题花费更多“思考”时间。 |
| 误区： 大语言模型的能力完全来自其庞大的数据集。 | 事实： 虽然数据至关重要，但大语言模型的性能是模型大小（参数）、数据集规模和用于训练的计算能力三者结合的结果。通常，在更多数据上使用更多计算资源训练的更大模型表现更好。 |
你应该如何运用这些知识
理解大语言模型是什么——以及不是什么——能让你成为更具批判性和更高效的用户。
- 做一个持怀疑态度的用户： 始终核实大语言模型生成的重要信息。将它们用于头脑风暴、总结和起草，但不要将其作为唯一的事实来源。
- 掌握提示工程： 编写有效提示的艺术是获得良好结果的关键。要具体，提供上下文，并引导模型朝着你期望的结果前进。
- 了解风险： 要意识到偏见和错误信息的可能性。在将大语言模型用于专业或敏感任务时，要实施监督和人工审核流程。
— Editorial Team
暂无评论。