Menu
    1. 大模型底层技术分析
    2. 参考资料
    3. 2025年大语言模型综述论文推荐
      1. A Survey on Large Language Models with some Insights on their Capabilities and Limitations
      2. Large Language Models: A Survey
      3. Large Language Model Agent: A Survey on Methodology, Applications and Challenges
    4. 概述
      1. 什么是语言模型 (Language Models)？
        1. 大型语言模型（LLMs）
        2. 自回归语言模型 （Autoregressive Language Models）
        3. 生成能力
      2. Transformer 革命 (2017)
        1. Transformer 架构的关键创新
          1. 对语言建模的影响
      3. 预训练 Transformer 模型时代 (2018–2020)
        1. BERT：双向上下文理解 (2018)
        2. GPT：生成式预训练和自回归文本生成（2018–2020）
          1. GPT 的影响及规模的作用
      4. 后训练对齐：弥合 AI 与人类价值观之间的差距 (2021–2022)
        1. 监督微调 (SFT)
        2. 基于人类反馈的强化学习 (RLHF)
        3. ChatGPT：推进对话式 AI (2022)
      5. 多模态模型：连接文本、图像及其他 (2023–2024)
        1. GPT-4V：视觉遇见语言
        2. GPT-4o：全模态前沿
      6. 推理模型：从「系统 1」到「系统 2」思维的转变 (2024)
        1. OpenAI-o1：推理能力的一大飞跃(2024)
      7. 成本高效的推理模型：DeepSeek-R1 (2025) 1. DeepSeek-V3 (2024–12) 1. DeepSeek-R1-Zero 和 DeepSeek-R1 (2025–01)
    5. 结论

    2025-06-08-大模型底层技术分析

    post on 08 Jun 2025 about 10701words require 36min
    CC BY 4.0 （除特别声明或转载文章外）
    如果这篇博客帮助到你，可以请我喝一杯咖啡~

    大模型底层技术分析

    参考资料

    2025年大语言模型综述论文推荐

    以下是三篇 2025 年关于大语言模型的综述论文：

    1. A Survey on Large Language Models with some Insights on their Capabilities and Limitations

    • 链接 : arXiv:2501.04040
    • 内容概述 : 该论文深入探讨 LLMs 的能力，包括文本生成、问答、翻译、摘要、常识推理、代码生成和数学计算，强调其接近人类水平的理解能力。研究分析了基于 Transformer 架构的模型（如 GPT、LLaMA），探讨了数据和计算规模的指数增长对性能的影响。论文还讨论了扩展机制（如参数量增加、上下文长度扩展）和架构策略（如多头注意力、层归一化）。此外，分析了 LLMs 的局限性，如高计算成本、事实错误（hallucination）和伦理问题。应用领域包括医疗（诊断辅助）、金融（风险评估）、教育（智能辅导）和法律（合同分析）。论文还探讨了链式推理（Chain-of-Thought, CoT）和路径推理（Path-of-Thought, PoT）能力，以及 LLM-modulo 框架的泛化性。
    • 贡献 :
    • 提供 LLMs 的全面能力与局限性分析，适合理解技术边界。
    • 覆盖多领域应用，适合跨行业参考。
    • 174 页的详尽内容，计划提交期刊的精简版，信息量丰富。

    1. Large Language Models: A Survey

    • 链接 : arXiv:2402.06196
    • 内容概述 : 该论文是 2024 年初版的更新版本，综述了主流 LLMs（如 GPT、LLaMA、PaLM）的特性、贡献和局限性。研究讨论了构建和增强 LLMs 的技术，包括预训练、微调、分布式训练和高效推理。论文调研了用于训练、微调和评估的热门数据集（如 Common Crawl、The Pile），并回顾了广泛使用的评估指标（如 BLEU、ROUGE、Perplexity）。通过代表性基准测试（如 MMLU、GLUE）比较了多个 LLMs 的性能，分析了其在不同任务上的表现。论文还探讨了开放挑战，如计算效率、数据偏见和模型可解释性，以及未来研究方向（如多模态 LLMs、能源优化）。
    • 贡献 :
    • 提供 LLMs 的技术全景，涵盖架构、数据集和评估。
    • 更新至 2025 年，包含最新模型和优化技术。
    • 强调未来方向，适合预测技术趋势。

    1. Large Language Model Agent: A Survey on Methodology, Applications and Challenges

    • 链接 : arXiv:2503.21460
    • 内容概述 : 该论文聚焦 LLM 智能体，分析其方法论、应用和挑战，涵盖 329 篇相关研究。论文提出了以方法论为中心的分类法，连接架构基础、协作机制和演化路径，统一了智能体设计的研究碎片。讨论了智能体的目标驱动行为和动态适应能力，探索其在复杂环境中的表现。应用场景包括自动化任务分解、协作工作流和多智能体系统。挑战包括计算资源需求、协作效率和评估方法的标准化。论文提供资源库（GitHub），便于进一步研究。
    • 贡献 :
    • 提供 LLM 智能体的系统性分类，适合深入研究智能体应用。
    • 覆盖广泛应用场景，强调协作机制。
    • 提供开源资源，方便开发者实践。

    概述

    什么是语言模型 (Language Models)？

    1749366089085BNAubDynsogt1bxoYrPcAnBlnvh.png

    「语言模型」是一种「人工智能系统」，旨在处理、理解和生成类似人类的语言。它们从大型数据集中学习模式和结构，使得能够产生连贯且上下文相关的文本，应用于翻译、摘要、聊天机器人和内容生成等领域。

    大型语言模型（LLMs）

    「语言模型」（LMs）和「大型语言模型」（LLMs）这两个术语虽然经常被互换使用，但实际上它们基于规模、架构、训练数据和能力指代不同的概念。LLMs 是 LMs 的一个子集，其规模显著更大，通常包含数十亿个参数（例如，GPT-3 拥有 1750 亿个参数）。这种更大的规模使 LLMs 能够在广泛的任务中表现出卓越的性能。“LLM”这一术语在 2018 至 2019 年间随着基于 Transformer 架构的模型（如 BERT 和 GPT-1）的出现开始受到关注。然而，在 2020 年 GPT-3 发布后，这个词才被广泛使用，展示了这些大规模模型的重大影响力和强大能力。

    自回归语言模型 （Autoregressive Language Models）

    大多数 LLMs 以「自回归方式」(Autoregressive)操作，这意味着它们根据前面的「文本」预测下一个「字」（或 token／sub-word）的「概率分布」(propability distribution)。这种自回归特性使模型能够学习复杂的语言模式和依赖关系，从而善于「文本生成」。

    \[(\begin{array}{cc}w_1,w_2&,\ldots,w_{n-1}\end{array})\left(w_{n}\right)P(w_{n}|w_1,w_2,\ldots,w_{n-1},\ldots,w_{n-1})\]

    在文本生成任时，LLM 通过解码算法(Decoding Algorithm)来确定下一个输出的字。

    这一过程可以采用不同的策略：既可以选择概率最高的下个字（即贪婪搜索），也可以从预测的概率分布中随机采样一个字。后一种方法使得每次生成的文本都可能有所不同，这种特性与人类语言的多样性和随机性颇为相似。

    1749366102088NG49bUAoXomHelxiq2ZckdIlnpb.png 1749366116880KWu3bn2W2oethdxLzqAcm6xBnWC.png

    生成能力

    LLMs 的自回归特性使其能够基于前文提供的上下文逐词生成文本。从「提示」(prompt)开始，如下图，模型通过迭代预测下一个词，直到生成完整的序列或达到预定的停止条件。为了生成对提示的完整回答，LLM 通过将先前选择的标记添加到输入中进行迭代生成，尤如「文字接龙」游戏。

    1749366127852Do7ybXLnFoU5QmxRFcrcML6Lnpf.png

    Transformer 革命 (2017)

    Vaswani 等人在 2017 年通过其开创性论文“Attention is All You Need”引入了 Transformer 架构，标志着 NLP 的一个分水岭时刻。它解决了早期模型如循环神经网络（RNNs）和长短期记忆网络（LSTMs）的关键限制，这些模型在长程依赖性和顺序处理方面存在困难。这些问题使得使用 RNN 或 LSTM 实现有效的语言模型变得困难，因为它们计算效率低下且容易出现梯度消失等问题。另一方面，Transformers 克服了这些障碍，彻底改变了这一领域，并为现代大型语言模型奠定了基础。

    1749366139852ZnJWbnoMCojKUExcNMZcJaV4nod.png

    Transformer 架构的关键创新

    自注意力机制 (Self-Attention)：与按顺序处理标记并难以应对长程依赖性的 RNN 不同，Transformers 使用自注意力来权衡每个标记相对于其他标记的重要性。这使得模型能够动态关注输入的相关部分。数学上：

    \[\mathrm{Attention}(\mathbf{Q},\mathbf{K},\mathbf{V})=\mathrm{Softmax}\left(\frac{\mathbf{QK^T}}{\sqrt{d_k}}\right)\mathrm{V}\]

    这里，Q、K、V 是查询(query)、键(key)和值(value)矩阵，dₖ 是键的维度。自注意力允许并行计算，加快训练速度，同时提高全局上下文理解。

    1749366152088YWvebIv6soDVh2xSALYc4m2vnoc.png

    多头注意力：多个注意力头并行操作，每个头专注于输入的不同方面。它们的输出被连接并转换，从而实现更丰富的上下文表示。

    1749366160852M4bYbd1axoJPw5xY8TzcBDn4n4b.png

    前馈网络(FFN)和层归一化(Layer Norm)：每个 Transformer 层包括应用于每个标记的前馈网络，以及层归一化和残差连接。这些稳定了训练并支持更深的架构。

    位置编码：由于 Transformers 本身不编码标记顺序，因此添加了位置编码（位置和频率的正弦函数）以表示词序，在不牺牲并行化的情况下保留顺序信息。

    1749366172089We3mbXuFDomJfSxxrwFchohkn3d.png

    对语言建模的影响

    • 可扩展性：Transformers 实现了完全并行化的计算，使得在大型数据集上训练大规模模型成为可能。
    • 上下文理解：自注意力捕捉局部和全局依赖关系，提高了连贯性和上下文意识。

    Transformer 架构的引入为构建能够以前所未有的精确性和灵活性处理复杂任务的大规模高效语言模型奠定了基础。

    预训练 Transformer 模型时代 (2018–2020)

    2017 年 Transformer 架构的引入为 NLP 的新时代铺平了道路，其特点是预训练模型的兴起和对扩展的前所未有的关注。这一时期见证了两个有影响力的模型家族的出现：BERT 和 GPT，它们展示了大规模预训练和微调范式的强大功能。

    BERT：双向上下文理解 (2018)

    2018 年，谷歌推出了 BERT（Bidirectional Encoder Representations from Transformers），这是一种使用 Transformer 编码器(Encoder)的突破性模型，在广泛的 NLP 任务中取得了最先进的性能。

    与之前单向处理文本（从左到右或从右到左）的模型不同，BERT 采用了双向训练方法，使其能够同时从两个方向捕获上下文。通过生成深层次的、上下文丰富的文本表示，BERT 在文本分类、命名实体识别（NER）、情感分析等语言理解任务中表现出色。

    1749366186892IyVobGCISoulBexHp23ckNjrnpd.png

    BERT 的关键创新包括：

    • 掩码语言建模（Masker Language Modeling — MLM）：BERT 不是预测序列中的下一个词，而是被训练预测句子中随机掩码的标记。这迫使模型在进行预测时考虑整个句子的上下文 — — 包括前后词语。例如，给定句子“The cat sat on the [MASK] mat”，BERT 会学习根据周围上下文预测“soft”。
    • 下一句预测（Next Sentence Prediction — NSP）：除了 MLM 之外，BERT 还接受了称为下一句预测的次要任务训练，其中模型学习预测两个句子是否在文档中连续。这帮助 BERT 在需要理解句子之间关系的任务中表现出色，例如问答和自然语言推理。

    BERT 的影响：BERT 的双向训练使其在 GLUE（通用语言理解评估）和 SQuAD（斯坦福问答数据集）等基准测试中取得了突破性的表现。它的成功证明了上下文嵌入的重要性 — — 这些表示根据周围词语动态变化 — — 并为新一代预训练模型铺平了道路。

    GPT：生成式预训练和自回归文本生成（2018–2020）

    虽然 BERT 优先考虑双向上下文理解，但 OpenAI 的 GPT 系列采用了不同的策略，专注于通过自回归预训练实现生成能力。通过利用 Transformer 的解码器(Decoder)，GPT 模型在自回归语言模型和文本生成方面表现出色。

    1749366197851NG9rbQKhOoiyU8xFnjzcE6dnnVb.png

    GPT (2018)GPT 的第一个版本于 2018 年发布，是一个大规模的 Transformer 模型，经过训练以预测序列中的下一个词，类似于传统语言模型。

    • 单向自回归训练：GPT 使用因果语言建模目标进行训练，其中模型仅基于前面的标记预测下一个标记。这使得它特别适合于生成任务，如文本补全、摘要生成和对话生成。
    • 下游任务的微调：GPT 的一个关键贡献是它能够在不需要特定任务架构的情况下针对特定下游任务进行微调。只需添加一个分类头或修改输入格式，GPT 就可以适应诸如情感分析、机器翻译和问答等任务。

    GPT-2 (2019)在原版 GPT 的成功基础上，OpenAI 发布了 GPT-2，这是一个参数量达 15 亿的更大模型。GPT-2 展示了令人印象深刻的零样本(Zero-shot)能力，意味着它可以在没有任何特定任务微调的情况下执行任务。例如，它可以生成连贯的文章、回答问题，甚至在语言之间翻译文本，尽管没有明确针对这些任务进行训练。

    1749366209087ZZYMb63vmoBszCxVyMFcGqQXnnf.png

    GPT-3 (2020)GPT-3 的发布标志着语言模型规模扩展的一个转折点。凭借惊人的 1750 亿参数(175B parameters)，GPT-3 突破了大规模预训练的可能性界限。它展示了显著的少样本(Few-short)和零样本(Zero-short)学习能力，在推理时只需提供最少或无需示例即可执行任务。GPT-3 的生成能力扩展到了创意写作、编程和复杂推理任务，展示了超大模型的潜力。

    1749366215856SDbBbzF1Go4u1TxVTbjczhGtnze.png

    1749366222852FIYObGa7BoUFd8xnGLPcBRdqnPb.png

    GPT 的影响及规模的作用

    GPT 模型的引入，特别是 GPT-3，标志着 AI 的一个变革时代，展示了自回归架构和生成能力的强大功能。这些模型为内容创作、对话代理和自动推理等应用开辟了新的可能性，在广泛的任务中达到了接近人类的表现。GPT-3 凭借其 1750 亿参数证明了规模的深远影响，表明在大规模数据集上训练的更大模型可以树立新的 AI 能力标杆。

    1749366235853QJZ3b7F2Coy8CUxlx7pcDmmhnOb.png

    语言建模性能随着模型大小、数据集大小和训练使用的计算量的增加而平稳提升。 Scaling Laws for Neural Language Models

    在 2018 年至 2020 年间，该领域由对规模的不懈追求驱动。研究人员发现，随着模型规模的增长 — — 从数百万到数十亿参数 — — 它们在捕捉复杂模式和泛化到新任务方面变得更好。这种规模效应得到了三个关键因素的支持：

    • 数据集大小：更大的模型需要庞大的数据集进行预训练。例如，GPT-3 是在大量互联网文本语料库上进行训练的，使其能够学习多样化的语言模式和知识领域。
    • 计算资源：强大的硬件（如 GPU 和 TPU）的可用性以及分布式训练技术，使得高效训练具有数十亿参数的模型成为可能。
    • 高效架构：混合精度训练和梯度检查点等创新降低了计算成本，使得在合理的时间和预算内进行大规模训练更加实际。

    这个规模扩展的时代不仅提升了语言模型的性能，还为未来的 AI 突破奠定了基础，强调了规模、数据和计算在实现最先进结果中的重要性。

    后训练对齐：弥合 AI 与人类价值观之间的差距 (2021–2022)

    GPT-3（一个拥有 1750 亿参数的 LLM）生成几乎无法与人类写作区分的文本的能力引发了关于 AI 生成内容的真实性和可信度的重大担忧。

    尽管这一成就标志着 AI 发展的一个重要里程碑，但也突显了确保这些模型与人类价值观、偏好和期望保持一致的关键挑战。一个主要问题是「幻觉」（Hallucination），即 LLM 生成与事实不符、无意义或与输入提示矛盾的内容，给人一种「一本正经地胡说八道」的印象。

    为了解决这些挑战，2021 年和 2022 年的研究人员专注于改善与人类意图的一致性并减少幻觉，导致了监督微调（SFT）和基于人类反馈的强化学习（RLHF）等技术的发展。

    监督微调 (SFT)

    增强 GPT-3 对齐能力的第一步是监督微调（SFT），这是 RLHF 框架的基础组成部分。SFT 类似于指令调优，涉及在高质量的输入-输出对或演示上训练模型，以教它如何遵循指令并生成所需的输出。

    1749366280852MfpwbkcnioN5lXxMOPgc4gyhnld.png

    这些演示经过精心策划，以反映预期的行为和结果，确保模型学会生成准确且符合上下文的响应。

    1749366299852Y3fRbjJ0OoOLhVxvXBwcQkp7nti.png

    然而，SFT 本身有局限性：

    1. 可扩展性：收集人类演示是劳动密集型且耗时的，尤其是对于复杂或小众任务。
    2. 性能：简单模仿人类行为并不能保证模型会超越人类表现或在未见过的任务上很好地泛化。

    为了克服这些挑战，需要一种更具可扩展性和效率的方法，为下一步铺平了道路：基于人类反馈的强化学习（Reinforcement Learning from Human Feedback — RLHF）。

    基于人类反馈的强化学习 (RLHF)

    OpenAI 在 2022 年引入的 RLHF 解决了 SFT 的可扩展性和性能限制。与需要人类编写完整输出的 SFT 不同，RLHF 涉及根据质量对多个模型生成的输出进行排名。这种方法允许更高效的数据收集和标注，显著增强了可扩展性。

    RLHF 过程包括两个关键阶段：

    1. 训练奖励模型：人类注释者对模型生成的多个输出进行排名，创建一个偏好数据集。这些数据用于训练一个奖励模型，该模型学习根据人类反馈评估输出的质量。
    2. 使用强化学习微调 LLM：奖励模型使用近端策略优化（Proximal Policy Optimization - PPO）（一种强化学习算法）指导 LLM 的微调。通过迭代更新，模型学会了生成更符合人类偏好和期望的输出。

    这个两阶段过程 — — 结合 SFT 和 RLHF — — 使模型不仅能够准确遵循指令，还能适应新任务并持续改进。通过将人类反馈整合到训练循环中，RLHF 显著增强了模型生成可靠、符合人类输出的能力，为 AI 对齐和性能设定了新标准。

    ChatGPT：推进对话式 AI (2022)

    1749366311853KsazbV5PJoA6qqxaf11cKTLSnDc.png

    2022 年 3 月，OpenAI 推出了 GPT-3.5，这是 GPT-3 的升级版，架构相同但训练和微调有所改进。关键增强包括通过改进数据更好地遵循指令，减少了幻觉（尽管未完全消除），以及更多样化、更新的数据集，以生成更相关、上下文感知的响应。

    • 对话聚焦的微调：在大量对话数据集上进行训练，ChatGPT 擅长维持对话的上下文和连贯性，实现更引人入胜和类似人类的互动。
    • RLHF：通过整合 RLHF，ChatGPT 学会了生成不仅有用而且诚实和无害的响应。人类培训师根据质量对响应进行排名，使模型能够逐步改进其表现。

    ChatGPT 的推出标志着 AI 的一个关键时刻，通常被称为「ChatGPT 时刻」(ChatGPT moment)，因为它展示了对话式 AI 改变人机交互的潜力。

    多模态模型：连接文本、图像及其他 (2023–2024)

    在 2023 年至 2024 年间，像 GPT-4V 和 GPT-4o 这样的多模态大型语言模型（MLLMs）通过将文本、图像、音频和视频整合到统一系统中重新定义了 AI。这些模型扩展了传统语言模型的能力，实现了更丰富的交互和更复杂的问题解决。

    GPT-4V：视觉遇见语言

    2023 年，OpenAI 推出了 GPT-4V，将 GPT-4 的语言能力与先进的计算机视觉相结合。它可以解释图像、生成标题、回答视觉问题，并推断视觉中的上下文关系。其跨模态注意力机制允许文本和图像数据的无缝集成，使其在医疗保健（如分析医学图像）和教育（如互动学习工具）等领域具有价值。

    1749366321852Qf1nb3g94oVLqFx4n6xcdS7Yntt.png

    GPT-4o：全模态前沿

    到 2024 年初，GPT-4o 通过整合音频和视频输入进一步推进了多模态。它在一个统一的表示空间中运行，可以转录音频、描述视频或将文本合成音频。实时交互和增强的创造力 — — 如生成多媒体内容 — — 使其成为娱乐和设计等行业的多功能工具。

    现实世界的影响: MLLMs 革新了医疗保健（诊断）、教育（互动学习）和创意产业（多媒体制作）等领域。它们处理多种模态的能力解锁了创新的新可能性。

    推理模型：从「系统 1」到「系统 2」思维的转变 (2024)

    2024 年，AI 开发开始强调增强「推理」(Reasoning)，从简单的模式识别转向更逻辑化和结构化的思维过程。这一转变受到认知心理学双重过程理论的影响，区分了「系统 1」（快速、直觉）和「系统 2」（缓慢、分析）思维。虽然像 GPT-3 和 GPT-4 这样的早期模型在生成文本等「系统 1」任务上表现出色，但在深度推理和问题解决方面却有所欠缺。

    1749366332852KqgYbfsQdoAjgcxwSSTcTGHsnsd.png

    OpenAI-o1：推理能力的一大飞跃(2024)

    2024 年 9 月 12 日，OpenAI 发布的 o1-preview 标志着人工智能能力的重大飞跃，尤其是在解决复杂推理任务（如数学和编程）方面。与传统 LLMs 不同，推理模型采用了「长链思维」（Long CoT） — — 即内部的推理轨迹，使模型能够通过分解问题、批判自己的解决方案并探索替代方案来“思考”问题。这些 CoTs 对用户是隐藏的，用户看到的是一个总结性的输出。

    推理模型的关键特性包括：

    • 长链思维（Long CoT） ：使模型能够将复杂问题分解为更小的部分，批判性地评估其解决方案，并探索多种方法，类似于搜索算法。
    • 推理时计算控制 ：对于更复杂的问题，可以生成更长的 CoTs；而对于较简单的问题，则使用较短的 CoTs 以节省计算资源。
    • 增强的推理能力 ：尽管像 o1-preview 这样的初始推理模型在某些领域的能力不如标准 LLMs，但在推理任务中，它们的表现远远超越了后者，常常能与人类专家媲美。例如，o1-preview 在数学（AIME 2024）、编程（CodeForces）和博士级别的科学问题上均超越了 GPT-4o。

    1749366342083VcEfbjllyoLSeCxGQvLcJEPBnSe.png

    OpenAI-o1：

    2024 年 12 月 5 日，OpenAI 的完整版 o1 模型进一步提升了性能，在美国 AIME 2024 数学考试中排名前 500 名学生之列，并显著超越了 GPT-4o（解决了 74%-93% 的 AIME 问题，而 GPT-4o 仅为 12%）。此外，o1-mini 作为更便宜且更快的版本，在编码任务中表现出色，尽管其成本仅为完整版 o1 的 20%。

    OpenAI-o3：

    2025 年 1 月 31 日，OpenAI 发布了 o3，这是其推理模型系列的最新突破，建立在 o1 模型成功的基础之上。尽管完整的 o3 模型尚未发布，但其在关键基准测试中的表现被描述为具有开创性。

    • ARC-AGI ：达到 87.5% 的准确率，超过了人类水平的 85%，远超 GPT-4o 的 5%。
    • 编程 ：在 SWE-Bench Verified 上得分 71.7%，并在 Codeforces 上获得 2727 的 Elo 评分，跻身全球前 200 名竞争性程序员之列。
    • 数学 ：在 EpochAI 的 FrontierMath 基准测试中达到 25.2% 的准确率，相比之前的最先进水平（2.0%）有了显著提升。

    1749366352852CSmybKboboZFwUxlGddcKw08n4d.png

    OpenAI-o1 和 OpenAI-o3 推理模型的发布代表了人工智能领域的重大进步，通过结构化的内部推理过程提供了卓越的问题解决能力，并在复杂数学和编程任务中树立了新的标杆。

    成本高效的推理模型：DeepSeek-R1 (2025)

    LLMs 通常需要极其庞大的计算资源来进行训练和推理。像 GPT-4o 和 OpenAI-o1 这样的最先进 LLM 模型的闭源性质限制了对尖端 AI 的「普及化」。

    DeepSeek-V3 (2024–12)

    2024 年 12 月下旬，「深度求索-V3」(DeepSeek-V3)作为一种成本高效的开放权重 LLM 出现，为 AI 的可访问性设定了新标准。DeepSeek-V3 与 OpenAI 的 ChatGPT 等顶级解决方案相媲美，但开发成本显著降低，估计约为 560 万美元，仅为西方公司投资的一小部分。

    该模型最多包含 6710 亿个参数，其中 370 亿个活跃参数，并采用专家混合（MoE）架构，将模型划分为专门处理数学和编码等任务的组件，以减轻训练负担。DeepSeek-V3 采用了工程效率，例如改进 Key-Value 缓存管理和进一步推动专家混合方法。该模型引入了三个关键架构：

    • 多头潜在注意力（Multi-head Latent Attention — MLA）：通过压缩注意力键和值来减少内存使用，同时保持性能，并通过旋转位置嵌入（RoPE）增强位置信息。
    • DeepSeek 专家混合（DeepSeekMoE）：在前馈网络（FFNs）中采用共享和路由专家的混合，以提高效率并平衡专家利用率。
    • 多标记预测 (Multi-Token Prediction — MTP)：增强模型生成连贯且上下文相关的输出的能力，特别是对于需要复杂序列生成的任务。

    1749366364852VqXxb4bC3o4zcdxZ2IfcCiBTn8f.png

    DeepSeek-V3 的发布引发了全球科技抛售，危及 1 万亿美元的市值，并导致英伟达股票盘前下跌 13%。DeepSeek-V3 的价格为每百万输出标记 2.19 美元，约为 OpenAI 类似模型成本的 1/30。

    DeepSeek-R1-Zero 和 DeepSeek-R1 (2025–01)

    仅仅一个月后，2025 年 1 月下旬，DeepSeek 通过发布 DeepSeek-R1-Zero 和 DeepSeek-R1 再次引起轰动，这些模型展示了卓越的推理能力，训练成本极低。

    利用先进的强化学习技术，这些模型证明了高性能推理可以在没有通常与尖端 AI 相关的巨额计算费用的情况下实现。这一突破巩固了 DeepSeek 作为高效和可扩展 AI 创新领导者的地位。

    • DeepSeek-R1-Zero：一种基于 DeepSeek-V3 的推理模型，通过强化学习（RL）增强其推理能力。它完全消除了「监督微调」(SFT)阶段，直接从名为 DeepSeek-V3-Base 的预训练模型开始。
    • 它采用了一种基于「规则的强化学习方法」(Rule-based Reinforcement Learning)，称为「组相对策略优化」（Group Relative Policy Optimization — GRPO），根据预定义规则计算奖励，使训练过程更简单且更具可扩展性。

    1749366374853P4GgbfXdCosRNaxVs9UcgPZJnrh.png

    DeepSeek-R1：为了解决 DeepSeek-R1-Zero 的局限性，如低可读性和语言混杂，DeepSeek-R1 纳入了一组有限的高质量冷启动数据和额外的 RL 训练。该模型经历了多个微调和 RL 阶段，包括拒绝采样和第二轮 RL 训练，以提高其通用能力和与人类偏好的一致性。

    1749366389092T1wubPqY6oxXXFxd0qzcJ2glncg.png

    蒸馏 DeepSeek 模型：DeepSeek 开发了较小的、蒸馏版的 DeepSeek-R1，参数范围从 15 亿到 700 亿，将先进的推理能力带到较弱的硬件上。这些模型使用原始 DeepSeek-R1 生成的合成数据进行微调，确保在推理任务中表现出色，同时足够轻量化以便本地部署。

    1749366397854N4nzbC2KTorOW5xuYnzcufyenNe.png

    DeepSeek-R1 在各种基准测试中表现出竞争力，包括数学、编码、常识和写作。根据使用模式，它相比 OpenAI 的 o1 模型等竞争对手提供了显著的成本节省，使用成本便宜 20 到 50 倍。

    1749366406080JB7LbnJZUoOrhzxuPW6cI1Z9nEb.png

    结论

    1749366416855UwLGbPxkwoY8EExcZAXcdmNtncC.png

    从 2017 年 Transformer 架构的引入到 2025 年 DeepSeek-R1 的发展，大型语言模型（LLMs）的演变标志着人工智能领域的一个革命性篇章。LLMs 的崛起由四个里程碑式的成就标示：

    • Transformers (2017)：Transformer 架构的引入为构建能够以前所未有的精确性和灵活性处理复杂任务的大规模高效模型奠定了基础。
    • GPT-3 (2020)：该模型展示了规模在 AI 中的变革力量，证明了在大规模数据集上训练的巨大模型可以在广泛的应用中实现接近人类的表现，为 AI 所能完成的任务设立了新的基准。
    • ChatGPT (2022)：通过将对话式 AI 带入主流，ChatGPT 使高级 AI 对普通用户来说更加可访问和互动。它还引发了关于广泛采用 AI 的伦理和社会影响的关键讨论。
    • DeepSeek-R1 (2025)：代表了成本效率的一大飞跃，DeepSeek-R1 利用专家混合架构(MoE)和优化算法，与许多美国模型相比，运营成本降低了多达 50 倍。其开源性质加速尖端 AI 应用的普及化，赋予各行业创新者权力，并强调了可扩展性、对齐性和可访问性在塑造 AI 未来中的重要性。

    LLMs 正逐步演变为多功能、多模态的推理系统，能够同时满足普通用户和特定需求。这一演变得益于突破性技术创新，以及在规模、易用性和成本效益上的显著提升，推动人工智能朝着更加包容和影响力深远的方向迈进。

    Loading comments...