一文剖析 AI 大模型技术架构的全景视图：从基础实施层、云原生层、模型层、应用技术层、能力层、到应用层

AI 大模型技术架构全景图

AI 大模型已经在具体的业务场景落地实践，本文通过梳理 AI 大模型技术架构的全景视图，让你全面了解 AI 大模型技术的各个层次，从基础实施层、云原生层、模型层、应用技术层、能力层、到应用层，如下图所示，揭示 AI 大模型如何在不同的层面上协同工作，推动产业应用的落地。

一、 基础设施层

AI 大模型技术发展离不开坚实的基础设施支持，涵盖了 GPU、CPU、RAM、HDD、Network 等关键硬件设施。这些硬件设备为 AI 大模型的训练与推理提供了关键的运算资源和存储能力。

1.1 GPU（图形处理单元）的作用

GPU 针对并行计算进行了优化，非常适合深度学习以及执行复杂计算任务。与传统 CPU 相比，GPU 在处理大规模数据时具有显著优势，特别是在图像处理和神经网络训练领域。

1.2 CPU（中央处理单元）的重要性

CPU 作为通用处理器，承担了大部分的计算任务。虽然在并行处理方面不及GPU，但 CPU 在执行逻辑运算和控制任务时表现高效，构成了计算机系统的关键部分。

1.3 RAM（随机存取存储器）的功能

RAM 提供了计算过程中快速读写数据的临时存储空间。其主要职责是存放正在运行的程序和数据，使得 CPU 能够迅速访问这些信息，从而提升整体的计算效率。

1.4 HDD（硬盘驱动器）的角色

HDD 承担着存储大量训练数据和模型文件的任务。尽管其访问速度不及RAM，但 HDD凭 借较大的存储容量，成为长期保存数据的主要设备。

1.5 Network（网络）的角色

Network 为 AI 大模型的预训练、微调、推理、应用访问提供分布式的通信基础设施。

二、 云原生层

2.1 基于 Docker 容器和 K8S 的弹性云原生架构，为 AI 大模型的预训练、微调、推理以及应用的部署，提供了高扩展、高可用的云环境，从而根据访问量的情况动态伸缩。

三、模型层

这一层主要由大语言模型、视觉-语言模型、小模型等构成。

3.1 大语言模型的运用

大语言模型，比如：GPT-4o，具备处理及生成自然语言文本的能力。这些模型通过海量训练数据学习语言规律，能够执行包括文本创作、翻译、摘要在内的多种自然语言处理任务。

3.2 视觉-语言模型的融合

 视觉-语言模型结合了视觉与语言信息，能够理解和创造跨模态内容。这种模型不仅能够处理文字信息，还能识别和生成图像、视频等视觉内容，广泛应用于图像标注、视频解析等领域。

3.3 智能文档理解的实现 

智能文档理解技术通过解析文本和非结构化数据，实现对文档内容的深入理解。它能够自动抓取关键信息，执行文档的分类和提炼工作，从而为文档管理及信息检索提供智能化支持。

3.4 多模态检测与分类的技术

多模态检测与分类技术整合了多种数据类型，以实现更精确的分类和检测。通过融合文本、图像、音频等多种模态的信息，该技术提升了模型的精确度和稳健性，并在安全监控、医疗诊断等多个领域得到了广泛应用。

四、应用技术层

4.1 Agent（智能体）技术

Agent 智能体技术就是利用大模型的推理能力对任务进行规划拆解，并使用外部的工具完成一件复杂的任务。

4.2 RAG（检索增强生成）技术

RAG(Retrieval-augmented Generation) 技术融合了检索与生成两种方法，旨在提升信息生成的精准度。它利用检索到的相关信息来增强生成模型的效能，确保所生成内容的准确性与相关性。

4.3 大模型微调（Fine-tuning）

大模型微调技术通过对模型进行细致调整，使其更好地适应特定任务需求。在特定任务的数据集上进行微调后，模型在相关任务上的性能可以得到显著提升，实现更精准和高效的处理。

4.4 提示词工程（Prompt Engineering）

提示词工程专注于设计高效的提示语，以优化模型的输出结果。通过精心设计的提示词，可以引导模型生成更加符合预期的内容，从而提升生成文本的质量。

4.5 思维链（Chain-of-Thought）技术

思维链技术模拟人类的思考过程，以增强模型的决策和推理能力。通过逐步推理和决策，该技术使得模型能够更有效地处理复杂问题，并做出更加合理的判断。

4.6 数据工程技术

在应用技术层，还涵盖了数据抓取、清洗、构建向量库、实施访问控制等数据处理的全流程，这些环节确保了数据的质量和安全。这些基础步骤对于模型的训练和推理至关重要，它们有助于增强模型的性能和信赖度。

五、能力层

5.1 包括了大模型的理解能力、记忆能力、逻辑能力、生成能力。

六、应用层

6.1 主要分为 RAG 类应用、Agent 类应用、OLTAP 类应用、OLAP 类应用。

七、自主决策和规划

大模型完全可以自主决策和规划，写出对应的代码。那我们看看这个例子里大模型作为智能体的四个要素。
感知：系统理解用户的编程需求。
决策：选择适当的算法。
规划：生成详细的代码结构。
执行：输出代码，并进行解释。

如果把 AI 大模型看作一个新的智能体，那它现在仍然是一个不完备的智能体。我们讲过大模型应用的范式，从感知、决策、规划、执行四要素的角度拆分，四个能力上的“靠谱”程度实际上是越来越低的。大模型幻觉导致内容生成错误，推理和决策能力不达标，没有执行能力，领域知识不足，计算成本过高。所以仍然需要配合人工或传统程序一起工作。

真实的智能客服项目的思路是用大模型先做用户意图识别，把问题分类，不同的问题用不同的方案。简单的问题用规则库和提示词解决，产品信息查询和知识类用 RAG 的方案，复杂用户问题识别和信息提取才需要微调，微调大模型能力之后，还是继续结合提示词 + RAG 解决问题。

Dify 智能体设计
智能客服本身也是一个 Agent 智能体应用。之前我们提到一些开发智能体的框架，比如 Coze 平台，Langchain 开发框架等等。在智能客服项目里，我们选用 Dify 智能体开发框架，因为它同时具备定制的能力和拖拽式的编排界面，很方便。
在编排 Dify 智能体之前，我们需要回顾一下 Agent 智能体最核心的原理。

为什么需要AI Agent ?

你可能会奇怪 Agent 是怎么具备业务逻辑的，Agent 和大模型是什么关系呢？我的答案是，助理可以看做 Agent 应用的界面，比如例子里的客服助理。但你其实就是在和大模型在聊天，只不过在你和大模型之间还有一个代理程序，它就是 Agent。我们可以把 Agent 看做大模型的代理人。

在 Agent 平台里还有一个重要概念就是工作流。助理负责识别具体的业务逻辑并调取工作流，一个工作流其实就是一个原有业务逻辑。比如客服里的退货业务，实际上工作流是被动配合助理的。几个概念综合起来，内部的实现就很容易理解了，由外到内一共四层关系：助理 -> 工作流 -> 插件 -> 知识库。

可以这样理解，工作流就是传统应用里的独立功能的函数或程序，那插件呢，就是传统程序里的系统库函数，知识库就是传统数据库。

总结一下，助理通过提示词配置具体的沟通能力以及业务能力，具体业务能力的承接通过工作流实现，其他的模块都是配合工作流的，有了这些部件，我们就可以基于 Agent 平台开发一个实际的营销 Agent 应用了。

为什么大语言模型（LLM）刚流行不久，就需要AI Agent呢？LLM与LangChain 等工具相结合，释放了内容生成、编码和分析方面的多种可能性，目前在ChatGPT插件中比较有代表性的插件就是code interpreter。在这方面的应用上Agent的概念应用发挥着举足轻重的作用。

这里可以将Agent视为人工智能大脑，它使用LLM进行推理、计划和采取行动。
语言模型 (LLM) 仅限于它们所训练的知识，并且这些知识很快就会过时。（每天用最新信息重新训练这么大的模型是不可行的。）

LLM的一些缺点

• 会产生幻觉。
• 结果并不总是真实的。
• 对时事的了解有限或一无所知。
• 很难应对复杂的计算。

这就是AI Agent的用武之地，它可以利用外部工具来克服这些限制。

这里的工具是什么呢？工具就是代理用它来完成特定任务的一个插件、一个集成API、一个代码库等等，例如：

• Google搜索：获取最新信息
• Python REPL：执行代码
• Wolfram：进行复杂的计算
• 外部API：获取特定信息

而LangChain则是提供一种通用的框架通过大语言模型的指令来轻松地实现这些工具的调用。AI Agent的诞生就是为了处理各种复杂任务的，就复杂任务的处理流程而言AI Agent主要分为两大类：行动类、规划执行类。

论文参考
https://arxiv.org/pdf/2309.07864.pdf
https://arxiv.org/abs/2304.03442

为者常成，行者常至