从图灵测试到ChatGPT,理解AI应用开发所需的基础知识
LLM就像一个读过互联网上几乎所有文字的"超级学霸"。你给它一段话,它能预测下一个最可能出现的字(Token)。通过不断预测下一个字,它就能生成连贯的长文本。
LLM工作原理(简化):
输入: "今天天气"
│
▼
┌──────────────────────────────────────┐
│ Transformer 模型 │
│ │
│ 输入文本 → Token化 → Embedding │
│ │ │
│ ▼ │
│ ┌─────────────────────────┐ │
│ │ 多层Self-Attention │ │
│ │ · 每个词关注所有其他词 │ │
│ │ · 学习词语间的关系 │ │
│ │ · 层数越多理解越深 │ │
│ │ (GPT-4: ~120层) │ │
│ └─────────────────────────┘ │
│ │ │
│ ▼ │
│ 概率分布: 下一个Token的概率 │
│ "很": 0.3, "真": 0.2, "不": 0.15 │
│ "好": 0.1, "啊": 0.08, ... │
└──────────────────────────────────────┘
│ 选择概率最高的(或采样)
▼
输出: "今天天气很"
│ 继续循环...
▼
"今天天气很好,适合出门散步。"
关键概念:
· Token: 文本的最小单位 (一个字或一个词)
· 参数: 模型中的"神经元连接数" (GPT-4估计~1.8万亿)
· 上下文窗口: 模型一次能看到的最大Token数 (GPT-4: 128K)
· Temperature: 控制生成随机性 (0=确定性, 1=创造性)
| 厂商 | 模型 | 特点 | 本项目集成 |
|---|---|---|---|
| OpenAI | GPT-4o / GPT-4 | 综合能力最强,多模态 | 通过GPT4Free接入 |
| Anthropic | Claude Sonnet/Opus | 长文本理解优秀,安全 | AnthropicChatModelFactory |
| 智谱AI | GLM-5.1 / GLM-4 | 中文能力强,性价比高 | ZhiPuAiChatModelFactory(主力) |
| 阿里云 | Qwen-Max / Qwen-Plus | 多语言,企业级 | DashScopeChatModelFactory |
| MiniMax | M2.7 / M2.5 | 语音/视频能力强 | MiniMaxChatModelFactory |
| DeepSeek | DeepSeek-V3 | 开源,推理能力强 | 作为降级备选 |
AI应用开发四阶段: 阶段1: 纯API调用 (2023年初) ────────────────────────── 用户输入 → 调用LLM API → 返回结果 · 简单包装ChatGPT API · 无记忆、无工具、无安全 · 代表: 早期的AI聊天机器人 阶段2: RAG增强 (2023年中) ────────────────────────── 用户输入 → 检索知识库 → 上下文注入LLM → 回答 · 解决LLM"不知道企业数据"的问题 · 出现向量数据库、文档解析等基础设施 · 代表: 知识库问答系统 阶段3: Agent时代 (2024年) ────────────────────────── 用户输入 → Agent理解意图 → 调用工具 → 多步推理 → 回答 · AI能自主决定使用什么工具、执行多少步 · ReAct推理模式成为主流 · 代表: 本项目(Enterprise Agent Hub) ← 你在这里! 阶段4: Multi-Agent (2025年+) ────────────────────────── 复杂任务 → 多个Agent协作 → 子任务并行 → 综合结果 · 多Agent并行执行、专业分工 · 人机协同(HITL)、安全防护 · 代表: 本项目的并行执行引擎 ← 你也在这里!
| 概念 | 通俗解释 | 项目中的体现 |
|---|---|---|
| ReAct | 让AI"思考→行动→观察"循环 | Graph执行引擎的4节点ReAct拓扑 |
| RAG | 让AI先"查资料"再回答 | 6阶段RAG管线 + RRF融合 |
| Agent | 有角色、有工具、能自主决策的AI | 17个内置Agent + 零配置注册 |
| Tool Use | AI调用外部工具的能力 | MCP协议 + Skill/Shell/NOS工具 |
| Prompt Engineering | 设计好的提示词让AI表现更好 | 系统提示词设计 + Hook系统 |
| Embedding | 把文字变成数字向量,让AI理解语义 | 向量存储 + Milvus语义搜索 |
| Streaming | 边生成边输出,不用等全部完成 | SSE流式响应 + 飞书流式卡片 |
| Few-shot | 给AI几个例子让它学会做 | 简历评分模板、文案AIDA结构 |
| Hallucination | AI编造不存在的信息 | 严格RAG模式 + 来源引用防止幻觉 |
| Token | AI处理文字的最小单位 | Token预算管理 + TrackedChatModel统计 |