大模型工程师面试：算法原理、开发实践与系统部署 - 中国高校教材图书网
|
书名： |
大模型工程师面试：算法原理、开发实践与系统部署
|
| ISBN： | 9787302703778 |
条码： | |
| 作者： |
苏宏博、温智凯
相关图书
|
装订： | 平装 |
| 印次： | 1-1 |
开本： | 大32开 |
| 定价： |
￥119.00
折扣价：￥113.05
折扣：0.95
节省了5.95元
|
字数： |
|
| 出版社： |
清华大学出版社 |
页数： |
|
| 出版日期： |
2025-11-01 |
每包册数： |
|
| 国家规划教材： |
|
省部级规划教材： |
|
| 入选重点出版项目： |
|
获奖信息： |
|
|
|
| 内容简介： |
《大模型工程师面试:算法原理、开发实践与系统部署》系统梳理了大模型工程师岗位所需的理论基础与实战技能，围绕算法原理、开发实践与系统部署三大维度展开内容介绍，旨在帮助希望转型为大模型工程师的开发者成功通过面试。《大模型工程师面试:算法原理、开发实践与系统部署》共12章，首先简要介绍大模型技术演进、岗位分类与典型面试策略，并深入讲解数据构建、预处理、Token管理、Prompt设计与语料增强等底层准备环节。随后，系统剖析大模型的预训练机制、核心算法、微调策略与架构演化路径，包括Transformer原理、LoRA/QLoRA技术栈、RLHF流程、多任务损失建模、MoE专家机制等前沿内容，辅以经典论文与面试热点解析。最后，面向工程实战与面试应战，涵盖Agent系统构建、RAG检索架构、MCP通信协议、多智能体A2A协作机制、私有部署与CI/CD流程、安全评估与性能监控等系统集成能力，并辅以面试专项题库，全面提升面试者在真实求职场景中的技术表达能力与答题策略。
《大模型工程师面试:算法原理、开发实践与系统部署》理论与实战并重，案例紧贴业界真实应用场景，特别强调面试导向与项目落地能力的结合。适合有一定AI基础、希望进入大模型领域的软件工程师、算法工程师、系统架构师，以及准备求职或转型到大模型领域的初中级从业者和高年级研究生。
|
| 作者简介： |
|
|
| 章节目录： |
目 录
第1章 大模型发展简史与岗位解析 1
1.1 大模型简史 1
1.1.1 何为大模型 1
1.1.2 大模型技术底座：从N-Gram到Transformer 3
1.1.3 商业大模型汇总 6
1.1.4 大模型发展现状 11
1.2 大模型岗位全解析 12
1.2.1 大模型算法工程师 13
1.2.2 大模型开发工程师 14
1.2.3 大模型数据工程师 16
1.2.4 大模型推理部署工程师 17
1.2.5 大模型垂直领域微调工程师 19
1.2.6 不同岗位的技术侧重点与面试策略 21
1.3 国内外代表性公司及其技术栈 22
1.3.1 OpenAI、Anthropic与Mistral 23
1.3.2 通义千问、文心一言与豆包 24
1.3.3 智谱AI、盘古大模型与讯飞星火 25
1.3.4 DeepSeek、X Grok与Claude 27
1.3.5 各大厂使用的主流框架对比 29
1.4 常见面试备考策略分析 31
1.4.1 技术广度与技术深度 31
1.4.2 简历项目表征与亮点挖掘 33
1.4.3 刷题？论文？还是项目经验 34
1.4.4 大模型领域常见面试提问类型汇总 36
1.5 本章小结 39
1.6 经典面试题自测 39
第2章 大模型数据集构建及预处理流程分析 42
2.1 预训练数据集构建 42
2.1.1 详解C4、Pile、BooksCorpus 43
2.1.2 中文数据集与中英文对齐 45
2.1.3 文本清洗与重复率控制 48
2.1.4 多轮对话数据与RLHF语料生成 51
2.2 数据预处理与分词机制 54
2.2.1 Tokenization策略对比（BPE、Unigram） 54
2.2.2 SentencePiece与Tokenizer 56
2.2.3 Token长度分布与上下文截断 59
2.3 模型输入格式与批处理机制 61
2.3.1 Prompt模板与Instruction格式 61
2.3.2 Padding、Masking与Attention机制 64
2.3.3 Sliding Window与Chunking机制 65
2.3.4 动态Batch构建与GPU负载优化 68
2.4 数据增强与数据预微调 69
2.4.1 经典数据增强：样本扩增与反事实生成 69
2.4.2 Few-shot语料设计原则 72
2.4.3 蒸馏数据与学生-教师模型 73
2.4.4 二次构造：社交语料、问答语料 74
2.5 本章小结 76
2.6 经典面试题自测 77
第3章 大模型预训练核心原理 79
3.1 Transformer结构解析 79
3.1.1 Self-Attention机制实现 79
3.1.2 多头注意力与参数分布 83
3.1.3 Position Embedding方式对比 85
3.1.4 层归一化与残差连接设计 86
3.2 损失函数与训练目标 89
3.2.1 语言建模目标（MLM与CLM） 90
3.2.2 多任务损失与多目标联合训练 93
3.2.3 Label Smoothing与目标扰动 96
3.2.4 训练稳定性提升策略 98
3.3 并行化训练技术 100
3.3.1 数据并行、模型并行与流水线并行 100
3.3.2 ZeRO阶段式内存优化 102
3.3.3 FlashAttention与Sparse模型优化 105
3.3.4 微调时的LoRA、QLoRA支持 108
3.4 本章小结 109
3.5 经典面试题自测 109
第4章 大模型部署与推理优化 111
4.1 常见模型部署方式总览 111
4.1.1 本地部署与云端服务部署 111
4.1.2 ONNX与TensorRT部署 113
4.1.3 HuggingFace+FastAPI组合部署 115
4.1.4 Triton Inference服务器部署 117
4.2 常见推理优化与量化方案 118
4.2.1 FP16、INT8、GPTQ量化技术原理 119
4.2.2 推理Latency瓶颈分析 122
4.2.3 KV-Cache与Prompt重用机制 124
4.2.4 多卡部署与推理并行方案 127
4.3 模型剪枝与压缩 128
4.3.1 结构化剪枝与非结构化剪枝 128
4.3.2 权重共享与低秩分解技术 131
4.3.3 常见小模型蒸馏实现方式 133
4.4 本章小结 136
4.5 经典面试题自测 136
第5章 大模型微调技术 138
5.1 微调技术体系概览 138
5.1.1 全参数微调与冻结微调 138
5.1.2 Prompt Tuning与Prefix Tuning机制 141
5.1.3 参数高效微调实现：Adapter与BitFit 143
5.2 LoRA与QLoRA微调实战 147
5.2.1 低秩矩阵的参数注入机制 147
5.2.2 LoRA训练流程与常用库介绍 149
5.2.3 QLoRA量化策略与训练资源压缩 152
5.3 RLHF与SFT技术栈 156
5.3.1 RLHF 156
5.3.2 Reward模型构建与训练策略 157
5.3.3 PPO算法在RLHF中的作用 158
5.4 本章小结 161
5.5 经典面试题自测 161
第6章 大模型核心架构简介 163
6.1 大模型架构演化 163
6.1.1 GPT-1/2/3到GPT-4架构变化 163
6.1.2 LLaMA系列与Qwen架构对比 164
6.1.3 专家路由机制 166
6.1.4 SwiGLU与ReLU激活函数对比 169
6.2 混合专家（MoE）模型机制 171
6.2.1 MoE结构的稀疏激活原理 171
6.2.2 Top-k选择机制 175
6.2.3 通信瓶颈与专家分布策略 178
6.3 本章小结 182
6.4 经典面试题自测 182
第7章 有关大模型经典论文的面试热点解析 184
7.1 经典论文解析 184
7.1.1 Transformer：Attention is All You Need论文解析 184
7.1.2 ResNet：Deep Residual Learning for Image Recognition论文解析 186
7.1.3 Multi-Head：TransMLA: Multi-Head Latent Attention Is All You Need论文解析 188
7.1.4 论文实验设定与性能评估要点 189
7.2 面试热点一：GPT与InstructGPT系列分析 191
7.2.1 GPT-2开放式文本生成能力 191
7.2.2 GPT-3模型参数设计策略 192
7.2.3 InstructGPT引入人类偏好训练 194
7.3 面试热点二：LLaMA与Qwen系列分析 196
7.3.1 LLaMA数据选择与Tokenizer策略 197
7.3.2 Qwen混合多任务指令训练架构 199
7.3.3 中英文平衡设计 202
7.4 面试热点三：常见论文类提问解析 205
7.4.1 Attention与CNN的结构对比 205
7.4.2 Scaling Law策略分析与实现 208
7.5 本章小结 209
7.6 经典面试题自测 210
第8章 基于大模型的智能体系统 212
8.1 智能体核心机制与类型 212
8.1.1 单智能体与多智能体架构差异 212
8.1.2 CoT工具调用 214
8.1.3 ReAct与AutoGPT推理结构解析 216
8.2 多轮对话状态管理机制 219
8.2.1 Prompt状态追踪与上下文控制 219
8.2.2 记忆模块调用与持久化管理 221
8.2.3 中断恢复与任务持久化 224
8.3 智能体系统开发实战 226
8.3.1 使用LangChain封装交互组件 226
8.3.2 接入工具插件与API调度控制 229
8.3.3 多Agent协作任务实现策略 231
8.4 本章小结 234
8.5 经典面试题自测 234
第9章 RAG系统构建与知识检索 236
9.1 RAG架构组成 236
9.1.1 Prompt检索与嵌入召回流程 236
9.1.2 检索器与生成器 238
9.1.3 Chunk策略与多文档拼接控制 241
9.2 向量数据库集成 245
9.2.1 FAISS/HNSW/Milvus的使用方法 245
9.2.2 多模态Embedding向量构建 250
9.3 文档处理与分块机制 255
9.3.1 基于Token的动态Chunk方法 255
9.3.2 元数据绑定与索引映射 258
9.3.3 文档版本管理与权重控制 262
9.4 本章小结 267
9.5 经典面试题自测 267
第10章 MCP协议与A2A通信机制 269
10.1 MCP通信协议原理 269
10.1.1 MCP基本结构 269
10.1.2 基于MCP的Agent间对话通信机制详解 273
10.2 A2A多智能体协作框架 276
10.2.1 A2A基本原理 276
10.2.2 Agent间消息同步与控制机制 279
10.2.3 中心调度与角色权限划分 282
10.3 多Agent调度与资源管理 285
10.3.1 调度图构建与任务依赖约束 285
10.3.2 事件触发与反应式Agent调用 289
10.4 本章小结 292
10.5 经典面试题自测 292
第11章 项目工程化与系统集成实战 294
11.1 模型部署环境构建 294
11.1.1 Conda/Docker环境构建 294
11.1.2 多模型版本共存管理 296
11.1.3 GPU/CPU资源调度与负载均衡 298
11.1.4 镜像构建与自动化部署脚本 301
11.2 DevOps集成与CI/CD流程 303
11.2.1 GitOps与代码分支控制流程 303
11.2.2 流水线构建与模型测试自动化 305
11.2.3 环境变量配置与多环境部署 309
11.2.4 模型上线回滚机制与灰度部署 311
11.3 系统安全与访问控制 314
11.3.1 模型输入审查与注入防护 314
11.3.2 认证鉴权机制（Token/OAuth2） 316
11.3.3 模型滥用监控与速率限制 319
11.3.4 敏感信息过滤与输出安全评估 321
11.4 性能评估与系统监控 323
11.4.1 推理延迟与吞吐量指标 324
11.4.2 Prometheus+Grafana监控集成 326
11.4.3 模型质量回归测试机制 328
11.5 本章小结 330
11.6 经典面试题自测 330
第12章 高频面试题深度解析 332
12.1 算法与架构类问题 332
12.1.1 Self-Attention与MoE结构对比 332
12.1.2 RLHF算法流程还原类问答 335
12.1.3 计算复杂度控制面试题 338
12.1.4 参数调优策略分析型题目 340
12.2 项目实现与工程类问题 343
12.2.1 向量检索系统构建提问拆解 343
12.2.2 模型上线部署 346
12.2.3 LoRA微调项目分析面试题 349
12.3 实战情景题与系统设计题 352
12.3.1 多Agent协作任务设计面试题 352
12.3.2 Agent中断恢复与状态保持问题 355
12.4 面试综合策略与答题技巧 358
12.4.1 行为面、技术面双管齐下 358
12.4.2 面试现场逻辑结构化答题技巧 359
12.4.3 如何展示项目亮点与技术深度 360
12.4.4 模型安全、性能等扩展类问题答题套路 361
12.5 本章小结 362
12.6 经典面试题自测 363
|
| 精彩片段： |
|
|
| 书 评： |
|
|
| 其 它： |
|
|
|
中国大学出版社协会 |
首页 |
宏观指导 |
出版社天地 |
图书代办站 |
教材图书信息 |
教材图书评论 |
在线订购 |
教材征订
