FDE 术语 glossary
面试中高频出现的专业术语，按领域分类
模型架构
| 术语 | 全称 | 解释 |
|---|---|---|
| Transformer | - | 基于 Self-Attention 的序列模型架构 |
| Attention | Self-Attention | 让每个 token 关注序列中其他 token 的机制 |
| KV Cache | Key-Value Cache | 缓存 Decode 阶段的 K 和 V 矩阵，避免重复计算 |
| MHA | Multi-Head Attention | 每个 head 有独立的 Q、K、V |
| GQA | Grouped Query Attention | 多个 query head 共享一组 KV，减少显存 |
| MQA | Multi-Query Attention | 所有 query head 共享一组 KV |
| RoPE | Rotary Positional Embedding | 通过旋转矩阵注入位置信息的位置编码 |
| SwiGLU | Swish-Gated Linear Unit | 现代模型使用的 FFN 激活函数 |
| RMSNorm | Root Mean Square Normalization | 轻量级 Normalization，只计算均方根 |
| MoE | Mixture of Experts | 每个 token 经过 Router 选择部分 Expert |
| MLA | Multi-Latent Attention | DeepSeek 使用的 Attention 变体 |
推理引擎
| 术语 | 全称 | 解释 |
|---|---|---|
| vLLM | - | UC Berkeley 出品的开源推理引擎 |
| PagedAttention | - | vLLM 核心创新，分页管理 KV Cache |
| Continuous Batching | - | 动态调度 batch，不等最长请求完成 |
| In-flight Batching | - | TRT-LLM 的更细粒度 batch 调度 |
| TGI | Text Generation Inference | HuggingFace 出品的推理框架 |
| SGLang | - | LMSYS 出品，擅长结构化生成 |
| TensorRT-LLM | - | NVIDIA 官方推理优化框架 |
| TTFT | Time To First Token | 首 token 延迟 |
| TPOT | Time Per Output Token | 每 token 生成时间 |
| Throughput | - | 吞吐量，tokens/sec/GPU |
量化
| 术语 | 全称 | 解释 |
|---|---|---|
| PTQ | Post-Training Quantization | 训练后量化，不需要重新训练 |
| QAT | Quantization-Aware Training | 量化感知训练 |
| AWQ | Activation-aware Weight Quantization | 保护大激活对应权重的量化方案 |
| GPTQ | - | 逐层量化，考虑层间误差累积 |
| SmoothQuant | - | 平滑激活和权重分布，便于同时量化 |
| FP8 | 8-bit Floating Point | 8-bit 浮点格式，H100 原生支持 |
| INT8 | 8-bit Integer | 8-bit 整数格式 |
| INT4 | 4-bit Integer | 4-bit 整数格式，极致压缩 |
GPU 与底层
| 术语 | 全称 | 解释 |
|---|---|---|
| SM | Streaming Multiprocessor | GPU 基本执行单元 |
| Tensor Core | - | 矩阵乘法专用单元 |
| CUDA Core | - | 标量计算单元 |
| HBM | High Bandwidth Memory | GPU 高带宽显存 |
| NVLink | - | NVIDIA GPU 间高速互联，600 GB/s |
| TP | Tensor Parallel | 张量并行，层内矩阵切分 |
| PP | Pipeline Parallel | 流水线并行，层间分配到不同 GPU |
| DP | Data Parallel | 数据并行，请求分发到不同副本 |
| MIG | Multi-Instance GPU | 把一张 GPU 切分成多个独立实例 |
部署与运维
| 术语 | 全称 | 解释 |
|---|---|---|
| SLO | Service Level Objective | 服务等级目标 |
| SRE | Site Reliability Engineering | 站点可靠性工程 |
| HPA | Horizontal Pod Autoscaler | K8s 水平扩缩容 |
| Pod | - | K8s 最小部署单元 |
| A/B Testing | - | 两个版本对比测试 |
| Canary | - | 灰度发布，逐步放量 |
| Speculative Decoding | 投机解码 | 用小模型预测加速大模型生成 |
| Flash Attention | - | 高效 Attention 算法，减少显存访问 |
Agent 与应用
| 术语 | 全称 | 解释 |
|---|---|---|
| Agent | - | 能感知环境、自主规划并调用工具完成任务，FDE 的核心交付对象 |
| Agentic AI | Agentic Artificial Intelligence | 以 Agent 为中心、强调自主执行与工具调用的 AI 范式 |
| LLM | Large Language Model | 大语言模型，AI 应用的"大脑" |
| Token | - | 模型处理文本的基本单位，计费与速度均按 token 计算 |
| Prompt | - | 引导模型生成特定内容的输入文本 |
| System Prompt | 系统提示词 | 预先设置的全局约束，定义模型角色与行为 |
| Temperature | - | 控制输出随机性：越高越多样，越低越确定 |
| Embedding | 嵌入 | 把文本/图像转为向量，用于语义相似度检索 |
| 向量数据库 | Vector DB | 存储向量并支持相似度检索（Milvus、pgvector 等） |
| RAG | Retrieval-Augmented Generation | 检索增强生成，用外部知识库补充模型知识 |
| MCP | Model Context Protocol | 模型上下文协议，标准化 Agent 与工具/数据的连接 |
| Function Calling | 函数调用 | 模型输出结构化调用指令，由程序执行对应工具 |
| 工具调用 | Tool Use | Agent 通过调用 API/代码/浏览器等外部工具完成任务 |
| ReAct | Reasoning + Acting | 交替"推理-行动"的 Agent 决策模式 |
| 上下文工程 | Context Engineering | 管理输入上下文的策略（检索/裁剪/压缩），降幻觉与成本 |
| 记忆 | Memory | Agent 跨会话保存状态与知识，分短期/长期 |
| 微调 | Fine-tuning | 用领域数据继续训练模型，适配特定任务 |
| 蒸馏 | Distillation | 将大模型知识迁移到小模型，降本提速 |
| 多模态 | Multimodal | 同时处理文本/图像/音频/视频的模型能力 |
| 流式输出 | Streaming | 逐 token 返回结果，降低首字延迟 |