AI 模型架构与技术名词速查手册
合并整理自此前关于 ConvNet、ViT 及其他 AI 模型的两份介绍。按技术领域分类，保留常见中英文名称、缩写与核心用途；重复名词只详细列出一次。
阅读提示：表内既有模型架构（如 CNN、Transformer），也有具体模型系列（如 ResNet、Qwen）、训练方法（如 DINO、LoRA）、算法（如 PPO）和应用系统（如 RAG）。它们不在同一分类层级，不能简单横向比较。
目录
- 基础神经网络架构
- 卷积网络与视觉骨干
- 视觉 Transformer 与自监督视觉学习
- 目标检测与图像分割
- 视频、跟踪、姿态、深度与三维视觉
- 自然语言处理与大语言模型
- 高效注意力与新型序列架构
- 生成式模型
- 多模态、视觉语言与语音模型
- 图神经网络与科学计算模型
- 时间序列模型
- 强化学习、世界模型与机器人
- 传统机器学习模型与算法
- 常见网络组件、训练方法与系统术语
- 容易混淆的概念
1. 基础神经网络架构
| 缩写 / 英文名称 | 中文名称 | 核心概念 / 用途 |
|---|
| ANN — Artificial Neural Network | 人工神经网络 | 神经网络的宽泛总称。 |
| DNN — Deep Neural Network | 深度神经网络 | 具有多个隐藏层的神经网络。 |
| FNN — Feedforward Neural Network | 前馈神经网络 | 信息沿输入到输出方向传播，无循环连接。 |
| MLP — Multi-Layer Perceptron | 多层感知机 | 常见前馈网络，也经常作为其他架构内部模块。 |
| CNN / ConvNet — Convolutional Neural Network | 卷积神经网络 | 用卷积提取局部空间特征。 |
| RNN — Recurrent Neural Network | 循环神经网络 | 通过隐藏状态处理有顺序的数据。 |
| LSTM — Long Short-Term Memory | 长短期记忆网络 | 使用门控缓解传统 RNN 的长期依赖问题。 |
| GRU — Gated Recurrent Unit | 门控循环单元 | 结构相对简洁的门控 RNN。 |
| Transformer | Transformer / 变换器架构 | 以注意力机制为核心，广泛用于语言、视觉和多模态。 |
| GNN — Graph Neural Network | 图神经网络 | 对节点、边与图结构进行学习。 |
| SNN — Spiking Neural Network | 脉冲神经网络 | 使用脉冲信号建模神经活动。 |
| SSM — State Space Model | 状态空间模型 | 通过状态演化描述序列信息；现代序列架构常借鉴此类思想。 |
基础关系：卷积（Convolution）是一种运算；CNN 是使用卷积构成的一类网络；ConvNet 基本是 CNN 的别称。
2. 卷积网络与视觉骨干
| 英文名称 | 中文名称 | 核心概念 / 用途 |
|---|
| LeNet | LeNet 卷积网络 | 早期 CNN，经典手写数字识别架构。 |
| AlexNet | AlexNet 网络 | 推动深度 CNN 在图像分类中普及。 |
| VGG / VGGNet | VGG 网络 | 堆叠小卷积核，结构规则。 |
| ResNet — Residual Network | 残差网络 | 使用残差连接训练深层网络。 |
| Inception / GoogLeNet | Inception 网络 | 并行卷积分支提取多尺度信息。 |
| DenseNet — Densely Connected Network | 密集连接网络 | 不同层之间密集连接、复用特征。 |
| MobileNet | 移动端轻量网络 | 采用深度可分离卷积等技术降低计算量。 |
| EfficientNet | 高效卷积网络 | 综合缩放深度、宽度和输入分辨率。 |
| ConvNeXt | 现代化卷积网络 | 吸收现代视觉架构设计经验的 CNN。 |
| U-Net | U 形网络 | 编码器—解码器及跳跃连接，常用于分割。 |
| 缩写 / 英文名称 | 中文名称 | 核心概念 / 用途 |
|---|
| ViT — Vision Transformer | 视觉 Transformer | 将图像切成 Patch，再以 Transformer 学习特征。 |
| DeiT — Data-efficient Image Transformer | 数据高效视觉 Transformer | 通过训练策略、蒸馏提高数据利用效率。 |
| Swin Transformer — Shifted Window Transformer | 移位窗口 Transformer | 分层结构与移位窗口注意力。 |
| PVT — Pyramid Vision Transformer | 金字塔视觉 Transformer | 多尺度视觉特征，适合检测、分割。 |
| BEiT — Bidirectional Encoder representation from Image Transformers | 图像 Transformer 双向编码表示 | 基于图像预训练学习视觉表征。 |
| MAE — Masked Autoencoder | 掩码自编码器 | 遮挡并重建图像块的自监督训练方法。 |
| DINO / DINOv2 | 自蒸馏视觉表征方法及模型 | 无需人工类别标签学习通用视觉特征。 |
3.2 自监督与对比学习方法
| 缩写 / 英文名称 | 中文名称 | 核心概念 / 用途 |
|---|
| SimCLR — Simple Framework for Contrastive Learning of Visual Representations | 简单对比视觉表征学习框架 | 拉近同一图像不同增强视图的特征。 |
| MoCo — Momentum Contrast | 动量对比学习 | 动量编码器与特征队列。 |
| BYOL — Bootstrap Your Own Latent | 自举式潜在表征学习 | 不显式使用负样本的自监督方法。 |
| Barlow Twins | 巴洛双生网络 | 通过约束特征相关性减少冗余。 |
| iBOT — Image BERT Pre-Training with Online Tokenizer | 在线分词器图像 BERT 预训练 | 掩码图像建模与自蒸馏。 |
| I-JEPA — Image Joint Embedding Predictive Architecture | 图像联合嵌入预测架构 | 预测被遮挡区域的抽象特征，而非直接重建像素。 |
| SigLIP — Sigmoid Loss for Language-Image Pre-training | Sigmoid 损失图文预训练 | 通过成对 Sigmoid 损失学习图文关联。 |
MAE、DINO、SimCLR、MoCo 等通常描述训练方法或由该方法训练的模型，并非都属于与 ViT 同级的网络架构。
4. 目标检测与图像分割
4.1 目标检测（Object Detection）
| 缩写 / 英文名称 | 中文名称 | 核心概念 / 用途 |
|---|
| R-CNN — Region-based CNN | 基于区域的卷积神经网络 | 使用候选区域进行目标检测。 |
| Fast R-CNN | 快速区域卷积网络 | 共享卷积特征，降低候选区域处理成本。 |
| Faster R-CNN | 更快速区域卷积网络 | 引入区域提议网络（RPN）。 |
| YOLO — You Only Look Once | YOLO 检测模型系列 | 侧重实时检测；不同版本架构不完全相同。 |
| SSD — Single Shot MultiBox Detector | 单阶段多框检测器 | 在多尺度特征上直接预测目标。 |
| RetinaNet | RetinaNet 检测网络 | 使用 Focal Loss 处理类别不平衡。 |
| DETR — Detection Transformer | 检测 Transformer | 使用 Transformer 和集合预测实现检测。 |
| RT-DETR — Real-Time DETR | 实时检测 Transformer | 面向实时目标检测优化。 |
| DINO（检测） — DETR with Improved deNoising Anchor Boxes | 改进去噪锚框的检测 Transformer | 改进 DETR 的查询与训练方式。 |
4.2 图像分割（Image Segmentation）
| 缩写 / 英文名称 | 中文名称 | 核心概念 / 用途 |
|---|
| FCN — Fully Convolutional Network | 全卷积网络 | 用于像素级语义分割。 |
| DeepLab | DeepLab 分割模型系列 | 使用空洞卷积等技术提取密集特征。 |
| Mask R-CNN | 掩码区域卷积网络 | 在检测之外预测实例的像素掩码。 |
| Mask2Former | 掩码注意力 Transformer | 统一多类图像分割任务。 |
| SAM — Segment Anything Model | 分割一切模型 | 基于点、框等提示分割图像。 |
| SAM 2 — Segment Anything Model 2 | 分割一切模型 2 | 扩展提示式分割到图像和视频。 |
任务区别：分类＝识别类别；检测＝识别类别和位置；分割＝确定属于目标的像素。
5. 视频、跟踪、姿态、深度与三维视觉
5.1 视频理解（Video Understanding）
| 缩写 / 英文名称 | 中文名称 | 核心概念 / 用途 |
|---|
| C3D — 3D Convolutional Network | 三维卷积网络 | 使用时空三维卷积提取视频特征。 |
| I3D — Inflated 3D ConvNet | 膨胀三维卷积网络 | 将二维卷积架构扩展到视频。 |
| SlowFast | 快慢双通道视频网络 | 用低、高帧率分支学习语义与运动。 |
| TimeSformer — Time-Space Transformer | 时空 Transformer | 对视频空间与时间维度建模。 |
| VideoMAE — Video Masked Autoencoder | 视频掩码自编码器 | 遮挡视频块进行自监督学习。 |
| Video Swin Transformer | 视频移位窗口 Transformer | 将 Swin 注意力扩展到视频。 |
| V-JEPA — Video Joint Embedding Predictive Architecture | 视频联合嵌入预测架构 | 学习预测视频的潜在特征。 |
5.2 目标跟踪（Object Tracking）
| 缩写 / 英文名称 | 中文名称 | 核心概念 / 用途 |
|---|
| SORT — Simple Online and Realtime Tracking | 简单在线实时跟踪 | 使用卡尔曼滤波和数据关联跟踪目标。 |
| DeepSORT — Deep Simple Online and Realtime Tracking | 深度特征实时跟踪 | 在 SORT 中加入外观特征。 |
| ByteTrack | ByteTrack 多目标跟踪 | 关联高、低置信度检测框。 |
| OC-SORT — Observation-Centric SORT | 观测中心跟踪 | 增强遮挡和复杂运动情况下的跟踪。 |
| TrackFormer | 跟踪 Transformer | 使用 Transformer 关联目标。 |
| OSTrack — One-Stream Transformer Tracking | 单流 Transformer 跟踪 | 联合处理模板与搜索区域。 |
5.3 姿态估计（Pose Estimation）
| 英文名称 | 中文名称 | 核心概念 / 用途 |
|---|
| OpenPose | 开放姿态估计系统 | 提取多人骨架关键点。 |
| HRNet — High-Resolution Network | 高分辨率网络 | 保留高分辨率特征，适合关键点预测。 |
| BlazePose | BlazePose 姿态模型 | 面向实时人体姿态估计。 |
| ViTPose | ViT 姿态估计网络 | 使用视觉 Transformer 预测人体关键点。 |
| RTMPose | 实时多人姿态估计模型 | 面向高效率姿态估计。 |
5.4 深度估计（Depth Estimation）
| 英文名称 | 中文名称 | 核心概念 / 用途 |
|---|
| MiDaS | 单目深度估计模型系列 | 从单张图像估计相对深度。 |
| DPT — Dense Prediction Transformer | 密集预测 Transformer | 用 Transformer 进行深度等像素级预测。 |
| Depth Anything | 通用深度估计模型 | 学习可泛化的图像深度表示。 |
| Monodepth2 | 单目深度估计模型 | 基于自监督的单目深度学习。 |
5.5 三维视觉与重建（3D Vision & Reconstruction）
| 缩写 / 英文名称 | 中文名称 | 核心概念 / 用途 |
|---|
| PointNet | 点云网络 | 直接学习无序点云。 |
| PointNet++ | 分层点云网络 | 建模局部空间邻域。 |
| DGCNN — Dynamic Graph CNN | 动态图卷积网络 | 动态构造点云邻域图。 |
| Point Transformer | 点云 Transformer | 在点云上使用注意力机制。 |
| VoxelNet | 体素网络 | 将点云体素化并提取特征。 |
| SECOND — Sparsely Embedded Convolutional Detection | 稀疏嵌入卷积检测网络 | 通过稀疏卷积检测三维目标。 |
| PV-RCNN — Point-Voxel Region-based CNN | 点云—体素区域卷积网络 | 融合点特征和体素特征。 |
| MVSNet — Multi-View Stereo Network | 多视图立体匹配网络 | 从多视角图像恢复三维结构。 |
| DUSt3R — Dense and Unconstrained Stereo 3D Reconstruction | 密集无约束立体三维重建 | 从图像对预测三维点图。 |
| NeRF — Neural Radiance Fields | 神经辐射场 | 用神经场表达三维场景并渲染新视角。 |
| 3D Gaussian Splatting | 三维高斯泼溅 | 用三维高斯表示、重建和渲染场景。 |
6. 自然语言处理与大语言模型
| 英文名称 | 中文名称 | 特征 / 代表 |
|---|
| Encoder-only | 仅编码器 | 侧重输入理解与特征表示；BERT、RoBERTa。 |
| Decoder-only | 仅解码器 | 常用于自回归生成；GPT、Llama、Qwen 语言模型。 |
| Encoder-Decoder | 编码器—解码器 | 输入编码后生成输出；T5、BART。 |
6.2 常见语言模型家族
| 缩写 / 英文名称 | 中文名称 | 核心概念 / 用途 |
|---|
| BERT — Bidirectional Encoder Representations from Transformers | Transformer 双向编码表示 | 经典语言理解模型。 |
| RoBERTa — Robustly Optimized BERT Pretraining Approach | 鲁棒优化的 BERT 预训练方法 | 改进 BERT 的训练策略。 |
| ALBERT — A Lite BERT | 轻量化 BERT | 通过参数共享等方式减少参数。 |
| GPT — Generative Pre-trained Transformer | 生成式预训练 Transformer | 自回归生成模型家族。 |
| T5 — Text-to-Text Transfer Transformer | 文本到文本迁移 Transformer | 将多种任务统一成文本输入与输出。 |
| BART — Bidirectional and Auto-Regressive Transformers | 双向与自回归 Transformer | 结合双向编码器和自回归解码器。 |
| Llama — Large Language Model Meta AI | Meta 大语言模型系列 | 开放权重语言模型家族。 |
| Qwen | 通义千问模型系列 | 覆盖文本、代码与多模态的模型家族。 |
| DeepSeek | 深度求索模型系列 | 包括通用、推理及 MoE 模型等。 |
| Mistral | Mistral 模型系列 | 包括稠密与混合专家模型。 |
7. 高效注意力与新型序列架构
| 缩写 / 英文名称 | 中文名称 | 核心概念 / 用途 |
|---|
| MoE — Mixture of Experts | 混合专家 | 使用路由器选择部分专家模块参与计算，可嵌入 Transformer。 |
| Mamba | Mamba 选择性状态空间模型 | 使用选择性状态空间机制建模序列。 |
| RWKV — Receptance Weighted Key Value | RWKV 序列模型 | 结合可并行训练与递归式推理。 |
| RetNet — Retentive Network | 保留网络 | 使用 Retention 机制处理序列。 |
| Hyena | Hyena 长序列架构 | 使用长卷积等机制建模长依赖。 |
| Longformer | 长文本 Transformer | 滑动窗口和全局注意力。 |
| Reformer | 高效 Transformer 变体 | 通过哈希注意力等方式降低开销。 |
| Performer | 高效注意力 Transformer | 以核方法近似注意力。 |
| Linformer | 线性复杂度 Transformer | 使用低秩投影压缩注意力。 |
| BigBird | 稀疏注意力 Transformer | 结合局部、随机与全局注意力。 |
| Transformer-XL | 长上下文 Transformer | 跨片段复用记忆状态。 |
| Compressive Transformer | 压缩记忆 Transformer | 压缩历史表示以延长记忆。 |
| Jamba | Transformer-Mamba 混合架构 | 混合注意力与状态空间模块，可结合 MoE。 |
| xLSTM — Extended Long Short-Term Memory | 扩展长短期记忆网络 | 现代化门控与记忆结构。 |
8. 生成式模型
| 缩写 / 英文名称 | 中文名称 | 核心概念 / 用途 |
|---|
| AE — Autoencoder | 自编码器 | 编码数据并重建输入，不必然是概率生成模型。 |
| VAE — Variational Autoencoder | 变分自编码器 | 学习概率潜在表示并生成数据。 |
| GAN — Generative Adversarial Network | 生成对抗网络 | 生成器与判别器对抗训练。 |
| DCGAN — Deep Convolutional GAN | 深度卷积生成对抗网络 | 使用 CNN 构造 GAN。 |
| StyleGAN | 风格式生成对抗网络 | 通过风格控制图像生成。 |
| Diffusion Model | 扩散模型 | 学习逐步去噪生成数据。 |
| DDPM — Denoising Diffusion Probabilistic Model | 去噪扩散概率模型 | 经典扩散生成框架。 |
| LDM — Latent Diffusion Model | 潜在扩散模型 | 在压缩后的潜在空间进行扩散。 |
| DiT — Diffusion Transformer | 扩散 Transformer | 使用 Transformer 作为扩散模型骨干。 |
| Stable Diffusion | 稳定扩散模型系列 | 常见图像生成模型系列，与潜在扩散技术密切相关。 |
| Flow Matching | 流匹配 | 学习连续变换所需的向量场。 |
| Normalizing Flow | 归一化流 | 使用可逆变换构建概率分布。 |
区分：Diffusion 是生成建模方法；U-Net / DiT 可以作为骨干；LDM 描述潜在空间中的扩散；Stable Diffusion 是具体模型系列。
9. 多模态、视觉语言与语音模型
| 缩写 / 英文名称 | 中文名称 | 核心概念 / 用途 |
|---|
| VLM — Vision-Language Model | 视觉语言模型 | 联合处理图像和文本。 |
| MLLM — Multimodal Large Language Model | 多模态大语言模型 | 以 LLM 为核心处理多种模态。 |
| CLIP — Contrastive Language-Image Pre-training | 对比式语言—图像预训练 | 对齐图像与文本特征，可用于图文检索。 |
| BLIP — Bootstrapping Language-Image Pre-training | 自举式语言—图像预训练 | 视觉语言理解与生成。 |
| LLaVA — Large Language and Vision Assistant | 大语言与视觉助手 | 连接视觉编码器与语言模型进行视觉对话。 |
| Whisper | Whisper 语音模型 | 语音识别及相关语音处理。 |
| Wav2Vec 2.0 | 语音表征学习模型 | 自监督语音学习与识别。 |
| HuBERT — Hidden-Unit BERT | 隐藏单元 BERT | 自监督学习语音特征。 |
注：SigLIP 位于 §3；V-JEPA 位于 §5，二者也属于跨模态或视频表征相关技术。
10. 图神经网络与科学计算模型
10.1 图神经网络（Graph Neural Networks）
| 缩写 / 英文名称 | 中文名称 | 核心概念 / 用途 |
|---|
| GCN — Graph Convolutional Network | 图卷积网络 | 聚合邻居节点的特征。 |
| GAT — Graph Attention Network | 图注意力网络 | 用注意力加权邻居信息。 |
| GraphSAGE — Graph Sample and Aggregate | 图采样与聚合网络 | 采样邻居并聚合，适合较大规模图。 |
| GIN — Graph Isomorphism Network | 图同构网络 | 强调图结构的判别能力。 |
| MPNN — Message Passing Neural Network | 消息传递神经网络 | 节点沿边传递消息，常用于分子建模。 |
| EGNN — Equivariant Graph Neural Network | 等变图神经网络 | 利用三维几何对称性处理图数据。 |
| SE(3)-Transformer | SE(3) 等变 Transformer | 对三维旋转、平移具有相应等变性质。 |
10.2 分子、材料与物理模型
| 缩写 / 英文名称 | 中文名称 | 核心概念 / 用途 |
|---|
| CGCNN — Crystal Graph Convolutional Neural Network | 晶体图卷积神经网络 | 用晶体结构图预测材料性质。 |
| SchNet | SchNet 分子网络 | 用原子几何关系预测分子性质。 |
| DimeNet — Directional Message Passing Neural Network | 方向消息传递网络 | 显式利用距离、角度等信息。 |
| GemNet — Geometric Message Passing Neural Network | 几何消息传递网络 | 使用丰富的几何关系建模原子系统。 |
| MEGNet — MatErials Graph Network | 材料图网络 | 联合学习节点、边及全局状态。 |
| ALIGNN — Atomistic Line Graph Neural Network | 原子线图神经网络 | 同时利用原子键图与键角信息。 |
| M3GNet — Materials 3-body Graph Network | 材料三体图网络 | 建模三体几何相互作用。 |
| CHGNet — Crystal Hamiltonian Graph Neural Network | 晶体哈密顿图神经网络 | 学习能量、原子力等材料性质。 |
| NequIP — E(3)-Equivariant Neural Interatomic Potentials | E(3) 等变神经原子间势 | 使用几何等变性学习原子间势。 |
| MACE — Multi-Atomic Cluster Expansion | 多原子簇展开模型 | 等变机器学习原子间势架构。 |
| DeepMD — Deep Potential Molecular Dynamics | 深度势分子动力学 | 学习原子势能面，辅助分子动力学。 |
| PINN — Physics-Informed Neural Network | 物理信息神经网络 | 将物理方程与约束引入训练。 |
| FNO — Fourier Neural Operator | 傅里叶神经算子 | 学习函数到函数的映射，用于科学计算。 |
| KAN — Kolmogorov-Arnold Network | 柯尔莫哥洛夫—阿诺德网络 | 使用可学习的一元函数构建网络。 |
| CapsNet — Capsule Network | 胶囊网络 | 以胶囊表示实体及其姿态属性。 |
11. 时间序列模型
| 缩写 / 英文名称 | 中文名称 | 核心概念 / 用途 |
|---|
| TCN — Temporal Convolutional Network | 时间卷积网络 | 使用一维因果卷积处理时序。 |
| N-BEATS — Neural Basis Expansion Analysis for Time Series | 时间序列神经基展开模型 | 专门设计的深度时间序列预测架构。 |
| TFT — Temporal Fusion Transformer | 时间融合 Transformer | 处理多变量时序并融合不同特征。 |
| Informer | Informer 时序预测模型 | 面向长序列预测优化注意力计算。 |
| PatchTST — Patch Time Series Transformer | 分块时间序列 Transformer | 将时间序列切块后送入 Transformer。 |
12. 强化学习、世界模型与机器人
12.1 强化学习模型与算法
| 缩写 / 英文名称 | 中文名称 | 核心概念 / 用途 |
|---|
| DQN — Deep Q-Network | 深度 Q 网络 | 使用神经网络估计动作价值。 |
| PPO — Proximal Policy Optimization | 近端策略优化 | 常见策略优化算法，也用于语言模型对齐训练。 |
| A3C — Asynchronous Advantage Actor-Critic | 异步优势行动者—评论家 | 多个并行智能体进行策略学习。 |
| SAC — Soft Actor-Critic | 软行动者—评论家 | 基于最大熵目标的强化学习算法。 |
| Decision Transformer | 决策 Transformer | 将回报、状态与动作建模为序列。 |
12.2 世界模型与具身智能
| 缩写 / 英文名称 | 中文名称 | 核心概念 / 用途 |
|---|
| World Model | 世界模型 | 学习环境动态，用于预测与规划。 |
| RSSM — Recurrent State-Space Model | 循环状态空间模型 | 结合循环状态和随机潜在状态。 |
| Dreamer | Dreamer 世界模型强化学习 | 在学习到的潜在环境中训练策略。 |
| MuZero | MuZero 模型 | 联合学习环境动态、搜索与决策。 |
| JEPA — Joint-Embedding Predictive Architecture | 联合嵌入预测架构 | 在潜在表征空间预测信息；I-JEPA / V-JEPA 是具体方向。 |
| VLA — Vision-Language-Action Model | 视觉—语言—动作模型 | 将视觉和语言输入用于动作预测。 |
| RT-1 — Robotics Transformer 1 | 机器人 Transformer 1 | 预测机器人动作。 |
| RT-2 — Robotics Transformer 2 | 机器人 Transformer 2 | 将视觉语言知识用于机器人控制。 |
| ACT — Action Chunking with Transformers | Transformer 动作分块 | 一次预测连续的一段动作。 |
| Diffusion Policy | 扩散策略 | 用扩散生成机制预测控制动作。 |
PPO、SAC 等主要是优化算法；World Model、VLA 更多代表系统目标或模型范式，而不是一种固定网络层结构。
13. 传统机器学习模型与算法
| 缩写 / 英文名称 | 中文名称 | 核心概念 / 用途 |
|---|
| LR — Linear Regression | 线性回归 | 预测连续值。 |
| Logistic Regression | 逻辑回归 | 用线性决策函数进行分类。 |
| DT — Decision Tree | 决策树 | 使用规则分支预测。 |
| RF — Random Forest | 随机森林 | 集成多个决策树。 |
| GBDT — Gradient Boosting Decision Tree | 梯度提升决策树 | 逐步加入树模型修正预测误差。 |
| XGBoost — Extreme Gradient Boosting | 极端梯度提升 | 高效梯度提升树系统。 |
| LightGBM — Light Gradient Boosting Machine | 轻量级梯度提升机 | 高效训练梯度提升树。 |
| CatBoost — Categorical Boosting | 类别特征提升算法 | 擅长处理带类别特征的表格数据。 |
| SVM — Support Vector Machine | 支持向量机 | 最大间隔分类与回归。 |
| KNN — K-Nearest Neighbors | K 近邻 | 使用附近样本进行预测。 |
| K-Means | K 均值聚类 | 按距离将样本划分为多个簇。 |
| DBSCAN — Density-Based Spatial Clustering of Applications with Noise | 基于密度的带噪声空间聚类 | 识别高密度簇及噪声点。 |
| PCA — Principal Component Analysis | 主成分分析 | 降维与特征压缩。 |
| HMM — Hidden Markov Model | 隐马尔可夫模型 | 对隐藏状态及序列观测建模。 |
| GMM — Gaussian Mixture Model | 高斯混合模型 | 用多个高斯分布拟合数据。 |
| GP — Gaussian Process | 高斯过程 | 概率式回归与不确定性建模。 |
14. 常见网络组件、训练方法与系统术语
14.1 网络结构与推理组件
| 英文名称 / 缩写 | 中文名称 | 核心概念 / 用途 |
|---|
| Backbone | 骨干网络 | 提取主要特征的网络部分。 |
| Neck | 颈部网络 / 特征融合层 | 融合不同尺度或层级的特征。 |
| Head | 预测头 | 将特征映射到具体任务输出。 |
| Embedding | 嵌入表示 | 将输入映射为向量表示。 |
| Convolution | 卷积 | 利用共享卷积核提取局部特征的运算。 |
| Skip / Residual Connection | 跳跃 / 残差连接 | 连接不同网络层，改善信息与梯度传递。 |
| Self-Attention | 自注意力 | 建模同一序列内 token 的联系。 |
| Cross-Attention | 交叉注意力 | 建模两个序列或模态之间的联系。 |
| MHA — Multi-Head Attention | 多头注意力 | 多组注意力头并行学习关联。 |
| MQA — Multi-Query Attention | 多查询注意力 | 多个查询头共享同一组 Key / Value。 |
| GQA — Grouped-Query Attention | 分组查询注意力 | 查询头分组共享 Key / Value。 |
| RoPE — Rotary Position Embedding | 旋转位置编码 | 在注意力中引入位置信息。 |
| KV Cache — Key-Value Cache | 键值缓存 | 缓存历史注意力键值以加速生成。 |
| FlashAttention | 高效注意力算法 | 优化注意力的内存访问与计算。 |
14.2 训练、对齐与应用系统
| 英文名称 / 缩写 | 中文名称 | 核心概念 / 用途 |
|---|
| LoRA — Low-Rank Adaptation | 低秩适配 | 用较少可训练参数微调大模型。 |
| QLoRA — Quantized LoRA | 量化低秩适配 | 在量化基础模型上进行 LoRA 微调。 |
| PEFT — Parameter-Efficient Fine-Tuning | 参数高效微调 | 低参数成本微调方法的统称。 |
| KD — Knowledge Distillation | 知识蒸馏 | 教师模型指导学生模型。 |
| RLHF — Reinforcement Learning from Human Feedback | 人类反馈强化学习 | 基于人类偏好优化模型。 |
| DPO — Direct Preference Optimization | 直接偏好优化 | 直接利用偏好数据优化模型。 |
| RAG — Retrieval-Augmented Generation | 检索增强生成 | 检索外部知识作为生成依据。 |
| Agent | 智能体 / Agent 系统 | 借助模型、工具与控制流程执行任务。 |
15. 容易混淆的概念
| 层级 / 类型 | 典型名词 | 区别 |
|---|
| 任务（Task） | 分类、检测、分割、机器翻译、跟踪 | 解决什么问题。 |
| 架构（Architecture） | CNN、RNN、Transformer、GNN、SSM | 网络采用什么计算结构。 |
| 架构组件（Component） | Attention、MLP、Residual、Embedding | 网络内部由什么模块构成。 |
| 模型家族（Model Family） | ResNet、ViT、YOLO、Llama、Qwen | 使用某类设计的一系列模型。 |
| 训练方法（Method） | MAE、DINO、LoRA、KD、DPO | 如何学习、微调或优化。 |
| 算法（Algorithm） | PPO、SAC、SORT、K-Means | 实现学习、预测或决策的具体方法。 |
| 应用系统（System） | RAG、Agent、多模型视觉流水线 | 如何将模型、数据和工具组合起来。 |
| 模型权重（Checkpoint） | ResNet-50 某版权重、Qwen2.5-7B-Instruct | 最终实际加载的参数版本。 |
六组关系，快速理解
- CNN = ConvNet；卷积是网络可使用的运算，不是模型本身。
- ViT 是将 Transformer 用于视觉的架构；DeiT、Swin 是相关改进方向。
- YOLO / DETR 主要是目标检测系列；SAM / U-Net 主要用于分割。
- DINO（视觉自监督） 与 DINO（DETR 检测） 同名但属于不同方向。
- Transformer 可结合 MoE；MoE 并不是 Transformer 的同义词或必然替代品。
- Diffusion 是生成建模方法；DiT / U-Net 可以是扩散模型内部的网络骨干。
学习时的四个问题：① 输入是什么？② 输出是什么？③ 核心架构或算法是什么？④ 相比已有方法改进了什么？
