图像描述模型采用编码-解码结构：CNN（如ResNet-50）提取图像特征并压缩为语义向量，RNN/Transformer逐词生成描述，注意力机制实现动态区域聚焦，训练用交叉熵损失、评估用BLEU/CIDEr等指标。
图像描述（Image Captioning）模型的核心是编码-解码结构：用CNN编码图像，用RNN/LSTM/Transformer解码生成自然语言描述。这个结构看似简单，但关键在两部分如何对齐、如何传递信息、如何训练协同。
编码器：把图“读成向量”
CNN（如ResNet-50、VGG16）负责提取图像的视觉特征。通常去掉最后的全连接层，保留卷积特征图（如 7×7×2048），再通过全局平均池化或空间注意力机制压缩为一个固定长度的向量（如 2048 维），作为图像的“语义摘要”。注意：不是直接喂原始像素，而是用预训练模型迁移特征，能显著提升效果且加快收敛。
- 常用做法：加载ImageNet预训练权重，冻结前几层，微调后几层
- 进阶选择：用特征图保留空间位置信息（如 196 个区域特征），供解码器做注意力对齐
- 别跳过归一化：输入图像需按预训练模型要求做标准化（如减均值除标准差）
解码器：把向量“说成句子”
解码器本质是语言模型，以编码向量为初始状态，逐词生成描述。主流用LSTM或Transformer。每一步输入上一时刻预测的词（teacher-forcing训练时用真实词），输出当前词的概率分布。关键设计点：
- 词嵌入层需与编码器输出维度兼容（如用512维嵌入，接线性层对齐到LSTM隐藏层）
- 必须加开始符（
）和结束符（ ），控制生成起止 - 训练时用交叉熵损失；推理时常用贪心搜索或束搜索（beam search）提升流畅度
编码与解码的桥梁：注意力机制
纯“图像向量→整句”的映射容易丢失细节。引入注意力机制后，解码每一步可动态聚焦图像不同区域。例如：生成“dog”时关注狗的位置，“running”时关注运动区域。实现上：
立即学习“Python免费学习笔记（深入）”；
- 用CNN最后一层特征图（如 14×14×512）作注意力键（Key）和值（Value）
- 解码器隐藏状态作查询（Query），计算加权和得到上下文向量
- 该向量与当前词嵌入拼接后送入LSTM，形成“看哪说哪”的闭环
训练与评估要点
数据用MS COCO等带多句描述的图像集。预处理要统一：图像缩放裁剪、词表限制（如取前10000高频词）、句子截断补零。评估不用准确率，而用BLEU、METEOR、CIDEr等文本相似度指标——它们模拟人类判断，更贴合任务目标。
- 损失函数只算到
为止，后续padding位置不参与梯度更新 - 验证时禁用teacher-forcing，全程用模型自回归生成来测泛化
- 早停策略看CIDEr分数，比BLEU更鼓励语义相关的新颖表达
基本上就这些。结构不复杂，但每个环节的细节（比如特征对齐方式、注意力粒度、词表构建逻辑）真正决定模型能不能“看懂图、说得准”。动手时建议先复现带注意力的NIC（Neural Image Captioning）模型，再逐步替换组件优化。
