内积(Inner Product)和卷积(Convolution)

内积(Inner Product)和卷积(Convolution)虽然在数学表达式上有些相似,但它们的本质、几何意义、应用目的和计算方式是完全不同的

一、目的和语义对比
维度内积卷积
✨ 目的衡量两个向量的全局相似性捕捉输入的局部模式特征(如边缘、语义片段)
🎯 计算粒度整体对整体局部窗口滑动
🌌 语义“对齐程度”、“方向一致性”“检测特征模板”
📊 结果维度一个标量一个向量(通常长度远小于原始输入)
🧠 常用场景相似度计算、注意力机制、推荐系统CNN图像/文本/语音处理、滤波器、边缘检测
二、形象比喻对比
类比解释
🧲 内积像在“测量两个力的方向是否一致”,越一致(同向)值越大
🔍 卷积像在“拿一个放大镜在图片上滑动”,看到哪里有我们想要的模式(如边缘、眼睛、关键词)
三、在神经网络中的应用对比
场景使用内积使用卷积
TransformerQuery 与 Key 做内积形成 attention scores
图像分类(CNN)提取局部特征,如边缘、纹理、结构
推荐系统用户-物品向量做内积,输出偏好分数
语言建模(CNN-based)检测n-gram上下文片段
四、数学本质上的差异
  • 内积是两个向量之间的代数运算(映射为标量)
  • 卷积是函数(或信号)之间的滑动加权叠加运算,本质是相关性计算的一种泛化

特别注意,在深度学习中常用的“卷积”并不是严格意义上的数学“卷积”运算,而是“交叉相关”(Cross-correlation),因为它没有翻转卷积核。

五、总结
对比维度内积卷积
运算方式逐元素乘再求和局部滑动窗口匹配并求和
输入两个向量一个序列(向量/矩阵)和一个卷积核
输出单个标量向量或矩阵
应用场景相似度计算、注意力机制、推荐系统图像识别、语音识别、序列建模

发表评论

您的邮箱地址不会被公开。 必填项已用 * 标注