神经网络、深度学习相关术语整理
- 2018-10-27
- 神经网络
学习计算机视觉也有一段日子了，目前的进展还算稳定(至少能坚持下来看论文了)，在学习的过程中遇到了很多专业术语，概念多且杂。于是，单开一篇文章整理下这些概念以方便自己以后查阅。
免责声明: 本文所有内容来源于网络。可能会存在明显的认知偏差和错误，因此不具 有任何权威性，请不要把这篇文章的任何信息当做你深度学习的参考资料。因阅读本 文章而带来的任何损失和后果请自负。
神经网络
siamese network
孪生神经网络，孪生神经网络有两个输入，将两个输入分别 feed 进两个神经网络(Network1 和 Network2)，这两个神经网络分别将输入映射到新的空间，形成输入在新的空间的表示。通过 Loss 的计算，评价两个输入的相似度。因此，孪生神经网络适用于处理两个输入比较类似的情况。此外，还有伪孪生神经网络(pseudo-siamese network)，它适用于处理两个输入有一定差别的情况。
孪生神经网络的关键是左右两个神经网络共享权值，即左右两个神经网络的 weights 是一样的，在代码实现时甚至可以是同一个神经网络，不用实现另一个。
loss function 和 cost function
损失函数和代价函数，一般简称为 loss 和 cost。
损失函数是定义在单个训练样本上的，即算一个样本的误差，一般用 L 表示；代价函数是定义在整个训练集上的，也就是所有样本误差的总和的平均，即损失函数的总和的平均。有没有这个平均其实不会影响到最后参数的求解结果。
representation learning
表示学习，又称学习表示、表征学习。在深度学习领域内，表示是指通过模型的参数，采用何种形式、何种方式来表示模型的输入观测样本X。表示学习指学习对观测样本X有效的表示。
expected average overlap (EAO) 1
平均重叠期望，平均重叠期望EAO是对每个跟踪器在一个短时图像序列上的非重置重叠的期望值，是VOT评估跟踪算法精度的最重要指标。
area under curve (AUC) 2
AUC 在深度学习领域中是一种模型评估指标，它表示的是正例排在负例前面的概率。
feature representation
特征表示，就是指提取出来的特征。
online 和 offline
在线训练就是指在跑代码的时候同时训练模型，对应地，离线训练是指先把模型训练好，运行代码的时候直接加载不用再训练。
metric learning
度量学习，也叫作相似度学习，就是比较样本点与中心点的相似度。
embedding sapce
嵌入空间，比如输入的向量是1000维，现在通过线性或非线性变换投影到100维，这个变换后的空间就是一个 embedding space。