神经网络与深度学习

第一章绪论

深度学习属于机器学习的一个分支，指的是一类问题和解决这类问题的方法
样本的原始输入到输出目标间的数据流经过多个线性或者非线性的组件(component)，每个组件都会对信息进行加工，并进而影响后续的组件，当得到最后的结果的时候，不清楚每个组件贡献了多少，这个问题叫做贡献度分配问题(Credit Assignment Problem，CAP)

1 表示学习

将输入信息转换为有效的特征或者更一般性地称为表示。如果有一种算法可以自动地学习出有效的特征，并提高最终机器学习模型性能，那么这种学习就可以叫做表示学习

• 局部表示：一种表示颜色的方法是以不同名字来命名不同的颜色，这种表示方法称为局部表示，也称离散表示和符号表示。局部表示通常可以表示为 one-hot 向量的形式，对应颜色位为 1，其余为 0
• 分布式表示：另一种表示颜色的方法为 RGB，分布式表示可以表示为低维的稠密向量
  可以使用神经网络将高维的局部表示空间映射到低维的分布式表示空间，在低维空间中，每个特征不是坐标轴上的一个点，而是分散在整个低维空间中，这个过程称为嵌入(Embedding)。嵌入一般指将一个度量空间中的一些对象映射到另一个低维的度量空间中，并尽可能保持不同对象之间的拓扑关系

2 深度学习

端到端学习：在传统机器学习方法需要将一个任务的输入和输出之间人为地切割成很多模块（阶段）每个模块分开学习。而端到端学习是指在学习过程中不进行分模块或分阶段学习，直接优化任务的总体目标。

第二章机器学习概述