表征学习

什么是表征学习

表征学习又称为特征学习，是一种将原始数据转为能够被机器学习有效开发的一种技术的集合。与预测性学习不同，表征学习的目标不是通过学习原始数据预测某个观察结果，而是学习数据的底层结构，从而可以分析出原始数据的其他特性。
监督式：被标记过的数据当作特征用来学习，使用一组输入数据和一组相应的已标记配对输出数据来训练模型。
无监督式：未被标记过的数据被当作特征来学习，模型自行识别数据内部和数据之间的模式与关系。

finetune和linear probing的区别:
finetune 和 linear probing 一般和预训练搭配出现，是预训练模型适应下游任务时可选的训练方式。
finetune 是使用预训练模型适配下游任务时，对整个预训练模型全部参数进行更新。微调也可也选择不进行全部更新，只对后面一部分模型进行更新，因为模型前几层一般提取的都是比较公共的特征，保留的底层信息较多，可以不用进行微调。
linear probing 是在适配下游任务时，冻结预训练模型，对其参数不进行更新，只对最后一层的线形层进行参数更新。一般而言，线性探测的结果会差于微调。