2022年04月03日
最近，随着大数据和高性能硬件的发展，自回归语言模型(GPT)自编码语言模型(BERT)等待大规模预训练模型(PTM)取得了巨大的成功，不仅促进了自然语言处理(NLP)任务性能的提高也有效地提高了图像处理任务的性能。大规模预训练模型的突出优点是可以从大量未标记的数据中学习语言本身的知识，然后微调少量标记数据，使下游任务能够更好地学习语言本身的特征和特定任务的知识。这种预训练模型不仅可以充分利用广泛的网络资源，而且可以完美地解决人工标记数据更复杂的问题。因此，预训练模型几乎已经成为一个NLP任务标准