分享主题

《基于跨领域数据增强的BERT模型蒸馏技术》

分享嘉宾

△邱明辉

邱明辉，新加坡SMU博士，美国卡耐基梅隆大学访问学者，现任阿里云高级算法专家。主要从事自然语言处理和深度学习算法和框架研究，迄今为止已发表40余篇自然语言处理和机器学习方向的顶会和期刊论文，Google学术引用1500+，H-index 20+。曾获得Best paper runner-up award和Best demo award，并担任多家国际顶会和期刊的审稿人。目前主要负责开源框架EasyTransfer的开发和落地，目前该框架已经服务阿里内部多个BU业务场景。

分享概要

尽管诸如BERT之类的预训练语言模型在各种自然语言处理任务中均取得了令人满意的性能，但是它们的模型非常大，在实时应用中很难进行部署。一种典型的方法是采用知识蒸馏将这些大型的预训练模型（教师模型）压缩为小的学生模型。但是，对于缺乏训练数据的目标领域，教师几乎无法将有用的知识传给学生，这会导致学生模型的效果下降。为了解决这个问题，我们提出了一种方法，通过一种跨域自动数据增强的技术来为数据稀缺领域进行扩充。这个方法用强化选择器从目标数据分布中自动选取样本，来提升学生模型的表现。大量的实验表明，所提出的方法在四个不同的任务上明显优于最新的基准，对于数据稀缺的领域，压缩的学生模型甚至比原始的大型教师模型表现更好，参数更少（只有～13.3％）。

PPT下载

沟通交流

想要了解更多活动信息请扫码添加小助手微信，了解更多AI学习资源。如有学术工作想要分享也欢迎和我们联系沟通。