深度学习进阶篇-预训练模型[4]：RoBERTa、SpanBERT、KBERT、ALBERT、ELECTRA算法原理模型结构应用场景区别等详解 1.SpanBERT: Improving Pre-training by Representing and Predicting Spans 1.1. SpanBERT的技术改进点 相比于BERT，SpanBERT主要是在预训练阶段进行了调整，如图1所示，具体包含以下几部分： 随机地Masking一段连续的token 增加了一项新的预训练任务：Span boundary Objective (SBO) 去掉了NSP任务 图1 Spa...
