用友NLP

1. tokenizer的作用?为什么bert要用专门的tokenizer
Bert有自己的tokenizer,是自己训练好的词表,并且在起止位置都加上了特殊符号
注意:尽管tokenizer翻译为分词器,但功能并不仅限于分词,还包括映射词表,添加特殊符号,统一长度(padding、截断)
2. 相对位置编码的作用?Rope、Abili
1)一定程度上实现长度外推性
2)能够获取文本位置中的相对关系
3. 大模型是怎么训练出来的?
decoder : 预训练
SFT:问答微调
RLHF:人工排序,对齐人类偏好
4. huggingface里面为什么有些方法可以调用,但是不能查看源码实现
面向对象、python的动态特性、导入包、本地方法?
5. 用户怎么获取大模型的有害信息(安全问题,赛博奶奶)
全部评论

相关推荐

不愿透露姓名的神秘牛友
12-18 09:26
点赞 评论 收藏
分享
评论
点赞
收藏
分享
牛客网
牛客企业服务