🧠AI 冷知识
你知道吗?
这些有趣的 AI 小知识可能让你大吃一惊
🎯
趣闻命名实体识别(NER)看似简单——找出文本中的人名、地名、机构名,但中文NER尤其难。"苹果"是水果还是公司?"中国移动"的边界在哪?加上嵌套实体(如"北京大学信息科学技术学院"),NER至今仍是NLP的硬骨头。
一句话总结
💡
NER(命名实体识别)将文本中的人名、地名等实体标注出来,常用 BIO 标注体系与 BiLSTM-CRF 或 Transformer 模型。
常见误区
这些坑别踩
✗
误区 1
NER 就是分类任务。
✓
正确理解
NER 是序列标注任务,标签间有依赖关系(如 I-LOC 不能接在 O 后),CRF 正是建模这种依赖。
✗
误区 2
不用 CRF 直接输出每个位置的标签即可。
✓
正确理解
不加 CRF 可能出现非法标签序列,CRF 通过转移矩阵保证全局一致性。
✗
误区 3
BIO 和 IOBES 标注效果一样。
✓
正确理解
标注体系影响边界识别,IOBES 显式区分单字实体在部分任务更优。