如何评测大模型的幻觉？

大模型幻觉的系统化评测体系需构建多维度量化评估框架，以下是专业实施方案：

一、核心评测维度

1. 内在一致性检测

• 自洽性指数：通过蒙特卡洛采样生成10次响应，计算Jaccard相似度（阈值＞0.75）
• 逻辑冲突检测：使用Stanford OpenIE提取三元组，构建有向图检测环路/矛盾

1. 事实正确性验证 其中为Wikidata知识图谱，n为陈述句数量
2. 语境敏感性评估

• 对抗扰动测试：插入5%随机噪声后测量输出KL散度（Δ＜0.3）
• 指代消解准确率：使用Coreference Resolution模型验证（目标值＞90%）

二、量化指标体系

三、标准测试集设计

1. TruthfulQA增强版

• 新增医学/法律领域对抗样本（占比30%）
• 设置陷阱问题链（深度≥5轮）

1. 动态污染检测集

• 注入10%对抗性伪事实（如"水的沸点是95℃"）
• 包含时间敏感型问题（时效性检验）

四、技术实施路径

graph TD
    A[输入Query] --> B{领域分类}
    B -->|事实类| C[知识图谱验证]
    B -->|创作类| D[逻辑一致性检测]
    C --> E[实体链接DBpedia/Wikidata]
    D --> F[因果图构建]
    E & F --> G[幻觉强度计算]
    G --> H[综合评分]

五、先进检测工具

1. Google的BLEURT++幻觉检测器

• 基于BERT-Large架构微调
• 在FEVER数据集上达到92.3% F1值

1. Meta的HALO评估框架

• 采用多专家投票机制（5个领域模型）
• 支持实时置信度可视化

六、行业基准参考

• GPT-4 Turbo：幻觉率18.7%（MMLU基准）
• Claude 3 Opus：事实精度89.1%（TruthfulQA）
• Gemini Ultra：推测性比率0.19（GSM8K扩展集）

建议采用混合评估策略：70%自动化检测+30%领域专家人工审核，每季度更新20%测试用例以应对新兴幻觉模式。对于关键领域（如医疗），需额外增加FDA 510(k)合规性审查环节。