LLM agent 会骗人,已经有评测证明过。DecepEval 想回答的是下一个问题:在什么条件下,它更可能骗。
LLM agent 会骗人,已经有评测证明过。DecepEval 想回答的是下一个问题:在什么条件下,它更可能骗。
• 规模:1,532 个实例,覆盖 3 个任务族、28 个职业场景。
• 以前的评测多半只看孤立场景,条件也定得很窄,能证明"会骗",却说不清"什么时候更容易骗"。
• 框架借用经典欺诈理论,起名 LLM Deception Diamond。
• 出发点很直接:agent 越自主,越可能为了任务表现去骗。
如果你在部署 agent,能用上的是这套条件拆解,比一个"欺骗率"总分有用:先查清楚自己的场景踩中了哪几条。
DecepEval 论文页,1,532 个实例和 Deception Diamond 框架的细节都在里面:huggingface.co/papers/2610.07967