本文是对「persona / 角色化 LLM 用于产品需求认知、判断与分发」的证据审查：共 25 条结论，每条经三票对抗式核验存活(另有 5 条「看似合理」的表述在核对原文后被否决)。证据分三档：【核验】=对照一手论文或文档逐字核实；【判断】=由核验证据推导的分析。文末如实列出未覆盖的缺口。这是快速演变领域的快照(2026 年年中)，不是选型结论。
先给总裁决。角色认知不提升判断的准确率，它改变的是判断的视角与行为分布；而把角色组织成流水线传递需求，独立证据表明弊大于利。下面分四块论证。
一、根基：persona 提示的实证科学【核验】
- 客观和事实类任务上，加 persona 无可靠增益。Zheng et al.(EMNLP 2024 Findings)做了迄今最系统的实验，162 个角色乘 4 个模型家族乘 2,410 道事实题，结果是 system prompt 里加 persona 不比不加好，逐角色效应近乎随机噪声。更关键的是，「自动挑最佳专家角色」的路由策略不优于随机选。2025 年 12 月 Wharton 团队用更新的模型独立复现了同一结论。
- 某些角色会主动拉低成绩。Gupta et al.(ICLR 2024)给 ChatGPT-3.5 指派 19 个社会人口学角色，80% 的角色在推理数据集上表现出可测偏差，个别数据集掉分超过 70%；GPT-4-Turbo 减轻但未消除，42% 角色仍可见。注意这测的是人口学角色，不构成「专家角色有害」的证据。
- 逐题解剖显示它近乎对称地两头开。Kim et al.(2025)发现，加 persona 让 15.75% 的题由错变对，同时 13.78% 由对变错，净收益约 2 个百分点，方差巨大。
- 真正的加分区是主观、视角依赖的任务(讽刺检测、立场判断等)，动态选视角平均提高 3 到 5 分(ACL 2025 Findings)。增益存在但是个位数，而且没有任何固定视角能跨任务泛化。
二、用角色模拟用户做需求发现【核验】
- 聚合保真度可以很高。Argyle et al.(Political Analysis 2023)用人口学背景故事调节 GPT-3 复刻真实受访者投票选择，tetrachoric 相关 0.90 到 0.94；Stanford Park et al. 2024 用两小时真人访谈构建 1,052 个 generative agent，复刻本人问卷回答达到「本人两周后重测一致性」的 85%。
- 但失效边界正好落在产品研究最需要的人群上。同一份 Argyle 研究里，对摇摆、低卷入、态度未定的人群，复刻直接崩溃，tetrachoric 最低只有 0.02。对应到产品语境就是沉默用户、未转化用户、还没想清楚要什么的用户。你最需要听见的人，恰是模拟最失真的人。
- 结构性缺陷，提示工程救不了。Nature Machine Intelligence 2025(3,200 名真人对照)发现，LLM 代入群体身份时系统性压扁群体内的多样性并把特征漫画化，作者论证这是训练方式的内在局限，推理期缓解「只能减少、不能消除」。操作建议是：身份与任务相关时，不要用 LLM 替代真人。
- 「模拟用户说想要」与真实付费意愿的相关性，在全部证据中零数据。这是空白，不代表没问题。
三、角色化多智能体流水线：自报数据与独立测试
MetaGPT(PM 到架构师到工程师到 QA)和 ChatDev 把「角色认知」组织成了软件公司式流水线。正反证据现在都很硬：
正方(全部来自框架作者自报)
- ChatDev 消融是「角色有效」的最强直接证据。只从 system prompt 删掉角色描述、流水线不动，是所有组件里掉分最狠的(Quality 从 0.3953 掉到 0.2212，比删掉去幻觉机制掉得多)。定性例子是给程序员 agent 加「偏好 GUI」角色，产出真的从命令行变 GUI，说明角色确实改变行为分布。限定条件是：自建 benchmark、部分自动化自评、GPT-3.5 时代，而且这个消融从未被独立复现。
- MetaGPT 自报 HumanEval 85.9%，但其 GPT-4 基线(67%)被社区实测质疑(约 86.6%)。若属实，MetaGPT 只是持平单模型，不是超过。其角色消融只跑 2 个任务、不控 token；论文自己承认头条增益的 22% 到 27% 来自「跑代码、调试」这套 scaffolding，不来自角色。
反方(独立测试，方向一致)
- E2EDev(ACL 2026,46 个真实项目 / 244 条需求 / 703 个可执行测试)：GPT-4o 底座下需求准确率排序是，单 agent GPT-Engineer 50.83%，裸提示 45.95%,ChatDev 42.71%,MetaGPT 0.00%(流水线整体崩溃)；换 Claude 底座同样排序。成本反而贵 6 到 12 倍、慢 6 到 7 倍。
- 失败机制直击「角色做需求分发」。E2EDev 的解剖显示，MetaGPT 25% 的失败是需求缺失，部分原因是产品经理 agent 反复改写、压缩原始需求。角色接力的每一跳，都是需求失真的机会。
- MAST(NeurIPS 2025):7 个 SOTA 多智能体系统实测失败率 41% 到 86.7%，失败大头是系统设计与协调，不是模型能力；相对 best-of-N 采样等简单基线，多智能体增益「往往极小」。
- 单 agent 提示够强就追平。ACL 2024 的对撞实验显示，带 few-shot 的单 agent(75.63%)胜过所有多智能体讨论框架，多智能体只在提示不含示例时才赢。多智能体的增益，很大程度上是在补偿弱提示。
- 「唱反调」是量化过的失败模式。ICML 2024 的实验里，被提示「即使对方正确也要反驳」的 devil 角色让辩论框架垫底；把它校准到约 90% 同意强度后，同一框架提高 15 个百分点，从最差变成最佳。评审角色的反对倾向是需要显式校准的超参数，不是越凶越好。
四、未覆盖的缺口(如实交代)
以下三块在本次研究中没有拿到可引用的核验数据，涉及时请按定性常识对待：第一，需求分类与优先级排序跟人类专家一致性的具体 benchmark 数字；第二，工单路由的工业落地数字(Zendesk、Atlassian 等官方准确率)；第三，LLM-as-judge 位置偏差、冗长偏差、自我偏好偏差的原始量化。
五、可行性矩阵与落地建议【判断】
| 任务 | 方案 | 角色认知的角色 |
|---|---|---|
| 需求分类 / 聚类 / 初筛路由 | 单模型全自动 + 结构化输出 + eval 集 | 无准确率红利，别把预算花在角色设计上 |
| 视角覆盖检查(谁受益 / 谁受损) | 轮换「新用户 / 重度用户 / 付费用户」视角跑同一模型 | 唯一有证据的加分区：它改变视角，不提升准确率 |
| 需求空间探索 / 访谈假设生成 | 用真实反馈原文接地的模拟用户 | 仅用于探索，禁做验证；别凭空编画像 |
| 优先级建议 | 单模型 + 置信度输出，人拍板 | 不建议用角色；评审角色的质疑强度须显式校准 |
| 多角色流水线自动传递需求 | 别做 | 独立证据：角色接力即失真，贵 6 到 12 倍 |
| 最终取舍 / 付费验证 / 战略 | 人 | 模拟意愿不等于付费意愿，零数据支持替代 |
给一人公司和小团队的最小落地方案：第一，需求分诊管线用单个强模型加结构化输出加小 eval 集，低置信强制人工。第二，persona 只用在一处，对每条候选需求跑三个用户视角的「谁受益、谁受损」覆盖检查。第三，评审环节用校准过的温和质疑，不要强制唱反调。第四，模拟用户只拿来生成访谈问题，验证永远找真人。
主要来源(均对照原文核验)：Zheng et al.《When 「A Helpful Assistant」 Is Not Really Helpful》(EMNLP 2024)、Gupta et al.《Bias Runs Deep》(ICLR 2024)、Kong et al.(NAACL 2024)、Wang et al.(ACL 2025 Findings)、Argyle et al.《Out of One, Many》(Political Analysis 2023)、Park et al.《Generative Agent Simulations of 1,000 People》(2024)、Wang et al.(Nature Machine Intelligence 2025)、CoMPosT(EMNLP 2023)、MetaGPT(ICLR 2024)、ChatDev(ACL 2024)、E2EDev(2025)、MAST(NeurIPS 2025)、Wang et al.(ACL 2024)、Smit et al.(ICML 2024)。共约 215 个检索与核验代理、三轮研究；25 条存活、5 条被否；「核验 / 判断」与自报数字、争议处均逐条标注。