微精选

社会模拟（Social Simulation）通过模拟仿真真实世界的系统来模仿人类行为和特性，为社会科学研究提供了理解在现实生活难以实际观察的现象的窗口工具^[1]。大语言模型（Large Language Model，以下简称为LLM）的强势兴起为社会模拟注入了新活力，大量相关研究如雨后春笋般出现。LLM究竟能否应用于社会科学研究，有哪些潜在问题，以及有哪些可能解决方案？本文将围绕这三个问题进行探讨。

社会科学 (Social Science) 是研究人类的一系列学科，包括人们如何思考（心理学）、交流（语言学）、建立管理和价值体系（政治学、经济学）、集体运作（社会学）以及在不同时期创造文化（文学、人类学、历史学）^[2]。

图1. 社会科学的研究领域 [2]

近二十年来，得益于大数据和计算能力的发展，2009年David Lazer等学者在Science发表文章提出了“计算社会科学（Computational Social Science）”概念：使用计算手段研究大规模复杂的人类行为。^[3,4] 其中，基于代理的社会模拟（Agent-based Social Simulation，以下简称ABSS）是一个重要研究范式。它通过设计环境、代理和交互规则来仿真真实世界系统，模仿人们的行为或特性^[1]。它能够帮助研究者理解、分析、预测那些无法在现实生活观察或控制的现象。

LLM具有的强大的感知、推理、角色扮演、自我进化表现为ABSS带来了新的机会。为LLM设计合理的规则和程序构建而成的LLM 智能体有足够能力代替真人进行社会模拟实验。

图2. ABSS需求与LLM Agent的能力的对应^[1]

大量围绕社会科学话题的LLM研究如雨后春笋般出现，如图3所示，包括个人层面和社会层面的模拟工作，以及众多可用的开源模拟平台工具^[5-10]。本文讨论的重点并非LLM应用于某项具体的模拟工作，而更关心LLM在一般的社会模拟研究中的能力，因此在此仅作简单列举。

图3. LLM ABSS的部分工作示例^[5-10]

相关研究梳理

本文将围绕“LLM究竟能否应用于社会科学研究，有哪些潜在问题，以及有哪些可能解决方案？”这三个问题进行相关研究梳理。

图4. 相关研究梳理

LLM应用于社会科学模拟

LLM能够应用于计算社会科学 研究2筛选了25个代表性计算社会科学基准，将其整理为分类或生成任务，使用F1分数和人类评分评测了LLM进行计算社会科学能力。实验发现，LLM能够达到与人类相当的水平，并能够生成超过人类的高质量文本，但未超过微调后的LLM。

LLM可以代替人类群体进行社会科学模拟 Gati Aher等人^[11]提出了图灵实验（Turing Experiment）方法，选取四个经典的社会学实验，通过设定不同的名称和性别，在整个人类群体维度上考察LLM能否模拟具有代表性的参与样本。他们发现，使用LLM作为参与者能够重现实验结果，并且能够抓住人类行为中的性别偏差，但也发现了过于理想化的偏差。

图5. LLM能够复现社会学实验 ^[11]

LLM能够预测社会科学实验结果  研究12选取了涵盖多个学科领域的70项全国代表性的调查实验，涉及476种实验处理效应。GPT-4通过模拟美国代表性样本，对实验刺激生成对参与者的反应的预测。实验发现，GPT-4的预测能够和真实实验效应达到r=0.85的高相关性，且对于不在GPT-4训练数据中的研究也有高预测准确性。

LLM能够模拟特定人类亚群  研究13在美国政治和公众舆论话题上进行了人类亚群体态度和行为的模拟。GPT-3生成的反应与人类样本的反应在内容、语调和模式上高度一致，表明其能够模拟人类亚群体的态度和行为。

图7. GPT – 3使用了与人类相似的词集合^[13]

[11] Aher G V, et al.Using large language models to simulate multiple humans and replicate human subject studies[C] International Conference on Machine Learning. PMLR, 2023:337-371.

[12] Hewitt L, et al. Predicting results of social science experiments using large language models[J]. Preprint, 2024.

[13] Argyle L P, et al.Out of one, many: Using language models to simulate human samples[J]. PoliticalAnalysis, 2023, 31(3): 337-351

LLM进行社会模拟的问题

模拟一致性差  研究14在10个计算社会科学相关的话题上进行了LLM模拟的可靠性评估,即LLM生成的响应是否与预定义的角色特征一致。大多数LLM在模拟中表现良好，但一些LLM在模拟中表现出显著的不一致性，对同一问题的不同表述给出了不同的答案。

图 8. LLM生成响应不一致图示 ^[14]

回答多样性差且不稳定  研究15考察了LLM能否代替人类调查数据来反映公众意见,结果发现尽管LLM能较好地体现公共意见的总体平均值，但在多样性、准确估计相关性以及数据的稳定性和可重复性方面存在严重问题,对提示词和模拟时间敏感。

图 9. 不同人群的平均意见分数 ^[15]

LLM不能很好地代表人群观点  研究16探讨LLM所反映的观点与人类观点之间的对齐情况.研究发现,LLM只能表达某些群体的主导观点,且这种一致性不能跨主题保持,而某些人口群体的观点在所有模型中都未能得到很好表达.在适当提示下,特定群体的观点一致性能得到一定程度的提高,但未解决问题.

图 10. (a) LLM在不同群体的观点上的一致性; (b) 在适当提示下LLM在特定群体观点上的一致性有一定提高 ^[15]

错误刻画与扁平化   Angelina Wang等人在Nature Machine Intelligence发表文章[17]表明LLM在赋予性别、种族等社会身份后,代表的观点出现了错误刻画和扁平化现象.首先,LLM的输出更倾向于反映外群体对该群体的看法，而不是内群体自身的看法。其次,LLM倾向于生成单一化的群体形象，忽略了群体内部的多样性。这将会进一步强化刻板印象,抹除边缘化群体声音.

图11. LLM将群体声音扁平化 ^[17]

训练与测试数据局限   除了开展实验之外,研究人员也从训练和测试时使用的数据对LLM在模拟人类社会行为的局限性进行了讨论[18-19].首先,LLM的训练数据缺少对对人类内在心理状态和个体生活经历的刻画; 第二, LLM缺少人类内在动机的决策能力;第三,LLM训练数据中存在偏差,导致结果不公平和片面;第四,许多AI基准测试直接以单一的’正确’答案作为标准,并不能准确地反映人类真实判断,且忽略了人类决策的差异和不确定性.

图12. 基准测试标注与人类实际反应之间存在显著差异^[19]

[14] Huang Y, et al. Social Science Meets LLMs: How Reliable Are Large Language Models in Social Simulations?[J]. arXivpreprint arXiv:2410.23426, 2024.

[15] Bisbee J, et al. Synthetic replacements for human survey data? the perils of large language models [J]. Political Analysis, 2024, 32(4): 401-416.

[16] SanturkarS, et al. Whose opinions do language models reflect?[C]//International Conference on Machine Learning. PMLR, 2023: 29971-30004.

[17] Wang A, et al. Large language models that replace human participants can harmfully misportray and flatten identity groups[J]. Nature Machine Intelligence, 2025: 1-12.

[18] Wang Q, et al. From ChatGPT to DeepSeek: Can LLMs Simulate Humanity?[J].arXiv preprint arXiv:2502.18210, 2025.

[19] Ying L, et al. On Benchmarking Human-Like Intelligence in Machines [J]. arXiv preprint arXiv:2502.20502, 2025.

提高LLM社会模拟能力的可能途径