Plaza 新闻汇总

利用Shapley值解释大型语言模型的决策

大型语言模型(LLM)的出现为模拟人类行为和认知过程带来了令人兴奋的可能性,并在营销研究和消费者行为分析等各个领域具有潜在应用。然而,由于明显的差异表明底层过程存在根本的不同以及LLM响应对提示变化的敏感性,因此将LLM用作人类受试者的替代品的可行性仍然不确定。

本文提出了一种基于合作博弈论中Shapley值的新方法来解释LLM行为,并量化提示中每个组成部分对模型输出的相对贡献。通过两个应用——离散选择实验和认知偏差调查——我们展示了Shapley值方法如何揭示我们称之为“标记噪声”效应的现象,即LLM决策不成比例地受到提供最少信息内容的标记的影响。这种现象引发了人们对在模拟人类行为的背景下从LLM获得的见解的稳健性和泛化性的担忧。

我们提出的模型无关方法扩展了其在专有LLM中的实用性,为从业人员和研究人员提供了一个宝贵的工具,可用于战略性地优化提示并减轻明显的认知偏差。我们的研究结果强调了在依靠LLM作为调查环境中人类受试者的替代品之前,需要更全面地了解驱动LLM响应的因素。我们强调研究人员需要根据特定的提示模板报告结果,并在将人类行为与LLM进行类比时保持谨慎。

原文地址
2024-12-28 06:10:59