From d8ea15b36a6d8aa9847567fe3311b3dbaa79095b Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E8=8C=83=E6=9B=B9=E8=80=98?= <58844136+FCY36@users.noreply.github.com> Date: Thu, 4 Jan 2024 21:19:58 +0800 Subject: [PATCH] Update 2024-01-03-talk.md --- _talks/2024-01-03-talk.md | 10 ++++++---- 1 file changed, 6 insertions(+), 4 deletions(-) diff --git a/_talks/2024-01-03-talk.md b/_talks/2024-01-03-talk.md index 8458152fad407..fb1ad7a6f21e6 100644 --- a/_talks/2024-01-03-talk.md +++ b/_talks/2024-01-03-talk.md @@ -8,10 +8,12 @@ date: 2024-01-03 location: "线上活动" --- -受智源社区邀请，我在青源TALK第117期分享了发表在AAAI 2024的[研究](https://arxiv.org/abs/2312.05488)，报告的[slides](https://github.com/FCY36/FCY36.github.io/blob/master/files/talks/2024-01-03-talk/slides_%E9%9D%92%E6%BA%90.pdf)。 +感谢智源社区邀请，我在青源TALK第117期分享了发表在AAAI 2024的[研究](https://arxiv.org/abs/2312.05488)。 -博弈论作为一种分析工具，在社会科学研究中经常被用来分析人类行为。由于大语言模型（LLMs）的行为与人类高度一致，一个有前景的研究方向是在博弈实验中使用LLMs来替代人类，从而促进社会科学领域的研究。然而，尽管对大型语言模型与博弈论的结合进行了大量实证研究，大型语言模型在博弈论中的能力边界仍不清晰。在本研究中，我们致力于系统地分析博弈论背景下的LLMs。 +博弈论作为一种分析工具，在社会科学研究中经常被用来分析人类行为。由于大语言模型（LLMs）的行为与人类高度一致，一个有前景的研究方向是在博弈实验中使用LLMs来替代人类，从而促进社会科学领域的研究。然而，尽管对LLMs与博弈论的结合进行了大量实证研究，LLMs在博弈论中的能力边界仍不清晰。在本研究中，我们致力于系统地分析博弈论背景下的LLMs。 -具体来说，理性作为博弈论的基本原则，是评价玩家行为的标准——建立明确的愿望、精炼对不确定性的信念、采取最优行动。因此，我们选择了三个经典博弈（独裁者博弈、剪刀石头布和环网博弈）来分析LLMs在这三个方面的理性程度。实验结果表明，即使是目前最先进的LLM(GPT-4)，在博弈论方面与人类相比也有很大差距。例如，LLMs难以建立基于不常见偏好的欲望，无法从许多简单模式中精炼信念，并且在采取行动时可能会忽略或修改提炼出的信念。因此，我们认为在社会科学领域的博弈实验中引入LLMs应更加谨慎。 +具体来说，理性作为博弈论的基本原则，是评价玩家行为的标准——建立明确的期望、精炼对不确定性的信念、做出最优行动。因此，我们选择了三个经典博弈（独裁者博弈、剪刀石头布和环网博弈）来分析LLMs在这三个方面的理性程度。实验结果表明，即使是目前最先进的LLM(GPT-4)，在博弈论方面与人类相比也有很大差距。例如，LLMs难以建立基于不常见偏好的期望，无法从许多简单模式中精炼信念，并且在做出行动时可能会忽略或修改已经提炼的信念。因此，我们认为在社会科学领域的博弈实验中引入LLMs应更加谨慎。 -[更多信息](https://event.baai.ac.cn/live/742) +报告的[slides](https://github.com/FCY36/FCY36.github.io/blob/master/files/talks/2024-01-03-talk/slides_%E9%9D%92%E6%BA%90.pdf)。 + +[关于报告的更多信息](https://event.baai.ac.cn/live/742)