人类通过让用户投票赞成其价值来建立民主AI聊天机器人

特里斯坦·格林(Tristan Greene)7小时前通过让用户投票赞成其价值来建立民主AI聊天机器人的价值响应1,000个测试主题的价值响应被用来调整更民主的大型语言

特里斯坦·格林(Tristan Greene)7小时前,人类通过让用户投票赞成其价值

1,000个测试对象的价值响应被用来调整更民主的大型语言模型。

636总看法16总股票收听第0:00新闻加入我们的社交网络

在可能的首个研究中,人工智能(AI)公司的人类拟人化已经开发了一种大型语言模型(LLM),该模型对其用户社区进行了微调以进行价值判断。

对人工智能发展更加民主意味着什么?为了找出答案,我们与@Collect_Intel合作使用@usepolis根据约1000名美国人的意见来策划AI宪法。然后,我们使用宪法AI训练了针对它的模型。pic.twitter.com/zkaxw5k9su

– 拟人化(@anthropicai)2023年10月17日

已经开发了许多面向公共的LLMS,它是通过护栏(指定特定行为的编码说明)进行的,以试图限制不需要的输出。例如,Anthropic的Claude和Openai的Chatgpt通常会为用户提供对与暴力或有争议的主题相关的输出请求的罐装安全响应。

但是,许多专家认为,护栏和其他介入技术可以用来删除用户的代理,因为认为可以接受的东西并不总是有用的,而且认为有用的东西并非总是可以接受的。同时,关于道德或基于价值的判断的定义在文化,人群和时间段之间可能会有所不同。

相关:英国在计划的11月峰会上针对潜在的AI威胁

一种可能的补救措施是允许用户决定AI模型的价值对齐。Anthropic的“集体宪法AI”实验是一次“凌乱的挑战”的尝试。拟人化,与Polis和Collective Intelligence项目合作,在各种人口统计学中攻击了1,000名用户,并要求他们通过民意测验回答一系列问题。

资料来源:拟人化

挑战围绕允许用户确定适用的方法而不将其暴露于不适当的产出。这涉及征求用户价值,然后将这些想法实施到已经训练的模型中。

Anthropic使用一种称为“宪法AI”的方法来指导其为安全和实用性调整LLM的努力。从本质上讲,这涉及为模型列出必须遵守的规则清单,然后训练它在整个过程中实施这些规则,就像宪法是许多国家治理的核心文件一样。

在集体宪法AI实验中,人类试图将基于群体的反馈纳入模型的宪法。根据拟人化的博客文章,结果似乎是一个科学上的成功,因为它阐明了实现允许LLM产品用户确定其集体价值的目标的进一步挑战。

该团队必须克服的困难之一是为基准测试过程提供了一种新颖的方法。由于该实验似乎是同类的第一个实验,并且依赖于人类的宪法AI方法,因此没有一个既定的测试来将基本模型与调整为众群体值的基本模型进行比较。

最终,似乎实现用户投票反馈“略微”实现数据的模型优于偏见输出领域的基本模型。

“除了最终的模型之外,我们对流程感到兴奋。我们认为,这可能是公众作为一个小组有意指导大型语言模型的行为的第一个实例之一。我们希望世界各地的社区将基于这样的技术来培训满足他们需求的文化和上下文特定模型。”

原创文章,作者:互联世界,如若转载,请注明出处:https://www.53moban.com/11091.html

联系我们

400-800-8888

在线咨询:点击这里给我发消息

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息