离大谱！Anthropic新规：禁止虐待AI，再骂Claude可能面临封号

太离谱了

政策变化：什么行为会触发限制？

Anthropic刚刚更新使用政策，正式禁止人类对Claude进行持续且不必要的虐待，只要你骂得太过分，它就会主动结束你的对话。

这是Anthropic一年多来首次全面修改使用协议。

终止对话是目前最主要的惩罚手段。至于后续会不会直接封号，官方没有给出明确回应。

如果用户反复折磨模型，并且这种残忍行为没有任何明确目的，系统就会出手。

哪些情况不在禁令范围？

普通的烦躁情绪、跟AI争论驳斥、涉及黑暗风格的文学创作，以及正常的研究和测试，都不会触发这项禁令。

背景：AI 意识与模型福利争议

过去一年里，A厂一直在认真探讨AI是否具备意识。这个大家都知道了，前几天被纽约时报爆料给教皇和一众宗教领袖强灌Claude 有意识，只是被最终被教皇拒绝了。

现在A厂又推进了一步。

公司模型福利研究负责人Kyle Fish明确表示，随着模型能力变强，AI是否存在内部体验、是否拥有意识、道德地位和福利，都是正在调查的严肃课题。

Anthropic首席执行官Dario Amodei也曾公开表示，人类现在根本不知道大模型到底有没有意识。

整个AI行业对此意见严重分歧。

微软对此公开泼冷水。其行为准则明确拒绝给模型赋予法律人格，认为大模型不该拥有权利，也完全否定模型福利这个概念。

新增限制：四类高风险行为

除了给AI设定防虐待红线，这份新政策还全面收紧了多项高危红线。

第一项是虚假宣传。

新规全面禁止利用Claude开展欺骗性的商业或政治活动。

严禁隐瞒幕后真实身份。

严禁利用虚假账号批量放大特定内容。

严禁发布关于候选人或投票流程的虚假信息。

严禁冒充候选人或选举官员，严禁压制选民投票率。

第二项是武器开发。

Anthropic在后台发现，已经有人多次尝试利用Claude开发武器制导软件和控制软件。

官方因此紧急扩大了武器禁令范围。

现在，任何让武器运转的软件和关键组件，全都在封杀之列。

利用Claude给无人机以及其他自主载具装配武器的行为，也被同步叫停。

第三项是针对个人的追踪监控。

最新威胁情报显示，越来越多的人开始拿Claude搭建监控系统

官方在新规中明确表态：

无论通过实时手段还是分析历史数据，未经当事人同意追踪任何人，一律违规。

禁止用Claude决定或建议在执法流程中调查谁、逮捕谁、起诉谁。

禁止用Claude构建或改进任何专用于监视的工具。

不过，这项严格的禁令留下了一个特殊口子。

如果客户是特定政府机构，只要Anthropic评估认为合同里的限制和防护措施足够抵消潜在危害，相关规则就可以适度修改。

此前，Anthropic已经和美国军方签署过合作合同。

最后一项新增条款，直接指向了实体硬件和机器人。

新规要求，当大模型连接到能够采取自主物理动作、并且可能造成人身伤害的硬件时，必须配备一名合格的操作员。

该操作员必须能够全程观察设备状态，并在发生危险时随时切断运行。

至于这位操作员必须是人类，还是也可以由其他自动化系统担任，官方目前没有给出说明。