Anthropic宣布禁止“虐待”其旗下AI

格隆汇10月9日｜据美国科技媒体The Verge报道，Anthropic对其AI使用政策作出调整，以应对新的高风险滥用行为，包括选举干预、武器开发、监控，以及医疗和金融领域的应用。但其中一项最重要的变化是，禁止对Claude进行“持续且不必要的虐待或残忍行为”。去年8月，该公司宣布，作为其“模型福祉”研究的一部分，将允许Claude终止与“持续实施有害或辱骂行为”的用户的对话。此次更新指出，终止对话仍是“主要执行机制”；对于是否会采取进一步的执行措施（例如可能封禁用户），Anthropic未予置评。Anthropic表示，新政策更新“仅适用于极端情况，即用户在毫无明显目的的情况下反复对我们的模型实施残酷行为。该政策不适用于用户常见的不满、反驳、黑暗创意主题，以及模型测试和研究等情况。”