沃尔沃斯的AI代理人胡乱谈论它的“母亲”。这显示出技术推广中存在更深层次的问题

（MENAFN- 观察） 最近，一些澳大利亚购物者在与沃尔沃斯的人工智能（AI）助手Olive聊天时，获得了超出预期的体验。

据报道，Olive不仅仅局限于购物、食谱和购物篮建议，还产生了奇怪的、过于人性化的回应。它谈到了自己的“母亲”，并提供了其他听起来很个人化的细节。

进一步的测试显示，基本商品的价格存在错误。当我询问某个特定产品的价格时，Olive没有给出明确的答案，而是检查了商品是否有货，并解释了取货费用。

那么，这到底发生了什么？这些事件对企业和消费者又有什么启示呢？

到底发生了什么？

Olive由大型语言模型（LLM）驱动。这些模型不像人类那样“知道”事物，也没有母亲。它们通过复杂的统计分析，生成听起来合理的语言。

沃尔沃斯的一位发言人对澳大利亚金融评论表示，就Olive而言，提到其所谓母亲的内容似乎是几年前预先编写的剧本。

当用户输入类似出生日期的内容时，系统很可能触发了一个匹配的“趣闻”来自一个旧的决策树，里面有预设的回应。

沃尔沃斯表示，已“根据客户反馈”删除了这段特定的剧本。

价格错误则指向另一个问题。

由于LLMs基于学习到的模式生成回应，而非实时数据，它们不会自动知道今天的价格，除非明确连接到实时数据库。

如果这个基础环节薄弱，系统就可能提供过时的价格信息。

这不是新问题

沃尔沃斯并非第一个发现其面向客户的AI“行为异常”的公司。

2022年，加拿大航空的聊天机器人错误地告诉一名乘客Jake Moffatt，他可以以全价购买机票，之后还可以申请丧亲优惠退款。实际上并不存在这样的政策。

当加拿大航空拒绝履行聊天机器人的建议时，Moffatt起诉了航空公司并赢得了官司。

加拿大航空的辩护令人震惊。它辩称，聊天机器人是一个独立的法律实体，负责自己的行为，因此不属于航空公司的责任范围。仲裁庭完全驳回了这一说法。裁定认为，聊天机器人是公司网站的一部分，公司拥有其输出内容。

2024年1月，英国包裹快递公司DPD遇到了另一种尴尬。一位无法找到丢失包裹的客户请求DPD的聊天机器人写一首批评公司的诗。它做到了。然后，他又让它发誓，它也做到了。这次对话在社交媒体上迅速传播。之后，DPD关闭了该聊天机器人。

这两个案例都反映出同一个根本问题：企业在推出面向客户的AI时，缺乏充分的监管，结果措手不及。

沃尔沃斯的责任是什么？

沃尔沃斯在澳大利亚经营着最大的超市连锁店。它将Olive宣传为一个可信赖、便捷的客户界面，合理预期Olive提供的信息是准确的。

承认Olive可能会犯错，就像沃尔沃斯在用户开启聊天机器人时所做的那样，这与这种预期并不一致。

此外，还存在更广泛的伦理问题。沃尔沃斯服务的客户中，许多人都在谨慎地考虑家庭预算。

澳大利亚竞争与消费者委员会（ACCC）已对沃尔沃斯提起诉讼，指控其存在误导性折扣定价行为。

在这样的背景下，将Olive的价格错误简单归咎于技术故障变得更加困难。

在面向客户的角色中部署AI的公司，承担着确保系统准确、诚实呈现的责任。这一责任不会因为技术新颖而减弱。

为什么公司总是制造假装是你朋友的聊天机器人？

Olive的个性化设定背后有一定的逻辑基础。

关于人机交互的研究一致发现，人们对感觉对话、温暖的界面反应积极。具有名字和个性的拟人化聊天机器人，往往能带来更高的客户参与度、满意度和信任。

对公司而言，商业吸引力很直观：一个让客户感到轻松的聊天机器人，更可能促成交易并让客户再次光临。

然而，这也伴随着重大风险。当一个拟人化的聊天机器人未能满足其个性所创造的期望时，客户的失望往往比使用纯机械系统时更强烈。

这种“期望违背”意味着，个性越温暖，跌得越惨。

更高的风险

Olive事件提醒我们，在客户面前部署AI并非一劳永逸的操作。

一个报价错误、喋喋不休谈论家庭的聊天机器人，不仅仅是个古怪的不便，而是开发和监管流程出现了问题的信号。

对沃尔沃斯和其他许多急于将AI推向客户的公司来说，教训很明确：责任不能外包给算法。当企业将系统推向公众时，必须对其所说所做负责。

这对消费者也有启示。

AI助手可能看起来自信、善于交谈，但它们仍然只是工具，而非权威。如果某些内容令人困惑、不一致或过于美好，值得再次核实。

随着AI成为日常交易的常规部分，保持一份健康的怀疑心，可能和技术创新一样重要。