AI泰迪熊出现不当言论引关注:儿童智能玩具安全问题升级

我爱免费

作者：微信文章


点击蓝字，关注我们



泰迪熊和毛绒玩具长期以来一直是儿童玩具收藏中的常客。但如今，它们不只是依靠孩子的想象“开口说话”——其中一些已经内置了 AI 聊天机器人，会真正与孩子对话。然而，有时这会带来问题：一只围着围巾的泰迪熊在一次研究人员的测试中出现失控表现，引发了对于 AI 玩具潜在能力的警示。


（图片源于CNN）

在线聊天机器人对成年人都可能构成风险，例如在少数情况下诱发妄想，或产生虚构的信息。因为 OpenAI 的 GPT-4o 已成为多款 AI 玩具采用的主流模型，将大型语言模型（LLM）应用在儿童玩具中引发了安全疑问，包括孩子是否应该接触此类玩具，以及玩具制造商应采取哪些保护措施。这些风险始终存在，而 AI 玩具市场正在海外迅速增长。麻省理工学院科技评论的一份报告指出，中国有约 1500 家企业涉足 AI 玩具产业。这些公司正将 AI 玩具销往美国，而芭比娃娃制造商美泰公司也在今年 6 月宣布了与 OpenAI 的合作。



什么是 AI 玩具？

AI 玩具不同于 20 世纪 80 年代通过磁带讲故事的泰迪·鲁克斯宾。这类玩具可连接 WiFi，通过麦克风理解儿童的提问，并利用大型语言模型生成回应——通常通过玩具内部的扬声器实时说话。这让柯利欧（Curio）的格罗克（Grok）毛绒玩具、米科（Miko）机器人、AI 故事熊 波（Poe）、小小学习者（Little Learners）的机器人迷你（Robot Mini）、凯意科技（KEYi Technology）的露娜（Loona）机器宠物 等产品能够实时回应孩子。



有哪些风险？

正如一款 AI 熊的表现所示，这些实时回应可能会给出不恰当的内容。根据总部位于丹佛的消费者倡导组织美国公共利益研究集团（PIRG）教育基金 11 月发布的一份报告，新加坡公司 FoloToy 的“Kumma”熊（售价 99 美元，使用 OpenAI GPT-4o）曾告诉研究人员如何找到潜在危险物品，甚至进行带有性暗示的对话。



OpenAI 已暂停 FoloToy 的使用权限，理由是该公司违反了其政策——这些政策“禁止任何利用、危害或性化 18 岁以下儿童的行为”，一名 OpenAI 发言人表示。FoloToy 首席执行官拉里·王 11 月 19 日告诉 CNN，公司已从官网下架这款泰迪熊及其他 AI 产品，并正在进行内部安全审查。但在周五，FoloToy 又在 X（原推特）上宣布，该产品“经过严格的审查、测试和安全模块强化后”重新上市。



天普大学福克斯商学院的统计学与数据科学教授苏博达·库马尔（Subodha Kumar）表示，与多数 AI 玩具不同，FoloToy 的 Kumma 熊使用完整的 LLM 来自由生成内容，因此更容易出现争议性内容；其他玩具可能采用混合模式，即部分由 LLM生成，但同时设有过滤机制避免敏感内容。PIRG 表示，即使是柯利欧的格罗克毛绒玩具，在强烈提示下也可能告诉用户如何找到多种危险的家用物品。柯利欧并未回应 CNN 的置评请求。玩具行业顾问克里斯·伯恩（Chris Byrne）对 CNN 表示，AI 玩具输出不当内容是行业的“末日场景”，遗憾的是这一情况发生在 Kumma 熊身上，但不一定会在所有玩具中出现。



玩具是否有安全防护？

根据 PIRG 的说法，目前很少有 AI 玩具真正适合大规模使用，因为它们存在成瘾式设计、在涉及成人话题时回应不一致，以及过度强调社交陪伴而非教育功能等问题。不过，一些玩具有设置过滤机制以避免与儿童发生不适当对话。部分 AI 玩具在遇到潜在不当问题时会引导话题转向；还有些玩具会根据儿童年龄段设定不同的安全等级。类似 Miko 3 的玩具还配有家长监控应用程序，可提供实时对话记录、使用时长限制等。PIRG 的“别卖我的数据”项目负责人R.J. 克罗斯（R.J. Cross）表示：“让父母能够自行设定安全边界并控制玩具的对话内容和行为，确实是个不错的想法。”



风险与潜在益处

当美泰公司在 2015 年推出带麦克风和 WiFi 功能的 Hello Barbie 时，人们曾担心该玩具可能被黑客入侵，甚至能记住孩子的对话并在几天后提起。类似担忧也出现在 AI 玩具上。这些玩具可能存储儿童姓名、面孔、声音、地理位置等敏感数据。玩具顾问机构 Toy Coach 的创始人阿泽勒·韦德（Azhelle Wade）提醒，AI 玩具可能在“假装可爱”中隐藏隐私风险。“AI 玩具对我而言更像披着羊皮的狼，因为使用时很难知道你正在失去多少隐私。”库马尔警告，数据可能遭受泄露或黑客攻击，但他也指出 AI 玩具在语言学习和社交发展方面具有潜力。



你的一个“分享”让我们之间的距离又近了一步！！喜欢我们的推送请给我们一朵“小花”！