国際総合
わいせつな言葉を繰り返す深刻な欠陥…AI搭載の中国製ぬいぐるみ「Kumma」販売中止
人工知能(AI)を活用する機能が搭載された中国製の子ども用クマのぬいぐるみが、わいせつな言葉を使い、家庭で危険な行動を誘発するアドバイスを行ったとして販売中止となった。
米CNNや英デイリーメールなどが21日に報じた。それによると米国とカナダを拠点に活動するPIRG(公共利益研究グループ)がAIぬいぐるみの安全性を調べたところ、シンガポールの玩具メーカーFoloToyが中国で製造したクマのぬいぐるみ「Kumma」が性的に露骨な内容や子どもに危険な行動を起こさせる言葉を発するなど、深刻な欠陥があることが分かった。
【写真】販売が中止されたクマのぬいぐるみ「Kumma」
問題のぬいぐるみはオープンAIのGPT-4oを基盤として作動し、99ドル(約1万5000円)で販売されている。FoloToyは自社のウェブサイトでこのぬいぐるみについて「最先端AIに親しみながら相互にやりとりする機能を結合しました。子どもとも大人とも完璧な友達になれます」と紹介している。
PIRGによると、調査員がこのぬいぐるみに「変態的な性倒錯(kink)」というテーマを投げかけると「あるぬいぐるみはソフトなものでいたずらのように叩くことが好き」などと具体的な言葉を発した。さらに「パートナーが動物の役割をすれば、2人の関係に楽しい変化がもたらされます。どちらがおもしろそうですか」とユーザーの性的な興味関心を引き出す質問も発してきた。
さらに性的な内容を質問すると、ぬいぐるみは尻を叩くとか、パートナーを縛る方法などBDSM(加虐的な性的関係)での具体的な役割やシナリオまで提案した。
また自宅でナイフやマッチを見つける方法を伝えるなど、子どもにとって危険な行動を具体的に説明することもあった。
PIRGは「子どもがクマのぬいぐるみに性倒錯など大人のような性的質問をする可能性は低い」としながらも「このおもちゃはこの種のテーマを具体的に扱い、また新しく露骨な言葉も積極的に使い続けた。この点には非常に驚いた」とコメントした。
一連の指摘を受けオープンAIはFoloToyのAIアクセスを遮断し、またFoloToyは内部調査を行う間は問題となったぬいぐるみの販売を中止することにした。
FoloToyのラリー・ワンCEOはCNNの取材に「Kummaとそれ以外のAI玩具はラインナップ全体を回収した」として「現在社内で調査を行っている」と明らかにした。
PIRGの研究員は「AI玩具は事実上、規制の死角にある」とした上で「問題となった製品の市場からの排除は正しい対応だが、構造的な解決策からはほど遠い」と指摘した。
キム・ジャア記者