あくまで、これらの説は憶測であり、実際のところは何が凍結の原因になっているのかは不明だ。というのも、Xに限らず基本的にAIのアルゴリズムはブラックボックス化しているので、ユーザー側は原因を推測することしかできないためだ。ただ、SNSやYouTubeなどでは、AIの誤判定によってアカウントが停止され、ユーザーが異議を申し立てて復旧するというケースが少なからずあり、AIによる誤判定は日常的に起きていると推察される。
先日、動画投稿サイト「ニコニコ」がMastercardでの決済の一時停止を発表したが、その原因にもAIの誤判定が絡んでいるのではと指摘された。2014年に投稿された「汚い仔猫を見つけたので虐待することにした(1匹目)」という動画の投稿主が「この動画に対してMastercard社から非公開要請があった」と明かしているのだが、この動画はギョッとするようなタイトルとは裏腹に、保護した子猫を「お湯攻め」と称して優しくお風呂で洗ったり、「とてもじゃないが飲めない白い飲み物を買ってきて飲ませる。もちろん、温めた後にわざと冷やしてぬるくなったものを」などとしてミルクを与えたりするもので、問題があるようには思えない内容だった。
ところが、Mastercard側は「動物虐待などの要素を含む」と認識しているそうで、要請に納得できないニコニコ側と衝突したことで決済が一時停止なったのではと推察されている。人間が動画をチェックすれば一発で問題ないと分かることから、「タイトルをそのまま受け取ったAIの誤判定では」と指摘する声があるようだ。
大手のネットサービスでは、ユーザーやコンテンツの管理においてAIの導入が進んでいるが、もし誤判定でアカウントの停止や決済をめぐるトラブルなどが起きたら、ユーザー側は不当に大きな損失をこうむることになる。AIが驚異的なスピードで進化しているのは間違いないだろうが、ネット上では「全部AI任せになるのは怖い」「まだ全然ポンコツなのにAIに頼りすぎ」といった声もあり、今後の大きな課題になっていきそうだ。