Amazon の Alexa が暴走して恐ろしい事を言い出したらしい。https://www.excite.co.jp/news/article/Frontrow_2917687c5a4ae1410cd6d04b7d40b2151d771243/　

2017年には Facebook の AI 同士で人間が理解不能の会話を始めたので、停止させたとか。https://japan.cnet.com/article/35110443/

AI に学習データを与えるのは人間でそれを恣意的に選択できるから、なんとも、ね。結局のところ、超便利な道具で、使うのは人間。

つまり、想定外の結果と思われるものも、意図された結果に基づくもの。