例えば囲碁のAIを動かしていたら、そのうちにAIが
「今までの囲碁よりこういうルールの方が面白いでっせ」
などと、人間が明示的に指示しなくても考えて新ルールを「発明」するようになれば
それはいわゆる「強い人工知能」が誕生してシンギュラリティ達成したと言えるでしょうけど
それは全然先というか、そういうものはどう作ればいいか全くわかっていない