当初はAIが発達しても、人間の想像力や感性が芸術作品などは、抽象的な性質があるため、専門的な勉強による知識や経験が必要で、AIには肩代わりできないと考えられていたが、すでに音楽の分野では鼻歌レベルのメロディを楽譜に落とし込めるようになっている。

 アニメーションの分野でもAIを活用することで、ラフなスケッチ画から高品質なアニメ画を自動生成する方法が研究されてきた。しかし、初心者が描くラフなスケッチでは、アニメ画の完成図を予測するための情報が不足しているため困難だった。

 そこで、研究チームはアニメ画の制作過程での線の描き方をシミュレートし、ラフなスケッチから高品質なアニメ画を生成する新たな生成AI技術の開発を試みた。

 まず、線の描き方(ストローク)によって、生成AIの出力結果をコントロールするために、画像生成AIの「StyleGAN」を利用した。StyleGANは画像細部の特徴および潜在空間の非線形変換を利用することで高精度な画像の生成を可能としている。