Deep Neural Networkによる画風転写で沙耶の唄の世界を体験できるようにしました。
 

本記事では、体験までの道のりを紹介します。

1. 全天球画像の撮影
以下のような、(部屋の)全天球画像を撮影します。
Room_02000
Ricoh Thetaなどの360度カメラで撮影しましょう。
私はパノラマ合成で作成しましたが、撮影と合成がとても大変でした。
(壁に不自然に貼られた画像が苦労を物語っている。。。)
ただ、パノラマ合成だと、真下方向も取得できるので、その点は良いですね。

2. 画風転写
全天球画像に肉塊の画風を転写して、肉塊全天球画像(しゅごい日本語)を生成します。
style_nikuim_00
画風転写は以下の記事に載っているChainerコードを用いて行いました。
画風を変換するアルゴリズム

画像サイズが大きいとメモリ不足で実行できないようなので、全天球画像を複数領域に分割してそれぞれ画風転写し、フォトショでつなぎ合わせました。


3. UnityによるHMD体験
以下の記事の通りに、UnityでSphereに肉塊全天球画像を貼り付けます。
Unity覚え書き(全天球画像を球体に貼り付ける)

あとは、UnityのHMD用プラグインで体験できるようにするだけです。
Unity+Viveで開発する


☆感想
動画だとそれっぽく見えるんですが、HMDで体験すると今一つだったりします。
そもそも、部屋の全天球画像をHMDで見ても、スケール感が合わなくて、現実感が無いのですよね。
全天球画像ではなく、部屋のメッシュデータを取り込んでそれを使ったりすれば、現実感がグンと増すかもしれません。