ThetaSの映像を動的アニメーションで表示したい
360度カメラ
ThetaS で撮影した映像をUnityに取り込んで表示したいです。
要件
要件は次の通りです。
1人称視点でカメラの向きに応じた角度の映像を見れる。 プログラムから映像の再生をコントロールできる(再生、停止、x倍速再生など)。
しかし、1.のやり方では、通常の再生のみで2.の再生をコントロールすることができません。現状、
MovieTexture では動画の再生コントロールには対応していないからです。
方針
動画の各フレームを静止画に変換し、静止画のテクスチャを高速で切り替えることでアニメーションを実現する。
Sphereマテリアルではなく、Skyboxにアニメーションを投影する。
現状、MovieTextureによる動画の再生コントロールができないようです。そこで、ThetaSで撮影した360度動画の各フレームを静止画として出力して、高速で切り替えることによって上記の要件を実現します。静止画を割り当てたテスクチャを切り替えはプログラムからコントロールするため再生速度などの変更も可能と言えるでしょう。
また今回は、ThetaSで撮影した素材をSkyboxに割り当てます。他のオブジェクトを設置しやすくなるからです。（夜空のThetaS映像をSkyboxで投影し、UFOなどのオブジェクトが動いていたら素敵です。）
早速 作ってみましょう。
Theta Sの360度動画を静止画群に変換
Adobe PremiereとAdobe Media Encoderで動画の各フレームをJPEG画像に変換しました。
ThetaS動画を出力した静止画群
画像群をUnityに取り込み
作成した360度画像群をUnityに取り込みます。一つのディレクトリにまとめてます。
画像群を取り込み
取り込んだ全ての画像をCubemapテクスチャにする
Skyboxの作成とMain Cameraへアタッチ
新規マテリアルを作成し、Shaderを「Skybox/Cubemap」にします。
HierarchyでMain Cameraを選択し、InspectorのAdd Componentボタンを押します。
Rendering→Skyboxを選び、Skyboxコンポーネントを追加します。
Custom Skyboxに1.で作成したSkyboxをドラッグし、設定します。
Skyboxを作成し、Main Cameraに登録
スクリプトの作成
Skyboxの設定はUnityEditor上で設定することが多いと思います。しかし、C#(もしくはJavaScript)のコード上からSkyboxのテクスチャを設定します。再生コントロールをするためです。
次の手続きの実装を行います。
作成したコードはMain Cameraにアタッチする。
Startメソッドで、AssetDatabase を使ってテクスチャを読み込み、リストに追加する。
UpdateメソッドでSkyboxのテクスチャを適切に切り替える。
まずは次のコードを書いてみました。Updateでは毎回フレームを切り替えています。テクスチャが繰り返し一定速度で再生されるはずです。（フレームレートは入力元の映像とおなじになるとは限らないです。）
// SkyboxRunner.cs
using UnityEngine;
using UnityEditor;
using System.Collections;
using System.Collections.Generic;
public class SkyboxRunner : MonoBehaviour {
Skybox skybox;
List skyboxTextures = new List();
int index = 0;
void Start () {
// アタッチしたスカイボクスを取得
skybox = GetComponent();
// AssetDatabaseからテクスチャをロード
var guids = AssetDatabase.FindAssets("t:Texture", new string[] { "Assets/SkyboxTex/nightsky1" });
foreach (string guid in guids) {
Texture texture = AssetDatabase.LoadAssetAtPath(AssetDatabase.GUIDToAssetPath(guid));
skyboxTextures.Add(texture);
}
}
void Update () {
// スカイボックスのテクスチャを切り替える
skybox.material.SetTexture("_Tex", skyboxTextures[index]);
index++;
if (index >= skyboxTextures.Count) {
index = 0;
}
}
}
ここでは、一定速度での繰り返し再生であるため、通常の再生と変わりません。Updateメソッドの内容を変更すれば、フレーム更新を自在に操ることができます。
VIDEO
まとめ
Theta Sで撮影した映像をUnityの3D空間に投影し、再生コントロールもしたかったのですが、MovieTextureなどでは実現できなかったため、各フレームを静止画に書き出してアニメーションすることで実現しました。
（もっといいほうがあればいいのですが、、、）
