04．Java側で作成したGL_TEXTURE_EXTERNAL_OESのテクスチャを、Unity側でUpdateExternalTexture()を利用し使用する方法

結果としては、失敗。この方法はうまくいかなかった。

事象としては、GLエラーは発生しないが、SurfaceTextureのテクスチャの内容は、Unityのテクスチャとして描画されない。

考察としては、「Texture2D#UpdateExternalTexture関数は、『GL_TEXTURE_2Dをターゲットとする』異なるネイティブのテクスチャで、Unityのテクスチャを更新する関数であり、『GL_TEXTURE_EXTERNAL_OESをターゲットとする』異なるネイティブのテクスチャで、Unityのテクスチャを更新しても、Unityのテクスチャとして描画されない」と考えます。

解説

Java側で作成したGL_TEXTURE_EXTERNAL_OESのテクスチャを、Unity側でUpdateExternalTexture()を利用し使用するために、すべきことは、以下です。

Java側の処理として、「テクスチャを作成し、GL_TEXTURE_EXTERNAL_OESのテクスチャとしてバインドし、SurfaceTextureに割り付ける処理」を記述します。
Java側の処理として、「作成したテクスチャのIDを返す関数」を記述します。
Unity側の処理として、「Texture2D#UpdateExternalTexture()を利用しテクスチャを更新する処理」を記述します。

実装

プロジェクトを開く

「03．テクスチャを異なるターゲットでバインドするとエラーが発生する事象のテスト」を実施していない場合は、実施します。

Javaクラスの編集

Androidライブラリのプロジェクトを開きます。

「03．テクスチャを異なるターゲットでバインドするとエラーが発生する事象のテスト」でSurfaceの初期化の関数に加えた変更を元に戻します。

「テクスチャを２つ作成する処理」を削除します。
「GL_TEXTURE_2Dでバインド、バインド解除した後に、GL_TEXTURE_EXTERNAL_OESでバインドする処理」を削除します。
「GL_TEXTURE_EXTERNAL_OESでバインド、バインド解除した後に、GL_TEXTURE_2Dでバインドする処理」を削除します。

Surfaceの初期化の関数に以下の変更を加えます。

「テクスチャを１つ作成する処理」を追加します。「作成したテクスチャをメンバー変数として保持する処理」を追加します。
Unityテクスチャではなく、作成したテクスチャをバインドするように、バインド処理を書き換えます。
GL_TEXTURE_2D ではなく、GL_TEXTURE_EXTERNAL_OES をターゲットして処理するように、バインド処理とテクスチャパラメータ設定処理を書き換えます。
Unityテクスチャではなく、作成したテクスチャを、SurfaceTextureに割り付けるように、SurfaceTexture生成処理を書き換えます。

作成したテクスチャIDを保持するクラスメンバー変数を追加します。

Surfaceの初期化 initSurface関数の内容を以下のようにします。
class SurfaceTextureRenderer { （・・・略・・・） // GL関連（・・・略・・・） private int m_iTextureID_android; （・・・略・・・） // Android側で作成したテクスチャのIDの取得 public int getAndroidTextureID() { return m_iTextureID_android; } // Surfaceの初期化 public void initSurface() { Log.d( LOGTAG, "initSurface() start" ); Log.d( LOGTAG, " Thread name = " + Thread.currentThread().getName() ); // Thread name = UnityMain checkGlError( "initSurface() start" ); // テクスチャの生成 int[] aiTextureID = new int[1]; GLES20.glGenTextures( 1, aiTextureID, 0 ); checkGlError( "glGenTextures()" ); m_iTextureID_android = aiTextureID[0]; // アクティブにするテクスチャユニットの指定 GLES20.glActiveTexture( GLES20.GL_TEXTURE0 ); checkGlError( "glActiveTexture( GL_TEXTURE0 )" ); // テクスチャのバインド GLES20.glBindTexture( GLES11Ext.GL_TEXTURE_EXTERNAL_OES, m_iTextureID_android ); checkGlError( "glBindTexture( m_iTextureID_android )" ); // テクスチャパラメータの設定 GLES20.glTexParameteri( GLES11Ext.GL_TEXTURE_EXTERNAL_OES, GLES20.GL_TEXTURE_MIN_FILTER, GLES20.GL_LINEAR ); GLES20.glTexParameteri( GLES11Ext.GL_TEXTURE_EXTERNAL_OES, GLES20.GL_TEXTURE_MAG_FILTER, GLES20.GL_LINEAR ); GLES20.glTexParameteri( GLES11Ext.GL_TEXTURE_EXTERNAL_OES, GLES20.GL_TEXTURE_WRAP_S, GLES20.GL_CLAMP_TO_EDGE ); GLES20.glTexParameteri( GLES11Ext.GL_TEXTURE_EXTERNAL_OES, GLES20.GL_TEXTURE_WRAP_T, GLES20.GL_CLAMP_TO_EDGE ); checkGlError( "glTexParameterf()" ); // テクスチャのバインドの解除 GLES20.glBindTexture( GLES11Ext.GL_TEXTURE_EXTERNAL_OES, 0 ); checkGlError( "glBindTexture( 0 )" ); // SurfaceTextureとSurfaceの作成 m_surfacetexture = new SurfaceTexture( m_iTextureID_unity ); m_surfacetexture.setOnFrameAvailableListener( m_onFrameAvailableListener ); m_surfacetexture.setDefaultBufferSize( m_iTextureWidth, m_iTextureHeight ); m_surface = new Surface( m_surfacetexture ); synchronized( this ) { m_bNewFrameAvailable = false; } checkGlError( "initSurface() end" ); Log.d( LOGTAG, "initSurface() end" ); } （・・・略・・・） }

Androidライブラリモジュールのビルド

Androidライブラリモジュールをビルドします。

「Gradle」ウィンドウの「SurfaceTextureRendererProject > surfacetexturerenderer > Tasks > build > build」をダブルクリックします。

モジュールのビルドが開始します。
しばらく待ちます。
Android Studio のステータスバーに「Gradle build finished in ・・・」と出るまで待ちます。

「{Androidプロジェクトフォルダ}\{Androidライブラリモジュール名}\build\outputs\aar」フォルダに、リリースビルド、デバッグビルドの２つの「aar」ファイルが生成されます。

aarファイルの配置

Androidライブラリモジュールのファイル（aarファイル）を、Unityアプリのプロジェクトに配置します。

「{Unityプロジェクトフォルダ}\Assets\Plugins\Android」フォルダに、
「{Androidプロジェクトフォルダ}\{Androidライブラリモジュール名}\build\outputs\aar」フォルダに生成済みの「aar」ファイルのリリースビルドの方を、コピ－します。

Unityスクリプトの編集

Unityアプリのプロジェクトを開きます。

イベント処理の関数に以下の変更を加えます。

「AndroidテクスチャIDを取得する処理」を追加します。
「Androidテクスチャでテクスチャを更新する処理」を追加します。

イベント処理 OnEvent関数の内容を以下のようにします。
// イベント処理 public void OnEvent() { if( null == m_ajoSurfaceTextureRenderer ) { // 初回は、TextureRendererを初期化する。 InitializeTextureRenderer( 512, 512 ); } else { // テクスチャ更新 m_ajoSurfaceTextureRenderer.Call( "updateSurfaceTexture" ); // AndroidテクスチャIDの取得 int iAndroidTextureID = m_ajoSurfaceTextureRenderer.Call<int>( "getAndroidTextureID" ); Debug.Log( " iAndroidTextureID = " + iAndroidTextureID.ToString() ); // Androidテクスチャでテクスチャを更新 ( (Texture2D)m_rawimage.texture ).UpdateExternalTexture( new IntPtr( iAndroidTextureID ) ); } // Surfaceでの描画 m_ajoSurfaceTextureRenderer.Call( "drawInSurface" ); }

実行

Build And Run

Unityアプリのプロジェクトを開きます。

Android端末をUSB接続しておきます。

メインメニュー「File > Build And Run」を選択します。

Unityアプリのビルドが開始し、ビルドが終了すると、Android端末上でUnityアプリが実行されます。

起動直後

アプリ画面のボタンを押します。
TextureRendererの初期化処理が実行されます。

「Android Logcat」ウィンドウを確認すると、エラーは発生していません。

アプリ画面のボタンを再度押します。
テクスチャの更新処理が実行されます。

UnityアプリのRawImageの描画に変化がありましたが、Java側でテクスチャに描画した内容ではありませんでした。

「Android Logcat」ウィンドウを確認すると、エラーは発生していません。
（赤枠が、ボタンを再度押した際のログ）

考察

Texture2D#UpdateExternalTexture関数のリファレンスによると、
「Updates Unity texture to use different native texture object.」
「異なるネイティブのテクスチャオブジェクトを使うために Unity のテクスチャを更新します。」

リファレンスには、「テクスチャをバインドするターゲット」については特に記されていない。

「Texture2D#UpdateExternalTexture関数は、『GL_TEXTURE_2Dをターゲットとする』異なるネイティブのテクスチャで、Unityのテクスチャを更新する関数であり、『GL_TEXTURE_EXTERNAL_OESをターゲットとする』異なるネイティブのテクスチャで、Unityのテクスチャを更新しても、Unityのテクスチャとして描画されない」と考えます。