06．Java側で作成したGL_Texture_2Dのテクスチャを、Unity側で扱うことができることの確認

結果としては、以下の事象を確認した。
・CreateExternalTexture関数を用いて、Java側で作成したGL_TEXTURE_2Dのテクスチャから、Unityのテクスチャを作成すると、Java側で作成したテクスチャがUnityテクスチャとして描画される。
・UpdateExternalTexture関数を用いて、Java側で作成したGL_TEXTURE_2Dのテクスチャで、Unityのテクスチャを更新すると、Java側で作成したテクスチャがUnityテクスチャとして描画される。

解説

以下の処理を行い、Unityテクスチャとして描画されるかどうかを確認する。

• Java側の処理として、GL_TEXTURE_2Dをターゲットとするテクスチャを作成し、テクスチャに着色する。
  Unity側の処理として、CreateExternalTexture関数を用いて、Java側で作成したテクスチャから、Unityテクスチャを作成する。作成したUnityテクスチャをRawImageのテクスチャに設定する。
• Java側の処理として、GL_TEXTURE_2Dをターゲットとするテクスチャを作成し、テクスチャに着色する。
  Unity側の処理として、UpdateExternalTexture関数を用いて、Java側で作成したテクスチャで、Unityテクスチャを更新する。

実装：CreateExternalTexture()利用版

まず、CreateExternalTexture関数を利用した場合の動作を確認します。
（本項の後半で、UpdateExternalTexture関数を利用した場合の動作を確認します。）

プロジェクトを開く

「05．Java側で作成したGL_TEXTURE_EXTERNAL_OESのテクスチャを、Unity側でCreateExternalTexture()を利用し使用する方法」を実施していない場合は、実施します。

Javaクラスの編集

Androidライブラリのプロジェクトを開きます。

Surfaceの初期化の関数に以下の変更を加えます。

• 「Java側で作成したテクスチャを、GL_TEXTURE_2Dでバインドする処理」を追加します。
• 「GL_TEXTURE_2D をターゲットとしたテクスチャパラメータ設定処理」を追加します。
• 「テクスチャを４つの領域４つの色に塗り潰す処理」を追加します。
• 「GL_TEXTURE_EXTERNAL_OESをターゲットとしたバインド処理、テクスチャパラメータ設定処理、SurfaceTextureとSurfaceの作成処理」を、コメントアウトします。

Surfaceの初期化 initSurface関数の内容を以下のようにします。
// Surfaceの初期化 public void initSurface() { Log.d( LOGTAG, "initSurface() start" ); Log.d( LOGTAG, " Thread name = " + Thread.currentThread().getName() ); // Thread name = UnityMain checkGlError( "initSurface() start" ); // テクスチャの生成 int[] aiTextureID = new int[1]; GLES20.glGenTextures( 1, aiTextureID, 0 ); checkGlError( "glGenTextures()" ); m_iTextureID_android = aiTextureID[0]; // アクティブにするテクスチャユニットの指定 GLES20.glActiveTexture( GLES20.GL_TEXTURE0 ); checkGlError( "glActiveTexture( GL_TEXTURE0 )" ); // テクスチャのバインド GLES20.glBindTexture( GLES20.GL_TEXTURE_2D, m_iTextureID_android ); checkGlError( "glBindTexture( m_iTextureID_android )" ); // テクスチャパラメータの設定 GLES20.glTexParameteri( GLES20.GL_TEXTURE_2D, GLES20.GL_TEXTURE_MIN_FILTER, GLES20.GL_LINEAR ); GLES20.glTexParameteri( GLES20.GL_TEXTURE_2D, GLES20.GL_TEXTURE_MAG_FILTER, GLES20.GL_LINEAR ); GLES20.glTexParameteri( GLES20.GL_TEXTURE_2D, GLES20.GL_TEXTURE_WRAP_S, GLES20.GL_CLAMP_TO_EDGE ); GLES20.glTexParameteri( GLES20.GL_TEXTURE_2D, GLES20.GL_TEXTURE_WRAP_T, GLES20.GL_CLAMP_TO_EDGE ); checkGlError( "glTexParameterf()" ); // テクスチャの着色 byte[] aByteBuffer = new byte[512 * 512 * 4]; byte byteR, byteG, byteB; for( int x = 0; x < 512; x++ ) { for( int y = 0; y < 512; y++ ) { if( x < 256 && y < 256 ) { // Lower Left : Red byteR = (byte)( 0xFF ); byteG = (byte)( 0x00 ); byteB = (byte)( 0x00 ); } else if( y < 256 ) { // Lower Right : Green byteR = (byte)( 0x00 ); byteG = (byte)( 0xFF ); byteB = (byte)( 0x00 ); } else if( x < 256 ) { // Upper Left : Blue byteR = (byte)( 0x00 ); byteG = (byte)( 0x00 ); byteB = (byte)( 0xFF ); } else { // Upper Right : White byteR = (byte)( 0xFF ); byteG = (byte)( 0xFF ); byteB = (byte)( 0xFF ); } aByteBuffer[( x + y * 512 ) * 4 + 0] = byteR; aByteBuffer[( x + y * 512 ) * 4 + 1] = byteG; aByteBuffer[( x + y * 512 ) * 4 + 2] = byteB; aByteBuffer[( x + y * 512 ) * 4 + 3] = (byte)( 0xFF ); } } GLES20.glTexImage2D( GLES20.GL_TEXTURE_2D, 0, GLES20.GL_RGBA, 512, 512, 0, GLES20.GL_RGBA, GLES20.GL_UNSIGNED_BYTE, ByteBuffer.wrap( aByteBuffer ) ); // テクスチャのバインドの解除 GLES20.glBindTexture( GLES20.GL_TEXTURE_2D, 0 ); checkGlError( "glBindTexture( 0 )" ); /* ここからコメントアウト // テクスチャのバインド GLES20.glBindTexture( GLES11Ext.GL_TEXTURE_EXTERNAL_OES, m_iTextureID_android ); checkGlError( "glBindTexture( m_iTextureID_android )" ); // テクスチャパラメータの設定 GLES20.glTexParameteri( GLES11Ext.GL_TEXTURE_EXTERNAL_OES, GLES20.GL_TEXTURE_MIN_FILTER, GLES20.GL_LINEAR ); GLES20.glTexParameteri( GLES11Ext.GL_TEXTURE_EXTERNAL_OES, GLES20.GL_TEXTURE_MAG_FILTER, GLES20.GL_LINEAR ); GLES20.glTexParameteri( GLES11Ext.GL_TEXTURE_EXTERNAL_OES, GLES20.GL_TEXTURE_WRAP_S, GLES20.GL_CLAMP_TO_EDGE ); GLES20.glTexParameteri( GLES11Ext.GL_TEXTURE_EXTERNAL_OES, GLES20.GL_TEXTURE_WRAP_T, GLES20.GL_CLAMP_TO_EDGE ); checkGlError( "glTexParameterf()" ); // テクスチャのバインドの解除 GLES20.glBindTexture( GLES11Ext.GL_TEXTURE_EXTERNAL_OES, 0 ); checkGlError( "glBindTexture( 0 )" ); // SurfaceTextureとSurfaceの作成 m_surfacetexture = new SurfaceTexture( m_iTextureID_android ); m_surfacetexture.setOnFrameAvailableListener( m_onFrameAvailableListener ); m_surfacetexture.setDefaultBufferSize( m_iTextureWidth, m_iTextureHeight ); m_surface = new Surface( m_surfacetexture ); synchronized( this ) { m_bNewFrameAvailable = false; } checkGlError( "initSurface() end" ); Log.d( LOGTAG, "initSurface() end" ); ここまでコメントアウト */ }

SurfaceTextureとSurfaceについての処理が実行されないように、Surfaceでの描画の関数内の処理をすべてコメントアウトします。

Surfaceの描画 drawInSurface関数の内容を以下のようにします。
// Surfaceでの描画 public void drawInSurface() { /* ここからコメントアウト Log.d( LOGTAG, "drawInSurface() start" ); Log.d( LOGTAG, " Thread name = " + Thread.currentThread().getName() ); // Thread name = UnityMain try { Canvas canvas = m_surface.lockCanvas( null ); // 全体塗りつぶし canvas.drawColor( Color.rgb( 0, 0, 128 ) ); // 矩形 m_paint.setColor( Color.rgb( 0, 255, 0 ) ); m_paint.setStyle( Paint.Style.FILL ); canvas.drawRect( 100, 200, 300, 400, m_paint ); // 円 m_paint.setColor( Color.rgb( 255, 255, 0 ) ); m_paint.setStyle( Paint.Style.STROKE ); m_paint.setStrokeWidth( 30 ); canvas.drawCircle( 300, 400, 100, m_paint ); m_surface.unlockCanvasAndPost( canvas ); } catch( Surface.OutOfResourcesException e ) { Log.e( LOGTAG, " drawInSurface() : failed" ); e.printStackTrace(); } Log.d( LOGTAG, "drawInSurface() end" ); ここまでコメントアウト */ }

Androidライブラリモジュールのビルド

Androidライブラリモジュールをビルドします。

「Gradle」ウィンドウの「SurfaceTextureRendererProject > surfacetexturerenderer > Tasks > build > build」をダブルクリックします。

モジュールのビルドが開始します。
しばらく待ちます。
Android Studio のステータスバーに「Gradle build finished in ・・・」と出るまで待ちます。

「{Androidプロジェクトフォルダ}\{Androidライブラリモジュール名}\build\outputs\aar」フォルダに、リリースビルド、デバッグビルドの２つの「aar」ファイルが生成されます。

aarファイルの配置

Androidライブラリモジュールのファイル（aarファイル）を、Unityアプリのプロジェクトに配置します。

「{Unityプロジェクトフォルダ}\Assets\Plugins\Android」フォルダに、
「{Androidプロジェクトフォルダ}\{Androidライブラリモジュール名}\build\outputs\aar」フォルダに生成済みの「aar」ファイルのリリースビルドの方を、コピ－します。

Unityスクリプトの編集

Unityアプリ側の変更はありません。

実行：CreateExternalTexture()利用版

Build And Run

Unityアプリのプロジェクトを開きます。

Android端末をUSB接続しておきます。

メインメニュー「File > Build And Run」を選択します。

Unityアプリのビルドが開始し、ビルドが終了すると、Android端末上でUnityアプリが実行されます。

起動直後


アプリ画面のボタンを押します。
TextureRendererの初期化処理が実行されます。

UnityアプリのRawImageの描画に変化があり、Java側でテクスチャに着色した内容で描画されました。


「Android Logcat」ウィンドウを確認すると、エラーは発生していません。

実装：UpateExternalTexture()利用版

続いて、UpdateExternalTexture関数を利用した場合の動作を確認します。

Javaクラスの編集

Androidライブラリ側の変更はありません。

Unityスクリプトの編集

Unityアプリのプロジェクトを開きます。

CreateExternalTexture関数に関連した処理を削除します。
TextureRendererの初期化の関数に以下の変更を加えます。

• 「AndroidテクスチャIDを取得する処理」を削除します。
• 「Texture2D#CreateExternalTexture()を利用してテクスチャを作成する処理」を削除します。
• 「作成したテクスチャをRawImageのテクスチャとして設定する処理」を削除します。

TextureRendererの初期化 InitializeTextureRenderer()関数の内容を以下のようにします。
// TextureRendererの初期化 public void InitializeTextureRenderer( int iTextureWidth, int iTextureHeight ) { Debug.Log( "InitializeTextureRenderer() start" ); // テクスチャIDの取得とメンバ変数への設定 IntPtr intptrTextureID = ((Texture2D)m_rawimage.texture).GetNativeTexturePtr(); Debug.Log( " intptrTextureID = " + intptrTextureID.ToString() ); // SurfaceTextureRendererオブジェクトの生成 m_ajoSurfaceTextureRenderer = new AndroidJavaObject( "com.hiramine.surfacetexturerenderer.SurfaceTextureRenderer", iTextureWidth, iTextureHeight, intptrTextureID.ToInt32() ); // Unityテクスチャを使用 Debug.Log( " m_ajoSurfaceTextureRenderer = " + m_ajoSurfaceTextureRenderer.ToString() ); // Surfaceの初期化 m_ajoSurfaceTextureRenderer.Call( "initSurface" ); Debug.Log( "InitializeTextureRenderer() end" ); }

UpdateExternalTexture関数に関連した処理を追加します。
イベント処理の関数に以下の変更を加えます。

• 「AndroidテクスチャIDを取得する処理」を追加します。
• 「Androidテクスチャでテクスチャを更新する処理」を追加します。

イベント処理 OnEvent関数の内容を以下のようにします。
// イベント処理 public void OnEvent() { if( null == m_ajoSurfaceTextureRenderer ) { // 初回は、TextureRendererを初期化する。 InitializeTextureRenderer( 512, 512 ); } else { // テクスチャ更新 m_ajoSurfaceTextureRenderer.Call( "updateSurfaceTexture" ); // AndroidテクスチャIDの取得 int iAndroidTextureID = m_ajoSurfaceTextureRenderer.Call<int>( "getAndroidTextureID" ); Debug.Log( " iAndroidTextureID = " + iAndroidTextureID.ToString() ); // Androidテクスチャでテクスチャを更新 ( (Texture2D)m_rawimage.texture ).UpdateExternalTexture( new IntPtr( iAndroidTextureID ) ); } // Surfaceでの描画 m_ajoSurfaceTextureRenderer.Call( "drawInSurface" ); }

実行：UpateExternalTexture()利用版

Build And Run

Unityアプリのプロジェクトを開きます。

Android端末をUSB接続しておきます。

メインメニュー「File > Build And Run」を選択します。

Unityアプリのビルドが開始し、ビルドが終了すると、Android端末上でUnityアプリが実行されます。

起動直後


アプリ画面のボタンを押します。
TextureRendererの初期化処理が実行されます。

アプリ画面のボタンを再度押します。
テクスチャの更新処理が実行されます。

UnityアプリのRawImageの描画に変化があり、Java側でテクスチャに着色した内容で描画されました。


「Android Logcat」ウィンドウを確認すると、エラーは発生していません。

考察

結果としては、以下の事象を確認した。
・CreateExternalTexture関数を用いて、Java側で作成したGL_TEXTURE_2Dのテクスチャから、Unityのテクスチャを作成すると、Java側で作成したテクスチャがUnityテクスチャとして描画される。
・UpdateExternalTexture関数を用いて、Java側で作成したGL_TEXTURE_2Dのテクスチャで、Unityのテクスチャを更新すると、Java側で作成したテクスチャがUnityテクスチャとして描画される。

UnityのTexture2Dクラスの関数「UpdateExternalTexture」「CreateExternalTexture」は、関数名に「External」とあることから、「GL_TEXTURE_EXTERNAL_OESをターゲットとするテクスチャを扱うための関数なのでは」という考えを想起させる。
しかし、この考えは正しくなく、「外部で作成された GL_TEXTURE_2Dをターゲットとするテクスチャを扱うための関数」が正しいようである。

関連ページ

前項目：05．Java側で作成したGL_TEXTURE_EXTERNAL_OESのテクスチャを、Unity側でCreateExternalTexture()を利用し使用する方法

前項目：07．Java側で作成したGL_TEXTURE_EXTERNAL_OESのテクスチャを、Unity側で作成したGL_TEXTURE_2Dのテクスチャに転写する方法