OpenPoseによる顔の形の推定

解説

Jetson Orin Nano で、OpenPose を利用して、画像から顔の形を推定してみます。

前提

「OpenPoseの動作環境の構築」を実施していない場合は、実施します。

コンテナの起動

以下のコマンドを実行します。
./docker-run-openpose.sh

「OpenPoseの動作環境の構築」で作成した環境のコンテナが起動します。

コンテナが起動すると、Terminalでの表示が「root@ホスト名:/#」に変わり、コンテナ上での作業になります。
以降の作業は、指定がない場合は、コンテナ上での作業です。

Webカメラ画像からの顔の形の推定

Webカメラ画像から顔の形を推定するプログラムを試してみます。

以下のコマンドを実行し、作業用ディレクトリに移動します。
cd /work

「estimate-face.py」ファイルを作成し、ファイルの内容を以下のようにします。
from flask import Flask, Response import cv2 import threading import pyopenpose as op app = Flask(__name__) # Flaskの初期化 cap = cv2.VideoCapture(0) # カメラの初期化 cap.set(cv2.CAP_PROP_FRAME_WIDTH, 1280) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 960) # OpenPose の設定 params = dict() params["model_folder"] = "/openpose/models/" params["model_pose"] = "BODY_25" # BODY_25モデルを使用 params["net_resolution"] = "-1x256" params["face"] = True # 顔の形の推定を有効化 params["face_net_resolution"] = "256x256" # OpenPose の初期化 opWrapper = op.WrapperPython() opWrapper.configure(params) opWrapper.start() # 接続線情報 connections = [ *[[i, i+1] for i in range(0, 16)], # 顔輪郭 *[[17,18],[18,19],[19,20],[20,21],[22,23],[23,24],[24,25],[25,26]], # 眉 *[[27,28],[28,29],[29,30],[30,31],[31,32],[32,33],[33,34],[34,35]], # 鼻 *[[36,37],[37,38],[38,39],[39,40],[40,41],[41,36], [42,43],[43,44],[44,45],[45,46],[46,47],[47,42]], # 目 *[[48,49],[49,50],[50,51],[51,52],[52,53],[53,54],[54,55],[55,56],[56,57],[57,58], [58,59],[59,48],[60,61],[61,62],[62,63],[63,64],[64,65],[65,66],[66,67],[67,60]] # 口 ] # ブラウザ更新や複数クライアントを安定して扱うために、カメラキャプチャを別スレッドで常に動かす # スレッドロックとグローバル変数 lock = threading.Lock() latest_frame_bytes = None def capture_frames(): global latest_frame_bytes # 関数内で代入するのでglobalが必要 while True: ret, frame = cap.read() if not ret: continue # 推定 datum = op.Datum() datum.cvInputData = frame opWrapper.emplaceAndPop(op.VectorDatum([datum])) # 推定結果をフレームに描画 if datum.faceKeypoints is not None: keypoints = datum.faceKeypoints[0] # １人目のみ扱う if keypoints is not None: # 接続線 for (a, b) in connections: if keypoints[a][2] > 0.1 and keypoints[b][2] > 0.1: x1, y1 = int(keypoints[a][0]), int(keypoints[a][1]) x2, y2 = int(keypoints[b][0]), int(keypoints[b][1]) cv2.line(frame, (x1, y1), (x2, y2), (0, 0, 255), 2) # 関節点とラベル for i, (x, y, c) in enumerate(keypoints): if c > 0.1: cx, cy = int(x), int(y) cv2.circle(frame, (cx, cy), 5, (255, 0, 0), -1) cv2.putText(frame, str(i), (cx+6, cy-6), cv2.FONT_HERSHEY_SIMPLEX, 1.0, (0, 0, 0), 1, cv2.LINE_AA) # JPEGにエンコード ret, buffer = cv2.imencode('.jpg', frame) if ret: with lock: latest_frame_bytes = buffer.tobytes() # カメラキャプチャスレッド開始 threading.Thread(target=capture_frames, daemon=True).start() def generate_frames(): while True: with lock: if latest_frame_bytes is None: continue frame_bytes = latest_frame_bytes # HTTPストリーム形式でyield yield (b'--frame\r\n' b'Content-Type: image/jpeg\r\n\r\n' + frame_bytes + b'\r\n') @app.route('/video_feed') def video_feed(): return Response(generate_frames(), mimetype='multipart/x-mixed-replace; boundary=frame') @app.route('/') def index(): return """ <!DOCTYPE html> <html> <body> <img src="/video_feed" width="640" height="480"> </body> </html> """ if __name__ == '__main__': app.run(host='0.0.0.0', port=5000)

以下のコマンドを実行し、Flaskウェブサーバーを起動します。
python3 estimate-face.py

同一ネットワーク上のPCのブラウザアプリ（ChromeやEdge）から、
http://[Jetson Orin Nano のIPアドレス]:5000
もしくは
http://[Jetson Orin Nano のホスト名]:5000
にアクセスします。

顔の形を推定した結果が表示されます。
（キャプチャ画像なし）

「ctrl + c」を押下し、Flaskウェブサーバーを終了します。

顔の形の推定のみの描画

カメラ画像を描画せず、顔の形の推定のみを描画してみます。

「estimate-face.py」ファイルをコピーし、「estimate-face-no-render-camera-image.py」というファイル名にします。

以下の変更を加えます。

NumPyの関数を使用するので、「import numpy as np」をimport部に追加します。
from flask import Flask, Response import cv2 import threading import pyopenpose as op import numpy as np （・・・以下略・・・）

「推定結果をフレームに描画」の描画対象を、「カメラ画像」から「灰色キャンバス」に差し替える処理を追加します。
（・・・以上略・・・） # Pose推定 datum = op.Datum() datum.cvInputData = frame opWrapper.emplaceAndPop(op.VectorDatum([datum])) # カメラ画像サイズの灰色キャンバス作成 h, w, _ = frame.shape frame = np.full((h, w, 3), (192, 192, 192), dtype=np.uint8) # 推定結果をフレームに描画（・・・以下略・・・）

「estimate-face-no-render-camera-image.py」ファイル全体の内容は以下のようになります。
from flask import Flask, Response import cv2 import threading import pyopenpose as op import numpy as np app = Flask(__name__) # Flaskの初期化 cap = cv2.VideoCapture(0) # カメラの初期化 cap.set(cv2.CAP_PROP_FRAME_WIDTH, 1280) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 960) # OpenPose の設定 params = dict() params["model_folder"] = "/openpose/models/" params["model_pose"] = "BODY_25" # BODY_25モデルを使用 params["net_resolution"] = "-1x256" params["face"] = True # 顔の形の推定を有効化 params["face_net_resolution"] = "256x256" # OpenPose の初期化 opWrapper = op.WrapperPython() opWrapper.configure(params) opWrapper.start() # 接続線情報 connections = [ *[[i, i+1] for i in range(0, 16)], # 顔輪郭 *[[17,18],[18,19],[19,20],[20,21],[22,23],[23,24],[24,25],[25,26]], # 眉 *[[27,28],[28,29],[29,30],[30,31],[31,32],[32,33],[33,34],[34,35]], # 鼻 *[[36,37],[37,38],[38,39],[39,40],[40,41],[41,36], [42,43],[43,44],[44,45],[45,46],[46,47],[47,42]], # 目 *[[48,49],[49,50],[50,51],[51,52],[52,53],[53,54],[54,55],[55,56],[56,57],[57,58], [58,59],[59,48],[60,61],[61,62],[62,63],[63,64],[64,65],[65,66],[66,67],[67,60]] # 口 ] # ブラウザ更新や複数クライアントを安定して扱うために、カメラキャプチャを別スレッドで常に動かす # スレッドロックとグローバル変数 lock = threading.Lock() latest_frame_bytes = None def capture_frames(): global latest_frame_bytes # 関数内で代入するのでglobalが必要 while True: ret, frame = cap.read() if not ret: continue # 推定 datum = op.Datum() datum.cvInputData = frame opWrapper.emplaceAndPop(op.VectorDatum([datum])) # カメラ画像サイズの灰色キャンバス作成 h, w, _ = frame.shape frame = np.full((h, w, 3), (192, 192, 192), dtype=np.uint8) # 推定結果をフレームに描画 if datum.faceKeypoints is not None: keypoints = datum.faceKeypoints[0] # １人目のみ扱う if keypoints is not None: # 接続線 for (a, b) in connections: if keypoints[a][2] > 0.1 and keypoints[b][2] > 0.1: x1, y1 = int(keypoints[a][0]), int(keypoints[a][1]) x2, y2 = int(keypoints[b][0]), int(keypoints[b][1]) cv2.line(frame, (x1, y1), (x2, y2), (0, 0, 255), 2) # 関節点とラベル for i, (x, y, c) in enumerate(keypoints): if c > 0.1: cx, cy = int(x), int(y) cv2.circle(frame, (cx, cy), 5, (255, 0, 0), -1) cv2.putText(frame, str(i), (cx+6, cy-6), cv2.FONT_HERSHEY_SIMPLEX, 1.0, (0, 0, 0), 1, cv2.LINE_AA) # JPEGにエンコード ret, buffer = cv2.imencode('.jpg', frame) if ret: with lock: latest_frame_bytes = buffer.tobytes() # カメラキャプチャスレッド開始 threading.Thread(target=capture_frames, daemon=True).start() def generate_frames(): while True: with lock: if latest_frame_bytes is None: continue frame_bytes = latest_frame_bytes # HTTPストリーム形式でyield yield (b'--frame\r\n' b'Content-Type: image/jpeg\r\n\r\n' + frame_bytes + b'\r\n') @app.route('/video_feed') def video_feed(): return Response(generate_frames(), mimetype='multipart/x-mixed-replace; boundary=frame') @app.route('/') def index(): return """ <!DOCTYPE html> <html> <body> <img src="/video_feed" width="640" height="480"> </body> </html> """ if __name__ == '__main__': app.run(host='0.0.0.0', port=5000)

以下のコマンドを実行し、Flaskウェブサーバーを起動します。
python3 estimate-face-no-render-camera-image.py

同一ネットワーク上のPCのブラウザアプリ（ChromeやEdge）から、
http://[Jetson Orin Nano のIPアドレス]:5000
もしくは
http://[Jetson Orin Nano のホスト名]:5000
にアクセスします。

Webカメラ画像は表示されず、顔の形の推定のみ表示されます。

「ctrl + c」を押下し、Flaskウェブサーバーを終了します。

コンテナの終了

以下のコマンドを実行し、コンテナを終了します。
exit

コンテナが終了すると、Terminalでの表示が「ユーザー名@ホスト名:/~$」に変わり、ホスト上での作業に戻ります。

OpenPoseによる顔の形の推定

解説

前提

コンテナの起動

Webカメラ画像からの顔の形の推定

顔の形の推定のみの描画

コンテナの終了

関連ページ

MediaPipe

OpenPose