MeidaPipeによる手の形の推定

解説

Jetson Orin Nano で、MediaPipe を利用して、画像から手の形を推定してみます。

前提

「MediaPipeの動作環境の構築」を実施していない場合は、実施します。

コンテナの起動

以下のコマンドを実行します。
./docker-run-mediapipe.sh

「MediaPipeの動作環境の構築」で作成した環境のコンテナが起動します。

コンテナが起動すると、Terminalでの表示が「root@ホスト名:/#」に変わり、コンテナ上での作業になります。
以降の作業は、指定がない場合は、コンテナ上での作業です。

Webカメラ画像からの手の形の推定

Webカメラ画像から手の形を推定してみます。

以下のコマンドを実行し、作業用ディレクトリに移動します。
cd /work

「estimate-hands.py」ファイルを作成し、ファイルの内容を以下のようにします。
from flask import Flask, Response import cv2 import threading import mediapipe as mp app = Flask(__name__) # Flaskの初期化 cap = cv2.VideoCapture(0) # カメラの初期化 cap.set(cv2.CAP_PROP_FRAME_WIDTH, 1280) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 960) # MediaPipe Hands の初期化 mp_hands = mp.solutions.hands hands = mp_hands.Hands( static_image_mode=False, max_num_hands=2, # 最大2つの手を検出 min_detection_confidence=0.5, min_tracking_confidence=0.5 ) # 接続線情報 connections = [[a,b] for a,b in mp_hands.HAND_CONNECTIONS] print( connections ) # ブラウザ更新や複数クライアントを安定して扱うために、カメラキャプチャを別スレッドで常に動かす # スレッドロックとグローバル変数 lock = threading.Lock() latest_frame_bytes = None def capture_frames(): global latest_frame_bytes # 関数内で代入するのでglobalが必要 while True: ret, frame = cap.read() if not ret: continue # 推定のために BGR→RGB 変換 frame_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) # 推定 results = hands.process(frame_rgb) h, w, _ = frame.shape # 推定結果をフレームに描画 if results.multi_hand_landmarks: for hand_landmarks in results.multi_hand_landmarks: if hand_landmarks is None: continue landmarks = hand_landmarks.landmark if landmarks is None: continue # 接続線 for (a, b) in connections: x1, y1 = int(landmarks[a].x * w), int(landmarks[a].y * h) x2, y2 = int(landmarks[b].x * w), int(landmarks[b].y * h) cv2.line(frame, (x1, y1), (x2, y2), (0, 0, 255), 2) # 関節点とラベル for i, lm in enumerate(landmarks): cx, cy = int(lm.x * w), int(lm.y * h) cv2.circle(frame, (cx, cy), 5, (255, 0, 0), -1) cv2.putText(frame, str(i), (cx+6, cy-6), cv2.FONT_HERSHEY_SIMPLEX, 1.0, (0, 0, 0), 1, cv2.LINE_AA) # JPEGにエンコード ret, buffer = cv2.imencode('.jpg', frame) if ret: with lock: latest_frame_bytes = buffer.tobytes() # カメラキャプチャスレッド開始 threading.Thread(target=capture_frames, daemon=True).start() def generate_frames(): while True: with lock: if latest_frame_bytes is None: continue frame_bytes = latest_frame_bytes # HTTPストリーム形式でyield yield (b'--frame\r\n' b'Content-Type: image/jpeg\r\n\r\n' + frame_bytes + b'\r\n') @app.route('/video_feed') def video_feed(): return Response(generate_frames(), mimetype='multipart/x-mixed-replace; boundary=frame') @app.route('/') def index(): return """ <!DOCTYPE html> <html> <body> <img src="/video_feed" width="640" height="480"> </body> </html> """ if __name__ == '__main__': app.run(host='0.0.0.0', port=5000)

以下のコマンドを実行し、Flaskウェブサーバーを起動します。
python3 estimate-hands.py

同一ネットワーク上のPCのブラウザアプリ（ChromeやEdge）から、
http://[Jetson Orin Nano のIPアドレス]:5000
もしくは
http://[Jetson Orin Nano のホスト名]:5000
にアクセスします。

手の形を推定した結果が表示されます。

「ctrl + c」を押下し、Flaskウェブサーバーを終了します。

手の形の推定のみの描画

カメラ画像を描画せず、手の形の推定のみを描画してみます。

「estimate-hands.py」ファイルをコピーし、「estimate-hands-no-render-camera-image.py」というファイル名にします。

以下の変更を加えます。

NumPyの関数を使用するので、「import numpy as np」をimport部に追加します。
from flask import Flask, Response import cv2 import threading import mediapipe as mp import numpy as np （・・・以下略・・・）

「推定結果をフレームに描画」の描画対象を、「カメラ画像」から「灰色キャンバス」に差し替える処理を追加します。
（・・・以上略・・・） # 推定 results = pose.process(frame_rgb) h, w, _ = frame.shape # カメラ画像サイズの灰色キャンバス作成 frame = np.full((h, w, 3), (192, 192, 192), dtype=np.uint8) # 推定結果をフレームに描画（・・・以下略・・・）

「estimate-hands-no-render-camera-image.py」ファイル全体の内容は以下のようになります。
from flask import Flask, Response import cv2 import threading import mediapipe as mp import numpy as np app = Flask(__name__) # Flaskの初期化 cap = cv2.VideoCapture(0) # カメラの初期化 cap.set(cv2.CAP_PROP_FRAME_WIDTH, 1280) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 960) # MediaPipe Hands の初期化 mp_hands = mp.solutions.hands hands = mp_hands.Hands( static_image_mode=False, max_num_hands=2, # 最大2つの手を検出 min_detection_confidence=0.5, min_tracking_confidence=0.5 ) # 接続線情報 connections = [[a,b] for a,b in mp_hands.HAND_CONNECTIONS] print( connections ) # ブラウザ更新や複数クライアントを安定して扱うために、カメラキャプチャを別スレッドで常に動かす # スレッドロックとグローバル変数 lock = threading.Lock() latest_frame_bytes = None def capture_frames(): global latest_frame_bytes # 関数内で代入するのでglobalが必要 while True: ret, frame = cap.read() if not ret: continue # 推定のために BGR→RGB 変換 frame_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) # 推定 results = hands.process(frame_rgb) h, w, _ = frame.shape # カメラ画像サイズの灰色キャンバス作成 frame = np.full((h, w, 3), (192, 192, 192), dtype=np.uint8) # 推定結果をフレームに描画 if results.multi_hand_landmarks: for hand_landmarks in results.multi_hand_landmarks: if hand_landmarks is None: continue landmarks = hand_landmarks.landmark if landmarks is None: continue # 接続線 for (a, b) in connections: x1, y1 = int(landmarks[a].x * w), int(landmarks[a].y * h) x2, y2 = int(landmarks[b].x * w), int(landmarks[b].y * h) cv2.line(frame, (x1, y1), (x2, y2), (0, 0, 255), 2) # 関節点とラベル for i, lm in enumerate(landmarks): cx, cy = int(lm.x * w), int(lm.y * h) cv2.circle(frame, (cx, cy), 5, (255, 0, 0), -1) cv2.putText(frame, str(i), (cx+6, cy-6), cv2.FONT_HERSHEY_SIMPLEX, 1.0, (0, 0, 0), 1, cv2.LINE_AA) # JPEGにエンコード ret, buffer = cv2.imencode('.jpg', frame) if ret: with lock: latest_frame_bytes = buffer.tobytes() # カメラキャプチャスレッド開始 threading.Thread(target=capture_frames, daemon=True).start() def generate_frames(): while True: with lock: if latest_frame_bytes is None: continue frame_bytes = latest_frame_bytes # HTTPストリーム形式でyield yield (b'--frame\r\n' b'Content-Type: image/jpeg\r\n\r\n' + frame_bytes + b'\r\n') @app.route('/video_feed') def video_feed(): return Response(generate_frames(), mimetype='multipart/x-mixed-replace; boundary=frame') @app.route('/') def index(): return """ <!DOCTYPE html> <html> <body> <img src="/video_feed" width="640" height="480"> </body> </html> """ if __name__ == '__main__': app.run(host='0.0.0.0', port=5000)

以下のコマンドを実行し、Flaskウェブサーバーを起動します。
python3 estimate-hands-no-render-camera-image.py

同一ネットワーク上のPCのブラウザアプリ（ChromeやEdge）から、
http://[Jetson Orin Nano のIPアドレス]:5000
もしくは
http://[Jetson Orin Nano のホスト名]:5000
にアクセスします。

Webカメラ画像は表示されず、手の形の推定のみ表示されます。

「ctrl + c」を押下し、Flaskウェブサーバーを終了します。

コンテナの終了

以下のコマンドを実行し、コンテナを終了します。
exit

コンテナが終了すると、Terminalでの表示が「ユーザー名@ホスト名:/~$」に変わり、ホスト上での作業に戻ります。

MeidaPipeによる手の形の推定

解説

前提

コンテナの起動

Webカメラ画像からの手の形の推定

手の形の推定のみの描画

コンテナの終了

関連ページ

MediaPipe

OpenPose