JP7499345B2 - 複数の姿勢推定エンジンを用いた手のマーカレス運動捕捉 - Google Patents
複数の姿勢推定エンジンを用いた手のマーカレス運動捕捉 Download PDFInfo
- Publication number
- JP7499345B2 JP7499345B2 JP2022556030A JP2022556030A JP7499345B2 JP 7499345 B2 JP7499345 B2 JP 7499345B2 JP 2022556030 A JP2022556030 A JP 2022556030A JP 2022556030 A JP2022556030 A JP 2022556030A JP 7499345 B2 JP7499345 B2 JP 7499345B2
- Authority
- JP
- Japan
- Prior art keywords
- skeleton
- pose estimation
- coarse
- image
- fine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 46
- 238000004891 communication Methods 0.000 claims description 26
- 238000013527 convolutional neural network Methods 0.000 claims description 22
- 230000005055 memory storage Effects 0.000 claims description 14
- 210000003857 wrist joint Anatomy 0.000 claims description 9
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 210000003484 anatomy Anatomy 0.000 claims 11
- 238000012545 processing Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 210000004247 hand Anatomy 0.000 description 6
- 238000009499 grossing Methods 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 210000000245 forearm Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 210000000811 metacarpophalangeal joint Anatomy 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Editing Of Facsimile Originals (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は、例えば、以下を提供する。
(項目1)
装置であって、
対象の第1の画像を捕捉するための第1のカメラと、
前記第1の画像を受信するための第1の姿勢推定エンジンであって、前記第1の姿勢推定エンジンは、前記第1の画像の第1の粗い骨格を生成し、前記第1の姿勢推定エンジンはさらに、前記第1の粗い骨格に基づいて、前記第1の画像の第1の領域を識別する、第1の姿勢推定エンジンと、
前記第1の領域を受信するための第2の姿勢推定エンジンであって、前記第2の姿勢推定エンジンは、前記第1の画像の第1の領域の第1の細かい骨格を生成する、第2の姿勢推定エンジンと、
第1の骨格全体を生成するための第1の取着エンジンであって、前記第1の骨格全体は、前記第1の粗い骨格に取着される、前記第1の細かい骨格を含む、第1の取着エンジンと、
前記対象の第2の画像を捕捉するための第2のカメラであって、前記第2の画像は、前記第1のカメラと異なる視点から捕捉される、第2のカメラと、
前記第2の画像を受信するための第3の姿勢推定エンジンであって、前記第3の姿勢推定エンジンは、前記第1の画像の第2の粗い骨格を生成し、前記第3の姿勢推定エンジンはさらに、前記第2の粗い骨格に基づいて、前記第2の画像の第2の領域を識別する、第3の姿勢推定エンジンと、
前記第2の領域を受信するための第4の姿勢推定エンジンであって、前記第4の姿勢推定エンジンは、前記第2の画像の第2の領域の第2の細かい骨格を生成する、第4の姿勢推定エンジンと、
第2の骨格全体を生成するための第2の取着エンジンであって、前記第2の骨格全体は、前記第2の粗い骨格に取着される、前記第2の細かい骨格を含む、第2の取着エンジンと、
前記第1の骨格全体および前記第2の骨格全体を受信するための集約器であって、前記集約器は、前記第1の骨格全体および前記第2の骨格全体から、3次元骨格を生成する、集約器と
を備える、装置。
(項目2)
前記第1の姿勢推定エンジンによって生成される、前記第1の粗い骨格は、前記対象の身体を表す、項目1に記載の装置。
(項目3)
前記第1の姿勢推定エンジンは、前記身体の身体関節位置を推測するために、第1の畳み込みニューラルネットワークを使用する、項目2に記載の装置。
(項目4)
前記第2の姿勢推定エンジンによって生成される、前記第1の細かい骨格は、前記対象の手を表す、項目3に記載の装置。
(項目5)
前記第2の姿勢推定エンジンは、前記手の手関節位置を推測するために、第2の畳み込みニューラルネットワークを使用する、項目4に記載の装置。
(項目6)
前記第1の取着エンジンは、前記第1の粗い骨格と組み合わせるために、前記第1の細かい骨格をスケーリングするためのものである、項目1-5のいずれか1項に記載の装置。
(項目7)
前記第1の取着エンジンは、前記第1の粗い骨格と組み合わせるために、前記第1の細かい骨格を平行移動させるためのものである、前項目1-6のいずれか1項に記載の装置。
(項目8)
前記第1の姿勢推定エンジンは、前記第1の粗い骨格を生成するために、前記第1の画像の分解能を低減させるためのものであり、前記第2の姿勢推定エンジンは、前記第1の細かい骨格を生成するために、フル分解能で、前記第1の画像を使用するためのものである、項目1-9のいずれか1項に記載の装置。
(項目9)
前記第3の姿勢推定エンジンによって生成される、前記第2の粗い骨格は、前記対象の身体を表す、項目1-8のいずれか1項に記載の装置。
(項目10)
前記第2の姿勢推定エンジンによって生成される、前記第2の細かい骨格は、前記対象の手を表す、項目9に記載の装置。
(項目11)
前記第2の取着エンジンは、前記第2の粗い骨格と組み合わせるために、前記第2の細かい骨格をスケーリングするためのものである、項目1-10のいずれか1項に記載の装置。
(項目12)
前記第2の取着エンジンは、前記第1の粗い骨格と組み合わせるために、前記第2の細かい骨格を平行移動させるためのものである、項目1-11のいずれか1項に記載の装置。
(項目13)
前記第3の姿勢推定エンジンは、前記第2の粗い骨格を生成するために、前記第2の画像の分解能を低減させるためのものであり、前記第4の姿勢推定エンジンは、前記第1の細かい骨格を生成するために、フル分解能で、前記第2の画像を使用するためのものである、項目1-12のいずれか1項に記載の装置。
(項目14)
装置であって、
対象の画像を捕捉するためのカメラと、
前記画像を受信するための第1の姿勢推定エンジンであって、前記第1の姿勢推定エンジンは、前記画像の粗い骨格を生成し、前記第1の姿勢推定エンジンはさらに、前記粗い骨格に基づいて、前記画像の領域を識別する、第1の姿勢推定エンジンと、
前記領域を受信するための第2の姿勢推定エンジンであって、前記第2の姿勢推定エンジンは、前記画像の領域の細かい骨格を生成する、第2の姿勢推定エンジンと、
骨格全体を生成するための取着エンジンであって、前記骨格全体は、前記粗い骨格に取着される、前記細かい骨格を含む、取着エンジンと、
前記骨格全体を集約器に伝送するための通信インターフェースであって、前記集約器は、前記骨格全体および付加的なデータに基づいて、3次元骨格を生成するためのものである、通信インターフェースと
を備える、装置。
(項目15)
前記第1の姿勢推定エンジンによって生成される、前記粗い骨格は、前記対象の身体を表す、項目14に記載の装置。
(項目16)
前記第1の姿勢推定エンジンは、前記身体の身体関節位置を推測するために、第1の畳み込みニューラルネットワークを使用する、項目15に記載の装置。
(項目17)
前記第2の姿勢推定エンジンによって生成される、前記細かい骨格は、前記対象の手を表す、項目16に記載の装置。
(項目18)
前記第2の姿勢推定エンジンは、前記手の手関節位置を推測するために、第2の畳み込みニューラルネットワークを使用する、項目17に記載の装置。
(項目19)
前記取着エンジンは、前記粗い骨格と組み合わせるために、前記細かい骨格をスケーリングするためのものである、項目14-18のいずれか1項に記載の装置。
(項目20)
前記取着エンジンは、前記粗い骨格と組み合わせるために、前記細かい骨格を平行移動させるためのものである、項目14-19のいずれか1項に記載の装置。
(項目21)
前記第1の姿勢推定エンジンは、前記粗い骨格を生成するために、前記画像の分解能を低減させるためのものであり、前記第2の姿勢推定エンジンは、前記細かい骨格を生成するために、フル分解能で、前記画像を使用するためのものである、項目14-20のいずれか1項に記載の装置。
(項目22)
装置であって、
複数の外部ソースから複数の骨格全体を受信するための通信インターフェースであって、前記複数の骨格全体のそれぞれの骨格全体は、粗い骨格に取着される、細かい骨格を含む、通信インターフェースと、
前記通信インターフェースを介して受信された前記複数の骨格全体を記憶するためのメモリ記憶ユニットと、
前記メモリ記憶ユニットと通信している集約器であって、前記集約器は、前記複数の骨格全体に基づいて、3次元骨格を生成するためのものである、集約器と
を備える、装置。
(項目23)
前記集約器は、3次元関節を生成するために、第1の骨格全体の第1の関節と第2の骨格全体の第2の関節を組み合わせるためのものである、項目22に記載の装置。
(項目24)
前記3次元関節は、手関節を表す、項目23に記載の装置。
(項目25)
方法であって、
カメラを用いて、対象の画像を捕捉することと、
前記画像の粗い骨格を生成することであって、前記粗い骨格は、2次元である、ことと、
前記粗い骨格に基づいて、前記画像内の着目領域を識別することと、
前記着目領域の細かい骨格を生成することであって、前記細かい骨格は、2次元である、ことと、
骨格全体を形成するために、前記細かい骨格を前記粗い骨格の一部に取着することと、
3次元骨格を形成するために、付加的なデータとともに、前記骨格全体を集約することと
を含む、方法。
(項目26)
前記画像の前記粗い骨格を生成することは、前記画像内の身体関節位置を推測するために、第1の畳み込みニューラルネットワークを適用することを含む、項目25に記載の方法。
(項目27)
前記着目領域の前記細かい骨格を生成することは、前記着目領域内の前記手関節位置を推測するために、第2の畳み込みニューラルネットワークを適用することを含む、項目26に記載の方法。
(項目28)
前記細かい骨格を前記粗い骨格の一部に取着することは、前記粗い骨格の一部をマッチングさせるために、前記細かい骨格をスケーリングすることを含む、項目25-27のいずれか1項に記載の方法。
(項目29)
前記細かい骨格を前記粗い骨格の一部に取着することは、前記粗い骨格の一部をマッチングさせるために、前記細かい骨格を平行移動させることを含む、項目25-28のいずれか1項に記載の方法。
(項目30)
前記粗い骨格を生成するために、前記画像の分解能を低減させることをさらに含む、項目25-29のいずれか1項に記載の方法。
(項目31)
コードを用いてエンコードされる非一過性コンピュータ可読媒体であって、前記コードは、
第1のカメラを用いて、対象の画像を捕捉することと、
前記画像の粗い骨格を生成することであって、前記粗い骨格は、2次元である、ことと、
前記粗い骨格に基づいて、前記画像内の着目領域を識別することと、
前記着目領域の細かい骨格を生成することであって、前記粗い骨格は、2次元である、ことと、
骨格全体を形成するために、前記細かい骨格を前記粗い骨格の一部に取着することと、
3次元骨格を形成するために、付加的なデータとともに、前記骨格全体を集約することと
を行うようにプロセッサに指示する、非一過性のコンピュータ可読媒体。
(項目32)
前記コードは、前記画像内の身体関節位置を推測するために第1の畳み込みニューラルネットワークを適用することによって、前記画像の前記粗い骨格を生成するように前記プロセッサに指示する、項目31に記載の非一過性コンピュータ可読媒体。
(項目33)
前記コードは、前記着目領域内の前記手関節位置を推測するために第2の畳み込みニューラルネットワークを適用することによって、前記着目領域の前記細かい骨格を生成するように前記プロセッサに指示する、項目32に記載の非一過性コンピュータ可読媒体。
(項目34)
前記細かい骨格を前記粗い骨格の一部に取着するように前記プロセッサに指示する、前記コードはさらに、前記粗い骨格の一部をマッチングさせるために、前記細かい骨格をスケーリングするように前記プロセッサに指示する、項目31-33のいずれか1項に記載の非一過性コンピュータ可読媒体。
(項目35)
前記細かい骨格を前記粗い骨格の一部に取着するように前記プロセッサに指示する、前記コードはさらに、前記粗い骨格の一部をマッチングさせるために、前記細かい骨格を平行移動させるように前記プロセッサに指示する、項目31-34のいずれか1項に記載の非一過性コンピュータ可読媒体。
(項目36)
前記コードは、前記粗い骨格を生成するために、前記画像の分解能を低減させるように前記プロセッサに指示する、項目31-35のいずれか1項に記載の非一過性コンピュータ可読媒体。
カメラ55は、画像または映像の形態で、データを収集するためのものである。特に、カメラ55は、運動中の対象の画像を捕捉するための高分解能デジタル映像レコーダであり得る。本実施例では、映像は、規定されたフレームレートで捕捉された画像の集合であり得る。故に、映像の各フレームまたは画像が、運動捕捉中に、別個に処理され、処理後に再度組み合わせられ、運動捕捉を提供し得ることが、本説明から利益を享受する当業者によって理解されるであろう。いくつかの実施例では、フレームは、1つおきのフレームまたは数個おきのフレーム等、運動捕捉のためのより遅いレートでサンプリングされ、算出リソースに関する需要を低減させ得る。例えば、カメラ55は、人間対象の画像を捕捉し得る。いくつかの実施例では、カメラ55は、ステージ上またはスポーツアリーナ内等、具体的な対象の運動に追従するための運動追跡を含み得る。カメラ55は、特に限定されず、カメラ55が画像を捕捉する様式も、限定されない。例えば、カメラ55は、光信号を検出するために、相補型金属酸化膜半導体を有する、アクティブピクセルセンサ上に光を集束させるための種々の光学的構成要素を含み得る。他の実施例では、光学系が、電荷結合素子上に光を集束させるために使用され得る。
Claims (36)
- 装置であって、
対象の第1の画像を捕捉するための第1のカメラと、
第1の姿勢推定エンジンであって、前記第1の姿勢推定エンジンは、
前記第1の画像を受信することと、
前記第1の画像の分析に基づいて、前記対象の異なる解剖学的領域に対応する第1の複数の関節を有する第1の粗い骨格を生成することと、
前記第1の粗い骨格の少なくとも一部を含む前記第1の画像の第1の領域を識別することと
を実行するためのものである、第1の姿勢推定エンジンと、
第2の姿勢推定エンジンであって、前記第2の姿勢推定エンジンは、
前記第1の画像の前記第1の領域を受信することと、
前記第1の画像の前記第1の領域の分析に基づいて、前記対象の単一の解剖学的領域に対応する第2の複数の関節を有する第1の細かい骨格を生成することと
を実行するためのものである、第2の姿勢推定エンジンと、
前記第1の粗い骨格に前記第1の細かい骨格を取着することによって第1の骨格全体を生成するための第1の取着エンジンと、
前記対象の第2の画像を捕捉するための第2のカメラであって、前記第2の画像は、前記第1のカメラと異なる視点から捕捉される、第2のカメラと、
第3の姿勢推定エンジンであって、前記第3の姿勢推定エンジンは、
前記第2の画像を受信することと、
前記第2の画像の分析に基づいて、第2の粗い骨格を生成することと、
前記第2の粗い骨格の少なくとも一部を含む前記第2の画像の第2の領域を識別することと
を実行するためのものである、第3の姿勢推定エンジンと、
第4の姿勢推定エンジンであって、前記第4の姿勢推定エンジンは、
前記第2の画像の前記第2の領域を受信することと、
前記第2の画像の前記第2の領域の分析に基づいて、第2の細かい骨格を生成することと
を実行するためのものである、第4の姿勢推定エンジンと、
前記第2の粗い骨格に前記第2の細かい骨格を取着することによって第2の骨格全体を生成するための第2の取着エンジンと、
集約器であって、前記集約器は、
前記第1の骨格全体および前記第2の骨格全体を受信することと、
前記第1の骨格全体および前記第2の骨格全体から、3次元骨格を生成することと
を実行するためのものである、集約器と
を備える、装置。 - 前記第1の姿勢推定エンジンによって生成される、前記第1の粗い骨格は、前記対象の身体を表す、請求項1に記載の装置。
- 前記第1の姿勢推定エンジンは、前記身体の身体関節位置を推測するために、第1の畳み込みニューラルネットワークを使用する、請求項2に記載の装置。
- 前記第2の姿勢推定エンジンによって生成される、前記第1の細かい骨格は、前記対象の手を表す、請求項3に記載の装置。
- 前記第2の姿勢推定エンジンは、前記手の手関節位置を推測するために、第2の畳み込みニューラルネットワークを使用する、請求項4に記載の装置。
- 前記第1の取着エンジンは、前記第1の粗い骨格と組み合わせるために、前記第1の細かい骨格をスケーリングするためのものである、請求項1~5のいずれか1項に記載の装置。
- 前記第1の取着エンジンは、前記第1の粗い骨格と組み合わせるために、前記第1の細かい骨格を平行移動させるためのものである、請求項1~5のいずれか1項に記載の装置。
- 前記第1の姿勢推定エンジンは、前記第1の粗い骨格を生成するために、前記第1の画像の分解能を低減させるためのものであり、前記第2の姿勢推定エンジンは、前記第1の細かい骨格を生成するために、フル分解能で、前記第1の画像を使用するためのものである、請求項1~5のいずれか1項に記載の装置。
- 前記第3の姿勢推定エンジンによって生成される、前記第2の粗い骨格は、前記対象の身体を表す、請求項1~5のいずれか1項に記載の装置。
- 前記第4の姿勢推定エンジンによって生成される、前記第2の細かい骨格は、前記対象の手を表す、請求項9に記載の装置。
- 前記第2の取着エンジンは、前記第2の粗い骨格と組み合わせるために、前記第2の細かい骨格をスケーリングするためのものである、請求項1~5のいずれか1項に記載の装置。
- 前記第2の取着エンジンは、前記第2の粗い骨格と組み合わせるために、前記第2の細かい骨格を平行移動させるためのものである、請求項1~5のいずれか1項に記載の装置。
- 前記第3の姿勢推定エンジンは、前記第2の粗い骨格を生成するために、前記第2の画像の分解能を低減させるためのものであり、前記第4の姿勢推定エンジンは、前記第2の細かい骨格を生成するために、フル分解能で、前記第2の画像を使用するためのものである、請求項1~5のいずれか1項に記載の装置。
- 装置であって、
対象の画像を捕捉するためのカメラと、
第1の姿勢推定エンジンであって、前記第1の姿勢推定エンジンは、
前記画像を受信することと、
前記画像の分析に基づいて、前記対象の異なる解剖学的領域に対応する第1の複数の関節を有する粗い骨格を生成することと、
前記粗い骨格の少なくとも一部を含む前記画像の領域を識別することと
を実行するためのものである、第1の姿勢推定エンジンと、
第2の姿勢推定エンジンであって、前記第2の姿勢推定エンジンは、
前記画像の前記領域を受信することと、
前記画像の前記領域の分析に基づいて、前記対象の単一の解剖学的領域に対応する第2の複数の関節を有する細かい骨格を生成することと
を実行するためのものである、第2の姿勢推定エンジンと、
前記粗い骨格に前記細かい骨格を取着することによって骨格全体を生成するための取着エンジンと、
前記骨格全体を集約器に伝送するための通信インターフェースであって、前記集約器は、前記骨格全体および付加的なデータに基づいて、3次元骨格を生成するためのものである、通信インターフェースと
を備える、装置。 - 前記第1の姿勢推定エンジンによって生成される、前記粗い骨格は、前記対象の身体を表す、請求項14に記載の装置。
- 前記第1の姿勢推定エンジンは、前記身体の身体関節位置を推測するために、第1の畳み込みニューラルネットワークを使用する、請求項15に記載の装置。
- 前記第2の姿勢推定エンジンによって生成される、前記細かい骨格は、前記対象の手を表す、請求項16に記載の装置。
- 前記第2の姿勢推定エンジンは、前記手の手関節位置を推測するために、第2の畳み込みニューラルネットワークを使用する、請求項17に記載の装置。
- 前記取着エンジンは、前記粗い骨格と組み合わせるために、前記細かい骨格をスケーリングするためのものである、請求項14~18のいずれか1項に記載の装置。
- 前記取着エンジンは、前記粗い骨格と組み合わせるために、前記細かい骨格を平行移動させるためのものである、請求項14~18のいずれか1項に記載の装置。
- 前記第1の姿勢推定エンジンは、前記粗い骨格を生成するために、前記画像の分解能を低減させるためのものであり、前記第2の姿勢推定エンジンは、前記細かい骨格を生成するために、フル分解能で、前記画像を使用するためのものである、請求項14~18のいずれか1項に記載の装置。
- 装置であって、
複数の運動捕捉装置によって生成された複数の骨格全体を受信するための通信インターフェースであって、前記複数の運動捕捉装置のそれぞれの運動捕捉装置は、
対象の画像を捕捉するためのカメラと、
第1の姿勢推定エンジンであって、前記第1の姿勢推定エンジンは、
前記画像を受信することと、
前記画像の分析に基づいて、前記対象の異なる解剖学的領域に対応する第1の複数の関節を有する粗い骨格を生成することと、
前記粗い骨格の少なくとも一部を含む前記画像の領域を識別することと
を実行するためのものである、第1の姿勢推定エンジンと、
第2の姿勢推定エンジンであって、前記第2の姿勢推定エンジンは、
前記画像の前記領域を受信することと、
前記画像の前記領域の分析に基づいて、前記対象の単一の解剖学的領域に対応する第2の複数の関節を有する細かい骨格を生成することと
を実行するためのものである、第2の姿勢推定エンジンと、
前記粗い骨格に前記細かい骨格を取着することによって骨格全体を生成するための取着エンジンと
を備える、通信インターフェースと、
前記通信インターフェースを介して受信された前記複数の骨格全体を記憶するためのメモリ記憶ユニットと、
前記メモリ記憶ユニットと通信している集約器であって、前記集約器は、前記複数の骨格全体に基づいて、3次元骨格を生成するためのものである、集約器と
を備える、装置。 - 前記集約器は、3次元関節を生成するために、第1の骨格全体の第1の関節と第2の骨格全体の第2の関節を組み合わせるためのものである、請求項22に記載の装置。
- 前記3次元関節は、手関節を表す、請求項23に記載の装置。
- 方法であって、
カメラを用いて、対象の画像を捕捉することと、
前記画像の分析に基づいて、前記対象の複数の解剖学的領域にわたる第1の複数の関節を有する粗い骨格を生成することであって、前記粗い骨格は、2次元である、ことと、
前記粗い骨格に基づいて、前記画像内の着目領域を識別することと、
前記着目領域の分析に基づいて、前記対象の前記複数の解剖学的領域のうちの1つの解剖学的領域にわたる第2の複数の関節を有する細かい骨格を生成することであって、前記細かい骨格は、2次元である、ことと、
骨格全体を形成するために、前記細かい骨格を前記粗い骨格の一部に取着することと、
3次元骨格を形成するために、付加的なデータとともに、前記骨格全体を集約することと
を含む、方法。 - 前記画像の前記粗い骨格を生成することは、前記画像内の身体関節位置を推測するために、第1の畳み込みニューラルネットワークを適用することを含む、請求項25に記載の方法。
- 前記着目領域の前記細かい骨格を生成することは、前記着目領域内の手関節位置を推測するために、第2の畳み込みニューラルネットワークを適用することを含む、請求項26に記載の方法。
- 前記細かい骨格を前記粗い骨格の一部に取着することは、前記粗い骨格の一部をマッチングさせるために、前記細かい骨格をスケーリングすることを含む、請求項25~27のいずれか1項に記載の方法。
- 前記細かい骨格を前記粗い骨格の一部に取着することは、前記粗い骨格の一部をマッチングさせるために、前記細かい骨格を平行移動させることを含む、請求項25~27のいずれか1項に記載の方法。
- 前記粗い骨格を生成するために、前記画像の分解能を低減させることをさらに含む、請求項25~27のいずれか1項に記載の方法。
- コードを用いてエンコードされる非一過性コンピュータ可読媒体であって、前記コードは、
第1のカメラを用いて、対象の画像を捕捉することと、
前記画像の分析に基づいて、前記対象の複数の解剖学的領域にわたる第1の複数の関節を有する粗い骨格を生成することであって、前記粗い骨格は、2次元である、ことと、
前記粗い骨格に基づいて、前記画像内の着目領域を識別することと、
前記着目領域の分析に基づいて、前記対象の前記複数の解剖学的領域のうちの1つの解剖学的領域にわたる第2の複数の関節を有する細かい骨格を生成することであって、前記粗い骨格は、2次元である、ことと、
骨格全体を形成するために、前記細かい骨格を前記粗い骨格の一部に取着することと、
3次元骨格を形成するために、付加的なデータとともに、前記骨格全体を集約することと
を行うようにプロセッサに指示する、非一過性コンピュータ可読媒体。 - 前記コードは、前記画像内の身体関節位置を推測するために第1の畳み込みニューラルネットワークを適用することによって、前記画像の前記粗い骨格を生成するように前記プロセッサに指示する、請求項31に記載の非一過性コンピュータ可読媒体。
- 前記コードは、前記着目領域内の手関節位置を推測するために第2の畳み込みニューラルネットワークを適用することによって、前記着目領域の前記細かい骨格を生成するように前記プロセッサに指示する、請求項32に記載の非一過性コンピュータ可読媒体。
- 前記細かい骨格を前記粗い骨格の一部に取着するように前記プロセッサに指示する、前記コードは、前記粗い骨格の一部をマッチングさせるために、前記細かい骨格をスケーリングするように前記プロセッサにさらに指示する、請求項31~33のいずれか1項に記載の非一過性コンピュータ可読媒体。
- 前記細かい骨格を前記粗い骨格の一部に取着するように前記プロセッサに指示する、前記コードは、前記粗い骨格の一部をマッチングさせるために、前記細かい骨格を平行移動させるように前記プロセッサにさらに指示する、請求項31~33のいずれか1項に記載の非一過性コンピュータ可読媒体。
- 前記コードは、前記粗い骨格を生成するために、前記画像の分解能を低減させるように前記プロセッサに指示する、請求項31~33のいずれか1項に記載の非一過性コンピュータ可読媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/IB2020/052600 WO2021186222A1 (en) | 2020-03-20 | 2020-03-20 | Markerless motion capture of hands with multiple pose estimation engines |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023527625A JP2023527625A (ja) | 2023-06-30 |
JP7499345B2 true JP7499345B2 (ja) | 2024-06-13 |
Family
ID=77771672
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022556030A Active JP7499345B2 (ja) | 2020-03-20 | 2020-03-20 | 複数の姿勢推定エンジンを用いた手のマーカレス運動捕捉 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20230141494A1 (ja) |
EP (1) | EP4121939A4 (ja) |
JP (1) | JP7499345B2 (ja) |
KR (1) | KR20220156873A (ja) |
AU (1) | AU2020436767B2 (ja) |
CA (1) | CA3172247A1 (ja) |
WO (1) | WO2021186222A1 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020042476A (ja) | 2018-09-10 | 2020-03-19 | 国立大学法人 東京大学 | 関節位置の取得方法及び装置、動作の取得方法及び装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7804998B2 (en) * | 2006-03-09 | 2010-09-28 | The Board Of Trustees Of The Leland Stanford Junior University | Markerless motion capture system |
US8023726B2 (en) * | 2006-11-10 | 2011-09-20 | University Of Maryland | Method and system for markerless motion capture using multiple cameras |
KR101849373B1 (ko) * | 2012-01-31 | 2018-04-17 | 한국전자통신연구원 | 인체의 관절구조를 추정하기 위한 장치 및 방법 |
WO2014154839A1 (en) * | 2013-03-27 | 2014-10-02 | Mindmaze S.A. | High-definition 3d camera device |
CA3046612A1 (en) * | 2019-06-14 | 2020-12-14 | Wrnch Inc. | Method and system for monocular depth estimation of persons |
-
2020
- 2020-03-20 AU AU2020436767A patent/AU2020436767B2/en active Active
- 2020-03-20 US US17/906,854 patent/US20230141494A1/en active Pending
- 2020-03-20 KR KR1020227036047A patent/KR20220156873A/ko active Search and Examination
- 2020-03-20 EP EP20926208.8A patent/EP4121939A4/en active Pending
- 2020-03-20 WO PCT/IB2020/052600 patent/WO2021186222A1/en active Application Filing
- 2020-03-20 CA CA3172247A patent/CA3172247A1/en active Pending
- 2020-03-20 JP JP2022556030A patent/JP7499345B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020042476A (ja) | 2018-09-10 | 2020-03-19 | 国立大学法人 東京大学 | 関節位置の取得方法及び装置、動作の取得方法及び装置 |
Non-Patent Citations (1)
Title |
---|
渡部 直人 Naoto WATANABE,フルハイビジョンカメラによる身体・手・顔のモーションキャプチャ Body, hands and face motion capture from full high-definition television camera,映像情報メディア学会技術報告 Vol.32 No.58 ITE Technical Report,日本,(社)映像情報メディア学会 The Institute of Image Information and Television Engineers,2008年12月18日,第32巻 第58号,第61-64頁 |
Also Published As
Publication number | Publication date |
---|---|
AU2020436767B2 (en) | 2024-02-29 |
EP4121939A1 (en) | 2023-01-25 |
WO2021186222A1 (en) | 2021-09-23 |
KR20220156873A (ko) | 2022-11-28 |
US20230141494A1 (en) | 2023-05-11 |
EP4121939A4 (en) | 2024-03-20 |
CA3172247A1 (en) | 2021-09-23 |
JP2023527625A (ja) | 2023-06-30 |
AU2020436767A1 (en) | 2022-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9330470B2 (en) | Method and system for modeling subjects from a depth map | |
JP4148281B2 (ja) | モーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラム | |
CN111881887A (zh) | 基于多摄像头的运动姿态监测和指导方法及装置 | |
JPH10320588A (ja) | 画像処理装置および画像処理方法 | |
CN110544302A (zh) | 基于多目视觉的人体动作重建***、方法和动作训练*** | |
CN113706699A (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
JP2013120556A (ja) | 被写体姿勢推定装置および映像描画装置 | |
Chen et al. | Camera networks for healthcare, teleimmersion, and surveillance | |
US20210035326A1 (en) | Human pose estimation system | |
JP3401512B2 (ja) | 移動物体追跡装置 | |
JP2006215743A (ja) | 画像処理装置及び画像処理方法 | |
JP7499345B2 (ja) | 複数の姿勢推定エンジンを用いた手のマーカレス運動捕捉 | |
KR102483387B1 (ko) | 손가락 재활 훈련을 위한 증강현실 콘텐츠 제공 방법 및 손가락 재활 훈련 시스템 | |
JP2000268161A (ja) | 実時間表情検出装置 | |
WO2019156241A1 (ja) | 学習装置、推定装置、学習方法、推定方法及びコンピュータプログラム | |
CN112712545A (zh) | 人体部分跟踪方法和人体部分跟踪*** | |
CN112215928B (zh) | 基于视觉图像的动作捕捉方法及数字动画制作方法 | |
CN111435535A (zh) | 一种关节点信息的获取方法及装置 | |
Sumi et al. | Active wearable vision sensor: recognition of human activities and environments | |
KR20150061549A (ko) | 하이브리드 카메라 기반 동작 추적 장치 및 그 방법 | |
CN109785364B (zh) | 机动车辆使用者运动轨迹捕捉方法 | |
JP4027294B2 (ja) | 移動体検出装置、移動体検出方法及び移動体検出プログラム | |
Wong et al. | Multi-person vision-based head detector for markerless human motion capture | |
CN117612251A (zh) | 一种人体姿态识别方法及*** | |
JP2024525148A (ja) | キーポイント検出のためのトレーニング・データセットを生成するための方法及びシステム、並びにマーカーなし対象上の仮想マーカーの3dロケーションを予測するための方法及びシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230314 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230314 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240510 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240522 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240603 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7499345 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |