JP7396364B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents
画像処理装置、画像処理方法及び画像処理プログラム Download PDFInfo
- Publication number
- JP7396364B2 JP7396364B2 JP2021553986A JP2021553986A JP7396364B2 JP 7396364 B2 JP7396364 B2 JP 7396364B2 JP 2021553986 A JP2021553986 A JP 2021553986A JP 2021553986 A JP2021553986 A JP 2021553986A JP 7396364 B2 JP7396364 B2 JP 7396364B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- height
- person
- image processing
- skeletal structure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 91
- 238000003672 processing method Methods 0.000 title claims description 14
- 210000000988 bone and bone Anatomy 0.000 claims description 157
- 238000010606 normalization Methods 0.000 claims description 37
- 238000001514 detection method Methods 0.000 claims description 34
- 238000000034 method Methods 0.000 claims description 34
- 238000003384 imaging method Methods 0.000 claims description 10
- 230000036544 posture Effects 0.000 description 33
- 238000004364 calculation method Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 23
- 238000005516 engineering process Methods 0.000 description 12
- 238000010801 machine learning Methods 0.000 description 12
- 210000002414 leg Anatomy 0.000 description 10
- 210000003127 knee Anatomy 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000037237 body shape Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 241000271566 Aves Species 0.000 description 1
- 241000938605 Crocodylia Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241000124008 Mammalia Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 235000000332 black box Nutrition 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000002411 hand bone Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000001930 leg bone Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
Description
近年、ディープラーニング等の機械学習を活用した画像認識技術が様々なシステムに応用されている。例えば、監視カメラの画像により監視を行う監視システムへの適用が進められている。監視システムに機械学習を活用することで、画像から人物の姿勢や行動等の状態をある程度把握することが可能とされつつある。
図1は、実施の形態に係る画像処理装置10の概要を示している。図1に示すように、画像処理装置10は、骨格検出部11、推定部12、正規化部13を備えている。骨格検出部11は、カメラ等から取得される2次元画像に基づいて人物の2次元骨格構造を検出する。推定部12は、骨格検出部11により検出された2次元骨格構造に基づいて、2次元画像空間上の人物の直立時の高さを推定する。正規化部13は、推定部12により推定された直立時の高さに基づいて、骨格検出部11により検出された2次元骨格構造を正規化する。
以下、図面を参照して実施の形態1について説明する。図2は、本実施の形態に係る画像処理装置100の構成を示している。画像処理装置100は、カメラ200及びデータベース(DB)110とともに画像処理システム1を構成する。画像処理装置100を含む画像処理システム1は、画像から推定される人物の骨格構造を正規化するシステムである。また、正規化された骨格構造の特徴量を用いて、人物の状態の分類や検索等を行うことができる。
あるいは、高さ方向は、実世界の3次元座標空間における地面(基準面)に対し垂直な鉛直軸の方向を、2次元座標空間に投影した鉛直投影軸の方向(鉛直投影方向)でもよい。この場合、キーポイントの高さは、実世界における地面に対し垂直な軸を、カメラパラメータに基づいて2次元座標空間に投影した鉛直投影軸を求め、この鉛直投影軸に沿った値(画素数)から求めることができる。なお、カメラパラメータは、画像の撮像パラメータであり、例えば、カメラパラメータは、カメラ200の姿勢、位置、撮像角度、焦点距離等である。カメラ200により、予め長さや位置が分かっている物体を撮像し、その画像からカメラパラメータを求めることができる。撮像された画像の両端ではひずみが発生し、実世界の鉛直方向と画像の上下方向が合わない場合がある。これに対し、画像を撮影したカメラのパラメータを使用することで、実世界の鉛直方向が画像中でどの程度傾いているのかが分かる。このため、カメラパラメータに基づいて画像中に投影した鉛直投影軸に沿ったキーポイントの値を身長で正規化することで、実世界と画像のずれを考慮してキーポイントを特徴量化することができる。なお、左右方向(横方向)は、画像の2次元座標(X-Y座標)空間における左右の方向(X軸方向)であり、または、実世界の3次元座標空間における地面に対し平行な方向を、2次元座標空間に投影した方向である。
具体例1では、頭部から足部までのボーンの長さを用いて身長画素数を求める。具体例1では、図5に示すように、身長算出部103は、各ボーンの長さを取得し(S111)、取得した各ボーンの長さを合計する(S112)。
具体例2では、2次元骨格構造に含まれる骨の長さと2次元画像空間上の人物の全身の長さとの関係を示す2次元骨格モデルを用いて身長画素数を求める。
具体例3では、2次元骨格構造を3次元人体モデル(3次元骨格モデル)にフィッティングさせて、フィッティングした3次元人体モデルの身長画素数を用いて全身の骨格ベクトルを求める。
図4に示すように、画像処理装置100は、身長画素数算出処理に続いて、正規化処理(S104)を行い、正規化処理の結果得られた正規化値をデータベース110に格納する(S105)。正規化処理では、図8に示すように、正規化部104は、キーポイント高さを算出する(S141)。正規化部104は、検出された骨格構造に含まれる全てのキーポイントのキーポイント高さ(画素数)を算出する。キーポイント高さは、骨格構造の最下端(例えばいずれかの足のキーポイント)からそのキーポイントまでの高さ方向の長さである。ここでは、一例として、キーポイント高さを、画像におけるキーポイントのY座標から求める。なお、上記のように、キーポイント高さは、カメラパラメータに基づいた鉛直投影軸に沿った方向の長さから求めてもよい。例えば、図10の例で、首のキーポイントA2の高さ(yi)は、キーポイントA2のY座標から右足のキーポイントA81または左足のキーポイントA82のY座標を引いた値である。
以上のように、本実施の形態では、2次元画像から人物の骨格構造を検出し、検出した骨格構造から求めた身長画素数(2次元画像空間上の直立時の高さ)を用いて、骨格構造の各キーポイント(特徴点)を正規化する。この正規化された特徴量を用いることで、分類や検索等を行った場合のロバスト性を向上することができる。
(付記1)
取得される2次元画像に基づいて人物の2次元骨格構造を検出する骨格検出手段と、
前記検出された2次元骨格構造に基づいて2次元画像空間上の前記人物の直立時の高さを推定する推定手段と、
前記推定された直立時の高さに基づいて前記検出された2次元骨格構造を正規化する正規化手段と、
を備える画像処理装置。
(付記2)
前記正規化手段は、前記2次元骨格構造に含まれる特徴点の高さを前記直立時の高さにより正規化する、
付記1に記載の画像処理装置。
(付記3)
前記特徴点の高さは、前記2次元画像空間を表すX-Y座標におけるY軸方向の高さである、
付記2に記載の画像処理装置。
(付記4)
前記特徴点の高さは、前記2次元画像の撮像パラメータに基づいて、実世界の3次元空間における基準面に対する鉛直方向を、前記2次元画像空間に投影した鉛直投影方向の高さである、
付記2に記載の画像処理装置。
(付記5)
前記正規化手段は、前記2次元骨格構造内の基準点に対する前記特徴点の相対的な高さを前記直立時の高さにより正規化する、
付記2乃至4のいずれかに記載の画像処理装置。
(付記6)
前記基準点は、前記2次元骨格構造における中心よりも前記2次元画像空間で上の点である、
付記5に記載の画像処理装置。
(付記7)
前記基準点は、前記2次元骨格構造における首部または頭部の特徴点である、
付記6に記載の画像処理装置。
(付記8)
前記推定手段は、前記2次元骨格構造に含まれる2次元画像空間上の骨の長さに基づいて、前記人物の直立時の高さを推定する、
付記1乃至7のいずれかに記載の画像処理装置。
(付記9)
前記推定手段は、前記2次元骨格構造に含まれる足部から頭部までの前記骨の長さの合計に基づいて、前記人物の直立時の高さを推定する、
付記8に記載の画像処理装置。
(付記10)
前記推定手段は、前記骨の長さと2次元画像空間上の前記人物の全身の長さとの関係を示す2次元骨格モデルに基づいて、前記人物の直立時の高さを推定する、
付記8に記載の画像処理装置。
(付記11)
前記推定手段は、前記2次元画像の撮像パラメータに基づいて前記2次元骨格構造にフィッティングさせた3次元骨格モデルに基づいて、前記人物の直立時の高さを推定する、
付記1乃至7のいずれかに記載の画像処理装置。
(付記12)
前記骨格検出手段は、前記2次元画像に基づいて複数の人物の2次元骨格構造を検出し、
前記正規化手段は、前記複数の人物の2次元骨格構造を正規化し、
前記正規化された複数の2次元骨格構造の正規化値に基づいて、前記複数の人物の状態の認識処理を行う認識手段をさらに備える、
付記1乃至11のいずれかに記載の画像処理装置。
(付記13)
前記認識手段は、前記認識処理として、前記複数の人物の状態を分類する、
付記12に記載の画像処理装置。
(付記14)
前記認識手段は、前記2次元骨格構造の全体または一部の正規化値に基づいて、前記複数の人物の状態を分類する、
付記13に記載の画像処理装置。
(付記15)
前記骨格検出手段は、時系列に連続する複数の2次元画像から、前記複数の人物の2次元骨格構造を検出し、
前記認識手段は、前記複数の2次元画像から検出された2次元骨格構造の正規化値に基づいて、前記複数の人物の状態を分類する、
付記13または14に記載の画像処理装置。
(付記16)
前記認識手段は、前記複数の2次元画像における前記2次元骨格構造の正規化値の変化に基づいて、前記複数の人物の状態を分類する、
付記15に記載の画像処理装置。
(付記17)
前記認識手段は、前記認識処理として、前記複数の人物の状態からクエリ状態を検索する、
付記12に記載の画像処理装置。
(付記18)
前記認識手段は、前記2次元骨格構造の全体または一部の正規化値に基づいて、前記クエリ状態を検索する、
付記17に記載の画像処理装置。
(付記19)
前記骨格検出手段は、時系列に連続する複数の2次元画像から、前記複数の人物の2次元骨格構造を検出し、
前記認識手段は、前記複数の2次元画像から検出された2次元骨格構造の正規化値に基づいて、前記クエリ状態を検索する、
付記17または18に記載の画像処理装置。
(付記20)
前記認識手段は、前記複数の2次元画像における前記2次元骨格構造の正規化値の変化に基づいて、前記クエリ状態を検索する、
付記19に記載の画像処理装置。
(付記21)
取得される2次元画像に基づいて人物の2次元骨格構造を検出し、
前記検出された2次元骨格構造に基づいて2次元画像空間上の前記人物の直立時の高さを推定し、
前記推定された直立時の高さに基づいて前記検出された2次元骨格構造を正規化する、
画像処理方法。
(付記22)
前記正規化では、前記2次元骨格構造に含まれる特徴点の高さを前記直立時の高さにより正規化する、
付記21に記載の画像処理方法。
(付記23)
取得される2次元画像に基づいて人物の2次元骨格構造を検出し、
前記検出された2次元骨格構造に基づいて2次元画像空間上の前記人物の直立時の高さを推定し、
前記推定された直立時の高さに基づいて前記検出された2次元骨格構造を正規化する、
処理をコンピュータに実行させるための画像処理プログラム。
(付記24)
前記正規化では、前記2次元骨格構造に含まれる特徴点の高さを前記直立時の高さにより正規化する、
付記23に記載の画像処理プログラム。
10 画像処理装置
11 骨格検出部
12 推定部
13 正規化部
20 コンピュータ
21 プロセッサ
22 メモリ
100 画像処理装置
101 画像取得部
102 骨格構造検出部
103 身長算出部
104 正規化部
105 分類部
106 検索部
110 データベース
200 カメラ
300、301 人体モデル
401 2次元骨格構造
402 3次元人体モデル
Claims (22)
- 取得される2次元画像に基づいて人物の2次元骨格構造を検出する骨格検出手段と、
前記検出された2次元骨格構造に基づいて2次元画像空間上の前記人物の直立時の高さを推定する推定手段と、
前記推定された直立時の高さに基づいて前記検出された2次元骨格構造を正規化する正規化手段と、
を備え、
前記正規化手段は、前記2次元骨格構造に含まれる特徴点の高さを前記直立時の高さにより正規化し、
前記正規化手段は、前記2次元骨格構造内の基準点に対する前記特徴点の相対的な高さを前記直立時の高さにより正規化する、
画像処理装置。 - 前記特徴点の高さは、前記2次元画像空間を表すX-Y座標におけるY軸方向の高さである、
請求項1に記載の画像処理装置。 - 前記特徴点の高さは、前記2次元画像の撮像パラメータに基づいて、実世界の3次元空間における基準面に対する鉛直方向を、前記2次元画像空間に投影した鉛直投影方向の高さである、
請求項1に記載の画像処理装置。 - 前記基準点は、前記2次元骨格構造における中心よりも前記2次元画像空間で上の点である、
請求項1に記載の画像処理装置。 - 前記基準点は、前記2次元骨格構造における首部または頭部の特徴点である、
請求項4に記載の画像処理装置。 - 前記推定手段は、前記2次元骨格構造に含まれる2次元画像空間上の骨の長さに基づいて、前記人物の直立時の高さを推定する、
請求項1乃至5のいずれか一項に記載の画像処理装置。 - 前記推定手段は、前記2次元骨格構造に含まれる足部から頭部までの前記骨の長さの合計に基づいて、前記人物の直立時の高さを推定する、
請求項6に記載の画像処理装置。 - 前記推定手段は、前記骨の長さと2次元画像空間上の前記人物の全身の長さとの関係を示す2次元骨格モデルに基づいて、前記人物の直立時の高さを推定する、
請求項6に記載の画像処理装置。 - 取得される2次元画像に基づいて人物の2次元骨格構造を検出する骨格検出手段と、
前記検出された2次元骨格構造に基づいて2次元画像空間上の前記人物の直立時の高さを推定する推定手段と、
前記推定された直立時の高さに基づいて前記検出された2次元骨格構造を正規化する正規化手段と、
を備え、
前記推定手段は、前記2次元画像の撮像パラメータに基づいて前記2次元骨格構造にフィッティングさせた3次元骨格モデルに基づいて、前記人物の直立時の高さを推定する、
画像処理装置。 - 前記骨格検出手段は、前記2次元画像に基づいて複数の人物の2次元骨格構造を検出し、
前記正規化手段は、前記複数の人物の2次元骨格構造を正規化し、
前記正規化された複数の2次元骨格構造の正規化値に基づいて、前記複数の人物の状態の認識処理を行う認識手段をさらに備える、
請求項1乃至9のいずれか一項に記載の画像処理装置。 - 前記認識手段は、前記認識処理として、前記複数の人物の状態を分類する、
請求項10に記載の画像処理装置。 - 前記認識手段は、前記2次元骨格構造の全体または一部の正規化値に基づいて、前記複数の人物の状態を分類する、
請求項11に記載の画像処理装置。 - 前記骨格検出手段は、時系列に連続する複数の2次元画像から、前記複数の人物の2次元骨格構造を検出し、
前記認識手段は、前記複数の2次元画像から検出された2次元骨格構造の正規化値に基づいて、前記複数の人物の状態を分類する、
請求項11または12に記載の画像処理装置。 - 前記認識手段は、前記複数の2次元画像における前記2次元骨格構造の正規化値の変化に基づいて、前記複数の人物の状態を分類する、
請求項13に記載の画像処理装置。 - 前記認識手段は、前記認識処理として、前記複数の人物の状態からクエリ状態を検索する、
請求項10に記載の画像処理装置。 - 前記認識手段は、前記2次元骨格構造の全体または一部の正規化値に基づいて、前記クエリ状態を検索する、
請求項15に記載の画像処理装置。 - 前記骨格検出手段は、時系列に連続する複数の2次元画像から、前記複数の人物の2次元骨格構造を検出し、
前記認識手段は、前記複数の2次元画像から検出された2次元骨格構造の正規化値に基づいて、前記クエリ状態を検索する、
請求項15または16に記載の画像処理装置。 - 前記認識手段は、前記複数の2次元画像における前記2次元骨格構造の正規化値の変化に基づいて、前記クエリ状態を検索する、
請求項17に記載の画像処理装置。 - 取得される2次元画像に基づいて人物の2次元骨格構造を検出し、
前記検出された2次元骨格構造に基づいて2次元画像空間上の前記人物の直立時の高さを推定し、
前記推定された直立時の高さに基づいて前記検出された2次元骨格構造を正規化し、
前記正規化では、前記2次元骨格構造に含まれる特徴点の高さを前記直立時の高さにより正規化し、
前記正規化では、前記2次元骨格構造内の基準点に対する前記特徴点の相対的な高さを前記直立時の高さにより正規化する、
画像処理方法。 - 取得される2次元画像に基づいて人物の2次元骨格構造を検出し、
前記検出された2次元骨格構造に基づいて2次元画像空間上の前記人物の直立時の高さを推定し、
前記推定された直立時の高さに基づいて前記検出された2次元骨格構造を正規化し、
前記推定では、前記2次元画像の撮像パラメータに基づいて前記2次元骨格構造にフィッティングさせた3次元骨格モデルに基づいて、前記人物の直立時の高さを推定する、
画像処理方法。 - 取得される2次元画像に基づいて人物の2次元骨格構造を検出し、
前記検出された2次元骨格構造に基づいて2次元画像空間上の前記人物の直立時の高さを推定し、
前記推定された直立時の高さに基づいて前記検出された2次元骨格構造を正規化し、
前記正規化では、前記2次元骨格構造に含まれる特徴点の高さを前記直立時の高さにより正規化し、
前記正規化では、前記2次元骨格構造内の基準点に対する前記特徴点の相対的な高さを前記直立時の高さにより正規化する、
処理をコンピュータに実行させるための画像処理プログラム。 - 取得される2次元画像に基づいて人物の2次元骨格構造を検出し、
前記検出された2次元骨格構造に基づいて2次元画像空間上の前記人物の直立時の高さを推定し、
前記推定された直立時の高さに基づいて前記検出された2次元骨格構造を正規化し、
前記推定では、前記2次元画像の撮像パラメータに基づいて前記2次元骨格構造にフィッティングさせた3次元骨格モデルに基づいて、前記人物の直立時の高さを推定する、
処理をコンピュータに実行させるための画像処理プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/042805 WO2021084687A1 (ja) | 2019-10-31 | 2019-10-31 | 画像処理装置、画像処理方法及び画像処理プログラムが格納された非一時的なコンピュータ可読媒体 |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2021084687A1 JPWO2021084687A1 (ja) | 2021-05-06 |
JPWO2021084687A5 JPWO2021084687A5 (ja) | 2022-06-07 |
JP7396364B2 true JP7396364B2 (ja) | 2023-12-12 |
Family
ID=75714974
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021553986A Active JP7396364B2 (ja) | 2019-10-31 | 2019-10-31 | 画像処理装置、画像処理方法及び画像処理プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20240087353A1 (ja) |
EP (1) | EP4053790A4 (ja) |
JP (1) | JP7396364B2 (ja) |
CN (1) | CN114641794A (ja) |
WO (1) | WO2021084687A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230401881A1 (en) * | 2022-06-08 | 2023-12-14 | Universal City Studios Llc | Guest measurement systems and methods |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006253932A (ja) | 2005-03-09 | 2006-09-21 | Mitsubishi Motors Corp | ノーズビューシステム |
US20090232353A1 (en) | 2006-11-10 | 2009-09-17 | University Of Maryland | Method and system for markerless motion capture using multiple cameras |
JP2015097639A (ja) | 2013-11-19 | 2015-05-28 | 日本コントロールシステム株式会社 | カラオケ装置、ダンス採点方法、およびプログラム |
JP2019091138A (ja) | 2017-11-13 | 2019-06-13 | 株式会社日立製作所 | 画像検索装置、画像検索方法、及び、それに用いる設定画面 |
CN109919141A (zh) | 2019-04-09 | 2019-06-21 | 广东省智能制造研究所 | 一种基于骨架姿态的行人再识别方法 |
JP6534499B1 (ja) | 2019-03-20 | 2019-06-26 | アースアイズ株式会社 | 監視装置、監視システム、及び、監視方法 |
US20190251340A1 (en) | 2018-02-15 | 2019-08-15 | Wrnch Inc. | Method and system for activity classification |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IN159180B (ja) * | 1982-01-27 | 1987-04-04 | Marconi Co Ltd | |
JP6969611B2 (ja) | 2017-09-27 | 2021-11-24 | 日本電気株式会社 | 情報処理システム、制御方法、及びプログラム |
-
2019
- 2019-10-31 US US17/766,809 patent/US20240087353A1/en active Pending
- 2019-10-31 CN CN201980101828.7A patent/CN114641794A/zh active Pending
- 2019-10-31 EP EP19950977.9A patent/EP4053790A4/en active Pending
- 2019-10-31 JP JP2021553986A patent/JP7396364B2/ja active Active
- 2019-10-31 WO PCT/JP2019/042805 patent/WO2021084687A1/ja active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006253932A (ja) | 2005-03-09 | 2006-09-21 | Mitsubishi Motors Corp | ノーズビューシステム |
US20090232353A1 (en) | 2006-11-10 | 2009-09-17 | University Of Maryland | Method and system for markerless motion capture using multiple cameras |
JP2015097639A (ja) | 2013-11-19 | 2015-05-28 | 日本コントロールシステム株式会社 | カラオケ装置、ダンス採点方法、およびプログラム |
JP2019091138A (ja) | 2017-11-13 | 2019-06-13 | 株式会社日立製作所 | 画像検索装置、画像検索方法、及び、それに用いる設定画面 |
US20190251340A1 (en) | 2018-02-15 | 2019-08-15 | Wrnch Inc. | Method and system for activity classification |
JP6534499B1 (ja) | 2019-03-20 | 2019-06-26 | アースアイズ株式会社 | 監視装置、監視システム、及び、監視方法 |
CN109919141A (zh) | 2019-04-09 | 2019-06-21 | 广东省智能制造研究所 | 一种基于骨架姿态的行人再识别方法 |
Non-Patent Citations (3)
Title |
---|
Zhe Cao et al.,Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields,[online],2017年04月14日,https://arxiv.org/abs/1611.08050 |
十代淳貴, 外3名,動作予測のためのRGB-Dカメラを用いた実時間3次元姿勢推定,ロボティクスメカトロニクス講演会2019講演会論文集 ,2019年06月05日 |
櫛崎翔太, 外2名,歩行動作に基づく人物識別に関する研究,情報処理学会研究報告,2018年03月17日,Vol.2018-HCI-177 No.31 |
Also Published As
Publication number | Publication date |
---|---|
EP4053790A1 (en) | 2022-09-07 |
EP4053790A4 (en) | 2022-12-07 |
JPWO2021084687A1 (ja) | 2021-05-06 |
US20240087353A1 (en) | 2024-03-14 |
WO2021084687A1 (ja) | 2021-05-06 |
CN114641794A (zh) | 2022-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021084677A1 (ja) | 画像処理装置、画像処理方法及び画像処理プログラムが格納された非一時的なコンピュータ可読媒体 | |
JP7416252B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7173341B2 (ja) | 人物状態検出装置、人物状態検出方法及びプログラム | |
WO2021229751A1 (ja) | 画像選択装置、画像選択方法、およびプログラム | |
JP7409499B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7197011B2 (ja) | 身長推定装置、身長推定方法及びプログラム | |
JP7396364B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP7435781B2 (ja) | 画像選択装置、画像選択方法、及びプログラム | |
WO2022079794A1 (ja) | 画像選択装置、画像選択方法、及びプログラム | |
WO2022009279A1 (ja) | 画像選択装置、画像選択方法、及びプログラム | |
JP7364077B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7152651B2 (ja) | プログラム、情報処理装置、及び情報処理方法 | |
JP7420146B2 (ja) | カメラ校正装置、カメラ校正方法及びカメラ校正プログラム | |
JP7302741B2 (ja) | 画像選択装置、画像選択方法、およびプログラム | |
JP7435754B2 (ja) | 画像選択装置、画像選択方法、及びプログラム | |
JP7375921B2 (ja) | 画像分類装置、画像分類方法、およびプログラム | |
WO2021229750A1 (ja) | 画像選択装置、画像選択方法、およびプログラム | |
WO2022079795A1 (ja) | 画像選択装置、画像選択方法、及びプログラム | |
JP7283571B2 (ja) | 人物状態検出装置、人物状態検出方法及びプログラム | |
WO2022249331A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP7485040B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20240119087A1 (en) | Image processing apparatus, image processing method, and non-transitory storage medium | |
JP7468642B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
WO2023112321A1 (ja) | 画像処理システム、画像処理方法及び非一時的なコンピュータ可読媒体 | |
JP2022072971A (ja) | 推定装置、推定システム、推定方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220328 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220328 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230620 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230817 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231031 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231113 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7396364 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |