JP6688990B2 - 識別装置、識別方法、識別プログラムおよび記録媒体 - Google Patents

識別装置、識別方法、識別プログラムおよび記録媒体 Download PDF

Info

Publication number
JP6688990B2
JP6688990B2 JP2016091760A JP2016091760A JP6688990B2 JP 6688990 B2 JP6688990 B2 JP 6688990B2 JP 2016091760 A JP2016091760 A JP 2016091760A JP 2016091760 A JP2016091760 A JP 2016091760A JP 6688990 B2 JP6688990 B2 JP 6688990B2
Authority
JP
Japan
Prior art keywords
person
detected
information
motion
skeleton
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016091760A
Other languages
English (en)
Other versions
JP2017199303A (ja
Inventor
新　浩治
浩治 新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2016091760A priority Critical patent/JP6688990B2/ja
Priority to US15/482,844 priority patent/US10255485B2/en
Priority to CN201710247328.7A priority patent/CN107392083B/zh
Priority to EP17167230.6A priority patent/EP3239900B1/en
Priority to EP20178251.3A priority patent/EP3731141A1/en
Publication of JP2017199303A publication Critical patent/JP2017199303A/ja
Priority to JP2020049530A priority patent/JP6909986B2/ja
Application granted granted Critical
Publication of JP6688990B2 publication Critical patent/JP6688990B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/117—Biometrics derived from hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、識別装置、識別方法、識別プログラムおよび記録媒体に関する。
近年、人物の姿勢を識別する技術が知られている。
例えば特許文献１には、カメラの画像から人物の手、肘及び肩の特徴点の位置を検出し、あらかじめ作成された関節モデルに適合するよう手、肘及び肩の特徴点位置を補正する装置が開示されている。
特開２０１０−２１１７０５号公報
しかしながら、特許文献１に記載の装置では、人物が革ジャケットなど近赤光に対する反射率の低い衣服を着用している場合に、体・腕部分の画素値が正常に得られず、肩及び肘の関節を検知することができないため、人物の姿勢を識別することができないという課題があった。
本発明の目的は、人物の姿勢を識別することができる識別装置、識別方法、識別プログラムおよび記録媒体を提供することである。
本発明の一態様に係る識別装置は、カメラで撮影された人物の画像情報を受け取る入力部と、前記画像情報に基づいて前記人物の識別及び前記人物の少なくとも頭部及び手の部位の検知を行い、識別された前記人物、検知された前記部位、及び人物の動作が人物毎に登録された動作モデルに基づいて前記人物の動作を識別する制御部と、を備え、前記制御部は、前記画像情報に基づいて前記人物の骨格位置を検知可能か否かを判定し、前記骨格位置を検知可能であると判定された場合に、検知された前記骨格位置に基づいて前記人物の動作を識別し、前記骨格位置が検知可能でないと判定された場合に、識別された前記人物、検知された前記部位、及び前記動作モデルに基づいて前記人物の動作を識別する。
なお、ここでいう「人物」とは、特定の個人の意味には限られず、任意の年齢、性別及び体格の人物一般も意味する。
また、本発明の一態様に係る識別方法は、カメラで撮影された人物の画像情報を受け取るステップと、前記画像情報に基づいて前記人物の骨格位置を検知可能か否かを判定するステップと、前記骨格位置を検知可能であると判定された場合に、検知された前記骨格位置に基づいて前記人物の動作を識別するステップと、前記骨格位置が検知可能でないと判定された場合に、前記画像情報に基づいて前記人物の識別及び前記人物の少なくとも頭部及び手の部位の検知を行い、識別された前記人物、検知された前記部位、及び人物の動作が人物毎に登録された動作モデルに基づいて前記人物の動作を識別するステップと、を有する。
さらにまた、本発明の一態様に係る識別プログラムは、カメラで撮影された人物の画像情報を受け取る処理と、前記画像情報に基づいて前記人物の骨格位置を検知可能か否かを判定する処理と、前記骨格位置を検知可能であると判定された場合に、検知された前記骨格位置に基づいて前記人物の動作を識別する処理と、前記骨格位置が検知可能でないと判定された場合に、前記画像情報に基づいて前記人物の識別及び前記人物の少なくとも頭部及び手の部位の検知を行い、識別された前記人物、検知された前記部位、及び人物の動作が人物毎に登録された動作モデルに基づいて前記人物の動作を識別する処理と、をコンピュータに実行させる。
さらにまた、本発明の一態様に係る記録媒体は、人物の姿勢を識別する識別装置において実行される識別プログラムを記録したコンピュータ読み取り可能で非一時的な記録媒体であって、前記識別装置のコンピュータに対して、カメラで撮影された人物の画像情報を受け取る処理と、前記画像情報に基づいて前記人物の骨格位置を検知可能か否かを判定する処理と、前記骨格位置を検知可能であると判定された場合に、検知された前記骨格位置に基づいて前記人物の動作を識別する処理と、前記骨格位置が検知可能でないと判定された場合に、前記画像情報に基づいて前記人物の識別及び前記人物の少なくとも頭部及び手の部位の検知を行い、識別された前記人物、検知された前記部位、及び人物の動作が人物毎に登録された動作モデルに基づいて前記人物の動作を識別する処理と、を実行させる識別プログラムを記録したものである。
本発明によれば、人物の姿勢を識別することができる。
本発明の実施の形態に係る識別装置の構成の一例を示すブロック図 制御部の構成の一例を示すブロック図 骨格検知処理の一例を示す説明図 動作モデルの一例を示す説明図 本発明の実施の形態において人物情報及び部位情報を動作モデルと比較する様子を示す説明図 本発明の実施の形態に係る識別装置の主要な動作を説明するフロー図 変形例２において人物情報及び部位情報を動作モデルと比較する様子を示す説明図 各部の機能をプログラムにより実現するコンピュータのハードウェア構成の一例を示す図
以下、本発明の各実施の形態について、図面を参照して詳細に説明する。ただし、各実施の形態において、同一機能を有する構成には、同一符号を付し、重複する説明は省略する。
まず、本発明の実施の形態に係る識別装置１００の構成の一例について、図１ａを用いて説明する。図１ａは、本発明の実施の形態に係る識別装置１００の構成の一例を示すブロック図である。
図１ａに示す識別装置１００、カメラ２００、及び機器３００は、例えば、自動車、鉄道車両、船舶、航空機などの移動体に搭載される。本実施の形態では、識別装置１００、カメラ２００、及び機器３００が自動車に搭載される場合を例に挙げて説明する。
カメラ２００は、例えば、ステレオカメラ、ＴＯＦ（Time Of Flight）方式のカメラなどの測距カメラであり、車室内における人物の存在する範囲を撮影して画像情報を取得し、その画像情報を識別装置１００へ出力する。画像情報は、近赤外光の反射強度の強さを表す近赤画像を少なくとも含む。またステレオカメラまたはＴＯＦカメラの場合には距離の遠近を表す距離画像をさらに含んでも良い。
機器３００は、自動車において用いられる機器である。機器３００は、例えば、カーナビゲーション装置、オーディオ装置、エアコンディショナー装置、タブレット、スマートフォン、リアカメラ、サイドカメラ、フロントカメラ、ＥＴＣ車載器である。または、機器３００は、例えば、ハンドル、シフトレバー（ギアレバー）、ウィンカーレバー（ウィンカースイッチ）、ワイパーレバー（ワイパースイッチ）、ドアロックスイッチ、パワーウィンドウの昇降スイッチ、エンジンスタートスイッチ、アクセルペダル、ブレーキペダル、クラッチペダルなどでもよい。
機器３００は、有線ネットワーク（例えば、ＣＡＮ：Controller Area Network ）、無線ネットワーク（例えば、無線ＬＡＮ：Local Area Network）、または、有線ネットワークと無線ネットワークが混在したネットワークを介して識別装置１００と接続される。そして、機器３００は、識別装置１００から受け取る制御信号に基づき制御される。
識別装置１００は、入力部１０１、制御部１０２を備える。
入力部１０１は、カメラ２００から人物の画像情報を受け取り、制御部１０２に出力する。
制御部１０２は、入力部１０１から受け取った画像情報に基づいて前記人物の識別及び前記人物の少なくとも頭部及び手の部位の検知を行い、識別された前記人物、検知された前記部位、及び人物の動作が人物毎に登録された動作モデルに基づいて前記人物の動作を識別する。このような構成により、人物の姿勢を識別することができる。
次に、制御部１０２の構成の一例について、図１ｂを用いて説明する。図１ｂは、制御部の構成の一例を示すブロック図である。
図１ｂに示すように、制御部１０２は、検知制御部１１０、骨格検知部１２０、骨格動作識別部１３０、人物識別部１４０、動作モデル部１５０、部位検知部１６０、部位動作識別部１７０、機器制御部１８０を備える。
検知制御部１１０は、カメラ２００から画像情報を受け取り、画像情報を解析し、骨格検知部１２０、人物識別部１４０、部位検知部１６０に画像情報を出力する。具体的には、検知制御部１１０は、画像情報の解析により骨格検知が可能かどうかを判定し、骨格検知が可能であると判定された場合は、骨格検知部１２０及び人物識別部１４０に画像情報を出力する。一方、骨格検知が可能でないと判定された場合は、更に後述する動作モデルが利用可能かどうかを判定し、動作モデルが利用可能であると判定された場合は、人物識別部１４０及び部位検知部１６０に画像情報を出力する。骨格検知が可能かどうかの判定については後述する。
骨格検知部１２０は、検知制御部１１０から受け取った画像情報に基づいて、人物の骨格位置を検知し、検知した結果を示す骨格情報を骨格動作識別部１３０に出力する。人物の骨格位置とは頭、首、腰、肩、肘、手などの領域を表す代表点の位置を示すものである。代表点の位置は画像上の２次元座標として特定される。
図２は、骨格検知処理の例を示したものである。画像１０００は人物を撮影した画像の例であり、自動車を運転している人物がハンドルを握っている画像の模式図である。画像１００１は画像１０００における人物の骨格位置を検知した結果画像の例であり、頭、首、腰、左肩、左肘、左手、右肩、右肘、右手の代表点である９点の位置を検知した状態を示している。骨格情報とは検知した代表点の位置座標であり、画像上の代表点９点の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）・・・（Ｘ９，Ｙ９）として得られるものである。骨格検知は、例えば特許文献１に示されているような既存の方法を用いる事で実現が可能である。
また、画像１００１では、頭、首、腰、左肩、左肘、左手、右肩、右肘、右手の代表点である９点の位置を検知することができたため、検知制御部１１０は、骨格検知が可能であると判定する。一方、画像１００２は、撮影した人物が革ジャケットなど近赤光に対する反射率の低い衣服を着用している場合に得られる人物の骨格位置を検知した結果画像の例を示している。画像１００２では、頭、左手、右手の代表点である３点の位置しか検知できていないことがわかる。この場合、検知制御部１１０は、骨格検知が可能でないと判定する。
骨格動作識別部１３０は、骨格検知部１２０から受け取った骨格情報に基づいて、乗員の動作を識別する。乗員の動作とは、例えばエアコンディショナー装置、ハンドル、オーディオ装置等の機器を操作する動作、運転中の物探し、振り向きなどのしぐさ等である。
骨格情報に基づく動作の識別は、既存の手法、例えば比較対象パラメータの木構造に従う複数回の大小比較から既定のパターンのうちのひとつを特定する、いわゆるランダムフォレスト等の手法を使用することで行うことができる。
骨格動作識別部１３０は、上記のような乗員の動作の識別結果を示す動作情報及び骨格情報を、動作モデル部１５０に出力する。また、骨格動作識別部１３０は、動作情報を、機器制御部１８０に出力する。
人物識別部１４０は、検知制御部１１０から受け取った画像情報に基づいて、人物が誰であるのかを識別し、識別した結果を示す人物情報を動作モデル部１５０、及び部位動作識別部１７０に出力する。
人物識別の実現には例えば既存の顔認証の技術を利用することが可能である。例えば自動車を運転する複数人物の顔画像を予め登録しておき、それらの人物が実際に自動車を運転する際に顔画像を取得し、取得した顔画像と登録済の顔画像とを既存技術で照合することにより、どの登録者か識別することができる。顔識別の既存技術としては、顔の特徴量をＬＢＰ（Local Binary Pattern）またはＨＯＧ（Histogram of Oriented Gradient）といった手法で取得し、その特徴量を照合する方法がある。
動作モデル部１５０は、骨格動作識別部１３０からの動作情報、骨格情報、及び人物識別部１４０からの人物情報をもとに、動作モデルを生成し、記憶するとともに、記憶した動作モデルを部位動作識別部１７０に出力する。
動作モデルは、人物情報（登録された人物に対応した登録番号）、骨格情報（骨格の特徴点の位置座標）、及び動作情報（動作の種類に対応した動作番号）を関連付けて記憶したデータベースの形態とする。ここで、骨格情報としては、骨格検知部１２０から出力された全ての特徴点情報を登録するのではなく、後述する部位検知部１６０での部位検知処理で検知対象となる頭部、左手、及び右手の特徴点の情報のみを登録する。図３に例として、人物情報、頭部・左手・右手の骨格情報、及び動作情報の関連データベース１００３を示す。
本実施の形態では、動作モデルのデータベースは、骨格検知部１２０による骨格検知が可能な状態にて検知された骨格情報、人物情報及び動作情報を一定数以上蓄積できた後に利用可能となる。例えば、動作モデルのデータベースが利用可能となるためには、人物情報、骨格情報、及び動作情報の組合せを１００００組以上蓄積することを必要とする。
動作モデル部１５０は、動作モデルが利用可能かどうかの状態情報を検知制御部１１０に出力する。検知制御部１１０では動作モデルが利用可能かどうかに従って処理を分岐させる。
部位検知部１６０は、検知制御部１１０から受け取った画像情報に基づいて、人物の部位情報として頭部位置、左手位置、及び右手位置を検知し、検知結果の部位情報を部位動作識別部１７０に出力する。
上述した骨格検知部１２０においても、頭部位置、左手位置、右手位置を含む複数の特徴点の位置座標を検出しているが、ここでは人物の身体部分の画像情報が正常に得られない場合における検知手法を用いる。
例えば部位情報の検知を既存の手法の組合せにより実現する方法として、画像情報に含まれる距離情報を用いて等距離に存在する距離情報の固まりを検知し、その固まりの位置を複数フレーム間でトラッキングする手法を用いることが可能である。
部位動作識別部１７０は、人物識別部１４０からの人物情報、動作モデル部１５０からの動作モデル、及び部位検知部１６０からの部位情報に基づいて、乗員の動作を識別する。
部位動作識別部１７０において乗員の動作を識別する部位動作識別処理の手法について、図４を用いて説明する。
部位動作識別処理では、部位動作識別部１７０の入力情報２００１における人物情報及び部位情報を、既に動作モデルとして登録されている登録情報２００２における人物情報及び骨格情報と照合し、登録情報２００２の中から、人物情報が入力情報における人物情報と一致し、かつ、骨格情報が入力情報における部位情報に最も近いデータを検索する。
入力情報の部位情報に最も近い骨格情報を有する登録情報を検索する手法として、例えば、次に示す手法を採用することができる。まず、入力情報と登録情報との間の、対応する部位同士（例えば、頭部位置同士、左手位置同士、右手位置同士）の距離をそれぞれ算出する。そして、算出された各部位同士の距離の合計が最も小さい登録情報を、入力情報の部位情報に最も近い骨格情報を有する登録情報であると判断する。
入力情報と登録情報の照合を行う際には、動作の識別精度を考慮すると、人物情報が入力情報における人物情報と一致し、かつ、骨格情報が入力情報における部位情報と一致するデータを検索することが理想である。しかしながら、所定の動作をする場合の人の動きは常に同じとは限らないので、登録情報における骨格情報に、入力情報における部位情報と一致するものがない場合が考えられる。
このような場合を考慮して、本実施の形態では、入力情報と登録情報の照合を行う際には、人物情報が入力情報における人物情報と一致し、かつ、骨格情報が入力情報における部位情報に最も近いデータを検索する。
図４の例の場合には、入力情報２００１は、登録情報２００２のうち２００３のデータに最も近いため、部位動作識別部１７０は、動作情報は「６」であると識別し、部位動作情報を機器制御部１８０に出力する。
機器制御部１８０は、骨格動作識別部１３０からの動作情報または部位動作識別部１７０からの動作情報に基づいて、不図示の機器３００を制御するための制御情報を生成し、生成した制御情報を機器３００に出力する。
機器３００は、機器制御部１８０から受け取った制御情報に基づき制御される。
なお、図１ｂの例では、制御部１０２が骨格検知部１２０及び骨格動作識別部１３０を含む構成としたが、制御部１０２は、骨格検知部１２０及び骨格動作識別部１３０を含まない構成としてもよい。詳細については後述する。
また、図１ｂの例では、制御部１０２が機器制御部１８０を含む構成としたが、機器制御部１８０は、制御部１０２とは別に設けられていてもよい。
すなわち、制御部１０２は、少なくとも検知制御部１１０、人物識別部１４０、動作モデル部１５０、部位検知部１６０及び部位動作識別部１７０を含む構成であればよい。
次に、本実施の形態に係る制御部１０２の動作の一例について、図５を用いて説明する。図５は、本実施の形態に係る制御部１０２の動作の流れの一例を示すフロー図である。
まず、ステップＳ１０１で、検知制御部１１０は、カメラ２００から画像情報を受け取る。上述したとおり、画像情報は乗員を撮影した画像である。
続いて、ステップＳ１０２で、検知制御部１１０は、画像情報をもとに、骨格検知が可能な画像かどうかを判定する。具体的には、画像情報から検知すべき全ての代表点位置を検知することができた場合に、骨格検知が可能な画像であると判定し、画像情報から検知すべき代表点位置のうち一部の代表点位置しか検知することができなかった場合に、骨格検知が可能な画像でないと判定する。
ステップＳ１０２で骨格検知が可能な画像であると判定された場合（ステップＳ１０２：ＹＥＳ）、ステップＳ１０３に進み、ステップＳ１０３で、骨格検知部１２０は、骨格検知処理を行う。
続いて、ステップＳ１０４で、人物識別部１４０は、人物識別処理を行い、ステップＳ１０５で、骨格動作識別部１３０は、動作識別処理を行い、ステップＳ１０６で、機器制御部１８０は、機器制御情報生成処理を行う。
ステップＳ１０６に続くステップＳ１０７では、ステップＳ１０３の骨格検知処理で識別された骨格情報、ステップＳ１０４の人物識別処理で識別された人物情報、及びステップＳ１０５の動作識別処理で識別された動作情報に基づき、動作モデル部１５０は、動作モデルの更新を行う。具体的には、得られた骨格情報、人物情報及び動作情報を動作モデルのデータベースに加える作業を行う。なお、ステップＳ１０６とステップＳ１０７を行う順番は逆でもよく、また、ステップＳ１０６とステップＳ１０７を同時に行ってもよい。
ステップＳ１０２で骨格検知が可能な画像であると判定されなかった場合（ステップＳ１０２：ＮＯ）、ステップＳ１０８に進み、ステップＳ１０８で、検知制御部１１０は、動作モデルが利用可能かどうかを判定する。
ステップＳ１０８で動作モデルが利用可能であると判定された場合（ステップＳ１０８：ＹＥＳ）、ステップＳ１０９に進み、ステップＳ１０９で、部位検知部１６０は、部位検知処理を行う。
続いて、ステップＳ１１０で、人物識別部１４０は、人物識別処理を行う。
ステップＳ１１０に続くステップＳ１１１で、部位動作識別部１７０は、ステップＳ１０９の部位検知処理で識別された部位情報、ステップＳ１１０の人物識別処理で識別された人物情報、及び予め記憶された動作モデルに基づき、部位動作識別処理を行う。
ステップＳ１１１に続くステップＳ１１２で、機器制御部１８０は、機器制御情報生成処理を行う。
ステップＳ１０８で動作モデルが利用可能であると判定されなかった場合（ステップＳ１０８：ＮＯ）には、ステップＳ１１３に進み、ステップＳ１１３で、検知制御部１１０は、動作識別処理が不可能と判定して、動作識別処理の実行を禁止し、エラー情報を提示するなどして処理を終了する。
以上説明したように、本実施の形態の識別装置１００では、入力部１０１から受け取った画像情報に基づいて前記人物の識別及び前記人物の少なくとも頭部及び手の部位の検知を行い、識別された前記人物、検知された前記部位、及び人物の動作が人物毎に登録された動作モデルに基づいて前記人物の動作を識別する。
そのため、人物が革ジャケット等の近赤外光に対する反射率の低い衣服を着用しており、体・腕部分の距離が正常に出力されず、肩及び肘の関節を検知できない場合、部位情報だけでは動作識別を誤る可能性があるが、本実施の形態の識別装置１００は、そのような場合でも、人物の動作を正しく識別することができる。
また、例えば、人物の頭部、左手、右手の位置が同じであっても、人物のしぐさのクセまたは体格の違いにより、動作の種類に違いが生じてしまう場合がある。このような場合にも、本実施の形態の識別装置１００は、人物情報、部位情報及び基本動作モデルに基づいて人物の動作を識別するので、人物の違いによる動作の違いを吸収して、動作を正しく識別することができる。
以上、本発明の実施の形態について説明したが、本発明は、実施の形態の説明に限定されない。以下、各変形例について説明する。
＜変形例１＞
上述した実施の形態では、識別装置１００、カメラ２００、および機器３００が自動車に備えられる例を挙げて説明したが、これに限定されない。識別装置１００、カメラ２００、および機器３００は、自動車以外の移動体（例えば、鉄道車両、船舶、航空機等）に備えられてもよいし、移動体以外の場所に備えられてもよい。
＜変形例２＞
上述した実施の形態では、部位動作識別処理において、人物情報が入力情報における人物情報と同じであり、かつ、骨格情報が入力情報における部位情報に最も近い登録情報における動作情報を、入力情報の動作情報と識別するようにしたが、これに限定されない。
例えば、入力情報と登録情報の間で人物情報は一致するが、入力情報における部位情報と登録情報における骨格情報で一致するものがない場合に、入力情報における部位情報と近い順に登録情報を所定数検索し、これら所定数の登録情報における動作情報が全て同一である場合に、当該動作情報を入力情報における動作情報として用いるようにしてもよい。検索される登録情報の数については、予め決定しておく。
以下、変形例２の具体的態様について、図６を用いて説明する。なお、図６では、説明を容易にするため、登録情報のうち、人物情報が「２」であるもののみを示している。また、以下の説明では、検索される登録情報の数を３個とした例を示す。
図６において、登録情報３００２のうち、入力情報３００１における部位情報と近い登録情報として、最も近いデータである３００５のデータ、２番目に近いデータである３００７、及び３番目に近いデータである３００３のデータが検索される。そして、この場合、検索された３個のデータにおける動作情報が全て「１」であるので、入力情報における動作情報は「１」であると判定する。
このようにすれば、単純に入力情報における部位情報に最も近い登録情報における骨格情報を用いるよりも動作識別精度が向上する。特に、登録情報が少ない状態では、入力情報における部位情報に最も近い登録情報における骨格情報を用いると動作識別精度が低下することが懸念されるので、上述の方法を用いた動作情報の推定は効果的である。
＜変形例３＞
上述した実施の形態では、人物情報、骨格情報、及び動作情報の組合せを例えば１００００組以上蓄積するまでは動作モデルのデータベースを利用できない態様としたが、動作モデルの利用制限はこれに限定されない。
人物情報、骨格情報、及び動作情報の組合せの蓄積量が１００００組に満たない場合でも、ある程度信頼性を担保できるだけの情報が蓄積された段階で動作モデルのデータベースを利用可能とすることが可能である。また、人物情報、骨格情報、及び動作情報の組合せの蓄積量が少ない状態であっても、特定の動作についてのみ動作モデルのデータベースを利用可能とすることも可能である。
特に、変形例２に示した方法と組み合わせることにより、人物情報、骨格情報、及び動作情報の組合せの蓄積量が少ない状態でも、動作識別精度を確保しつつ動作モデルのデータベースを利用することができる。
＜変形例４＞
上述した実施の形態では、動作モデルを骨格検知が可能な画像に基づいて作成し、記憶する態様としたが、動作モデルを記憶させる態様についてはこれに限定されない。基本となる動作モデル（以下、「基本動作モデル」という）を、識別装置１００を出荷する時点で予め識別装置１００内に記憶させておくことも可能である。
基本動作モデルは、所定の年齢、性別、体格毎に、標準的な骨格情報と動作情報が登録されたものである。この基本動作モデルは、様々な実験および／または計算により得られたデータにより予め作成される。
基本動作モデルを利用する場合には、画像情報に基づいて乗員の年齢、性別、体格等を識別し、記憶してある複数の基本動作モデルの中から、適切な基本動作モデルを選択する。
また、識別装置１００内には、識別精度向上のため、年齢、性別、体格が異なる多数の基本動作モデルを記憶させておくことが好ましい。
＜変形例５＞
変形例５は、変形例４において、基本動作モデルのデータベースと、骨格検知が可能な画像に基づいて作成する動作モデルのデータベースとを別で準備しておき、基本動作モデルと、骨格検知が可能な画像に基づいて作成した動作モデルを切り替えて用いるようにしたものである。
具体的には、骨格検知が可能な画像に基づいて作成された動作モデルの蓄積量が少ない状態では、基本動作モデルを用い、骨格検知が可能な画像に基づいて作成した動作モデルの蓄積量が所定量以上となった場合に、用いる動作モデルを、基本動作モデルから、骨格検知が可能な画像に基づいて作成した動作モデルに切り替える。
このようにすれば、骨格検知が可能な画像に基づいて作成された動作モデルの蓄積量が少ない状態でも、動作識別精度を確保しつつ動作モデルのデータベースを利用することができる。
＜変形例６＞
変形例６は、変形例４において、基本動作モデルと、骨格検知が可能な画像に基づいて作成した動作モデルを組み合わせて用いるようにしたものである。
具体的には、骨格検知が可能な画像に基づいて作成された動作モデルの蓄積量が少ない状態で、基本動作モデルを用いると共に、骨格検知が可能な画像に基づいて動作モデルが作成された場合に、作成された動作モデルを用いて基本動作モデルのデータベースを更新する。具体的には、得られた骨格情報、人物情報及び動作情報を基本動作モデルのデータベースに加える作業を行う。
このようにすれば、骨格検知が可能な画像に基づいて作成された動作モデルの蓄積量が少ない状態でも、動作識別精度を確保しつつ動作モデルのデータベースを利用することができる。更に、基本動作モデルに骨格検知が可能な画像に基づいて作成された信頼性の高い動作モデルのデータを取り入れることで、動作モデルの信頼性を更に向上させることができる。
＜変形例７＞
上述した実施の形態では、骨格検知が可能な画像に基づいて動作モデルを作成する態様としたが、動作モデルの作成についてはこれに限定されない。例えば、動作モデルを用いて、部位動作識別部１７０で動作情報を識別した際に、その人物情報、部位情報及び動作情報を動作モデル部１５０にフィードバックさせるようにする。
具体的には、図５のフロー図において、ステップＳ１１１の後に、部位動作識別処理に用いた人物情報及び部位情報と、部位動作識別処理において識別された動作情報を、動作モデル部１５０に出力し、動作モデル部１５０において、動作モデルの更新を行う。
こうすることで、骨格検知が可能な画像に基づく動作モデルの作成に加え、人物情報、部位情報、及び動作モデルに基づいて識別した動作情報からも動作モデルを作成することができるので、動作モデルの蓄積量が飛躍的に増大する。なお、部位動作識別部から出力されるデータのうち、入力情報における部位情報と登録情報における骨格情報のうち複数が一致するもの等、動作の識別の信頼性が高いデータのみをフィードバックさせるようにすることで、動作モデルの信頼性の低下を防止することができる。
＜変形例８＞
上述した実施の形態では、乗員である運転者が近赤光に対する反射率の低い長袖の衣服を着用していることを想定し、部位検知部１６０で検知する部位を、露出している頭部、左手、右手の３箇所としたが、部位検知部１６０で検知する部位についてはこれに限定されない。検知する部位を３箇所より少なくしてもよいし、３箇所より多くしてもよい。また、手（手首から指先まで）に代えて、もしくは加えて、肘または肩など、上肢における所定の箇所を検知するようにしてもよい。
例えば、運転者が近赤光に対する反射率の低い半袖の衣服及び手袋を着用している場合を考えると、上述の実施の形態では、頭部を検知することはできるが両手を検知することができず、部位動作識別処理を行うことができない。しかしながら、手に代えて、肘を検知するようにすれば、部位動作識別処理を行うことができる。
また、運転席が車両進行方向右側である場合、運転者は機器３００を左手で操作することが多い。そこで、検知する部位を、頭部と、左上肢の１箇所以上とすれば、検知部位を少なくしたとしても、検知部位の動きが多いため、運転者の動作を正しく識別することができる。
＜変形例９＞
上述した実施の形態では、動作モデルにおいて記憶される骨格情報として、部位検知部１６０での部位検知処理で検知対象となる部位の骨格情報のみを登録する態様としたが、動作モデルに記憶させる骨格情報の種類については、これに限定されない。
例えば、動作モデルに全骨格情報を記憶させるようにしてもよい。その場合、部位動作識別部１７０では、画像情報から検知することができた部位の部位情報と、動作モデルにおける骨格情報のうち、画像情報から検知することができた部位に対応する部位の骨格情報を照合する。
このようにすれば、検知可能な部位の組合せが変わった場合でも、部位動作識別処理を行うことができる。
以上、本発明の実施の形態および変形例について説明した。
図７は、上述した実施の形態および変形例における各部の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。
図７に示すように、コンピュータ２１００は、入力ボタン、タッチパッドなどの入力装置２１０１、ディスプレイ、スピーカなどの出力装置２１０２、ＣＰＵ（Central Processing Unit）２１０３、ＲＯＭ（Read Only Memory）２１０４、ＲＡＭ（Random Access Memory）２１０５を備える。また、コンピュータ２１００は、ハードディスク装置、ＳＳＤ（Solid State Drive）などの記憶装置２１０６、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置２１０７、ネットワークを介して通信を行う送受信装置２１０８を備える。上述した各部は、バス２１０９により接続される。
そして、読取装置２１０７は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置２１０６に記憶させる。あるいは、送受信装置２１０８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置２１０６に記憶させる。
そして、ＣＰＵ２１０３が、記憶装置２１０６に記憶されたプログラムをＲＡＭ２１０５にコピーし、そのプログラムに含まれる命令をＲＡＭ２１０５から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、ＲＡＭ２１０５または記憶装置２１０６には、各実施の形態で述べた各種処理で得られた情報が記憶され、適宜利用される。
本発明に係る識別装置、識別方法、識別プログラムおよび記録媒体は、所定の機器を操作する人物を識別するのに有用である。
１００ 識別装置
１０１ 入力部
１０２ 制御部
１１０ 検知制御部
１２０ 骨格検知部
１３０ 骨格動作識別部
１４０ 人物識別部
１５０ 動作モデル部
１６０ 部位検知部
１７０ 部位動作識別部
１８０ 機器制御部
２００ カメラ
３００ 機器
１０００、１００１、１００２ 画像
１００３ データベース
２００１ 入力情報
２００２ 登録情報
２００３ データ
２１００ コンピュータ
２１０１ 入力装置
２１０２ 出力装置
２１０３ ＣＰＵ
２１０４ ＲＯＭ
２１０５ ＲＡＭ
２１０６ 記憶装置
２１０７ 読取装置
２１０８ 送受信装置
２１０９ バス
３００１ 入力情報
３００２ 登録情報
３００３、３００４、３００５、３００６、３００７ データ

Claims (6)

  1. カメラで撮影された人物の画像情報を受け取る入力部と、
    前記画像情報に基づいて前記人物の識別及び前記人物の少なくとも頭部及び手の部位の検知を行い、識別された前記人物、検知された前記部位、及び人物の動作が人物毎に登録された動作モデルに基づいて前記人物の動作を識別する制御部と、
    を備え、
    前記制御部は、前記画像情報に基づいて前記人物の骨格位置を検知可能か否かを判定し、前記骨格位置を検知可能であると判定された場合に、検知された前記骨格位置に基づいて前記人物の動作を識別し、前記骨格位置が検知可能でないと判定された場合に、識別された前記人物、検知された前記部位、及び前記動作モデルに基づいて前記人物の動作を識別する、
    識別装置。
  2. 前記制御部は、
    前記画像情報に基づいて前記骨格位置を検知し、検知された前記骨格位置に基づいて前記人物の動作を識別し、識別された前記人物、検知された前記骨格位置、及び識別された前記人物の動作に基づいて動作モデルを作成し、作成された前記動作モデルを記憶する、
    請求項１に記載の識別装置。
  3. 前記制御部は、
    前記骨格位置が検知可能でないと判定された場合に、更に前記動作モデルが利用可能か否かを判定し、
    前記動作モデルが利用可能であると判定された場合に、識別された前記人物、検知された前記部位、及び前記動作モデルに基づいて前記人物の動作を識別する、
    請求項１又は２に記載の識別装置。
  4. カメラで撮影された人物の画像情報を受け取るステップと、
    前記画像情報に基づいて前記人物の骨格位置を検知可能か否かを判定するステップと、
    前記骨格位置を検知可能であると判定された場合に、検知された前記骨格位置に基づいて前記人物の動作を識別するステップと、
    前記骨格位置が検知可能でないと判定された場合に、前記画像情報に基づいて前記人物の識別及び前記人物の少なくとも頭部及び手の部位の検知を行い、識別された前記人物、検知された前記部位、及び人物の動作が人物毎に登録された動作モデルに基づいて前記人物の動作を識別するステップと、
    を有する識別方法。
  5. カメラで撮影された人物の画像情報を受け取る処理と、
    前記画像情報に基づいて前記人物の骨格位置を検知可能か否かを判定する処理と、
    前記骨格位置を検知可能であると判定された場合に、検知された前記骨格位置に基づいて前記人物の動作を識別する処理と、
    前記骨格位置が検知可能でないと判定された場合に、前記画像情報に基づいて前記人物の識別及び前記人物の少なくとも頭部及び手の部位の検知を行い、識別された前記人物、検知された前記部位、及び人物の動作が人物毎に登録された動作モデルに基づいて前記人物の動作を識別する処理と、
    をコンピュータに実行させる識別プログラム。
  6. 人物の姿勢を識別する識別装置において実行される識別プログラムを記録したコンピュータ読み取り可能で非一時的な記録媒体であって、前記識別装置のコンピュータに対して、
    カメラで撮影された人物の画像情報を受け取る処理と、
    前記画像情報に基づいて前記人物の骨格位置を検知可能か否かを判定する処理と、
    前記骨格位置を検知可能であると判定された場合に、検知された前記骨格位置に基づいて前記人物の動作を識別する処理と、
    前記骨格位置が検知可能でないと判定された場合に、前記画像情報に基づいて前記人物の識別及び前記人物の少なくとも頭部及び手の部位の検知を行い、識別された前記人物、検知された前記部位、及び人物の動作が人物毎に登録された動作モデルに基づいて前記人物の動作を識別する処理と、
    を実行させる識別プログラムを記録した記録媒体。
JP2016091760A 2016-04-28 2016-04-28 識別装置、識別方法、識別プログラムおよび記録媒体 Active JP6688990B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2016091760A JP6688990B2 (ja) 2016-04-28 2016-04-28 識別装置、識別方法、識別プログラムおよび記録媒体
US15/482,844 US10255485B2 (en) 2016-04-28 2017-04-10 Identification device, identification method, and recording medium recording identification program
CN201710247328.7A CN107392083B (zh) 2016-04-28 2017-04-14 识别装置、识别方法、和记录介质
EP17167230.6A EP3239900B1 (en) 2016-04-28 2017-04-20 Identification device, identification method, and recording medium recording identification program
EP20178251.3A EP3731141A1 (en) 2016-04-28 2017-04-20 Identification device, identification method, and recording medium recording identification program
JP2020049530A JP6909986B2 (ja) 2016-04-28 2020-03-19 識別装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016091760A JP6688990B2 (ja) 2016-04-28 2016-04-28 識別装置、識別方法、識別プログラムおよび記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020049530A Division JP6909986B2 (ja) 2016-04-28 2020-03-19 識別装置

Publications (2)

Publication Number Publication Date
JP2017199303A JP2017199303A (ja) 2017-11-02
JP6688990B2 true JP6688990B2 (ja) 2020-04-28

Family

ID=58714902

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016091760A Active JP6688990B2 (ja) 2016-04-28 2016-04-28 識別装置、識別方法、識別プログラムおよび記録媒体

Country Status (4)

Country Link
US (1) US10255485B2 (ja)
EP (2) EP3731141A1 (ja)
JP (1) JP6688990B2 (ja)
CN (1) CN107392083B (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6922768B2 (ja) * 2018-02-02 2021-08-18 オムロン株式会社 情報処理装置
WO2020105751A1 (ko) * 2018-11-21 2020-05-28 엘지전자 주식회사 탑승자 모니터링 방법 및 이를 위한 장치
US11004266B2 (en) * 2018-12-21 2021-05-11 Alchera Inc. Articulated model registration apparatus and method
DE112019006583T5 (de) * 2019-01-07 2021-12-16 Mitsubishi Electric Corporation Bewegungsidentifizierungseinrichtung, Bewegungsidentifizierungsverfahren und Bewegungsidentifizierungsprogramm
JP7263094B2 (ja) * 2019-04-22 2023-04-24 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6562437B1 (ja) * 2019-04-26 2019-08-21 アースアイズ株式会社 監視装置、及び、監視方法
US10997721B2 (en) * 2019-05-06 2021-05-04 Beth Allison Lopez Microbe scanning device and methods thereof
CN110414338B (zh) * 2019-06-21 2022-03-15 广西师范大学 基于稀疏注意力网络的行人再辨识方法
US11130446B2 (en) * 2019-10-15 2021-09-28 Robert Bosch Gmbh System to detect objects ejected from a vehicle
WO2021255846A1 (ja) * 2020-06-17 2021-12-23 日本電気株式会社 画像処理装置、画像処理方法、及びプログラム
CN114584836B (zh) * 2020-11-30 2024-05-03 京东方科技集团股份有限公司 电子产品使用行为检测方法、装置、***及介质
US20240054674A1 (en) * 2020-12-25 2024-02-15 Nec Corporation System, information processing apparatus, method, and computer-readable medium
JP7446338B2 (ja) * 2021-09-16 2024-03-08 センスタイム インターナショナル プライベート リミテッド 顔と手との関連度の検出方法、装置、機器及び記憶媒体

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
US20020075334A1 (en) * 2000-10-06 2002-06-20 Yfantis Evangelos A. Hand gestures and hand motion for replacing computer mouse events
US6879709B2 (en) * 2002-01-17 2005-04-12 International Business Machines Corporation System and method for automatically detecting neutral expressionless faces in digital images
JP4007899B2 (ja) * 2002-11-07 2007-11-14 オリンパス株式会社 運動検出装置
GB0308943D0 (en) * 2003-04-17 2003-05-28 Univ Dundee A system for determining the body pose of a person from images
JP4481663B2 (ja) * 2004-01-15 2010-06-16 キヤノン株式会社 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム
US7925049B2 (en) * 2006-08-15 2011-04-12 Sri International Stereo-based visual odometry method and system
WO2009086088A1 (en) * 2007-12-21 2009-07-09 Honda Motor Co., Ltd. Controlled human pose estimation from depth image streams
US20110102570A1 (en) * 2008-04-14 2011-05-05 Saar Wilf Vision based pointing device emulation
US8295546B2 (en) * 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US8428311B2 (en) * 2009-02-25 2013-04-23 Honda Motor Co., Ltd. Capturing and recognizing hand postures using inner distance shape contexts
JP5136473B2 (ja) 2009-03-12 2013-02-06 株式会社デンソー 乗員姿勢推定装置
US9245177B2 (en) 2010-06-02 2016-01-26 Microsoft Technology Licensing, Llc Limiting avatar gesture display
US20110317871A1 (en) * 2010-06-29 2011-12-29 Microsoft Corporation Skeletal joint recognition and tracking system
JP5625643B2 (ja) * 2010-09-07 2014-11-19 ソニー株式会社 情報処理装置、および情報処理方法
US8929612B2 (en) * 2011-06-06 2015-01-06 Microsoft Corporation System for recognizing an open or closed hand
JP6074170B2 (ja) * 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
US9520072B2 (en) * 2011-09-21 2016-12-13 University Of South Florida Systems and methods for projecting images onto an object
CN102622591B (zh) * 2012-01-12 2013-09-25 北京理工大学 3d人体姿态捕捉模仿***
US9652043B2 (en) * 2012-05-14 2017-05-16 Hewlett-Packard Development Company, L.P. Recognizing commands with a depth sensor
US9747306B2 (en) * 2012-05-25 2017-08-29 Atheer, Inc. Method and apparatus for identifying input features for later recognition
US9111135B2 (en) * 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
CN103926999B (zh) * 2013-01-16 2017-03-01 株式会社理光 手掌开合手势识别方法和装置、人机交互方法和设备
US9092665B2 (en) * 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
CN103309446B (zh) * 2013-05-30 2016-03-02 上海交通大学 以人类双手为载体的虚拟数据获取与传递***
TWI547355B (zh) * 2013-11-11 2016-09-01 財團法人工業技術研究院 人機共生安全監控系統及其方法
US20150177842A1 (en) * 2013-12-23 2015-06-25 Yuliya Rudenko 3D Gesture Based User Authorization and Device Control Methods
CN104156947B (zh) * 2014-07-23 2018-03-16 小米科技有限责任公司 图像分割方法、装置及设备
WO2016046212A1 (en) * 2014-09-22 2016-03-31 Foundation For Research And Technology - Hellas (Forth) Apparatuses, method and systems for recovering a 3-dimensional skeletal model of the human body
CN105307017A (zh) * 2015-11-03 2016-02-03 Tcl集团股份有限公司 智能电视用户的姿势矫正方法及装置
CN105447466B (zh) * 2015-12-01 2019-07-23 深圳市图灵机器人有限公司 一种基于Kinect传感器的身份综合识别方法
US20170193289A1 (en) * 2015-12-31 2017-07-06 Microsoft Technology Licensing, Llc Transform lightweight skeleton and using inverse kinematics to produce articulate skeleton
US9898256B2 (en) * 2015-12-31 2018-02-20 Microsoft Technology Licensing, Llc Translation of gesture to gesture code description using depth camera
EP3206163B1 (en) * 2016-02-11 2018-12-26 AR4 GmbH Image processing method, mobile device and method for generating a video image database
EP3246660B1 (en) * 2016-05-19 2019-10-30 Hexagon Technology Center GmbH System and method for referencing a displaying device relative to a surveying instrument
WO2018048000A1 (ko) * 2016-09-12 2018-03-15 주식회사 딥픽셀 단일 카메라 기반의 3차원 영상 해석 장치 및 방법, 3차원 영상 해석을 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 매체
US10107627B2 (en) * 2017-03-08 2018-10-23 Northrop Grumman Systems Corporation Adaptive navigation for airborne, ground and dismount applications (ANAGDA)
CA3063410A1 (en) * 2017-05-16 2018-11-22 Jeffry David Aronson A scalable configurable universal full spectrum cyber process that utilizes measure points from sensor observation-derived representations

Also Published As

Publication number Publication date
EP3239900B1 (en) 2020-08-26
EP3239900A1 (en) 2017-11-01
CN107392083A (zh) 2017-11-24
US10255485B2 (en) 2019-04-09
EP3731141A1 (en) 2020-10-28
JP2017199303A (ja) 2017-11-02
CN107392083B (zh) 2022-05-10
US20170316255A1 (en) 2017-11-02

Similar Documents

Publication Publication Date Title
JP6688990B2 (ja) 識別装置、識別方法、識別プログラムおよび記録媒体
JP6398347B2 (ja) 画像処理装置、認識対象物検出方法、認識対象物検出プログラム、および、移動体制御システム
KR101807513B1 (ko) 3차원 공간에서 영상정보를 이용한 사용자 의도 분석장치 및 분석방법
JP2019040465A (ja) 行動認識装置，学習装置，並びに方法およびプログラム
JP7091983B2 (ja) 機器制御装置
CN113646736A (zh) 手势识别方法、装置、***及车辆
JP2009009280A (ja) ３次元署名認証システム
WO2019163124A1 (ja) 三次元位置推定装置及び三次元位置推定方法
JP5983243B2 (ja) 検出装置
JP2010079639A (ja) 車両の歩行者検出装置
US20230410356A1 (en) Detection apparatus, detection method, and non-transitory storage medium
JP6993282B2 (ja) 情報端末装置、プログラム及び方法
JP4613999B2 (ja) 行動推定装置、プログラム
JP4683123B2 (ja) 行動推定装置、プログラム
JP6909986B2 (ja) 識別装置
KR101976498B1 (ko) 차량용 제스처 인식 시스템 및 그 방법
Ribas et al. In-Cabin vehicle synthetic data to test Deep Learning based human pose estimation models
US20220309400A1 (en) Learning method, learning device, and recording medium
US20220157022A1 (en) Method and apparatus for virtual training based on tangible interaction
JP2019179289A (ja) 処理装置、及びプログラム
JP7286387B2 (ja) 位置推定システム、位置推定装置、位置推定方法、及びプログラム
KR102486161B1 (ko) 차량, 차량의 제어 방법 및 영상 탐색 장치
JP7163649B2 (ja) ジェスチャ検出装置、ジェスチャ検出方法、およびジェスチャ検出制御プログラム
JP2019179288A (ja) 処理装置、及びプログラム
JP2018195052A (ja) 画像処理装置、画像処理プログラム及びジェスチャ認識システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181126

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190625

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200323

R150 Certificate of patent or registration of utility model

Ref document number: 6688990

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150