JP3077745B2 - データ処理方法および装置、情報記憶媒体 - Google Patents
データ処理方法および装置、情報記憶媒体Info
- Publication number
- JP3077745B2 JP3077745B2 JP09206223A JP20622397A JP3077745B2 JP 3077745 B2 JP3077745 B2 JP 3077745B2 JP 09206223 A JP09206223 A JP 09206223A JP 20622397 A JP20622397 A JP 20622397A JP 3077745 B2 JP3077745 B2 JP 3077745B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature
- points
- subject
- reference image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Measurement Of Optical Distance (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、撮像した画像から
被写体の部分を抽出するデータ処理方法および装置、こ
のデータ処理装置としてコンピュータを機能させるため
のプログラムが格納されている情報記憶媒体に関する。
被写体の部分を抽出するデータ処理方法および装置、こ
のデータ処理装置としてコンピュータを機能させるため
のプログラムが格納されている情報記憶媒体に関する。
【０００２】
【従来の技術】従来、指定された空間を撮像した画像か
ら特定の被写体の部分を抽出する手法として、例えば、
事前に用意した情報を利用する手法、撮像の合焦を利用
する手法、複数の画像を利用する手法、等が提案されて
いる。
ら特定の被写体の部分を抽出する手法として、例えば、
事前に用意した情報を利用する手法、撮像の合焦を利用
する手法、複数の画像を利用する手法、等が提案されて
いる。
【０００３】事前に用意した情報を利用する手法は、特
開平７−２２００９５号公報などに開示されている。こ
の情報利用手法では、被写体側の主点と被写体の一部と
の距離、撮像装置の焦点距離、撮像素子のサイズや個
数、被写体の大まかなサイズ、等を撮像装置および被写
体に対応した情報として事前に登録しておく。
開平７−２２００９５号公報などに開示されている。こ
の情報利用手法では、被写体側の主点と被写体の一部と
の距離、撮像装置の焦点距離、撮像素子のサイズや個
数、被写体の大まかなサイズ、等を撮像装置および被写
体に対応した情報として事前に登録しておく。
【０００４】つぎに、撮像装置で被写体を撮像した画像
から、上述の撮像装置の情報などに基づいて被写体が存
在する部分を予測して候補となる画像の部分を抽出し、
このように抽出された候補の部分から上述の被写体の情
報と最も整合する一つを選出する。
から、上述の撮像装置の情報などに基づいて被写体が存
在する部分を予測して候補となる画像の部分を抽出し、
このように抽出された候補の部分から上述の被写体の情
報と最も整合する一つを選出する。
【０００５】また、撮像の合焦を利用する手法は、特開
平８−３０７７５６号公報などに開示されており、この
合焦利用手法では、オートフォーカス等と同様に、画像
の合焦部分では輝度の変化が著しいことを利用し、画像
から合焦した被写体の部分を抽出する。
平８−３０７７５６号公報などに開示されており、この
合焦利用手法では、オートフォーカス等と同様に、画像
の合焦部分では輝度の変化が著しいことを利用し、画像
から合焦した被写体の部分を抽出する。
【０００６】複数の画像を利用する手法は、特開平８−
２７１９１４号公報や特開平９−４０５３３号公報など
に開示されている。特開平８−２７１９１４号公報に開
示された複数画像手法では、二台の撮像装置で一つの被
写体を撮像し、二つの画像から相互に対応する部分を検
出する。このように検出した画像での座標の差分を視差
として抽出し、視差の大きさから前景に位置する被写体
を分離する。
２７１９１４号公報や特開平９−４０５３３号公報など
に開示されている。特開平８−２７１９１４号公報に開
示された複数画像手法では、二台の撮像装置で一つの被
写体を撮像し、二つの画像から相互に対応する部分を検
出する。このように検出した画像での座標の差分を視差
として抽出し、視差の大きさから前景に位置する被写体
を分離する。
【０００７】より詳細には、二台の撮像装置の各々の撮
像フレームの中央に被写体を位置させ、相互に対応する
特徴点である対応点の探索を画像の中心から外側に実行
し、探索された対応点の被写体の三次元座標を算出する
ことで輪郭点を判定する。なお、対応点の探索に失敗し
た場合は、輪郭線の連続性を仮定した復元処理により被
写体の部分を抽出する。
像フレームの中央に被写体を位置させ、相互に対応する
特徴点である対応点の探索を画像の中心から外側に実行
し、探索された対応点の被写体の三次元座標を算出する
ことで輪郭点を判定する。なお、対応点の探索に失敗し
た場合は、輪郭線の連続性を仮定した復元処理により被
写体の部分を抽出する。
【０００８】また、特開平９−４０５３３号公報に開示
された複数画像手法は、上述の特開平８−２７１９１４
号公報の手法を改良したもので、撮像装置を三台以上と
して幾何拘束により対応点探索の処理性能を向上させて
いる。
された複数画像手法は、上述の特開平８−２７１９１４
号公報の手法を改良したもので、撮像装置を三台以上と
して幾何拘束により対応点探索の処理性能を向上させて
いる。
【０００９】
【発明が解決しようとする課題】上述のような各種の手
法により、撮像した画像から被写体の部分を抽出するこ
とができる。しかし、特開平７−２２００９５号公報な
どに開示された情報利用手法では、画像から抽出する被
写体に対応した各種の情報を事前に用意しておく必要が
あり、情報が用意されていない被写体の部分を画像から
抽出することはできない。
法により、撮像した画像から被写体の部分を抽出するこ
とができる。しかし、特開平７−２２００９５号公報な
どに開示された情報利用手法では、画像から抽出する被
写体に対応した各種の情報を事前に用意しておく必要が
あり、情報が用意されていない被写体の部分を画像から
抽出することはできない。
【００１０】しかも、この情報利用手法では、被写体側
の主点と被写体の一部との距離か、画像側の主点から画
像までの距離の、少なくとも一方が処理に必要である。
しかし、被写体側の主点と被写体の一部との距離を測定
するためには、赤外線を利用した測距器などの高価な装
置が必要である。画像側の主点から画像までの距離は、
オートフォーカス機構により測定できるが、これは照明
条件などにより動作が安定しないので測定結果の信頼性
が低い。
の主点と被写体の一部との距離か、画像側の主点から画
像までの距離の、少なくとも一方が処理に必要である。
しかし、被写体側の主点と被写体の一部との距離を測定
するためには、赤外線を利用した測距器などの高価な装
置が必要である。画像側の主点から画像までの距離は、
オートフォーカス機構により測定できるが、これは照明
条件などにより動作が安定しないので測定結果の信頼性
が低い。
【００１１】また、特開平８−３０７７５６号公報など
に開示された合焦利用手法も、照明条件などにより動作
が安定しないので抽出結果の信頼性が低い。さらに、被
写体が奥行方向に大きい場合や被写体が複数の場合、被
写体が焦点深度内に収まらず被写体に合焦した画像を撮
像できないことがある。例えば、被写体が複数の場合に
は、焦点を調整した複数の画像を別個に撮像して使用す
れば良いが、これでは処理が煩雑でリアルタイムでの処
理は困難である。
に開示された合焦利用手法も、照明条件などにより動作
が安定しないので抽出結果の信頼性が低い。さらに、被
写体が奥行方向に大きい場合や被写体が複数の場合、被
写体が焦点深度内に収まらず被写体に合焦した画像を撮
像できないことがある。例えば、被写体が複数の場合に
は、焦点を調整した複数の画像を別個に撮像して使用す
れば良いが、これでは処理が煩雑でリアルタイムでの処
理は困難である。
【００１２】特開平８−２７１９１４号公報や特開平９
−４０５３３号公報などに開示された複数画像手法は、
照明条件などが変化しても動作が安定しており、被写体
に対応した情報なども必要ないが、画像から被写体の部
分を抽出する精度が、前景と背景とを判定する閾値に多
分に依存している。
−４０５３３号公報などに開示された複数画像手法は、
照明条件などが変化しても動作が安定しており、被写体
に対応した情報なども必要ないが、画像から被写体の部
分を抽出する精度が、前景と背景とを判定する閾値に多
分に依存している。
【００１３】しかし、この閾値を適正に設定することは
容易ではなく、特開平８−２７１９１４号公報や特開平
９−４０５３３号公報などでは、上述の閾値を人間が経
験的に設定している。また、特開平８−２７１９１４号
公報と特開平９−４０５３３号公報とに開示された手法
は、単体の被写体用に特化されており、画像から複数の
被写体の部分を抽出することができない。
容易ではなく、特開平８−２７１９１４号公報や特開平
９−４０５３３号公報などでは、上述の閾値を人間が経
験的に設定している。また、特開平８−２７１９１４号
公報と特開平９−４０５３３号公報とに開示された手法
は、単体の被写体用に特化されており、画像から複数の
被写体の部分を抽出することができない。
【００１４】本発明は上述のような課題に鑑みてなされ
たものであり、事前に特定の情報を用意することなく画
像から被写体の部分を抽出すること、照明などの条件が
変化しても画像から被写体の部分を良好に抽出できるこ
と、被写体が複数でも画像から対応する部分を抽出でき
ること、等の少なくとも一つを実現したデータ処理方法
および装置、このデータ処理装置としてコンピュータを
機能させるためのプログラムが格納されている情報記憶
媒体、を提供することを目的とする。
たものであり、事前に特定の情報を用意することなく画
像から被写体の部分を抽出すること、照明などの条件が
変化しても画像から被写体の部分を良好に抽出できるこ
と、被写体が複数でも画像から対応する部分を抽出でき
ること、等の少なくとも一つを実現したデータ処理方法
および装置、このデータ処理装置としてコンピュータを
機能させるためのプログラムが格納されている情報記憶
媒体、を提供することを目的とする。
【００１５】
【課題を解決するための手段】本発明の一のデータ処理
方法は、被写体を一つの基準位置と複数の参照位置とか
ら撮像して一つの基準画像と複数の参照画像とをデータ
生成し、データ生成された基準画像の複数の走査線から
一対の特徴点間に位置する特徴区間を抽出し、抽出され
た特徴区間の両側の特徴点に対応する対応点の候補を複
数の参照画像の各々から抽出し、一つの基準画像の特徴
点と複数の参照画像の対応点の候補との組み合わせで被
写体の三次元座標を算出し、算出された被写体の三次元
座標から距離が最小となる組み合わせを選出して特徴点
に対応した対応点を確定し、基準画像の特徴点間の距離
と対応する複数の参照画像の対応点間の距離とを比較
し、比較結果が特定の許容範囲を満足する組み合わせの
特徴点の特徴区間を選出し、選出された特徴区間からな
る画像を被写体の部分としてデータ出力するようにし
た。
方法は、被写体を一つの基準位置と複数の参照位置とか
ら撮像して一つの基準画像と複数の参照画像とをデータ
生成し、データ生成された基準画像の複数の走査線から
一対の特徴点間に位置する特徴区間を抽出し、抽出され
た特徴区間の両側の特徴点に対応する対応点の候補を複
数の参照画像の各々から抽出し、一つの基準画像の特徴
点と複数の参照画像の対応点の候補との組み合わせで被
写体の三次元座標を算出し、算出された被写体の三次元
座標から距離が最小となる組み合わせを選出して特徴点
に対応した対応点を確定し、基準画像の特徴点間の距離
と対応する複数の参照画像の対応点間の距離とを比較
し、比較結果が特定の許容範囲を満足する組み合わせの
特徴点の特徴区間を選出し、選出された特徴区間からな
る画像を被写体の部分としてデータ出力するようにし
た。
【００１６】本発明の他のデータ処理方法は、被写体を
一つの基準位置と複数の参照位置とから撮像して一つの
基準画像と複数の参照画像とをデータ生成し、データ生
成された基準画像の複数の走査線から一対の特徴点間に
位置する特徴区間を抽出し、抽出された特徴区間の両側
の特徴点に対応する対応点の候補を複数の参照画像の各
々から抽出し、一つの基準画像の特徴点と複数の参照画
像の対応点の候補との組み合わせで被写体の三次元座標
を算出し、算出された被写体の三次元座標から距離が最
小となる組み合わせを選出して特徴点に対応した対応点
を確定し、基準画像の特徴点と対応する複数の参照画像
の対応点との視差を算出し、算出された視差が特定の許
容範囲を満足する組み合わせの特徴点の特徴区間を選出
し、選出された特徴区間からなる画像を被写体の部分と
してデータ出力するようにした。
一つの基準位置と複数の参照位置とから撮像して一つの
基準画像と複数の参照画像とをデータ生成し、データ生
成された基準画像の複数の走査線から一対の特徴点間に
位置する特徴区間を抽出し、抽出された特徴区間の両側
の特徴点に対応する対応点の候補を複数の参照画像の各
々から抽出し、一つの基準画像の特徴点と複数の参照画
像の対応点の候補との組み合わせで被写体の三次元座標
を算出し、算出された被写体の三次元座標から距離が最
小となる組み合わせを選出して特徴点に対応した対応点
を確定し、基準画像の特徴点と対応する複数の参照画像
の対応点との視差を算出し、算出された視差が特定の許
容範囲を満足する組み合わせの特徴点の特徴区間を選出
し、選出された特徴区間からなる画像を被写体の部分と
してデータ出力するようにした。
【００１７】本発明の一のデータ処理装置は、被写体を
一つの基準位置と複数の参照位置とから撮像して一つの
基準画像と複数の参照画像とをデータ生成する画像撮像
手段と、データ生成された基準画像の複数の走査線から
一対の特徴点間に位置する特徴区間を抽出する区間抽出
手段と、抽出された特徴区間の両側の特徴点に対応する
対応点の候補を複数の参照画像の各々から抽出する候補
抽出手段と、一つの基準画像の特徴点と複数の参照画像
の対応点の候補との組み合わせで被写体の三次元座標を
算出する座標算出手段と、被写体の三次元座標と特徴点
と対応点の候補との情報から前景の特徴区間を抽出する
前景抽出手段と、抽出された前景の特徴区間からなる画
像を被写体の部分としてデータ出力する画像出力手段
と、を具備しており、 前記前景抽出手段が、被写体の三
次元座標から距離が最小となる組み合わせを選出して特
徴点に対応した対応点を確定する対応点確定手段と、基
準画像の特徴点間の距離と対応する複数の参照画像の対
応点間の距離とを比較する距離比較手段と、比較結果が
特定の許容範囲を満足する組み合わせの特徴点の特徴区
間を選出する結果選出手段と、を具備している。
一つの基準位置と複数の参照位置とから撮像して一つの
基準画像と複数の参照画像とをデータ生成する画像撮像
手段と、データ生成された基準画像の複数の走査線から
一対の特徴点間に位置する特徴区間を抽出する区間抽出
手段と、抽出された特徴区間の両側の特徴点に対応する
対応点の候補を複数の参照画像の各々から抽出する候補
抽出手段と、一つの基準画像の特徴点と複数の参照画像
の対応点の候補との組み合わせで被写体の三次元座標を
算出する座標算出手段と、被写体の三次元座標と特徴点
と対応点の候補との情報から前景の特徴区間を抽出する
前景抽出手段と、抽出された前景の特徴区間からなる画
像を被写体の部分としてデータ出力する画像出力手段
と、を具備しており、 前記前景抽出手段が、被写体の三
次元座標から距離が最小となる組み合わせを選出して特
徴点に対応した対応点を確定する対応点確定手段と、基
準画像の特徴点間の距離と対応する複数の参照画像の対
応点間の距離とを比較する距離比較手段と、比較結果が
特定の許容範囲を満足する組み合わせの特徴点の特徴区
間を選出する結果選出手段と、を具備している。
【００１８】本発明の他のデータ処理装置は、被写体を
一つの基準位置と複数の参照位置とから撮像して一つの
基準画像と複数の参照画像とをデータ生成する画像撮像
手段と、データ生成された基準画像の複数の走査線から
一対の特徴点間に位置する特徴区間を抽出する区間抽出
手段と、抽出された特徴区間の両側の特徴点に対応する
対応点の候補を複数の参照画像の各々から抽出する候補
抽出手段と、一つの基準画像の特徴点と複数の参照画像
の対応点の候補との組み合わせで被写体の三次元座標を
算出する座標算出手段と、被写体の三次元座標と特徴点
と対応点の候補との情報から前景の特徴区間を抽出する
前景抽出手段と、抽出された前景の特徴区間からなる画
像を被写体の部分としてデータ出力する画像出力手段
と、を具備しており、 前記前景抽出手段が、被写体の三
次元座標から距離が最小となる組み合わせを選出して特
徴点に対応した対応点を確定する対応点確定手段と、基
準画像の特徴点と対応する複数の参照画像の対応点との
視差を算出する視差算出手段と、算出された視差が特定
の許容範囲を満足する組み合わせの特徴点の特徴区間を
選出する結果選出手段と、を具備している。
一つの基準位置と複数の参照位置とから撮像して一つの
基準画像と複数の参照画像とをデータ生成する画像撮像
手段と、データ生成された基準画像の複数の走査線から
一対の特徴点間に位置する特徴区間を抽出する区間抽出
手段と、抽出された特徴区間の両側の特徴点に対応する
対応点の候補を複数の参照画像の各々から抽出する候補
抽出手段と、一つの基準画像の特徴点と複数の参照画像
の対応点の候補との組み合わせで被写体の三次元座標を
算出する座標算出手段と、被写体の三次元座標と特徴点
と対応点の候補との情報から前景の特徴区間を抽出する
前景抽出手段と、抽出された前景の特徴区間からなる画
像を被写体の部分としてデータ出力する画像出力手段
と、を具備しており、 前記前景抽出手段が、被写体の三
次元座標から距離が最小となる組み合わせを選出して特
徴点に対応した対応点を確定する対応点確定手段と、基
準画像の特徴点と対応する複数の参照画像の対応点との
視差を算出する視差算出手段と、算出された視差が特定
の許容範囲を満足する組み合わせの特徴点の特徴区間を
選出する結果選出手段と、を具備している。
【００１９】
【００２０】上述のようなデータ処理装置における他の
発明としては、比較される基準画像の特徴点間の距離と
対応する複数の参照画像の対応点間の距離との格差のヒ
ストグラムをデータ生成するヒストグラム生成手段と、
データ生成されたヒストグラムの個数が多数の組み合わ
せの前後近傍に距離の比較結果の許容範囲の閾値を設定
する閾値設定手段とを、さらに具備している。
発明としては、比較される基準画像の特徴点間の距離と
対応する複数の参照画像の対応点間の距離との格差のヒ
ストグラムをデータ生成するヒストグラム生成手段と、
データ生成されたヒストグラムの個数が多数の組み合わ
せの前後近傍に距離の比較結果の許容範囲の閾値を設定
する閾値設定手段とを、さらに具備している。
【００２１】上述のようなデータ処理装置における他の
発明としては、比較される基準画像の特徴点と対応する
複数の参照画像の対応点との視差のヒストグラムをデー
タ生成するヒストグラム生成手段と、データ生成された
ヒストグラムの極大値の前後近傍に視差の比較結果の許
容範囲の閾値を設定する閾値設定手段とを、さらに具備
している。
発明としては、比較される基準画像の特徴点と対応する
複数の参照画像の対応点との視差のヒストグラムをデー
タ生成するヒストグラム生成手段と、データ生成された
ヒストグラムの極大値の前後近傍に視差の比較結果の許
容範囲の閾値を設定する閾値設定手段とを、さらに具備
している。
【００２２】上述のようなデータ処理装置における他の
発明としては、閾値設定手段がヒストグラムの複数の極
大値のうち視差が最大となる一つの前後近傍に視差の比
較結果の許容範囲の閾値を設定する。
発明としては、閾値設定手段がヒストグラムの複数の極
大値のうち視差が最大となる一つの前後近傍に視差の比
較結果の許容範囲の閾値を設定する。
【００２３】本発明の一の情報記憶媒体は、コンピュー
タが読取自在なソフトウェアが格納されている情報記憶
媒体において、一つの基準画像と複数の参照画像とのデ
ータ入力を受け付けること、データ入力された基準画像
の複数の走査線から一対の特徴点間に位置する特徴区間
を抽出すること、抽出された特徴区間の両側の特徴点に
対応する対応点の候補を複数の参照画像の各々から抽出
すること、一つの基準画像の特徴点と複数の参照画像の
対応点の候補との組み合わせで被写体の三次元座標を算
出すること、被写体の三次元座標から距離が最小となる
組み合わせを選出して特徴点に対応した対応点を確定す
ること、基準画像の特徴点間の距離と対応する複数の参
照画像の対応点間の距離とを比較すること、比較結果が
特定の許容範囲を満足する組み合わせの特徴点の特徴区
間を選出すること、選出された前景の特徴区間からなる
画像を被写体の部分としてデータ出力すること、を前記
コンピュータに実行させるためのプログラムが格納され
ている。本発明の他の情報記憶媒体は、コンピュータが
読取自在なソフトウェアが格納されている情報記憶媒体
において、 一つの基準画像と複数の参照画像とのデータ
入力を受け付けること、データ入力された基準画像の複
数の走査線から一対の特徴点間に位置する特徴区間を抽
出すること、抽出された特徴区間の両側の特徴点に対応
する対応点の候補を複数の参照画像の各々から抽出する
こと、一つの基準画像の特徴点と複数の参照画像の対応
点の候補との組み合わせで被写体の三次元座標を算出す
ること、被写体の三次元座標から距離が最小となる組み
合わせを選出して特徴点に対応した対応点を確定するこ
と、基準画像の特徴点と対応する複数の参照画像の対応
点との視差を算出すること、算出された視差が特定の許
容範囲を満足する組み合わせの特徴点の特徴区間を選出
すること、選出された前景の特徴区間からなる画像を被
写体の部分としてデータ出力すること、を前記コンピュ
ータに実行させるためのプログラムが格納されている。
タが読取自在なソフトウェアが格納されている情報記憶
媒体において、一つの基準画像と複数の参照画像とのデ
ータ入力を受け付けること、データ入力された基準画像
の複数の走査線から一対の特徴点間に位置する特徴区間
を抽出すること、抽出された特徴区間の両側の特徴点に
対応する対応点の候補を複数の参照画像の各々から抽出
すること、一つの基準画像の特徴点と複数の参照画像の
対応点の候補との組み合わせで被写体の三次元座標を算
出すること、被写体の三次元座標から距離が最小となる
組み合わせを選出して特徴点に対応した対応点を確定す
ること、基準画像の特徴点間の距離と対応する複数の参
照画像の対応点間の距離とを比較すること、比較結果が
特定の許容範囲を満足する組み合わせの特徴点の特徴区
間を選出すること、選出された前景の特徴区間からなる
画像を被写体の部分としてデータ出力すること、を前記
コンピュータに実行させるためのプログラムが格納され
ている。本発明の他の情報記憶媒体は、コンピュータが
読取自在なソフトウェアが格納されている情報記憶媒体
において、 一つの基準画像と複数の参照画像とのデータ
入力を受け付けること、データ入力された基準画像の複
数の走査線から一対の特徴点間に位置する特徴区間を抽
出すること、抽出された特徴区間の両側の特徴点に対応
する対応点の候補を複数の参照画像の各々から抽出する
こと、一つの基準画像の特徴点と複数の参照画像の対応
点の候補との組み合わせで被写体の三次元座標を算出す
ること、被写体の三次元座標から距離が最小となる組み
合わせを選出して特徴点に対応した対応点を確定するこ
と、基準画像の特徴点と対応する複数の参照画像の対応
点との視差を算出すること、算出された視差が特定の許
容範囲を満足する組み合わせの特徴点の特徴区間を選出
すること、選出された前景の特徴区間からなる画像を被
写体の部分としてデータ出力すること、を前記コンピュ
ータに実行させるためのプログラムが格納されている。
【００２４】従って、本発明のデータ処理方法および装
置では、基準画像から被写体の部分の画像を抽出するこ
とを、一つの基準画像と複数の参照画像から三角測量の
原理により実行する。このため、被写体に対応した各種
情報を事前に用意しておく必要がなく、一つの基準画像
と複数の参照画像から被写体の画像を抽出するので冗長
な情報を獲得でき、被写体の画像を前景の特徴区間とし
て抽出できる。
置では、基準画像から被写体の部分の画像を抽出するこ
とを、一つの基準画像と複数の参照画像から三角測量の
原理により実行する。このため、被写体に対応した各種
情報を事前に用意しておく必要がなく、一つの基準画像
と複数の参照画像から被写体の画像を抽出するので冗長
な情報を獲得でき、被写体の画像を前景の特徴区間とし
て抽出できる。
【００２５】特に、被写体の画像となる前景の特徴区間
を選出するとき、一つの基準画像と複数の参照画像とに
対して特徴点間の距離と対応点間の距離とが同等である
ことや、特徴点と対応点との視差が同等であることを確
認して精度を向上させることができる。このように特徴
点と対応点との距離や視差が同等であることを確認する
とき、その許容範囲の閾値をヒストグラムにより自動的
に設定することもできる。
を選出するとき、一つの基準画像と複数の参照画像とに
対して特徴点間の距離と対応点間の距離とが同等である
ことや、特徴点と対応点との視差が同等であることを確
認して精度を向上させることができる。このように特徴
点と対応点との距離や視差が同等であることを確認する
とき、その許容範囲の閾値をヒストグラムにより自動的
に設定することもできる。
【００２６】また、本発明の情報記憶媒体は、コンピュ
ータが読取自在なプログラムがソフトウェアとして記録
されているので、そのプログラムをコンピュータに読み
取らせて対応する処理動作を実行させると、そのコンピ
ュータは上述のようなデータ処理方法を実行するデータ
処理装置として機能することができる。
ータが読取自在なプログラムがソフトウェアとして記録
されているので、そのプログラムをコンピュータに読み
取らせて対応する処理動作を実行させると、そのコンピ
ュータは上述のようなデータ処理方法を実行するデータ
処理装置として機能することができる。
【００２７】なお、本発明で云う各種手段は、その機能
を実現するよう形成されていれば良く、例えば、専用の
ハードウェア、適正な機能がプログラムにより付与され
たコンピュータ、適正なプログラムによりコンピュータ
の内部に実現された機能、これらの組み合わせ、等を許
容する。
を実現するよう形成されていれば良く、例えば、専用の
ハードウェア、適正な機能がプログラムにより付与され
たコンピュータ、適正なプログラムによりコンピュータ
の内部に実現された機能、これらの組み合わせ、等を許
容する。
【００２８】また、本発明で云う情報記憶媒体とは、コ
ンピュータに各種処理を実行させるためのプログラムが
事前に格納されたものであれば良く、例えば、コンピュ
ータを一部とするシステムに固定されているＲＯＭ(Ｒe
ad Ｏnly Ｍemory)やＨＤＤ(Ｈard Ｄisc Ｄriv
e)、コンピュータを一部とするシステムに着脱自在に装
填されるＣＤ(Ｃompact Ｄisc)−ＲＯＭやＦＤ(Ｆlopp
y Ｄisc)、等を許容する。
ンピュータに各種処理を実行させるためのプログラムが
事前に格納されたものであれば良く、例えば、コンピュ
ータを一部とするシステムに固定されているＲＯＭ(Ｒe
ad Ｏnly Ｍemory)やＨＤＤ(Ｈard Ｄisc Ｄriv
e)、コンピュータを一部とするシステムに着脱自在に装
填されるＣＤ(Ｃompact Ｄisc)−ＲＯＭやＦＤ(Ｆlopp
y Ｄisc)、等を許容する。
【００２９】
【発明の実施の形態】本発明の実施の一形態を図１ない
し図５を参照して以下に説明する。なお、本実施の形態
に関して前述した一従来例と同一の部分は、同一の名称
を使用して詳細な説明は省略する。図１は本実施の形態
のデータ処理装置を示すブロック図、図２は撮像装置と
被写体との位置関係を示す平面図、図３は基準画像を示
す模式図、図４は基準画像と参照画像とを比較した状態
を示す模式図、図５は片側ブロックマッチングの原理を
説明する模式図である。
し図５を参照して以下に説明する。なお、本実施の形態
に関して前述した一従来例と同一の部分は、同一の名称
を使用して詳細な説明は省略する。図１は本実施の形態
のデータ処理装置を示すブロック図、図２は撮像装置と
被写体との位置関係を示す平面図、図３は基準画像を示
す模式図、図４は基準画像と参照画像とを比較した状態
を示す模式図、図５は片側ブロックマッチングの原理を
説明する模式図である。
【００３０】本実施の形態のデータ処理装置１００は、
図２に示すように、背景１の手前に位置する被写体２を
撮像するデバイスとして、三台の撮像装置１０１〜１０
３を具備している。
図２に示すように、背景１の手前に位置する被写体２を
撮像するデバイスとして、三台の撮像装置１０１〜１０
３を具備している。
【００３１】第一の撮像装置１０１は、基準位置である
中心に位置しており、被写体２を背景１とともに撮像し
て基準画像３をデータ生成する。第二第三の撮像装置１
０２，１０３は、第一第二の参照位置である両側に各々
位置しており、被写体２を背景１とともに各々撮像して
第一第二の参照画像４，５を個々に生成する。
中心に位置しており、被写体２を背景１とともに撮像し
て基準画像３をデータ生成する。第二第三の撮像装置１
０２，１０３は、第一第二の参照位置である両側に各々
位置しており、被写体２を背景１とともに各々撮像して
第一第二の参照画像４，５を個々に生成する。
【００３２】これらの撮像装置１０１〜１０３は、例え
ば、ＣＣＤ(Ｃharge Ｃoupled Ｄevice)カメラからな
り、基準画像３や参照画像４，５を多数の走査線６から
なるドットマトリクスの画像データとしてデータ出力す
る。本実施の形態では三台の撮像装置１０１〜１０３が
水平な同一面上で被写体２を中心に放射状に位置するこ
とを例示するが、これらの撮像装置１０１〜１０３の位
置は相互に相違していれば良く、上述のような配置に限
定されるものではない。
ば、ＣＣＤ(Ｃharge Ｃoupled Ｄevice)カメラからな
り、基準画像３や参照画像４，５を多数の走査線６から
なるドットマトリクスの画像データとしてデータ出力す
る。本実施の形態では三台の撮像装置１０１〜１０３が
水平な同一面上で被写体２を中心に放射状に位置するこ
とを例示するが、これらの撮像装置１０１〜１０３の位
置は相互に相違していれば良く、上述のような配置に限
定されるものではない。
【００３３】上述した三台の撮像装置１０１〜１０３に
より画像撮像手段である画像撮像部１０４が形成されて
おり、図１に示すように、画像撮像部１０４の三台の撮
像装置１０１〜１０３には、画像蓄積手段である画像蓄
積部１０５の三個の画像メモリ１０６〜１０８が個々に
接続されている。これらの画像メモリ１０６〜１０８
は、ＲＡＭ(Ｒandom Ａccess Ｍemory)等の情報記憶
媒体からなり、基準画像３や参照画像４，５をデータ記
憶する。
より画像撮像手段である画像撮像部１０４が形成されて
おり、図１に示すように、画像撮像部１０４の三台の撮
像装置１０１〜１０３には、画像蓄積手段である画像蓄
積部１０５の三個の画像メモリ１０６〜１０８が個々に
接続されている。これらの画像メモリ１０６〜１０８
は、ＲＡＭ(Ｒandom Ａccess Ｍemory)等の情報記憶
媒体からなり、基準画像３や参照画像４，５をデータ記
憶する。
【００３４】基準画像３を蓄積する第一の画像メモリ１
０６には、区間抽出手段である区間抽出器１０９が接続
されており、この区間抽出器１０９は、図３に示すよう
に、基準画像３の複数の走査線６の各々から一対の特徴
点１１Ｌ，１１Ｒ間に位置する特徴区間１１を抽出す
る。なお、この特徴区間１１は実際には一つの基準画像
３から多数が抽出されるが、以下では説明を簡略化する
ために特徴区間１１を一つのみ例示して説明する。
０６には、区間抽出手段である区間抽出器１０９が接続
されており、この区間抽出器１０９は、図３に示すよう
に、基準画像３の複数の走査線６の各々から一対の特徴
点１１Ｌ，１１Ｒ間に位置する特徴区間１１を抽出す
る。なお、この特徴区間１１は実際には一つの基準画像
３から多数が抽出されるが、以下では説明を簡略化する
ために特徴区間１１を一つのみ例示して説明する。
【００３５】区間抽出器１０９と二つの参照画像４，５
の画像メモリ１０７，１０８とは、候補抽出手段である
候補抽出部１１０に接続されており、この候補抽出部１
１０は、第一第二の候補抽出器１１１，１１２を具備し
ている。つまり、区間抽出器１０９と第一の参照画像４
の画像メモリ１０７には、第一の候補抽出部２１が接続
されており、区間抽出器１０９と第二の参照画像５の画
像メモリ１０８には、第二の候補抽出器１１２が接続さ
れている。
の画像メモリ１０７，１０８とは、候補抽出手段である
候補抽出部１１０に接続されており、この候補抽出部１
１０は、第一第二の候補抽出器１１１，１１２を具備し
ている。つまり、区間抽出器１０９と第一の参照画像４
の画像メモリ１０７には、第一の候補抽出部２１が接続
されており、区間抽出器１０９と第二の参照画像５の画
像メモリ１０８には、第二の候補抽出器１１２が接続さ
れている。
【００３６】第一の候補抽出器１１１は、図４に示すよ
うに、区間抽出器１０９により基準画像３から抽出され
た特徴区間１１の両側の特徴点１１Ｌ，１１Ｒに対応す
る対応点１２Ｌ，１２Ｒの候補を、第一の画像メモリ１
０７に記憶された第一の参照画像４から抽出し、第二の
候補抽出器１１２は、第二の画像メモリ１０８に記憶さ
れた第二の参照画像５から抽出する。
うに、区間抽出器１０９により基準画像３から抽出され
た特徴区間１１の両側の特徴点１１Ｌ，１１Ｒに対応す
る対応点１２Ｌ，１２Ｒの候補を、第一の画像メモリ１
０７に記憶された第一の参照画像４から抽出し、第二の
候補抽出器１１２は、第二の画像メモリ１０８に記憶さ
れた第二の参照画像５から抽出する。
【００３７】区間抽出器１０９と二つの候補抽出器１１
１，１１２は、座標算出手段である座標算出部１１３に
接続されており、この座標算出部１１３は、第一第二の
座標算出器１１４，１１５を具備している。つまり、区
間抽出器１０９と第一の候補抽出器１１１には、第一の
座標算出器１１４が接続されており、区間抽出器１０９
と第二の候補抽出器１１２には、第二の座標算出器１１
５が接続されている。第一の座標算出器１１４は、区間
抽出器１０９により抽出された基準画像３の特徴点１１
Ｌ，１１Ｒと、第一の候補抽出器１１１により抽出され
た第一の参照画像４の対応点１２Ｌ，１２Ｒの候補との
組み合わせで被写体２の三次元座標を算出し、第二の座
標算出器１１５は、基準画像３の特徴点１１Ｌ，１１Ｒ
と第二の参照画像５の対応点１２Ｌ，１２Ｒの候補との
組み合わせで被写体２の三次元座標を算出する。
１，１１２は、座標算出手段である座標算出部１１３に
接続されており、この座標算出部１１３は、第一第二の
座標算出器１１４，１１５を具備している。つまり、区
間抽出器１０９と第一の候補抽出器１１１には、第一の
座標算出器１１４が接続されており、区間抽出器１０９
と第二の候補抽出器１１２には、第二の座標算出器１１
５が接続されている。第一の座標算出器１１４は、区間
抽出器１０９により抽出された基準画像３の特徴点１１
Ｌ，１１Ｒと、第一の候補抽出器１１１により抽出され
た第一の参照画像４の対応点１２Ｌ，１２Ｒの候補との
組み合わせで被写体２の三次元座標を算出し、第二の座
標算出器１１５は、基準画像３の特徴点１１Ｌ，１１Ｒ
と第二の参照画像５の対応点１２Ｌ，１２Ｒの候補との
組み合わせで被写体２の三次元座標を算出する。
【００３８】区間抽出器１０９と候補抽出器１１１，１
１２および座標算出器１１４，１１５は、前景抽出手段
である前景抽出部１１６に接続されており、この前景抽
出部１１６は、上述のように検出された被写体２の三次
元座標と特徴点１１Ｌ，１１Ｒと対応点１２Ｌ，１２Ｒ
の候補との情報から前景の特徴区間１１を抽出する。よ
り詳細には、前景抽出部１１６は、対応点確定手段であ
る対応点確定部、距離比較手段である距離比較部、視差
算出手段である視差算出部、結果選出手段である結果選
出部（何れも図示せず）を具備している。
１２および座標算出器１１４，１１５は、前景抽出手段
である前景抽出部１１６に接続されており、この前景抽
出部１１６は、上述のように検出された被写体２の三次
元座標と特徴点１１Ｌ，１１Ｒと対応点１２Ｌ，１２Ｒ
の候補との情報から前景の特徴区間１１を抽出する。よ
り詳細には、前景抽出部１１６は、対応点確定手段であ
る対応点確定部、距離比較手段である距離比較部、視差
算出手段である視差算出部、結果選出手段である結果選
出部（何れも図示せず）を具備している。
【００３９】対応点確定部は、前述のように第一第二の
座標算出器１１４，１１５により算出された被写体２の
二系列の三次元座標列から距離が最小となる組み合わせ
を選出し、区間抽出器１０９により抽出された基準画像
３の特徴点１１Ｌ，１１Ｒに対応した対応点１２Ｌ，１
２Ｒを、第一第二の候補抽出器１１１，１１２により第
一第二の参照画像４，５から抽出された候補から選択的
に確定する。
座標算出器１１４，１１５により算出された被写体２の
二系列の三次元座標列から距離が最小となる組み合わせ
を選出し、区間抽出器１０９により抽出された基準画像
３の特徴点１１Ｌ，１１Ｒに対応した対応点１２Ｌ，１
２Ｒを、第一第二の候補抽出器１１１，１１２により第
一第二の参照画像４，５から抽出された候補から選択的
に確定する。
【００４０】距離比較部は、基準画像３の特徴点１１
Ｌ，１１Ｒ間の距離と対応する第一第二の参照画像４，
５の対応点１２Ｌ，１２Ｒ間の距離とを比較し、視差比
較部は、基準画像３の特徴点１１Ｌ，１１Ｒと対応する
第一第二の参照画像４，５の対応点１２Ｌ，１２Ｒとの
視差を算出する。結果選出部は、距離の比較結果と視差
の算出結果との両方が特定の許容範囲を満足する場合、
その組み合わせの特徴点１１Ｌ，１１Ｒの特徴区間１１
を選出する。
Ｌ，１１Ｒ間の距離と対応する第一第二の参照画像４，
５の対応点１２Ｌ，１２Ｒ間の距離とを比較し、視差比
較部は、基準画像３の特徴点１１Ｌ，１１Ｒと対応する
第一第二の参照画像４，５の対応点１２Ｌ，１２Ｒとの
視差を算出する。結果選出部は、距離の比較結果と視差
の算出結果との両方が特定の許容範囲を満足する場合、
その組み合わせの特徴点１１Ｌ，１１Ｒの特徴区間１１
を選出する。
【００４１】上述のような前景抽出部１１６と第一の画
像メモリ１０６とが、画像出力手段である画像出力部１
１７に接続されており、この画像出力部１１７は、一つ
の出力端子１１８を具備している。画像出力部１１７
は、第一の画像メモリ１０６に蓄積された基準画像３か
ら、前景抽出部１１６により抽出された前景の特徴区間
１１からなる画像１４を抽出し、被写体２の部分として
データ出力端子１１８からデータ出力する。
像メモリ１０６とが、画像出力手段である画像出力部１
１７に接続されており、この画像出力部１１７は、一つ
の出力端子１１８を具備している。画像出力部１１７
は、第一の画像メモリ１０６に蓄積された基準画像３か
ら、前景抽出部１１６により抽出された前景の特徴区間
１１からなる画像１４を抽出し、被写体２の部分として
データ出力端子１１８からデータ出力する。
【００４２】なお、上述した区間抽出器１０９から画像
出力部１１７までの各部は、例えば、専用のハードウェ
アとして形成されており、既存のアルゴリズムなどによ
り上述のような処理動作を各々実行するよう形成されて
いる。
出力部１１７までの各部は、例えば、専用のハードウェ
アとして形成されており、既存のアルゴリズムなどによ
り上述のような処理動作を各々実行するよう形成されて
いる。
【００４３】上述のような構成において、本実施の形態
のデータ処理装置１００によるデータ処理方法によれ
ば、被写体２を背景１とともに撮像した基準画像３か
ら、被写体２の部分の画像１４のみ抽出してデータ出力
することができる。
のデータ処理装置１００によるデータ処理方法によれ
ば、被写体２を背景１とともに撮像した基準画像３か
ら、被写体２の部分の画像１４のみ抽出してデータ出力
することができる。
【００４４】より詳細には、本実施の形態のデータ処理
装置１００は、画像撮像部１０４の三台の撮像装置１０
１〜１０３で被写体２を背景１とともに一つの基準位置
と二つの参照位置から撮像し、一つの基準画像３と第一
第二の参照画像４，５とをデータ生成して画像蓄積部１
０５の三個の画像メモリ１０６〜１０８に個々にデータ
記憶させる。
装置１００は、画像撮像部１０４の三台の撮像装置１０
１〜１０３で被写体２を背景１とともに一つの基準位置
と二つの参照位置から撮像し、一つの基準画像３と第一
第二の参照画像４，５とをデータ生成して画像蓄積部１
０５の三個の画像メモリ１０６〜１０８に個々にデータ
記憶させる。
【００４５】つぎに、区間抽出器１０９により、図３に
示すように、第一の画像メモリ１９に蓄積された基準画
像３の複数の走査線６の各々から、一対の特徴点１１
Ｌ，１１Ｒ間に位置する特徴区間１１が抽出される。つ
まり、基準画像３を形成する多数の走査線６を順次調査
して一対の特徴点１１Ｌ，１１Ｒを抽出し、その座標値
を特徴区間１１の番号とともに保存する。
示すように、第一の画像メモリ１９に蓄積された基準画
像３の複数の走査線６の各々から、一対の特徴点１１
Ｌ，１１Ｒ間に位置する特徴区間１１が抽出される。つ
まり、基準画像３を形成する多数の走査線６を順次調査
して一対の特徴点１１Ｌ，１１Ｒを抽出し、その座標値
を特徴区間１１の番号とともに保存する。
【００４６】このとき、特徴区間１１が抽出されない走
査線６が存在しても良く、複数の特徴区間１１が抽出さ
れる走査線６が存在しても良い。このように一つの走査
線６から複数の特徴区間１１が抽出される場合には、特
徴区間１１には左上から順番に番号が付与される。
査線６が存在しても良く、複数の特徴区間１１が抽出さ
れる走査線６が存在しても良い。このように一つの走査
線６から複数の特徴区間１１が抽出される場合には、特
徴区間１１には左上から順番に番号が付与される。
【００４７】つぎに、上述のように区間抽出器１０９に
より基準画像３から抽出された特徴区間１１の両側の特
徴点１１Ｌ，１１Ｒに対応する対応点１２Ｌ，１２Ｒの
候補が、図４に示すように、第一の画像メモリ１０７に
記憶された第一の参照画像４から第一の候補抽出器１１
１により抽出され、第二の画像メモリ１０８に記憶され
た第二の参照画像５から第二の候補抽出器１１２により
抽出される。
より基準画像３から抽出された特徴区間１１の両側の特
徴点１１Ｌ，１１Ｒに対応する対応点１２Ｌ，１２Ｒの
候補が、図４に示すように、第一の画像メモリ１０７に
記憶された第一の参照画像４から第一の候補抽出器１１
１により抽出され、第二の画像メモリ１０８に記憶され
た第二の参照画像５から第二の候補抽出器１１２により
抽出される。
【００４８】より詳細には、既存のアルゴリズムにより
参照画像４，５からエピポーラ線１３Ｌ，１３Ｒが導出
され、このエピポーラ線１３Ｌ，１３Ｒから対応点１２
Ｌ，１２Ｒが検出される。エピポーラ線１３Ｌ，１３Ｒ
は、参照画像４，５を撮像する撮像装置１０２，１０３
が適正に配置されていれば走査線を利用することがで
き、撮像装置１０１〜１０３の位置関係が判明していれ
ば“公知文献「画像と空間」(pp.114-150，出口光一
郎，昭晃堂)”に開示されているように計算することが
可能であり、撮像装置１０１〜１０３の位置関係が不明
でも特願平８−２７１９１４号に開示されているように
既知パターンを撮像した画像から計算することが可能で
ある。
参照画像４，５からエピポーラ線１３Ｌ，１３Ｒが導出
され、このエピポーラ線１３Ｌ，１３Ｒから対応点１２
Ｌ，１２Ｒが検出される。エピポーラ線１３Ｌ，１３Ｒ
は、参照画像４，５を撮像する撮像装置１０２，１０３
が適正に配置されていれば走査線を利用することがで
き、撮像装置１０１〜１０３の位置関係が判明していれ
ば“公知文献「画像と空間」(pp.114-150，出口光一
郎，昭晃堂)”に開示されているように計算することが
可能であり、撮像装置１０１〜１０３の位置関係が不明
でも特願平８−２７１９１４号に開示されているように
既知パターンを撮像した画像から計算することが可能で
ある。
【００４９】上述のようにエピポーラ線１３Ｌ，１３Ｒ
が参照画像４，５から導出されると、その線上で基準画
像３の特徴点１１Ｌ，１１Ｒに対応する対応点１２Ｌ，
１２Ｒの候補が探索される。この探索ではエピポーラ線
１３Ｌ，１３Ｒ上の全部の特徴点を対応点１２Ｌ，１２
Ｒの候補とすることも可能であるが、これでは処理の計
算量が過大なので、本実施の形態では片側ブロックマッ
チングにより候補の個数を削減する。
が参照画像４，５から導出されると、その線上で基準画
像３の特徴点１１Ｌ，１１Ｒに対応する対応点１２Ｌ，
１２Ｒの候補が探索される。この探索ではエピポーラ線
１３Ｌ，１３Ｒ上の全部の特徴点を対応点１２Ｌ，１２
Ｒの候補とすることも可能であるが、これでは処理の計
算量が過大なので、本実施の形態では片側ブロックマッ
チングにより候補の個数を削減する。
【００５０】片側ブロックマッチングでは、図５に示す
ように、特徴区間１１の左側の特徴点１１Ｌに対して対
応点１２Ｌの候補をエピポーラ線１３Ｌから探索すると
きには、特徴点１１Ｌとエピポーラ線１３Ｌの対応点１
２Ｌの候補との各々の右側からブロック状にパターンを
切り出してマッチングさせる。
ように、特徴区間１１の左側の特徴点１１Ｌに対して対
応点１２Ｌの候補をエピポーラ線１３Ｌから探索すると
きには、特徴点１１Ｌとエピポーラ線１３Ｌの対応点１
２Ｌの候補との各々の右側からブロック状にパターンを
切り出してマッチングさせる。
【００５１】同様に、特徴区間１１の右側の特徴点１１
Ｒに対して対応点１２Ｒの候補をエピポーラ線１３Ｒか
ら探索するときには、特徴点１１Ｒとエピポーラ線１３
Ｒの対応点１２Ｒの候補との各々の左側からブロック状
にパターンを切り出してマッチングさせる。
Ｒに対して対応点１２Ｒの候補をエピポーラ線１３Ｒか
ら探索するときには、特徴点１１Ｒとエピポーラ線１３
Ｒの対応点１２Ｒの候補との各々の左側からブロック状
にパターンを切り出してマッチングさせる。
【００５２】上述のように第一第二の候補検出器１１
１，１１２により第一第二の参照画像４，５から対応点
１２Ｌ，１２Ｒの候補が検出されると、第一第二の座標
算出器１１４，１１５により、撮像装置１０１〜１０３
の位置関係を示すパラメータから被写体２の三次元座標
が公知の三角測量の原理により計算される。
１，１１２により第一第二の参照画像４，５から対応点
１２Ｌ，１２Ｒの候補が検出されると、第一第二の座標
算出器１１４，１１５により、撮像装置１０１〜１０３
の位置関係を示すパラメータから被写体２の三次元座標
が公知の三角測量の原理により計算される。
【００５３】つまり、第一の参照画像４の対応点１２
Ｌ，１２Ｒの候補と基準画像３の特徴点１１Ｌ，１１Ｒ
との組み合わせで、第一の座標算出器１１４により被写
体２の三次元座標が算出され、第二の参照画像５の対応
点１２Ｌ，１２Ｒの候補と基準画像３の特徴点１１Ｌ，
１１Ｒとの組み合わせで、第二の座標算出器１１５でも
被写体２の三次元座標が算出される。
Ｌ，１２Ｒの候補と基準画像３の特徴点１１Ｌ，１１Ｒ
との組み合わせで、第一の座標算出器１１４により被写
体２の三次元座標が算出され、第二の参照画像５の対応
点１２Ｌ，１２Ｒの候補と基準画像３の特徴点１１Ｌ，
１１Ｒとの組み合わせで、第二の座標算出器１１５でも
被写体２の三次元座標が算出される。
【００５４】上述のように一つの基準画像３と二つの参
照画像４，５とに基づいて被写体２の三次元座標列が二
系列に算出されると、前景抽出部１１６により基準画像
３の多数の特徴区間１１から前景に対応したものが選出
される。
照画像４，５とに基づいて被写体２の三次元座標列が二
系列に算出されると、前景抽出部１１６により基準画像
３の多数の特徴区間１１から前景に対応したものが選出
される。
【００５５】より詳細には、被写体２の二系列の三次元
座標列に対して距離が最小となる組み合わせが前景抽出
部１１６の対応点確定部により算出される。この場合、
下記の表１のように二系列の三次元座標列“１５Ｌ１，
１５Ｌ２，…”“１６Ｌ１，１６Ｌ２，…”が組み合わ
されて各々の距離が算出され、この距離が最小となる組
み合わせが選出されるので、これで基準画像３の特徴点
１１Ｌ，１１Ｒに対応した対応点１２Ｌ，１２Ｒが候補
から選択されて確定される。
座標列に対して距離が最小となる組み合わせが前景抽出
部１１６の対応点確定部により算出される。この場合、
下記の表１のように二系列の三次元座標列“１５Ｌ１，
１５Ｌ２，…”“１６Ｌ１，１６Ｌ２，…”が組み合わ
されて各々の距離が算出され、この距離が最小となる組
み合わせが選出されるので、これで基準画像３の特徴点
１１Ｌ，１１Ｒに対応した対応点１２Ｌ，１２Ｒが候補
から選択されて確定される。
【００５６】
【表１】 上述のように参照画像４，５の特徴点１１Ｌ，１１Ｒが
確定されると、前景抽出部１１６の距離比較部により、
基準画像３の特徴区間１１の全長である特徴点１１Ｌ，
１１Ｒ間の距離と、これに対応する第一第二の参照画像
４，５の対応点１２Ｌ，１２Ｒ間の距離とが比較され、
この比較結果が特定の許容範囲を満足する組み合わせの
特徴区間１１が、前景抽出部１１６の結果選出部により
選出される。
確定されると、前景抽出部１１６の距離比較部により、
基準画像３の特徴区間１１の全長である特徴点１１Ｌ，
１１Ｒ間の距離と、これに対応する第一第二の参照画像
４，５の対応点１２Ｌ，１２Ｒ間の距離とが比較され、
この比較結果が特定の許容範囲を満足する組み合わせの
特徴区間１１が、前景抽出部１１６の結果選出部により
選出される。
【００５７】さらに、上述のように選出された対応点１
１Ｌ，１１Ｒと対応点１２Ｌ，１２Ｒとの組み合わせに
対し、前景抽出部１６の視差算出部により視差が算出さ
れ、この視差の算出結果が特定の許容範囲を満足する組
み合わせの特徴区間１１が、前景抽出部１１６の結果選
出部により再度選出される。
１Ｌ，１１Ｒと対応点１２Ｌ，１２Ｒとの組み合わせに
対し、前景抽出部１６の視差算出部により視差が算出さ
れ、この視差の算出結果が特定の許容範囲を満足する組
み合わせの特徴区間１１が、前景抽出部１１６の結果選
出部により再度選出される。
【００５８】このように選出された特徴区間１１は、背
景１より前方に位置する前景の画像１４を形成するの
で、この前景の特徴区間１１からなる画像１４が、画像
出力部１１７により、被写体２の部分としてデータ出力
端子１１８からデータ出力される。
景１より前方に位置する前景の画像１４を形成するの
で、この前景の特徴区間１１からなる画像１４が、画像
出力部１１７により、被写体２の部分としてデータ出力
端子１１８からデータ出力される。
【００５９】本実施の形態のデータ処理装置１００は、
上述のように被写体２を背景１とともに撮像した基準画
像３から、被写体２の部分の画像１４を抽出することが
できる。このとき、各々相違する位置から撮像した一つ
の基準画像３と複数の参照画像４，５から三角測量の原
理により被写体２の画像１４を抽出するので、この処理
には被写体２に対応した各種情報が必要ない。このた
め、被写体２に対応した各種情報を事前に用意してデー
タ処理装置１００に設定する必要がなく、各種の被写体
２の画像１４を基準画像３から抽出することができる。
上述のように被写体２を背景１とともに撮像した基準画
像３から、被写体２の部分の画像１４を抽出することが
できる。このとき、各々相違する位置から撮像した一つ
の基準画像３と複数の参照画像４，５から三角測量の原
理により被写体２の画像１４を抽出するので、この処理
には被写体２に対応した各種情報が必要ない。このた
め、被写体２に対応した各種情報を事前に用意してデー
タ処理装置１００に設定する必要がなく、各種の被写体
２の画像１４を基準画像３から抽出することができる。
【００６０】さらに、一つの基準画像３と複数の参照画
像４，５から被写体２の画像１４を抽出するので冗長な
情報を獲得することができ、照明条件などが変動しても
基準画像３から被写体２の画像１４を安定に抽出するこ
とが可能である。また、被写体２の画像１４を前景の特
徴区間１１として抽出するので、基準画像３に複数の被
写体２が位置しても、その各々の画像１４を抽出するこ
とが可能である。
像４，５から被写体２の画像１４を抽出するので冗長な
情報を獲得することができ、照明条件などが変動しても
基準画像３から被写体２の画像１４を安定に抽出するこ
とが可能である。また、被写体２の画像１４を前景の特
徴区間１１として抽出するので、基準画像３に複数の被
写体２が位置しても、その各々の画像１４を抽出するこ
とが可能である。
【００６１】さらに、一つの基準画像３と複数の参照画
像４，５とに対し、特徴点１１Ｌ，１１Ｒ間の距離と対
応点１２Ｌ，１２Ｒ間の距離とが同等であることを確認
するとともに、特徴点１１Ｌ，１１Ｒと対応点１２Ｌ，
１２との視差も同等であることを確認するので、背景１
の部分の画像を被写体２の画像１４と誤って抽出するこ
とを良好に防止できる。
像４，５とに対し、特徴点１１Ｌ，１１Ｒ間の距離と対
応点１２Ｌ，１２Ｒ間の距離とが同等であることを確認
するとともに、特徴点１１Ｌ，１１Ｒと対応点１２Ｌ，
１２との視差も同等であることを確認するので、背景１
の部分の画像を被写体２の画像１４と誤って抽出するこ
とを良好に防止できる。
【００６２】しかも、本実施の形態のデータ処理装置１
００では、画像撮像手段である画像撮像部１０４が撮像
装置１０１〜１０３を三台だけ具備しているので、基準
画像３から被写体２の画像１４を必要最小限の構成で適
正に抽出することができる。さらに、三台の撮像装置１
０１〜１０３が水平な同一面上に位置しており、基準画
像３を撮像する撮像装置１０１は中心に配置されている
ので、オクルージョン部分が小さく処理の効率が良好で
ある。
００では、画像撮像手段である画像撮像部１０４が撮像
装置１０１〜１０３を三台だけ具備しているので、基準
画像３から被写体２の画像１４を必要最小限の構成で適
正に抽出することができる。さらに、三台の撮像装置１
０１〜１０３が水平な同一面上に位置しており、基準画
像３を撮像する撮像装置１０１は中心に配置されている
ので、オクルージョン部分が小さく処理の効率が良好で
ある。
【００６３】なお、本発明は上記形態に限定されるもの
ではなく、その要旨を逸脱しない範囲で各種の変形を許
容する。例えば、上記形態ではデータ処理装置１００の
各種手段を各々専用のハードウェアとして形成すること
を例示したが、撮像装置等の必要なデバイスを具備した
コンピュータシステムに適正なソフトウェアを実装し、
その各種機能により上述のような各種手段を実現させる
ことも可能である。
ではなく、その要旨を逸脱しない範囲で各種の変形を許
容する。例えば、上記形態ではデータ処理装置１００の
各種手段を各々専用のハードウェアとして形成すること
を例示したが、撮像装置等の必要なデバイスを具備した
コンピュータシステムに適正なソフトウェアを実装し、
その各種機能により上述のような各種手段を実現させる
ことも可能である。
【００６４】その場合、ソフトウェアが実装されるコン
ピュータのＲＯＭや、ソフトウェアをコンピュータに提
供するＣＤ−ＲＯＭなどの情報記憶媒体には、撮像装置
１０１〜１０３などで撮像された一つの基準画像３と複
数の参照画像４，５とのデータ入力を受け付けること、
このデータ入力された一つの基準画像３と複数の参照画
像４，５とを画像メモリ１０６〜１０８などにデータ記
憶させること、基準画像３の複数の走査線６の各々から
一対の特徴点１１Ｌ，１１Ｒ間に位置する特徴区間１１
を抽出すること、抽出された特徴区間１１の両側の特徴
点１１Ｌ，１１Ｒに対応する対応点１２Ｌ，１２Ｒの候
補を、エピポーラ線１３Ｌ，１３Ｒの導出や片側ブロッ
クマッチングなどにより複数の参照画像４，５の各々か
ら抽出すること、複数の参照画像４の各々の対応点１２
Ｌ，１２Ｒの候補と一つの基準画像３の特徴点１１Ｌ，
１１Ｒとの複数の組み合わせの各々で被写体２の三次元
座標を各々算出すること、被写体２の複数系列の三次元
座標列に対して距離が最小となる組み合わせを算出し、
複数の参照画像４，５の特徴点１１Ｌ，１１Ｒを確定す
ること、基準画像３の特徴点１１Ｌ，１１Ｒ間の距離
と、これに対応する複数の参照画像４，５の対応点１２
Ｌ，１２Ｒ間の距離とを比較すること、この距離の比較
結果が特定の許容範囲を満足する組み合わせの特徴区間
１１を選出すること、選出された対応点１１Ｌ，１１Ｒ
と対応点１２Ｌ，１２Ｒとの組み合わせに対し、前景抽
出部１６の視差算出部により視差を算出すること、この
視差の算出結果が特定の許容範囲を満足する組み合わせ
の特徴区間１１を再度選出すること、このように選出さ
れた特徴区間１１からなる画像１４を被写体２の部分と
してデータ出力すること、等の処理動作をコンピュータ
に実行させるプログラムをソフトウェアとして格納して
おけば良い。
ピュータのＲＯＭや、ソフトウェアをコンピュータに提
供するＣＤ−ＲＯＭなどの情報記憶媒体には、撮像装置
１０１〜１０３などで撮像された一つの基準画像３と複
数の参照画像４，５とのデータ入力を受け付けること、
このデータ入力された一つの基準画像３と複数の参照画
像４，５とを画像メモリ１０６〜１０８などにデータ記
憶させること、基準画像３の複数の走査線６の各々から
一対の特徴点１１Ｌ，１１Ｒ間に位置する特徴区間１１
を抽出すること、抽出された特徴区間１１の両側の特徴
点１１Ｌ，１１Ｒに対応する対応点１２Ｌ，１２Ｒの候
補を、エピポーラ線１３Ｌ，１３Ｒの導出や片側ブロッ
クマッチングなどにより複数の参照画像４，５の各々か
ら抽出すること、複数の参照画像４の各々の対応点１２
Ｌ，１２Ｒの候補と一つの基準画像３の特徴点１１Ｌ，
１１Ｒとの複数の組み合わせの各々で被写体２の三次元
座標を各々算出すること、被写体２の複数系列の三次元
座標列に対して距離が最小となる組み合わせを算出し、
複数の参照画像４，５の特徴点１１Ｌ，１１Ｒを確定す
ること、基準画像３の特徴点１１Ｌ，１１Ｒ間の距離
と、これに対応する複数の参照画像４，５の対応点１２
Ｌ，１２Ｒ間の距離とを比較すること、この距離の比較
結果が特定の許容範囲を満足する組み合わせの特徴区間
１１を選出すること、選出された対応点１１Ｌ，１１Ｒ
と対応点１２Ｌ，１２Ｒとの組み合わせに対し、前景抽
出部１６の視差算出部により視差を算出すること、この
視差の算出結果が特定の許容範囲を満足する組み合わせ
の特徴区間１１を再度選出すること、このように選出さ
れた特徴区間１１からなる画像１４を被写体２の部分と
してデータ出力すること、等の処理動作をコンピュータ
に実行させるプログラムをソフトウェアとして格納して
おけば良い。
【００６５】また、上記形態のデータ処理装置１００の
データ処理方法では、前景の特徴区間１１からなる画像
１４を基準画像３から抽出するとき、特徴点１１Ｌ，１
１Ｒと対応点１２Ｌ，１２Ｒとの距離の比較結果や視差
の算出結果を特定の許容範囲と各々比較しているが、こ
の許容範囲の閾値をリアルタイムに生成することも可能
である。このようなデータ処理装置２００を、本発明の
実施の形態の一変形例として図６ないし図８を参照して
以下に説明する。
データ処理方法では、前景の特徴区間１１からなる画像
１４を基準画像３から抽出するとき、特徴点１１Ｌ，１
１Ｒと対応点１２Ｌ，１２Ｒとの距離の比較結果や視差
の算出結果を特定の許容範囲と各々比較しているが、こ
の許容範囲の閾値をリアルタイムに生成することも可能
である。このようなデータ処理装置２００を、本発明の
実施の形態の一変形例として図６ないし図８を参照して
以下に説明する。
【００６６】このデータ処理装置２００は、上述のデー
タ処理装置１００とは前景抽出部２０１の部分のみ相違
しており、この前景抽出部２０１は、対応点確定手段で
ある対応点確定部２０２の他、前景判定手段である前景
判定部２０３を具備している。
タ処理装置１００とは前景抽出部２０１の部分のみ相違
しており、この前景抽出部２０１は、対応点確定手段で
ある対応点確定部２０２の他、前景判定手段である前景
判定部２０３を具備している。
【００６７】対応点確定部２０２は、距離比較手段であ
る距離比較部や視差算出手段である視差算出部も具備し
ており、前景判定部２０３は、ヒストグラム生成手段で
あるヒストグラム生成部、閾値設定手段である閾値設定
部、結果選出手段である結果選出部（何れも図示せず）
等を具備している。
る距離比較部や視差算出手段である視差算出部も具備し
ており、前景判定部２０３は、ヒストグラム生成手段で
あるヒストグラム生成部、閾値設定手段である閾値設定
部、結果選出手段である結果選出部（何れも図示せず）
等を具備している。
【００６８】対応点確定部２０２は、前述のように第一
第二の座標算出器１１４，１１５により算出された被写
体２の二系列の三次元座標列から距離が最小となる組み
合わせを選出し、基準画像３の特徴点１１Ｌ，１１Ｒに
対応した第一第二の参照画像４，５の対応点１２Ｌ，１
２Ｒを確定する。
第二の座標算出器１１４，１１５により算出された被写
体２の二系列の三次元座標列から距離が最小となる組み
合わせを選出し、基準画像３の特徴点１１Ｌ，１１Ｒに
対応した第一第二の参照画像４，５の対応点１２Ｌ，１
２Ｒを確定する。
【００６９】さらに、距離比較部、基準画像３の特徴点
１１Ｌ，１１Ｒ間の距離と対応する第一第二の参照画像
４，５の対応点１２Ｌ，１２Ｒ間の距離とを比較し、視
差比較部は、基準画像３の特徴点１１Ｌ，１１Ｒと対応
する第一第二の参照画像４，５の対応点１２Ｌ，１２Ｒ
との視差を算出する。ただし、この距離の比較結果２
０，２１と視差の算出結果２２，２３とは、対応点確定
部２０２から前景判定部２０３にデータ出力される。
１１Ｌ，１１Ｒ間の距離と対応する第一第二の参照画像
４，５の対応点１２Ｌ，１２Ｒ間の距離とを比較し、視
差比較部は、基準画像３の特徴点１１Ｌ，１１Ｒと対応
する第一第二の参照画像４，５の対応点１２Ｌ，１２Ｒ
との視差を算出する。ただし、この距離の比較結果２
０，２１と視差の算出結果２２，２３とは、対応点確定
部２０２から前景判定部２０３にデータ出力される。
【００７０】この前景判定部２０３のヒストグラム生成
部は、図７に示すように、特徴点１１Ｌ，１１Ｒと対応
点１２Ｌ，１２Ｒとの距離の比較結果２０，２１のヒス
トグラム２５Ｌ，２５Ｒをデータ生成するとともに、図
８に示すように、特徴点１１Ｌ，１１Ｒと対応点１２
Ｌ，１２Ｒとの視差の算出結果のヒストグラム２６Ｌ，
２６Ｒをデータ生成する。
部は、図７に示すように、特徴点１１Ｌ，１１Ｒと対応
点１２Ｌ，１２Ｒとの距離の比較結果２０，２１のヒス
トグラム２５Ｌ，２５Ｒをデータ生成するとともに、図
８に示すように、特徴点１１Ｌ，１１Ｒと対応点１２
Ｌ，１２Ｒとの視差の算出結果のヒストグラム２６Ｌ，
２６Ｒをデータ生成する。
【００７１】前景判定部２０３の閾値設定手段は、上述
のようにデータ生成された距離のヒストグラム２５Ｌ，
２５Ｒの各々で個数が最大の組み合わせの前後近傍に、
距離の比較結果の許容範囲の閾値２７ＬＬ，２７ＬＵ，
２７ＲＬ，２７ＲＵを設定するとともに、視差のヒスト
グラム２６Ｌ，２６Ｒの各々で極大値の前後近傍に、視
差の比較結果の許容範囲の閾値２８ＬＬ，２８ＬＵ，２
８ＲＬ，２８ＲＵを設定する。
のようにデータ生成された距離のヒストグラム２５Ｌ，
２５Ｒの各々で個数が最大の組み合わせの前後近傍に、
距離の比較結果の許容範囲の閾値２７ＬＬ，２７ＬＵ，
２７ＲＬ，２７ＲＵを設定するとともに、視差のヒスト
グラム２６Ｌ，２６Ｒの各々で極大値の前後近傍に、視
差の比較結果の許容範囲の閾値２８ＬＬ，２８ＬＵ，２
８ＲＬ，２８ＲＵを設定する。
【００７２】ただし、図８(ｂ)に示すように、視差のヒ
ストグラム２６Ｒのように極大値が複数に存在する場合
には、複数の極大値のうち視差が最大となる一つを選択
し、その前後近傍に視差の比較結果の許容範囲の閾値２
８ＲＬ，２８ＲＵを設定する。
ストグラム２６Ｒのように極大値が複数に存在する場合
には、複数の極大値のうち視差が最大となる一つを選択
し、その前後近傍に視差の比較結果の許容範囲の閾値２
８ＲＬ，２８ＲＵを設定する。
【００７３】前景判定部２０３の結果選出部は、上述の
ように閾値２７ＬＬ，２７ＬＵ，２７ＲＬ，２７ＲＵと
閾値２８ＬＬ，２８ＬＵ，２８ＲＬ，２８ＲＵとが設定
された許容範囲を距離の比較結果と視差の算出結果との
両方が満足すると、その組み合わせの特徴点１１Ｌ，１
１Ｒの特徴区間１１を選出する。
ように閾値２７ＬＬ，２７ＬＵ，２７ＲＬ，２７ＲＵと
閾値２８ＬＬ，２８ＬＵ，２８ＲＬ，２８ＲＵとが設定
された許容範囲を距離の比較結果と視差の算出結果との
両方が満足すると、その組み合わせの特徴点１１Ｌ，１
１Ｒの特徴区間１１を選出する。
【００７４】上述のような構成からなるデータ処理装置
２００では、特徴点１１Ｌ，１１Ｒと対応点１２Ｌ，１
２Ｒとの距離の比較結果と視差の算出結果から、その許
容範囲の閾値を適宜生成する。つまり、特徴点１１Ｌ，
１１Ｒと対応点１２Ｌ，１２Ｒとの距離の比較結果が許
容される範囲では距離の比較結果が多数となるので、こ
の前後近傍に閾値２７ＬＬ，２７ＬＵ，２７ＲＬ，２７
ＲＵを設定することができる。
２００では、特徴点１１Ｌ，１１Ｒと対応点１２Ｌ，１
２Ｒとの距離の比較結果と視差の算出結果から、その許
容範囲の閾値を適宜生成する。つまり、特徴点１１Ｌ，
１１Ｒと対応点１２Ｌ，１２Ｒとの距離の比較結果が許
容される範囲では距離の比較結果が多数となるので、こ
の前後近傍に閾値２７ＬＬ，２７ＬＵ，２７ＲＬ，２７
ＲＵを設定することができる。
【００７５】同様に、特徴点１１Ｌ，１１Ｒと対応点１
２Ｌ，１２Ｒとの視差の算出結果が許容される範囲では
視差の算出結果が極大となるので、この前後近傍に閾値
２８ＬＬ，２８ＬＵ，２８ＲＬ，２８ＲＵを設定するこ
とができる。もしも、極大値が複数の場合でも、そこか
ら視差が最大の一つを選択すれば閾値２８ＬＬ，２８Ｌ
Ｕ，２８ＲＬ，２８ＲＵを適正に設定することができ
る。
２Ｌ，１２Ｒとの視差の算出結果が許容される範囲では
視差の算出結果が極大となるので、この前後近傍に閾値
２８ＬＬ，２８ＬＵ，２８ＲＬ，２８ＲＵを設定するこ
とができる。もしも、極大値が複数の場合でも、そこか
ら視差が最大の一つを選択すれば閾値２８ＬＬ，２８Ｌ
Ｕ，２８ＲＬ，２８ＲＵを適正に設定することができ
る。
【００７６】このため、上述したデータ処理装置２００
では、前景の特徴区間１１からなる画像１４を基準画像
３から適正に抽出することができ、これを実現するため
に特徴点１１Ｌ，１１Ｒと対応点１２Ｌ，１２Ｒとの距
離の比較結果と視差の算出結果との許容範囲を事前に設
定しておく必要がなく、この許容範囲を適正に自動的に
設定することができる。
では、前景の特徴区間１１からなる画像１４を基準画像
３から適正に抽出することができ、これを実現するため
に特徴点１１Ｌ，１１Ｒと対応点１２Ｌ，１２Ｒとの距
離の比較結果と視差の算出結果との許容範囲を事前に設
定しておく必要がなく、この許容範囲を適正に自動的に
設定することができる。
【００７７】
【発明の効果】本発明は以上説明したように構成されて
いるので、以下に記載するような効果を奏する。
いるので、以下に記載するような効果を奏する。
【００７８】
【００７９】請求項１記載の発明のデータ処理方法は、
被写体を一つの基準位置と複数の参照位置とから撮像し
て一つの基準画像と複数の参照画像とをデータ生成し、
データ生成された基準画像の複数の走査線から一対の特
徴点間に位置する特徴区間を抽出し、抽出された特徴区
間の両側の特徴点に対応する対応点の候補を複数の参照
画像の各々から抽出し、一つの基準画像の特徴点と複数
の参照画像の対応点の候補との組み合わせで被写体の三
次元座標を算出し、算出された被写体の三次元座標から
距離が最小となる組み合わせを選出して特徴点に対応し
た対応点を確定し、基準画像の特徴点間の距離と対応す
る複数の参照画像の対応点間の距離とを比較し、比較結
果が特定の許容範囲を満足する組み合わせの特徴点の特
徴区間を選出し、選出された特徴区間からなる画像を被
写体の部分としてデータ出力するようにしたことによ
り、基準画像から被写体の部分の画像を抽出することが
でき、この抽出を一つの基準画像と複数の参照画像から
三角測量の原理により実行するので、被写体に対応した
各種情報を事前に用意しておく必要がなく、一つの基準
画像と複数の参照画像から被写体の画像を抽出するので
冗長な情報を獲得できるので、照明条件などが変動して
も被写体の画像を安定に抽出することができ、被写体の
画像を前景の特徴区間として抽出するので、基準画像に
複数の被写体が位置しても各々の画像を抽出することが
可能であり、一つの基準画像と複数の参照画像とに対し
て特徴点間の距離と対応点間の距離とが同等であること
を確認するので、背景の部分の画像を被写体の画像と誤
って抽出することを良好に防止でき、各種の被写体の画
像を基準画像から良好に抽出することができる。
被写体を一つの基準位置と複数の参照位置とから撮像し
て一つの基準画像と複数の参照画像とをデータ生成し、
データ生成された基準画像の複数の走査線から一対の特
徴点間に位置する特徴区間を抽出し、抽出された特徴区
間の両側の特徴点に対応する対応点の候補を複数の参照
画像の各々から抽出し、一つの基準画像の特徴点と複数
の参照画像の対応点の候補との組み合わせで被写体の三
次元座標を算出し、算出された被写体の三次元座標から
距離が最小となる組み合わせを選出して特徴点に対応し
た対応点を確定し、基準画像の特徴点間の距離と対応す
る複数の参照画像の対応点間の距離とを比較し、比較結
果が特定の許容範囲を満足する組み合わせの特徴点の特
徴区間を選出し、選出された特徴区間からなる画像を被
写体の部分としてデータ出力するようにしたことによ
り、基準画像から被写体の部分の画像を抽出することが
でき、この抽出を一つの基準画像と複数の参照画像から
三角測量の原理により実行するので、被写体に対応した
各種情報を事前に用意しておく必要がなく、一つの基準
画像と複数の参照画像から被写体の画像を抽出するので
冗長な情報を獲得できるので、照明条件などが変動して
も被写体の画像を安定に抽出することができ、被写体の
画像を前景の特徴区間として抽出するので、基準画像に
複数の被写体が位置しても各々の画像を抽出することが
可能であり、一つの基準画像と複数の参照画像とに対し
て特徴点間の距離と対応点間の距離とが同等であること
を確認するので、背景の部分の画像を被写体の画像と誤
って抽出することを良好に防止でき、各種の被写体の画
像を基準画像から良好に抽出することができる。
【００８０】請求項２記載の発明のデータ処理方法は、
被写体を一つの基準位置と複数の参照位置とから撮像し
て一つの基準画像と複数の参照画像とをデータ生成し、
データ生成された基準画像の複数の走査線から一対の特
徴点間に位置する特徴区間を抽出し、抽出された特徴区
間の両側の特徴点に対応する対応点の候補を複数の参照
画像の各々から抽出し、一つの基準画像の特徴点と複数
の参照画像の対応点の候補との組み合わせで被写体の三
次元座標を算出し、算出された被写体の三次元座標から
距離が最小となる組み合わせを選出して特徴点に対応し
た対応点を確定し、基準画像の特徴点と対応する複数の
参照画像の対応点との視差を算出し、算出された視差が
特定の許容範囲を満足する組み合わせの特徴点の特徴区
間を選出し、選出された特徴区間からなる画像を被写体
の部分としてデータ出力するようにしたことにより、基
準画像から被写体の部分の画像を抽出することができ、
この抽出を一つの基準画像と複数の参照画像から三角測
量の原理により実行するので、被写体に対応した各種情
報を事前に用意しておく必要がなく、一つの基準画像と
複数の参照画像から被写体の画像を抽出するので冗長な
情報を獲得できるので、照明条件などが変動しても被写
体の画像を安定に抽出することができ、被写体の画像を
前景の特徴区間として抽出するので、基準画像に複数の
被写体が位置しても各々の画像を抽出することが可能で
あり、一つの基準画像と複数の参照画像とに対して特徴
点と対応点との視差が同等であることを確認するので、
背景の部分の画像を被写体の画像と誤って抽出すること
を良好に防止でき、各種の被写体の画像を基準画像から
良好に抽出することができる。
被写体を一つの基準位置と複数の参照位置とから撮像し
て一つの基準画像と複数の参照画像とをデータ生成し、
データ生成された基準画像の複数の走査線から一対の特
徴点間に位置する特徴区間を抽出し、抽出された特徴区
間の両側の特徴点に対応する対応点の候補を複数の参照
画像の各々から抽出し、一つの基準画像の特徴点と複数
の参照画像の対応点の候補との組み合わせで被写体の三
次元座標を算出し、算出された被写体の三次元座標から
距離が最小となる組み合わせを選出して特徴点に対応し
た対応点を確定し、基準画像の特徴点と対応する複数の
参照画像の対応点との視差を算出し、算出された視差が
特定の許容範囲を満足する組み合わせの特徴点の特徴区
間を選出し、選出された特徴区間からなる画像を被写体
の部分としてデータ出力するようにしたことにより、基
準画像から被写体の部分の画像を抽出することができ、
この抽出を一つの基準画像と複数の参照画像から三角測
量の原理により実行するので、被写体に対応した各種情
報を事前に用意しておく必要がなく、一つの基準画像と
複数の参照画像から被写体の画像を抽出するので冗長な
情報を獲得できるので、照明条件などが変動しても被写
体の画像を安定に抽出することができ、被写体の画像を
前景の特徴区間として抽出するので、基準画像に複数の
被写体が位置しても各々の画像を抽出することが可能で
あり、一つの基準画像と複数の参照画像とに対して特徴
点と対応点との視差が同等であることを確認するので、
背景の部分の画像を被写体の画像と誤って抽出すること
を良好に防止でき、各種の被写体の画像を基準画像から
良好に抽出することができる。
【００８１】請求項３記載の発明のデータ処理装置は、
被写体を一つの基準位置と複数の参照位置とから撮像し
て一つの基準画像と複数の参照画像とをデータ生成する
画像撮像手段と、データ生成された基準画像の複数の走
査線から一対の特徴点間に位置する特徴区間を抽出する
区間抽出手段と、抽出された特徴区間の両側の特徴点に
対応する対応点の候補を複数の参照画像の各々から抽出
する候補抽出手段と、一つの基準画像の特徴点と複数の
参照画像の対応点の候補との組み合わせで被写体の三次
元座標を算出する座標算出手段と、被写体の三次元座標
と特徴点と対応点の候補との情報から前景の特徴区間を
抽出する前景抽出手段と、抽出された前景の特徴区間か
らなる画像を被写体の部分としてデータ出力する画像出
力手段と、を具備しており、 前記前景抽出手段が、被写
体の三次元座標から距離が最小となる組み合わせを選出
して特徴点に対応した対応点を確定する対応点確定手段
と、基準画像の特徴点間の距離と対応する複数の参照画
像の対応点間の距離とを比較する距離比較手段と、比較
結果が特定の許容範囲を満足する組み合わせの特徴点の
特徴区間を選出する結果選出手段と、を具備しているこ
とにより、基準画像から被写体の部分の画像を抽出する
ことができ、この抽出を一つの基準画像と複数の参照画
像から三角測量の原理により実行するので、被写体に対
応した各種情報を事前に用意しておく必要がなく、一つ
の基準画像と複数の参照画像から被写体の画像を抽出す
るので冗長な情報を獲得できるので、照明条件などが変
動しても被写体の画像を安定に抽出することができ、被
写体の画像を前景の特徴区間として抽出するので、基準
画像に複数の被写体が位置しても各々の画像を抽出する
ことが可能であり、各種の被写体の画像を基準画像から
良好に抽出することができ、 さらに、一つの基準画像と
複数の参照画像とに対して特徴点間の距離と対応点間の
距離とが同等であることを確認するので、背景の部分の
画像を被写体の画像と誤って抽出することを良好に防止
できる。
被写体を一つの基準位置と複数の参照位置とから撮像し
て一つの基準画像と複数の参照画像とをデータ生成する
画像撮像手段と、データ生成された基準画像の複数の走
査線から一対の特徴点間に位置する特徴区間を抽出する
区間抽出手段と、抽出された特徴区間の両側の特徴点に
対応する対応点の候補を複数の参照画像の各々から抽出
する候補抽出手段と、一つの基準画像の特徴点と複数の
参照画像の対応点の候補との組み合わせで被写体の三次
元座標を算出する座標算出手段と、被写体の三次元座標
と特徴点と対応点の候補との情報から前景の特徴区間を
抽出する前景抽出手段と、抽出された前景の特徴区間か
らなる画像を被写体の部分としてデータ出力する画像出
力手段と、を具備しており、 前記前景抽出手段が、被写
体の三次元座標から距離が最小となる組み合わせを選出
して特徴点に対応した対応点を確定する対応点確定手段
と、基準画像の特徴点間の距離と対応する複数の参照画
像の対応点間の距離とを比較する距離比較手段と、比較
結果が特定の許容範囲を満足する組み合わせの特徴点の
特徴区間を選出する結果選出手段と、を具備しているこ
とにより、基準画像から被写体の部分の画像を抽出する
ことができ、この抽出を一つの基準画像と複数の参照画
像から三角測量の原理により実行するので、被写体に対
応した各種情報を事前に用意しておく必要がなく、一つ
の基準画像と複数の参照画像から被写体の画像を抽出す
るので冗長な情報を獲得できるので、照明条件などが変
動しても被写体の画像を安定に抽出することができ、被
写体の画像を前景の特徴区間として抽出するので、基準
画像に複数の被写体が位置しても各々の画像を抽出する
ことが可能であり、各種の被写体の画像を基準画像から
良好に抽出することができ、 さらに、一つの基準画像と
複数の参照画像とに対して特徴点間の距離と対応点間の
距離とが同等であることを確認するので、背景の部分の
画像を被写体の画像と誤って抽出することを良好に防止
できる。
【００８２】
【００８３】請求項４記載の発明のデータ処理装置は、
被写体を一つの基準位置と複数の参照位置とから撮像し
て一つの基準画像と複数の参照画像とをデータ生成する
画像撮像手段と、データ生成された基準画像の複数の走
査線から一対の特徴点間に位置する特徴区間を抽出する
区間抽出手段と、抽出された特徴区間の両側の特徴点に
対応する対応点の候補を複数の参照画像の各々から抽出
する候補抽出手段と、一つの基準画像の特徴点と複数の
参照画像の対応点の候補との組み合わせで被写体の三次
元座標を算出する座標算出手段と、被写体の三次元座標
と特徴点と対応点の候補との情報から前景の特徴区間を
抽出する前景抽出手段と、抽出された前景の特徴区間か
らなる画像を被写体の部分としてデータ出力する画像出
力手段と、を具備しており、 前記前景抽出手段が、被写
体の三次元座標から距離が最小となる組み合わせを選出
して特徴点に対応した対応点を確定する対応点確定手段
と、基準画像の特徴点と対応する複数の参照画像の対応
点との視差を算出する視差算出手段と、算出された視差
が特定の許容範囲を満足する組み合わせの特徴点の特徴
区間を選出する結果選出手段と、を具備していることに
より、基準画像から被写体の部分の画像を抽出すること
ができ、この抽出を一つの基準画像と複数の参照画像か
ら三角測量の原理により実行するので、被写体に対応し
た各種情報を事前に用意しておく必要がなく、一つの基
準画像と複数の参照画像から被写体の画像を抽出するの
で冗長な情報を獲得できるので、照明条件などが変動し
ても被写体の画像を安定に抽出することができ、被写体
の画像を前景の特徴区間として抽出するので、基準画像
に複数の被写体が位置しても各々の画像を抽出すること
が可能であり、各種の被写体の画像を基準画像から良好
に抽出することができ、 さらに、一つの基準画像と複数
の参照画像とに対して特徴点と対応点との視差が同等で
あることを確認するので、背景の部分の画像を被写体の
画像と誤って抽出することを良好に防止できる。
被写体を一つの基準位置と複数の参照位置とから撮像し
て一つの基準画像と複数の参照画像とをデータ生成する
画像撮像手段と、データ生成された基準画像の複数の走
査線から一対の特徴点間に位置する特徴区間を抽出する
区間抽出手段と、抽出された特徴区間の両側の特徴点に
対応する対応点の候補を複数の参照画像の各々から抽出
する候補抽出手段と、一つの基準画像の特徴点と複数の
参照画像の対応点の候補との組み合わせで被写体の三次
元座標を算出する座標算出手段と、被写体の三次元座標
と特徴点と対応点の候補との情報から前景の特徴区間を
抽出する前景抽出手段と、抽出された前景の特徴区間か
らなる画像を被写体の部分としてデータ出力する画像出
力手段と、を具備しており、 前記前景抽出手段が、被写
体の三次元座標から距離が最小となる組み合わせを選出
して特徴点に対応した対応点を確定する対応点確定手段
と、基準画像の特徴点と対応する複数の参照画像の対応
点との視差を算出する視差算出手段と、算出された視差
が特定の許容範囲を満足する組み合わせの特徴点の特徴
区間を選出する結果選出手段と、を具備していることに
より、基準画像から被写体の部分の画像を抽出すること
ができ、この抽出を一つの基準画像と複数の参照画像か
ら三角測量の原理により実行するので、被写体に対応し
た各種情報を事前に用意しておく必要がなく、一つの基
準画像と複数の参照画像から被写体の画像を抽出するの
で冗長な情報を獲得できるので、照明条件などが変動し
ても被写体の画像を安定に抽出することができ、被写体
の画像を前景の特徴区間として抽出するので、基準画像
に複数の被写体が位置しても各々の画像を抽出すること
が可能であり、各種の被写体の画像を基準画像から良好
に抽出することができ、 さらに、一つの基準画像と複数
の参照画像とに対して特徴点と対応点との視差が同等で
あることを確認するので、背景の部分の画像を被写体の
画像と誤って抽出することを良好に防止できる。
【００８４】請求項５記載の発明は、請求項３記載のデ
ータ処理装置であって、比較される基準画像の特徴点間
の距離と対応する複数の参照画像の対応点間の距離との
格差のヒストグラムをデータ生成するヒストグラム生成
手段と、データ生成されたヒストグラムの個数が多数の
組み合わせの前後近傍に距離の比較結果の許容範囲の閾
値を設定する閾値設定手段とを、さらに具備しているこ
とにより、距離の比較結果の許容範囲の閾値を自動的に
適正に設定することができる。
ータ処理装置であって、比較される基準画像の特徴点間
の距離と対応する複数の参照画像の対応点間の距離との
格差のヒストグラムをデータ生成するヒストグラム生成
手段と、データ生成されたヒストグラムの個数が多数の
組み合わせの前後近傍に距離の比較結果の許容範囲の閾
値を設定する閾値設定手段とを、さらに具備しているこ
とにより、距離の比較結果の許容範囲の閾値を自動的に
適正に設定することができる。
【００８５】請求項６記載の発明は、請求項４記載のデ
ータ処理装置であって、比較される基準画像の特徴点と
対応する複数の参照画像の対応点との視差のヒストグラ
ムをデータ生成するヒストグラム生成手段と、データ生
成されたヒストグラムの極大値の前後近傍に視差の比較
結果の許容範囲の閾値を設定する閾値設定手段とを、さ
らに具備していることにより、視差の算出結果の許容範
囲の閾値を自動的に適正に設定することができる。
ータ処理装置であって、比較される基準画像の特徴点と
対応する複数の参照画像の対応点との視差のヒストグラ
ムをデータ生成するヒストグラム生成手段と、データ生
成されたヒストグラムの極大値の前後近傍に視差の比較
結果の許容範囲の閾値を設定する閾値設定手段とを、さ
らに具備していることにより、視差の算出結果の許容範
囲の閾値を自動的に適正に設定することができる。
【００８６】請求項７記載の発明は、請求項６記載のデ
ータ処理装置であって、閾値設定手段がヒストグラムの
複数の極大値のうち視差が最大となる一つの前後近傍に
視差の比較結果の許容範囲の閾値を設定することによ
り、より適正に視差の算出結果の許容範囲の閾値を自動
的に設定することができる。
ータ処理装置であって、閾値設定手段がヒストグラムの
複数の極大値のうち視差が最大となる一つの前後近傍に
視差の比較結果の許容範囲の閾値を設定することによ
り、より適正に視差の算出結果の許容範囲の閾値を自動
的に設定することができる。
【００８７】請求項８記載の発明の情報記憶媒体は、コ
ンピュータが読取自在なソフトウェアが格納されている
情報記憶媒体において、一つの基準画像と複数の参照画
像とのデータ入力を受け付けること、データ入力された
基準画像の複数の走査線から一対の特徴点間に位置する
特徴区間を抽出すること、抽出された特徴区間の両側の
特徴点に対応する対応点の候補を複数の参照画像の各々
から抽出すること、一つの基準画像の特徴点と複数の参
照画像の対応点の候補との組み合わせで被写体の三次元
座標を算出すること、被写体の三次元座標から距離が最
小となる組み合わせを選出して特徴点に対応した対応点
を確定すること、基準画像の特徴点間の距離と対応する
複数の参照画像の対応点間の距離とを比較すること、比
較結果が特定の許容範囲を満足する組み合わせの特徴点
の特徴区間を選出すること、選出された前景の特徴区間
からなる画像を被写体の部分としてデータ出力するこ
と、を前記コンピュータに実行させるためのプログラム
が格納されていることにより、本発明のプログラムをコ
ンピュータに読み取らせて対応する処理動作を実行させ
ると、基準画像から被写体の部分の画像を抽出すること
ができ、この抽出を一つの基準画像と複数の参照画像か
ら三角測量の原理により実行するので、被写体に対応し
た各種情報を事前に用意しておく必要がなく、一つの基
準画像と複数の参照画像から被写体の画像を抽出するの
で冗長な情報を獲得できるので、照明条件などが変動し
ても被写体の画像を安定に抽出することができ、被写体
の画像を前景の特徴区間として抽出するので、基準画像
に複数の被写体が位置しても各々の画像を抽出すること
が可能であり、各種の被写体の画像を基準画像から良好
に抽出することができ、 さらに、一つの基準画像と複数
の参照画像とに対して特徴点間の距離と対応点間の距離
とが同等であることを確認するので、背景の部分の画像
を被写体の画像と誤って抽出することを良好に防止でき
る。請求項９記載の発明の情報記憶媒体は、コンピュー
タが読取自在なソフトウェアが格納されている情報記憶
媒体において、 一つの基準画像と複数の参照画像とのデ
ータ入力を受け付けること、データ入 力された基準画像
の複数の走査線から一対の特徴点間に位置する特徴区間
を抽出すること、抽出された特徴区間の両側の特徴点に
対応する対応点の候補を複数の参照画像の各々から抽出
すること、一つの基準画像の特徴点と複数の参照画像の
対応点の候補との組み合わせで被写体の三次元座標を算
出すること、被写体の三次元座標から距離が最小となる
組み合わせを選出して特徴点に対応した対応点を確定す
ること、基準画像の特徴点と対応する複数の参照画像の
対応点との視差を算出すること、算出された視差が特定
の許容範囲を満足する組み合わせの特徴点の特徴区間を
選出すること、選出された前景の特徴区間からなる画像
を被写体の部分としてデータ出力すること、を前記コン
ピュータに実行させるためのプログラムが格納されてい
ることにより、 本発明のプログラムをコンピュータに読
み取らせて対応する処理動作を実行させると、基準画像
から被写体の部分の画像を抽出することができ、この抽
出を一つの基準画像と複数の参照画像から三角測量の原
理により実行するので、被写体に対応した各種情報を事
前に用意しておく必要がなく、一つの基準画像と複数の
参照画像から被写体の画像を抽出するので冗長な情報を
獲得できるので、照明条件などが変動しても被写体の画
像を安定に抽出することができ、被写体の画像を前景の
特徴区間として抽出するので、基準画像に複数の被写体
が位置しても各々の画像を抽出することが可能であり、
各種の被写体の画像を基準画像から良好に抽出すること
ができ、 さらに、一つの基準画像と複数の参照画像とに
対して特徴点と対応点との視差が同等であることを確認
するので、背景の部分の画像を被写体の画像と誤って抽
出することを良好に防止できる。
ンピュータが読取自在なソフトウェアが格納されている
情報記憶媒体において、一つの基準画像と複数の参照画
像とのデータ入力を受け付けること、データ入力された
基準画像の複数の走査線から一対の特徴点間に位置する
特徴区間を抽出すること、抽出された特徴区間の両側の
特徴点に対応する対応点の候補を複数の参照画像の各々
から抽出すること、一つの基準画像の特徴点と複数の参
照画像の対応点の候補との組み合わせで被写体の三次元
座標を算出すること、被写体の三次元座標から距離が最
小となる組み合わせを選出して特徴点に対応した対応点
を確定すること、基準画像の特徴点間の距離と対応する
複数の参照画像の対応点間の距離とを比較すること、比
較結果が特定の許容範囲を満足する組み合わせの特徴点
の特徴区間を選出すること、選出された前景の特徴区間
からなる画像を被写体の部分としてデータ出力するこ
と、を前記コンピュータに実行させるためのプログラム
が格納されていることにより、本発明のプログラムをコ
ンピュータに読み取らせて対応する処理動作を実行させ
ると、基準画像から被写体の部分の画像を抽出すること
ができ、この抽出を一つの基準画像と複数の参照画像か
ら三角測量の原理により実行するので、被写体に対応し
た各種情報を事前に用意しておく必要がなく、一つの基
準画像と複数の参照画像から被写体の画像を抽出するの
で冗長な情報を獲得できるので、照明条件などが変動し
ても被写体の画像を安定に抽出することができ、被写体
の画像を前景の特徴区間として抽出するので、基準画像
に複数の被写体が位置しても各々の画像を抽出すること
が可能であり、各種の被写体の画像を基準画像から良好
に抽出することができ、 さらに、一つの基準画像と複数
の参照画像とに対して特徴点間の距離と対応点間の距離
とが同等であることを確認するので、背景の部分の画像
を被写体の画像と誤って抽出することを良好に防止でき
る。請求項９記載の発明の情報記憶媒体は、コンピュー
タが読取自在なソフトウェアが格納されている情報記憶
媒体において、 一つの基準画像と複数の参照画像とのデ
ータ入力を受け付けること、データ入 力された基準画像
の複数の走査線から一対の特徴点間に位置する特徴区間
を抽出すること、抽出された特徴区間の両側の特徴点に
対応する対応点の候補を複数の参照画像の各々から抽出
すること、一つの基準画像の特徴点と複数の参照画像の
対応点の候補との組み合わせで被写体の三次元座標を算
出すること、被写体の三次元座標から距離が最小となる
組み合わせを選出して特徴点に対応した対応点を確定す
ること、基準画像の特徴点と対応する複数の参照画像の
対応点との視差を算出すること、算出された視差が特定
の許容範囲を満足する組み合わせの特徴点の特徴区間を
選出すること、選出された前景の特徴区間からなる画像
を被写体の部分としてデータ出力すること、を前記コン
ピュータに実行させるためのプログラムが格納されてい
ることにより、 本発明のプログラムをコンピュータに読
み取らせて対応する処理動作を実行させると、基準画像
から被写体の部分の画像を抽出することができ、この抽
出を一つの基準画像と複数の参照画像から三角測量の原
理により実行するので、被写体に対応した各種情報を事
前に用意しておく必要がなく、一つの基準画像と複数の
参照画像から被写体の画像を抽出するので冗長な情報を
獲得できるので、照明条件などが変動しても被写体の画
像を安定に抽出することができ、被写体の画像を前景の
特徴区間として抽出するので、基準画像に複数の被写体
が位置しても各々の画像を抽出することが可能であり、
各種の被写体の画像を基準画像から良好に抽出すること
ができ、 さらに、一つの基準画像と複数の参照画像とに
対して特徴点と対応点との視差が同等であることを確認
するので、背景の部分の画像を被写体の画像と誤って抽
出することを良好に防止できる。
【図１】本発明の実施の一形態のデータ処理装置を示す
ブロック図である。
ブロック図である。
【図２】被写体や背景と画像撮像手段である画像撮像部
の撮像装置との位置関係を示す平面図である。
の撮像装置との位置関係を示す平面図である。
【図３】基準画像を示す模式図である。
【図４】基準画像と参照画像とを比較した状態を示す模
式図である。
式図である。
【図５】片側ブロックマッチングを説明する模式図であ
る。
る。
【図６】一変形例のデータ処理装置を示すブロック図で
ある。
ある。
【図７】距離の比較結果のヒストグラムである。
【図８】視差の算出結果のヒストグラムである。
２ 被写体 ３ 基準画像 ４，５ 参照画像 ６ 走査線 １１ 特徴区間 １１Ｌ，１１Ｒ 特徴点 １２Ｌ，１２Ｒ 対応点 ２５Ｌ，２５Ｒ 距離のヒストグラム ２６Ｌ，２６Ｒ 視差のヒストグラム ２７ＬＬ，２７ＬＵ，２７ＲＬ，２７ＲＵ 距離の閾
値 ２８ＬＬ，２８ＬＵ，２８ＲＬ，２８ＲＵ 視差の閾
値 １００，２００ データ処理装置 １０４ 画像撮像手段である画像撮像部 １０９ 区間抽出手段である区間抽出部 １１０ 候補抽出手段である候補抽出部 １１３ 座標算出手段である座標算出部 １１６ 前景抽出手段である前景抽出部 １１７ 画像出力手段である画像出力部
値 ２８ＬＬ，２８ＬＵ，２８ＲＬ，２８ＲＵ 視差の閾
値 １００，２００ データ処理装置 １０４ 画像撮像手段である画像撮像部 １０９ 区間抽出手段である区間抽出部 １１０ 候補抽出手段である候補抽出部 １１３ 座標算出手段である座標算出部 １１６ 前景抽出手段である前景抽出部 １１７ 画像出力手段である画像出力部
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 1/00 G06T 7/00 - 7/60 H04N 7/18 G01B 11/00 - 11/30
Claims (9)
- 【請求項１】 被写体を一つの基準位置と複数の参照位
置とから撮像して一つの基準画像と複数の参照画像とを
データ生成し、 データ生成された基準画像の複数の走査線から一対の特
徴点間に位置する特徴区間を抽出し、 抽出された特徴区間の両側の特徴点に対応する対応点の
候補を複数の参照画像の各々から抽出し、 一つの基準画像の特徴点と複数の参照画像の対応点の候
補との組み合わせで被写体の三次元座標を算出し、 算出された被写体の三次元座標から距離が最小となる組
み合わせを選出して特徴点に対応した対応点を確定し、 基準画像の特徴点間の距離と対応する複数の参照画像の
対応点間の距離とを比較し、 比較結果が特定の許容範囲を満足する組み合わせの特徴
点の特徴区間を選出し、 選出された特徴区間からなる画像を被写体の部分として
データ出力するようにしたデータ処理方法。 - 【請求項２】 被写体を一つの基準位置と複数の参照位
置とから撮像して一つの基準画像と複数の参照画像とを
データ生成し、 データ生成された基準画像の複数の走査線から一対の特
徴点間に位置する特徴区間を抽出し、 抽出された特徴区間の両側の特徴点に対応する対応点の
候補を複数の参照画像の各々から抽出し、 一つの基準画像の特徴点と複数の参照画像の対応点の候
補との組み合わせで被写体の三次元座標を算出し、 算出された被写体の三次元座標から距離が最小となる組
み合わせを選出して特徴点に対応した対応点を確定し、 基準画像の特徴点と対応する複数の参照画像の対応点と
の視差を算出し、 算出された視差が特定の許容範囲を満足する組み合わせ
の特徴点の特徴区間を選出し、 選出された特徴区間からなる画像を被写体の部分として
データ出力するようにしたデータ処理方法。 - 【請求項３】 被写体を一つの基準位置と複数の参照位
置とから撮像して一つの基準画像と複数の参照画像とを
データ生成する画像撮像手段と、 データ生成された基準画像の複数の走査線から一対の特
徴点間に位置する特徴区間を抽出する区間抽出手段と、 抽出された特徴区間の両側の特徴点に対応する対応点の
候補を複数の参照画像の各々から抽出する候補抽出手段
と、 一つの基準画像の特徴点と複数の参照画像の対応点の候
補との組み合わせで被写体の三次元座標を算出する座標
算出手段と、 被写体の三次元座標と特徴点と対応点の候補との情報か
ら前景の特徴区間を抽出する前景抽出手段と、 抽出された前景の特徴区間からなる画像を被写体の部分
としてデータ出力する画像出力手段と、 を具備しており、 前記前景抽出手段が、 被写体の三次元座標から距離が最小となる組み合わせを
選出して特徴点に対応した対応点を確定する対応点確定
手段と、 基準画像の特徴点間の距離と対応する複数の参照画像の
対応点間の距離とを比較する距離比較手段と、 比較結果が特定の許容範囲を満足する組み合わせの特徴
点の特徴区間を選出する結果選出手段と、 を具備して いるデータ処理装置。 - 【請求項４】 被写体を一つの基準位置と複数の参照位
置とから撮像して一つの基準画像と複数の参照画像とを
データ生成する画像撮像手段と、 データ生成された基準画像の複数の走査線から一対の特
徴点間に位置する特徴区間を抽出する区間抽出手段と、 抽出された特徴区間の両側の特徴点に対応する対応点の
候補を複数の参照画像の各々から抽出する候補抽出手段
と、 一つの基準画像の特徴点と複数の参照画像の対応点の候
補との組み合わせで被写体の三次元座標を算出する座標
算出手段と、 被写体の三次元座標と特徴点と対応点の候補との情報か
ら前景の特徴区間を抽出する前景抽出手段と、 抽出された前景の特徴区間からなる画像を被写体の部分
としてデータ出力する画像出力手段と、 を具備しており、 前記前景抽出手段が、 被写体の三次元座標から距離が最小となる組み合わせを
選出して特徴点に対応した対応点を確定する対応点確定
手段と、 基準画像の特徴点と対応する複数の参照画像の対応点と
の視差を算出する視差算出手段と、 算出された視差が特定の許容範囲を満足する組み合わせ
の特徴点の特徴区間を選出する結果選出手段と、 を具備して いるデータ処理装置。 - 【請求項５】 比較される基準画像の特徴点間の距離と
対応する複数の参照画像の対応点間の距離との格差のヒ
ストグラムをデータ生成するヒストグラム生成手段と、 データ生成されたヒストグラムの個数が多数の組み合わ
せの前後近傍に距離の比較結果の許容範囲の閾値を設定
する閾値設定手段とを、 さらに具備している請求項３記載のデータ処理装置。 - 【請求項６】 比較される基準画像の特徴点と対応する
複数の参照画像の対応点との視差のヒストグラムをデー
タ生成するヒストグラム生成手段と、 データ生成されたヒストグラムの極大値の前後近傍に視
差の比較結果の許容範囲の閾値を設定する閾値設定手段
とを、 さらに具備している請求項４記載のデータ処理装置。 - 【請求項７】 閾値設定手段がヒストグラムの複数の極
大値のうち視差が最大となる一つの前後近傍に視差の比
較結果の許容範囲の閾値を設定する請求項６記載のデー
タ処理装置。 - 【請求項８】 コンピュータが読取自在なソフトウェア
が格納されている情報記憶媒体において、 一つの基準画像と複数の参照画像とのデータ入力を受け
付けること、 データ入力された基準画像の複数の走査線から一対の特
徴点間に位置する特徴区間を抽出すること、 抽出された特徴区間の両側の特徴点に対応する対応点の
候補を複数の参照画像の各々から抽出すること、 一つの基準画像の特徴点と複数の参照画像の対応点の候
補との組み合わせで被写体の三次元座標を算出するこ
と、被写体の三次元座標から距離が最小となる組み合わせを
選出して特徴点に対応した対応点を確定すること、 基準画像の特徴点間の距離と対応する複数の参照画像の
対応点間の距離とを比較すること、 比較結果が特定の許容範囲を満足する組み合わせの特徴
点の特徴区間を選出すること、 選出 された前景の特徴区間からなる画像を被写体の部分
としてデータ出力すること、 を前記コンピュータに実行させるためのプログラムが格
納されていることを特徴とする情報記憶媒体。 - 【請求項９】 コンピュータが読取自在なソフトウェア
が格納されている情報記憶媒体において、 一つの基準画像と複数の参照画像とのデータ入力を受け
付けること、 データ入力された基準画像の複数の走査線から一対の特
徴点間に位置する特徴区間を抽出すること、 抽出された特徴区間の両側の特徴点に対応する対応点の
候補を複数の参照画像の各々から抽出すること、 一つの基準画像の特徴点と複数の参照画像の対応点の候
補との組み合わせで被写体の三次元座標を算出するこ
と、被写体の三次元座標から距離が最小となる組み合わせを
選出して特徴点に対応した対応点を確定すること、 基準画像の特徴点と対応する複数の参照画像の対応点と
の視差を算出すること、 算出された視差が特定の許容範囲を満足する組み合わせ
の特徴点の特徴区間を選出すること、 選出 された前景の特徴区間からなる画像を被写体の部分
としてデータ出力すること、 を前記コンピュータに実行させるためのプログラムが格
納されていることを特徴とする情報記憶媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09206223A JP3077745B2 (ja) | 1997-07-31 | 1997-07-31 | データ処理方法および装置、情報記憶媒体 |
| US09/127,446 US6226396B1 (en) | 1997-07-31 | 1998-07-31 | Object extraction method and system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09206223A JP3077745B2 (ja) | 1997-07-31 | 1997-07-31 | データ処理方法および装置、情報記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1153546A JPH1153546A (ja) | 1999-02-26 |
| JP3077745B2 true JP3077745B2 (ja) | 2000-08-14 |
Family
ID=16519811
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP09206223A Expired - Fee Related JP3077745B2 (ja) | 1997-07-31 | 1997-07-31 | データ処理方法および装置、情報記憶媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6226396B1 (ja) |
| JP (1) | JP3077745B2 (ja) |
Families Citing this family (266)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8352400B2 (en) | 1991-12-23 | 2013-01-08 | Hoffberg Steven M | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
| US7904187B2 (en) | 1999-02-01 | 2011-03-08 | Hoffberg Steven M | Internet appliance system and method |
| JP2000350123A (ja) | 1999-06-04 | 2000-12-15 | Fuji Photo Film Co Ltd | 画像選択装置、カメラ、画像選択方法及び記録媒体 |
| US6701005B1 (en) * | 2000-04-29 | 2004-03-02 | Cognex Corporation | Method and apparatus for three-dimensional object segmentation |
| US20030030638A1 (en) * | 2001-06-07 | 2003-02-13 | Karl Astrom | Method and apparatus for extracting information from a target area within a two-dimensional graphical object in an image |
| GB0125774D0 (en) * | 2001-10-26 | 2001-12-19 | Cableform Ltd | Method and apparatus for image matching |
| US6990639B2 (en) * | 2002-02-07 | 2006-01-24 | Microsoft Corporation | System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration |
| US7400744B2 (en) * | 2002-09-05 | 2008-07-15 | Cognex Technology And Investment Corporation | Stereo door sensor |
| US7920718B2 (en) * | 2002-09-05 | 2011-04-05 | Cognex Corporation | Multi-zone passageway monitoring system and method |
| US7397929B2 (en) * | 2002-09-05 | 2008-07-08 | Cognex Technology And Investment Corporation | Method and apparatus for monitoring a passageway using 3D images |
| US7665041B2 (en) | 2003-03-25 | 2010-02-16 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
| US8745541B2 (en) | 2003-03-25 | 2014-06-03 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
| US7286689B2 (en) * | 2003-06-07 | 2007-10-23 | Hewlett-Packard Development Company, L.P. | Motion estimation for compression of calibrated multi-view image sequences |
| US7623674B2 (en) * | 2003-11-05 | 2009-11-24 | Cognex Technology And Investment Corporation | Method and system for enhanced portal security through stereoscopy |
| US8326084B1 (en) | 2003-11-05 | 2012-12-04 | Cognex Technology And Investment Corporation | System and method of auto-exposure control for image acquisition hardware using three dimensional information |
| US7027081B2 (en) * | 2003-12-21 | 2006-04-11 | Kremen Stanley H | System and apparatus for recording, transmitting, and projecting digital three-dimensional images |
| US7463778B2 (en) * | 2004-01-30 | 2008-12-09 | Hewlett-Packard Development Company, L.P | Motion estimation for compressing multiple view images |
| FR2872728B1 (fr) * | 2004-07-06 | 2006-09-15 | Commissariat Energie Atomique | Procede de saisie d'un objet par un bras de robot muni d'une camera |
| US8111904B2 (en) | 2005-10-07 | 2012-02-07 | Cognex Technology And Investment Corp. | Methods and apparatus for practical 3D vision system |
| US7697827B2 (en) | 2005-10-17 | 2010-04-13 | Konicek Jeffrey C | User-friendlier interfaces for a camera |
| DE102006045828B4 (de) * | 2006-09-22 | 2010-06-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und Vorrichtung zum Erkennen eines Gesichts sowie ein Gesichtserkennungsmodul |
| US8005238B2 (en) | 2007-03-22 | 2011-08-23 | Microsoft Corporation | Robust adaptive beamforming with enhanced noise suppression |
| KR101345303B1 (ko) * | 2007-03-29 | 2013-12-27 | 삼성전자주식회사 | 스테레오 또는 다시점 영상의 입체감 조정 방법 및 장치 |
| US8005237B2 (en) | 2007-05-17 | 2011-08-23 | Microsoft Corp. | Sensor array beamformer post-processor |
| US8126260B2 (en) * | 2007-05-29 | 2012-02-28 | Cognex Corporation | System and method for locating a three-dimensional object using machine vision |
| US8629976B2 (en) * | 2007-10-02 | 2014-01-14 | Microsoft Corporation | Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems |
| KR20090055803A (ko) * | 2007-11-29 | 2009-06-03 | 광주과학기술원 | 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법 |
| US20090166684A1 (en) * | 2007-12-26 | 2009-07-02 | 3Dv Systems Ltd. | Photogate cmos pixel for 3d cameras having reduced intra-pixel cross talk |
| US8385557B2 (en) | 2008-06-19 | 2013-02-26 | Microsoft Corporation | Multichannel acoustic echo reduction |
| US8325909B2 (en) | 2008-06-25 | 2012-12-04 | Microsoft Corporation | Acoustic echo suppression |
| US8203699B2 (en) | 2008-06-30 | 2012-06-19 | Microsoft Corporation | System architecture design for time-of-flight system having reduced differential pixel size, and time-of-flight systems so designed |
| US8681321B2 (en) | 2009-01-04 | 2014-03-25 | Microsoft International Holdings B.V. | Gated 3D camera |
| US8294767B2 (en) | 2009-01-30 | 2012-10-23 | Microsoft Corporation | Body scan |
| US8577084B2 (en) * | 2009-01-30 | 2013-11-05 | Microsoft Corporation | Visual target tracking |
| US8487938B2 (en) * | 2009-01-30 | 2013-07-16 | Microsoft Corporation | Standard Gestures |
| US8577085B2 (en) * | 2009-01-30 | 2013-11-05 | Microsoft Corporation | Visual target tracking |
| US8448094B2 (en) * | 2009-01-30 | 2013-05-21 | Microsoft Corporation | Mapping a natural input device to a legacy system |
| US8295546B2 (en) | 2009-01-30 | 2012-10-23 | Microsoft Corporation | Pose tracking pipeline |
| US8565476B2 (en) | 2009-01-30 | 2013-10-22 | Microsoft Corporation | Visual target tracking |
| US8588465B2 (en) * | 2009-01-30 | 2013-11-19 | Microsoft Corporation | Visual target tracking |
| US8267781B2 (en) | 2009-01-30 | 2012-09-18 | Microsoft Corporation | Visual target tracking |
| US7996793B2 (en) | 2009-01-30 | 2011-08-09 | Microsoft Corporation | Gesture recognizer system architecture |
| US8565477B2 (en) | 2009-01-30 | 2013-10-22 | Microsoft Corporation | Visual target tracking |
| US8682028B2 (en) * | 2009-01-30 | 2014-03-25 | Microsoft Corporation | Visual target tracking |
| US20100199231A1 (en) * | 2009-01-30 | 2010-08-05 | Microsoft Corporation | Predictive determination |
| US8773355B2 (en) | 2009-03-16 | 2014-07-08 | Microsoft Corporation | Adaptive cursor sizing |
| US8988437B2 (en) | 2009-03-20 | 2015-03-24 | Microsoft Technology Licensing, Llc | Chaining animations |
| US9256282B2 (en) * | 2009-03-20 | 2016-02-09 | Microsoft Technology Licensing, Llc | Virtual object manipulation |
| JP2010237941A (ja) * | 2009-03-31 | 2010-10-21 | Kddi Corp | マスク画像生成装置、３次元物体モデル情報生成装置及びプログラム |
| US9313376B1 (en) | 2009-04-01 | 2016-04-12 | Microsoft Technology Licensing, Llc | Dynamic depth power equalization |
| US8253746B2 (en) | 2009-05-01 | 2012-08-28 | Microsoft Corporation | Determine intended motions |
| US9377857B2 (en) | 2009-05-01 | 2016-06-28 | Microsoft Technology Licensing, Llc | Show body position |
| US8181123B2 (en) | 2009-05-01 | 2012-05-15 | Microsoft Corporation | Managing virtual port associations to users in a gesture-based computing environment |
| US9498718B2 (en) | 2009-05-01 | 2016-11-22 | Microsoft Technology Licensing, Llc | Altering a view perspective within a display environment |
| US8503720B2 (en) | 2009-05-01 | 2013-08-06 | Microsoft Corporation | Human body pose estimation |
| US8942428B2 (en) | 2009-05-01 | 2015-01-27 | Microsoft Corporation | Isolate extraneous motions |
| US9898675B2 (en) | 2009-05-01 | 2018-02-20 | Microsoft Technology Licensing, Llc | User movement tracking feedback to improve tracking |
| US8660303B2 (en) * | 2009-05-01 | 2014-02-25 | Microsoft Corporation | Detection of body and props |
| US8638985B2 (en) | 2009-05-01 | 2014-01-28 | Microsoft Corporation | Human body pose estimation |
| US9015638B2 (en) | 2009-05-01 | 2015-04-21 | Microsoft Technology Licensing, Llc | Binding users to a gesture based system and providing feedback to the users |
| US8649554B2 (en) | 2009-05-01 | 2014-02-11 | Microsoft Corporation | Method to control perspective for a camera-controlled computer |
| US8340432B2 (en) | 2009-05-01 | 2012-12-25 | Microsoft Corporation | Systems and methods for detecting a tilt angle from a depth image |
| US8744121B2 (en) | 2009-05-29 | 2014-06-03 | Microsoft Corporation | Device for identifying and tracking multiple humans over time |
| US20100302365A1 (en) * | 2009-05-29 | 2010-12-02 | Microsoft Corporation | Depth Image Noise Reduction |
| US8625837B2 (en) | 2009-05-29 | 2014-01-07 | Microsoft Corporation | Protocol and format for communicating an image from a camera to a computing environment |
| US8542252B2 (en) * | 2009-05-29 | 2013-09-24 | Microsoft Corporation | Target digitization, extraction, and tracking |
| US9383823B2 (en) | 2009-05-29 | 2016-07-05 | Microsoft Technology Licensing, Llc | Combining gestures beyond skeletal |
| US9182814B2 (en) | 2009-05-29 | 2015-11-10 | Microsoft Technology Licensing, Llc | Systems and methods for estimating a non-visible or occluded body part |
| US8856691B2 (en) | 2009-05-29 | 2014-10-07 | Microsoft Corporation | Gesture tool |
| US9400559B2 (en) | 2009-05-29 | 2016-07-26 | Microsoft Technology Licensing, Llc | Gesture shortcuts |
| US8509479B2 (en) * | 2009-05-29 | 2013-08-13 | Microsoft Corporation | Virtual object |
| US8693724B2 (en) | 2009-05-29 | 2014-04-08 | Microsoft Corporation | Method and system implementing user-centric gesture control |
| US8379101B2 (en) | 2009-05-29 | 2013-02-19 | Microsoft Corporation | Environment and/or target segmentation |
| US8320619B2 (en) | 2009-05-29 | 2012-11-27 | Microsoft Corporation | Systems and methods for tracking a model |
| US8418085B2 (en) | 2009-05-29 | 2013-04-09 | Microsoft Corporation | Gesture coach |
| US8487871B2 (en) * | 2009-06-01 | 2013-07-16 | Microsoft Corporation | Virtual desktop coordinate transformation |
| US8390680B2 (en) | 2009-07-09 | 2013-03-05 | Microsoft Corporation | Visual representation expression based on player expression |
| US9159151B2 (en) | 2009-07-13 | 2015-10-13 | Microsoft Technology Licensing, Llc | Bringing a visual representation to life via learned input from the user |
| US8264536B2 (en) * | 2009-08-25 | 2012-09-11 | Microsoft Corporation | Depth-sensitive imaging via polarization-state mapping |
| US9141193B2 (en) | 2009-08-31 | 2015-09-22 | Microsoft Technology Licensing, Llc | Techniques for using human gestures to control gesture unaware programs |
| US8508919B2 (en) | 2009-09-14 | 2013-08-13 | Microsoft Corporation | Separation of electrical and optical components |
| US8330134B2 (en) * | 2009-09-14 | 2012-12-11 | Microsoft Corporation | Optical fault monitoring |
| US8976986B2 (en) * | 2009-09-21 | 2015-03-10 | Microsoft Technology Licensing, Llc | Volume adjustment based on listener position |
| US8760571B2 (en) * | 2009-09-21 | 2014-06-24 | Microsoft Corporation | Alignment of lens and image sensor |
| US8428340B2 (en) * | 2009-09-21 | 2013-04-23 | Microsoft Corporation | Screen space plane identification |
| US9014546B2 (en) | 2009-09-23 | 2015-04-21 | Rovi Guides, Inc. | Systems and methods for automatically detecting users within detection regions of media devices |
| US8452087B2 (en) * | 2009-09-30 | 2013-05-28 | Microsoft Corporation | Image selection techniques |
| US8723118B2 (en) * | 2009-10-01 | 2014-05-13 | Microsoft Corporation | Imager for constructing color and depth images |
| US8564534B2 (en) | 2009-10-07 | 2013-10-22 | Microsoft Corporation | Human tracking system |
| US7961910B2 (en) | 2009-10-07 | 2011-06-14 | Microsoft Corporation | Systems and methods for tracking a model |
| US8963829B2 (en) | 2009-10-07 | 2015-02-24 | Microsoft Corporation | Methods and systems for determining and tracking extremities of a target |
| US8867820B2 (en) * | 2009-10-07 | 2014-10-21 | Microsoft Corporation | Systems and methods for removing a background of an image |
| US9400548B2 (en) * | 2009-10-19 | 2016-07-26 | Microsoft Technology Licensing, Llc | Gesture personalization and profile roaming |
| US20110099476A1 (en) * | 2009-10-23 | 2011-04-28 | Microsoft Corporation | Decorating a display environment |
| US8988432B2 (en) * | 2009-11-05 | 2015-03-24 | Microsoft Technology Licensing, Llc | Systems and methods for processing an image for target tracking |
| US8843857B2 (en) * | 2009-11-19 | 2014-09-23 | Microsoft Corporation | Distance scalable no touch computing |
| US9244533B2 (en) | 2009-12-17 | 2016-01-26 | Microsoft Technology Licensing, Llc | Camera navigation for presentations |
| US20110151974A1 (en) * | 2009-12-18 | 2011-06-23 | Microsoft Corporation | Gesture style recognition and reward |
| US20110150271A1 (en) | 2009-12-18 | 2011-06-23 | Microsoft Corporation | Motion detection using depth images |
| US8320621B2 (en) | 2009-12-21 | 2012-11-27 | Microsoft Corporation | Depth projector system with integrated VCSEL array |
| JP5660273B2 (ja) * | 2010-01-04 | 2015-01-28 | 日本電気株式会社 | 画像診断方法、画像診断装置および画像診断プログラム |
| US9019201B2 (en) | 2010-01-08 | 2015-04-28 | Microsoft Technology Licensing, Llc | Evolving universal gesture sets |
| US9268404B2 (en) * | 2010-01-08 | 2016-02-23 | Microsoft Technology Licensing, Llc | Application gesture interpretation |
| US8631355B2 (en) | 2010-01-08 | 2014-01-14 | Microsoft Corporation | Assigning gesture dictionaries |
| US8334842B2 (en) | 2010-01-15 | 2012-12-18 | Microsoft Corporation | Recognizing user intent in motion capture system |
| US8933884B2 (en) | 2010-01-15 | 2015-01-13 | Microsoft Corporation | Tracking groups of users in motion capture system |
| US8676581B2 (en) | 2010-01-22 | 2014-03-18 | Microsoft Corporation | Speech recognition analysis via identification information |
| US8265341B2 (en) | 2010-01-25 | 2012-09-11 | Microsoft Corporation | Voice-body identity correlation |
| US8864581B2 (en) * | 2010-01-29 | 2014-10-21 | Microsoft Corporation | Visual based identitiy tracking |
| US8891067B2 (en) | 2010-02-01 | 2014-11-18 | Microsoft Corporation | Multiple synchronized optical sources for time-of-flight range finding systems |
| US8619122B2 (en) | 2010-02-02 | 2013-12-31 | Microsoft Corporation | Depth camera compatibility |
| US8687044B2 (en) | 2010-02-02 | 2014-04-01 | Microsoft Corporation | Depth camera compatibility |
| US8717469B2 (en) * | 2010-02-03 | 2014-05-06 | Microsoft Corporation | Fast gating photosurface |
| US8659658B2 (en) * | 2010-02-09 | 2014-02-25 | Microsoft Corporation | Physical interaction zone for gesture-based user interfaces |
| US8499257B2 (en) * | 2010-02-09 | 2013-07-30 | Microsoft Corporation | Handles interactions for human—computer interface |
| US8633890B2 (en) * | 2010-02-16 | 2014-01-21 | Microsoft Corporation | Gesture detection based on joint skipping |
| US20110199302A1 (en) * | 2010-02-16 | 2011-08-18 | Microsoft Corporation | Capturing screen objects using a collision volume |
| US8928579B2 (en) * | 2010-02-22 | 2015-01-06 | Andrew David Wilson | Interacting with an omni-directionally projected display |
| US8422769B2 (en) * | 2010-03-05 | 2013-04-16 | Microsoft Corporation | Image segmentation using reduced foreground training data |
| US8411948B2 (en) | 2010-03-05 | 2013-04-02 | Microsoft Corporation | Up-sampling binary images for segmentation |
| US8655069B2 (en) | 2010-03-05 | 2014-02-18 | Microsoft Corporation | Updating image segmentation following user input |
| US20110223995A1 (en) | 2010-03-12 | 2011-09-15 | Kevin Geisner | Interacting with a computer based application |
| US20110221755A1 (en) * | 2010-03-12 | 2011-09-15 | Kevin Geisner | Bionic motion |
| US8279418B2 (en) | 2010-03-17 | 2012-10-02 | Microsoft Corporation | Raster scanning for depth detection |
| US8213680B2 (en) * | 2010-03-19 | 2012-07-03 | Microsoft Corporation | Proxy training data for human body tracking |
| US20110234481A1 (en) * | 2010-03-26 | 2011-09-29 | Sagi Katz | Enhancing presentations using depth sensing cameras |
| US8514269B2 (en) * | 2010-03-26 | 2013-08-20 | Microsoft Corporation | De-aliasing depth images |
| US8523667B2 (en) * | 2010-03-29 | 2013-09-03 | Microsoft Corporation | Parental control settings based on body dimensions |
| US8605763B2 (en) | 2010-03-31 | 2013-12-10 | Microsoft Corporation | Temperature measurement and control for laser and light-emitting diodes |
| US9098873B2 (en) | 2010-04-01 | 2015-08-04 | Microsoft Technology Licensing, Llc | Motion-based interactive shopping environment |
| US9646340B2 (en) | 2010-04-01 | 2017-05-09 | Microsoft Technology Licensing, Llc | Avatar-based virtual dressing room |
| US8351651B2 (en) | 2010-04-26 | 2013-01-08 | Microsoft Corporation | Hand-location post-process refinement in a tracking system |
| US8379919B2 (en) | 2010-04-29 | 2013-02-19 | Microsoft Corporation | Multiple centroid condensation of probability distribution clouds |
| US8284847B2 (en) | 2010-05-03 | 2012-10-09 | Microsoft Corporation | Detecting motion for a multifunction sensor device |
| US8885890B2 (en) | 2010-05-07 | 2014-11-11 | Microsoft Corporation | Depth map confidence filtering |
| US8498481B2 (en) | 2010-05-07 | 2013-07-30 | Microsoft Corporation | Image segmentation using star-convexity constraints |
| US8457353B2 (en) | 2010-05-18 | 2013-06-04 | Microsoft Corporation | Gestures and gesture modifiers for manipulating a user-interface |
| US8803888B2 (en) | 2010-06-02 | 2014-08-12 | Microsoft Corporation | Recognition system for sharing information |
| US9008355B2 (en) | 2010-06-04 | 2015-04-14 | Microsoft Technology Licensing, Llc | Automatic depth camera aiming |
| US8751215B2 (en) | 2010-06-04 | 2014-06-10 | Microsoft Corporation | Machine based sign language interpreter |
| US9557574B2 (en) | 2010-06-08 | 2017-01-31 | Microsoft Technology Licensing, Llc | Depth illumination and detection optics |
| US8330822B2 (en) | 2010-06-09 | 2012-12-11 | Microsoft Corporation | Thermally-tuned depth camera light source |
| US9384329B2 (en) | 2010-06-11 | 2016-07-05 | Microsoft Technology Licensing, Llc | Caloric burn determination from body movement |
| US8675981B2 (en) | 2010-06-11 | 2014-03-18 | Microsoft Corporation | Multi-modal gender recognition including depth data |
| US8749557B2 (en) | 2010-06-11 | 2014-06-10 | Microsoft Corporation | Interacting with user interface via avatar |
| US8982151B2 (en) | 2010-06-14 | 2015-03-17 | Microsoft Technology Licensing, Llc | Independently processing planes of display data |
| US8670029B2 (en) | 2010-06-16 | 2014-03-11 | Microsoft Corporation | Depth camera illuminator with superluminescent light-emitting diode |
| US8558873B2 (en) | 2010-06-16 | 2013-10-15 | Microsoft Corporation | Use of wavefront coding to create a depth image |
| US8296151B2 (en) | 2010-06-18 | 2012-10-23 | Microsoft Corporation | Compound gesture-speech commands |
| US8381108B2 (en) | 2010-06-21 | 2013-02-19 | Microsoft Corporation | Natural user input for driving interactive stories |
| US8416187B2 (en) | 2010-06-22 | 2013-04-09 | Microsoft Corporation | Item navigation using motion-capture data |
| US9075434B2 (en) | 2010-08-20 | 2015-07-07 | Microsoft Technology Licensing, Llc | Translating user motion into multiple object responses |
| US8613666B2 (en) | 2010-08-31 | 2013-12-24 | Microsoft Corporation | User selection and navigation based on looped motions |
| US20120058824A1 (en) | 2010-09-07 | 2012-03-08 | Microsoft Corporation | Scalable real-time motion recognition |
| US8437506B2 (en) | 2010-09-07 | 2013-05-07 | Microsoft Corporation | System for fast, probabilistic skeletal tracking |
| US8988508B2 (en) | 2010-09-24 | 2015-03-24 | Microsoft Technology Licensing, Llc. | Wide angle field of view active illumination imaging system |
| US8681255B2 (en) | 2010-09-28 | 2014-03-25 | Microsoft Corporation | Integrated low power depth camera and projection device |
| US8548270B2 (en) | 2010-10-04 | 2013-10-01 | Microsoft Corporation | Time-of-flight depth imaging |
| US9484065B2 (en) | 2010-10-15 | 2016-11-01 | Microsoft Technology Licensing, Llc | Intelligent determination of replays based on event identification |
| US8592739B2 (en) | 2010-11-02 | 2013-11-26 | Microsoft Corporation | Detection of configuration changes of an optical element in an illumination system |
| US8866889B2 (en) | 2010-11-03 | 2014-10-21 | Microsoft Corporation | In-home depth camera calibration |
| US8667519B2 (en) | 2010-11-12 | 2014-03-04 | Microsoft Corporation | Automatic passive and anonymous feedback system |
| US10726861B2 (en) | 2010-11-15 | 2020-07-28 | Microsoft Technology Licensing, Llc | Semi-private communication in open environments |
| US9349040B2 (en) | 2010-11-19 | 2016-05-24 | Microsoft Technology Licensing, Llc | Bi-modal depth-image analysis |
| US10234545B2 (en) | 2010-12-01 | 2019-03-19 | Microsoft Technology Licensing, Llc | Light source module |
| US9049423B2 (en) | 2010-12-01 | 2015-06-02 | Qualcomm Incorporated | Zero disparity plane for feedback-based three-dimensional video |
| US8553934B2 (en) | 2010-12-08 | 2013-10-08 | Microsoft Corporation | Orienting the position of a sensor |
| US8618405B2 (en) | 2010-12-09 | 2013-12-31 | Microsoft Corp. | Free-space gesture musical instrument digital interface (MIDI) controller |
| US8408706B2 (en) | 2010-12-13 | 2013-04-02 | Microsoft Corporation | 3D gaze tracker |
| TR201010436A2 (tr) * | 2010-12-14 | 2012-07-23 | Vestel Elektron�K Sanay� Ve T�Caret A.�. | Aykırılık aralığının tespiti için bir yöntem ve cihaz. |
| US8884968B2 (en) | 2010-12-15 | 2014-11-11 | Microsoft Corporation | Modeling an object from image data |
| US9171264B2 (en) | 2010-12-15 | 2015-10-27 | Microsoft Technology Licensing, Llc | Parallel processing machine learning decision tree training |
| US8920241B2 (en) | 2010-12-15 | 2014-12-30 | Microsoft Corporation | Gesture controlled persistent handles for interface guides |
| US8448056B2 (en) | 2010-12-17 | 2013-05-21 | Microsoft Corporation | Validation analysis of human target |
| US8803952B2 (en) | 2010-12-20 | 2014-08-12 | Microsoft Corporation | Plural detector time-of-flight depth mapping |
| US9823339B2 (en) | 2010-12-21 | 2017-11-21 | Microsoft Technology Licensing, Llc | Plural anode time-of-flight sensor |
| US8385596B2 (en) | 2010-12-21 | 2013-02-26 | Microsoft Corporation | First person shooter control with virtual skeleton |
| US9821224B2 (en) | 2010-12-21 | 2017-11-21 | Microsoft Technology Licensing, Llc | Driving simulator control with virtual skeleton |
| US8994718B2 (en) | 2010-12-21 | 2015-03-31 | Microsoft Technology Licensing, Llc | Skeletal control of three-dimensional virtual world |
| US9848106B2 (en) | 2010-12-21 | 2017-12-19 | Microsoft Technology Licensing, Llc | Intelligent gameplay photo capture |
| WO2012084277A1 (en) * | 2010-12-22 | 2012-06-28 | Thomson Licensing | Apparatus and method for determining a disparity estimate |
| US9123316B2 (en) | 2010-12-27 | 2015-09-01 | Microsoft Technology Licensing, Llc | Interactive content creation |
| US8488888B2 (en) | 2010-12-28 | 2013-07-16 | Microsoft Corporation | Classification of posture states |
| US8401242B2 (en) | 2011-01-31 | 2013-03-19 | Microsoft Corporation | Real-time camera tracking using depth maps |
| US8401225B2 (en) | 2011-01-31 | 2013-03-19 | Microsoft Corporation | Moving object segmentation using depth images |
| US8587583B2 (en) | 2011-01-31 | 2013-11-19 | Microsoft Corporation | Three-dimensional environment reconstruction |
| US9247238B2 (en) | 2011-01-31 | 2016-01-26 | Microsoft Technology Licensing, Llc | Reducing interference between multiple infra-red depth cameras |
| US8724887B2 (en) | 2011-02-03 | 2014-05-13 | Microsoft Corporation | Environmental modifications to mitigate environmental factors |
| US8942917B2 (en) | 2011-02-14 | 2015-01-27 | Microsoft Corporation | Change invariant scene recognition by an agent |
| US8497838B2 (en) | 2011-02-16 | 2013-07-30 | Microsoft Corporation | Push actuation of interface controls |
| US9551914B2 (en) | 2011-03-07 | 2017-01-24 | Microsoft Technology Licensing, Llc | Illuminator with refractive optical element |
| US9067136B2 (en) | 2011-03-10 | 2015-06-30 | Microsoft Technology Licensing, Llc | Push personalization of interface controls |
| US8571263B2 (en) | 2011-03-17 | 2013-10-29 | Microsoft Corporation | Predicting joint positions |
| US9470778B2 (en) | 2011-03-29 | 2016-10-18 | Microsoft Technology Licensing, Llc | Learning from high quality depth measurements |
| US9298287B2 (en) | 2011-03-31 | 2016-03-29 | Microsoft Technology Licensing, Llc | Combined activation for natural user interface systems |
| US9760566B2 (en) | 2011-03-31 | 2017-09-12 | Microsoft Technology Licensing, Llc | Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof |
| US9842168B2 (en) | 2011-03-31 | 2017-12-12 | Microsoft Technology Licensing, Llc | Task driven user intents |
| US10642934B2 (en) | 2011-03-31 | 2020-05-05 | Microsoft Technology Licensing, Llc | Augmented conversational understanding architecture |
| US8503494B2 (en) | 2011-04-05 | 2013-08-06 | Microsoft Corporation | Thermal management system |
| US8824749B2 (en) | 2011-04-05 | 2014-09-02 | Microsoft Corporation | Biometric recognition |
| US8620113B2 (en) | 2011-04-25 | 2013-12-31 | Microsoft Corporation | Laser diode modes |
| US8702507B2 (en) | 2011-04-28 | 2014-04-22 | Microsoft Corporation | Manual and camera-based avatar control |
| US9259643B2 (en) | 2011-04-28 | 2016-02-16 | Microsoft Technology Licensing, Llc | Control of separate computer game elements |
| US10671841B2 (en) | 2011-05-02 | 2020-06-02 | Microsoft Technology Licensing, Llc | Attribute state classification |
| US8888331B2 (en) | 2011-05-09 | 2014-11-18 | Microsoft Corporation | Low inductance light source module |
| US9137463B2 (en) | 2011-05-12 | 2015-09-15 | Microsoft Technology Licensing, Llc | Adaptive high dynamic range camera |
| US9064006B2 (en) | 2012-08-23 | 2015-06-23 | Microsoft Technology Licensing, Llc | Translating natural language utterances to keyword search queries |
| US8788973B2 (en) | 2011-05-23 | 2014-07-22 | Microsoft Corporation | Three-dimensional gesture controlled avatar configuration interface |
| US8760395B2 (en) | 2011-05-31 | 2014-06-24 | Microsoft Corporation | Gesture recognition techniques |
| US9594430B2 (en) | 2011-06-01 | 2017-03-14 | Microsoft Technology Licensing, Llc | Three-dimensional foreground selection for vision system |
| US8526734B2 (en) | 2011-06-01 | 2013-09-03 | Microsoft Corporation | Three-dimensional background removal for vision system |
| US9208571B2 (en) | 2011-06-06 | 2015-12-08 | Microsoft Technology Licensing, Llc | Object digitization |
| US8897491B2 (en) | 2011-06-06 | 2014-11-25 | Microsoft Corporation | System for finger recognition and tracking |
| US8597142B2 (en) | 2011-06-06 | 2013-12-03 | Microsoft Corporation | Dynamic camera based practice mode |
| US8929612B2 (en) | 2011-06-06 | 2015-01-06 | Microsoft Corporation | System for recognizing an open or closed hand |
| US9013489B2 (en) | 2011-06-06 | 2015-04-21 | Microsoft Technology Licensing, Llc | Generation of avatar reflecting player appearance |
| US9098110B2 (en) | 2011-06-06 | 2015-08-04 | Microsoft Technology Licensing, Llc | Head rotation tracking from depth-based center of mass |
| US9724600B2 (en) | 2011-06-06 | 2017-08-08 | Microsoft Technology Licensing, Llc | Controlling objects in a virtual environment |
| US10796494B2 (en) | 2011-06-06 | 2020-10-06 | Microsoft Technology Licensing, Llc | Adding attributes to virtual representations of real-world objects |
| US9597587B2 (en) | 2011-06-08 | 2017-03-21 | Microsoft Technology Licensing, Llc | Locational node device |
| US8786730B2 (en) | 2011-08-18 | 2014-07-22 | Microsoft Corporation | Image exposure using exclusion regions |
| US8942484B2 (en) * | 2011-09-06 | 2015-01-27 | Qualcomm Incorporated | Text detection using image regions |
| US9557836B2 (en) | 2011-11-01 | 2017-01-31 | Microsoft Technology Licensing, Llc | Depth image compression |
| US9117281B2 (en) | 2011-11-02 | 2015-08-25 | Microsoft Corporation | Surface segmentation from RGB and depth images |
| US8854426B2 (en) | 2011-11-07 | 2014-10-07 | Microsoft Corporation | Time-of-flight camera with guided light |
| US8724906B2 (en) | 2011-11-18 | 2014-05-13 | Microsoft Corporation | Computing pose and/or shape of modifiable entities |
| US8509545B2 (en) | 2011-11-29 | 2013-08-13 | Microsoft Corporation | Foreground subject detection |
| US8635637B2 (en) | 2011-12-02 | 2014-01-21 | Microsoft Corporation | User interface presenting an animated avatar performing a media reaction |
| US8803800B2 (en) | 2011-12-02 | 2014-08-12 | Microsoft Corporation | User interface control based on head orientation |
| US9100685B2 (en) | 2011-12-09 | 2015-08-04 | Microsoft Technology Licensing, Llc | Determining audience state or interest using passive sensor data |
| US8630457B2 (en) | 2011-12-15 | 2014-01-14 | Microsoft Corporation | Problem states for pose tracking pipeline |
| US8971612B2 (en) | 2011-12-15 | 2015-03-03 | Microsoft Corporation | Learning image processing tasks from scene reconstructions |
| US8879831B2 (en) | 2011-12-15 | 2014-11-04 | Microsoft Corporation | Using high-level attributes to guide image processing |
| US8811938B2 (en) | 2011-12-16 | 2014-08-19 | Microsoft Corporation | Providing a user interface experience based on inferred vehicle state |
| US9342139B2 (en) | 2011-12-19 | 2016-05-17 | Microsoft Technology Licensing, Llc | Pairing a computing device to a user |
| US9720089B2 (en) | 2012-01-23 | 2017-08-01 | Microsoft Technology Licensing, Llc | 3D zoom imager |
| US8898687B2 (en) | 2012-04-04 | 2014-11-25 | Microsoft Corporation | Controlling a media program based on a media reaction |
| US9210401B2 (en) | 2012-05-03 | 2015-12-08 | Microsoft Technology Licensing, Llc | Projected visual cues for guiding physical movement |
| CA2775700C (en) | 2012-05-04 | 2013-07-23 | Microsoft Corporation | Determining a future portion of a currently presented media program |
| KR101911133B1 (ko) | 2012-06-21 | 2018-10-23 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 깊이 카메라를 이용한 아바타 구성 |
| US9836590B2 (en) | 2012-06-22 | 2017-12-05 | Microsoft Technology Licensing, Llc | Enhanced accuracy of user presence status determination |
| US9696427B2 (en) | 2012-08-14 | 2017-07-04 | Microsoft Technology Licensing, Llc | Wide angle depth detection |
| US8882310B2 (en) | 2012-12-10 | 2014-11-11 | Microsoft Corporation | Laser die light source module with low inductance |
| US9857470B2 (en) | 2012-12-28 | 2018-01-02 | Microsoft Technology Licensing, Llc | Using photometric stereo for 3D environment modeling |
| US9251590B2 (en) | 2013-01-24 | 2016-02-02 | Microsoft Technology Licensing, Llc | Camera pose estimation for 3D reconstruction |
| US9052746B2 (en) | 2013-02-15 | 2015-06-09 | Microsoft Technology Licensing, Llc | User center-of-mass and mass distribution extraction using depth images |
| US9940553B2 (en) | 2013-02-22 | 2018-04-10 | Microsoft Technology Licensing, Llc | Camera/object pose from predicted coordinates |
| US9135516B2 (en) | 2013-03-08 | 2015-09-15 | Microsoft Technology Licensing, Llc | User body angle, curvature and average extremity positions extraction using depth images |
| US9092657B2 (en) | 2013-03-13 | 2015-07-28 | Microsoft Technology Licensing, Llc | Depth image processing |
| US9274606B2 (en) | 2013-03-14 | 2016-03-01 | Microsoft Technology Licensing, Llc | NUI video conference controls |
| US9953213B2 (en) | 2013-03-27 | 2018-04-24 | Microsoft Technology Licensing, Llc | Self discovery of autonomous NUI devices |
| US9442186B2 (en) | 2013-05-13 | 2016-09-13 | Microsoft Technology Licensing, Llc | Interference reduction for TOF systems |
| JP6116094B2 (ja) * | 2013-08-05 | 2017-04-19 | 大成建設株式会社 | 画像検索装置 |
| US9462253B2 (en) | 2013-09-23 | 2016-10-04 | Microsoft Technology Licensing, Llc | Optical modules that reduce speckle contrast and diffraction artifacts |
| US9443310B2 (en) | 2013-10-09 | 2016-09-13 | Microsoft Technology Licensing, Llc | Illumination modules that emit structured light |
| US9674563B2 (en) | 2013-11-04 | 2017-06-06 | Rovi Guides, Inc. | Systems and methods for recommending content |
| US9769459B2 (en) | 2013-11-12 | 2017-09-19 | Microsoft Technology Licensing, Llc | Power efficient laser diode driver circuit and method |
| US9508385B2 (en) | 2013-11-21 | 2016-11-29 | Microsoft Technology Licensing, Llc | Audio-visual project generator |
| US9971491B2 (en) | 2014-01-09 | 2018-05-15 | Microsoft Technology Licensing, Llc | Gesture library for natural user input |
| US10412280B2 (en) | 2016-02-10 | 2019-09-10 | Microsoft Technology Licensing, Llc | Camera with light valve over sensor array |
| US10257932B2 (en) | 2016-02-16 | 2019-04-09 | Microsoft Technology Licensing, Llc. | Laser diode chip on printed circuit board |
| US10587858B2 (en) * | 2016-03-14 | 2020-03-10 | Symbol Technologies, Llc | Device and method of dimensioning using digital images and depth data |
| US10462452B2 (en) | 2016-03-16 | 2019-10-29 | Microsoft Technology Licensing, Llc | Synchronizing active illumination cameras |
| CN107980138B (zh) * | 2016-12-28 | 2021-08-17 | 达闼机器人有限公司 | 一种虚警障碍物检测方法及装置 |
| US11003916B2 (en) | 2017-11-03 | 2021-05-11 | Toyota Research Institute, Inc. | Systems and methods for object historical association |
| US11146763B1 (en) * | 2018-10-31 | 2021-10-12 | Snap Inc. | Artistic and other photo filter light field effects for images and videos utilizing image disparity |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4654872A (en) * | 1983-07-25 | 1987-03-31 | Omron Tateisi Electronics Co. | System for recognizing three-dimensional objects |
| JPS623585A (ja) * | 1985-06-29 | 1987-01-09 | Agency Of Ind Science & Technol | ステレオ視覚装置 |
| WO1991019265A1 (en) * | 1990-05-29 | 1991-12-12 | Axiom Innovation Limited | Machine vision stereo matching |
| US6384859B1 (en) * | 1995-03-29 | 2002-05-07 | Sanyo Electric Co., Ltd. | Methods for creating an image for a three-dimensional display, for calculating depth information and for image processing using the depth information |
| JP3197801B2 (ja) | 1995-09-08 | 2001-08-13 | 三洋電機株式会社 | 二次元表示画像生成方法 |
| JP3539788B2 (ja) * | 1995-04-21 | 2004-07-07 | パナソニック モバイルコミュニケーションズ株式会社 | 画像間対応付け方法 |
| JPH07287764A (ja) * | 1995-05-08 | 1995-10-31 | Omron Corp | 立体視方法およびその方法が用いられる立体認識装置 |
| JP3064928B2 (ja) | 1996-09-20 | 2000-07-12 | 日本電気株式会社 | 被写体抽出方式 |
-
1997
- 1997-07-31 JP JP09206223A patent/JP3077745B2/ja not_active Expired - Fee Related
-
1998
- 1998-07-31 US US09/127,446 patent/US6226396B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US6226396B1 (en) | 2001-05-01 |
| JPH1153546A (ja) | 1999-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3077745B2 (ja) | データ処理方法および装置、情報記憶媒体 | |
| JP3064928B2 (ja) | 被写体抽出方式 | |
| JP3242529B2 (ja) | ステレオ画像対応付け方法およびステレオ画像視差計測方法 | |
| KR100745691B1 (ko) | 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법 | |
| US20200349187A1 (en) | Method and apparatus for data retrieval in a lightfield database | |
| JP2910698B2 (ja) | 三次元構造推定方法及び装置 | |
| JP2000126134A (ja) | 眼底計測装置及び眼底計測プログラムを記録した記録媒体 | |
| KR100943635B1 (ko) | 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법 | |
| JPH10301948A (ja) | 画像および映像検索方法 | |
| JP2001266128A (ja) | 奥行き情報取得方法，装置および奥行き情報取得プログラムを記録した記録媒体 | |
| JP3066173B2 (ja) | パターンマッチング方法 | |
| JP3965894B2 (ja) | 画像処理装置および画像処理方法 | |
| WO2019019160A1 (zh) | 一种图像信息获取方法、图像处理设备及计算机存储介质 | |
| JP2006113832A (ja) | ステレオ画像処理装置およびプログラム | |
| JPH0791927A (ja) | 三次元計測装置 | |
| JP2003162723A (ja) | 画像処理プログラム | |
| JPH07287764A (ja) | 立体視方法およびその方法が用いられる立体認識装置 | |
| JP2003050110A (ja) | ３次元形状データ生成システム、３次元形状データ生成方法、プログラム、および記録媒体 | |
| JP3253328B2 (ja) | 距離動画像入力処理方法 | |
| JPH0624000B2 (ja) | 複合立体視装置 | |
| JP2000331160A (ja) | 画像マッチング装置、画像マッチング方法及び画像マッチング用プログラムを記録した記録媒体 | |
| JP2006058092A (ja) | ３次元形状測定装置および方法 | |
| JPH10289315A (ja) | 視差算出装置、距離算出装置およびこれらの方法 | |
| JPH07280560A (ja) | 相関演算評価方法 | |
| CN111080689B (zh) | 确定面部深度图的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080616 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090616 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100616 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100616 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110616 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110616 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120616 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120616 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130616 Year of fee payment: 13 |
|
| LAPS | Cancellation because of no payment of annual fees |