JP2005165969A - 画像処理装置、及び方法 - Google Patents

画像処理装置、及び方法 Download PDF

Info

Publication number
JP2005165969A
JP2005165969A JP2003407742A JP2003407742A JP2005165969A JP 2005165969 A JP2005165969 A JP 2005165969A JP 2003407742 A JP2003407742 A JP 2003407742A JP 2003407742 A JP2003407742 A JP 2003407742A JP 2005165969 A JP2005165969 A JP 2005165969A
Authority
JP
Japan
Prior art keywords
parallax amount
region
frequency distribution
parallax
small region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2003407742A
Other languages
English (en)
Inventor
Yukio Kamoshita
幸生 鴨志田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2003407742A priority Critical patent/JP2005165969A/ja
Publication of JP2005165969A publication Critical patent/JP2005165969A/ja
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 高精度な三次元情報推定が可能な画像処理方法及び装置を提供する。被写体本来の形状により近い画像分割が可能な画像処理方法および装置を提供する。
【解決手段】 基準となる画像を小領域に分割し、その小領域の境界線の視差を領域ベースのステレオ法により推定し、各領域において推定された境界線の視差の頻度分布を解析して領域の視差を推定する三次元情報推定の方法及びそれを行う装置を提供する。
【選択図】 図１

Description

本発明は、異なる視点から撮影された複数の画像間の対応関係に基づき被写体の三次元情報を推定する画像処理方法および装置に関するものであり、また、推定された三次元情報と画像の色情報に基づき画像分割を行う画像処理方法および装置に関するものである。
従来より、対象物体の三次元情報を推定する方法として、異なる視点から撮影された複数の画像間の対応関係から視差を推定し、その視差情報から三角測量の原理に基づいて三次元情報を推定するステレオ法が知られている。ステレオ法として一般的に特徴ベースのステレオ法と領域ベースのステレオ法が知られている。
特徴ベースのステレオ法は、複数の画像からエッジなどの特徴を抽出し、その特徴同士の対応関係を求める方法である。用いられる特徴にはエッジ点やエッジセグメントなどがある。この方法では画像間の輝度変動に比較的強いという特長がある反面、画像の濃淡が複雑な場合に類似した特徴が多数発生し誤対応が生じやすいことや、対応を求める複数の画像間において特徴が等しく抽出されない場合に対応探索の精度が低下してしまうという問題がある。また、特徴同士の対応のみが求められるため、画像全体の三次元情報が必要な場合、視差が推定された特徴からそれ以外の他の領域に視差を補間する必要がある。三次元情報を復元するために必要な特徴を抽出するためには特徴抽出処理の厳密な設定を必要とすることも課題として挙げられる。
特徴ベースのステレオ法の一例に、特許第２８４３０３４号公報がある。この方法では複雑で多くのテクスチャを有する物体の画像中での領域をテクスチャ領域として検出し、テクスチャ領域の境界線を構成するセグメントの対応付けにより視差を推定し、その境界線の視差に基づいて領域内の視差を求めている。この方法を用いた場合、特徴ベースのステレオ法では困難であった複雑で多くのテクスチャを持つ領域に対しても精度よく視差を推定することができる。しかし領域の境界線が異なる距離の物体によって生じている場合については、異なる物体の視差が領域内に伝播され視差推定の精度が低下してしまう。また、滑らかに濃淡が変化する領域において視差推定が疎になるという特徴ベースのステレオ法における課題は依然として存在する。
領域ベースのステレオ法は、基準とする画像内の小領域に最も類似した領域を対象とする画像内で探索し対応関係を求める方法である。特徴ベースのステレオ法に比べて、画像の濃淡値が滑らかに変化する領域での視差推定が可能であり、密な三次元情報が得ることができる。しかし、画像の濃淡値がほとんど変化しない領域に対しては対応関係を求めることができず誤対応が生じやすい。また、距離の異なる物体の境界において推定された視差の境界と物体の輪郭にずれが生じてしまうことやオクルージョンにより物体の輪郭部における三次元情報が推定できない問題がある。
従来の領域ベースのステレオ法の問題を改善する方法の一つに特開平１０−１９１３９６号公報がある。この方法では、画像のクラスタリング結果を用いて、視差推定が不安定となる画像特徴の少ない部分やオクルージョン領域など視差推定の信頼性の低い部分を検出し、その部分の視差を周囲の同一クラスタの画素における視差から補間し物体輪郭線と視差の境界とのずれを改善している。しかし、視差推定を行ったあとに信頼性の低い領域を検出しているため計算が冗長であり、また、背景領域に画像特徴が少ない場合、物体輪郭部において必ずしも視差推定の信頼性が低くなるとは限らないため視差の補間が行えず物体輪郭線と視差の境界にずれが生じてしまう場合があるなどの問題がある。
本発明は、従来の領域ベースのステレオ法における、画像の濃淡の変化が極端に小さい領域における誤対応の発生、オクルージョン領域で視差が推定できない、および、距離の異なる物体の境界で物体輪郭線と視差の境界がずれる、という問題を改善するために、基準となる画像を小領域に分割し、その小領域の境界線の視差を領域ベースのステレオ法により推定し、各領域において推定された境界線の視差の頻度分布を解析して領域の視差を推定することで、高精度な三次元情報推定が可能な画像処理方法及び装置を提供する。また、本発明は画像を初期領域分割し、分割された小領域を順次統合していく画像分割統合方法において、前記方法で推定された三次元情報を統合のための特徴量に用いることで、被写体本来の形状により近い画像分割が可能な画像処理方法および装置を提供する。
上述の目的を達成するための本発明の第１の三次元情報抽出装置は、異なる視点位置で撮影された複数の画像データを入力する画像入力手段と、該画像入力手段により入力された画像データのうちの一つの基準画像データを小領域に分割する領域分割手段と、該領域分割手段により分割された各小領域の境界線を検出する領域境界線検出手段と、前記画像入力手段により入力された複数の画像のうちの基準画像と他の画像間において、少なくとも前記領域境界線検出手段により検出された各小領域の境界線上の複数の点の対応を求め、各小領域の境界線上の複数の点の視差量を推定する視差量推定手段と、該視差量推定手段により推定された境界線上の複数の点の視差量の頻度分布を各小領域について作成する視差量頻度分布作成手段と、該視差量頻度分布作成手段により作成された各小領域の視差量の頻度分布を解析する視差量頻度分布解析手段と、該視差量頻度分布解析手段により解析された結果に基づいて各小領域の視差量を推定する領域視差量推定手段と、該領域視差量推定手段により推定された各小領域の視差量に基づいて三次元情報を算出する三次元情報算出手段とを備えることを特徴とする。
また、本発明の第２の三次元情報抽出装置は、異なる視点位置で撮影された複数の画像データを入力する画像入力手段と、該画像入力手段により入力された画像データのうちの一つの基準画像データを小領域に分割する領域分割手段と、該領域分割手段により分割された各小領域の境界線を検出する領域境界線検出手段と、前記画像入力手段により入力された複数の画像のうちの基準画像と他の画像間において、少なくとも前記領域境界線検出手段により検出された各小領域の境界線上の複数の点の対応を求め、各小領域の境界線上の複数の点の視差量を推定する視差量推定手段と、前記視差量推定手段により推定された境界線上の複数の点の視差量の頻度分布を各小領域について作成する視差量頻度分布作成手段と、該視差量頻度分布作成手段により作成された各小領域の視差量の頻度分布を解析する視差量頻度分布解析手段と、該視差量頻度分布解析手段により解析された結果に基づいて各小領域の視差量を推定する領域視差量推定手段と、該領域視差量推定手段により視差量が推定された小領域と境界線が重複する小領域の視差量の頻度分布を修正する視差量頻度分布修正手段と、前記領域視差量推定手段により推定された視差量に基づいて三次元情報を算出する三次元情報算出手段とを備えること特徴とする。
また、本発明の第1の領域分割統合装置は異なる視点位置で撮影された複数の画像データを入力する画像入力手段と、該画像入力手段により入力された画像データのうちの一つの基準画像データを小領域に分割する領域分割手段と、該領域分割手段により分割された各小領域の境界線を検出する領域境界線検出手段と、前記画像入力手段により入力された複数の画像のうちの基準画像と他の画像間において、少なくとも前記領域境界線検出手段により検出された境界線上の複数の点の対応を求め、該境界線上の複数の点の視差量を推定する視差量推定手段と、前記視差量推定手段により推定された境界線上の複数の点の視差量の頻度分布を各小領域について作成する視差量頻度分布作成手段と、該視差量頻度分布作成手段により作成された視差量の頻度分布を解析する視差量頻度分布解析手段と、該視差量頻度分布解析手段により解析された結果に基づいて各小領域の視差量を推定する領域視差量推定手段と、該領域視差量推定手段により推定された各小領域の視差量と各小領域の色情報に基づく類似度に応じて小領域を統合する領域統合手段とを備えることを特徴とする。
また、本発明の第２の領域統合装置は異なる視点位置で撮影された複数の画像データを入力する画像入力手段と、該画像入力手段により入力された画像データのうちの一つの基準画像データを小領域に分割する領域分割手段と、該領域分割手段により分割された各小領域の境界線を検出する領域境界線検出手段と、前記画像入力手段により入力された複数の画像のうちの基準画像と他の画像間において、少なくとも前記領域境界線検出手段により検出された境界線上の複数の点の対応を求め、該境界線上の複数の点の視差量を推定する視差量推定手段と、前記視差量推定手段により推定された境界線上の複数の点の視差量の頻度分布を各小領域について作成する視差量頻度分布作成手段と、該視差量頻度分布作成手段により作成された視差量の頻度分布を解析する視差量頻度分布解析手段と、該視差量頻度分布解析手段により解析された結果に基づいて各小領域の視差量を推定する領域視差量推定手段と、前記領域視差量推定手段により視差量が推定された小領域と境界線が重複する小領域の視差量の頻度分布を修正する視差量頻度分布修正手段と、該領域視差量推定手段により推定された各小領域の視差量と各小領域の色情報に基づく類似度に応じて小領域を統合する領域統合手段とを備えることを特徴とする。
また、本発明の第１の三次元情報抽出方法は、異なる視点位置で撮影された複数の画像データのうちの一つの画像データを基準画像、他の画像データを探索画像とし、前記基準画像を画像特徴に応じて小領域に分割する領域分割ステップと、該領域分割ステップにより分割された各小領域の境界線を検出する領域境界線検出ステップと、前記基準画像と前記探索画像間において、少なくとも前記領域境界線検出ステップにより検出された各小領域の境界線上の複数の点の対応を求め、各小領域の境界線上の複数の点の視差量を推定する視差量推定ステップと、該視差量推定ステップにより推定された境界線上の複数の点の視差量の頻度分布を各小領域について作成する視差量頻度分布作成ステップと、該視差量頻度分布作成ステップにより作成された各小領域の視差量の頻度分布を解析する視差量頻度分布解析ステップと、該視差量頻度分布解析ステップにより解析された結果に基づいて各小領域の視差量を推定する領域視差量推定ステップと、該領域視差量推定ステップにより推定された各小領域の視差量に基づいて三次元情報を算出する三次元情報算出ステップとを有することを特徴とする。
また、本発明の第２の三次元情報抽出方法は、異なる視点位置で撮影された複数の画像データのうちの一つの画像データを基準画像、他の画像データを探索画像とし、前記基準画像を画像特徴に応じて小領域に分割する領域分割ステップと、該領域分割ステップにより分割された各小領域の境界線を検出する領域境界線検出ステップと、前記基準画像と前記探索画像間において、少なくとも前記領域境界線検出ステップにより検出された各小領域の境界線上の複数の点の対応を求め、各小領域の境界線上の複数の点の視差量を推定する視差量推定ステップと、該視差量推定ステップにより推定された境界線上の複数の点の視差量の頻度分布を各小領域について作成する視差量頻度分布作成ステップと、該視差量頻度分布作成ステップにより作成された各小領域の視差量の頻度分布を解析する視差量頻度分布解析ステップと、該視差量頻度分布解析ステップにより解析された結果に基づいて各小領域の視差量を推定する領域視差量推定ステップと、該領域視差量推定ステップにより視差量が推定された小領域と境界線が重複する小領域の視差量の頻度分布を修正する視差量頻度分布修正ステップと、前記領域視差量推定ステップにより推定された視差量に基づいて三次元情報を算出する三次元情報算出ステップとを有することを特徴とする。
また、本発明の第１の領域分割統合方法は、異なる視点位置で撮影された複数の画像データのうちの一つの画像データを基準画像、他の画像データを探索画像とし、前記基準画像を画像特徴に応じて小領域に分割する領域分割ステップと、該領域分割ステップにより分割された各小領域の境界線を検出する領域境界線検出ステップと、前記基準画像と前記探索画像間において、少なくとも前記領域境界線検出ステップにより検出された各小領域の境界線上の複数の点の対応を求め、各小領域の境界線上の複数の点の視差量を推定する視差量推定ステップと、該視差量推定ステップにより推定された境界線上にある複数の点の視差量の頻度分布を各小領域について作成する視差量頻度分布作成ステップと、該視差量頻度分布作成ステップにより作成された各小領域の視差量の頻度分布を解析する視差量頻度分布解析ステップと、該視差量頻度分布解析ステップにより解析された結果に基づいて各小領域の視差量を推定する領域視差量推定ステップと、該領域視差量推定ステップにより推定された各小領域の視差量と各小領域の色情報に基づく類似度に応じて小領域を統合する領域統合ステップとを有することを特徴とする。
また、本発明の第２の領域分割統合方法は、異なる視点位置で撮影された複数の画像データのうちの一つの画像データを基準画像、他の画像データを探索画像とし、前記基準画像を画像特徴に応じて小領域に分割する領域分割ステップと、該領域分割ステップにより分割された各小領域の境界線を検出する領域境界線検出ステップと、前記基準画像と前記探索画像間において、少なくとも前記領域境界線検出ステップにより検出された各小領域の境界線上の複数の点の対応を求め、各小領域の境界線上の複数の点の視差量を推定する視差量推定ステップと、該視差量推定ステップにより推定された境界線上の複数の点の視差量の頻度分布を各小領域について作成する視差量頻度分布作成ステップと、該視差量頻度分布作成ステップにより作成された各小領域の視差量の頻度分布を解析する視差量頻度分布解析ステップと、該視差量頻度分布解析ステップにより解析された結果に基づいて各小領域の視差量を推定する領域視差量推定ステップと、該領域視差量推定ステップにより視差量が推定された小領域と境界線が重複する小領域の視差量の頻度分布を修正する視差量頻度分布修正ステップと、該領域視差量推定ステップにより推定された各小領域の視差量と各小領域の色情報に基づく類似度に応じて小領域を統合する領域統合ステップとを有することを特徴とする。
また、本発明の第１の記憶媒体は、異なる視点位置で撮影された複数の画像データのうちの一つの画像データを基準画像、他の画像データを探索画像とし、前記基準画像を画像特徴に応じて小領域に分割する領域分割ステップと、該領域分割ステップにより分割された各小領域の境界線を検出する領域境界線検出ステップと、前記基準画像と前記探索画像間において、少なくとも前記領域境界線検出ステップにより検出された各小領域の境界線上の複数の点の対応を求め、各小領域の境界線上の複数の点の視差量を推定する視差量推定ステップと、該視差量推定ステップにより推定された境界線上の複数の点の視差量の頻度分布を各小領域について作成する視差量頻度分布作成ステップと、該視差量頻度分布作成ステップにより作成された各小領域の視差量の頻度分布を解析する視差量頻度分布解析ステップと、該視差量頻度分布解析ステップにより解析された結果に基づいて各小領域の視差量を推定する領域視差量推定ステップと、該領域視差量推定ステップにより推定された各小領域の視差量に基づいて三次元情報を算出する三次元情報算出ステップとを有することを特徴とする三次元情報抽出方法を実行するコンピュータプログラムを外部読出し可能に記憶する。
また、本発明の第２の記憶媒体は、異なる視点位置で撮影された複数の画像データのうちの一つの画像データを基準画像、他の画像データを探索画像とし、前記基準画像を画像特徴に応じて小領域に分割する領域分割ステップと、該領域分割ステップにより分割された各小領域の境界線を検出する領域境界線検出ステップと、前記基準画像と前記探索画像間において、少なくとも前記領域境界線検出ステップにより検出された各小領域の境界線上の複数の点の対応を求め、各小領域の境界線上の複数の点の視差量を推定する視差量推定ステップと、該視差量推定ステップにより推定された境界線上の複数の点の視差量の頻度分布を各小領域について作成する視差量頻度分布作成ステップと、該視差量頻度分布作成ステップにより作成された各小領域の視差量の頻度分布を解析する視差量頻度分布解析ステップと、該視差量頻度分布解析ステップにより解析された結果に基づいて各小領域の視差量を推定する領域視差量推定ステップと、該領域視差量推定ステップにより視差量が推定された小領域と境界線が重複する小領域の視差量の頻度分布を修正する視差量頻度分布修正ステップと、前記領域視差量推定ステップにより推定された視差量に基づいて三次元情報を算出する三次元情報算出ステップとを有することを特徴とする三次元情報抽出方法を実行するコンピュータプログラムを外部読出し可能に記憶する。
また、本発明の第３の記憶媒体は、異なる視点位置で撮影された複数の画像データのうちの一つの画像データを基準画像、他の画像データを探索画像とし、前記基準画像を画像特徴に応じて小領域に分割する領域分割ステップと、該領域分割ステップにより分割された各小領域の境界線を検出する領域境界線検出ステップと、前記基準画像と前記探索画像間において、少なくとも前記領域境界線検出ステップにより検出された各小領域の境界線上の複数の点の対応を求め、各小領域の境界線上の複数の点の視差量を推定する視差量推定ステップと、該視差量推定ステップにより推定された境界線上の複数の点の視差量の頻度分布を各小領域について作成する視差量頻度分布作成ステップと、該視差量頻度分布作成ステップにより作成された各小領域の視差量の頻度分布を解析する視差量頻度分布解析ステップと、該視差量頻度分布解析ステップにより解析された結果に基づいて各小領域の視差量を推定する領域視差量推定ステップと、該領域視差量推定ステップにより推定された各小領域の視差量と各小領域の色情報に基づく類似度に応じて小領域を統合する領域統合ステップとを有することを特徴とする領域分割統合方法を実行するコンピュータプログラムを外部読出し可能に記憶する。
また、本発明の第４の記憶媒体は、異なる視点位置で撮影された複数の画像データのうちの一つの画像データを基準画像、他の画像データを探索画像とし、前記基準画像を画像特徴に応じて小領域に分割する領域分割ステップと、該領域分割ステップにより分割された各小領域の境界線を検出する領域境界線検出ステップと、前記基準画像と前記探索画像間において、少なくとも前記領域境界線検出ステップにより検出された各小領域の境界線上の複数の点の対応を求め、各小領域の境界線上の複数の点の視差量を推定する視差量推定ステップと、該視差量推定ステップにより推定された境界線上の複数の点の視差量の頻度分布を各小領域について作成する視差量頻度分布作成ステップと、該視差量頻度分布作成ステップにより作成された各小領域の視差量の頻度分布を解析する視差量頻度分布解析ステップと、該視差量頻度分布解析ステップにより解析された結果に基づいて各小領域の視差量を推定する領域視差量推定ステップと、該領域視差量推定ステップにより視差量が推定された小領域と境界線が重複する小領域の視差量の頻度分布を修正する視差量頻度分布修正ステップと、該領域視差量推定ステップにより推定された各小領域の視差量と各小領域の色情報に基づく類似度に応じて小領域を統合する領域統合ステップとを有することを特徴とする領域分割統合方法を実行するコンピュータプログラムを外部読出し可能に記憶する。
上述したように、本発明によれば、基準となる画像を小領域に分割し、その小領域の境界線の視差を領域ベースのステレオ法により推定し、各領域において推定された境界線の視差の頻度分布を解析して領域の視差を推定することで、従来の領域ベースのステレオ法における、画像の濃淡の変化が極端に小さい領域における誤対応の発生、オクルージョン領域で視差が推定できない、および、距離の異なる物体の境界で物体輪郭線と視差の境界がずれる、という問題が改善された三次元情報推定が可能である。また、推定された三次元情報を分割された領域の統合のための特徴量に用いることで、被写体本来の形状により近い画像分割統合結果を得ることが可能である。
以下、本発明の各実施の形態を図面に基づき詳細に説明する。
（第１の実施の形態）
まず、本発明の第１の実施の形態を図1〜図２を参照して説明する。
図１は、本実施の形態における三次元情報抽出装置の構成を示すブロック図である。同図において、１００は本実施の形態における三次元情報抽出装置である。１０１は視点の異なる位置で撮影された複数枚の画像データを入力する画像入力部である。１０２は入力された複数の画像の一枚を基準画像とし、それを小領域に分割する初期領域分割部である。１０３は１０２により分割された基準画像の初期領域を、色情報および領域面積を基に統合する初期領域統合部である。１０４は初期領域統合により形成された領域の境界線を検出する領域境界線検出部である。１０５は１０４により検出された領域境界線上の画素について、領域ベースのステレオ法を用いて対応点を探索し、視差を推定する領域境界線の視差推定部である。１０６は、領域境界線上の各画素の視差から領域の境界線の視差の頻度分布を作成する領域境界線の視差頻度分布作成部である。１０７は各領域の領域境界線の視差頻度分布を解析し、各領域において頻度が最も高い視差の値を演算する領域境界線の視差頻度分布解析部である。１０８は１０７により演算された各領域の頻度が最も高い視差の値を領域内の各画素に補間する領域の視差推定部である。１０９は、三角測量の原理に基づいて視差値を距離情報に変換する距離推定部である。
図１の装置の動作について説明する。各部の演算処理の詳細は処理手順の説明において述べる。図１の装置の各部の処理と図2の処理ステップは対応しており、１０１〜１０９の処理は、１０１とS２０１、１０２とS２０２、・・・、１０９とS２０９のように順に対応している。まず、画像入力部１０１から視点の異なる位置で撮影された複数枚の画像が入力される。初期領域分割部１０２において、その入力された画像のうちの一枚を基準画像とし、基準画像が画像の濃淡に基づいて小領域に分割される。そして初期領域統合部１０３において分割された小領域に対して色情報が類似する隣接領域が順次統合され、また、面積が小さい領域が隣接する面積の大きい領域に統合される。領域境界線検出部１０４では、異なる領域が隣接している画素を境界線として各領域の境界線が検出される。領域境界線の視差推定部１０５では各領域の境界線上の各画素に対して領域ベースのステレオ法により対応点探索が行われ視差が推定される。領域境界線の視差頻度分布作成部１０６では、各領域ごとに境界線上の画素の視差から視差の頻度分布が作成される。領域境界線の視差頻度分布解析部１０７では各領域の視差の頻度分布の解析により各領域ごとに頻度が最も高い視差が演算され、領域の視差推定部に入力される。領域の視差推定部１０８では、１０７から入力された視差値を領域の視差として領域内の全画素に補間する。距離推定部１０９では、三角測量の原理に基づいて各画素の視差を被写体までの距離情報に変換し、出力する。
次に本実施の形態における三次元情報抽出方法の処理手順を図２のフローチャートを用いて詳細に説明する。
ステップＳ２０１で視点の異なる位置で撮影された基準画像と探索画像が入力される。Ｓ２０２では、基準画像を面積の小さい初期領域に分割する。ここではWatershedアルゴリズム(L.Vincent and P.Soille,”Watersheds in Digital Spaces:An Efficient Algorithm Based on Immersion Simulations”, IEEE Transactions Pattern Analysis and Machine Intelligence, vol.13, no.6, pp.583-598, June 1991)を用いて領域分割を行う。Watershedアルゴリズムは、画像の濃淡を地形的な高低とみなして、この地形に水がみたされていく様子を模した領域分割法である。地形に水が注がれたときに高度の低い盆地から水が満たされていき水位があがると水を蓄えた盆地をわける分水嶺が現れる。これを模して、画像の濃淡レベルの低い画素から近傍の画素の濃淡レベルの低い画素に領域を広げていき、異なる領域が交わる位置を境界線として画像を領域分割する方法である。閉じた境界線が得られることが特徴である。本実施の形態では、上記のWatershedアルゴリズムを明度値のエッジ画像に適用して領域分割を行う。
エッジ画像はRobinsonオペレータを用いて作成する。Robinsonオペレータは図３に示されるフィルタを４５度ずつ回転させた８つのフィルタを用いてエッジを検出するものであり、本実施の形態では、これらのフィルタの出力の最大値をエッジ強度として用いる。
本実施の形態で用いるwatershedアルゴリズムに基づく領域分割法について説明する。Robinsonオペレータを用いて作成されたエッジ画像において、まず画像を複数の区画に分け、各区画内でエッジが極小値となる画素にラベルを付与する。次に、これらのラベルの近傍画素のうち画像中で相対的にエッジ強度の低い画素に隣接する画素のラベルを伝播する。ただし、異なるラベルが付与された画素への伝播は行わない。この処理を繰り返し各ラベルを伝播し、画像中の全画素にラベルを付与する。これにより、被写体の輪郭などエッジ強度が大きい箇所に境界線をもつ領域分割を行うことができる。本実施の形態では、画像中で領域分割を均等に行うために、画像を区画に分け初期ラベルを付与している。
ステップＳ２０３では、ステップＳ２０２で分割された小さな小領域を各領域の隣接領域との類似度を基に統合していく。まず、分割された各領域について領域内の画素値の平均から平均色の明度、色相、彩度を算出する。そして各小領域の隣接関係を求める。次に隣接する領域との各色成分に関する類似度を数式（１）、数式（２）、数式（３）で求める。
Figure 2005165969
 ここで
Figure 2005165969
 はそれぞれ注目する領域ｎと隣接する領域ｍの色相、明度、彩度に関する類似度である。
Figure 2005165969
 は注目領域ｎの平均色の色相、明度、彩度であり、
Figure 2005165969
 は隣接領域ｍの平均色の色相、明度、彩度である。Ｈthは注目領域と隣接領域の色相の角度の差に対する閾値であり、色相の差が閾値より大きい場合は
Figure 2005165969
 は１となる。Ｌmax、Ｓmaxは明度、彩度の最大値である。これらの類似度を統合し、隣接領域の類似度
Figure 2005165969
 を数式（４）で計算する。
Figure 2005165969
 ここで、ｗH、ｗL、ｗSはそれぞれ色相、明度、彩度の類似度に対する重みである。
画像中の隣接するすべての小領域の組について上記の領域間の類似度を算出し、類似度が最も小さい隣接領域の組から統合を行っていく。この隣接領域の統合は領域間の類似度が閾値以下の場合に行われる。次に、各領域の面積を計数し、対応点探索に用いられるブロックサイズより面積が小さい領域を、領域の類似度が最も小さい隣接領域に統合する。この処理により、対応点探索に用いられるブロックサイズより面積が大きく、画像の特徴に応じた境界線をもつ領域に分割される。これは領域の面積に対するブロックサイズの割合を低くし、領域の局所的な特徴の対応点を多数求めることで、視差の解析に十分な視差データを得るためである。図４は初期領域統合の処理結果を模式的に示す図である。図４(a)は入力された基準画像、図４(b)は初期領域統合の結果を示す。図示されているように初期領域統合では、被写体に対して過分割された状態である。ここで行われる領域統合は対応点探索に用いられるブロックサイズより大きくする程度であるため、類似度の閾値設定は厳密なものでなくてよく、領域が過剰に統合されないように設定すればよい。本実施の形態では、隣接領域間の類似度を領域内の平均色の明度、色相、彩度の差に基づく類似度としたが他の領域統合手法を用いてもよい。
次にステップＳ２０４において領域の境界線が検出される。隣接する画素が異なる領域である画素を境界線を構成する画素として各領域に対して境界線検出を行う。
ステップＳ２０５では、検出された境界線を構成する各画素について、画素を中心としたＸ×Ｙ画素の領域Ｂをブロックとして探索画像中で対応点探索を行う。ブロックの類似度は、数式（５）で示される残差絶対値和ＳＳＡＤを用いる。
Figure 2005165969
 ここでＴ(i,j)は基準画像中の画像ブロック内の画素の画素値を、Ｉ(i,j)は画像ブロックと比較される探索画像中の小領域内の画素の画素値を示している。Ｅ(x,y)は探索画像中を(x,y)だけ移動した位置における画素値の差の絶対値和を表している。探索範囲中で上記のＳＳＡＤの値が最小となる領域の中心を対応点として決定し、基準画像の注目点と対応点の座標のずれを視差として算出する。これを検出された境界線を構成する全画素について行う。本実施の形態では、対応点探索に用いるブロックのサイズは画像中で一定とし領域統合における領域の面積をブロックサイズを考慮して設定しているが、領域統合の結果から領域の面積に応じてブロックのサイズを適応的に変更することも可能である。また、対応点探索に用いるブロックの類似度には、残差二乗和や正規化相関係数を用いてもよい。
ステップＳ２０６では、ステップＳ２０５で推定された境界線上の画素の視差値から、各領域ごとに境界線上の各画素の視差値の頻度分布を作成する。視差値の頻度分布は視差値ごとにその視差値をもつ画素の数を計数することで作成する。図５は領域境界線上の画素の視差値の頻度分布を模式的に示すグラフである。視差値には誤対応による誤った視差値が含まれている可能性があり、そのような場合、図５のように被写体本来の視差値に頻度のピークが生じるとともに誤対応によって生じる視差値が散在する頻度分布となる。
ステップＳ２０７では、ステップＳ２０６で作成された各領域ごとの境界線の視差値の頻度分布から最大頻度を示す視差値を抽出する。この値がその領域の視差値となる。ステレオ法においては、誤対応により誤った視差値が生じる可能性があり、これらの視差値を用いると三次元情報抽出の精度が劣化してしまう。そのため、本実施の形態では領域境界線上の画素の視差値のうち最大頻度を示す視差値を領域の視差値として設定することにより、誤対応による視差値の影響を除去し三次元情報抽出の精度劣化の問題を改善することが可能である。
ステップＳ２０８では、ステップＳ２０７で算出された各領域の視差値を領域内のすべての画素に補間する。これにより、画像中の全ての画素に視差の補間が行われる。
ステップＳ２０９では、各画素の視差を三角測量の原理に基づき撮像装置から被写体までの距離を算出する。
以上、詳細に説明したように、被写体の輪郭を反映した領域分割により画像に特徴のある境界線を抽出しその境界線についてのみ領域ベースのステレオ法を用いることで、画像特徴が極端に少ない領域における誤対応の発生を抑制し、誤対応の影響などを除去するための統計的な解析に用いる視差データを画像に応じて得ることができるため、全画像内で誤りの少ない視差を簡易な処理で求めることができる。基準画像のみ領域分割が必要とされるため、従来の特徴ベースのステレオ法のように基準画像、探索画像で等しく特徴を抽出する必要はなく、簡便な処理で信頼性の高い対応点探索が可能である。領域の視差の頻度分布の最も高い値を領域の視差値として用いるため、オクルージョン領域および物体の輪郭部での誤対応の影響を軽減することができる。これらにより、視差のばらつきが少なく、被写体の輪郭部においても精度のよい三次元情報の抽出が可能である。また、画像に応じた処理が可能であり、各処理の設定も容易かつ許容範囲が広いため、複雑な画像や自然シーンに対して頑強な処理を実現できる。
(第２の実施の形態)
本発明の第２の実施の形態を図６〜図７を参照して説明する。
図６は、本実施の形態における三次元情報抽出装置の構成を示すブロック図である。同図において、６００は本実施の形態における三次元情報抽出装置である。６０１は視点の異なる位置で撮影された複数枚の画像データを入力する画像入力部である。６０２は入力された複数の画像の一枚を基準画像としそれを小領域に分割する初期領域分割部である。６０３は６０２により分割された基準画像の初期領域を、色情報および領域面積を基に統合する初期領域統合部である。６０４は初期領域統合により形成された領域の境界線を検出する領域境界線検出部である。６０５は６０４により検出された領域境界線上の画素について、領域ベースのステレオ法を用いて対応点を探索し視差を推定する領域境界線の視差推定部である。６０６は、領域境界線上の各画素の視差から領域の境界線の視差の頻度分布を作成する領域境界線の視差頻度分布作成部である。６０７は各領域の領域境界線の視差頻度分布を解析し、各領域における視差の平均値、分散、及び頻度が最も高い視差の値を演算する領域境界線の視差頻度分布解析部である。６０８は６０７により算出された視差の平均値、分散を判定することにより視差推定を行う領域を決定し、最大頻度の視差を用いて領域の視差を推定する領域視差推定部である。６０９は視差推定が行われた領域と隣接する領域の視差頻度分布を修正する領域境界線の視差頻度分布修正部である。６１０は視差推定の行えない領域の視差を隣接する領域の視差から補間する領域視差補間部である。６１１は三角測量の原理に基づいて視差値を距離情報に変換する距離推定部である。
図６の装置の動作について説明する。各部の演算処理の詳細は処理手順の説明において述べる。図６の装置の各部の処理と図７の処理ステップは対応しており、６０１〜６１１における処理は、６０１とS７０１、６０２とS７０２、・・・、６１１とS７１１のように順に対応している。６０１〜６０５は第１の実施の形態における１０１〜１０５と同様な動作であり、説明を省略する。領域境界線の視差頻度分布作成部６０６では、各領域ごとに境界線上の各画素の視差から視差の頻度分布が作成される。このとき各画素のエッジ強度により各画素の視差の頻度分布への寄与の重みが変更される。領域境界線の視差頻度分布解析部６０７では、各領域の視差の頻度分布が解析され、各領域の視差の平均値、分散、及び、最大頻度の視差値が演算され、領域の視差推定部に入力される。領域の視差推定部６０８では、６０７から入力された各領域の視差の平均値および分散を判定し、平均値が高く、分散の小さい領域から順に、６０７から入力された最大頻度の視差値を領域の視差として領域内の全画素に補間する。領域境界線の視差頻度分布修正部６０９では、視差推定された領域と境界が重複する領域の視差の頻度分布から境界線の重複部分の視差を除去する。領域の視差推定と頻度分布の修正を繰り返し行い、順に領域の視差を推定する。領域視差補間部６１０では、視差推定を行うことができなかった領域の視差を推定がすでに行われ平均色が類似した隣接領域の視差を用いて補間する。距離推定部６１１では、三角測量の原理に基づいて各画素の視差を被写体までの距離情報に変換し出力する。
次に本実施の形態における三次元情報抽出方法の処理手順を図７のフローチャートを用いて詳細に説明する。
ステップＳ７０１〜Ｓ７０５までの処理は第１の実施の形態のステップＳ２０１〜Ｓ２０５と同様であり、ここでは説明を省略する。ステップＳ７０６では、ステップＳ７０５で推定された各領域ごとの境界線上の各画素の視差から、視差の頻度分布を作成する。ここで、第１の実施の形態とは異なり、境界線上の画素のエッジ強度により各画素の視差の頻度分布への寄与を次式のように変更する。
Ｃn(i,j)＝Ｄ(i,j)／Ｄmax …（６）
ここで、Ｃn(i,j)は領域ｎの座標(i,j)の境界線上の画素の視差の頻度分布への寄与であり、Ｄ(i,j)は座標(i,j)のエッジ強度、Ｄmaxはエッジ強度の最大値である。エッジ強度が強いほど視差の頻度分布への寄与が大きくなり、画像の特徴が強く領域ベースのステレオ法で信頼性の高い視差を推定する可能性の高い画素からの寄与を大きくすることで、より精度よく領域の視差推定が可能となる。視差の頻度分布への寄与の変更は数式（６）に限ったわけではなく、エッジ強度が強いほど視差の頻度分布への寄与を大きくすればよい。
ステップＳ７０７では、各領域ごとに境界線上の視差の頻度分布の解析を行う。ステップＳ７０７−１では、各領域ごとに境界線上の視差の頻度分布を解析し視差の平均値および分散を算出し、ステップＳ７０７−２では視差の頻度分布から最大頻度の視差値を求める。本実施の形態では最大頻度の視差値を求めているが、その視差値を中心とした所定の範囲内の頻度が最大となる視差値を用いてもよい。
ステップＳ７０８では、各領域の視差の推定を行う。ステップＳ７０８−１では、各領域の境界線上の視差の平均値および分散から視差推定を行う領域を決定する。ここでは、平均値が高く、分散の小さい順に視差推定を行う領域を決定する。図８は領域境界線上の画素の視差の頻度分布を模式的に示すグラフである。画像中で距離の異なる物体の輪郭により領域の境界線が形成される場合、図８(a)のように境界線上の視差の頻度分布は多峰性を示し、視差の分散は高くなる。また、分散が小さいということは誤対応などの誤った視差の影響が少ないということがいえる。このため分散が小さい領域ほどその領域は一様な視差を有し信頼性の高い視差推定が行われている可能性が高く、そのような領域から優先的に視差を決定していく。画像中で距離の異なる物体の輪郭により形成される境界線は距離の近い物体により遮へいされて生じるものであり、境界線の一部は距離の近い物体の輪郭を反映しており、その部分の視差は距離の近い物体の視差である。そのため、距離の近い物体から領域を推定していき、その領域と境界線が重複する隣接領域の視差の頻度分布からその領域の境界線との重複部分の視差を除去することで、距離の近い物体の視差に影響されず領域の視差の推定ができる。このことから、視差の平均値が高い領域を優先して領域の視差を推定していく。このような領域の境界線の視差の特性から、平均値が高く、分散の小さい領域から順に視差を推定していくことで、より高精度な視差推定が可能となる。本実施の形態では、平均値及び分散により、距離が近く、かつ、一様な視差をもつ領域であるかどうかを判断したが、その他の評価尺度を用いてもよい。ステップＳ７０８−２では、領域境界線上の視差の平均および分散から視差推定を行うことが決定した領域について、その領域の最大頻度の視差値で領域内の全画素に対して視差の補間を行う。ステップＳ７０８−３では、全ての領域境界線が視差推定に用いられたかか否かを判断し、全ての領域境界線が視差推定に用いられた場合には、ステップＳ７１０に進む。視差推定に用いられていない領域境界線が存在する場合、ステップＳ７０９に進む。
ステップＳ７０９では、視差推定がなされた領域と境界線が重複する隣接領域の視差の頻度分布から重複部分の視差を除去する。図８(b)は図８(a)の頻度分布の修正を行った結果を模式的に示すグラフである。撮像装置からの距離が小さい物体により形成される境界線部分の視差が除去され、領域本来の視差値に単峰性のピークを有する頻度分布に修正されている。撮像装置からの距離が小さい領域から視差を推定し、推定された領域の境界線の視差を隣接する領域の境界線の視差から除去することで、距離が異なる複数の物体の輪郭によって画像中で境界線が形成されている領域に対して、距離の小さい物体の輪郭の視差を用いることなく精度よく領域の視差を推定することができる。この処理が終了した後、ステップＳ７０７に戻り、Ｓ７０７〜Ｓ７０８の処理を繰り返し、順次、領域の視差を推定していく。
ステップＳ７１０では、ステップＳ７１０−１により全ての領域の視差が推定されたか否かを判断し、全ての領域の視差が推定されている場合には、ステップＳ７１１に進む。視差が推定されていない領域が存在する場合は、ステップＳ７１０−２に進み、初期領域統合と同様の類似度を用い隣接領域間の類似度が最も小さい隣接領域の視差を領域の視差として領域内の画素に視差を補間する。
ステップＳ７１１では、第１の実施の形態と同様に三角測量の原理に基づき撮像装置から被写体までの距離を算出する。
以上、詳細に説明したように、領域境界線の視差の頻度分布の解析により算出された視差の平均値および分散から視差推定を行う順番を決定し視差推定が行われた領域と境界線が重複する隣接領域の視差の頻度分布から重複部分の視差を除去することで、被写体の輪郭部など異なる距離の複数の物体によって境界線が形成される領域において手前側の被写体に遮へいされることによって生じる境界線の視差を除去することができ、被写体の輪郭部と視差の境界のずれのない精度のよい三次元情報の抽出が可能である。また、視差の頻度分布を作成する際に、エッジ強度に応じて境界線上の各画素の視差の寄与を変更し、特徴が強く信頼の高い視差推定が行える画素の視差の寄与を重くし、特徴が少なく誤対応が生じやすい画素の視差の寄与を小さくすることで、更に領域の視差推定の精度の向上が可能である。
（第３の実施の形態）
まず、本発明の第３の実施の形態を図９〜図１０を参照して説明する。
図９は、本実施の形態における領域分割統合装置の構成を示すブロック図である。同図において、９００は本実施の形態における領域分割統合装置である。９０１は視点の異なる位置で撮影された複数枚の画像データを入力する画像入力部である。９０２は入力された複数の画像の一枚を基準画像とし、それを小領域に分割する初期領域分割部である。９０３は９０２により分割された基準画像の初期領域を、色情報および領域面積を基に統合する初期領域統合部である。９０４は初期領域統合により形成された領域の境界線を検出する領域境界線検出部である。９０５は９０４により検出された領域境界線上の画素について、領域ベースのステレオ法を用いて対応点を探索し、視差を推定する領域境界線の視差推定部である。９０６は、領域境界線上の各画素の視差から領域の境界線の視差の頻度分布を作成する領域境界線の視差頻度分布作成部である。９０７は各領域の領域境界線の視差頻度分布を解析し、各領域において頻度が最も高い視差の値を演算する領域境界線の視差頻度分布解析部である。９０８は９０７により演算された各領域の頻度が最も高い視差の値を領域内の各画素に補間する領域の視差推定部である。９０９は、色情報および視差情報を基に領域を統合する領域統合部である。
図９の装置の動作について説明する。各部の演算処理の詳細は処理手順の説明において述べる。図９の装置の各部の処理と図１０の処理ステップは対応しており、９０１〜９０９における処理は、９０１とS１００１、９０２とS１００２、・・・、９０９とS１００９のように順に対応している。９０１〜９０８は第１の実施の形態と同様な動作であり、説明を省略する。領域統合部９０９では、初期領域統合部９０３で統合された各領域の平均色の類似度と９０８までに推定された各領域の視差値の類似度に基づいて領域統合を行い、領域分割統合結果を出力する。
次に本実施の形態における領域分割統合方法の処理手順を図１０のフローチャートを用いて詳細に説明する。
ステップＳ１００１〜Ｓ１００８までの処理手順は第１の実施の形態と同様である。ステップＳ１００９では各領域の平均色の類似度と視差値の類似度に基づいて領域統合を行う。平均色の類似度は第１の実施の形態と同様に数式（４）で示される類似度
Figure 2005165969
 を用いる。視差値の類似度は数式（７）を用いて算出する。
Figure 2005165969
 ここで、
Figure 2005165969
 は注目する領域ｎと隣接する領域ｍの視差値の類似度である。
Figure 2005165969
 はそれぞれ注目領域の視差値、隣接領域の視差値である。Ｐmaxは画像中の視差値の最大値である。これらの各類似度から隣接領域間の類似度ΔＳimmnを数式（８）で算出する。
Figure 2005165969
 ここでｗV、ｗPはそれぞれ平均色および視差の類似度に対する重みである。画像中の隣接するすべての領域の組について上記の領域間の類似度を算出し、類似度が最も小さい隣接領域の組から統合を行っていく。この隣接領域の統合は領域間の類似度が閾値以下の場合に行われる。本実施の形態では、平均色の類似度および視差の類似度を用いたが、色に関する他の類似度や、視差を変換することにより得られる距離情報などを用いてもよい。
以上、詳細に説明したように、物体輪郭と視差の境界にずれが生じない視差情報を領域統合に用いることで、多数の異なる色を持つ被写体に対しても領域統合が容易でかつ、被写体輪郭が正確に反映された画像に応じた領域分割統合結果を得ることができる。
本実施の形態では、領域分割をWatershedアルゴリズムにより行なっているが、例えば、領域成長法など用いてもよい。
また、本実施の形態では、視差を三角測量の原理に基づき撮像装置からの距離に変換し出力しているが、三次元情報の出力の形態としては、変換を行わずに視差値を出力してもよい。また、視差値あるいは撮像装置からの距離を変換した他の形態の出力をする場合も本発明に含まれる。
また、本発明は、上記説明した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはＣＰＵやＭＰＵ)が記憶媒体に格納されたプログラムコードを読み出し実行することにも適用できる。
この場合、記憶媒体から読み出されたプログラムコード自体が、上記説明した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
また、コンピュータが読み出したプログラムコードを実行することにより、上記説明した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって、上記説明した実施の形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上記説明した実施の形態の機能が実現される場合も含まれることは言うまでもない。
本発明の第１の実施の形態における三次元情報抽出装置の構成を示すブロック図である。 本発明の第１の実施の形態における三次元情報抽出方法の処理手順を示すフローチャートである。 本発明の第１の実施の形態におけるエッジ画像を作成する際に用いるRobinsonオペレータを示す図である。 本発明の第1の実施の形態における初期領域統合結果を模式的に示す図である。 本発明の第１の実施の形態における領域境界線の視差頻度分布の作成結果を模式的に示すグラフである。 本発明の第２の実施の形態における三次元情報抽出装置の構成を示すブロック図である。 本発明の第２の実施の形態における三次元情報抽出方法の処理手順を示すフローチャートである。 本発明の第２の実施の形態における領域境界線の視差頻度分布の作成結果を模式的に示すグラフである。 本発明の第３の実施の形態における領域分割統合装置の構成を示すブロック図である。 本発明の第３の実施の形態における領域分割統合方法の処理手順を示すフローチャートである。
符号の説明
１００ 三次元情報抽出装置
１０１ 画像入力部
１０２ 初期領域分割部
１０３ 初期領域統合部
１０４ 領域境界線検出部
１０５ 領域境界線の視差推定部
１０６ 領域境界線の視差頻度分布作成部
１０７ 領域境界線の視差頻度分布解析部
１０８ 領域の視差推定部
１０９ 距離推定部
６００ 三次元情報抽出装置
６０１ 画像入力部
６０２ 初期領域分割部
６０３ 初期領域統合部
６０４ 領域境界線検出部
６０５ 領域境界線の視差推定部
６０６ 領域境界線の視差頻度分布作成部
６０７ 領域境界線の視差頻度分布解析部
６０８ 領域視差推定部
６０９ 領域境界線の視差頻度分布修正部
６１０ 領域視差補間部
６１１ 距離推定部
９００ 領域分割統合装置
９０１ 画像入力部
９０２ 初期領域分割部
９０３ 初期領域統合部
９０４ 領域境界線検出部
９０５ 領域境界線の視差推定部
９０６ 領域境界線の視差頻度分布作成部
９０７ 領域境界線の視差頻度分布解析部
９０８ 領域の視差推定部
９０９ 領域統合部

Claims (30)

  1. 異なる視点位置で撮影された複数の画像データを入力する画像入力手段と、
    該画像入力手段により入力された画像データのうちの一つの基準画像データを小領域に分割する領域分割手段と、
    該領域分割手段により分割された各小領域の境界線を検出する領域境界線検出手段と、
    前記画像入力手段により入力された複数の画像のうちの基準画像と他の画像間において、少なくとも前記領域境界線検出手段により検出された各小領域の境界線上の複数の点の対応を求め、各小領域の境界線上の複数の点の視差量を推定する視差量推定手段と、
    該視差量推定手段により推定された境界線上にある複数の点の視差量の頻度分布を各小領域について作成する視差量頻度分布作成手段と、
    該視差量頻度分布作成手段により作成された各小領域の視差量の頻度分布を解析する視差量頻度分布解析手段と、
    該視差量頻度分布解析手段により解析された結果に基づいて各小領域の視差量を推定する領域視差量推定手段と、
    該領域視差量推定手段により推定された各小領域の視差量に基づいて三次元情報を算出する三次元情報算出手段と、
    を備えることを特徴とする三次元情報抽出装置。
  2. 前記視差量頻度分布解析手段が、各小領域の視差量の頻度分布から各小領域について最大頻度の視差量を算出し、
    前記領域視差量推定手段が、各小領域の前記最大頻度の視差量を小領域の視差量として各小領域の視差量を推定することを特徴とする請求項１に記載の三次元情報抽出装置。
  3. 異なる視点位置で撮影された複数の画像データを入力する画像入力手段と、
    該画像入力手段により入力された画像データのうちの一つの基準画像データを小領域に分割する領域分割手段と、
    該領域分割手段により分割された各小領域の境界線を検出する領域境界線検出手段と、
    前記画像入力手段により入力された複数の画像のうちの基準画像と他の画像間において、少なくとも前記領域境界線検出手段により検出された各小領域の境界線上の複数の点の対応を求め、各小領域の境界線上の複数の点の視差量を推定する視差量推定手段と、
    前記視差量推定手段により推定された境界線上の複数の点の視差量の頻度分布を各小領域について作成する視差量頻度分布作成手段と、
    該視差量頻度分布作成手段により作成された各小領域の視差量の頻度分布を解析する視差量頻度分布解析手段と、
    該視差量頻度分布解析手段により解析された結果に基づいて各小領域の視差量を推定する領域視差量推定手段と、
    該領域視差量推定手段により視差量が推定された小領域と境界線が重複する小領域の視差量の頻度分布を修正する視差量頻度分布修正手段と、
    前記領域視差量推定手段により推定された視差量に基づいて三次元情報を算出する三次元情報算出手段と、
    を備えることを特徴とする三次元情報抽出装置。
  4. 前記視差量頻度分布解析手段が、各小領域の視差量の頻度分布から各小領域について視差量の平均値、分散および最大頻度の視差量を算出し、
    前記領域視差量推定手段が、前記視差量の平均値が画像中の小領域の中で相対的に高く、前記視差量の分散が画像中の小領域の中で相対的に小さい小領域から順に、各小領域の前記最大頻度の視差量を小領域の視差量として各小領域の視差量を推定し、
    前記視差量頻度分布修正手段が、前記領域視差量推定手段により視差量が推定された小領域と境界線が重複する小領域の視差量頻度分布から境界線が重複する部分の視差量を除去することを特徴とする請求項３に記載の三次元情報抽出装置。
  5. 前記視差量頻度分布作成手段が、各小領域の境界線上の各点の画像特徴量に応じて該各点の視差量の頻度分布への寄与を変更して頻度分布を作成することを特徴とする請求項１から４にいずれか記載の三次元情報抽出装置。
  6. 異なる視点位置で撮影された複数の画像データを入力する画像入力手段と、
    該画像入力手段により入力された画像データのうちの一つの基準画像データを小領域に分割する領域分割手段と、
    該領域分割手段により分割された各小領域の境界線を検出する領域境界線検出手段と、
    前記画像入力手段により入力された複数の画像のうちの基準画像と他の画像間において、少なくとも前記領域境界線検出手段により検出された境界線上の複数の点の対応を求め、該境界線上の複数の点の視差量を推定する視差量推定手段と、
    前記視差量推定手段により推定された境界線上の複数の点の視差量の頻度分布を各小領域について作成する視差量頻度分布作成手段と、
    該視差量頻度分布作成手段により作成された視差量の頻度分布を解析する視差量頻度分布解析手段と、
    該視差量頻度分布解析手段により解析された結果に基づいて各小領域の視差量を推定する領域視差量推定手段と、
    該領域視差量推定手段により推定された各小領域の視差量と各小領域の色情報に基づく類似度に応じて小領域を統合する領域統合手段と、
    を備えることを特徴とする領域分割統合装置。
  7. 前記視差量頻度分布解析手段が、各小領域の視差量の頻度分布から各小領域について最大頻度の視差量を算出し、
    前記領域視差量推定手段が、各小領域の前記最大頻度の視差量を小領域の視差量として各小領域の視差量を推定することを特徴とする請求項６に記載の領域分割統合装置。
  8. 異なる視点位置で撮影された複数の画像データを入力する画像入力手段と、
    該画像入力手段により入力された画像データのうちの一つの基準画像データを小領域に分割する領域分割手段と、
    該領域分割手段により分割された各小領域の境界線を検出する領域境界線検出手段と、
    前記画像入力手段により入力された複数の画像のうちの基準画像と他の画像間において、少なくとも前記領域境界線検出手段により検出された境界線上の複数の点の対応を求め、該境界線上の複数の点の視差量を推定する視差量推定手段と、
    前記視差量推定手段により推定された境界線上の複数の点の視差量の頻度分布を各小領域について作成する視差量頻度分布作成手段と、
    該視差量頻度分布作成手段により作成された視差量の頻度分布を解析する視差量頻度分布解析手段と、
    該視差量頻度分布解析手段により解析された結果に基づいて各小領域の視差量を推定する領域視差量推定手段と、
    前記領域視差量推定手段により視差量が推定された小領域と境界線が重複する小領域の視差量の頻度分布を修正する視差量頻度分布修正手段と、
    該領域視差量推定手段により推定された各小領域の視差量と各小領域の色情報に基づく類似度に応じて小領域を統合する領域統合手段と、
    を備えることを特徴とする領域分割統合装置。
  9. 前記視差量頻度分布解析手段が、各小領域の視差量の頻度分布から各小領域について視差量の平均値、分散および最大頻度の視差量を算出し、
    前記領域視差量推定手段が、前記視差量の平均値が画像中の小領域の中で相対的に高く、前記視差量の分散が画像中の小領域の中で相対的に小さい小領域から順に、各小領域の前記最大頻度の視差量を小領域の視差量として各小領域の視差量を推定し、
    前記視差量頻度分布修正手段が、前記領域視差量推定手段により視差量が推定された小領域と境界線が重複する小領域の視差量頻度分布から境界線が重複する部分の視差量を除去することを特徴とする請求項８に記載の領域分割統合装置。
  10. 前記視差量頻度分布作成手段が、各小領域の境界線上の各点の画像特徴量に応じて該各点の視差量の頻度分布への寄与を変更して頻度分布を作成することを特徴とする請求項５から９にいずれか記載の領域分割統合装置。
  11. 異なる視点位置で撮影された複数の画像データのうちの一つの画像データを基準画像、他の画像データを探索画像とし、
    前記基準画像を画像特徴に応じて小領域に分割する領域分割ステップと、
    該領域分割ステップにより分割された各小領域の境界線を検出する領域境界線検出ステップと、
    前記基準画像と前記探索画像間において、少なくとも前記領域境界線検出ステップにより検出された各小領域の境界線上の複数の点の対応を求め、各小領域の境界線上の複数の点の視差量を推定する視差量推定ステップと、
    該視差量推定ステップにより推定された境界線上の複数の点の視差量の頻度分布を各小領域について作成する視差量頻度分布作成ステップと、
    該視差量頻度分布作成ステップにより作成された各小領域の視差量の頻度分布を解析する視差量頻度分布解析ステップと、
    該視差量頻度分布解析ステップにより解析された結果に基づいて各小領域の視差量を推定する領域視差量推定ステップと、
    該領域視差量推定ステップにより推定された各小領域の視差量に基づいて三次元情報を算出する三次元情報算出ステップと、
    を有することを特徴とする三次元情報抽出方法。
  12. 前記視差量頻度分布解析ステップが、各小領域の視差量の頻度分布から各小領域について最大頻度の視差量を算出し、
    前記領域視差量推定ステップが、各小領域の前記最大頻度の視差量を小領域の視差量として各小領域の視差量を推定することを特徴とする請求項１１に記載の三次元情報抽出方法。
  13. 異なる視点位置で撮影された複数の画像データのうちの一つの画像データを基準画像、他の画像データを探索画像とし、
    前記基準画像を画像特徴に応じて小領域に分割する領域分割ステップと、
    該領域分割ステップにより分割された各小領域の境界線を検出する領域境界線検出ステップと、
    前記基準画像と前記探索画像間において、少なくとも前記領域境界線検出ステップにより検出された各小領域の境界線上の複数の点の対応を求め、各小領域の境界線上の複数の点の視差量を推定する視差量推定ステップと、
    該視差量推定ステップにより推定された境界線上の複数の点の視差量の頻度分布を各小領域について作成する視差量頻度分布作成ステップと、
    該視差量頻度分布作成ステップにより作成された各小領域の視差量の頻度分布を解析する視差量頻度分布解析ステップと、
    該視差量頻度分布解析ステップにより解析された結果に基づいて各小領域の視差量を推定する領域視差量推定ステップと、
    該領域視差量推定ステップにより視差量が推定された小領域と境界線が重複する小領域の視差量の頻度分布を修正する視差量頻度分布修正ステップと、
    前記領域視差量推定ステップにより推定された視差量に基づいて三次元情報を算出する三次元情報算出ステップと、
    を有することを特徴とする三次元情報抽出方法。
  14. 前記視差量頻度分布解析ステップが、各小領域の視差量の頻度分布から各小領域について視差量の平均値、分散および最大頻度の視差量を算出し、
    前記領域視差量推定ステップが、前記視差量の平均値が画像中の小領域の中で相対的に高く、前記視差量の分散が画像中の小領域の中で相対的に小さい小領域から順に、各小領域の前記最大頻度の視差量を小領域の視差量として各小領域の視差量を推定し、
    前記視差量頻度分布修正ステップが、前記領域視差量推定ステップにより視差量が推定された小領域と境界線が重複する小領域の視差量頻度分布から境界線が重複する部分の視差量を除去することを特徴とする請求項１３に記載の三次元情報抽出方法。
  15. 前記視差量頻度分布作成ステップが、各小領域の境界線上の各点の画像特徴量に応じて該各点の視差量の頻度分布への寄与を変更して頻度分布を作成することを特徴とする請求項１１から１４にいずれか記載の三次元情報抽出方法。
  16. 異なる視点位置で撮影された複数の画像データのうちの一つの画像データを基準画像、他の画像データを探索画像とし、
    前記基準画像を画像特徴に応じて小領域に分割する領域分割ステップと、
    該領域分割ステップにより分割された各小領域の境界線を検出する領域境界線検出ステップと、
    前記基準画像と前記探索画像間において、少なくとも前記領域境界線検出ステップにより検出された各小領域の境界線上の複数の点の対応を求め、各小領域の境界線上の複数の点の視差量を推定する視差量推定ステップと、
    該視差量推定ステップにより推定された境界線上の複数の点の視差量の頻度分布を各小領域について作成する視差量頻度分布作成ステップと、
    該視差量頻度分布作成ステップにより作成された各小領域の視差量の頻度分布を解析する視差量頻度分布解析ステップと、
    該視差量頻度分布解析ステップにより解析された結果に基づいて各小領域の視差量を推定する領域視差量推定ステップと、
    該領域視差量推定ステップにより推定された各小領域の視差量と各小領域の色情報に基づく類似度に応じて小領域を統合する領域統合ステップと、
    を有することを特徴とする領域分割統合方法。
  17. 前記視差量頻度分布解析ステップが、各小領域の視差量の頻度分布から各小領域について最大頻度の視差量を算出し、
    前記領域視差量推定ステップが、各小領域の前記最大頻度の視差量を小領域の視差量として各小領域の視差量を推定することを特徴とする請求項１６に記載の領域分割統合方法。
  18. 異なる視点位置で撮影された複数の画像データのうちの一つの画像データを基準画像、他の画像データを探索画像とし、
    前記基準画像を画像特徴に応じて小領域に分割する領域分割ステップと、
    該領域分割ステップにより分割された各小領域の境界線を検出する領域境界線検出ステップと、
    前記基準画像と前記探索画像間において、少なくとも前記領域境界線検出ステップにより検出された各小領域の境界線上の複数の点の対応を求め、各小領域の境界線上の複数の点の視差量を推定する視差量推定ステップと、
    該視差量推定ステップにより推定された境界線上の複数の点の視差量の頻度分布を各小領域について作成する視差量頻度分布作成ステップと、
    該視差量頻度分布作成ステップにより作成された各小領域の視差量の頻度分布を解析する視差量頻度分布解析ステップと、
    該視差量頻度分布解析ステップにより解析された結果に基づいて各小領域の視差量を推定する領域視差量推定ステップと、
    該領域視差量推定ステップにより視差量が推定された小領域と境界線が重複する小領域の視差量の頻度分布を修正する視差量頻度分布修正ステップと、
    該領域視差量推定ステップにより推定された各小領域の視差量と各小領域の色情報に基づく類似度に応じて小領域を統合する領域統合ステップと、
    を有することを特徴とする領域分割統合方法。
  19. 前記視差量頻度分布解析ステップが、各小領域の視差量の頻度分布から各小領域について視差量の平均値、分散および最大頻度の視差量を算出し、
    前記領域視差量推定ステップが、前記視差量の平均値が画像中の小領域の中で相対的に高く、前記視差量の分散が画像中の小領域の中で相対的に小さい小領域から順に、各小領域の前記最大頻度の視差量を小領域の視差量として各小領域の視差量を推定し、
    前記視差量頻度分布修正ステップが、前記領域視差量推定ステップにより視差量が推定された小領域と境界線が重複する小領域の視差量頻度分布から境界線が重複する部分の視差量を除去することを特徴とする請求項１８に記載の領域分割統合方法。
  20. 前記視差量頻度分布作成ステップが、各小領域の境界線上の各点の画像特徴量に応じて該各点の視差量の頻度分布への寄与を変更して頻度分布を作成することを特徴とする請求項１６から１９にいずれか記載の領域分割統合方法。
  21. 異なる視点位置で撮影された複数の画像データのうちの一つの画像データを基準画像、他の画像データを探索画像とし、
    前記基準画像を画像特徴に応じて小領域に分割する領域分割ステップと、
    該領域分割ステップにより分割された各小領域の境界線を検出する領域境界線検出ステップと、
    前記基準画像と前記探索画像間において、少なくとも前記領域境界線検出ステップにより検出された各小領域の境界線上の複数の点の対応を求め、各小領域の境界線上の複数の点の視差量を推定する視差量推定ステップと、
    該視差量推定ステップにより推定された境界線上の複数の点の視差量の頻度分布を各小領域について作成する視差量頻度分布作成ステップと、
    該視差量頻度分布作成ステップにより作成された各小領域の視差量の頻度分布を解析する視差量頻度分布解析ステップと、
    該視差量頻度分布解析ステップにより解析された結果に基づいて各小領域の視差量を推定する領域視差量推定ステップと、
    該領域視差量推定ステップにより推定された各小領域の視差量に基づいて三次元情報を算出する三次元情報算出ステップと、
    を有することを特徴とする三次元情報抽出方法を実行するコンピュータプログラムを外部読出し可能に記憶する記憶媒体。
  22. 前記視差量頻度分布解析ステップが、各小領域の視差量の頻度分布から各小領域について最大頻度の視差量を算出し、
    前記領域視差量推定ステップが、各小領域の前記最大頻度の視差量を小領域の視差量として各小領域の視差量を推定することを特徴とする請求項２１に記載の記憶媒体。
  23. 異なる視点位置で撮影された複数の画像データのうちの一つの画像データを基準画像、他の画像データを探索画像とし、
    前記基準画像を画像特徴に応じて小領域に分割する領域分割ステップと、
    該領域分割ステップにより分割された各小領域の境界線を検出する領域境界線検出ステップと、
    前記基準画像と前記探索画像間において、少なくとも前記領域境界線検出ステップにより検出された各小領域の境界線上の複数の点の対応を求め、各小領域の境界線上の複数の点の視差量を推定する視差量推定ステップと、
    該視差量推定ステップにより推定された境界線上の複数の点の視差量の頻度分布を各小領域について作成する視差量頻度分布作成ステップと、
    該視差量頻度分布作成ステップにより作成された各小領域の視差量の頻度分布を解析する視差量頻度分布解析ステップと、
    該視差量頻度分布解析ステップにより解析された結果に基づいて各小領域の視差量を推定する領域視差量推定ステップと、
    該領域視差量推定ステップにより視差量が推定された小領域と境界線が重複する小領域の視差量の頻度分布を修正する視差量頻度分布修正ステップと、
    前記領域視差量推定ステップにより推定された視差量に基づいて三次元情報を算出する三次元情報算出ステップと、
    を有することを特徴とする三次元情報抽出方法を実行するコンピュータプログラムを外部読出し可能に記憶する記憶媒体。
  24. 前記視差量頻度分布解析ステップが、各小領域の視差量の頻度分布から各小領域について視差量の平均値、分散および最大頻度の視差量を算出し、
    前記領域視差量推定ステップが、前記視差量の平均値が画像中の小領域の中で相対的に高く、前記視差量の分散が画像中の小領域の中で相対的に小さい小領域から順に、各小領域の前記最大頻度の視差量を小領域の視差量として各小領域の視差量を推定し、
    前記視差量頻度分布修正ステップが、前記領域視差量推定ステップにより視差量が推定された小領域と境界線が重複する小領域の視差量頻度分布から境界線が重複する部分の視差量を除去することを特徴とする請求項２３に記載の記憶媒体。
  25. 前記視差量頻度分布作成ステップが、各小領域の境界線上の各点の画像特徴量に応じて該各点の視差量の頻度分布への寄与を変更して頻度分布を作成することを特徴とする請求項２１から２４にいずれか記載の記憶媒体。
  26. 異なる視点位置で撮影された複数の画像データのうちの一つの画像データを基準画像、他の画像データを探索画像とし、
    前記基準画像を画像特徴に応じて小領域に分割する領域分割ステップと、
    該領域分割ステップにより分割された各小領域の境界線を検出する領域境界線検出ステップと、
    前記基準画像と前記探索画像間において、少なくとも前記領域境界線検出ステップにより検出された各小領域の境界線上の複数の点の対応を求め、各小領域の境界線上の複数の点の視差量を推定する視差量推定ステップと、
    該視差量推定ステップにより推定された境界線上の複数の点の視差量の頻度分布を各小領域について作成する視差量頻度分布作成ステップと、
    該視差量頻度分布作成ステップにより作成された各小領域の視差量の頻度分布を解析する視差量頻度分布解析ステップと、
    該視差量頻度分布解析ステップにより解析された結果に基づいて各小領域の視差量を推定する領域視差量推定ステップと、
    該領域視差量推定ステップにより推定された各小領域の視差量と各小領域の色情報に基づく類似度に応じて小領域を統合する領域統合ステップと、
    を有することを特徴とする領域分割統合方法を実行するコンピュータプログラムを外部読出し可能に記憶する記憶媒体。
  27. 前記視差量頻度分布解析ステップが、各小領域の視差量の頻度分布から各小領域について最大頻度の視差量を算出し、
    前記領域視差量推定ステップが、各小領域の前記最大頻度の視差量を小領域の視差量として各小領域の視差量を推定することを特徴とする請求項２６に記載の記憶媒体。
  28. 異なる視点位置で撮影された複数の画像データのうちの一つの画像データを基準画像、他の画像データを探索画像とし、
    前記基準画像を画像特徴に応じて小領域に分割する領域分割ステップと、
    該領域分割ステップにより分割された各小領域の境界線を検出する領域境界線検出ステップと、
    前記基準画像と前記探索画像間において、少なくとも前記領域境界線検出ステップにより検出された各小領域の境界線上の複数の点の対応を求め、各小領域の境界線上の複数の点の視差量を推定する視差量推定ステップと、
    該視差量推定ステップにより推定された境界線上の複数の点の視差量の頻度分布を各小領域について作成する視差量頻度分布作成ステップと、
    該視差量頻度分布作成ステップにより作成された各小領域の視差量の頻度分布を解析する視差量頻度分布解析ステップと、
    該視差量頻度分布解析ステップにより解析された結果に基づいて各小領域の視差量を推定する領域視差量推定ステップと、
    該領域視差量推定ステップにより視差量が推定された小領域と境界線が重複する小領域の視差量の頻度分布を修正する視差量頻度分布修正ステップと、
    該領域視差量推定ステップにより推定された各小領域の視差量と各小領域の色情報に基づく類似度に応じて小領域を統合する領域統合ステップと、
    を有することを特徴とする領域分割統合方法を実行するコンピュータプログラムを外部読出し可能に記憶する記憶媒体。
  29. 前記視差量頻度分布解析ステップが、各小領域の視差量の頻度分布から各小領域について視差量の平均値、分散および最大頻度の視差量を算出し、
    前記領域視差量推定ステップが、前記視差量の平均値が画像中の小領域の中で相対的に高く、前記視差量の分散が画像中の小領域の中で相対的に小さい小領域から順に、各小領域の前記最大頻度の視差量を小領域の視差量として各小領域の視差量を推定し、
    前記視差量頻度分布修正ステップが、前記領域視差量推定ステップにより視差量が推定された小領域と境界線が重複する小領域の視差量頻度分布から境界線が重複する部分の視差量を除去することを特徴とする請求項２８に記載の記憶媒体。
  30. 前記視差量頻度分布作成ステップが、各小領域の境界線上の各点の画像特徴量に応じて該各点の視差量の頻度分布への寄与を変更して頻度分布を作成することを特徴とする請求項２６から２９にいずれか記載の記憶媒体。
JP2003407742A 2003-12-05 2003-12-05 画像処理装置、及び方法 Withdrawn JP2005165969A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003407742A JP2005165969A (ja) 2003-12-05 2003-12-05 画像処理装置、及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003407742A JP2005165969A (ja) 2003-12-05 2003-12-05 画像処理装置、及び方法

Publications (1)

Publication Number Publication Date
JP2005165969A true JP2005165969A (ja) 2005-06-23

Family

ID=34729694

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003407742A Withdrawn JP2005165969A (ja) 2003-12-05 2003-12-05 画像処理装置、及び方法

Country Status (1)

Country Link
JP (1) JP2005165969A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100756034B1 (ko) * 2006-01-26 2007-09-07 삼성전자주식회사 변이벡터 보정장치 및 변이벡터 보정방법
JP2008065803A (ja) * 2006-08-08 2008-03-21 Fuji Xerox Co Ltd 画像処理装置及び画像処理プログラム
JP2008107290A (ja) * 2006-10-27 2008-05-08 Konica Minolta Holdings Inc 距離画像生成装置、距離画像生成方法及びプログラム
WO2009104325A1 (ja) * 2008-02-21 2009-08-27 大日本スクリーン製造株式会社 線画処理装置、プログラム及び線画処理方法
WO2011074671A1 (ja) * 2009-12-18 2011-06-23 株式会社日立ハイテクノロジーズ 画像処理装置、及び、測定／検査システム、並びに、プログラム
JP2013077882A (ja) * 2011-09-29 2013-04-25 Dainippon Printing Co Ltd 画像生成装置、画像生成方法、画像生成装置用プログラム
WO2013073167A1 (ja) * 2011-11-17 2013-05-23 パナソニック株式会社 画像処理装置、撮像装置および画像処理方法
US8903164B2 (en) 2012-04-17 2014-12-02 Panasonic Corporation Disparity calculating apparatus and disparity calculating method
DE102009004626B4 (de) * 2008-01-18 2015-09-10 Fuji Jukogyo K.K. Vorrichtung zur Überwachung der Umgebung eines Fahrzeugs
KR20170070148A (ko) * 2014-10-14 2017-06-21 코닌클리케 필립스 엔.브이. ３차원 이미지의 시차의 프로세싱

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100756034B1 (ko) * 2006-01-26 2007-09-07 삼성전자주식회사 변이벡터 보정장치 및 변이벡터 보정방법
JP2008065803A (ja) * 2006-08-08 2008-03-21 Fuji Xerox Co Ltd 画像処理装置及び画像処理プログラム
JP2008107290A (ja) * 2006-10-27 2008-05-08 Konica Minolta Holdings Inc 距離画像生成装置、距離画像生成方法及びプログラム
DE102009004626B4 (de) * 2008-01-18 2015-09-10 Fuji Jukogyo K.K. Vorrichtung zur Überwachung der Umgebung eines Fahrzeugs
JP2009199308A (ja) * 2008-02-21 2009-09-03 Dainippon Screen Mfg Co Ltd 線画処理装置、プログラム及び線画処理方法
WO2009104325A1 (ja) * 2008-02-21 2009-08-27 大日本スクリーン製造株式会社 線画処理装置、プログラム及び線画処理方法
WO2011074671A1 (ja) * 2009-12-18 2011-06-23 株式会社日立ハイテクノロジーズ 画像処理装置、及び、測定／検査システム、並びに、プログラム
JP2011128070A (ja) * 2009-12-18 2011-06-30 Hitachi High-Technologies Corp 画像処理装置、及び、測定／検査システム、並びに、プログラム
US9013571B2 (en) 2009-12-18 2015-04-21 Hitachi High-Technologies Corporation Image processing device, measuring/testing system, and program
JP2013077882A (ja) * 2011-09-29 2013-04-25 Dainippon Printing Co Ltd 画像生成装置、画像生成方法、画像生成装置用プログラム
WO2013073167A1 (ja) * 2011-11-17 2013-05-23 パナソニック株式会社 画像処理装置、撮像装置および画像処理方法
JPWO2013073167A1 (ja) * 2011-11-17 2015-04-02 パナソニックＩｐマネジメント株式会社 画像処理装置、撮像装置および画像処理方法
US9153066B2 (en) 2011-11-17 2015-10-06 Panasonic Intellectual Property Management Co. Ltd. Image processing device, imaging device, and image processing method
US8903164B2 (en) 2012-04-17 2014-12-02 Panasonic Corporation Disparity calculating apparatus and disparity calculating method
KR20170070148A (ko) * 2014-10-14 2017-06-21 코닌클리케 필립스 엔.브이. ３차원 이미지의 시차의 프로세싱
KR102161785B1 (ko) * 2014-10-14 2020-10-06 코닌클리케 필립스 엔.브이. ３차원 이미지의 시차의 프로세싱

Similar Documents

Publication Publication Date Title
CN109658515B (zh) 点云网格化方法、装置、设备及计算机存储介质
KR101899866B1 (ko) 병변 경계의 오류 검출 장치 및 방법, 병변 경계의 오류 수정 장치 및 방법 및, 병변 경계의 오류 검사 장치
US9754377B2 (en) Multi-resolution depth estimation using modified census transform for advanced driver assistance systems
US7379583B2 (en) Color segmentation-based stereo 3D reconstruction system and process employing overlapping images of a scene captured from viewpoints forming either a line or a grid
CN107437060B (zh) 对象识别设备、对象识别方法和程序
KR100953076B1 (ko) 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
US20100315419A1 (en) Systems and Methods for Estimating a Parameter for a 3D model
US7456831B2 (en) Method for generating 3D mesh based on unorganized sparse 3D points
Yogeswaran et al. 3d surface analysis for automated detection of deformations on automotive body panels
US20090116731A1 (en) Method and system for detection of concha and intertragal notch point in 3D undetailed ear impressions
JP2005165969A (ja) 画像処理装置、及び方法
Ikonen et al. Distance and nearest neighbor transforms on gray-level surfaces
Zhou et al. 3D building change detection between current VHR images and past lidar data
Mukherjee et al. A hybrid algorithm for disparity calculation from sparse disparity estimates based on stereo vision
Gallego et al. Joint multi-view foreground segmentation and 3d reconstruction with tolerance loop
Zhang et al. Alignment of 3d building models with satellite images using extended chamfer matching
CN107808160B (zh) 三维建筑物提取方法和装置
JP4998905B2 (ja) 三次元地形データ高精度化装置、三次元地形データ高精度化方法及びプログラム
Lindblad et al. Exact linear time euclidean distance transforms of grid line sampled shapes
JP5470529B2 (ja) 動き検出装置、動き検出方法及び動き検出プログラム
Turetken et al. Temporally consistent layer depth ordering via pixel voting for pseudo 3D representation
KR101717381B1 (ko) 스테레오 카메라 기반의 주행 가능 영역 추정 장치 및 방법과 이에 관한 기록매체
Mattoccia Accurate dense stereo by constraining local consistency on superpixels
CN111476821B (zh) 基于在线学习的目标跟踪方法
Park et al. Segmentation based disparity estimation using color and depth information

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20070206