JP4631973B2 - 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム - Google Patents
画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム Download PDFInfo
- Publication number
- JP4631973B2 JP4631973B2 JP2008537459A JP2008537459A JP4631973B2 JP 4631973 B2 JP4631973 B2 JP 4631973B2 JP 2008537459 A JP2008537459 A JP 2008537459A JP 2008537459 A JP2008537459 A JP 2008537459A JP 4631973 B2 JP4631973 B2 JP 4631973B2
- Authority
- JP
- Japan
- Prior art keywords
- window
- image
- edge amount
- central portion
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
好ましくは、演算手段は、第1のウィンドウ内の画像と第2のウィンドウ内の画像との相関値に基づいて、基準画像の一点に対応する参照画像の一点を求める。
この発明のさらに他の局面に従うと画像処理装置は、同一の被写体をそれぞれ撮像して基準画像および参照画像からなるステレオ画像を取得する一対の撮像手段と、基準画像上に第1のウィンドウを設定する第1のウィンドウ設定手段と、参照画像上に第2のウィンドウを設定する第2のウィンドウ設定手段と、演算手段とを備え、演算手段は、第1のウィンドウおよび第2のウィンドウのいずれか一方のウィンドウ内の画像から、少なくとも1つの画像特徴量を抽出する手段と、抽出された画像特徴量に基づいて、一方のウィンドウのサイズおよび形状の少なくとも1つを変更するとともに、一方のウィンドウに対する変更に応じて、他方のウィンドウのサイズまたは形状を変更する手段と、変更後の第1のウィンドウ内の画像と変更後の第2のウィンドウ内の画像との対応関係を演算する手段とを含む。
また演算処理装置200は、表示装置(ディスプレイ)300に接続されている。
演算処理装置200は、基準画像I1上に注目点Pを設定し、参照画像I2上の注目点Pに対応する位置を見つけることで、注目点における両画像の位置ずれを検出する。さらに、演算処理装置200は、検出された位置ずれに基づいてその注目点における3次元座標を演算する。
演算処理装置200は、スキャンが終了するまで(S101でNO)、注目点を移動させつつ3次元座標の演算を行ない(S103)、スキャン終了(S101でYES)とともに演算処理を中止する。これにより、注目点のスキャンに基づく3次元点群を得ることができる。
ここでは図8に示される演算結果から、
デフォルトウィンドウ設定部401は、注目点を中心としたデフォルトのウィンドウを設定する。これは、図13中のサイズAで示される最も広い領域をカバーするウィンドウである。
else If [L(C−1)≒L(S−1)]&[L(C−1)≒L(S−2)]&…&[L(C−1)≒L(S−8)] ウィンドウサイズ:サイズA
else
if [L(C−1)>L(C−2)] ウィンドウサイズ:サイズC
else ウィンドウサイズ:サイズB
すなわち、
(1) 中心のエリアC−1にエッジが多ければ、その位置についての詳細な3次元座標を求めるために、最小のウィンドウを用いる。
図15は、ウィンドウの設定の第1変形例を示す図であり、図13に対応する図である。図15におけるサイズA、B、Cのウィンドウは、図13おけるそれと同じである。また、エリアC−2,C−1がそれぞれサイズB、Cのウィンドウに相当することも同様であり、エリアS1〜S8が、サイズAのウィンドウの周縁部を構成していることも同様である。
ウィンドウ形状の決定方法として、各ウィンドウのエッジ量をL(*)と表記すると、
If [L(C−1)>th1] ウィンドウサイズ:サイズC
else If [L(C−1)≒L(S−1)]&[L(C−1)≒L(S−2)]&…&[L(C−1)≒L(S−8))] ウィンドウサイズ:サイズA
else
if [L(C−1)≒L(S−8)]&[L(C−1)≒L(S−4)] ウィンドウサイズ:サイズD−2
else if [L(C−1)≒L(S−2)]&[L(C−1)≒L(S−6)] ウィンドウサイズ:サイズD−1
else
if [L(C−1)>L(C−2)] ウィンドウサイズ:サイズC
else ウィンドウサイズ:サイズB
すなわち、
(1) 中心のエリアC−1にエッジが多ければ、その位置についての詳細な3次元座標を求めるために、最小のウィンドウを用いる。
上述の実施の形態においては、ステレオ画像における対応点の探索手法として、位相限定相関(POC)を用いる構成について例示したが、この探索手法に限られることはない。代替的に、例えば、類似度ピーク探索手法などを用いてもよい。以下、この類似度ピーク探索手法を用いてステレオ対応付けを行なう場合の処理について説明する。
さらに、以上のような処理によって算出される類似度値に基づいて、ピーク周辺に対して、たとえばパラボラフィッティング法などを用いて、サブピクセル類似演算を行なってもよい。
上記実施の形態によると、位相限定相関法(POC)などの探索手法を用いたステレオ対応付けにおいて、対応付けウィンドウ内のテクスチャ分布状態に応じて、相関計算を行なうウィンドウの大きさを適応的に変更することができる。POC処理において、ウィンドウの大きさは、空間分解能と耐ノイズ性に関連し、互いに相反する特性を持つ。空間分解能の必要な部分ではウィンドウサイズを小さく、不必要な部分ではウィンドウサイズを大きくしてノイズの影響を減らしたいというニーズがある。本実施の形態では、ウィンドウ内の画像特徴量(テクスチャ情報、輝度分布、エッジ情報など)の分布に基づいてウィンドウサイズを制御することで、そのような状況に対応することができる。
上述の実施の形態における処理は、ソフトウエアによって行なっても、ハードウェア回路を用いて行なってもよい。
Claims (8)
- 基準画像と参照画像とを受付ける画像入力手段と、
前記基準画像および前記参照画像の一方の上に第1のウィンドウを設定する第1のウィンドウ設定手段と、
前記基準画像および前記参照画像の他方の上に第2のウィンドウを設定する第2のウィンドウ設定手段と、
前記第1のウィンドウ内の画像から、少なくとも1つの画像特徴量を抽出する抽出手段とを備え、前記画像特徴量は画像のエッジ量を含み、
前記抽出された画像特徴量に基づいて、前記第1のウィンドウのサイズおよび形状の少なくとも1つを変更するとともに、前記第1のウィンドウに対する変更に応じて、前記第2のウィンドウのサイズまたは形状を変更する変更手段と、
変更後の第1のウィンドウ内の画像と変更後の第2のウィンドウ内の画像との対応関係を演算する演算手段とを備え、
前記抽出手段は、前記第1のウィンドウを所定の初期サイズに設定した状態において、前記第1のウィンドウ内についての、中心部のエッジ量と周辺部のエッジ量とを計測し、
前記変更手段は、
前記中心部のエッジ量が前記周辺部のエッジ量に比較して所定量以上多くなっていれば、前記第1のウィンドウを中心部に対応するサイズまで小さくし、
前記中心部のエッジ量と前記周辺部のエッジ量とが同程度であれば、前記第1のウィンドウを前記初期サイズに維持する、画像処理装置。 - 前記抽出手段は、前記初期サイズに設定された第1のウィンドウについて、中心部および周辺部のいずれかに対応して、同一サイズに区分された各エリアにおけるエッジ量を計測し、
前記変更手段は、中心部および周辺部にそれぞれ対応するエリア間でエッジ量を比較する、請求項1に記載の画像処理装置。 - 前記抽出手段は、中心部に対応するエリアと、中心部より大きくかつ前記初期サイズより小さい拡大中心部に対応するエリアとのそれぞれにおけるエッジ量を計測し、
前記変更手段は、
前記中心部のエッジ量が前記周辺部のエッジ量に比較して所定量以上多くなっておらず、かつ、前記中心部のエッジ量と前記周辺部のエッジ量とが同程度でない場合には、中心部に対応するエリアのエッジ量と拡大中心部に対応するエリアのエッジ量とを比較し、
中心部に対応するエリアのエッジ量が拡大中心部に対応するエリアのエッジ量に比較して多いときに、前記第1のウィンドウを中心部に対応するサイズまで小さくし、
拡大中心部に対応するエリアのエッジ量が中心部に対応するエリアのエッジ量に比較して多いときに、前記第1のウィンドウを拡大中心部に対応するサイズまで小さくする、請求項1または2に記載の画像処理装置。 - 前記演算手段は、前記第1のウィンドウ内の画像と前記第2のウィンドウ内の画像との相関値に基づいて、前記基準画像の一点に対応する前記参照画像の一点を求める、請求項1〜3のいずれか1項に記載の画像処理装置。
- 前記演算手段の演算結果に基づいて、前記基準画像と前記参照画像とに含まれる対象物の3次元座標を演算する3次元座標演算部をさらに備える、請求項1〜4のいずれか1項に記載の画像処理装置。
- 基準画像と参照画像とを受付けるステップと、
前記基準画像および前記参照画像の一方の上に第1のウィンドウを設定するステップと、
前記基準画像および前記参照画像の他方の上に第2のウィンドウを設定するステップと、
前記第1のウィンドウ内の画像から、少なくとも1つの画像特徴量を抽出するステップとを備え、前記画像特徴量は画像のエッジ量を含み、
前記抽出された画像特徴量に基づいて、前記第1のウィンドウのサイズおよび形状の少なくとも1つを変更するとともに、前記第1のウィンドウに対する変更に応じて、前記第2のウィンドウのサイズまたは形状を変更するステップと、
変更後の第1のウィンドウ内の画像と変更後の第2のウィンドウ内の画像との対応関係を演算するステップとを備え、
前記抽出するステップは、前記第1のウィンドウを所定の初期サイズに設定した状態において、前記第1のウィンドウ内についての、中心部のエッジ量と周辺部のエッジ量とを計測するステップを含み、
前記変更するステップは、
前記中心部のエッジ量が前記周辺部のエッジ量に比較して所定量以上多くなっていれば、前記第1のウィンドウを中心部に対応するサイズまで小さくするステップと、
前記中心部のエッジ量と前記周辺部のエッジ量とが同程度であれば、前記第1のウィンドウを前記初期サイズに維持するステップとを含む、画像処理装置の制御方法。 - コンピュータに、
基準画像と参照画像とを受付けるステップと、
前記基準画像および前記参照画像の一方の上に第1のウィンドウを設定するステップと、
前記基準画像および前記参照画像の他方の上に第2のウィンドウを設定するステップと、
前記第1のウィンドウ内の画像から、少なくとも1つの画像特徴量を抽出するステップとを備え、前記画像特徴量は画像のエッジ量を含み、
前記抽出された画像特徴量に基づいて、前記第1のウィンドウのサイズおよび形状の少なくとも1つを変更するとともに、前記第1のウィンドウに対する変更に応じて、前記第2のウィンドウのサイズまたは形状を変更するステップと、
変更後の第1のウィンドウ内の画像と変更後の第2のウィンドウ内の画像との対応関係を演算するステップとを実行させえ、
前記抽出するステップは、前記第1のウィンドウを所定の初期サイズに設定した状態において、前記第1のウィンドウ内についての、中心部のエッジ量と周辺部のエッジ量とを計測するステップを含み、
前記変更するステップは、
前記中心部のエッジ量が前記周辺部のエッジ量に比較して所定量以上多くなっていれば、前記第1のウィンドウを中心部に対応するサイズまで小さくするステップと、
前記中心部のエッジ量と前記周辺部のエッジ量とが同程度であれば、前記第1のウィンドウを前記初期サイズに維持するステップとを含む、プログラム。 - 同一の被写体をそれぞれ撮像して基準画像および参照画像からなるステレオ画像を取得する一対の撮像手段と、
前記基準画像上に第1のウィンドウを設定する第1のウィンドウ設定手段と、
前記参照画像上に第2のウィンドウを設定する第2のウィンドウ設定手段と、
演算手段とを備え、
前記演算手段は、
前記第1のウィンドウおよび前記第2のウィンドウのいずれか一方のウィンドウ内の画像から、少なくとも1つの画像特徴量を抽出する手段を含み、前記画像特徴量は画像のエッジ量を含み、
前記抽出された画像特徴量に基づいて、前記一方のウィンドウのサイズおよび形状の少なくとも1つを変更するとともに、前記一方のウィンドウに対する変更に応じて、他方のウィンドウのサイズまたは形状を変更する手段と、
変更後の第1のウィンドウ内の画像と変更後の第2のウィンドウ内の画像との対応関係を演算する手段とを含み、
前記抽出する手段は、前記第1のウィンドウを所定の初期サイズに設定した状態において、前記第1のウィンドウ内についての、中心部のエッジ量と周辺部のエッジ量とを計測し、
前記変更する手段は、
前記中心部のエッジ量が前記周辺部のエッジ量に比較して所定量以上多くなっていれば、前記第1のウィンドウを中心部に対応するサイズまで小さくし、
前記中心部のエッジ量と前記周辺部のエッジ量とが同程度であれば、前記第1のウィンドウを前記初期サイズに維持する、画像処理装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006270725 | 2006-10-02 | ||
JP2006270725 | 2006-10-02 | ||
PCT/JP2007/068389 WO2008041518A1 (fr) | 2006-10-02 | 2007-09-21 | Dispositif de traitement d'images, procédé de commande pour un dispositif de traitement d'images et programme de commande pour un dispositif de traitement d'images |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2008041518A1 JPWO2008041518A1 (ja) | 2010-02-04 |
JP4631973B2 true JP4631973B2 (ja) | 2011-02-16 |
Family
ID=39268380
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008537459A Active JP4631973B2 (ja) | 2006-10-02 | 2007-09-21 | 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8164645B2 (ja) |
JP (1) | JP4631973B2 (ja) |
WO (1) | WO2008041518A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2013108554A1 (ja) * | 2012-01-17 | 2015-05-11 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8164645B2 (en) | 2006-10-02 | 2012-04-24 | Konica Minolta Holdings, Inc. | Image processing apparatus, method of controlling image processing apparatus, and program for controlling image processing apparatus |
JP5733490B2 (ja) * | 2010-05-27 | 2015-06-10 | ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー | 磁気共鳴イメージング装置およびプログラム |
JP5214062B1 (ja) * | 2011-04-28 | 2013-06-19 | 三洋電機株式会社 | 情報取得装置および物体検出装置 |
JP2013190938A (ja) * | 2012-03-13 | 2013-09-26 | Ricoh Co Ltd | ステレオ画像処理装置 |
EP2884458A4 (en) * | 2012-08-09 | 2016-04-27 | Konica Minolta Inc | IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING PROGRAM |
JP2016075658A (ja) * | 2014-10-03 | 2016-05-12 | 株式会社リコー | 情報処理システムおよび情報処理方法 |
US10915782B2 (en) * | 2017-12-14 | 2021-02-09 | Pixart Imaging Inc. | Image parameter calculating method, object tracking method, and image parameter calculating system |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000088523A (ja) * | 1998-09-09 | 2000-03-31 | Tech Res & Dev Inst Of Japan Def Agency | 特徴ベクトルを利用した物体の認識装置および方法 |
JP2001194126A (ja) * | 2000-01-14 | 2001-07-19 | Sony Corp | 三次元形状計測装置および三次元形状計測方法、並びにプログラム提供媒体 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5361330A (en) * | 1991-04-08 | 1994-11-01 | Matsushita Electric Industrial Co., Ltd. | Image processing apparatus |
US5684890A (en) * | 1994-02-28 | 1997-11-04 | Nec Corporation | Three-dimensional reference image segmenting method and apparatus |
US6269195B1 (en) * | 1997-04-04 | 2001-07-31 | Avid Technology, Inc. | Apparatus and methods for selectively feathering a composite image |
JP3120767B2 (ja) * | 1998-01-16 | 2000-12-25 | 日本電気株式会社 | 外観検査装置、外観検査方法及び外観検査プログラムを記録した記録媒体 |
JP2000209425A (ja) * | 1998-11-09 | 2000-07-28 | Canon Inc | 画像処理装置及び方法並びに記憶媒体 |
JP2002071309A (ja) * | 2000-08-24 | 2002-03-08 | Asahi Optical Co Ltd | 3次元画像検出装置 |
TWI223780B (en) * | 2001-01-24 | 2004-11-11 | Vrex Inc | Method for zooming a stereoscopic image, article of manufacture comprising a computer usable medium, computer related product for use with a graphics display device, and program storage device readable by a machine and tangibly embodying a program of iK |
US6947607B2 (en) * | 2002-01-04 | 2005-09-20 | Warner Bros. Entertainment Inc. | Reduction of differential resolution of separations |
JP2006010392A (ja) | 2004-06-23 | 2006-01-12 | Suzuki Motor Corp | 貫通穴計測システム及び方法並びに貫通穴計測用プログラム |
US8189100B2 (en) * | 2006-07-25 | 2012-05-29 | Qualcomm Incorporated | Mobile device with dual digital camera sensors and methods of using the same |
JP4821548B2 (ja) * | 2006-10-02 | 2011-11-24 | コニカミノルタホールディングス株式会社 | 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム |
US8164645B2 (en) | 2006-10-02 | 2012-04-24 | Konica Minolta Holdings, Inc. | Image processing apparatus, method of controlling image processing apparatus, and program for controlling image processing apparatus |
-
2007
- 2007-09-21 US US12/443,262 patent/US8164645B2/en active Active
- 2007-09-21 WO PCT/JP2007/068389 patent/WO2008041518A1/ja active Application Filing
- 2007-09-21 JP JP2008537459A patent/JP4631973B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000088523A (ja) * | 1998-09-09 | 2000-03-31 | Tech Res & Dev Inst Of Japan Def Agency | 特徴ベクトルを利用した物体の認識装置および方法 |
JP2001194126A (ja) * | 2000-01-14 | 2001-07-19 | Sony Corp | 三次元形状計測装置および三次元形状計測方法、並びにプログラム提供媒体 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2013108554A1 (ja) * | 2012-01-17 | 2015-05-11 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20100007756A1 (en) | 2010-01-14 |
WO2008041518A1 (fr) | 2008-04-10 |
US8164645B2 (en) | 2012-04-24 |
JPWO2008041518A1 (ja) | 2010-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4631973B2 (ja) | 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム | |
CN110998659B (zh) | 图像处理***、图像处理方法、及程序 | |
US9429418B2 (en) | Information processing method and information processing apparatus | |
JP4821548B2 (ja) | 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム | |
US20120162220A1 (en) | Three-dimensional model creation system | |
CN109360235A (zh) | 一种基于光场数据的混合深度估计方法 | |
US20160050372A1 (en) | Systems and methods for depth enhanced and content aware video stabilization | |
JP2008535116A (ja) | 3次元レンダリング用の方法及び装置 | |
JP5965293B2 (ja) | カメラポーズ推定装置、及びカメラポーズ推定プログラム | |
US8531505B2 (en) | Imaging parameter acquisition apparatus, imaging parameter acquisition method and storage medium | |
JP2019530059A (ja) | 複数の対象とする領域を独立的に処理する方法 | |
JP6052186B2 (ja) | 画像処理装置 | |
WO2009096520A1 (ja) | 対応点探索装置および対応点探索方法 | |
Hernandez et al. | Near laser-scan quality 3-D face reconstruction from a low-quality depth stream | |
JP4952267B2 (ja) | 3次元形状処理装置、3次元形状処理装置の制御方法、および3次元形状処理装置の制御プログラム | |
JP2010152521A (ja) | 画像立体化処理装置及び方法 | |
WO2020196520A1 (en) | Method, system and computer readable media for object detection coverage estimation | |
JP2000268161A (ja) | 実時間表情検出装置 | |
CN111462337A (zh) | 一种图像处理方法、设备及计算机可读存储介质 | |
KR101711307B1 (ko) | 깊이정보 기반의 안면인식 휴대장치 또는 컴퓨터 기기 잠금해제시스템 | |
Jonscher et al. | Reconstruction of images taken by a pair of non-regular sampling sensors using correlation based matching | |
JP4775221B2 (ja) | 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム | |
Lee et al. | Fast panoramic image generation method using morphological corner detection | |
CN115482182A (zh) | 人脸深度图像的面部变形补偿方法、成像装置和存储介质 | |
CN117689609A (zh) | 视差获取方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100629 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100825 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101019 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101101 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4631973 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131126 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |