JPH08280026A - 動き及び奥行き推定方法及びその装置 - Google Patents
動き及び奥行き推定方法及びその装置Info
- Publication number
- JPH08280026A JPH08280026A JP9667995A JP9667995A JPH08280026A JP H08280026 A JPH08280026 A JP H08280026A JP 9667995 A JP9667995 A JP 9667995A JP 9667995 A JP9667995 A JP 9667995A JP H08280026 A JPH08280026 A JP H08280026A
- Authority
- JP
- Japan
- Prior art keywords
- block
- value
- motion
- pixel
- evaluation value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 ブロックマッチングによる推定結果の信頼性
を、輝度こう配およびブロックサイズに依存しない形で
評価し、複数のブロックサイズによる推定結果を統合
し、繰り返し計算を行わずに奥行き及び動きを精度よく
推定する。 【構成】 基準画像を記憶する基準画像用フレームメモ
リ1と、参照画像を記憶する参照画像用フレームメモリ
2と、複数のブロックサイズでブロック相関演算と推定
値の信頼性評価値の演算を行うブロック相関演算回路3A
〜3Dと、ブロックマッチングによる推定結果の信頼性
を、輝度こう配、ブロックサイズに依らずに評価し、複
数のブロックサイズによる推定結果を統合する推定値統
合演算回路4を備えた構成である。
を、輝度こう配およびブロックサイズに依存しない形で
評価し、複数のブロックサイズによる推定結果を統合
し、繰り返し計算を行わずに奥行き及び動きを精度よく
推定する。 【構成】 基準画像を記憶する基準画像用フレームメモ
リ1と、参照画像を記憶する参照画像用フレームメモリ
2と、複数のブロックサイズでブロック相関演算と推定
値の信頼性評価値の演算を行うブロック相関演算回路3A
〜3Dと、ブロックマッチングによる推定結果の信頼性
を、輝度こう配、ブロックサイズに依らずに評価し、複
数のブロックサイズによる推定結果を統合する推定値統
合演算回路4を備えた構成である。
Description
【0001】
【産業上の利用分野】本発明は、画像間で画素の対応を
求めて動きや奥行きを推定する動き及び奥行き推定方法
及びその装置に関するものである。
求めて動きや奥行きを推定する動き及び奥行き推定方法
及びその装置に関するものである。
【0002】
【従来の技術】動画像や多眼式ステレオ画像の伝送、蓄
積過程においては、莫大な情報量を低減することが望ま
れる。また、撮像、表示についても2眼式ステレオ画像
から中間像を合成して多眼式ステレオ画像を表示できれ
ば、撮像、伝送、蓄積時の情報量を低減できる。そのた
めに、画像間で画素の対応を求めて動きや奥行きを推定
し、画像の冗長性を削除する試みが多くなされている。
対応を求める方法としてはこう配法とブロックマッチン
グ法に大別されるが、これらの方法にはそれぞれ長所と
短所がある。すなわち、こう配法は、微少な動きや視差
は精度よく推定できるが大きな推定量に対して精度が低
下する。また、こう配を用いているためにノイズの影響
を受けやすい。さらに、こう配法では一般に、こう配か
ら求めた推定値を繰り返し計算によって補正するため、
実時間処理の点で不利である。
積過程においては、莫大な情報量を低減することが望ま
れる。また、撮像、表示についても2眼式ステレオ画像
から中間像を合成して多眼式ステレオ画像を表示できれ
ば、撮像、伝送、蓄積時の情報量を低減できる。そのた
めに、画像間で画素の対応を求めて動きや奥行きを推定
し、画像の冗長性を削除する試みが多くなされている。
対応を求める方法としてはこう配法とブロックマッチン
グ法に大別されるが、これらの方法にはそれぞれ長所と
短所がある。すなわち、こう配法は、微少な動きや視差
は精度よく推定できるが大きな推定量に対して精度が低
下する。また、こう配を用いているためにノイズの影響
を受けやすい。さらに、こう配法では一般に、こう配か
ら求めた推定値を繰り返し計算によって補正するため、
実時間処理の点で不利である。
【0003】一方、ブロックマッチング法は推定量の大
小によらず一定のマッチング精度で推定を行え、また、
ノイズに対して頑健である。しかし、輝度こう配の大
小、動き及び奥行きが不連続な領域の有無によって、適
切なブロックサイズが異なり、適切なブロックサイズが
推定値の分布に依存するという問題点がある。
小によらず一定のマッチング精度で推定を行え、また、
ノイズに対して頑健である。しかし、輝度こう配の大
小、動き及び奥行きが不連続な領域の有無によって、適
切なブロックサイズが異なり、適切なブロックサイズが
推定値の分布に依存するという問題点がある。
【0004】金出らは、輝度こう配、ノイズ、視差分布
を考慮した評価尺度を用いて、ブロックのサイズ、位置
と視差を更新する繰り返し計算によって上記問題点の解
決を試みている(「ア ステレオ マッチング アルゴ
リズム ウイズ アン アダプティブ ウインドウ」("
A Stereo Matching Algorithm with an Adoptive Windo
w:Theory and Experiment",Tekeo Kanade and Masatos
hi Okutomi,1990))。
を考慮した評価尺度を用いて、ブロックのサイズ、位置
と視差を更新する繰り返し計算によって上記問題点の解
決を試みている(「ア ステレオ マッチング アルゴ
リズム ウイズ アン アダプティブ ウインドウ」("
A Stereo Matching Algorithm with an Adoptive Windo
w:Theory and Experiment",Tekeo Kanade and Masatos
hi Okutomi,1990))。
【0005】
【発明が解決しようとする課題】しかしながら上記のよ
うな従来の方法では、莫大な計算量を要するという課題
を有していた。
うな従来の方法では、莫大な計算量を要するという課題
を有していた。
【0006】本発明はかかる点に鑑み、ブロックマッチ
ングによる推定結果の信頼性を、輝度こう配、画像のノ
イズ、ブロック間の残差平方和(SSD)の最小値、ブ
ロックサイズをもとに評価して、複数のブロックサイズ
による推定結果を統合し、繰り返し計算を行わずに奥行
き及び動きを精度よく推定する動き及び奥行き推定方法
及び装置を提供することを目的とする。
ングによる推定結果の信頼性を、輝度こう配、画像のノ
イズ、ブロック間の残差平方和(SSD)の最小値、ブ
ロックサイズをもとに評価して、複数のブロックサイズ
による推定結果を統合し、繰り返し計算を行わずに奥行
き及び動きを精度よく推定する動き及び奥行き推定方法
及び装置を提供することを目的とする。
【0007】
【課題を解決するための手段】本発明は、ブロックマッ
チングによる推定結果の信頼性を、輝度こう配、SSD
の最小値、ブロックサイズ、そして望ましくは画像のノ
イズをもとに評価して、複数のブロックサイズによる推
定結果を統合し、繰り返し計算を行わずに奥行き及び動
きを精度よく推定する動き及び奥行き推定方法である。
チングによる推定結果の信頼性を、輝度こう配、SSD
の最小値、ブロックサイズ、そして望ましくは画像のノ
イズをもとに評価して、複数のブロックサイズによる推
定結果を統合し、繰り返し計算を行わずに奥行き及び動
きを精度よく推定する動き及び奥行き推定方法である。
【0008】また、基準画像を記憶する基準画像用フレ
ームメモリと、参照画像を記憶する参照画像用フレーム
メモリと、複数のブロックサイズでブロック相関演算と
推定値の信頼性評価値の演算を行うブロック相関演算回
路と、ブロックマッチングによる推定結果の信頼性を、
輝度こう配、画像のノイズ、SSDの最小値、ブロック
サイズをもとに評価して、複数のブロックサイズによる
推定結果を統合する推定値統合演算回路を備えた動き及
び奥行き推定装置である。
ームメモリと、参照画像を記憶する参照画像用フレーム
メモリと、複数のブロックサイズでブロック相関演算と
推定値の信頼性評価値の演算を行うブロック相関演算回
路と、ブロックマッチングによる推定結果の信頼性を、
輝度こう配、画像のノイズ、SSDの最小値、ブロック
サイズをもとに評価して、複数のブロックサイズによる
推定結果を統合する推定値統合演算回路を備えた動き及
び奥行き推定装置である。
【0009】
【作用】本発明は前記した構成により、輝度こう配の大
小、推定値の分布状態に応じて適応的に選択するブロッ
クサイズを変化させることにより、繰り返し計算を行わ
ずに、単一のブロックサイズによるブロック相関演算の
数倍の演算量で、一定の演算量によって、精度よく動き
及び奥行きを推定する。
小、推定値の分布状態に応じて適応的に選択するブロッ
クサイズを変化させることにより、繰り返し計算を行わ
ずに、単一のブロックサイズによるブロック相関演算の
数倍の演算量で、一定の演算量によって、精度よく動き
及び奥行きを推定する。
【0010】
【実施例】以下、本発明の実施例について、図面を参照
しながら説明する。図1は本発明の第1の実施例におけ
る動き及び奥行き推定装置のブロック図である。
しながら説明する。図1は本発明の第1の実施例におけ
る動き及び奥行き推定装置のブロック図である。
【0011】図1において、1は基準画像を記憶する基
準画像用フレームメモリであり、2は参照画像を記憶す
る参照画像用フレームメモリであり、3A、3B、3
C、3Dはそれぞれ異なるブロックサイズ(10×10,20
×20,40×40,80×80)でブロック相関演算を行うブロ
ック相関演算回路、4は複数のブロックサイズによる推
定結果を統合する推定値統合演算回路である。
準画像用フレームメモリであり、2は参照画像を記憶す
る参照画像用フレームメモリであり、3A、3B、3
C、3Dはそれぞれ異なるブロックサイズ(10×10,20
×20,40×40,80×80)でブロック相関演算を行うブロ
ック相関演算回路、4は複数のブロックサイズによる推
定結果を統合する推定値統合演算回路である。
【0012】以下に上記構成の動作を説明する。基準画
像用フレームメモリ1はブロック相関演算時に基準ブロ
ックを設定する基準画像を1フレーム記憶する。参照画
像用フレームメモリ2はブロック相関演算時に基準ブロ
ックとの相関演算を行う参照画像を1フレーム記憶す
る。ブロック相関演算回路3A、3B、3C、3Dはそ
れぞれ異なるブロックサイズでブロック相関演算および
推定値の信頼性評価値の計算を行う。推定値統合演算回
路4はブロック相関演算回路3A、3B、3C、3Dに
よるブロック相関演算時の信頼性評価値と推定値を順次
読み込み、ブロックサイズに応じた重みをかけ、重み付
加後に評価値が最小となる相関演算回路の推定値を選択
する。
像用フレームメモリ1はブロック相関演算時に基準ブロ
ックを設定する基準画像を1フレーム記憶する。参照画
像用フレームメモリ2はブロック相関演算時に基準ブロ
ックとの相関演算を行う参照画像を1フレーム記憶す
る。ブロック相関演算回路3A、3B、3C、3Dはそ
れぞれ異なるブロックサイズでブロック相関演算および
推定値の信頼性評価値の計算を行う。推定値統合演算回
路4はブロック相関演算回路3A、3B、3C、3Dに
よるブロック相関演算時の信頼性評価値と推定値を順次
読み込み、ブロックサイズに応じた重みをかけ、重み付
加後に評価値が最小となる相関演算回路の推定値を選択
する。
【0013】ブロック相関演算について図2を用いて説
明する。基準画像中の(x0, y0)を中心とする基準ブロッ
クに対して、参照画像の探索領域中で、(数1)で定義
される残差平方和(SSD)を計算し、探索領域内でS
SDを最小にする(ui, vj)を(x0,y0)における推定
値(u,v)とする。
明する。基準画像中の(x0, y0)を中心とする基準ブロッ
クに対して、参照画像の探索領域中で、(数1)で定義
される残差平方和(SSD)を計算し、探索領域内でS
SDを最小にする(ui, vj)を(x0,y0)における推定
値(u,v)とする。
【0014】
【数1】
【0015】ここで、f1(x, y)は基準画像の(x,
y)における輝度値、f2(x, y)は参照画像の(x, y)
における輝度値、wは相関演算を行うブロック領域をそ
れぞれ示す。
y)における輝度値、f2(x, y)は参照画像の(x, y)
における輝度値、wは相関演算を行うブロック領域をそ
れぞれ示す。
【0016】図3にブロック相関演算回路3の構成の一
例を示す。図3において、5は読み出しアドレス発生回
路、6は読み出し制御回路、7は平均二乗輝度こう配演
算回路、8は残差平方和演算回路、9は評価値演算回路
である。読み出しアドレス発生回路5は、基準画像内の
基準ブロックに対して参照画像内の参照ブロックが図2
に示すように探索領域内を順次走査するようにアドレス
を発生し、また、基準ブロックと参照ブロックの座標の
差ベクトル(ui, vj)を出力する。読み出し制御回路6
は読み出しアドレス発生回路5が発生したアドレスをも
とに、基準画像用フレームメモリ1及び参照画像用フレ
ームメモリ2に制御信号を出力し、前記基準ブロック及
び参照ブロックの画像データを読みだす。平均二乗輝度
こう配演算回路7は、読み出し制御回路6が読みだした
画像データからブロック内での水平、垂直方向の平均二
乗輝度こう配は、(数2)を計算する。
例を示す。図3において、5は読み出しアドレス発生回
路、6は読み出し制御回路、7は平均二乗輝度こう配演
算回路、8は残差平方和演算回路、9は評価値演算回路
である。読み出しアドレス発生回路5は、基準画像内の
基準ブロックに対して参照画像内の参照ブロックが図2
に示すように探索領域内を順次走査するようにアドレス
を発生し、また、基準ブロックと参照ブロックの座標の
差ベクトル(ui, vj)を出力する。読み出し制御回路6
は読み出しアドレス発生回路5が発生したアドレスをも
とに、基準画像用フレームメモリ1及び参照画像用フレ
ームメモリ2に制御信号を出力し、前記基準ブロック及
び参照ブロックの画像データを読みだす。平均二乗輝度
こう配演算回路7は、読み出し制御回路6が読みだした
画像データからブロック内での水平、垂直方向の平均二
乗輝度こう配は、(数2)を計算する。
【0017】
【数2】
【0018】ここで、Nはブロック領域の画素数であ
る。
る。
【0019】残差平方和演算回路8は、読み出し制御回
路6が読みだした基準ブロック及び参照ブロックの画像
データと、読み出しアドレス発生回路5が出力する基準
ブロックと参照ブロック間の座標値の差ベクトル(ui, v
j)から、ブロック内での残差平方和を計算し、探索領域
中で最小の残差平方和を与える(ui, vj) を推定値(u,v)
として選択し、また、残差平方和の最小値SSDmin を
出力する。評価値演算回路9は輝度こう配、画像のノイ
ズ、残差平方和の最小値及びブロックサイズを考慮した
推定値の信頼性評価値Jを、(数3)に基づいて計算す
る。
路6が読みだした基準ブロック及び参照ブロックの画像
データと、読み出しアドレス発生回路5が出力する基準
ブロックと参照ブロック間の座標値の差ベクトル(ui, v
j)から、ブロック内での残差平方和を計算し、探索領域
中で最小の残差平方和を与える(ui, vj) を推定値(u,v)
として選択し、また、残差平方和の最小値SSDmin を
出力する。評価値演算回路9は輝度こう配、画像のノイ
ズ、残差平方和の最小値及びブロックサイズを考慮した
推定値の信頼性評価値Jを、(数3)に基づいて計算す
る。
【0020】
【数3】
【0021】ここで、SSDmin は探索領域中のSSD
の最小値、2σn 2は画像のノイズによって決まる定数で
ある。(数3)におけるσn は、画像のS/N比の式、
(数4)からS/N比と画像信号の最大レベルVより決
定する。
の最小値、2σn 2は画像のノイズによって決まる定数で
ある。(数3)におけるσn は、画像のS/N比の式、
(数4)からS/N比と画像信号の最大レベルVより決
定する。
【0022】
【数4】
【0023】また、ノイズがランダムノイズの場合、S
SDmin /Nは正しい対応がとれているところでは、2
σn 2となるので、SSDmin /Nの画像全体での最大頻
度を2σn 2と等しいとしてもよい。なお、正しい対応が
とれているところでのSSDmin /Nの値は、ブロック
サイズが大きい方が2σn 2のまわりでのばらつきが小さ
くなるため、大きなブロックサイズによるブロックマッ
チング時のSSDmin/Nの画像全体での最大頻度から
σn を決定した方が、より安定した統合時の評価を行え
る。
SDmin /Nは正しい対応がとれているところでは、2
σn 2となるので、SSDmin /Nの画像全体での最大頻
度を2σn 2と等しいとしてもよい。なお、正しい対応が
とれているところでのSSDmin /Nの値は、ブロック
サイズが大きい方が2σn 2のまわりでのばらつきが小さ
くなるため、大きなブロックサイズによるブロックマッ
チング時のSSDmin/Nの画像全体での最大頻度から
σn を決定した方が、より安定した統合時の評価を行え
る。
【0024】(数3)の評価値Jは相関演算時の一致度
を輝度こう配即ちブロック内の輝度分布の特徴量で正規
化したものであり、基準ブロックと参照ブロックの相関
性が高い時にはJは小さな値となり、逆に相関性が低い
時にはJは大きな値をとる。
を輝度こう配即ちブロック内の輝度分布の特徴量で正規
化したものであり、基準ブロックと参照ブロックの相関
性が高い時にはJは小さな値となり、逆に相関性が低い
時にはJは大きな値をとる。
【0025】図4に残差平方和演算回路8のブロック図
の一例を示す。図4において、12は残差平方演算回
路、13は累積加算回路、14aは最小値選択回路であ
る。残差平方演算回路12は基準ブロックと参照ブロッ
クの画像データの残差を順次計算する。累積加算回路1
3は基準ブロックと参照ブロック間での残差平方和の演
算毎に0クリアされ、前記基準ブロックと参照ブロック
内の各画素について残差平方演算回路12の出力を累積
加算し、(数1)に示す残差平方和SSDを計算する。
最小値選択回路14aは基準画像内で基準ブロック内が
設定される毎にリセットされる。そして、探索領域内の
すべての(ui, vi)について累積加算回路13が計算した
SSDをもとに、SSDの最小値SSDmin 及び最小の
SSDを与える参照ブロックの座標値と基準ブロックの
座標値との差ベクトル(u, v)を探索領域内で更新し、探
索領域内でのSSDの最小値SSDmin および推定値
(u, v)を計算する。
の一例を示す。図4において、12は残差平方演算回
路、13は累積加算回路、14aは最小値選択回路であ
る。残差平方演算回路12は基準ブロックと参照ブロッ
クの画像データの残差を順次計算する。累積加算回路1
3は基準ブロックと参照ブロック間での残差平方和の演
算毎に0クリアされ、前記基準ブロックと参照ブロック
内の各画素について残差平方演算回路12の出力を累積
加算し、(数1)に示す残差平方和SSDを計算する。
最小値選択回路14aは基準画像内で基準ブロック内が
設定される毎にリセットされる。そして、探索領域内の
すべての(ui, vi)について累積加算回路13が計算した
SSDをもとに、SSDの最小値SSDmin 及び最小の
SSDを与える参照ブロックの座標値と基準ブロックの
座標値との差ベクトル(u, v)を探索領域内で更新し、探
索領域内でのSSDの最小値SSDmin および推定値
(u, v)を計算する。
【0026】図5に評価値演算回路9のブロック図の一
例を示す。図5において、15は加算器、16aは乗算
器、17a、17bは除算器、18は減算器、19は絶
対値演算回路である。加算器15は、水平方向と垂直方
向の平均二乗輝度こう配を加算し、(数3)の分母を計
算する。乗算器16aはブロックサイズの縦横を乗算し
ブロックの面積Nを計算する。除算器17aは残差平方
和の最小値をブロックの面積で正規化し、1画素あたり
の残差平方和の最小値SSDmin /Nを計算する。減算
器18は1画素あたりの残差平方和の最小値からノイズ
レベルを減算する。絶対値演算回路19は減算器18の
出力の絶対値を計算する。除算器17bは絶対値演算回
路19の出力を加算器15の出力で除算し、(数3)に
示す評価値を出力する。
例を示す。図5において、15は加算器、16aは乗算
器、17a、17bは除算器、18は減算器、19は絶
対値演算回路である。加算器15は、水平方向と垂直方
向の平均二乗輝度こう配を加算し、(数3)の分母を計
算する。乗算器16aはブロックサイズの縦横を乗算し
ブロックの面積Nを計算する。除算器17aは残差平方
和の最小値をブロックの面積で正規化し、1画素あたり
の残差平方和の最小値SSDmin /Nを計算する。減算
器18は1画素あたりの残差平方和の最小値からノイズ
レベルを減算する。絶対値演算回路19は減算器18の
出力の絶対値を計算する。除算器17bは絶対値演算回
路19の出力を加算器15の出力で除算し、(数3)に
示す評価値を出力する。
【0027】図6に推定値統合演算回路4のブロック図
の一例を示す。図6において20は重み係数テーブル、
16bは乗算器、21は比較回路である。乗算器16b
は、ブロック相関演算回路3A、3B、3C、3Dによ
るブロック相関演算時の信頼性評価値を順次読み込み、
ブロックサイズに応じた重み係数を重み係数テーブル2
0から読み出して信頼性評価値に乗ずる。比較回路21
は、基準ブロックの更新毎にリセットされ、重みづけ後
の評価値が最小となるブロックサイズでの推定値を選択
し出力する。
の一例を示す。図6において20は重み係数テーブル、
16bは乗算器、21は比較回路である。乗算器16b
は、ブロック相関演算回路3A、3B、3C、3Dによ
るブロック相関演算時の信頼性評価値を順次読み込み、
ブロックサイズに応じた重み係数を重み係数テーブル2
0から読み出して信頼性評価値に乗ずる。比較回路21
は、基準ブロックの更新毎にリセットされ、重みづけ後
の評価値が最小となるブロックサイズでの推定値を選択
し出力する。
【0028】図7に推定値統合演算回路4で用いる重み
係数のブロックの面積に対する特性の一例を示す。図7
において重み係数はブロック面積の2分の1乗の逆数に
比例する特性になっている。
係数のブロックの面積に対する特性の一例を示す。図7
において重み係数はブロック面積の2分の1乗の逆数に
比例する特性になっている。
【0029】以上のように本実施例によれば、ブロック
マッチングによる推定結果の信頼性を、輝度こう配、画
像のノイズ、SSDの最小値、ブロックサイズをもとに
評価して、複数のブロックサイズによる推定結果を統合
し、繰り返し計算を行わずに奥行き及び動きを精度よく
推定できる。
マッチングによる推定結果の信頼性を、輝度こう配、画
像のノイズ、SSDの最小値、ブロックサイズをもとに
評価して、複数のブロックサイズによる推定結果を統合
し、繰り返し計算を行わずに奥行き及び動きを精度よく
推定できる。
【0030】なお、図1において、基準画像用フレーム
メモリ1及び参照画像用メモリ2をフィールドメモリに
置き換えても同様の効果を得ることができ、本発明に含
まれる。また、ブロック相関演算回路3A、3B、3
C、3Dは、ブロック相関演算が十分高速に行えるな
ら、ひとつのブロック相関演算回路で演算を行ってもよ
い。また、推定値統合演算回路4で用いる重み係数の特
性は上記実施例で示したものに限る必要はなく、ブロッ
ク面積の逆数に比例する特性などであってもほぼ同様の
効果を得ることができ、本発明に含まれる。
メモリ1及び参照画像用メモリ2をフィールドメモリに
置き換えても同様の効果を得ることができ、本発明に含
まれる。また、ブロック相関演算回路3A、3B、3
C、3Dは、ブロック相関演算が十分高速に行えるな
ら、ひとつのブロック相関演算回路で演算を行ってもよ
い。また、推定値統合演算回路4で用いる重み係数の特
性は上記実施例で示したものに限る必要はなく、ブロッ
ク面積の逆数に比例する特性などであってもほぼ同様の
効果を得ることができ、本発明に含まれる。
【0031】図8は本発明の第2の実施例における残差
平方和演算回路のブロック図の一例である。図8におい
て、12は残差平方演算回路、13は累積加算回路、1
4bは最小値選択回路、22は残差平方和用メモリ、2
3は最小値修正回路である。前記構成のうち最小値選択
回路14b、残差平方和用メモリ22、最小値修正回路
23以外は本発明の第1の実施例と同一であるので説明
を省略し、以下に最小値選択回路14b、残差平方和用
メモリ22、最小値修正回路23の動作について説明す
る。
平方和演算回路のブロック図の一例である。図8におい
て、12は残差平方演算回路、13は累積加算回路、1
4bは最小値選択回路、22は残差平方和用メモリ、2
3は最小値修正回路である。前記構成のうち最小値選択
回路14b、残差平方和用メモリ22、最小値修正回路
23以外は本発明の第1の実施例と同一であるので説明
を省略し、以下に最小値選択回路14b、残差平方和用
メモリ22、最小値修正回路23の動作について説明す
る。
【0032】最小値選択回路14bは基準ブロックにつ
いての相関演算のつど、すなわち、累積加算回路13が
探索範囲内のすべての(ui, vj)について(数1)の計算
を行う毎にリセットされる。そして、累積加算回路13
が画素間隔で計算した残差平方和SSDの最小値SSD
minintを選択し、さらに、SSDminintを与える参照ブ
ロックと基準ブロックの座標値の差ベクトル(U, V)を
計算する。残差平方和用メモリ22は累積加算回路13
が画素間隔で計算した残差平方和SSDの値を記憶す
る。最小値修正回路23は、最小値選択回路14bが選
択した差ベクトル(U, V)をもとに、その近傍での残差
平方和SSDの値(参照ブロックと基準ブロックの差ベ
クトルの要素が、最小値SSDminintを与える差ベクト
ル(U, V)と±1画素の範囲で異なる時のSSDの値)
を残差平方和用メモリ22から読み出し、内挿演算を行
って画素間隔以下の精度で推定値及び残差平方和の最小
値を計算する。
いての相関演算のつど、すなわち、累積加算回路13が
探索範囲内のすべての(ui, vj)について(数1)の計算
を行う毎にリセットされる。そして、累積加算回路13
が画素間隔で計算した残差平方和SSDの最小値SSD
minintを選択し、さらに、SSDminintを与える参照ブ
ロックと基準ブロックの座標値の差ベクトル(U, V)を
計算する。残差平方和用メモリ22は累積加算回路13
が画素間隔で計算した残差平方和SSDの値を記憶す
る。最小値修正回路23は、最小値選択回路14bが選
択した差ベクトル(U, V)をもとに、その近傍での残差
平方和SSDの値(参照ブロックと基準ブロックの差ベ
クトルの要素が、最小値SSDminintを与える差ベクト
ル(U, V)と±1画素の範囲で異なる時のSSDの値)
を残差平方和用メモリ22から読み出し、内挿演算を行
って画素間隔以下の精度で推定値及び残差平方和の最小
値を計算する。
【0033】推定値の修正は、画素間隔で計算した残差
平方和の最小値(数5)とその8近傍(数6)から、
(U, V)における1階の偏導関数を(数7)として計算
し、2階の偏導関数を(数8)として計算し、偏導関数
が0となる座標を1次のテーラー展開によって(数9)
として、(数10)により修正量(Δu, Δv)を求め、
(数11)に示す推定値(u, v)を計算する。
平方和の最小値(数5)とその8近傍(数6)から、
(U, V)における1階の偏導関数を(数7)として計算
し、2階の偏導関数を(数8)として計算し、偏導関数
が0となる座標を1次のテーラー展開によって(数9)
として、(数10)により修正量(Δu, Δv)を求め、
(数11)に示す推定値(u, v)を計算する。
【0034】
【数5】
【0035】
【数6】
【0036】
【数7】
【0037】
【数8】
【0038】
【数9】
【0039】(数9)より(Δu, Δv)は(数10)とし
て計算する。
て計算する。
【0040】
【数10】
【0041】
【数11】
【0042】そして、画素間隔以下の精度の推定値(U+
Δu, V+Δv)に対するSSDの最小値SSD(U+Δu, V+
Δv)は、(数12)として計算する。
Δu, V+Δv)に対するSSDの最小値SSD(U+Δu, V+
Δv)は、(数12)として計算する。
【0043】
【数12】
【0044】以上のように本実施例によれば、残差平方
和の最小値は、画素間隔で計算した残差平方和の最小値
をその近傍での残差平方和のこう配によって修正し、画
素間隔以下の精度で推定値を計算することができる。
和の最小値は、画素間隔で計算した残差平方和の最小値
をその近傍での残差平方和のこう配によって修正し、画
素間隔以下の精度で推定値を計算することができる。
【0045】なお、画素間隔以下の精度の推定値(u,v)
に対するSSDの最小値SSD(U,V)は、平均二乗輝度
こう配を用いて(数13)として計算しても同様の効果
を得ることができ、本発明に含まれる。
に対するSSDの最小値SSD(U,V)は、平均二乗輝度
こう配を用いて(数13)として計算しても同様の効果
を得ることができ、本発明に含まれる。
【0046】
【数13】
【0047】図9は本発明の第3の実施例におけるブロ
ック相関演算回路のブロック図の1例である。図9にお
いて、5は読み出しアドレス発生回路、6は読み出し制
御回路、7は平均二乗輝度こう配演算回路、8は残差平
方和演算回路、9は評価値演算回路、24は推定値メモ
リ、25は評価値メモリ、26は評価値選択回路であ
る。図9において推定値メモリ24、評価値メモリ2
5、評価値選択回路26以外の動作は、本発明の第1、
第2の実施例と同様であるので説明を省略し、以下に推
定値メモリ24、評価値メモリ25、評価値選択回路2
6の動作について説明する。
ック相関演算回路のブロック図の1例である。図9にお
いて、5は読み出しアドレス発生回路、6は読み出し制
御回路、7は平均二乗輝度こう配演算回路、8は残差平
方和演算回路、9は評価値演算回路、24は推定値メモ
リ、25は評価値メモリ、26は評価値選択回路であ
る。図9において推定値メモリ24、評価値メモリ2
5、評価値選択回路26以外の動作は、本発明の第1、
第2の実施例と同様であるので説明を省略し、以下に推
定値メモリ24、評価値メモリ25、評価値選択回路2
6の動作について説明する。
【0048】推定値メモリ24は、残差平方和演算回路
8の出力を記憶する。評価値メモリ25は評価値演算回
路9の出力を記憶する。評価値選択回路26は、着目画
素とその近傍における評価値を比較し、より評価値のよ
い点での推定値と評価値を選択する。評価値選択回路2
6による評価値及び推定値の選択の様子を図10に示
す。図10において、Pは着目画素を示し、格子点はブ
ロック相関演算を行う基準ブロックの中心位置を示し、
破線はP、A、B、C、Dをそれぞれ中心とするブロッ
クを示す。着目画素Pにおける評価値と推定値は、Pを
中心とする破線で囲まれる領域内に中心をおく全てのブ
ロック相関演算の結果(Pを中心とする破線で囲まれる
領域内の全ての格子点を中心とするブロックについての
相関演算結果)から、最良の評価値とその評価値を得た
ブロックでの推定値を選択する。
8の出力を記憶する。評価値メモリ25は評価値演算回
路9の出力を記憶する。評価値選択回路26は、着目画
素とその近傍における評価値を比較し、より評価値のよ
い点での推定値と評価値を選択する。評価値選択回路2
6による評価値及び推定値の選択の様子を図10に示
す。図10において、Pは着目画素を示し、格子点はブ
ロック相関演算を行う基準ブロックの中心位置を示し、
破線はP、A、B、C、Dをそれぞれ中心とするブロッ
クを示す。着目画素Pにおける評価値と推定値は、Pを
中心とする破線で囲まれる領域内に中心をおく全てのブ
ロック相関演算の結果(Pを中心とする破線で囲まれる
領域内の全ての格子点を中心とするブロックについての
相関演算結果)から、最良の評価値とその評価値を得た
ブロックでの推定値を選択する。
【0049】以上のように本実施例によれば、画像間の
対応づけの評価値は、着目画素近傍でブロックサイズ以
下の間隔で計算した評価値の最良のものを選択し、動き
及び奥行き推定値は前記最良の評価値のブロックでの動
き及び奥行き推定値を選択することによって、動き及び
奥行き推定値の不連続な領域における推定値の変化に精
度よく追従することができる。
対応づけの評価値は、着目画素近傍でブロックサイズ以
下の間隔で計算した評価値の最良のものを選択し、動き
及び奥行き推定値は前記最良の評価値のブロックでの動
き及び奥行き推定値を選択することによって、動き及び
奥行き推定値の不連続な領域における推定値の変化に精
度よく追従することができる。
【0050】なお、小さなブロックサイズによる画像間
の対応づけは、着目画素をブロックの中心と一致させて
行い、大きなブロックサイズによる画像間の対応づけは
本実施例における評価値の選択方法を用いても、動き及
び奥行き推定値の不連続な領域で推定値の変化に追従す
ることができ、本発明に含まれる。
の対応づけは、着目画素をブロックの中心と一致させて
行い、大きなブロックサイズによる画像間の対応づけは
本実施例における評価値の選択方法を用いても、動き及
び奥行き推定値の不連続な領域で推定値の変化に追従す
ることができ、本発明に含まれる。
【0051】また、小さなブロックサイズによる画像間
の対応づけは、本実施例における評価値の選択方法を用
いて着目画素とブロックの中心を適応的に変化させて行
い、大きなブロックサイズによる画像間の対応づけは、
着目画素とブロックの中心を一致させて行うことで、遮
蔽領域での動き及び奥行き推定値を滑らかに変化させる
ことができ、本発明に含まれる。
の対応づけは、本実施例における評価値の選択方法を用
いて着目画素とブロックの中心を適応的に変化させて行
い、大きなブロックサイズによる画像間の対応づけは、
着目画素とブロックの中心を一致させて行うことで、遮
蔽領域での動き及び奥行き推定値を滑らかに変化させる
ことができ、本発明に含まれる。
【0052】図11は本発明の第4の実施例における動
き及び奥行き推定装置のブロック図である。図11にお
いて、27はローパスフィルタ、1は基準画像用フレー
ムメモリ、2は参照画像用フレームメモリ、3A、3B
はブロック相関演算回路、28A、28Bは代表画素相
関演算回路、4は推定値統合演算回路である。前記構成
中、ローパスフィルタ27、代表画素相関演算回路28
A、28B以外の動作は、本発明の第1、第2、第3の
実施例と同様であるので説明を省略し、以下にローパス
フィルタ27、代表画素相関演算回路28の動作につい
て説明する。
き及び奥行き推定装置のブロック図である。図11にお
いて、27はローパスフィルタ、1は基準画像用フレー
ムメモリ、2は参照画像用フレームメモリ、3A、3B
はブロック相関演算回路、28A、28Bは代表画素相
関演算回路、4は推定値統合演算回路である。前記構成
中、ローパスフィルタ27、代表画素相関演算回路28
A、28B以外の動作は、本発明の第1、第2、第3の
実施例と同様であるので説明を省略し、以下にローパス
フィルタ27、代表画素相関演算回路28の動作につい
て説明する。
【0053】ローパスフィルタ27は代表画素演算回路
28での相関演算が繰り返しパターンの影響を受けない
ように、入力画像の帯域を制限する。すなわち、代表画
素相関演算回路28で相関演算を行う代表画素が2画素
間隔の場合には、ローパスフィルタのカットオフ周波数
を0.25 cycle/pixel(周期:4pixel)とする。
28での相関演算が繰り返しパターンの影響を受けない
ように、入力画像の帯域を制限する。すなわち、代表画
素相関演算回路28で相関演算を行う代表画素が2画素
間隔の場合には、ローパスフィルタのカットオフ周波数
を0.25 cycle/pixel(周期:4pixel)とする。
【0054】代表画素相関演算回路28は、本発明の第
1、第2、第3の実施例において、ブロック相関演算回
路3がブロック内の全画素に対して計算していた相関演
算を、図12に示すようにブロック内の代表画素だけに
ついて計算する。
1、第2、第3の実施例において、ブロック相関演算回
路3がブロック内の全画素に対して計算していた相関演
算を、図12に示すようにブロック内の代表画素だけに
ついて計算する。
【0055】図12は2画素間隔で代表画素を配置した
例を示しており、図中黒で示した画素についてのみ、図
13に示すように探索領域内で相関演算を行う。
例を示しており、図中黒で示した画素についてのみ、図
13に示すように探索領域内で相関演算を行う。
【0056】代表画素相関演算回路28は、図3に示す
ブロック相関演算回路3と同じ構成で、読み出しアドレ
ス発生回路5の発生するアドレスを2以上の等画素間隔
にすることで、代表画素についての相関演算を行う。代
表画素の間隔としては、ブロックサイズが40×40の時2
画素間隔、80×80の時4画素間隔程度にすれば、全画素
に対する相関演算と同様の精度で推定値を計算できる。
ブロック相関演算回路3と同じ構成で、読み出しアドレ
ス発生回路5の発生するアドレスを2以上の等画素間隔
にすることで、代表画素についての相関演算を行う。代
表画素の間隔としては、ブロックサイズが40×40の時2
画素間隔、80×80の時4画素間隔程度にすれば、全画素
に対する相関演算と同様の精度で推定値を計算できる。
【0057】以上のように本実施例によれば、大きなブ
ロックサイズによる相関演算の演算量を低減することが
でき、回路規模、計算コストを縮小できる。
ロックサイズによる相関演算の演算量を低減することが
でき、回路規模、計算コストを縮小できる。
【0058】なお、上記すべての実施例における評価値
の選択方法において、着目画素とその近傍で相関演算を
行うブロックの距離に応じて評価値に重みづけを行って
も同様の効果を得ることができ、本発明に含まれる。
の選択方法において、着目画素とその近傍で相関演算を
行うブロックの距離に応じて評価値に重みづけを行って
も同様の効果を得ることができ、本発明に含まれる。
【0059】また、上記すべての実施例のブロック相関
演算の評価式において(数3)の分母を変更し、(数1
4)もしくは(数15)としても同様の効果を得ること
ができ、本発明に含まれる。
演算の評価式において(数3)の分母を変更し、(数1
4)もしくは(数15)としても同様の効果を得ること
ができ、本発明に含まれる。
【0060】
【数14】
【0061】
【数15】
【0062】また、上記すべての実施例において、ブロ
ック間の残差の評価尺度および対応づけの信頼性評価値
Jは(数1)の残差平方和SSDを用いた(数3)に示
すものに限る必要はなく、(数16)に示す残差の絶対
値和SADに基づく(数17)に示す信頼性評価値を用
いても同様の効果を得ることができる。
ック間の残差の評価尺度および対応づけの信頼性評価値
Jは(数1)の残差平方和SSDを用いた(数3)に示
すものに限る必要はなく、(数16)に示す残差の絶対
値和SADに基づく(数17)に示す信頼性評価値を用
いても同様の効果を得ることができる。
【0063】
【数16】
【0064】
【数17】
【0065】また、(数17)の分母を(数18)、
(数19)のように変更してもほぼ同様の効果を得るこ
とができ、本発明に含まれる。
(数19)のように変更してもほぼ同様の効果を得るこ
とができ、本発明に含まれる。
【0066】
【数18】
【0067】
【数19】
【0068】なお、上記すべての実施例における評価値
の演算方法および回路において、画像のノイズレベルが
無視できるレベルである場合、(数3)、(数14)、
(数15)、(数17)、(数18)、(数19)の
σ n を0とし、評価値演算回路9の構成としては、図
5に示す構成から図14に示す構成に変更してもよく、
より簡単な構成により明らかに同様の効果を得ることが
でき、そのような実施例ももちろん本発明に含まれる。
の演算方法および回路において、画像のノイズレベルが
無視できるレベルである場合、(数3)、(数14)、
(数15)、(数17)、(数18)、(数19)の
σ n を0とし、評価値演算回路9の構成としては、図
5に示す構成から図14に示す構成に変更してもよく、
より簡単な構成により明らかに同様の効果を得ることが
でき、そのような実施例ももちろん本発明に含まれる。
【0069】
【発明の効果】以上説明したように、本発明によれば、
ブロックマッチングによる推定結果の信頼性を、輝度こ
う配、画像のノイズ、ブロック間の残差の評価尺度の最
小値、ブロックサイズをもとに評価して、複数のブロッ
クサイズによる推定結果を統合し、繰り返し計算を行わ
ずに奥行き及び動きを精度よく推定することができる。
ブロックマッチングによる推定結果の信頼性を、輝度こ
う配、画像のノイズ、ブロック間の残差の評価尺度の最
小値、ブロックサイズをもとに評価して、複数のブロッ
クサイズによる推定結果を統合し、繰り返し計算を行わ
ずに奥行き及び動きを精度よく推定することができる。
【0070】また、ブロック間の残差の評価尺度の最小
値および最小値を与える座標値の差ベクトルを残差の評
価尺度の最小値近傍での分布をもとに修正することによ
り、1画素間隔以下の精度の正確な奥行き及び動き推定
が可能である。
値および最小値を与える座標値の差ベクトルを残差の評
価尺度の最小値近傍での分布をもとに修正することによ
り、1画素間隔以下の精度の正確な奥行き及び動き推定
が可能である。
【0071】さらに、相関演算の際に着目画素とブロッ
クの中心を適応的にずらし、評価値が最良となる時の推
定値を選択することにより、奥行きや動きに急激な変化
がある領域においても精度よく推定を行うことができ
る。
クの中心を適応的にずらし、評価値が最良となる時の推
定値を選択することにより、奥行きや動きに急激な変化
がある領域においても精度よく推定を行うことができ
る。
【0072】また、小さなブロックサイズによる画像間
の対応づけは、着目画素をブロックの中心と一致させて
行い、大きなブロックサイズによる画像間の対応づけ
は、着目画素とブロックの中心を適応的にずらし、評価
値が最良となる時の推定値を選択することにより、動き
及び奥行き推定値の不連続な領域で推定値の変化に追従
することができる。
の対応づけは、着目画素をブロックの中心と一致させて
行い、大きなブロックサイズによる画像間の対応づけ
は、着目画素とブロックの中心を適応的にずらし、評価
値が最良となる時の推定値を選択することにより、動き
及び奥行き推定値の不連続な領域で推定値の変化に追従
することができる。
【0073】また、小さなブロックサイズによる画像間
の対応づけは、着目画素とブロックの中心を適応的に変
化させて行い、大きなブロックサイズによる画像間の対
応づけは、着目画素とブロックの中心を一致させて行う
ことで、遮蔽領域での動き及び奥行き推定値を滑らかに
変化させることができる。
の対応づけは、着目画素とブロックの中心を適応的に変
化させて行い、大きなブロックサイズによる画像間の対
応づけは、着目画素とブロックの中心を一致させて行う
ことで、遮蔽領域での動き及び奥行き推定値を滑らかに
変化させることができる。
【0074】さらに、大きなブロックサイズの相関演算
時には、ブロック内の全画素についてではなく代表画素
についてだけ相関演算を行うことにより、精度を維持し
たまま演算量を低減できる。
時には、ブロック内の全画素についてではなく代表画素
についてだけ相関演算を行うことにより、精度を維持し
たまま演算量を低減できる。
【0075】以上のように、本発明によれば、ブロック
マッチングによる推定結果の信頼性を、輝度こう配、画
像のノイズ、ブロック間の残差の評価尺度の最小値、ブ
ロックサイズをもとに評価して、複数のブロックサイズ
による推定結果を統合し、繰り返し計算を行わずに奥行
き及び動きを精度よく推定することができ、その効果は
大きい。
マッチングによる推定結果の信頼性を、輝度こう配、画
像のノイズ、ブロック間の残差の評価尺度の最小値、ブ
ロックサイズをもとに評価して、複数のブロックサイズ
による推定結果を統合し、繰り返し計算を行わずに奥行
き及び動きを精度よく推定することができ、その効果は
大きい。
【図1】本発明の第1の実施例における動き及び奥行き
推定装置のブロック図
推定装置のブロック図
【図2】ブロック相関演算を示す図
【図3】本発明の第1の実施例におけるブロック相関演
算回路のブロック図
算回路のブロック図
【図4】本発明の第1の実施例における残差平方和演算
回路のブロック図
回路のブロック図
【図5】本発明の第1の実施例における評価値演算回路
のブロック図
のブロック図
【図6】本発明の第1の実施例における推定値統合演算
回路のブロック図
回路のブロック図
【図7】推定値統合演算回路の重み係数の分布の一例を
示す特性図
示す特性図
【図8】本発明の第2の実施例における残差平方和演算
回路のブロック図
回路のブロック図
【図9】本発明の第3の実施例におけるブロック相関演
算回路のブロック図
算回路のブロック図
【図10】評価値選択回路における評価値及び推定値の
選択を示す図
選択を示す図
【図11】本発明の第4の実施例における動き及び奥行
き推定装置のブロック図
き推定装置のブロック図
【図12】ブロック内の代表点の配置を示す図
【図13】代表画素相関演算を示す図
【図14】ノイズレベルを考慮しない場合における評価
値演算回路のブロック図
値演算回路のブロック図
1 基準画像用フレームメモリ 2 参照画像用フレームメモリ 3A,3B,3C,3D ブロック相関演算回路 4 推定値統合演算回路 27 ローパスフィルタ 28A,28B 代表画素相関演算回路
Claims (10)
- 【請求項1】画像間の対応づけは、複数のブロックサイ
ズによる対応づけ結果を、輝度こう配、探索範囲内にお
ける残差の評価尺度の最小値、及びブロックサイズを考
慮した評価値を基に統合して計算することを特徴とする
動き及び奥行き推定方法。 - 【請求項2】画像間の対応づけは、複数のブロックサイ
ズによる対応づけ結果を、輝度こう配、画像のノイズ、
探索範囲内における残差の評価尺度の最小値、及びブロ
ックサイズを考慮した評価値を基に統合して計算するこ
とを特徴とする動き及び奥行き推定方法。 - 【請求項3】残差の評価尺度の最小値は、画素間隔で計
算した残差の評価尺度の最小値をその近傍での輝度こう
配もしくは残差の評価尺度のこう配によって修正し、画
素間隔以下の精度で計算することを特徴とする請求項1
または2記載の動き及び奥行き推定方法。 - 【請求項4】画像間の対応づけの評価値は、着目画素近
傍でブロックサイズ以下の間隔で計算した評価値の最良
のものを選択し、動き及び奥行き推定値は前記最良の評
価値のブロックでの動き及び奥行き推定値を選択するこ
とを特徴とする請求項1、2、または3記載の動き及び
奥行き推定方法。 - 【請求項5】画像間の対応づけの評価値は、着目画素近
傍でブロックサイズ以下の間隔で計算した評価値に対し
てブロックの中心と着目画素との距離に応じた重みづけ
を行い、重みづけ後の最良の評価値とその評価値を得た
ブロックでの動き及び奥行き推定値を選択することを特
徴とする請求項1、2、または記載の動き及び奥行き推
定方法。 - 【請求項6】小さなブロックサイズによる画像間の対応
づけは、着目画素をブロックの中心と一致させて行い、
大きなブロックサイズによる画像間の対応づけは、着目
画素とブロックの中心を適応的に変化させて行うことを
特徴とする請求項1〜5のいずれかに記載の動き及び奥
行き推定方法。 - 【請求項7】小さなブロックサイズによる画像間の対応
づけは、着目画素とブロックの中心を適応的に変化させ
て行い、大きなブロックサイズによる画像間の対応づけ
は、着目画素とブロックの中心を一致させて行うことを
特徴とする請求項1〜5のいずれかに記載の動き及び奥
行き推定方法。 - 【請求項8】ブロックサイズによる画像間の対応付け
は、ブロック内の代表画素について計算することを特徴
とする請求項1〜7のいずれかに記載の動き及び奥行き
推定方法。 - 【請求項9】基準画像を記憶する基準画像用フレームメ
モリと、参照画像を記憶する参照画像用フレームメモリ
と、複数のブロックサイズ毎にブロック相関演算と推定
値の信頼性評価値の演算を行うブロック相関演算回路
と、前記ブロック相関演算回路でのブロックマッチング
による推定結果の信頼性を、輝度こう配、画像のノイ
ズ、残差平方和の最小値、前記ブロックサイズをもとに
評価して、複数のブロックサイズによる推定結果を統合
する推定値統合演算回路とを備えた動き及び奥行き推定
装置。 - 【請求項10】基準画像を記憶する基準画像用フレーム
メモリと、参照画像を記憶する参照画像用フレームメモ
リと、複数のブロックサイズ毎にブロック相関演算と推
定値の信頼性評価値の演算を行うブロック相関演算回路
と、前記ブロック相関演算回路でのブロックマッチング
による推定結果の信頼性を、輝度こう配、残差平方和の
最小値、ブロックサイズをもとに評価して、複数のブロ
ックサイズによる推定結果を統合する推定値統合演算回
路を備えた動き及び奥行き推定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP09667995A JP3465988B2 (ja) | 1994-04-27 | 1995-04-21 | 動き及び奥行き推定方法及びその装置 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6-89587 | 1994-04-27 | ||
JP8958794 | 1994-04-27 | ||
JP7-19328 | 1995-02-07 | ||
JP1932895 | 1995-02-07 | ||
JP09667995A JP3465988B2 (ja) | 1994-04-27 | 1995-04-21 | 動き及び奥行き推定方法及びその装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08280026A true JPH08280026A (ja) | 1996-10-22 |
JP3465988B2 JP3465988B2 (ja) | 2003-11-10 |
Family
ID=27282587
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP09667995A Expired - Fee Related JP3465988B2 (ja) | 1994-04-27 | 1995-04-21 | 動き及び奥行き推定方法及びその装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3465988B2 (ja) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR19980018426A (ko) * | 1996-08-06 | 1998-06-05 | 에드워드 디. 브린 | 입체식 비디오코딩을 위한 최적자 판단 |
JP2004508639A (ja) * | 2000-09-07 | 2004-03-18 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像のマッチング |
KR20040046892A (ko) * | 2002-11-28 | 2004-06-05 | 엘지전자 주식회사 | 움직임 벡터 예측 부호화 및 복호화 방법 |
JP2006031423A (ja) * | 2004-07-16 | 2006-02-02 | Sony Corp | 画像処理方法および画像処理装置 |
JP2006090896A (ja) * | 2004-09-24 | 2006-04-06 | Fuji Heavy Ind Ltd | ステレオ画像処理装置 |
JP2007020130A (ja) * | 2005-07-11 | 2007-01-25 | Ricoh Co Ltd | 動画像処理装置、及び動画像処理方法 |
JP2007218922A (ja) * | 2007-03-27 | 2007-08-30 | Topcon Corp | 画像測定装置 |
JP2010107301A (ja) * | 2008-10-29 | 2010-05-13 | Aisin Seiki Co Ltd | 表面欠陥評価装置 |
JP2010107300A (ja) * | 2008-10-29 | 2010-05-13 | Aisin Seiki Co Ltd | 物体形状評価装置 |
JP2010286302A (ja) * | 2009-06-10 | 2010-12-24 | Konica Minolta Holdings Inc | 画像処理装置、画像処理方法、およびプログラム |
JP2011163822A (ja) * | 2010-02-05 | 2011-08-25 | Aisin Seiki Co Ltd | 物体形状評価装置 |
JP2012065327A (ja) * | 2010-09-20 | 2012-03-29 | Lg Electronics Inc | 携帯端末機及びその動作制御方法 |
US9076215B2 (en) | 2011-11-28 | 2015-07-07 | Panasonic Intellectual Property Management Co., Ltd. | Arithmetic processing device |
JP2016009487A (ja) * | 2014-06-25 | 2016-01-18 | ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハーHonda Research Institute Europe GmbH | 立体画像に基づいて距離情報を求めるためのセンサシステム |
JP2016050857A (ja) * | 2014-08-29 | 2016-04-11 | 日本電信電話株式会社 | 測長装置および測長方法 |
JP2020528182A (ja) * | 2017-07-19 | 2020-09-17 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh | 対応形成のための画像部分を評価するための方法および装置 |
-
1995
- 1995-04-21 JP JP09667995A patent/JP3465988B2/ja not_active Expired - Fee Related
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR19980018426A (ko) * | 1996-08-06 | 1998-06-05 | 에드워드 디. 브린 | 입체식 비디오코딩을 위한 최적자 판단 |
JP4700892B2 (ja) * | 2000-09-07 | 2011-06-15 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像のマッチング |
JP2004508639A (ja) * | 2000-09-07 | 2004-03-18 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像のマッチング |
KR20040046892A (ko) * | 2002-11-28 | 2004-06-05 | 엘지전자 주식회사 | 움직임 벡터 예측 부호화 및 복호화 방법 |
JP2006031423A (ja) * | 2004-07-16 | 2006-02-02 | Sony Corp | 画像処理方法および画像処理装置 |
JP4608978B2 (ja) * | 2004-07-16 | 2011-01-12 | ソニー株式会社 | 画像処理方法および画像処理装置 |
JP2006090896A (ja) * | 2004-09-24 | 2006-04-06 | Fuji Heavy Ind Ltd | ステレオ画像処理装置 |
JP4554316B2 (ja) * | 2004-09-24 | 2010-09-29 | 富士重工業株式会社 | ステレオ画像処理装置 |
JP2007020130A (ja) * | 2005-07-11 | 2007-01-25 | Ricoh Co Ltd | 動画像処理装置、及び動画像処理方法 |
JP2007218922A (ja) * | 2007-03-27 | 2007-08-30 | Topcon Corp | 画像測定装置 |
JP2010107301A (ja) * | 2008-10-29 | 2010-05-13 | Aisin Seiki Co Ltd | 表面欠陥評価装置 |
JP2010107300A (ja) * | 2008-10-29 | 2010-05-13 | Aisin Seiki Co Ltd | 物体形状評価装置 |
JP2010286302A (ja) * | 2009-06-10 | 2010-12-24 | Konica Minolta Holdings Inc | 画像処理装置、画像処理方法、およびプログラム |
JP2011163822A (ja) * | 2010-02-05 | 2011-08-25 | Aisin Seiki Co Ltd | 物体形状評価装置 |
JP2012065327A (ja) * | 2010-09-20 | 2012-03-29 | Lg Electronics Inc | 携帯端末機及びその動作制御方法 |
US9076215B2 (en) | 2011-11-28 | 2015-07-07 | Panasonic Intellectual Property Management Co., Ltd. | Arithmetic processing device |
JP2016009487A (ja) * | 2014-06-25 | 2016-01-18 | ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハーHonda Research Institute Europe GmbH | 立体画像に基づいて距離情報を求めるためのセンサシステム |
JP2016050857A (ja) * | 2014-08-29 | 2016-04-11 | 日本電信電話株式会社 | 測長装置および測長方法 |
JP2020528182A (ja) * | 2017-07-19 | 2020-09-17 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh | 対応形成のための画像部分を評価するための方法および装置 |
US11100624B2 (en) | 2017-07-19 | 2021-08-24 | Robert Bosch Gmbh | Method and device for analyzing image sections for a correspondence calculation |
Also Published As
Publication number | Publication date |
---|---|
JP3465988B2 (ja) | 2003-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3465988B2 (ja) | 動き及び奥行き推定方法及びその装置 | |
US6215899B1 (en) | Motion and disparity estimation method, image synthesis method, and apparatus for implementing same methods | |
US6504569B1 (en) | 2-D extended image generation from 3-D data extracted from a video sequence | |
US6529613B1 (en) | Motion tracking using image-texture templates | |
JP2004005596A (ja) | 変化するサーチ経路及びオクルージョンモデリングでの複数ビューの3d復元用方法及びシステム | |
KR20090052889A (ko) | 이미지들로부터 깊이 맵을 결정하기 위한 방법 및 깊이 맵을 결정하기 위한 디바이스 | |
JP2012529691A (ja) | 3次元画像生成 | |
EP0624981B1 (en) | Motion vector detecting circuit | |
JP2017535884A (ja) | ノイズの多い奥行きまたは視差画像のリアルタイム適応的フィルタリングを行う方法および装置 | |
JP2011141710A (ja) | 奥行推定装置、奥行推定方法および奥行推定プログラム | |
Bouma et al. | Precise local blur estimation based on the first-order derivative | |
US6738497B2 (en) | Method, system and apparatus for image block matching | |
US8830394B2 (en) | System, method, and apparatus for providing improved high definition video from upsampled standard definition video | |
JP5059855B2 (ja) | 大域的動き推定方法 | |
JP2005339535A (ja) | 相違度の計算 | |
US6625301B2 (en) | Image processing apparatus, image processing method and transmission medium | |
JP2000088523A (ja) | 特徴ベクトルを利用した物体の認識装置および方法 | |
RU2000120929A (ru) | Способ обработки сигналов для определения координат объектов, наблюдаемых в последовательности телевизионных изображений, и устройство для его осуществления (варианты) | |
KR20050047745A (ko) | 에지 검출장치 및 그 검출방법 | |
CN112802175B (zh) | 大规模场景遮挡剔除方法、装置、设备及存储介质 | |
WO2007052044A2 (en) | Motion estimation using motion blur information | |
CN112150532A (zh) | 图像处理的方法、装置、电子设备和计算机可读介质 | |
JP2003534742A (ja) | 方法、システム及び装置 | |
JP4775221B2 (ja) | 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム | |
JP2019192048A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |