JPH0973540A - 動きベクトル算出装置 - Google Patents
動きベクトル算出装置Info
- Publication number
- JPH0973540A JPH0973540A JP7226778A JP22677895A JPH0973540A JP H0973540 A JPH0973540 A JP H0973540A JP 7226778 A JP7226778 A JP 7226778A JP 22677895 A JP22677895 A JP 22677895A JP H0973540 A JPH0973540 A JP H0973540A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- image
- vector
- picture
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 局所相関法を用いた動きベクトル算出装置に
おいて、輝度変化が乏しい部分の動きベクトルを推定し
て補間することにより、物体の運動を適切に表現した動
きベクトルを算出することができる動きベクトル算出装
置を提供することを課題とする。 【解決手段】 局所相関法を用いて画像上の各画像点の
動きベクトルを求め、信頼度の高い動きベクトルから補
間処理して得られた補間ベクトルにより信頼度の低い動
きベクトルを置換することによって、輝度変化の乏しい
物体の運動を適切に表現した動きベクトル(オプティカ
ルフロー)を算出する。
おいて、輝度変化が乏しい部分の動きベクトルを推定し
て補間することにより、物体の運動を適切に表現した動
きベクトルを算出することができる動きベクトル算出装
置を提供することを課題とする。 【解決手段】 局所相関法を用いて画像上の各画像点の
動きベクトルを求め、信頼度の高い動きベクトルから補
間処理して得られた補間ベクトルにより信頼度の低い動
きベクトルを置換することによって、輝度変化の乏しい
物体の運動を適切に表現した動きベクトル(オプティカ
ルフロー)を算出する。
Description
【0001】
【発明の属する技術分野】本発明は、局所相関法を用い
た動きベクトル算出装置に関し、特に輝度変化の少ない
部分の動きベクトルを推定して補間する動きベクトル算
出装置に関する。
た動きベクトル算出装置に関し、特に輝度変化の少ない
部分の動きベクトルを推定して補間する動きベクトル算
出装置に関する。
【0002】
【従来の技術】従来、画像認識等の画像処理の分野にお
いて、TVカメラなどの視覚センサから入力する移動物
体の追跡処理を行う方法として、移動物体上の各点の動
きベクトルの分布(オプティカルフロー)を求める方法
がとられている。この動きベクトルを求める手法とし
て、Berthold K.P.Hornらが、『Determining Optical F
low』(ARTIFICAL INTELIGENCE,Vol-17,pp185-203,1981)
において提案した勾配法が知られている。この手法は、
移動物体上の各画像点の画像濃度は時間的に変化しない
とした仮定に基づいて(1)式を求め、さらに、動きベ
クトルV(u,v)は空間的に急激な変化をしないとい
う制約条件を付加して、(1)式から動きベクトルV
(u,v)を求めるものである。
いて、TVカメラなどの視覚センサから入力する移動物
体の追跡処理を行う方法として、移動物体上の各点の動
きベクトルの分布(オプティカルフロー)を求める方法
がとられている。この動きベクトルを求める手法とし
て、Berthold K.P.Hornらが、『Determining Optical F
low』(ARTIFICAL INTELIGENCE,Vol-17,pp185-203,1981)
において提案した勾配法が知られている。この手法は、
移動物体上の各画像点の画像濃度は時間的に変化しない
とした仮定に基づいて(1)式を求め、さらに、動きベ
クトルV(u,v)は空間的に急激な変化をしないとい
う制約条件を付加して、(1)式から動きベクトルV
(u,v)を求めるものである。
【0003】 Ixu+Iyv+It=0 ・・・・・(1) ただし、Ix:空間x方向の濃度勾配 Iy:空間y方向の濃度勾配 u :動きベクトルVのx方向成分 v :動きベクトルVのy方向成分
【0004】この方法によれば、動きベクトルV(u,
v)が空間的に急激な変化をしないという制約条件に起
因して、静止した背景の前を物体が移動する場合のよう
に、動いていない部分と動いている部分が明確な場合
に、背景と移動物体の境界部がぼやけるという問題があ
る。
v)が空間的に急激な変化をしないという制約条件に起
因して、静止した背景の前を物体が移動する場合のよう
に、動いていない部分と動いている部分が明確な場合
に、背景と移動物体の境界部がぼやけるという問題があ
る。
【0005】上述した勾配法に対し、他の動きベクトル
を求める方法として、立川らが『高速相関演算機能をも
つビジョンシステム』(第9回日本ロボット学会講演会
予稿集,pp841-844,平成3年11月27日〜29日)
において提案した局所相関法が知られている。以下、局
所相関法の原理について説明する。図6は、局所相関法
を用いて動きベクトルを求める手法を説明するための線
図である。先ず、時刻t1における画像Fの中の移動物
体画像(図示なし)上のある画像点P1に着目する。こ
の画像点P1を中心とする近傍領域の画像を参照画像R1
とする。次に、時刻t1から微小時間Δtが経過した時
刻t2において、画像点P1を中心として参照画像R1の
領域よりも広い領域S1を探索領域として、参照画像R1
と最も対応(類似)する画像領域r1を探索する。この
ようにして探索された画像領域r1の中心点P1dtが点P
1の微小時間Δt後の位置として認識され、画像点P1dt
を終点とし画像点P1を始点とするベクトルが点P1の動
きベクトルV1として求まる。同様にして、他の画像点
Pn(nは正の整数)についても動きベクトルVnを求め
て、この分布からオプティカルフローを得ることができ
る。
を求める方法として、立川らが『高速相関演算機能をも
つビジョンシステム』(第9回日本ロボット学会講演会
予稿集,pp841-844,平成3年11月27日〜29日)
において提案した局所相関法が知られている。以下、局
所相関法の原理について説明する。図6は、局所相関法
を用いて動きベクトルを求める手法を説明するための線
図である。先ず、時刻t1における画像Fの中の移動物
体画像(図示なし)上のある画像点P1に着目する。こ
の画像点P1を中心とする近傍領域の画像を参照画像R1
とする。次に、時刻t1から微小時間Δtが経過した時
刻t2において、画像点P1を中心として参照画像R1の
領域よりも広い領域S1を探索領域として、参照画像R1
と最も対応(類似)する画像領域r1を探索する。この
ようにして探索された画像領域r1の中心点P1dtが点P
1の微小時間Δt後の位置として認識され、画像点P1dt
を終点とし画像点P1を始点とするベクトルが点P1の動
きベクトルV1として求まる。同様にして、他の画像点
Pn(nは正の整数)についても動きベクトルVnを求め
て、この分布からオプティカルフローを得ることができ
る。
【0006】このように局所相関法では、参照画像Rn
と最も対応(類似)する画像領域rnを領域Snについて
探索することにより画像点Pnの移動先を認識して、こ
の画像点Pnの動きベクトルを算出するものとなってお
り、この対応(類似)の程度を相関値という評価量を導
入することにより定量的に把握するものである。
と最も対応(類似)する画像領域rnを領域Snについて
探索することにより画像点Pnの移動先を認識して、こ
の画像点Pnの動きベクトルを算出するものとなってお
り、この対応(類似)の程度を相関値という評価量を導
入することにより定量的に把握するものである。
【0007】ところで、領域Snの中から参照画像Rnと
最もよく対応する画像領域rnを探索する処理は、画像
の濃淡値による相関値を領域Snの内部の各画像領域rn
について演算し、この相関値から『最も高い相関度(類
似度)』を示す画像領域rnを見つけ出すことにより実
現されている。ここで、相関度自体が仮に高いとして
も、探索領域S全体にわたって一様な場合には『最も高
い相関度』を示す画像領域rnを特定することが困難と
なることに注意する必要がある。このような場合、画像
点Pnの動きベクトルVnは、必ずしも物体の運動を適切
に表現したものとはならない。したがって、上述した局
所相関法においては、算出された画像点Pnの動きベク
トルVnが物体の運動をどの程度適切に表現したもので
あるかを評価する必要が生じる。
最もよく対応する画像領域rnを探索する処理は、画像
の濃淡値による相関値を領域Snの内部の各画像領域rn
について演算し、この相関値から『最も高い相関度(類
似度)』を示す画像領域rnを見つけ出すことにより実
現されている。ここで、相関度自体が仮に高いとして
も、探索領域S全体にわたって一様な場合には『最も高
い相関度』を示す画像領域rnを特定することが困難と
なることに注意する必要がある。このような場合、画像
点Pnの動きベクトルVnは、必ずしも物体の運動を適切
に表現したものとはならない。したがって、上述した局
所相関法においては、算出された画像点Pnの動きベク
トルVnが物体の運動をどの程度適切に表現したもので
あるかを評価する必要が生じる。
【0008】以下に、局所相関法を用いて算出された動
きベクトルの評価方法について説明する。局所相関法で
は、参照画像Rnに対する領域Snの内部の各画像領域r
nの相関値を算出することから、画像点Pnに対する相対
的位置(相対座標)を定義域とし相関値を値域とする分
布が定まる。この分布を局所相関分布と呼ぶこととす
る。図7(a)〜(c)は、参照画像Rnに対する領域
Snの内部の相関値の分布の一例を二次元的に表わした
局所相関値分布図である。本来、画像Fは二次元的な広
がりを有しているので、相関値の分布は三次元的に表現
されるものとなるが、ここでは、説明の便宜のため二次
元的に表現された局所相関値分布図を用いて説明するこ
ととする。
きベクトルの評価方法について説明する。局所相関法で
は、参照画像Rnに対する領域Snの内部の各画像領域r
nの相関値を算出することから、画像点Pnに対する相対
的位置(相対座標)を定義域とし相関値を値域とする分
布が定まる。この分布を局所相関分布と呼ぶこととす
る。図7(a)〜(c)は、参照画像Rnに対する領域
Snの内部の相関値の分布の一例を二次元的に表わした
局所相関値分布図である。本来、画像Fは二次元的な広
がりを有しているので、相関値の分布は三次元的に表現
されるものとなるが、ここでは、説明の便宜のため二次
元的に表現された局所相関値分布図を用いて説明するこ
ととする。
【0009】図7において、相関値が小さいほど相関度
は高いことを示している。同図(a)に示すように、相
関値の高い部分と低い部分が明瞭な局所相関値分布を有
する領域Snにおいては、『最も高い相関度』を示す画
像領域rnを容易に特定することができる。したがっ
て、このような局所相関値分布を有する領域Snを探索
して求めた動きベクトルVnは、画像点Pnの運動を適切
に表現しているものと考えることができ、得られた動き
ベクトルVnの信頼度が高いと言える。また逆に、同図
(c)に示した例のように、相関度が一様な場合には、
『最も高い相関度』を示す画像領域rnを特定すること
が困難となり、このような局所相関値分布を有する領域
Snを探索して求めた動きベクトルVnは、画像点Pnの
運動を適切に表現しているものと言えず、得られた動き
ベクトルVnの信頼度は低いと言える。また、同図
(b)に示した例の場合には、これらの中間の信頼度を
示すものとなる。
は高いことを示している。同図(a)に示すように、相
関値の高い部分と低い部分が明瞭な局所相関値分布を有
する領域Snにおいては、『最も高い相関度』を示す画
像領域rnを容易に特定することができる。したがっ
て、このような局所相関値分布を有する領域Snを探索
して求めた動きベクトルVnは、画像点Pnの運動を適切
に表現しているものと考えることができ、得られた動き
ベクトルVnの信頼度が高いと言える。また逆に、同図
(c)に示した例のように、相関度が一様な場合には、
『最も高い相関度』を示す画像領域rnを特定すること
が困難となり、このような局所相関値分布を有する領域
Snを探索して求めた動きベクトルVnは、画像点Pnの
運動を適切に表現しているものと言えず、得られた動き
ベクトルVnの信頼度は低いと言える。また、同図
(b)に示した例の場合には、これらの中間の信頼度を
示すものとなる。
【0010】以上、説明したように、画像点Pnの動き
ベクトルVnが物体の運動をどの程度適切に表現してい
るかは領域Snにおける局所相関値分布の形状により評
価することができ、『最も高い相関度』を示す画像領域
の相関値が平均値より突出している度合いを動きベクト
ルの評価の尺度として用いることができる。そこで、画
像点Pnの動きベクトルの信頼度を定量的に評価するた
めに、以下の関数relを定義して、これを信頼度評価
関数を呼ぶこととする。
ベクトルVnが物体の運動をどの程度適切に表現してい
るかは領域Snにおける局所相関値分布の形状により評
価することができ、『最も高い相関度』を示す画像領域
の相関値が平均値より突出している度合いを動きベクト
ルの評価の尺度として用いることができる。そこで、画
像点Pnの動きベクトルの信頼度を定量的に評価するた
めに、以下の関数relを定義して、これを信頼度評価
関数を呼ぶこととする。
【0011】 rel = (Cmean-Cmin)/Cmean ・・・・・(2) ただし、Cmean:局所相関値分布の平均値 Cmin :局所相関値分布の最小値
【0012】この信頼性評価関数relを用いることに
より、相関度が高い領域の相関値Cm inが局所相関値分布
の平均値Cmeanからどの程度突出しているかを定量的に
把握することができ、この信頼度評価関数relから求
められる値が大きい程(1に近い程)、算出された動き
ベクトルVnは物体の運動を適切に表現しているものと
評価することができる。
より、相関度が高い領域の相関値Cm inが局所相関値分布
の平均値Cmeanからどの程度突出しているかを定量的に
把握することができ、この信頼度評価関数relから求
められる値が大きい程(1に近い程)、算出された動き
ベクトルVnは物体の運動を適切に表現しているものと
評価することができる。
【0013】
【発明が解決しようとする課題】ところで、上述した局
所相関法を用いた動きベクトル算出装置によれば、領域
Snの内部画像の輝度が一様な(変化が少ない)場合に
は、参照画像Rnに対して『最も高い相関度』を示す画
像領域rnの探索が困難となり、点Pnの微小時間Δt後
の位置である点Pndtを特定することが困難となる。こ
の結果、算出された画像点Pnの動きベクトルVnの信頼
度が低く、この動きベクトルVnは、画像点Pnの運動を
適切に表現したものとはならないという問題がある。
所相関法を用いた動きベクトル算出装置によれば、領域
Snの内部画像の輝度が一様な(変化が少ない)場合に
は、参照画像Rnに対して『最も高い相関度』を示す画
像領域rnの探索が困難となり、点Pnの微小時間Δt後
の位置である点Pndtを特定することが困難となる。こ
の結果、算出された画像点Pnの動きベクトルVnの信頼
度が低く、この動きベクトルVnは、画像点Pnの運動を
適切に表現したものとはならないという問題がある。
【0014】以下、この問題について、輝度変化が少な
い領域を有する画像Fから各画像点Pnの動きベクトル
Vnを求めた例を用いて説明する。図8は物体10の運
動の様子を表示している画像を表した線図であり、同図
(a)及び(b)はそれぞれ時刻t1及び時刻t2におけ
る物体10の状態を表していいる。ここで、時刻t2は
時刻t1から微小時間Δtが経過した時刻である。この
物体10の内部領域は一様に黒く、微小時間Δtの経過
前後において、物体10の内部領域では輝度の変化がほ
とんどない。また、背景は白く、このため物体10の輪
郭部分では大きな輝度の変化が存在する。この物体10
は、右下の角を中心として右回りの回転運動をしたもの
である。
い領域を有する画像Fから各画像点Pnの動きベクトル
Vnを求めた例を用いて説明する。図8は物体10の運
動の様子を表示している画像を表した線図であり、同図
(a)及び(b)はそれぞれ時刻t1及び時刻t2におけ
る物体10の状態を表していいる。ここで、時刻t2は
時刻t1から微小時間Δtが経過した時刻である。この
物体10の内部領域は一様に黒く、微小時間Δtの経過
前後において、物体10の内部領域では輝度の変化がほ
とんどない。また、背景は白く、このため物体10の輪
郭部分では大きな輝度の変化が存在する。この物体10
は、右下の角を中心として右回りの回転運動をしたもの
である。
【0015】このような物体10について動きベクトル
を算出する。図9は、局所相関法を用いて図8に示され
た2枚の画像から求めた動きベクトルを表した線図であ
る。図9に示されているように、輝度変化が顕著な物体
10の輪郭部分においては、輪郭部の画像点の移動先の
探索に成功しており、この物体10の回転運動に沿った
動きベクトルが適切に生成されている。これに対して、
輝度変化がほとんどない物体10の内部では、物体内部
の各画像点の移動先の探索に失敗しており、このため、
物体10の内部の動きベクトルは乱れ、物体10の内部
領域の運動を適切に表現したものとなっていない。
を算出する。図9は、局所相関法を用いて図8に示され
た2枚の画像から求めた動きベクトルを表した線図であ
る。図9に示されているように、輝度変化が顕著な物体
10の輪郭部分においては、輪郭部の画像点の移動先の
探索に成功しており、この物体10の回転運動に沿った
動きベクトルが適切に生成されている。これに対して、
輝度変化がほとんどない物体10の内部では、物体内部
の各画像点の移動先の探索に失敗しており、このため、
物体10の内部の動きベクトルは乱れ、物体10の内部
領域の運動を適切に表現したものとなっていない。
【0016】以上、説明したように、局所相関法によれ
ば、物体の輪郭部のように輝度変化が顕著な領域の動き
ベクトルを高信頼度で求めることができ、この領域(輝
度変化が顕著な領域)の画像の運動を明瞭に表現するこ
とができるという利点を有する一方、物体の内部のよう
に輝度変化の少ない領域の動きベクトルの信頼性は低下
し、この領域(輝度変化の少ない領域)の物体の運動を
適切に表現した動きベクトルを得ることができないとい
う問題がある。
ば、物体の輪郭部のように輝度変化が顕著な領域の動き
ベクトルを高信頼度で求めることができ、この領域(輝
度変化が顕著な領域)の画像の運動を明瞭に表現するこ
とができるという利点を有する一方、物体の内部のよう
に輝度変化の少ない領域の動きベクトルの信頼性は低下
し、この領域(輝度変化の少ない領域)の物体の運動を
適切に表現した動きベクトルを得ることができないとい
う問題がある。
【0017】本発明は、かかる問題点に鑑みてなされた
ものであり、局所相関法を用いた動きベクトル算出装置
において、輝度変化が乏しい部分の動きベクトルを推定
して補間することにより、物体の運動を適切に表現した
動きベクトルを算出することができる動きベクトル算出
装置を提供することを課題とする。
ものであり、局所相関法を用いた動きベクトル算出装置
において、輝度変化が乏しい部分の動きベクトルを推定
して補間することにより、物体の運動を適切に表現した
動きベクトルを算出することができる動きベクトル算出
装置を提供することを課題とする。
【0018】
【課題を解決するための手段】前記課題を解決するた
め、本発明は次の構成を有する。請求項1記載の発明に
かかる動きベクトル算出装置は、各時刻に対応した画像
データを格納する記憶部と、中央演算処理部と、前記中
央演算処理部に制御されて第1の時刻に対応する前記画
像データと第2の時刻に対応する前記画像データとの間
の相関値を演算する相関値演算部とを備え、前記中央演
算処理部は、(a)前記相関値に基づいて画像の各画像
点の動きベクトルと前記動きベクトルの信頼度とを算出
し、(b)前記画像を1または2以上の画像領域に分割
し、(c)前記画像領域毎に信頼度が所定値を満たさな
い第1の画像点の動きベクトルを補間ベクトルで置換す
る機能を有し、前記補間ベクトルは、信頼度が前記所定
値を満たす1または2以上の第2の画像点の動きベクト
ルを前記第1の画像点と前記第2の画像点との距離に依
存した重み付けをして合成したベクトルであり、前記第
2の画像点は前記第1の画像点が属する画像領域に属す
るものであるように構成されている。
め、本発明は次の構成を有する。請求項1記載の発明に
かかる動きベクトル算出装置は、各時刻に対応した画像
データを格納する記憶部と、中央演算処理部と、前記中
央演算処理部に制御されて第1の時刻に対応する前記画
像データと第2の時刻に対応する前記画像データとの間
の相関値を演算する相関値演算部とを備え、前記中央演
算処理部は、(a)前記相関値に基づいて画像の各画像
点の動きベクトルと前記動きベクトルの信頼度とを算出
し、(b)前記画像を1または2以上の画像領域に分割
し、(c)前記画像領域毎に信頼度が所定値を満たさな
い第1の画像点の動きベクトルを補間ベクトルで置換す
る機能を有し、前記補間ベクトルは、信頼度が前記所定
値を満たす1または2以上の第2の画像点の動きベクト
ルを前記第1の画像点と前記第2の画像点との距離に依
存した重み付けをして合成したベクトルであり、前記第
2の画像点は前記第1の画像点が属する画像領域に属す
るものであるように構成されている。
【0019】請求項2記載の発明にかかる動きベクトル
算出装置は、請求項1記載の発明にかかる動きベクトル
算出装置が、第1の表色系のカラー画像データを第2の
表色系の画像データに変換する表色系変換手段を備え、
変換された前記第2の表色系の画像データを使用して動
きベクトルを算出するように構成されている。
算出装置は、請求項1記載の発明にかかる動きベクトル
算出装置が、第1の表色系のカラー画像データを第2の
表色系の画像データに変換する表色系変換手段を備え、
変換された前記第2の表色系の画像データを使用して動
きベクトルを算出するように構成されている。
【0020】請求項1記載の発明にかかる動きベクトル
算出装置によれば、中央演算処理部は、記憶部より第1
の時刻に対応する画像データと第2の時刻に対応する画
像データとを読み取り、これらの画像データを相関値演
算部に渡す。相関値演算部はこれら画像データ間の相関
値を演算する。中央演算処理部は相関値演算部から相関
値の演算結果を受け取り、この演算結果に基づいて各画
像点の動きベクトルとその信頼度を算出する。そして、
中央演算処理部は画像を1または2以上の画像領域に分
割して、各画像領域毎に各画像点の動きベクトルの信頼
度が所定値を満たしているか否かを評価し、信頼度が所
定値を満たしていない第1の画像点の動きベクトルを補
間ベクトルで置換する。この補間ベクトルは、置換しよ
うとする第1の画像点の動きベクトルが属する画像領域
に属し、且つ信頼度が所定値を満たした1または2以上
の第2の画像点の動きベクトルを第1の画像点と第2の
画像点との距離に応じた重みづけをして合成したベクト
ルである。
算出装置によれば、中央演算処理部は、記憶部より第1
の時刻に対応する画像データと第2の時刻に対応する画
像データとを読み取り、これらの画像データを相関値演
算部に渡す。相関値演算部はこれら画像データ間の相関
値を演算する。中央演算処理部は相関値演算部から相関
値の演算結果を受け取り、この演算結果に基づいて各画
像点の動きベクトルとその信頼度を算出する。そして、
中央演算処理部は画像を1または2以上の画像領域に分
割して、各画像領域毎に各画像点の動きベクトルの信頼
度が所定値を満たしているか否かを評価し、信頼度が所
定値を満たしていない第1の画像点の動きベクトルを補
間ベクトルで置換する。この補間ベクトルは、置換しよ
うとする第1の画像点の動きベクトルが属する画像領域
に属し、且つ信頼度が所定値を満たした1または2以上
の第2の画像点の動きベクトルを第1の画像点と第2の
画像点との距離に応じた重みづけをして合成したベクト
ルである。
【0021】請求項2記載の発明にかかる動きベクトル
算出装置によれば、表色系変換手段により、第1の表色
系のカラー画像データを第2の表色系の画像データに変
換する。そして、変換された第2の表色系の画像データ
を用いて請求項1記載の発明にかかる動きベクトル算出
装置と同様に作用する。
算出装置によれば、表色系変換手段により、第1の表色
系のカラー画像データを第2の表色系の画像データに変
換する。そして、変換された第2の表色系の画像データ
を用いて請求項1記載の発明にかかる動きベクトル算出
装置と同様に作用する。
【0022】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図1は、本発明の一実施の形態に
かかる動きベクトル算出装置の構成を表すブロック図で
ある。本実施の形態にかかる動きベクトル算出装置は、
この装置の全体の動作を制御する中央演算処理装置1
と、中央演算処理装置1のプログラムデータ等を格納す
るメモリ2と、TVカメラなどの視覚センサからの画像
データを格納するフレームメモリ3と、メモリ2又はフ
レームメモリ3に格納されたデータから局所相関値分布
を生成して動きベクトルを算出する相関値演算部4とか
ら構成されており、メモリ2とフレームメモリ3とから
記憶部(符号なし)が構成されている。
施の形態を説明する。図1は、本発明の一実施の形態に
かかる動きベクトル算出装置の構成を表すブロック図で
ある。本実施の形態にかかる動きベクトル算出装置は、
この装置の全体の動作を制御する中央演算処理装置1
と、中央演算処理装置1のプログラムデータ等を格納す
るメモリ2と、TVカメラなどの視覚センサからの画像
データを格納するフレームメモリ3と、メモリ2又はフ
レームメモリ3に格納されたデータから局所相関値分布
を生成して動きベクトルを算出する相関値演算部4とか
ら構成されており、メモリ2とフレームメモリ3とから
記憶部(符号なし)が構成されている。
【0023】このように構成された本発明の一実施の形
態にかかる動きベクトル算出装置の動作を説明する。こ
の動きベクトル算出装置は、局所相関法を用いて画像上
の各画像点の動きベクトルを求め、信頼度の低い動きベ
クトルを補間ベクトルで置換することによって、物体の
運動を適切に表現した動きベクトル(オプティカルフロ
ー)を算出するものである。
態にかかる動きベクトル算出装置の動作を説明する。こ
の動きベクトル算出装置は、局所相関法を用いて画像上
の各画像点の動きベクトルを求め、信頼度の低い動きベ
クトルを補間ベクトルで置換することによって、物体の
運動を適切に表現した動きベクトル(オプティカルフロ
ー)を算出するものである。
【0024】以下、図2に示す中央演算処理部1の動作
を説明するためのフローチャートを参照しながら動作を
詳述する。先ず、TVカメラなどの視覚センサから得ら
れた画像データは時系列的にフレームメモリ3に蓄えら
れる。中央演算処理部1は各時刻における画像データの
それぞれを複数の画像領域Ai(iは正の整数)に分割
する(ステップS1)。図3は、図8(a)に示された
画像Fを背景画像領域A1と物体10が占有する領域A2
とに分割した領域を表わす線図である。図3に示すよう
に、画像Fは画像のイメージに基づいて、複数の画像領
域Aiに分割される。
を説明するためのフローチャートを参照しながら動作を
詳述する。先ず、TVカメラなどの視覚センサから得ら
れた画像データは時系列的にフレームメモリ3に蓄えら
れる。中央演算処理部1は各時刻における画像データの
それぞれを複数の画像領域Ai(iは正の整数)に分割
する(ステップS1)。図3は、図8(a)に示された
画像Fを背景画像領域A1と物体10が占有する領域A2
とに分割した領域を表わす線図である。図3に示すよう
に、画像Fは画像のイメージに基づいて、複数の画像領
域Aiに分割される。
【0025】次に、中央演算処理装置1は、局所相関法
を用いて画像F全体にわたり各画像点Pnの動きベクト
ルVnを算出する(ステップS2)。すなわち、中央演
算処理装置1は、時刻t1に対応する画像データDR1を
フレームメモリ3から読み取ってメモリ2に格納する。
ここで、画像データDR1は、画像上の画像点P1を中心
とする近傍領域の参照画像R1に対応した画像データで
ある。次に、中央演算処理装置1は、時刻t1から微小
時間Δtが経過した時刻t2の画像上の領域S1に対応す
る画像データDS2をフレームメモリ3から、また画像デ
ータDR1をメモリ2から読み取り、これら画像データD
R1及びDS2を相関値演算部4に与える。相関値演算部4
は、これらデータDR1とデータDS2との相関値を演算し
て、領域S 1の内部について参照画像R1と最も相関度が
高い(相関値が小さい)画像領域r1を探索し、この画
像領域r1の中心座標値を算出する。そして、中央演算
処理部1は、相関値演算部4により算出された画像領域
r1の中心座標値を入力して、この画像領域r1の中心座
標値と画像点P1の座標値とから、画像点P1の動きベク
トルV1を算出する。
を用いて画像F全体にわたり各画像点Pnの動きベクト
ルVnを算出する(ステップS2)。すなわち、中央演
算処理装置1は、時刻t1に対応する画像データDR1を
フレームメモリ3から読み取ってメモリ2に格納する。
ここで、画像データDR1は、画像上の画像点P1を中心
とする近傍領域の参照画像R1に対応した画像データで
ある。次に、中央演算処理装置1は、時刻t1から微小
時間Δtが経過した時刻t2の画像上の領域S1に対応す
る画像データDS2をフレームメモリ3から、また画像デ
ータDR1をメモリ2から読み取り、これら画像データD
R1及びDS2を相関値演算部4に与える。相関値演算部4
は、これらデータDR1とデータDS2との相関値を演算し
て、領域S 1の内部について参照画像R1と最も相関度が
高い(相関値が小さい)画像領域r1を探索し、この画
像領域r1の中心座標値を算出する。そして、中央演算
処理部1は、相関値演算部4により算出された画像領域
r1の中心座標値を入力して、この画像領域r1の中心座
標値と画像点P1の座標値とから、画像点P1の動きベク
トルV1を算出する。
【0026】次に、フレームメモリ3に蓄えられた時刻
t1における画像F上の画像点P2に着目して同様の処理
が実行され、画像点P2における動きベクトルV2を同様
に生成する。さらに、同様にして画像F全体にわたって
他の画像点Pn(nは正の整数)について動きベクトル
を生成し(ステップS2)、オプティカルフローを得
る。このようにして得られたオプティカルフローは従来
例で説明したように、信頼度の低い動きベクトルを含む
ものとなっている。
t1における画像F上の画像点P2に着目して同様の処理
が実行され、画像点P2における動きベクトルV2を同様
に生成する。さらに、同様にして画像F全体にわたって
他の画像点Pn(nは正の整数)について動きベクトル
を生成し(ステップS2)、オプティカルフローを得
る。このようにして得られたオプティカルフローは従来
例で説明したように、信頼度の低い動きベクトルを含む
ものとなっている。
【0027】次に、上述した動作により得られたオプテ
ィカルフローから各画像点Pnの動きベクトルVnの信頼
度を計算する(ステップS3)。そして、計算して得ら
れた動きベクトルVnの信頼度を信頼度評価値aと比較
し、この値aより小さい場合は(ステップS4,YE
S)、信頼度が低いとみなして、この動きベクトルVn
の補間処理を実行する(ステップS6〜S12)。ま
た、動きベクトルVnの信頼度が値aに等しいか大きい
場合(ステップS4,NO)には補間処理を実行するこ
となく、他の画像点における動きベクトルの信頼度の検
定を実行する(ステップS5,NO〜ステップS4)。
このようにして、全ての画像点Pnの動きベクトルVnに
ついて信頼度を評価し、信頼度が値aに満たない全ての
動きベクトルVnの補間処理を実行する。
ィカルフローから各画像点Pnの動きベクトルVnの信頼
度を計算する(ステップS3)。そして、計算して得ら
れた動きベクトルVnの信頼度を信頼度評価値aと比較
し、この値aより小さい場合は(ステップS4,YE
S)、信頼度が低いとみなして、この動きベクトルVn
の補間処理を実行する(ステップS6〜S12)。ま
た、動きベクトルVnの信頼度が値aに等しいか大きい
場合(ステップS4,NO)には補間処理を実行するこ
となく、他の画像点における動きベクトルの信頼度の検
定を実行する(ステップS5,NO〜ステップS4)。
このようにして、全ての画像点Pnの動きベクトルVnに
ついて信頼度を評価し、信頼度が値aに満たない全ての
動きベクトルVnの補間処理を実行する。
【0028】ここで、補間処理(ステップS6〜S1
2)の内容について説明する。中央演算処理部1は、画
像点Pnにおける動きベクトルVnの信頼度が値aを満た
していない場合には(ステップS4,YES)、分割領
域Aiの中から、その点Pnが所属する分割領域Anを探
索して特定し(ステップS6)、この特定された分割領
域Anについて補間処理を実行する。先ず、ベクトル変
数vに初期値としてゼロを設定して初期化する(ステッ
プS7)。次に、特定された分割領域Anに含まれる画
像点Qj(Qj∈An)(jは正の整数)に着目し(ステ
ップS8)、この画像点Qjの動きベクトルVqjの信頼
度を信頼度評価値bと比較する(ステップS9)。この
比較の結果、信頼度が値bに満たない動きベクトルVqj
は無視されて(ステップS9,NO)、他の動きベクト
ルVqjについて同様に信頼度の評価が実行される(ステ
ップS11〜ステップS8〜ステップS9)。
2)の内容について説明する。中央演算処理部1は、画
像点Pnにおける動きベクトルVnの信頼度が値aを満た
していない場合には(ステップS4,YES)、分割領
域Aiの中から、その点Pnが所属する分割領域Anを探
索して特定し(ステップS6)、この特定された分割領
域Anについて補間処理を実行する。先ず、ベクトル変
数vに初期値としてゼロを設定して初期化する(ステッ
プS7)。次に、特定された分割領域Anに含まれる画
像点Qj(Qj∈An)(jは正の整数)に着目し(ステ
ップS8)、この画像点Qjの動きベクトルVqjの信頼
度を信頼度評価値bと比較する(ステップS9)。この
比較の結果、信頼度が値bに満たない動きベクトルVqj
は無視されて(ステップS9,NO)、他の動きベクト
ルVqjについて同様に信頼度の評価が実行される(ステ
ップS11〜ステップS8〜ステップS9)。
【0029】この動きベクトルVqjの信頼度の評価の結
果、信頼度が値域bに等しいか大きい場合には(ステッ
プS9,YES)、この動きベクトルVqjを画像点Pn
と画像点Qjとの距離dnjで除算演算し、この除算演算
結果にベクトル変数vを加算して、ベクトル合成演算処
理を実行し、この処理の結果を再度ベクトル変数vに格
納する(ステップS10)。そして、他の画像点Qjの
動きベクトルVqjについて信頼度の検定を実行し、信頼
度が値bを満たす動きベクトルVqjについて上述したベ
クトル合成演算処理を繰り返し実行してこの演算結果を
ベクトル変数vに累積的に格納し、特定された分割領域
Anのすべての画像点Qjについて同様の処理を実行した
かを判断する(ステップS11,YES/NO)。信頼
度が値bを満たす全ての画像点Qjの動きベクトルVqj
についてベクトル合成演算を実行して演算結果をベクト
ル変数vに累積格納すると(ステップS11,YE
S)、ベクトル変数vに格納された合成ベクトルVHが
画像点Pnにおける動きベクトルVnとして定義される
(ステップS12)。以上の動作により、信頼度が値a
に満たない画像点Pnの動きベクトルVnが、特定された
分割領域Anの値bを満たす全ての動きベクトルVqjを
用いて合成演算処理して得られたベクトルVHにより補
間(置換)されることとなり、動きベクトル補間処理が
終了する。
果、信頼度が値域bに等しいか大きい場合には(ステッ
プS9,YES)、この動きベクトルVqjを画像点Pn
と画像点Qjとの距離dnjで除算演算し、この除算演算
結果にベクトル変数vを加算して、ベクトル合成演算処
理を実行し、この処理の結果を再度ベクトル変数vに格
納する(ステップS10)。そして、他の画像点Qjの
動きベクトルVqjについて信頼度の検定を実行し、信頼
度が値bを満たす動きベクトルVqjについて上述したベ
クトル合成演算処理を繰り返し実行してこの演算結果を
ベクトル変数vに累積的に格納し、特定された分割領域
Anのすべての画像点Qjについて同様の処理を実行した
かを判断する(ステップS11,YES/NO)。信頼
度が値bを満たす全ての画像点Qjの動きベクトルVqj
についてベクトル合成演算を実行して演算結果をベクト
ル変数vに累積格納すると(ステップS11,YE
S)、ベクトル変数vに格納された合成ベクトルVHが
画像点Pnにおける動きベクトルVnとして定義される
(ステップS12)。以上の動作により、信頼度が値a
に満たない画像点Pnの動きベクトルVnが、特定された
分割領域Anの値bを満たす全ての動きベクトルVqjを
用いて合成演算処理して得られたベクトルVHにより補
間(置換)されることとなり、動きベクトル補間処理が
終了する。
【0030】ここで、上述したベクトル合成演算処理
(ステップS10)について説明する。図4は、ベクト
ル合成演算処理を説明するための線図である。同図にお
いて、ベクトルVq1,Vq2の信頼度は、値bを満たした
ものであると仮定し、これらベクトルVq1,Vq2を用い
て、点P1の動きベクトルV1を補間するベクトルを求め
る場合について説明する。先ず、点P1と点Q1との距離
d1でベクトルVq1を除算したベクトルVq11を求める。
次に、点P1と点Q2との距離d2でベクトルVq2を除算
したベクトルVq21を求める。そして、これらベクトル
Vq11とVq21とを合成してベクトルVH1を求める。ベク
トルVH1は、距離d1,d2に重み付けされた大きさを有
する合成ベクトルとなり、このベクトルVH1が点P1の
動きベクトルV1を補間(置換)するベクトルとなる。
(ステップS10)について説明する。図4は、ベクト
ル合成演算処理を説明するための線図である。同図にお
いて、ベクトルVq1,Vq2の信頼度は、値bを満たした
ものであると仮定し、これらベクトルVq1,Vq2を用い
て、点P1の動きベクトルV1を補間するベクトルを求め
る場合について説明する。先ず、点P1と点Q1との距離
d1でベクトルVq1を除算したベクトルVq11を求める。
次に、点P1と点Q2との距離d2でベクトルVq2を除算
したベクトルVq21を求める。そして、これらベクトル
Vq11とVq21とを合成してベクトルVH1を求める。ベク
トルVH1は、距離d1,d2に重み付けされた大きさを有
する合成ベクトルとなり、このベクトルVH1が点P1の
動きベクトルV1を補間(置換)するベクトルとなる。
【0031】図5は、補間ベクトルVHにより補間され
て生成されたオプティカルフローを表す線図である。同
図に示されるように、物体10の内部についても、この
物体の運動を適切に表現した運動ベクトルが生成されて
いる。図2のフローチャートのステップS10の処理
を、上述したベクトルVq11とベクトルVq21を用いて補
足説明する。先ず上述したベクトルVq11を求めて、ベ
クトル変数vに格納しておき、次に上述したベクトルV
q21を求めてベクトル変数vと加算することによって、
ベクトルVq11とVq21とのベクトル合成を行い、このベ
クトル合成によって得られた合成ベクトルを再度ベクト
ル変数vに格納するものとなっている。したがって、特
定された分割領域Anの内部に信頼度が値bを満たすベ
クトルが多数存在する場合には、これらのベクトルを重
み付けして得られるベクトルをベクトル変数vと加算し
て再度ベクトル変数vに格納する処理を繰り返すことに
より、信頼度が値bを満たす全てのベクトルを用いて合
成されたベクトルが変数vに生成される。そして、この
変数vの内容が画像点P1の補間ベクトルVH1として定
義され、画像点P1の動きベクトルV1が補間ベクトルV
H1で置換される。このような補間処理を行うことによっ
て、図8に示すような、輝度変化がほとんどない物体1
0の内部領域についても、運動を適切に表現した動きベ
クトルの分布を有するオプティカルフローを得ることが
できる。
て生成されたオプティカルフローを表す線図である。同
図に示されるように、物体10の内部についても、この
物体の運動を適切に表現した運動ベクトルが生成されて
いる。図2のフローチャートのステップS10の処理
を、上述したベクトルVq11とベクトルVq21を用いて補
足説明する。先ず上述したベクトルVq11を求めて、ベ
クトル変数vに格納しておき、次に上述したベクトルV
q21を求めてベクトル変数vと加算することによって、
ベクトルVq11とVq21とのベクトル合成を行い、このベ
クトル合成によって得られた合成ベクトルを再度ベクト
ル変数vに格納するものとなっている。したがって、特
定された分割領域Anの内部に信頼度が値bを満たすベ
クトルが多数存在する場合には、これらのベクトルを重
み付けして得られるベクトルをベクトル変数vと加算し
て再度ベクトル変数vに格納する処理を繰り返すことに
より、信頼度が値bを満たす全てのベクトルを用いて合
成されたベクトルが変数vに生成される。そして、この
変数vの内容が画像点P1の補間ベクトルVH1として定
義され、画像点P1の動きベクトルV1が補間ベクトルV
H1で置換される。このような補間処理を行うことによっ
て、図8に示すような、輝度変化がほとんどない物体1
0の内部領域についても、運動を適切に表現した動きベ
クトルの分布を有するオプティカルフローを得ることが
できる。
【0032】以上、説明した本発明の一実施の形態にか
かる動きベクトル算出装置は、画像の濃淡から相関値を
算出して処理するものとなっているが、カラー画像デー
タに表色系の変換処理を施して、例えば色相から相関値
を算出して処理するように構成することも可能であリ、
本発明の本質は相関値の算出方法により限定されるもの
ではない。例えば、図1に示した動きベクトル算出装置
に表色系変換部5を付加して、図10に示すように装置
を構成し、表色系変換部5でRGBカラー画像データを
マンセルHVC(H:色相、V:輝度、C:彩度)表色
系に変換するようにする。相関演算においては色相Hに
基づいた演算を行えば、人の動きのオプティカルフロー
を求めることが可能となり、例えば人が首を縦に振った
か横に振ったかが容易に認識可能になるといった効果が
ある。
かる動きベクトル算出装置は、画像の濃淡から相関値を
算出して処理するものとなっているが、カラー画像デー
タに表色系の変換処理を施して、例えば色相から相関値
を算出して処理するように構成することも可能であリ、
本発明の本質は相関値の算出方法により限定されるもの
ではない。例えば、図1に示した動きベクトル算出装置
に表色系変換部5を付加して、図10に示すように装置
を構成し、表色系変換部5でRGBカラー画像データを
マンセルHVC(H:色相、V:輝度、C:彩度)表色
系に変換するようにする。相関演算においては色相Hに
基づいた演算を行えば、人の動きのオプティカルフロー
を求めることが可能となり、例えば人が首を縦に振った
か横に振ったかが容易に認識可能になるといった効果が
ある。
【0033】
【発明の効果】本発明にかかる動きベクトル算出装置に
よれば、輝度変化が少ない領域で生成された信頼度の低
い動きベクトルについて補間処理を行うようにしたの
で、輝度変化が少なくても物体の運動を適切に表した動
きベクトルを得ることができる。また、局所相関法を用
いて動きベクトルを算出するので、輝度の変化が顕著な
物体の輪郭部がぼやけない動きベクトルを得ることがで
きる。さらに、表色系を変換する手段を備えることによ
り、輝度変化がなくても例えば色相などにより動きベク
トルを算出することができる。
よれば、輝度変化が少ない領域で生成された信頼度の低
い動きベクトルについて補間処理を行うようにしたの
で、輝度変化が少なくても物体の運動を適切に表した動
きベクトルを得ることができる。また、局所相関法を用
いて動きベクトルを算出するので、輝度の変化が顕著な
物体の輪郭部がぼやけない動きベクトルを得ることがで
きる。さらに、表色系を変換する手段を備えることによ
り、輝度変化がなくても例えば色相などにより動きベク
トルを算出することができる。
【図1】本発明の一実施の形態にかかる動きベクトル算
出装置の構成を表すブロック図である。
出装置の構成を表すブロック図である。
【図2】中央演算処理部1の動作を説明するためのフロ
ーチャートである。
ーチャートである。
【図3】背景画像領域A1と物体10が占有する領域A2
との分割領域を表わす線図である。
との分割領域を表わす線図である。
【図4】ベクトル合成演算処理を説明するための線図で
ある。
ある。
【図5】補間ベクトルVHにより補間されて生成された
オプティカルフローを表す線図である。
オプティカルフローを表す線図である。
【図6】局所相関法を用いて動きベクトルを求める手法
を説明するための線図である。
を説明するための線図である。
【図7】(a)〜(c)は、参照画像Rnに対する領域
Snの内部の相関値の分布の一例を二次元的に表わした
局所相関値分布図である。
Snの内部の相関値の分布の一例を二次元的に表わした
局所相関値分布図である。
【図8】(a)及び(b)はそれぞれ時刻t1及び時刻
t2における物体の状態を表わす線図である。
t2における物体の状態を表わす線図である。
【図9】局所相関法を用いて求めたオプティカルフロー
を表した線図である。
を表した線図である。
【図10】表色系変換部を備えた本発明の一実施の形態
にかかる動きベクトル算出装置の構成を表すブロック図
である。
にかかる動きベクトル算出装置の構成を表すブロック図
である。
1 中央演算処理部 2 メモリ 3 フレームメモリ 4 相関値演算部 5 表色系変換部 10 物体
Claims (2)
- 【請求項1】 各時刻に対応した画像データを格納する
記憶部と、中央演算処理部と、前記中央演算処理部に制
御されて第1の時刻に対応する前記画像データと第2の
時刻に対応する前記画像データとの間の相関値を演算す
る相関値演算部とを備え、 前記中央演算処理部は、(a)前記相関値に基づいて画
像の各画像点の動きベクトルと前記動きベクトルの信頼
度とを算出し、(b)前記画像を1または2以上の画像
領域に分割し、(c)前記画像領域毎に信頼度が所定値
を満たさない第1の画像点の動きベクトルを補間ベクト
ルで置換する機能を有し、 前記補間ベクトルは、信頼度が前記所定値を満たす1ま
たは2以上の第2の画像点の動きベクトルを前記第1の
画像点と前記第2の画像点との距離に依存した重み付け
をして合成したベクトルであり、前記第2の画像点は前
記第1の画像点が属する画像領域に属するものであるこ
とを特徴とする動きベクトル算出装置。 - 【請求項2】 第1の表色系のカラー画像データを第2
の表色系の画像データに変換する表色系変換手段を備
え、変換された前記第2の表色系の画像データを使用し
て動きベクトルを算出することを特徴とする請求項1記
載の動きベクトル算出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7226778A JPH0973540A (ja) | 1995-09-04 | 1995-09-04 | 動きベクトル算出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7226778A JPH0973540A (ja) | 1995-09-04 | 1995-09-04 | 動きベクトル算出装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH0973540A true JPH0973540A (ja) | 1997-03-18 |
Family
ID=16850468
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP7226778A Pending JPH0973540A (ja) | 1995-09-04 | 1995-09-04 | 動きベクトル算出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0973540A (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001195596A (ja) * | 2000-01-17 | 2001-07-19 | Nippon Hoso Kyokai <Nhk> | 画像の対応点信頼度推定装置と対応点探索装置 |
US6788802B2 (en) | 1998-05-21 | 2004-09-07 | Sanyo Electric Co., Ltd. | Optical flow estimation method and image synthesis method |
WO2006075394A1 (ja) * | 2005-01-14 | 2006-07-20 | Morhpo, Inc. | 動きベクトル演算方法とこの方法を用いた手ぶれ補正装置、撮像装置、並びに動画生成装置 |
WO2007029764A1 (ja) * | 2005-09-09 | 2007-03-15 | Sony Corporation | 画像処理装置および方法、プログラム、並びに記録媒体 |
JP2007074591A (ja) * | 2005-09-09 | 2007-03-22 | Sony Corp | 画像処理装置および方法、プログラム、並びに記録媒体 |
WO2007074605A1 (ja) * | 2005-12-26 | 2007-07-05 | Nikon Corporation | 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置 |
JP2007292619A (ja) * | 2006-04-25 | 2007-11-08 | Matsushita Electric Works Ltd | 画像の歪み補正方法および3次元形状計測装置 |
EP2136548A2 (en) | 2008-06-17 | 2009-12-23 | Sony Corporation | Image processing apparatus, image processing method, and program |
US7773819B2 (en) | 2006-02-24 | 2010-08-10 | Morpho, Inc. | Image processing apparatus |
US7822237B2 (en) | 2003-04-15 | 2010-10-26 | Fujitsu Limited | Image matching apparatus, image matching method, and image matching program |
WO2016185832A1 (ja) * | 2015-05-21 | 2016-11-24 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP2017049178A (ja) * | 2015-09-03 | 2017-03-09 | 日本電信電話株式会社 | 移動速度推定装置、方法、及びプログラム |
-
1995
- 1995-09-04 JP JP7226778A patent/JPH0973540A/ja active Pending
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6788802B2 (en) | 1998-05-21 | 2004-09-07 | Sanyo Electric Co., Ltd. | Optical flow estimation method and image synthesis method |
JP2001195596A (ja) * | 2000-01-17 | 2001-07-19 | Nippon Hoso Kyokai <Nhk> | 画像の対応点信頼度推定装置と対応点探索装置 |
US7822237B2 (en) | 2003-04-15 | 2010-10-26 | Fujitsu Limited | Image matching apparatus, image matching method, and image matching program |
WO2006075394A1 (ja) * | 2005-01-14 | 2006-07-20 | Morhpo, Inc. | 動きベクトル演算方法とこの方法を用いた手ぶれ補正装置、撮像装置、並びに動画生成装置 |
KR101036787B1 (ko) * | 2005-01-14 | 2011-05-25 | 가부시키가이샤 모르포 | 움직임 벡터 연산 방법과 이 방법을 이용한 손 떨림 보정장치, 촬상 장치, 및 동영상 생성 장치 |
US7847823B2 (en) | 2005-01-14 | 2010-12-07 | Morpho, Inc. | Motion vector calculation method and hand-movement correction device, imaging device and moving picture generation device |
US8385602B2 (en) | 2005-09-09 | 2013-02-26 | Sony Corporation | Image processing device method, program, and recording medium for improving detection precision of a motion vector |
WO2007029764A1 (ja) * | 2005-09-09 | 2007-03-15 | Sony Corporation | 画像処理装置および方法、プログラム、並びに記録媒体 |
JP2007074591A (ja) * | 2005-09-09 | 2007-03-22 | Sony Corp | 画像処理装置および方法、プログラム、並びに記録媒体 |
JP2007074587A (ja) * | 2005-09-09 | 2007-03-22 | Sony Corp | 画像処理装置および方法、プログラム、並びに記録媒体 |
JPWO2007074605A1 (ja) * | 2005-12-26 | 2009-06-04 | 株式会社ニコン | 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置 |
US8482619B2 (en) | 2005-12-26 | 2013-07-09 | Nikon Corporation | Image processing method, image processing program, image processing device, and imaging device for image stabilization |
WO2007074605A1 (ja) * | 2005-12-26 | 2007-07-05 | Nikon Corporation | 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置 |
US7773819B2 (en) | 2006-02-24 | 2010-08-10 | Morpho, Inc. | Image processing apparatus |
JP2007292619A (ja) * | 2006-04-25 | 2007-11-08 | Matsushita Electric Works Ltd | 画像の歪み補正方法および3次元形状計測装置 |
EP2136548A3 (en) * | 2008-06-17 | 2010-07-28 | Sony Corporation | Image processing apparatus, image processing method, and program |
US8391623B2 (en) | 2008-06-17 | 2013-03-05 | Sony Corporation | Image processing apparatus and image processing method for determining motion vectors |
EP2136548A2 (en) | 2008-06-17 | 2009-12-23 | Sony Corporation | Image processing apparatus, image processing method, and program |
WO2016185832A1 (ja) * | 2015-05-21 | 2016-11-24 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
US10516825B2 (en) | 2015-05-21 | 2019-12-24 | Olympus Corporation | Image processing device, image processing method, and computer program product for correcting a motion vector of a low-reliability block |
JP2017049178A (ja) * | 2015-09-03 | 2017-03-09 | 日本電信電話株式会社 | 移動速度推定装置、方法、及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2870415B2 (ja) | 領域分割方法および装置 | |
US8805121B2 (en) | Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames | |
US5471535A (en) | Method for detecting a contour of a given subject to be separated from images and apparatus for separating a given subject from images | |
US6393162B1 (en) | Image synthesizing apparatus | |
JP4968259B2 (ja) | 画像高解像度化装置及び画像高解像度化方法並びにプログラム | |
JPH0973540A (ja) | 動きベクトル算出装置 | |
EP0484181A1 (en) | Ultrasonic color doppler diagnostic apparatus | |
JP5158262B2 (ja) | 画像処理方法および画像処理装置 | |
US20060098886A1 (en) | Efficient predictive image parameter estimation | |
JP5566199B2 (ja) | 画像処理装置およびその制御方法、並びにプログラム | |
JP2000175208A (ja) | 補間処理装置および補間処理プログラムを記録した記録媒体 | |
US20070098279A1 (en) | Method for determining a displacement vector in an image processing operation | |
US9106926B1 (en) | Using double confirmation of motion vectors to determine occluded regions in images | |
JP3143494B2 (ja) | 動きベクトル装置及びその方法 | |
JP3786300B2 (ja) | 動きベクトル検出装置及び動きベクトル検出方法 | |
JP3212917B2 (ja) | 走査線補間装置および走査線補間方法 | |
JP2001339695A (ja) | 画像信号処理装置及び画像信号処理方法 | |
JP3513277B2 (ja) | 映像符号化装置及び映像復号化装置 | |
JP5400655B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び、電子機器 | |
JP4582993B2 (ja) | 動画像合成方法および装置並びにプログラム | |
JP4104947B2 (ja) | 動画像合成方法および装置並びにプログラム | |
JP4515698B2 (ja) | 動画像合成方法および装置並びにプログラム | |
JP4366836B2 (ja) | 画像変換方法および画像変換装置 | |
JPH08242454A (ja) | グローバル動きパラメタ検出方法 | |
RU2308817C1 (ru) | Способ и устройство масштабирования динамического видеоизображения |