JP2004145592A - 移動ベクトル抽出装置及び方法及びプログラム及びその記録媒体 - Google Patents
移動ベクトル抽出装置及び方法及びプログラム及びその記録媒体 Download PDFInfo
- Publication number
- JP2004145592A JP2004145592A JP2002309122A JP2002309122A JP2004145592A JP 2004145592 A JP2004145592 A JP 2004145592A JP 2002309122 A JP2002309122 A JP 2002309122A JP 2002309122 A JP2002309122 A JP 2002309122A JP 2004145592 A JP2004145592 A JP 2004145592A
- Authority
- JP
- Japan
- Prior art keywords
- image
- extracting
- partial area
- partial
- motion vectors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】周期性のあるパターンを含む場合でも、間違った対応付けを行うことなく、２枚の画像から、より高精度な移動ベクトルを抽出可能とする。
【解決手段】画像特徴点抽出手段１０２は、同一物体を撮影した２枚のフレーム画像Ａ，Ｂのうち画像Ａの濃淡値に局所フィルタ処理を施しガウス曲率の極大点や極小点を画像特徴点として抽出する。部分領域抽出手段１０４は、画像特徴点を含む設定された部分領域から画像Ａ内の他の部分領域との画像類似度が所定値より低い部分領域を抽出する。部分領域の移動ベクトル抽出手段１０５は、画像Ｂ内の部分領域との対応付けを画像類似度に基づいて行い対応付けられた各部分領域から移動ベクトルを抽出する。物体の移動ベクトル抽出手段１０６は、部分領域の移動ベクトルのうち大きさと向きが所定範囲内にあるものをカテゴリ分類し、この移動ベクトルを対応する物体の移動ベクトルとして抽出する。
【選択図】 図１
【解決手段】画像特徴点抽出手段１０２は、同一物体を撮影した２枚のフレーム画像Ａ，Ｂのうち画像Ａの濃淡値に局所フィルタ処理を施しガウス曲率の極大点や極小点を画像特徴点として抽出する。部分領域抽出手段１０４は、画像特徴点を含む設定された部分領域から画像Ａ内の他の部分領域との画像類似度が所定値より低い部分領域を抽出する。部分領域の移動ベクトル抽出手段１０５は、画像Ｂ内の部分領域との対応付けを画像類似度に基づいて行い対応付けられた各部分領域から移動ベクトルを抽出する。物体の移動ベクトル抽出手段１０６は、部分領域の移動ベクトルのうち大きさと向きが所定範囲内にあるものをカテゴリ分類し、この移動ベクトルを対応する物体の移動ベクトルとして抽出する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、異なる時間に同一移動物体を撮影した画像から移動物体の画像上での移動ベクトルを抽出するための装置及び方法及びプログラム及びその記録媒体に関するものである。
【０００２】
【従来の技術】
従来、移動物体の移動ベクトルを求めるには、対応点問題を解決する必要があり、その方法として、１）輝度勾配による方法（オプティカルフロー）、と２）相関による方法とがある。輝度勾配による方法では、移動前の点の輝度と移動後の点の輝度が変化しないことと画像全体での速度分布が滑らかに変化するという拘束条件を用いている。一方、相関による方法には、２−１）画像全体を対象とするものと、２−２）画像中で特徴がある部分のみを対象とするものがあるが、相関による方法では、予めエッジなどの特徴点を求め、その点の移動ベクトルを相関係数に基づいて決定する（非特許文献１参照）。
【０００３】
【非特許文献１】
松山隆司、久野義徳、井宮淳 編、「コンピュータビジョン：技術評論と将来展望」、株式会社 新技術コミュニケーションズ、１９９８年、ｐ．１３８−１４８
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の輝度勾配による方法や相関による方法では、チェッカーフラッグなどの周期性のあるパターンを含む場合には、間違った対応付けを行うことがある。
【０００５】
また、画像全体を対象とした相関による移動ベクトル抽出では、画像中の濃淡変化が非常に小さい領域において対応が求まったとしても不確実である。
【０００６】
また、画像中で特徴があるものを対象とした相関による移動ベクトル抽出では、予めエッジ抽出等の前処理を行って濃淡変化が大きい領域に対応付けを限定し確実性を向上させているが、多角形の辺等の周期性を持った特徴を含む場合にも間違った対応付けが生じる。輝度勾配法でも特徴の周期性により間違った対応付けが生じる。
【０００７】
本発明の目的は、異なる時間に同一移動物体を撮影した２枚の画像から、間違った対応付けを行うことなく、移動物体の画像上での移動ベクトルを高精度に抽出可能とする技術を提供することである。また、撮影時間間隔及び対応する領域間の距離が既知であれば、移動物体の速度を求めることを可能とする技術を提供することである。
【０００８】
【課題を解決するための手段】
上記の課題を解決するため、本発明は、同一物体を所定の時間間隔で撮影した第１及び第２の画像から該第１及び第２の画像間の該物体の移動ベクトルを抽出する装置であって、第１の画像の濃淡値に対して局所フィルタ処理を施して得た値の極大点または極小点を画像特徴点として抽出する手段と、第１の画像において前記画像特徴点を含む部分領域を設定する手段と、前記設定された部分領域の中から第１の画像内の他の部分領域との画像類似度が全て所定の値より低い部分領域を抽出する手段と、前記抽出された部分領域と第２の画像内の部分領域との対応付けを画像類似度に基づいて行い、前記対応付けられた各部分領域の位置から部分領域の移動ベクトルを抽出する手段と、前記部分領域の移動ベクトルのうち大きさ及び向きが所定の範囲内にある移動ベクトル毎にカテゴリに分類し、前記分類されたカテゴリに属する移動ベクトルを該カテゴリに対応する物体の移動ベクトルとして抽出する手段とを有することを特徴とする移動ベクトル抽出装置を、その解決の手段とする。
【０００９】
あるいは、撮影ラインを対象物体が相対的に横切って移動するように設置した第１及び第２のラインセンサカメラによってそれぞれ撮影した第１及び第２の時系列画像から該第１及び第２の時系列画像間の該物体の移動ベクトルを抽出する装置であって、第１及び第２のラインセンサカメラを同期させて所定時間間隔で取得したライン画像をそれぞれつなぎ合わせて各ラインセンサに対する第１及び第２の時系列画像を合成する手段と、第１の時系列画像の濃淡値に対して局所フィルタ処理を施して得た値の極大点または極小点を画像特徴点として抽出する手段と、第１の時系列画像において前記画像特徴点を含む部分領域を設定する手段と、前記設定された部分領域の中から第１の時系列画像内の他の部分領域との画像類似度が全て所定の値より低い部分領域を抽出する手段と、前記抽出された部分領域と第２の時系列画像内の部分領域との対応付けを画像類似度に基づいて行い、前記対応付けられた各部分領域の位置から部分領域の移動ベクトルを抽出する手段と、前記部分領域の移動ベクトルのうち大きさ及び向きが所定の範囲内にある移動ベクトル毎にカテゴリに分類し、前記分類されたカテゴリに属する移動ベクトルを該カテゴリに対応する物体の移動ベクトルとして抽出する手段とを有することを特徴とする移動ベクトル抽出装置を、その解決の手段とする。
【００１０】
あるいは、上記の移動ベクトル抽出装置において、前記特徴点を抽出する手段は、第１の画像または第１の時系列画像の濃淡値に対してガウス曲率が所定の正の閾値以上となる局所領域の中心点を画像特徴点として抽出するものであることを特徴とする移動ベクトル抽出装置を、その解決の手段とする。
【００１１】
あるいは、上記の移動ベクトル抽出装置において、前記部分領域を設定する手段は、１つの部分領域中に複数の前記画像特徴点を含むように該部分領域を設定するものであることを特徴とする移動ベクトル抽出装置を、その解決の手段とする。
【００１２】
あるいは、上記の移動ベクトル抽出装置において、前記物体の移動ベクトルを抽出する手段は、前記分類されたカテゴリに属する移動ベクトルの個数が所定の閾値以上である場合に該カテゴリに属する移動ベクトルを該カテゴリに対応する物体の移動ベクトルとして抽出するものであることを特徴とする移動ベクトル抽出装置を、その解決の手段とする。
【００１３】
あるいは、上記の移動ベクトル抽出装置において、処理対象とする各部分画像の画素を間引いて画像分解能を低下させた後に画像類似度を計算する手段を備え、前記部分領域を抽出する手段及び前記部分領域の移動ベクトルを抽出する手段で用いる画像類似度は、前記画像類似度を計算する手段によって求めることを特徴とする移動ベクトル抽出装置を、その解決の手段とする。
【００１４】
あるいは、同一物体を所定の時間間隔で撮影した第１及び第２の画像から該第１及び第２の画像間の該物体の移動ベクトルを抽出する方法であって、第１の画像の濃淡値に対して局所フィルタ処理を施して得た値の極大点または極小点を画像特徴点として抽出する段階と、第１の画像において前記画像特徴点を含む部分領域を設定する段階と、前記設定された部分領域の中から第１の画像内の他の部分領域との画像類似度が全て所定の値より低い部分領域を抽出する段階と、前記抽出された部分領域と第２の画像内の部分領域との対応付けを画像類似度に基づいて行い、前記対応付けられた各部分領域の位置から部分領域の移動ベクトルを抽出する段階と、前記部分領域の移動ベクトルのうち大きさ及び向きが所定の範囲内にある移動ベクトル毎にカテゴリに分類し、前記分類されたカテゴリに属する移動ベクトルを該カテゴリに対応する物体の移動ベクトルとして抽出する段階とを有することを特徴とする移動ベクトル抽出方法を、その解決の手段とする。
【００１５】
あるいは、撮影ラインを対象物体が相対的に横切って移動するように設置した第１及び第２のラインセンサカメラによってそれぞれ撮影した第１及び第２の時系列画像から該第１及び第２の時系列画像間の該物体の移動ベクトルを抽出する方法であって、第１及び第２のラインセンサカメラを同期させて所定時間間隔で取得したライン画像をそれぞれつなぎ合わせて各ラインセンサに対する第１及び第２の時系列画像を合成する段階と、第１の時系列画像の濃淡値に対して局所フィルタ処理を施して得た値の極大点または極小点を画像特徴点として抽出する段階と、第１の時系列画像において前記画像特徴点を含む部分領域を設定する段階と、前記設定された部分領域の中から第１の時系列画像内の他の部分領域との画像類似度が全て所定の値より低い部分領域を抽出する段階と、前記抽出された部分領域と第２の時系列画像内の部分領域との対応付けを画像類似度に基づいて行い、前記対応付けられた各部分領域の位置から部分領域の移動ベクトルを抽出する段階と、前記部分領域の移動ベクトルのうち大きさ及び向きが所定の範囲内にある移動ベクトル毎にカテゴリに分類し、前記分類されたカテゴリに属する移動ベクトルを該カテゴリに対応する物体の移動ベクトルとして抽出する段階とを有することを特徴とする移動ベクトル抽出方法を、その解決の手段とする。
【００１６】
あるいは、上記の移動ベクトル抽出方法において、前記特徴点を抽出する段階は、第１の画像または第１の時系列画像の濃淡値に対してガウス曲率が所定の正の閾値以上となる局所領域の中心点を画像特徴点として抽出することを特徴とする移動ベクトル抽出方法を、その解決の手段とする。
【００１７】
あるいは、上記の移動ベクトル抽出方法において、前記部分領域を設定する段階は、１つの部分領域中に複数の前記画像特徴点を含むように該部分領域を設定することを特徴とする移動ベクトル抽出方法を、その解決の手段とする。
【００１８】
あるいは、上記の移動ベクトル抽出方法において、前記物体の移動ベクトルを抽出する段階は、前記分類されたカテゴリに属する移動ベクトルの個数が所定の閾値以上である場合に該カテゴリに属する移動ベクトルを該カテゴリに対応する物体の移動ベクトルとして抽出することを特徴とする移動ベクトル抽出方法を、その解決の手段とする。
【００１９】
あるいは、上記の移動ベクトル抽出方法において、前記部分領域を抽出する段階及び前記部分領域の移動ベクトルを抽出する段階で用いる画像類似度は、処理対象とする各部分画像の画素を間引いて画像分解能を低下させた後に画像類似度を計算することによって求めることを特徴とする移動ベクトル抽出方法を、その解決の手段とする。
【００２０】
あるいは、上記の移動ベクトル抽出方法における段階をコンピュータに実行させるためのプログラムとしたことを特徴とする移動ベクトル抽出プログラムを、その解決の手段とする。
【００２１】
あるいは、上記の移動ベクトル抽出方法における段階をコンピュータに実行させるためのプログラムとし、前記プログラムを前記コンピュータで読取り可能な記録媒体に記録したことを特徴とする移動ベクトル抽出プログラムを記録した記録媒体を、その解決の手段とする。
【００２２】
本発明では、移動物体に周期的な画像特徴やパターンが含まれる場合、周期性のある画像特徴やパターンの領域を除外し、周期性のない独立した特徴点、あるいは他と類似しない特徴点を用いて移動ベクトルを求めることにより、間違った対応付けを行うことがなく、より高精度な移動ベクトルを抽出することができるようにする。例えば、周期性の無い極大点又は極小点を用いて画像の対応付けを行うことで、間違えることなく移動ベクトルを抽出できるようにする。また、複数の移動物体が画像中に存在したとしても、同一移動ベクトルを持つ部分領域のカテゴリ分類処理により、移動物体毎に移動ベクトルを抽出できるようにする。さらに、撮影時間間隔及び対応する部分領域間の既知の距離を用いて、移動物体の速度を求めることを可能とする。
【００２３】
【発明の実施の形態】
本発明の実施形態について、図面を参照して説明する。ただし、本実施形態では、移動物体を道路上を移動する移動車両とし、上部から移動車両を撮影するものとする。
【００２４】
〈実施形態１〉
本発明の第１の実施形態を以下に示す。
【００２５】
図１は、本実施形態の移動ベクトル抽出装置の構成の一例であり、画像取得手段１０１、画像特徴点抽出手段１０２、部分領域設定手段１０３、部分領域抽出手段１０４、部分領域の移動ベクトル抽出手段１０５、移動物体の移動ベクトル抽出手段１０６からなる。画像取得手段１０１には、カメラ１０７が接続されている。移動物体の画像Ａ１０８及び移動物体の画像Ｂ１０９は、カメラ１０７及び画像取得手段１０１によって取得された、異なる時間に同一移動物体を撮影した２枚の画像（第１の画像及び第２の画像に相当）である。
【００２６】
図２は、本実施形態の移動ベクトル抽出装置の測定系の一例である。図２において道路上を移動する移動車両を２０１とし、移動車両２０１を上部より撮影するＣＣＤカメラを２０２とする。ＣＣＤカメラ２０２は一般のビデオ映像を撮影できる撮影手段であり、図１のカメラ１０７に相当する。
【００２７】
図３は、本実施形態の移動ベクトル抽出装置の動作例とともに本発明の方法の実施形態を示すフローチャートであり、図中、３０１〜３０８は処理のステップを表している。
【００２８】
図３において、まず、３０１ではＣＣＤカメラ３０９（カメラ１０７に相当）から画像取得手段１０１により２枚の各フレーム画像を取得し、３０２では画像特徴点抽出手段１０２により局所フィルタ処理して得られたガウス曲率に基づく画像特徴点を検出し、３０３では部分領域設定手段１０３により複数の画像特徴点を含む部分領域を設定する。以下、部分領域抽出手段１０４において、３０４では設定された部分領域をテンプレートとした同一画像内での部分領域毎の画像類似度を、閾値以上の画像類似度を持つ複数の部分領域がなくなるまで計算し、３０５では設定した部分領域をテンプレートとした次フレームの画像（第２の画像に相当）内での部分領域毎の画像類似度を、閾値以上の画像類似度を持つ部分領域がなくなるまで計算し、３０６では最大の画像類似度をもつ部分領域を対応付ける。３０７では対応付けられた部分領域の移動ベクトルを移動物体の移動ベクトル抽出手段１０６により抽出する。以上の３０３から３０７の処理を全ての部分領域に対して処理すると、３０８において、移動物体の移動ベクトル抽出手段１０６により部分領域の移動ベクトルをカテゴリ分類し同一移動ベクトルを持つ部分領域が閾値以上含まれるカテゴリを選択して決定し、移動物体の移動ベクトル抽出結果３１０として出力する。ここで、ＣＣＤカメラ３０９は、モノクロカメラでもカラーカメラでも構わない。
【００２９】
図３のフローチャートに従い、以下に移動ベクトル抽出装置における処理の一例を説明する。なお、以下の処理が移動ベクトル抽出装置のどの手段でなされるかは、上記の説明のとおりである。
【００３０】
まず、ＣＣＤカメラ３０９より各フレームの画像を取得する（３０１）。このフレーム画像は、例えば、１秒あたり３０枚等の所定の時間間隔で撮影されるビデオ映像の各フレームを意味する。図４は、図２のＣＣＤカメラより取得されたフレーム画像の一例であり、４０１は移動ベクトル抽出の基準となるフレームの濃淡画像、４０２は次フレームの濃淡画像である。ＣＣＤカメラがカラーカメラの場合は、例えば、ＹＩＱ表色系のＹ信号を選択する（参考文献１「画像解析ハンドブック」東京大学出版会、１９９１年）。
【００３１】
次に、ガウス曲率に基づく画像特徴点検出を行う（３０２）。まず、基準となるフレームの濃淡画像４０１に対して、局所領域毎にガウス曲率を求める。ガウス曲率は、参考文献２（「微分幾何特徴に基づく距離画像分割のためのハイブリット手法」、情報処理学会論文誌、１９８９年）で示されているように、
【００３２】
【数１】
【００３３】
で求めることができる。ここで、ｘ及びｙは濃淡画像上での位置、ｚはその位置での濃淡値である。ガウス曲率Ｋの符号と曲面形状の関係は、図５のようになる。画像の位置合わせを考えた場合、テンプレートとする部分領域に極大点又は極小点が含まれないと不確実となる。そこで、ガウス曲率が正の閾値以上となる局所領域の中心点を画像特徴点として抽出する。図６は、基準となるフレームの濃淡画像４０１内の画像特徴点（図６内の黒点）の分布を示す。
【００３４】
次に、複数の画像特徴点を含む部分領域を設定する（３０３）。ここでは、複数の画像特徴点が含まれるような予め決められた大きさ部分領域を基準となるフレームの濃淡画像中から選択する。相互相関係数を用いた画像類似度の計算方法等では、通常、画像の濃淡の絶対値を無視して画像類似度を求めるため、部分領域内に１つの画像特徴点しか含まれていないと、画像間の正しい対応付けができなくなる場合がある。部分領域内に複数の画像特徴点を含めることにより、複数の画像特徴点間の位置関係や濃淡値の比によって、より確実な対応付けができるようになる。図７はその一例であり、７０１は基準となるフレームの濃淡画像、７０２は選択された部分領域Ａ、７０３は選択された部分領域Ｂを示す。基準となるフレームの画像特徴点の分布６０１と比較すればわかるように、部分領域Ａ７０２及び部分領域Ｂ７０３には画像特徴点が２つ含まれている。
【００３５】
次に、設定した部分領域をテンプレートとした同一画像内での部分領域毎の類似度を計算する（３０４）。まず、基準となる画像領域とテンプレートの類似度を計算する。画像類似度は、例えば、相互相関係数による方法（参考文献１）を用いて計算する。相互相関係数法では、相互相関係数が大きいほど類似度が高くなる。従って、予め決められた閾値以上の相互相関係数値をもつ画像中の部分領域をテンプレートと一致したものと判断する。
【００３６】
図８は部分領域Ａ７０２及び部分領域Ｂ７０３をテンプレートとしたマッチング結果を示しており、８０１は、部分領域Ａ７０２に対するマッチング結果、８０２は、部分領域Ｂに対するマッチング結果、８０３はテンプレートと一致した、部分領域Ａ、８０４はテンプレートと一致した部分領域Ｂ、８０５はテンプレートと一致した部分領域Ｃである。８０２に示すように、画像特徴点がガウス曲率の極大点又は極小点であったとしても周期的なパターンであれば、不確実となる。従って、テンプレートに対して同一画像上に複数のマッチングする領域が存在する場合、そのテンプレートとなる部分領域に基づく移動ベクトル抽出処理は行わないことにする。
【００３７】
ここでは、類似度計算に相互相関係数を用いたが、ＳＳＡＤ法等の画像マッチング方法を用いて類似度を計算しても構わない。また、類似度を計算する画像の画素数を一定と場合、部分画像の画素を間引いて画像分解能を低下させた後に画像類似度を計算することによって、撮影された元の画像に対してより広範囲なより多くの画像特徴点を含む部分の類似度を求めることができるため、同じ計算量でより確実な画像間の対応付けができるようになる。
【００３８】
次に、テンプレートに対して同一画像上に複数のマッチングする領域が存在しない場合、選択した部分領域をテンプレートとして次フレームの画像内での部分領域毎の画像類似度計算（３０５）及び最大の類似度をもつ部分領域の選択（３０６）を行う。画像類似度計算は３０４と同様な方法で行う。計算された類似度に対して閾値処理を行い、閾値以上で且つ最大の類似度をもつ部分領域を選択する。図９は、部分領域Ａ７０２とのマッチング結果であり、９０１は次フレームの濃淡画像、９０２は選択された部分領域Ａである。
【００３９】
次に、対応付けられた部分領域の移動ベクトルを抽出する（３０７）。基準となるフレーム内の部分領域Ａの座標を（ｘ１，ｙ１）、次フレーム内の部分領域Ａの座標を（ｘ２，ｙ２）とすれば、移動ベクトルｆは（ｘ２−ｘ１，ｙ２−ｙ１）と求めることができる。
【００４０】
次に、求められた全ての部分領域の移動ベクトルのうち大きさ及び向きが所定の範囲内にある移動ベクトル毎にカテゴリに分類し、分類されたカテゴリに属する移動ベクトルを該カテゴリに対応する物体の移動ベクトルとして抽出する。例えば、分類されたカテゴリに属する移動ベクトルの個数が所定の閾値以上である場合に該カテゴリに属する移動ベクトルを該カテゴリに対応する物体の移動ベクトルとして抽出する。図１０は対応付けられた部分領域の一例を示しており、１００１は基準となるフレームで選択された部分領域、１００２は次フレームで対応する部分領域、１００３はカテゴリＡ、１００４はカテゴリＢを示す。まず、対応する部分領域の移動ベクトルをｆｉ（ｉ＝１，２，…）とする。図１０では１０個の対応する領域があるので、ｉの最大値は１０である。始めにｆ１の属するカテゴリをＣ１とする。ここで、移動ベクトルｆ１とのユークリッド距離が閾値より小さくなる移動ベクトルｆｉはカテゴリＣ１に属するものとする。もし、ユークリッド距離が閾値以上であれば、その移動ベクトルｆｉが属する新しくカテゴリＣ２を作成する。以上を繰り返すことにより、カテゴリ分類をすることができる。この結果、カテゴリＡ１００３及びカテゴリＢ１００４のように分類できる。ここで、閾値を正の有限値とすれば、選択されたカテゴリが移動車両のカテゴリと見なすことができる。従って、移動車両の移動ベクトルは、例えば、カテゴリに含まれる移動ベクトルの平均値として求めても構わない。
【００４１】
また、例えば、参考文献１に記載されているような、ある特定のベクトルとのユークリッド距離が所定の範囲内にある移動ベクトルを同じカテゴリに分類する方法を用いれば、３つ以上の任意の数のカテゴリヘの分類も可能となり、任意の速度で移動する複数の物体への対応も可能となる。さらに、移動ベクトルの大きさだけでなく、向きも同時に考慮してカテゴリ分類を行えば、任意の方向に任意の速度で移動する複数の物体への対応も可能となる。
【００４２】
また、どちらか一方の画像で抽出された部分領域ともう一方の画像内の部分領域の対応付けをする場合、閾値以上の部分領域が複数存在しその部分領域間の距離が予め決められた距離以上離れていれば不確実として領域の対応付けを行わなくても構わない。
【００４３】
以上では、固定されたカメラによって所定の時間間隔で撮影された２枚の画像を用いて、物体の移動ベクトルを求める例を説明したが、本発明において、移動物体上に設置したカメラによって景観を所定の時間間隔で撮影した２枚の画像を用いれば、景観中にある特定の物体の移動ベクトルを求めることも同様に可能である。
【００４４】
〈実施形態２〉
次に、本発明の第２の実施形態を説明する。本実施形態は、カメラと画像取得手段の画像の取得処理を除けば、実施形態１と同様である。
【００４５】
図１１は、本実施形態の移動ベクトル抽出装置の構成の一例であり、画像取得手段１１０１、画像特徴点抽出手段１１０２、部分領域設定手段１１０３、部分領域抽出手段１１０４、部分領域の移動ベクトル抽出手段１１０５、移動物体の移動ベクトル抽出手段１１０６からなる。画像取得手段１１０１には、２台のラインセンサカメラ１１０７Ａ，１１０７Ｂが接続されている。移動物体の時系列画像Ａ１１０８及び移動物体の時系列画像Ｂ１１０９は、２台のラインセンサカメラ１１０７Ａ，１１０７Ｂからのライン画像を画像取得手段１１０１によって合成して取得された、異なる時間に同一移動物体を撮影した２枚の時系列画像（第１の時系列画像及び第２の時系列画像に相当）である。
【００４６】
図１２は、本実施形態の移動ベクトル抽出装置の測定系の一例である。図１２において道路上を移動する移動車両を１２０１とし、移動車両１２０１を上部より撮影するラインセンサカメラＡを１２０２、ラインセンサカメラＢを１２０３とする。ラインセンサカメラＡ１２０２、ラインセンサカメラＢ１２０３は、図１１のラインセンサカメラＡ１１０７Ａ、ラインセンサカメラＢ１１０７Ｂに相当する。
【００４７】
図１３は、本実施形態の移動ベクトル抽出装置の動作例とともに本発明の方法の実施形態を示すフローチャートであり、図中、１３０１〜１３０８は処理のステップを表している。
【００４８】
図１３において、まず、１３０１では２台のラインセンサカメラ１３０９Ａ，１３０９Ｂ（ラインセンサカメラ１１０７Ａ，１１０７Ｂに相当）からの各ライン画像を画像取得手段１１０１により合成して２枚の時系列画像を取得し、１３０２では画像特徴点抽出手段１１０２により局所フィルタ処理して得られたガウス曲率に基づく画像特徴点を検出し、１３０３では部分領域設定手段１１０３により複数の画像特徴点を含む部分領域を設定する。以下、部分領域抽出手段１１０４において、１３０４では設定された部分領域をテンプレートとした同一画像内での部分領域毎の画像類似度を、閾値以上の画像類似度を持つ複数の部分領域がなくなるまで計算し、１３０５では設定された部分領域をテンプレートとした次の時系列画像内での部分領域毎の画像類似度を、閾値以上の画像類似度を持つ部分領域がなくなるまで計算し、１３０６では最大の画像類似度をもつ部分領域を対応付ける。続いて、１３０７では対応付けられた部分領域の移動ベクトルを移動物体の移動ベクトル抽出手段１１０６により抽出する。以上の１３０３から１３０７の処理を全ての部分領域に対して処理すると、１３０８において、移動物体の移動ベクトル抽出手段１１０６により部分領域の移動ベクトルをカテゴリ分類し、同一移動ベクトルを持つ部分領域が閾値以上含まれるカテゴリを選択して決定し、移動物体の移動ベクトル抽出結果１３１０として出力する。ここで、ラインセンサカメラ１３０９Ａ，１３０９Ｂは、モノクロのラインセンサカメラでもカラーのラインセンサカメラでも構わない。
【００４９】
図１４は、図１２の測定系を横から見た図であり、１４０１は移動車両、１４０２はラインセンサカメラＡ、１４０３はラインセンサカメラＢ、１４０４はラインセンサカメラＡの撮影ライン、１４０５はラインセンサカメラＢの撮影ラインを示す。
【００５０】
図１５は、ラインセンサカメラＡ及びラインセンサカメラＢを用いて取得された時系列画像の一例を示しており、１５０１は時系列画像Ａ、１５０２は時系列画像Ｂを示す。ラインセンサカメラＡ及びラインセンサカメラＢを同期させ、一定時間間隔で撮影する場合、移動車両が各撮影ラインを通過すると時間軸１５０３上で時間のずれた２枚の時系列画像Ａ及び時系列画像Ｂが取得できる。従って、図１３のフローチャートに示した方法であって、実施形態１と同様な方法で移動ベクトルを抽出することができる。ただし、実施形態１におけるフレームの画像は実施形態２では時系列画像である。
【００５１】
ラインセンサカメラを用いた場合には、時系列画像の背景部分の濃淡値分布が時間軸方向には変化しないため、全て谷型か尾根型となり、従って、ガウス曲率は０になるので、画像特徴点抽出時に背景部分を容易に除去できるという利点がある。
【００５２】
また、対応する部分領域間の距離が既知であれば、移動物体の速度を求めることが可能となる。また３台以上のカメラを用いた場合には、組み合わせ毎に速度を求め平均速度を求めても構わない。
【００５３】
また、上記の実施形態ではカメラを固定し移動物体の移動ベクトルを抽出したが、カメラを移動させ景観画像を撮影し景観画像中の移動物体の移動ベクトルを求めても構わない。
【００５４】
なお、図１、図１１で示した装置における各部の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図３、図１３で示した処理のステップをコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理のステップを実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスクや、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。このように、記録媒体やネットワークにより提供されたプログラムをコンピュータにインストールすることで、本発明が実施可能となる。
【００５５】
【発明の効果】
以上説明したように、本発明による移動ベクトル抽出装置及び方法を使用することにより、フレーム間での移動物体の移動ベクトルを抽出することができるようになる。また、カテゴリ分類により複数の移動物体にも対応できるため、例えば、人のような物体の一部が動きをする場合でも部分ごとに移動ベクトルを抽出できるようになる。また、ラインセンサカメラを用いた場合には、背景部分の濃淡値分布が全て谷型か尾根型となりガウス分布が０になるので、画像特徴点抽出時に背景部分を除去でき、移動物体のみの移動ベクトルを容易に抽出することができるようになる。また、カメラを移動させ景観画像を撮影し景観画像中の物体の移動ベクトルが求められれば、ステレオの原理による物体の奥行き計測とカメラを設置した移動物体の速度計測が可能となる。
【図面の簡単な説明】
【図１】本発明による実施形態１の移動ベクトル抽出装置の構成の一例を示す図
【図２】実施形態１の測定系の一例を示す図
【図３】実施形態１の移動ベクトル抽出装置の処理の一例を示すフローチャート
【図４】（ａ），（ｂ）は、実施形態１のＣＣＤカメラから得られた各フレーム画像の一例を示す図
【図５】ガウス曲率と曲面形状との関係を示す図
【図６】実施形態１のフレーム画像から得られた画像特頂点の一例を示す図
【図７】実施形態１のフレーム画像から選択された部分領域の一例を示す図
【図８】（ａ），（ｂ）は、実施形態１の同一画像での部分領域のマッチング結果の一例を示す図
【図９】実施形態１の部分領域の次フレーム画像に対するマッチング結果の一例を示す図
【図１０】（ａ），（ｂ）は、実施形態１の対応付けられた部分領域組に対するカテゴリ分類の一例を示す図
【図１１】本発明による実施形態２の移動ベクトル抽出装置の構成の一例を示す図
【図１２】実施形態２の測定系の一例を示す図
【図１３】実施形態２の移動ベクトル抽出装置の動作の一例を示すフローチャート
【図１４】実施形態２の測定系を横から見た図
【図１５】（ａ），（ｂ）は、実施形態２の時系列画像の一例を示す図
【符号の説明】
１０１…画像取得手段
１０２…画像特徴点抽出手段
１０３…部分領域設定手段
１０４…部分領域抽出手段
１０５…部分領域の移動ベクトル抽出手段
１０６…物体の移動ベクトル抽出手段
１０７…カメラ
１０８…移動物体の画像Ａ
１０９…移動物体の画像Ｂ
１１０１…画像取得手段
１１０２…画像特徴点抽出手段
１１０３…部分領域設定手段
１１０４…部分領域抽出手段
１１０５…部分領域の移動ベクトル抽出手段
１１０６…物体の移動ベクトル抽出手段
１１０７Ａ…ラインセンサカメラＡ
１１０７Ｂ…ラインセンサカメラＢ
１１０８…移動物体の画像Ａ
１１０９…移動物体の画像Ｂ
【発明の属する技術分野】
本発明は、異なる時間に同一移動物体を撮影した画像から移動物体の画像上での移動ベクトルを抽出するための装置及び方法及びプログラム及びその記録媒体に関するものである。
【０００２】
【従来の技術】
従来、移動物体の移動ベクトルを求めるには、対応点問題を解決する必要があり、その方法として、１）輝度勾配による方法（オプティカルフロー）、と２）相関による方法とがある。輝度勾配による方法では、移動前の点の輝度と移動後の点の輝度が変化しないことと画像全体での速度分布が滑らかに変化するという拘束条件を用いている。一方、相関による方法には、２−１）画像全体を対象とするものと、２−２）画像中で特徴がある部分のみを対象とするものがあるが、相関による方法では、予めエッジなどの特徴点を求め、その点の移動ベクトルを相関係数に基づいて決定する（非特許文献１参照）。
【０００３】
【非特許文献１】
松山隆司、久野義徳、井宮淳 編、「コンピュータビジョン：技術評論と将来展望」、株式会社 新技術コミュニケーションズ、１９９８年、ｐ．１３８−１４８
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の輝度勾配による方法や相関による方法では、チェッカーフラッグなどの周期性のあるパターンを含む場合には、間違った対応付けを行うことがある。
【０００５】
また、画像全体を対象とした相関による移動ベクトル抽出では、画像中の濃淡変化が非常に小さい領域において対応が求まったとしても不確実である。
【０００６】
また、画像中で特徴があるものを対象とした相関による移動ベクトル抽出では、予めエッジ抽出等の前処理を行って濃淡変化が大きい領域に対応付けを限定し確実性を向上させているが、多角形の辺等の周期性を持った特徴を含む場合にも間違った対応付けが生じる。輝度勾配法でも特徴の周期性により間違った対応付けが生じる。
【０００７】
本発明の目的は、異なる時間に同一移動物体を撮影した２枚の画像から、間違った対応付けを行うことなく、移動物体の画像上での移動ベクトルを高精度に抽出可能とする技術を提供することである。また、撮影時間間隔及び対応する領域間の距離が既知であれば、移動物体の速度を求めることを可能とする技術を提供することである。
【０００８】
【課題を解決するための手段】
上記の課題を解決するため、本発明は、同一物体を所定の時間間隔で撮影した第１及び第２の画像から該第１及び第２の画像間の該物体の移動ベクトルを抽出する装置であって、第１の画像の濃淡値に対して局所フィルタ処理を施して得た値の極大点または極小点を画像特徴点として抽出する手段と、第１の画像において前記画像特徴点を含む部分領域を設定する手段と、前記設定された部分領域の中から第１の画像内の他の部分領域との画像類似度が全て所定の値より低い部分領域を抽出する手段と、前記抽出された部分領域と第２の画像内の部分領域との対応付けを画像類似度に基づいて行い、前記対応付けられた各部分領域の位置から部分領域の移動ベクトルを抽出する手段と、前記部分領域の移動ベクトルのうち大きさ及び向きが所定の範囲内にある移動ベクトル毎にカテゴリに分類し、前記分類されたカテゴリに属する移動ベクトルを該カテゴリに対応する物体の移動ベクトルとして抽出する手段とを有することを特徴とする移動ベクトル抽出装置を、その解決の手段とする。
【０００９】
あるいは、撮影ラインを対象物体が相対的に横切って移動するように設置した第１及び第２のラインセンサカメラによってそれぞれ撮影した第１及び第２の時系列画像から該第１及び第２の時系列画像間の該物体の移動ベクトルを抽出する装置であって、第１及び第２のラインセンサカメラを同期させて所定時間間隔で取得したライン画像をそれぞれつなぎ合わせて各ラインセンサに対する第１及び第２の時系列画像を合成する手段と、第１の時系列画像の濃淡値に対して局所フィルタ処理を施して得た値の極大点または極小点を画像特徴点として抽出する手段と、第１の時系列画像において前記画像特徴点を含む部分領域を設定する手段と、前記設定された部分領域の中から第１の時系列画像内の他の部分領域との画像類似度が全て所定の値より低い部分領域を抽出する手段と、前記抽出された部分領域と第２の時系列画像内の部分領域との対応付けを画像類似度に基づいて行い、前記対応付けられた各部分領域の位置から部分領域の移動ベクトルを抽出する手段と、前記部分領域の移動ベクトルのうち大きさ及び向きが所定の範囲内にある移動ベクトル毎にカテゴリに分類し、前記分類されたカテゴリに属する移動ベクトルを該カテゴリに対応する物体の移動ベクトルとして抽出する手段とを有することを特徴とする移動ベクトル抽出装置を、その解決の手段とする。
【００１０】
あるいは、上記の移動ベクトル抽出装置において、前記特徴点を抽出する手段は、第１の画像または第１の時系列画像の濃淡値に対してガウス曲率が所定の正の閾値以上となる局所領域の中心点を画像特徴点として抽出するものであることを特徴とする移動ベクトル抽出装置を、その解決の手段とする。
【００１１】
あるいは、上記の移動ベクトル抽出装置において、前記部分領域を設定する手段は、１つの部分領域中に複数の前記画像特徴点を含むように該部分領域を設定するものであることを特徴とする移動ベクトル抽出装置を、その解決の手段とする。
【００１２】
あるいは、上記の移動ベクトル抽出装置において、前記物体の移動ベクトルを抽出する手段は、前記分類されたカテゴリに属する移動ベクトルの個数が所定の閾値以上である場合に該カテゴリに属する移動ベクトルを該カテゴリに対応する物体の移動ベクトルとして抽出するものであることを特徴とする移動ベクトル抽出装置を、その解決の手段とする。
【００１３】
あるいは、上記の移動ベクトル抽出装置において、処理対象とする各部分画像の画素を間引いて画像分解能を低下させた後に画像類似度を計算する手段を備え、前記部分領域を抽出する手段及び前記部分領域の移動ベクトルを抽出する手段で用いる画像類似度は、前記画像類似度を計算する手段によって求めることを特徴とする移動ベクトル抽出装置を、その解決の手段とする。
【００１４】
あるいは、同一物体を所定の時間間隔で撮影した第１及び第２の画像から該第１及び第２の画像間の該物体の移動ベクトルを抽出する方法であって、第１の画像の濃淡値に対して局所フィルタ処理を施して得た値の極大点または極小点を画像特徴点として抽出する段階と、第１の画像において前記画像特徴点を含む部分領域を設定する段階と、前記設定された部分領域の中から第１の画像内の他の部分領域との画像類似度が全て所定の値より低い部分領域を抽出する段階と、前記抽出された部分領域と第２の画像内の部分領域との対応付けを画像類似度に基づいて行い、前記対応付けられた各部分領域の位置から部分領域の移動ベクトルを抽出する段階と、前記部分領域の移動ベクトルのうち大きさ及び向きが所定の範囲内にある移動ベクトル毎にカテゴリに分類し、前記分類されたカテゴリに属する移動ベクトルを該カテゴリに対応する物体の移動ベクトルとして抽出する段階とを有することを特徴とする移動ベクトル抽出方法を、その解決の手段とする。
【００１５】
あるいは、撮影ラインを対象物体が相対的に横切って移動するように設置した第１及び第２のラインセンサカメラによってそれぞれ撮影した第１及び第２の時系列画像から該第１及び第２の時系列画像間の該物体の移動ベクトルを抽出する方法であって、第１及び第２のラインセンサカメラを同期させて所定時間間隔で取得したライン画像をそれぞれつなぎ合わせて各ラインセンサに対する第１及び第２の時系列画像を合成する段階と、第１の時系列画像の濃淡値に対して局所フィルタ処理を施して得た値の極大点または極小点を画像特徴点として抽出する段階と、第１の時系列画像において前記画像特徴点を含む部分領域を設定する段階と、前記設定された部分領域の中から第１の時系列画像内の他の部分領域との画像類似度が全て所定の値より低い部分領域を抽出する段階と、前記抽出された部分領域と第２の時系列画像内の部分領域との対応付けを画像類似度に基づいて行い、前記対応付けられた各部分領域の位置から部分領域の移動ベクトルを抽出する段階と、前記部分領域の移動ベクトルのうち大きさ及び向きが所定の範囲内にある移動ベクトル毎にカテゴリに分類し、前記分類されたカテゴリに属する移動ベクトルを該カテゴリに対応する物体の移動ベクトルとして抽出する段階とを有することを特徴とする移動ベクトル抽出方法を、その解決の手段とする。
【００１６】
あるいは、上記の移動ベクトル抽出方法において、前記特徴点を抽出する段階は、第１の画像または第１の時系列画像の濃淡値に対してガウス曲率が所定の正の閾値以上となる局所領域の中心点を画像特徴点として抽出することを特徴とする移動ベクトル抽出方法を、その解決の手段とする。
【００１７】
あるいは、上記の移動ベクトル抽出方法において、前記部分領域を設定する段階は、１つの部分領域中に複数の前記画像特徴点を含むように該部分領域を設定することを特徴とする移動ベクトル抽出方法を、その解決の手段とする。
【００１８】
あるいは、上記の移動ベクトル抽出方法において、前記物体の移動ベクトルを抽出する段階は、前記分類されたカテゴリに属する移動ベクトルの個数が所定の閾値以上である場合に該カテゴリに属する移動ベクトルを該カテゴリに対応する物体の移動ベクトルとして抽出することを特徴とする移動ベクトル抽出方法を、その解決の手段とする。
【００１９】
あるいは、上記の移動ベクトル抽出方法において、前記部分領域を抽出する段階及び前記部分領域の移動ベクトルを抽出する段階で用いる画像類似度は、処理対象とする各部分画像の画素を間引いて画像分解能を低下させた後に画像類似度を計算することによって求めることを特徴とする移動ベクトル抽出方法を、その解決の手段とする。
【００２０】
あるいは、上記の移動ベクトル抽出方法における段階をコンピュータに実行させるためのプログラムとしたことを特徴とする移動ベクトル抽出プログラムを、その解決の手段とする。
【００２１】
あるいは、上記の移動ベクトル抽出方法における段階をコンピュータに実行させるためのプログラムとし、前記プログラムを前記コンピュータで読取り可能な記録媒体に記録したことを特徴とする移動ベクトル抽出プログラムを記録した記録媒体を、その解決の手段とする。
【００２２】
本発明では、移動物体に周期的な画像特徴やパターンが含まれる場合、周期性のある画像特徴やパターンの領域を除外し、周期性のない独立した特徴点、あるいは他と類似しない特徴点を用いて移動ベクトルを求めることにより、間違った対応付けを行うことがなく、より高精度な移動ベクトルを抽出することができるようにする。例えば、周期性の無い極大点又は極小点を用いて画像の対応付けを行うことで、間違えることなく移動ベクトルを抽出できるようにする。また、複数の移動物体が画像中に存在したとしても、同一移動ベクトルを持つ部分領域のカテゴリ分類処理により、移動物体毎に移動ベクトルを抽出できるようにする。さらに、撮影時間間隔及び対応する部分領域間の既知の距離を用いて、移動物体の速度を求めることを可能とする。
【００２３】
【発明の実施の形態】
本発明の実施形態について、図面を参照して説明する。ただし、本実施形態では、移動物体を道路上を移動する移動車両とし、上部から移動車両を撮影するものとする。
【００２４】
〈実施形態１〉
本発明の第１の実施形態を以下に示す。
【００２５】
図１は、本実施形態の移動ベクトル抽出装置の構成の一例であり、画像取得手段１０１、画像特徴点抽出手段１０２、部分領域設定手段１０３、部分領域抽出手段１０４、部分領域の移動ベクトル抽出手段１０５、移動物体の移動ベクトル抽出手段１０６からなる。画像取得手段１０１には、カメラ１０７が接続されている。移動物体の画像Ａ１０８及び移動物体の画像Ｂ１０９は、カメラ１０７及び画像取得手段１０１によって取得された、異なる時間に同一移動物体を撮影した２枚の画像（第１の画像及び第２の画像に相当）である。
【００２６】
図２は、本実施形態の移動ベクトル抽出装置の測定系の一例である。図２において道路上を移動する移動車両を２０１とし、移動車両２０１を上部より撮影するＣＣＤカメラを２０２とする。ＣＣＤカメラ２０２は一般のビデオ映像を撮影できる撮影手段であり、図１のカメラ１０７に相当する。
【００２７】
図３は、本実施形態の移動ベクトル抽出装置の動作例とともに本発明の方法の実施形態を示すフローチャートであり、図中、３０１〜３０８は処理のステップを表している。
【００２８】
図３において、まず、３０１ではＣＣＤカメラ３０９（カメラ１０７に相当）から画像取得手段１０１により２枚の各フレーム画像を取得し、３０２では画像特徴点抽出手段１０２により局所フィルタ処理して得られたガウス曲率に基づく画像特徴点を検出し、３０３では部分領域設定手段１０３により複数の画像特徴点を含む部分領域を設定する。以下、部分領域抽出手段１０４において、３０４では設定された部分領域をテンプレートとした同一画像内での部分領域毎の画像類似度を、閾値以上の画像類似度を持つ複数の部分領域がなくなるまで計算し、３０５では設定した部分領域をテンプレートとした次フレームの画像（第２の画像に相当）内での部分領域毎の画像類似度を、閾値以上の画像類似度を持つ部分領域がなくなるまで計算し、３０６では最大の画像類似度をもつ部分領域を対応付ける。３０７では対応付けられた部分領域の移動ベクトルを移動物体の移動ベクトル抽出手段１０６により抽出する。以上の３０３から３０７の処理を全ての部分領域に対して処理すると、３０８において、移動物体の移動ベクトル抽出手段１０６により部分領域の移動ベクトルをカテゴリ分類し同一移動ベクトルを持つ部分領域が閾値以上含まれるカテゴリを選択して決定し、移動物体の移動ベクトル抽出結果３１０として出力する。ここで、ＣＣＤカメラ３０９は、モノクロカメラでもカラーカメラでも構わない。
【００２９】
図３のフローチャートに従い、以下に移動ベクトル抽出装置における処理の一例を説明する。なお、以下の処理が移動ベクトル抽出装置のどの手段でなされるかは、上記の説明のとおりである。
【００３０】
まず、ＣＣＤカメラ３０９より各フレームの画像を取得する（３０１）。このフレーム画像は、例えば、１秒あたり３０枚等の所定の時間間隔で撮影されるビデオ映像の各フレームを意味する。図４は、図２のＣＣＤカメラより取得されたフレーム画像の一例であり、４０１は移動ベクトル抽出の基準となるフレームの濃淡画像、４０２は次フレームの濃淡画像である。ＣＣＤカメラがカラーカメラの場合は、例えば、ＹＩＱ表色系のＹ信号を選択する（参考文献１「画像解析ハンドブック」東京大学出版会、１９９１年）。
【００３１】
次に、ガウス曲率に基づく画像特徴点検出を行う（３０２）。まず、基準となるフレームの濃淡画像４０１に対して、局所領域毎にガウス曲率を求める。ガウス曲率は、参考文献２（「微分幾何特徴に基づく距離画像分割のためのハイブリット手法」、情報処理学会論文誌、１９８９年）で示されているように、
【００３２】
【数１】
で求めることができる。ここで、ｘ及びｙは濃淡画像上での位置、ｚはその位置での濃淡値である。ガウス曲率Ｋの符号と曲面形状の関係は、図５のようになる。画像の位置合わせを考えた場合、テンプレートとする部分領域に極大点又は極小点が含まれないと不確実となる。そこで、ガウス曲率が正の閾値以上となる局所領域の中心点を画像特徴点として抽出する。図６は、基準となるフレームの濃淡画像４０１内の画像特徴点（図６内の黒点）の分布を示す。
【００３４】
次に、複数の画像特徴点を含む部分領域を設定する（３０３）。ここでは、複数の画像特徴点が含まれるような予め決められた大きさ部分領域を基準となるフレームの濃淡画像中から選択する。相互相関係数を用いた画像類似度の計算方法等では、通常、画像の濃淡の絶対値を無視して画像類似度を求めるため、部分領域内に１つの画像特徴点しか含まれていないと、画像間の正しい対応付けができなくなる場合がある。部分領域内に複数の画像特徴点を含めることにより、複数の画像特徴点間の位置関係や濃淡値の比によって、より確実な対応付けができるようになる。図７はその一例であり、７０１は基準となるフレームの濃淡画像、７０２は選択された部分領域Ａ、７０３は選択された部分領域Ｂを示す。基準となるフレームの画像特徴点の分布６０１と比較すればわかるように、部分領域Ａ７０２及び部分領域Ｂ７０３には画像特徴点が２つ含まれている。
【００３５】
次に、設定した部分領域をテンプレートとした同一画像内での部分領域毎の類似度を計算する（３０４）。まず、基準となる画像領域とテンプレートの類似度を計算する。画像類似度は、例えば、相互相関係数による方法（参考文献１）を用いて計算する。相互相関係数法では、相互相関係数が大きいほど類似度が高くなる。従って、予め決められた閾値以上の相互相関係数値をもつ画像中の部分領域をテンプレートと一致したものと判断する。
【００３６】
図８は部分領域Ａ７０２及び部分領域Ｂ７０３をテンプレートとしたマッチング結果を示しており、８０１は、部分領域Ａ７０２に対するマッチング結果、８０２は、部分領域Ｂに対するマッチング結果、８０３はテンプレートと一致した、部分領域Ａ、８０４はテンプレートと一致した部分領域Ｂ、８０５はテンプレートと一致した部分領域Ｃである。８０２に示すように、画像特徴点がガウス曲率の極大点又は極小点であったとしても周期的なパターンであれば、不確実となる。従って、テンプレートに対して同一画像上に複数のマッチングする領域が存在する場合、そのテンプレートとなる部分領域に基づく移動ベクトル抽出処理は行わないことにする。
【００３７】
ここでは、類似度計算に相互相関係数を用いたが、ＳＳＡＤ法等の画像マッチング方法を用いて類似度を計算しても構わない。また、類似度を計算する画像の画素数を一定と場合、部分画像の画素を間引いて画像分解能を低下させた後に画像類似度を計算することによって、撮影された元の画像に対してより広範囲なより多くの画像特徴点を含む部分の類似度を求めることができるため、同じ計算量でより確実な画像間の対応付けができるようになる。
【００３８】
次に、テンプレートに対して同一画像上に複数のマッチングする領域が存在しない場合、選択した部分領域をテンプレートとして次フレームの画像内での部分領域毎の画像類似度計算（３０５）及び最大の類似度をもつ部分領域の選択（３０６）を行う。画像類似度計算は３０４と同様な方法で行う。計算された類似度に対して閾値処理を行い、閾値以上で且つ最大の類似度をもつ部分領域を選択する。図９は、部分領域Ａ７０２とのマッチング結果であり、９０１は次フレームの濃淡画像、９０２は選択された部分領域Ａである。
【００３９】
次に、対応付けられた部分領域の移動ベクトルを抽出する（３０７）。基準となるフレーム内の部分領域Ａの座標を（ｘ１，ｙ１）、次フレーム内の部分領域Ａの座標を（ｘ２，ｙ２）とすれば、移動ベクトルｆは（ｘ２−ｘ１，ｙ２−ｙ１）と求めることができる。
【００４０】
次に、求められた全ての部分領域の移動ベクトルのうち大きさ及び向きが所定の範囲内にある移動ベクトル毎にカテゴリに分類し、分類されたカテゴリに属する移動ベクトルを該カテゴリに対応する物体の移動ベクトルとして抽出する。例えば、分類されたカテゴリに属する移動ベクトルの個数が所定の閾値以上である場合に該カテゴリに属する移動ベクトルを該カテゴリに対応する物体の移動ベクトルとして抽出する。図１０は対応付けられた部分領域の一例を示しており、１００１は基準となるフレームで選択された部分領域、１００２は次フレームで対応する部分領域、１００３はカテゴリＡ、１００４はカテゴリＢを示す。まず、対応する部分領域の移動ベクトルをｆｉ（ｉ＝１，２，…）とする。図１０では１０個の対応する領域があるので、ｉの最大値は１０である。始めにｆ１の属するカテゴリをＣ１とする。ここで、移動ベクトルｆ１とのユークリッド距離が閾値より小さくなる移動ベクトルｆｉはカテゴリＣ１に属するものとする。もし、ユークリッド距離が閾値以上であれば、その移動ベクトルｆｉが属する新しくカテゴリＣ２を作成する。以上を繰り返すことにより、カテゴリ分類をすることができる。この結果、カテゴリＡ１００３及びカテゴリＢ１００４のように分類できる。ここで、閾値を正の有限値とすれば、選択されたカテゴリが移動車両のカテゴリと見なすことができる。従って、移動車両の移動ベクトルは、例えば、カテゴリに含まれる移動ベクトルの平均値として求めても構わない。
【００４１】
また、例えば、参考文献１に記載されているような、ある特定のベクトルとのユークリッド距離が所定の範囲内にある移動ベクトルを同じカテゴリに分類する方法を用いれば、３つ以上の任意の数のカテゴリヘの分類も可能となり、任意の速度で移動する複数の物体への対応も可能となる。さらに、移動ベクトルの大きさだけでなく、向きも同時に考慮してカテゴリ分類を行えば、任意の方向に任意の速度で移動する複数の物体への対応も可能となる。
【００４２】
また、どちらか一方の画像で抽出された部分領域ともう一方の画像内の部分領域の対応付けをする場合、閾値以上の部分領域が複数存在しその部分領域間の距離が予め決められた距離以上離れていれば不確実として領域の対応付けを行わなくても構わない。
【００４３】
以上では、固定されたカメラによって所定の時間間隔で撮影された２枚の画像を用いて、物体の移動ベクトルを求める例を説明したが、本発明において、移動物体上に設置したカメラによって景観を所定の時間間隔で撮影した２枚の画像を用いれば、景観中にある特定の物体の移動ベクトルを求めることも同様に可能である。
【００４４】
〈実施形態２〉
次に、本発明の第２の実施形態を説明する。本実施形態は、カメラと画像取得手段の画像の取得処理を除けば、実施形態１と同様である。
【００４５】
図１１は、本実施形態の移動ベクトル抽出装置の構成の一例であり、画像取得手段１１０１、画像特徴点抽出手段１１０２、部分領域設定手段１１０３、部分領域抽出手段１１０４、部分領域の移動ベクトル抽出手段１１０５、移動物体の移動ベクトル抽出手段１１０６からなる。画像取得手段１１０１には、２台のラインセンサカメラ１１０７Ａ，１１０７Ｂが接続されている。移動物体の時系列画像Ａ１１０８及び移動物体の時系列画像Ｂ１１０９は、２台のラインセンサカメラ１１０７Ａ，１１０７Ｂからのライン画像を画像取得手段１１０１によって合成して取得された、異なる時間に同一移動物体を撮影した２枚の時系列画像（第１の時系列画像及び第２の時系列画像に相当）である。
【００４６】
図１２は、本実施形態の移動ベクトル抽出装置の測定系の一例である。図１２において道路上を移動する移動車両を１２０１とし、移動車両１２０１を上部より撮影するラインセンサカメラＡを１２０２、ラインセンサカメラＢを１２０３とする。ラインセンサカメラＡ１２０２、ラインセンサカメラＢ１２０３は、図１１のラインセンサカメラＡ１１０７Ａ、ラインセンサカメラＢ１１０７Ｂに相当する。
【００４７】
図１３は、本実施形態の移動ベクトル抽出装置の動作例とともに本発明の方法の実施形態を示すフローチャートであり、図中、１３０１〜１３０８は処理のステップを表している。
【００４８】
図１３において、まず、１３０１では２台のラインセンサカメラ１３０９Ａ，１３０９Ｂ（ラインセンサカメラ１１０７Ａ，１１０７Ｂに相当）からの各ライン画像を画像取得手段１１０１により合成して２枚の時系列画像を取得し、１３０２では画像特徴点抽出手段１１０２により局所フィルタ処理して得られたガウス曲率に基づく画像特徴点を検出し、１３０３では部分領域設定手段１１０３により複数の画像特徴点を含む部分領域を設定する。以下、部分領域抽出手段１１０４において、１３０４では設定された部分領域をテンプレートとした同一画像内での部分領域毎の画像類似度を、閾値以上の画像類似度を持つ複数の部分領域がなくなるまで計算し、１３０５では設定された部分領域をテンプレートとした次の時系列画像内での部分領域毎の画像類似度を、閾値以上の画像類似度を持つ部分領域がなくなるまで計算し、１３０６では最大の画像類似度をもつ部分領域を対応付ける。続いて、１３０７では対応付けられた部分領域の移動ベクトルを移動物体の移動ベクトル抽出手段１１０６により抽出する。以上の１３０３から１３０７の処理を全ての部分領域に対して処理すると、１３０８において、移動物体の移動ベクトル抽出手段１１０６により部分領域の移動ベクトルをカテゴリ分類し、同一移動ベクトルを持つ部分領域が閾値以上含まれるカテゴリを選択して決定し、移動物体の移動ベクトル抽出結果１３１０として出力する。ここで、ラインセンサカメラ１３０９Ａ，１３０９Ｂは、モノクロのラインセンサカメラでもカラーのラインセンサカメラでも構わない。
【００４９】
図１４は、図１２の測定系を横から見た図であり、１４０１は移動車両、１４０２はラインセンサカメラＡ、１４０３はラインセンサカメラＢ、１４０４はラインセンサカメラＡの撮影ライン、１４０５はラインセンサカメラＢの撮影ラインを示す。
【００５０】
図１５は、ラインセンサカメラＡ及びラインセンサカメラＢを用いて取得された時系列画像の一例を示しており、１５０１は時系列画像Ａ、１５０２は時系列画像Ｂを示す。ラインセンサカメラＡ及びラインセンサカメラＢを同期させ、一定時間間隔で撮影する場合、移動車両が各撮影ラインを通過すると時間軸１５０３上で時間のずれた２枚の時系列画像Ａ及び時系列画像Ｂが取得できる。従って、図１３のフローチャートに示した方法であって、実施形態１と同様な方法で移動ベクトルを抽出することができる。ただし、実施形態１におけるフレームの画像は実施形態２では時系列画像である。
【００５１】
ラインセンサカメラを用いた場合には、時系列画像の背景部分の濃淡値分布が時間軸方向には変化しないため、全て谷型か尾根型となり、従って、ガウス曲率は０になるので、画像特徴点抽出時に背景部分を容易に除去できるという利点がある。
【００５２】
また、対応する部分領域間の距離が既知であれば、移動物体の速度を求めることが可能となる。また３台以上のカメラを用いた場合には、組み合わせ毎に速度を求め平均速度を求めても構わない。
【００５３】
また、上記の実施形態ではカメラを固定し移動物体の移動ベクトルを抽出したが、カメラを移動させ景観画像を撮影し景観画像中の移動物体の移動ベクトルを求めても構わない。
【００５４】
なお、図１、図１１で示した装置における各部の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図３、図１３で示した処理のステップをコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理のステップを実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスクや、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。このように、記録媒体やネットワークにより提供されたプログラムをコンピュータにインストールすることで、本発明が実施可能となる。
【００５５】
【発明の効果】
以上説明したように、本発明による移動ベクトル抽出装置及び方法を使用することにより、フレーム間での移動物体の移動ベクトルを抽出することができるようになる。また、カテゴリ分類により複数の移動物体にも対応できるため、例えば、人のような物体の一部が動きをする場合でも部分ごとに移動ベクトルを抽出できるようになる。また、ラインセンサカメラを用いた場合には、背景部分の濃淡値分布が全て谷型か尾根型となりガウス分布が０になるので、画像特徴点抽出時に背景部分を除去でき、移動物体のみの移動ベクトルを容易に抽出することができるようになる。また、カメラを移動させ景観画像を撮影し景観画像中の物体の移動ベクトルが求められれば、ステレオの原理による物体の奥行き計測とカメラを設置した移動物体の速度計測が可能となる。
【図面の簡単な説明】
【図１】本発明による実施形態１の移動ベクトル抽出装置の構成の一例を示す図
【図２】実施形態１の測定系の一例を示す図
【図３】実施形態１の移動ベクトル抽出装置の処理の一例を示すフローチャート
【図４】（ａ），（ｂ）は、実施形態１のＣＣＤカメラから得られた各フレーム画像の一例を示す図
【図５】ガウス曲率と曲面形状との関係を示す図
【図６】実施形態１のフレーム画像から得られた画像特頂点の一例を示す図
【図７】実施形態１のフレーム画像から選択された部分領域の一例を示す図
【図８】（ａ），（ｂ）は、実施形態１の同一画像での部分領域のマッチング結果の一例を示す図
【図９】実施形態１の部分領域の次フレーム画像に対するマッチング結果の一例を示す図
【図１０】（ａ），（ｂ）は、実施形態１の対応付けられた部分領域組に対するカテゴリ分類の一例を示す図
【図１１】本発明による実施形態２の移動ベクトル抽出装置の構成の一例を示す図
【図１２】実施形態２の測定系の一例を示す図
【図１３】実施形態２の移動ベクトル抽出装置の動作の一例を示すフローチャート
【図１４】実施形態２の測定系を横から見た図
【図１５】（ａ），（ｂ）は、実施形態２の時系列画像の一例を示す図
【符号の説明】
１０１…画像取得手段
１０２…画像特徴点抽出手段
１０３…部分領域設定手段
１０４…部分領域抽出手段
１０５…部分領域の移動ベクトル抽出手段
１０６…物体の移動ベクトル抽出手段
１０７…カメラ
１０８…移動物体の画像Ａ
１０９…移動物体の画像Ｂ
１１０１…画像取得手段
１１０２…画像特徴点抽出手段
１１０３…部分領域設定手段
１１０４…部分領域抽出手段
１１０５…部分領域の移動ベクトル抽出手段
１１０６…物体の移動ベクトル抽出手段
１１０７Ａ…ラインセンサカメラＡ
１１０７Ｂ…ラインセンサカメラＢ
１１０８…移動物体の画像Ａ
１１０９…移動物体の画像Ｂ
Claims (14)
- 同一物体を所定の時間間隔で撮影した第１及び第２の画像から該第１及び第２の画像間の該物体の移動ベクトルを抽出する装置であって、
第１の画像の濃淡値に対して局所フィルタ処理を施して得た値の極大点または極小点を画像特徴点として抽出する手段と、
第１の画像において前記画像特徴点を含む部分領域を設定する手段と、
前記設定された部分領域の中から第１の画像内の他の部分領域との画像類似度が全て所定の値より低い部分領域を抽出する手段と、
前記抽出された部分領域と第２の画像内の部分領域との対応付けを画像類似度に基づいて行い、前記対応付けられた各部分領域の位置から部分領域の移動ベクトルを抽出する手段と、
前記部分領域の移動ベクトルのうち大きさ及び向きが所定の範囲内にある移動ベクトル毎にカテゴリに分類し、前記分類されたカテゴリに属する移動ベクトルを該カテゴリに対応する物体の移動ベクトルとして抽出する手段とを有する
ことを特徴とする移動ベクトル抽出装置。 - 撮影ラインを対象物体が相対的に横切って移動するように設置した第１及び第２のラインセンサカメラによってそれぞれ撮影した第１及び第２の時系列画像から該第１及び第２の時系列画像間の該物体の移動ベクトルを抽出する装置であって、
第１及び第２のラインセンサカメラを同期させて所定時間間隔で取得したライン画像をそれぞれつなぎ合わせて各ラインセンサに対する第１及び第２の時系列画像を合成する手段と、
第１の時系列画像の濃淡値に対して局所フィルタ処理を施して得た値の極大点または極小点を画像特徴点として抽出する手段と、
第１の時系列画像において前記画像特徴点を含む部分領域を設定する手段と、前記設定された部分領域の中から第１の時系列画像内の他の部分領域との画像類似度が全て所定の値より低い部分領域を抽出する手段と、
前記抽出された部分領域と第２の時系列画像内の部分領域との対応付けを画像類似度に基づいて行い、前記対応付けられた各部分領域の位置から部分領域の移動ベクトルを抽出する手段と、
前記部分領域の移動ベクトルのうち大きさ及び向きが所定の範囲内にある移動ベクトル毎にカテゴリに分類し、前記分類されたカテゴリに属する移動ベクトルを該カテゴリに対応する物体の移動ベクトルとして抽出する手段とを有する
ことを特徴とする移動ベクトル抽出装置。 - 前記特徴点を抽出する手段は、
第１の画像または第１の時系列画像の濃淡値に対してガウス曲率が所定の正の閾値以上となる局所領域の中心点を画像特徴点として抽出するものである
ことを特徴とする請求項１または２に記載の移動ベクトル抽出装置。 - 前記部分領域を設定する手段は、
１つの部分領域中に複数の前記画像特徴点を含むように該部分領域を設定するものである
ことを特徴とする請求項１ないし３のいずれかに記載の移動ベクトル抽出装置。 - 前記物体の移動ベクトルを抽出する手段は、
前記分類されたカテゴリに属する移動ベクトルの個数が所定の閾値以上である場合に該カテゴリに属する移動ベクトルを該カテゴリに対応する物体の移動ベクトルとして抽出するものである
ことを特徴とする請求項１ないし４のいずれかに記載の移動ベクトル抽出装置。 - 処理対象とする各部分画像の画素を間引いて画像分解能を低下させた後に画像類似度を計算する手段を備え、
前記部分領域を抽出する手段及び前記部分領域の移動ベクトルを抽出する手段で用いる画像類似度は、前記画像類似度を計算する手段によって求める
ことを特徴とする請求項１ないし５のいずれかに記載の移動ベクトル抽出装置。 - 同一物体を所定の時間間隔で撮影した第１及び第２の画像から該第１及び第２の画像間の該物体の移動ベクトルを抽出する方法であって、
第１の画像の濃淡値に対して局所フィルタ処理を施して得た値の極大点または極小点を画像特徴点として抽出する段階と、
第１の画像において前記画像特徴点を含む部分領域を設定する段階と、
前記設定された部分領域の中から第１の画像内の他の部分領域との画像類似度が全て所定の値より低い部分領域を抽出する段階と、
前記抽出された部分領域と第２の画像内の部分領域との対応付けを画像類似度に基づいて行い、前記対応付けられた各部分領域の位置から部分領域の移動ベクトルを抽出する段階と、
前記部分領域の移動ベクトルのうち大きさ及び向きが所定の範囲内にある移動ベクトル毎にカテゴリに分類し、前記分類されたカテゴリに属する移動ベクトルを該カテゴリに対応する物体の移動ベクトルとして抽出する段階とを有する
ことを特徴とする移動ベクトル抽出方法。 - 撮影ラインを対象物体が相対的に横切って移動するように設置した第１及び第２のラインセンサカメラによってそれぞれ撮影した第１及び第２の時系列画像から該第１及び第２の時系列画像間の該物体の移動ベクトルを抽出する方法であって、
第１及び第２のラインセンサカメラを同期させて所定時間間隔で取得したライン画像をそれぞれつなぎ合わせて各ラインセンサに対する第１及び第２の時系列画像を合成する段階と、
第１の時系列画像の濃淡値に対して局所フィルタ処理を施して得た値の極大点または極小点を画像特徴点として抽出する段階と、
第１の時系列画像において前記画像特徴点を含む部分領域を設定する段階と、前記設定された部分領域の中から第１の時系列画像内の他の部分領域との画像類似度が全て所定の値より低い部分領域を抽出する段階と、
前記抽出された部分領域と第２の時系列画像内の部分領域との対応付けを画像類似度に基づいて行い、前記対応付けられた各部分領域の位置から部分領域の移動ベクトルを抽出する段階と、
前記部分領域の移動ベクトルのうち大きさ及び向きが所定の範囲内にある移動ベクトル毎にカテゴリに分類し、前記分類されたカテゴリに属する移動ベクトルを該カテゴリに対応する物体の移動ベクトルとして抽出する段階とを有する
ことを特徴とする移動ベクトル抽出方法。 - 前記特徴点を抽出する段階は、
第１の画像または第１の時系列画像の濃淡値に対してガウス曲率が所定の正の閾値以上となる局所領域の中心点を画像特徴点として抽出する
ことを特徴とする請求項７または８に記載の移動ベクトル抽出方法。 - 前記部分領域を設定する段階は、
１つの部分領域中に複数の前記画像特徴点を含むように該部分領域を設定することを特徴とする請求項７ないし９のいずれかに記載の移動ベクトル抽出方法。 - 前記物体の移動ベクトルを抽出する段階は、
前記分類されたカテゴリに属する移動ベクトルの個数が所定の閾値以上である場合に該カテゴリに属する移動ベクトルを該カテゴリに対応する物体の移動ベクトルとして抽出する
ことを特徴とする請求項７ないし１０のいずれかに記載の移動ベクトル抽出方法。 - 前記部分領域を抽出する段階及び前記部分領域の移動ベクトルを抽出する段階で用いる画像類似度は、
処理対象とする各部分画像の画素を間引いて画像分解能を低下させた後に画像類似度を計算することによって求める
ことを特徴とする請求項７ないし１１のいずれかに記載の移動ベクトル抽出方法。 - 請求項７ないし１２のいずれかに記載の移動ベクトル抽出方法における段階をコンピュータに実行させるためのプログラムとした
ことを特徴とする移動ベクトル抽出プログラム。 - 請求項７ないし１２のいずれかに記載の移動ベクトル抽出方法における段階をコンピュータに実行させるためのプログラムとし、
前記プログラムを前記コンピュータで読取り可能な記録媒体に記録した
ことを特徴とする移動ベクトル抽出プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002309122A JP2004145592A (ja) | 2002-10-24 | 2002-10-24 | 移動ベクトル抽出装置及び方法及びプログラム及びその記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002309122A JP2004145592A (ja) | 2002-10-24 | 2002-10-24 | 移動ベクトル抽出装置及び方法及びプログラム及びその記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004145592A true JP2004145592A (ja) | 2004-05-20 |
Family
ID=32455034
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002309122A Pending JP2004145592A (ja) | 2002-10-24 | 2002-10-24 | 移動ベクトル抽出装置及び方法及びプログラム及びその記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004145592A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009005025A1 (ja) * | 2007-07-03 | 2009-01-08 | Konica Minolta Holdings, Inc. | 移動物体検出装置 |
| JP2013229011A (ja) * | 2012-03-30 | 2013-11-07 | Toshiba Corp | 帳票識別装置および帳票識別方法 |
| JP2014228893A (ja) * | 2013-05-17 | 2014-12-08 | 日本電信電話株式会社 | テンプレート画像候補領域決定装置、テンプレート画像候補領域決定方法、及びプログラム |
| JP2015141676A (ja) * | 2014-01-30 | 2015-08-03 | Kddi株式会社 | ガイダンス表示装置、方法及びプログラム |
| JP2015185138A (ja) * | 2014-03-26 | 2015-10-22 | 富士通株式会社 | 移動物体検出装置、移動物体検出方法、及びプログラム |
| JP2017142661A (ja) * | 2016-02-10 | 2017-08-17 | 株式会社デンソー | 車両周辺監視システム及びコンピュータプログラム |
-
2002
- 2002-10-24 JP JP2002309122A patent/JP2004145592A/ja active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009005025A1 (ja) * | 2007-07-03 | 2009-01-08 | Konica Minolta Holdings, Inc. | 移動物体検出装置 |
| JP2013229011A (ja) * | 2012-03-30 | 2013-11-07 | Toshiba Corp | 帳票識別装置および帳票識別方法 |
| JP2014228893A (ja) * | 2013-05-17 | 2014-12-08 | 日本電信電話株式会社 | テンプレート画像候補領域決定装置、テンプレート画像候補領域決定方法、及びプログラム |
| JP2015141676A (ja) * | 2014-01-30 | 2015-08-03 | Kddi株式会社 | ガイダンス表示装置、方法及びプログラム |
| JP2015185138A (ja) * | 2014-03-26 | 2015-10-22 | 富士通株式会社 | 移動物体検出装置、移動物体検出方法、及びプログラム |
| JP2017142661A (ja) * | 2016-02-10 | 2017-08-17 | 株式会社デンソー | 車両周辺監視システム及びコンピュータプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4772839B2 (ja) | 画像識別方法および撮像装置 | |
| JP6125188B2 (ja) | 映像処理方法及び装置 | |
| US8879847B2 (en) | Image processing device, method of controlling image processing device, and program for enabling computer to execute same method | |
| KR100480781B1 (ko) | 치아영상으로부터 치아영역 추출방법 및 치아영상을이용한 신원확인방법 및 장치 | |
| CN108229475B (zh) | 车辆跟踪方法、***、计算机设备及可读存储介质 | |
| JP4597391B2 (ja) | 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体 | |
| JP2000105829A (ja) | 顔パーツ検出方法及びその装置 | |
| JP5538868B2 (ja) | 画像処理装置、その画像処理方法及びプログラム | |
| JP4518139B2 (ja) | 画像処理装置 | |
| WO2009114967A1 (zh) | 基于移动扫描的图像处理方法及装置 | |
| JP2000165648A (ja) | 画像処理方法および装置並びに記録媒体 | |
| JP2002366963A (ja) | 画像処理方法、画像処理装置、撮像装置及びコンピュータプログラム | |
| CN111028263A (zh) | 一种基于光流颜色聚类的运动物体分割方法及其*** | |
| JP4882577B2 (ja) | 物体追跡装置およびその制御方法、物体追跡システム、物体追跡プログラム、ならびに該プログラムを記録した記録媒体 | |
| JPH10149449A (ja) | 画像分割方法、画像識別方法、画像分割装置および画像識別装置 | |
| JP2004145592A (ja) | 移動ベクトル抽出装置及び方法及びプログラム及びその記録媒体 | |
| KR101726692B1 (ko) | 객체 추출 장치 및 방법 | |
| JP3860540B2 (ja) | エントロピーフィルタ及び該フィルタを用いた領域抽出法 | |
| JPH11306348A (ja) | 対象物検出装置及び対象物検出方法 | |
| KR100853267B1 (ko) | 스테레오 시각 정보를 이용한 복수 인물 추적 방법 및 그시스템 | |
| CN108280815B (zh) | 一种面向监控场景结构的几何校正方法 | |
| JP4812743B2 (ja) | 顔認識装置、顔認識方法、顔認識プログラムおよびそのプログラムを記録した記録媒体 | |
| JP4274038B2 (ja) | 画像処理装置および画像処理方法 | |
| JPH11283036A (ja) | 対象物検出装置及び対象物検出方法 | |
| JP6150419B2 (ja) | カメラおよびプログラム |