JP4283532B2 - 画像認識装置および方法 - Google Patents
画像認識装置および方法 Download PDFInfo
- Publication number
- JP4283532B2 JP4283532B2 JP2002373460A JP2002373460A JP4283532B2 JP 4283532 B2 JP4283532 B2 JP 4283532B2 JP 2002373460 A JP2002373460 A JP 2002373460A JP 2002373460 A JP2002373460 A JP 2002373460A JP 4283532 B2 JP4283532 B2 JP 4283532B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- template
- object region
- mask
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、撮像装置から得られた画像を処理し、画像に含まれる移動物体を検出し追跡する画像認識装置及び方法に関するものである。
【0002】
【従来の技術】
従来、画像認識装置としては、例えば図22及び図23(A)、(B)に示すようなものが知られている(例えば、特許文献1参照)。
【0003】
【特許文献1】
特開平2000−322582号公報(9頁〜10頁、段落番号0101〜0105、図1、図13)。
【0004】
図22において、従来の画像認識装置2200は、物体を撮影するカメラ2210と、カメラ2210からの画像を入力して記憶する第1の画像メモリ2202及び第2の画像メモリ2203と、デマルチプレクサ2201と、相関演算器2204と、移動物体追跡プログラム2205とを備える。カメラ2210は、固定されていても風などの影響により振動することがあるし、また、旋回台によりパンチルト動作をすることがある。そしてカメラ2が動くと、画像認識結果に誤りが生じる場合がある。
【0005】
そこで、図22のブロック図、及び図23(A)の処理フローに示すように、移動物体追跡プログラム2205は、相関演算器2204に対しカメラ2210の動きの演算を指示して相関値配列を求める(ステップS2301)。移動物体追跡プログラム2205は、受け取った相関値配列から、画像全体の動きベクトルを求める(ステップS2301)。すなわち、図23(B)に示すような外枠部分を取り除いた画像全体の相関演算を行うことで、画像全体の動きベクトルを求めて、それをカメラ2210の動きとして特定する。
この構成により、カメラの振動やパンチルト移動による画像全体の動きを検出して、それによる画像全体の動きを考慮しつつ、移動物体の追跡を実現している。
【0006】
【発明が解決しようとする課題】
しかしながら、上記従来の画像認識装置においては、単純に外枠部分を取り除いた画像全体の相関演算を用いて画像全体の動きを求めているため、カメラの振動やパンチルト移動により精度良く画像全体の動きを検出できない場合があり、精度良く画像全体の動きを検出できない場合は、画像中に存在する検出対象の移動物体ではなく、本来検出対象では無い画像中の特徴が強い領域(例えば、建造物と背景との境界部分、道路の白線など)を検出対象の移動物体と誤って追跡してしまうという問題があった。
【0007】
本発明は、上記従来の問題を解決するためになされたもので、精度良く画像全体の動きを検出することにより、検出対象の移動物体のみを追跡可能な画像認識装置及び方法を提供するものである。
【0008】
【課題を解決するための手段】
本発明における画像認識装置は、撮像時刻の異なる複数の画像から物体領域を検出する物体領域検出手段と、前記物体領域と背景領域とを分離するマスクを生成するマスク生成手段と、前記複数の画像と前記マスクとを用いて画像全体の動きを検出する画像動き検出手段と、検出した前記物体領域をテンプレートとして管理するテンプレート管理手段と、前記テンプレートを登録するテンプレート記憶メモリと、前記テンプレートの位置を時系列的に追跡することにより前記物体領域の移動を追跡する物体追跡手段と、を有し、前記テンプレート管理手段は、前記テンプレートが所定期間、画像内の同じ位置に存在する場合、前記テンプレート記憶メモリから前記テンプレートを削除するテンプレート削除手段と、前記画像動き検出手段で検出された画像全体の動きにより画像全体が揺れているか否かを判定する画像揺れ検出手段と、を有し、前記テンプレート削除手段は、前記画像揺れ検出手段において画像全体が揺れていると判定された場合に前記所定期間を短く変更するという構成を有している。この構成により、物体領域を検出しつつ、精度良く画像全体の動きを検出することができる。
【0012】
本発明における画像認識方法は、撮像時刻の異なる複数の画像から物体領域を検出する物体領域検出ステップと、前記物体領域と背景領域とを分離するマスクを生成するマスク生成ステップと、前記複数の画像と前記マスクとを用いて画像全体の動きを検出する画像動き検出ステップと、検出した前記物体領域をテンプレートとして管理するテンプレート管理ステップと、前記テンプレートをテンプレート記憶メモリに登録するステップと、前記テンプレートの位置を時系列的に追跡することにより前記物体領域の移動を追跡するステップと、を有し、前記テンプレート管理ステップは、前記テンプレートが、所定期間、画像内の同じ位置に存在する場合、前記テンプレート記憶メモリから前記テンプレートを削除し、前記画像動き検出ステップで検出された画像全体の動きにより画像全体が揺れていると判定した場合に前記所定期間を短く変更するという構成を有している。この構成により、物体領域を検出しつつ、精度良く画像全体の動きを検出することができる。
【0016】
本発明におけるプログラムは、請求項2に記載の画像認識方法における各ステップをコンピュータに実行させるという構成を有している。この構成により、本発明の画像認識方法をプログラム化することによって、本発明をコンピュータで容易に実施することができる。
【0017】
本発明におけるコンピュータ読み取り可能な記録媒体は、請求項2に記載の画像認識方法における各ステップをコンピュータに実行させるという構成を有している。この構成により、本発明の画像認識方法をプログラム化して、コンピュータが読み取り可能な記録媒体に記憶することにより、本発明をコンピュータで容易に実施することができる。
【0018】
【発明の実施の形態】
以下、添付図面に基づき、本発明の第1ないし第4の実施の形態を詳細に説明する。
(第1の実施の形態)
まず、図1を参照して、本発明の第1の実施の形態における画像認識装置の構成を説明する。図1において、画像認識装置100は、撮像装置110などの外部装置から入力された画像を記憶する現フレームメモリ101と、現フレームメモリ101に入力された画像の直前の画像を記憶する前フレームメモリ102と、動いている物体が存在する画像領域である物体領域を検出する物体領域検出部103と、物体領域を記憶する物体領域記憶メモリ104と、現フレームメモリ101と前フレームメモリ102に記憶されている画像の物体領域と物体の存在しない背景領域を分離するマスクを生成するマスク生成部105と、画像とマスクを用いて画像全体の動きを検出する画像動き検出部106とにより構成される。
画像認識装置100の処理結果は、描画装置120などの外部装置によって現フレームメモリ101に保持されている画像上に描画され、ディスプレイ130などの表示装置に表示される。
【0019】
さらに、図1を参照して、本実施の形態における画像認識装置100の構成要素について詳細に説明する。画像認識装置100において、撮像装置110から得られた画像は現フレームメモリ101へと入力され保持される。前フレームメモリ102は、現フレームメモリ101より少なくとも1フレーム前の画像が記憶される。現フレームメモリ101が撮像装置110から入力された画像に更新するときに、現フレームメモリ101に現在記憶されている画像を前フレームメモリ102に記憶する。したがって、現フレームメモリ101と前フレームメモリ102とにより撮像時刻の異なる画像が保持されることとなる。
なお、以下の説明で、現フレームメモリ101に記憶されている画像を現フレーム画像、前フレームメモリ102に記憶されている画像を前フレーム画像という。
【0020】
次に、図2を参照して、本実施の形態における物体領域検出部103(図1)の構成を詳細に説明する。
まず、複数の画像から物体領域を検出する方法としては、例えば背景差分法、フレーム間差分法、オプティカルフローなどが広く知られている。本発明の実施の形態では、オプティカルフローを用いた物体領域の検出を行う例について説明する。
また、オプティカルフローを用いた物体領域の検出方法には、ブロックマッチング法、勾配法などが知られている。本実施の形態では、ブロックマッチング法を用いる例について説明する。
【0021】
図2において、物体領域検出部103は、例えば、オプティカルフロー演算器201と物体領域抽出器202とから構成される。しかし、他の構成要素により実現しても良い。
オプティカルフロー演算器201は、現フレームメモリ101に保持されている現フレーム画像と前フレームメモリ102に保持されている前フレーム画像とを入力し、現フレーム画像を(M×N)個の画素から構成されるブロック単位に分割して、図3に示すように、現フレーム内から1つ選択したブロックと前フレーム画像の探索範囲内のブロックとの相関値を演算して、オプティカルフローを求めるものである。
【0022】
そこで、図3を参照して、ブロックマッチング法によりオプティカルフローを求める方法を説明する。オプティカルフローは、ブロックマッチング法によって現フレーム内の(M×N)個の画素から構成されるブロック301に対し、前フレーム画像の(K×L)個の画素から構成される探索範囲302内から、(M×N)個の画素から構成される最も相関の高いブロック303を探索して求める。そして、ブロック303からブロック301への変移量を変移量304としてオプティカルフローが求められる。相関値は例えば、現フレーム画像と前フレーム画像の各ブロック内の同じ位置の画素の差分絶対値和SAD(下記の数1)によって求められる。(数1)を用いた場合、最も相関の高いブロックは差分絶対値和SADが最小となる変位量のブロックであることを意味する。
【0023】
これら一連の処理を現フレーム画像の各ブロックに対して繰り返し行い、現フレーム画像のオプティカルフローを各ブロック単位で推定する。
なお、現フレーム画像または前フレーム画像にノイズ成分が含まれた場合には、誤ったオプティカルフローを推定してしまうため、現フレーム画像のブロックと前フレーム画像のブロックとの変位(0,0)の差分絶対値和SAD(0,0)を演算し、SAD(0,0)が閾値以上であるブロックについてのみ、最も相関の高いブロックを探索することが望ましい。
【0024】
【数1】
【0025】
ここで、図2及び図4を参照して、物体領域抽出器202の動作について説明する。図2に示す物体領域抽出器202は、塊状に発生したオプティカルフローについてラベル付けを行い、物体領域を検出して物体領域記憶メモリ104(図1及び図2)に記憶する。例えば、図4に示すように、前フレーム画像401の人物402が水平右方向に移動して現フレーム画像404の人物405の位置へ移動し、前フレーム画像401の人物403が水平左方向に移動して現フレーム画像404の人物406の位置へ移動しているシーンのオプティカルフローを求めると、図4のオプティカルフロー推定結果407が得られる。
【0026】
次に、図4の408、409に示すようにラベリング処理を行う。ラベリング処理は、隣接した同一の特徴を持つ点もしくは領域(本実施の形態ではブロック)に同じラベルを付けてグループ化する処理であり、一般的に広く知られている手法である。
そして、図4の現フレーム画像404とオプティカルフロー推定結果407のラベリング処理結果408,409とを用いて、ブロックの塊(408,409)の中で隣接し合ったオプティカルフローが発生したブロックのブロック数がしきい値以上である場合に、上記隣接し合ったブロックの塊を移動した物体領域として抽出する。例えば、図4の物体抽出結果410のように物体領域411、412をそれぞれ検出することができる。
【0027】
次に、図5を参照して、図1に示すマスク生成部105の動作を説明する。ここで、マスク生成部105は、画像の物体領域を背景領域から分離するマスクを生成する。例えば、現フレーム画像404(図4)の画像全体が撮像装置110(図1)の揺れなどの原因で、現フレーム画像404(図5に点線で示す)が移動して、現フレーム画像501(図5)のように得られた場合について説明する。
図5に示すように、前フレーム画像401と移動した現フレーム画像501のオプティカルフローを推定するとオプティカルフロー推定結果502に示すように、移動物体のオプティカルフロー503だけでなく、構造物と背景との輝度差が大きいエッジ部分に生じるオプティカルフロー504が検出される。このとき、マスク生成部105は、物体領域と背景領域を分離するマスク505を生成する。
【0028】
次に、図6を参照して、本実施の形態における、図1に示す画像動き検出部106について詳細に説明する。図6に示す画像動き検出部106は、例えば、相関演算器601と画像動き演算器602とにより構成される。しかし、他の構成で実現しても良い。相関演算器601は、現フレームメモリ101に記憶されている現フレーム画像と、前フレームメモリ102に記憶されている前フレーム画像と、マスク生成部105で生成されたマスクとを用いて、相関演算を実行する。
相関演算は、例えば(下記数2)によって行われる。数2において、マスク係数m(i,j)は、例えば0または1の値を持ち、マスク係数が0に対応する画素は物体領域の画素であり、1に対応する画素は背景領域の画素である。
【0029】
【数2】
【0030】
画像動き演算器602は、相関演算器601で演算した画像全体の相関値から最小となる変位量(v,w)を求める。
本実施の形態では、x成分の変位量c、y成分の変位量dの相関値を求める間隔はそれぞれC、Dとする。このとき、(数3(a))は、図7に示すように座標(v−C,V(v−C,w))と座標(v,V(v,w))とを結ぶ傾きAの線分と、座標(v,V(v+C,w))を通る傾き−Aの線分との交点のx成分fvを示し、三角形701、702、703、704は全て相似の関係であり、三角形703と704は合同の関係であることから導出することができる。また、(数3(b))についても同様に導出することができる。
【0031】
変位量(v,w)を求めたら、次に、(数3(a))によって、相関値を求める間隔Cより細かい精度で画像全体のx成分の変位量fvを演算する。なお、同様に、(数3(b))によって、相関値を求める間隔Dより細かい精度で画像全体のy成分の変位量fwを演算する。そして、変位量(fv,fw)を画像全体の動き量として出力する。
【0032】
【数3】
【0033】
以上説明したように、本発明の第1の実施の形態の画像認識装置によれば、撮像時刻の異なる複数の画像から物体領域を検出する物体領域検出部103と、画像内の物体領域と背景領域とを分離するマスクを生成するマスク生成部105と、マスクを用いて画像全体の動きを検出する画像動き検出部106とを設けることにより、撮像時刻の異なる画像から物体領域を検出し、画像の物体領域と背景領域とを分離するマスクを生成し、マスクを用いて画像全体の動きを検出することにより、精度良く画像全体の動きを検出することができる。
【0034】
(第2の実施の形態)
次に、図8を参照して、本発明の第2の実施の形態における画像認識装置の構成を説明する。図8に示す、本実施の形態における画像認識装置800は、撮像装置810などの外部装置から入力された画像を記憶する現フレームメモリ801と、現フレームメモリ801に入力された画像の直前の画像を記憶する前フレームメモリ802と、動いている物体の存在する画像領域である物体領域を検出する物体領域検出部803と、物体領域を記憶する物体領域記憶メモリ804と、現フレームメモリ801と前フレームメモリ802に記憶されている画像の物体領域と背景領域を分離するマスクを生成するマスク生成部805と、画像とマスクを用いて画像全体の動きを検出する画像動き検出部806と、物体領域をテンプレートとして登録したり、テンプレートの更新、削除をを行うテンプレート管理部807と、テンプレートを記憶するテンプレート記憶メモリ808と、テンプレート記憶メモリ808に記憶されているテンプレートを用いて現フレーム内の物体の追跡を行う物体追跡部809とにより構成される。
画像認識装置800の処理結果は、描画装置820などの外部装置により現フレームメモリ801に保持されている画像に描画され、ディスプレイ830などの外部装置に表示される。
【0035】
さらに、図8を参照して、本実施の形態における画像認識装置800の構成要素について詳細に説明する。画像認識装置800において、現フレームメモリ801と、前フレームメモリ802と、物体領域検出部803と、物体領域記憶メモリ804と、マスク生成部805と、画像動き検出部806とは、図1の現フレームメモリ101と、前フレームメモリ102と、物体領域検出部103と、物体領域記憶メモリ104と、マスク生成部105と、画像動き検出部106とそれぞれ同一であるため、詳細な説明は省略する。
しかし、テンプレート管理部807と、テンプレート記憶メモリ808と、物体追跡部809との各構成要素については、本実施の形態で新たに導入した構成要素であるため、以下で詳細に説明する。
【0036】
まず、図9を参照して、本実施の形態におけるテンプレート管理部807の構成を詳細に説明する。
テンプレート管理部807は、例えばテンプレート登録器901と画像揺れ検出器902とテンプレート削除器903とにより構成される。しかし、他の構成で実現しても良い。
図9において、テンプレート登録器901は、物体領域記憶メモリ804に記憶されている各物体領域がテンプレート記憶メモリ808に既にテンプレートとして登録されているかどうか判定し、選択した物体領域が追跡対象物体の特徴を持つかどうか判定する。例えば、追跡対象物体の特徴としては、大きさ、縦横比などがある。物体領域が追跡対象物体の特徴を持ち、テンプレートに登録されていない場合は、新規のテンプレートをテンプレート記憶メモリ808に記憶する。
【0037】
次に、図10を参照して、本実施の形態における、図9に示すテンプレート登録器901の動作を詳細に説明する。ここの説明では、テンプレート登録器901の動作を、例えば図10に示すように、人物1001が人物1002の位置へ移動している場合について説明する。物体領域検出部803(図8)によって、図10の各ブロックで得られたフロー1003から物体領域1004を求める。この時、物体領域が追跡対象物体の特徴を持ち、テンプレートとして未登録である場合は、テンプレート登録器901により、テンプレートの画像パターン1005を新規のテンプレートとしてテンプレート記憶メモリ808に登録する。
【0038】
画像揺れ検出器902は、画像動き検出部806からの現フレームの画像全体の動きを入力して、過去kフレーム分の画像全体の動きの変位量の総和α、βを(下記数4)によって演算する。そして、数4のαまたはβのいずれかがしきい値を超えている場合は画像全体が揺れている旨をテンプレート削除器903へ通知する。なお、画像全体が揺れているかどうかを判定するしきい値は、αとβで共通のしきい値を用いても良いし、個々にしきい値を設定しても良い。
【0039】
【数4】
【0040】
テンプレート削除器903は、テンプレート記憶メモリ808に登録されているテンプレートから不要なテンプレートを削除する。テンプレートを削除する条件としては、例えば、テンプレートが画像内の同じ位置にフレームが一定数(TH1フレーム)以上存在する場合は削除する(TH1はテンプレートの削除をきめるしきい値)。画像揺れ検出器902から画像全体が揺れている旨が通知された場合は、構造物と背景との輝度差が大きいエッジ部分に生じるオプティカルフロー504(図5)によって誤登録されるテンプレートを削除しやすくするため、テンプレートが画像内の同位置に一定フレーム数(TH2フレーム)以上存在する場合に削除する。上記、TH1とTH2は、TH1>TH2の関係を満たす。
【0041】
次に、図11を参照して、本実施の形態における、図8に示す物体追跡部809の構成を詳細に説明する。物体追跡部809は、例えばマッチング位置探索器1101とテンプレート更新器1102とから構成されるが、他の構成で実現しても良い。
マッチング位置探索器1101は、図12に示すように、現フレーム画像内に設定した探索範囲1203内でテンプレート1201との最適マッチング位置1204(例えば、相関値が最も大きい位置)を探索する。そして、テンプレート1201の現フレーム画像内の位置1202から最適マッチング位置1204までの変移1205が物体の移動量となる。相関値は例えば、(数5)に示すような正規化相関値を用いる。(数5)で示す正規化相関値R(a,b)は、0〜1の実数値を取り、1に近づくほど相関が高いことを意味する。正規化相関値は、照明の変動による輝度変化の影響を受けにくく、安定なマッチングが可能である点から好ましい。
【0042】
【数5】
【0043】
f:現フレーム画像
T:テンプレート
H:テンプレートのサイズ(横)
V:テンプレートのサイズ(縦)
a:テンプレートとマッチング位置の変移のx成分
b:テンプレートとマッチング位置の変移のy成分
【0044】
テンプレート更新器1102は、テンプレートと現フレーム画像内の最適マッチング位置との相関値がしきい値を超えているかどかを判定し、しきい値を超えている場合は、テンプレートを現フレーム画像内の最適マッチング位置の領域により、テンプレート記憶メモリ808に登録されているテンプレートを更新する。テンプレートを更新することにより、追跡対象物体の形状ないしは大きさの変化に追従することができることから好ましい。
【0045】
以上説明したように、本発明の第2の実施の形態の画像認識装置によれば、撮像時刻の異なる複数の画像から物体領域を検出する物体領域検出部803と、画像内の物体領域と背景領域とを分離するマスクを生成するマスク生成部805と、画像全体の動きを検出する画像動き検出部806と、物体領域をテンプレートとして登録し、画面の揺れを検出して不要なテンプレートを削除しやすくするテンプレート管理部807とを設け、さらに物体領域をテンプレートとして登録し、テンプレートを用いて物体領域を追跡する物体追跡部809を設けることにより、撮像時刻の異なる画像から物体領域を検出し、画像の物体領域と背景領域を分離するマスクを生成し、マスクを用いて画像画像全体の動きを検出することにより、精度良く画像全体の動きを検出し、それにより検出対象となる移動物体のみを追跡することができる。
【0046】
(第3の実施の形態)
次に、図13を参照して、本発明の第3の実施の形態における画像認識方法の構成を説明する。図13に示すように、本実施の形態における画像認識方法は、撮像時刻の異なる複数の画像を入力してオプティカルフローを推定して、物体領域を検出する物体領域検出ステップ(S1301)と、複数の画像から検出した物体領域部分を取り除くマスク生成ステップ(S1302)と、画像全体の動きを検出するステップ(S1303)とを設け、これらステップS1301〜S1303の一連の処理を繰り返し行うことにより、画像全体の動きを検出しつつ、物体領域を検出する。
【0047】
さらに、図14〜図16を参照して、図13に示す本実施の形態における画像認識方法の各ステップについて詳細に説明する。
まず、図14のフローチャートを参照して、図13に示す物体領域検出ステップS1301の詳細な処理の流れを説明する。オプティカルフローを求める方法としては、例えばブロックマッチング法や勾配法が知られている。本実施の形態ではブロックマッチング法を用いた方法を説明する。
【0048】
まず、現フレーム画像を(M×N)個の画素から構成されるブロック単位に分割する(ステップS1401)。次に、現フレーム画像のブロックを1つ選択し(ステップS1402)、現フレーム内のブロックと前フレーム画像の探索範囲内のブロックとの相関値を演算してオプティカルフローを求める(ステップS1403)。オプティカルフローは図3に示すようにブロックマッチング法によって現フレーム内の(M×N)個の画素から構成されるブロック301に対し、前フレーム画像の(K×L)個の画素から構成されている探索範囲302内から、(M×N)個の画素から構成される最も相関値の高いブロック303を探索して求める。そして、ブロック303からブロック301への変移304としてオプティカルフローが求められる。相関値は、例えば現フレーム内のブロックと前フレーム画像のブロックにおいて、同位置の画素の差分絶対値和(数1)によって求められる。これらステップS1402、1403の一連の処理を現フレーム画像の各ブロックに対して繰り返し行い、現フレーム画像のオプティカルフローを各ブロック単位で推定する(ステップS1404)。
【0049】
次に、図4に示すラベリンク処理結果408、409となるように、ラベリング処理を実行する(ステップS1405)。ラベリング処理は、隣接した同一の特徴を持つ点もしくは領域(本実施例ではブロック)に同じラベルを付けてグループ化する処理であり、一般的に広く知られている手法である。
そして、図4に示す現フレーム画像404とオプティカルフロー推定結果407のラベリング処理結果を用いて、隣接し合ったブロックの塊のブロック数がしきい値以上である場合に、上記隣接し合ったブロックの塊を移動した物体領域として抽出する。例えば、図4の物体抽出結果410に示すような物体領域411、412をそれぞれ検出することができる。
【0050】
次に、図15のフローチャートを参照して、図13に示すマスク生成ステップS1302の詳細な処理の流れを説明する。
まず始めに、画像の座標に対応するマスク係数を1つ選択する(ステップS1501)。
次に、マスク係数と同じ位置の画素が物体領域に含まれるかどうか判定する(ステップS1501)。その画素が物体領域に含まれる場合は、マスク係数を0とし(ステップS1503)、物体領域でない場合はマスク係数を1とする(ステップS1504)。これらステップS1501〜1504の処理を全てのマスク係数について行いマスクを生成する(ステップS1505)。
【0051】
次に、図16のフローチャートを参照して、図13に示す画像動き検出ステップS1303の詳細な処理の流れを説明する。
まず始めに、現フレーム画像と、前フレーム画像と、マスク生成ステップS1302で生成されたマスクとを用いて、相関演算を行う(ステップS1601)。相関演算は例えば(数2)によって行われる。
次に、ステップS1601で演算した画像全体の相関値から最高となる変位量(v,w)を求める(ステップS1602)。
そして、(数3(a))によって、相関値を求める間隔より細かい精度で画像全体のx成分の変位量を演算する。同様に、(数3(b))によって、相関値を求める間隔より細かい精度で画像全体のy成分の変位量を演算する(ステップS1603)。
以上説明したように、本発明の第3の実施の形態の画像認識方法によれば、撮像時刻の異なる画像から物体領域を検出し、画像の物体領域と背景領域を分離するマスクを生成し、マスクを用いて画像画像全体の動きを検出することにより、精度良く画像全体の動きを検出することができる。
【0052】
(第4の実施の形態)
次に、図17を参照して、本発明の第4の実施の形態における画像認識方法の構成を説明する。図17に示す本実施の形態における画像認識方法は、撮像時刻の異なる複数の画像を入力してオプティカルフローを推定し、物体領域を検出する物体領域検出ステップ(S1701)と、複数の画像から検出した物体領域部分を背景領域から分離するマスク生成ステップ(S1702)と、画像全体の動きを検出する画像動き検出ステップ(S1703)と、物体領域をテンプレートとして登録し、不要なテンプレートを削除するテンプレート管理ステップ(S1704)と、テンプレートを用いて物体を追跡するステップ(S1705)とを備えたものである。以上のステップS1701〜1705における一連の処理を繰り返し行い、画像全体の動きを検出しつつ、不要なテンプレートを削除することにより移動する物体領域のみをを追跡することになる。
【0053】
さらに、図18〜図21を参照して、図17に示す本実施の形態における画像認識方法の各ステップについて詳細に説明する。なお、図17に示す物体領域検出ステップS1701と、マスク生成ステップS1702と、画像動き検出ステップS1703とは、図13に示す物体領域検出ステップS1301と、マスク生成ステップS1302と、画像動き検出ステップS1303とそれぞれ同一であるために詳細な説明を省略する。そして、図18から図20のフローチャートを用いてテンプレート管理ステップS1704を詳細に説明し、図21のフローチャートを用いて物体追跡ステップS1705を詳細に説明して、本実施の形態における詳細な説明とする。
【0054】
まず、図18から図20のフローチャートを参照して、テンプレート管理ステップS1704の詳細な処理の流れを説明する。テンプレート管理ステップS1704は、例えば図18に示すようにテンプレート削除手順1801とテンプレート登録手順1802とで構成されるが、他の構成で実現しても良い。
まず、図19のフローチャートを参照して、テンプレート削除手順1801(図18)の詳細な処理の流れを説明する。
過去pフレーム分の画像動き検出ステップS1703で得られた画像全体の動きを(数3)を用いて、x成分、y成分それぞれの絶対値和を求める(S1901)。
次に、x成分、y成分の絶対値和のいずれかがしきい値(回数)を超えているかどうか判定する(S1902)。
その判定において、しきい値を超えていないと判定された場合は、テンプレートを削除するしきい値THをTH1とする(ステップS1903)。しきい値を超えていると判定された場合は、画像全体が揺れているとみなしてテンプレートを削除するしきい値THをTH2とする(ステップS1904)。ただし、TH1とTH2はTH1>TH2の関係を満たすものとする。
【0055】
次に、テンプレートが1つ以上登録されているかどうか判定する(ステップS1905)。テンプレートが登録されていない場合は、図19の一連の処理は終了する。テンプレートが1つ以上登録されている場合は、テンプレートを1つ選択する(ステップS1906)。
次に、テンプレートが同じ位置にしきい値TH回以上存在するかどうか判定する(ステップS1907)。テンプレートが同じ位置にしきい値TH回以上存在する場合は、画像全体が揺れているということであるから、移動する物体のテンプレートではないためそのテンプレートを削除する(ステップS1908)。その場合は、しきい値THを小さくすることによって不要なテンプレートを削除しやすくする。
以上、ステップS1906からステップS1908までの一連の処理を登録している全てのテンプレートに対して実行する(ステップS1909)。
【0056】
次に、図20のフローチャートを参照して、テンプレート登録手順1802(図18)の詳細な処理の流れを説明する。
まず、物体領域が1つ以上存在するかどうか判定する(ステップS2001)。物体領域が全く存在しない場合は、図20の一連の処理を終了する。
物体領域が1つ以上存在する場合は、物体領域を1つ選択する(ステップS2002)。
ステップS2002で選択した物体領域が追跡対象物体の特徴を持つかどうか判定する(ステップS2003)。例えば、追跡対象物体の特徴としては、大きさ、縦横比などがある。物体領域が追跡対象物体の特徴を持つ場合は、選択した物体領域が既にテンプレートとして登録されているか判定する(ステップS2004)。選択した物体領域がテンプレートに登録されていない場合は、新規のテンプレートとして登録する(ステップS2005)。
以上、ステップS2002からステップS2005までの一連の処理を存在する全ての物体領域に対して実行する(ステップS2006)。
【0057】
次に、図21のフローチャートと図12とを参照して、図17に示す物体追跡ステップS1705の詳細な処理の流れを説明する。
まず、テンプレートが1つ以上登録されているかどうか判定する(ステップS2101)。テンプレートが全く登録されていない場合は、ステップS2102〜2106の一連の処理を終了する。
テンプレートが1つ以上登録されている場合は、テンプレートを1つ選択する(ステップS2102)。
【0058】
次に、図12に示すように、ステップS2102で選択したテンプレート1201について現フレーム画像内に設定した探索範囲1203内の最適マッチング位置1204(例えば、相関値が最も大きい位置)を探索する(ステップS2103)。そして、テンプレート1201の現フレーム画像内の位置1202から最適マッチング位置1204の変移1205が物体の移動量となる。相関値は例えば、(数5)で示すように正規化相関値を用いる。(数5)で示す正規化相関値R(a,b)は、0〜1の実数値を取り、1に近づくほど相関が高いことを意味する。正規化相関値は、照明の変動による輝度変化の影響を受けにくく、安定なマッチングが可能である点から好ましい。
【0059】
次に、テンプレートと現フレーム画像内の最適マッチング位置との相関値がしきい値を超えているかどうか判定する(ステップS2104)。イエスの場合、相関値がしきい値を超えたテンプレートを現フレーム画像内の最適マッチング位置の領域を用いて更新する(ステップS2105)。テンプレートは、更新することによって、追跡対象物体の形状ないし大きさの変化に追従することができることから好ましい。以上、ステップS2102〜2105の一連の処理を、登録されている全てのテンプレートに対して行い、テンプレートの更新を行う(ステップS2106)。
【0060】
以上説明したように、本発明の第4の実施の形態の画像認識方法によれば、撮像時刻の異なる複数の画像から物体領域を検出し、画像内の物体領域と背景領域とを分離するマスクを生成し、マスクを用いて精度良く画像全体の動きを検出し、物体領域をテンプレートとして登録し、画面の揺れを検出して不要なテンプレートを削除し、テンプレートを用いて物体領域を追跡して、移動した物体領域を検出することにより、検出対象となる移動物体のみを追跡することができる。
なお、本発明は以上説明した実施の形態に限定されるのではなく、本発明の範囲内で種々の改良および変形が可能であることは言うまでも無い。
また、以上説明した本発明の実施の形態における物体追跡方法を、コンピュータが実行可能なソフトウェアプログラムによって実施することができる。
また、本発明を構成したソフトウェアプログラムをコンピュータが読み取り可能な記録媒体に記録して、他のコンピュータで実施することができる。
【0061】
【発明の効果】
本発明における画像認識装置及び方法は、上記のように構成され、特に、撮像時刻の異なる画像から物体領域を検出し、画像の物体領域と背景領域を分離するマスクを生成し、生成したマスクを使用して精度良く画像全体の動きを検出することができ、その上、画面上の物体領域をテンプレートとして登録し、不要なテンプレートを削除することにより、検出対象となる移動物体のみを容易に追跡することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態における画像認識装置の全体のブロック構成を示す図、
【図2】本発明の第1ないし第4の実施の形態における画像認識装置及び方法の物体検出部のブロック構成を示す図、
【図3】本発明の第1ないし第4の実施の形態における画像認識装置及び方法のオプティカルフローを求める概要を示す図、
【図4】本発明の第1ないし第4の実施の形態における画像認識装置及び方法の物体領域を検出する概要を示す図、
【図5】本発明の第1ないし第4の実施の形態における画像認識装置及び方法の撮像装置が揺れた場合に物体領域を検出する概要を示す図、
【図6】本発明の第1及び第2の実施の形態における画像認識装置の画像動き検出部のブロック構成を示す図、
【図7】本発明の第1ないし第4の実施の形態における画像認識装置及び方法の相関値を求める間隔より細かい精度で画像全体の動きを求める概要を示す図、
【図8】本発明の第2の実施の形態における画像認識装置の全体のブロック構成を示す図、
【図9】本発明の第2の実施の形態における画像認識装置のテンプレート管理部のブロック構成を示す図、
【図10】本発明の第2及び第4の実施の形態における画像認識装置及び方法の物体領域を検出する概要を示す図、
【図11】本発明の第2の実施の形態における画像認識装置の物体追跡部のブロック構成を示す図、
【図12】本発明の第2及び第4の実施の形態における画像認識装置及び方法のテンプレートを用いて物体を追跡する概要を示す図、
【図13】本発明の第3の実施の形態における画像認識方法の全体の流れを示すフローチャート、
【図14】本発明の第3及び第4の実施の形態における画像認識方法の物体領域検出ステップの詳細な処理の流れを示すフローチャート、
【図15】本発明の第3及び第4の実施の形態における画像認識方法のマスク生成ステップの詳細な処理の流れを示すフローチャート、
【図16】本発明の第3及び第4の実施の形態における画像認識方法の画像動き検出ステップの詳細な処理の流れを示すフローチャート、
【図17】本発明の第4の実施の形態における画像認識方法の全体の処理の流れを示すフローチャート、
【図18】本発明の第4の実施の形態における画像認識方法のテンプレート管理ステップの処理の流れを示すフローチャート、
【図19】本発明の第4の実施の形態における画像認識方法のテンプレート削除手順の詳細な処理の流れを示すフローチャート、
【図20】本発明の第4の実施の形態における画像認識方法のテンプレート登録手順の詳細な処理の流れを示すフローチャート、
【図21】本発明の第4の実施の形態における画像認識方法の物体追跡ステップの詳細な処理の流れを示すフローチャート、
【図22】従来の画像認識装置の全体のブロック構成を示す図、
【図23】従来の画像認識装置の画像全体の動きを求める概要を示す図。
【符号の説明】
100、800、2200 画像認識装置
101、801 現フレームメモリ
102、802 前フレームメモリ
103、803 物体領域検出部
104、804 物体領域記憶メモリ
105、805 マスク生成部
106、806 画像動き検出部
110、810 撮像装置
120、820 描画装置
130、830 ディスプレイ
201 オプティカルフロー演算器
202 物体領域抽出器
301 ブロック
302、1203 探索範囲
303 ブロック
304 変位量
401 前フレーム画像
402、403、405、406、1001 人物
404 現フレーム画像
407 オプティカルフロー抽出結果
408、409 ラベリング処理結果
410 物体抽出結果
411、412 物体領域
501 移動した現フレーム画像
502 オプティカルフロー推定結果
503、504 オプティカルフロー
505 マスク
601、2204 相関演算器
602 画像動き演算器
701、702、703、704 三角形
807 テンプレート管理部
809 物体追跡部
807 テンプレート管理部
808 テンプレート記憶メモリ
809 物体追跡部
901 テンプレート登録器
902 画像揺れ検出器
903 テンプレート削除器
1002 移動した人物
1003 フロー
1004 物体領域
1005 画像パターン
1101 マッチング位置探索器
1102 テンプレート更新器
1201 テンプレート
1202 現フレーム画像内の位置
1204 最適マッチング位置
1205 変位
2201 マルチプレクサ
2202 第1のメモリ
2203 第2のメモリ
2205 移動物体追跡プログラム
2210 カメラ
S1301 物体領域検出ステップ
S1302 マスク生成ステップ
S1303 画像動き検出ステップ
S1701 物体領域検出ステップ
S1702 マスク生成ステップ
S1703 画像動き検出ステップ
S1704 テンプレート管理ステップ
S1705 物体追跡ステップ
Claims (4)
- 撮像時刻の異なる複数の画像から物体領域を検出する物体領域検出手段と、前記物体領域と背景領域とを分離するマスクを生成するマスク生成手段と、前記複数の画像と前記マスクとを用いて画像全体の動きを検出する画像動き検出手段と、検出した前記物体領域をテンプレートとして管理するテンプレート管理手段と、前記テンプレートを登録するテンプレート記憶メモリと、前記テンプレートの位置を時系列的に追跡することにより前記物体領域の移動を追跡する物体追跡手段と、を有し、
前記テンプレート管理手段は、前記テンプレートが所定期間、画像内の同じ位置に存在する場合、前記テンプレート記憶メモリから前記テンプレートを削除するテンプレート削除手段と、前記画像動き検出手段で検出された画像全体の動きにより画像全体が揺れているか否かを判定する画像揺れ検出手段と、を有し、前記テンプレート削除手段は、前記画像揺れ検出手段において画像全体が揺れていると判定された場合に前記所定期間を短く変更することを特徴とする画像認識装置。 - 撮像時刻の異なる複数の画像から物体領域を検出する物体領域検出ステップと、前記物体領域と背景領域とを分離するマスクを生成するマスク生成ステップと、前記複数の画像と前記マスクとを用いて画像全体の動きを検出する画像動き検出ステップと、検出した前記物体領域をテンプレートとして管理するテンプレート管理ステップと、前記テンプレートをテンプレート記憶メモリに登録するステップと、前記テンプレートの位置を時系列的に追跡することにより前記物体領域の移動を追跡するステップと、を有し、
前記テンプレート管理ステップは、前記テンプレートが、所定期間、画像内の同じ位置に存在する場合、前記テンプレート記憶メモリから前記テンプレートを削除し、前記画像動き検出ステップで検出された画像全体の動きにより画像全体が揺れていると判定した場合に前記所定期間を短く変更することを特徴とする画像認識方法。 - 請求項2に記載の画像認識方法における各ステップをコンピュータに実行させるためのプログラム。
- 請求項2に記載の画像認識方法における各ステップをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002373460A JP4283532B2 (ja) | 2002-12-25 | 2002-12-25 | 画像認識装置および方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002373460A JP4283532B2 (ja) | 2002-12-25 | 2002-12-25 | 画像認識装置および方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004206320A JP2004206320A (ja) | 2004-07-22 |
JP4283532B2 true JP4283532B2 (ja) | 2009-06-24 |
Family
ID=32811733
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002373460A Expired - Fee Related JP4283532B2 (ja) | 2002-12-25 | 2002-12-25 | 画像認識装置および方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4283532B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006058431A (ja) * | 2004-08-18 | 2006-03-02 | Fujinon Corp | オートフォーカスシステム |
US7602946B2 (en) * | 2004-09-24 | 2009-10-13 | Nissan Motor Co., Ltd. | Motion detection apparatus and motion detection method |
JP4670303B2 (ja) * | 2004-10-06 | 2011-04-13 | ソニー株式会社 | 画像処理方法及び画像処理装置 |
JP5426874B2 (ja) * | 2008-12-22 | 2014-02-26 | 富士フイルム株式会社 | オートフォーカスシステム |
JP5347834B2 (ja) | 2009-08-25 | 2013-11-20 | 株式会社ニコン | 画像追尾装置 |
JP2012199601A (ja) * | 2011-03-18 | 2012-10-18 | Nikon Corp | 画像追尾装置 |
EP2739044B1 (en) * | 2012-11-29 | 2015-08-12 | Alcatel Lucent | A video conferencing server with camera shake detection |
JP7278737B2 (ja) * | 2018-10-04 | 2023-05-22 | キヤノン株式会社 | 撮像装置及びその制御方法、並びにプログラム |
-
2002
- 2002-12-25 JP JP2002373460A patent/JP4283532B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004206320A (ja) | 2004-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | Combining detection and tracking for human pose estimation in videos | |
US11302315B2 (en) | Digital video fingerprinting using motion segmentation | |
JP5102410B2 (ja) | 移動体検出装置および移動体検出方法 | |
US7783118B2 (en) | Method and apparatus for determining motion in images | |
WO2020017190A1 (ja) | 映像解析装置、人物検索システムおよび人物検索方法 | |
TWI359387B (en) | Robust camera pan vector estimation using iterativ | |
JP4373840B2 (ja) | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 | |
CN110287826A (zh) | 一种基于注意力机制的视频目标检测方法 | |
CN109271848B (zh) | 一种人脸检测方法及人脸检测装置、存储介质 | |
JP5371040B2 (ja) | 移動物体追跡装置、移動物体追跡方法および移動物体追跡プログラム | |
JP2000011133A (ja) | 移動物体検出装置及びその方法 | |
KR20110128529A (ko) | 형태와 특징 정보를 이용한 비정형 객체 추적 장치 및 그 방법 | |
JP2017522647A (ja) | 背景追跡を介する物体追跡及びセグメント化の方法及び装置 | |
JP4283532B2 (ja) | 画像認識装置および方法 | |
JP4578864B2 (ja) | 自動追尾装置及び自動追尾方法 | |
JP2020088647A (ja) | 情報処理装置、情報処理方法及びプログラム | |
Janardhana Rao et al. | Hybridized cuckoo search with multi-verse optimization-based patch matching and deep learning concept for enhancing video inpainting | |
JP6028972B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
KR100994722B1 (ko) | 카메라 핸드오프를 이용한 다중 카메라상의 연속적인 물체추적 방법 | |
JP4328259B2 (ja) | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 | |
CN116883897A (zh) | 一种低分辨率目标识别方法 | |
JP2005196359A (ja) | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム | |
JP6555940B2 (ja) | 被写体追跡装置、撮像装置、及び被写体追跡装置の制御方法 | |
JP2022131642A (ja) | 画像処理装置およびその制御方法、撮像装置、プログラム | |
JP2004295416A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050623 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051219 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090224 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090319 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120327 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120327 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130327 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130327 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140327 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |