JP2005316898A - 目標存在確率推定方法及び装置及びプログラム - Google Patents

Abstract

【課題】 画像間で追跡目標の色が多少変動した際、追跡目標が存在する画素の目標存在確率に大きな変化が生じないようにさせることを可能にする。
【解決手段】 本発明は、入力された画像系列を記憶手段に格納し、該記憶手段に格納された画像系列を表示することにより選択された基準画像をメモリに格納し、メモリの基準画像を表示することにより指定された該基準画像中の追跡元となる領域を取得し、基準画像をＨＳＶ表色系の色相成分で表現された画像へ変換し、領域における各画素の色相成分からヒストグラムを作成し、ヒストグラムから色相成分毎の追跡目標存在確率を推定し、追跡目標存在確率を補正する。
【選択図】 図１

Description

本発明は、目標存在確率推定方法及び装置及びプログラムに係り、特に、画像処理により映像中から色を利用して目標部分の追跡を行うための目標存在確率推定方法及び装置及びプログラムに関する。

画像処理による目標追跡技術には、例えば、テンプレートマッチングによるものがある（例えば、非特許文献1参照）。この方法は予め登録されたテンプレートと一致する目標を探すため、目標の向きや形が変わる際には利用が難しい。色を利用した目標追跡技術であればこの問題を解決することが可能である（例えば、特許文献1参照）。この色を利用した目標追跡技術では、まず、映像中から基準画像を選び、基準画像から追跡元となる任意の領域Ｒ及び領域Ｒを含む任意の周辺領域Ａを指定する（図６）。次に、式１，２，３，４によりこの基準画像内の各画素についてＨＳＶ表色系の色相成分Ｈへの変換を行う。

［式１］
Ｖ_ｍａｘ＝ｍａｘ｛Ｒ，Ｇ，Ｂ｝， Ｖ_ｍｉｎ＝ｍｉｎ｛Ｒ，Ｇ，Ｂ｝
（但し、ＲＧＢ表色系の赤、緑、青成分をそれぞれＲ，Ｇ，Ｂとする）
［式２］
ｒ＝（Ｖ_ｍａｘ−Ｒ）／（Ｖ_ｍａｘ−Ｖ_ｍｉｎ）
ｇ＝（Ｖ_ｍａｘ−Ｇ）／（Ｖ_ｍａｘ−Ｖ_ｍｉｎ）
ｂ＝（Ｖ_ｍａｘ−Ｂ）／（Ｖ_ｍａｘ−Ｖ_ｍｉｎ） （２）
［式３］
ｈ＝（ｂ−ｇ）π／３ （Ｒ＝Ｖ_ｍａｘのとき）
ｈ＝（2＋ｒ−ｂ）π／３ （Ｇ＝Ｖ_ｍａｘのとき）
ｈ＝（4＋ｇ−ｒ）π／３ （Ｂ＝Ｖ_ｍａｘのとき）
［式４］

（ｈ_ｍｉｎ，ｈ_ｍａｘはそれぞれ基準画像内で最小、最大のｈとする）
変換後のＨ成分を用いて図６の領域Ａ，ＲについてそれぞれＨ成分の２５６段階のヒストグラムを作成する。ここで、ヒストグラムのそれぞれの値は、各領域内に存在する色相成分毎の画素数となっている。そして、式5により色相成分毎の目標存在確率Ｐ［ｈ］が得られる。

［式５］

（histR[h],histA[h]はそれぞれ領域Ｒ，ＡのＨ成分のヒストグラムとする）
特開2003−303346号公報、「目標追跡方法、目標追跡装置、目標追跡プログラム、並びにこのプログラムを記録した記録媒体」 「コンピュータ画像処理入門」pp.149-152 田村秀行、総研出版

上記の方法で得られた色相成分毎の目標存在確率は、例えば、図７のように隙間ができてしまい、隣接する色相成分の間で大きく値が異なる場合がある。このような場合に実際の画像系列で目標の追跡を試みると、本来、追跡目標が存在する画素の目標存在確率が高くなるはずが、画像間で追跡目標の色がわずかに変化した場合、追跡目標が存在する画素であるにもかかわらず目標存在確率が大きく下がってしまう現象が生じることがある。

本発明は、上記の点に鑑みなされたもので、画像間で追跡目標の色が多少変動した際、追跡目標が存在する画素の目標存在確率に大きな変化が生じないようにさせることが可能な目標追跡のための存在確率推定方法及び装置及びプログラムを提供することを目的とする。

図１は、本発明の原理を説明するための図である。

本発明は、画像処理により映像中から目標部分の追跡を行うための目標存在確率推定方法において、
入力された画像系列を記憶手段に格納し（ステップ１）、該記憶手段に格納された画像系列を表示することにより選択された基準画像をメモリに格納する（ステップ２）基準画像取得ステップと、
メモリに格納された基準画像を表示することにより指定された該基準画像中の追跡元となる領域を取得する（ステップ３）領域指定ステップと、
基準画像をＨＳＶ表色系の色相成分で表現された画像へ変換する（ステップ４）Ｈ成分変換ステップと、
領域指定ステップで指定された領域における各画素の色相成分からヒストグラムを作成する（ステップ４）ヒストグラム作成ステップと、
ヒストグラム作成ステップで作成されたヒストグラムから色相成分毎の追跡目標存在確率を推定する（ステップ５）目標存在確率推定ステップと、
目標存在確率推定ステップで推定された追跡目標存在確率を補正する（ステップ６）目標存在確率補正ステップと、からなる。

また、上記の目標存在確率補正ステップにおいて、
追跡目標存在確率の補正において、追跡目標存在確率を、隣接する色相成分間で近い値に補正する。

図２は、本発明の原理構成図である。

本発明は、画像処理により映像中から目標部分の追跡を行うための目標存在確率推定装置であって、
入力された画像系列を記憶手段２０に格納し、該記憶手段２０に格納された画像系列を表示手段１に表示することにより選択された基準画像をメモリ４０に格納する基準画像取得手段１０と、
メモリ４０に格納された基準画像を表示手段１に表示することにより、指定された該基準画像中の追跡元となる領域を取得する領域指定手段３０と、
基準画像をＨＳＶ表色系の色相成分で表現された画像へ変換するＨ成分変換手段５０と、
領域指定手段３０で指定された領域における各画素の色相成分からヒストグラムを作成するヒストグラム作成手段６０と、
ヒストグラム作成手段６０で作成されたヒストグラムから色相成分毎の追跡目標存在確率を推定する目標存在確率推定手段７０と、
目標存在確率推定手段７０で推定された追跡目標存在確率を補正する目標存在確率補正手段８０と、を有する。

また、上記の目標存在確率補正手段８０は、追跡目標存在確率を、隣接する色相成分間で近い値に補正する手段を含む。

本発明は、画像処理により映像中から目標部分の追跡を行うための目標存在確率推定プログラムであって、
コンピュータに、
入力された画像系列を記憶手段に格納し、該記憶手段に格納された画像系列を表示することにより選択された基準画像をメモリに格納する基準画像取得ステップと、
メモリに格納された基準画像を表示することにより指定された該基準画像中の追跡元となる領域を取得する領域指定ステップと、
基準画像をＨＳＶ表色系の色相成分で表現された画像へ変換するＨ成分変換ステップと、
領域指定ステップで指定された領域における各画素の色相成分からヒストグラムを作成するヒストグラム作成ステップと、
ヒストグラム作成ステップで作成されたヒストグラムから色相成分毎の追跡目標存在確率を推定する目標存在確率推定ステップと、
目標存在確率推定ステップで推定された追跡目標存在確率を補正する目標存在確率補正ステップと、を実行させる。

また、上記の目標存在確率補正ステップにおいて、
追跡目標存在確率の補正において、追跡目標存在確率を、隣接する色相成分間で近い値に補正するステップを実行させる。

上記のように、本発明では、従来技術により得られた色相成分毎の目標存在確率を補正するものである。従来技術では得られた色相成分毎の目標存在確率が、隣接する色相成分で大きく異なることが問題であった。本来、似た色を含む画素であれば、その画素が対軌跡目標である確率も近い値であるべきである。本発明は、この考え方に基づき、従来技術により得られた色相成分毎の目標存在確率を、隣接する色相成分間で近い値に補正するものである。

上述のように本発明によれば、追跡を行う画像間で、追跡目標に含まれる画素の色相成分が多少変化した場合に、その画素が追跡目標である確率が大きく失われることを防ぐ効果が得られる。

以下、図面と共に本発明の実施の形態を説明する。

図３は、本発明の一実施の形態における目標存在確率推定装置の構成を示す。

同図に示す目標存在確率推定装置は、ディスプレイ、キーボード、マウス等を有する入出力装置１と出力結果を蓄積する補正結果記憶装置２に接続されている。

目標確率推定装置は、基準画像読み込み部１０、画像記憶部２０、領域指定部３０、メモリ３０、Ｈ成分変換部５０、ヒストグラム作成部６０、目標存在確率推定部７０、及び目標存在確率補正部８０から構成される。

上記の構成における動作を以下に説明する。

図４は、本発明の一実施の形態における目標存在確率推定装置の動作のフローチャートである。

ステップ３０１） 基準画像読み込み部１０は、種々の外部記憶媒体から、ディジタル化された静止画像または、動画像の任意の単一フレームを読み込み、画像記憶部２０に一旦書き込む。なお、ここでは、入力される画像の解像度や、保存形式、内容、記憶媒体については特に制限しない。

さらに、領域指定部３０は、画像記憶部２０に格納された画像を読み出して、入出力装置１のディスプレイに表示し、オペレータが表示された追跡を行う画像系列から追跡の基準とする画像を選択すると、選択された画像をメモリ３０に格納する。なお、画像の選択は、オペレータの判断で自由に行ってよい。

ステップ３０２） 次に、領域指定部３０が、メモリ３０に格納された基準画像を入出力装置１のディスプレイに表示することにより、オペレータから追跡の元となる領域Ｒが指定されると、Ｈ成分変換部５０に渡す。オペレータが領域Ｒを指定する方法としては、例えば、マウスでディスプレイに表示された基準画像から領域の4隅をクリックし、矩形で領域Ｒを指定する。ここで指定した領域Ｒに含まれるオブジェクトを追跡することになる。また、指定した領域Ｒを含む任意の領域Ａも合わせて指定する。指定する領域Ｒ，Ａは矩形である必要はなく、任意の図形でかまわない。また、領域の位置に関してもオペレータによる判断で任意に決めてよい。指定された領域は例えば、図６のようになる。指定された領域は４隅の座標、または、領域内の全画素の羅列などによる表現される。

ステップ３０３） Ｈ成分変換部５０は、ステップ３０１で選択された基準画像内の全ての画素について前述の式１〜４を用いて、それぞれＨ成分への変換を行う。この変換により基準画像内の各画素がＨ成分で表現された画像が得られる。ここでＨ成分は、０〜２５５の整数２５６段階で表現されている。

ステップ３０４） ステップ３０３で得られたＨ成分で表現された基準画像に対し、ヒストグラム作成部６０は、ステップ３０２で指定された領域Ｒ，Ａ内の画素を色相成分毎にカウントし、色相成分に関するヒストグラムをそれぞれ得る。このヒストグラムは２５６段階で、オペレータにより指定された領域内に含まれる各色相成分の画素の数を表している。

ステップ３０５） 次に、目標存在確率指定部７０において、前述の式５を用いてステップ３０４で得られた領域Ｒのヒストグラムを領域Ａのヒストグラムで色相成分毎に割り算することで目標存在確率の推定値を得る。この推定値は、２５６段階の色相成分毎に０〜１の値となる。ここで得られた推定値は例えば、図７のようになる。

ステップ３０６） 最後に、目標存在確率補正部８０において、ステップ３０５で得られた目標存在確率の推定値の補正を行う。具体的には、以下の式６のようにガウス関数を用いた補正が挙げられる。

［式６］

（σは任意の定数、Ｐ’［ｈ］は補正後のＰ［ｈ］とする）
この補正により得られる推定値は、２５６段階の色相成分毎に１〜０の値となる。例として、図７に挙げた推定式を上記の式６によって補正した場合の結果は、図５のようになる。このようにして求められた補正結果を補正結果記憶装置２に格納する。

上記の処理により、従来技術によって得られた目標存在確率の推定値の、隣接する色相成分間での変動が少なくなり、画像間の色変化による追跡目標の推定値の低下を抑えることができる。

また、上記の図４に示すフローチャートの動作をプログラムとして構築し、目標存在確率推定装置として利用されるコンピュータにインストールし、ＣＰＵ等で実行させる、または、ネットワークを介して取得して実行させることが可能である。

また、構築されたプログラムを目標存在確率推定装置に接続されるハードディスク装置や、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、コンピュータにインストールすることも可能である。

なお、本発明は、上記の実施の形態及び実施例に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

本発明は、画像処理により映像中から目標部分の追跡を行うための技術に適用可能である。

本発明の原理を説明するための図である。 本発明の原理構成図である。 本発明の一実施の形態における目標存在確率推定装置の構成図である。 本発明の一実施の形態における目標存在確率推定装置の動作のフローチャートである。 本発明の一実施の形態における補正済み目標存在確率の例である。 追跡元となる任意領域の指定例である。 従来技術により得られた隙間のある目標存在確率の例である。

符号の説明

１ 表示手段、入出力装置
２ 補正結果記憶装置
１０ 基準画像取得手段、基準画像読み込み部
２０ 記憶手段、画像記憶部
３０ 領域指定手段、領域指定部
４０ メモリ
５０ Ｈ成分変換手段、Ｈ成分変換部
６０ ヒストグラム作成手段、ヒストグラム作成部
７０ 目標存在確率推定手段、目標存在確率推定部
８０ 目標存在確率補正手段、目標存在確率補正部

Claims (6)

1. 画像処理により映像中から目標部分の追跡を行うための目標存在確率推定方法において、
   入力された画像系列を記憶手段に格納し、該記憶手段に格納された画像系列を表示することにより選択された基準画像をメモリに格納する基準画像取得ステップと、
   前記メモリに格納された前記基準画像を表示することにより指定された該基準画像中の追跡元となる領域を取得する領域指定ステップと、
   前記基準画像をＨＳＶ(Hus Saturation Value)表色系の色相成分で表現された画像へ変換するＨ成分変換ステップと、
   前記領域指定ステップで指定された前記領域における各画素の色相成分からヒストグラムを作成するヒストグラム作成ステップと、
   前記ヒストグラム作成ステップで作成された前記ヒストグラムから色相成分毎の追跡目標存在確率を推定する目標存在確率推定ステップと、
   前記目標存在確率推定ステップで推定された前記追跡目標存在確率を補正する目標存在確率補正ステップと、
   からなることを特徴とする目標存在確率推定方法。
2. 前記目標存在確率補正ステップにおいて、
   前記追跡目標存在確率の補正において、前記追跡目標存在確率を、隣接する色相成分間で近い値に補正する請求項１記載の目標存在確率推定方法。
3. 画像処理により映像中から目標部分の追跡を行うための目標存在確率推定装置であって、
   入力された画像系列を記憶手段に格納し、該記憶手段に格納された画像系列を表示手段に表示することにより選択された基準画像をメモリに格納する基準画像取得手段と、
   前記メモリに格納された前記基準画像を前記表示手段に表示することにより、指定された該基準画像中の追跡元となる領域を取得する領域指定手段と、
   前記基準画像をＨＳＶ(Hus Saturation Value)表色系の色相成分で表現された画像へ変換するＨ成分変換手段と、
   前記領域指定手段で指定された前記領域における各画素の色相成分からヒストグラムを作成するヒストグラム作成手段と、
   前記ヒストグラム作成手段で作成された前記ヒストグラムから色相成分毎の追跡目標存在確率を推定する目標存在確率推定手段と、
   前記目標存在確率推定手段で推定された前記追跡目標存在確率を補正する目標存在確率補正手段と、
   を有することを特徴とする目標存在確率推定装置。
4. 前記目標存在確率補正手段は、
   前記追跡目標存在確率を、隣接する色相成分間で近い値に補正する手段を含む請求項３記載の目標存在確率推定装置。
5. 画像処理により映像中から目標部分の追跡を行うための目標存在確率推定プログラムであって、
   コンピュータに、
   入力された画像系列を記憶手段に格納し、該記憶手段に格納された画像系列を表示することにより選択された基準画像をメモリに格納する基準画像取得ステップと、
   前記メモリに格納された前記基準画像を表示することにより指定された該基準画像中の追跡元となる領域を取得する領域指定ステップと、
   前記基準画像をＨＳＶ(Hue Saturation Value)表色系の色相成分で表現された画像へ変換するＨ成分変換ステップと、
   前記領域指定ステップで指定された前記領域における各画素の色相成分からヒストグラムを作成するヒストグラム作成ステップと、
   前記ヒストグラム作成ステップで作成された前記ヒストグラムから色相成分毎の追跡目標存在確率を推定する目標存在確率推定ステップと、
   前記目標存在確率推定ステップで推定された前記追跡目標存在確率を補正する目標存在確率補正ステップと、
   を実行させることを特徴とする目標存在確率推定プログラム。
6. 前記目標存在確率補正ステップにおいて、
   前記追跡目標存在確率の補正において、前記追跡目標存在確率を、隣接する色相成分間で近い値に補正するステップを実行させる請求項５記載の目標存在確率推定プログラム。

Images