JP2006285403A - 画像処理方法および画像処理装置 - Google Patents
画像処理方法および画像処理装置 Download PDFInfo
- Publication number
- JP2006285403A JP2006285403A JP2005101567A JP2005101567A JP2006285403A JP 2006285403 A JP2006285403 A JP 2006285403A JP 2005101567 A JP2005101567 A JP 2005101567A JP 2005101567 A JP2005101567 A JP 2005101567A JP 2006285403 A JP2006285403 A JP 2006285403A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- tracking
- nsum
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【課題】 小さい量子化ビット数で、画像中から動物体を精度良く追跡する。
【解決手段】 対象物の色の分布を特徴量として、画像に含まれる対象物を追跡する機能を有する画像処理の際に、量子化ビット数Nhの色相H、量子化ビット数Nsの彩度S、量子化ビット数Nvの輝度Vにより表現されるHSV色空間を用いて、対象領域画素数M、各パラメータの総ビット数Nsum=Nh+Ns+Nv、N'sum=1.8×Nh+0.7×Ns+0.4×Nvとした場合に、M^(1/3)+N'sum>18、かつ、10>Nsum>7、を満足する条件の範囲内で、対象物の色の分布を特徴量として、画像に含まれる対象物の追跡を行う、ことを特徴とする。
【選択図】 図1
【解決手段】 対象物の色の分布を特徴量として、画像に含まれる対象物を追跡する機能を有する画像処理の際に、量子化ビット数Nhの色相H、量子化ビット数Nsの彩度S、量子化ビット数Nvの輝度Vにより表現されるHSV色空間を用いて、対象領域画素数M、各パラメータの総ビット数Nsum=Nh+Ns+Nv、N'sum=1.8×Nh+0.7×Ns+0.4×Nvとした場合に、M^(1/3)+N'sum>18、かつ、10>Nsum>7、を満足する条件の範囲内で、対象物の色の分布を特徴量として、画像に含まれる対象物の追跡を行う、ことを特徴とする。
【選択図】 図1
Description
この発明は、画像に含まれる対象物を追跡する画像処理方法および画像処理装置であって、対象物の色の分布を特徴量として、画像に含まれる対象物を追跡する画像処理方法および画像処理装置である。
近年、防犯上の理由により、監視カメラを設置する施設が増加している。この様な施設では、監視カメラを24時間駆動させ、常時監視を行う必要がある。
なお、このような監視カメラを用いる場合において、画像に含まれる動体(動いている人物や自動車など、以下、「対象物」)を、画像処理によって認識しつつ追跡することが要求されてきている。
なお、このような監視カメラを用いる場合において、画像に含まれる動体(動いている人物や自動車など、以下、「対象物」)を、画像処理によって認識しつつ追跡することが要求されてきている。
なお、赤外線カメラなどを用いて対象物からの赤外線放射を検出して追跡する手法も存在しているが、専用の赤外線カメラが必要になったり、また、周囲と温度差が無い対象物を検出できないといった問題が生じてくる。
そこで、画像中の色分布ヒストグラムに着目して、対象物の領域を画像中から探索、推定する手法が、以下の特許文献1、特許文献2、非特許文献1、非特許文献2、などで検討されてきている。
特開2001−167269号公報(第1頁、図1)
特開2004−348273号公報(第1頁、図1)
「参照画像の探索と更新に基づく注視対象のリアルタイム追跡手法」、林 豊洋、榎田修一、江島俊朗、第9回画像センシングシンポジウム、2003年、
「色ヒストグラムインターセクションを用いたリアルタイム人物顔抽出」吉村哲也、市川忠嗣、森島繁生、相澤清晴、斎藤隆弘、映像情報メディア学会誌、Vol.55, No.3, pp.412-416, March 2001、
画像中の色の分布は、形状の変化や回転,部分的なオクルージョンの影響を受けにくいことが知られている。すなわち、画像中の人物などの動きを有する対象物の追跡において、形状の変化や大きさの変化といったことが起こるが、そのような変化する対象物を追跡する場合に、対象物の色の分布を特徴量として用いることが有効である。
この場合、たとえば、色の分布が似ていることを手掛かりにして似ている方向へ移動して追跡を行う。この時、画像中から対象物の位置を直接知ることができないため、対象物の位置を統計的、確率的に推定することになる。
そして、予め取得しておいた追跡対象物を表す色の分布と似ている分布を持つ領域を画像中から探す。すなわち、追跡する際に対象物のモデルと、候補領域の2つの色分布がどの程度似ているかにより、判定を行う。
以上のような画像処理による追跡には、処理精度が重要であり、高精度に処理を実行するためには量子化ビット数が大きい方が望ましい。すなわち、量子化ビット数が小さいと精度が低下し、追跡がとぎれてしまうことがある。
一方、以上のような画像処理による追跡は、リアルタイムで実現できることが望ましい。このため、画像処理装置の能力にもよるが、画像処理する際の量子化ビット数は小さい方が望ましい。
なお、画像処理装置の能力を高めれば量子化ビット数が大きくてもリアルタイムで実現可能であるが、その場合には画像処理装置として高価なものが必要となるため、望ましくない。
なお、人間の感じる色の感覚に近いHSV色空間を用いて、画像中の色分布ヒストグラムに着目して、対象物の領域を画像中から探索する場合であっても、色相H、彩度S、輝度Vのそれぞれの量子化ビット数の最適な組み合わせについては見いだされておらず、経験的、あるいは実験的な数値が用いられているにすぎなかった。
たとえば、HSVをそれぞれ4ビット,3ビット,3ビットなどとして色相Hに重みをおいた状態で、少なくとも、総量子化ビット数を10ビット以上とすることが一般的であった。すなわち、総量子化ビット数が10ビット未満になると、追跡に失敗することが知られており、総量子化ビット数10ビット未満は使用されていなかった。
本発明は以上のような事情を考慮してなされたもので、HSV色空間を用いた場合に、小さい量子化ビット数で、画像中から動物体を精度良く追跡することが可能な画像処理方法および画像処理装置を提供することを目的とする。
すなわち、前記した課題は、以下に列記する各発明によって解決される。
(1)請求項1記載の発明は、対象物の色の分布を特徴量として、画像に含まれる対象物を追跡する機能を有する画像処理方法であって、量子化ビット数Nhの色相H、量子化ビット数Nsの彩度S、量子化ビット数Nvの輝度Vにより表現されるHSV色空間を用いて、対象領域画素数M、各パラメータの総ビット数Nsum=Nh+Ns+Nv、N'sum=1.8×Nh+0.7×Ns+0.4×Nvとした場合に、M^(1/3)+N'sum>18、かつ、10>Nsum>7、を満足する条件の範囲内で、対象物の色の分布を特徴量として、画像に含まれる対象物の追跡を行う、ことを特徴とする画像処理方法である。
(1)請求項1記載の発明は、対象物の色の分布を特徴量として、画像に含まれる対象物を追跡する機能を有する画像処理方法であって、量子化ビット数Nhの色相H、量子化ビット数Nsの彩度S、量子化ビット数Nvの輝度Vにより表現されるHSV色空間を用いて、対象領域画素数M、各パラメータの総ビット数Nsum=Nh+Ns+Nv、N'sum=1.8×Nh+0.7×Ns+0.4×Nvとした場合に、M^(1/3)+N'sum>18、かつ、10>Nsum>7、を満足する条件の範囲内で、対象物の色の分布を特徴量として、画像に含まれる対象物の追跡を行う、ことを特徴とする画像処理方法である。
(2)請求項2記載の発明は、上記(1)において、前記Nsum=8の条件で対象物の追跡を行うことを特徴とする画像処理方法である。
(3)請求項3記載の発明は、対象物の色の分布を特徴量として、画像に含まれる対象物を追跡する画像処理部を備えた画像処理装置であって、前記画像処理部は、量子化ビット数Nhの色相H、量子化ビット数Nsの彩度S、量子化ビット数Nvの輝度Vにより表現されるHSV色空間を用いて、対象領域画素数M、各パラメータの総ビット数Nsum=Nh+Ns+Nv、N'sum=1.8×Nh+0.7×Ns+0.4×Nvとした場合に、M^(1/3)+N'sum>18、かつ、10>Nsum>7、を満足する条件の範囲内で、対象物の色の分布を特徴量として、画像に含まれる対象物の追跡を行う、ことを特徴とする画像処理装置である。
(3)請求項3記載の発明は、対象物の色の分布を特徴量として、画像に含まれる対象物を追跡する画像処理部を備えた画像処理装置であって、前記画像処理部は、量子化ビット数Nhの色相H、量子化ビット数Nsの彩度S、量子化ビット数Nvの輝度Vにより表現されるHSV色空間を用いて、対象領域画素数M、各パラメータの総ビット数Nsum=Nh+Ns+Nv、N'sum=1.8×Nh+0.7×Ns+0.4×Nvとした場合に、M^(1/3)+N'sum>18、かつ、10>Nsum>7、を満足する条件の範囲内で、対象物の色の分布を特徴量として、画像に含まれる対象物の追跡を行う、ことを特徴とする画像処理装置である。
(4)請求項4記載の発明は、上記(3)において、前記画像処理部はNsum=8の条件で対象物の追跡を行うことを特徴とする画像処理装置である。
以上の発明によれば、以下に列記するような効果を得ることができる。
(1)請求項1記載の画像処理方法の発明では、対象物のHSV色空間における色の分布を特徴量として追跡する際に、色相Hでは量子化ビット数Nh、彩度Sでは量子化ビット数Ns、輝度Vでは量子化ビット数Nvとして、対象領域画素数M、各パラメータの総ビット数Nsum=Nh+Ns+Nv、N'sum=1.8×Nh+0.7×Ns+0.4×Nvとした場合に、M^(1/3)+N'sum>18、かつ、10>Nsum>7、を満足する条件の範囲内で、対象物の色の分布を特徴量として、画像に含まれる対象物の追跡を行う。
(1)請求項1記載の画像処理方法の発明では、対象物のHSV色空間における色の分布を特徴量として追跡する際に、色相Hでは量子化ビット数Nh、彩度Sでは量子化ビット数Ns、輝度Vでは量子化ビット数Nvとして、対象領域画素数M、各パラメータの総ビット数Nsum=Nh+Ns+Nv、N'sum=1.8×Nh+0.7×Ns+0.4×Nvとした場合に、M^(1/3)+N'sum>18、かつ、10>Nsum>7、を満足する条件の範囲内で、対象物の色の分布を特徴量として、画像に含まれる対象物の追跡を行う。
すなわち、対象物の色の分布を特徴量として、画像に含まれる対象物の追跡を行う際に、以上の条件の範囲内で行うことにより、処理精度を維持して対象物を追跡可能な状態に保ったままで、量子化ビット数を小さくしてリアルタイム処理に適した状態とすることができる。
(2)請求項2記載の画像処理方法の発明では、上記(1)において、Nsum=8の条件で対象物の追跡を行うことを特徴としている。
すなわち、対象物の色の分布を特徴量として、画像に含まれる対象物の追跡を行う際に、Nsum=Nh+Ns+Nv、N'sum=1.8×Nh+0.7×Ns+0.4×Nvとした場合に、M^(1/3)+N'sum>18、かつ、Nsum=8、を満足する条件の範囲内で、対象物の色の分布を特徴量として、画像に含まれる対象物の追跡を行う。
すなわち、対象物の色の分布を特徴量として、画像に含まれる対象物の追跡を行う際に、Nsum=Nh+Ns+Nv、N'sum=1.8×Nh+0.7×Ns+0.4×Nvとした場合に、M^(1/3)+N'sum>18、かつ、Nsum=8、を満足する条件の範囲内で、対象物の色の分布を特徴量として、画像に含まれる対象物の追跡を行う。
以上の条件の範囲内で行うことにより、処理精度を維持して対象物を追跡可能な状態に保ったままで、量子化ビット数を最小限に小さくしてリアルタイム処理に適した状態とすることができる。
(3)請求項3記載の画像処理装置の発明では、対象物のHSV色空間における色の分布を特徴量として追跡する際に、色相Hでは量子化ビット数Nh、彩度Sでは量子化ビット数Ns、輝度Vでは量子化ビット数Nvとして、対象領域画素数M、各パラメータの総ビット数Nsum=Nh+Ns+Nv、N'sum=1.8×Nh+0.7×Ns+0.4×Nvとした場合に、M^(1/3)+N'sum>18、かつ、10>Nsum>7、を満足する条件の範囲内で、対象物の色の分布を特徴量として、画像に含まれる対象物の追跡を行う。
すなわち、対象物の色の分布を特徴量として、画像に含まれる対象物の追跡を行う際に、以上の条件の範囲内で行うことにより、処理精度を維持して対象物を追跡可能な状態に保ったままで、量子化ビット数を小さくしてリアルタイム処理に適した状態とすることができる。
(4)請求項4記載の画像処理装置の発明では、上記(3)において、前記画像処理部はNsum=8の条件で対象物の追跡を行うことを特徴とする。
すなわち、対象物の色の分布を特徴量として、画像に含まれる対象物の追跡を行う際に、Nsum=Nh+Ns+Nv、N'sum=1.8×Nh+0.7×Ns+0.4×Nvとした場合に、M^(1/3)+N'sum>18、かつ、Nsum=8、を満足する条件の範囲内で、対象物の色の分布を特徴量として、画像に含まれる対象物の追跡を行う。
すなわち、対象物の色の分布を特徴量として、画像に含まれる対象物の追跡を行う際に、Nsum=Nh+Ns+Nv、N'sum=1.8×Nh+0.7×Ns+0.4×Nvとした場合に、M^(1/3)+N'sum>18、かつ、Nsum=8、を満足する条件の範囲内で、対象物の色の分布を特徴量として、画像に含まれる対象物の追跡を行う。
以上の条件の範囲内で行うことにより、処理精度を維持して対象物を追跡可能な状態に保ったままで、量子化ビット数を最小限に小さくしてリアルタイム処理に適した状態とすることができる。
以下に添付図面を参照して、この発明にかかる画像処理方法および画像処理装置を実施するための最良の形態(以下、「実施形態」と言う)について説明する。なお、これにより本発明が限定されるものではない。
まず、本実施の形態にかかる画像処理装置を含む追跡システムの全体構成について説明する。ここで、図1は、本実施の形態にかかる画像処理装置(画像処理部)と、撮像を行うカメラ部と、撮像結果および追跡結果を表示する表示部とを備えた追跡システム100の全体構成を示す機能ブロック図である。
本実施の形態にかかる追跡システム100は、各部を制御する制御部101、各種操作の入力や対象物の設定の入力がなされる操作部105、対象物周辺の撮像を行うためのレンズ部110、撮像のためのタイミング信号を発生するタイミング信号発生部120、対象物の光学像を光電変換して画像信号を生成する固体撮像素子130、固体撮像素子130で得られた画像信号に所定の信号処理を施して画像データを生成する信号処理部140、画像データに含まれる対象物の色の分布を特徴量として対象物の追跡を行う画像処理を実行する画像処理部150、追跡結果を画像と共に表示する表示部160、により構成されている。なお、電源部やメモリなど、既知の手段については省略した状態で示している。
なお、レンズ部110、タイミング信号発生部120、固体撮像素子130、信号処理部140によって、撮像を行って画像データを出力するカメラ部が構成されている。また、操作部105、カメラ部(レンズ部110、タイミング信号発生部120、固体撮像素子130、信号処理部140)と、画像処理部150と、表示部160とは、追跡システム100として一体に構成されていてもよいが、それぞれが離れた位置に設けられていてもよいし、それぞれが独立した装置として構成されていてもよい。
また、画像処理部150は、本願発明の画像処理装置を構成する部位であり、画像データのRGBからHSV色空間への色変換と所定量子化ビット数の量子化とを行う色変換・量子化部151と、HSV色空間の量子化データから色特徴量を算出する色特徴量算出部152と、予め取得しておいた追跡対象物を表す色の分布と似ている分布を持つ領域の特徴量を比較する特徴量比較部153と、特徴量の比較結果により画像中の対象物の領域を検出する対象物検出部154と、を有して構成されている。
ここで、追跡システム100の動作について、図2のフローチャートや、図3以降の説明図を参照して説明を行う。
まず、画像に含まれる対象物を追跡する際に必要な各種条件設定について、操作部105から必要なパラメータなどが入力される(図2S1)。この際に、カメラ部で所望の撮像領域を撮像するようなカメラ設定、画像中に含まれる対象物の設定などの入力がなされる。図4(a)のような画像がカメラ部によって撮像されている場合、オペレータによって所望の対象物をポインティングデバイスなどで囲むような操作がなされ、追跡対象として設定された対象物の表示が表示部160になされる。ここでは、追跡対象としての対象物である人物が破線の枠で囲まれた状態で示されている。この対象物の設定により、HSV色空間における追跡対象物を表す色の分布のデータが色特徴量として取得される。なお、HSV色空間については後述する。
まず、画像に含まれる対象物を追跡する際に必要な各種条件設定について、操作部105から必要なパラメータなどが入力される(図2S1)。この際に、カメラ部で所望の撮像領域を撮像するようなカメラ設定、画像中に含まれる対象物の設定などの入力がなされる。図4(a)のような画像がカメラ部によって撮像されている場合、オペレータによって所望の対象物をポインティングデバイスなどで囲むような操作がなされ、追跡対象として設定された対象物の表示が表示部160になされる。ここでは、追跡対象としての対象物である人物が破線の枠で囲まれた状態で示されている。この対象物の設定により、HSV色空間における追跡対象物を表す色の分布のデータが色特徴量として取得される。なお、HSV色空間については後述する。
この状態で、固体撮像素子130で撮像(図2S2)された画像信号に信号処理部140にて所定の信号処理がなされて画像データとして画像処理部150に供給される(図2S3)。
画像処理部150では、カメラ部からの一般的なRGB形式の画像データをうけて、色変換・量子化部151でHSV色空間に色変換する。なお、HSV色空間とは、色相H、彩度S、輝度Vにより表現される色空間であり、人間の知覚に近い状態で数値化できることが知られている。
ここで、図3にHSV色空間のモデルをRGBとの関係において示す。ここで、HSV色空間は、頂点を下向きにした状態の円錐形状で示されるものであり、円形の平面の回転方向が色相Hを表しており、円の半径方向が彩度Sであり、垂直方向が輝度Vを表している。なお、下向きとなった円錐の頂点部分が輝度0かつ彩度0の黒を表している。
また、色変換・量子化部151では、以上のHSV色空間への色変換と並行して、所定の量子化ビット数の量子化を実行する(図2S4)。
なお、この量子化ビット数については、高精度に追跡の処理を実行するためには量子化ビット数が大きい方が望ましい。すなわち、量子化ビット数が小さいと精度が低下し、追跡がとぎれてしまうことがある。一方、以上のような画像処理による追跡は、リアルタイムで実現できることが望ましい。このため、画像処理装置の能力にもよるが、画像処理する際の量子化ビット数は小さい方が望ましい。
なお、この量子化ビット数については、高精度に追跡の処理を実行するためには量子化ビット数が大きい方が望ましい。すなわち、量子化ビット数が小さいと精度が低下し、追跡がとぎれてしまうことがある。一方、以上のような画像処理による追跡は、リアルタイムで実現できることが望ましい。このため、画像処理装置の能力にもよるが、画像処理する際の量子化ビット数は小さい方が望ましい。
そこで、本件出願の発明者が鋭意研究を進め、このような相反する要求に対応して、特定の条件を満たす場合に、小さい量子化ビット数で、画像中から動物体を精度良く追跡することが可能であることを見いだした。この特定の条件については後述する。
そして、色特徴量算出部152が、HSV色空間の所定の量子化ビット数の量子化データから色特徴量を算出する(図2S5)。
なお、条件設定(図2S1)の際にオペレータによって所望の対象物をポインティングデバイスなどで囲むような操作がなされた場合(図4(a))、その対象物についての色の分布のデータが色特徴量が色特徴量算出部152によって算出され、保持されている。この図4(a)の場合には、人物の頭部についての色の分布のデータが、追跡対象物の色特徴量として算出され、保持されている。
なお、条件設定(図2S1)の際にオペレータによって所望の対象物をポインティングデバイスなどで囲むような操作がなされた場合(図4(a))、その対象物についての色の分布のデータが色特徴量が色特徴量算出部152によって算出され、保持されている。この図4(a)の場合には、人物の頭部についての色の分布のデータが、追跡対象物の色特徴量として算出され、保持されている。
また、追跡時には対象物が移動しており、画像中から対象物の位置を直接知ることができないため、対象物の位置を統計的、確率的に推定しつつ、色の分布が似ていることを手掛かりにして似ている方向へ移動して、対象物相当の領域について色の分布のデータを特徴量として算出する(図2S5)。
ここで、特徴量比較部153は、条件設定時(図2S1)に取得された追跡対象物の色特徴量と、追跡時に得られる対象物相当の領域での色特徴量とを比較する(図2S6)。なお、両者の一致が得られるまで、対象物が直前まで存在していた画像中における近傍領域の色特徴量の算出と比較とを繰り返す。
そして、特徴量比較部153による比較で両者の一致が得られたら(図2S7でY)、対象物検出部154が現撮像時点での対象物の領域を枠など囲むことで明示しつつ、表示部160に画像全体の表示を行う(図2S8)。
たとえば、図4(a)のように条件設定された追跡対象物が移動し、図4(b)、図4(c)、図4(d)、と位置を変えた場合でも、以上の色の分布のデータを特徴量として検出・比較することで、移動しつつある対象物を明示した状態の画像表示が可能になる。このような撮像〜色変換・量子化〜特徴量算出〜特徴量比較〜対象物検出〜画像表示を終了の指示があるまで続行する(図2S9でN〜図2S2)。
なお、特徴量比較部153で、条件設定時に取得された追跡対象物の色特徴量と、追跡時に得られる対象物相当の領域での色特徴量とを比較(図2S6)しても、両者の一致が得られない状態になった場合には、対象物検出部154は追跡不能と判断して、表示部160にエラー表示を行う(図2S10)。
なお、以上の対象物についての枠の表示や、追跡不能時のエラー表示に関しては、対象物検出部154が実行してもよいし、対象物検出部154の検出結果を受けた制御部101が実行してもよい。
ここで、発明者らが実験を繰り返すことで、特定の条件を満たす場合に、小さい量子化ビット数で、画像中から動物体を精度良く追跡することが可能であることを見いだした際の実験データの一例を図5,図6,図7,図8,図9に示す。
ここでは、追跡の際の画像処理において、カメラ部での撮像結果の画角内を画面右から左に対象物が移動し、左端で折り返し動作をする人物の頭部領域を追跡対象とし、HSV色空間における各量子化ビット数の組み合わせと追跡領域範囲(追跡画素数)をパラメータとして追跡動作の可否を評価した。
なお、最後まで顔領域を検出して追跡できた場合を○、一回でも追跡対象を見失った場合は×とした。例えば、右から左に移動中に対象を見失い、折り返してきた対象物を再検出した場合も追跡不能として×で示している。
また、ここでは、35mm換算で焦点距離30mm(画角、水平52度×垂直42度)のレンズを有するカメラからの映像信号を320×240画素の画像データ(毎秒30フレーム)とし、約5m先を時速4kmで歩行する歩行者を追跡対象物として想定している。
追跡対象物の追跡手法としては、以下の文献1等に記載されているように平均値シフト法を用いて、追跡対象物とのBhattacharyya係数が大きくなる方向に候補領域を移動させることにより追跡対象の位置を求めるようにした。
(文献1)Dorin Comaniciu, et al, Kernel-Based Object Tracking, IEEE Transactions on Pattern Analysis and Machine Intelligence, VOL.25, No.5, May 2003.
図5,図6は画像中の対象物を29画素×39画素(1131画素)の長方形の領域で設定した場合の、HSV色空間における各量子化ビット数の組み合わせと追跡動作の可否を示している。ここで、図5と図6は、本来は一つの表としてあらわせるデータを2つの図にわけて示している。
(文献1)Dorin Comaniciu, et al, Kernel-Based Object Tracking, IEEE Transactions on Pattern Analysis and Machine Intelligence, VOL.25, No.5, May 2003.
図5,図6は画像中の対象物を29画素×39画素(1131画素)の長方形の領域で設定した場合の、HSV色空間における各量子化ビット数の組み合わせと追跡動作の可否を示している。ここで、図5と図6は、本来は一つの表としてあらわせるデータを2つの図にわけて示している。
また、図7は、図5,図6の画像データ全体を約63%に縮小し、対象物を22画素×31画素(713画素)の長方形の領域で設定した場合の、HSV色空間における各量子化ビット数の組み合わせと追跡動作の可否を示している。
また、図8は、図5,図6の画像データ全体を約30%に縮小し、対象物を16画素×21画素(336画素)の長方形の領域で設定した場合の、HSV色空間における各量子化ビット数の組み合わせと追跡動作の可否を示している。
また、図9は、図5,図6の画像データを約23%に縮小し、対象物を14画素×19画素(266画素)の長方形の領域で設定した場合の、HSV色空間における各量子化ビット数の組み合わせと追跡動作の可否を示している。
本件出願の発明者が鋭意研究を進めた結果、以上の実験データに示したものの共通の条件を抽出したところ、量子化ビット数Nhの色相H、量子化ビット数Nsの彩度S、量子化ビット数Nvの輝度Vにより表現されるHSV色空間を用いて、以下の数式において特定の条件を満たす場合に、小さい量子化ビット数で、画像中から動物体を精度良く追跡することが可能であることを見いだした。
f(M)+N’sum>A …(1),
ここで、各量子化ビット数に重みを付けた重み付け総ビット数をN'sumとする。また、f(M)は、対象領域画素数Mを変数とする関数、Aは定数である。
N'sum=Wh×Nh+Ws×Ns+Wv×Nv …(2),
ここで、Wh、Ws、Wvは各量子化ビット数に対する重み付けの定数である。
f(M)+N’sum>A …(1),
ここで、各量子化ビット数に重みを付けた重み付け総ビット数をN'sumとする。また、f(M)は、対象領域画素数Mを変数とする関数、Aは定数である。
N'sum=Wh×Nh+Ws×Ns+Wv×Nv …(2),
ここで、Wh、Ws、Wvは各量子化ビット数に対する重み付けの定数である。
但し、対象領域画素数Mが大きければ各量子化ビット数を限りなく小さくできるわけではなく、追跡や検出を行うための総ビット数Nsum=Nh+Ns+Nvには下限値が存在している。
Nsum>B …(3),
そして、追跡精度を満足させるためには、以上の(1)式と(2)式と(3)式とを同時に満足する量子化ビット数を与える必要がある。
Nsum>B …(3),
そして、追跡精度を満足させるためには、以上の(1)式と(2)式と(3)式とを同時に満足する量子化ビット数を与える必要がある。
また、従来は追跡不能になる可能性が大きいとして使用されていなかった範囲を本実施形態の特徴として考えることができるので上限値も存在している。
C>Nsum …(4),
すなわち、追跡精度を満足させるためには、以上の(1)式と(2)式と(3)式と(4)式とを同時に満足する量子化ビット数を与える必要がある。
C>Nsum …(4),
すなわち、追跡精度を満足させるためには、以上の(1)式と(2)式と(3)式と(4)式とを同時に満足する量子化ビット数を与える必要がある。
そして、これらの図に示される実験データや、図示されていない多数の実験データを解析したところ、
この結果、総ビット数Nsumは従来使用されることがなかった10ビット未満が、特定の条件のもとで追跡に使用可能であることとが明らかになった。なお、総ビット数Nsumが7以下になると、他の条件を満たしていても追跡不能になることも明らかになった。
この結果、総ビット数Nsumは従来使用されることがなかった10ビット未満が、特定の条件のもとで追跡に使用可能であることとが明らかになった。なお、総ビット数Nsumが7以下になると、他の条件を満たしていても追跡不能になることも明らかになった。
また、重み付け総ビット数N’sumについては、重み付けした状態で、対象領域画素数Mの三乗根との和が、所定定数(18)を下回らないようにする必要があることが判明した。
すなわち、上述した(1)〜(4)式は以下のように表すことができることが判明した。
M^(1/3)+N'sum>18 …(5),
N'sum=1.8×Nh+0.7×Ns+0.4×Nv …(6),
10>Nsum>7 …(7),
と表せる。ここで、M^(1/3)は、Mの(1/3)乗、すなわち、Mの立方根(三乗根)を意味している。
M^(1/3)+N'sum>18 …(5),
N'sum=1.8×Nh+0.7×Ns+0.4×Nv …(6),
10>Nsum>7 …(7),
と表せる。ここで、M^(1/3)は、Mの(1/3)乗、すなわち、Mの立方根(三乗根)を意味している。
なお、図5,図6,図7,図8,図9に示すように対象領域画素数Mが変化しても以上の数式に変化はないことが確認され、汎用性があることも証明されている。なお、紙面の関係で図示されていない多数のデータからも、同様な裏付けが得られている。
また、言い換えると、量子化ビット数Nhの色相H、量子化ビット数Nsの彩度S、量子化ビット数Nvの輝度Vにより表現されるHSV色空間を用いて、対象領域画素数M、総ビット数Nsum、重み付け総ビット数N’sumが以上の数式において特定の条件を満たす場合に、小さい量子化ビット数で、画像中から動物体を精度良く追跡することが可能であることが判明した。
また、以上の(7)式から量子化ビット数は8と9とを選択することが可能であるが、量子化ビット数をできるだけ小さくした状態で動体物を精度良く追跡するには、Nsumを追跡可能下限値の8とすることが最も望ましい状態となる。
すなわち、対象物の色の分布を特徴量として、画像に含まれる対象物の追跡を行う際に、以上の条件の範囲内で行うことにより、処理精度を維持して対象物を追跡可能な状態に保ったままで、量子化ビット数を小さくしてリアルタイム処理に適した状態とすることができる。
なお、以上の実施形態の説明では、カメラ部と画像処理部などを含んだ状態の追跡システムを具体例としてきたが、カメラとは独立した画像処理装置として構成することも可能である。
100 追跡システム
101 制御部
110 レンズ部
120 タイミング信号発生部
130 固体撮像素子
140 信号処理部
150 画像処理部
151 色変換・量子化部
152 色特徴量算出部
153 特徴量比較部
154 対象物検出部
160 表示部
101 制御部
110 レンズ部
120 タイミング信号発生部
130 固体撮像素子
140 信号処理部
150 画像処理部
151 色変換・量子化部
152 色特徴量算出部
153 特徴量比較部
154 対象物検出部
160 表示部
Claims (4)
- 対象物の色の分布を特徴量として、画像に含まれる対象物を追跡する機能を有する画像処理方法であって、
量子化ビット数Nhの色相H、量子化ビット数Nsの彩度S、量子化ビット数Nvの輝度Vにより表現されるHSV色空間を用いて、対象領域画素数M、各パラメータの総ビット数Nsum=Nh+Ns+Nv、N'sum=1.8×Nh+0.7×Ns+0.4×Nvとした場合に、
M^(1/3)+N'sum>18、
かつ、
10>Nsum>7、
を満足する条件の範囲内で、対象物の色の分布を特徴量として、画像に含まれる対象物の追跡を行う、
ことを特徴とする画像処理方法。 - 前記Nsum=8の条件で対象物の追跡を行うことを特徴とする請求項1記載の画像処理方法。
- 対象物の色の分布を特徴量として、画像に含まれる対象物を追跡する画像処理部を備えた画像処理装置であって、
前記画像処理部は、量子化ビット数Nhの色相H、量子化ビット数Nsの彩度S、量子化ビット数Nvの輝度Vにより表現されるHSV色空間を用いて、対象領域画素数M、各パラメータの総ビット数Nsum=Nh+Ns+Nv、N'sum=1.8×Nh+0.7×Ns+0.4×Nvとした場合に、
M^(1/3)+N'sum>18、
かつ、
10>Nsum>7、
を満足する条件の範囲内で、対象物の色の分布を特徴量として、画像に含まれる対象物の追跡を行う、
ことを特徴とする画像処理装置。 - 前記画像処理部はNsum=8の条件で対象物の追跡を行うことを特徴とする請求項3記載の画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005101567A JP2006285403A (ja) | 2005-03-31 | 2005-03-31 | 画像処理方法および画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005101567A JP2006285403A (ja) | 2005-03-31 | 2005-03-31 | 画像処理方法および画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006285403A true JP2006285403A (ja) | 2006-10-19 |
Family
ID=37407297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005101567A Pending JP2006285403A (ja) | 2005-03-31 | 2005-03-31 | 画像処理方法および画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006285403A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014504410A (ja) * | 2010-12-20 | 2014-02-20 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 移動オブジェクトの検出及び追跡 |
CN103905723A (zh) * | 2012-12-25 | 2014-07-02 | 奥林巴斯映像株式会社 | 拍摄装置以及拍摄方法 |
JP2016028773A (ja) * | 2012-11-02 | 2016-03-03 | アイロボット コーポレイション | 自律式カバレッジロボット |
JP2019153286A (ja) * | 2018-03-02 | 2019-09-12 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
-
2005
- 2005-03-31 JP JP2005101567A patent/JP2006285403A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014504410A (ja) * | 2010-12-20 | 2014-02-20 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 移動オブジェクトの検出及び追跡 |
JP2015181042A (ja) * | 2010-12-20 | 2015-10-15 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 移動オブジェクトの検出及び追跡 |
JP2016028773A (ja) * | 2012-11-02 | 2016-03-03 | アイロボット コーポレイション | 自律式カバレッジロボット |
CN103905723A (zh) * | 2012-12-25 | 2014-07-02 | 奥林巴斯映像株式会社 | 拍摄装置以及拍摄方法 |
CN103905723B (zh) * | 2012-12-25 | 2017-05-10 | 奥林巴斯株式会社 | 拍摄装置以及拍摄方法 |
JP2019153286A (ja) * | 2018-03-02 | 2019-09-12 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP7286328B2 (ja) | 2018-03-02 | 2023-06-05 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4692371B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体、ならびに移動物体検出システム | |
KR100879623B1 (ko) | Ptz 카메라를 이용한 자동화된 광역 감시 시스템 및 그방법 | |
JP2009212637A (ja) | 撮像装置 | |
US10465362B2 (en) | Human detection system for construction machine | |
CN112703533A (zh) | 对象跟踪 | |
JP2014089687A (ja) | Avmシステムの障害物検出装置及び方法 | |
JP4764172B2 (ja) | 画像処理による移動体候補の検出方法及び移動体候補から移動体を検出する移動体検出方法、移動体検出装置及び移動体検出プログラム | |
CN113838052B (zh) | 碰撞报警装置、电子设备、存储介质以及内窥镜影像*** | |
JP2011076316A (ja) | 群衆監視装置および方法ならびにプログラム | |
JP4537143B2 (ja) | 画像処理装置及びその方法、撮像装置、プログラム | |
JP5839796B2 (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
US11019251B2 (en) | Information processing apparatus, image capturing apparatus, information processing method, and recording medium storing program | |
JP2008259161A (ja) | 目標追尾装置 | |
US20130329964A1 (en) | Image-processing device and image-processing program | |
JP2008250772A (ja) | 移動物体追跡装置 | |
JP2020087312A (ja) | 行動認識装置、行動認識方法及びプログラム | |
JP2006285403A (ja) | 画像処理方法および画像処理装置 | |
JP2009157581A (ja) | 歩行者検出装置 | |
JP6922821B2 (ja) | 画像解析装置、方法およびプログラム | |
JP2018142828A (ja) | 付着物検出装置および付着物検出方法 | |
US10880457B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
JP2013098746A (ja) | 撮像装置、撮像方法およびプログラム | |
KR101520293B1 (ko) | 시각 집중에 의한 관심객체 검지와 포렌식 영상 획득 스케쥴링 방법 및 시스템 | |
JP5539565B2 (ja) | 撮像装置及び被写体追跡方法 | |
JP2009009206A (ja) | 画像中の輪郭抽出方法及びその画像処理装置 |