JP5103665B2 - 物体追跡装置および物体追跡方法 - Google Patents

Description

この発明は、物体追跡装置および物体追跡方法に関するものである。

動画像を用いた物体認識は、高度交通システム（ＩＴＳ：Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔ Ｓｙｓｔｅｍ）における危険予測や監視カメラによる被写体追跡などに応用可能であり、近年、盛んに研究が進められている（非特許文献１）。

画像を用いた物体認識を行なう場合、画像中から物体領域を抽出する前処理が必要になり、背景差分やオプティカルフローをベースとした手法が提案されている。背景差分法は、比較的、簡単に対象領域を抽出できるため、広く用いられているが、背景画像を用意する必要があり、監視カメラ等の環境の変化が少ないアプリケーション以外には、不向きである。

一方、オプティカルフローをベースとした手法は、複数の移動物体を同時に抽出できるが、計算量が多く、照明変化や回転に弱いといった欠点がある。

そこで、画像分割による物体の抽出と、フレーム間のオブジェクトマッチングによる抽出領域の追跡手法が提案されている（非特許文献２，３）。

この手法は、静止物体と移動物体の両方を同時に抽出することができる特徴がある。
J. Shin et al., "Optical flow-based real-time object tracking using non-prior training active feature model," ELSEVIER Real-Time Imaging, Vol. 11, pp. 204-218, USA, June 2005. T. Morimoto et al., "Object tracking in video pictures based on image segmentation and pattern matching," ISCAS, pp. 3215-3218, 2005. T. Morimoto et al., "Efficient Video-Picture Segmentation Algorithm for Cell-Network-Based Digital CMOS Implementation," IEICE Transaction on Information & Systems, vol. E87-D, No.2, pp. 500-503, Feb. 2004.

しかし、非特許文献２，３に記載された物体追跡方法においては、物体領域は、画像分割によって複数の領域に分割され、そのオブジェクト毎に追跡が行われるため、複数のオブジェクトからなる追跡物体を追跡し難いという問題がある。

そこで、この発明は、かかる問題を解決するためになされたものであり、その目的は、複数の対象物からなる追跡物体を追跡容易な物体追跡装置を提供することである。

また、この発明の別の目的は、複数の対象物からなる追跡物体を追跡容易な物体追跡方法を提供することである。

この発明によれば、物体追跡装置は、複数のフレーム画像により構成される動画像内の物体を追跡する物体追跡装置であって、画像分割ユニットと、追跡ユニットとを備える。画像分割ユニットは、動画像を構成する個々のフレームに含まれる画像内の物体の画像特徴に基づいて分割画像領域を生成する。追跡ユニットは、画像分割ユニットによって生成された分割画像領域に基づいて物体を追跡する。そして、追跡ユニットは、追跡物体認識部と、グループ化部とを含む。追跡物体認識部は、画像分割ユニットによって生成された複数の分割画像領域を静止物体を示す複数の静止物体画像領域と移動物体を示す複数の移動物体画像領域とに分類する。グループ化部は、追跡物体認識部によって分類された移動物体画像領域を所定の類似性に基づいてグループ化する。

好ましくは、追跡物体認識部は、分割画像領域が属するフレームとフレームの前または後のフレームとにおける分割画像領域の動きベクトルに基づいて、複数の分割画像領域を複数の静止物体画像領域と複数の移動物体画像領域とに分類する。

好ましくは、グループ化部は、連続したフレームにおいて、グループ化した移動物体画像を一意に特定するグループ情報を生成する。

また、この発明によれば、物体追跡方法は、複数のフレーム画像により構成される動画像内の物体を追跡する物体追跡方法であって、動画像を構成する個々のフレームに含まれる画像内の物体の画像特徴に基づいて分割画像領域を生成する第１のステップと、第１のステップにおいて生成された複数の分割画像領域を静止物体を示す複数の静止物体画像領域と移動物体を示す複数の移動物体画像領域とに分類する第２のステップと、第２のステップにおいて分類された移動物体画像領域を所定の類似性に基づいてグループ化する第３のステップとを備える。

好ましくは、第２のステップにおいて、複数の分割画像領域は、分割画像領域が属するフレームとフレームの前または後のフレームとにおける分割画像領域の動きベクトルに基づいて、複数の静止物体画像領域と複数の移動物体画像領域とに分類される。

好ましくは、第３のステップにおいて、グループ化された移動物体画像を一意に特定するグループ情報が連続したフレームにおいて生成される。

好ましくは、グループ化するときにバウンディングボックスが用いられ、そのバウンディングボックスには、マージンが加えられる。

この発明においては、１つのフレームからなる入力画像が１つのフレームに含まれる複数の対象物の画像に分割され、その分割された複数の分割画像に基づいて、複数の対象物のうち、相互に類似する対象物が１つのグループにグループ化され、追跡物体が認識される。つまり、入力画像が１つのフレームに含まれる複数の対象物の画像に分割され、追跡物体が細分化されていたとしても、グループ化された追跡物体が認識される。

したがって、この発明によれば、複数の対象物からなる追跡物体を容易に追跡できる。

本発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰返さない。

図１は、この発明の実施の形態による物体追跡装置の構成を示す概略ブロック図である。図１を参照して、この発明の実施の形態による物体追跡装置１０は、画像分割ユニット１と、追跡ユニット２とを備える。

画像分割ユニット１は、１フレームの入力画像を外部から受け、その受けた入力画像の各画素におけるＲＧＢ値、色相および彩度を用いて、後述する方法によって入力画像を入力画像に含まれる複数の対象物の画像に分割し、その分割した複数の分割画像を追跡ユニット２へ出力する分割処理を各フレームについて実行する。

追跡ユニット２は、各フレームにおける複数の分割画像を画像分割ユニット１から受けると、その受けた複数の分割画像に基づいて、後述する方法によって、各追跡物体を構成する対象物をグループ化し、そのグループ化した対象物を隣接フレーム間でマッチングさせて各追跡物体を追跡する。

画像分割ユニット１は、画素値検出回路１１と、結合重み決定回路１２と、画像分割回路１３とを含む。

画素値検出回路１１は、１フレームの入力画像を受け、その受けた入力画像の各画素のＲ成分、Ｇ成分およびＢ成分を検出し、その検出したＲ成分、Ｇ成分およびＢ成分をＲＧＢ値として結合重み決定回路１２へ出力する。

結合重み決定回路１２は、画素値検出回路１からＲＧＢ値を受け、その受けたＲＧＢ値に基づいて、後述する方法によって、１つのフレームを構成する複数の画素における各画素間の結合重みを決定し、その決定した結合重みを画像分割回路１３へ出力する。

画像分割回路１３は、外部から入力画像を受け、結合重み決定回路１２から結合重みを受ける。そして、画像分割回路１３は、その受けた結合重みを用いて、領域成長型画像分割方法によって、１つのフレームからなる入力画像を各対象物の画像に分割する。この領域成長型画像分割方法は、たとえば、３×３の画素からリーダセルを決定し、その決定したリーダセルの領域から相対的に大きい結合重みを有する周囲の画素の領域へ領域を成長させて行く処理をリーダセルが存在しなくなるまで繰り返して画像を分割する方法である。そして、画像分割回路１３は、その分割した複数の分割画像を追跡ユニット２へ出力する。

なお、この発明の実施の形態においては、オブジェクトとは、対象物、追跡物体を含める広義の物体を意味する。

図２は、図１に示す結合重み決定回路１２の構成を示す概略図である。図２を参照して、結合重み決定回路１２は、Ｄラッチ回路１２１，１２２，１２４，１２６，１２７，１２９と、ＦＩＦＯ回路１２３，１２８と、ＨＳ変換回路１２５と、選択器１３０，１３１と、重み計算ユニット１３２〜１３５とを含む。

Ｄラッチ回路１２１は、画素値検出回路１１からＲＧＢ値を受け、その受けたＲＧＢ値をラッチし、そのラッチしたＲＧＢ値をＤラッチ回路１２２、重み計算ユニット１３３，１３５へ出力する。

Ｄラッチ回路１２２は、Ｄラッチ回路１２１からＲＧＢ値を受け、その受けたＲＧＢ値をラッチし、そのラッチしたＲＧＢ値をＦＩＦＯ回路１２３、重み計算ユニット１３２および選択器１３０，１３１へ出力する。

ＦＩＦＯ回路１２３は、Ｄラッチ回路１２２からＲＧＢ値を受け、その受けたＲＧＢ値を１クロック分、保持し、その後、ＲＧＢ値をＤラッチ回路１２４、重み計算ユニット１３２および選択器１３０，１３１へ出力する。

Ｄラッチ回路１２４は、ＦＩＦＯ回路１２３から受けたＲＧＢ値をラッチし、そのラッチしたＲＧＢ値を重み計算ユニット１３３，１３４へ出力する。

ＨＳ変換回路１２５は、画素値検出回路１１からＲＧＢ値を受け、その受けたＲＧＢ値を、後述する方法によって、色相および彩度に変換する。そして、ＨＳ変換回路１２５は、その変換した色相および彩度をＤラッチ回路１２６へ出力する。

Ｄラッチ回路１２６は、色相および彩度をＨＳ変換回路１２５から受け、その受けた色相および彩度をラッチし、そのラッチした色相および彩度をＤラッチ回路１２７および重み計算ユニット１３３，１３５へ出力する。

Ｄラッチ回路１２７は、色相および彩度をＤラッチ回路１２６から受け、その受けた色相および彩度をラッチし、そのラッチした色相および彩度をＦＩＦＯ回路１２８、重み計算ユニット１３２および選択器１３０，１３１へ出力する。

ＦＩＦＯ回路１２８は、色相および彩度をＤラッチ回路１２７から受け、その受けた色相および彩度を１クロック分、保持し、その後、色相および彩度をＤラッチ回路１２９、重み計算ユニット１３２および選択器１３０，１３１へ出力する。

Ｄラッチ回路１２９は、色相および彩度をＦＩＦＯ回路１２８から受け、その受けた色相および彩度をラッチし、そのラッチした色相および彩度を重み計算ユニット１３３，１３４へ出力する。

選択器１３０は、外部から制御信号ＣＴＬを受け、Ｄラッチ回路１２２およびＦＩＦＯ回路１２３からＲＧＢ値を受け、Ｄラッチ回路１２７およびＦＩＦＯ回路１２８から色相および彩度を受ける。制御信号ＣＴＬは、選択器１３０，１３１の０端子に入力されたＲＧＢ値、色相および彩度を選択するための制御信号ＣＴＬ０と、選択器１３０，１３１の１端子に入力されたＲＧＢ値、色相および彩度を選択するための制御信号ＣＴＬ１とのいずれかからなる。そして、選択器１３０は、制御信号ＣＴＬ０を受けると、ＦＩＦＯ回路１２３から受けたＲＧＢ値と、ＦＩＦＯ回路１２８から受けた色相および彩度とを選択して重み計算ユニット１３４へ出力し、制御信号ＣＴＬ１を受けると、Ｄラッチ回路１２２から受けたＲＧＢ値と、Ｄラッチ回路１２７から受けた色相および彩度とを選択して重み計算ユニット１３４へ出力する。

選択器１３１は、外部から制御信号ＣＴＬを受け、Ｄラッチ回路１２２およびＦＩＦＯ回路１２３からＲＧＢ値を受け、Ｄラッチ回路１２７およびＦＩＦＯ回路１２８から色相および彩度を受ける。そして、選択器１３１は、制御信号ＣＴＬ０を受けると、Ｄラッチ回路１２２から受けたＲＧＢ値と、Ｄラッチ回路１２７から受けた色相および彩度とを選択して重み計算ユニット１３５へ出力し、制御信号ＣＴＬ１を受けると、ＦＩＦＯ回路１２３から受けたＲＧＢ値と、ＦＩＦＯ回路１２８から受けた色相および彩度とを選択して重み計算ユニット１３５へ出力する。

重み計算ユニット１３２は、Ｄラッチ回路１２２およびＦＩＦＯ回路１２３からＲＧＢ値を受け、Ｄラッチ回路１２７およびＦＩＦＯ回路１２８から色相および彩度を受ける。そして、重み計算ユニット１３２は、Ｄラッチ回路１２２から受けたＲＧＢ値とＤラッチ回路１２７から受けた色相および彩度とを１つの画素ＧＥ３に対応するＲＧＢ値、色相および彩度（ＲＧＢ３，ＨＳ３）とし、ＦＩＦＯ回路１２３から受けたＲＧＢ値と、ＦＩＦＯ回路１２８から受けた色相および彩度とを別の１つの画素ＧＥ２に対応するＲＧＢ値、色相および彩度（ＲＧＢ２，ＨＳ２）とする。そうすると、重み計算ユニット１３２は、ＲＧＢ値、色相および彩度（ＲＧＢ３，ＨＳ３）と、ＲＧＢ値、色相および彩度（ＲＧＢ２，ＨＳ２）とに基づいて、後述する方法によって、画素ＧＥ２と画素ＧＥ３との間の結合重みを演算し、その演算した結合重みを画像分割回路１３へ出力する。

重み計算ユニット１３３は、Ｄラッチ回路１２１，１２４からＲＧＢ値を受け、Ｄラッチ回路１２６，１２９から色相および彩度を受ける。そして、重み計算ユニット１３３は、Ｄラッチ回路１２１から受けたＲＧＢ値とＤラッチ回路１２６から受けた色相および彩度とを１つの画素ＧＥ４に対応するＲＧＢ値、色相および彩度（ＲＧＢ４，ＨＳ４）とし、Ｄラッチ回路１２４から受けたＲＧＢ値と、Ｄラッチ回路１２９から受けた色相および彩度とを別の１つの画素ＧＥ１に対応するＲＧＢ値、色相および彩度（ＲＧＢ１，ＨＳ１）とする。そうすると、重み計算ユニット１３３は、ＲＧＢ値、色相および彩度（ＲＧＢ４，ＨＳ４）と、ＲＧＢ値、色相および彩度（ＲＧＢ１，ＨＳ１）とに基づいて、後述する方法によって、画素ＧＥ１と画素ＧＥ４との間の結合重みを演算し、その演算した結合重みを画像分割回路１３へ出力する。

重み計算ユニット１３４は、Ｄラッチ回路１２４からＲＧＢ値を受け、Ｄラッチ回路１２９から色相および彩度を受け、選択器１３０からＲＧＢ値、色相および彩度を受ける。そして、重み計算ユニット１３４は、Ｄラッチ回路１２４から受けたＲＧＢ値とＤラッチ回路１２９から受けた色相および彩度とを１つの画素ＧＥ１に対応するＲＧＢ値、色相および彩度（ＲＧＢ１，ＨＳ１）とし、選択器１３０から受けたＲＧＢ値、色相および彩度を別の１つの画素ＧＥ２に対応するＲＧＢ値、色相および彩度（ＲＧＢ２，ＨＳ２）とする。そうすると、重み計算ユニット１３４は、ＲＧＢ値、色相および彩度（ＲＧＢ１，ＨＳ１）と、ＲＧＢ値、色相および彩度（ＲＧＢ２，ＨＳ２）とに基づいて、後述する方法によって、画素ＧＥ１と画素ＧＥ２との間の結合重みを演算し、その演算した結合重みを画像分割回路１３へ出力する。

重み計算ユニット１３５は、Ｄラッチ回路１２１からＲＧＢ値を受け、Ｄラッチ回路１２６から色相および彩度を受け、選択器１３１からＲＧＢ値、色相および彩度を受ける。そして、重み計算ユニット１３５は、Ｄラッチ回路１２１から受けたＲＧＢ値とＤラッチ回路１２６から受けた色相および彩度とを１つの画素ＧＥ４に対応するＲＧＢ値、色相および彩度（ＲＧＢ４，ＨＳ４）とし、選択器１３１から受けたＲＧＢ値、色相および彩度を別の１つの画素ＧＥ３に対応するＲＧＢ値、色相および彩度（ＲＧＢ３，ＨＳ３）とする。そうすると、重み計算ユニット１３５は、ＲＧＢ値、色相および彩度（ＲＧＢ４，ＨＳ４）と、ＲＧＢ値、色相および彩度（ＲＧＢ３，ＨＳ３）とに基づいて、後述する方法によって、画素ＧＥ３と画素ＧＥ４との間の結合重みを演算し、その演算した結合重みを画像分割回路１３へ出力する。

なお、重み計算ユニット１３４は、選択器１３０から画素ＧＥ３に対応するＲＧＢ値、色相および彩度（ＲＧＢ３，ＨＳ３）を受けるとき、画素ＧＥ１と画素ＧＥ３との間の結合重みを演算し、その演算した結合重みを画像分割回路１３へ出力し、重み計算ユニット１３５は、選択器１３１から画素ＧＥ２に対応するＲＧＢ値、色相および彩度（ＲＧＢ２，ＨＳ２）を受けるとき、画素ＧＥ２と画素ＧＥ４との間の結合重みを演算し、その演算した結合重みを画像分割回路１３へ出力する。

図３は、図２に示す結合重み決定回路１２が結合重みを決定するときの概念図である。また、図４は、図２に示す結合重み決定回路１２が結合重みを決定するときの他の概念図である。

結合重み決定回路１２は、２行２列に配列された画素ＧＥ１〜ＧＥ４における結合重みを１サイクルで決定する。画素ＧＥ１〜ＧＥ４におけるＲＧＢ値ＲＧＢ１〜ＲＧＢ４が結合重み決定回路１２へ順次入力されると、重み計算ユニット１３２は、ＦＩＦＯ回路１２３から画素ＧＥ２のＲＧＢ値ＲＧＢ２を受け、ＦＩＦＯ回路１２８から画素ＧＥ２の色相および彩度ＨＳ２を受け、Ｄラッチ回路１２２から画素ＧＥ３のＲＧＢ値ＲＧＢ３を受け、Ｄラッチ回路１２７から画素ＧＥ３の色相および彩度ＨＳ３を受ける。

また、重み計算ユニット１３３は、Ｄラッチ回路１２４から画素ＧＥ１のＲＧＢ値ＲＧＢ１を受け、Ｄラッチ回路１２９から画素ＧＥ１の色相および彩度ＨＳ１を受け、Ｄラッチ回路１２１から画素ＧＥ４のＲＧＢ値ＲＧＢ４を受け、Ｄラッチ回路１２６から画素ＧＥ４の色相および彩度ＨＳ４を受ける。

さらに、重み計算ユニット１３４は、Ｄラッチ回路１２４から画素ＧＥ１のＲＧＢ値ＲＧＢ１を受け、Ｄラッチ回路１２９から画素ＧＥ１の色相および彩度ＨＳ１を受け、選択器１３０から画素ＧＥ２のＲＧＢ値ＲＧＢ２と、画素ＧＥ２の色相および彩度ＨＳ２とを受ける。

さらに、重み計算ユニット１３５は、Ｄラッチ回路１２１から画素ＧＥ４のＲＧＢ値ＲＧＢ４を受け、Ｄラッチ回路１２６から画素ＧＥ４の色相および彩度ＨＳ４を受け、選択器１３１から画素ＧＥ３のＲＧＢ値ＲＧＢ３と、画素ＧＥ３の色相および彩度ＨＳ３とを受ける。

すなわち、重み計算ユニット１３２〜１３５は、同期して、それぞれ、画素ＧＥ２，ＧＥ３のＲＧＢ値、色相および彩度、画素ＧＥ１，ＧＥ４のＲＧＢ値、色相および彩度、画素ＧＥ１，ＧＥ２のＲＧＢ値、色相および彩度、および画素ＧＥ３，ＧＥ４のＲＧＢ値、色相および彩度を受ける。そして、重み計算ユニット１３２は、画素ＧＥ２と画素ＧＥ３との結合重みを決定して出力し、重み計算ユニット１３３は、画素ＧＥ１と画素ＧＥ４との結合重みを決定して出力し、重み計算ユニット１３４は、画素ＧＥ１と画素ＧＥ２との結合重みを決定して出力し、重み計算ユニット１３５は、画素ＧＥ３と画素ＧＥ４との結合重みを決定して出力する。

つまり、重み計算ユニット１３２〜１３５は、図３に示す４個の結合重みを１サイクルで決定して出力する。

なお、選択器１３０が画素ＧＥ３のＲＧＢ値ＲＧＢ３と色相および彩度ＨＳ３とを選択し、選択器１３１が画素ＧＥ２のＲＧＢ値ＲＧＢ２と色相および彩度ＨＳ２とを選択した場合、重み計算ユニット１３２〜１３５は、図４に示す４個の結合重みを１サイクルで決定して出力する。

このように、結合重み決定回路１２は、２行２列に配列された４個の画素のＲＧＢ値、色相および彩度を用いて、１サイクルで２行２列に配列された４個の画素間における４個の結合重みを決定する。

上述したように、結合重み決定回路３は、各画素のＲＧＢ値、色相および彩度を用いて２つの画素間の結合重みを決定するが、以下、その理由について説明する。

この発明においては、画素間の結合重みを決定するために、ＲＧＢ値のみならず、色相および彩度を用いるために、ＲＧＢ色空間に加え、色相（Ｈ：Ｈｕｅ）、彩度（Ｓ：Ｓａｔｕｒａｔｉｏｎ）および明度（Ｖ：Ｖａｌｕｅ）からなるＨＳＶ色空間を導入する。

ここで、色相（Ｈ）は、Ｒ，Ｇ，Ｂなどの色の種類を表す要素である。また、彩度（Ｓ）は、色の鮮やかさを表す要素であり、無彩色（黒―灰色―白）では、“０”となる。さらに、明度（Ｖ）は、明るさを表す要素である。

図５は、ＨＳＶ色空間の概念図である。図５を参照して、ＨＳＶ色空間は、円錐形状からなる。そして、色相（Ｈ）は、円錐形状の底面における円環ＣＲＣに描かれ、０度〜３６０度の範囲で表される。そして、図５においては、赤を基準（０度）とした色相を表しており、ＲＧＢ色空間における赤（２５５，０，０）、緑（０，２５５，０）および青（０，０，２５５）は、それぞれ、色相０度、色相１２０度および色相２４０度に対応する。

彩度（Ｓ）は、円錐の円形の半径として表され、０〜１の範囲の値を取る。また、明度（Ｖ）は、円錐の頂点からの距離として表され、０〜１の範囲の値を取る。

図５から解るように、無彩色は、色相（Ｈ）および彩度（Ｓ）を持たない。

ＲＧＢ値から色相（Ｈ）への変換には、次式が用いられる。

なお、式（１）において、ＭＡＸは、Ｒ値、Ｇ値およびＢ値の最大値を表し、ＭＩＮは、Ｒ値、Ｇ値およびＢ値の最小値を表す。

ＭＡＸ＝ＭＩＮであるとき、色相（Ｈ）は、定義されない。これは、Ｒ値、Ｇ値およびＢ値が全て等しいときであり、無彩色を表すため、円錐の中央のグレーの直線の周囲にあるため、その時のＨｕｅ値は、意味を持たないからである。

ＲＧＢ値から彩度（Ｓ）への変換には、次式が用いられる。

なお、ＭＡＸ＝０であるとき、彩度（Ｓ）は、未定義となる。これは、ＭＡＸ＝０であるときの色は、完全な黒を表すため、色相も彩度も存在しないからである。

ＲＧＢ値から明度（Ｖ）への変換には、次式が用いられる。

引き続いて、色相（Ｈｕｅ）および彩度（Ｓａｔｕｒａｔｉｏｎ）による画像評価について説明する。図６は、色相および彩度による画像評価に用いた画像を示す図である。また、図７は、色相および彩度による画像評価に用いた他の画像を示す図である。

図６は、コントラストが低い領域を含む画像を示し、図７は、外乱的な反射を含む画像を示す。

図８は、図６に示す領域Ｘの分割結果および図７に示す領域Ｙの分割結果を示す図である。また、図９は、従来の画像分割における問題を説明するための図である。

従来の画像分割においては、２つの画素間の結合重みＷ_{ｉｊ；ｋｌ}は、各画素のＲＧＢ値のみを用いて次の式（４），（５）によって演算される。

すなわち、従来の画像分割方法は、隣接画素間のＲＧＢ値の差から結合重みと定義される画素間の類似度を求め、その求めた類似度を指標として領域を成長させていく。結合重みＷ_{ｉｊ；ｋｌ}は、式（４）を用いて赤、緑および青に対して演算された３個の結合重みを式（５）に代入して、赤、緑および青に対する３個の結合重みのうち、最も小さいものを画素間の結合重みＷ_{ｉｊ；ｋｌ}として決定する。

したがって、図９に示すように、たとえば、（Ｒ，Ｇ，Ｂ）＝（２５０，０，０）と、（Ｒ，Ｇ，Ｂ）＝（１２５，０，０）との結合重みと、（Ｒ，Ｇ，Ｂ）＝（２５０，０，０）と、（Ｒ，Ｇ，Ｂ）＝（１２５，１２５，１２５）との結合重みとは、無彩色と有彩色との関係にありながら、同じ値となり、ＲＧＢ色空間を用いた結合重みでは、画素の色合いを考慮していない。

また、図９の（ａ）は、グラデーション変化を持つ領域を画素単位で示したものと、横軸をｘ軸、縦軸を結合重みに取ったときのグラデーション領域の結合重みの変化をグラフとして表した図である。

グラデーション変化のある領域では、画素間のＲＧＢ値の差が等しいため、結合重みも等しくなっている。仮に、近傍画素の結合重みが領域成長に用いるしきい値φｚ以上であれば、領域は、矢印の方向に広がり続けてしまう。

しかし、図９の（ａ）に示すグラデーションに関する問題に対しては、どこまでを同一領域として扱うかは、アプリケーションに依存する面が強く、しきい値を一意に決定することは難しい。

図６に示すサンプル画像は、コントラストが低く、机と人間の重なりにより境界に陰が生じ、机領域と人物領域との間に明確なエッジが現れず、色が２つの領域間で滑らかに変化する（グラデーション）画像である。そのため、従来のＲＧＢ色空間による結合重みを利用する画像分割法では、机と人物との分割が難しい（図８参照）。

また、図７に示すサンプル画像では、反射が原因でカラーが変化し、ボディー領域の成長が進まずに、複数の領域に分かれたり、未分割領域として残ってしまう（図８参照）。

これらの結果から、画像分割精度を向上させるためには、ＲＧＢ色空間による明度を用いた方法に加えて、黒い、赤い、青いと言った色合いを考慮することが必要である。色合いを考慮すれば、図６に示すサンプル画像であれば、人物は、黒（無彩色）であり、机は、茶色であり、２つの領域の分離が可能である。また、図７に示すサンプル画像であれば、車は、赤色（有彩色）の領域として抽出可能である。

そこで、色相（Ｈｕｅ）および彩度（Ｓａｔｕｒａｔｉｏｎ）による画像評価について説明する。

まず、色相（Ｈｕｅ）による画像評価について説明する。図１０は、図６に示すサンプル画像のＲＧＢ値から式（１）を用いてＨｕｅ値に変換した値（０〜３６０度）を２５６階調に正規化して８ビットグレー画像とした図である。また、図１１は、図７に示すサンプル画像のＲＧＢ値から式（１）を用いてＨｕｅ値に変換した値（０〜３６０度）を２５６階調に正規化して８ビットグレー画像とした図である。

なお、図１０および図１１においては、図６および図７に示す２つのサンプル画像の場合、緑および青といったＨｕｅ値が高い画素値が存在しないため、無彩色を最大値の２５５（白）で表している。

図１０および図１１を参照して、人間と机の境界、および道路と車両の境界がはっきりと区別できていることが解るが、背景や人間の領域にノイズ画素が目立つ。このＨｕｅ画像の画像分割への適用を想定した場合、ノイズ画素による分割精度への影響が予想される。

そこで、ノイズ画素の低減のために、次の方法を採用した。式（１）から解るように、厳密には、ＭＡＸ−ＭＩＮ＝０のときのみ、無彩色として扱われるが、人間は、実際、目視により色を認識する場合、ＭＡＸ−ＭＩＮ＝０を正確に満たしていなくても無彩色として画素を認識する。そのため、ノイズ画素を除去するために、パラメータＤ_{ＭＡＸ−ＭＩＮ}を設定した。

図１０および図１１におけるＤ_{ＭＡＸ−ＭＩＮ}は、Ｄ_{ＭＡＸ−ＭＩＮ}＝ＭＡＸ−ＭＩＮを表し、Ｄ_{ＭＡＸ−ＭＩＮ}より誤差の小さい画素を無彩色（白−灰色−黒）と見なすことにする。Ｄ_{ＭＡＸ−ＭＩＮ}値を“０”から“５”づつ増加させていったときの画像への影響について評価した結果が図１０および図１１に示す結果である。

Ｄ_{ＭＡＸ−ＭＩＮ}値を大きくしていくと、無彩色は、取り除かれていき、カラー領域（有彩色領域）とグレー領域（無彩色領域）とをある程度分離できることがわかった。これは、グレー領域とカラー領域との識別におけるロバスト性が向上したからである。また、カラー領域同士も、Ｈｕｅ値の差によって識別できる。

次に、彩度（Ｓａｔｕｒａｔｉｏｎ）による画像評価について説明する。図１２は、図６に示すサンプル画像のＲＧＢ値から式（２）を用いてＳ値に変換した値（０〜１の範囲）を２５６階調に規格化して８ビットグレー画像とした図である。また、図１３は、図７に示すサンプル画像のＲＧＢ値から式（２）を用いてＳ値に変換した値（０〜１の範囲）を２５６階調に規格化して８ビットグレー画像とした図である。

彩度の場合、ＭＡＸ−ＭＩＮ＝０またはＭＡＸ＝０のときのみ、無彩色として扱っているため、道路の領域なども彩度を持っている。

そこで、図５から解るように、彩度（Ｓ）が低い領域は、色相（Ｈ）による色の識別が非常に困難であることに注目し、各画素の彩度（Ｓ）の値を基準として、無彩色領域と有彩色領域とを２値化することを考える。

図１２および図１３は、しきい値としての彩度（Ｓ）を０から０．２まで０．０４刻みで変化させたときの画像への影響を示す。そして、図１２および図１３に示す画像は、しきい値よりも小さい彩度（Ｓ）を持つ画素を白（２５５）、しきい値以上の彩度を持つ画素を黒（０）として２値化した画像である。

図１２および図１３を参照して、彩度（Ｓ）値が０．２よりも小さい画素を無彩色、彩度（Ｓ）値が０．２以上である画素を有彩色として扱うことにより、無彩色領域と有彩色領域との識別に関して良い結果が得られた。他のサンプル画像に対しても評価を行なったが、彩度のしきい値を０．２付近に設定すると、良い結果が得られた。

上述したように、ＨＳＶ色空間について検討した結果、ＲＧＢ色空間では、画像分割が難しかった画像（たとえば、図６に示す人と机の分離、および図７に示す車のボディー部分の抽出）に対して、ＨＳＶ色空間を用いることによって、有彩色領域と、人間の目から見て無彩色に近い色とを分離したり、色合いは同じでも光の当たり具合で明度や彩度に違いが生じる領域を同一領域として分割できることが解った。

しかし、ＨＳＶ色空間は、無彩色領域の画像分割には適していない。それは、図５から解るように、彩度が低くなると、色合いを殆ど識別することができず、Ｈｕｅ値が意味を持たなくなるからである。

そこで、この発明においては、ＲＧＢ値と、ＨＳＶ値との両方の色空間を用いて、画素間の結合重みを決定し、それぞれの色空間が苦手とする色領域をお互いが補うことにしたのである。

そして、結合重み決定回路１２がＲＧＢ値、色相および彩度を用いて結合重みを決定する場合、ＨＳ変換回路１２５は、一般的には、式（１）および式（２）を用いて、ＲＧＢ値を色相（Ｈ）および彩度（Ｓ）に変換する。

しかし、式（１）および式（２）を用いてＲＧＢ値を色相（Ｈ）および彩度（Ｓ）に変換する場合、ＨＳ変換回路１２５を除算器を用いて構成する必要があり、除算器を用いたＨＳ変換回路１２５の実現方法は、演算に複数のサイクルを要するため、１サイクルでの処理の要求を満たすことができない。また、回路面積が大きくなるという問題もある。

そこで、テーブルマッピングによる方法が考えられる。すなわち、ＲＧＢ値を式（１）および式（２）を用いて予め計算したＨ値およびＳ値をメモリに保存しておき、それぞれのＲＧＢ値に対応するアドレスから計算結果を読み出すことで使用時の処理を削減する。

しかし、Ｒ，Ｇ，Ｂは、それぞれ、８ビットのデータであるため、（（２^８）^３×９）ビットの大容量のメモリが必要であり、デコーダの回路面積が大きくなるという問題がある。

そこで、この発明においては、好ましくは、Ｈ（０〜３６０度）およびＳ（０〜１）を複数のビン（領域）に分けることで計算結果をビンの数に限定し、その上でテーブルを参照して色相（Ｈ）および彩度（Ｓ）を求める。この方法によれば、除算器を一切使用せず、回路面積を抑えたＲＧＢ値からＨＳＶ値への変換回路を実現できる。

図１４は、色相（Ｈｕｅ）のビンの構成図である。図１４を参照して、色相（Ｈｕｅ）のビン構成は、３段構成からなり、３６０度のＨｕｅ値を９０個のビンで構成する。

Ｈｕｅ値の決定方法について説明する。まず、１段目（最も内側の円）で、注目画素が赤（０１）、緑（１０）、および青（１１）のどのカテゴリに属するかをＭＡＸに基づいて決定する。

次に、ＭＩＮを決定し、式（１）からＭＡＸの条件に対応した式の分数部分が正か負かを決定する。分数部分が負である場合、“０”となり、分数部分が正である場合、“１”となる（２段目）。

最後に、１５個のビンのうちのどのビンに対応するかを決定すれば、注目画素が９０個のビンで構成されたＨｕｅ値のどのビンに対応するかが解る（３段目）。

上述したＨｕｅ値の決定方法においては、２段目までは、Ｒ，Ｇ，Ｂ値の大小関係から容易に決定できる。そこで、３段目の１〜１５のビンの決定方法について説明する。

式（１）の分数部分を取出し、次の関係式を作成する。

式（６）において、ＭＥＤは、ＭＡＸおよびＭＩＮ以外のＲ，Ｇ，Ｂのいずれかの値、すなわち、中間値を表す。

式（６）を変形すると、次式が得られる。

そして、式（７）におけるＸの値を１から１４まで変化させたときに生成される１４個の不等式の成立結果（１，０）からビン番号を決定する。

図１５は、図２に示すＨＳ変換回路１２５に含まれる色相変換回路の構成を示す概略図である。ＨＳ変換回路１２５は、図１５に示す色相変換回路１２５０を含む。図１５を参照して、色相変換回路１２５０は、決定回路１２５１と、データ生成回路１２５２，１２５３と、スイッチ１２５４と、比較回路１２５５〜１２６８と、エンコーダ１２６９とを含む。

決定回路１２５１は、画素値検出回路１１から各画素のＲＧＢ値を受け、その受けたＲＧＢ値の最大値ＭＡＸ、最小値ＭＩＮおよび中間値ＭＥＤを決定する。そして、決定回路１２５１は、その決定した最大値ＭＡＸをデータ生成回路１２５２へ出力し、中間値ＭＥＤをデータ生成回路１２５３へ出力し、最小値ＭＩＮをデータ生成回路１２５２，１２５３へ出力する。

データ生成回路１２５２は、決定回路１２５１から最大値ＭＡＸおよび最小値ＭＩＮを受け、その受けた最大値ＭＡＸおよび最小値ＭＩＮに基づいて、Ｘを１から１４まで変化させた１４個のＸ×（ＭＡＸ−ＭＩＮ）を順次演算し、その演算した１４個のＸ×（ＭＡＸ−ＭＩＮ）（Ｘ＝１〜１４）をスイッチ１２５４へ出力する。すなわち、データ生成回路１２５２は、式（７）の右辺のＢを演算し、その演算したＢをスイッチ１２５４へ出力する。

また、データ生成回路１２５３は、決定回路１２５１から中間値ＭＥＤおよび最小値ＭＩＮを受け、その受けた中間値ＭＥＤおよび最小値ＭＩＮに基づいて、１５×（ＭＥＤ−ＭＩＮ）を演算し、その演算した１５×（ＭＥＤ−ＭＩＮ）をスイッチ１２５４へ出力する。すなわち、データ生成回路１２５３は、式（７）の左辺のＡを演算し、その演算したＡをスイッチ１２５４へ出力する。

スイッチ１２５４は、１４個のＸ×（ＭＡＸ−ＭＩＮ）（Ｘ＝１〜１４）をデータ生成回路１２５２から受け、１５×（ＭＥＤ−ＭＩＮ）をデータ生成回路１２５３から受ける。そして、スイッチ１２５４は、１×（ＭＡＸ−ＭＩＮ）および１５×（ＭＥＤ−ＭＩＮ）を比較回路１２５５へ出力し、２×（ＭＡＸ−ＭＩＮ）および１５×（ＭＥＤ−ＭＩＮ）を比較回路１２５６へ出力し、以下、同様にして、１４×（ＭＡＸ−ＭＩＮ）および１５×（ＭＥＤ−ＭＩＮ）を比較回路１２６８へ出力する。

比較回路１２５５は、１×（ＭＡＸ−ＭＩＮ）および１５×（ＭＥＤ−ＭＩＮ）をスイッチ１２５４から受け、１×（ＭＡＸ−ＭＩＮ）を１５×（ＭＥＤ−ＭＩＮ）と比較する。そして、比較回路１２５５は、その比較結果をエンコーダ１２６９へ出力する。より具体的には、比較回路１２５５は、１５×（ＭＥＤ−ＭＩＮ）＜１×（ＭＡＸ−ＭＩＮ）が成立するとき、“１”をエンコーダ１２６９へ出力し、１５×（ＭＥＤ−ＭＩＮ）＜１×（ＭＡＸ−ＭＩＮ）が成立しないとき、“０”をエンコーダ１２６９へ出力する。

比較回路１２５６は、２×（ＭＡＸ−ＭＩＮ）および１５×（ＭＥＤ−ＭＩＮ）をスイッチ１２５４から受け、２×（ＭＡＸ−ＭＩＮ）を１５×（ＭＥＤ−ＭＩＮ）と比較する。そして、比較回路１２５６は、その比較結果（１または０）をエンコーダ１２６９へ出力する。

以下、同様にして、比較回路１２６８は、１４×（ＭＡＸ−ＭＩＮ）および１５×（ＭＥＤ−ＭＩＮ）をスイッチ１２５４から受け、１４×（ＭＡＸ−ＭＩＮ）を１５×（ＭＥＤ−ＭＩＮ）と比較する。そして、比較回路１２６８は、その比較結果（１または０）をエンコーダ１２６９へ出力する。

なお、比較回路１２５５〜１２６８は、平行してＸ×（ＭＡＸ−ＭＩＮ）を１５×（ＭＥＤ−ＭＩＮ）と比較し、その比較結果をエンコーダ１２６９へ出力する。したがって、エンコーダ１２６９は、比較結果を示す１４ビットのデータを比較回路１２５５〜１２６８から受ける。

エンコーダ１２６９は、１４ビットからなる比較結果を比較回路１２５５〜１２６８から受け、その受けた１４ビットの比較結果に基づいて、ビン番号を決定する。より具体的には、エンコーダ１２６９は、［０１００００００００００００］の比較結果を比較回路１２５５〜１２６８から受けたとき、ビン番号を“２”と決定し、［０００００００００１００００］の比較結果を比較回路１２５５〜１２６８から受けたとき、ビン番号を“１０”と決定する。なお、エンコーダ１２６９は、全てが“０”からなる［００００００００００００００］の比較結果を比較回路１２５５〜１２６８から受けたとき、ビン番号を“１５”と決定する。

そして、エンコーダ１２６９は、その決定したビン番号をＨｕｅビン番号としてＤラッチ回路１２６へ出力する。

上述したように、データ生成回路１２５２は、Ｘ×（ＭＡＸ−ＭＩＮ）を演算し、データ生成回路１２５３は、１５×（ＭＥＤ−ＭＩＮ）を演算するので、データ生成回路１２５２，１２５３の各々を加算器とシフト器とを用いた簡単な回路により実現できる。

次に、ＲＧＢ値から彩度（Ｓ）への変換について説明する。図１６は、彩度（Ｓ）のビンの構成図である。図１６を参照して、０〜０．１の範囲の彩度（Ｓ）は、１のビンに割り当てられ、０．１〜０．１５の範囲の彩度（Ｓ）は、２のビンに割り当てられ、０．１５〜０．１６２５の範囲の彩度（Ｓ）は、３のビンに割り当てられ、０．１６２５〜０．１７５０の範囲の彩度（Ｓ）は、４のビンに割り当てられ、０．１７５０〜０．１８７５の範囲の彩度（Ｓ）は、５のビンに割り当てられ、０．１８７５〜０．２の範囲の彩度（Ｓ）は、６のビンに割り当てられる。また、０．２〜０．２１２５の範囲の彩度（Ｓ）は、７のビンに割り当てられ、０．２１２５〜０．２２５０の範囲の彩度（Ｓ）は、８のビンに割り当てられ、０．２２５０〜０．２３７５の範囲の彩度（Ｓ）は、９のビンに割り当てられ、０．２３７５〜０．２５の範囲の彩度（Ｓ）は、１０のビンに割り当てられ、０．２５〜０．３０の範囲の彩度（Ｓ）は、１１のビンに割り当てられ、０．３〜１．０の範囲の彩度（Ｓ）は、１２のビンに割り当てられる。

このように、彩度（Ｓ）は、彩度境界である０．２付近にある程、細分されたビンに割り当てられる。

ＲＧＢ値から彩度（Ｓ）への変換も、ＲＧＢ値から色相（Ｈ）への変換と同様な方法を用いる。彩度（Ｓ）の計算が必要になるのは、２つの画素のうちの一方の画素が無彩色領域に属し、他方の画素が有彩色領域に属する場合である。すなわち、２つの画素が彩度境界（Ｓ＝０．２）を間に挟んだ関係にある場合である。

そこで、図１６に示すように、彩度境界（Ｓ＝０．２）の付近に限定して細かいビンに分ける。彩度のビンは、次の２つの式（８），（９）の成立結果を元に１２個のビンへ彩度を割り当てる。

式（８）および式（９）の分母を払うと、それぞれ、式（１０）および式（１１）が得られる。

図１７は、図２に示すＨＳ変換回路１２５に含まれる彩度変換回路の構成を示す概略図である。ＨＳ変換回路１２５は、図１７に示す彩度変換回路１２７０を含む。図１７を参照して、彩度変換回路１２７０は、決定回路１２７１と、データ生成回路１２７２〜１２７５と、スイッチ１２７６と、比較回路１２７７〜１２８８と、エンコーダ１２８９とを含む。

決定回路１２７１は、画素値検出回路１１からＲＧＢ値を受け、その受けたＲＧＢ値の最大値ＭＡＸおよび最小値ＭＩＮを決定する。そして、決定回路１２７１は、その決定した最大値ＭＡＸをデータ生成回路１２７２〜１２７５へ出力し、その決定した最小値ＭＩＮをデータ生成回路１２７４，１２７５へ出力する。

データ生成回路１２７２は、決定回路１２７１から最大値ＭＡＸを受け、その受けた最大値ＭＡＸを用いて、Ｙを２，３，６と変化させたＹ×ＭＡＸを順次演算し、その演算した３個のＹ×ＭＡＸ（Ｙ＝２，３，６）をスイッチ１２７６へ出力する。すなわち、データ生成回路１２７２は、式（１０）の右辺のＤを演算し、その演算したＤをスイッチ１２７６へ出力する。

データ生成回路１２７３は、決定回路１２７１から最大値ＭＡＸを受け、その受けた最大値ＭＡＸを用いて、Ｚを１２から２０まで変化させたＺ×ＭＡＸを順次演算し、その演算した９個のＺ×ＭＡＸ（Ｚ＝１２〜２０）をスイッチ１２７６へ出力する。すなわち、データ生成回路１２５３は、式（１１）の右辺のＦを演算し、その演算したＦをスイッチ１２７６へ出力する。

データ生成回路１２７４は、決定回路１２７１から最大値ＭＡＸおよび最小値ＭＩＮを受け、その受けた最大値ＭＡＸおよび最小値ＭＩＮを用いて２０×（ＭＡＸ−ＭＩＮ）を演算し、その演算した２０×（ＭＡＸ−ＭＩＮ）をスイッチ１２７６へ出力する。すなわち、データ生成回路１２７４は、式（１０）の左辺のＣを演算し、その演算したＣをスイッチ１２７６へ出力する。

データ生成回路１２７５は、決定回路１２７１から最大値ＭＡＸおよび最小値ＭＩＮを受け、その受けた最大値ＭＡＸおよび最小値ＭＩＮを用いて８０×（ＭＡＸ−ＭＩＮ）を演算し、その演算した８０×（ＭＡＸ−ＭＩＮ）をスイッチ１２７６へ出力する。すなわち、データ生成回路１２７５は、式（１１）の左辺のＥを演算し、その演算したＥをスイッチ１２７６へ出力する。

スイッチ１２７６は、データ生成回路１２７２から３個のＹ×ＭＡＸ（Ｙ＝２，３，６）を受け、データ生成回路１２７３から９個のＺ×ＭＡＸ（Ｚ＝１２〜２０）を受け、データ生成回路１２７４から２０×（ＭＡＸ−ＭＩＮ）を受け、データ生成回路１２７５から８０×（ＭＡＸ−ＭＩＮ）を受ける。

そして、スイッチ１２７６は、２×ＭＡＸおよび２０×（ＭＡＸ−ＭＩＮ）を比較回路１２７７へ出力し、３×ＭＡＸおよび２０×（ＭＡＸ−ＭＩＮ）を比較回路１２７８へ出力し、６×ＭＡＸおよび２０×（ＭＡＸ−ＭＩＮ）を比較回路１２７９へ出力する。

また、スイッチ１２７６は、１２×ＭＡＸおよび８０×（ＭＡＸ−ＭＩＮ）を比較回路１２８０へ出力し、１３×ＭＡＸおよび８０×（ＭＡＸ−ＭＩＮ）を比較回路１２８１へ出力し、以下、同様にして、２０×ＭＡＸおよび８０×（ＭＡＸ−ＭＩＮ）を比較回路１２８８へ出力する。

比較回路１２７７は、２×ＭＡＸおよび２０×（ＭＡＸ−ＭＩＮ）をスイッチ１２７６から受け、２×ＭＡＸを２０×（ＭＡＸ−ＭＩＮ）と比較し、その比較結果をエンコーダ１２８９へ出力する。より具体的には、比較回路１２７７は、２０×（ＭＡＸ−ＭＩＮ）＜２×ＭＡＸが成立するとき、“１”をエンコーダ１２８９へ出力し、２０×（ＭＡＸ−ＭＩＮ）＜２×ＭＡＸが成立しないとき、“０”をエンコーダ１２８９へ出力する。

また、比較回路１２７８は、３×ＭＡＸおよび２０×（ＭＡＸ−ＭＩＮ）をスイッチ１２７６から受け、３×ＭＡＸを２０×（ＭＡＸ−ＭＩＮ）と比較し、２０×（ＭＡＸ−ＭＩＮ）＜３×ＭＡＸが成立するとき、“１”をエンコーダ１２８９へ出力し、２０×（ＭＡＸ−ＭＩＮ）＜３×ＭＡＸが成立しないとき、“０”をエンコーダ１２８９へ出力する。

同様にして、比較回路１２７９は、６×ＭＡＸおよび２０×（ＭＡＸ−ＭＩＮ）をスイッチ１２７６から受け、６×ＭＡＸを２０×（ＭＡＸ−ＭＩＮ）と比較し、２０×（ＭＡＸ−ＭＩＮ）＜６×ＭＡＸが成立するとき、“１”をエンコーダ１２８９へ出力し、２０×（ＭＡＸ−ＭＩＮ）＜６×ＭＡＸが成立しないとき、“０”をエンコーダ１２８９へ出力する。

比較回路１２８０は、１２×ＭＡＸおよび８０×（ＭＡＸ−ＭＩＮ）をスイッチ１２７６から受け、１２×ＡＭＸを８０×（ＭＡＸ−ＭＩＮ）と比較し、その比較結果をエンコーダ１２８９へ出力する。より具体的には、比較回路１２８０は、８０×（ＭＡＸ−ＭＩＮ）＜１２×ＭＡＸが成立するとき、“１”をエンコーダ１２８９へ出力し、８０×（ＭＡＸ−ＭＩＮ）＜１２×ＭＡＸが成立しないとき、“０”をエンコーダ１２８９へ出力する。

比較回路１２８１は、１３×ＭＡＸおよび８０×（ＭＡＸ−ＭＩＮ）をスイッチ１２７６から受け、１３×ＡＭＸを８０×（ＭＡＸ−ＭＩＮ）と比較し、８０×（ＭＡＸ−ＭＩＮ）＜１３×ＭＡＸが成立するとき、“１”をエンコーダ１２８９へ出力し、８０×（ＭＡＸ−ＭＩＮ）＜１３×ＭＡＸが成立しないとき、“０”をエンコーダ１２８９へ出力する。

以下、同様にして、比較回路１２８８は、２０×ＭＡＸおよび８０×（ＭＡＸ−ＭＩＮ）をスイッチ１２７６から受け、２０×ＡＭＸを８０×（ＭＡＸ−ＭＩＮ）と比較し、８０×（ＭＡＸ−ＭＩＮ）＜２０×ＭＡＸが成立するとき、“１”をエンコーダ１２８９へ出力し、８０×（ＭＡＸ−ＭＩＮ）＜２０×ＭＡＸが成立しないとき、“０”をエンコーダ１２８９へ出力する。

なお、比較回路１２７７〜１２８８は、上述した比較を平行して行ない、その比較結果を平行してエンコーダ１２８９へ出力する。したがって、エンコーダ１２８９は、１２ビットのデータを比較回路１２７７〜１２８８から受ける。

エンコーダ１２８９は、１２ビットからなる比較結果を比較回路１２７７〜１２８８から受け、その受けた１２ビットの比較結果に基づいて、ビン番号を決定する。より具体的には、エンコーダ１２８９は、［１０００００００００００］の比較結果を比較回路１２７７〜１２８８から受けたとき、ビン番号を“１”と決定し、［００００００１０００００］の比較結果を比較回路１２７７〜１２８８から受けたとき、ビン番号を“７”と決定する。エンコーダ１２８９は、その他の１２ビットの比較結果を受けたときも、同様にしてビン番号を決定する。

そして、エンコーダ１２８９は、その決定したビン番号をＳビン番号としてＤラッチ回路１２６へ出力する。

上述したように、データ生成回路１２７２は、Ｙ×ＭＡＸを演算し、データ生成回路１２７３は、Ｚ×ＭＡＸを演算し、データ生成回路１２７４は、２０×（ＭＡＸ−ＭＩＮ）を演算し、データ生成回路１２７５は、８０×（ＭＡＸ−ＭＩＮ）を演算するので、データ生成回路１２７２〜１２７５の各々を加算器とシフト器とを用いた簡単な回路により実現できる。

結合重みの決定方法について説明する。図１８は、結合重みを決定する方法を説明するための図である。図１８を参照して、外側の円は、色相（Ｈｕｅ）を表しており、また、中心から円周方向へ彩度をとっている。

カラー領域と、色合いを殆ど識別できない無彩色に近い色とを分離するのにしきい値Ｓｔｈとして０．２付近が適していることが実験的に解ったので、０．２を彩度の境界とする。内側の円は、彩度が０．２である境界を表し、０．２よりも彩度が低い領域は、ほぼ無彩色に近い色であり、０．２よりも彩度が高い領域は、有彩色として扱う。また、図中の×は、画素を表している。

２つの画素についてそれぞれ彩度Ｓ１，Ｓ２を演算し、その演算した２つの彩度Ｓ１，Ｓ２をしきい値Ｓｔｈ（＝０．２）と比較する。

そして、２つの彩度Ｓ１，Ｓ２の両方がしきい値Ｓｔｈ以下であるとき、２つの画素は、無彩色領域に属すると判定し（図１８の（ａ）の場合）、ＲＧＢ値のみに基づいて、式（４），（５）を用いて２つの画素間の結合重みを決定する。

また、２つの彩度Ｓ１，Ｓ２のうち、いずれか一方がしきい値Ｓｔｈ以下であるとき、２つの画素のうち、一方が無彩色領域に属し、他方が有彩色領域に属すると判定し（図１８の（ｂ）の場合）、ＲＧＢ値および彩度（Ｓ）を用いて２つの画素間の結合重みを決定する。

さらに、２つの彩度Ｓ１，Ｓ２の両方がしきい値Ｓｔｈよりも大きいとき、２つの画素の両方が有彩色領域に属すると判定し（図１８の（ｃ）の場合）、ＲＧＢ値および色相（Ｈ）を用いて２つの画素間の結合重みを決定する。

このように、この発明においては、実験的に求められたしきい値Ｓｔｈ（＝０．２）を用いて、２つの画素が無彩色領域および有彩色領域のいずれに属するかを決定する。これによって、２つの画素がどの領域に属するかを正確に決定できる。

また、しきい値Ｓｔｈ（＝０．２）は、人間が目視によって色合いを殆ど識別できない無彩色に近い色と、カラー領域とを分離するために実験的に求められたので、人間の実際の識別に沿って２つの画素がどの領域に属するかを正確に決定できる。

図１８の（ａ）に示す場合、結合重みをＨＳＶ色空間の色相（Ｈ）を用いて計算しても、無彩色領域では、色相が意味を持たないため、領域の分割精度の向上を期待できない。ＨＳＶ色空間の明度成分（Ｖ）を用いることも可能であるが、シミュレーションによりＲＧＢ値を用いた方が精度が向上するので、図１８の（ａ）に示す領域では、ＲＧＢ値のみを用いて結合重みを決定する。

また、図１８の（ｂ）に示す場合、図６に示すサンプル画像の人物の領域でリーダセルが見つかり、机の領域に領域が成長しており、無彩色領域からカラー領域へ領域が広がったために生じた分割ミスである。逆に、カラー領域から無彩色領域へ成長する場合もある。サンプル画像のように、人物と机の重なりによって発生する影の影響で色が徐々に変化し、はっきりとしたエッジが領域境界に現れない場合、ＲＧＢ値だけでは、分割は難しい。

この問題を解決するために、彩度（Ｓ）を用いて実験的に求めたＳ＝０．２の彩度境界をしきい値として、カラー領域（机領域）と無彩色領域（人物領域）との境界を検出することにした。

そして、２つの画素が無彩色領域と有彩色領域とに属する場合、彩度（Ｓ）を用いて無彩色領域と有彩色領域との境界を決定し、境界面に属する２つの画素間の結合重みを、ＲＧＢ値の計算で求めた結合重みの値よりも小さく設定することで、有彩色領域から無彩色領域へ、または無彩色領域から有彩色領域へ領域の成長を抑制する方向に結合重みを決定する。これによって、画像分割において、有彩色領域から無彩色領域へ、または無彩色領域から有彩色領域への領域の成長が抑制され、コントラストが低い入力画像に対しても、画像を正確に分割できる。

さらに、図１８の（ｃ）に示す場合、ＲＧＢ値を元に決定した画素間の結合重みでは、光の反射などにより明度および彩度に変化が生じた場合、画素間の各成分の差は大きくなるため、結合重みは小さい値になる。そのため、図７に示すサンプル画像では、同一領域をまとめて抽出することが困難であった。

そこで、明度および彩度が変化しても、色合いそのものは、さほど変化しないことに注目し、色相（Ｈ）を用いた色相判定を取り入れる。有彩色領域に属する画素同士の結合重みの決定には、まず、２つの画素の色相比較を行ない、色相の差があるしきい値以内であるか否か、つまり、２つの画素が同一色相とみなせる範囲であるか否かの判定を行なう。そして、同一色相であると判定した場合、ＲＧＢ値から決定した結合重みが小さいときは（つまり、反射などの影響でＲＧＢ色空間では差が大きいとき）、領域を助長する方向へ、より大きい結合重みを与える。これにより、類似色相に属する有彩色領域の画素同士は、領域が成長し易くなり、反射などにより明度および彩度が変化する領域を１領域としてまとめて抽出することができる。

図１８の（ａ），（ｂ），（ｃ）の各場合における具体的な結合重みの決定方法について説明する。

図１８の（ａ）に示す場合、結合重みは、式（４），（５）によりＲＧＢ値のみを用いて決定されるが、式（４），（５）を用いて結合重みを演算する回路をディジタル回路として実装する場合、除算器は、回路面積が大きく、複数のクロックサイクルを必要とすることから、この発明においては、デコーダを用いてテーブルマッピングによって結合重みを決定する。表１は、ＲＧＢ値のみを用いて結合重みを決定するときの変換テーブルを示す。

表１に示す変換テーブルは、注目画素（ｉ，ｊ）と近傍画素（ｋ，ｌ）との２画素のＲＧＢ値を用いて演算した明度Ｉ_ｉ，ｊと明度Ｉ_ｋ，ｌとの差の絶対値｜Ｉ_ｉ，ｊ−Ｉ_ｋ，ｌ｜と、結合重みとの対応関係を示す。

したがって、この発明においては、図１８の（ａ）に示す場合、２つの画素（ｉ，ｊ），（ｋ，ｌ）のＲＧＢ値に基づいて、２つの明度Ｉ_ｉ，ｊ，Ｉ_ｋ，ｌを演算し、その演算した２つの明度Ｉ_ｉ，ｊ，Ｉ_ｋ，ｌの差の絶対値｜Ｉ_ｉ，ｊ−Ｉ_ｋ，ｌ｜を演算し、その演算した絶対値｜Ｉ_ｉ，ｊ−Ｉ_ｋ，ｌ｜に対応する結合重みを表１を参照して抽出することにより、２つの画素（ｉ，ｊ），（ｋ，ｌ）の結合重みを決定する。

次に、図１８の（ｂ）に示す場合、領域が広がるのを抑制するために、ＲＧＢ色空間から表１の変換テーブルを用いて得られた結合重みよりも小さい結合重みを与える。

この場合、彩度境界（Ｓ＝０．２）をしきい値として無彩色と有彩色との２値に分別したとき、彩度境界付近の画素間の結合重みと、彩度境界から完全に離れた彩度の全く異なる画素間の結合重みとを同様の基準で扱わないように、結合重みを決定する。

図１９は、反射による画素値への影響を示す図である。また、図２０は、彩度境界を変化させたときの無彩色画素値の変化を示す図である。

図１９の（ａ）は、入力画像を示し、図１９の（ｂ）は、図１９の（ａ）に示す道路の画像を、彩度境界（Ｓ＝０．２）をしきい値として無彩色（０）と有彩色（１）とに２値化した画像を示し、図１９の（ｃ）は、画像分割の結果を示す。

図１９の（ｂ）から解るように、画像の道路部分は、実験的に求めた彩度境界（Ｓ＝０．２）を無彩色領域と有彩色領域との分別のしきい値として用いると、画像中央を境に同一領域が有彩色領域と無彩色領域とに分かれて分類されてしまう。その結果、図１９の（ｃ）に示すように、道路は、彩度境界を境に領域の成長が抑制され、分割画像は、ＲＧＢ色空間を用いた場合よりも精度が低下してしまう。

図２０を参照して、曲線ｋ１は、画像中にカラー領域を含む画像に対する無彩色画素数の変化を示し、曲線ｋ２は、画像中にカラー領域を含まないグレー画像に対する無彩色画素数の変化を示す。

図２０から解るように、カラー領域を含む画像は、彩度境界が５０〜６０付近（Ｓ＝０．２）を境に無彩色画素数が飽和している。一方、グレー画像の場合、無彩色画素数は、線形的に変化し続ける。

この結果から、彩度境界を挟む２つの画素間の結合重みを領域が成長しない領域まで急激に下げてしまうと、彩度境界によってうまく無彩色領域と有彩色領域とを分けることができなかった場合、グレー領域の分割精度が低下する。

そこで、彩度境界に近い画素同士に対しては、結合重みの下げ幅を小さくし、彩度境界から離れるに従って結合重みの下げ幅を大きくする。これによって、グレー領域の分割精度を向上できる。

図１８の（ｂ）に示す場合における結合重みの変換テーブルを表２に示す。

表２から解るように、絶対値｜Ｉ_ｉ，ｊ−Ｉ_ｋ，ｌ｜が００１ｘ＿ｘｘｘｘ，００００＿１ｘｘｘ，００００＿０１ｘｘ，００００＿００１ｘ，００００＿０００ｘである場合、結合重みは、彩度差｜Ｓ_ｉ，ｊ−Ｓ_ｋ，ｌ｜が大きくなるに従って、ＲＧＢ値のみを用いて決定した結合重み（表１参照）からの下げ幅を大きくして決定される。

最後に、図１８の（ｃ）に示す場合の具体的な結合重みの決定方法について説明する。カラー画像では、反射などの影響がない場合、ＲＧＢ色空間による結合重みの決定によって精度の高い領域分割結果が得られることが解っている。そのため、反射の影響を受けた画素間の結合重みに対してのみ、ＨＳＶ色空間を用いて結合重みを最適化することが好ましい。

そこで、Ｒ，Ｇ，Ｂの各成分が乱反射の影響によって連続画素間でどの程度変化するかをサンプル画像を用いて調べた。図２１は、Ｒ，Ｇ，Ｂの各成分の乱反射による影響を示す図である。

図２１の（ａ）は、評価に用いたサンプル画像を示し、図２１の（ｂ）は、図２１の（ａ）に示す線分Ａ−Ｂ間上の画素のＲ，Ｇ，Ｂ値の変化を示し、図２１の（ｃ）は、図２１の（ａ）に示す線分Ｃ−Ｄ間上の画素のＲ，Ｇ，Ｂ値の変化を示す。すなわち、図２１の（ｂ）は、光の反射の影響を受ける車のボディー領域の画素値の変化を示し、図２１の（ｃ）は、光の反射の影響を受けていない道路領域の画素値の変化を示す。

図２１を参照して、ボディー領域は、道路領域に比べ、連続画素間で画素値の変化が大きい。そして、光の反射による画素間の変化量は、３０から１００の間に集中していることが反射領域を持つサンプル画像から解った。つまり、画素値の差が非常に小さい領域、または、逆に画素値の差が非常に大きい領域は、光の反射による影響を受けていないと判定することにする。

そこで、この発明においては、色相（Ｈ）の評価結果を利用した結合重みの最適化を表１に示す０１ｘｘ＿ｘｘｘｘ，００１ｘ＿ｘｘｘｘ，０００１＿ｘｘｘｘに限定することで、ＲＧＢ値によるカラー領域の分割精度を保持しつつ、色相（Ｈ）によって精度を向上させることができる。

次に、２画素のＨｕｅ値の差を元に、表１の０１ｘｘ＿ｘｘｘｘ，００１ｘ＿ｘｘｘｘ，０００１＿ｘｘｘｘにおける結合重みをどの値まで引き上げるかを検討する。色相（Ｈ）の幅を大きく取り過ぎると、異なる色まで領域が成長してしまう。たとえば、色相の近い赤と橙色の画素値が同一色相として扱われると、２領域を分離することが困難になる。

逆に、色相（Ｈ）の幅を小さくし過ぎると、ＲＧＢ値から色相（Ｈ）への変換計算には、除算が必要であるため、回路面積が大きくなる。

そこで、実装面積と分割精度との両方を考慮してシミュレーションした結果、色相（Ｈ）の最小単位を４度に設定した場合、色相の近い色も分割できることが解った。

図２２は、赤の車のボディーのＨｕｅ値のヒストグラムを示す図である。また、図２３は、青の車のボディーのＨｕｅ値のヒストグラムを示す図である。

図２２および図２３を参照して、ヒストグラムの山を中心にして±１０度幅に殆どの画素が集中して抽出されている。また、画素間のＨｕｅ値の差は、同一領域（同一色）中では、約１０度以内と非常に変化量が小さい。

したがって、上述した実験の結果を考慮して、２画素間のＨｕｅ値の差｜Ｈ_ｉｊ−Ｈ_ｋｌ｜に対して、４度以下、５度以上８度以下、およびそれ以外の３つの判定条件を設けて、図１８の（ｃ）に示す場合の結合重みの変換テーブルを表３に示すように決定した。

このように、２つの画素の色相差が４度変化するごとに２つの画素間の結合重みを変化させる。そして、色相差が小さい程、大きな結合重みが与えられる。

図２４は、図２に示す重み計算ユニット１３２の構成図である。図２４を参照して、重み計算ユニット１３２は、結合重み演算回路１３２０と、色相差計算回路１３３０と、彩度差計算回路１３４０と、結合重み修正回路１３５０，１３６０と、セレクタ信号生成回路１３７０と、セレクタ１３８０とを含む。

結合重み演算回路１３２０は、Ｄラッチ回路１２２およびＦＩＦＯ回路１２３から受けた２つのＲＧＢ値に基づいて、表１を用いて２つの画素間の結合重みを演算し、その演算した結合重みを結合重み修正回路１３５０，１３６０およびセレクタ１３８０へ出力する。

結合重み演算回路１３２０は、絶対値演算器１３２１，１３２３，１３２５と、エンコーダ１３２２，１３２４，１３２６と、最小値選択回路１３２７とを含む。

絶対値演算器１３２１は、Ｄラッチ回路１２２およびＦＩＦＯ回路１２３から受けた２つのＲ値Ｒ_Ａ，Ｒ_Ｂに基づいて、明度Ｉ_Ａ（Ｒ），Ｉ_Ｂ（Ｒ）を演算し、その演算した明度Ｉ_Ａ（Ｒ），Ｉ_Ｂ（Ｒ）の差の絶対値｜Ｉ_Ａ（Ｒ）−Ｉ_Ｂ（Ｒ）｜を演算する。そして、絶対値演算器１３２１は、その演算した絶対値｜Ｉ_Ａ（Ｒ）−Ｉ_Ｂ（Ｒ）｜をエンコーダ１３２２へ出力する。

エンコーダ１３２２は、表１を保持しており、絶対値演算器１３２１から絶対値｜Ｉ_Ａ（Ｒ）−Ｉ_Ｂ（Ｒ）｜を受けると、表１を参照して、絶対値｜Ｉ_Ａ（Ｒ）−Ｉ_Ｂ（Ｒ）｜に対応する結合重みＷ_Ａ，Ｂ（Ｒ）を抽出し、その抽出した結合重みＷ_Ａ，Ｂ（Ｒ）を最小値選択回路１３２７へ出力する。

絶対値演算器１３２３は、Ｄラッチ回路１２２およびＦＩＦＯ回路１２３から受けた２つのＧ値Ｇ_Ａ，Ｇ_Ｂに基づいて、明度Ｉ_Ａ（Ｇ），Ｉ_Ｂ（Ｇ）を演算し、その演算した明度Ｉ_Ａ（Ｇ），Ｉ_Ｂ（Ｇ）の差の絶対値｜Ｉ_Ａ（Ｇ）−Ｉ_Ｂ（Ｇ）｜を演算する。そして、絶対値演算器１３２３は、その演算した絶対値｜Ｉ_Ａ（Ｇ）−Ｉ_Ｂ（Ｇ）｜をエンコーダ１３２４へ出力する。

エンコーダ１３２４は、表１を保持しており、絶対値演算器１３２３から絶対値｜Ｉ_Ａ（Ｇ）−Ｉ_Ｂ（Ｇ）｜を受けると、表１を参照して、絶対値｜Ｉ_Ａ（Ｇ）−Ｉ_Ｂ（Ｇ）｜に対応する結合重みＷ_Ａ，Ｂ（Ｇ）を抽出し、その抽出した結合重みＷ_Ａ，Ｂ（Ｇ）を最小値選択回路１３２７へ出力する。

絶対値演算器１３２５は、Ｄラッチ回路１２２およびＦＩＦＯ回路１２３から受けた２つのＢ値Ｂ_Ａ，Ｂ_Ｂに基づいて、明度Ｉ_Ａ（Ｂ），Ｉ_Ｂ（Ｂ）を演算し、その演算した明度Ｉ_Ａ（Ｂ），Ｉ_Ｂ（Ｂ）の差の絶対値｜Ｉ_Ａ（Ｂ）−Ｉ_Ｂ（Ｂ）｜を演算する。そして、絶対値演算器１３２５は、その演算した絶対値｜Ｉ_Ａ（Ｂ）−Ｉ_Ｂ（Ｂ）｜をエンコーダ１３２６へ出力する。

エンコーダ１３２６は、表１を保持しており、絶対値演算器１３２５から絶対値｜Ｉ_Ａ（Ｂ）−Ｉ_Ｂ（Ｂ）｜を受けると、表１を参照して、絶対値｜Ｉ_Ａ（Ｂ）−Ｉ_Ｂ（Ｂ）｜に対応する結合重みＷ_Ａ，Ｂ（Ｂ）を抽出し、その抽出した結合重みＷ_Ａ，Ｂ（Ｂ）を最小値選択回路１３２７へ出力する。

最小値選択回路１３２７は、エンコーダ１３２２，１３２４，１３２６からそれぞれ結合重みＷ_Ａ，Ｂ（Ｒ），Ｗ_Ａ，Ｂ（Ｇ），Ｗ_Ａ，Ｂ（Ｂ）を受け、その受けた３個の結合重みＷ_Ａ，Ｂ（Ｒ），Ｗ_Ａ，Ｂ（Ｇ），Ｗ_Ａ，Ｂ（Ｂ）の中から最小の結合重みＷ_Ａ，Ｂを選択する。そして、最小値選択回路１３２７は、その選択した結合重みＷ_Ａ，Ｂを結合重み修正回路１３５０，１３６０およびセレクタ１３８０へ出力する。

色相差計算回路１３３０は、図１４に示すＨｕｅビン番号の割当図を保持しており、Ｄラッチ回路１２７およびＦＩＦＯ回路１２８からそれぞれＨｕｅビン番号_ＡおよびＨｕｅビン番号_Ｂを受ける。そして、色相差計算回路１３３０は、図１４に示すＨｕｅビン番号の割当図を参照して、その受けたＨｕｅビン番号_ＡおよびＨｕｅビン番号_Ｂに対応するＨｕｅ値Ｈ_Ａ，Ｈ_Ｂを検出する。そうすると、色相差計算回路１３３０は、色相差｜Ｈ_Ａ−Ｈ_Ｂ｜を演算し、その演算した色相差｜Ｈ_Ａ−Ｈ_Ｂ｜を結合重み修正回路１３５０へ出力する。

彩度差計算回路１３４０は、図１６に示すＳビン番号の割当図を保持しており、Ｄラッチ回路１２７およびＦＩＦＯ回路１２８からそれぞれＳビン番号_ＡおよびＳビン番号_Ｂを受ける。そして、彩度差計算回路１３４０は、図１６に示すＳビン番号の割当図を参照して、その受けたＳビン番号_ＡおよびＳビン番号_Ｂに対応するＳ値Ｓ_Ａ，Ｓ_Ｂを検出する。この検出されたＳ値Ｓ_Ａ，Ｓ_Ｂは、２５６階調に規格化された値である。そうすると、彩度差計算回路１３４０は、彩度差｜Ｓ_Ａ−Ｓ_Ｂ｜を演算し、その演算した彩度差｜Ｓ_Ａ−Ｓ_Ｂ｜を結合重み修正回路１３６０へ出力する。

結合重み修正回路１３５０は、表３を保持しており、結合重み演算回路１３２０から結合重みＷ_Ａ，Ｂを受け、色相差計算回路１３３０から色相差｜Ｈ_Ａ−Ｈ_Ｂ｜を受ける。そして、結合重み修正回路１３５０は、表３を参照して、結合重みＷ_Ａ，Ｂに一致する絶対値｜Ｉ_ｉｊ−Ｉ_ｋｌ｜を抽出する。

その後、結合重み修正回路１３５０は、その抽出した絶対値｜Ｉ_ｉｊ−Ｉ_ｋｌ｜が表３に示す１ｘｘｘ＿ｘｘｘｘ，００００＿１ｘｘｘ，００００＿０１ｘｘ，００００＿００１ｘ，００００＿０００ｘのいずれかである場合、１ｘｘｘ＿ｘｘｘｘ，００００＿１ｘｘｘ，００００＿０１ｘｘ，００００＿００１ｘ，００００＿０００ｘに対応する結合重みＷ_Ａ，Ｂ＿Ｈを表３から抽出し、その抽出した結合重みＷ_Ａ，Ｂ＿Ｈをセレクタ３８０へ出力する。

また、結合重み修正回路１３５０は、その抽出した絶対値｜Ｉ_ｉｊ−Ｉ_ｋｌ｜が表３に示す０１ｘｘ＿ｘｘｘｘ，００１ｘ＿ｘｘｘｘ，０００１＿ｘｘｘｘのいずれかである場合、色相差｜Ｈ_Ａ−Ｈ_Ｂ｜が○以下であるか否かを判定し、色相差｜Ｈ_Ａ−Ｈ_Ｂ｜が○以下である場合、色相差｜Ｈ_Ａ−Ｈ_Ｂ｜が○以下の場合の結合重みＷ_Ａ，Ｂ＿Ｈ（○）を表３から抽出する。

より具体的には、結合重み修正回路１３５０は、その抽出した絶対値｜Ｉ_ｉｊ−Ｉ_ｋｌ｜が表３に示す０１ｘｘ＿ｘｘｘｘである場合、色相差｜Ｈ_Ａ−Ｈ_Ｂ｜が“４度”以下であるか否かを判定し、色相差｜Ｈ_Ａ−Ｈ_Ｂ｜が“４度”以下である場合、１６からなる結合重みＷ_Ａ，Ｂ＿Ｈを表３から抽出し、その抽出した結合重みＷ_Ａ，Ｂ＿Ｈ（＝１６）をセレクタ３８０へ出力する。一方、結合重み修正回路３５０は、色相差｜Ｈ_Ａ−Ｈ_Ｂ｜が“４度”以下でない場合、４からなる結合重みＷ_Ａ，Ｂ＿Ｈを表３から抽出し、その抽出した結合重みＷ_Ａ，Ｂ＿Ｈ（＝４）をセレクタ１３８０へ出力する。

また、結合重み修正回路１３５０は、その抽出した絶対値｜Ｉ_ｉｊ−Ｉ_ｋｌ｜が表３に示す００１ｘ＿ｘｘｘｘである場合、色相差｜Ｈ_Ａ−Ｈ_Ｂ｜が“４度”以下であるか否かを判定し、色相差｜Ｈ_Ａ−Ｈ_Ｂ｜が“４度”以下である場合、３２からなる結合重みＷ_Ａ，Ｂ＿Ｈを表３から抽出し、その抽出した結合重みＷ_Ａ，Ｂ＿Ｈ（＝３２）をセレクタ１３８０へ出力する。一方、結合重み修正回路１３５０は、色相差｜Ｈ_Ａ−Ｈ_Ｂ｜が“４度”以下でない場合、色相差｜Ｈ_Ａ−Ｈ_Ｂ｜が“８度”以下であるか否かをさらに判定し、色相差｜Ｈ_Ａ−Ｈ_Ｂ｜が“８度”以下である場合、１６からなる結合重みＷ_Ａ，Ｂ＿Ｈを表３から抽出し、その抽出した結合重みＷ_Ａ，Ｂ＿Ｈ（＝１６）をセレクタ１３８０へ出力する。一方、結合重み修正回路１３５０は、色相差｜Ｈ_Ａ−Ｈ_Ｂ｜が“８度”以下でない場合、８からなる結合重みＷ_Ａ，Ｂ＿Ｈを表３から抽出し、その抽出した結合重みＷ_Ａ，Ｂ＿Ｈ（＝８）をセレクタ１３８０へ出力する。

さらに、結合重み修正回路１３５０は、その抽出した絶対値｜Ｉ_ｉｊ−Ｉ_ｋｌ｜が表３に示す０００１＿ｘｘｘｘである場合、色相差｜Ｈ_Ａ−Ｈ_Ｂ｜が“４度”以下であるか否かを判定し、色相差｜Ｈ_Ａ−Ｈ_Ｂ｜が“４度”以下である場合、３２からなる結合重みＷ_Ａ，Ｂ＿Ｈを表３から抽出し、その抽出した結合重みＷ_Ａ，Ｂ＿Ｈ（＝３２）をセレクタ１３８０へ出力する。一方、結合重み修正回路１３５０は、色相差｜Ｈ_Ａ−Ｈ_Ｂ｜が“４度”以下でない場合、１６からなる結合重みＷ_Ａ，Ｂ＿Ｈを表３から抽出し、その抽出した結合重みＷ_Ａ，Ｂ＿Ｈ（＝１６）をセレクタ１３８０へ出力する。

結合重み修正回路１３６０は、表２を保持しており、結合重み演算回路１３２０から結合重みＷ_Ａ，Ｂを受け、彩度差計算回路１３４０から彩度差｜Ｓ_Ａ−Ｓ_Ｂ｜を受ける。そして、結合重み修正回路１３６０は、表２を参照して、結合重みＷ_Ａ，Ｂに一致する絶対値｜Ｉ_ｉｊ−Ｉ_ｋｌ｜を抽出する。

また、結合重み修正回路１３６０は、彩度差｜Ｓ_Ａ−Ｓ_Ｂ｜が“６”以下であるか否かを判定し、彩度差｜Ｓ_Ａ−Ｓ_Ｂ｜が“６”以下である場合、結合重みＷ_Ａ，Ｂに一致する絶対値｜Ｉ_ｉｊ−Ｉ_ｋｌ｜と、“ｉｆ≦６”とに対応する結合重みＷ_Ａ，Ｂ＿Ｓを表２から抽出し、その抽出した結合重みＷ_Ａ，Ｂ＿Ｓをセレクタ１３８０へ出力する。

一方、結合重み修正回路１３６０は、彩度差｜Ｓ_Ａ−Ｓ_Ｂ｜が“６”以下でない場合、彩度差｜Ｓ_Ａ−Ｓ_Ｂ｜が“９”以下であるか否かをさらに判定し、彩度差｜Ｓ_Ａ−Ｓ_Ｂ｜が“９”以下である場合、結合重みＷ_Ａ，Ｂに一致する絶対値｜Ｉ_ｉｊ−Ｉ_ｋｌ｜と、“ｅｌｓｅ ｉｆ≦９”とに対応する結合重みＷ_Ａ，Ｂ＿Ｓを表２から抽出し、その抽出した結合重みＷ_Ａ，Ｂ＿Ｓをセレクタ１３８０へ出力する。

一方、結合重み修正回路１３６０は、彩度差｜Ｓ_Ａ−Ｓ_Ｂ｜が“９”以下でない場合、彩度差｜Ｓ_Ａ−Ｓ_Ｂ｜が“１２”以下であるか否かをさらに判定し、彩度差｜Ｓ_Ａ−Ｓ_Ｂ｜が“１２”以下である場合、結合重みＷ_Ａ，Ｂに一致する絶対値｜Ｉ_ｉｊ−Ｉ_ｋｌ｜と、“ｅｌｓｅ ｉｆ≦１２”とに対応する結合重みＷ_Ａ，Ｂ＿Ｓを表２から抽出し、その抽出した結合重みＷ_Ａ，Ｂ＿Ｓをセレクタ１３８０へ出力する。

一方、結合重み修正回路１３６０は、彩度差｜Ｓ_Ａ−Ｓ_Ｂ｜が“１２”以下でない場合、結合重みＷ_Ａ，Ｂに一致する絶対値｜Ｉ_ｉｊ−Ｉ_ｋｌ｜と、“ｅｌｓｅ”とに対応する結合重みＷ_Ａ，Ｂ＿Ｓを表２から抽出し、その抽出した結合重みＷ_Ａ，Ｂ＿Ｓをセレクタ１３８０へ出力する。

セレクタ信号生成回路１３７０は、しきい値Ｓｔｈ（＝０．２）および図１６に示すＳビン番号の割当図を保持しており、Ｄラッチ回路１２７およびＦＩＦＯ回路１２８からそれぞれＳビン番号_ＡおよびＳビン番号_Ｂを受ける。そして、セレクタ信号生成回路１３７０は、図１６に示すＳビン番号の割当図を参照して、その受けたＳビン番号_ＡおよびＳビン番号_Ｂに対応するＳ値Ｓ_Ａ，Ｓ_Ｂを検出する。

そうすると、セレクタ信号生成回路１３７０は、その検出した２つのＳ値Ｓ_Ａ，Ｓ_Ｂをしきい値Ｓｔｈと比較する。そして、セレクタ信号生成回路１３７０は、２つのＳ値Ｓ_Ａ，Ｓ_Ｂの両方がしきい値Ｓｔｈ以下であるとき、結合重み演算回路１３２０から受けた結合重みＷ_Ａ，Ｂを選択するためのセレクタ信号ＳＥＬ＿ＲＧＢを生成し、その生成したセレクタ信号ＳＥＬ＿ＲＧＢをセレクタ１３８０へ出力する。

また、セレクタ信号生成回路１３７０は、２つのＳ値Ｓ_Ａ，Ｓ_Ｂのいずれか一方がしきい値Ｓｔｈ以下であるとき、結合重み修正回路１３６０から受けた結合重みＷ_Ａ，Ｂ＿Ｓを選択するためのセレクタ信号ＳＥＬ＿Ｓを生成し、その生成したセレクタ信号ＳＥＬ＿Ｓをセレクタ１３８０へ出力する。

さらに、セレクタ信号生成回路１３７０は、２つのＳ値Ｓ_Ａ，Ｓ_Ｂの両方がしきい値Ｓｔｈよりも大きいとき、結合重み修正回路１３５０から受けた結合重みＷ_Ａ，Ｂ＿Ｈを選択するためのセレクタ信号ＳＥＬ＿Ｈを生成し、その生成したセレクタ信号ＳＥＬ＿Ｈをセレクタ１３８０へ出力する。

セレクタ１３８０は、結合重み演算回路１３２０から結合重みＷ_Ａ，Ｂを受け、結合重み修正回路１３５０，１３６０からそれぞれ結合重みＷ_Ａ，Ｂ＿Ｈ，Ｗ_Ａ，Ｂ＿Ｓを受ける。そして、セレクタ１３８０は、セレクタ信号生成回路１３７０からセレクタ信号ＳＥＬ＿ＲＧＢを受けると、結合重みＷ_Ａ，Ｂを選択し、その選択した結合重みＷ_Ａ，Ｂを結合重みＣＷとして出力する。また、セレクタ１３８０は、セレクタ信号生成回路１３７０からセレクタ信号ＳＥＬ＿Ｓを受けると、結合重みＷ_Ａ，Ｂ＿Ｓを選択し、その選択した結合重みＷ_Ａ，Ｂ＿Ｓを結合重みＣＷとして出力する。さらに、セレクタ１３８０は、セレクタ信号生成回路１３７０からセレクタ信号ＳＥＬ＿Ｈを受けると、結合重みＷ_Ａ，Ｂ＿Ｈを選択し、その選択した結合重みＷ_Ａ，Ｂ＿Ｈを結合重みＣＷとして出力する。

図２に示す重み計算ユニット１３３は、図２４に示す重み計算ユニット１３２と同じ構成からなり、Ｄラッチ回路１２１，１２４から受けたＲＧＢ値ＲＧＢ_Ａ，ＲＧＢ_Ｂと、Ｄラッチ回路１２６，１２９から受けたＨｕｅビン番号_Ａ、Ｈｕｅビン番号_Ｂ、Ｓビン番号_Ａ、およびＳビン番号_Ｂに基づいて、重み計算ユニット１３２と同じ方法によって、結合重みＷ_Ａ，Ｂ，Ｗ_Ａ，Ｂ＿Ｈ，Ｗ_Ａ，Ｂ＿Ｓを演算し、その演算した結合重みＷ_Ａ，Ｂ，Ｗ_Ａ，Ｂ＿Ｈ，Ｗ_Ａ，Ｂ＿Ｓのいずれかを結合重みＣＷとして選択して出力する。

また、図２に示す重み計算ユニット１３４は、図２４に示す重み計算ユニット１３２と同じ構成からなり、Ｄラッチ回路１２４から受けたＲＧＢ値ＲＧＢ_Ａと、Ｄラッチ回路１２９から受けたＨｕｅビン番号_ＡおよびＳビン番号_Ａと、選択器１３０から受けたＲＧＢ値ＲＧＢ_Ｂ、Ｈｕｅビン番号_ＢおよびＳビン番号_Ｂとに基づいて、重み計算ユニット１３２と同じ方法によって、結合重みＷ_Ａ，Ｂ，Ｗ_Ａ，Ｂ＿Ｈ，Ｗ_Ａ，Ｂ＿Ｓを演算し、その演算した結合重みＷ_Ａ，Ｂ，Ｗ_Ａ，Ｂ＿Ｈ，Ｗ_Ａ，Ｂ＿Ｓのいずれかを結合重みＣＷとして選択して出力する。

さらに、図２に示す重み計算ユニット１３５は、図２４に示す重み計算ユニット１３２と同じ構成からなり、Ｄラッチ回路１２１から受けたＲＧＢ値ＲＧＢ_Ａと、Ｄラッチ回路１２６から受けたＨｕｅビン番号_ＡおよびＳビン番号_Ａと、選択器１３１から受けたＲＧＢ値ＲＧＢ_Ｂ、Ｈｕｅビン番号_ＢおよびＳビン番号_Ｂとに基づいて、重み計算ユニット１３２と同じ方法によって、結合重みＷ_Ａ，Ｂ，Ｗ_Ａ，Ｂ＿Ｈ，Ｗ_Ａ，Ｂ＿Ｓを演算し、その演算した結合重みＷ_Ａ，Ｂ，Ｗ_Ａ，Ｂ＿Ｈ，Ｗ_Ａ，Ｂ＿Ｓのいずれかを結合重みＣＷとして選択して出力する。

画像分割回路１３における画像の分割方法について説明する。図２５は、画像の分割方法を説明するための図である。画像分割回路１３は、領域成長型画像分割方法によって１つのフレームを各対象物の画像に分割する。

この領域成長型画像分割方法は、ＬＥＧＩＯＮモデル（D. L. Wang, and D. Terman, “Image segmentation based on oscillator correlation,” Neural Computation, Volume 9(4), pp. 805-836(1997).）の振動子ネットワークの各画素に対する振動子の振る舞いを自己発火（Ｓｅｌｆ−Ｅｘｃｉｔａｔｉｏｎ）、自己発火可能（Ｓｅｌｆ−Ｅｘｃｉｔａｂｌｅ）、発火（Ｅｘｃｉｔａｔｉｏｎ）および鎮火（Ｉｎｈｉｂｉｔｉｏｎ）という４つの状態で取り扱うものである。そして、この領域成長型画像分割方法は、初期化、自己発火、発火、および鎮火の４つのステップからなる。

画像分割回路１３は、図２５の（ａ）に示す３×３の構成からなる入力画像を受ける。そして、画像分割回路１３は、入力画像を構成する９個の画素における画素間の８個の結合重みＣＷ１〜ＣＷ８を結合重み決定回路１２から受け、その受けた８個の結合重みＣＷ１〜ＣＷ８を各画素間に対応付けてメモリに保持する。なお、図２５の（ｂ）においては、（２，２）の画素と周囲の画素との８個の結合重みが図示されている。

そうすると、画像分割回路１３は、メモリに保持された８個の結合重みＣＷ１〜ＣＷ８を読み出し、その読み出した８個の結合重みＣＷ１〜ＣＷ８の和ＳＵＭ（ＣＷ）を演算する。そして、画像分割回路１３は、その演算した和ＳＵＭ（ＣＷ）がリーダセルを決定するためのしきい値φ_Ｐよりも大きいか否かを判定する。なお、この出願においては、ＳＵＭは、数学におけるシグマ記号によって表される和を演算することを意味する。

画像分割回路１３は、和ＳＵＭ（ＣＷ）がしきい値φ_Ｐよりも大きいと判定したとき、結合重みの計算の中心となった画素をリーダセルに設定し、リーダセルフラグｐ_ｉｊ＝１を設定する。一方、画像分割回路３は、和ＳＵＭ（ＣＷ）がしきい値φ_Ｐ以下であると判定したとき、結合重みの計算の中心となった画素をリーダセルに設定せず、リーダセルフラグｐ_ｉｊ＝０を設定する。

画像分割回路１３は、この処理を入力画像の９個の画素の各々を結合重みの計算の中心となる画素に設定して実行し、リーダセルを決定する（図２５の（ｃ）参照）。

その後、画像分割回路１３は、リーダセルの１つを自己発火させる（発火フラグｘ_ｉｊ＝１）（図２５の（ｄ）参照）。そして、画像分割回路３は、各セル（ｉ，ｊ）に隣接する８個の画素に対応するセル（ｋ，ｌ）∈Ｎ_ｉｊが発火していれば、セル（ｉ，ｊ）とセル（ｋ，ｌ）との間の結合重みの和ＳＵＭ_{（ｋ，ｌ）∈Ｎｉｊ∧ｘｋｌ＝１}Ｗ_{ｉｊ；ｋｌ}を演算し、その演算した和ＳＵＭ_{（ｋ，ｌ）∈Ｎｉｊ∧ｘｋｌ＝１}Ｗ_{ｉｊ；ｋｌ}がしきい値φ_Ｚよりも大きく、かつ、まだ、セル（ｉ，ｊ）がどの分割領域にも属していない（ラベルフラグｌ_ｉｊ＝０）場合に、自動的に発火（ｘ_ｉｊ＝１）させる（引火・領域成長）（図２５の（ｅ）参照）。この引火処理によって、領域が広がっていき、図２５の（ｆ）に示すように、新たに発火するセルが存在しなくなると、１領域の分割が終了する。

その後、画像分割回路１３は、この分割された領域を保存するために、図２５の（ｇ）に示すように、発火しているセルへ分割領域識別のためのラベル番号を書き込み、発火したセルが既に分割されたセルであることを示すラベルフラグをセットし（ｌ_ｉｊ＝１）、鎮火処理（ｘ_ｉｊ＝０，ｐ_ｉｊ＝０）を行なう。

画像分割回路１３は、鎮火処理が終了すると、再び、次の領域の分割のための自己発火の処理に戻る。そして、画像分割回路１３は、リーダセルが存在しなくなるまで、上述した処理を繰り返し実行し、各領域を分割する。そして、画像分割回路１３は、全てのリーダセルが発火した後、全ての領域にラベル付けを行ない、１フレームの画像の分割を終了する（図２５の（ｈ）参照）。

図１に示す追跡ユニット２における動作について説明する。図２６は、追跡物体を得るための概念図である。図２６を参照して、画像分割ユニット１は、入力画像（図２６の（ａ）参照）を上述した方法によって複数の分割画像に分割し、その分割した複数の分割画像を追跡ユニット２へ出力する。

追跡ユニット２は、画像分割ユニット１の画像分割回路１３から複数の分割画像を受け、その受けた複数の分割画像によって表されている複数の分割物体を静止物体と移動物体とに分類する。より具体的には、追跡ユニット２は、ｔ−１（ｔは、２以上の整数）番目のフレームＦ（ｔ−１）を分割して得られた複数の分割画像ＤＧ１（ｔ−１）〜ＤＧｍ（ｔ−１）（ｍは２以上の整数）を画像分割回路１３から受けると、その受けた複数の分割画像ＤＧ１（ｔ−１）〜ＤＧｍ（ｔ−１）によって表される複数の分割物体ＯＪ１（ｔ−１）〜ＯＪｍ（ｔ−１）の特徴量を抽出して記憶する。この場合、追跡ユニット２は、特徴量として、各分割物体ＯＪ１（ｔ−１）〜ＯＪｍ（ｔ−１）の位置、サイズ（幅および高さ）、色（Ｒ，Ｇ，Ｂ）、面積および推定位置を抽出する。

その後、追跡ユニット２は、ｔ番目のフレームＦ（ｔ）を分割して得られた複数の分割画像ＤＧ１（ｔ）〜ＤＧｍ（ｔ）を画像分割回路１３から受けると、その受けた複数の分割画像ＤＧ１（ｔ）〜ＤＧｍ（ｔ）によって表される複数の分割物体ＯＪ１（ｔ）〜ＯＪｍ（ｔ）の特徴量を抽出して記憶する。

そうすると、追跡ユニット２は、内蔵した連想メモリによって、分割物体ＯＪ１（ｔ−１）〜ＯＪｍ（ｔ−１）の特徴量と分割物体ＯＪ１（ｔ）〜ＯＪｍ（ｔ）の特徴量とを用いて、分割物体ＯＪ１（ｔ−１）〜ＯＪｍ（ｔ−１）と分割物体ＯＪ１（ｔ）〜ＯＪｍ（ｔ）とのオブジェクトマッチングを行なう。たとえば、追跡ユニット２は、分割物体ＯＪ１（ｔ−１）〜ＯＪｍ（ｔ−１）の特徴量とのマンハッタン距離が最小となる特徴量を有する分割物体ＯＪ１（ｔ）〜ＯＪｍ（ｔ）を検出することによって分割物体ＯＪ１（ｔ−１）〜ＯＪｍ（ｔ−１）と分割物体ＯＪ１（ｔ）〜ＯＪｍ（ｔ）とのオブジェクトマッチングを行なう。

そして、追跡ユニット２は、オブジェクトマッチングした分割物体ＯＪ１（ｔ−１），ＯＪ１（ｔ）の位置に基づいて、分割物体ＯＪ１（ｔ）の動きベクトルＭＶ１（ｔ）を求める。追跡ユニット２は、分割物体ＯＪ２（ｔ）〜ＯＪｍ（ｔ）の各々についても、動きベクトルＭＶ２（ｔ）〜ＭＶｍ（ｔ）を求める。

その後、追跡ユニット２は、その求めた動きベクトルＭＶ１（ｔ）〜ＭＶｍ（ｔ）に基づいて、大きさが“１”以上である動きベクトルを有する分割物体を移動物体とし、大きさが“１”よりも小さい動きベクトルを有する分割物体を静止物体として分割物体ＯＪ１（ｔ）〜ＯＪｍ（ｔ）を移動物体と静止物体とに分類する。

引き続いて、追跡ユニット２は、移動物体が得られると（図２６の（ｂ）参照）、その得られた移動物体を後述する方法によってグループ化し、追跡物体（図２６の（ｃ）参照）を認識する。

追跡ユニット２は、新たなフレームを分割して得られた複数の分割画像を画像分割ユニット１の画像分割回路１３から受けるごとに、上述した方法によって、追跡物体を認識する。

図２７は、分割物体の動きベクトルおよび推定位置を求める方法を説明するための図である。図２７を参照して、追跡ユニット２は、複数の分割画像ＤＧ１（ｔ−１）〜ＤＧｍ（ｔ−１）を画像分割回路１３から受けると、その受けた複数の分割画像ＤＧ１（ｔ−１）〜ＤＧｍ（ｔ−１）の各々において、分割物体に内接するボックスＢｉを生成する。ボックスＢｉは、４個の頂点Ａ，Ｂ，Ｃ，Ｄを有し、図２７に示すｘ−ｙ座標系において、頂点Ａは、座標（Ｘ_ｘｍｉｎ，Ｙ_ｙｍｉｎ）を有し、頂点Ｂは、座標（Ｘ_ｘｍｉｎ，Ｙ_ｙｍａｘ）を有し、頂点Ｃは、座標（Ｘ_ｘｍａｘ，Ｙ_ｙｍａｘ）を有し、頂点Ｄは、座標（Ｘ_ｘｍａｘ，Ｙ_ｙｍｉｎ）を有する。

追跡ユニット２は、ボックスＢｉを生成すると、その生成したボックスＢｉの４個の頂点Ａ，Ｂ，Ｃ，Ｄの座標に基づいて、ボックスＢｉの中心位置を求め、その求めた中心位置を分割物体（＝Ｓｅｇｍｅｎｔ ｉ）の位置とする。また、追跡ユニット２は、ボックスＢｉの４個の頂点Ａ，Ｂ，Ｃ，Ｄの座標に基づいて、分割物体（＝Ｓｅｇｍｅｎｔ ｉ）のサイズ（幅および高さ）を求める。さらに、追跡ユニット２は、分割画像ＤＧ１（ｔ−１）〜ＤＧｍ（ｔ−１）の各々において、分割物体（＝Ｓｅｇｍｅｎｔ ｉ）のＲＧＢ値と面積とを検出する。

追跡ユニット２は、複数の分割画像ＤＧ１（ｔ）〜ＤＧｍ（ｔ）を画像分割回路１３から受けると、その受けた複数の分割画像ＤＧ１（ｔ）〜ＤＧｍ（ｔ）の各々において、同様にして、分割物体（＝Ｓｅｇｍｅｎｔ ｉ）の位置、サイズ（幅および高さ）、ＲＧＢ値、および面積を求める。

その後、追跡ユニット２は、上述したオブジェクトマッチングを行ない、分割画像ＤＧ１（ｔ−１）における分割物体ＯＪ１（ｔ−１）の位置と、分割画像ＤＧ１（ｔ）における分割物体ＯＪ１（ｔ）の位置とに基づいて、分割物体ＯＪ１（ｔ）の動きベクトルＭＶ１（ｔ）を求める。追跡ユニット２は、同様にして、分割物体ＯＪ２（ｔ）〜ＯＪｍ（ｔ）の動きベクトルＭＶ２（ｔ）〜ＭＶｍ（ｔ）を求める。

そうすると、追跡ユニット２は、その求めた動きベクトルＭＶ１（ｔ）〜ＭＶｍ（ｔ）を分割画像ＤＧ１（ｔ）〜ＤＧｍ（ｔ）における分割物体Ｓｅｇｍｅｎｔ＿１〜Ｓｅｇｍｅｎｔ＿ｍの位置に加算することによって分割物体Ｓｅｇｍｅｎｔ＿１〜Ｓｅｇｍｅｎｔ＿ｍの推定位置を求める。そして、追跡ユニット２は、分割物体（＝Ｓｅｇｍｅｎｔ ｉ）の位置、サイズ（幅および高さ）、ＲＧＢ値、面積および推定位置を分割物体（＝Ｓｅｇｍｅｎｔ ｉ）の特徴量として記憶する。

図２８は、分割物体のグループ化に必要なバウンディングボックスの定義を示す図である。図２８を参照して、追跡ユニット２は、上述した方法によってボックスＢｉを生成すると、その生成したボックスＢｉにマージンｍａｒｇｉｎを加えたボックスをバウンディングボックスＢＢｉとして定義する。

このバウンディングボックスＢＢｉは、図２８に示すｘ−ｙ座標系において、座標（Ｘ_ｘｍａｘ＋ｍａｒｇｉｎ，Ｙ_ｙｍｉｎ−ｍａｒｇｉｎ）からなる頂点Ｐ_{ｍａｘ，ｉ}と、座標（Ｘ_ｘｍｉｎ−ｍａｒｇｉｎ，Ｙ_ｙｍａｘ＋ｍａｒｇｉｎ）からなる頂点Ｐ_{ｍｉｎ，ｉ}とを有する。

このように、ボックスＢｉにマージンｍａｒｇｉｎを付加したボックスをバウンディングボックスＢＢｉとするのは、画像分割によって物体の境界部分の領域が本来の物体の境界部分の領域よりも粗くなり、分割物体が本来の大きさよりも縮小されるため、これを補完するためである。

ボックスＢｉの中心位置は、バウンディングボックスＢＢｉの中心位置と一致するので、分割物体（＝Ｓｅｇｍｅｎｔ ｉ）の位置は、バウンディングボックスＢＢｉの中心位置と一致する。したがって、動きベクトルＭＶは、バウンディングボックスＢＢｉの中心位置を起点として求められることになる。

追跡ユニット２は、分割画像ＤＧ１（ｔ）〜ＤＧｍ（ｔ）における分割物体ＯＪ１（ｔ）〜ＯＪｍ（ｔ）のバウンディングボックスＢＢ１〜ＢＢｍを求めると、分割物体ＯＪ１（ｔ）〜ＯＪｍ（ｔ）を移動物体と静止物体とに分類し、移動物体に分類された分割物体のいずれかを注目物体ＳＯＪとして選択するとともに、注目物体ＳＯＪに類似する分割物体を残りの移動物体（移動物体ＭＯＪ１（ｔ）〜ＭＯＪｎ（ｔ）≠ＳＯＪ）から検出する。

この場合、追跡ユニット２は、注目物体ＳＯＪの動きベクトルに類似する動きベクトルを有し、かつ、注目物体ＳＯＪのバウンディングボックスと交差するバウンディングボックスを有する分割物体を注目物体ＳＯＪに類似する物体として検出する。

そして、追跡ユニット２は、２つの動きベクトルが類似するか否かを次の方法によって判定する。すなわち、追跡ユニット２は、２つの動きベクトルの差を演算し、その演算した差がしきい値以下であるとき、２つの動きベクトルが類似すると判定し、その演算した差がしきい値よりも大きいとき、２つの動きベクトルが類似しないと判定する。

図２９は、バウンディングボックスの交差を示す概念図である。図２９を参照して、バウンディングボックスＢＢ１は、頂点ｍａｘ１，ｍｉｎ１を有し、バウンディングボックスＢＢ２は、頂点ｍａｘ２，ｍｉｎ２を有する。

そして、頂点ｍａｘ１のｘ座標ｍａｘ１＿ｘが頂点ｍｉｎ２のｘ座標ｍｉｎ２＿ｘ以上であり（ｍａｘ１＿ｘ≧ｍｉｎ２＿ｘ）、かつ、頂点ｍｉｎ１のｘ座標ｍｉｎ１＿ｘが頂点ｍａｘ２のｘ座標ｍａｘ２＿ｘ以下であり（ｍｉｎ１＿ｘ≦ｍａｘ２＿ｘ）、かつ、頂点ｍａｘ１のｙ座標ｍａｘ１＿ｙが頂点ｍｉｎ２のｙ座標ｍｉｎ２＿ｙ以上であり（ｍａｘ１＿ｙ≧ｍｉｎ２＿ｙ）、かつ、頂点ｍｉｎ１のｙ座標ｍｉｎ１＿ｙが頂点ｍａｘ２のｙ座標ｍａｘ２＿ｙ以下であるとき（ｍｉｎ１＿ｙ≦ｍａｘ２＿ｙ）、２つのバウンディングボックスＢＢ１，ＢＢ２は、相互に交差する。

したがって、追跡ユニット２は、ｍａｘ１＿ｘ≧ｍｉｎ２＿ｘ、ｍｉｎ１＿ｘ≦ｍａｘ２＿ｘ、ｍａｘ１＿ｙ≧ｍｉｎ２＿ｙおよびｍｉｎ１＿ｙ≦ｍａｘ２＿ｙの４個の不等式が同時に成立するとき、２つのバウンディングボックスＢＢ１，ＢＢ２が交差すると判定し、ｍａｘ１＿ｘ≧ｍｉｎ２＿ｘ、ｍｉｎ１＿ｘ≦ｍａｘ２＿ｘ、ｍａｘ１＿ｙ≧ｍｉｎ２＿ｙおよびｍｉｎ１＿ｙ≦ｍａｘ２＿ｙの４個の不等式の少なくとも１つが成立しないとき、２つのバウンディングボックスＢＢ１，ＢＢ２が交差しないと判定する。

追跡ユニット２は、まず、上述した方法によって、注目物体ＳＯＪのバウンディングボックスが注目物体ＳＯＪ以外の他の分割物体のバウンディングボックスと交差するか否かを判定する。そして、追跡ユニット２は、注目物体ＳＯＪのバウンディングボックスが他の分割物体のバウンディングボックスと交差しないと判定したとき、他の分割物体が注目物体ＳＯＪに類似しないと判定する。

一方、追跡ユニット２は、注目物体ＳＯＪのバウンディングボックスが他の移動物体のバウンディングボックスと交差すると判定したとき、注目物体ＳＯＪの動きベクトルと他の移動物体の動きベクトルとが類似するか否かをさらに判定する。そして、追跡ユニット２は、注目物体ＳＯＪの動きベクトルと他の移動物体の動きベクトルとが類似するとき、他の移動物体が注目物体ＳＯＪに類似すると判定し、注目物体ＳＯＪおよび他の移動物体に同じグループ番号を与えて注目物体ＳＯＪおよび他の移動物体をグループ化する。

一方、追跡ユニット２は、注目物体ＳＯＪの動きベクトルと他の移動物体の動きベクトルとが類似しないとき、他の移動物体が注目物体ＳＯＪに類似しないと判定する。

追跡ユニット２は、この処理を注目物体ＳＯＪと、注目物体ＳＯＪ以外の他の移動物体の全てとについて実行し、グループ化を行なう。

追跡ユニット２は、たとえば、図２６の（ｂ）に示す車の３個の窓および車の天井からなる４個の移動物体を上述した方法によってグループ化し、追跡対象である車（図２６の（ｃ）参照）を認識する。

図３０は、この発明の実施の形態による物体追跡方法を説明するためのフローチャートである。

図３０を参照して、物体追跡の動作が開始されると、物体追跡装置１０の画像分割ユニット１は、フレームを読み込み（ステップＳ１）、その読み込んだフレームを上述した方法によって画像分割する（ステップＳ２）。そして、画像分割ユニット１は、その分割した分割画像を追跡ユニット２へ出力する。

追跡ユニット２は、画像分割ユニット１から分割画像を受け、その受けた分割画像に表された各分割物体の特徴量を抽出し（ステップＳ３）、その抽出した特徴量を記憶する。

そして、追跡ユニット２は、処理をしているフレームが１番目のフレームか否かを判定し（ステップＳ４）、処理をしているフレームが１番目のフレームであるとき、フレームの読込が有るか否かをさらに判定する（ステップＳ５）。

ステップＳ５において、フレームの読込が無いと判定されたとき、一連の動作は、終了する。

一方、ステップＳ５において、フレームの読込が有ると判定されたとき、一連の動作は、ステップＳ２へ戻り、上述したステップＳ２〜ステップＳ５が繰返し実行される。

一方、ステップＳ４において、処理しているフレームが１番目のフレームでないと判定されたとき、追跡ユニット２は、上述した方法によって、フレーム間における各分割物体のオブジェクトマッチングを行なう（ステップＳ６）。そして、追跡ユニット２は、オブジェクトマッチングされた分割物体の動きベクトルを求め、その求めた動きベクトルを分割物体の位置に加算して分割物体の推定位置を計算する（ステップＳ７）。

その後、追跡ユニット２は、動きベクトルおよびバウンディングボックスを用いてグループ化を行ない（ステップＳ８）、グループ情報を出力する（ステップＳ９）。

そして、追跡ユニット２は、フレームの読込が有るか否かを判定する（ステップＳ１０）。ステップＳ１０において、フレームの読込が有ると判定されたとき、一連の動作は、ステップＳ２へ戻り、ステップＳ１０において、フレームの読込が無いと判定されるまで、上述したステップＳ２〜ステップＳ１０が繰返し実行される。

そして、ステップＳ１０において、フレームの読込が無いと判定されたとき、一連の動作は、終了する。

図３１は、図３０のステップＳ２の詳細な動作を説明するためのフローチャートである。図３１を参照して、図３０のステップＳ１の後、画素値検出回路１１は、ｎ×ｎ（ｎは、２以上の整数）からなる入力画像の各画素ＧＥ_ｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）のＲＧＢ値ＲＧＢ_ｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）を検出し（ステップＳ２１）、その検出した各画素のＲＧＢ値ＲＧＢ_ｉｊを結合重み決定回路１２へ出力する。

結合重み決定回路１２は、画素値検出回路１１から各画素ＧＥ_ｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）のＲＧＢ値ＲＧＢ_ｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）を受け、その受けた各画素ＧＥ_ｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）のＲＧＢ値ＲＧＢ_ｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）を上述した方法によって色相Ｈ_ｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）および彩度Ｓ_ｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）に変換し、ＲＧＢ値ＲＧＢ_ｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）、色相Ｈ_ｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）および彩度Ｓ_ｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）に基づいて、各画素間の結合重みＷ_{ｉｊ；ｋｌ}（１≦ｉ≦ｎ，１≦ｊ≦ｎ，１≦ｋ≦ｎ，１≦ｌ≦ｎ）を決定する（ステップＳ２２）。そして、結合重み決定回路１２は、その決定した各画素間の結合重みＷ_{ｉｊ；ｋｌ}（１≦ｉ≦ｎ，１≦ｊ≦ｎ，１≦ｋ≦ｎ，１≦ｌ≦ｎ）を画像分割回路１３へ出力する。

画像分割回路１３は、外部から入力画像を受け、結合重み決定回路１２から各画素間の結合重みＷ_{ｉｊ；ｋｌ}（１≦ｉ≦ｎ，１≦ｊ≦ｎ，１≦ｋ≦ｎ，１≦ｌ≦ｎ）を受ける。そして、画像分割回路１３は、その受けた各画素間の結合重みＷ_{ｉｊ；ｋｌ}（１≦ｉ≦ｎ，１≦ｊ≦ｎ，１≦ｋ≦ｎ，１≦ｌ≦ｎ）を用いて１フレームの画像を分割する（ステップＳ２３）。そして、一連の動作は、図３０のステップＳ３へ移行する。

図３２は、図３１に示すステップＳ２２の詳細な動作を説明するためのフローチャートである。なお、図３２においては、図３に示す画素ＧＥ１を画素ＧＥ_ｉｊとし、画素ＧＥ２を画素ＧＥ_ｋｌとし、画素ＧＥ３を画素ＧＥ_{ｉ＋１，ｊ}とし、画素ＧＥ４を画素ＧＥ_{ｋ＋１，ｌ}としてステップＳ２の詳細な動作を説明する。

図３２を参照して、図３１に示すステップＳ２１の後、結合重み決定回路１２は、画素値検出回路１１から複数の画素ＧＥ_ｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）の複数のＲＧＢ値ＲＧＢ_ｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）を順次受ける。そして、結合重み決定回路１２は、ｉ＝１，ｊ＝１，ｋ＝１，ｌ＝１を設定する（ステップＳ２２１）。

そして、結合重み決定回路１２は、入力画像の複数の画素ＧＥ_ｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）のうち、画素値検出回路１１から順次入力される隣接する２つの画素ＧＥ_ｉｊ，ＧＥ_ｋｌ（１≦ｋ≦ｎ，１≦ｌ≦ｎ）を選択する（ステップＳ２２２）。

その後、結合重み決定回路１２は、ＨＳ変換回路１２５によって、画素ＧＥ_ｉｊのＲＧＢ値ＲＧＢ_ｉｊを上述した方法によって色相Ｈ_ｉｊおよび彩度Ｓ_ｉｊに変換し（ステップＳ２２３）、画素ＧＥ_ｋｌのＲＧＢ値ＲＧＢ_ｋｌを上述した方法によって色相Ｈ_ｋｌおよび彩度Ｓ_ｋｌに変換する（ステップＳ２２４）。

そして、結合重み決定回路１２において、４組の隣接画素ＧＥ_ｉｊ，ＧＥ_ｋｌ；ＧＥ_{ｉ＋１，ｊ}，ＧＥ_ｋｌ；ＧＥ_ｉｊ，ＧＥ_{ｋ＋１，ｌ}；ＧＥ_{ｉ＋１，ｊ}，ＧＥ_{ｋ＋１，ｌ}のＲＧＢ値が色相および彩度に変換されたか否かが判定される（ステップＳ２２５）。

ステップＳ２２５において、４組の隣接画素ＧＥ_ｉｊ，ＧＥ_ｋｌ；ＧＥ_{ｉ＋１，ｊ}，ＧＥ_ｋｌ；ＧＥ_ｉｊ，ＧＥ_{ｋ＋１，ｌ}；ＧＥ_{ｉ＋１，ｊ}，ＧＥ_{ｋ＋１，ｌ}のＲＧＢ値が色相および彩度に変換されていないと判定されたとき、ｉ，ｋのいずれかまたは両方が“１”だけ変化される（ステップＳ２２６）。その後、一連の動作は、ステップＳ２２２へ戻り、ステップＳ２２５において、４組の隣接画素ＧＥ_ｉｊ，ＧＥ_ｋｌ；ＧＥ_{ｉ＋１，ｊ}，ＧＥ_ｋｌ；ＧＥ_ｉｊ，ＧＥ_{ｋ＋１，ｌ}；ＧＥ_{ｉ＋１，ｊ}，ＧＥ_{ｋ＋１，ｌ}のＲＧＢ値が色相および彩度に変換されたと判定されるまで、ステップＳ２２２〜ステップＳ２２６が繰り返し実行される。

そして、ステップＳ２２５において、４組の隣接画素ＧＥ_ｉｊ，ＧＥ_ｋｌ；ＧＥ_{ｉ＋１，ｊ}，ＧＥ_ｋｌ；ＧＥ_ｉｊ，ＧＥ_{ｋ＋１，ｌ}；ＧＥ_{ｉ＋１，ｊ}，ＧＥ_{ｋ＋１，ｌ}のＲＧＢ値が色相および彩度に変換されたと判定されると、結合重み決定回路１２の４個の重み計算ユニット１３２〜１３５は、平行して隣接画素間の結合重みを決定する（ステップＳ２２７〜ステップＳ２３０）。

この場合、重み計算ユニット１３２は、画素ＧＥ_ｋｌ，ＧＥ_{ｉ＋１，ｊ}間の結合重みＷ_{ｋ，ｌ；ｉ＋１，ｊ}を決定し、重み計算ユニット１３３は、画素ＧＥ_ｉｊ，ＧＥ_{ｋ＋１，ｌ}間の結合重みＷ_{ｉｊ；ｋ＋１，ｌ}を決定し、重み計算ユニット１３４は、画素ＧＥ_ｉｊ，ＧＥ_ｋｌ間の結合重みＷ_{ｉｊ；ｋｌ}を決定し、重み計算ユニット１３５は、画素ＧＥ_{ｉ＋１，ｊ}，ＧＥ_{ｋ＋１，ｌ}間の結合重みＷ_{ｉ＋１，ｊ；ｋ＋１，ｌ}を決定する。

ステップＳ２２７〜ステップＳ２３０の後、結合重み決定回路１２において、ｉ＝ｎ、かつ、ｊ＝ｎであるか否かが判定され（ステップＳ２３１）、ｉ＝ｎ、かつ、ｊ＝ｎでないとき、ｉ，ｊのいずれかまたは両方が“１”だけ変化され（ステップＳ２３２）、ｋ＝１およびｌ＝１が設定される（ステップＳ２３３）。

その後、一連の動作は、ステップＳ２２２へ戻り、ステップＳ２３１において、ｉ＝ｎ、かつ、ｊ＝ｎであると判定されるまで、ステップＳ２２２〜ステップＳ２３３が繰り返し実行される。

そして、ステップＳ２３１において、ｉ＝ｎ、かつ、ｊ＝ｎであると判定されると、一連の動作は、図３１のステップＳ２３へ移行する。

図３３は、図３２に示すステップＳ２２７の詳細な動作を説明するためのフローチャートである。図３３を参照して、図３２のステップＳ２２５の“ＹＥＳ”の後、重み計算ユニット１３２の結合重み演算回路１３２０は、ＦＩＦＯ回路１２３から受けたＲＧＢ値ＲＧＢ_ｋｌと、Ｄラッチ回路１２２から受けたＲＧＢ値ＲＧＢ_{ｉ＋１，ｊ}とに基づいて、上述した方法によって、画素ＧＥ_ｋｌ，ＧＥ_{ｉ＋１，ｊ}間の結合重みＷ_{ｉ＋１，ｊ；ｋｌ}＿ＲＧＢを決定し、その決定した結合重みＷ_{ｉ＋１，ｊ；ｋｌ}＿ＲＧＢを結合重み修正回路１３５０，１３６０およびセレクタ１３８０へ出力する。

また、色相差計算回路１３３０は、ＦＩＦＯ回路１２８から画素ＧＥ_ｋｌのＨｕｅビン番号_Ａを受け、Ｄラッチ回路１２７から画素ＧＥ_{ｉ＋１，ｊ}のＨｕｅビン番号_Ｂを受ける。そして、色相差計算回路１３３０は、図１４に示すＨｕｅビン番号の割当図を参照して、Ｈｕｅビン番号_Ａに対応する色相Ｈ_ｋｌを抽出し、Ｈｕｅビン番号_Ｂに対応する色相Ｈ_{ｉ＋１，ｊ}を抽出する。

そうすると、色相差計算回路１３３０は、色相Ｈ_ｋｌと色相Ｈ_{ｉ＋１，ｊ}との色相差｜Ｈ_ｋｌ−Ｈ_{ｉ＋１，ｊ}｜を演算し、その演算した色相差｜Ｈ_ｋｌ−Ｈ_{ｉ＋１，ｊ}｜を結合重み修正回路１３５０へ出力する。

結合重み修正回路１３５０は、色相差計算回路１３３０から色相差｜Ｈ_ｋｌ−Ｈ_{ｉ＋１，ｊ}｜を受け、結合重み演算回路１３２０から結合重みＷ_{ｉ＋１，ｊ；ｋｌ}＿ＲＧＢを受ける。そして、結合重み修正回路１３５０は、表３を参照して、結合重みＷ_{ｉ＋１，ｊ；ｋｌ}＿ＲＧＢおよび色相差｜Ｈ_ｋｌ−Ｈ_{ｉ＋１，ｊ}｜に基づいて、上述した方法によって結合重みＷ_{ｉ＋１，ｊ；ｋｌ}＿Ｈを抽出し、その抽出した結合重みＷ_{ｉ＋１，ｊ；ｋｌ}＿Ｈをセレクタ１３８０へ出力する。

さらに、彩度差計算回路１３４０は、ＦＩＦＯ回路１２８から画素ＧＥ_ｋｌのＳビン番号_Ａを受け、Ｄラッチ回路１２７から画素ＧＥ_{ｉ＋１，ｊ}のＳビン番号_Ｂを受ける。

そして、彩度差計算回路１３４０は、図１６に示すＳビン番号の割当図を参照して、Ｓビン番号_Ａに対応する彩度Ｓ_ｋｌを抽出し、Ｓビン番号_Ｂに対応する彩度Ｓ_{ｉ＋１，ｊ}を抽出する。

そうすると、彩度差計算回路１３４０は、彩度Ｓ_ｋｌと彩度Ｓ_{ｉ＋１，ｊ}との彩度差｜Ｓ_ｋｌ−Ｓ_{ｉ＋１，ｊ}｜を演算し、その演算した彩度差｜Ｓ_ｋｌ−Ｓ_{ｉ＋１，ｊ}｜を結合重み修正回路１３６０へ出力する。

結合重み修正回路１３６０は、彩度差計算回路１３４０から彩度差｜Ｓ_ｋｌ−Ｓ_{ｉ＋１，ｊ}｜を受け、結合重み演算回路１３２０から結合重みＷ_{ｉ＋１，ｊ；ｋｌ}＿ＲＧＢを受ける。そして、結合重み修正回路１３６０は、表２を参照して、結合重みＷ_{ｉ＋１，ｊ；ｋｌ}＿ＲＧＢおよび彩度差｜Ｓ_ｋｌ−Ｓ_{ｉ＋１，ｊ}｜に基づいて、上述した方法によって結合重みＷ_{ｉ＋１，ｊ；ｋｌ}＿Ｓを抽出し、その抽出した結合重みＷ_{ｉ＋１，ｊ；ｋｌ}＿Ｓをセレクタ１３８０へ出力する。

一方、重み計算ユニット１３２のセレクタ信号生成回路１３７０は、ＦＩＦＯ回路１２８から画素ＧＥ_ｋｌのＳビン番号_Ａを受け、Ｄラッチ回路１２７から画素ＧＥ_{ｉ＋１，ｊ}のＳビン番号_Ｂを受ける。

そして、セレクタ信号生成回路１３７０は、図１６に示すＳビン番号の割当図を参照して、Ｓビン番号_Ａに対応する彩度Ｓ_ｋｌを抽出し、Ｓビン番号_Ｂに対応する彩度Ｓ_{ｉ＋１，ｊ}を抽出する。

そうすると、セレクタ信号生成回路１３７０は、彩度Ｓ_{ｉ＋１，ｊ}がしきい値Ｓ_ｔｈ（＝０．２）以下であり、かつ、彩度Ｓ_ｋｌがしきい値Ｓ_ｔｈ（＝０．２）以下であるか否かを判定する（ステップＳ２２７１）。

ステップＳ２２７１において、彩度Ｓ_{ｉ＋１，ｊ}がしきい値Ｓ_ｔｈ（＝０．２）以下であり、かつ、彩度Ｓ_ｋｌがしきい値Ｓ_ｔｈ（＝０．２）以下であると判定されたとき、セレクタ信号生成回路１３７０は、セレクタ信号ＳＥＬ＿ＲＧＢを生成し、その生成したセレクタ信号ＳＥＬ＿ＲＧＢをセレクタ１３８０へ出力する。

セレクタ１３８０は、結合重み演算回路１３２０から結合重みＷ_{ｉ＋１，ｊ；ｋｌ}＿ＲＧＢを受け、結合重み修正回路１３５０から結合重みＷ_{ｉ＋１，ｊ；ｋｌ}＿Ｈを受け、結合重み修正回路１３６０から結合重みＷ_{ｉ＋１，ｊ；ｋｌ}＿Ｓを受ける。そして、セレクタ１３８０は、セレクタ信号生成回路１３７０からセレクタ信号ＳＥＬ＿ＲＧＢを受けると、セレクタ信号ＳＥＬ＿ＲＧＢに応じて、３個の結合重みＷ_{ｉ＋１，ｊ；ｋｌ}＿ＲＧＢ，Ｗ_{ｉ＋１，ｊ；ｋｌ}＿Ｈ，Ｗ_{ｉ＋１，ｊ；ｋｌ}＿Ｓから結合重みＷ_{ｉ＋１，ｊ；ｋｌ}＿ＲＧＢを選択し、その選択した結合重みＷ_{ｉ＋１，ｊ；ｋｌ}＿ＲＧＢを結合重みＷ_{ｉ＋１，ｊ；ｋｌ}と決定する。つまり、重み計算ユニット１３２は、ＲＧＢ値ＲＧＢ_{ｉ＋１，ｊ}，ＲＧＢ_ｋｌによって結合重みＷ_{ｉ＋１，ｊ；ｋｌ}を決定する（ステップＳ２２７２）。そして、重み計算ユニット１３２は、その決定した結合重みＷ_{ｉ＋１，ｊ；ｋｌ}を画像分割回路１３へ出力する。

一方、ステップＳ２２７１において、彩度Ｓ_{ｉ＋１，ｊ}がしきい値Ｓ_ｔｈ（＝０．２）以下であり、かつ、彩度Ｓ_ｋｌがしきい値Ｓ_ｔｈ（＝０．２）以下でないと判定されたとき、セレクタ信号生成回路１３７０は、彩度Ｓ_{ｉ＋１，ｊ}，Ｓ_ｋｌの一方のみがしきい値Ｓ_ｔｈ（＝０．２）以下であるか否かをさらに判定する（ステップＳ２２７３）。

そして、ステップＳ２２７３において、彩度Ｓ_{ｉ＋１，ｊ}，Ｓ_ｋｌの一方のみがしきい値Ｓ_ｔｈ（＝０．２）以下であると判定されたとき、セレクタ信号生成回路１３７０は、セレクタ信号ＳＥＬ＿Ｓを生成し、その生成したセレクタ信号ＳＥＬ＿Ｓをセレクタ１３８０へ出力する。

セレクタ１３８０は、セレクタ信号生成回路１３７０からセレクタ信号ＳＥＬ＿Ｓを受けると、セレクタ信号ＳＥＬ＿Ｓに応じて、３個の結合重みＷ_{ｉ＋１，ｊ；ｋｌ}＿ＲＧＢ，Ｗ_{ｉ＋１，ｊ；ｋｌ}＿Ｈ，Ｗ_{ｉ＋１，ｊ；ｋｌ}＿Ｓから結合重みＷ_{ｉ＋１，ｊ；ｋｌ}＿Ｓを選択し、その選択した結合重みＷ_{ｉ＋１，ｊ；ｋｌ}＿Ｓを結合重みＷ_{ｉ＋１，ｊ；ｋｌ}と決定する。つまり、重み計算ユニット１３２は、ＲＧＢ値ＲＧＢ_{ｉ＋１，ｊ}，ＲＧＢ_ｋｌおよび彩度Ｓ_{ｉ＋１，ｊ}，Ｓ_ｋｌによって結合重みＷ_{ｉ＋１，ｊ；ｋｌ}を決定する（ステップＳ２２７４）。そして、重み計算ユニット１３２は、その決定した結合重みＷ_{ｉ＋１，ｊ；ｋｌ}を画像分割回路１３へ出力する。

一方、ステップＳ２２７３において、彩度Ｓ_{ｉ＋１，ｊ}，Ｓ_ｋｌの一方のみがしきい値Ｓ_ｔｈ（＝０．２）以下でないと判定されたとき、セレクタ信号生成回路１３７０は、セレクタ信号ＳＥＬ＿Ｈを生成し、その生成したセレクタ信号ＳＥＬ＿Ｈをセレクタ１３８０へ出力する。

セレクタ１３８０は、セレクタ信号生成回路１３７０からセレクタ信号ＳＥＬ＿Ｈを受けると、セレクタ信号ＳＥＬ＿Ｈに応じて、３個の結合重みＷ_{ｉ＋１，ｊ；ｋｌ}＿ＲＧＢ，Ｗ_{ｉ＋１，ｊ；ｋｌ}＿Ｈ，Ｗ_{ｉ＋１，ｊ；ｋｌ}＿Ｓから結合重みＷ_{ｉ＋１，ｊ；ｋｌ}＿Ｈを選択し、その選択した結合重みＷ_{ｉ＋１，ｊ；ｋｌ}＿Ｈを結合重みＷ_{ｉ＋１，ｊ；ｋｌ}と決定する。つまり、重み計算ユニット１３２は、ＲＧＢ値ＲＧＢ_{ｉ＋１，ｊ}，ＲＧＢ_ｋｌおよび色相Ｈ_{ｉ＋１，ｊ}，Ｈ_ｋｌによって結合重みＷ_{ｉ＋１，ｊ；ｋｌ}を決定する（ステップＳ２２７５）。そして、重み計算ユニット１３２は、その決定した結合重みＷ_{ｉ＋１，ｊ；ｋｌ}を画像分割回路１３へ出力する。

そうすると、ステップＳ２２７２，Ｓ２２７４，Ｓ２２７５のいずれかの後、一連の動作は、図３２のステップＳ２３１へ移行する。

なお、ステップＳ２２７４は、ＲＧＢ値ＲＧＢ_{ｉ＋１，ｊ}，ＲＧＢ_ｋｌのみによって結合重みＷ_{ｉ＋１，ｊ；ｋｌ}＿ＲＧＢを決定するステップと、その決定した結合重みＷ_{ｉ＋１，ｊ；ｋｌ}＿ＲＧＢを彩度Ｓ_{ｉ＋１，ｊ}，Ｓ_ｋｌの彩度差｜Ｓ_{ｉ＋１，ｊ}−Ｓ_ｋｌ｜に応じて小さくするステップとからなる。

また、ステップＳ２２７５は、ＲＧＢ値ＲＧＢ_{ｉ＋１，ｊ}，ＲＧＢ_ｋｌのみによって結合重みＷ_{ｉ＋１，ｊ；ｋｌ}＿ＲＧＢを決定するステップと、その決定した結合重みＷ_{ｉ＋１，ｊ；ｋｌ}＿ＲＧＢを色相Ｈ_{ｉ＋１，ｊ}，Ｈ_ｋｌの色相差｜Ｈ_{ｉ＋１，ｊ}−Ｈ_ｋｌ｜に応じて大きくするステップとからなる。

さらに、図３２に示すステップＳ２２８〜ステップ２３０の各々における詳細な動作も、図３３に示すステップＳ２２７１〜ステップＳ２２７５によって実行される。

図３４は、図３１に示すステップＳ２３の詳細な動作を説明するためのフローチャートである。図３４を参照して、図３１に示すステップＳ２２の後、画像分割回路１３は、結合重み決定回路１２から１フレームを構成する複数の画素における各画素間の結合重みを受けるとともに、上述した方法によって、リーダセルを決定する（ステップＳ２３１）。

そして、画像分割回路１３は、自己発火可能なセルを検出したか否かを判定し（ステップＳ２３２）、自己発火可能なセルを検出したと判定したとき、上述した方法によって自己発火を行なう（ステップＳ２３３）。

その後、画像分割回路１３は、発火セルが存在するか否かを判定し（ステップＳ２３４）、発火セルが存在するとき、上述した方法によって周囲へ引火（領域成長）を行なう（ステップＳ２３５）。そして、一連の動作は、ステップＳ２３４へ戻り、ステップＳ２３４において、発火セルが存在しなくなるまで、ステップＳ２３４，Ｓ２３５が繰り返し実行される。

ステップＳ２３４において、発火セルが存在しないと判定されると、画像分割回路１３は、上述した方法によって、引火終了・領域決定を行なうとともに、ラベル付け（鎮火）を行なう（ステップＳ２３６）。その後、一連の動作は、ステップＳ２３２へ戻り、ステップＳ２３２において、自己発火可能なセルが検出されないと判定されるまで、ステップＳ２３２〜ステップＳ２３６が繰り返し実行される。

そして、ステップＳ２３２において、自己発火可能なセルが検出されないと判定されると、一連の動作は、図３０のステップＳ３へ移行する。

なお、物体追跡装置１０の画像分割ユニット１は、図３１（図３２〜図３４）に示すフローチャートを繰り返し実行し、各フレームを各対象物の画像に分割する。

図３５は、図３０のステップＳ８の詳細な動作を説明するためのフローチャートである。図３５を参照して、図３０のステップＳ７の後、追跡ユニット２は、記憶している各オブジェクト（＝対象物）の特徴量に基づいて、全てのオブジェクト間の特徴量の差を計算し（ステップＳ８１）、グループ番号の付いていないオブジェクトを探索する（ステップＳ８２）。

そして、追跡ユニット２は、グループ番号の付いていないオブジェクトが有るか否かを判定する（ステップＳ８３）。

ステップＳ８３において、グループ番号の付いていないオブジェクトが有ると判定されたとき、追跡ユニット２は、グループ番号の付いていないオブジェクトの中から注目オブジェクトを決定し（ステップＳ８４）、その決定した注目オブジェクトにグループ番号を付ける（ステップＳ８５）。

その後、追跡ユニット２は、ステップＳ８１において計算した全てのオブジェクト間の特徴量の差に基づいて、注目オブジェクトの特徴量との差がしきい値以下であるオブジェクトを検出することによって、注目オブジェクトに類似するオブジェクトを検出する。そして、追跡ユニット２は、その検出したオブジェクトに注目オブジェクトと同じグループ番号を付ける（ステップＳ８６）。

引き続いて、追跡ユニット２は、ステップＳ８６における方法と同じ方法によって、グループ番号を付けられたオブジェクトに類似するオブジェクトを検出し、その検出したオブジェクトに注目オブジェクトと同じグループ番号を付ける（ステップＳ８７）。

その後、一連の動作は、ステップＳ８３へ戻り、ステップＳ８３において、グループ番号の付いていないオブジェクトが無いと判定されるまで、上述したステップＳ８３〜ステップＳ８７が繰返し実行される。

そして、ステップＳ８３において、グループ番号の付いていないオブジェクトが無いと判定されると、一連の動作は、図３０のステップＳ９へ移行する。

図３５に示すフローチャートにおいて、ステップＳ８３の“ＹＥＳ”→ステップＳ８４→ステップＳ８５→ステップＳ８６→ステップＳ８７→ステップＳ８３からなるループが１回目に実行されると、１つの注目オブジェクトに類似する全てのオブジェクトが検出され、その検出された全てのオブジェクトおよび注目オブジェクトが同じグループ番号によってグループ化される。

そして、ステップＳ８３の“ＹＥＳ”→ステップＳ８４→ステップＳ８５→ステップＳ８６→ステップＳ８７→ステップＳ８３からなるループが２回目に実行されると、１回目と異なる注目オブジェクトに類似する全てのオブジェクトが検出され、その検出された全てのオブジェクトおよび注目オブジェクトが同じグループ番号によってグループ化される。

したがって、ステップＳ８３において、グループ番号の付いていないオブジェクトが無いと判定されるまで、ステップＳ８３の“ＹＥＳ”→ステップＳ８４→ステップＳ８５→ステップＳ８６→ステップＳ８７→ステップＳ８３からなるループが繰返し実行されると、ステップＳ８３の“ＹＥＳ”→ステップＳ８４→ステップＳ８５→ステップＳ８６→ステップＳ８７→ステップＳ８３からなるループが実行された回数と同じ数のグループ化されたオブジェクト（＝追跡物体）が生成される。

そして、追跡ユニット２は、図３０のステップＳ９において、各グループ番号が付与されたオブジェクト（＝追跡物体）をグループ情報として出力する。

上述したように、物体追跡装置１０は、画像分割ユニット１によって、隣接する２つの画素の２つの彩度の両方がしきい値Ｓ_ｔｈ以下であるとき、２つの画素のＲＧＢ値のみによって２つの画素間の結合重みを決定し（ステップＳ２２７２参照）、２つの彩度の一方のみがしきい値Ｓ_ｔｈ以下であるとき、２つの画素のＲＧＢ値および彩度によって２つの画素間の結合重みを決定し（ステップＳ２２７４参照）、２つの画素の２つの彩度の両方がしきい値Ｓ_ｔｈよりも大きいとき、２つのＲＧＢ値および色相によって結合重みを決定し（ステップＳ２２７５参照）、その決定した結合重みを用いて各フレームを分割する。そして、物体追跡装置１０は、画像分割ユニット１によって分割された複数の分割画像中の複数のオブジェクトを追跡ユニット２によってグループ化して追跡物体を認識し、追跡する。

したがって、１つのフレームに含まれる複数のオブジェクトの画像に１つのフレームを分割しても、追跡物体を容易に認識でき、追跡物体を容易に追跡できる。

また、物体追跡装置１０は、コントラストの低いカラー画像または光の反射による影響があるカラー画像における画素間の結合重みを正確に決定でき、無彩色領域と有彩色領域とに属するとき画素を有する物体、および有彩色領域に属する画素を有する物体を正確に分割でき、その正確に分割した分割物体に基づいて追跡物体を正確にグループ化できる。その結果、追跡物体を正確に追跡できる。

追跡物体の別の追跡方法について説明する。この別の追跡方法が用いられる場合、追跡ユニット２は、フレームＦ（ｔ）における分割物体のグループ化において、フレームＦ（ｔ−１）における分割物体のグループ化の結果を用いる。

図３６は、グループ化における問題点を説明するための図である。図３６を参照して、２台の車両が重なる場合（＝２つの物体が重なる場合）、バウンディングボックスの形状が変形し、動きベクトルに影響を与え、１台の車両および交通標識が静止物体グループとなり、交通標識の一部、１台の車両、および認識不可能な２つの物体が移動物体グループにグループ化される場合がある。

そこで、このようなグループ化の失敗をなくすために、この発明の実施の形態においては、追跡ユニット２は、好ましくは、前フレームにおけるグループ化の結果を用いて現フレームにおけるグループ化を行なう。

図３７は、前フレームにおけるグループ化の結果を示す図である。図３７を参照して、前フレームＦ（ｔ−１）においては、交通標識、一方の車両、および他方の車両がそれぞれ１つのグループにグループ化されている。

図３８は、別の追跡方法において使用されるグループ化の方法を説明するための図である。図３８においては、図３７に示す車両ＣＡＲのフレームＦ（ｔ）におけるグループ化について説明する。

図３８を参照して、バウンディングボックスＢＢｉ（ｔ）は、フレームＦ（ｔ）において注目している注目オブジェクトＯＪｉ（ｔ）のバウンディングボックスであり、バウンディングボックスＢＢｉ＋１（ｔ）は、フレームＦ（ｔ）において注目オブジェクトＯＪｉ（ｔ）に類似するオブジェクトＯＪｉ＋１（ｔ）のバウンディングボックスである。

また、バウンディングボックスＢＢｉ（ｔ−１）は、注目オブジェクトＯＪｉ（ｔ）とマッチングしたフレームＦ（ｔ−１）における注目オブジェクトＯＪｉ（ｔ−１）のバウンディングボックスであり、バウンディングボックスＢＢｉ＋１（ｔ−１）は、オブジェクトＯＪｉ＋１（ｔ）とマッチングしたフレームＦ（ｔ−１）におけるオブジェクトＯＪｉ＋１（ｔ−１）のバウンディングボックスである。

さらに、バウンディングボックスＢＢ（ｔ−１）は、フレームＦ（ｔ−１）においてグループ化された物体（車両ＣＡＲ）のバウンディングボックスの集合体である（図３８の（ａ）参照）。

追跡ユニット２は、フレームＦ（ｔ）における注目オブジェクトＯＪｉ（ｔ）と、フレームＦ（ｔ−１）におけるオブジェクトＯＪｉ（ｔ−１）とのオブジェクトマッチングを行なうとともに、フレームＦ（ｔ）におけるオブジェクトＯＪｉ＋１（ｔ）と、フレームＦ（ｔ−１）におけるオブジェクトＯＪｉ＋１（ｔ−１）とのオブジェクトマッチングを行なう。

そして、追跡ユニット２は、そのオブジェクトマッチングしたフレームＦ（ｔ−１），Ｆ（ｔ）の２つのオブジェクトＯＪｉ（ｔ），ＯＪｉ（ｔ−１）およびＯＪｉ＋１（ｔ），ＯＪｉ＋１（ｔ−１）に基づいて、フレームＦ（ｔ−１），Ｆ（ｔ）間の動きベクトルを求める。

また、追跡ユニット２は、フレームＦ（ｔ−１）におけるオブジェクトＯＪｉ（ｔ−１），ＯＪｉ＋１（ｔ−１）をグループ化した物体（＝車両ＣＡＲ）のバウンディングボックスＢＢ（ｔ−１）を検出する。

そうすると、追跡ユニット２は、バウンディングボックスＢＢ（ｔ−１）にフレームＦ（ｔ−１），Ｆ（ｔ）間の動きベクトルを加算して、フレームＦ（ｔ）においてグループ化されるべき物体（＝車両ＣＡＲ）のバウンディングボックスＢＢ（ｔ）を求める（図３８の（ｂ）参照）。

その後、追跡ユニット２は、その求めたバウンディングボックスＢＢ（ｔ）とバウンディングボックスＢＢｉ（ｔ），ＢＢｉ＋１（ｔ）とが重なるか否かを判定する。

そして、追跡ユニット２は、バウンディングボックスＢＢ（ｔ）とバウンディングボックスＢＢｉ（ｔ），ＢＢｉ＋１（ｔ）とが重なるとき（図３８の（ｃ）参照）、バウンディングボックスＢＢｉ（ｔ），ＢＢｉ＋１（ｔ）が相互に類似するか否かを判定し、バウンディングボックスＢＢｉ（ｔ），ＢＢｉ＋１（ｔ）が相互に類似するとき、オブジェクトＯＪｉ（ｔ），ＯＪｉ＋１（ｔ）に同じグループ番号を付与する。

図３９は、この発明の実施の形態による他の物体追跡方法を説明するためのフローチャートである。

図３９を参照して、物体追跡の動作が開始されると、物体追跡装置１０の画像分割ユニット１は、フレームを読み込み（ステップＳ３１）、その読み込んだフレームを上述した方法によって画像分割する（ステップＳ３２）。そして、画像分割ユニット１は、その分割した分割画像を追跡ユニット２へ出力する。

追跡ユニット２は、画像分割ユニット１から分割画像を受け、その受けた分割画像に表された各分割物体の特徴量を抽出し（ステップＳ３３）、その抽出した特徴量を記憶する。

そして、追跡ユニット２は、処理をしているフレームが１番目のフレームか否かを判定し（ステップＳ３４）、処理をしているフレームが１番目のフレームであるとき、フレームの読込が有るか否かをさらに判定する（ステップＳ３５）。

ステップＳ３５において、フレームの読込が無いと判定されたとき、一連の動作は、終了する。

一方、ステップＳ３５において、フレームの読込が有ると判定されたとき、一連の動作は、ステップＳ３２へ戻り、上述したステップＳ３２〜ステップＳ３５が繰返し実行される。

一方、ステップＳ３４において、処理しているフレームが１番目のフレームでないと判定されたとき、追跡ユニット２は、上述した方法によって、フレーム間における各分割物体（＝各オブジェクト）のオブジェクトマッチングを行なう（ステップＳ３６）。そして、追跡ユニット２は、オブジェクトがマッチングされた各オブジェクトの動きベクトルを求め、その求めた動きベクトルを用いて各オブジェクトの推定位置を計算する（ステップＳ３７）。

そして、追跡ユニット２は、フレーム間差分を演算し（ステップＳ３８）、その演算したフレーム間差分に基づいて、移動物体と静止物体とを判別する（ステップＳ３９）。

その後、追跡ユニット２は、現在処理しているフレームがフレーム（２）であるか否かを判定する（ステップＳ４０）。

ステップＳ４０において、現在処理しているフレームがフレーム（２）であると判定されたとき、追跡ユニット２は、フレーム（２）の情報を用いてオブジェクトをグループ化する（ステップＳ４１）。

一方、ステップＳ４０において、現在処理しているフレームがフレーム（２）でないと判定されたとき、追跡ユニット２は、フレーム（ｔ−１）のグループ化結果とフレーム（ｔ）の情報とを用いてオブジェクトをグループ化する（ステップＳ４２）。

そして、ステップＳ４１またはステップＳ４２の後、追跡ユニット２は、グループ化結果を出力し（ステップＳ４３）、フレームの読込があるか否かを判定する（ステップＳ４４）。

ステップＳ４４において、フレームの読込があると判定されたとき、一連の動作は、ステップＳ３２へ戻り、ステップＳ４４において、フレームの読込が無いと判定されるまで、上述したステップＳ３２〜ステップＳ４４が繰返し実行される。

そして、ステップＳ４４において、フレームの読込が無いと判定されると、一連の動作は、終了する。

なお、図３９に示すステップＳ３２の詳細な動作は、図３１（図３２〜図３４）に示すフローチャートに従って実行される。

また、図３９に示すステップＳ４１の詳細な動作は、図３５に示すフローチャートに従って実行される。そして、ステップＳ４１において、フレーム（２）の情報を用いてオブジェクトのグループ化が行なわれるのは、未だ、グループ化が行なわれていないため、前フレームにおけるグループ化結果を利用できないからである。

さらに、図３９に示すフローチャートにおいては、フレーム間差分を演算して移動物体と静止物体とを判別すると説明したが（ステップＳ３８，Ｓ３９）、この発明の実施の形態においては、これに限らず、ステップＳ３８において、動きベクトルを演算し、ステップＳ３９において、その演算した動きベクトルを用いて移動物体と静止物体とを判別してもよい。

図４０は、図３９に示すステップＳ４２の詳細な動作を説明するためのフローチャートである。

図４０を参照して、図３９に示すステップＳ４０の“ＮＯ”の後、追跡ユニット２は、移動物体の特徴量を読み込み（ステップＳ４２１）、グループ済みフラグが“１”であるか否かを判定する（ステップＳ４２２）。

ステップＳ４２２において、グループ済みフラグが“１”でないと判定されたとき、追跡ユニット２は、新しいグループ番号を付ける（ステップＳ４２３）。

そして、ステップＳ４２２において、グループ済みフラグが“１”であると判定されたとき、またはステップＳ４２３の後、追跡ユニット２は、オブジェクトのグループ番号を更新し、注目オブジェクトの特徴量と他のオブジェクトの特徴量との差を演算する（ステップＳ４２４）。

その後、追跡ユニット２は、上述した方法によって、注目オブジェクトのバウンディングボックスと、他のオブジェクトのバウンディングボックスとが重なるか否かを判定する（ステップＳ４２５）。

ステップＳ４２５において、注目オブジェクトのバウンディングボックスと、他のオブジェクトのバウンディングボックスとが重ならないと判定されたとき、一連の動作は、ステップＳ４３１へ移行する。

一方、ステップＳ４２５において、注目オブジェクトのバウンディングボックスと、他のオブジェクトのバウンディングボックスとが重なると判定されたとき、追跡ユニット２は、上述した方法によって、フレーム（ｔ−１）でマッチングした物体（＝オブジェクト）のグループのバウンディングボックスと、物体（＝注目オブジェクトおよび他のオブジェクト）のバウンディングボックスとが重なるか否かをさらに判定する（ステップＳ４２６）。

ステップＳ４２６において、フレーム（ｔ−１）でマッチングした物体（＝オブジェクト）のグループのバウンディングボックスと、物体（＝注目オブジェクトおよび他のオブジェクト）のバウンディングボックスとが重なると判定されたとき、追跡ユニット２は、注目オブジェクトのバウンディングボックスと、他のオブジェクトのバウンディングボックスとの高さおよび幅が類似するか否かをさらに判定する（ステップＳ４２７）。この場合、追跡ユニット２は、注目オブジェクトのバウンディングボックスの高さと、他のオブジェクトのバウンディングボックスの高さとの差がしきい値以下であり、かつ、注目オブジェクトのバウンディングボックスの幅と、他のオブジェクトのバウンディングボックスの幅との差がしきい値以下であるとき、注目オブジェクトのバウンディングボックスと、他のオブジェクトのバウンディングボックスとの高さおよび幅が類似すると判定する。また、追跡ユニット２は、注目オブジェクトのバウンディングボックスの高さと、他のオブジェクトのバウンディングボックスの高さとの差がしきい値よりも大きいか、または、注目オブジェクトのバウンディングボックスの幅と、他のオブジェクトのバウンディングボックスの幅との差がしきい値よりも大きいとき、注目オブジェクトのバウンディングボックスと、他のオブジェクトのバウンディングボックスとの高さおよび幅が類似しないと判定する。

ステップＳ４２７において、注目オブジェクトのバウンディングボックスと、他のオブジェクトのバウンディングボックスとの高さおよび幅が類似すると判定されたとき、追跡ユニット２は、注目オブジェクトの動きベクトルと、他のオブジェクトの動きベクトルとの差を演算し、その演算した動きベクトルの差がしきい値Ｍｖｔｈ２よりも小さいか否かをさらに判定する（ステップＳ４２８）。このしきい値Ｍｖｔｈ２は、たとえば、“１０”である。

ステップＳ４２８において、動きベクトルの差がしきい値Ｍｖｔｈ２以上であると判定されたとき、一連の動作は、ステップＳ４２４へ戻る。

一方、ステップＳ４２６において、フレーム（ｔ−１）でマッチングした物体（＝オブジェクト）のグループのバウンディングボックスと、物体（＝注目オブジェクトおよび他のオブジェクト）のバウンディングボックスとが重ならないと判定されたとき、またはステップＳ４２７において、注目オブジェクトのバウンディングボックスと、他のオブジェクトのバウンディングボックスとの高さおよび幅が類似しないと判定されたとき、追跡ユニット２は、注目オブジェクトの動きベクトルと、他のオブジェクトの動きベクトルとの差を演算し、その演算した動きベクトルの差がしきい値Ｍｖｔｈ１よりも小さいか否かをさらに判定する（ステップＳ４２９）。このしきい値Ｍｖｔｈ１は、たとえば、“５”である。

ステップＳ４２９において、動きベクトルの差がしきい値Ｍｖｔｈ１以上であると判定されたとき、一連の動作は、ステップＳ４３１へ移行する。

一方、ステップＳ４２８において、動きベクトルの差がしきい値Ｍｖｔｈ２よりも小さいと判定されたとき、またはステップＳ４２９において、動きベクトルの差がしきい値Ｍｖｔｈ１よりも小さいと判定されたとき、追跡ユニット２は、注目オブジェクトおよび他のオブジェクトに同じグループ番号を付け、グループ済みフラグを“１”に設定する（ステップＳ４３０）。しきい値Ｍｖｔｈ２は、しきい値Ｍｖｔｈ１よりも大きい。

そして、ステップＳ４２５において、注目オブジェクトのバウンディングボックスと、他のオブジェクトのバウンディングボックスとが重ならないと判定されたとき、またはステップＳ４２９において、動きベクトルの差がしきい値Ｍｖｔｈ１以上であると判定されたとき、またはステップＳ４３０の後、追跡ユニット２は、注目オブジェクトと、全ての移動オブジェクトとを比較したか否かを判定する（ステップＳ４３１）。

ステップＳ４３１において、注目オブジェクトと、全ての移動オブジェクトとを比較していないと判定されたとき、一連の動作は、ステップＳ４２４へ戻る。

一方、ステップＳ４３１において、注目オブジェクトと、全ての移動オブジェクトとを比較したと判定されたとき、追跡ユニット２は、移動オブジェクトのグループ済みフラグを全て調べたか否かをさらに判定する（ステップＳ４３２）。

ステップＳ４３２において、移動オブジェクトのグループ済みフラグを全て調べていないと判定されたとき、一連の動作は、ステップＳ４２２へ戻る。

一方、ステップＳ４３２において、移動オブジェクトのグループ済みフラグを全て調べたと判定されたとき、追跡ユニット２は、グループ化情報を出力する（ステップＳ４３３）。そして、一連の動作は、図３９のステップＳ４３へ移行する。

なお、ステップＳ４３１において、注目オブジェクトと全ての移動オブジェクトとを比較したと判定されるまで、ステップＳ４２４〜ステップＳ４３１が実行されると、１つの注目オブジェクトと、その注目オブジェクトに類似するオブジェクトとがグループ化される。

また、ステップＳ４３２において、移動オブジェクトのグループ済みフラグを全て調べたと判定されるまで、ステップＳ４２２〜ステップＳ４３２が実行されると、全ての追跡物体がグループ化される。

図３９に示すフローチャートは、フレーム（２）において、オブジェクトをグループ化する場合、フレーム（２）における情報も用いてオブジェクトをグループ化し（ステップＳ４１および図３５参照）、フレーム（３）以降において、オブジェクトをグループ化する場合、前フレームにおけるグループ化情報と現フレームの情報とを用いてオブジェクトをグループ化する（ステップＳ４２および図４０参照）。

したがって、図３９に示すフローチャートに従って物体を追跡することによって、３番目以降のフレームにおけるオブジェクトのグループ化において、前フレームにおけるグループ化情報も用いてオブジェクトをグループ化できるため、図３６において説明したグループ化の失敗を回避できる。その結果、各追跡物体を正確に認識できる。

図４１は、図３９および図４０に示すフローチャートに従ってオブジェクトをグループ化した結果を示す図である。

図４１を参照して、入力画像は、フレームｔ、フレームｔ＋１およびフレームｔ＋２からなる（図４１の（ａ）参照）。そして、フレームｔ＋１におけるグループ化は、フレームｔにおけるグループ化情報を用いた行なわれ、フレームｔ＋２におけるグループ化は、フレームｔ＋１におけるグループ化情報と現フレームの情報とを用いて行なわれた（図３９のステップＳ４２および図４０参照）。

その結果、フレームｔ＋１およびフレームｔ＋２の両方において、グループ化が成功しており、図３６において説明したグループ化の失敗を回避できることが実証された。

なお、上記においては、画像分割ユニット１は、入力画像の各画素のＲＧＢ値、色相および彩度を用いて各画素間の結合重みを決定し、その決定した結合重みを用いた入力画像を各オブジェクトの画像に分割すると説明したが、この発明の実施の形態においては、これに限らず、画像分割ユニット１は、入力画像の各画素のＲＧＢ値のみを用いて各画素間の結合重みを決定し、その決定した結合重みを用いた入力画像を各オブジェクトの画像に分割してもよく、一般的には、分割方法を問わず、入力画像を各オブジェクトの画像に分割すればよい。

また、上述した実施の形態１においては、物体追跡装置１０は、ソフトウェアまたはハードウェアによっても実現可能である。物体追跡装置１０がソフトウェアによって実現される場合、上述した画像分割ユニット１（画素値検出回路１、結合重み決定回路１２および画像分割回路１３）および追跡ユニット２の各機能は、典型的には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）がコンピュータプログラムを実行することによって実現される。そして、このコンピュータプログラムは、携帯端末内のＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に予め格納されているか、外部からダウンロードされて携帯端末内の不揮発メモリに格納される。

また、物体追跡装置１０がハードウェアによって実現される場合、上述した画像分割ユニット１（画素値検出回路１、結合重み決定回路１２および画像分割回路１３）および追跡ユニット２の機能は、ＣＰＵ、ＲＡＭ（Ｒａｎｄｕｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭおよび不揮発性メモリ等のハードウェア資源と組み合わせることによって、集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）によって実現される。そして、画像分割ユニット１（画素値検出回路１、結合重み決定回路１２および画像分割回路１３）および追跡ユニット２の機能は、個別に１チップ化されてもよいし、いくつかのまとまった単位で１チップ化されてもよい。また、集積回路は、ＬＳＩに限るものではなく、専用回路または汎用プロセッサによって実現されてもよい。さらに、集積回路は、ＬＳＩの製作後にプログラムを格納可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはＬＳＩ内部の回路セルの接続や設定を再構成することが可能なリコンフィギュラブル・プロセッサが利用されてもよい。さらに、画像分割ユニット１（画素値検出回路１、結合重み決定回路１２および画像分割回路１３）および追跡ユニット２の機能は、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術（バイオ技術、有機化学技術等）が登場すれば、当然、その技術を用いて集積化されてもよい。なお、集積回路は、その集積度の違いによって、ＩＣ、システムＬＳＩ、スーパーＬＳＩおよびウルトラＬＳＩ等と呼称されることもある。

このように、物体追跡装置１０は、ソフトウェアまたはハードウェアによっても実現可能であるので、この発明の実施の形態においては、上述した画素値検出回路１１は、「画素値検出部」を構成し、結合重み決定回路１２は、「結合重み決定部」を構成し、画像分割回路１３は、「画像分割部」を構成する。

追跡ユニット２は、追跡物体認識部と、グループ化部とを含む。そして、追跡物体認識部は、画像分割ユニット１によって生成された複数の分割画像領域を静止物体を示す複数の静止物体画像領域と移動物体を示す複数の移動物体画像領域とに分類する。また、グループ化部は、追跡物体認識部によって分類された移動物体画像領域を所定の類似性に基づいてグループ化する。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

この発明は、複数の対象物からなる追跡物体を追跡容易な物体追跡装置に適用される。また、この発明は、複数の対象物からなる追跡物体を追跡容易な物体追跡方法に適用される。

この発明の実施の形態による物体追跡装置の構成を示す概略ブロック図である。 図１に示す結合重み決定回路の構成を示す概略図である。 図２に示す結合重み決定回路が結合重みを決定するときの概念図である。 図２に示す結合重み決定回路が結合重みを決定するときの他の概念図である。 ＨＳＶ色空間の概念図である。 色相および彩度による画像評価に用いた画像を示す図である。 色相および彩度による画像評価に用いた他の画像を示す図である。 図６に示す領域Ｘの分割結果および図７に示す領域Ｙの分割結果を示す図である。 従来の画像分割における問題を説明するための図である。 図６に示すサンプル画像のＲＧＢ値から式（１）を用いてＨｕｅ値に変換した値（０〜３６０度）を２５６階調に正規化して８ビットグレー画像とした図である。 図７に示すサンプル画像のＲＧＢ値から式（１）を用いてＨｕｅ値に変換した値（０〜３６０度）を２５６階調に正規化して８ビットグレー画像とした図である。 図６に示すサンプル画像のＲＧＢ値から式（２）を用いてＳ値に変換した値（０〜１の範囲）を２５６階調に規格化して８ビットグレー画像とした図である。 図７に示すサンプル画像のＲＧＢ値から式（２）を用いてＳ値に変換した値（０〜１の範囲）を２５６階調に規格化して８ビットグレー画像とした図である。 色相（Ｈｕｅ）のビンの構成図である。 図２に示すＨＳ変換回路に含まれる色相変換回路の構成を示す概略図である。 彩度（Ｓ）のビンの構成図である。 図２に示すＨＳ変換回路に含まれる彩度変換回路の構成を示す概略図である。 結合重みを決定する方法を説明するための図である。 反射による画素値への影響を示す図である。 彩度境界を変化させたときの無彩色画素値の変化を示す図である。 Ｒ，Ｇ，Ｂの各成分の乱反射による影響を示す図である。 赤の車のボディーのＨｕｅ値のヒストグラムを示す図である。 青の車のボディーのＨｕｅ値のヒストグラムを示す図である。 図２に示す重み計算ユニットの構成図である。 画像の分割方法を説明するための図である。 追跡物体を得るための概念図である。 移動物体の動きベクトルおよび推定位置を求める方法を説明するための図である。 分割物体のグループ化に必要なバウンディングボックスの定義を示す図である。 バウンディングボックスの交差を示す概念図である。 この発明の実施の形態による物体追跡方法を説明するためのフローチャートである。 図３０のステップＳ２の詳細な動作を説明するためのフローチャートである。 図３１に示すステップＳ２２の詳細な動作を説明するためのフローチャートである。 図３２に示すステップＳ２２７の詳細な動作を説明するためのフローチャートである。 図３１に示すステップＳ２３の詳細な動作を説明するためのフローチャートである。 図３０のステップＳ８の詳細な動作を説明するためのフローチャートである。 グループ化における問題点を説明するための図である。 前フレームにおけるグループ化の結果を示す図である。 別の追跡方法において使用されるグループ化の方法を説明するための図である。 この発明の実施の形態による他の物体追跡方法を説明するためのフローチャートである。 図３９に示すステップＳ４２の詳細な動作を説明するためのフローチャートである。 図３９および図４０に示すフローチャートに従ってオブジェクトをグループ化した結果を示す図である。

符号の説明

１ 画像分割ユニット、２ 追跡ユニット、１１ 画素値検出回路、１２ 結合重み決定回路、１３ 画像分割回路。

Claims (6)

1. 複数のフレーム画像により構成される動画像内の物体を追跡する物体追跡装置であって、
   前記動画像を構成する個々のフレームに含まれる画像内の物体の画像特徴に基づいて分割画像領域を生成する画像分割ユニットと、
   前記画像分割ユニットによって生成された前記分割画像領域に基づいて物体を追跡する追跡ユニットとを備え、
   前記追跡ユニットは、
   前記画像分割ユニットによって生成された複数の前記分割画像領域を静止物体を示す複数の静止物体画像領域と移動物体を示す複数の移動物体画像領域とに分類する追跡物体認識部と、
   前記追跡物体認識部によって分類された前記移動物体画像領域を所定の類似性に基づいてグループ化するグループ化部とを含み、
   前記画像分割ユニットは、前記フレームに含まれる画像内の物体を示す画素のＲ成分、Ｇ成分およびＢ成分からなるＲＧＢ値と、前記画素の色相と、前記画素の彩度とに基づいて画素間の結合重みを決定し、その決定した結合重みを用いて前記分割画像領域を生成する、物体追跡装置。
2. 前記追跡物体認識部は、前記分割画像領域が属するフレームと前記フレームの前または後のフレームとにおける前記分割画像領域の動きベクトルに基づいて、複数の前記分割画像領域を前記複数の静止物体画像領域と前記複数の移動物体画像領域とに分類する、請求項１に記載の物体追跡装置。
3. 前記グループ化部は、連続したフレームにおいて、前記グループ化した移動物体画像を一意に特定するグループ情報を生成する、請求項２に記載の物体追跡装置。
4. 複数のフレーム画像により構成される動画像内の物体を追跡する物体追跡方法であって、
   前記動画像を構成する個々のフレームに含まれる画像内の物体の画像特徴に基づいて分割画像領域を生成する第１のステップと、
   前記第１のステップにおいて生成された複数の前記分割画像領域を静止物体を示す複数の静止物体画像領域と移動物体を示す複数の移動物体画像領域とに分類する第２のステップと、
   前記第２のステップにおいて分類された前記移動物体画像領域を所定の類似性に基づいてグループ化する第３のステップとを備え、
   前記第１のステップは、前記フレームに含まれる画像内の物体を示す画素のＲ成分、Ｇ成分およびＢ成分からなるＲＧＢ値と、前記画素の色相と、前記画素の彩度とに基づいて画素間の結合重みを決定し、その決定した結合重みを用いて前記分割画像領域を生成する、物体追跡方法。
5. 前記第２のステップにおいて、複数の前記分割画像領域は、前記分割画像領域が属するフレームと前記フレームの前または後のフレームとにおける前記分割画像領域の動きベクトルに基づいて、前記複数の静止物体画像領域と前記複数の移動物体画像領域とに分類される、請求項４に記載の物体追跡方法。
6. 前記第３のステップにおいて、前記グループ化された移動物体画像を一意に特定するグループ情報が連続したフレームにおいて生成される、請求項５に記載の物体追跡方法。

Images