JP2017041869A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】画像内における注目領域を精度良く検出する。
【解決手段】画像処理装置１０は、第１取得部１２Ａと、第１算出部１２Ｂと、演算部１２Ｃと、検出部１２Ｄと、を備える。第１取得部１２Ａは、画像を取得する。第１算出部１２Ｂは、画像を複数の領域に分割した領域ごとに、領域に含まれる物体の密度を算出する。演算部１２Ｃは、領域の各々について、領域の周辺領域の物体の密度に対する第１密度相対値を演算する。検出部１２Ｄは、画像に含まれる複数の領域の内、第１密度相対値が予め定めた第１閾値より大きい値または第１閾値より小さい値の領域を、注目領域として検出する。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関する。

画像内に含まれる物体の密度を推定する技術が開示されている。また、物体の密集度を推定し、密集度が基準密集度とは閾値以上異なる領域を、画像における注視すべき注目領域として検出する技術が開示されている。

特開２００７−０２８６８０号公報

Ｌ． Ｆｉａｓｃｈｉ， Ｒ． Ｎａｉｒ， Ｕ． Ｋｏｅｔｈｅ ａｎｄ Ｆ． Ｈａｍｐｒｅｃｈｔ： "Ｌｅａｒｎｉｎｇ ｔｏ ｃｏｕｎｔ ｗｉｔｈ ａ ｒｅｇｒｅｓｓｉｏｎ ｆｏｒｅｓｔ ａｎｄ ｓｔｒｕｃｔｕｒｅｄ ｌａｂｅｌｓ"， ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ｐｐ．２６８５−２６８８ （２０１２）．

しかしながら、従来では、画像内の全体において物体の密度が基準密度から閾値以上異なる場合、全領域を注目領域として検出してしまう。このため、従来では、画像内における注目領域を精度良く検出することは困難であった。

本発明が解決しようとする課題は、画像内における注目領域を精度良く検出することができる、画像処理装置、画像処理方法、およびプログラムを提供することである。

実施形態の画像処理装置は、第１取得部と、第１算出部と、演算部と、検出部と、を備える。第１取得部は、画像を取得する。第１算出部は、前記画像を複数の領域に分割した前記領域ごとに、前記領域に含まれる物体の密度を算出する。演算部は、前記領域の各々について、前記領域の周辺領域の前記密度に対する第１密度相対値を演算する。検出部は、前記画像に含まれる複数の前記領域の内、前記第１密度相対値が予め定めた第１閾値より大きい値または前記第１閾値より小さい値の前記領域を、注目領域として検出する。

画像処理装置の機能的構成を示すブロック図。 画像の一例を示す図。 画像に対する処理の流れを示す模式図。 第１密度相対値の演算の一例を示す説明図。 加重平均を用いた第１密度相対値の算出の説明図。 加重平均を用いた第１密度相対値の算出の説明図。 表示画像の一例を示す模式図。 画像処理の手順の一例を示すフローチャート。 第１算出部の機能的構成を示すブロック図。 物体の密度算出の説明図。 画像処理の手順の一例を示すフローチャート。 画像処理の手順の一例を示すフローチャート。 人の流れの一例を示す模式図。 表示画像の一例を示す模式図。 注目領域の検出の説明図。 画像処理装置の機能的構成を示すブロック図。 画像に対する処理の流れを示す模式図。 画像処理の手順の一例を示すフローチャート。 第１算出部の機能的構成を示すブロック図。 画像の一例を示す図。 画像に対する処理を示す模式図。 尤度算出の説明図。 密度データ生成の説明図。 密度データ生成処理の流れを示すフローチャート。 第４算出部の構成の一例を示すブロック図。 前処理の説明図。 補正画像、部分画像、およびラベルの説明図。 第２計算部の構成の一例を示すブロック図。 ラベルおよびヒストグラムの説明図。 投票ヒストグラムの説明図。 ランダムツリーの説明図。 ランダムフォレストの説明図。 代表ラベルの予測の説明図。 ランダムツリーの説明図。 代表ラベルの予測の説明図。 仮密度算出処理の手順を示すフローチャート。 演算処理の手順を示すフローチャート。 ハードウェア構成の一例を示すブロック図。

以下に添付図面を参照して、画像処理装置、画像処理方法、およびプログラムの一の実施形態を詳細に説明する。

（第１の実施の形態）
図１は、本実施の形態の画像処理装置１０の機能的構成を示すブロック図である。

画像処理装置１０は、画像に含まれる物体の密度を用いて、注目領域を検出する装置である。注目領域は、ユーザに対して注視を促す領域である。本実施の形態では、注目領域は、物体の密度から判別される、他の領域とは異なる特徴を示す領域であるものとして説明する。物体は、画像を解析することで識別される被写体を示す。本実施の形態では、物体が、人である場合を一例として説明する。

画像処理装置１０は、制御部１２と、記憶部１４と、ＵＩ部１６と、撮影部２３と、を備える。記憶部１４、ＵＩ部１６、および撮影部２３は、制御部１２に電気的に接続されている。

ＵＩ部１６は、各種画像を表示する表示機能と、ユーザからの各種操作指示を受付ける入力機能と、を有する。本実施の形態では、ＵＩ部１６は、表示部１６Ａと、入力部１６Ｂと、を含む。表示部１６Ａは、種々の画像を表示する。表示部１６Ａは、例えばＣＲＴディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイなどである。入力部１６Ｂは、ユーザからの各種指示や情報入力を受け付ける。入力部１６Ｂは、例えば、キーボード、マウス、スイッチ、マイクなどである。

なお、ＵＩ部１６は、表示部１６Ａと入力部１６Ｂとを一体的に構成したタッチパネルであってもよい。

撮影部２３は、撮影によって画像を得る。本実施の形態では、撮影部２３は、注目領域の検出対象の、実空間上の領域または被写体を撮影し、画像を得る。

撮影部２３は、例えば、公知のデジタルカメラである。撮影部２３は、制御部１２から離れた位置に配置されていてもよい。例えば、撮影部２３は、道路、公共スペース、ビル構内などに配置された監視カメラであってもよい。また、撮影部２３は、車両などの移動体に配置された車載カメラや、携帯端末に設けられたカメラであってもよい。また、撮影部２３は、ウェアラブルカメラであってもよい。

なお、撮影部２３は、可視光による反射光を撮影する可視光カメラに限定されず、赤外カメラ、デプスマップを取得可能なカメラや、距離センサや超音波センサなどを用いて撮影を行うカメラであってもよい。

すなわち、本実施の形態で用いる、注目領域の検出対象の画像は、可視光による反射光の撮影画像、赤外画像、デプスマップ、超音波撮影画像などであり、特定の画像に限定されない。

記憶部１４は、各種データを記憶する。本実施の形態では、記憶部１４は、注目領域の検出対象の画像を記憶する。記憶部１４は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、メモリカードなどの、磁気的、光学的、および電気的に記憶可能な記憶装置の少なくともいずれかにより実現する。

制御部１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータである。なお、制御部１２は、ＣＰＵ以外の回路等であってもよい。

制御部１２は、画像処理装置１０全体を制御する。制御部１２は、第１取得部１２Ａと、第１算出部１２Ｂと、演算部１２Ｃと、検出部１２Ｄと、表示制御部１２Ｅと、を含む。

第１取得部１２Ａ、第１算出部１２Ｂ、演算部１２Ｃ、検出部１２Ｄ、および表示制御部１２Ｅの一部または全ては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。

なお、制御部１２は、少なくとも第１取得部１２Ａ、第１算出部１２Ｂ、演算部１２Ｃ、および検出部１２Ｄを備えた構成であればよく、表示制御部１２Ｅを備えない構成であってもよい。

第１取得部１２Ａは、注目領域の検出対象の画像を取得する。本実施の形態では、第１取得部１２Ａは、撮影部２３から画像を取得する。なお、第１取得部１２Ａは、図示を省略する外部装置や記憶部１４などから画像を取得してもよい。

図２は、注目領域の検出対象の画像３０の一例を示す図である。本実施の形態では、画像３０は、物体として、複数の人３０Ｂを含む場合を説明する（図２（Ａ）参照）。

図１に戻り、第１算出部１２Ｂは、第１取得部１２Ａで取得した画像を複数の領域に分割した領域ごとに、各領域に含まれる人３０Ｂの密度を算出する。

図２（Ｂ）は、画像３０を複数の領域Ｐに分割した状態を示す模式図である。第１算出部１２Ｂは、画像３０を複数の領域Ｐに分割する。画像３０の分割数や領域Ｐの大きさは、任意の値を設定可能である。

例えば、領域Ｐは、画像３０を、縦Ｍ個および横Ｎ個のＭ×Ｎ個に分割した各領域であってもよい。なお、ＭおよびＮは、１以上の整数であり、且つ、少なくとも一方が２以上の整数である。

また、領域Ｐは、画像３０を構成する各画素について、輝度および色の少なくとも一方が類似する画素の群を１つの領域として分割したものであってもよい。また、領域Ｐは、予め定めた属性に応じて画像３０を分割した領域であってもよい。属性は、画像３０内における特定の被写体を示す領域である。属性は、例えば、横断歩道を示す領域、左車線を示す領域、立ち入り禁止区域を示す領域、危険領域、などである。

また、領域Ｐは、複数の画素を含む画素領域であってもよいし、１つの画素を含む画素領域であってもよい。なお、領域Ｐの広さが１画素に相当する広さに近づくほど、画像処理装置１０はより高精度に密度を算出することができる。このため、領域Ｐは、１画素に相当する領域であることが好ましい。但し、上述したように、領域Ｐは、複数の画素を含む領域であってもよい。

第１算出部１２Ｂは、例えば、領域Ｐの分割条件を予め記憶する。分割条件は、例えば、縦Ｍ個×横Ｎ個に分割、輝度および色ごとに分割、属性に応じて分割、などである。

そして、第１算出部１２Ｂは、予め記憶した分割条件に沿って、画像３０を複数の領域Ｐに分割すればよい。分割条件は、ユーザによる入力部１６Ｂの操作指示などによって適宜変更可能とすればよい。

例えば、属性に応じて画像３０を分割する場合、第１算出部１２Ｂは、画像３０の特徴量を用いて、属性の付与された正解データを予め機械学習し、識別器を生成する。そして、第１算出部１２Ｂは、識別器を用いて、属性に応じて画像３０を複数の領域Ｐに分割すればよい。また、例えば、危険領域を示す属性に応じて画像３０を分割する場合、第１算出部１２Ｂは、複数の危険領域を示した地図データを予め用意し、画像３０における該地図データの危険領域に対応する領域と該危険領域外の領域との各々に、画像３０を分割すればよい。また、第１算出部１２Ｂは、ユーザによるＵＩ部１６の操作指示によって指示された境界線に沿って画像３０を複数の領域Ｐに分割してもよい。

本実施の形態では、一例として、第１算出部１２Ｂは、画像３０を縦Ｍ個および横Ｎ個に分割する場合を説明する。

そして、第１算出部１２Ｂは、画像３０における領域Ｐごとに、各領域Ｐに含まれる物体の密度を算出する。本実施の形態では、第１算出部１２Ｂは、領域Ｐごとに、含まれる人３０Ｂの密度を算出する。

各領域Ｐに含まれる人３０Ｂの密度の算出には、例えば、以下の方法を用いればよい。

例えば、第１算出部１２Ｂは、各領域Ｐ内の人３０Ｂの人数を、公知の方法によりカウントする。人３０Ｂの身体の一部が領域Ｐ内に位置する場合、人３０Ｂの該領域Ｐ内に位置する部分の面積を、該人３０Ｂの面積で除算した結果を、該人３０Ｂの人数としてカウントすればよい。例えば、人３０Ｂの身体の５０％が該領域Ｐに位置する場合、該人３０Ｂを０．５人分としてカウントすればよい。

そして、第１算出部１２Ｂは、各領域Ｐ内に位置する人３０Ｂの人数を、領域Ｐの面積で除算した値を、各領域Ｐにおける人３０Ｂの密度として算出すればよい。また、第１算出部１２Ｂは、各領域Ｐに含まれる人３０Ｂの人数を、領域Ｐを構成する画素の画素数で除算した値を、各領域Ｐにおける人３０Ｂの密度として算出してもよい。

また、第１算出部１２Ｂは、領域Ｐ内における人３０Ｂの分散度を、各領域Ｐにおける人３０Ｂの密度として算出してもよい。例えば、第１算出部１２Ｂは、領域Ｐ内における人３０Ｂの位置を、領域Ｐを更に複数の小領域に分割した小領域（例えば、画素）ごとに算出する。そして、領域Ｐ内における、人３０Ｂが位置する小領域の分散度を、領域Ｐにおける人３０Ｂの密度として算出してもよい。

また、第１算出部１２Ｂは、領域Ｐを複数の小領域に分割し、含まれる人３０Ｂの人数を小領域ごとに算出してもよい。そして、第１算出部１２Ｂは、領域Ｐに含まれる人３０Ｂの人数の平均値を、該領域Ｐの密度として算出してもよい。

なお、第１算出部１２Ｂは、公知の検出方法を用いて、各領域Ｐに含まれる物体（本実施の形態では人３０Ｂ）の密度を算出してもよい。例えば、第１算出部１２Ｂは、領域Ｐの各々について、公知の顔検出手法により顔の数を検出する。そして、第１算出部１２Ｂは、領域Ｐの各々について、検出した顔の数を、領域Ｐを構成する画素の画素数で除算する。第１算出部１２Ｂは、この除算によって得た値（除算結果）を、各領域Ｐにおける人３０Ｂの密度として用いればよい。

また、第１取得部１２Ａが、赤外線カメラで撮影された画像を取得したとする。この場合、取得した画像は、人物領域の画素値が高くなる傾向にある。この場合、第１算出部１２Ｂは、領域Ｐの各々について、所定の閾値以上の画素値を示す画素数を、領域Ｐを構成する画素の画素数で除算する。第１算出部１２Ｂは、この除算によって得た値（除算結果）を、各領域Ｐにおける人３０Ｂの密度として用いてもよい。

また、第１取得部１２Ａが、深度カメラで撮影された距離画像（デプス画像）を取得したとする。この場合、第１算出部１２Ｂは、領域Ｐの各々について、地面から８０ｃｍ〜２ｍの高さを示す画素の画素数を、領域Ｐを構成する画素の画素数で除算する。第１算出部１２Ｂは、この除算によって得た値（除算結果）を、各領域Ｐにおける人３０Ｂの密度として用いてもよい。

なお、第１算出部１２Ｂは、後述する第４の実施の形態で説明する仮密度の算出方法を用いて、領域Ｐに含まれる人３０Ｂの密度を算出してもよい（詳細後述）。

また、第１算出部１２Ｂが、画像３０に含まれる物体の種類ごとに、各領域Ｐに含まれる物体の密度を算出する場合には、第３の実施の形態で説明する算出方法を用いることが、物体の種類ごとの密度算出精度を向上させる観点から好ましい（詳細後述）。

図３は、画像３０に対する処理の流れを示す模式図である。例えば、第１取得部１２Ａが、図３（Ａ）に示す画像３０を取得したとする。この場合、第１算出部１２Ｂは、画像３０を、複数の領域Ｐに分割する。図３（Ｂ）には、第１算出部１２Ｂが、縦４個×横４個の合計１６個の領域Ｐに画像３０を分割した場合を示した。

そして、第１算出部１２Ｂは、領域Ｐごとに、人３０Ｂの密度を算出する。図３（Ｃ）は、密度分布３１の一例を示す図である。図３（Ｃ）に示すように、第１算出部１２Ｂは、領域Ｐ１〜領域Ｐ１６の各々の領域Ｐについて、各領域Ｐに含まれる人３０Ｂの密度を算出する。これにより、第１算出部１２Ｂは、密度分布３１を得る。

図１に戻り、演算部１２Ｃは、領域Ｐの各々について、領域Ｐの周辺領域の物体の密度に対する第１密度相対値を演算する。第１密度相対値は、領域Ｐの周辺領域の物体の密度に対する、該領域Ｐの密度の、相対値である。なお、以下では、物体（本実施の形態では人３０Ｂ）の密度を、単に、密度と称して説明する場合がある。

領域Ｐの周辺領域は、画像３０における、該領域Ｐの周囲に連続して配置された他の領域Ｐを少なくとも含む。領域Ｐに連続して配置された、とは、該領域Ｐに接して配置されていることを示す。

なお、領域Ｐの周辺領域は、該領域Ｐの周囲に連続して配置された他の領域Ｐを少なくとも含む領域であればよい。例えば、領域Ｐの周辺領域は、該領域Ｐに接する位置から離れる方向に向かって連続して配置された複数の他の領域Ｐを含む領域であってもよい。

本実施の形態では、演算部１２Ｃは、画像３０における、第１算出部１２Ｂによって分割された複数の領域Ｐの各々を、第１密度相対値の算出対象の第１領域として順次設定する。そして、演算部１２Ｃは、周辺領域の密度に対する、第１領域の密度の第１密度相対値を演算する。周辺領域は、第１領域の周囲に配置された他の領域Ｐとしての第２領域を複数含む。これによって、演算部１２Ｃは、領域Ｐの各々の第１密度相対値を演算する。

図４は、第１密度相対値の演算の一例を示す説明図である。演算部１２Ｃは、画像３０における複数の領域Ｐ（領域Ｐ１〜領域Ｐ１６）の各々を、第１領域として順次設定し、各第１領域（領域Ｐ１〜領域Ｐ１６）の各々について、第１密度相対値を演算する。

図４（Ａ）には、演算部１２Ｃが領域Ｐ１を第１領域として設定した状態を示した。この場合、領域Ｐ１の周辺領域ＰＢは、例えば、該領域Ｐ１の周囲に連続して配置された領域Ｐ２、領域Ｐ５、および領域Ｐ６を含む。なお、上述したように、周辺領域ＰＢに含まれるこれらの領域（領域Ｐ２、領域Ｐ５、および領域Ｐ６）は、第２領域に相当する。このため、周辺領域ＰＢに含まれる領域Ｐを、単に、第２領域と称して説明する場合がある。

この場合、演算部１２Ｃは、周辺領域ＰＢに含まれる第２領域である領域Ｐ２、領域Ｐ５、および領域Ｐ６の各々の密度の平均値を、該周辺領域ＰＢの人３０Ｂの密度として算出する。例えば、演算部１２Ｃは、周辺領域ＰＢに含まれる第２領域である領域Ｐ２、領域Ｐ５、および領域Ｐ６の各々の密度の加算値を、該周辺領域ＰＢに含まれる第２領域の数（ここでは“３”）で除算することで、周辺領域ＰＢの人３０Ｂの密度を算出する。

演算部１２Ｃは、周辺領域ＰＢの密度に対する領域Ｐ１の密度の相対値を、該領域Ｐ１の第１密度相対値として算出すればよい。

図４（Ｂ）には、演算部１２Ｃが領域Ｐ６を第１領域として設定した場合を示した。この場合、第１領域である領域Ｐ６の周辺領域ＰＢは、例えば、該領域Ｐ６に連続して配置された領域Ｐ１〜領域Ｐ３、領域Ｐ５、領域Ｐ７、領域Ｐ９〜領域Ｐ１１を含む。

演算部１２Ｃは、周辺領域ＰＢに含まれる第２領域である領域Ｐ１〜領域Ｐ３、領域Ｐ５、領域Ｐ７、領域Ｐ９〜領域Ｐ１１の密度の平均値を、該周辺領域ＰＢの人３０Ｂの密度として算出する。すなわち、演算部１２Ｃは、周辺領域ＰＢに含まれる第２領域である領域Ｐ１〜領域Ｐ３、領域Ｐ５、領域Ｐ７、領域Ｐ９〜領域Ｐ１１の各々の密度の加算値を、該周辺領域ＰＢに含まれる第２領域の数（ここでは“８”）で除算することで、該周辺領域ＰＢの人３０Ｂの密度を算出する。

そして、演算部１２Ｃは、この周辺領域ＰＢの密度に対する領域Ｐ６の密度の相対値を、該領域Ｐ６の第１密度相対値として算出する。

演算部１２Ｃは、領域Ｐ２〜領域Ｐ５、領域Ｐ７〜領域Ｐ１６の各々についても、同様にして、順次第１領域として設定し、各々の第１領域の周辺領域ＰＢに対する第１密度相対値を算出する。

なお、演算部１２Ｃによる第１密度相対値の算出方法は、周辺領域ＰＢに含まれる第２領域の密度を単純平均した平均値を用いる方法に限定されない。

例えば、演算部１２Ｃは、周辺領域ＰＢに含まれる各第２領域の、第１領域に対する距離に応じた加重平均による平均値を用いて、第１密度相対値を算出してもよい。

図５は、加重平均を用いた第１密度相対値の算出の説明図である。

図５には、演算部１２Ｃが、領域Ｐ６を第１領域として設定した状態を示した。また、図５には、第１領域である領域Ｐ６の周辺領域ＰＢが、該領域Ｐ６に接する位置から離れる方向に向かって配置された複数の他の領域Ｐを含む領域である場合を示した。すなわち、図５に示す例では、領域Ｐ６の周辺領域ＰＢは、該領域Ｐ６に連続する他の領域Ｐ、および、該他の領域Ｐを介して領域Ｐ６に連続する他の領域Ｐを含む。詳細には、図５では、領域Ｐ６の周辺領域ＰＢに含まれる第２領域が、領域Ｐ１〜領域Ｐ５、領域Ｐ７〜領域Ｐ１６である場合を示した。

この場合、演算部１２Ｃは、周辺領域ＰＢに含まれる第２領域の各々の密度に、第１重み付け値ｍを乗算する。ｍは、例えば、０より大きく、且つ、１未満の値である。第１重み付け値ｍは、設定された第１領域（図５では、領域Ｐ６）に近い位置に配置された第２領域ほど大きい値である。

演算部１２Ｃは、第１領域からの距離と、第１重み付け値ｍと、を対応づけて予め記憶する。

そして、演算部１２Ｃは、周辺領域ＰＢに含まれる第２領域の各々の人３０Ｂの密度に、各第２領域の第１領域に対する距離に対応する第１重み付け値ｍを乗算する。例えば、演算部１２Ｃは、第１領域である領域Ｐ６に連続する第２領域（領域Ｐ１〜領域Ｐ３、領域Ｐ５、領域Ｐ７、領域Ｐ９〜領域Ｐ１１）の各々の密度には、第１重み付け値ｍ“０．８”を乗算する。また、演算部１２Ｃは、これらの第２領域に比べて領域Ｐ６から離れた位置に配置された第２領域である領域Ｐ４、領域Ｐ８、領域Ｐ１２、領域Ｐ１３〜領域Ｐ１６の各々の密度には、第１重み付け値ｍ“０．５”を乗算する。

これによって、演算部１２Ｃは、各第２領域の各々について、各第２領域の密度に、対応する第１重み付け値ｍを乗算した乗算値を算出する。

そして、演算部１２Ｃは、周辺領域ＰＢに含まれる複数の第２領域の各々について算出した乗算値の平均値を、周辺領域ＰＢの密度として算出する。すなわち、演算部１２Ｃは、周辺領域ＰＢに含まれる第２領域の各々の密度に、対応する第１重み付け値ｍを乗算した乗算値を合計した合計値（ここでは、１５個分の第２領域の乗算値の合計値）を算出する。そして、演算部１２Ｃは、この合計値を、該周辺領域ＰＢに含まれる第２領域の数（ここでは“１５”）で除算することで、平均値を算出する。

そして、演算部１２Ｃは、この平均値を、領域Ｐ６の周辺領域ＰＢの密度として用いる。すなわち、演算部１２Ｃは、周辺領域ＰＢの密度（この算出した平均値）に対する、第１領域として設定した領域Ｐ６の密度の相対値を、該領域Ｐ６の第１密度相対値として算出する。そして、演算部１２Ｃは、他の領域Ｐ（領域Ｐ１〜領域Ｐ５、領域Ｐ７〜領域Ｐ１６）の各々についても同様にして、第１密度相対値を算出すればよい。

このように、演算部１２Ｃは、周辺領域ＰＢに含まれる各第２領域の、第１領域に対する距離に応じた加重平均による平均値を用いて、第１密度相対値を算出してもよい。

また、演算部１２Ｃは、周辺領域ＰＢに含まれる第２領域の各々に含まれる人３０Ｂと、第１領域と、の距離に応じた加重平均による平均値を用いて、第１密度相対値を算出してもよい。

図６は、加重平均を用いた第１密度相対値の算出の説明図である。

図６には、演算部１２Ｃが、領域Ｐ６を第１領域として設定した状態を示した。また、図６には、第１領域である領域Ｐ６の周辺領域ＰＢが、該領域Ｐ６に連続する領域Ｐ１〜領域Ｐ３、領域Ｐ５、領域Ｐ７、領域Ｐ９〜領域Ｐ１１である場合を示した。

この場合、演算部１２Ｃは、周辺領域ＰＢに含まれる第２領域の各々の密度に、第２重み付け値ｎを乗算する。ｎは、例えば、０より大きく且つ１未満の値である。第２重み付け値ｎは、第２領域内に含まれる人３０Ｂと第１領域（図６では、領域Ｐ６）との距離が近いほど、大きい値である。

例えば、演算部１２Ｃは、周辺領域ＰＢに含まれる第２領域の各々について、第２領域に含まれる人３０Ｂと第１領域との距離を算出する。例えば、第１算出部１２Ｂは、領域Ｐごとの密度と、各領域Ｐにおける人３０Ｂの位置と、を算出すればよい。そして、演算部１２Ｃは、第１算出部１２Ｂで算出された人３０Ｂの位置から、周辺領域ＰＢに含まれる第２領域の各々について、第２領域に含まれる人３０Ｂと第１領域との距離を算出すればよい。

演算部１２Ｃは、数値“１”を、人３０Ｂと第１領域との距離で除算した除算値を、該人３０Ｂを含む第２領域の第２重み付け値ｎとして算出する。このため、含まれる人３０Ｂと第１領域との距離が近い第２領域ほど、大きい値の第２重み付け値ｎが算出される。

なお、第２領域内に複数の人３０Ｂが存在する場合がある。この場合、演算部１２Ｃは、第２領域に含まれる人３０Ｂの各々について、数値“１”を人３０Ｂと第１領域との距離で除算した除算値を算出する。そして、演算部１２Ｃは、同一の第２領域内に含まれる人３０Ｂごとに算出した該除算値の合計値を、該第２領域の第２重み付け値ｎとして算出すればよい。このため、含まれる人３０Ｂの人数が多いほど、大きい値の第２重み付け値ｎが算出されることとなる。

なお、人３０Ｂが含まれない第２領域については、画像３０内における、人３０Ｂが存在する第２領域の第２の重み付け値ｎの最低値より小さい値を、第２の重み付け値ｎとして算出すればよい。

例えば、図６に示すように、第１領域である領域Ｐ６の周辺領域ＰＢに含まれる第２領域の内、領域Ｐ７には、人３０Ｂが一人存在する。そして、人３０Ｂと領域Ｐ６との距離がＴ１であったとする。この場合、演算部１２Ｃは、該領域Ｐ７の第２重み付け値ｎとして、１／Ｔ１を算出すればよい。

また、領域Ｐ１０には、人３０Ｂが二人存在する。そして、一方の人３０Ｂと領域Ｐ６との距離がＴ２であり、他方の人３０Ｂと領域Ｐ６との距離がＴ３であったとする。この場合、演算部１２Ｃは、該領域Ｐ１０の第２重み付け値ｎとして、（１／Ｔ２）＋（１／Ｔ３）によって算出される値を、第２の重み付け値ｎとして算出すればよい。

また、領域Ｐ５には、人３０Ｂが一人存在する。そして、人３０Ｂと領域Ｐ６との距離がＴ４であったとする。この場合、演算部１２Ｃは、該領域Ｐ５の第２重み付け値ｎとして、１／Ｔ４を算出すればよい。

なお、周辺領域ＰＢの内、領域Ｐ１〜領域Ｐ３、領域Ｐ９、領域Ｐ１１には、人３０Ｂが存在しない。このため、演算部１２Ｃは、これらの領域Ｐの第２の重み付け値ｎとして、例えば、画像３０の複数の領域Ｐの内、最も小さい値の第２重み付け値ｎ（例えば、０．０１など）を算出すればよい。

そして、演算部１２Ｃは、周辺領域ＰＢに含まれる複数の第２領域の密度の各々に、対応する第２重み付け値ｎを乗算した乗算値の平均値を、周辺領域ＰＢの密度として算出する。すなわち、演算部１２Ｃは、周辺領域ＰＢに含まれる第２領域の各々の密度に、対応する第２重み付け値ｎを乗算した乗算値を合計した合計値を算出する。そして、演算部１２Ｃは、この合計値を、該周辺領域ＰＢに含まれる第２領域の数で除算することで、平均値を算出する。そして、演算部１２Ｃは、この平均値を、周辺領域ＰＢの人３０Ｂの密度として演算する。

更に、演算部１２Ｃは、算出した周辺領域ＰＢの密度に対する、第１領域として設定した領域Ｐ６の密度の相対値を、該領域Ｐ６の第１密度相対値として算出する。そして、演算部１２Ｃは、他の領域Ｐ（領域Ｐ１〜領域Ｐ５、領域Ｐ７〜領域Ｐ１６）の各々についても同様にして、第１領域として順次設定し、第１密度相対値を算出すればよい。

このように、演算部１２Ｃは、周辺領域ＰＢに含まれる第２領域内の物体（人３０Ｂ）の、第１領域に対する距離に応じた加重平均による平均値を用いて、第１密度相対値を算出してもよい。

なお、周辺領域ＰＢの密度の算出結果が“０”となった場合、演算部１２Ｃは、０より大きく、且つ他の第１領域の各々の周辺領域ＰＢの密度の最低値より小さい値となるように、周辺領域ＰＢの密度の値を補正することが好ましい。例えば、ある第１領域の周辺領域ＰＢの密度の算出結果が“０”である場合、演算部１２Ｃは、該周辺領域ＰＢの密度を“０．００００１”に補正すればよい。そして、演算部１２Ｃは、補正後の周辺領域ＰＢの密度を用いて、第１密度相対値を算出すればよい。

このようにして、演算部１２Ｃは、領域Ｐの各々について、領域Ｐの周辺領域の物体の密度に対する第１密度相対値を演算すればよい。

図３（Ｄ）は、第１密度相対値を領域Ｐごとに規定した相対値分布３２の一例を示す図である。演算部１２Ｃは、例えば、密度分布３１（図３（Ｃ）参照）を用いて、上述の方法を用いて、領域Ｐごとに第１密度相対分布を演算することで、相対値分布３２を作成する。

図１に戻り、検出部１２Ｄは、画像３０に含まれる複数の領域Ｐの内、第１密度相対値が第１閾値より大きい値、または、第１閾値より小さい値の領域Ｐを、注目領域として検出する。

第１閾値の値は、注目領域として検出する対象などに応じて適宜設定すればよい。第１閾値は、ユーザによるＵＩ部１６の操作指示などによって適宜変更可能としてもよい。

図３を用いて注目領域Ｑの検出を説明する。演算部１２Ｃによって、図３（Ｄ）に示す相対値分布３２が得られたとする。そして、第１閾値が“０．１”であったとする。また、演算部１２Ｃは、第１密度相対値が第１閾値より小さい値の領域Ｐを、注目領域Ｑとして検出すると仮定する。

この場合、検出部１２Ｄは、画像３０に含まれる領域Ｐ（領域Ｐ１〜領域Ｐ１６）の内、第１密度相対値が第１閾値“０．１”より小さい領域Ｐである、領域Ｐ３、領域Ｐ４、および領域Ｐ１１を、注目領域Ｑとして検出する（図３（Ｄ）、図３（Ｅ）参照）。なお、第１密度相対値が第１閾値より小さい領域Ｐが画像３０内において連続して位置する場合、この連続する領域Ｐをまとめて注目領域Ｑとしてもよい。具体的には、図３（Ｄ）に示すように、検出部１２Ｄは、第１密度相対値が第１閾値より小さい領域Ｐ３および領域Ｐ４は、まとめて１つの注目領域Ｑとして検出してもよい。

なお、第１閾値は、１つの値であってもよいし、上限値と下限値とによって規定される範囲をもった値であってもよい。第１算出部１２Ｂが、各領域Ｐにおける人３０Ｂの密度として、領域Ｐ内における人３０Ｂの分散度を算出した場合には、分散を考慮する観点から、第１閾値として範囲を持った値を用いることが好ましい。

また、検出部１２Ｄは、第１密度相対値が、第１閾値より予め定めた割合（例えば、１０％）以上大きい、または該割合以上小さい領域Ｐを、注目領域Ｑとして検出してもよい。また、第１閾値が範囲を持った値である場合、検出部１２Ｄは、第１密度相対値が、第１閾値の下限値より予め定めた割合以上小さい、または第１閾値の上限値より該割合以上大きい領域Ｐを、注目領域Ｑとして検出してもよい。

図１に戻り、表示制御部１２Ｅは、各種画像を表示部１６Ａへ表示する。本実施の形態では、表示制御部１２Ｅは、検出部１２Ｄで検出した注目領域Ｑを表示部１６Ａへ表示する。

表示制御部１２Ｅは、例えば、注目領域Ｑを示す文字情報を表示部１６Ａへ表示してもよいし、注目領域Ｑを示す表示画像を表示部１６Ａへ表示してもよい。注目領域Ｑを示す表示画像の形態は限定されない。例えば、注目領域Ｑを示す表示画像は、画像３０における注目領域Ｑの位置を示す座標情報（例えば、矩形状の注目領域Ｑである場合、注目領域Ｑの各頂点の座標情報）であってもよいし、注目領域Ｑを囲む直線の各々の両端部の座標情報であってもよい。また、注目領域Ｑを示す表示画像は、注目領域Ｑとする領域Ｐの識別情報であってもよい。

図３（Ｅ）は、表示画像３３の一例を示す模式図である。例えば、表示制御部１２Ｅは、画像３０に、注目領域Ｑの輪郭を示す輪郭線を重畳した表示画像３３を、表示部１６Ａに表示する。

なお、表示制御部１２Ｅは、画像３０における注目領域Ｑを、注目領域Ｑ以外の外部領域とは異なる表示形態で示す表示画像３３を、表示部１６Ａに表示することが好ましい。

具体的には、表示制御部１２Ｅは、注視を促す表示形態で注目領域Ｑを表示することが好ましい。注視を促す表示形態とは、強調した表示形態であることを示す。注視を促す表示形態で注目領域Ｑを表示する方法としては、注目領域Ｑを背景とは異なる色で表示する、注目領域Ｑを明度や彩度の高い色で表示する、注目領域Ｑを点滅させて表示する、注目領域Ｑを太い線で囲んで表示する、注目領域Ｑを拡大して表示する、画像３０における注目領域Ｑ以外の外部領域を歪めて表示する、などの方法が挙げられる。

図７は、表示画像の一例を示す模式図である。例えば、表示制御部１２Ｅは、画像３０上に、注視を促す表示形態で示す注目領域Ｑを重畳した表示画像３７Ａを、表示部１６Ａに表示する（図７（Ａ）参照）。また、表示制御部１２Ｅは、画像３０における注目領域Ｑを拡大した拡大画像３１Ａを、表示画像３７Ｂとして表示部１６Ａに表示してもよい（図７（Ｂ）参照）。

注目領域Ｑを拡大する倍率は、予め定めた値を用いてもよいし、表示部１６Ａの表示面の大きさに応じて調整してもよい。例えば、表示制御部１２Ｅは、注目領域Ｑが表示部１６Ａの表示面内に表示されるように、注目領域Ｑの拡大倍率を調整すればよい。また、表示制御部１２Ｅは、注目領域Ｑとして検出された領域Ｐの第１密度相対値の値に応じて、注目領域Ｑの拡大倍率を調整してもよい。例えば、表示制御部１２Ｅは、注目領域Ｑを構成する領域Ｐの第１密度相対値の値が大きいほど、注目領域Ｑの拡大倍率を大きくしてもよい。また、逆に、表示制御部１２Ｅは、注目領域Ｑを構成する領域Ｐの第１密度相対値の値が小さいほど、注目領域Ｑの拡大倍率を大きくしてよい。

また、表示制御部１２Ｅは、画像３０に注目領域Ｑを示す画像を重畳した表示画像３７Ｃと、注目領域Ｑの部分を拡大した拡大画像３１Ａと、を含む表示画像３７Ｅを、表示部１６Ａに表示してもよい（図７（Ｃ）参照）。

また、表示制御部１２Ｅは、画像３０における注目領域Ｑ以外の外部領域を歪めた画像とし、注目領域Ｑの部分を拡大して示した表示画像３７Ｆを、表示部１６Ａに表示してもよい（図７（Ｄ）参照）。外部領域を歪める方法には、公知の方法を用いればよい。

なお、注目領域Ｑの表示形態は上記に限定されない。例えば、表示制御部１２Ｅは、注目領域Ｑを構成する領域Ｐの第１相対密度の値に応じた表示形態で、注目領域Ｑを表示部１６Ａに表示してもよい。

例えば、表示制御部１２Ｅは、注目領域Ｑを構成する領域Ｐの第１相対密度の値が大きいほど、明度、彩度、濃度、の少なくとも１つの高い色で、注目領域Ｑを表示部１６Ａに表示する。

また、表示制御部１２Ｅは、注目近傍領域を更に表示部１６Ａに表示してもよい。この場合、表示制御部１２Ｅは、注目領域Ｑの外側の領域Ｐを注目近傍領域として特定する。注目近傍領域は、注目領域Ｑの外側の他の領域Ｐであって、注目領域Ｐに物体が侵入する可能性の高い領域である。表示制御部１２Ｅは、例えば、注目領域Ｑ以外の他の領域Ｐの内、注目領域Ｑの第１密度相対値との差が閾値以下の領域Ｐ、注目領域Ｑからの距離が閾値以下の領域Ｐ、該差と該距離との積または荷重和が閾値以上となる領域Ｐを、注目近傍領域として特定する。そして、表示制御部１２Ｅは、注目領域Ｑと、注目近傍領域と、を表示部１６Ａに表示してもよい。

次に、本実施の形態の画像処理装置１０が実行する画像処理の手順を説明する。

図８は、本実施の形態の画像処理装置１０が実行する画像処理の手順の一例を示すフローチャートである。

まず、第１取得部１２Ａが、注目領域Ｑの検出対象の画像３０を取得する（ステップＳ１００）。次に、第１算出部１２Ｂが、ステップＳ１００で取得した画像３０を複数の領域Ｐに分割した領域Ｐごとに、領域Ｐに含まれる物体（人３０Ｂ）の密度を算出する（ステップＳ１０２）。

次に、演算部１２Ｃが、各領域Ｐの各々について、領域Ｐの周辺領域ＰＢにおける人３０Ｂの密度に対する第１密度相対値を演算する（ステップＳ１０４）。次に、検出部１２Ｄが、画像３０に含まれる複数の領域Ｐの内、ステップＳ１０４で演算した第１密度相対値が第１閾値より大きい値、または第１閾値より小さい値の領域Ｐを、注目領域Ｑとして検出する（ステップＳ１０６）。

次に、表示制御部１２Ｅが、ステップＳ１０６で検出した注目領域Ｑを示す表示画像を表示部１６Ａに表示する（ステップＳ１０８）。そして、本ルーチンを終了する。

以上説明したように、本実施の形態の画像処理装置１０は、第１取得部１２Ａと、第１算出部１２Ｂと、演算部１２Ｃと、検出部１２Ｄと、を備える。第１取得部１２Ａは、画像３０を取得する。第１算出部１２Ｂは、画像３０を複数の領域Ｐに分割した領域Ｐごとに、領域Ｐに含まれる物体（人３０Ｂ）の密度を算出する。演算部１２Ｃは、領域Ｐの各々について、領域Ｐの周辺領域ＰＢの物体（人３０Ｂ）の密度に対する第１密度相対値を演算する。検出部１２Ｄは、画像３０に含まれる複数の領域Ｐの内、第１密度相対値が予め定めた第１閾値より大きい値または第１閾値より小さい値の領域Ｐを、注目領域Ｑとして検出する。

ここで、従来技術では、画像内の人物密度が基準密度と閾値以上異なるか否かを判別することで、注目領域を検出していた。このため、従来では、画像内に含まれる人物の密度が全体的に高い（例えば、全体的に２倍の密度となっている）場合や、全体的に低い場合などには特に、注目領域の誤認識が発生していた。

一方、本実施の形態の画像処理装置１０は、各領域Ｐについて演算した、各領域Ｐの周辺領域ＰＢに対する密度の相対値である第１密度相対値を用いて、注目領域Ｑを検出する。このため、画像３０の全体の密度が予め定めた基準密度より大きい、または小さい場合であっても、密度が他の領域Ｐとは異なる領域Ｐを、精度良く注目領域Ｑとして検出することができる。

従って、本実施の形態の画像処理装置１０は、画像３０内における注目領域Ｑを精度良く検出することができる。

なお、演算部１２Ｃは、第１密度相対値の演算時に用いる周辺領域として、撮影時間の異なる他の画像における周辺領域を用いてもよい。

なお、本実施の形態では、物体が人（人３０Ｂ）である場合を一例として説明した。しかし、物体は、画像を解析することで識別される被写体であればよく、人に限定されない。例えば、物体は、車、動物、植物、細胞、細菌、花粉、放射線、などであってもよい。

また、本実施の形態では、演算部１２Ｃは、第１密度相対値が第１閾値より小さい値の領域Ｐを、注目領域Ｑとして検出する場合を一例として説明した。しかし、演算部１２Ｃは、第１密度相対値が第１閾値より大きい値の領域Ｐを、注目領域Ｑとして検出してもよい。

また、第１閾値は、値の異なる二つの閾値（小閾値＜大閾値とする）を含んでいてもよい。この場合、演算部１２Ｃは、第１密度相対値が、第１閾値における小閾値より小さい値の領域Ｐを注目領域Ｑとして検出してもよい。また、演算部１２Ｃは、第１密度相対値が、第１閾値における大閾値より大きい値の領域Ｐを注目領域Ｑとして検出してもよい。

＜変形例１＞
なお、第１算出部１２Ｂは、画像３０における領域Ｐごとに算出した人３０Ｂの密度を、各領域Ｐの周辺領域ＰＢの密度に応じて補正してもよい。

図１は、本変形例１の画像処理装置１１の機能的構成を示すブロック図である。

画像処理装置１１は、撮影部２３と、記憶部１４と、ＵＩ部１６と、制御部１３と、を備える。画像処理装置１１は、制御部１２に代えて制御部１３を備えた以外は、第１の実施の形態の画像処理装置１０と同様である。

制御部１３は、第１取得部１２Ａと、第１算出部１３Ｂと、演算部１２Ｃと、検出部１２Ｄと、表示制御部１２Ｅと、を備える。制御部１３は、第１算出部１２Ｂに代えて第１算出部１３Ｂを備えた以外は、第１の実施の形態と同様である。

図９は、第１算出部１３Ｂの機能的構成を示すブロック図である。第１算出部１３Ｂは、第２算出部１３Ｃと、特定部１３Ｄと、補正部１３Ｅと、を備える。

第２算出部１３Ｃは、画像３０を複数の領域Ｐに分割した領域Ｐごとに、領域Ｐに含まれる物体の密度を算出する。第２算出部１３Ｃは、第１の実施の形態の第１算出部１２Ｂと同様にして、領域Ｐに含まれる物体の密度を算出する。

特定部１３Ｄは、画像３０に含まれる複数の領域Ｐの内、第２算出部１３Ｃによって算出された密度が第２閾値より大きい領域Ｐを特定する。

特定部１３Ｄは、任意の値の第２閾値を予め設定すればよい。例えば、特定部１３Ｄは、少なくとも一部の人３０Ｂが他の領域Ｐに跨って存在するか否かの判断基準の閾値を、第２閾値として予め定めればよい。例えば、１つの領域Ｐ内に複数の人３０Ｂが存在するほど、身体の一部が他の領域Ｐに跨って位置している可能性が高くなる。このため、このような観点で、特定部１３Ｄは、第２閾値を定めてもよい。なお、第２閾値は、ユーザによるＵＩ部１６の操作指示によって適宜変更可能としてもよい。

補正部１３Ｅは、特定した領域Ｐの周辺領域ＰＢを構成する領域Ｐの密度の各々に、第３重み付け値ｐを乗算する。第３重み付け値ｐは、０より大きく、且つ、１未満の値である。そして、補正部１３Ｅは、特定した領域Ｐの密度に、周辺領域ＰＢを構成する領域Ｐの各々に第３重み付け値ｐを乗算した乗算値の各々を加算した加算値を算出する。補正部１３Ｅは、該加算値となるように、特定部１３Ｄで特定した領域Ｐの密度を補正する。すなわち、補正部１３Ｅは、この加算値を、特定部１３Ｄで特定した領域Ｐの補正後の密度として用いる。

図１０は、第１算出部１３Ｂによる、物体の密度算出の説明図である。

図１０（Ａ）は、密度分布３１の一例を示す図である。第２算出部１３Ｃは、第１算出部１２Ｂと同様にして、領域Ｐごとに人３０Ｂの密度を算出する。これにより、第２算出部１３Ｃは、密度分布３１を得る。

第２閾値が、例えば、“２．１”であったと仮定する。この場合、特定部１３Ｄは、密度分布３１における、密度が“２．１”より大きい値の領域Ｐ５を特定する（密度“２．３”の領域Ｐ５）。そして、補正部１３Ｅは、該領域Ｐ５の周辺領域ＰＢを構成する領域Ｐ（領域Ｐ１、領域Ｐ２、領域Ｐ６、領域Ｐ９、領域Ｐ１０）の各々の密度に第２閾値を乗算した乗算値の各々を、特定した領域Ｐ５の密度“２．３”に加算する。この加算した結果である加算値が“２．７”であったと仮定する。この場合、補正部１３Ｅは、領域Ｐ５の密度を、“２．７”に補正する（図１０（Ｂ）参照）。

図１に戻り、演算部１２Ｃは、この補正後の密度分布３１（図１０（Ｂ）参照）によって示される各領域Ｐの密度を用いて、第１の実施の形態と同様にして、各領域Ｐの各々について、第１密度相対値を演算すればよい。

次に、本変形例の画像処理装置１１が実行する画像処理の手順を説明する。

図１１は、本変形例の画像処理装置１１が実行する画像処理の手順の一例を示すフローチャートである。

まず、第１取得部１２Ａが、注目領域Ｑの検出対象の画像３０を取得する（ステップＳ２００）。次に、第１算出部１３Ｂの第２算出部１３Ｃが、ステップＳ１００で取得した画像３０を複数の領域Ｐに分割した領域Ｐごとに、領域Ｐに含まれる物体（人３０Ｂ）の密度を算出する（ステップＳ２０２）。

次に、特定部１３Ｄが、密度が第２閾値より大きい領域Ｐを特定する（ステップＳ２０４）。次に、補正部１３Ｅが、特定した領域Ｐの密度を、該領域Ｐの周辺領域ＰＢの密度を用いて補正する（ステップＳ２０６）。

次に、演算部１２Ｃが、各領域Ｐの各々について、領域Ｐの周辺領域ＰＢにおける人３０Ｂの密度に対する第１密度相対値を演算する（ステップＳ２０８）。ステップＳ２０８では、演算部１２Ｃは、ステップＳ２０６で補正された密度を用いて、第１密度相対値を演算する。

次に、検出部１２Ｄが、画像３０に含まれる複数の領域Ｐの内、ステップＳ２０８で演算した第１密度相対値が第１閾値より大きい値、または第１閾値より小さい値の領域Ｐを、注目領域Ｑとして検出する（ステップＳ２１０）。次に、表示制御部１２Ｅが、ステップＳ２１０で検出した注目領域Ｑを示す表示画像を表示部１６Ａに表示する（ステップＳ２１２）。そして、本ルーチンを終了する。

以上説明したように、本変形例では、演算部１２Ｃは、第１算出部１３Ｂ（補正部１３Ｅ）で補正された密度を用いて、領域Ｐごとに第１密度相対値を算出する。

ここで、画像３０を複数の領域Ｐに分割したときの、各領域Ｐ間の区切り位置が、画像３０に含まれる人３０Ｂを分断する位置に配置される場合がある。この場合、各領域Ｐ間の区切り位置が人３０Ｂを分断する位置によって、算出される密度にばらつきが生じる場合がある。

そこで、第１算出部１３Ｂが、上記補正を行うことによって、より精度良く各領域Ｐにおける人３０Ｂの密度を算出することができる。このため、本変形例の画像処理装置１１は、第１の実施の形態の画像処理装置１０に比べて、更に精度良く、画像３０内における注目領域Ｑを検出することができる。

なお、本変形例では、補正部１３Ｅは、特定部１３Ｄが特定した領域Ｐについて密度の補正を行う場合を説明した。しかし、補正部１３Ｅは、画像３０内の全ての領域Ｐの各々について、上記と同様にして、密度の補正を行ってもよい。

＜変形例２＞
第１の実施の形態では、画像処理装置１０は、第１取得部１２Ａが取得した１枚の画像３０を用いて、注目領域Ｑを検出する場合を一例として説明した。しかし、画像処理装置１０は、第１取得部１２Ａで取得した時系列に連続する複数の画像３０を用いて、注目領域Ｑを検出してもよい。

図１は、本変形例の画像処理装置１５の機能的構成を示すブロック図である。

画像処理装置１５は、撮影部２３と、記憶部１４と、ＵＩ部１６と、制御部１７と、を備える。画像処理装置１５は、制御部１２に代えて制御部１７を備えた以外は、第１の実施の形態の画像処理装置１０と同様である。

制御部１７は、第１取得部１７Ａと、第１算出部１７Ｂと、演算部１７Ｃと、検出部１７Ｄと、表示制御部１７Ｅと、を含む。第１取得部１７Ａ、第１算出部１７Ｂ、演算部１７Ｃ、検出部１７Ｄ、および表示制御部１７Ｅの一部または全ては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣなどのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。

第１取得部１７Ａは、時系列に連続する複数の画像３０を取得する。時系列に連続する複数の画像３０とは、実空間におけるある特定の撮影領域（例えば、交差点や道路など）について、時系列に撮影された複数の撮影画像である。第１取得部１７Ａは、１枚の画像３０に代えて、時系列に連続する複数の画像３０を取得する以外は、第１の実施の形態の第１取得部１２Ａと同様である。

第１算出部１７Ｂは、第１取得部１７Ａで取得した複数の画像３０の各々について、画像３０を複数の領域Ｐに分割した領域Ｐごとに、領域Ｐに含まれる物体の密度を算出する。第１算出部１７Ｂは、１枚の画像３０に代えて、時系列に連続する複数の画像３０の各々について、領域Ｐごとに物体の密度を算出する以外は、第１の実施の形態の第１算出部１２Ｂと同様である。

演算部１７Ｃは、複数の画像３０の各々について、画像３０に含まれる領域Ｐの各々の第１密度相対値を演算する。演算部１７Ｃは、１枚の画像３０に代えて、時系列に連続する複数の画像３０の各々について、画像３０に含まれる領域Ｐの各々の第１密度相対値を演算する以外は、第１の実施の形態の演算部１２Ｃと同様である。

検出部１７Ｄは、複数の画像３０の各々について、注目領域Ｑを検出する。検出部１７Ｄは、１枚の画像３０に代えて、時系列に連続する複数の画像３０の各々について、注目領域Ｑを検出する以外は、第１の実施の形態の検出部１２Ｄと同様である。

表示制御部１７Ｅは、複数の画像３０の各々について検出された注目領域Ｑを用いて、注目領域Ｑの拡大速度または移動速度を算出する。注目領域Ｑの拡大速度や移動速度の算出には、公知の画像処理を用いればよい。

そして、表示制御部１７Ｅは、注目領域Ｑを拡大速度または移動速度に応じた表示形態で示す表示画像を、表示部１６Ａへ表示する。

例えば、表示制御部１７Ｅは、注目領域Ｑの拡大速度が速いほど、より注視を促す表示形態で示す注目領域Ｑを含む表示画像を表示部１６Ａへ表示する。また、例えば、表示制御部１７Ｅは、注目領域Ｑの移動速度が速いほど、より注視を促す表示形態で注目領域Ｑを含む表示画像を表示部１６Ａへ表示する。

次に、本変形例の画像処理装置１５が実行する画像処理の手順を説明する。

図１２は、本変形例の画像処理装置１５が実行する画像処理の手順の一例を示すフローチャートである。

まず、第１取得部１７Ａが、注目領域Ｑの検出対象の画像３０を取得したか否かを判断する（ステップＳ３００）。第１取得部１７Ａは、ステップＳ３００で肯定判断（ステップＳ３００：Ｙｅｓ）するまで、否定判断（ステップＳ３００：Ｎｏ）を繰り返す。

ステップＳ３００で肯定判断すると（ステップＳ３００：Ｙｅｓ）、ステップＳ３０２へ進む。ステップＳ３０２では、第１算出部１７Ｂが、ステップＳ３００で取得した画像３０を複数の領域Ｐに分割した領域Ｐごとに、領域Ｐに含まれる物体（人３０Ｂ）の密度を算出する（ステップＳ３０２）。次に、演算部１２Ｃが、各領域Ｐの各々について、領域Ｐの周辺領域ＰＢにおける人３０Ｂの密度に対する第１密度相対値を演算する（ステップＳ３０４）。

次に、検出部１７Ｄが、画像３０に含まれる複数の領域Ｐの内、ステップＳ３０４で演算した第１密度相対値が第１閾値より大きい値、または第１閾値より小さい値の領域Ｐを、注目領域Ｑとして検出する（ステップＳ３０６）。

そして、検出部１７Ｄは、ステップＳ３００で取得した画像３０と、ステップＳ３０２で算出した各領域Ｐの密度と、ステップＳ３０４で演算した各領域Ｐの第１密度相対値と、ステップＳ３０６で検出した注目領域Ｑと、を対応づけて記憶部１４に記憶する（ステップＳ３０８）。なお、ステップＳ３００において、第１取得部１７Ａは、画像３０の撮影日時を示す情報を更に取得してもよい。この場合、検出部１７Ｄは、画像３０に、該画像３０の撮影日時を示す情報を更に対応づけて、記憶部１４に記憶すればよい。

次に、表示制御部１７Ｅは、記憶部１４に記憶されている、時系列の複数の画像３０の各々に対応する注目領域Ｑから、注目領域Ｑの拡大速度を算出する（ステップＳ３１０）。例えば、表示制御部１７Ｅは、ステップＳ３００で取得した最新の画像３０と、該画像３０から過去に遡って連続する予め定めた枚数（例えば１０枚）の画像３０と、を特定する。そして、特定した画像３０の各々に対応する注目領域Ｑを記憶部１４から読取る。表示制御部１７Ｅは、読取った注目領域Ｑの、各画像３０における位置および面積と、各画像３０の撮影日時を示す情報と、を用いて、注目領域Ｑの拡大速度を算出すればよい。

そして、表示制御部１７Ｅは、注目領域Ｑを、ステップＳ３１０で算出した拡大速度に応じた表示形態で示す表示画像を、表示部１６Ａに表示する（ステップＳ３１２）。そして、次に、制御部１７は、処理を終了するか否かを判断する（ステップＳ３１４）。例えば、制御部１７は、ユーザによるＵＩ部１６の操作指示によって、該ＵＩ部１６から終了を示す信号を受け付けたか否かを判別することで、ステップＳ３１４の判断を行えばよい。

ステップＳ３１４で否定判断すると（ステップＳ３１４：Ｎｏ）、上記ステップＳ３００へ戻る。一方、ステップＳ３１４で肯定判断すると（ステップＳ３１４：Ｙｅｓ）、本ルーチンを終了する。

なお、表示制御部１７Ｅは、ステップＳ３１０において、注目領域Ｑの大きさの推移に応じて、注目領域Ｑの縮小速度を算出してもよい。また、表示制御部１７Ｅは、注目領域Ｑの拡大速度に代えて、注目領域Ｑの移動速度を算出してもよい。また、表示制御部１７Ｅは、注目領域Ｑの拡大速度と移動速度の双方を算出してもよい。

この場合、表示制御部１７Ｅは、ステップＳ３１２において、注目領域Ｑの拡大速度または縮小速度と、移動速度と、の少なくとも一方に応じた表示形態で注目領域Ｑを示す表示画像を、表示部１６Ａへ表示すればよい。

以上説明したように、画像処理装置１５は、時系列に連続する複数の画像３０を用いて、注目領域Ｑを検出してもよい。

また、本変形例の画像処理装置１５は、注目領域Ｑの拡大速度または縮小速度と、移動速度と、の少なくとも一方に応じた表示形態で、注目領域Ｑを示す表示画像を表示部１６Ａへ表示する。

このため、注目領域Ｑの位置や速度の変動を、ユーザに対して解り易く提供することができる。また、画像３０内に複数の注目領域Ｑが含まれる場合、より変動の大きい注目領域Ｑほど、他の注目領域Ｑとは異なる表示形態で表示されることとなる。このため、画像処理装置１５は、より変動の大きい注目領域Ｑに対しての注視を促す表示画像を、表示部１６Ａに表示することができる。

なお、画像処理装置１５は、時系列に連続する複数の画像３０の各々から領域Ｐごとに算出した物体の密度の累積値を用いて、注目領域Ｑを検出してもよい。

この場合、画像処理装置１５の第１算出部１７Ｂは、時系列に連続する複数の画像３０の各々から、上記と同様にして、領域Ｐごとに物体の密度を算出する。そして、第１算出部１７Ｂは、時系列に連続する複数の画像３０における、同じ撮影領域を示す領域Ｐごとに、算出した密度を加算することで、密度の累積値を領域Ｐごとに算出する。

例えば、撮影部２３が撮影する撮影領域が固定であるとする。そして、第１算出部１７Ｂは、画像３０における同じ位置に配置された領域Ｐごとに、算出された密度を加算する。これにより、第１算出部１７Ｂは、領域Ｐごとに密度の累積値を算出すればよい。

そして、演算部１７Ｃは、領域Ｐの各々の密度に代えて密度累積値を用いて、第１の実施の形態の演算部１２Ｃと同様にして、領域Ｐの各々について第１密度相対値を演算すればよい。そして、検出部１７Ｄは、演算部１７Ｃによって演算された第１密度相対値を用いて、第１の実施の形態の検出部１２Ｄと同様にして、注目領域Ｑを検出すればよい。

ここで、実空間における撮影部２３の撮影領域を、複数の人が通行したと仮定する。図１３−１は、人の流れ（矢印Ｘ方向参照）の一例を示す模式図である。撮影領域に、例えば、通行を妨げるような障害物Ｄが載置されていたとする。この場合、人は、この障害物Ｄをよけて通行すると考えられる。このため、人の流れ（矢印Ｘ方向）は、障害物Ｄを避ける流れとなる。

そこで、画像処理装置１５が、領域Ｐの各々における密度に代えて、密度累積値を用いて領域Ｐの各々の第１密度相対値を演算し注目領域Ｑを検出することで、画像３０における、ある一定の期間において周辺領域ＰＢより密度が高い（または密度が低い）領域Ｐを、注目領域Ｑとして検出することができる。

なお、表示制御部１７Ｅは、注目領域Ｑを示す表示画像を表示部１６Ａに表示してもよい。図１３−２は、表示画像Ａ１の一例を示す模式図である。図１３−２に示す表示画像Ａ１は、警備業務の支援に用いることが可能である。

一般に、ビルや商業施設などには、様々な箇所に監視カメラ（撮影部２３）が設置されている。そして、別室では、監視員が監視カメラの映像を見ながら、異常がないかをチェックしている。監視カメラの映像で不審人物や不審物などを発見した場合、監視員は、警備会社や近くの警備員に連絡をとり、連絡を受けた警備員が現地に訪れて対応する。しかしながら、通常は、図１３−２に示すように、多くの監視カメラの映像を同時に監視する必要があるため、問題発見が難しい。監視員が問題を見落としたり発見が遅れたりすれば、対応ができずに警備の質が低下する。

一方、本実施の形態の画像処理装置１５によれば、第１密度相対値を用いて注目領域Ｑを検出する。表示制御部１７Ｅは、注目領域Ｑを強調した表示（例えば、注目領域ＱにアノテーションＡ３を表示）をする。また、異常発生を示すアノテーションＡ２を併せて表示する。このような表示によって、監視員が注目しやすくなり、即座に問題を発見できて警備の質を向上させることができる。

＜変形例３＞
なお、注目領域Ｑの検出方法は、第１の実施の形態で説明した方法に限定されない。

例えば、画像処理装置１０では、各領域Ｐ間に境界を設定することで、注目領域Ｑを検出してもよい。

図１４は、境界を用いた注目領域Ｑの検出の説明図である。

本変形例では、演算部１２Ｃは、第１領域として設定された領域Ｐの周辺領域ＰＢに含まれる、該第１領域に隣接する複数の第２領域の密度の各々に対する、第１領域の密度の第２密度相対値の群を、第１密度相対値として演算する。

図１４（Ａ）は、第１算出部１２Ｂが算出した密度分布３１の一例を示す図である。また、図１４（Ａ）には、演算部１２Ｃが領域Ｐ６を第１領域として設定した状態を示した。この場合、図１４（Ａ）に示すように、領域Ｐ１の周辺領域ＰＢは、例えば、該領域Ｐ１に連続して配置された領域Ｐ１〜領域Ｐ３、領域Ｐ５、領域Ｐ７、および領域Ｐ９〜領域Ｐ１１を、第２領域として含む。

そして、本変形例では、演算部１２Ｃは、領域Ｐ６に隣接する複数の第２領域（領域Ｐ１〜領域Ｐ３、領域Ｐ５、領域Ｐ７、および領域Ｐ９〜領域Ｐ１１）の密度の各々に対する、領域Ｐ６の密度の相対値（第２密度相対値）を算出する。この場合、演算部１２Ｃは、第１領域である領域Ｐ６に対して、８個の第２密度相対値を算出する。そして、この８個の第２密度相対値の群を、周辺領域ＰＢの密度である第１密度相対値として扱う。

そして、検出部１２Ｄは、第２密度相対値が第１閾値より大きい値、または、第１閾値より小さい値を示す場合に、該第２密度相対値の演算に用いた第１領域と第２領域との領域間に境界を設定する。

例えば、図１４（Ｂ）に示すように、第１領域である領域Ｐ６の、領域Ｐ７に対する第２密度相対値が第１閾値より大きい値であるとする。この場合、検出部１２Ｄは、領域Ｐ６と領域Ｐ７との領域間に境界Ｍ１を設定する。

同様に、第１領域である領域Ｐ６の、領域Ｐ１０に対する第２密度相対値が、第１閾値より大きい値であるとする。この場合、検出部１２Ｄは、領域Ｐ６と領域Ｐ１０との領域間に境界Ｍ２を設定する。

同様にして、演算部１２Ｃが、画像３０に含まれる領域Ｐ（領域Ｐ１〜領域Ｐ１６）の各々を第１領域として順次設定し、各第１領域について第２密度相対値の群を演算する度に、検出部１２Ｄは、同様にして境界Ｍを設定する。

そして、検出部１２Ｄは、画像３０に含まれる複数の領域Ｐの内、連続する境界Ｍによって示される仮想線より内側または外側の領域を、注目領域Ｑとして検出すればよい。

例えば、図１４（Ｃ）に示すように、検出部１２Ｄは、連続する境界Ｍによって示される、閉じた（無端の）仮想線より内側の領域を、注目領域Ｑとして検出すればよい。なお、連続する境界Ｍによって示される仮想線の端部が、画像３０の周縁に到る場合がある。この場合、検出部１２Ｄは、連続する境界Ｍと、画像３０の周縁と、によって示される仮想線より内側の領域を、注目領域Ｑとして検出すればよい。

（第２の実施の形態）
本実施の形態では、予測密度情報から算出した密度相対値（第３密度相対値）を、第１閾値として用いる場合を説明する。

図１５は、本実施の形態の画像処理装置１９の機能的構成を示すブロック図である。

画像処理装置１９は、制御部２１と、記憶部１４と、ＵＩ部１６と、撮影部２３と、を備える。撮影部２３、記憶部１４、およびＵＩ部１６は、制御部２１に電気的に接続されている。

撮影部２３およびＵＩ部１６は、第１の実施の形態と同様である。記憶部１４は、各種データを記憶する。

制御部２１は、ＣＰＵ、ＲＯＭ、およびＲＡＭなどを含んで構成されるコンピュータである。なお、制御部２１は、ＣＰＵ以外の回路等であってもよい。

制御部２１は、画像処理装置１９全体を制御する。制御部２１は、第１取得部１２Ａと、第１算出部１２Ｂと、演算部１２Ｃと、検出部２１Ｄと、表示制御部１２Ｅと、第２取得部２１Ｆと、を含む。

第１取得部１２Ａ、第１算出部１２Ｂ、演算部１２Ｃ、検出部２１Ｄ、表示制御部１２Ｅ、および第２取得部２１Ｆの一部または全ては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣなどのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。

第１取得部１２Ａ、第１算出部１２Ｂ、および表示制御部１２Ｅは、第１の実施の形態と同様である。

すなわち、第１取得部１２Ａは、画像３０を取得する。第１算出部１２Ｂは、画像３０を複数の領域Ｐに分割した領域Ｐごとに、領域Ｐに含まれる物体の密度を算出する。演算部１２Ｃは、領域Ｐの各々について、領域Ｐの周辺領域ＰＢの物体の密度に対する第１密度相対値を演算する。

図１６は、画像３０に対する処理の流れを示す模式図である。例えば、第１取得部１２Ａが、図１６（Ａ）に示す画像３０を取得したとする。この場合、第１算出部１２Ｂは、画像３０を、複数の領域Ｐに分割する。図１６（Ｂ）には、第１算出部１２Ｂが、縦４個×横４個の合計１６個の領域Ｐに、画像３０を分割する場合を示した。

そして、第１算出部１２Ｂは、領域Ｐごとに、人３０Ｂの密度を算出する。図１６（Ｃ）は、密度分布３１の一例を示す図である。図１６（Ｃ）に示すように、第１算出部１２Ｂは、領域Ｐ１〜領域Ｐ１６の各々の領域Ｐについて、各領域Ｐに含まれる人３０Ｂの密度を算出する。これにより、第１算出部１２Ｂは、密度分布３１を得る。

そして、演算部１２Ｃは、領域Ｐの各々について、領域Ｐの周辺領域ＰＢの物体の密度に対する第１密度相対値を演算する。図１６（Ｄ）は、第１密度相対値を領域Ｐごとに規定した、相対値分布３２の一例を示す図である。演算部１２Ｃは、密度分布３１を用いて領域Ｐごとに第１密度相対分布を演算することで、相対値分布３２を作成する。第１密度相対値の演算方法は、第１の実施の形態で説明したため、ここでは記載を省略する。

図１５に戻り、本実施の形態では、制御部２１は、第２取得部２１Ｆを更に備える。第２取得部２１Ｆは、注目領域Ｑの検出に用いる画像３０の撮影環境を取得する。撮影環境とは、画像３０の撮影時の環境を示す。撮影環境は、例えば、撮影時間帯、撮影した曜日、撮影時の天候、撮影した撮影領域で開催されていたイベントの種類、などである。

第２取得部２１Ｆは、ＵＩ部１６から撮影環境を取得してもよい。例えば、ユーザは、ＵＩ部１６を操作することで、注目領域Ｑに用いる画像３０の撮影環境を入力する。例えば、表示制御部１２Ｅは、撮影環境の一覧を示す選択画面を表示部１６Ａに表示する。ユーザは、入力部１６Ｂを操作することで、表示された選択画面から所望の撮影環境を選択すればよい。これにより、第２取得部２１Ｆは、ＵＩ部１６から撮影環境を取得する。

なお、第２取得部２１Ｆは、第１取得部１２Ａで取得した、注目領域Ｑの検出に用いる画像３０を画像解析することで、該画像３０の撮影環境を取得してもよい。例えば、記憶部１４は、撮影環境と、画像３０の画像解析により得られる撮影環境を示す特徴量と、を対応づけて予め記憶する。そして、第２取得部２１Ｆは、画像３０を画像解析することで特徴量を算出し、対応する撮影環境を記憶部１４から読取ることで、画像３０の撮影環境を取得してもよい。

また、本実施の形態では、検出部１２Ｄ（図１参照）に代えて検出部２１Ｄを備える。検出部２１Ｄは、第１の実施の形態の検出部１２Ｄと同様に、画像３０に含まれる複数の領域Ｐの内、第１密度相対値が予め定めた第１閾値より大きい値または第１閾値より小さい値の領域Ｐを、注目領域Ｑとして検出する。

ここで、本実施の形態では、検出部２１Ｄは、予測密度情報から算出した第３密度相対値を、第１閾値として用いる。

予測密度情報は、画像３０に含まれる複数の領域Ｐの各々の予測密度を予め規定したものである。予測密度情報は、予め規定され、記憶部１４に予め記憶されている。

予測密度情報に規定される領域Ｐごとの予測密度は、予めユーザが設定してもよいし、制御部２１で予め算出してもよい。

予めユーザが設定する場合、ユーザは、画像３０の撮影領域における物体の密度分布を過去の観察結果などから推定する。これにより、ユーザは、予測密度を領域Ｐごとに推定し、推定結果をＵＩ部１６の操作指示によって入力する。制御部２１は、ＵＩ部１６から受け付けた領域Ｐごとの予測密度を、予測密度情報として記憶部１４へ予め記憶すればよい。

制御部２１で領域Ｐごとの予測密度を算出する場合、例えば、第１の実施の形態の画像処理装置１０と同様にして、第１算出部１２Ｂが領域Ｐごとの密度を予め算出すればよい。そして、第１算出部１２Ｂは、ある一定の期間（例えば、数か月間、一年間など）に撮影部２３で撮影された複数の画像３０の各々について、領域Ｐごとの物体の密度を算出する。領域Ｐの分割条件や、物体の種類は、注目領域Ｑを検出するための画像処理時に第１算出部１２Ｂが用いる分割条件および種類と同じとすればよい。

そして、第１算出部１２Ｂは、ある一定の期間に撮影部２３で撮影された複数の画像３０の各々について算出した、領域Ｐごとの密度の平均値を、密度推定値として規定する。これにより、第１算出部１２Ｂは、予測密度情報を予め作成すればよい。そして、第１算出部１２Ｂは、作成した予測密度情報を、撮影環境に対応づけて予め記憶部１４へ記憶すればよい。

なお、注目領域Ｑを検出するための画像処理時に第１算出部１２Ｂが算出する密度が、領域Ｐ内における物体の分散度である場合、予測密度情報に規定する領域Ｐごとの密度は、同様に分散度とすればよい。

図１６（Ｅ）〜図１６（Ｈ）は、予測密度情報の算出の流れを示す模式図である。例えば、予測密度情報の算出に用いる画像が、例えば、図１６（Ｅ）に示す画像３４であったとする。この場合、第１算出部１２Ｂは、画像３４を、領域Ｐ（図１６（Ｂ）参照）と同じ分割条件で、複数の第３領域Ｓに分割する（図１６（Ｆ）参照）。

そして、第１算出部１２Ｂは、第３領域Ｓごとに、人３０Ｂの密度を算出することで、予測密度情報を算出する。図１６（Ｇ）は、予測密度情報３５の一例を示す図である。図１６（Ｇ）に示すように、第１算出部１２Ｂは、第３領域Ｓ１〜第３領域Ｓ１６の各々の第３領域Ｓについて、各第３領域Ｓに含まれる人３０Ｂの密度を算出する。これにより、第１算出部１２Ｂは、予測密度情報３５を得る。

このように、制御部２１では、予め予測密度情報３５を生成し、予め記憶部１４へ記憶する。なお、制御部２１は、撮影環境ごとに予測密度情報３５を生成し、撮影環境に対応づけて記憶部１４へ予め記憶することが好ましい。この場合、制御部２１は、対応する撮影環境で撮影された複数の画像３０から、予測密度情報３５を予め算出し、記憶部１４に対応づけて予め記憶すればよい。

図１５に戻り、検出部２１Ｄは、予測密度情報３５から算出した第３密度相対値を第１閾値として用いて、注目領域Ｑを検出する。

詳細には、検出部２１Ｄは、第３算出部２１Ｅを含む。第３算出部２１Ｅは、第２取得部２１Ｆが取得した撮影環境に対応する予測密度情報３５を、記憶部１４から読取る。なお、記憶部１４に１種類の予測密度情報３５のみが記憶されている場合、第３算出部２１Ｅは、第２取得部２１Ｆが取得した撮影環境に拘らず、記憶部１４に記憶されている予測密度情報３５を読取ればよい。

そして、第３算出部２１Ｅは、読取った予測密度情報３５における第３領域Ｓの各々について、第３領域Ｓの周辺領域である第３周辺領域の物体（人３０Ｂ）の密度に対する第３密度相対値を算出する。第３算出部２１Ｅは、演算部１２Ｃによる第１密度相対値の演算時と同様の方法を用いて、第３領域Ｓの各々について第３密度相対値を算出すればよい。

図１６（Ｈ）は、第３密度相対値を第３領域Ｓごとに規定した相対値分布３６の一例を示す図である。第３算出部２１Ｅは、予測密度情報３５を用いて第３領域Ｓごとに第３密度相対分布を算出することで、相対値分布３６を作成する。

そして、検出部２１Ｄは、注目領域Ｑの検出対象の画像３０に含まれる複数の領域Ｐの内、第１密度相対値が第１閾値より大きい値または第１閾値より小さい値の領域Ｐを、注目領域Ｑとして検出する。

本実施の形態では、検出部２１Ｄは、画像３０の各領域Ｐの各々について、予測密度情報３５における対応する第３領域Ｓの第３密度相対値を、各領域Ｐの各々の第１閾値として用いる。

具体的には、図１６（Ｄ）に示すように、演算部１２Ｃが作成した相対値分布３２には、領域Ｐごとに第１密度相対値が規定されている。そして、第３算出部２１Ｅが予測密度情報３５（図１６（Ｇ）参照）から算出した相対値分布３６には、第３領域Ｓごとに第３密度相対値が規定されている。

検出部２１Ｄは、相対値分布３２における領域Ｐ１〜領域Ｐ１６の各々の第１閾値として、相対値分布３６における、対応する位置に配置された第３領域Ｓ１〜第３領域Ｓ１６の各々の第３密度相対値を用いる。詳細には、例えば、領域Ｐ１の第１閾値には、第３領域Ｓ１の第３密度相対値を用いる。同様に、他の領域Ｐ２〜領域Ｐ１６についても、対応する第３領域Ｓ２〜第３領域Ｓ１６の各々の第３密度相対値を、第１閾値として用いる。

そして、検出部２１Ｄは、画像３０に含まれる複数の領域Ｐの内、第１密度相対値が第１閾値（第３密度相対値）より大きい値、または、第１閾値（第３密度相対値）より小さい値の領域Ｐを、注目領域Ｑとして検出する。

図１６に示す例の場合、例えば、検出部２１Ｄは、第１密度相対値が第１閾値より小さい値の領域Ｐである、領域Ｐ１、領域Ｐ２、領域Ｐ９、領域Ｐ１１〜領域Ｐ１３、および領域Ｐ１５を、注目領域Ｑとして検出する（図１６（Ｄ）、図１６（Ｈ）、図１６（Ｉ）参照）。

そして、表示制御部１２Ｅは、検出部２１Ｄで検出した注目領域Ｑを、第１の実施の形態と同様にして、表示部１６Ａへ表示する。このため、例えば、表示部１６Ａには、領域Ｐ１、領域Ｐ２、領域Ｐ９、領域Ｐ１１〜領域Ｐ１３、および領域Ｐ１５を、注目領域Ｑとして示す表示画像３３が表示される（図１６（Ｉ）参照）。

次に、本実施の形態の画像処理装置１９が実行する画像処理の手順を説明する。

図１７は、本実施の形態の画像処理装置１９が実行する画像処理の手順の一例を示すフローチャートである。

まず、第１取得部１２Ａが、注目領域Ｑの検出対象の画像３０を取得する（ステップＳ４００）。次に、第１算出部１２Ｂが、ステップＳ４００で取得した画像３０を複数の領域Ｐに分割した領域Ｐごとに、領域Ｐに含まれる物体（人３０Ｂ）の密度を算出する（ステップＳ４０２）。

次に、演算部１２Ｃが、各領域Ｐの各々について、領域Ｐの周辺領域ＰＢにおける人３０Ｂの密度に対する第１密度相対値を演算する（ステップＳ４０４）。次に、第２取得部２１Ｆが、撮影環境を取得する（ステップＳ４０６）。次に、第３算出部２１Ｅが、ステップＳ４０６で取得した撮影環境に対応する予測密度情報３５を記憶部１４から読取る（ステップＳ４０８）。

次に、第３算出部２１Ｅが、ステップＳ４０８で読取った予測密度情報３５における、第３領域Ｓの各々について、第３密度相対値を算出する（ステップＳ４１０）。次に、検出部２１Ｄが、注目領域Ｑを検出する（ステップＳ４１２）。次に、表示制御部１２Ｅが、注目領域Ｑを表示部１６Ａへ表示する（ステップＳ４１４）。そして、本ルーチンを終了する。

以上説明したように、本実施の形態の画像処理装置１９は、検出部２１Ｄが、予測密度情報３５から算出した第３密度相対値を第１閾値として用いて、注目領域Ｑを検出する。

このため、本実施の形態の画像処理装置１９では、周辺領域ＰＢとは密度が異なり、且つ、予測した予測密度とは異なる領域Ｐを、注目領域Ｑとして検出することができる。

例えば、普段から人が存在しない領域（例えば、車道など）の人３０Ｂの密度は、周辺領域ＰＢに比べて常に低いことが予測される。このため、このような領域は、注目領域Ｑとして検出されないことが好ましい。一方、本実施の形態では、領域Ｐに対する第１密度相対値と、予測密度情報と、の双方を用いて、注目領域Ｑを検出する。このため、常に密度の低い領域や常に密度の高い領域などを注目領域Ｑから除外することができる。

従って、本実施の形態の画像処理装置１９では、より正確に注目領域Ｑを検出することができる。

なお、画像処理装置１０は、第２取得部２１Ｆが取得した撮影環境に対応する予測密度情報３５を用いて検出した注目領域Ｑを、取得した撮影環境に対応づけて記憶部１４へ順次記憶してもよい。そして、表示制御部１２Ｅは、撮影環境の一覧を示す選択画面を表示部１６Ａに表示してもよい。ユーザが、入力部１６Ｂを操作することで、表示された選択画面から所望の撮影環境を選択すると、表示制御部１２Ｅは、選択された撮影環境に対応する注目領域Ｑを記憶部１４から読取り、注目領域Ｑを示す表示画像を表示部１６Ａへ表示してもよい。

この場合、画像処理装置１０は、ユーザによって選択された撮影環境に応じて、検出された注目領域Ｑを切り替えて表示することが可能となる。

なお、検出部２１Ｄは、第２取得部２１Ｆが取得した撮影環境に応じて、注目領域Ｑの検出時の判断基準を変更してもよい。この場合、検出部２１Ｄは、撮影環境と、判断基準と、を対応づけて予め記憶すればよい。そして、検出部２１Ｄは、第２取得部２１Ｆが取得した撮影環境に対応する判断規準を用いて、注目領域Ｑの検出を行えばよい。

具体的には、検出部２１Ｄは、第２取得部２１Ｆが取得した撮影環境に応じて、画像３０に含まれる複数の領域Ｐの内、第１密度相対値が第１閾値（第３密度相対値）より大きい値の領域Ｐを注目領域Ｑとして検出するか、または、第１閾値（第３密度相対値）より小さい値の領域Ｐを注目領域Ｑとして検出するか、を変更してもよい。

例えば、検出部２１Ｄは、撮影環境が“赤信号の交差点”である場合、第１相対密度が第１閾値（第３密度相対値）より小さい値の領域Ｐを注目領域Ｑとして検出する。また、検出部２１Ｄは、撮影環境が“青信号の交差点”である場合、第１相対密度が第１閾値（第３密度相対値）より大きい値の領域Ｐを注目領域Ｑとして検出する。

この場合、検出部２１Ｄは、撮影環境が“赤信号の交差点”である場合には、信号を無視して交差点を通行中の人物の存在する領域Ｐを注目領域Ｑとして検出することができる。また、検出部２１Ｄは、撮影環境が“青信号の交差点”である場合には、交差点に人の通行を妨げるような障害物などのある領域Ｐを注目領域Ｑとして検出することができる。

（第３の実施の形態）
上記実施の形態および変形例では、画像３０に含まれる物体の種類が１種類である場合を想定して説明した。一方、本実施の形態では、画像３０に複数種類の物体が含まれる場合を説明する。そして、本実施の形態では、種類ごとに、注目領域Ｑを検出する場合を説明する。

種類とは、物体を、予め定めた規則に従って分類したときの、各分類を示す。各種類の物体は、各分類（すなわち各種類）に属する物体である。予め定めた規則とは、物体を撮影した画像を解析することで、各物体を他の物体と区別するときに用いる１または複数の特徴である。例えば、予め定めた規則は、色、形状、動きなどである。このため、例えば、複数種類の物体は、各種類間で、色および形状の少なくとも一方が異なる。

種類は、例えば、人などの生物や、車などの非生物である。なお、種類は、生物や非生物を更に細かく分類したものであってもよい。例えば、種類は、年齢、性別、国籍などの個人属性であってもよい。また、種類は、人の距離から推定可能なグループ（家族やカップルなど）であってもよい。

本実施の形態では、一例として、物体は、人および車である場合を説明する。すなわち、本実施の形態では、一例として、注目領域Ｑの検出対象の画像に含まれる物体の種類は、人と車である場合を説明する。しかし、物体および物体の種類は、人と車に限定されない。

この場合、画像処理装置１０の第１算出部１２Ｂを以下の構成とすることで、画像３０に含まれる物体の種類ごとに、各領域Ｐの密度を精度良く算出することができる。そして、画像処理装置１０の検出部１２Ｄは、物体の種類ごとに算出された密度を用いて、注目領域Ｑを検出する。このため、本実施の形態の画像処理装置１０では、物体の種類ごとに、画像３０内における注目領域Ｑを精度良く検出することができる。

図１８は、本実施の形態の画像処理装置１０の第１算出部１２Ｂの機能的構成を示すブロック図である。

第１算出部１２Ｂは、第４算出部５０Ａと、第５算出部５０Ｂと、生成部５０Ｃと、を含む。

第４算出部５０Ａは、第１取得部１２Ａ（図１参照）で取得した画像３０から、画像３０を複数の領域Ｐに分割した領域Ｐごとに、各領域Ｐに含まれる物体の種類ごとの仮密度を算出する。仮密度は、仮に算出する密度である。

図１９は、本実施の形態で用いる画像３０の一例を示す図である。本実施の形態では、第１取得部１２Ａは、複数種類の物体として車３０Ａと人３０Ｂを含む画像３０を取得する場合を説明する（図１９（Ａ）参照）。

図１９（Ｂ）は、画像３０を複数の領域Ｐに分割した状態を示す模式図である。第４算出部５０Ａは、画像３０を複数の領域Ｐに分割する。画像３０の分割は、第１の実施の形態と同様である。

そして、第４算出部５０Ａは、各領域Ｐに含まれる物体の種類ごとに、仮密度を算出する。仮密度の算出は、第１の実施の形態の第１算出部１２Ｂによる密度の算出と同様の方法を用いても良いし、公知の方法を用いても良い。ただし、第４算出部５０Ａによる、各領域Ｐに含まれる物体の種類ごとの仮密度の算出には、後述する第４の実施の形態で説明する算出方法を用いることが、仮密度の算出精度を高くする観点から好ましい（詳細後述）。

また、画像３０に含まれる物体として、人の距離から推定可能なグループ（家族やカップルなど）を用いる場合には、第４算出部５０Ａは、画像３０内における同じグループに属する人の存在する領域を１つの物体（グループ）の占める範囲とすればよい。そして、第４算出部５０Ａは、画像３０内における、該範囲の重なり具合に応じて、グループの数を調整すればよい。例えば、第４算出部５０Ａは、あるグループの範囲の１／４に相当する領域Ｐが他のグループの範囲に重なる場合、該領域Ｐにおける、あるグループの密度は０．４グループであるとして算出すればよい。

図２０は、画像３０に対する処理を示す模式図である。例えば、第４算出部５０Ａが、図２０（Ａ）に示す画像３０について、各領域Ｐに含まれる物体の種類ごとに仮密度を算出したとする。すると、第４算出部５０Ａは、領域Ｐごとに、領域Ｐに含まれる車３０Ａの仮密度と、領域Ｐに含まれる人３０Ｂの仮密度と、を算出する。

図２０（Ｂ）は、画像３０の領域Ｐごとに算出された、車３０Ａの仮密度３２Ａを模式的に示す図である。図２０（Ｂ）に示す例では、各領域Ｐに含まれる車３０Ａの仮密度３２Ａが、仮密度３２Ａ_１〜仮密度３２Ａ_４に向かって高いことを示す。図２０（Ｂ）に示すように、第４算出部５０Ａは、領域Ｐごとに各領域Ｐに含まれる車３０Ａの仮密度３２Ａ（３２Ａ_１〜３２Ａ_４）を算出する。なお、第４算出部５０Ａが算出する仮密度の値は、４段階の値に限定されない。

図２０（Ｃ）は、画像３０の領域Ｐごとに算出された、人３０Ｂの仮密度３４Ｂを模式的に示す図である。図２０（Ｃ）に示す例では、各領域Ｐに含まれる人３０Ｂの仮密度３４Ｂが、仮密度３４Ｂ_１〜仮密度３４Ｂ_４に向かって高いことを示す。図２０（Ｃ）に示すように、第４算出部５０Ａは、領域Ｐごとに各領域Ｐに含まれる人３０Ｂの仮密度３４Ｂ（３４Ｂ_１〜３４Ｂ_４）を算出する。

図１８に戻り、第５算出部５０Ｂは、第４算出部５０Ａで算出された、領域Ｐの各々の物体の種類ごとの仮密度から、領域Ｐの各々における物体の種類の尤度を算出する。本実施の形態において、尤度とは、物体の種類の確からしさを示す。本実施の形態では、第５算出部５０Ｂは、各領域Ｐについて、各領域Ｐにおける物体の種類の確からしさを示す尤度を、対応する物体の種類の算出された仮密度から算出する。

詳細には、第５算出部５０Ｂは、算出された領域Ｐの各々の物体の種類ごとの仮密度に、面積比、および類似度の少なくとも一方を乗算した乗算値を、領域Ｐの各々における物体の種類の尤度として算出する。

例えば、画像３０に含まれる物体の種類が、車３０Ａと人３０Ｂであるとする。この場合、第５算出部５０Ｂは、画像３０に含まれる領域Ｐの各々について、車３０Ａの確からしさを示す尤度と、人３０Ｂの確からしさを示す尤度と、を算出する。

面積比は、画像３０に含まれる複数の種類の物体の各々の、基準物体に対する面積の比を示す。基準物体は、予め定めた大きさの物体であってもよいし、画像３０に含まれる複数種類の物体の内、最も面積の小さい種類の物体としてもよい。

図２１は、尤度算出の説明図である。例えば、人３０Ｂと車３０Ａとの一般的な面積比の関係が、面積Ｓ：面積ＫＳの関係であったとする。そして、基準物体を人３０Ｂとしたとする。

ここで、本実施の形態における「面積」は、各種類の物体の、二次元画像における平均面積を示す。このため、人３０Ｂの面積（平均面積）は、例えば、標準体型の人３０Ｂの全身を人３０Ｂの正面から撮影した撮影画像における、人３０Ｂの領域の面積を示す。また、人３０Ｂの面積は、様々な体型の人３０Ｂの領域の面積を平均した値であってもよい。また、車３０Ａの面積（平均面積）は、例えば、標準の大きさの車３０Ａを側面から撮影した撮影画像（人３０Ｂの撮影画像と同じ撮影倍率とする）における、車３０Ａの領域の面積を示す。

面積を用いて尤度を算出する場合、第５算出部５０Ｂは、下記式（１）および式（２）を用いて、各領域Ｐの各々における、人３０Ｂの尤度と、車３０Ａの尤度と、を算出する。

ＬＢ（Ｐ）＝ＤＢ（Ｐ）×Ｓ／Ｓ ・・・式（１）
ＬＡ（Ｐ）＝ＤＡ（Ｐ）×ＫＳ／Ｓ ・・・式（２）

式（１）中、ＬＢ（Ｐ）は、領域Ｐの人３０Ｂの尤度を示し、ＤＢ（Ｐ）は、領域Ｐの人３０Ｂの仮密度を示す。式（２）中、ＬＡ（Ｐ）は、領域Ｐの車３０Ａの尤度を示し、ＤＡ（Ｐ）は、領域Ｐの車３０Ａの仮密度を示す。また、式（１）および式（２）中、Ｓは、人３０Ｂの一般的な面積を示し（ここでは基準面積として扱っている）、ＫＳは、車３０Ａの一般的な面積を示す。このためＳ／Ｓは、基準物体の面積（ここでは、一例として人３０Ｂの平均面積）に対する、人３０Ｂの面積比を示す。また、ＫＳ／Ｓは、基準物体の面積（ここでは、人３０Ｂの面積）に対する、車３０Ａの面積比を示す。

なお、第５算出部５０Ｂは、人３０Ｂと車３０Ａとの一般的な面積比を示す値（面積Ｓ：面積ＫＳ）を、第５算出部５０Ｂに予め記憶すればよい。そして、尤度の算出時に、これらの面積比を用いればよい。

なお、第５算出部５０Ｂは、画像３０に含まれる可能性のある複数種類の物体の各々について、各種類の物体の平均面積を予め記憶部１４に記憶する。そして、第５算出部５０Ｂは、画像３０に含まれる種類に対応する平均面積を記憶部１４から読取り、尤度の算出に用いればよい。

また、上記「類似度」は、各種類の物体の、標準物の特徴（基準特徴とする）に対する特徴の類似度を示す。特徴が似ているほど、類似度は大きい値（高い値）を示す。特徴は、例えば、その種類の物体の特徴的な要素を値としてあらわしたものである。特徴は、例えば、色や形状を示す。特徴として用いる色には、例えば、色ヒストグラムを用いてもよい。

例えば、記憶部１４は、各種類の物体ごとに、各種類の物体の特徴を示す値を予め記憶する。例えば、ある物体の特徴が色にある場合、記憶部１４は、該物体の種類の特徴的な色を、該物体の基準特徴の色として予め記憶する。また、例えば、ある物体の特徴が形状にある場合、記憶部１４は、該物体の種類の特徴的な形状を、該物体の基準特徴の形状として予め記憶する。これらの基準特徴は、例えば、第５算出部５０Ｂで予め算出し、記憶部１４に記憶すればよい。また、これらの基準特徴は、ユーザによる入力部１６Ｂの操作により、適宜変更可能としてもよい。

類似度を用いて尤度を算出する場合、第５算出部５０Ｂは、下記式（３）および式（４）を用いて、各領域Ｐの各々における、人３０Ｂの尤度と、車３０Ａの尤度と、を算出する。

ＬＢ（Ｐ）＝ＤＢ（Ｐ）×ＣＢ ・・・式（３）
ＬＡ（Ｐ）＝ＤＡ（Ｐ）×ＣＡ ・・・式（４）

式（３）中、ＬＢ（Ｐ）は、領域Ｐの人３０Ｂの尤度を示し、ＤＢ（Ｐ）は、領域Ｐの人３０Ｂの仮密度を示す。また、式（３）中、ＣＢは、人３０Ｂの基準特徴に対する、算出対象の領域Ｐに含まれる人３０Ｂの特徴の類似度を示す。

式（４）中、ＬＡ（Ｐ）は、領域Ｐの車３０Ａの尤度を示し、ＤＡ（Ｐ）は、領域Ｐの車３０Ａの仮密度を示す。また、式（４）中、ＣＡは、車３０Ａの基準特徴に対する、算出対象の領域Ｐに含まれる車３０Ａの特徴の類似度を示す。

第５算出部５０Ｂは、公知の方法を用いて、基準特徴に対する特徴の類似度を算出すればよい。なお、第５算出部５０Ｂは、基準特徴（例えば、車３０Ａの基準特徴）と、尤度算出対象の領域Ｐにおける物体（例えば、車３０Ａ）の特徴と、が一致する場合に最も高い値となり、これらが全く異なる場合に最も低い値となるように、類似度を算出すればよい。

また、第５算出部５０Ｂが、面積および類似度の双方を用いて尤度を算出する場合には、領域Ｐの各種類の物体の仮密度に、面積比と類似度とを乗算した乗算結果を、尤度として算出すればよい。また、類似度の種類が複数である場合には(例えば、色と形状)、領域Ｐの各種類の物体の仮密度に、面積比と、複数種類の類似度の各々と、を乗算した乗算結果を、尤度として算出すればよい。

上記処理により、第５算出部５０Ｂは、画像３０における領域Ｐの各々について、各物体の種類（車３０Ａ、人３０Ｂ）ごとの尤度を算出する。本実施の形態では、第５算出部５０Ｂは、領域Ｐの各々について、車３０Ａの尤度と、人３０Ｂの尤度と、を算出する。

図１８に戻り、生成部５０Ｃは、密度データを生成する。密度データは、画像３０における領域Ｐの各々に対応する位置に、対応する領域Ｐの物体の種類ごとに算出された尤度の内、最も低い尤度より少なくとも高い尤度の物体の種類の仮密度を割当てたものである。

そして、生成部５０Ｃは、各領域Ｐに割当てた仮密度を、各領域Ｐの物体の種類の密度として決定する。すなわち、密度データは、画像３０の領域Ｐの各々に、物体の種類の密度を規定したデータである。

例えば、第５算出部５０Ｂが、領域Ｐの各々について、車３０Ａの尤度と、人３０Ｂの尤度と、を算出したとする。この場合、生成部５０Ｃは、領域Ｐごとに算出された人３０Ｂの尤度と人３０Ｂの尤度の内、最も低い尤度より高い尤度（ここでは、物体の種類が２種類であるので、高い方の尤度）を、各領域Ｐの尤度として用いる。

例えば、ある領域Ｐについては、車３０Ａの尤度が人３０Ｂの尤度より高かったとする。この場合、第５算出部５０Ｂは、この領域Ｐについては、より高い尤度である車３０Ａの尤度を、この領域Ｐの尤度として用いる。

そして、第５算出部５０Ｂは、画像３０における、この領域Ｐに対応する位置に、この領域Ｐに用いる尤度の物体の種類である車３０Ａの仮密度を、該領域Ｐの車３０Ａの密度として割当てる。なお、割当てる仮密度は、第４算出部５０Ａが該領域Ｐについて算出した、車３０Ａの仮密度(該領域Ｐにおいて尤度の高い方の物体の種類に対応する仮密度)である。

逆に、ある領域Ｐについては、車３０Ａの尤度が人３０Ｂの尤度より低かったとする。この場合、第５算出部５０Ｂは、この領域Ｐについては、より高い尤度である人３０Ｂの尤度を、この領域Ｐの尤度として用いる。

そして、第５算出部５０Ｂは、画像３０における、この領域Ｐに対応する位置に、この領域Ｐに用いる尤度の物体の種類である人３０Ｂの仮密度を、該領域Ｐの人３０Ｂの密度として割当てる。なお、割当てる仮密度は、第４算出部５０Ａが該領域Ｐについて算出した、人３０Ｂの仮密度（該領域Ｐにおいて尤度の高い方に対応する仮密度）である。

なお、上述したように、生成部５０Ｃは、画像３０における領域Ｐの各々に対応する位置に、対応する領域Ｐの物体の種類ごとに算出された尤度の内、最も低い尤度より少なくとも高い尤度の物体の種類の仮密度を割当てた、密度データを生成する。

このため、生成部５０Ｃは、各領域Ｐについて、３種類以上の物体の種類ごとの尤度を算出した場合には、最も低い尤度の種類以外の他の種類の尤度の内の１つを、領域Ｐに用いる尤度とすればよい。

なお、生成部５０Ｃは、画像３０における領域Ｐの各々に対応する位置に、対応する領域Ｐの物体の種類ごとに算出された尤度の内、最も高い尤度の物体の種類の仮密度を割当てた、密度データを生成することが好ましい。

図２２は、生成部５０Ｃによる密度データの生成の説明図である。例えば、第５算出部５０Ｂが各領域Ｐの物体の種類ごとに算出した尤度が、図２２（Ａ）および図２２（Ｂ）に示す線図４０Ｂ、線図４０Ａの関係を示したとする。

詳細には、画像３０における領域Ｐ_１〜領域Ｐ_５については人３０Ｂの尤度が高く、領域Ｐ_６〜領域Ｐ_１０については、人３０Ｂの尤度が低かったとする（図２２（Ａ）線図４０Ｂ参照）。一方、画像３０における領域Ｐ_１〜領域Ｐ_５については車３０Ａの尤度が低く、領域Ｐ_６〜領域Ｐ_１０については、車３０Ａの尤度が高かったとする（図２２（Ｂ）線図４０Ａ参照）。

この場合、生成部５０Ｃが各領域Ｐに、尤度に応じた仮密度を、該領域Ｐの密度として割当てることによって、生成部５０Ｃは図２２（Ｃ）に示す密度データ４８を算出する。すなわち、生成部５０Ｃは、領域Ｐ_１〜Ｐ_５については、これらの領域Ｐにおいて尤度の高い物体の種類である人３０Ｂの尤度に対応する仮密度３４Ｂを、人３０Ｂの密度として割当てる。また、生成部５０Ｃは、領域Ｐ_６〜Ｐ_１０については、これらの領域Ｐにおいて尤度の高い物体の種類である車３０Ａの尤度に対応する仮密度３２Ａを、車３０Ａの密度として割当てる。これによって、生成部５０Ｃは、密度データ４６を生成する。

密度データの生成の流れについて、図２０を用いて更に説明する。

上述したように、第４算出部５０Ａが、図２０（Ａ）に示す画像３０について、各領域Ｐに含まれる物体の種類ごとに仮密度を計算する。この計算により、第４算出部５０Ａは、領域Ｐごとに、車３０Ａの仮密度３２Ａ（図２０（Ｂ）参照）と、人３０Ｂの仮密度３４Ｂ（図２０（Ｃ）参照）と、を算出する。

ここで、第４算出部５０Ａが領域Ｐごとに算出した、各領域Ｐに含まれる物体の種類ごとの仮密度には、誤差が含まれる場合がある。例えば、図２０（Ｃ）に示す領域Ｗは、実際には人３０Ｂは存在せず車３０Ａのみが存在する領域であるにも拘らず、人３０Ｂが存在することを示す仮密度３４Ｂが算出される場合がある。これは、例えば、物体の種類の誤判定になどによるものである。

一方、本実施の形態の画像処理装置１０は、第５算出部５０Ｂと生成部５０Ｃとを備える。上述したように、生成部５０Ｃは、第５算出部５０Ｂで各領域Ｐの物体の種類ごとに算出された尤度を用いて、密度データ４６を生成する。

図２０（Ｄ）は、密度データ４６の一例を示す模式図である。密度データ４６は、画像３０における各領域Ｐに対応する位置に、各領域Ｐにおける最も低い尤度より高い尤度の物体の種類の仮密度を、密度として割当てたものである。このため、密度データ４６は、物体の種類の誤判定による誤差を低減したデータとなる。

具体的には、図２０（Ｄ）に示すように、図２０（Ｃ）に示す、第４算出部５０Ａによって算出された人３０Ｂの仮密度３４Ｂには、人３０Ｂが存在すると誤判定された領域Ｗが含まれていた。しかし、生成部５０Ｃが、尤度に基づいて密度データを生成することによって、生成された密度データ４６における領域Ｗには、車３０Ａの仮密度が密度として割り当てられ、誤判定の抑制されたデータとなる。

次に、本実施の形態の第１算出部１２Ｂが実行する、密度データの生成処理を説明する。図２３は、本実施の形態の第１算出部１２Ｂが実行する密度データの生成処理の流れを示すフローチャートである。

まず、第１算出部１２Ｂの第４算出部５０Ａが、第１取得部１２Ａ（図１参照）で取得した画像３０を複数の領域Ｐに分割した領域Ｐごとに、各領域Ｐに含まれる物体の種類ごとの仮密度を算出する（ステップＳ５０２）。

次に、第５算出部５０Ｂが、ステップＳ５０２で算出された、領域Ｐの各々の物体の種類ごとの仮密度から、領域Ｐの各々における物体の種類の尤度を算出する（ステップＳ５０４）。次に、生成部５０Ｃが密度データ４６を生成する（ステップＳ５０６）。そして、本ルーチンを終了する。

図１に戻り、演算部１２Ｃは、第１算出部１２Ｂで物体の種類の各々について領域Ｐごとに算出された密度（すなわち密度データ）を用いて、画像３０に含まれる物体の種類ごとに、領域Ｐの各々について第１密度相対値を算出する。演算部１２Ｃは、密度データ４６から、画像３０に含まれる物体の種類ごとに、領域Ｐの各々の密度を読取る。そして、物体の種類ごとに、領域Ｐの各々について、第１の実施の形態と同様にして第１密度相対値を算出すればよい。

そして、検出部１２Ｄは、物体の種類ごとに、領域Ｐの各々について算出された第１密度相対値を用いて、第１の実施の形態と同様にして注目領域Ｑを検出すればよい。

以上説明したように、本実施の形態では、第１算出部１２Ｂは、画像３０の領域Ｐごとに求めた物体の種類の尤度を用いて、密度データ４６を生成する。このため、本実施の形態の画像処理装置１０では、画像３０に含まれる物体の種類の誤判定などに起因する、密度の算出精度の低下を抑制することができる。

そして、検出部１２Ｄは、物体の種類ごとに領域Ｐの各々について算出された第１密度相対値を用いて、第１の実施の形態と同様にして注目領域Ｑを検出する。このため、本実施の形態では、画像処理装置１０は、画像３０に含まれる物体の種類ごとに、精度良く注目領域Ｑを検出することができる。

（第４の実施の形態）
本実施の形態では、第３の実施の形態における第４算出部５０Ａの実行する仮密度算出処理について、一例を説明する。

図２４は、画像処理装置１０に設けられた第４算出部５０Ａ（図１８参照）の構成の一例を示すブロック図である。

第４算出部５０Ａは、前処理部５１と、抽出部５２と、第１計算部５３と、第２計算部５４と、第２予測部５５と、密度計算部５６と、を含む。

前処理部５１、抽出部５２、第１計算部５３、第２計算部５４、第２予測部５５、および密度計算部５６の一部またはすべては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣなどのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。

ここで、第４算出部５０Ａは、仮密度算出処理を、物体の種類ごとに実行する。算出処理は、第１取得部１２Ａ（図１参照）が取得した画像３０から、領域Ｐに含まれる物体の種類ごとの仮密度を領域Ｐごとに算出する処理である。

例えば、第４算出部５０Ａは、画像３０に車３０Ａと人３０Ｂが含まれる場合、画像３０に含まれる車３０Ａについて領域Ｐごとに仮密度を算出する密度算出処理を実行した後に、人３０Ｂについて領域Ｐごとに仮密度を算出する仮密度算出処理を実行する。

そして、前処理部５１は、これらの物体の種類ごとの仮密度の算出処理前に、縮小処理、および補正処理の少なくとも一方を含む前処理を実行する。縮小処理は、画像３０における算出対象の物体の種類以外の種類の物体のサイズを縮小する処理である。補正処理は、画像３０における算出対象の物体の種類以外の種類の物体の色を、背景色に補正する補正処理である。背景色に補正する、とは、算出対象の物体の種類とは異なる色に、画像３０における算出対象の物体以外の領域を補正することを示す。

図２５は、前処理の説明図である。第４算出部５０Ａが、図２５（Ａ）に示す画像３０について、領域Ｐごとの物体の仮密度を算出すると仮定する。なお、図２５（Ａ）に示す画像３０は、第３の実施の形態で説明した画像３０と同様に、車３０Ａと人３０Ｂとを含む画像であるものとする。

そして、前処理部５１は、第４算出部５０Ａによる領域Ｐごとの仮密度の算出対象が車３０Ａである場合、画像３０に含まれる、車３０Ａ以外の物体の種類である人３０Ｂのサイズを縮小し（図２５（Ｂ）の人領域４１Ｂ参照）、補正画像３９Ａとする。

また、前処理部５１は、第４算出部５０Ａによる領域Ｐごとの仮密度の算出対象が車３０Ａである場合、画像３０に含まれる、車３０Ａ以外の物体の種類である人３０Ｂの色を背景色に補正し（図２５（Ｃ）の人領域４３Ｂ参照）、補正画像３９Ｂとする。

そして、第４算出部５０Ａは、画像３０に含まれる車３０Ａについて、上記仮密度算出処理を実行する。

次に、前処理部５１は、画像３０に含まれる、人３０Ｂ以外の物体の種類である車３０Ａのサイズを縮小し、補正画像とする。また、前処理部５１は、画像３０に含まれる、人３０Ｂ以外の物体の種類である車３０Ａの色を背景色に補正し、補正画像とする。そして、第４算出部５０Ａは、画像３０に含まれる人３０Ｂについて、上記仮密度算出処理を実行する。

図２４に戻り、抽出部５２、第１計算部５３、第２計算部５４、第２予測部５５、および密度計算部５６は、画像３０における各領域Ｐの車３０Ａの仮密度の算出時には、補正画像３９Ａまたは補正画像３９Ｂを用いて、後述する各処理を実行する。なお、以下では、前処理部５１によって補正された補正画像（例えば、補正画像３９Ａ、補正画像３９Ｂ）を総称して説明する場合には、補正画像３９と称して説明する（図２５参照）。

抽出部５２は、画像３０から複数の部分画像を抽出する。

部分画像は、補正画像３９の一部の画像であり、少なくとも１つの物体を含む画像である。補正画像３９は、仮密度算出対象の種類の物体以外については、縮小または背景色と同じ色とした画像である。このため、部分画像は、補正画像３９における、仮密度算出対象の種類の物体（例えば、車３０Ａおよび人３０Ｂの何れか一方のみ）の少なくとも１つを含む。

本実施の形態では、部分画像は、補正画像３９の一部を矩形状に抽出した画像である場合を説明する。なお、部分画像の形状は、矩形に限られず、任意の形であってよい。

図２６は、補正画像３９、部分画像６０、ラベル６１（詳細後述）の説明図である。

図２６（Ａ）は、補正画像３９の一例を示す模式図である。なお、図２６（Ａ）に示す補正画像３９は、画像３０における仮密度算出対象の種類の物体が人３０Ｂであり、車３０Ａが縮小または背景色と同じ色に補正された画像である場合を示したものである。図２６（Ｂ）は、部分画像６０の一例を示す図である。

抽出部５２は、画像３０上において、抽出する対象となる矩形状の領域を移動させて、複数の部分画像６０を抽出する（図２６（Ａ）参照）。画像３０から抽出される複数の部分画像６０は、互いに同じ大きさで且つ同じ形状である。

補正画像３９から抽出される複数の部分画像６０は、少なくとも一部分が互いに重なっていてもよい。抽出部５２が補正画像３９から抽出する部分画像６０の数は、２以上であればよいが、抽出する部分画像６０の数は多いほど好ましい。具体的には、抽出部５２は、１０００以上の部分画像６０を補正画像３９から抽出することが好ましい。

抽出部５２が補正画像３９から抽出する部分画像６０の数が多いほど、第４算出部５０Ａは、後述する処理において高精度に密度を計算可能な、回帰モデルを学習することができる。

図２４に戻り、第１計算部５３は、抽出部５２で抽出された複数の部分画像６０の各々の特徴量を計算する。特徴量は、部分画像６０の特徴を示す値である。特徴量には、例えば、部分画像を構成する画素の画素値を離散化して一次元に並べたものや、これを、この一次元に並べた画素値における隣接画素値の差（すなわち勾配）で正規化したもの、を用いる。また、特徴量には、ＳＩＦＴ特徴（Ｄ．Ｌｏｗｅ“，Ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ ｆｒｏｍ ｌｏｃａｌ ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅｓ，”Ｉｎｔ． Ｃｏｎｆ． Ｃｏｍｐ． Ｖｉｓｉｏｎ， Ｖｏｌ．２， ｐｐ．１１５０−１１５７， １９９９参照）等を用いてもよい。ＳＩＦＴ特徴は、微小な変化に頑健なヒストグラム特徴である。

第２計算部５４は、回帰モデルと、代表ラベルと、を演算する。図２７は、第２計算部５４の構成の一例を示すブロック図である。

第２計算部５４は、探索部５４Ａと、投票部５４Ｂと、学習部５４Ｃと、第１予測部５４Ｄと、を含む。探索部５４Ａ、投票部５４Ｂ、学習部５４Ｃ、および第１予測部５４Ｄの一部またはすべては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣなどのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。

探索部５４Ａは、複数の部分画像６０の各々の特徴量にラベルを付与する。ラベルは、各部分画像６０に含まれる物体と、各部分画像６０における第１位置と、の相対位置を表す。具体的には、探索部５４Ａは、まず、抽出部５２によって抽出された複数の部分画像６０の各々に含まれる物体を探索する。そして、探索部５４Ａは、部分画像６０の各々について、部分画像６０における第１位置と、該部分画像６０に含まれる全ての物体の各々と、の相対位置を表すベクトルを、ラベルとして生成する。そして、探索部５４Ａは、生成したラベルを、対応する部分画像６０の特徴量に付与する。

第１位置は、部分画像内における予め定められた任意の位置であればよい。本実施の形態では、第１位置は、部分画像６０における中心位置（部分画像６０の中央）であるものとして説明する。

図２６に戻り、図２６（Ｃ）及び図２６（Ｄ）は、ラベル６１の説明図である。例えば、探索部５４Ａが、図２６（Ｂ）に示す部分画像６０の各々に含まれる物体を探索する。そして、探索部５４Ａは、部分画像６０の中心位置Ｐと、該部分画像６０に含まれる全ての物体（図２６（Ｂ）および図２６（Ｃ）に示す例では、３つの物体）の各々と、の相対位置を示すベクトルＬ１、Ｌ２、Ｌ３を生成する（図２６（Ｃ）参照）。そして、探索部５４Ａは、これらのベクトルＬ１、Ｌ２、Ｌ３を１組とするベクトルＬを、ラベル６１として（図２６（Ｄ）参照）、該部分画像６０の特徴量に付与する。

図２７に戻り、投票部５４Ｂは、複数の部分画像６０の各々について、各部分画像６０に含まれる物体の相対位置の分布を表すヒストグラムを算出する。

図２８は、ラベル６１及びヒストグラム６２の説明図である。図２８に示すように、投票部５４Ｂは、ラベル６１から、ヒストグラム６２を算出する。

ヒストグラム６２は、部分画像６０に一様に配置したビン（ｂｉｎ）の集合である。ヒストグラム６２におけるビンの大きさは、部分画像６０に含まれる物体の相対位置によって定まる。例えば、部分画像６０における位置ｂのビンの大きさは、以下の式（５）で表される。

Ｂ（ｂ）＝ΣＮ（ｂ；ｏｊ，σ） ・・・式（５）

式（５）中、Ｂ（ｂ）は、部分画像６０における、位置ｂのビンの大きさを示す。ｏｊは、物体の位置を示す。式（５）中、Ｎ（ｂ；ｏｊ，σ）は、位置ｂにおける（中心ｏｊ、分散σ）の正規分布の確率密度関数の値である。

図２７に戻り、次に、投票部５４Ｂは、複数の部分画像６０ごとに算出したヒストグラム６２の各々を、パラメータ空間に投票する。これにより、投票部５４Ｂは、複数の部分画像６０の各々について、各部分画像６０に対応する投票ヒストグラムを生成する。

図２９は、投票ヒストグラム６４の説明図である。ヒストグラム６２は、パラメータ空間６３に投票されることで、投票ヒストグラム６４となる。図２９では、パラメータ空間を、二次元に簡略して示している。

なお、本実施の形態では、パラメータ空間は、３次元のパラメータ空間（ｘ、ｙ、ｓ）であるものとして説明する。（ｘ，ｙ）は、部分画像内の二次元位置（ｘ，ｙ）を示す。（ｓ）は、物体の大きさ（ｓ）を示す。なお、パラメータ空間として、上記パラメータ以外に、物体の姿勢、物体の向き等を加えたより多次元のパラメータ空間であってもよい。

図２７に戻り、学習部５４Ｃは、部分画像６０の特徴量と、部分画像６０に含まれる物体の相対位置と、の関係を示す回帰モデルを学習する。具体的には、学習部５４Ｃは、複数の部分画像６０の各々に対応する、ラベル６１の付与された特徴量を、対応する投票ヒストグラムのばらつきが小さくなるように複数のクラスタに分割することによって、回帰モデルを学習する。

本実施の形態では、回帰モデルが、１または複数のランダムツリーである場合を説明する。複数のランダムツリーは、すなわち、ランダムフォレストである。本実施の形態では、クラスタは、ランダムツリーの末端のノードである葉ノードを意味する。

本実施の形態において、学習部５４Ｃが回帰モデルを学習する、とは、ランダムツリーによって示されるルートノードから子ノードを介して葉ノードに至るまでの各々のノードの分割指標と、葉ノードに属する特徴量と、を決定することを意味する。なお、この特徴量は、上述したように、ラベル６１の付与された特徴量である。

本実施の形態では、学習部５４Ｃは、投票ヒストグラム６４のばらつきが小さくなるように、ルートノードから子ノードを介して複数の葉ノードに至るまでの各ノードの分割指標と、複数の葉ノードの各々に属する特徴量と、を決定することによって回帰モデルを学習する。

なお、学習部５４Ｃは、分割指標の組合せの異なる複数の回帰モデルを学習することが好ましい。本実施の形態では、学習部５４Ｃは、各ノードの分割指標の組合せを変えることによって、予め定められた数（以下、Ｔと称する）の回帰モデルを学習する。

図３０は、ランダムツリー６５の説明図である。

図３０には、各ノードの横に、二次元に簡略化したパラメータ空間６３の投票ヒストグラム６４を示した。図３０に示す例では、複数の部分画像６０の特徴量の各々に対応する投票ヒストグラム６４として、投票ヒストグラム６４Ａ〜投票ヒストグラム６４Ｆを示した。以下では、部分画像６０の特徴量を、特徴量ｖと称して説明する場合がある。この特徴量ｖには、上述したように、ラベルが付与されている。

まず、学習部５４Ｃは、ルートノード６５Ａである「Ｓ」に、第１計算部５３及び探索部５４Ａで算出した、ラベルの付与された全ての特徴量ｖを割当てる。

学習部５４Ｃは、このルートノード６５Ａである「Ｓ」を２つの子ノード６５Ｂである「Ｌ」、「Ｒ」の各々に分割するときの分割指標を定める。分割指標は、特徴量ｖの要素ｖｊと、その閾値ｔｊと、により定められる。

具体的には、学習部５４Ｃは、分割先のノード（子ノード６５Ｂまたは葉ノード６５Ｃ）における投票ヒストグラムのばらつきが小さくなるように、分割元のノードの分割指標を決定する。分割指標は、特徴量ｖの要素ｖｊと、その閾値ｔｊと、によって定められる。

詳細には、学習部５４Ｃは、要素ｖｊ＜閾値ｔｊの関係を満たすラベル付き特徴量ｖを、子ノード６５Ｂである「Ｌ」に（図３０のｙｅｓの場合）、要素ｖｊ＜閾値ｔｊの関係を満たさない特徴量ｖを、子ノード６５Ｂである「Ｒ」に（図３０のｎｏの場合）、仮に割当てた場合の分割指標を決定する（以下、仮割当操作と称する）。

このとき、学習部５４Ｃは、投票ヒストグラム６４のばらつきが小さくなるように、特徴量ｖの分割指標を決定する。学習部５４Ｃは、例えば、下記式（６）を用いて分割指標を決定する。

Ｇ＝Σ｛Ｈ（ｌ）−ＨＬ｝^２＋Σ｛Ｈ（ｒ）−ＨＲ｝^２ ・・・式（６）

式（６）中、Ｈ（ｌ）は、ルートノード６５Ａである「Ｓ」から子ノード６５Ｂである「Ｌ」に分割された投票ヒストグラム６４を示す。式（６）中、Ｈ（ｒ）は、ルートノード６５Ａである「Ｓ」から子ノード６５Ｂである「Ｒ」に分割された投票ヒストグラム６４を示す。式（６）中、ＨＬは、全てのＨ（ｌ）の平均値である。ＨＲは、全てのＨ（ｒ）の平均値である。

なお、学習部５４Ｃが分割指標の決定に用いる式は、式（６）に限定されない。

学習部５４Ｃは、各ノードについて、最も投票ヒストグラム６４のばらつきが小さくなるように分割指標を決定し、ルートノード６５Ａから子ノード６５Ｂを介して葉ノード６５Ｃに至るまで、この仮割当操作を繰り返す。すなわち、学習部５４Ｃは、各ノードについて、上記式（６）におけるＧの値が最も小さくなるように、要素ｖｊと閾値ｔｊとの組合せを分割指標として決定し、各ノードに属する特徴量ｖを分割することを繰り返す。

そして、学習部５４Ｃは、終了条件を満たした時のノードを、末端の葉ノード６５Ｃとして決定する。終了条件は、例えば、第１の条件、第２の条件、及び第３の条件の少なくとも１つである。第１の条件は、ノードに含まれる特徴量ｖの数が予め定めた数よりも小さいときである。第２の条件は、ランダムツリー６５の木構造の深さが予め定めた値よりも大きいときである。第３の条件は、分割指標の値が予め定めた値より小さいときである。

この葉ノード６５Ｃの決定により、学習部５４Ｃは、葉ノード６５Ｃに属する特徴量ｖを学習する。

上述のようにして、学習部５４Ｃは、ルートノード６５Ａから子ノード６５Ｂを介して葉ノード６５Ｃに至るまでの各ノードの分割指標と、葉ノード６５Ｃに属する特徴量ｖと、を決定し、ランダムツリー６５を学習する。また、学習部５４Ｃは、分割指標の組合せを変えて上記の仮割当操作を行うことによって、予め定めた数Ｔのランダムツリー６５、を学習する。

なお、学習部５４Ｃが学習するランダムツリー６５の数Ｔは、１つであってもよいし、２以上の任意の数であってもよい。学習部５４Ｃが補正画像３９からより多くの数のランダムツリー６５を学習するほど、画像処理装置１０において高精度に密度を計算可能な、ランダムツリー６５を学習することができる。すなわち、学習部５４Ｃは、複数のランダムツリー６５である、ランダムフォレストを学習することが好ましい。

図３１は、学習した複数のランダムツリー６５（すなわち、ランダムフォレスト）の説明図である。ランダムツリー６５_１〜ランダムツリー６５_Ｔの各々は、各ノードの分割指標が異なる。このため、例えば、ルートノード６５Ａに割当てた、ラベル６１の付与された全ての特徴量ｖが同じであっても、ランダムツリー６５_１と、ランダムツリー６５_Ｔと、では、葉ノード６５Ｃに属するラベル付きの特徴量ｖが異なるものとなる場合がある。なお、図３１に示す例では、葉ノード６５Ｃには、ラベル６１のみを図示しているが、実際には、各葉ノード６５Ｃには、ラベル６１の付与された特徴量ｖが属している。

図２７に戻り、第１予測部５４Ｄは、学習部５４Ｃが学習時に分割したクラスタの各々について、代表ラベルを予測する。第１予測部５４Ｄは、クラスタに属する１または複数の特徴量ｖに付与されたラベル６１から、代表ラベルを予測する。

上述したように、本実施の形態では、クラスタは、ランダムツリー６５の末端のノードである葉ノード６５Ｃを意味する。このため、第１予測部５４Ｄは、葉ノード６５Ｃに属する特徴量ｖの各々に付与されたラベル６１から、各葉ノード６５Ｃの代表ラベルを予測する。

図３２は、代表ラベルの予測の説明図である。図３２は、１つの葉ノード６５Ｃを例にして説明している。まず、第１予測部５４Ｄは、葉ノード６５Ｃに属する全ての特徴量ｖの各々に付与されたラベル６１を読取る。図３２に示す例では、第１予測部５４Ｄは、ラベル６１Ｃ、６１Ｄ、６１Ｅ、６１Ｇ、６１Ｈを読取る。次に、第１予測部５４Ｄは、これらのラベル６１Ｃ、６１Ｄ、６１Ｅ、６１Ｇ、６１Ｈの各々に対応する投票ヒストグラム６４（６４Ｃ、６４Ｄ、６４Ｅ、６４Ｇ、６４Ｈ）の平均である、平均ヒストグラム６６を算出する。

次に、第１予測部５４Ｄは、この葉ノード６５Ｃに属する複数の投票ヒストグラム６４（６４Ｃ、６４Ｄ、６４Ｅ、６４Ｇ、６４Ｈ）の内、平均ヒストグラム６６に近い投票ヒストグラム６４を選択する。なお、第１予測部５４Ｄは、葉ノード６５Ｃに属する複数の投票ヒストグラム６４（６４Ｃ、６４Ｄ、６４Ｅ、６４Ｇ、６４Ｈ）の内、平均ヒストグラム６６に、最も近い投票ヒストグラム６４を選択することが好ましい。図３２に示す例では、第１予測部５４Ｄは、平均ヒストグラム６６に最も近い投票ヒストグラム６４Ｅを選択する。そして、第１予測部５４Ｄは、この投票ヒストグラム６４Ｅに対応するラベル６１であるラベル６１Ｅを、該葉ノード６５Ｃの代表ラベルとして予測する。

第１予測部５４Ｄは、学習部５４Ｃが学習した全てのランダムツリー６５における、全ての葉ノード６５Ｃについて、同様な処理を行い、各葉ノード６５Ｃの代表ラベルを予測する。

図３３は、代表ラベル予測後の、ランダムツリー６５の説明図である。

図３３に示すように、第１予測部５４Ｄが各葉ノード６５Ｃについて代表ラベルを予測することによって、学習部５４Ｃが学習したランダムフォレストに含まれる全てのランダムツリー６５（ランダムツリー６５_１〜６５_Ｔ）の各々について、各ランダムツリー６５の全ての葉ノード６５Ｃについて、代表ラベルが予測される。

以上の処理により、第２計算部５４が、回帰モデルと、代表ラベルと、を演算する。

図２４に戻り、次に、第２予測部５５は、第２計算部５４で演算した回帰モデルとしてのランダムツリー６５と、葉ノード６５Ｃの各々の代表ラベルと、を取得する。そして、第２予測部５５は、第２計算部５４で取得したランダムツリー６５の変数に、部分画像から計算された特徴量を代入する。これにより、第２予測部５５は、部分画像の各々に対応する代表ラベルを予測する。

ここで、第２計算部５４で取得したランダムツリー６５が１つである場合には、第２予測部５５は、１つのランダムツリー６５を用いて、部分画像毎に１つの代表ラベルを予測する。一方、第２計算部５４で取得したランダムツリー６５が複数である場合（すなわち、ランダムフォレストである場合）には、第２予測部５５は、部分画像毎に、これらの複数のランダムツリー６５の各々に対応する複数の代表ラベルを求め、これらの複数の代表ラベルの内の１つを、密度計測に用いる代表ラベルとして予測する。

図３４は、第２予測部５５が行う代表ラベルの予測の説明図である。第２計算部５４が取得したランダムツリー６５、および代表ラベルが、図３４に示すランダムツリー６５（ランダムツリー６５_１〜６５_Ｔ）及び代表ラベルであったとする。

この場合、第２予測部５５は、部分画像の特徴量を、ランダムフォレストに含まれる各ランダムツリー６５（ランダムツリー６５_１〜６５_Ｔ）の各々のルートノード６５Ａに代入する。そして、第２予測部５５は、各ランダムツリー６５（ランダムツリー６５_１〜６５_Ｔ）の各々のノードに決定された分割指標に沿って、ルートノード６５Ａから子ノード６５Ｂを介して葉ノード６５Ｃに到達するまで、木構造を下る。そして、到達した葉ノード６５Ｃに属する代表ラベルを読取る。

これにより、第２予測部５５は、１つの部分画像の特徴量に対応する代表ラベルとして、ランダムツリー６５（ランダムツリー６５_１〜６５_Ｔ）毎に求めた複数の代表ラベルを求める。

例えば、ある部分画像の特徴量ｖ１をランダムツリー６５_１の変数としてルートノード６５Ａに代入したとする。そして、子ノード６５Ｂ_１〜６５Ｂ_５の内の子ノード６５Ｂ_１、６５Ｂ_３をたどって、葉ノード６５Ｃ_１〜６５Ｃ_７の内の葉ノード６５Ｃ_１に到達したとする。この場合、この特徴量ｖ１の、ランダムツリー６５_１によって決定される代表ラベルはラベル６１Ｃ_１となる。

また、この特徴量ｖ１をランダムツリー６５_Ｔの変数としてルートノード６５Ａに代入したとする。そして、子ノード６５Ｂ_１〜６５Ｂ_２の内の子ノード６５Ｂ_２をたどって、葉ノード６５Ｃ_１〜６５Ｃ_４の内の葉ノード６５Ｃ_３に到達したとする。この場合、この特徴量ｖ１の、ランダムツリー６５_Ｔによって決定される代表ラベルはラベル６１Ｃ_１０となる。

次に、第２予測部５５は、全てのランダムツリー６５（ランダムツリー６５_１〜６５_Ｔ）毎に求めた代表ラベルの内の１つを、密度計測に用いる代表ラベルとして予測する。第２予測部５５は、第１予測部５４Ｄと同様にして、密度計測に用いる代表ラベルを予測する。

すなわち、第２予測部５５は、全てのランダムツリー６５（ランダムツリー６５_１〜６５_Ｔ）毎に求めた代表ラベルに対応する投票ヒストグラム６４の、平均ヒストグラムを算出する。そして、第２予測部５５は、全てのランダムツリー６５（ランダムツリー６５_１〜６５_Ｔ）毎に求めた複数の代表ラベルの内、この平均ヒストグラムに最も近い投票ヒストグラム６４に対応する代表ラベルを、密度計測に用いる代表ラベルとして予測する。

図２４に戻り、密度計算部５６は、補正画像３９に含まれる物体の平均密度を算出する。密度計算部５６は、第２予測部５５で予測された、部分画像の各々に対応する代表ラベルによって示される物体の相対位置に基づいて、第２予測部５５の予測を行う。

密度計算部５６は、第３計算部５６Ａ、第４計算部５６Ｂ、及び第５計算部５６Ｃを備える。

第３計算部５６Ａは、複数の部分画像の各々に対応する代表ラベルによって示される、物体の相対位置に基づいて、複数の部分画像の各々における物体の密度分布を計算する。第３計算部５６Ａは、第２計算部５４で用いた第１位置を予め記憶している。なお、この代表ラベルは、上述した、密度計測に用いる代表ラベルである。

例えば、第３計算部５６Ａは、正規分布の確率密度関数Ｎ（）を用いて、部分画像における物体の密度分布Ｄｉ（ｘ）を計算する。

Ｄｉ（ｘ）＝ΣＮ（ｘ；ｌｊ，σ） ・・・式（７）

式（７）中、ｘは、部分画像中の任意の位置を示す。式（７）中、ｌｊは、予測された物体の相対位置を示す。式（７）中、σは、分散を示す。

第４計算部５６Ｂは、補正画像３９における複数の部分画像の各々に対応する位置に、部分画像の密度分布を配置する。密度分布を配置する、とは、補正画像３９における複数の部分画像の各々に対応する位置に、対応する部分画像の密度分布を貼り付けていくことを示す。

ここで、補正画像３９から抽出された複数の部分画像は、少なくとも一部分が互いに重なっている場合がある。このため、補正画像３９に、補正画像３９から抽出した部分画像の密度分布を配置すると、各部分画像に対応する密度分布の少なくとも一部が重なった状態となる場合がある。

そこで、第５計算部５６Ｃは、補正画像３９における密度分布の重なり頻度に応じて、補正画像３９を構成する画素毎に物体の密度の第１平均値を算出する。そして、第５計算部５６Ｃは、制御部１２で用いる領域Ｐごとに、仮密度算出対象の物体の種類の密度の平均値を算出する。そして、第５計算部５６Ｃは、この算出値を、画像３０の領域Ｐに含まれる、該第４算出部５０Ａで仮密度算出対象の物体の種類の仮密度として算出する。なお、領域Ｐが１画素に相当する領域である場合、第５計算部５６Ｃは、画素毎に算出した上記第１平均値を、各画素としての各領域Ｐにおける、仮密度算出対象の物体の種類の仮密度として算出すればよい。

そして、第４算出部５０Ａでは、上述したように、前処理部５１、抽出部５２、第１計算部５３、第２計算部５４、第２予測部５５、および密度計算部５６による上記処理（すなわち、仮密度算出処理）を、画像３０に含まれる物体の種類ごとに実行する。

これにより、第４算出部５０Ａは、画像３０から、領域Ｐに含まれる物体の種類ごとの仮密度を算出する。

次に、第４算出部５０Ａが実行する仮密度算出処理の手順を説明する。図３５は、第４算出部５０Ａが実行する仮密度算出処理の手順を示すフローチャートである。

まず、第４算出部５０Ａでは、画像３０に含まれる複数種類の物体の内、仮密度の算出処理を未実行の種類の物体を１種類選択する（ステップＳ６００）。

そして、第４算出部５０Ａでは、ステップＳ６００で選択した物体の種類について、ステップＳ６０２〜ステップＳ６１８の処理を行う。

詳細には、前処理部５１が、ステップＳ６００で選択した物体の種類を算出対象として定め、第１取得部１２Ａ（図１参照）で取得した画像３０について、前処理を実行する（ステップＳ６０２）。すなわち、前処理部５１は、画像３０における、算出対象の物体の種類以外の種類の物体のサイズを縮小する縮小処理、または算出対象の物体の種類以外の種類の物体の色を背景色に補正する補正処理を実行し、補正画像３９を生成する。

次に、抽出部５２が、ステップＳ６０２で生成した補正画像３９から、複数の部分画像を抽出する（ステップＳ６０４）。次に、第１計算部５３が、複数の部分画像の各々の特徴量を計算する（ステップＳ６０６）。

次に、第２計算部５４が、回帰モデルとしてのランダムツリー６５、および代表ラベルを演算する（ステップＳ６０８）（詳細後述）。

次に、第２予測部５５が、第２計算部５４で演算したランダムツリー６５の変数に、部分画像から計算された特徴量を代入する。これにより、第２予測部５５は、部分画像の各々に対応する代表ラベルを予測する（ステップＳ６１０）。

次に、第３計算部５６Ａが、代表ラベルによって示される、物体の相対位置に基づいて、複数の部分画像の各々における物体の密度分布を計算する（ステップＳ６１２）。

次に、第４計算部５６Ｂが、補正画像３９における複数の部分画像の各々に対応する位置に、対応する部分画像の密度分布を配置する（ステップＳ６１４）。次に、第５計算部５６Ｃは、補正画像３９における密度分布の重なり頻度に応じて、補正画像３９の領域Ｐごとに、各領域Ｐに含まれる物体の種類の仮密度を計算する（ステップＳ６１６）。

次に、第５計算部５６Ｃが、ステップＳ６１６で算出した、各領域Ｐに含まれる物体の種類の仮密度を、記憶部１４に記憶する（ステップＳ６１８）。

次に、第４算出部５０Ａは、第１取得部１２Ａで取得した画像３０に含まれる全種類の物体について、仮密度計算済であるか否かを判断する（ステップＳ６２０）。ステップＳ６２０では、第１取得部１２Ａで取得した画像３０に含まれる全種類の物体について、ステップＳ６００〜ステップＳ６１８の処理を実行したか否かを判別することによって、ステップＳ６２０の判断を行う。

ステップＳ６２０で否定判断すると（ステップＳ６２０：Ｎｏ）、上記ステップＳ６００へ戻る。一方、ステップＳ６２０で肯定判断すると（ステップＳ６２０：Ｙｅｓ）、本ルーチンを終了する。

次に、図３５のステップＳ６０８において、第２計算部５４が行う演算処理を説明する。図３６は、第２計算部５４が行う演算処理の手順を示すフローチャートである。

まず、第２計算部５４の探索部５４Ａが、ステップＳ６０６（図３５参照）で計算された複数の部分画像６０の各々の特徴量に、ラベルを付与する（ステップＳ７００）。投票部５４Ｂは、ラベル６１からヒストグラム６２を算出し、パラメータ空間６３に投票することで、投票ヒストグラム６４を生成する（ステップＳ７０２）。

次に、学習部５４Ｃが、部分画像６０の特徴量と、部分画像６０に含まれる物体の相対位置と、の関係を示す回帰モデルを学習する（ステップＳ７０４）。本実施の形態では、上述したように、回帰モデルとしてランダムツリー６５を学習する。

次に、第１予測部５４Ｄが、学習部５４Ｃが学習時に分割したクラスタ（葉ノード６５Ｃ）の各々について、代表ラベルを予測する（ステップＳ７０６）。

そして、第２計算部５４では、上記学習した回帰モデルとしてのランダムツリー６５、およびクラスタ（葉ノード６５Ｃ）の代表ラベルを、第２予測部５５へ出力し、本ルーチンを終了する。

以上説明したように、本実施の形態の第２計算部５４は、探索部５４Ａが、画像３０（または補正画像３９）から抽出した複数の部分画像６０の各々に含まれる物体を探索する。また、探索部５４Ａは、部分画像６０における予め定められた第１位置と部分画像６０に含まれる全ての物体の各々との相対位置を表すベクトルをラベルとして、部分画像６０の特徴量に付与する。学習部５４Ｃは、このラベルの付与された特徴量を、各ノードに割当てて各ノードの分割指標を定めることで、回帰モデルを学習する。第１予測部５４Ｄは、回帰モデルの葉ノード６５Ｃの各々について、代表ラベルを予測する。

ラベルは、物体の相対位置を示すベクトルであり、データサイズが小さい。このため、回帰モデルの構成に必要なデータ量の削減を図ることができる。すなわち、本実施の形態の回帰モデルを用いて密度計算を行うことで、画像処理装置１０では、上記実施の形態の効果に加えて、低メモリで物体の密度計算を行うことができる。

また、第４算出部５０Ａは、補正画像３９から物体を直接検出せずに、回帰モデルを学習する。このため、本実施の形態の画像処理装置１０の第４算出部５０Ａは、補正画像３９における物体が小さくて重なる場合であっても、計測精度を落とすことなく、高精度に密度計算を行うことの可能な回帰モデルを学習することができる。

従って、本実施の形態の画像処理装置１０は、第４算出部５０Ａとして、本実施の形態で説明した処理を行うことによって、上記第１の実施の形態の効果に加えて、密度計算を、高精度で且つ低メモリで行うためのデータ（回帰モデル）を提供することができる。

上記実施の形態および変形例の画像処理装置１０、１１、１５、１９は、画像３０に含まれる物体の密度から注目領域Ｑを検出する各種装置に適用可能である。例えば、上記実施の形態および変形例の画像処理装置１０、１１、１５、１９は、特定の監視領域を監視する監視装置などに適用可能である。この場合、撮影部２３を、監視対象の監視領域を撮影可能な位置に配置すればよい。そして、撮影部２３が撮影した監視対象の画像３０を用いて、上記注目領域Ｑの検出を行えばよい。

具体的には、上記実施の形態および変形例の画像処理装置１０、１１、１５、１９は、スマートコミュニティ向けの監視システム、植物監視システム、医療向けの異常個所検出システムなどにも適用可能であり、その適用範囲は限定されない。

図３７は、上記実施の形態および変形例の画像処理装置１０、１１、１５、１９のハードウェア構成の一例を示すブロック図である。上記実施の形態および変形例の画像処理装置１０、１１、１５、１９は、ＣＰＵ９０２と、ＲＡＭ９０６と、プログラムなどを記憶するＲＯＭ９０４と、ＨＤＤ９０８と、ＨＤＤ９０８とのインタフェースであるＩ／Ｆ９１０と、画像入力用のインタフェースであるＩ／Ｆ９１２と、バス９２２とを、備えており、通常のコンピュータを利用したハードウェア構成となっている。なおＣＰＵ９０２、ＲＯＭ９０４、ＲＡＭ９０６、Ｉ／Ｆ９１０、及びＩ／Ｆ９１２は、バス９２２を介して互いに接続されている。

上記実施の形態および変形例の画像処理装置１０、１１、１５、１９では、ＣＰＵ９０２が、ＲＯＭ９０４からプログラムをＲＡＭ９０６上に読み出して実行することにより、上記各部がコンピュータ上で実現される。

なお、上記実施の形態の画像処理装置１０、１１、１５、１９で実行される上記各処理を実行するためのプログラムは、ＨＤＤ９０８に記憶されていてもよい。また、上記実施の形態の画像処理装置１０で実行される上記各処理を実行するためのプログラムは、ＲＯＭ９０４に予め組み込まれて提供されていてもよい。

また、上記実施の形態の画像処理装置１０、１１、１５、１９で実行される上記処理を実行するためのプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータプログラムプロダクトとして提供されるようにしてもよい。

また、上記実施の形態の画像処理装置１０、１１、１５、１９で実行される上記処理を実行するためのプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記実施の形態の画像処理装置１０、１１、１５、１９で実行される上記処理を実行するためのプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。

なお、上記には、本発明の実施の形態および変形例を説明したが、これらの実施の形態および変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、上記実施の形態のフローチャートにおける各ステップを、その性質に反しない限り、実行順序を変更し、複数同時に実施し、あるいは実施毎に異なった順序で実施してもよい。

１０、１１、１５ 画像処理装置
１２Ａ、１７Ａ 第１取得部
１２Ｂ、１３Ｂ、１７Ｂ 第１算出部
１２Ｃ、１７Ｃ 演算部
１２Ｄ、１７Ｄ 検出部
１２Ｅ、１７Ｅ 表示制御部
１３Ｃ 第２算出部
１３Ｄ 特定部
１３Ｅ 補正部
２１Ｄ 検出部
２１Ｅ 第３算出部
２１Ｆ 第２取得部

Claims (15)

1. 画像を取得する第１取得部と、
   前記画像を複数の領域に分割した前記領域ごとに、前記領域に含まれる物体の密度を算出する第１算出部と、
   前記領域の各々について、前記領域の周辺領域の前記密度に対する第１密度相対値を演算する演算部と、
   前記画像に含まれる複数の前記領域の内、前記第１密度相対値が予め定めた第１閾値より大きい値または前記第１閾値より小さい値の前記領域を、注目領域として検出する検出部と、
   を備える画像処理装置。
2. 前記演算部は、
   前記領域の各々を前記第１密度相対値の算出対象の第１領域として順次設定し、前記第１領域の周囲に配置された他の前記領域としての第２領域を複数含む前記周辺領域の前記密度に対する、前記第１領域の前記密度の前記第１密度相対値を演算することによって、前記領域の各々の前記第１密度相対値を演算する、請求項１に記載の画像処理装置。
3. 前記演算部は、
   前記周辺領域に含まれる前記第２領域の各々の前記密度の平均値を、前記周辺領域の前記密度として算出し、前記第１密度相対値を演算する、請求項２に記載の画像処理装置。
4. 前記演算部は、
   前記周辺領域に含まれる前記第２領域の各々の前記密度に前記第１領域に近い位置に配置された前記第２領域ほど大きい第１重み付け値ｍを乗算した乗算値の平均値を、前記周辺領域の前記密度として算出し、前記第１密度相対値を演算する、請求項２に記載の画像処理装置。
5. 前記演算部は、
   前記周辺領域に含まれる前記第２領域の各々の前記密度に前記第２領域に含まれる前記物体と前記第１領域との距離が近いほど大きい第２重み付け値ｎを乗算した乗算値の平均値を、前記周辺領域の前記密度として算出し、前記第１密度相対値を演算する、請求項２に記載の画像処理装置。
6. 前記第１算出部は、
   前記画像を複数の領域に分割した前記領域ごとに、前記領域に含まれる前記物体の密度を算出する第２算出部と、
   前記画像に含まれる複数の前記領域の内、前記第２算出部によって算出された前記密度が第２閾値より大きい前記領域を特定する特定部と、
   特定した前記領域の前記周辺領域を構成する前記領域の前記密度の各々に第３重み付け値ｐ（ｐは０より大きく且つ１未満の値）を乗算した乗算値を、特定した前記領域の前記密度に加算した加算値となるように、該特定した前記領域の前記密度を補正する補正部と、
   を有する、
   請求項１〜請求項５の何れか１項に記載の画像処理装置。
7. 前記検出部は、
   前記画像に含まれる複数の前記領域の各々の予測密度を規定した予測密度情報における、前記領域の各々に対応する第３領域の各々について、前記第３領域の周辺の第３周辺領域の前記密度に対する第３密度相対値を算出する第３算出部を有し、
   前記画像に含まれる複数の前記領域の内、前記第１密度相対値が、前記予測密度情報における対応する前記第３領域の前記第３密度相対値としての前記第１閾値より大きい値または前記第１閾値より小さい値の前記領域を、前記注目領域として検出する、
   請求項１〜請求項６の何れか１項に記載の画像処理装置。
8. 前記画像の撮影環境を取得する第２取得部と、
   前記撮影環境と前記予測密度情報とを対応づけて予め記憶した記憶部と、
   を備え、
   前記第３算出部は、取得した前記撮影環境に対応する前記予測密度情報における、前記第３領域の各々について、前記第３密度相対値を算出する、請求項７に記載の画像処理装置。
9. 前記演算部は、
   前記第１領域の前記周辺領域に含まれる該第１領域に隣接する複数の前記第２領域の前記密度の各々に対する、前記第１領域の前記密度の第２密度相対値の群を、前記第１密度相対値として演算し、
   前記検出部は、
   前記第２密度相対値が前記第１閾値より大きい値または前記第１閾値より小さい値を示す、該第２密度相対値の演算に用いた前記第１領域と前記第２領域との領域間に境界を設定し、前記画像に含まれる複数の前記領域の内、連続する前記境界によって示される仮想線より内側または外側の前記領域を、前記注目領域として検出する、
   請求項２に記載の画像処理装置。
10. 検出した前記注目領域を表示部へ表示する表示制御部を備える、請求項１〜請求項９の何れか１項に記載の画像処理装置。
11. 前記表示制御部は、
    前記画像における前記注目領域を、該注目領域以外の外部領域とは異なる表示形態で示す表示画像を前記表示部へ表示する、請求項１０に記載の画像処理装置。
12. 前記表示制御部は、
    前記画像に含まれる複数の前記領域の内、前記注目領域に物体の侵入する可能性のある前記領域を注目近傍領域として特定し、前記注目領域と前記注目近傍領域と、を前記表示部へ表示する、請求項１０に記載の画像処理装置。
13. 前記第１取得部は、時系列に連続する複数の前記画像を取得し、
    前記第１算出部は、複数の前記画像の各々について、前記画像を複数の領域に分割した前記領域ごとに、前記領域に含まれる前記物体の前記密度を算出し、
    前記演算部は、複数の前記画像の各々について、前記画像に含まれる前記領域の各々の前記第１密度相対値を演算し、
    前記検出部は、複数の前記画像の各々について、前記注目領域を検出し、
    前記表示制御部は、複数の前記画像の各々について検出された前記注目領域を用いて、前記注目領域の拡大速度または移動速度を算出し、前記注目領域を前記拡大速度または前記移動速度に応じた前記表示形態で示す前記表示画像を、前記表示部へ表示する、請求項１０または請求項１１に記載の画像処理装置。
14. 画像を取得するステップと、
    前記画像を複数の領域に分割した前記領域ごとに、前記領域に含まれる物体の密度を算出するステップと、
    前記領域の各々について、前記領域の周辺領域の前記密度に対する第１密度相対値を演算するステップと、
    前記画像に含まれる複数の前記領域の内、前記第１密度相対値が予め定めた第１閾値より大きい値または前記第１閾値より小さい値の前記領域を、注目領域として検出するステップと、
    を含む画像処理方法。
15. 画像を取得するステップと、
    前記画像を複数の領域に分割した前記領域ごとに、前記領域に含まれる物体の密度を算出するステップと、
    前記領域の各々について、前記領域の周辺領域の前記密度に対する第１密度相対値を演算するステップと、
    前記画像に含まれる複数の前記領域の内、前記第１密度相対値が予め定めた第１閾値より大きい値または前記第１閾値より小さい値の前記領域を、注目領域として検出するステップと、
    をコンピュータに実行させるためのプログラム。

Images