JP2017041869A - 画像処理装置、画像処理方法、およびプログラム - Google Patents
画像処理装置、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- JP2017041869A JP2017041869A JP2016057039A JP2016057039A JP2017041869A JP 2017041869 A JP2017041869 A JP 2017041869A JP 2016057039 A JP2016057039 A JP 2016057039A JP 2016057039 A JP2016057039 A JP 2016057039A JP 2017041869 A JP2017041869 A JP 2017041869A
- Authority
- JP
- Japan
- Prior art keywords
- region
- density
- image
- unit
- regions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
Abstract
【課題】画像内における注目領域を精度良く検出する。
【解決手段】画像処理装置10は、第1取得部12Aと、第1算出部12Bと、演算部12Cと、検出部12Dと、を備える。第1取得部12Aは、画像を取得する。第1算出部12Bは、画像を複数の領域に分割した領域ごとに、領域に含まれる物体の密度を算出する。演算部12Cは、領域の各々について、領域の周辺領域の物体の密度に対する第1密度相対値を演算する。検出部12Dは、画像に含まれる複数の領域の内、第1密度相対値が予め定めた第1閾値より大きい値または第1閾値より小さい値の領域を、注目領域として検出する。
【選択図】図1
【解決手段】画像処理装置10は、第1取得部12Aと、第1算出部12Bと、演算部12Cと、検出部12Dと、を備える。第1取得部12Aは、画像を取得する。第1算出部12Bは、画像を複数の領域に分割した領域ごとに、領域に含まれる物体の密度を算出する。演算部12Cは、領域の各々について、領域の周辺領域の物体の密度に対する第1密度相対値を演算する。検出部12Dは、画像に含まれる複数の領域の内、第1密度相対値が予め定めた第1閾値より大きい値または第1閾値より小さい値の領域を、注目領域として検出する。
【選択図】図1
Description
本発明は、画像処理装置、画像処理方法、およびプログラムに関する。
画像内に含まれる物体の密度を推定する技術が開示されている。また、物体の密集度を推定し、密集度が基準密集度とは閾値以上異なる領域を、画像における注視すべき注目領域として検出する技術が開示されている。
L. Fiaschi, R. Nair, U. Koethe and F. Hamprecht: "Learning to count with a regression forest and structured labels", in Proceedings of International Conference on Pattern Recognition, pp.2685−2688 (2012).
しかしながら、従来では、画像内の全体において物体の密度が基準密度から閾値以上異なる場合、全領域を注目領域として検出してしまう。このため、従来では、画像内における注目領域を精度良く検出することは困難であった。
本発明が解決しようとする課題は、画像内における注目領域を精度良く検出することができる、画像処理装置、画像処理方法、およびプログラムを提供することである。
実施形態の画像処理装置は、第1取得部と、第1算出部と、演算部と、検出部と、を備える。第1取得部は、画像を取得する。第1算出部は、前記画像を複数の領域に分割した前記領域ごとに、前記領域に含まれる物体の密度を算出する。演算部は、前記領域の各々について、前記領域の周辺領域の前記密度に対する第1密度相対値を演算する。検出部は、前記画像に含まれる複数の前記領域の内、前記第1密度相対値が予め定めた第1閾値より大きい値または前記第1閾値より小さい値の前記領域を、注目領域として検出する。
以下に添付図面を参照して、画像処理装置、画像処理方法、およびプログラムの一の実施形態を詳細に説明する。
(第1の実施の形態)
図1は、本実施の形態の画像処理装置10の機能的構成を示すブロック図である。
図1は、本実施の形態の画像処理装置10の機能的構成を示すブロック図である。
画像処理装置10は、画像に含まれる物体の密度を用いて、注目領域を検出する装置である。注目領域は、ユーザに対して注視を促す領域である。本実施の形態では、注目領域は、物体の密度から判別される、他の領域とは異なる特徴を示す領域であるものとして説明する。物体は、画像を解析することで識別される被写体を示す。本実施の形態では、物体が、人である場合を一例として説明する。
画像処理装置10は、制御部12と、記憶部14と、UI部16と、撮影部23と、を備える。記憶部14、UI部16、および撮影部23は、制御部12に電気的に接続されている。
UI部16は、各種画像を表示する表示機能と、ユーザからの各種操作指示を受付ける入力機能と、を有する。本実施の形態では、UI部16は、表示部16Aと、入力部16Bと、を含む。表示部16Aは、種々の画像を表示する。表示部16Aは、例えばCRTディスプレイ、液晶ディスプレイ、有機ELディスプレイ、プラズマディスプレイなどである。入力部16Bは、ユーザからの各種指示や情報入力を受け付ける。入力部16Bは、例えば、キーボード、マウス、スイッチ、マイクなどである。
なお、UI部16は、表示部16Aと入力部16Bとを一体的に構成したタッチパネルであってもよい。
撮影部23は、撮影によって画像を得る。本実施の形態では、撮影部23は、注目領域の検出対象の、実空間上の領域または被写体を撮影し、画像を得る。
撮影部23は、例えば、公知のデジタルカメラである。撮影部23は、制御部12から離れた位置に配置されていてもよい。例えば、撮影部23は、道路、公共スペース、ビル構内などに配置された監視カメラであってもよい。また、撮影部23は、車両などの移動体に配置された車載カメラや、携帯端末に設けられたカメラであってもよい。また、撮影部23は、ウェアラブルカメラであってもよい。
なお、撮影部23は、可視光による反射光を撮影する可視光カメラに限定されず、赤外カメラ、デプスマップを取得可能なカメラや、距離センサや超音波センサなどを用いて撮影を行うカメラであってもよい。
すなわち、本実施の形態で用いる、注目領域の検出対象の画像は、可視光による反射光の撮影画像、赤外画像、デプスマップ、超音波撮影画像などであり、特定の画像に限定されない。
記憶部14は、各種データを記憶する。本実施の形態では、記憶部14は、注目領域の検出対象の画像を記憶する。記憶部14は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、ROM(Read Only Memory)、メモリカードなどの、磁気的、光学的、および電気的に記憶可能な記憶装置の少なくともいずれかにより実現する。
制御部12は、CPU(Central Processing Unit)、ROM(Read Only Memory)、およびRAM(Random Access Memory)などを含んで構成されるコンピュータである。なお、制御部12は、CPU以外の回路等であってもよい。
制御部12は、画像処理装置10全体を制御する。制御部12は、第1取得部12Aと、第1算出部12Bと、演算部12Cと、検出部12Dと、表示制御部12Eと、を含む。
第1取得部12A、第1算出部12B、演算部12C、検出部12D、および表示制御部12Eの一部または全ては、例えば、CPUなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、IC(Integrated Circuit)などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
なお、制御部12は、少なくとも第1取得部12A、第1算出部12B、演算部12C、および検出部12Dを備えた構成であればよく、表示制御部12Eを備えない構成であってもよい。
第1取得部12Aは、注目領域の検出対象の画像を取得する。本実施の形態では、第1取得部12Aは、撮影部23から画像を取得する。なお、第1取得部12Aは、図示を省略する外部装置や記憶部14などから画像を取得してもよい。
図2は、注目領域の検出対象の画像30の一例を示す図である。本実施の形態では、画像30は、物体として、複数の人30Bを含む場合を説明する(図2(A)参照)。
図1に戻り、第1算出部12Bは、第1取得部12Aで取得した画像を複数の領域に分割した領域ごとに、各領域に含まれる人30Bの密度を算出する。
図2(B)は、画像30を複数の領域Pに分割した状態を示す模式図である。第1算出部12Bは、画像30を複数の領域Pに分割する。画像30の分割数や領域Pの大きさは、任意の値を設定可能である。
例えば、領域Pは、画像30を、縦M個および横N個のM×N個に分割した各領域であってもよい。なお、MおよびNは、1以上の整数であり、且つ、少なくとも一方が2以上の整数である。
また、領域Pは、画像30を構成する各画素について、輝度および色の少なくとも一方が類似する画素の群を1つの領域として分割したものであってもよい。また、領域Pは、予め定めた属性に応じて画像30を分割した領域であってもよい。属性は、画像30内における特定の被写体を示す領域である。属性は、例えば、横断歩道を示す領域、左車線を示す領域、立ち入り禁止区域を示す領域、危険領域、などである。
また、領域Pは、複数の画素を含む画素領域であってもよいし、1つの画素を含む画素領域であってもよい。なお、領域Pの広さが1画素に相当する広さに近づくほど、画像処理装置10はより高精度に密度を算出することができる。このため、領域Pは、1画素に相当する領域であることが好ましい。但し、上述したように、領域Pは、複数の画素を含む領域であってもよい。
第1算出部12Bは、例えば、領域Pの分割条件を予め記憶する。分割条件は、例えば、縦M個×横N個に分割、輝度および色ごとに分割、属性に応じて分割、などである。
そして、第1算出部12Bは、予め記憶した分割条件に沿って、画像30を複数の領域Pに分割すればよい。分割条件は、ユーザによる入力部16Bの操作指示などによって適宜変更可能とすればよい。
例えば、属性に応じて画像30を分割する場合、第1算出部12Bは、画像30の特徴量を用いて、属性の付与された正解データを予め機械学習し、識別器を生成する。そして、第1算出部12Bは、識別器を用いて、属性に応じて画像30を複数の領域Pに分割すればよい。また、例えば、危険領域を示す属性に応じて画像30を分割する場合、第1算出部12Bは、複数の危険領域を示した地図データを予め用意し、画像30における該地図データの危険領域に対応する領域と該危険領域外の領域との各々に、画像30を分割すればよい。また、第1算出部12Bは、ユーザによるUI部16の操作指示によって指示された境界線に沿って画像30を複数の領域Pに分割してもよい。
本実施の形態では、一例として、第1算出部12Bは、画像30を縦M個および横N個に分割する場合を説明する。
そして、第1算出部12Bは、画像30における領域Pごとに、各領域Pに含まれる物体の密度を算出する。本実施の形態では、第1算出部12Bは、領域Pごとに、含まれる人30Bの密度を算出する。
各領域Pに含まれる人30Bの密度の算出には、例えば、以下の方法を用いればよい。
例えば、第1算出部12Bは、各領域P内の人30Bの人数を、公知の方法によりカウントする。人30Bの身体の一部が領域P内に位置する場合、人30Bの該領域P内に位置する部分の面積を、該人30Bの面積で除算した結果を、該人30Bの人数としてカウントすればよい。例えば、人30Bの身体の50%が該領域Pに位置する場合、該人30Bを0.5人分としてカウントすればよい。
そして、第1算出部12Bは、各領域P内に位置する人30Bの人数を、領域Pの面積で除算した値を、各領域Pにおける人30Bの密度として算出すればよい。また、第1算出部12Bは、各領域Pに含まれる人30Bの人数を、領域Pを構成する画素の画素数で除算した値を、各領域Pにおける人30Bの密度として算出してもよい。
また、第1算出部12Bは、領域P内における人30Bの分散度を、各領域Pにおける人30Bの密度として算出してもよい。例えば、第1算出部12Bは、領域P内における人30Bの位置を、領域Pを更に複数の小領域に分割した小領域(例えば、画素)ごとに算出する。そして、領域P内における、人30Bが位置する小領域の分散度を、領域Pにおける人30Bの密度として算出してもよい。
また、第1算出部12Bは、領域Pを複数の小領域に分割し、含まれる人30Bの人数を小領域ごとに算出してもよい。そして、第1算出部12Bは、領域Pに含まれる人30Bの人数の平均値を、該領域Pの密度として算出してもよい。
なお、第1算出部12Bは、公知の検出方法を用いて、各領域Pに含まれる物体(本実施の形態では人30B)の密度を算出してもよい。例えば、第1算出部12Bは、領域Pの各々について、公知の顔検出手法により顔の数を検出する。そして、第1算出部12Bは、領域Pの各々について、検出した顔の数を、領域Pを構成する画素の画素数で除算する。第1算出部12Bは、この除算によって得た値(除算結果)を、各領域Pにおける人30Bの密度として用いればよい。
また、第1取得部12Aが、赤外線カメラで撮影された画像を取得したとする。この場合、取得した画像は、人物領域の画素値が高くなる傾向にある。この場合、第1算出部12Bは、領域Pの各々について、所定の閾値以上の画素値を示す画素数を、領域Pを構成する画素の画素数で除算する。第1算出部12Bは、この除算によって得た値(除算結果)を、各領域Pにおける人30Bの密度として用いてもよい。
また、第1取得部12Aが、深度カメラで撮影された距離画像(デプス画像)を取得したとする。この場合、第1算出部12Bは、領域Pの各々について、地面から80cm〜2mの高さを示す画素の画素数を、領域Pを構成する画素の画素数で除算する。第1算出部12Bは、この除算によって得た値(除算結果)を、各領域Pにおける人30Bの密度として用いてもよい。
なお、第1算出部12Bは、後述する第4の実施の形態で説明する仮密度の算出方法を用いて、領域Pに含まれる人30Bの密度を算出してもよい(詳細後述)。
また、第1算出部12Bが、画像30に含まれる物体の種類ごとに、各領域Pに含まれる物体の密度を算出する場合には、第3の実施の形態で説明する算出方法を用いることが、物体の種類ごとの密度算出精度を向上させる観点から好ましい(詳細後述)。
図3は、画像30に対する処理の流れを示す模式図である。例えば、第1取得部12Aが、図3(A)に示す画像30を取得したとする。この場合、第1算出部12Bは、画像30を、複数の領域Pに分割する。図3(B)には、第1算出部12Bが、縦4個×横4個の合計16個の領域Pに画像30を分割した場合を示した。
そして、第1算出部12Bは、領域Pごとに、人30Bの密度を算出する。図3(C)は、密度分布31の一例を示す図である。図3(C)に示すように、第1算出部12Bは、領域P1〜領域P16の各々の領域Pについて、各領域Pに含まれる人30Bの密度を算出する。これにより、第1算出部12Bは、密度分布31を得る。
図1に戻り、演算部12Cは、領域Pの各々について、領域Pの周辺領域の物体の密度に対する第1密度相対値を演算する。第1密度相対値は、領域Pの周辺領域の物体の密度に対する、該領域Pの密度の、相対値である。なお、以下では、物体(本実施の形態では人30B)の密度を、単に、密度と称して説明する場合がある。
領域Pの周辺領域は、画像30における、該領域Pの周囲に連続して配置された他の領域Pを少なくとも含む。領域Pに連続して配置された、とは、該領域Pに接して配置されていることを示す。
なお、領域Pの周辺領域は、該領域Pの周囲に連続して配置された他の領域Pを少なくとも含む領域であればよい。例えば、領域Pの周辺領域は、該領域Pに接する位置から離れる方向に向かって連続して配置された複数の他の領域Pを含む領域であってもよい。
本実施の形態では、演算部12Cは、画像30における、第1算出部12Bによって分割された複数の領域Pの各々を、第1密度相対値の算出対象の第1領域として順次設定する。そして、演算部12Cは、周辺領域の密度に対する、第1領域の密度の第1密度相対値を演算する。周辺領域は、第1領域の周囲に配置された他の領域Pとしての第2領域を複数含む。これによって、演算部12Cは、領域Pの各々の第1密度相対値を演算する。
図4は、第1密度相対値の演算の一例を示す説明図である。演算部12Cは、画像30における複数の領域P(領域P1〜領域P16)の各々を、第1領域として順次設定し、各第1領域(領域P1〜領域P16)の各々について、第1密度相対値を演算する。
図4(A)には、演算部12Cが領域P1を第1領域として設定した状態を示した。この場合、領域P1の周辺領域PBは、例えば、該領域P1の周囲に連続して配置された領域P2、領域P5、および領域P6を含む。なお、上述したように、周辺領域PBに含まれるこれらの領域(領域P2、領域P5、および領域P6)は、第2領域に相当する。このため、周辺領域PBに含まれる領域Pを、単に、第2領域と称して説明する場合がある。
この場合、演算部12Cは、周辺領域PBに含まれる第2領域である領域P2、領域P5、および領域P6の各々の密度の平均値を、該周辺領域PBの人30Bの密度として算出する。例えば、演算部12Cは、周辺領域PBに含まれる第2領域である領域P2、領域P5、および領域P6の各々の密度の加算値を、該周辺領域PBに含まれる第2領域の数(ここでは“3”)で除算することで、周辺領域PBの人30Bの密度を算出する。
演算部12Cは、周辺領域PBの密度に対する領域P1の密度の相対値を、該領域P1の第1密度相対値として算出すればよい。
図4(B)には、演算部12Cが領域P6を第1領域として設定した場合を示した。この場合、第1領域である領域P6の周辺領域PBは、例えば、該領域P6に連続して配置された領域P1〜領域P3、領域P5、領域P7、領域P9〜領域P11を含む。
演算部12Cは、周辺領域PBに含まれる第2領域である領域P1〜領域P3、領域P5、領域P7、領域P9〜領域P11の密度の平均値を、該周辺領域PBの人30Bの密度として算出する。すなわち、演算部12Cは、周辺領域PBに含まれる第2領域である領域P1〜領域P3、領域P5、領域P7、領域P9〜領域P11の各々の密度の加算値を、該周辺領域PBに含まれる第2領域の数(ここでは“8”)で除算することで、該周辺領域PBの人30Bの密度を算出する。
そして、演算部12Cは、この周辺領域PBの密度に対する領域P6の密度の相対値を、該領域P6の第1密度相対値として算出する。
演算部12Cは、領域P2〜領域P5、領域P7〜領域P16の各々についても、同様にして、順次第1領域として設定し、各々の第1領域の周辺領域PBに対する第1密度相対値を算出する。
なお、演算部12Cによる第1密度相対値の算出方法は、周辺領域PBに含まれる第2領域の密度を単純平均した平均値を用いる方法に限定されない。
例えば、演算部12Cは、周辺領域PBに含まれる各第2領域の、第1領域に対する距離に応じた加重平均による平均値を用いて、第1密度相対値を算出してもよい。
図5は、加重平均を用いた第1密度相対値の算出の説明図である。
図5には、演算部12Cが、領域P6を第1領域として設定した状態を示した。また、図5には、第1領域である領域P6の周辺領域PBが、該領域P6に接する位置から離れる方向に向かって配置された複数の他の領域Pを含む領域である場合を示した。すなわち、図5に示す例では、領域P6の周辺領域PBは、該領域P6に連続する他の領域P、および、該他の領域Pを介して領域P6に連続する他の領域Pを含む。詳細には、図5では、領域P6の周辺領域PBに含まれる第2領域が、領域P1〜領域P5、領域P7〜領域P16である場合を示した。
この場合、演算部12Cは、周辺領域PBに含まれる第2領域の各々の密度に、第1重み付け値mを乗算する。mは、例えば、0より大きく、且つ、1未満の値である。第1重み付け値mは、設定された第1領域(図5では、領域P6)に近い位置に配置された第2領域ほど大きい値である。
演算部12Cは、第1領域からの距離と、第1重み付け値mと、を対応づけて予め記憶する。
そして、演算部12Cは、周辺領域PBに含まれる第2領域の各々の人30Bの密度に、各第2領域の第1領域に対する距離に対応する第1重み付け値mを乗算する。例えば、演算部12Cは、第1領域である領域P6に連続する第2領域(領域P1〜領域P3、領域P5、領域P7、領域P9〜領域P11)の各々の密度には、第1重み付け値m“0.8”を乗算する。また、演算部12Cは、これらの第2領域に比べて領域P6から離れた位置に配置された第2領域である領域P4、領域P8、領域P12、領域P13〜領域P16の各々の密度には、第1重み付け値m“0.5”を乗算する。
これによって、演算部12Cは、各第2領域の各々について、各第2領域の密度に、対応する第1重み付け値mを乗算した乗算値を算出する。
そして、演算部12Cは、周辺領域PBに含まれる複数の第2領域の各々について算出した乗算値の平均値を、周辺領域PBの密度として算出する。すなわち、演算部12Cは、周辺領域PBに含まれる第2領域の各々の密度に、対応する第1重み付け値mを乗算した乗算値を合計した合計値(ここでは、15個分の第2領域の乗算値の合計値)を算出する。そして、演算部12Cは、この合計値を、該周辺領域PBに含まれる第2領域の数(ここでは“15”)で除算することで、平均値を算出する。
そして、演算部12Cは、この平均値を、領域P6の周辺領域PBの密度として用いる。すなわち、演算部12Cは、周辺領域PBの密度(この算出した平均値)に対する、第1領域として設定した領域P6の密度の相対値を、該領域P6の第1密度相対値として算出する。そして、演算部12Cは、他の領域P(領域P1〜領域P5、領域P7〜領域P16)の各々についても同様にして、第1密度相対値を算出すればよい。
このように、演算部12Cは、周辺領域PBに含まれる各第2領域の、第1領域に対する距離に応じた加重平均による平均値を用いて、第1密度相対値を算出してもよい。
また、演算部12Cは、周辺領域PBに含まれる第2領域の各々に含まれる人30Bと、第1領域と、の距離に応じた加重平均による平均値を用いて、第1密度相対値を算出してもよい。
図6は、加重平均を用いた第1密度相対値の算出の説明図である。
図6には、演算部12Cが、領域P6を第1領域として設定した状態を示した。また、図6には、第1領域である領域P6の周辺領域PBが、該領域P6に連続する領域P1〜領域P3、領域P5、領域P7、領域P9〜領域P11である場合を示した。
この場合、演算部12Cは、周辺領域PBに含まれる第2領域の各々の密度に、第2重み付け値nを乗算する。nは、例えば、0より大きく且つ1未満の値である。第2重み付け値nは、第2領域内に含まれる人30Bと第1領域(図6では、領域P6)との距離が近いほど、大きい値である。
例えば、演算部12Cは、周辺領域PBに含まれる第2領域の各々について、第2領域に含まれる人30Bと第1領域との距離を算出する。例えば、第1算出部12Bは、領域Pごとの密度と、各領域Pにおける人30Bの位置と、を算出すればよい。そして、演算部12Cは、第1算出部12Bで算出された人30Bの位置から、周辺領域PBに含まれる第2領域の各々について、第2領域に含まれる人30Bと第1領域との距離を算出すればよい。
演算部12Cは、数値“1”を、人30Bと第1領域との距離で除算した除算値を、該人30Bを含む第2領域の第2重み付け値nとして算出する。このため、含まれる人30Bと第1領域との距離が近い第2領域ほど、大きい値の第2重み付け値nが算出される。
なお、第2領域内に複数の人30Bが存在する場合がある。この場合、演算部12Cは、第2領域に含まれる人30Bの各々について、数値“1”を人30Bと第1領域との距離で除算した除算値を算出する。そして、演算部12Cは、同一の第2領域内に含まれる人30Bごとに算出した該除算値の合計値を、該第2領域の第2重み付け値nとして算出すればよい。このため、含まれる人30Bの人数が多いほど、大きい値の第2重み付け値nが算出されることとなる。
なお、人30Bが含まれない第2領域については、画像30内における、人30Bが存在する第2領域の第2の重み付け値nの最低値より小さい値を、第2の重み付け値nとして算出すればよい。
例えば、図6に示すように、第1領域である領域P6の周辺領域PBに含まれる第2領域の内、領域P7には、人30Bが一人存在する。そして、人30Bと領域P6との距離がT1であったとする。この場合、演算部12Cは、該領域P7の第2重み付け値nとして、1/T1を算出すればよい。
また、領域P10には、人30Bが二人存在する。そして、一方の人30Bと領域P6との距離がT2であり、他方の人30Bと領域P6との距離がT3であったとする。この場合、演算部12Cは、該領域P10の第2重み付け値nとして、(1/T2)+(1/T3)によって算出される値を、第2の重み付け値nとして算出すればよい。
また、領域P5には、人30Bが一人存在する。そして、人30Bと領域P6との距離がT4であったとする。この場合、演算部12Cは、該領域P5の第2重み付け値nとして、1/T4を算出すればよい。
なお、周辺領域PBの内、領域P1〜領域P3、領域P9、領域P11には、人30Bが存在しない。このため、演算部12Cは、これらの領域Pの第2の重み付け値nとして、例えば、画像30の複数の領域Pの内、最も小さい値の第2重み付け値n(例えば、0.01など)を算出すればよい。
そして、演算部12Cは、周辺領域PBに含まれる複数の第2領域の密度の各々に、対応する第2重み付け値nを乗算した乗算値の平均値を、周辺領域PBの密度として算出する。すなわち、演算部12Cは、周辺領域PBに含まれる第2領域の各々の密度に、対応する第2重み付け値nを乗算した乗算値を合計した合計値を算出する。そして、演算部12Cは、この合計値を、該周辺領域PBに含まれる第2領域の数で除算することで、平均値を算出する。そして、演算部12Cは、この平均値を、周辺領域PBの人30Bの密度として演算する。
更に、演算部12Cは、算出した周辺領域PBの密度に対する、第1領域として設定した領域P6の密度の相対値を、該領域P6の第1密度相対値として算出する。そして、演算部12Cは、他の領域P(領域P1〜領域P5、領域P7〜領域P16)の各々についても同様にして、第1領域として順次設定し、第1密度相対値を算出すればよい。
このように、演算部12Cは、周辺領域PBに含まれる第2領域内の物体(人30B)の、第1領域に対する距離に応じた加重平均による平均値を用いて、第1密度相対値を算出してもよい。
なお、周辺領域PBの密度の算出結果が“0”となった場合、演算部12Cは、0より大きく、且つ他の第1領域の各々の周辺領域PBの密度の最低値より小さい値となるように、周辺領域PBの密度の値を補正することが好ましい。例えば、ある第1領域の周辺領域PBの密度の算出結果が“0”である場合、演算部12Cは、該周辺領域PBの密度を“0.00001”に補正すればよい。そして、演算部12Cは、補正後の周辺領域PBの密度を用いて、第1密度相対値を算出すればよい。
このようにして、演算部12Cは、領域Pの各々について、領域Pの周辺領域の物体の密度に対する第1密度相対値を演算すればよい。
図3(D)は、第1密度相対値を領域Pごとに規定した相対値分布32の一例を示す図である。演算部12Cは、例えば、密度分布31(図3(C)参照)を用いて、上述の方法を用いて、領域Pごとに第1密度相対分布を演算することで、相対値分布32を作成する。
図1に戻り、検出部12Dは、画像30に含まれる複数の領域Pの内、第1密度相対値が第1閾値より大きい値、または、第1閾値より小さい値の領域Pを、注目領域として検出する。
第1閾値の値は、注目領域として検出する対象などに応じて適宜設定すればよい。第1閾値は、ユーザによるUI部16の操作指示などによって適宜変更可能としてもよい。
図3を用いて注目領域Qの検出を説明する。演算部12Cによって、図3(D)に示す相対値分布32が得られたとする。そして、第1閾値が“0.1”であったとする。また、演算部12Cは、第1密度相対値が第1閾値より小さい値の領域Pを、注目領域Qとして検出すると仮定する。
この場合、検出部12Dは、画像30に含まれる領域P(領域P1〜領域P16)の内、第1密度相対値が第1閾値“0.1”より小さい領域Pである、領域P3、領域P4、および領域P11を、注目領域Qとして検出する(図3(D)、図3(E)参照)。なお、第1密度相対値が第1閾値より小さい領域Pが画像30内において連続して位置する場合、この連続する領域Pをまとめて注目領域Qとしてもよい。具体的には、図3(D)に示すように、検出部12Dは、第1密度相対値が第1閾値より小さい領域P3および領域P4は、まとめて1つの注目領域Qとして検出してもよい。
なお、第1閾値は、1つの値であってもよいし、上限値と下限値とによって規定される範囲をもった値であってもよい。第1算出部12Bが、各領域Pにおける人30Bの密度として、領域P内における人30Bの分散度を算出した場合には、分散を考慮する観点から、第1閾値として範囲を持った値を用いることが好ましい。
また、検出部12Dは、第1密度相対値が、第1閾値より予め定めた割合(例えば、10%)以上大きい、または該割合以上小さい領域Pを、注目領域Qとして検出してもよい。また、第1閾値が範囲を持った値である場合、検出部12Dは、第1密度相対値が、第1閾値の下限値より予め定めた割合以上小さい、または第1閾値の上限値より該割合以上大きい領域Pを、注目領域Qとして検出してもよい。
図1に戻り、表示制御部12Eは、各種画像を表示部16Aへ表示する。本実施の形態では、表示制御部12Eは、検出部12Dで検出した注目領域Qを表示部16Aへ表示する。
表示制御部12Eは、例えば、注目領域Qを示す文字情報を表示部16Aへ表示してもよいし、注目領域Qを示す表示画像を表示部16Aへ表示してもよい。注目領域Qを示す表示画像の形態は限定されない。例えば、注目領域Qを示す表示画像は、画像30における注目領域Qの位置を示す座標情報(例えば、矩形状の注目領域Qである場合、注目領域Qの各頂点の座標情報)であってもよいし、注目領域Qを囲む直線の各々の両端部の座標情報であってもよい。また、注目領域Qを示す表示画像は、注目領域Qとする領域Pの識別情報であってもよい。
図3(E)は、表示画像33の一例を示す模式図である。例えば、表示制御部12Eは、画像30に、注目領域Qの輪郭を示す輪郭線を重畳した表示画像33を、表示部16Aに表示する。
なお、表示制御部12Eは、画像30における注目領域Qを、注目領域Q以外の外部領域とは異なる表示形態で示す表示画像33を、表示部16Aに表示することが好ましい。
具体的には、表示制御部12Eは、注視を促す表示形態で注目領域Qを表示することが好ましい。注視を促す表示形態とは、強調した表示形態であることを示す。注視を促す表示形態で注目領域Qを表示する方法としては、注目領域Qを背景とは異なる色で表示する、注目領域Qを明度や彩度の高い色で表示する、注目領域Qを点滅させて表示する、注目領域Qを太い線で囲んで表示する、注目領域Qを拡大して表示する、画像30における注目領域Q以外の外部領域を歪めて表示する、などの方法が挙げられる。
図7は、表示画像の一例を示す模式図である。例えば、表示制御部12Eは、画像30上に、注視を促す表示形態で示す注目領域Qを重畳した表示画像37Aを、表示部16Aに表示する(図7(A)参照)。また、表示制御部12Eは、画像30における注目領域Qを拡大した拡大画像31Aを、表示画像37Bとして表示部16Aに表示してもよい(図7(B)参照)。
注目領域Qを拡大する倍率は、予め定めた値を用いてもよいし、表示部16Aの表示面の大きさに応じて調整してもよい。例えば、表示制御部12Eは、注目領域Qが表示部16Aの表示面内に表示されるように、注目領域Qの拡大倍率を調整すればよい。また、表示制御部12Eは、注目領域Qとして検出された領域Pの第1密度相対値の値に応じて、注目領域Qの拡大倍率を調整してもよい。例えば、表示制御部12Eは、注目領域Qを構成する領域Pの第1密度相対値の値が大きいほど、注目領域Qの拡大倍率を大きくしてもよい。また、逆に、表示制御部12Eは、注目領域Qを構成する領域Pの第1密度相対値の値が小さいほど、注目領域Qの拡大倍率を大きくしてよい。
また、表示制御部12Eは、画像30に注目領域Qを示す画像を重畳した表示画像37Cと、注目領域Qの部分を拡大した拡大画像31Aと、を含む表示画像37Eを、表示部16Aに表示してもよい(図7(C)参照)。
また、表示制御部12Eは、画像30における注目領域Q以外の外部領域を歪めた画像とし、注目領域Qの部分を拡大して示した表示画像37Fを、表示部16Aに表示してもよい(図7(D)参照)。外部領域を歪める方法には、公知の方法を用いればよい。
なお、注目領域Qの表示形態は上記に限定されない。例えば、表示制御部12Eは、注目領域Qを構成する領域Pの第1相対密度の値に応じた表示形態で、注目領域Qを表示部16Aに表示してもよい。
例えば、表示制御部12Eは、注目領域Qを構成する領域Pの第1相対密度の値が大きいほど、明度、彩度、濃度、の少なくとも1つの高い色で、注目領域Qを表示部16Aに表示する。
また、表示制御部12Eは、注目近傍領域を更に表示部16Aに表示してもよい。この場合、表示制御部12Eは、注目領域Qの外側の領域Pを注目近傍領域として特定する。注目近傍領域は、注目領域Qの外側の他の領域Pであって、注目領域Pに物体が侵入する可能性の高い領域である。表示制御部12Eは、例えば、注目領域Q以外の他の領域Pの内、注目領域Qの第1密度相対値との差が閾値以下の領域P、注目領域Qからの距離が閾値以下の領域P、該差と該距離との積または荷重和が閾値以上となる領域Pを、注目近傍領域として特定する。そして、表示制御部12Eは、注目領域Qと、注目近傍領域と、を表示部16Aに表示してもよい。
次に、本実施の形態の画像処理装置10が実行する画像処理の手順を説明する。
図8は、本実施の形態の画像処理装置10が実行する画像処理の手順の一例を示すフローチャートである。
まず、第1取得部12Aが、注目領域Qの検出対象の画像30を取得する(ステップS100)。次に、第1算出部12Bが、ステップS100で取得した画像30を複数の領域Pに分割した領域Pごとに、領域Pに含まれる物体(人30B)の密度を算出する(ステップS102)。
次に、演算部12Cが、各領域Pの各々について、領域Pの周辺領域PBにおける人30Bの密度に対する第1密度相対値を演算する(ステップS104)。次に、検出部12Dが、画像30に含まれる複数の領域Pの内、ステップS104で演算した第1密度相対値が第1閾値より大きい値、または第1閾値より小さい値の領域Pを、注目領域Qとして検出する(ステップS106)。
次に、表示制御部12Eが、ステップS106で検出した注目領域Qを示す表示画像を表示部16Aに表示する(ステップS108)。そして、本ルーチンを終了する。
以上説明したように、本実施の形態の画像処理装置10は、第1取得部12Aと、第1算出部12Bと、演算部12Cと、検出部12Dと、を備える。第1取得部12Aは、画像30を取得する。第1算出部12Bは、画像30を複数の領域Pに分割した領域Pごとに、領域Pに含まれる物体(人30B)の密度を算出する。演算部12Cは、領域Pの各々について、領域Pの周辺領域PBの物体(人30B)の密度に対する第1密度相対値を演算する。検出部12Dは、画像30に含まれる複数の領域Pの内、第1密度相対値が予め定めた第1閾値より大きい値または第1閾値より小さい値の領域Pを、注目領域Qとして検出する。
ここで、従来技術では、画像内の人物密度が基準密度と閾値以上異なるか否かを判別することで、注目領域を検出していた。このため、従来では、画像内に含まれる人物の密度が全体的に高い(例えば、全体的に2倍の密度となっている)場合や、全体的に低い場合などには特に、注目領域の誤認識が発生していた。
一方、本実施の形態の画像処理装置10は、各領域Pについて演算した、各領域Pの周辺領域PBに対する密度の相対値である第1密度相対値を用いて、注目領域Qを検出する。このため、画像30の全体の密度が予め定めた基準密度より大きい、または小さい場合であっても、密度が他の領域Pとは異なる領域Pを、精度良く注目領域Qとして検出することができる。
従って、本実施の形態の画像処理装置10は、画像30内における注目領域Qを精度良く検出することができる。
なお、演算部12Cは、第1密度相対値の演算時に用いる周辺領域として、撮影時間の異なる他の画像における周辺領域を用いてもよい。
なお、本実施の形態では、物体が人(人30B)である場合を一例として説明した。しかし、物体は、画像を解析することで識別される被写体であればよく、人に限定されない。例えば、物体は、車、動物、植物、細胞、細菌、花粉、放射線、などであってもよい。
また、本実施の形態では、演算部12Cは、第1密度相対値が第1閾値より小さい値の領域Pを、注目領域Qとして検出する場合を一例として説明した。しかし、演算部12Cは、第1密度相対値が第1閾値より大きい値の領域Pを、注目領域Qとして検出してもよい。
また、第1閾値は、値の異なる二つの閾値(小閾値<大閾値とする)を含んでいてもよい。この場合、演算部12Cは、第1密度相対値が、第1閾値における小閾値より小さい値の領域Pを注目領域Qとして検出してもよい。また、演算部12Cは、第1密度相対値が、第1閾値における大閾値より大きい値の領域Pを注目領域Qとして検出してもよい。
<変形例1>
なお、第1算出部12Bは、画像30における領域Pごとに算出した人30Bの密度を、各領域Pの周辺領域PBの密度に応じて補正してもよい。
なお、第1算出部12Bは、画像30における領域Pごとに算出した人30Bの密度を、各領域Pの周辺領域PBの密度に応じて補正してもよい。
図1は、本変形例1の画像処理装置11の機能的構成を示すブロック図である。
画像処理装置11は、撮影部23と、記憶部14と、UI部16と、制御部13と、を備える。画像処理装置11は、制御部12に代えて制御部13を備えた以外は、第1の実施の形態の画像処理装置10と同様である。
制御部13は、第1取得部12Aと、第1算出部13Bと、演算部12Cと、検出部12Dと、表示制御部12Eと、を備える。制御部13は、第1算出部12Bに代えて第1算出部13Bを備えた以外は、第1の実施の形態と同様である。
図9は、第1算出部13Bの機能的構成を示すブロック図である。第1算出部13Bは、第2算出部13Cと、特定部13Dと、補正部13Eと、を備える。
第2算出部13Cは、画像30を複数の領域Pに分割した領域Pごとに、領域Pに含まれる物体の密度を算出する。第2算出部13Cは、第1の実施の形態の第1算出部12Bと同様にして、領域Pに含まれる物体の密度を算出する。
特定部13Dは、画像30に含まれる複数の領域Pの内、第2算出部13Cによって算出された密度が第2閾値より大きい領域Pを特定する。
特定部13Dは、任意の値の第2閾値を予め設定すればよい。例えば、特定部13Dは、少なくとも一部の人30Bが他の領域Pに跨って存在するか否かの判断基準の閾値を、第2閾値として予め定めればよい。例えば、1つの領域P内に複数の人30Bが存在するほど、身体の一部が他の領域Pに跨って位置している可能性が高くなる。このため、このような観点で、特定部13Dは、第2閾値を定めてもよい。なお、第2閾値は、ユーザによるUI部16の操作指示によって適宜変更可能としてもよい。
補正部13Eは、特定した領域Pの周辺領域PBを構成する領域Pの密度の各々に、第3重み付け値pを乗算する。第3重み付け値pは、0より大きく、且つ、1未満の値である。そして、補正部13Eは、特定した領域Pの密度に、周辺領域PBを構成する領域Pの各々に第3重み付け値pを乗算した乗算値の各々を加算した加算値を算出する。補正部13Eは、該加算値となるように、特定部13Dで特定した領域Pの密度を補正する。すなわち、補正部13Eは、この加算値を、特定部13Dで特定した領域Pの補正後の密度として用いる。
図10は、第1算出部13Bによる、物体の密度算出の説明図である。
図10(A)は、密度分布31の一例を示す図である。第2算出部13Cは、第1算出部12Bと同様にして、領域Pごとに人30Bの密度を算出する。これにより、第2算出部13Cは、密度分布31を得る。
第2閾値が、例えば、“2.1”であったと仮定する。この場合、特定部13Dは、密度分布31における、密度が“2.1”より大きい値の領域P5を特定する(密度“2.3”の領域P5)。そして、補正部13Eは、該領域P5の周辺領域PBを構成する領域P(領域P1、領域P2、領域P6、領域P9、領域P10)の各々の密度に第2閾値を乗算した乗算値の各々を、特定した領域P5の密度“2.3”に加算する。この加算した結果である加算値が“2.7”であったと仮定する。この場合、補正部13Eは、領域P5の密度を、“2.7”に補正する(図10(B)参照)。
図1に戻り、演算部12Cは、この補正後の密度分布31(図10(B)参照)によって示される各領域Pの密度を用いて、第1の実施の形態と同様にして、各領域Pの各々について、第1密度相対値を演算すればよい。
次に、本変形例の画像処理装置11が実行する画像処理の手順を説明する。
図11は、本変形例の画像処理装置11が実行する画像処理の手順の一例を示すフローチャートである。
まず、第1取得部12Aが、注目領域Qの検出対象の画像30を取得する(ステップS200)。次に、第1算出部13Bの第2算出部13Cが、ステップS100で取得した画像30を複数の領域Pに分割した領域Pごとに、領域Pに含まれる物体(人30B)の密度を算出する(ステップS202)。
次に、特定部13Dが、密度が第2閾値より大きい領域Pを特定する(ステップS204)。次に、補正部13Eが、特定した領域Pの密度を、該領域Pの周辺領域PBの密度を用いて補正する(ステップS206)。
次に、演算部12Cが、各領域Pの各々について、領域Pの周辺領域PBにおける人30Bの密度に対する第1密度相対値を演算する(ステップS208)。ステップS208では、演算部12Cは、ステップS206で補正された密度を用いて、第1密度相対値を演算する。
次に、検出部12Dが、画像30に含まれる複数の領域Pの内、ステップS208で演算した第1密度相対値が第1閾値より大きい値、または第1閾値より小さい値の領域Pを、注目領域Qとして検出する(ステップS210)。次に、表示制御部12Eが、ステップS210で検出した注目領域Qを示す表示画像を表示部16Aに表示する(ステップS212)。そして、本ルーチンを終了する。
以上説明したように、本変形例では、演算部12Cは、第1算出部13B(補正部13E)で補正された密度を用いて、領域Pごとに第1密度相対値を算出する。
ここで、画像30を複数の領域Pに分割したときの、各領域P間の区切り位置が、画像30に含まれる人30Bを分断する位置に配置される場合がある。この場合、各領域P間の区切り位置が人30Bを分断する位置によって、算出される密度にばらつきが生じる場合がある。
そこで、第1算出部13Bが、上記補正を行うことによって、より精度良く各領域Pにおける人30Bの密度を算出することができる。このため、本変形例の画像処理装置11は、第1の実施の形態の画像処理装置10に比べて、更に精度良く、画像30内における注目領域Qを検出することができる。
なお、本変形例では、補正部13Eは、特定部13Dが特定した領域Pについて密度の補正を行う場合を説明した。しかし、補正部13Eは、画像30内の全ての領域Pの各々について、上記と同様にして、密度の補正を行ってもよい。
<変形例2>
第1の実施の形態では、画像処理装置10は、第1取得部12Aが取得した1枚の画像30を用いて、注目領域Qを検出する場合を一例として説明した。しかし、画像処理装置10は、第1取得部12Aで取得した時系列に連続する複数の画像30を用いて、注目領域Qを検出してもよい。
第1の実施の形態では、画像処理装置10は、第1取得部12Aが取得した1枚の画像30を用いて、注目領域Qを検出する場合を一例として説明した。しかし、画像処理装置10は、第1取得部12Aで取得した時系列に連続する複数の画像30を用いて、注目領域Qを検出してもよい。
図1は、本変形例の画像処理装置15の機能的構成を示すブロック図である。
画像処理装置15は、撮影部23と、記憶部14と、UI部16と、制御部17と、を備える。画像処理装置15は、制御部12に代えて制御部17を備えた以外は、第1の実施の形態の画像処理装置10と同様である。
制御部17は、第1取得部17Aと、第1算出部17Bと、演算部17Cと、検出部17Dと、表示制御部17Eと、を含む。第1取得部17A、第1算出部17B、演算部17C、検出部17D、および表示制御部17Eの一部または全ては、例えば、CPUなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ICなどのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
第1取得部17Aは、時系列に連続する複数の画像30を取得する。時系列に連続する複数の画像30とは、実空間におけるある特定の撮影領域(例えば、交差点や道路など)について、時系列に撮影された複数の撮影画像である。第1取得部17Aは、1枚の画像30に代えて、時系列に連続する複数の画像30を取得する以外は、第1の実施の形態の第1取得部12Aと同様である。
第1算出部17Bは、第1取得部17Aで取得した複数の画像30の各々について、画像30を複数の領域Pに分割した領域Pごとに、領域Pに含まれる物体の密度を算出する。第1算出部17Bは、1枚の画像30に代えて、時系列に連続する複数の画像30の各々について、領域Pごとに物体の密度を算出する以外は、第1の実施の形態の第1算出部12Bと同様である。
演算部17Cは、複数の画像30の各々について、画像30に含まれる領域Pの各々の第1密度相対値を演算する。演算部17Cは、1枚の画像30に代えて、時系列に連続する複数の画像30の各々について、画像30に含まれる領域Pの各々の第1密度相対値を演算する以外は、第1の実施の形態の演算部12Cと同様である。
検出部17Dは、複数の画像30の各々について、注目領域Qを検出する。検出部17Dは、1枚の画像30に代えて、時系列に連続する複数の画像30の各々について、注目領域Qを検出する以外は、第1の実施の形態の検出部12Dと同様である。
表示制御部17Eは、複数の画像30の各々について検出された注目領域Qを用いて、注目領域Qの拡大速度または移動速度を算出する。注目領域Qの拡大速度や移動速度の算出には、公知の画像処理を用いればよい。
そして、表示制御部17Eは、注目領域Qを拡大速度または移動速度に応じた表示形態で示す表示画像を、表示部16Aへ表示する。
例えば、表示制御部17Eは、注目領域Qの拡大速度が速いほど、より注視を促す表示形態で示す注目領域Qを含む表示画像を表示部16Aへ表示する。また、例えば、表示制御部17Eは、注目領域Qの移動速度が速いほど、より注視を促す表示形態で注目領域Qを含む表示画像を表示部16Aへ表示する。
次に、本変形例の画像処理装置15が実行する画像処理の手順を説明する。
図12は、本変形例の画像処理装置15が実行する画像処理の手順の一例を示すフローチャートである。
まず、第1取得部17Aが、注目領域Qの検出対象の画像30を取得したか否かを判断する(ステップS300)。第1取得部17Aは、ステップS300で肯定判断(ステップS300:Yes)するまで、否定判断(ステップS300:No)を繰り返す。
ステップS300で肯定判断すると(ステップS300:Yes)、ステップS302へ進む。ステップS302では、第1算出部17Bが、ステップS300で取得した画像30を複数の領域Pに分割した領域Pごとに、領域Pに含まれる物体(人30B)の密度を算出する(ステップS302)。次に、演算部12Cが、各領域Pの各々について、領域Pの周辺領域PBにおける人30Bの密度に対する第1密度相対値を演算する(ステップS304)。
次に、検出部17Dが、画像30に含まれる複数の領域Pの内、ステップS304で演算した第1密度相対値が第1閾値より大きい値、または第1閾値より小さい値の領域Pを、注目領域Qとして検出する(ステップS306)。
そして、検出部17Dは、ステップS300で取得した画像30と、ステップS302で算出した各領域Pの密度と、ステップS304で演算した各領域Pの第1密度相対値と、ステップS306で検出した注目領域Qと、を対応づけて記憶部14に記憶する(ステップS308)。なお、ステップS300において、第1取得部17Aは、画像30の撮影日時を示す情報を更に取得してもよい。この場合、検出部17Dは、画像30に、該画像30の撮影日時を示す情報を更に対応づけて、記憶部14に記憶すればよい。
次に、表示制御部17Eは、記憶部14に記憶されている、時系列の複数の画像30の各々に対応する注目領域Qから、注目領域Qの拡大速度を算出する(ステップS310)。例えば、表示制御部17Eは、ステップS300で取得した最新の画像30と、該画像30から過去に遡って連続する予め定めた枚数(例えば10枚)の画像30と、を特定する。そして、特定した画像30の各々に対応する注目領域Qを記憶部14から読取る。表示制御部17Eは、読取った注目領域Qの、各画像30における位置および面積と、各画像30の撮影日時を示す情報と、を用いて、注目領域Qの拡大速度を算出すればよい。
そして、表示制御部17Eは、注目領域Qを、ステップS310で算出した拡大速度に応じた表示形態で示す表示画像を、表示部16Aに表示する(ステップS312)。そして、次に、制御部17は、処理を終了するか否かを判断する(ステップS314)。例えば、制御部17は、ユーザによるUI部16の操作指示によって、該UI部16から終了を示す信号を受け付けたか否かを判別することで、ステップS314の判断を行えばよい。
ステップS314で否定判断すると(ステップS314:No)、上記ステップS300へ戻る。一方、ステップS314で肯定判断すると(ステップS314:Yes)、本ルーチンを終了する。
なお、表示制御部17Eは、ステップS310において、注目領域Qの大きさの推移に応じて、注目領域Qの縮小速度を算出してもよい。また、表示制御部17Eは、注目領域Qの拡大速度に代えて、注目領域Qの移動速度を算出してもよい。また、表示制御部17Eは、注目領域Qの拡大速度と移動速度の双方を算出してもよい。
この場合、表示制御部17Eは、ステップS312において、注目領域Qの拡大速度または縮小速度と、移動速度と、の少なくとも一方に応じた表示形態で注目領域Qを示す表示画像を、表示部16Aへ表示すればよい。
以上説明したように、画像処理装置15は、時系列に連続する複数の画像30を用いて、注目領域Qを検出してもよい。
また、本変形例の画像処理装置15は、注目領域Qの拡大速度または縮小速度と、移動速度と、の少なくとも一方に応じた表示形態で、注目領域Qを示す表示画像を表示部16Aへ表示する。
このため、注目領域Qの位置や速度の変動を、ユーザに対して解り易く提供することができる。また、画像30内に複数の注目領域Qが含まれる場合、より変動の大きい注目領域Qほど、他の注目領域Qとは異なる表示形態で表示されることとなる。このため、画像処理装置15は、より変動の大きい注目領域Qに対しての注視を促す表示画像を、表示部16Aに表示することができる。
なお、画像処理装置15は、時系列に連続する複数の画像30の各々から領域Pごとに算出した物体の密度の累積値を用いて、注目領域Qを検出してもよい。
この場合、画像処理装置15の第1算出部17Bは、時系列に連続する複数の画像30の各々から、上記と同様にして、領域Pごとに物体の密度を算出する。そして、第1算出部17Bは、時系列に連続する複数の画像30における、同じ撮影領域を示す領域Pごとに、算出した密度を加算することで、密度の累積値を領域Pごとに算出する。
例えば、撮影部23が撮影する撮影領域が固定であるとする。そして、第1算出部17Bは、画像30における同じ位置に配置された領域Pごとに、算出された密度を加算する。これにより、第1算出部17Bは、領域Pごとに密度の累積値を算出すればよい。
そして、演算部17Cは、領域Pの各々の密度に代えて密度累積値を用いて、第1の実施の形態の演算部12Cと同様にして、領域Pの各々について第1密度相対値を演算すればよい。そして、検出部17Dは、演算部17Cによって演算された第1密度相対値を用いて、第1の実施の形態の検出部12Dと同様にして、注目領域Qを検出すればよい。
ここで、実空間における撮影部23の撮影領域を、複数の人が通行したと仮定する。図13−1は、人の流れ(矢印X方向参照)の一例を示す模式図である。撮影領域に、例えば、通行を妨げるような障害物Dが載置されていたとする。この場合、人は、この障害物Dをよけて通行すると考えられる。このため、人の流れ(矢印X方向)は、障害物Dを避ける流れとなる。
そこで、画像処理装置15が、領域Pの各々における密度に代えて、密度累積値を用いて領域Pの各々の第1密度相対値を演算し注目領域Qを検出することで、画像30における、ある一定の期間において周辺領域PBより密度が高い(または密度が低い)領域Pを、注目領域Qとして検出することができる。
なお、表示制御部17Eは、注目領域Qを示す表示画像を表示部16Aに表示してもよい。図13−2は、表示画像A1の一例を示す模式図である。図13−2に示す表示画像A1は、警備業務の支援に用いることが可能である。
一般に、ビルや商業施設などには、様々な箇所に監視カメラ(撮影部23)が設置されている。そして、別室では、監視員が監視カメラの映像を見ながら、異常がないかをチェックしている。監視カメラの映像で不審人物や不審物などを発見した場合、監視員は、警備会社や近くの警備員に連絡をとり、連絡を受けた警備員が現地に訪れて対応する。しかしながら、通常は、図13−2に示すように、多くの監視カメラの映像を同時に監視する必要があるため、問題発見が難しい。監視員が問題を見落としたり発見が遅れたりすれば、対応ができずに警備の質が低下する。
一方、本実施の形態の画像処理装置15によれば、第1密度相対値を用いて注目領域Qを検出する。表示制御部17Eは、注目領域Qを強調した表示(例えば、注目領域QにアノテーションA3を表示)をする。また、異常発生を示すアノテーションA2を併せて表示する。このような表示によって、監視員が注目しやすくなり、即座に問題を発見できて警備の質を向上させることができる。
<変形例3>
なお、注目領域Qの検出方法は、第1の実施の形態で説明した方法に限定されない。
なお、注目領域Qの検出方法は、第1の実施の形態で説明した方法に限定されない。
例えば、画像処理装置10では、各領域P間に境界を設定することで、注目領域Qを検出してもよい。
図14は、境界を用いた注目領域Qの検出の説明図である。
本変形例では、演算部12Cは、第1領域として設定された領域Pの周辺領域PBに含まれる、該第1領域に隣接する複数の第2領域の密度の各々に対する、第1領域の密度の第2密度相対値の群を、第1密度相対値として演算する。
図14(A)は、第1算出部12Bが算出した密度分布31の一例を示す図である。また、図14(A)には、演算部12Cが領域P6を第1領域として設定した状態を示した。この場合、図14(A)に示すように、領域P1の周辺領域PBは、例えば、該領域P1に連続して配置された領域P1〜領域P3、領域P5、領域P7、および領域P9〜領域P11を、第2領域として含む。
そして、本変形例では、演算部12Cは、領域P6に隣接する複数の第2領域(領域P1〜領域P3、領域P5、領域P7、および領域P9〜領域P11)の密度の各々に対する、領域P6の密度の相対値(第2密度相対値)を算出する。この場合、演算部12Cは、第1領域である領域P6に対して、8個の第2密度相対値を算出する。そして、この8個の第2密度相対値の群を、周辺領域PBの密度である第1密度相対値として扱う。
そして、検出部12Dは、第2密度相対値が第1閾値より大きい値、または、第1閾値より小さい値を示す場合に、該第2密度相対値の演算に用いた第1領域と第2領域との領域間に境界を設定する。
例えば、図14(B)に示すように、第1領域である領域P6の、領域P7に対する第2密度相対値が第1閾値より大きい値であるとする。この場合、検出部12Dは、領域P6と領域P7との領域間に境界M1を設定する。
同様に、第1領域である領域P6の、領域P10に対する第2密度相対値が、第1閾値より大きい値であるとする。この場合、検出部12Dは、領域P6と領域P10との領域間に境界M2を設定する。
同様にして、演算部12Cが、画像30に含まれる領域P(領域P1〜領域P16)の各々を第1領域として順次設定し、各第1領域について第2密度相対値の群を演算する度に、検出部12Dは、同様にして境界Mを設定する。
そして、検出部12Dは、画像30に含まれる複数の領域Pの内、連続する境界Mによって示される仮想線より内側または外側の領域を、注目領域Qとして検出すればよい。
例えば、図14(C)に示すように、検出部12Dは、連続する境界Mによって示される、閉じた(無端の)仮想線より内側の領域を、注目領域Qとして検出すればよい。なお、連続する境界Mによって示される仮想線の端部が、画像30の周縁に到る場合がある。この場合、検出部12Dは、連続する境界Mと、画像30の周縁と、によって示される仮想線より内側の領域を、注目領域Qとして検出すればよい。
(第2の実施の形態)
本実施の形態では、予測密度情報から算出した密度相対値(第3密度相対値)を、第1閾値として用いる場合を説明する。
本実施の形態では、予測密度情報から算出した密度相対値(第3密度相対値)を、第1閾値として用いる場合を説明する。
図15は、本実施の形態の画像処理装置19の機能的構成を示すブロック図である。
画像処理装置19は、制御部21と、記憶部14と、UI部16と、撮影部23と、を備える。撮影部23、記憶部14、およびUI部16は、制御部21に電気的に接続されている。
撮影部23およびUI部16は、第1の実施の形態と同様である。記憶部14は、各種データを記憶する。
制御部21は、CPU、ROM、およびRAMなどを含んで構成されるコンピュータである。なお、制御部21は、CPU以外の回路等であってもよい。
制御部21は、画像処理装置19全体を制御する。制御部21は、第1取得部12Aと、第1算出部12Bと、演算部12Cと、検出部21Dと、表示制御部12Eと、第2取得部21Fと、を含む。
第1取得部12A、第1算出部12B、演算部12C、検出部21D、表示制御部12E、および第2取得部21Fの一部または全ては、例えば、CPUなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ICなどのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
第1取得部12A、第1算出部12B、および表示制御部12Eは、第1の実施の形態と同様である。
すなわち、第1取得部12Aは、画像30を取得する。第1算出部12Bは、画像30を複数の領域Pに分割した領域Pごとに、領域Pに含まれる物体の密度を算出する。演算部12Cは、領域Pの各々について、領域Pの周辺領域PBの物体の密度に対する第1密度相対値を演算する。
図16は、画像30に対する処理の流れを示す模式図である。例えば、第1取得部12Aが、図16(A)に示す画像30を取得したとする。この場合、第1算出部12Bは、画像30を、複数の領域Pに分割する。図16(B)には、第1算出部12Bが、縦4個×横4個の合計16個の領域Pに、画像30を分割する場合を示した。
そして、第1算出部12Bは、領域Pごとに、人30Bの密度を算出する。図16(C)は、密度分布31の一例を示す図である。図16(C)に示すように、第1算出部12Bは、領域P1〜領域P16の各々の領域Pについて、各領域Pに含まれる人30Bの密度を算出する。これにより、第1算出部12Bは、密度分布31を得る。
そして、演算部12Cは、領域Pの各々について、領域Pの周辺領域PBの物体の密度に対する第1密度相対値を演算する。図16(D)は、第1密度相対値を領域Pごとに規定した、相対値分布32の一例を示す図である。演算部12Cは、密度分布31を用いて領域Pごとに第1密度相対分布を演算することで、相対値分布32を作成する。第1密度相対値の演算方法は、第1の実施の形態で説明したため、ここでは記載を省略する。
図15に戻り、本実施の形態では、制御部21は、第2取得部21Fを更に備える。第2取得部21Fは、注目領域Qの検出に用いる画像30の撮影環境を取得する。撮影環境とは、画像30の撮影時の環境を示す。撮影環境は、例えば、撮影時間帯、撮影した曜日、撮影時の天候、撮影した撮影領域で開催されていたイベントの種類、などである。
第2取得部21Fは、UI部16から撮影環境を取得してもよい。例えば、ユーザは、UI部16を操作することで、注目領域Qに用いる画像30の撮影環境を入力する。例えば、表示制御部12Eは、撮影環境の一覧を示す選択画面を表示部16Aに表示する。ユーザは、入力部16Bを操作することで、表示された選択画面から所望の撮影環境を選択すればよい。これにより、第2取得部21Fは、UI部16から撮影環境を取得する。
なお、第2取得部21Fは、第1取得部12Aで取得した、注目領域Qの検出に用いる画像30を画像解析することで、該画像30の撮影環境を取得してもよい。例えば、記憶部14は、撮影環境と、画像30の画像解析により得られる撮影環境を示す特徴量と、を対応づけて予め記憶する。そして、第2取得部21Fは、画像30を画像解析することで特徴量を算出し、対応する撮影環境を記憶部14から読取ることで、画像30の撮影環境を取得してもよい。
また、本実施の形態では、検出部12D(図1参照)に代えて検出部21Dを備える。検出部21Dは、第1の実施の形態の検出部12Dと同様に、画像30に含まれる複数の領域Pの内、第1密度相対値が予め定めた第1閾値より大きい値または第1閾値より小さい値の領域Pを、注目領域Qとして検出する。
ここで、本実施の形態では、検出部21Dは、予測密度情報から算出した第3密度相対値を、第1閾値として用いる。
予測密度情報は、画像30に含まれる複数の領域Pの各々の予測密度を予め規定したものである。予測密度情報は、予め規定され、記憶部14に予め記憶されている。
予測密度情報に規定される領域Pごとの予測密度は、予めユーザが設定してもよいし、制御部21で予め算出してもよい。
予めユーザが設定する場合、ユーザは、画像30の撮影領域における物体の密度分布を過去の観察結果などから推定する。これにより、ユーザは、予測密度を領域Pごとに推定し、推定結果をUI部16の操作指示によって入力する。制御部21は、UI部16から受け付けた領域Pごとの予測密度を、予測密度情報として記憶部14へ予め記憶すればよい。
制御部21で領域Pごとの予測密度を算出する場合、例えば、第1の実施の形態の画像処理装置10と同様にして、第1算出部12Bが領域Pごとの密度を予め算出すればよい。そして、第1算出部12Bは、ある一定の期間(例えば、数か月間、一年間など)に撮影部23で撮影された複数の画像30の各々について、領域Pごとの物体の密度を算出する。領域Pの分割条件や、物体の種類は、注目領域Qを検出するための画像処理時に第1算出部12Bが用いる分割条件および種類と同じとすればよい。
そして、第1算出部12Bは、ある一定の期間に撮影部23で撮影された複数の画像30の各々について算出した、領域Pごとの密度の平均値を、密度推定値として規定する。これにより、第1算出部12Bは、予測密度情報を予め作成すればよい。そして、第1算出部12Bは、作成した予測密度情報を、撮影環境に対応づけて予め記憶部14へ記憶すればよい。
なお、注目領域Qを検出するための画像処理時に第1算出部12Bが算出する密度が、領域P内における物体の分散度である場合、予測密度情報に規定する領域Pごとの密度は、同様に分散度とすればよい。
図16(E)〜図16(H)は、予測密度情報の算出の流れを示す模式図である。例えば、予測密度情報の算出に用いる画像が、例えば、図16(E)に示す画像34であったとする。この場合、第1算出部12Bは、画像34を、領域P(図16(B)参照)と同じ分割条件で、複数の第3領域Sに分割する(図16(F)参照)。
そして、第1算出部12Bは、第3領域Sごとに、人30Bの密度を算出することで、予測密度情報を算出する。図16(G)は、予測密度情報35の一例を示す図である。図16(G)に示すように、第1算出部12Bは、第3領域S1〜第3領域S16の各々の第3領域Sについて、各第3領域Sに含まれる人30Bの密度を算出する。これにより、第1算出部12Bは、予測密度情報35を得る。
このように、制御部21では、予め予測密度情報35を生成し、予め記憶部14へ記憶する。なお、制御部21は、撮影環境ごとに予測密度情報35を生成し、撮影環境に対応づけて記憶部14へ予め記憶することが好ましい。この場合、制御部21は、対応する撮影環境で撮影された複数の画像30から、予測密度情報35を予め算出し、記憶部14に対応づけて予め記憶すればよい。
図15に戻り、検出部21Dは、予測密度情報35から算出した第3密度相対値を第1閾値として用いて、注目領域Qを検出する。
詳細には、検出部21Dは、第3算出部21Eを含む。第3算出部21Eは、第2取得部21Fが取得した撮影環境に対応する予測密度情報35を、記憶部14から読取る。なお、記憶部14に1種類の予測密度情報35のみが記憶されている場合、第3算出部21Eは、第2取得部21Fが取得した撮影環境に拘らず、記憶部14に記憶されている予測密度情報35を読取ればよい。
そして、第3算出部21Eは、読取った予測密度情報35における第3領域Sの各々について、第3領域Sの周辺領域である第3周辺領域の物体(人30B)の密度に対する第3密度相対値を算出する。第3算出部21Eは、演算部12Cによる第1密度相対値の演算時と同様の方法を用いて、第3領域Sの各々について第3密度相対値を算出すればよい。
図16(H)は、第3密度相対値を第3領域Sごとに規定した相対値分布36の一例を示す図である。第3算出部21Eは、予測密度情報35を用いて第3領域Sごとに第3密度相対分布を算出することで、相対値分布36を作成する。
そして、検出部21Dは、注目領域Qの検出対象の画像30に含まれる複数の領域Pの内、第1密度相対値が第1閾値より大きい値または第1閾値より小さい値の領域Pを、注目領域Qとして検出する。
本実施の形態では、検出部21Dは、画像30の各領域Pの各々について、予測密度情報35における対応する第3領域Sの第3密度相対値を、各領域Pの各々の第1閾値として用いる。
具体的には、図16(D)に示すように、演算部12Cが作成した相対値分布32には、領域Pごとに第1密度相対値が規定されている。そして、第3算出部21Eが予測密度情報35(図16(G)参照)から算出した相対値分布36には、第3領域Sごとに第3密度相対値が規定されている。
検出部21Dは、相対値分布32における領域P1〜領域P16の各々の第1閾値として、相対値分布36における、対応する位置に配置された第3領域S1〜第3領域S16の各々の第3密度相対値を用いる。詳細には、例えば、領域P1の第1閾値には、第3領域S1の第3密度相対値を用いる。同様に、他の領域P2〜領域P16についても、対応する第3領域S2〜第3領域S16の各々の第3密度相対値を、第1閾値として用いる。
そして、検出部21Dは、画像30に含まれる複数の領域Pの内、第1密度相対値が第1閾値(第3密度相対値)より大きい値、または、第1閾値(第3密度相対値)より小さい値の領域Pを、注目領域Qとして検出する。
図16に示す例の場合、例えば、検出部21Dは、第1密度相対値が第1閾値より小さい値の領域Pである、領域P1、領域P2、領域P9、領域P11〜領域P13、および領域P15を、注目領域Qとして検出する(図16(D)、図16(H)、図16(I)参照)。
そして、表示制御部12Eは、検出部21Dで検出した注目領域Qを、第1の実施の形態と同様にして、表示部16Aへ表示する。このため、例えば、表示部16Aには、領域P1、領域P2、領域P9、領域P11〜領域P13、および領域P15を、注目領域Qとして示す表示画像33が表示される(図16(I)参照)。
次に、本実施の形態の画像処理装置19が実行する画像処理の手順を説明する。
図17は、本実施の形態の画像処理装置19が実行する画像処理の手順の一例を示すフローチャートである。
まず、第1取得部12Aが、注目領域Qの検出対象の画像30を取得する(ステップS400)。次に、第1算出部12Bが、ステップS400で取得した画像30を複数の領域Pに分割した領域Pごとに、領域Pに含まれる物体(人30B)の密度を算出する(ステップS402)。
次に、演算部12Cが、各領域Pの各々について、領域Pの周辺領域PBにおける人30Bの密度に対する第1密度相対値を演算する(ステップS404)。次に、第2取得部21Fが、撮影環境を取得する(ステップS406)。次に、第3算出部21Eが、ステップS406で取得した撮影環境に対応する予測密度情報35を記憶部14から読取る(ステップS408)。
次に、第3算出部21Eが、ステップS408で読取った予測密度情報35における、第3領域Sの各々について、第3密度相対値を算出する(ステップS410)。次に、検出部21Dが、注目領域Qを検出する(ステップS412)。次に、表示制御部12Eが、注目領域Qを表示部16Aへ表示する(ステップS414)。そして、本ルーチンを終了する。
以上説明したように、本実施の形態の画像処理装置19は、検出部21Dが、予測密度情報35から算出した第3密度相対値を第1閾値として用いて、注目領域Qを検出する。
このため、本実施の形態の画像処理装置19では、周辺領域PBとは密度が異なり、且つ、予測した予測密度とは異なる領域Pを、注目領域Qとして検出することができる。
例えば、普段から人が存在しない領域(例えば、車道など)の人30Bの密度は、周辺領域PBに比べて常に低いことが予測される。このため、このような領域は、注目領域Qとして検出されないことが好ましい。一方、本実施の形態では、領域Pに対する第1密度相対値と、予測密度情報と、の双方を用いて、注目領域Qを検出する。このため、常に密度の低い領域や常に密度の高い領域などを注目領域Qから除外することができる。
従って、本実施の形態の画像処理装置19では、より正確に注目領域Qを検出することができる。
なお、画像処理装置10は、第2取得部21Fが取得した撮影環境に対応する予測密度情報35を用いて検出した注目領域Qを、取得した撮影環境に対応づけて記憶部14へ順次記憶してもよい。そして、表示制御部12Eは、撮影環境の一覧を示す選択画面を表示部16Aに表示してもよい。ユーザが、入力部16Bを操作することで、表示された選択画面から所望の撮影環境を選択すると、表示制御部12Eは、選択された撮影環境に対応する注目領域Qを記憶部14から読取り、注目領域Qを示す表示画像を表示部16Aへ表示してもよい。
この場合、画像処理装置10は、ユーザによって選択された撮影環境に応じて、検出された注目領域Qを切り替えて表示することが可能となる。
なお、検出部21Dは、第2取得部21Fが取得した撮影環境に応じて、注目領域Qの検出時の判断基準を変更してもよい。この場合、検出部21Dは、撮影環境と、判断基準と、を対応づけて予め記憶すればよい。そして、検出部21Dは、第2取得部21Fが取得した撮影環境に対応する判断規準を用いて、注目領域Qの検出を行えばよい。
具体的には、検出部21Dは、第2取得部21Fが取得した撮影環境に応じて、画像30に含まれる複数の領域Pの内、第1密度相対値が第1閾値(第3密度相対値)より大きい値の領域Pを注目領域Qとして検出するか、または、第1閾値(第3密度相対値)より小さい値の領域Pを注目領域Qとして検出するか、を変更してもよい。
例えば、検出部21Dは、撮影環境が“赤信号の交差点”である場合、第1相対密度が第1閾値(第3密度相対値)より小さい値の領域Pを注目領域Qとして検出する。また、検出部21Dは、撮影環境が“青信号の交差点”である場合、第1相対密度が第1閾値(第3密度相対値)より大きい値の領域Pを注目領域Qとして検出する。
この場合、検出部21Dは、撮影環境が“赤信号の交差点”である場合には、信号を無視して交差点を通行中の人物の存在する領域Pを注目領域Qとして検出することができる。また、検出部21Dは、撮影環境が“青信号の交差点”である場合には、交差点に人の通行を妨げるような障害物などのある領域Pを注目領域Qとして検出することができる。
(第3の実施の形態)
上記実施の形態および変形例では、画像30に含まれる物体の種類が1種類である場合を想定して説明した。一方、本実施の形態では、画像30に複数種類の物体が含まれる場合を説明する。そして、本実施の形態では、種類ごとに、注目領域Qを検出する場合を説明する。
上記実施の形態および変形例では、画像30に含まれる物体の種類が1種類である場合を想定して説明した。一方、本実施の形態では、画像30に複数種類の物体が含まれる場合を説明する。そして、本実施の形態では、種類ごとに、注目領域Qを検出する場合を説明する。
種類とは、物体を、予め定めた規則に従って分類したときの、各分類を示す。各種類の物体は、各分類(すなわち各種類)に属する物体である。予め定めた規則とは、物体を撮影した画像を解析することで、各物体を他の物体と区別するときに用いる1または複数の特徴である。例えば、予め定めた規則は、色、形状、動きなどである。このため、例えば、複数種類の物体は、各種類間で、色および形状の少なくとも一方が異なる。
種類は、例えば、人などの生物や、車などの非生物である。なお、種類は、生物や非生物を更に細かく分類したものであってもよい。例えば、種類は、年齢、性別、国籍などの個人属性であってもよい。また、種類は、人の距離から推定可能なグループ(家族やカップルなど)であってもよい。
本実施の形態では、一例として、物体は、人および車である場合を説明する。すなわち、本実施の形態では、一例として、注目領域Qの検出対象の画像に含まれる物体の種類は、人と車である場合を説明する。しかし、物体および物体の種類は、人と車に限定されない。
この場合、画像処理装置10の第1算出部12Bを以下の構成とすることで、画像30に含まれる物体の種類ごとに、各領域Pの密度を精度良く算出することができる。そして、画像処理装置10の検出部12Dは、物体の種類ごとに算出された密度を用いて、注目領域Qを検出する。このため、本実施の形態の画像処理装置10では、物体の種類ごとに、画像30内における注目領域Qを精度良く検出することができる。
図18は、本実施の形態の画像処理装置10の第1算出部12Bの機能的構成を示すブロック図である。
第1算出部12Bは、第4算出部50Aと、第5算出部50Bと、生成部50Cと、を含む。
第4算出部50Aは、第1取得部12A(図1参照)で取得した画像30から、画像30を複数の領域Pに分割した領域Pごとに、各領域Pに含まれる物体の種類ごとの仮密度を算出する。仮密度は、仮に算出する密度である。
図19は、本実施の形態で用いる画像30の一例を示す図である。本実施の形態では、第1取得部12Aは、複数種類の物体として車30Aと人30Bを含む画像30を取得する場合を説明する(図19(A)参照)。
図19(B)は、画像30を複数の領域Pに分割した状態を示す模式図である。第4算出部50Aは、画像30を複数の領域Pに分割する。画像30の分割は、第1の実施の形態と同様である。
そして、第4算出部50Aは、各領域Pに含まれる物体の種類ごとに、仮密度を算出する。仮密度の算出は、第1の実施の形態の第1算出部12Bによる密度の算出と同様の方法を用いても良いし、公知の方法を用いても良い。ただし、第4算出部50Aによる、各領域Pに含まれる物体の種類ごとの仮密度の算出には、後述する第4の実施の形態で説明する算出方法を用いることが、仮密度の算出精度を高くする観点から好ましい(詳細後述)。
また、画像30に含まれる物体として、人の距離から推定可能なグループ(家族やカップルなど)を用いる場合には、第4算出部50Aは、画像30内における同じグループに属する人の存在する領域を1つの物体(グループ)の占める範囲とすればよい。そして、第4算出部50Aは、画像30内における、該範囲の重なり具合に応じて、グループの数を調整すればよい。例えば、第4算出部50Aは、あるグループの範囲の1/4に相当する領域Pが他のグループの範囲に重なる場合、該領域Pにおける、あるグループの密度は0.4グループであるとして算出すればよい。
図20は、画像30に対する処理を示す模式図である。例えば、第4算出部50Aが、図20(A)に示す画像30について、各領域Pに含まれる物体の種類ごとに仮密度を算出したとする。すると、第4算出部50Aは、領域Pごとに、領域Pに含まれる車30Aの仮密度と、領域Pに含まれる人30Bの仮密度と、を算出する。
図20(B)は、画像30の領域Pごとに算出された、車30Aの仮密度32Aを模式的に示す図である。図20(B)に示す例では、各領域Pに含まれる車30Aの仮密度32Aが、仮密度32A1〜仮密度32A4に向かって高いことを示す。図20(B)に示すように、第4算出部50Aは、領域Pごとに各領域Pに含まれる車30Aの仮密度32A(32A1〜32A4)を算出する。なお、第4算出部50Aが算出する仮密度の値は、4段階の値に限定されない。
図20(C)は、画像30の領域Pごとに算出された、人30Bの仮密度34Bを模式的に示す図である。図20(C)に示す例では、各領域Pに含まれる人30Bの仮密度34Bが、仮密度34B1〜仮密度34B4に向かって高いことを示す。図20(C)に示すように、第4算出部50Aは、領域Pごとに各領域Pに含まれる人30Bの仮密度34B(34B1〜34B4)を算出する。
図18に戻り、第5算出部50Bは、第4算出部50Aで算出された、領域Pの各々の物体の種類ごとの仮密度から、領域Pの各々における物体の種類の尤度を算出する。本実施の形態において、尤度とは、物体の種類の確からしさを示す。本実施の形態では、第5算出部50Bは、各領域Pについて、各領域Pにおける物体の種類の確からしさを示す尤度を、対応する物体の種類の算出された仮密度から算出する。
詳細には、第5算出部50Bは、算出された領域Pの各々の物体の種類ごとの仮密度に、面積比、および類似度の少なくとも一方を乗算した乗算値を、領域Pの各々における物体の種類の尤度として算出する。
例えば、画像30に含まれる物体の種類が、車30Aと人30Bであるとする。この場合、第5算出部50Bは、画像30に含まれる領域Pの各々について、車30Aの確からしさを示す尤度と、人30Bの確からしさを示す尤度と、を算出する。
面積比は、画像30に含まれる複数の種類の物体の各々の、基準物体に対する面積の比を示す。基準物体は、予め定めた大きさの物体であってもよいし、画像30に含まれる複数種類の物体の内、最も面積の小さい種類の物体としてもよい。
図21は、尤度算出の説明図である。例えば、人30Bと車30Aとの一般的な面積比の関係が、面積S:面積KSの関係であったとする。そして、基準物体を人30Bとしたとする。
ここで、本実施の形態における「面積」は、各種類の物体の、二次元画像における平均面積を示す。このため、人30Bの面積(平均面積)は、例えば、標準体型の人30Bの全身を人30Bの正面から撮影した撮影画像における、人30Bの領域の面積を示す。また、人30Bの面積は、様々な体型の人30Bの領域の面積を平均した値であってもよい。また、車30Aの面積(平均面積)は、例えば、標準の大きさの車30Aを側面から撮影した撮影画像(人30Bの撮影画像と同じ撮影倍率とする)における、車30Aの領域の面積を示す。
面積を用いて尤度を算出する場合、第5算出部50Bは、下記式(1)および式(2)を用いて、各領域Pの各々における、人30Bの尤度と、車30Aの尤度と、を算出する。
LB(P)=DB(P)×S/S ・・・式(1)
LA(P)=DA(P)×KS/S ・・・式(2)
LA(P)=DA(P)×KS/S ・・・式(2)
式(1)中、LB(P)は、領域Pの人30Bの尤度を示し、DB(P)は、領域Pの人30Bの仮密度を示す。式(2)中、LA(P)は、領域Pの車30Aの尤度を示し、DA(P)は、領域Pの車30Aの仮密度を示す。また、式(1)および式(2)中、Sは、人30Bの一般的な面積を示し(ここでは基準面積として扱っている)、KSは、車30Aの一般的な面積を示す。このためS/Sは、基準物体の面積(ここでは、一例として人30Bの平均面積)に対する、人30Bの面積比を示す。また、KS/Sは、基準物体の面積(ここでは、人30Bの面積)に対する、車30Aの面積比を示す。
なお、第5算出部50Bは、人30Bと車30Aとの一般的な面積比を示す値(面積S:面積KS)を、第5算出部50Bに予め記憶すればよい。そして、尤度の算出時に、これらの面積比を用いればよい。
なお、第5算出部50Bは、画像30に含まれる可能性のある複数種類の物体の各々について、各種類の物体の平均面積を予め記憶部14に記憶する。そして、第5算出部50Bは、画像30に含まれる種類に対応する平均面積を記憶部14から読取り、尤度の算出に用いればよい。
また、上記「類似度」は、各種類の物体の、標準物の特徴(基準特徴とする)に対する特徴の類似度を示す。特徴が似ているほど、類似度は大きい値(高い値)を示す。特徴は、例えば、その種類の物体の特徴的な要素を値としてあらわしたものである。特徴は、例えば、色や形状を示す。特徴として用いる色には、例えば、色ヒストグラムを用いてもよい。
例えば、記憶部14は、各種類の物体ごとに、各種類の物体の特徴を示す値を予め記憶する。例えば、ある物体の特徴が色にある場合、記憶部14は、該物体の種類の特徴的な色を、該物体の基準特徴の色として予め記憶する。また、例えば、ある物体の特徴が形状にある場合、記憶部14は、該物体の種類の特徴的な形状を、該物体の基準特徴の形状として予め記憶する。これらの基準特徴は、例えば、第5算出部50Bで予め算出し、記憶部14に記憶すればよい。また、これらの基準特徴は、ユーザによる入力部16Bの操作により、適宜変更可能としてもよい。
類似度を用いて尤度を算出する場合、第5算出部50Bは、下記式(3)および式(4)を用いて、各領域Pの各々における、人30Bの尤度と、車30Aの尤度と、を算出する。
LB(P)=DB(P)×CB ・・・式(3)
LA(P)=DA(P)×CA ・・・式(4)
LA(P)=DA(P)×CA ・・・式(4)
式(3)中、LB(P)は、領域Pの人30Bの尤度を示し、DB(P)は、領域Pの人30Bの仮密度を示す。また、式(3)中、CBは、人30Bの基準特徴に対する、算出対象の領域Pに含まれる人30Bの特徴の類似度を示す。
式(4)中、LA(P)は、領域Pの車30Aの尤度を示し、DA(P)は、領域Pの車30Aの仮密度を示す。また、式(4)中、CAは、車30Aの基準特徴に対する、算出対象の領域Pに含まれる車30Aの特徴の類似度を示す。
第5算出部50Bは、公知の方法を用いて、基準特徴に対する特徴の類似度を算出すればよい。なお、第5算出部50Bは、基準特徴(例えば、車30Aの基準特徴)と、尤度算出対象の領域Pにおける物体(例えば、車30A)の特徴と、が一致する場合に最も高い値となり、これらが全く異なる場合に最も低い値となるように、類似度を算出すればよい。
また、第5算出部50Bが、面積および類似度の双方を用いて尤度を算出する場合には、領域Pの各種類の物体の仮密度に、面積比と類似度とを乗算した乗算結果を、尤度として算出すればよい。また、類似度の種類が複数である場合には(例えば、色と形状)、領域Pの各種類の物体の仮密度に、面積比と、複数種類の類似度の各々と、を乗算した乗算結果を、尤度として算出すればよい。
上記処理により、第5算出部50Bは、画像30における領域Pの各々について、各物体の種類(車30A、人30B)ごとの尤度を算出する。本実施の形態では、第5算出部50Bは、領域Pの各々について、車30Aの尤度と、人30Bの尤度と、を算出する。
図18に戻り、生成部50Cは、密度データを生成する。密度データは、画像30における領域Pの各々に対応する位置に、対応する領域Pの物体の種類ごとに算出された尤度の内、最も低い尤度より少なくとも高い尤度の物体の種類の仮密度を割当てたものである。
そして、生成部50Cは、各領域Pに割当てた仮密度を、各領域Pの物体の種類の密度として決定する。すなわち、密度データは、画像30の領域Pの各々に、物体の種類の密度を規定したデータである。
例えば、第5算出部50Bが、領域Pの各々について、車30Aの尤度と、人30Bの尤度と、を算出したとする。この場合、生成部50Cは、領域Pごとに算出された人30Bの尤度と人30Bの尤度の内、最も低い尤度より高い尤度(ここでは、物体の種類が2種類であるので、高い方の尤度)を、各領域Pの尤度として用いる。
例えば、ある領域Pについては、車30Aの尤度が人30Bの尤度より高かったとする。この場合、第5算出部50Bは、この領域Pについては、より高い尤度である車30Aの尤度を、この領域Pの尤度として用いる。
そして、第5算出部50Bは、画像30における、この領域Pに対応する位置に、この領域Pに用いる尤度の物体の種類である車30Aの仮密度を、該領域Pの車30Aの密度として割当てる。なお、割当てる仮密度は、第4算出部50Aが該領域Pについて算出した、車30Aの仮密度(該領域Pにおいて尤度の高い方の物体の種類に対応する仮密度)である。
逆に、ある領域Pについては、車30Aの尤度が人30Bの尤度より低かったとする。この場合、第5算出部50Bは、この領域Pについては、より高い尤度である人30Bの尤度を、この領域Pの尤度として用いる。
そして、第5算出部50Bは、画像30における、この領域Pに対応する位置に、この領域Pに用いる尤度の物体の種類である人30Bの仮密度を、該領域Pの人30Bの密度として割当てる。なお、割当てる仮密度は、第4算出部50Aが該領域Pについて算出した、人30Bの仮密度(該領域Pにおいて尤度の高い方に対応する仮密度)である。
なお、上述したように、生成部50Cは、画像30における領域Pの各々に対応する位置に、対応する領域Pの物体の種類ごとに算出された尤度の内、最も低い尤度より少なくとも高い尤度の物体の種類の仮密度を割当てた、密度データを生成する。
このため、生成部50Cは、各領域Pについて、3種類以上の物体の種類ごとの尤度を算出した場合には、最も低い尤度の種類以外の他の種類の尤度の内の1つを、領域Pに用いる尤度とすればよい。
なお、生成部50Cは、画像30における領域Pの各々に対応する位置に、対応する領域Pの物体の種類ごとに算出された尤度の内、最も高い尤度の物体の種類の仮密度を割当てた、密度データを生成することが好ましい。
図22は、生成部50Cによる密度データの生成の説明図である。例えば、第5算出部50Bが各領域Pの物体の種類ごとに算出した尤度が、図22(A)および図22(B)に示す線図40B、線図40Aの関係を示したとする。
詳細には、画像30における領域P1〜領域P5については人30Bの尤度が高く、領域P6〜領域P10については、人30Bの尤度が低かったとする(図22(A)線図40B参照)。一方、画像30における領域P1〜領域P5については車30Aの尤度が低く、領域P6〜領域P10については、車30Aの尤度が高かったとする(図22(B)線図40A参照)。
この場合、生成部50Cが各領域Pに、尤度に応じた仮密度を、該領域Pの密度として割当てることによって、生成部50Cは図22(C)に示す密度データ48を算出する。すなわち、生成部50Cは、領域P1〜P5については、これらの領域Pにおいて尤度の高い物体の種類である人30Bの尤度に対応する仮密度34Bを、人30Bの密度として割当てる。また、生成部50Cは、領域P6〜P10については、これらの領域Pにおいて尤度の高い物体の種類である車30Aの尤度に対応する仮密度32Aを、車30Aの密度として割当てる。これによって、生成部50Cは、密度データ46を生成する。
密度データの生成の流れについて、図20を用いて更に説明する。
上述したように、第4算出部50Aが、図20(A)に示す画像30について、各領域Pに含まれる物体の種類ごとに仮密度を計算する。この計算により、第4算出部50Aは、領域Pごとに、車30Aの仮密度32A(図20(B)参照)と、人30Bの仮密度34B(図20(C)参照)と、を算出する。
ここで、第4算出部50Aが領域Pごとに算出した、各領域Pに含まれる物体の種類ごとの仮密度には、誤差が含まれる場合がある。例えば、図20(C)に示す領域Wは、実際には人30Bは存在せず車30Aのみが存在する領域であるにも拘らず、人30Bが存在することを示す仮密度34Bが算出される場合がある。これは、例えば、物体の種類の誤判定になどによるものである。
一方、本実施の形態の画像処理装置10は、第5算出部50Bと生成部50Cとを備える。上述したように、生成部50Cは、第5算出部50Bで各領域Pの物体の種類ごとに算出された尤度を用いて、密度データ46を生成する。
図20(D)は、密度データ46の一例を示す模式図である。密度データ46は、画像30における各領域Pに対応する位置に、各領域Pにおける最も低い尤度より高い尤度の物体の種類の仮密度を、密度として割当てたものである。このため、密度データ46は、物体の種類の誤判定による誤差を低減したデータとなる。
具体的には、図20(D)に示すように、図20(C)に示す、第4算出部50Aによって算出された人30Bの仮密度34Bには、人30Bが存在すると誤判定された領域Wが含まれていた。しかし、生成部50Cが、尤度に基づいて密度データを生成することによって、生成された密度データ46における領域Wには、車30Aの仮密度が密度として割り当てられ、誤判定の抑制されたデータとなる。
次に、本実施の形態の第1算出部12Bが実行する、密度データの生成処理を説明する。図23は、本実施の形態の第1算出部12Bが実行する密度データの生成処理の流れを示すフローチャートである。
まず、第1算出部12Bの第4算出部50Aが、第1取得部12A(図1参照)で取得した画像30を複数の領域Pに分割した領域Pごとに、各領域Pに含まれる物体の種類ごとの仮密度を算出する(ステップS502)。
次に、第5算出部50Bが、ステップS502で算出された、領域Pの各々の物体の種類ごとの仮密度から、領域Pの各々における物体の種類の尤度を算出する(ステップS504)。次に、生成部50Cが密度データ46を生成する(ステップS506)。そして、本ルーチンを終了する。
図1に戻り、演算部12Cは、第1算出部12Bで物体の種類の各々について領域Pごとに算出された密度(すなわち密度データ)を用いて、画像30に含まれる物体の種類ごとに、領域Pの各々について第1密度相対値を算出する。演算部12Cは、密度データ46から、画像30に含まれる物体の種類ごとに、領域Pの各々の密度を読取る。そして、物体の種類ごとに、領域Pの各々について、第1の実施の形態と同様にして第1密度相対値を算出すればよい。
そして、検出部12Dは、物体の種類ごとに、領域Pの各々について算出された第1密度相対値を用いて、第1の実施の形態と同様にして注目領域Qを検出すればよい。
以上説明したように、本実施の形態では、第1算出部12Bは、画像30の領域Pごとに求めた物体の種類の尤度を用いて、密度データ46を生成する。このため、本実施の形態の画像処理装置10では、画像30に含まれる物体の種類の誤判定などに起因する、密度の算出精度の低下を抑制することができる。
そして、検出部12Dは、物体の種類ごとに領域Pの各々について算出された第1密度相対値を用いて、第1の実施の形態と同様にして注目領域Qを検出する。このため、本実施の形態では、画像処理装置10は、画像30に含まれる物体の種類ごとに、精度良く注目領域Qを検出することができる。
(第4の実施の形態)
本実施の形態では、第3の実施の形態における第4算出部50Aの実行する仮密度算出処理について、一例を説明する。
本実施の形態では、第3の実施の形態における第4算出部50Aの実行する仮密度算出処理について、一例を説明する。
図24は、画像処理装置10に設けられた第4算出部50A(図18参照)の構成の一例を示すブロック図である。
第4算出部50Aは、前処理部51と、抽出部52と、第1計算部53と、第2計算部54と、第2予測部55と、密度計算部56と、を含む。
前処理部51、抽出部52、第1計算部53、第2計算部54、第2予測部55、および密度計算部56の一部またはすべては、例えば、CPUなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ICなどのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
ここで、第4算出部50Aは、仮密度算出処理を、物体の種類ごとに実行する。算出処理は、第1取得部12A(図1参照)が取得した画像30から、領域Pに含まれる物体の種類ごとの仮密度を領域Pごとに算出する処理である。
例えば、第4算出部50Aは、画像30に車30Aと人30Bが含まれる場合、画像30に含まれる車30Aについて領域Pごとに仮密度を算出する密度算出処理を実行した後に、人30Bについて領域Pごとに仮密度を算出する仮密度算出処理を実行する。
そして、前処理部51は、これらの物体の種類ごとの仮密度の算出処理前に、縮小処理、および補正処理の少なくとも一方を含む前処理を実行する。縮小処理は、画像30における算出対象の物体の種類以外の種類の物体のサイズを縮小する処理である。補正処理は、画像30における算出対象の物体の種類以外の種類の物体の色を、背景色に補正する補正処理である。背景色に補正する、とは、算出対象の物体の種類とは異なる色に、画像30における算出対象の物体以外の領域を補正することを示す。
図25は、前処理の説明図である。第4算出部50Aが、図25(A)に示す画像30について、領域Pごとの物体の仮密度を算出すると仮定する。なお、図25(A)に示す画像30は、第3の実施の形態で説明した画像30と同様に、車30Aと人30Bとを含む画像であるものとする。
そして、前処理部51は、第4算出部50Aによる領域Pごとの仮密度の算出対象が車30Aである場合、画像30に含まれる、車30A以外の物体の種類である人30Bのサイズを縮小し(図25(B)の人領域41B参照)、補正画像39Aとする。
また、前処理部51は、第4算出部50Aによる領域Pごとの仮密度の算出対象が車30Aである場合、画像30に含まれる、車30A以外の物体の種類である人30Bの色を背景色に補正し(図25(C)の人領域43B参照)、補正画像39Bとする。
そして、第4算出部50Aは、画像30に含まれる車30Aについて、上記仮密度算出処理を実行する。
次に、前処理部51は、画像30に含まれる、人30B以外の物体の種類である車30Aのサイズを縮小し、補正画像とする。また、前処理部51は、画像30に含まれる、人30B以外の物体の種類である車30Aの色を背景色に補正し、補正画像とする。そして、第4算出部50Aは、画像30に含まれる人30Bについて、上記仮密度算出処理を実行する。
図24に戻り、抽出部52、第1計算部53、第2計算部54、第2予測部55、および密度計算部56は、画像30における各領域Pの車30Aの仮密度の算出時には、補正画像39Aまたは補正画像39Bを用いて、後述する各処理を実行する。なお、以下では、前処理部51によって補正された補正画像(例えば、補正画像39A、補正画像39B)を総称して説明する場合には、補正画像39と称して説明する(図25参照)。
抽出部52は、画像30から複数の部分画像を抽出する。
部分画像は、補正画像39の一部の画像であり、少なくとも1つの物体を含む画像である。補正画像39は、仮密度算出対象の種類の物体以外については、縮小または背景色と同じ色とした画像である。このため、部分画像は、補正画像39における、仮密度算出対象の種類の物体(例えば、車30Aおよび人30Bの何れか一方のみ)の少なくとも1つを含む。
本実施の形態では、部分画像は、補正画像39の一部を矩形状に抽出した画像である場合を説明する。なお、部分画像の形状は、矩形に限られず、任意の形であってよい。
図26は、補正画像39、部分画像60、ラベル61(詳細後述)の説明図である。
図26(A)は、補正画像39の一例を示す模式図である。なお、図26(A)に示す補正画像39は、画像30における仮密度算出対象の種類の物体が人30Bであり、車30Aが縮小または背景色と同じ色に補正された画像である場合を示したものである。図26(B)は、部分画像60の一例を示す図である。
抽出部52は、画像30上において、抽出する対象となる矩形状の領域を移動させて、複数の部分画像60を抽出する(図26(A)参照)。画像30から抽出される複数の部分画像60は、互いに同じ大きさで且つ同じ形状である。
補正画像39から抽出される複数の部分画像60は、少なくとも一部分が互いに重なっていてもよい。抽出部52が補正画像39から抽出する部分画像60の数は、2以上であればよいが、抽出する部分画像60の数は多いほど好ましい。具体的には、抽出部52は、1000以上の部分画像60を補正画像39から抽出することが好ましい。
抽出部52が補正画像39から抽出する部分画像60の数が多いほど、第4算出部50Aは、後述する処理において高精度に密度を計算可能な、回帰モデルを学習することができる。
図24に戻り、第1計算部53は、抽出部52で抽出された複数の部分画像60の各々の特徴量を計算する。特徴量は、部分画像60の特徴を示す値である。特徴量には、例えば、部分画像を構成する画素の画素値を離散化して一次元に並べたものや、これを、この一次元に並べた画素値における隣接画素値の差(すなわち勾配)で正規化したもの、を用いる。また、特徴量には、SIFT特徴(D.Lowe“,Object recognition from local scale−invariant features,”Int. Conf. Comp. Vision, Vol.2, pp.1150−1157, 1999参照)等を用いてもよい。SIFT特徴は、微小な変化に頑健なヒストグラム特徴である。
第2計算部54は、回帰モデルと、代表ラベルと、を演算する。図27は、第2計算部54の構成の一例を示すブロック図である。
第2計算部54は、探索部54Aと、投票部54Bと、学習部54Cと、第1予測部54Dと、を含む。探索部54A、投票部54B、学習部54C、および第1予測部54Dの一部またはすべては、例えば、CPUなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ICなどのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
探索部54Aは、複数の部分画像60の各々の特徴量にラベルを付与する。ラベルは、各部分画像60に含まれる物体と、各部分画像60における第1位置と、の相対位置を表す。具体的には、探索部54Aは、まず、抽出部52によって抽出された複数の部分画像60の各々に含まれる物体を探索する。そして、探索部54Aは、部分画像60の各々について、部分画像60における第1位置と、該部分画像60に含まれる全ての物体の各々と、の相対位置を表すベクトルを、ラベルとして生成する。そして、探索部54Aは、生成したラベルを、対応する部分画像60の特徴量に付与する。
第1位置は、部分画像内における予め定められた任意の位置であればよい。本実施の形態では、第1位置は、部分画像60における中心位置(部分画像60の中央)であるものとして説明する。
図26に戻り、図26(C)及び図26(D)は、ラベル61の説明図である。例えば、探索部54Aが、図26(B)に示す部分画像60の各々に含まれる物体を探索する。そして、探索部54Aは、部分画像60の中心位置Pと、該部分画像60に含まれる全ての物体(図26(B)および図26(C)に示す例では、3つの物体)の各々と、の相対位置を示すベクトルL1、L2、L3を生成する(図26(C)参照)。そして、探索部54Aは、これらのベクトルL1、L2、L3を1組とするベクトルLを、ラベル61として(図26(D)参照)、該部分画像60の特徴量に付与する。
図27に戻り、投票部54Bは、複数の部分画像60の各々について、各部分画像60に含まれる物体の相対位置の分布を表すヒストグラムを算出する。
図28は、ラベル61及びヒストグラム62の説明図である。図28に示すように、投票部54Bは、ラベル61から、ヒストグラム62を算出する。
ヒストグラム62は、部分画像60に一様に配置したビン(bin)の集合である。ヒストグラム62におけるビンの大きさは、部分画像60に含まれる物体の相対位置によって定まる。例えば、部分画像60における位置bのビンの大きさは、以下の式(5)で表される。
B(b)=ΣN(b;oj,σ) ・・・式(5)
式(5)中、B(b)は、部分画像60における、位置bのビンの大きさを示す。ojは、物体の位置を示す。式(5)中、N(b;oj,σ)は、位置bにおける(中心oj、分散σ)の正規分布の確率密度関数の値である。
図27に戻り、次に、投票部54Bは、複数の部分画像60ごとに算出したヒストグラム62の各々を、パラメータ空間に投票する。これにより、投票部54Bは、複数の部分画像60の各々について、各部分画像60に対応する投票ヒストグラムを生成する。
図29は、投票ヒストグラム64の説明図である。ヒストグラム62は、パラメータ空間63に投票されることで、投票ヒストグラム64となる。図29では、パラメータ空間を、二次元に簡略して示している。
なお、本実施の形態では、パラメータ空間は、3次元のパラメータ空間(x、y、s)であるものとして説明する。(x,y)は、部分画像内の二次元位置(x,y)を示す。(s)は、物体の大きさ(s)を示す。なお、パラメータ空間として、上記パラメータ以外に、物体の姿勢、物体の向き等を加えたより多次元のパラメータ空間であってもよい。
図27に戻り、学習部54Cは、部分画像60の特徴量と、部分画像60に含まれる物体の相対位置と、の関係を示す回帰モデルを学習する。具体的には、学習部54Cは、複数の部分画像60の各々に対応する、ラベル61の付与された特徴量を、対応する投票ヒストグラムのばらつきが小さくなるように複数のクラスタに分割することによって、回帰モデルを学習する。
本実施の形態では、回帰モデルが、1または複数のランダムツリーである場合を説明する。複数のランダムツリーは、すなわち、ランダムフォレストである。本実施の形態では、クラスタは、ランダムツリーの末端のノードである葉ノードを意味する。
本実施の形態において、学習部54Cが回帰モデルを学習する、とは、ランダムツリーによって示されるルートノードから子ノードを介して葉ノードに至るまでの各々のノードの分割指標と、葉ノードに属する特徴量と、を決定することを意味する。なお、この特徴量は、上述したように、ラベル61の付与された特徴量である。
本実施の形態では、学習部54Cは、投票ヒストグラム64のばらつきが小さくなるように、ルートノードから子ノードを介して複数の葉ノードに至るまでの各ノードの分割指標と、複数の葉ノードの各々に属する特徴量と、を決定することによって回帰モデルを学習する。
なお、学習部54Cは、分割指標の組合せの異なる複数の回帰モデルを学習することが好ましい。本実施の形態では、学習部54Cは、各ノードの分割指標の組合せを変えることによって、予め定められた数(以下、Tと称する)の回帰モデルを学習する。
図30は、ランダムツリー65の説明図である。
図30には、各ノードの横に、二次元に簡略化したパラメータ空間63の投票ヒストグラム64を示した。図30に示す例では、複数の部分画像60の特徴量の各々に対応する投票ヒストグラム64として、投票ヒストグラム64A〜投票ヒストグラム64Fを示した。以下では、部分画像60の特徴量を、特徴量vと称して説明する場合がある。この特徴量vには、上述したように、ラベルが付与されている。
まず、学習部54Cは、ルートノード65Aである「S」に、第1計算部53及び探索部54Aで算出した、ラベルの付与された全ての特徴量vを割当てる。
学習部54Cは、このルートノード65Aである「S」を2つの子ノード65Bである「L」、「R」の各々に分割するときの分割指標を定める。分割指標は、特徴量vの要素vjと、その閾値tjと、により定められる。
具体的には、学習部54Cは、分割先のノード(子ノード65Bまたは葉ノード65C)における投票ヒストグラムのばらつきが小さくなるように、分割元のノードの分割指標を決定する。分割指標は、特徴量vの要素vjと、その閾値tjと、によって定められる。
詳細には、学習部54Cは、要素vj<閾値tjの関係を満たすラベル付き特徴量vを、子ノード65Bである「L」に(図30のyesの場合)、要素vj<閾値tjの関係を満たさない特徴量vを、子ノード65Bである「R」に(図30のnoの場合)、仮に割当てた場合の分割指標を決定する(以下、仮割当操作と称する)。
このとき、学習部54Cは、投票ヒストグラム64のばらつきが小さくなるように、特徴量vの分割指標を決定する。学習部54Cは、例えば、下記式(6)を用いて分割指標を決定する。
G=Σ{H(l)−HL}2+Σ{H(r)−HR}2 ・・・式(6)
式(6)中、H(l)は、ルートノード65Aである「S」から子ノード65Bである「L」に分割された投票ヒストグラム64を示す。式(6)中、H(r)は、ルートノード65Aである「S」から子ノード65Bである「R」に分割された投票ヒストグラム64を示す。式(6)中、HLは、全てのH(l)の平均値である。HRは、全てのH(r)の平均値である。
なお、学習部54Cが分割指標の決定に用いる式は、式(6)に限定されない。
学習部54Cは、各ノードについて、最も投票ヒストグラム64のばらつきが小さくなるように分割指標を決定し、ルートノード65Aから子ノード65Bを介して葉ノード65Cに至るまで、この仮割当操作を繰り返す。すなわち、学習部54Cは、各ノードについて、上記式(6)におけるGの値が最も小さくなるように、要素vjと閾値tjとの組合せを分割指標として決定し、各ノードに属する特徴量vを分割することを繰り返す。
そして、学習部54Cは、終了条件を満たした時のノードを、末端の葉ノード65Cとして決定する。終了条件は、例えば、第1の条件、第2の条件、及び第3の条件の少なくとも1つである。第1の条件は、ノードに含まれる特徴量vの数が予め定めた数よりも小さいときである。第2の条件は、ランダムツリー65の木構造の深さが予め定めた値よりも大きいときである。第3の条件は、分割指標の値が予め定めた値より小さいときである。
この葉ノード65Cの決定により、学習部54Cは、葉ノード65Cに属する特徴量vを学習する。
上述のようにして、学習部54Cは、ルートノード65Aから子ノード65Bを介して葉ノード65Cに至るまでの各ノードの分割指標と、葉ノード65Cに属する特徴量vと、を決定し、ランダムツリー65を学習する。また、学習部54Cは、分割指標の組合せを変えて上記の仮割当操作を行うことによって、予め定めた数Tのランダムツリー65、を学習する。
なお、学習部54Cが学習するランダムツリー65の数Tは、1つであってもよいし、2以上の任意の数であってもよい。学習部54Cが補正画像39からより多くの数のランダムツリー65を学習するほど、画像処理装置10において高精度に密度を計算可能な、ランダムツリー65を学習することができる。すなわち、学習部54Cは、複数のランダムツリー65である、ランダムフォレストを学習することが好ましい。
図31は、学習した複数のランダムツリー65(すなわち、ランダムフォレスト)の説明図である。ランダムツリー651〜ランダムツリー65Tの各々は、各ノードの分割指標が異なる。このため、例えば、ルートノード65Aに割当てた、ラベル61の付与された全ての特徴量vが同じであっても、ランダムツリー651と、ランダムツリー65Tと、では、葉ノード65Cに属するラベル付きの特徴量vが異なるものとなる場合がある。なお、図31に示す例では、葉ノード65Cには、ラベル61のみを図示しているが、実際には、各葉ノード65Cには、ラベル61の付与された特徴量vが属している。
図27に戻り、第1予測部54Dは、学習部54Cが学習時に分割したクラスタの各々について、代表ラベルを予測する。第1予測部54Dは、クラスタに属する1または複数の特徴量vに付与されたラベル61から、代表ラベルを予測する。
上述したように、本実施の形態では、クラスタは、ランダムツリー65の末端のノードである葉ノード65Cを意味する。このため、第1予測部54Dは、葉ノード65Cに属する特徴量vの各々に付与されたラベル61から、各葉ノード65Cの代表ラベルを予測する。
図32は、代表ラベルの予測の説明図である。図32は、1つの葉ノード65Cを例にして説明している。まず、第1予測部54Dは、葉ノード65Cに属する全ての特徴量vの各々に付与されたラベル61を読取る。図32に示す例では、第1予測部54Dは、ラベル61C、61D、61E、61G、61Hを読取る。次に、第1予測部54Dは、これらのラベル61C、61D、61E、61G、61Hの各々に対応する投票ヒストグラム64(64C、64D、64E、64G、64H)の平均である、平均ヒストグラム66を算出する。
次に、第1予測部54Dは、この葉ノード65Cに属する複数の投票ヒストグラム64(64C、64D、64E、64G、64H)の内、平均ヒストグラム66に近い投票ヒストグラム64を選択する。なお、第1予測部54Dは、葉ノード65Cに属する複数の投票ヒストグラム64(64C、64D、64E、64G、64H)の内、平均ヒストグラム66に、最も近い投票ヒストグラム64を選択することが好ましい。図32に示す例では、第1予測部54Dは、平均ヒストグラム66に最も近い投票ヒストグラム64Eを選択する。そして、第1予測部54Dは、この投票ヒストグラム64Eに対応するラベル61であるラベル61Eを、該葉ノード65Cの代表ラベルとして予測する。
第1予測部54Dは、学習部54Cが学習した全てのランダムツリー65における、全ての葉ノード65Cについて、同様な処理を行い、各葉ノード65Cの代表ラベルを予測する。
図33は、代表ラベル予測後の、ランダムツリー65の説明図である。
図33に示すように、第1予測部54Dが各葉ノード65Cについて代表ラベルを予測することによって、学習部54Cが学習したランダムフォレストに含まれる全てのランダムツリー65(ランダムツリー651〜65T)の各々について、各ランダムツリー65の全ての葉ノード65Cについて、代表ラベルが予測される。
以上の処理により、第2計算部54が、回帰モデルと、代表ラベルと、を演算する。
図24に戻り、次に、第2予測部55は、第2計算部54で演算した回帰モデルとしてのランダムツリー65と、葉ノード65Cの各々の代表ラベルと、を取得する。そして、第2予測部55は、第2計算部54で取得したランダムツリー65の変数に、部分画像から計算された特徴量を代入する。これにより、第2予測部55は、部分画像の各々に対応する代表ラベルを予測する。
ここで、第2計算部54で取得したランダムツリー65が1つである場合には、第2予測部55は、1つのランダムツリー65を用いて、部分画像毎に1つの代表ラベルを予測する。一方、第2計算部54で取得したランダムツリー65が複数である場合(すなわち、ランダムフォレストである場合)には、第2予測部55は、部分画像毎に、これらの複数のランダムツリー65の各々に対応する複数の代表ラベルを求め、これらの複数の代表ラベルの内の1つを、密度計測に用いる代表ラベルとして予測する。
図34は、第2予測部55が行う代表ラベルの予測の説明図である。第2計算部54が取得したランダムツリー65、および代表ラベルが、図34に示すランダムツリー65(ランダムツリー651〜65T)及び代表ラベルであったとする。
この場合、第2予測部55は、部分画像の特徴量を、ランダムフォレストに含まれる各ランダムツリー65(ランダムツリー651〜65T)の各々のルートノード65Aに代入する。そして、第2予測部55は、各ランダムツリー65(ランダムツリー651〜65T)の各々のノードに決定された分割指標に沿って、ルートノード65Aから子ノード65Bを介して葉ノード65Cに到達するまで、木構造を下る。そして、到達した葉ノード65Cに属する代表ラベルを読取る。
これにより、第2予測部55は、1つの部分画像の特徴量に対応する代表ラベルとして、ランダムツリー65(ランダムツリー651〜65T)毎に求めた複数の代表ラベルを求める。
例えば、ある部分画像の特徴量v1をランダムツリー651の変数としてルートノード65Aに代入したとする。そして、子ノード65B1〜65B5の内の子ノード65B1、65B3をたどって、葉ノード65C1〜65C7の内の葉ノード65C1に到達したとする。この場合、この特徴量v1の、ランダムツリー651によって決定される代表ラベルはラベル61C1となる。
また、この特徴量v1をランダムツリー65Tの変数としてルートノード65Aに代入したとする。そして、子ノード65B1〜65B2の内の子ノード65B2をたどって、葉ノード65C1〜65C4の内の葉ノード65C3に到達したとする。この場合、この特徴量v1の、ランダムツリー65Tによって決定される代表ラベルはラベル61C10となる。
次に、第2予測部55は、全てのランダムツリー65(ランダムツリー651〜65T)毎に求めた代表ラベルの内の1つを、密度計測に用いる代表ラベルとして予測する。第2予測部55は、第1予測部54Dと同様にして、密度計測に用いる代表ラベルを予測する。
すなわち、第2予測部55は、全てのランダムツリー65(ランダムツリー651〜65T)毎に求めた代表ラベルに対応する投票ヒストグラム64の、平均ヒストグラムを算出する。そして、第2予測部55は、全てのランダムツリー65(ランダムツリー651〜65T)毎に求めた複数の代表ラベルの内、この平均ヒストグラムに最も近い投票ヒストグラム64に対応する代表ラベルを、密度計測に用いる代表ラベルとして予測する。
図24に戻り、密度計算部56は、補正画像39に含まれる物体の平均密度を算出する。密度計算部56は、第2予測部55で予測された、部分画像の各々に対応する代表ラベルによって示される物体の相対位置に基づいて、第2予測部55の予測を行う。
密度計算部56は、第3計算部56A、第4計算部56B、及び第5計算部56Cを備える。
第3計算部56Aは、複数の部分画像の各々に対応する代表ラベルによって示される、物体の相対位置に基づいて、複数の部分画像の各々における物体の密度分布を計算する。第3計算部56Aは、第2計算部54で用いた第1位置を予め記憶している。なお、この代表ラベルは、上述した、密度計測に用いる代表ラベルである。
例えば、第3計算部56Aは、正規分布の確率密度関数N()を用いて、部分画像における物体の密度分布Di(x)を計算する。
Di(x)=ΣN(x;lj,σ) ・・・式(7)
式(7)中、xは、部分画像中の任意の位置を示す。式(7)中、ljは、予測された物体の相対位置を示す。式(7)中、σは、分散を示す。
第4計算部56Bは、補正画像39における複数の部分画像の各々に対応する位置に、部分画像の密度分布を配置する。密度分布を配置する、とは、補正画像39における複数の部分画像の各々に対応する位置に、対応する部分画像の密度分布を貼り付けていくことを示す。
ここで、補正画像39から抽出された複数の部分画像は、少なくとも一部分が互いに重なっている場合がある。このため、補正画像39に、補正画像39から抽出した部分画像の密度分布を配置すると、各部分画像に対応する密度分布の少なくとも一部が重なった状態となる場合がある。
そこで、第5計算部56Cは、補正画像39における密度分布の重なり頻度に応じて、補正画像39を構成する画素毎に物体の密度の第1平均値を算出する。そして、第5計算部56Cは、制御部12で用いる領域Pごとに、仮密度算出対象の物体の種類の密度の平均値を算出する。そして、第5計算部56Cは、この算出値を、画像30の領域Pに含まれる、該第4算出部50Aで仮密度算出対象の物体の種類の仮密度として算出する。なお、領域Pが1画素に相当する領域である場合、第5計算部56Cは、画素毎に算出した上記第1平均値を、各画素としての各領域Pにおける、仮密度算出対象の物体の種類の仮密度として算出すればよい。
そして、第4算出部50Aでは、上述したように、前処理部51、抽出部52、第1計算部53、第2計算部54、第2予測部55、および密度計算部56による上記処理(すなわち、仮密度算出処理)を、画像30に含まれる物体の種類ごとに実行する。
これにより、第4算出部50Aは、画像30から、領域Pに含まれる物体の種類ごとの仮密度を算出する。
次に、第4算出部50Aが実行する仮密度算出処理の手順を説明する。図35は、第4算出部50Aが実行する仮密度算出処理の手順を示すフローチャートである。
まず、第4算出部50Aでは、画像30に含まれる複数種類の物体の内、仮密度の算出処理を未実行の種類の物体を1種類選択する(ステップS600)。
そして、第4算出部50Aでは、ステップS600で選択した物体の種類について、ステップS602〜ステップS618の処理を行う。
詳細には、前処理部51が、ステップS600で選択した物体の種類を算出対象として定め、第1取得部12A(図1参照)で取得した画像30について、前処理を実行する(ステップS602)。すなわち、前処理部51は、画像30における、算出対象の物体の種類以外の種類の物体のサイズを縮小する縮小処理、または算出対象の物体の種類以外の種類の物体の色を背景色に補正する補正処理を実行し、補正画像39を生成する。
次に、抽出部52が、ステップS602で生成した補正画像39から、複数の部分画像を抽出する(ステップS604)。次に、第1計算部53が、複数の部分画像の各々の特徴量を計算する(ステップS606)。
次に、第2計算部54が、回帰モデルとしてのランダムツリー65、および代表ラベルを演算する(ステップS608)(詳細後述)。
次に、第2予測部55が、第2計算部54で演算したランダムツリー65の変数に、部分画像から計算された特徴量を代入する。これにより、第2予測部55は、部分画像の各々に対応する代表ラベルを予測する(ステップS610)。
次に、第3計算部56Aが、代表ラベルによって示される、物体の相対位置に基づいて、複数の部分画像の各々における物体の密度分布を計算する(ステップS612)。
次に、第4計算部56Bが、補正画像39における複数の部分画像の各々に対応する位置に、対応する部分画像の密度分布を配置する(ステップS614)。次に、第5計算部56Cは、補正画像39における密度分布の重なり頻度に応じて、補正画像39の領域Pごとに、各領域Pに含まれる物体の種類の仮密度を計算する(ステップS616)。
次に、第5計算部56Cが、ステップS616で算出した、各領域Pに含まれる物体の種類の仮密度を、記憶部14に記憶する(ステップS618)。
次に、第4算出部50Aは、第1取得部12Aで取得した画像30に含まれる全種類の物体について、仮密度計算済であるか否かを判断する(ステップS620)。ステップS620では、第1取得部12Aで取得した画像30に含まれる全種類の物体について、ステップS600〜ステップS618の処理を実行したか否かを判別することによって、ステップS620の判断を行う。
ステップS620で否定判断すると(ステップS620:No)、上記ステップS600へ戻る。一方、ステップS620で肯定判断すると(ステップS620:Yes)、本ルーチンを終了する。
次に、図35のステップS608において、第2計算部54が行う演算処理を説明する。図36は、第2計算部54が行う演算処理の手順を示すフローチャートである。
まず、第2計算部54の探索部54Aが、ステップS606(図35参照)で計算された複数の部分画像60の各々の特徴量に、ラベルを付与する(ステップS700)。投票部54Bは、ラベル61からヒストグラム62を算出し、パラメータ空間63に投票することで、投票ヒストグラム64を生成する(ステップS702)。
次に、学習部54Cが、部分画像60の特徴量と、部分画像60に含まれる物体の相対位置と、の関係を示す回帰モデルを学習する(ステップS704)。本実施の形態では、上述したように、回帰モデルとしてランダムツリー65を学習する。
次に、第1予測部54Dが、学習部54Cが学習時に分割したクラスタ(葉ノード65C)の各々について、代表ラベルを予測する(ステップS706)。
そして、第2計算部54では、上記学習した回帰モデルとしてのランダムツリー65、およびクラスタ(葉ノード65C)の代表ラベルを、第2予測部55へ出力し、本ルーチンを終了する。
以上説明したように、本実施の形態の第2計算部54は、探索部54Aが、画像30(または補正画像39)から抽出した複数の部分画像60の各々に含まれる物体を探索する。また、探索部54Aは、部分画像60における予め定められた第1位置と部分画像60に含まれる全ての物体の各々との相対位置を表すベクトルをラベルとして、部分画像60の特徴量に付与する。学習部54Cは、このラベルの付与された特徴量を、各ノードに割当てて各ノードの分割指標を定めることで、回帰モデルを学習する。第1予測部54Dは、回帰モデルの葉ノード65Cの各々について、代表ラベルを予測する。
ラベルは、物体の相対位置を示すベクトルであり、データサイズが小さい。このため、回帰モデルの構成に必要なデータ量の削減を図ることができる。すなわち、本実施の形態の回帰モデルを用いて密度計算を行うことで、画像処理装置10では、上記実施の形態の効果に加えて、低メモリで物体の密度計算を行うことができる。
また、第4算出部50Aは、補正画像39から物体を直接検出せずに、回帰モデルを学習する。このため、本実施の形態の画像処理装置10の第4算出部50Aは、補正画像39における物体が小さくて重なる場合であっても、計測精度を落とすことなく、高精度に密度計算を行うことの可能な回帰モデルを学習することができる。
従って、本実施の形態の画像処理装置10は、第4算出部50Aとして、本実施の形態で説明した処理を行うことによって、上記第1の実施の形態の効果に加えて、密度計算を、高精度で且つ低メモリで行うためのデータ(回帰モデル)を提供することができる。
上記実施の形態および変形例の画像処理装置10、11、15、19は、画像30に含まれる物体の密度から注目領域Qを検出する各種装置に適用可能である。例えば、上記実施の形態および変形例の画像処理装置10、11、15、19は、特定の監視領域を監視する監視装置などに適用可能である。この場合、撮影部23を、監視対象の監視領域を撮影可能な位置に配置すればよい。そして、撮影部23が撮影した監視対象の画像30を用いて、上記注目領域Qの検出を行えばよい。
具体的には、上記実施の形態および変形例の画像処理装置10、11、15、19は、スマートコミュニティ向けの監視システム、植物監視システム、医療向けの異常個所検出システムなどにも適用可能であり、その適用範囲は限定されない。
図37は、上記実施の形態および変形例の画像処理装置10、11、15、19のハードウェア構成の一例を示すブロック図である。上記実施の形態および変形例の画像処理装置10、11、15、19は、CPU902と、RAM906と、プログラムなどを記憶するROM904と、HDD908と、HDD908とのインタフェースであるI/F910と、画像入力用のインタフェースであるI/F912と、バス922とを、備えており、通常のコンピュータを利用したハードウェア構成となっている。なおCPU902、ROM904、RAM906、I/F910、及びI/F912は、バス922を介して互いに接続されている。
上記実施の形態および変形例の画像処理装置10、11、15、19では、CPU902が、ROM904からプログラムをRAM906上に読み出して実行することにより、上記各部がコンピュータ上で実現される。
なお、上記実施の形態の画像処理装置10、11、15、19で実行される上記各処理を実行するためのプログラムは、HDD908に記憶されていてもよい。また、上記実施の形態の画像処理装置10で実行される上記各処理を実行するためのプログラムは、ROM904に予め組み込まれて提供されていてもよい。
また、上記実施の形態の画像処理装置10、11、15、19で実行される上記処理を実行するためのプログラムは、インストール可能な形式または実行可能な形式のファイルでCD−ROM、CD−R、メモリカード、DVD(Digital Versatile Disk)、フレキシブルディスク(FD)等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータプログラムプロダクトとして提供されるようにしてもよい。
また、上記実施の形態の画像処理装置10、11、15、19で実行される上記処理を実行するためのプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記実施の形態の画像処理装置10、11、15、19で実行される上記処理を実行するためのプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。
なお、上記には、本発明の実施の形態および変形例を説明したが、これらの実施の形態および変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
例えば、上記実施の形態のフローチャートにおける各ステップを、その性質に反しない限り、実行順序を変更し、複数同時に実施し、あるいは実施毎に異なった順序で実施してもよい。
10、11、15 画像処理装置
12A、17A 第1取得部
12B、13B、17B 第1算出部
12C、17C 演算部
12D、17D 検出部
12E、17E 表示制御部
13C 第2算出部
13D 特定部
13E 補正部
21D 検出部
21E 第3算出部
21F 第2取得部
12A、17A 第1取得部
12B、13B、17B 第1算出部
12C、17C 演算部
12D、17D 検出部
12E、17E 表示制御部
13C 第2算出部
13D 特定部
13E 補正部
21D 検出部
21E 第3算出部
21F 第2取得部
Claims (15)
- 画像を取得する第1取得部と、
前記画像を複数の領域に分割した前記領域ごとに、前記領域に含まれる物体の密度を算出する第1算出部と、
前記領域の各々について、前記領域の周辺領域の前記密度に対する第1密度相対値を演算する演算部と、
前記画像に含まれる複数の前記領域の内、前記第1密度相対値が予め定めた第1閾値より大きい値または前記第1閾値より小さい値の前記領域を、注目領域として検出する検出部と、
を備える画像処理装置。 - 前記演算部は、
前記領域の各々を前記第1密度相対値の算出対象の第1領域として順次設定し、前記第1領域の周囲に配置された他の前記領域としての第2領域を複数含む前記周辺領域の前記密度に対する、前記第1領域の前記密度の前記第1密度相対値を演算することによって、前記領域の各々の前記第1密度相対値を演算する、請求項1に記載の画像処理装置。 - 前記演算部は、
前記周辺領域に含まれる前記第2領域の各々の前記密度の平均値を、前記周辺領域の前記密度として算出し、前記第1密度相対値を演算する、請求項2に記載の画像処理装置。 - 前記演算部は、
前記周辺領域に含まれる前記第2領域の各々の前記密度に前記第1領域に近い位置に配置された前記第2領域ほど大きい第1重み付け値mを乗算した乗算値の平均値を、前記周辺領域の前記密度として算出し、前記第1密度相対値を演算する、請求項2に記載の画像処理装置。 - 前記演算部は、
前記周辺領域に含まれる前記第2領域の各々の前記密度に前記第2領域に含まれる前記物体と前記第1領域との距離が近いほど大きい第2重み付け値nを乗算した乗算値の平均値を、前記周辺領域の前記密度として算出し、前記第1密度相対値を演算する、請求項2に記載の画像処理装置。 - 前記第1算出部は、
前記画像を複数の領域に分割した前記領域ごとに、前記領域に含まれる前記物体の密度を算出する第2算出部と、
前記画像に含まれる複数の前記領域の内、前記第2算出部によって算出された前記密度が第2閾値より大きい前記領域を特定する特定部と、
特定した前記領域の前記周辺領域を構成する前記領域の前記密度の各々に第3重み付け値p(pは0より大きく且つ1未満の値)を乗算した乗算値を、特定した前記領域の前記密度に加算した加算値となるように、該特定した前記領域の前記密度を補正する補正部と、
を有する、
請求項1〜請求項5の何れか1項に記載の画像処理装置。 - 前記検出部は、
前記画像に含まれる複数の前記領域の各々の予測密度を規定した予測密度情報における、前記領域の各々に対応する第3領域の各々について、前記第3領域の周辺の第3周辺領域の前記密度に対する第3密度相対値を算出する第3算出部を有し、
前記画像に含まれる複数の前記領域の内、前記第1密度相対値が、前記予測密度情報における対応する前記第3領域の前記第3密度相対値としての前記第1閾値より大きい値または前記第1閾値より小さい値の前記領域を、前記注目領域として検出する、
請求項1〜請求項6の何れか1項に記載の画像処理装置。 - 前記画像の撮影環境を取得する第2取得部と、
前記撮影環境と前記予測密度情報とを対応づけて予め記憶した記憶部と、
を備え、
前記第3算出部は、取得した前記撮影環境に対応する前記予測密度情報における、前記第3領域の各々について、前記第3密度相対値を算出する、請求項7に記載の画像処理装置。 - 前記演算部は、
前記第1領域の前記周辺領域に含まれる該第1領域に隣接する複数の前記第2領域の前記密度の各々に対する、前記第1領域の前記密度の第2密度相対値の群を、前記第1密度相対値として演算し、
前記検出部は、
前記第2密度相対値が前記第1閾値より大きい値または前記第1閾値より小さい値を示す、該第2密度相対値の演算に用いた前記第1領域と前記第2領域との領域間に境界を設定し、前記画像に含まれる複数の前記領域の内、連続する前記境界によって示される仮想線より内側または外側の前記領域を、前記注目領域として検出する、
請求項2に記載の画像処理装置。 - 検出した前記注目領域を表示部へ表示する表示制御部を備える、請求項1〜請求項9の何れか1項に記載の画像処理装置。
- 前記表示制御部は、
前記画像における前記注目領域を、該注目領域以外の外部領域とは異なる表示形態で示す表示画像を前記表示部へ表示する、請求項10に記載の画像処理装置。 - 前記表示制御部は、
前記画像に含まれる複数の前記領域の内、前記注目領域に物体の侵入する可能性のある前記領域を注目近傍領域として特定し、前記注目領域と前記注目近傍領域と、を前記表示部へ表示する、請求項10に記載の画像処理装置。 - 前記第1取得部は、時系列に連続する複数の前記画像を取得し、
前記第1算出部は、複数の前記画像の各々について、前記画像を複数の領域に分割した前記領域ごとに、前記領域に含まれる前記物体の前記密度を算出し、
前記演算部は、複数の前記画像の各々について、前記画像に含まれる前記領域の各々の前記第1密度相対値を演算し、
前記検出部は、複数の前記画像の各々について、前記注目領域を検出し、
前記表示制御部は、複数の前記画像の各々について検出された前記注目領域を用いて、前記注目領域の拡大速度または移動速度を算出し、前記注目領域を前記拡大速度または前記移動速度に応じた前記表示形態で示す前記表示画像を、前記表示部へ表示する、請求項10または請求項11に記載の画像処理装置。 - 画像を取得するステップと、
前記画像を複数の領域に分割した前記領域ごとに、前記領域に含まれる物体の密度を算出するステップと、
前記領域の各々について、前記領域の周辺領域の前記密度に対する第1密度相対値を演算するステップと、
前記画像に含まれる複数の前記領域の内、前記第1密度相対値が予め定めた第1閾値より大きい値または前記第1閾値より小さい値の前記領域を、注目領域として検出するステップと、
を含む画像処理方法。 - 画像を取得するステップと、
前記画像を複数の領域に分割した前記領域ごとに、前記領域に含まれる物体の密度を算出するステップと、
前記領域の各々について、前記領域の周辺領域の前記密度に対する第1密度相対値を演算するステップと、
前記画像に含まれる複数の前記領域の内、前記第1密度相対値が予め定めた第1閾値より大きい値または前記第1閾値より小さい値の前記領域を、注目領域として検出するステップと、
をコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/239,130 US20170053172A1 (en) | 2015-08-20 | 2016-08-17 | Image processing apparatus, and image processing method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015163011 | 2015-08-20 | ||
JP2015163011 | 2015-08-20 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017041869A true JP2017041869A (ja) | 2017-02-23 |
Family
ID=58203374
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016057039A Pending JP2017041869A (ja) | 2015-08-20 | 2016-03-22 | 画像処理装置、画像処理方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017041869A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019087383A1 (ja) * | 2017-11-06 | 2019-05-09 | 三菱電機株式会社 | 群集密度算出装置、群集密度算出方法および群集密度算出プログラム |
US10586115B2 (en) | 2017-01-11 | 2020-03-10 | Kabushiki Kaisha Toshiba | Information processing device, information processing method, and computer program product |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005039181A1 (ja) * | 2003-10-21 | 2005-04-28 | Matsushita Electric Industrial Co., Ltd. | 監視装置 |
JP2011248836A (ja) * | 2010-05-31 | 2011-12-08 | Nomura Research Institute Ltd | 滞留検出システム及びプログラム |
JP2013127716A (ja) * | 2011-12-19 | 2013-06-27 | Nippon Signal Co Ltd:The | 混雑の非通常状態検知システム |
WO2015068854A1 (ja) * | 2013-11-11 | 2015-05-14 | 日本電気株式会社 | 回避行動検出装置及び回避原因処理装置並びにそれらの方法 |
JP2016024651A (ja) * | 2014-07-22 | 2016-02-08 | 沖電気工業株式会社 | 状態判定システム、状態判定方法及びプログラム |
-
2016
- 2016-03-22 JP JP2016057039A patent/JP2017041869A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005039181A1 (ja) * | 2003-10-21 | 2005-04-28 | Matsushita Electric Industrial Co., Ltd. | 監視装置 |
JP2011248836A (ja) * | 2010-05-31 | 2011-12-08 | Nomura Research Institute Ltd | 滞留検出システム及びプログラム |
JP2013127716A (ja) * | 2011-12-19 | 2013-06-27 | Nippon Signal Co Ltd:The | 混雑の非通常状態検知システム |
WO2015068854A1 (ja) * | 2013-11-11 | 2015-05-14 | 日本電気株式会社 | 回避行動検出装置及び回避原因処理装置並びにそれらの方法 |
JP2016024651A (ja) * | 2014-07-22 | 2016-02-08 | 沖電気工業株式会社 | 状態判定システム、状態判定方法及びプログラム |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10586115B2 (en) | 2017-01-11 | 2020-03-10 | Kabushiki Kaisha Toshiba | Information processing device, information processing method, and computer program product |
WO2019087383A1 (ja) * | 2017-11-06 | 2019-05-09 | 三菱電機株式会社 | 群集密度算出装置、群集密度算出方法および群集密度算出プログラム |
JPWO2019087383A1 (ja) * | 2017-11-06 | 2020-04-02 | 三菱電機株式会社 | 群集密度算出装置、群集密度算出方法および群集密度算出プログラム |
CN111279392A (zh) * | 2017-11-06 | 2020-06-12 | 三菱电机株式会社 | 集群密度计算装置、集群密度计算方法以及集群密度计算程序 |
CN111279392B (zh) * | 2017-11-06 | 2023-12-15 | 三菱电机株式会社 | 集群密度计算装置、集群密度计算方法以及计算机能读取的存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10234957B2 (en) | Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data | |
US9363499B2 (en) | Method, electronic device and medium for adjusting depth values | |
JP6904346B2 (ja) | 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム | |
CN113239982A (zh) | 检测模型的训练方法、目标检测方法、装置和电子*** | |
JP2016006626A (ja) | 検知装置、検知プログラム、検知方法、車両、パラメータ算出装置、パラメータ算出プログラムおよびパラメータ算出方法 | |
JP2012238175A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US20170053172A1 (en) | Image processing apparatus, and image processing method | |
CN109313699B (zh) | 用于对一车辆的输入图像进行目标识别的装置和方法 | |
CN111783665A (zh) | 一种动作识别方法、装置、存储介质和电子设备 | |
US10762372B2 (en) | Image processing apparatus and control method therefor | |
JP5496566B2 (ja) | 不審行動検知方法および不審行動検知装置 | |
US20130322720A1 (en) | Apparatus and method for parsing human body image | |
CN107272899B (zh) | 一种基于动态手势的vr交互方法、装置及电子设备 | |
JP2016099835A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20230394796A1 (en) | Information processing device, information processing method, and program recording medium | |
JP6426441B2 (ja) | 密度計測装置、密度計測方法、およびプログラム | |
JP5937823B2 (ja) | 画像照合処理装置、画像照合処理方法及び画像照合処理プログラム | |
JP6577397B2 (ja) | 画像解析装置、画像解析方法、画像解析プログラム、および画像解析システム | |
JP5253102B2 (ja) | 物体判別方法および物体判別装置 | |
CN113297963A (zh) | 多人姿态的估计方法、装置、电子设备以及可读存储介质 | |
CN110211021B (zh) | 图像处理装置、图像处理方法和存储介质 | |
JP2017041869A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6384167B2 (ja) | 移動体追跡装置及び移動体追跡方法、並びにコンピュータ・プログラム | |
JP5253101B2 (ja) | オブジェクト追尾方法および画像処理装置 | |
US20230033875A1 (en) | Image recognition method, image recognition apparatus and computer-readable non-transitory recording medium storing image recognition program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180221 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181225 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190723 |