JP2019040592A - 情報処理装置、情報処理プログラム、及び、情報処理方法 - Google Patents
情報処理装置、情報処理プログラム、及び、情報処理方法 Download PDFInfo
- Publication number
- JP2019040592A JP2019040592A JP2018106811A JP2018106811A JP2019040592A JP 2019040592 A JP2019040592 A JP 2019040592A JP 2018106811 A JP2018106811 A JP 2018106811A JP 2018106811 A JP2018106811 A JP 2018106811A JP 2019040592 A JP2019040592 A JP 2019040592A
- Authority
- JP
- Japan
- Prior art keywords
- image
- person
- person image
- organ
- identity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
【課題】ある画像に含まれる人物像と、他の画像に含まれる人物像との同一性の判定を、より効率的に、且つ、より高精度に行う。
【解決手段】器官点検出部26は、第1画像40に含まれる第1人物像Aに関する複数の第1器官点、及び、第2画像42に含まれる第2人物像B及びCに関する複数の第2器官点を検出する。同一性判定部28は、第1人物像Aの複数の第1器官点に対応する画素の色情報と、第2人物像B及びCの複数の第2器官点に対応する画素の色情報それぞれとの色差を算出し、算出した色差に基づいて、第1人物像Aと第2人物像Bとの間の色の類似度、及び、第1人物像Aと第2人物像Cとの間の色の類似度を算出する。同一性判定部28は、算出された色の類似度に基づいて、第1人物像Aと、第2人物像B及びCとの同一性の判定を行う。
【選択図】図2
【解決手段】器官点検出部26は、第1画像40に含まれる第1人物像Aに関する複数の第1器官点、及び、第2画像42に含まれる第2人物像B及びCに関する複数の第2器官点を検出する。同一性判定部28は、第1人物像Aの複数の第1器官点に対応する画素の色情報と、第2人物像B及びCの複数の第2器官点に対応する画素の色情報それぞれとの色差を算出し、算出した色差に基づいて、第1人物像Aと第2人物像Bとの間の色の類似度、及び、第1人物像Aと第2人物像Cとの間の色の類似度を算出する。同一性判定部28は、算出された色の類似度に基づいて、第1人物像Aと、第2人物像B及びCとの同一性の判定を行う。
【選択図】図2
Description
本発明は、情報処理装置、情報処理プログラム、及び、情報処理方法に関する。
例えば防犯やマーケティングなど、様々な目的のために、ある画像に含まれる人物像と、他の画像に含まれる人物像との同一性(両人物像が同一人物に対応するものであるか否か)を判定するニーズがある。
従来、このようなニーズに応じて、人物像の同一性を判定する技術が提案されている。例えば、非特許文献1には、画像から人物像の部分を切り出し、切り出した画像を幾つかの領域に分割し、領域毎の色のヒストグラムを求め、2つの画像における各人物像に対応する各領域のヒストグラム同士の比較に基づいて、人物像の同一性を判定する技術が開示されている。
一方、非特許文献2には、人物像の同一性を判定するための技術ではないが、OpenPoseと呼ばれる、画像内の人物像のポーズ(姿勢)を検出する技術が開示されている。OpenPoseにおいては、画像に含まれる1又は複数の人物像の複数の器官点(鼻、首、左肩、左肘、左手、右肩、右肘、右手、左腰、左膝、左足、右腰、右足、左眼、右眼、左耳、右耳の18箇所)を検出し、且つ、各人物像に対応する各器官点の関係を識別した上で、各人物像のポーズ(姿勢)を検出している。
Liang Zheng, Liyue Shen, Lu Tian, Shengjin Wang, Jingdong Wang, Qi Tian, 「Scalable Person Re-identification : A Benchmark」, The Fourteenth IEEE International Conference on Computer Vision (ICCV15).
Zhe Cao, Tomas Simon, Shih-En Wei, Yaser Sheikh, 「Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields」, arXiv:1611.08050v2.
例えば非特許文献1に記載のような、各領域の色のヒストグラムに基づく同一性の判定においては、人物像の背景の色まで考慮されてしまうために、同一性の判定の精度に改善の余地があった。一方、非特許文献2においては、各画像における各人物のポーズの検出を実行しているものの、ある画像の人物像と他の画像の人物像との同一性を判定することには言及していない。
本発明の目的は、ある画像に含まれる人物像と、他の画像に含まれる人物像との同一性の判定を、より効率的に、且つ、より高精度に行うことにある。
本発明は、第1画像に含まれる第1人物像に関する複数の第1器官点、及び、第2画像に含まれる第2人物像に関する複数の第2器官点を検出する器官点検出部と、前記第1画像における前記複数の第1器官点に対応する画素の色情報と、前記第2画像における前記複数の第2器官点に対応する画素の色情報との比較に基づいて、前記第1人物像と前記第2人物像の同一性を判定する同一性判定部と、を備えることを特徴とする情報処理装置である。
望ましくは、前記第1画像及び前記第2画像は、同一視野において異なるタイミングで撮像された複数の撮像画像から選択されたものであり、前記第1画像における前記第1人物像の位置と、前記第1画像の前に撮像された撮像画像における前記第1人物像と同一人物を表す人物像の位置とに基づいて、前記第1画像の後に撮像された前記第2画像において、前記第1人物像と同一人物を表す人物像が存在する位置の尤度分布を算出する位置尤度分布算出部と、をさらに備え、前記同一性判定部は、さらに、前記第2器官点の位置と前記尤度分布とに基づいて、前記第1人物像と前記第2人物像の同一性を判定する、ことを特徴とする。
望ましくは、前記位置尤度分布算出部は、前記第1画像における前記第1人物像の首に対応する第1器官点の位置と、前記第1画像の前に撮像された撮像画像における前記第1人物像と同一人物を表す人物像の首に対応する器官点の位置とに基づいて、前記位置の尤度分布を算出し、前記同一性判定部は、前記複数の第2器官点のうち、前記第2人物像の首に対応する第2器官点の位置と前記尤度分布とに基づいて、前記第1人物像と前記第2人物像の同一性を判定する、ことを特徴とする。
望ましくは、前記第1画像及び前記第2画像は、同一のカメラで撮影された動画に含まれるフレーム画像であり、前記器官点検出部及び前記同一性判定部は、前記動画の再生に伴ってリアルタイムに処理を実行する、ことを特徴とする。
また、本発明は、コンピュータを、第1画像に含まれる第1人物像に関する複数の第1器官点、及び、第2画像に含まれる第2人物像に関する複数の第2器官点を検出する器官点検出部と、前記第1画像における前記複数の第1器官点に対応する画素の色情報と、前記第2画像における前記複数の第2器官点に対応する画素の色情報との比較に基づいて、前記第1人物像と前記第2人物像の同一性を判定する同一性判定部と、として機能させることを特徴とする情報処理プログラムである。
また、本発明は、コンピュータが、第1画像に含まれる第1人物像に関する複数の第1器官点、及び、第2画像に含まれる第2人物像に関する複数の第2器官点を検出する器官点検出ステップと、コンピュータが、前記第1画像における前記複数の第1器官点に対応する画素の色情報と、前記第2画像における前記複数の第2器官点に対応する画素の色情報との比較に基づいて、前記第1人物像と前記第2人物像の同一性を判定する同一性判定ステップと、を含むことを特徴とする情報処理方法である。
本発明によれば、ある画像に含まれる人物像と、他の画像に含まれる人物像との同一性の判定を、より効率的に、且つ、より高精度に行うことができる。
以下、本発明の実施形態について説明する。
図1には、本実施形態に係る情報処理システム10の構成概略図が示されている。情報処理システム10は、カメラ12と、ユーザ端末14と、情報処理装置としてのサーバ16とを含んで構成される。カメラ12とサーバ16との間、及び、ユーザ端末14とサーバ16との間は、LANあるいはインターネットなどの通信回線18を介して通信可能に接続されている。
カメラ12は、例えば防犯カメラあるいは監視カメラである。カメラ12は、例えば街中や店内の様子を撮影する。本実施形態においては、カメラ12は固定されており、一定の視野の画像を取得する。また、カメラ12は、本実施形態においてはビデオカメラであって動画を撮影するものとするが、間欠的に静止画を取得するものであってもよい。カメラ12によって撮像された撮像画像は、通信回線18を介してサーバ16に送られる。
ユーザ端末14は、ユーザ(サーバ16で実行される2つの画像間における人物像の同一性の判定処理の結果を確認する者)が利用する端末である。ユーザ端末14は、例えばパーソナルコンピュータやタブレット端末などであってよい。ユーザ端末14は、CPU(Central Processing Unit)などの処理部、ハードディスク、ROM(Read Only Memory)あるいはRAM(Random Access Memory)などの記憶部、液晶パネルなどの表示部、マウス、キーボード、タッチパネルなどの入力部、ネットワークアダプタなどの通信部などを含んで構成される。ユーザ端末14は、サーバ16にアクセスすることによって、サーバ16における人物像の同一性の判定処理の結果を受信することができる。
図2に、サーバ16の構成概略図が示されている。本実施形態においては、サーバ16はコンピュータによって構成されるが、情報処理装置としては、以下に示す機能を有する限りにおいて、どのような装置であってもよい。
通信部20は、例えばネットワークアダプタなどから構成される。通信部20は、通信回線18を介して、カメラ12及びユーザ端末14と通信する機能を発揮する。具体的には、通信部20は、カメラ12から撮像画像を受信する。また、通信部20は、ユーザ端末14からの要求に応じて、後述の制御部24による人物像の同一性の判定処理結果をユーザ端末14に送信する。サーバ16を介した情報の流れとしては、まずカメラ12から撮像画像がサーバ16へ送信され、当該撮像画像に対する処理の結果がサーバ16からユーザ端末14へ送信される流れとなる。
記憶部22は、例えばROM、RAMあるいはハードディスクなどから構成される。記憶部22には、サーバ16の各部を動作させるための情報処理プログラムが記憶される。また、記憶部22には、カメラ12から送信されてくる撮像画像が記憶される。
制御部24は、例えばCPU、マイクロコントローラ、あるいは画像処理用の専用ICなどを含んで構成される。制御部24は、記憶部22に記憶された情報処理プログラムに従ってサーバ16の各部を制御する。また、図2に示される通り、制御部24は、器官点検出部26、同一性判定部28、及び、位置尤度分布算出部30としても機能する。
器官点検出部26、同一性判定部28、及び、位置尤度分布算出部30により、人物像の同一性の判定処理が実現される。本実施形態では、制御部24は、カメラ12から送信され記憶部22に記憶された撮像画像(動画像)から2つのフレーム画像を選択し、選択した一方のフレーム画像を第1画像とし、他方のフレーム画像を第2画像とする。すなわち、第1画像及び第2画像は、同一視野において異なるタイミングで撮像された画像であると言える。器官点検出部26、同一性判定部28、及び、位置尤度分布算出部30は、当該第1画像及び第2画像に対して処理を行う。なお、第1画像及び第2画像には人物像が含まれているものとする。
器官点検出部26は、第1画像に対して画像処理を施すことにより、第1画像に含まれる第1人物像に関する複数の第1器官点を検出する。同様に、器官点検出部26は、第2画像に含まれる第2人物像に関する複数の第2器官点を検出する。第1画像あるいは第2画像に複数の人物像が含まれている場合には、器官点検出部26は、各画像における複数の人物像に関する複数の器官点を検出する。人物像における複数の器官点の検出の具体的な方法としては、非特許文献2に記載されているOpenPoseの技術を適用することができる。もちろん、人物像における複数の器官点が検出できる限りにおいて、OpenPose以外の技術を用いるようにしてもよい。
図3(a)には第1画像40の例が、図3(b)には第2画像42の例が示されている。本実施形態においては、第1画像40には1つの第1人物像Aが含まれているものとし、第2画像42には2つの第2人物像B及びCが含まれているものとする。
図3(a)を参照して、第1画像40において、第1人物像Aに関する複数の第1器官点44Aが検出されている。本実施形態においては、器官点検出部26は、人物像の器官点として、鼻、首、左肩、左肘、左手、右肩、右肘、右手、左腰、左膝、左足、右腰、右足、左眼、右眼、左耳、右耳の18箇所を検出する。なお、器官点検出部26は、人物像のどの部位(鼻、首など)に対応するものであるかを識別した上で各器官点を検出する。また、本実施形態では、器官点検出部26は、第1画像40の1つの画素の位置(座標)を各器官点の位置として検出する。なお、第1画像40に複数の第1人物像が含まれる場合には、器官点検出部26は、各第1人物像に関する複数の器官点を検出する。
図3(b)を参照して、第2画像42においても、第1画像40と同様に、第2人物像Bに関する複数の第2器官点44Bが検出されている。また、第2人物像Cに関する複数の第2器官点44Cが検出されている。
図2に戻り、同一性判定部28は、まず、器官点検出部26が検出した第1人物像Aに関する複数の第1器官点に対応する各画素の色情報と、第2人物像B及びCに関する複数の第2器官点に対応する各画素の色情報とを取得する。なお、色情報とは、色相、明度(輝度)、及び彩度を含む概念である。
上述のように、器官点検出部26は、各器官点の位置を第1画像40あるいは第2画像42の1つの画素の位置として検出しているところ、本実施形態では、同一性判定部28は、器官点検出部26により検出された1つの画素を中心とする一定の面積を持った領域を各器官点に対応する画素(画素領域)とする。具体的には、各器官点に対応する画素領域は、10(pixel)×10(pixel)の大きさを持つものとしている。また、画像中の人物像の大きさに応じて、画素領域の面積を変化させるようにしてもよい。例えば、画像中の人物像が大きい程、画素領域の面積を大きくするようにしてもよい。
本実施形態では、同一性判定部28は、器官点に対応する画素領域に含まれる各画素の色をL*a*b*色空間で表現した上で、各画素の色の代表値(例えば平均値、中央値、最頻値)を求める。そして、求めた色の代表値を当該器官点の画素(領域)の色情報とする。なお、各画素の色をL*a*b*色空間で表現するのは、L*a*b*色空間が人間の視覚に近似するように設計されているためである。
なお、各器官点の画素の色情報として上記以外の特徴量を採用してもよい。例えば、色情報として、器官点に対応する画素領域のHOG(Histograms of Oriented Gradients)特徴量を算出するようにしてもよい。ここで、HOG特徴量とは、画素領域における各画素の輝度の勾配方向をヒストグラム化した特徴量である。
以上のようにして、第1画像40に含まれる第1人物像Aの各第1器官点に対応する画素の色情報、及び、第2画像に含まれる第2人物像B及びCの各第2器官点に対応する画素の色情報が取得される。
次いで、同一性判定部28は、第1人物像Aの複数の第1器官点に対応する画素の色情報と、第2人物像Bの複数の第2器官点に対応する画素の色情報とを比較し、また、第1人物像Aの複数の第1器官点に対応する画素の色情報と、第2人物像Cの複数の第2器官点に対応する画素の色情報とを比較することで、第1人物像Aと、第2人物像B及びCとの同一性を判定する。
具体的には、第1人物像Aの第1器官点44Aと、それに対応する部位の第2人物像B及びCの第2器官点44B及び44Cとの画素の色情報の差分(色差)を算出する。図4に、第1画像40における第1人物像Aの顔部分の拡大図、第2画像42における第2人物像Bの顔部分の拡大図、及び、第2画像42における第2人物像Cの顔部分の拡大図が示されている。図4に示す通り、例えば、第1人物像Aの鼻に対応する画素の色情報と、第2人物像Bの鼻に対応する画素の色情報との色差を算出し、その他の部位(器官点)についても同様に色差を算出する。同様に、第1人物像Aの鼻に対応する画素の色情報と、第2人物像Cの鼻に対応する画素の色情報との色差を算出し、その他の部位(器官点)についても同様に色差を算出する。
本実施形態では、CIE2000色差式により、各器官点の画素の色情報の色差を算出する。これは、CIE2000色差式は、人間の目の色識別域の特徴である、色相依存性、明度依存性、及び彩度依存性を考慮した計算式であるためである。すなわち、CIE2000色差式に基づく色差は、人間の視覚による色の差に近い値となるためである。
図5に、第1人物像Aの各第1器官点の画素の色情報と、第2人物像Bの各第2器官点の画素の色情報との差(色差)が示されている。図5に示されるように、器官点毎に色差が算出される。同一性判定部28は、算出された色差に基づいて、器官点毎に類似度を算出する。具体的には、同一性判定部28は、色差が小さい程類似度が大きくなるように算出する。本実施形態では、以下の式によって色差から類似度を算出する。
ここで、dは色差であり、α及びβは定数である。α及びβを適宜設定することにより、色差の値に対する類似度の値を調整することができる。
図5には、器官点毎に算出された類似度が示されている。このようにして、第1人物像Aと第2人物像Bとの間において、複数の(本実施形態では18個)器官点についての複数の類似度が算出される。同一性判定部28は、算出された複数の類似度の代表値(例えば平均値、中央値、最頻値)を求める。このように求められた類似度の代表値が第1人物像Aと第2人物像Bとの類似度となる。なお、第1画像40又は第2画像42における見切れ、あるいは隠れなどにより、第1人物像A又は第2人物像Bの複数の器官点のうち器官点検出部26により検出されなかった器官点がある場合には、当該器官点に関する類似度は予め定められた値とする。本実施形態では、図3(b)及び図5に示す通り、第2人物像Bの左腰の器官点が検出されていないため、第1人物像Aと第2人物像Bとの間における左腰に関する類似度を予め定められた値である50%としている。
同様にして、同一性判定部28は、第1人物像Aと第2人物像Cとの類似度を算出する。第1画像40に複数の第1人物像が含まれている場合には、同一性判定部28は、各第1人物像と各第2人物像とのそれぞれの類似度を算出する。
同一性判定部28は、複数の第2人物像のうち、予め定められた類似度閾値以下の第2人物像を、第1人物像Aと同一人物の像ではないと判定する。その上で、複数の第2人物像が残った場合(複数の第2人物像の類似度が類似度閾値よりも大きかった場合)、そのうち最も類似度が大きかった第2人物像を第1人物像Aと同一人物の像であると判定する。なお、全ての第2人物像の類似度が類似度閾値以下であった場合、同一性判定部28は、第2画像42には第1人物像Aと同一人物の像が含まれていないと判定する。また、第1画像40に複数の第1人物像が含まれている場合には、同一性判定部28は、各第1人物像について、上記の同一性判定処理を行う。
なお、同一性判定部28の同一性判定処理の後、ユーザ端末14からの要求に応じて、サーバ16は、第1人物像Aと、第2人物像B及びCとの同一性の判定結果をユーザ端末14に送信する。それにより、ユーザ端末14の表示部に、同一性の判定結果が表示され、ユーザは同一性の判定結果を確認することができる。
以上のようにして、第1画像40と第2画像42との間において、第1人物像と第2人物像の同一性が判定される。好適には、カメラ12が撮像した動画に含まれる、隣接するフレーム画像間毎に上記処理を行うことによって、動画像において同一人物をトラッキングすることができる。
本実施形態では、第1人物像の各器官点と第2人物像の各器官点を検出し、検出された各器官点を両人物像の画素の比較ポイントとして用いている。対応する各器官点毎に類似度を算出することで、人物像間における類似度算出の精度が向上するだけでなく、人物像全体を比較する場合に比して類似度算出のための演算量が低減されることとなる。つまり、より効率的に両人物像の同一性を判定することができる。
また、本実施形態によれば、第1画像40における第1人物像の位置と、当該第1人物像と同一人物を表す第2画像42における第2人物像の位置とが離れていたとしても、好適に両人物像が同一人物の像である、と判定することができる。したがって、動画のフレームレートが小さかったとしても(例えば2FPS(Frames Per Second)程度であっても)好適に両人物像の同一性の判定(つまりトラッキング)が可能となっている。この点、動画のフレームレートが高いことが要求される従来のトラッキング技術(例えば粒子フィルタなど)に対して、本実施形態が優れている点である。このように、本実施形態においては、同一性の判定に高フレームレートが要求されない(すなわち第2画像42は、第1画像40の0.5秒程度後のフレーム画像であってもよい)ことから、1回の同一性判定処理に多少時間がかかったとしても、動画の再生に伴ってリアルタイムに第1人物像と第2人物像の同一性を判定することも可能となっている。
第1画像40及び第2画像42が、同一視野において異なるタイミングで撮像された複数の撮像画像から選択されたものである場合(例えば第1画像40及び第2画像42がカメラ12が撮像した動画に含まれるフレーム画像である場合)において、好適には、同一性判定部28は、位置尤度分布算出部30の演算結果をさらに考慮することにより、より高精度に両人物像の同一性を判定することができる。
位置尤度分布算出部30は、第1画像40における第1人物像Aの位置と、第1画像40の前に撮像された1又は複数の撮像画像における第1人物像Aと同一人物を表す人物像の位置とに基づいて、第1画像40の後に撮像された第2画像42において、第1人物像Aと同一人物を表す人物像が存在する位置の尤度分布を算出する。
図6を参照して詳細に説明する。図6(a)には、図3と同様の第1画像40が示されている。図6(a)には、さらに、第1画像40の直前のフレーム画像A’における第1人物像Aと同一人物を表す人物像A’の位置、及び、第1画像40の2つ前のフレーム画像A’’における第1人物像Aと同一人物を表す人物像A’’の位置が示されている。なお、フレーム画像A’’における人物像A’’、フレーム画像A’における人物像A’、及び第1画像40における第1人物像Aとの同一性は、同一性判定部28の上述の処理により判定される。
本実施形態では、図6(a)に示される通り、人物像A’’の首に対応する器官点44A’’の位置を人物像A’’の位置とし、人物像A’の首に対応する器官点44A’の位置を人物像A’の位置とし、第1人物像Aの首に対応する第1器官点44Aの位置を第1人物像Aの位置とする。これは、複数の器官点のうち、首に対応する器官点は、人物像の姿勢による位置変動が最も少ないことによるものである。
位置尤度分布算出部30は、本実施形態では、人物像A’’、人物像A’、及び第1人物像Aの経時的な位置変動に基づいて、第1画像40の次のフレーム画像である第2画像42における、第1人物像Aと同一人物を表す人物像(の首の位置)が存在する予測位置50を演算する。予測位置50は、既知の手法を用いることで演算することができる。
次いで、位置尤度分布算出部30は、第2画像42において、第1画像40における予測位置50と同じ位置に予測位置50’をプロットし、予測位置50’を中心とした2次元正規分布を形成する。当該2次元正規分布が、第1人物像Aと同一人物を表す人物像が存在する位置の尤度分布52となる。つまり、位置の尤度分布52は、予測位置50’において最も位置の尤度が大きくなり、予測位置50’からの距離が大きくなるほど位置の尤度が小さくなるようになっている。なお、本実施形態では、図6(b)に示す通り、位置の尤度分布52においては、予測位置50’から、第1画像40における第1人物像Aの首に対応する第1器官点44Aの位置に相当する位置までの距離が正規分布におけるσに設定される。また、予測位置50’における位置の尤度の値は、適宜設定されてよい。本実施形態では、位置の尤度は0から1までの値を取るようにし、予測位置50’における位置の尤度の値を1としている。
同一性判定部28は、第1人物像Aと第2人物像Bとの間の色情報の類似度のみならず、第2人物像Bの位置の尤度に基づいて、第1人物像Aと第2人物像Bが同一人物であることを示す指標である総合尤度を算出する。
まず、第2人物像Bの位置の尤度は、位置の尤度分布52と第2人物像Bの位置とから算出される。本実施形態では、位置の尤度分布52と第2人物像Bの首に対応する第2器官点44Bの位置とに基づいて、第2人物像Bの位置の尤度が算出される。図6(b)を参照して、第2人物像Bの首に対応する第2器官点44Bの位置が、予測位置50’に近い程、第2人物像Bの位置の尤度が大きく算出される。つまり、第2人物像Bの首に対応する第2器官点44Bの位置が、予測位置50’に近い程、第2人物像Bは第1人物像Aと同一人物を表すものである可能性が高いと判断される。
次いで、同一性判定部28は、上述の処理により算出した第1人物像Aと第2人物像Bとの間の色情報の類似度と、算出した第2人物像Bの位置の尤度とに基づいて、第1人物像Aと第2人物像Bとの間の総合尤度を算出する。本実施形態では、第1人物像Aと第2人物像Bとの間の色情報の類似度と、算出した第2人物像Bの位置の尤度とを乗算することによって、総合尤度を算出している。
同様にして、同一性判定部28は、第1人物像Aと第2人物像Cとの間の総合尤度を算出する。図7に、算出された総合尤度が示されている。
同一性判定部28は、複数の第2人物像に関して算出された総合尤度のうち、予め定められた総合尤度閾値以下の第2人物像を、第1人物像Aと同一人物の像ではないと判定する。その上で、複数の第2人物像が残った場合(複数の第2人物像の総合尤度が総合尤度閾値よりも大きかった場合)、そのうち最も総合尤度が大きかった第2人物像を第1人物像Aと同一人物の像であると判定する。なお、この場合も、全ての第2人物像の総合尤度が総合尤度閾値以下であった場合、同一性判定部28は、第2画像42には第1人物像Aと同一人物の像が含まれていないと判定する。
各第2人物像の位置の尤度も考慮して同一性を判定することで、より同一性の判定の精度を向上させることができる。例えば、第1人物像Aと第2人物像Bが同一人物を表すものである場合を考える。図7に示す通り、何らかの要因により、第1人物像Aと第2人物像Bとの間の色情報の類似度より、第1人物像Aと第2人物像Cとの間の色情報の類似度が大きく算出されてしまう場合があるとする。このような場合であっても、図6(b)に示される通り、第2人物像Bの位置は予測位置50’に比較的近いことから、位置の尤度として比較的高い値「0.33」(図7参照)が算出され、第2人物像Cの位置は予測位置50’から比較的遠いことから、位置の尤度として比較的低い値「0.01」(図7参照)が算出される。したがって、総合尤度としては、第1人物像Aと第2人物像Bとの間の総合尤度が第1人物像Aと第2人物像Cとの間の総合尤度よりも大きくなり、結果として、第2人物像Bが第1人物像Aと同一人物を表すものである、と正しく判定することが可能になる。
以下、図8に示すフローチャートに従って、本実施形態に係るサーバ16の処理の流れを説明する。
ステップS10において、まず、制御部24は、カメラ12により撮像され記憶部22に記憶された複数の画像から第1画像40及び第2画像42を選択する。本例では、カメラ12が撮像した動画から2つのフレームを選択し、図3に示すような2つの画像を第1画像40及び第2画像42とする。
ステップS12において、器官点検出部26は、第1画像40に含まれる第1人物像Aに関する複数の第1器官点を検出する。
ステップS14において、器官点検出部26は、第2画像42に含まれる第2人物像Bに関する複数の第2器官点を検出する。ステップS12及びS14が器官点検出ステップに相当する。
ステップS16において、同一性判定部28は、ステップS12で検出した第1人物像Aに関する複数の器官点、及び、ステップS14で検出した第2人物像B及びCに関する複数の器官点それぞれに対応する画素の色情報を取得する。
ステップS18において、同一性判定部28は、第1人物像Aの複数の第1器官点に対応する画素の色情報と、第2人物像Bの複数の第2器官点に対応する画素の色情報との色差を算出し、また、第1人物像Aの複数の第1器官点に対応する画素の色情報と、第2人物像Cの複数の第2器官点に対応する画素の色情報との色差を算出する。
ステップS20において、同一性判定部28は、ステップS18で算出した器官点毎の色差に基づいて、第1人物像Aと第2人物像Bとの間の色の類似度、及び、第1人物像Aと第2人物像Cとの間の色の類似度を算出する。
ステップS22において、位置尤度分布算出部は、第1画像40と、その直前の1又は複数のフレーム画像に基づいて、第2画像42において、第1人物像Aと同一人物を表す人物像が存在する位置の尤度分布を算出する。
ステップS24において、同一性判定部28は、ステップS22で算出された位置の尤度分布、及び、第2画像42における第2人物像B及びCの位置とに基づいて、第2人物像B及びCの位置の尤度を算出する。
ステップS26において、同一性判定部28は、ステップS20で算出された色の類似度、及び、ステップS24で算出された位置の尤度とに基づいて、第1人物像Aと第2人物像Bとの間の総合尤度、及び、第1人物像Aと第2人物像Cとの間の総合尤度を算出する。
ステップS28において、同一性判定部28は、ステップS26で算出された総合尤度に基づいて、第1人物像Aと、第2人物像B及びCとの同一性の判定を行う。ステップS28が同一性判定ステップに相当する。
以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。
10 情報処理システム、12 カメラ、14 ユーザ端末、16 サーバ、18 通信回線、20 通信部、22 記憶部、24 制御部、26 器官点検出部、28 同一性判定部、30 位置尤度分布算出部。
Claims (6)
- 第1画像に含まれる第1人物像に関する複数の第1器官点、及び、第2画像に含まれる第2人物像に関する複数の第2器官点を検出する器官点検出部と、
前記第1画像における前記複数の第1器官点に対応する画素の色情報と、前記第2画像における前記複数の第2器官点に対応する画素の色情報との比較に基づいて、前記第1人物像と前記第2人物像の同一性を判定する同一性判定部と、
を備えることを特徴とする情報処理装置。 - 前記第1画像及び前記第2画像は、同一視野において異なるタイミングで撮像された複数の撮像画像から選択されたものであり、
前記第1画像における前記第1人物像の位置と、前記第1画像の前に撮像された撮像画像における前記第1人物像と同一人物を表す人物像の位置とに基づいて、前記第1画像の後に撮像された前記第2画像において、前記第1人物像と同一人物を表す人物像が存在する位置の尤度分布を算出する位置尤度分布算出部と、
をさらに備え、
前記同一性判定部は、さらに、前記第2器官点の位置と前記尤度分布とに基づいて、前記第1人物像と前記第2人物像の同一性を判定する、
ことを特徴とする、請求項1に記載の情報処理装置。 - 前記位置尤度分布算出部は、前記第1画像における前記第1人物像の首に対応する第1器官点の位置と、前記第1画像の前に撮像された撮像画像における前記第1人物像と同一人物を表す人物像の首に対応する器官点の位置とに基づいて、前記位置の尤度分布を算出し、
前記同一性判定部は、前記複数の第2器官点のうち、前記第2人物像の首に対応する第2器官点の位置と前記尤度分布とに基づいて、前記第1人物像と前記第2人物像の同一性を判定する、
ことを特徴とする、請求項2に記載の情報処理装置。 - 前記第1画像及び前記第2画像は、同一のカメラで撮影された動画に含まれるフレーム画像であり、
前記器官点検出部及び前記同一性判定部は、前記動画の再生に伴ってリアルタイムに処理を実行する、
ことを特徴とする請求項1から3のいずれか1項に記載の情報処理装置。 - コンピュータを、
第1画像に含まれる第1人物像に関する複数の第1器官点、及び、第2画像に含まれる第2人物像に関する複数の第2器官点を検出する器官点検出部と、
前記第1画像における前記複数の第1器官点に対応する画素の色情報と、前記第2画像における前記複数の第2器官点に対応する画素の色情報との比較に基づいて、前記第1人物像と前記第2人物像の同一性を判定する同一性判定部と、
として機能させることを特徴とする情報処理プログラム。 - コンピュータが、第1画像に含まれる第1人物像に関する複数の第1器官点、及び、第2画像に含まれる第2人物像に関する複数の第2器官点を検出する器官点検出ステップと、
コンピュータが、前記第1画像における前記複数の第1器官点に対応する画素の色情報と、前記第2画像における前記複数の第2器官点に対応する画素の色情報との比較に基づいて、前記第1人物像と前記第2人物像の同一性を判定する同一性判定ステップと、
を含むことを特徴とする情報処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018106811A JP2019040592A (ja) | 2018-06-04 | 2018-06-04 | 情報処理装置、情報処理プログラム、及び、情報処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018106811A JP2019040592A (ja) | 2018-06-04 | 2018-06-04 | 情報処理装置、情報処理プログラム、及び、情報処理方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017160377A Division JP6349448B1 (ja) | 2017-08-23 | 2017-08-23 | 情報処理装置、情報処理プログラム、及び、情報処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019040592A true JP2019040592A (ja) | 2019-03-14 |
Family
ID=65726626
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018106811A Pending JP2019040592A (ja) | 2018-06-04 | 2018-06-04 | 情報処理装置、情報処理プログラム、及び、情報処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019040592A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021029675A (ja) * | 2019-08-26 | 2021-03-01 | キヤノン株式会社 | 情報処理装置、検査システム及び情報処理方法 |
JP2021029676A (ja) * | 2019-08-26 | 2021-03-01 | キヤノン株式会社 | 情報処理装置、検査システム及び情報処理方法 |
-
2018
- 2018-06-04 JP JP2018106811A patent/JP2019040592A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021029675A (ja) * | 2019-08-26 | 2021-03-01 | キヤノン株式会社 | 情報処理装置、検査システム及び情報処理方法 |
JP2021029676A (ja) * | 2019-08-26 | 2021-03-01 | キヤノン株式会社 | 情報処理装置、検査システム及び情報処理方法 |
CN112435740A (zh) * | 2019-08-26 | 2021-03-02 | 佳能株式会社 | 信息处理设备、检查***、信息处理方法和存储介质 |
CN112508840A (zh) * | 2019-08-26 | 2021-03-16 | 佳能株式会社 | 信息处理设备、检查***、信息处理方法和存储介质 |
JP7321836B2 (ja) | 2019-08-26 | 2023-08-07 | キヤノン株式会社 | 情報処理装置、検査システム及び情報処理方法 |
JP7362354B2 (ja) | 2019-08-26 | 2023-10-17 | キヤノン株式会社 | 情報処理装置、検査システム及び情報処理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6349448B1 (ja) | 情報処理装置、情報処理プログラム、及び、情報処理方法 | |
CA3077830C (en) | System and method for appearance search | |
US8903123B2 (en) | Image processing device and image processing method for processing an image | |
US9235751B2 (en) | Method and apparatus for image detection and correction | |
US10146992B2 (en) | Image processing apparatus, image processing method, and storage medium that recognize an image based on a designated object type | |
US9727974B2 (en) | System for video super resolution using semantic components | |
JP6555906B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN109299658B (zh) | 脸部检测方法、脸部图像渲染方法、装置及存储介质 | |
JP6822482B2 (ja) | 視線推定装置、視線推定方法及びプログラム記録媒体 | |
JP2004192637A (ja) | 顔検出 | |
CN110264493A (zh) | 一种针对运动状态下的多目标对象追踪方法和装置 | |
WO2019003973A1 (ja) | 顔認証装置、顔認証方法およびプログラム記録媒体 | |
WO2020032254A1 (ja) | 注意対象推定装置及び注意対象推定方法 | |
JP2019040592A (ja) | 情報処理装置、情報処理プログラム、及び、情報処理方法 | |
CN107231519B (zh) | 视频处理装置及控制方法 | |
KR101648786B1 (ko) | 객체 인식 방법 | |
JP6798609B2 (ja) | 映像解析装置、映像解析方法およびプログラム | |
US11488415B2 (en) | Three-dimensional facial shape estimating device, three-dimensional facial shape estimating method, and non-transitory computer-readable medium | |
Nguyen et al. | Real-time human tracker based on location and motion recognition of user for smart home | |
JP6762754B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7103443B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
Wagh et al. | Human tracking system | |
JP2022117095A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2021086271A (ja) | 情報処理装置、情報処理システム、情報処理方法、及びプログラム | |
JP2021125048A (ja) | 情報処理装置、情報処理方法、画像処理装置、及びプログラム |