JP6997449B2 - 画像処理装置、画像処理方法、プログラム - Google Patents

Description

本発明は、監視用の画像を処理するための技術に関する。

近年、遠隔監視システム等に用いる監視カメラが普及しているが、この監視カメラは、撮影した画像（映像や動画を含む）のデータ量を削減してネットワーク負荷を軽減させると共に、所定の空間に存在する人物１００の顔等、監視対象としての対象物（以下単に「対象物」と称する。）を識別できる解像度の画像が必要となる。このため、多くの監視カメラでは、撮影した画像を画像認識に必要な解像度の画像に縮小し、縮小した画像を、たとえばH.264やH.265などのコーデックを用いたエンコードを行ったのち、画像処理装置に送る。この画像処理装置は、データ量が削減され、かつ対象物の識別が可能な画像を生成するための各種の処理を行う。

従来、この画像処理装置において、入力画像の画像情報から、監視対象として重要な監視対象領域の画像情報と監視対象として重要でない非監視対象領域の画像情報とを分離し、監視対象領域の画像情報のビットレートよりも非監視対象領域の画像情報のビットレートを低くして、画像情報を送信する技術が知られている（例えば、特許文献１参照）。

また、従来、画像処理装置において、ネットワークを介してカメラから画像を取得する第一の取得手段と、第一の取得手段により取得された画像に基づいて解析処理を行う解析手段とを備えると共に、解析手段による解析処理の結果に応じて、追加の画像を、ネットワークを介してカメラから取得する第二の取得手段と、第二の取得手段により取得された画像に基づいて解析処理を行う再解析手段とを備える解析装置を備えた技術が知られている（例えば、特許文献２）。

また、従来、画像処理装置において、物体認識部が、カメラにおいて生成された所定時間分の映像データから物体を認識し、認識結果分析部が、その認識結果を分析し、映像受信部で受信したフレーム画像から物体認識部で認識した映像中の顔の最小サイズと、移動速度とを求め、映像処理制御パラメータ決定部が、認識結果分析部で求めた顔の最小サイズと移動速度とから、フレームレート及び解像度の下限値を決定する技術が知られている（例えば、特許文献３）。

特開２０１３－７０１８７号公報 特開２０１７－２１２６８０号公報 特開２０１０－２６３５８１号公報

ここで、監視カメラが撮影する空間には、複数の対象物が存在することが多い。また、たとえば対象物が人物の顔などである場合には、人物の移動にともなって対象物同士の位置関係や大きさや向きなどが時間の経過にともなって変化する。その結果、上記特許文献１乃至特許文献３に記載の発明では、それぞれの人物の顔位置の検出やそれぞれの顔画像の抽出等の処理に要する時間がフレームごとに変化するようなことになりやすい。その場合、顔認識が行われた画像から順に顔画像が並べられていくようなことになりやすい。そのため、上記特許文献１乃至３に記載の発明では、画像処理がされた画像は、時間の経過に伴って画像上を対象物が移動しやすくなってしまい、監視対象である対象物の監視を行いにくいものとなってしまうという問題がある。

本発明は上記課題に鑑みてなされたものであり、監視対象である対象物の監視を行いやすい画像を生成できる画像処理装置、画像処理方法などを提供することを課題としている。

かかる課題を解決するために、請求項１に記載の発明は、画像処理装置であって、動画像から、該動画像中の特定時点の画像としての取得画像を時系列に沿って複数取得する画像取得手段と、前記画像取得手段によって取得されたそれぞれの前記取得画像に含まれる、対象物の対象物画像を抽出する対象物画像抽出手段と、前記対象物画像抽出手段によって抽出された１以上の対象物画像を配置した監視用画像を生成する監視用画像生成手段と、前記時系列の変化に伴って取得された複数の前記取得画像にそれぞれ複数の前記対象物が含まれ、かつ、前記複数の対象物のうちの少なくとも一部が同一の前記対象物である場合、それぞれの前記取得画像を用いて生成されるそれぞれの前記監視用画像に含まれる同一の位置に、同一の前記対象物の対象物画像を配置すると共に、前記時系列の変化に伴って、前記取得画像に含まれる一の前記対象物が他の前記対象物に置き換わった場合、前記一の前記対象物の前記対象物画像が表示されていた位置に、前記他の前記対象物の前記対象物画像を表示させる同一画像判定配置手段とを備えたことを特徴とする。

請求項２に記載の発明は、請求項１に記載の構成に加え、前記同一画像判定配置手段は、前記取得画像から対象物の識別に用いる特徴量情報を抽出し、抽出した前記特徴量情報を用いて、複数の対象物画像が同一の画像か否かを判定することを特徴とする。

請求項３に記載の発明は、請求項１又は２に記載の構成に加え、前記同一画像判定配置手段は、ニューラルネットワークを用いて前記特徴量情報の抽出、及び、前記複数の対象物画像が同一の画像か否かの判定のうち少なくとも一方を行うことを特徴とする。

請求項４に記載の発明は、請求項１乃至３の何れか一つに記載の構成に加え、前記対象物画像を含む領域画像を抽出する領域画像抽出手段を備え、前記監視用画像生成手段は、前記領域画像抽出手段によって抽出された１以上の前記領域画像を配置した監視用画像を生成することを特徴とする。

請求項５に記載の発明は、請求項１乃至４の何れか一つに記載の構成に加え、前記画像の画素数を削減して前記取得画像、及び前記監視用画像のうち少なくとも一方を縮小する画像縮小手段を備え、前記画像縮小手段は、前記取得画像、又は、前記取得画像及び前記監視用画像を、前記取得画像における前記対象物画像を含む領域の方が前記監視用画像における前記対象物を含む領域よりも高い縮小率となるように縮小することを特徴とする。

請求項６に記載の発明は、請求項１乃至５の何れか一つに記載の構成に加え、前記取得画像を送信する第一のストリーム送信手段と、前記監視用画像を送信する第二のストリーム送信手段とを含み、前記取得画像、及び前記監視用画像のうち少なくとも一方を送信する送信手段を備えることを特徴とする。

請求項７に記載の発明は、請求項１乃至５の何れか一つに記載の構成に加え、前記監視用画像生成手段は、前記取得画像と前記対象物画像とを含む監視用画像とを並べて配置した配置画像を生成し、前記取得画像、前記監視用画像、及び前記配置画像のうち少なくとも何れか一つを送信する送信手段を備えることを特徴とする。

請求項８に記載の発明は、請求項１乃至５の何れか一つに記載の構成に加え、前前記監視用画像生成手段は、前記取得画像上に対象物画像を含む監視用画像を重ね合わせて配置した重ね合わせ画像を生成し、前記取得画像、前記監視用画像、及び前記重ね合わせ画像のうち少なくとも何れか一つを送信する送信手段を備えることを特徴とする。

請求項９に記載の発明は、コンピュータによって実行される画像処理方法であって、動画像から、該動画像中の特定時点の画像としての取得画像を時系列に沿って複数取得する処理と、前記画像を取得する処理によって取得されたそれぞれの前記取得画像に含まれる、対象物の対象物画像を抽出する処理と、前記対象物の対象物画像を抽出する処理によって抽出された１以上の対象物画像を配置した監視用画像を生成する処理と、前記時系列の変化に伴って取得された複数の前記取得画像にそれぞれ複数の前記対象物が含まれ、かつ、前記複数の対象物のうちの少なくとも一部が同一の前記対象物である場合、それぞれの前記取得画像を用いて生成されるそれぞれの前記監視用画像に含まれる同一の位置に、同一の前記対象物の対象物画像を配置すると共に、前記時系列の変化に伴って、前記取得画像に含まれる一の前記対象物が他の前記対象物に置き換わった場合、前記一の前記対象物の前記対象物画像が表示されていた位置に、前記他の前記対象物の前記対象物画像を表示させる処理とを備えたことを特徴とする。

請求項１０に記載の発明は、画像処理プログラムであって、動画像から、該動画像中の特定時点の画像としての取得画像を時系列に沿って複数取得する処理と、前記画像を取得する処理によって取得されたそれぞれの前記取得画像に含まれる、対象物の対象物画像を抽出する処理と、前記対象物の対象物画像を抽出する処理によって抽出された１以上の対象物画像を配置した監視用画像を生成する処理と、前記時系列の変化に伴って取得された複数の前記取得画像にそれぞれ複数の前記対象物が含まれ、かつ、前記複数の対象物のうちの少なくとも一部が同一の前記対象物である場合、それぞれの前記取得画像を用いて生成されるそれぞれの前記監視用画像に含まれる同一の位置に、同一の前記対象物の対象物画像を配置すると共に、前記時系列の変化に伴って、前記取得画像に含まれる一の前記対象物が他の前記対象物に置き換わった場合、前記一の前記対象物の前記対象物画像が表示されていた位置に、前記他の前記対象物の前記対象物画像を表示させる処理とをコンピュータに実行させることを特徴とする。

請求項１、請求項９、請求項１０に記載の発明によれば、取得画像から抽出された対象物画像が、配置された監視用画像が生成されることにより、監視用画像には、取得画像中の監視対象である対象物が表示される。そして、監視用画像における対象物の位置は、取得画像中の対象物の位置などに依存しない態様とすることができるので、時間の経過にともなう取得画像中の対象物の位置などの変化の影響を抑止した監視用画像を生成できる。これにより、監視対象である対象物の監視を行いやすい画像を生成することが可能となる。

請求項１、請求項９、請求項１０に記載の発明によれば、複数の取得画像に同一の画像が存在する場合、各取得画像を用いて生成される監視用画像に含まれる同一の位置に同一の対象物の対象物画像を配置することにより、対象物の移動等にかかわらず、複数の監視用画像の同一の位置に同一の対象物の対象物画像を配置できるので、時間の経過に伴って対象物が移動したり複数の対象物の位置関係が入れ替わったりしても、監視用画像の同一の位置に同一の対象物を表示させ続けることができる。これにより、時間の経過に伴って監視用画像において同一の対象物の表示位置が頻繁に入れ替わるような事態を抑止して、監視対象である対象物を監視しやすい監視用画像を提供できる。

請求項２に記載の発明によれば、取得画像から抽出した特徴量情報を用いて、複数の対象物画像が同一の画像か否かを判定することにより、対象物が同一か否かを高い精度で判別できて、高い精度で監視用画像の同一の位置に同一の対象物を配置することができる。これにより、監視対象である対象物をより監視しやすい監視用画像を提供できる。

請求項３に記載の発明によれば、特徴量情報の抽出、及び複数の対象物画像が同一の画像か否かの判定のうち少なくとも一方にニューラルネットワークを用いることにより、特徴量情報に基づく同一の画像か否かの判別を、ニューラルネットワークの学習によって高い精度で行わせることができて、高い精度で監視用画像の同一位置に同一の対象物を配置することができる。これにより、監視対象である対象物をより監視しやすい監視用画像を提供できる。

請求項４に記載の発明によれば、対象物画像を含む領域画像を抽出して監視用画像とすることができるので、対象物の監視に用いる対象物画像の抽出を簡易な手順で行うことができ、処理の効率化を図ることができる。

請求項５に記載の発明によれば、画像縮小手段によって、取得画像、又は、取得画像及び監視用画像を、取得画像における対象物画像を含む領域の方が監視用画像における対象物画像を含む領域よりも高い縮小率となるように縮小することにより、撮影手段が撮影した全体の画像のデータ量を削減しつつ、対象物の監視に必要な画像を高い解像度の画像データとして生成できる。これにより、画像データ全体のデータ量を削減してネットワーク負荷を軽減させると共に、監視対象である対象物を容易に識別できる解像度の画像を生成できる。

請求項６に記載の発明によれば、第一のストリーム送信手段によって取得画像を送信し、第二のストリーム送信手段によって監視用画像を送信することにより、取得画像と監視用画像とを、一方の画像の通信状態が他方の画像の通信状態に影響を及ぼすことを抑止しつつ、ストリーム型のデータ通信による良好な通信状態でリアルタイムに送信することができる。

請求項７に記載の発明によれば、取得画像と対象物画像とを含む監視用画像とを並べて配置した配置画像を生成し、取得画像、監視用画像、及び配置画像のうち少なくとも一つを送信することにより、撮影手段が撮影した全体の画像と対象物の監視に必要な画像とが分離しない状態で一緒に送信できる。これにより、撮影手段が撮影した全体の画像とその全体の画像に含まれる監視対象である対象物とを容易に対照できる監視用画像を提供できる。

請求項８に記載の発明によれば、取得画像上に対象物画像を含む監視用画像を重ね合わせて配置した重ね合わせ画像を生成し、取得画像、監視用画像、及び重ね合わせ画像のうち少なくとも一つを送信することにより、撮影手段が撮影した全体の画像と対象物の監視に必要な画像とを対照しやすい状態で配置したものを送信できる。これにより、撮影手段が撮影した全体の画像とその全体の画像に含まれる監視対象である対象物とを容易に対照できる監視用画像を提供できる。

この実施の形態の画像処理装置を示す機能ブロック図である。 （ａ）同上画像処理装置における、特定の時点の取得画像から抽出した領域画像を監視用画像に配置した状態を示す模式図であり、（ｂ）前記（ａ）よりも後の時点で取得画像から抽出した領域画像を監視用画像に配置した状態を示す模式図である。 同上画像処理装置における処理手順を示すフローチャートである。 同上画像処理装置において、取得画像から領域画像を抽出する状態、及び、抽出した領域画像に基づいて監視用画像を生成し、生成した画像をストリーム型データ通信で監視装置に送信する状態の一例を模式的に示す図である。 同上画像処理装置において、取得画像から領域画像を抽出する状態、及び、抽出した領域画像に基づいて監視用画像を生成し、生成した画像をストリーム型データ通信で監視装置に送信する状態の他の例を模式的に示す図である。 同上画像処理装置において、同上画像処理装置において、取得画像から領域画像を抽出する状態、及び、抽出した領域画像に基づいて監視用画像を生成し、生成した画像をストリーム型データ通信で監視装置に送信する状態のさらに他の例を模式的に示す図である。

図１乃至図６にこの発明の実施の形態を示す。

［基本構成］
図１は、この実施の形態に係る画像処理システム１Ａの全体構造を示す機能ブロック図である。

［画像処理システム］
図１に示す画像処理システム１Ａは、「撮影手段」としての監視カメラ１、この実施の形態に係る画像処理装置２、「端末」としての監視装置３を備えている。監視カメラ１と画像処理装置２、画像処理装置２と監視装置３とはネットワーク４，５によって接続されている。

［監視カメラ］
監視カメラ１は、遠隔地の監視に用いられるカメラである。監視カメラ１は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子６を備えている。監視カメラ１は、監視を行う所定の空間、たとえば所定の室内や所定の屋外の地域などに設置される。監視カメラ１の撮像素子６は、監視カメラ１のレンズ（図示せず）から撮影された映像を、所定の画素数、たとえば１フレームあたり７６８０（横）×４３２０（縦）の画像（いわゆる８Ｋ画像）、１フレームあたり（横）４０９６×（縦）２０４８画素の画像（いわゆる４Ｋ画像）、あるいは１フレームあたり１９２０×１０８０画素（いわゆる２Ｋ画像）等で、所定のフレーム数、たとえば１秒あたり３０フレームの動画として撮像する。ただし、監視カメラ１によって撮像される画像の画素の大きさや単位時間あたりのフレーム数はどのようなものでもよい。なお、この実施の形態では、監視カメラ１は８Ｋ画像の動画を撮影するものとして以下説明する。

監視カメラ１で撮像された画像は画像データとして画像処理装置２に送信される。

［画像処理装置］
画像処理装置２は、監視カメラ１で撮影した画像を用いて監視画像（後述）を生成して監視装置３に送る機能を有する。画像処理装置２は、例えば、監視カメラ１内に設けられていてもよいし、監視カメラ１とは別に設けられていてもよい。画像処理装置２は、ＣＰＵを用いた処理やハードウェアロジックを用いた処理等により、所定の画像処理を行う。

図１の機能ブロック図に示すとおり、画像処理装置２は、「画像取得手段」としての画像取得部７、「対象物画像抽出手段」及び「対象物画像検出手段」としての顔画像検出部８、「対象物画像抽出手段」及び「領域画像抽出手段」としての顔画像抽出部９、「監視用画像生成手段」としての監視用画像生成部１０、「画像圧縮手段」としての画像縮小部１１、エンコーダ１２、「送信手段」としての送信部１３を備えている。また、監視用画像生成部１０は、「特徴量情報抽出手段」としての特徴量抽出部１４、「同一画像判定配置手段」としての判定・並べ替え部１５を備えている。これらの構成のうちの一部又は全部は、ハードウェアとして構成されていてもよいし、コンピュータで演算することで機能するプログラムとして構成されていてもよい。プログラムは、コンピュータ読み取り可能な非一時的な記録媒体に記憶されてもよい。記録媒体は、例えば、ＳＤメモリーカード（ＳＤ Ｍｅｍｏｒｙ Ｃａｒｄ）、ＦＤ（Ｆｌｏｐｐｙ Ｄｉｓｋ）、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＢＤ（Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｋ：）、およびフラッシュメモリなどの非一時的な記録媒体である。

画像取得部７は、監視カメラ１が撮影して送信した画像を取得する。取得された画像は、画像処理装置２において、画像取得部７によって取得された画像としての取得画像（以下単に「取得画像」と称する。）として扱われる。取得画像は、監視カメラ１から送られたフレームごとの画像を単位に生成される。

顔画像検出部８は、取得画像に含まれる、所定の対象物が撮影された画像である対象物画像を検出する。

顔画像検出部８は、物体検出用のニューラルネットワークのアルゴリズム、たとえばＹＯＬＯ（You Only Look Once）やＳＳＤ（Single Shot Multibox Detector）を用いた物体検出器としての機能を備え、取得画像内にある対象物を検出する。ここで、顔画像検出部８において、ニューラルネットワークを使用せずに、OpenCV等のアルゴリズムを使用することもできる。

なお、この実施の形態において、図１に示すように、「対象物」は人物１００の顔１０１であり、「対象物画像」は人物１００の顔１０１を撮影した顔画像である。また、この実施の形態において、顔画像検出部８は、ニューラルネットワークを用いて取得画像から特徴量を抽出することで、取得画像の中から顔画像を検出する。また、この実施の形態において、顔画像検出部８による顔画像の検出は、取得画像中の人物１００の顔位置、つまり人物１００の顔１０１が写っている位置を検出するものであるが、ここでの顔画像の検出は、取得画像中の顔画像を検出するものであればどのようなものでもよく、たとえば取得画像中にどの人物１００の顔１０１がどの向きで写っている、というような情報が取得されてもよい。

顔画像抽出部９は、顔画像検出部８によって検出された、顔画像を含む領域としての領域画像（以下単に「領域画像」と称する。）を抽出する。

監視用画像生成部１０は、顔画像抽出部９によって抽出された一又は複数の領域画像を所定の配置領域に配置した監視用画像（以下単に「監視用画像」と称する。詳細は後述する。）を生成する。

画像縮小部１１は、取得画像の画素数を削減して取得画像を縮小する。この実施の形態においては、画像縮小部１１においては、取得画像と領域画像のうち、取得画像のみを縮小するが、取得画像と領域画像の双方を縮小してもよい。

エンコーダ１２は、取得画像と監視用画像を符号化（エンコード）する。符号化には、例えばＨ．２６４やＨ．２６５のような画像圧縮プロトコルを用いる。

送信部１３は符号化した取得画像と監視用画像を監視装置３に送信する。この実施の形態において、送信部１３は、所定のプロトコル、例えばＨ．２６４やＨ．２６５で画像を符号化して、ストリーム型のデータ通信を行う。また、送信部１３は、複数系統のストリーム通信を行うことができ、取得画像と監視用画像とを２ストリーム化して別々の系統でストリーム型のデータ通信を行い、それぞれの画像を監視装置３に送信する。ただし、送信部１３は１系統のみのストリーム型のデータ通信のみにより、取得画像と監視用画像を同一のデータストリームとして通信を行うものでもよい。

特徴量抽出部１４は、取得画像から人物１００の顔１０１の識別に必要な特徴量の情報である特徴量情報を抽出する。この特徴量情報については後述する。

なお、この実施の形態において、特徴量抽出部１４は、特徴検出用のニューラルネットワークのアルゴリズム、たとえばVGG16やVGG-Faceを用いた特徴検出機能を備え、取得画像内の顔画像から特徴量情報を検出する。

判定・並べ替え部１５は、異なる時間に取得された複数の取得画像の中に同一の人物１００の顔１０１が撮影された顔画像である同一の画像（以下単に「同一画像」と称する。）が存在する場合、それぞれの取得画像に基づいて生成されるそれぞれの監視用画像の同一の位置（以下単に「同一位置」と称する。）に同一画像を配置する。この実施の形態において、判定・並べ替え部１５は、特徴量抽出部１４において抽出された特徴量を対比することで同一画像か否かを判定する。

［監視装置］
監視装置３は、パーソナルコンピュータ、スマートフォン、タブレット等、ネットワーク５を介して画像処理装置２とデータや信号の送受信が可能な端末である。監視装置３は、マウス、キーボード等の操作部３１と、ＬＣＤディスプレイ等の表示部３２とを有する。なお、操作部３１と表示部３２とは、タッチパネル式ディスプレイのように一体になったものであってもよい。

この実施の形態における監視装置３は、画像処理装置２から送られた画像を複号（デコード）して表示部３２に監視用画像を画像表示し、この監視用画像を監視者に視認させることにより監視を行わせるための装置として構成されている。ただし、監視装置３にニューラルネットワーク等を用いた画像認識による人物判定機能を設け、監視装置３が自動的に監視カメラ１で撮影した画像に写った人物１００の識別と監視とを行う構成であってもよい。

［ネットワーク］
ネットワーク４は監視カメラ１と画像処理装置２とを有線接続する通信媒体である。ネットワーク５は画像処理装置２と監視装置３とを有線接続又は無線接続する通信媒体である。ネットワーク４，５は、画像データと画像処理システム１Ａを制御する信号とを送受信できるものならば、どのような通信形式や通信媒体であってもよい。

［領域画像の抽出］
この実施の形態において、特徴量抽出部１４が領域画像から抽出する特徴量情報は、画像に含まれるベクトルの情報（つまり、画像の情報としては、「目」「鼻」等の顔１０１のパーツの位置、大きさ等の情報などよりも抽象的な、画像の特徴を表す情報）として取得される。そして、特徴量情報は、人物１００の顔１０１の識別に用いる特徴量の情報であり、具体的には、複数の領域画像に含まれる人物１００の顔１０１が同一人物の顔か否かを判定するために用いられる情報である。特徴量抽出部１４は、備えているニューラルネットワークの特徴量検出機能に取得画像を入力し、それぞれの領域画像から人物１００の顔１０１の識別に用いる特徴量情報を抽出する。そして、判定・並べ替え部１５においては、この特徴量情報を用いて、それぞれの領域画像に含まれる画像が同一画像か否か、即ち、同一人物の顔１０１か否かを判定する。

具体的には、特徴量抽出部１４は、例えばＶＧＧ１６の４０９６次元の特徴ベクトルなど、画像の特徴を適切に捉えられるニューラルネットワーク等を使用して、領域画像に含まれる顔が同一人物の顔１０１か否かを判定することが考えられる。ニューラルネットワークの特徴量を用いる場合には、例えば、前フレーム（の取得画像から抽出された領域画像）の顔画像と現フレーム（の取得画像から抽出された領域画像）の顔画像の４０９６次元の特徴ベクトルを計算し、それらの内積の値、もしくはベクトル距離を見ることにより、比較している顔画像が同一人物の顔画像か否かを判定することが考えられる。

なお、判定・並べ替え部１５における同一人物の顔画像か否かの判定には、特徴量抽出部１４で抽出された特徴量情報を用いずに、画像間の二乗誤差を使用することも考えられる。

そして、判定・並べ変え部１５は、特定の取得画像から抽出した領域画像と、その次に取得された取得画像の領域画像とが同一人物の顔画像を含む同一画像である可能性が高い場合は、前の領域画像を用いて生成した監視用画像に含まれる同一画像と同じ配置に、次の領域画像を用いて生成した監視用画像の同一画像を表示するようにする。

［領域画像の監視用画像への配置］
図２は、この実施の形態の画像処理システム１Ａの画像処理装置２における、領域画像を監視用画像に配置する際の処理の原理を模式的に示す図である。

図２の（ａ）に示すように、特定の時点の取得画像２１_１に人物１００_１の顔１０１_１、人物１００_２の顔１０１_２、人物１００_３の顔１０１_３が写った状態で、この取得画像２１から、人物１００_１の顔１０１_１の領域画像２３_１、人物１００_２の顔１０１_２の領域画像２３_２、人物１００_３の顔１０１_３の領域画像２３_３がそれぞれ生成されて監視用画像２２が生成された場合を考える。この場合、それぞれの人物１００が自由に空間内を移動すると、監視カメラ１で撮影した動画像のそれぞれのフレームに撮像された画像のそれぞれの人物１００の顔１０１は、時間の経過と共に移動したり大きさが変化したりする。図２の（ｂ）は、図２の（ａ）に示した取得画像２１_１が取得された後に取得画像２１_２が取得された状態を模式的に示したものである。この状態においては、人物１００_１と人物１００_３の左右方向の位置が入れ替わり、人物１００_２に替わって人物１００_４が写っている。実際の空間内の人物１００の撮影では、このように、時間の経過と共に取得画像２１中の人物１００の顔１０１同士の位置関係が入れ替わってしまったり、フレームごとに人物１００が現れたり、去ったりすることが頻繁に起こる。

このような状況では、顔画像検出部８における顔検出の順番は、ニューラルネットワークの特性により一定ではなくなる。そのため、顔画像検出部８において顔画像が検出された順番に、複数の領域画像２３を監視用画像２２の配置領域に配置していくと、顔１０１の表示順が、監視用画像２２ごとにめまぐるしく変わってしまい、監視装置３の表示部３２を監視する監視者等、監視対象である顔画像の視認性等が落ちることになる。

そこで、この実施の形態においては、特徴量抽出部１４の特徴量抽出の結果、複数の取得画像、たとえば特定の取得画像２１から抽出された領域画像２３と、その取得画像２１を生成した直後に生成された取得画像２１から抽出された領域画像２３とに、同一人物が写った同一画像が存在する場合には、判定・並べ替え部１５は、その同一画像を、それぞれの監視用画像２２の同一位置に配置するようにする。

例えば図２の（ｂ）の監視用画像２２においては、図２の（ａ）の監視用画像２２と同様に、一番左の領域画像２３_１に人物１００_１の顔１０１_１が、一番右の領域画像２３_３に人物１００_３の顔１０１_３が、それぞれ表示された状態が維持されている。一方、図２の（ｂ）においては、監視用画像２２の真ん中の領域画像２３_４には、（図２の（ａ）の取得画像２１_１から図２の（ｂ）の取得画像２１_２までの時間経過の過程で）画像に表示されなくなった人物１００_２の顔１０１_２に替えて、新たに表示された人物１００_４の顔１０１_４が表示されている。このように構成することで、同一人物の顔１０１（例えば図２の（ａ）（ｂ）における、人物１００_１の顔１０１_１、人物１００_３の顔１０１_３）の表示された監視用画像２２（例えば図２（ａ）の監視用画像２２_１、図２（ｂ）の監視用画像２２_２）上での位置が、時間の経過と共にめまぐるしく変わる事態が抑止される。

なお、以下の説明では、監視カメラ１が撮影した動画の隣接するフレーム同士から生成された取得画像２１（つまり、特定の取得画像２１と、その直後に取得された取得画像２１）を、同一画像の有無を判定する対象として説明するが、これに限定されず、同一画像か否かを判定できる態様であればどのような取得画像２１同士の判定をおこなってもよい。たとえば、隣接する３つ以上のフレームからなる取得画像２１に共通して同一人物の顔１０１が写っている場合を同一画像としてもよいし、所定の枚数ごと、例えば１０フレームごとに取得された取得画像２１に共通して同一人物の顔１０１が写っている場合を同一画像としてもよい。

また、この実施の形態の判定・並べ替え部１５は、監視用画像２２の同じ位置に同一画像を表示させるのではなく、人物１００ごとにＩＤを振り、予め設定された人物１００ごとの表示位置にそれぞれの人物１００の写った領域画像２３が表示されるように並べ変えを行って、監視用画像２２を生成してもよい。

［処理手順］
図３は、この実施の形態の画像処理システム１Ａの処理手順を示すフローチャートである。以下、このフローチャートに基づいてこの実施の形態の処理手順を説明する。

まず、画像処理システム１Ａを用いて遠隔監視を行う監視者（以下単に「監視者」と称する。）が画像処理システム１Ａを起動すると、監視カメラ１は所定の空間を動画で撮影する（ステップＳ１）。監視カメラ１は高解像度の画像（ここでは８Ｋの画像）を動画として取得する。監視カメラ１が撮影した画像はネットワーク４を介して画像処理装置２に送られる。

画像処理装置２においては、画像取得部７が監視カメラ１から送られた画像を取得する（ステップＳ２）。画像取得部７が取得した取得画像２１は、顔画像検出部８に送られる。顔画像検出部８は、取得画像２１を所定のフォーマットに縮小するための処理（例えば画素数を減少させて８Ｋの取得画像２１をより解像度の低い取得画像２１にする処理）を行う。この処理ののち、顔画像検出部８は、備えているニューラルネットワークの顔検出機能に取得画像２１を入力し、取得画像２１中に含まれる顔位置を検出する（ステップＳ３）。

図４には、ステップＳ２に顔位置を検出する状態を模式的に示している。具体的には、顔画像検出部８は、取得画像２１中の顔位置の情報として、ｘ，ｙ，ｗ，ｈの４変数を取得する。なお、ここで、ｘ，ｙ，ｗ，ｈの４変数は、例えば、（ｘ，ｙ）が画像の左上座標（元の取得画像２１_１の特定の画素の座標位置Ｐ（ｘ，ｙ）を示す情報である。この座標位置Ｐが、抽出する領域画像２３_１の左上の頂点にあたる。）を示し、ｗが画像の幅（抽出する領域画像２３_１の幅方向の大きさ）を示し、ｈが画像の高さ（抽出する領域画像２３_１の高さ方向の大きさ）を示している。

次に、顔画像抽出部９は、顔画像検出部８が検出した顔部分を切り出して領域画像２３を抽出する（ステップＳ４）。

図４は、取得画像２１から領域画像２３を抽出する状態、及び、抽出した領域画像２３に基づいて監視用画像２２を生成する状態を模式的に示す図である。同図に示すとおり、例えば領域画像２３_１は、元の取得画像２１に写った人物１００_１の顔１０１_１の近傍を抽出した、元の取得画像２１のｘ，ｙ座標の位置を左上の頂点とし、幅ｗ、高さｈの矩形の画像となっている。この領域画像２３_１は元の取得画像２１よりも少ない画素数の画像、ここでは２Ｋの画像となっている。

なお、この実施の形態では、画像縮小部１１で、元の取得画像２１の画素数を減少させる処理（例えば、８Ｋの画像の画素数を減少させて２Ｋの取得画像２１とする処理）を行ったのちにエンコーダ１２での符号化処理と監視装置３への送信とを行っているが、領域画像２３は、元の取得画像２１から一部分を切り取って２Ｋの画像としているので、取得画像２１を２Ｋの画像とすることで、取得画像２１の人物１００の顔１０１が撮影された部分だけは実質的に８Ｋの画像の画質を保持してエンコーダ１２による符号化処理や監視装置３への送信を行うことができる。つまり、この実施の形態においては、エンコーダ１２の処理能力が低かったり、ネットワーク５の帯域が狭かったりしても、符号化の遅延や通信の遅延等の不具合が起こる事態を抑止し、高い解像度の監視カメラ１で撮影した画像を活用した監視を行うことができるようになる。

次に、監視用画像生成部１０は、顔画像抽出部９によって抽出された一又は複数の領域画像２３によって監視用画像２２を生成する（ステップＳ５）。

ステップＳ４の手順を詳述すると、まず、特徴量抽出部１４は、領域画像２３を所定のフォーマットに縮小するための処理（例えば画素数を減少させて２Ｋの領域画像２３をより解像度の低い領域画像２３にする処理）を行う。この処理ののち、特徴量抽出部１４は、領域画像２３から特徴量情報を抽出する（ステップＳ５１）。

判定・並べ替え部１５は、特徴量抽出部１４において抽出された、領域画像２３ごとの特徴量情報を対比する。そして、隣接する取得画像２１（つまり、例えば図２の（ａ）に示す、監視カメラ１が撮影した特定のフレームにより生成された取得画像２１_１と、図２の（ｂ）に示す、そのフレームの次のフレームにより生成された取得画像２１_２）から取得された顔画像の特徴量情報が同一又は所定の類似範囲内のものである場合、判定・並べ替え部１５は、それらの顔画像は同一人物の顔画像すなわち同一画像であると判定する。

そして、判定・並べ替え部１５は、隣接する取得画像２１から抽出された複数の領域画像２３が同一画像である場合、それぞれの取得画像２１に基づいて生成されるそれぞれの領域画像２３を並べ変えて、監視用画像２２の同一位置に同一画像を配置する（ステップＳ５２）。また、同一画像ではない領域画像２３は、判定・並べ替え部１５の所定の処理によって、監視用画像２２の同一画像が配置されていない配置領域に配置される。

以上のステップＳ５の処理により、監視用画像生成部１０において監視用画像２２が生成される。なお、監視用画像２２に配置されるそれぞれの領域画像２３は２Ｋ画像の画素数となっている。

画像縮小部１１は、上述の顔画像検出部８～顔画像抽出部９～監視用画像生成部１０での処理とは別系統の処理により、画像取得部７が監視カメラ１から取得した取得画像２１の画素数を減少させる縮小処理を行う（ステップＳ６）。この実施の形態では、画像縮小部１１は、元の取得画像２１の８Ｋ画像の画素数を２Ｋ画像の画素数に減少させた取得画像２１を生成する処理を行う。このような処理を行うことで、画像のデータ量を削減できるので、エンコーダ１２の符号化処理の能力では監視カメラ１で撮影した画素数の画像を処理できない場合であっても、適正に符号化を行うことができ、また、画像データを送る際のネットワーク５の帯域の負荷が過大となる事態を抑制できる。

エンコーダ１２は、ステップＳ４で生成された監視用画像２２とステップＳ５で生成された取得画像２１とを符号化（エンコード）する（ステップＳ７）。

そして、送信部１３は符号化した取得画像２１と監視用画像２２とを監視装置３に送信する（ステップＳ８）。ここで、送信部１３は、図４に示すように、「第一のストリーム送信手段」としての取得画像用ストリーム２４と、「第二のストリーム送信手段」としての監視用画像用ストリーム２５の２系統のデータストリームによって画像を監視装置３に送信してもよい。

なお、送信部１３は、取得画像２１と監視用画像２２を１つの画像にまとめた態様の画像を生成し、１系統のデータストリーム２８によって監視装置３に送信してもよい。例えば、図５に示す他の例のように、送信部１３は、上半分を取得画像２１、下半分を監視用画像２２のように並べて配置した配置画像２６を生成してデータストリーム２８によって監視装置３に送信してもよい。また、図６に示す更に他の例のように、送信部１３は、取得画像２１の上に監視用画像２２をウィンドウ表示のような形で重ね合わせて配置した重ね合わせ画像２７を生成してデータストリーム２８によって監視装置３に送信してもよい。また、監視装置３等からの遠隔操作で、画像処理装置２が監視装置３に送信する画像を、特定の監視用画像２２（例えば、特定の人物１００の顔１０１が撮影された特定の領域画像２３）がズームされたものとして送信してもよいし、取得画像２１の送信と監視用画像２２との送信を切り替えられるようにしてもよい。

以上、この実施の形態においては、取得画像２１から抽出された顔画像が配置された監視用画像２２が生成されることにより、監視用画像２２には、取得画像２１中の監視対象である顔画像が表示される。そして、監視用画像２２における顔画像の位置は、取得画像２１中の人物１００の顔１０１の位置などに依存しない態様とすることができるので、時間の経過にともなう取得画像２１中の人物１００の顔１０１の位置などの変化の影響を抑止した監視用画像２２を生成できる。これにより、監視対象である人物１００の顔１０１の監視を行いやすい画像を生成することが可能となる。

この実施の形態においては、複数の取得画像２１に同一人物の顔１０１が撮影された同一の画像が存在する場合、各取得画像２１を用いて生成される監視用画像２２に含まれる同一の位置に同一の人物の顔画像を配置することにより、人物１００の移動等にかかわらず、複数の監視用画像２２の同一の位置に同一の人物の顔画像を配置できるので、時間の経過に伴って人物１００の顔１０１が移動したり複数の人物１００の顔１０１の位置関係が入れ替わったりしても、監視用画像２２の同一の位置に同一の人物の顔画像を表示させ続けることができる。これにより、時間の経過に伴って監視用画像２２において同一の人物の顔１０１が表示された位置が頻繁に入れ替わるような事態を抑止して、監視対象である人物１００の顔１０１を監視しやすい監視用画像２２を提供できる。

この実施の形態においては、取得画像２１から抽出した特徴量情報を用いて、複数の顔画像が同一人物の顔画像か否かを判定することにより、撮影された人物１００が同一か否かを高い精度で判別できて、高い精度で監視用画像２２の同一の位置に同一の人物の顔画像を配置することができる。これにより、監視対象である人物１００の顔１０１をより監視しやすい監視用画像２２を提供できる。

この実施の形態においては、特徴量情報の抽出や複数の顔画像が同一の画像か否かの判定にニューラルネットワークを用いることにより、特徴量情報に基づいた同一人物の顔画像か否かの判別を、ニューラルネットワークの学習によって高い精度で行わせることができて、高い精度で監視用画像２２の同一位置に同一人物の顔画像を配置することができる。これにより、監視対象である人物１００の顔１０１をより監視しやすい監視用画像２２を提供できる。

この実施の形態においては、顔画像を含む領域画像２３を抽出して監視用画像２２とすることができるので、監視対象である人物１００の監視に用いる顔画像の抽出を簡易な手順で行うことができ、処理の効率化を図ることができる。

この実施の形態においては、画像縮小部１１によって、取得画像２１、又は、取得画像２１及び監視用画像２２を、取得画像２１における顔画像を含む領域の方が監視用画像２２における顔画像を含む領域よりも高い縮小率となるように縮小することにより、監視カメラ１が撮影した全体の画像のデータ量を削減しつつ、監視対象である人物１００の顔１０１の監視に必要な画像を高い解像度の画像データとして生成できる。これにより、画像データ全体のデータ量を削減してネットワーク負荷を軽減させると共に、監視対象である人物１００の顔１０１を容易に識別できる解像度の画像を生成できる。

この実施の形態においては、第一のストリーム送信手段によって取得画像２１を送信し、第二のストリーム送信手段によって監視用画像２２を送信することにより、取得画像２１と監視用画像２２とを、一方の画像の通信状態が他方の画像の通信状態に影響を及ぼすことを抑止しつつ、ストリーム型通信による良好な通信状態でリアルタイムに送信することができる。

この実施の形態においては、取得画像２１と顔画像とを含む監視用画像２２とを並べて配置した配置画像２６を生成し、取得画像２１、監視用画像２２、及び配置画像２６のうち少なくとも何れか一つを送信することにより、監視カメラ１が撮影した全体の画像と監視対象である人物１００の監視に必要な画像とが分離しない状態で一緒に送信できる。これにより、監視カメラ１が撮影した全体の画像とその全体の画像に含まれる監視対象である人物１００の顔１０１とを容易に対照できる監視用画像２２を提供できる。

この実施の形態においては、取得画像２１上に顔画像を含む監視用画像２２を重ね合わせて配置した重ね合わせ画像２７を生成し、取得画像２１、監視用画像２２、及び重ね合わせ画像２７のうち少なくとも何れか一つを送信することにより、監視カメラ１が撮影した全体の画像と監視対象である人物１００の監視に必要な画像とを対照しやすい状態で配置したものを送信できる。これにより、撮影手段が撮影した全体の画像とその全体の画像に含まれる監視対象である人物１００の顔１０１とを容易に対照できる監視用画像２２を提供できる。

なお、この実施の形態においては、顔画像抽出部９は、取得画像２１から、顔画像検出部８によって検出された、顔画像を含む領域としての領域画像２３を抽出し、監視用画像２２を生成する構成としたが、これに替えて、顔画像抽出部９が取得画像２１から顔画像検出部８によって検出された顔画像のみを抽出し、この顔画像のみによって監視用画像２２を生成する構成としてもよい。

また、この実施の形態においては、監視対象である対象物を人物１００の顔１０１としたが、これに限定されず、対象物は、人物１００の顔１０１以外、例えば全身像や手や足等であってもよいし、人物１００以外、例えば動物や昆虫や植物などでもよいし、自動車や飛行機や電車等であってもよい。

上記実施の形態は本発明の例示であり、本発明が上記実施の形態のみに限定されることを意味するものではないことは、いうまでもない。

１・・・監視カメラ（撮影手段）
２・・・画像処理装置
７・・・画像取得部（画像取得手段）
８・・・顔画像検出部（対象物画像抽出手段、対象物画像検出手段）
９・・・顔画像抽出部（対象物画像抽出手段、領域画像抽出手段）
１０・・・監視用画像生成部（監視用画像生成手段）
１１・・・画像縮小部（画像縮小手段）
１３・・・送信部（送信手段）
１５・・・判定・並べ替え部（同一画像判定配置手段）
２１，２１_１，２１_２・・・取得画像
２２，２２_１，２２_２・・・監視用画像
２３，２３_１，２３_２，２３_３・・・領域画像
２４・・・取得画像用ストリーム（第一のストリーム送信手段）
２５・・・監視用画像用ストリーム（第二のストリーム送信手段）
２６・・・配置画像
２７・・・重ね合わせ画像
１００，１００_１，１００_２，１００_３，１００_４・・・人物
１０１，１０１_１，１０１_２，１０１_３，１０１_４・・・顔

Claims (10)

1. 動画像から、該動画像中の特定時点の画像としての取得画像を時系列に沿って複数取得する画像取得手段と、
   前記画像取得手段によって取得されたそれぞれの前記取得画像に含まれる、対象物の対象物画像を抽出する対象物画像抽出手段と、
   前記対象物画像抽出手段によって抽出された１以上の対象物画像を配置した監視用画像を生成する監視用画像生成手段と、
   前記時系列の変化に伴って取得された複数の前記取得画像にそれぞれ複数の前記対象物が含まれ、かつ、前記複数の対象物のうちの少なくとも一部が同一の前記対象物である場合、それぞれの前記取得画像を用いて生成されるそれぞれの前記監視用画像に含まれる同一の位置に、同一の前記対象物の対象物画像を配置すると共に、前記時系列の変化に伴って、前記取得画像に含まれる一の前記対象物が他の前記対象物に置き換わった場合、前記一の前記対象物の前記対象物画像が表示されていた位置に、前記他の前記対象物の前記対象物画像を表示させる同一画像判定配置手段と
   を備えたことを特徴とする画像処理装置。
2. 前記同一画像判定配置手段は、前記取得画像から対象物の識別に用いる特徴量情報を抽出し、抽出した前記特徴量情報を用いて、複数の対象物画像が同一の画像か否かを判定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記同一画像判定配置手段は、ニューラルネットワークを用いて前記特徴量情報の抽出、及び前記複数の対象物画像が同一の画像か否かの判定のうち少なくとも一方を行う
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記対象物画像抽出手段は、
   前記対象物画像を含む領域の領域画像を抽出する領域画像抽出手段を備え、
   前記監視用画像生成手段は、前記領域画像抽出手段によって抽出された１以上の前記領域画像を配置した監視用画像を生成する
   ことを特徴とする請求項１乃至３の何れか一つに記載の画像処理装置。
5. 前記画像の画素数を削減して前記取得画像、及び前記監視用画像のうち少なくとも一方を縮小する画像縮小手段を備え、
   前記画像縮小手段は、前記取得画像、又は、前記取得画像及び前記監視用画像を、前記取得画像における前記対象物画像を含む領域の方が前記監視用画像における前記対象物画像を含む領域よりも高い縮小率となるように縮小する
   ことを特徴とする請求項１乃至４の何れか一つに記載の画像処理装置。
6. 前記取得画像を送信する第一のストリーム送信手段と、前記監視用画像を送信する第二のストリーム送信手段とを含み、前記取得画像、及び前記監視用画像のうち少なくとも一方を送信する送信手段を備えることを特徴とする請求項１乃至５の何れか一つに記載の画像処理装置。
7. 前記監視用画像生成手段は、
   前記取得画像と前記対象物画像とを含む監視用画像とを並べて配置した配置画像を生成し、
   前記取得画像、前記監視用画像、及び前記配置画像のうち少なくとも何れか一つを送信する送信手段を備えることを特徴とする請求項１乃至５の何れか一つに記載の画像処理装置。
8. 前記監視用画像生成手段は、
   前記取得画像上に前記対象物画像を含む監視用画像を重ね合わせて配置した重ね合わせ画像を生成し、
   前記取得画像、前記監視用画像、及び前記重ね合わせ画像のうち少なくとも何れか一つを送信する送信手段を備えることを特徴とする請求項１乃至５の何れか一つに記載の画像処理装置。
9. コンピュータによって実行される画像処理方法であって、
   動画像から、該動画像中の特定時点の画像としての取得画像を時系列に沿って複数取得する処理と、
   前記画像を取得する処理によって取得されたそれぞれの前記取得画像に含まれる、対象物の対象物画像を抽出する処理と、
   前記対象物の対象物画像を抽出する処理によって抽出された１以上の対象物画像を配置した監視用画像を生成する処理と、
   前記時系列の変化に伴って取得された複数の前記取得画像にそれぞれ複数の前記対象物が含まれ、かつ、前記複数の対象物のうちの少なくとも一部が同一の前記対象物である場合、それぞれの前記取得画像を用いて生成されるそれぞれの前記監視用画像に含まれる同一の位置に、同一の前記対象物の対象物画像を配置すると共に、前記時系列の変化に伴って、前記取得画像に含まれる一の前記対象物が他の前記対象物に置き換わった場合、前記一の前記対象物の前記対象物画像が表示されていた位置に、前記他の前記対象物の前記対象物画像を表示させる処理とを備えたことを特徴とする画像処理方法。
10. 動画像から、該動画像中の特定時点の画像としての取得画像を時系列に沿って複数取得する処理と、
    前記画像を取得する処理によって取得されたそれぞれの前記取得画像に含まれる、対象物の対象物画像を抽出する処理と、
    前記対象物の対象物画像を抽出する処理によって抽出された１以上の対象物画像を配置した監視用画像を生成する処理と、
    前記時系列の変化に伴って取得された複数の前記取得画像にそれぞれ複数の前記対象物が含まれ、かつ、前記複数の対象物のうちの少なくとも一部が同一の前記対象物である場合、それぞれの前記取得画像を用いて生成されるそれぞれの前記監視用画像に含まれる同一の位置に、同一の前記対象物の対象物画像を配置すると共に、前記時系列の変化に伴って、前記取得画像に含まれる一の前記対象物が他の前記対象物に置き換わった場合、前記一の前記対象物の前記対象物画像が表示されていた位置に、前記他の前記対象物の前記対象物画像を表示させる処理とをコンピュータに実行させることを特徴とする画像処理プログラム。

Images