JP2020201879A

JP2020201879A - 画像処理装置、および、画像処理プログラム

Info

Publication number: JP2020201879A
Application number: JP2019110437A
Authority: JP
Inventors: 木村　真敏; Masatoshi Kimura; 真敏木村; 智弘石田; Tomohiro Ishida
Original assignee: Fujitsu Client Computing Ltd
Current assignee: Fujitsu Client Computing Ltd
Priority date: 2019-06-13
Filing date: 2019-06-13
Publication date: 2020-12-17
Anticipated expiration: 2039-06-13
Also published as: JP6820489B2

Abstract

【課題】画像中の歪みを考慮して魚眼画像を機械学習に高い認識精度で用いる。【解決手段】画像処理装置は、魚眼レンズを備える撮影手段によって撮影された魚眼画像を取得する取得部と、前記魚眼画像を周方向に複数の分割画像に分割する分割部と、複数の前記分割画像それぞれを矩形の平面画像に変換する変換部と、複数の前記平面画像をつなぎ合わせて矩形の合成平面画像を作成する合成部と、前記合成平面画像と、平面画像に関する機械学習によって学習済みの第１の推論モデルと、に基づいて、前記合成平面画像に写っている物体を推論する第１の推論部と、を備える。【選択図】図１

Description

本発明は、画像処理装置、および、画像処理プログラムに関する。

近年、撮影画像を用いた機械学習（推論を含む。）の研究開発が盛んに行われている。また、従来から、一般的な撮影画像のほかに、魚眼レンズを使って広範囲を撮影した画像である魚眼画像がある。魚眼画像を機械学習に用いることができれば、様々な点で有益である。

特開２０１６−４８８３４号公報特開２０１２−２５３７２３号公報特開２０１０−２１７９８４号公報国際公開第２０１３／００１９４１号特表２０１４−５１９０９１号公報特開２０１２−２２６６４５号公報特開２０１２−２３０５４６号公報

しかしながら、魚眼画像は、画像中の位置によって被写体が異なる歪み方をしているので、機械学習に高い認識精度で用いるのは容易ではない。

そこで、本発明は、上記事情に鑑みてなされたものであり、画像中の歪みを考慮して魚眼画像を機械学習に高い認識精度で用いることができる画像処理装置、および、画像処理プログラムを提供することを目的とする。

本発明の第１態様に係る画像処理装置は、魚眼レンズを備える撮影手段によって撮影された魚眼画像を取得する取得部と、前記魚眼画像を周方向に複数の分割画像に分割する分割部と、複数の前記分割画像それぞれを矩形の平面画像に変換する変換部と、複数の前記平面画像をつなぎ合わせて矩形の合成平面画像を作成する合成部と、前記合成平面画像と、平面画像に関する機械学習によって学習済みの第１の推論モデルと、に基づいて、前記合成平面画像に写っている物体を推論する第１の推論部と、を備える。

また、画像処理装置において、例えば、前記合成部は、複数の前記平面画像をつなぎ合わせて矩形の前記合成平面画像を作成する際に、前記合成平面画像の縦と横の長さの比が１：１に近づくように、複数の前記平面画像をつなぎ合わせて矩形の前記合成平面画像を作成する。

また、画像処理装置において、例えば、前記分割部は、前記魚眼画像を周方向に複数の分割画像に分割する際に、過去の魚眼画像中の移動物体に関する統計情報に基づいて、移動物体が多い領域ほど分割位置にならないようにして、前記魚眼画像を周方向に複数の分割画像に分割する。

また、画像処理装置において、例えば、前記分割部は、前記統計情報に基づいて、魚眼画像中の移動物体が多い２つの領域が分割位置にならないようにして、前記魚眼画像を周方向に２つの分割画像に分割する際に、前記魚眼画像の中心から当該２つの領域それぞれの中心までの直線同士のなす角度が９０度未満の場合は、当該２つの領域が同じ側になるように、前記魚眼画像を、前記魚眼画像の中心を通る１本の線で周方向に分割し、当該角度が９０度以上の場合は、当該２つの領域が反対側になるように、前記魚眼画像を、前記魚眼画像の中心を通る１本の線で周方向に分割する。

また、画像処理装置において、例えば、前記分割部は、前記統計情報を元に魚眼画像中の領域を移動物体の出現頻度で分類した情報であるヒートマップ情報に基づいて、移動物体が多い領域ほど分割位置にならないようにして、前記魚眼画像を周方向に複数の分割画像に分割する。

また、画像処理装置において、例えば、前記画像処理装置は、前記魚眼画像から光軸中心を含む中央画像を抽出する中央画像抽出部と、前記中央画像と、中央画像に関する機械学習によって学習済みの第２の推論モデルと、に基づいて、前記中央画像に写っている物体を推論する第２の推論部と、をさらに備える。

また、画像処理装置において、例えば、前記取得部は、撮影対象領域を鉛直下向きに撮影するように設置されている前記撮影手段によって撮影された前記魚眼画像を取得する。

本発明の第２態様に係る画像処理プログラムは、コンピュータを、魚眼レンズを備える撮影手段によって撮影された魚眼画像を取得する取得部と、前記魚眼画像を周方向に複数の分割画像に分割する分割部と、複数の前記分割画像それぞれを矩形の平面画像に変換する変換部と、複数の前記平面画像をつなぎ合わせて矩形の合成平面画像を作成する合成部と、前記合成平面画像と、平面画像に関する機械学習によって学習済みの第１の推論モデルと、に基づいて、前記合成平面画像に写っている物体を推論する第１の推論部と、して機能させる。

本発明の上記第１態様、上記第２態様によれば、画像中の歪みを考慮して魚眼画像を機械学習に高い認識精度で用いることができる。

図１は、実施形態の画像処理装置の機能構成を示すブロック図である。図２は、実施形態の魚眼画像例の模式図である。図３は、実施形態の魚眼画像例における中央画像の抽出領域を示す図である。図４は、実施形態の魚眼画像例における外周側画像の抽出領域を示す図である。図５は、実施形態において、外周側画像に基づいて作成した合成平面画像（（ａ））と、抽出された中央画像（（ｂ））と、を示す図である。図６は、実施形態の画像処理装置による第１の処理を示すフローチャートである。図７は、図６の第１の処理における分割位置設定処理の詳細を示すフローチャートである。図８は、実施形態において、ヒートマップにおける人物集中領域が１つの場合の外周側画像の分割位置の設定例の説明図である。図９は、実施形態において、ヒートマップにおける人物集中領域が２つの場合の外周側画像の分割位置の第１の設定例の説明図である。図１０は、実施形態において、ヒートマップにおける人物集中領域が２つの場合の外周側画像の分割位置の第２の設定例の説明図である。図１１は、実施形態の画像処理装置による第２の処理を示すフローチャートである。

以下、添付図面を参照して、画像処理装置、および、画像処理プログラムの実施形態について詳細に説明する。

図１は、実施形態の画像処理装置１の機能構成を示すブロック図である。画像処理装置１は、撮影画像を用いた機械学習（推論を含む。）を実行するコンピュータ装置である。この機械学習では、例えば、カメラにより得られた撮影画像に対して画像処理を行って、画像中の人物や顔を検出することで学習を行う。また、機械学習としては、例えば、ディープラーニング（深層学習）を用いる。

ディープラーニングは、多層構造のニューラルネットワークを用いた機械学習であり、多くの分野で有効性が確認されている。例えば、ディープラーニングは、画像・音声の認識において人間に匹敵するほど高い認識精度を実現している。

ディープラーニングでは、識別対象に関する教師データを用いた学習（教師あり学習）を行うことにより、ニューラルネットワークに自動的に識別対象の特徴を学習する。そして、ディープラーニングでは、特徴を学習したニューラルネットワークを用いて識別対象を識別（推論）する。

例えば、推論処理として画像における人物検出を例にとると、ディープラーニングでは、人物全体が写った大量の画像を学習用の画像として教師あり学習を行うことにより、画像に写った人物全体の特徴をニューラルネットワークに自動的に学習する。あるいは、推論処理として画像における顔検出を例にとると、ディープラーニングでは、人物の顔が写った大量の画像を学習用の画像として教師あり学習を行うことにより、画像に写った人物の顔の特徴をニューラルネットワークに自動的に学習する。

ディープラーニングでは、このように特徴を学習したニューラルネットワークを用いることで、画像に写った識別対象を識別することなどの推論処理が可能な学習済みの推論モデルを生成できる。

このようなディープラーニングなどの機械学習に、魚眼レンズを使って広範囲を撮影した画像である魚眼画像を用いることができれば、様々な点で有益である。しかし、魚眼画像は、画像中の位置によって被写体が異なる歪み方をしているので、機械学習に高い認識精度で用いるのは容易ではない。なお、以下では、特に、撮影対象領域を鉛直下向きに撮影するように設置されている魚眼カメラ（以下、単に「カメラ」とも称する。）によって撮影された魚眼画像を例にとって説明する。

そのような魚眼画像では、画像中の位置によって被写体の歪み方（映る角度、大きさ）が異なり、したがって認識する特徴も異なるため、認識精度に誤差が生じてしまう。また、この魚眼画像を平面展開すると画像中心に近いほど被写体が大きく引き伸ばされてしまい、認識精度にさらに誤差が生じてしまう。そこで、以下では、画像中の歪みを考慮して魚眼画像を機械学習に高い認識精度で用いることができる技術について説明する。

図１に示すように、画像処理装置１は、処理部２、記憶部３、入力部４、表示部５、および、通信部６を備える。

処理部２は、例えばＣＰＵ（Central Processing Unit）によって構成され、記憶部３に記憶された画像処理プログラムを実行することで実現される機能構成として、取得部２１、中央画像抽出部２２、外周側画像抽出部２３、分割部２４、変換部２５、合成部２６、第１の推論部２７、および、第２の推論部２８を備える。なお、以下において、処理部２における各部２１〜２８以外の処理については、動作主体を「処理部２」と表記する。

取得部２１は、魚眼レンズを備えるカメラ１００（撮影手段）によって撮影された魚眼画像を取得し、記憶部３に格納する。

中央画像抽出部２２は、魚眼画像から光軸中心を含む中央画像（例えば矩形の中央画像）を抽出する。外周側画像抽出部２３は、魚眼画像から光軸中心を含む所定領域より外周側に存在する外周側画像を抽出する。

分割部２４は、外周側画像を周方向に複数の分割画像に分割する。例えば、分割部２４は、外周側画像を周方向に複数の分割画像に分割する際に、過去の魚眼画像中の移動物体に関する統計情報に基づいて、移動物体が多い領域ほど分割位置にならないようにして、外周側画像を周方向に複数の分割画像に分割する。

また、例えば、分割部２４は、統計情報に基づいて、魚眼画像中の移動物体が多い２つの領域が分割位置にならないようにして、外周側画像を周方向に２つの分割画像に分割する際に、魚眼画像の中心から当該２つの領域それぞれの中心までの直線同士のなす角度が９０度未満の場合は、当該２つの領域が同じ側になるように、外周側画像を、魚眼画像の中心を通る１本の線で周方向に分割する。また、分割部２４は、当該角度が９０度以上の場合は、当該２つの領域が反対側になるように、外周側画像を、魚眼画像の中心を通る１本の線で周方向に分割する。

また、例えば、分割部２４は、統計情報を元に魚眼画像中の領域を移動物体の出現頻度で分類した情報であるヒートマップ情報に基づいて、移動物体が多い領域ほど分割位置にならないようにして、外周側画像を周方向に複数の分割画像に分割する。

変換部２５は、複数の分割画像それぞれを矩形の平面画像に変換する。合成部２６は、複数の平面画像をつなぎ合わせて矩形の合成平面画像を作成する際に、合成平面画像の縦と横の長さの比が１：１に近づくように（つまり、複数のつなぎ合わせ方のうち、縦と横の長さの比が１：１に一番近いつなぎ合わせ方で）、複数の平面画像をつなぎ合わせて矩形の合成平面画像を作成する。

第１の推論部２７は、合成平面画像と、平面画像に関する機械学習によって学習済みの第１の推論モデルと、に基づいて、合成平面画像に写っている物体を推論する。

第２の推論部２８は、中央画像と、中央画像に関する機械学習によって学習済みの第２の推論モデルと、に基づいて、中央画像に写っている物体を推論する。各部２１〜２８の処理の詳細については、図２以降を用いて後述する。

記憶部３は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などから構成される。

記憶部３は、例えば、統計情報、ヒートマップ情報、第１の推論モデル、第２の推論モデル等を記憶する。統計情報は、上述のように、過去の魚眼画像中の移動物体に関する統計情報である。ヒートマップ情報は、統計情報を元に魚眼画像中の領域を移動物体の出現頻度で分類した情報である。

第１の推論モデルは、平面画像に関する機械学習によって学習済みの推論モデルである。第２の推論モデルは、中央画像に関する機械学習によって学習済みの推論モデルである。つまり、画像処理装置１では、魚眼画像において画像中の位置によって被写体が異なる歪み方をしていることを考慮して、外周側画像を変換した平面画像に関する第１の推論モデルと、中央画像に関する第２の推論モデルと、を別々に用意する。これにより、高精度の物体認識が可能となる。

入力部４は、ユーザが各種情報を入力するための手段であり、例えば、キーボード、マウス、タッチパネル等によって構成される。

表示部５は、各種情報を表示するための手段であり、例えば、液晶ディスプレイやタッチパネル等によって構成される。

通信部６は、カメラ１００等の外部装置と通信するための手段であり、例えば、通信インタフェース等によって構成される。

図２は、実施形態の魚眼画像例の模式図である。図２における魚眼画像Ｆ１は、カメラ１００によって撮影対象領域を鉛直下向きに撮影して得られた画像である。魚眼画像Ｆ１では、画像中の位置によって人物の映る角度や大きさが異なっている。具体的には、画像の中心に近いほど人物は頭頂部方向から撮影されたように、かつ、大きく写り、また、画像の中心から遠いほど人物は水平方向から撮影されたように、かつ、小さく写っている。

ここで、図３は、実施形態の魚眼画像例における中央画像の抽出領域を示す図である。図３の魚眼画像Ｆ１において、領域Ｒ１は中央画像に対応する領域である。つまり、中央画像抽出部２２は、魚眼画像Ｆ１から領域Ｒ１に対応する画像を中央画像として抽出する。

また、図４は、実施形態の魚眼画像例における外周側画像の抽出領域を示す図である。図４の魚眼画像Ｆ１において、領域Ｒ２と領域Ｒ３を合わせた領域（以下、領域Ｒ２３と称する。）は、外周側画像に対応する領域である。つまり、外周側画像抽出部２３は、魚眼画像Ｆ１から領域Ｒ２３に対応する画像を外周側画像として抽出する。なお、魚眼画像Ｆ１から、領域Ｒ１に内接する中心円（全体の中心点を中心とする円）を除いた領域が、領域Ｒ２３である。

また、分割部２４は、例えば、領域Ｒ２３に対応する外周側画像を周方向に２つの分割画像（領域Ｒ２に対応する分割画像と領域Ｒ３に対応する分割画像）に分割する。

また、図５は、実施形態において、外周側画像に基づいて作成した合成平面画像（（ａ））と、抽出された中央画像（（ｂ））と、を示す図である。図５（ａ）において、領域Ｒ３ａの画像は、図４の領域Ｒ３の分割画像に対応する平面画像である。つまり、変換部２５は、図４の領域Ｒ３の分割画像を平面展開することで、図５（ａ）の領域Ｒ３ａの矩形の平面画像に変換する。

また、図５（ａ）において、領域Ｒ２ａの画像は、図４の領域Ｒ２の分割画像に対応する平面画像である。つまり、変換部２５は、図４の領域Ｒ２の分割画像を平面展開することで、図５（ａ）の領域Ｒ２ａの矩形の平面画像に変換する。

また、合成部２６は、領域Ｒ２ａの平面画像と領域Ｒ３ａの平面画像をつなぎ合わせて矩形の合成平面画像を作成する。その際、合成部２６は、合成平面画像の縦と横の長さの比が１：１に近づくように、合成平面画像を作成する。そうすることで、合成平面画像を機械学習に用いたときの人物の認識精度が高くなる。第１の推論部２７は、図５（ａ）の合成平面画像と第１の推論モデルに基づいて、合成平面画像に写っている物体を推論する。

また、図５（ｂ）において、領域Ｒ１の中央画像は、図３の領域Ｒ１の中央画像と同じである。そして、第２の推論部２８は、図５（ｂ）の中央画像と第２の推論モデルに基づいて、中央画像に写っている物体を推論する。

次に、図６を参照して、実施形態の画像処理装置１による第１の処理について説明する。図６は、実施形態の画像処理装置１による第１の処理を示すフローチャートである。この第１の処理は、推論処理を行う前の前処理である。

ステップＳ１において、処理部２は、記憶部３に格納されている画像処理アプリケーションを起動する。

次に、ステップＳ２において、処理部２は、カメラ１００と接続されているか否かを判定し、Ｙｅｓの場合はステップＳ３に進み、Ｎｏの場合は処理を終了する。

ステップＳ３において、処理部２は、記憶部３に格納されているカメラの機能情報を取得する。

次に、ステップＳ４において、処理部２は、ステップＳ３で取得したカメラの機能情報に基いて、接続されているカメラ１００が魚眼カメラか否かを判定し、Ｙｅｓの場合はステップＳ６に進み、Ｎｏの場合はステップＳ５に進む。

ステップＳ５において、処理部２は、取得する撮影画像に対する画像処理について、補正無しを設定し、ステップＳ１０に進む。

ステップＳ６において、処理部２は、記憶部３に格納されたカメラの設置情報に基いて、カメラ１００の設置位置が天井か側面かを判定し、天井であればステップＳ８に進み、側面であればステップＳ７に進む。

ステップＳ７において、処理部２は、取得する魚眼画像に対する画像処理について、平面展開処理を設定し、ステップＳ１０に進む。

ステップＳ８において、処理部２は、取得する魚眼画像に対する分割方法（例えば中央画像と２つの外周側画像への分割）について設定する。

次に、ステップＳ９において、処理部２は、分割位置設定処理を実行する。ここで、図７は、図６の第１の処理におけるステップＳ９の分割位置設定処理の詳細を示すフローチャートである。

ステップＳ２１において、処理部２は、分割位置が自動設定に設定されているか否かを判定し、Ｙｅｓの場合はステップＳ２２に進み、Ｎｏの場合はステップＳ２５に進む。

ステップＳ２２において、処理部２は、設定値が指定されているか否かを判定し、Ｙｅｓの場合はステップＳ２４に進み、Ｎｏの場合はステップＳ２３に進む。

ステップＳ２３において、処理部２は、分割位置を初期値（例えば外周側画像について２分割であれば水平方向）に設定し、処理を終了する。

ステップＳ２４において、処理部２は、分割位置を指定値（ユーザによって指定された値）に設定し、処理を終了する。

ステップＳ２５において、処理部２は、カメラ解像度、フレーム数などの各値を設定する。

次に、ステップＳ２６において、処理部２の取得部２１は、カメラ１００からの魚眼画像の取得を開始する。

次に、ステップＳ２７において、処理部２は、カウンタ値を「０」にセットする。

次に、処理部２は、カウンタ値が「３」か否かを判定し、Ｙｅｓの場合はステップＳ２３に進み、Ｎｏの場合はステップＳ２９に進む。

ステップＳ２９において、処理部２は、タイマ計測を開始する。次に、ステップＳ３０において、処理部２は、魚眼画像中に移動物体（例えば人物の移動）があるか否かを判定し、Ｙｅｓの場合はステップＳ３１に進み、Ｎｏの場合はステップＳ３２に進む。

ステップＳ３１において、処理部２は、記憶部３に格納しているヒートマップ情報に反映する。

ステップＳ３２において、処理部２は、タイムアウト（所定値が経過）したか否かを判定し、Ｙｅｓの場合はステップＳ３３に進み、Ｎｏの場合はステップＳ３０に戻る。

ステップＳ３３において、処理部２は、カウンタ値をインクリメント（１加算）する。次に、ステップＳ３４において、処理部２は、ヒートマップ情報に赤い表示エリア（人物集中領域）があるか否かを判定し、Ｙｅｓの場合はステップＳ３５に進み、Ｎｏの場合はステップＳ２８に戻る。

ステップＳ３５において、処理部２は、赤い表示エリア（人物集中領域）が複数か否かを判定し、Ｙｅｓの場合はステップＳ３７に進み、Ｎｏの場合はステップＳ３６に進む。

ステップＳ３６において、処理部２は、赤い表示エリア（人物集中領域）が１つのときの設定手順にしたがって、分割位置を設定する。ここで、図８は、実施形態において、ヒートマップにおける人物集中領域が１つの場合の外周側画像の分割位置（画像中央の曲線部分の表記を省略。図９、図１０も同様）の設定例の説明図である。

図８（ａ）に示すように、ヒートマップにおける人物集中領域が領域Ｈ１であるものとする。その場合、例えば、図８（ｂ）に示すように、領域Ｈ１の中心点Ｐ１と全体中心点Ｃとを結ぶ線Ｌ１と垂直になって全体中心点Ｃを通る線を、分割位置の線Ｌ２として設定する。

図７に戻って、ステップＳ３７において、処理部２は、赤い表示エリア（人物集中領域）が複数のときの設定手順にしたがって、分割位置を設定する。ここで、図９は、実施形態において、ヒートマップにおける人物集中領域が２つの場合の外周側画像の分割位置の第１の設定例の説明図である。

図９（ａ）に示すように、ヒートマップにおける人物集中領域が領域Ｈ２、Ｈ３の２つであるものとする。その場合、例えば、図９（ｂ）に示すように、まず、領域Ｈ２の中心点Ｐ２と全体中心点Ｃとを結ぶ線を、線Ｌ３とする。また、領域Ｈ３の中心点Ｐ３と全体中心点Ｃとを結ぶ線を、線Ｌ４とする。そして、線Ｌ３と線Ｌ４の間の角が９０度未満であるものとする。

その場合、線Ｌ３と線Ｌ４の間の角を二等分する線を、線Ｌ５とする。そして、線Ｌ５と垂直になって全体中心点Ｃを通る線を、分割位置の線Ｌ６として設定する。このようにすることで、画像中の複数の人物の位置のバランスがよくなり、機械学習における人物の認識精度が向上する。

また、図１０は、実施形態において、ヒートマップにおける人物集中領域が２つの場合の外周側画像の分割位置の第２の設定例の説明図である。図１０（ａ）に示すように、ヒートマップにおける人物集中領域が領域Ｈ４、Ｈ５の２つであるものとする。その場合、例えば、図１０（ｂ）に示すように、まず、領域Ｈ４の中心点Ｐ４と全体中心点Ｃとを結ぶ線を、線Ｌ７とする。また、領域Ｈ５の中心点Ｐ５と全体中心点Ｃとを結ぶ線を、線Ｌ８とする。そして、線Ｌ７と線Ｌ８の間の角が９０度以上であるものとする。

その場合、線Ｌ７と線Ｌ８の間の角を二等分する線を、分割位置の線Ｌ９として設定する。このようにすることで、画像中の複数の人物の位置のバランスがよくなり、機械学習における人物の認識精度が向上する。

次に、図１１を参照して、実施形態の画像処理装置１による第２の処理について説明する。図１１は、実施形態の画像処理装置による第２の処理を示すフローチャートである。この第２の処理は、推論処理である。

ステップＳ４１において、取得部２１は、魚眼レンズを備えるカメラ１００によって撮影された魚眼画像を取得する。

次に、ステップＳ４２において、中央画像抽出部２２は、魚眼画像から光軸中心を含む中央画像を抽出する（図３）。次に、ステップＳ４３において、外周側画像抽出部２３は、魚眼画像から光軸中心を含む所定領域より外周側に存在する外周側画像を抽出する（図４）。

次に、ステップＳ４４において、分割部２４は、外周側画像を周方向に複数の分割画像に分割する（図４）。次に、ステップＳ４５において、変換部２５は、複数の分割画像それぞれを矩形の平面画像に変換する（図５（ａ））。

次に、ステップＳ４６において、合成部２６は、複数の平面画像をつなぎ合わせて矩形の合成平面画像を作成する（図５（ａ））。

次に、ステップＳ４７において、第１の推論部２７は、合成平面画像（図５（ａ））と第１の推論モデルに基づいて、合成平面画像に写っている物体を推論する。

次に、ステップＳ４８において、第２の推論部２８は、中央画像（図５（ｂ））と第２の推論モデルに基づいて、中央画像に写っている物体を推論する。なお、ステップＳ４７とステップＳ４８は、同時に実行してもよい。

このようにして、実施形態の画像処理装置１によれば、画像中の歪みを考慮して魚眼画像を機械学習に高い認識精度で用いることができる。具体的には、魚眼画像を周方向に複数の分割画像に分割してから矩形の平面画像に変換し、さらに、複数の平面画像をつなぎ合わせて矩形の合成平面画像を作成し、その際に、合成平面画像の縦と横の長さがなるべく近くなるようにする。そして、その合成平面画像と、平面画像に関する機械学習によって学習済みの第１の推論モデルと、に基づくことで、合成平面画像に写っている物体を高精度で推論することができる。

また、魚眼画像を周方向に複数の分割画像に分割する際に、過去の魚眼画像中の移動物体に関する統計情報に基づいて、移動物体が多い領域ほど分割位置にならないようにすることで（図８〜図１０）、合成平面画像（図５（ａ））において人物が端で切れてしまう可能性を低減し、機械学習における認識精度を向上させることができる。例えば、魚眼画像中に、建物等の出入口があってその部分を人物がよく通過する場合、人物がよく通過するその領域を避けて魚眼画像の分割位置を設定することができ、効果的である。

また、さらに具体的には、魚眼画像中の人物集中領域が２つのとき、例えば、魚眼画像の中心から当該２つの領域それぞれの中心までの直線同士のなす角度が９０度未満の場合は、当該２つの領域が同じ側になるように、魚眼画像を、魚眼画像の中心を通る１本の線で周方向に分割すればよい。また、当該角度が９０度以上の場合は、当該２つの領域が反対側になるように、魚眼画像を、魚眼画像の中心を通る１本の線で周方向に分割すればよい。そうすれば、画像中の複数の人物の位置のバランスがよくなり、機械学習における人物の認識精度が向上する。

また、魚眼画像の分割に統計情報を使う際、ヒートマップ情報として使うことで、処理が簡潔で済む。

また、魚眼画像について、別途、中央画像を抽出し、中央画像と、中央画像に関する機械学習によって学習済みの第２の推論モデルと、に基づくことで、魚眼画像の中央部分についての機械学習における人物の認識精度が向上する。

なお、画像処理装置１による上述の処理は、撮影対象領域を鉛直下向きに撮影するように設置されているカメラ１００からの魚眼画像に対して特に効果的であるが、これに限定されない。例えば、撮影対象領域を水平方向に撮影するように設置されているカメラ１００からの魚眼画像に対しても、本発明を適用することができる。カメラ１００の向きに関係なく、魚眼画像における歪みは存在するからである。

開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。本実施形態の各構成および各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。

例えば、本実施形態では、画像処理装置１を１つのコンピュータ装置によって実現するものとして説明したが、これに限定されず、画像処理装置１を複数のコンピュータ装置によって実現してもよい。

また、用いる機械学習は、ディープラーニングに限定されず、ディープラーニング以外であってもよい。

また、本実施形態では、機械学習における学習と推論のうち、特に推論の場面について説明したが、これに限定されず、学習の場面にも本発明を適用することができる。

また、図９、図１０では、人物集中領域が２つの場合について説明したが、これに限定されず、人物集中領域が３つ以上の場合であっても、人物集中領域を集中度合いでランク分けすること等によって同様に対応することができる。

また、本実施形態では、魚眼画像から中央画像の抽出を行うものとしたが、これに限定されず、中央画像を抽出せず、魚眼画像を周方向に分割して機械学習に用いるようにしてもよい。

また、魚眼画像の周方向の分割は、２分割に限定されず、３つ以上への分割であってもよい。

また、図４における領域Ｒ２、Ｒ３に含まれない中心の円領域の大きさは、魚眼画像の解像度やレンズの種類等によって、適宜、変更してもよい。

本発明は、例えば、監視カメラ、全天球カメラ等に適用することができる。

１…画像処理装置、２…処理部、３…記憶部、４…入力部、５…表示部、６…通信部、２１…取得部、２２…中央画像抽出部、２３…外周側画像抽出部、２４…分割部、２５…変換部、２６…合成部、２７…第１の推論部、２８…第２の推論部、１００…カメラ

Claims

魚眼レンズを備える撮影手段によって撮影された魚眼画像を取得する取得部と、
前記魚眼画像を周方向に複数の分割画像に分割する分割部と、
複数の前記分割画像それぞれを矩形の平面画像に変換する変換部と、
複数の前記平面画像をつなぎ合わせて矩形の合成平面画像を作成する合成部と、
前記合成平面画像と、平面画像に関する機械学習によって学習済みの第１の推論モデルと、に基づいて、前記合成平面画像に写っている物体を推論する第１の推論部と、を備える画像処理装置。
前記合成部は、複数の前記平面画像をつなぎ合わせて矩形の合成平面画像を作成する際に、前記合成平面画像の縦と横の長さの比が１：１に近づくように、複数の前記平面画像をつなぎ合わせて矩形の前記合成平面画像を作成する、請求項１に記載の画像処理装置。
前記分割部は、前記魚眼画像を周方向に複数の分割画像に分割する際に、過去の魚眼画像中の移動物体に関する統計情報に基づいて、移動物体が多い領域ほど分割位置にならないようにして、前記魚眼画像を周方向に複数の分割画像に分割する、請求項１に記載の画像処理装置。
前記分割部は、前記統計情報に基づいて、魚眼画像中の移動物体が多い２つの領域が分割位置にならないようにして、前記魚眼画像を周方向に２つの分割画像に分割する際に、
前記魚眼画像の中心から当該２つの領域それぞれの中心までの直線同士のなす角度が９０度未満の場合は、当該２つの領域が同じ側になるように、前記魚眼画像を、前記魚眼画像の中心を通る１本の線で周方向に分割し、
当該角度が９０度以上の場合は、当該２つの領域が反対側になるように、前記魚眼画像を、前記魚眼画像の中心を通る１本の線で周方向に分割する、請求項３に記載の画像処理装置。
前記分割部は、前記統計情報を元に魚眼画像中の領域を移動物体の出現頻度で分類した情報であるヒートマップ情報に基づいて、移動物体が多い領域ほど分割位置にならないようにして、前記魚眼画像を周方向に複数の分割画像に分割する、請求項３に記載の画像処理装置。
前記画像処理装置は、
前記魚眼画像から光軸中心を含む中央画像を抽出する中央画像抽出部と、
前記中央画像と、中央画像に関する機械学習によって学習済みの第２の推論モデルと、に基づいて、前記中央画像に写っている物体を推論する第２の推論部と、をさらに備える、請求項１に記載の画像処理装置。
前記取得部は、撮影対象領域を鉛直下向きに撮影するように設置されている前記撮影手段によって撮影された前記魚眼画像を取得する、請求項１に記載の画像処理装置。
コンピュータを、
魚眼レンズを備える撮影手段によって撮影された魚眼画像を取得する取得部と、
前記魚眼画像を周方向に複数の分割画像に分割する分割部と、
複数の前記分割画像それぞれを矩形の平面画像に変換する変換部と、
複数の前記平面画像をつなぎ合わせて矩形の合成平面画像を作成する合成部と、
前記合成平面画像と、平面画像に関する機械学習によって学習済みの第１の推論モデルと、に基づいて、前記合成平面画像に写っている物体を推論する第１の推論部と、して機能させるための画像処理プログラム。