JP7239002B2 - 物体数推定装置、制御方法、及びプログラム - Google Patents

Description

本発明は、画像に含まれる物体の数を推定する技術に関する。

画像に含まれる物体の数を推定する技術が開発されている。例えば特許文献１には、入力画像に対して予め設定された部分領域に基づいて、入力画像から部分画像を抽出し、学習済みの推定器に抽出された部分画像を入力することで、部分領域毎の人数を推定する技術が開示されている。ここで、この発明では、入力である部分画像のサイズ（部分領域のサイズ）と計数の対象になる物体のサイズとが一定の関係（一定の比率）であることを前提としている。

国際公開第２０１４／２０７９９１号

特許文献１の発明には、前述した部分領域の設定に要する労力が大きいという問題がある。入力画像の任意の位置における画像上の頭部サイズ（見え方）を確認しながら、その頭部サイズに対応する部分領域のサイズを求めて、入力画像の任意の位置に部分領域を設定していく必要があるためである。

なお、部分領域を設定するその他の方法として、カメラの姿勢を示すカメラパラメータを用いる方法がある。具体的には、カメラパラメータを推定し、推定されたカメラパラメータを用いて、入力画像の任意の位置における頭部サイズを計算し、任意の位置における部分領域のサイズを自動で計算し設定していくという方法である。しかし、この方法では、正確なカメラパラメータの推定に要する労力が大きいため、結果として、やはり部分領域の設定に要する全体の労力は大きくなる。

本願発明は上述した課題に鑑みてなされたものであり、その目的の一つは、少ない労力で画像に含まれる物体の数を推定する技術を提供することである。

本発明の物体数推定装置は、１）対象画像に対して畳み込み処理を行うことで第１特徴マップ及び第２特徴マップを生成する特徴抽出ネットワークと、２）第１特徴マップのセルごとに、そのセルに対応する対象画像の画像領域である第１推定領域について、第１所定範囲内のサイズを持つ対象物体の数を推定する第１計数ネットワークと、３）第２特徴マップのセルごとに、そのセルに対応する対象画像の画像領域である第２推定領域について、第２所定範囲内のサイズを持つ対象物体の数を推定する第２計数ネットワークと、を有する。
第１特徴マップのサイズは第２特徴マップのサイズよりも大きい。第１所定範囲に含まれるサイズは、第２所定範囲に含まれるサイズよりも小さい。

本発明の制御方法はコンピュータによって実行される。このコンピュータは、１）対象画像に対して畳み込み処理を行うことで第１特徴マップ及び第２特徴マップを生成する特徴抽出ネットワークと、２）第１特徴マップのセルごとに、そのセルに対応する対象画像の画像領域である第１推定領域について、第１所定範囲内のサイズを持つ対象物体の数を推定する第１計数ネットワークと、３）第２特徴マップのセルごとに、そのセルに対応する対象画像の画像領域である第２推定領域について、第２所定範囲内のサイズを持つ対象物体の数を推定する第２計数ネットワークと、を有する。
当該制御方法は、１）特徴抽出ネットワークが、対象画像から第１特徴マップと第２特徴マップを生成し、２）第１計数ネットワークが、第１特徴マップを用いて、第１推定領域ごとに、第１所定範囲内のサイズを持つ対象物体の数を推定し、３）第２計数ネットワークが、第２特徴マップを用いて、第２推定領域ごとに、第２所定範囲内のサイズを持つ対象物体の数を推定する。
第１特徴マップのサイズは第２特徴マップのサイズよりも大きい。第１所定範囲に含まれるサイズは、第２所定範囲に含まれるサイズよりも小さい。

本発明のプログラムは、コンピュータに、本発明の制御方法を実行させる。

本発明によれば、少ない労力で画像に含まれる物体の数を推定する技術が提供される。

本発明の実施形態１の物体数推定装置が行う処理を概念的に示す図である。 特徴マップと入力画像（対象画像）の対応関係を例示する図である。 実施形態１の物体数推定装置の機能構成を例示するブロック図である。 物体数推定装置を実現するための計算機を例示する図である。 実施形態１の物体数推定装置によって実行される処理の流れを例示するフローチャートである。 特徴抽出ネットワークと計数ネットワークをｎ個ずつ備える物体数推定装置を例示する図である。 実施形態２の物体数推定装置の機能構成を例示するブロック図である。 第１計数ネットワークの出力と第１存在推定ネットワークの出力に基づいて、第１所定範囲内のサイズを持つ対象物体の数を算出する方法を例示する図である。 実施形態３の物体数推定装置２０００の機能構成を例示するブロック図である。 実施形態４の物体数推定装置の機能構成を例示するブロック図である。 実施形態４の物体数推定装置によって実行される処理の流れを例示するフローチャートである。 学習データ生成部を有する物体数推定装置の機能構成を例示するブロック図である。 実施形態５の物体数推定装置の機能構成を例示するブロック図である。 実施形態６の物体数推定装置の機能構成を例示するブロック図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

［実施形態１］
＜概要＞
図１は、本実施形態の物体数推定装置２０００が行う処理を概念的に示す図である。物体数推定装置２０００は、画像を取得し、取得した画像に含まれる所定の種類の物体の数を推定する。以下、推定の対象となる画像のことを、対象画像１０と呼ぶ。また、推定の対象となる所定の種類の物体を、対象物体と呼ぶ。なお、図１において、対象画像１０は、チャネル方向を省略して記載されている。例えば対象画像１０としてカラー画像を利用する場合、対象画像１０を受け付ける入力のチャネル数は２以上（例えばＲＧＢ画像なら３）に設定されうる。

上記所定の種類としては、人、車、木、動物、又は傘などといった様々な種類を採用できる。すなわち、物体数推定装置２０００は、対象画像１０に含まれる人の数や車の数などを推定する。また、所定の種類は、物体の一部（例えば、頭部、手、又は足などといった人の体の一部）であってもよい。例えば対象物体が「人の頭部」である場合、物体数推定装置２０００は、対象画像１０に含まれる人の頭部の数を推定する。なお、以降の説明では、特に断らない限り、人の頭部を対象物体として扱う。

物体数推定装置２０００は、第１特徴抽出ネットワーク２０４２、第１計数ネットワーク２０４４、第２特徴抽出ネットワーク２０６２、及び第２計数ネットワーク２０６４を有する。第１特徴抽出ネットワーク２０４２は、対象画像１０に対して畳み込み処理を行うことで、第１特徴マップ２０を生成する。第１計数ネットワーク２０４４には、第１特徴マップ２０が入力される。そして、第１計数ネットワーク２０４４は、第１特徴マップ２０に対して処理（例えば畳み込み処理）を行うことで、第１特徴マップ２０の各セル（要素）に対応する対象画像１０の画像領域（以下、第１推定領域）ごとに、第１所定範囲内のサイズを持つ対象物体の数を推定する。例えば第１特徴抽出ネットワーク２０４２と第１計数ネットワーク２０４４はいずれも、畳み込みニューラルネットワークで実現される。なお、図１において、第１特徴マップ２０と後述する第２特徴マップ３０は、チャネル方向を省略して記載されている。特徴マップについてのチャネル数は、１以上の任意の数に設定しうる。

第２特徴抽出ネットワーク２０６２は、第１特徴抽出ネットワーク２０４２によって生成された第１特徴マップ２０を取得し、第１特徴マップ２０に対して畳み込み処理を行うことで、第２特徴マップ３０を生成する。すなわち、第２特徴マップ３０は、第１特徴マップ２０に対してさらに畳み込み処理を行うことで生成される特徴マップである。畳み込み処理により、第２特徴マップ３０のサイズは、第１特徴マップ２０のサイズよりも小さくなる。例えば第２特徴抽出ネットワーク２０６２は、畳み込みニューラルネットワークで実現される。

なお、第１特徴抽出ネットワーク２０４２と第２特徴抽出ネットワーク２０６２によって一つの大きなネットワークが構成されていると捉えることもできる。すなわち、対象画像１０を入力することで第２特徴マップ３０が出力されるネットワークの前半部分が第１特徴抽出ネットワーク２０４２であり、後半部分が第２特徴抽出ネットワーク２０６２である。

第２計数ネットワーク２０６４には、第２特徴マップ３０が入力される。そして、第２計数ネットワーク２０６４は、第２特徴マップ３０に対して処理（例えば畳み込み処理）を行うことで、第２特徴マップ３０の各セル（要素）に対応する対象画像１０の画像領域（以下、第２推定領域）ごとに、第２所定範囲内のサイズを持つ対象物体の数を推定する。例えば第２計数ネットワーク２０６４は、畳み込みニューラルネットワークで実現される。

ここで、第１所定範囲と第２所定範囲は、重複しないように定められている。より具体的には、第１所定範囲に含まれるサイズが、第２所定範囲に含まれるサイズよりも小さくなるように、第１所定範囲と第２所定範囲が定められている。よって、第１計数ネットワーク２０４４によって計数される対象物体は、第２計数ネットワーク２０６４では計数されない。同様に、第２計数ネットワーク２０６４によって計数される対象物体は、第１特徴抽出ネットワーク２０４２では計数されない。

ここで、各ネットワークは、その機能を実現できるように予め学習されている。本実施形態の物体数推定装置２０００が有する各ネットワークの学習方法については、実施形態４で説明する。

なお、学習を行う機能は、物体数推定装置２０００に設けられていてもよいし、物体数推定装置２０００以外の装置に設けられていてもよい。後者の場合、物体数推定装置２０００は、他の装置によって事前の学習が行われたネットワークを取得し、取得したネットワークを利用する。なお、ここでいう「ネットワークの取得」とは、ネットワークそのもの（学習されたパラメータが設定されたネットワークのプログラム）を取得する処理であってもよいし、学習の結果得られたネットワークの各パラメータを取得し、そのパラメータを物体数推定装置２０００の内部に用意されているネットワークのプログラムに設定する処理であってもよい。

＜代表的な作用効果＞
入力画像から抽出した特徴マップを利用して物体の計数を行う際、サイズがより小さい特徴マップのセル（要素）ほど、そのセルに対応する入力画像上の領域が大きくなる。そのため、サイズが小さい特徴マップのセルは、入力画像の大まかな特徴を捉えている。このことから、サイズが大きい物体の検出には、サイズが小さい特徴マップが適していると言える。逆に、サイズが大きい特徴マップのセルは、入力画像の細かな特徴を捉えている。そのため、サイズが小さい物体の検出には、サイズが大きい特徴マップが適していると言える。

図２は、特徴マップと入力画像（対象画像１０）の対応関係を例示する図である。前述した様に、第２特徴マップ３０は、第１特徴マップ２０よりもサイズが小さい。そのため、第２特徴マップ３０のセルに対応する対象画像１０上の画像領域（第２推定領域）は、第１特徴マップ２０のセルに対応する対象画像１０上の画像領域（第１推定領域）よりも大きい。そのため、第２特徴マップ３０は、第１特徴マップ２０と比較し、対象画像１０について比較的大まかな特徴を捉えている。よって、第２特徴マップ３０はサイズが比較的大きい対象物体の計数に適しており、第１特徴マップ２０はサイズが比較的小さい対象物体の計数に適している。

そこで物体数推定装置２０００は、サイズが大きい第１特徴マップ２０を利用して比較的サイズが小さい対象物体の計数を行う一方で、サイズが小さい第２特徴マップ３０を利用して比較的サイズが大きい対象物体の計数を行う。このようにすることで、対象画像１０のどの位置のどの程度のサイズの対象物体が含まれるかといった事前知識（特許文献１における部分領域の設定）を要することなく、様々なサイズの対象物体を精度良く検出して計数することができる。よって、事前の設定に要する労力が少なく、なおかつ精度の高い計数を実現している。

また、物体数推定装置２０００では、対象画像１０に対して畳み込み処理を行うことで第１特徴マップ２０が生成され、第１特徴マップ２０に対して畳み込み処理を行うことで第２特徴マップ３０が生成される。このように、第１特徴マップ２０から第２特徴マップ３０を生成することにより、第１特徴マップ２０と第２特徴マップ３０とで、対象画像１０から抽出される特徴が共有化される。このように共有化された特徴を用いて学習することで、推定精度が向上する。

ここで、物体数推定装置２０００は、様々な用途に利用することができる。例えば、カメラ・蓄積映像から物体数の推定を必要とする監視分野での不審者認識・不審物の置き去り認識・ゲートの共連れ認識、異常状態認識、異常行動認識を行う装置・機能と いった用途に利用できる。また、マーケティング分野での動線解析、行動解析を行う装置・機能といった用途に利用できる。さらに、カメラ・蓄積映像からの物体数の推定結果とその位置（2D、3D）を入力とする入力インタフェースといった用途に適用できる。この他、物体数の推定結果とその位置（2D、3D）をトリガ・キーとするビデオ／映像検索装置・機能といった用途に利用できる。

なお、図１を参照した上述の説明は、物体数推定装置２０００の理解を容易にするための例示であり、物体数推定装置２０００の機能を限定するものではない。以下、本実施形態の物体数推定装置２０００についてさらに詳細に説明する。

＜物体数推定装置２０００の機能構成の例＞
図３は、実施形態１の物体数推定装置２０００の機能構成を例示するブロック図である。物体数推定装置２０００は、第１特徴抽出ネットワーク２０４２、第１計数ネットワーク２０４４、第２特徴抽出ネットワーク２０６２、及び第２計数ネットワーク２０６４を有する。第１特徴抽出ネットワーク２０４２は、対象画像１０に対して畳み込み処理を行うことで、第１特徴マップ２０を生成する。第１計数ネットワーク２０４４は、第１特徴マップ２０のセルごとに、そのセルに対応する対象画像１０の画像領域（第１推定領域）について、第１所定範囲内のサイズを持つ対象物体の数を推定する。

第２特徴抽出ネットワーク２０６２は、第１特徴マップ２０に対して畳み込み処理を行うことで第２特徴マップ３０を生成する。第２計数ネットワーク２０６４は、第２特徴マップ３０のセルごとに、そのセルに対応する対象画像１０の画像領域（第２推定領域）について、第２所定範囲内のサイズを持つ対象物体の数を推定する。

＜物体数推定装置２０００のハードウエア構成＞
物体数推定装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、物体数推定装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

図４は、物体数推定装置２０００を実現するための計算機１０００を例示する図である。計算機１０００は任意の計算機である。例えば計算機１０００は、Personal Computer（PC）やサーバマシンなどである。計算機１０００は、物体数推定装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。

計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。

プロセッサ１０４０は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、FPGA（Field-Programmable Gate Array）などの種々のプロセッサである。メモリ１０６０は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。

入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。ネットワークインタフェース１１２０は、計算機１０００を通信網に接続するためのインタフェースである。この通信網は、例えば LAN（Local Area Network）や WAN（Wide Area Network）である。ネットワークインタフェース１１２０が通信網に接続する方法は、無線接続であってもよいし、有線接続であってもよい。

ストレージデバイス１０８０は、物体数推定装置２０００の各機能構成部を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。

ストレージデバイス１０８０は、対象画像１０をさらに記憶していてもよい。ただし、対象画像１０は、計算機１０００が取得可能な情報であればよく、ストレージデバイス１０８０に記憶されていなければならないものではない。例えば対象画像１０は、ネットワークインタフェース１１２０を介して計算機１０００と接続されている記憶装置（NAS（Network Attached Storage）など）に記憶させておくことができる。

＜処理の流れ＞
図５は、実施形態１の物体数推定装置２０００によって実行される処理の流れを例示するフローチャートである。物体数推定装置２０００は、対象画像１０を取得し、対象画像１０を第１特徴抽出ネットワーク２０４２に入力する（Ｓ１０２）。第１特徴抽出ネットワーク２０４２は、対象画像１０から第１特徴マップ２０を生成する（Ｓ１０４）。第１計数ネットワーク２０４４は、第１特徴マップ２０を用いて、各推定領域について、第１所定範囲内のサイズを持つ対象物体の数を出力する（Ｓ１０６）。

第２特徴抽出ネットワーク２０６２は、第１特徴マップ２０を用いて第２特徴マップ３０を生成する（Ｓ１０８）。第２計数ネットワーク２０６４は、第２特徴マップ３０を用いて、各推定領域について、第２所定範囲内のサイズを持つ対象物体の数を出力する（Ｓ１１０）。

ここで、図５において、Ｓ１０６は、Ｓ１０８及びＳ１１０と平行して実行されている。しかしながら、Ｓ１０６、Ｓ１０８及びＳ１１０は、逐次的に実行されてもよい。その順序は、Ｓ１１０がＳ１０８の後である点を除き、任意の順序とすることができる。

＜対象画像１０の取得：Ｓ１０２＞
物体数推定装置２０００は、対象画像１０を取得し、第１特徴抽出ネットワーク２０４２に入力する（Ｓ１０２）。ここで、物体数推定装置２０００が対象画像１０を取得する方法は任意である。例えば物体数推定装置２０００は、他の装置（例えば、対象画像１０を生成するカメラ）から出力される画像を対象画像１０として取得したり、物体数推定装置２０００からアクセス可能な記憶装置に格納されている画像を対象画像１０として取得したりする。

ここで、対象画像１０として扱うことが可能な画像が複数存在するとする。この場合、物体数推定装置２０００は、ユーザによって指定された特定の画像を対象画像１０として取得してもよいし、対象画像１０として取得する画像を所定のルールに従って決めてもよい。後者の場合、例えば物体数推定装置２０００は、記憶装置に格納されている複数の画像を、その生成時点が早いものから順次取得していく。

＜第１特徴マップ２０の生成：Ｓ１０４＞
第１特徴抽出ネットワーク２０４２は、対象画像１０から第１特徴マップ２０を生成する（Ｓ１０４）。第１特徴抽出ネットワーク２０４２は、対象画像１０が入力されたことに応じて第１特徴マップ２０を出力するように、予め学習されている。そのため、物体数推定装置２０００は、対象画像１０を第１特徴抽出ネットワーク２０４２に入力することで、第１特徴マップ２０を得ることができる。

＜第１所定範囲内のサイズを持つ物体の数の推定：Ｓ１０６＞
第１計数ネットワーク２０４４は、第１特徴マップ２０が入力されたことに応じ、各第１推定領域（入力された第１特徴マップ２０の各セルに対応する対象画像１０上の画像領域）について、第１所定範囲内のサイズを持つ対象物体の数を推定する（Ｓ１０６）。第１計数ネットワーク２０４４は、第１特徴マップ２０が入力されたことに応じて、各第１推定領域について第１所定範囲内のサイズを持つ対象物体の数を出力するように、予め学習されている。

＜第２特徴マップ３０の生成：Ｓ１０８＞
第２特徴抽出ネットワーク２０６２は、第１特徴マップ２０が入力されたことに応じて、第２特徴マップ３０を生成する（Ｓ１０８）。第２特徴抽出ネットワーク２０６２は、第１特徴マップ２０が入力されたことに応じて第２特徴マップ３０を出力するように、予め学習されている。

＜第２所定範囲内のサイズを持つ物体の数の推定：Ｓ１１０＞
第２計数ネットワーク２０６４は、第２特徴マップ３０が入力されたことに応じ、各第２推定領域（入力された第２特徴マップ３０の各セルに対応する対象画像１０上の画像領域）について、第２所定範囲内のサイズを持つ対象物体の数を推定する（Ｓ１１０）。ここで、第２計数ネットワーク２０６４は、第２特徴マップ３０が入力されたことに応じ、各第２推定領域について第２所定範囲内のサイズを持つ対象物体の数を出力するように、予め学習されている。

＜情報の出力＞
物体数推定装置２０００は、第１計数ネットワーク２０４４や第２計数ネットワーク２０６４から得られた情報を出力する。物体数推定装置２０００は、第１計数ネットワーク２０４４から出力された情報（第１推定領域ごとに対象物体の数を示す情報）をそのまま出力してもよいし、対象画像１０全体について、第１所定範囲内のサイズを持つ対象物体の数を算出して出力してもよい。後者の値は、各第１推定領域について第１計数ネットワーク２０４４から出力された対象物体の数を積算することで算出ができる。

同様に、物体数推定装置２０００は、第２計数ネットワーク２０６４から出力された情報（第２推定領域ごとに対象物体の数を示す情報）をそのまま出力してもよいし、対象画像１０全体について、第２所定範囲内のサイズを持つ対象物体の数を算出して出力してもよい。後者の値は、各第２推定領域について第２計数ネットワーク２０６４から出力された対象物体の数を積算することで算出ができる。

また、物体数推定装置２０００は、第１計数ネットワーク２０４４と第２計数ネットワーク２０６４から出力された情報を利用して、対象画像１０全体に含まれる対象物体の数を算出してもよい。これは、第１所定範囲内のサイズを持つ対象物体の数と、第２所定範囲内のサイズを持つ対象物体の数とを、対象画像１０全体にわたって積算することで算出することができる。

なお、情報の出力方法は任意である。例えば物体数推定装置２０００は、前述した種々の情報を、物体数推定装置２０００から制御可能なディスプレイ装置に表示させたり、物体数推定装置２０００からアクセス可能な記憶装置に格納したり、物体数推定装置２０００からアクセス可能な他の装置に送信したりする。

＜ネットワークの拡張について＞
ここまでは、説明を容易にするため、物体数推定装置２０００に含まれる特徴抽出ネットワークと計数ネットワークの数をそれぞれ２つとしていた。しかしながら、物体数推定装置２０００は、これらのネットワークをそれぞれ３つ以上有していてもよい。具体的には、第１特徴抽出ネットワークから第ｎ特徴抽出ネットワーク（ｎは３以上の整数）というｎ個の特徴抽出ネットワークと、第１計数ネットワークから第ｎ計数ネットワークというｎ個の計数ネットワークを物体数推定装置２０００に設ける。

図６は、特徴抽出ネットワークと計数ネットワークをｎ個ずつ備える物体数推定装置２０００を例示する図である。第ｉ特徴抽出ネットワークは、第（i-1）特徴マップに対して畳み込み処理を行うことで、第ｉ特徴マップを生成する（ｉは１以上ｎ以下の整数）。例えば第３特徴抽出ネットワークは、第２特徴マップ３０に対して畳み込み処理を行うことで、第３特徴マップを生成する。また、第４特徴抽出ネットワークは、第３特徴マップに対して畳み込み処理を行うことで、第４特徴マップを生成する。図６において点線の枠で示すように、第１特徴抽出ネットワークから第ｎ特徴抽出ネットワークを順に連結したものは、１つの大きな特徴抽出ネットワークとして捉えることができる。

第１特徴マップから第ｎ特徴マップはそれぞれ、第１計数ネットワークから第ｎ計数ネットワークへ入力される。第ｉ計数ネットワークは、第ｉ特徴マップが入力されたことに応じ、対象画像１０に含まれる第ｉ推定領域（第ｉ特徴マップの各セルに対応する対象画像１０上の画像領域）について、サイズが第ｉ所定範囲内の対象物体の数を出力するように構成されている。なお、第１特徴マップ～第ｎ特徴マップのサイズは、「第１特徴マップ＞第２特徴マップ＞・・・＞第ｎ特徴マップ」という関係を満たす。

物体数推定装置２０００が各計数ネットワークの出力に基づいて出力する情報は、前述した第１計数ネットワーク２０４４や第２計数ネットワーク２０６４の出力に基づいて出力する情報と同様である。

＜変形例１＞
各ネットワークは、属性の異なる対象物体の数を計数するように構成されてもよい。例えば、対象物体が人であり、属性として年齢層を用いるとする。また、年齢層の属性値として、子供と大人の２つを用いるとする。この場合、第１計数ネットワーク２０４４は、子供の人数と大人の人数をそれぞれ推定する。具体的には、第１特徴マップ２０から子供の人数を計数するように学習された第１計数ネットワーク２０４４と第２特徴マップ３０から子供の人数を計数するように学習された第２計数ネットワーク２０６４のセット、及び第１特徴マップ２０から大人の人数を計数するように学習された第１計数ネットワーク２０４４と第２特徴マップ３０から大人の人数を計数するように学習された第２計数ネットワーク２０６４のセットが設けられる。

ただし、それぞれ異なる属性を持つ対象物体の数を計数するネットワークは、１つのネットワークで構成されてもよい。この場合、第１計数ネットワーク２０４４と第２計数ネットワーク２０６４のいずれについても、属性というチャネル方向に属性ごとの数という出力が設けられることになる。例えば大人の人数と子供の人数を計数するとする。この場合、第１計数ネットワーク２０４４において、大人の人数の出力と子供の人数の出力がチャネル方向に設けられる。第２計数ネットワーク２０６４についても同様である。

ここで、属性としては、様々なものを採用することができる。例えば、属性としては、向き、年齢、性別、及び所属（サラリーマン、学生、又は家族など）などの物体に関する属性を利用できる。その他にも例えば、属性としては、行列状態、滞留状態、及びパニック状態など、物体が構成している構造の属性を利用してもよい。

変形例１の物体数推定装置２０００によれば、第１推定領域ごとかつ属性ごとに、第１所定範囲内のサイズを持つ対象物体の数を得ることができる。同様に、第２推定領域ごとかつ属性ごとに、第２所定範囲内のサイズを持つ対象物体の数を得ることができる。

なお、上記では、属性の異なる対象物体の数を計数するように構成したが、対象物体の数を出力し、追加で、属性の異なる対象物体の数の割合を算出するように構成してもよい。

＜変形例２＞
第２特徴抽出ネットワーク２０６２は、第１特徴マップ２０ではなく、対象画像１０を取得するように構成されてもよい。この場合、第２特徴抽出ネットワーク２０６２は、対象画像１０に対して畳み込み処理を行うことで、第２特徴マップ３０を生成する。この場合、第２特徴マップ３０は、第１特徴マップ２０よりもサイズが小さくなるように生成される。例えば、第２特徴抽出ネットワーク２０６２が有する畳み込み層の数を、第１特徴抽出ネットワーク２０４２が有する畳み込み層の数よりも多くする。後述する実施形態についても同様とすることができる。

［実施形態２］
図７は、実施形態２の物体数推定装置２０００の機能構成を例示するブロック図である。以下で説明する点を除き、実施形態２の物体数推定装置２０００は、実施形態１の物体数推定装置２０００と同様の機能を有する。

実施形態２の物体数推定装置２０００は、第１存在推定ネットワーク２０４６と第２存在推定ネットワーク２０６６をさらに有する。例えばこれらはいずれも、畳み込みニューラルネットワーク等のニューラルネットワークで実現される。

第１存在推定ネットワーク２０４６は、第１特徴マップ２０を取得し、第１特徴マップ２０を用いて、対象画像１０の各第１推定領域（第１特徴マップ２０の各セルに対応する対象画像１０上の画像領域）について、第１所定範囲内のサイズを持つ対象物体の存否に関する値（以下、第１存在ラベル）を出力する。例えば第１存在ラベルは、対応する第１推定領域に第１所定範囲内のサイズを持つ対象物体が存在すれば１を示し、対応する第１推定領域に第１所定範囲内のサイズを持つ対象物体が存在しなければ０を示す。その他にも例えば、第１存在ラベルは、対応する第１推定領域について、第１所定範囲内のサイズを持つ対象物体の存在確率を示してもよい。

なお、第１計数ネットワーク２０４４と第１存在推定ネットワーク２０４６は、１つのネットワークで実現されてもよい。例えば、第１計数ネットワーク２０４４に対し、第１存在ラベルを推定する出力を追加する（例えば、チャネル方向に出力を追加する）。こうすることで、第１特徴マップ２０を第１計数ネットワーク２０４４に入力することに応じ、第１計数ネットワーク２０４４から、第１所定範囲内のサイズを持つ対象物体の数と第１存在ラベルのそれぞれが出力されるようになる。

同様に、第２存在推定ネットワーク２０６６は、第２特徴マップ３０を取得し、第２特徴マップ３０を用いて、第２特徴マップ３０の各第２推定領域（第２特徴マップ３０の各セルに対応する対象画像１０上の画像領域）について、第２所定範囲内のサイズを持つ対象物体の存否に関する値（以下、第２存在ラベル）を出力する。第２存在ラベルが示す値の意味は、第１存在ラベルが示す値の意味と同様である。なお、第２計数ネットワーク２０６４と第２存在推定ネットワーク２０６６についても、１つのネットワークで実現されるようにしてもよい。

例えば物体数推定装置２０００は、第１計数ネットワーク２０４４及び第１存在推定ネットワーク２０４６の出力に基づき、各第１推定領域について、第１所定範囲内のサイズを持つ対象物体の数を算出する。例えば、第１存在ラベルが対象物体の存否を表しているとする。この場合、物体数推定装置２０００は、各第１推定領域について、「１）第１存在ラベルによって対象物体が存在することが示されている場合、第１計数ネットワーク２０４４によって出力された物体数をそのまま用い、２）第１存在ラベルによって対象物体が存在しないことが示されている場合、対象物体の数を０とする」という処理を行う。言い換えれば、或る第１推定領域について、第１計数ネットワーク２０４４から出力された対象物体の数が０より大きかったとしても、対象物体が存在しないことが第１存在ラベルによって表されている場合（第１存在ラベル＝０の場合）には、物体数推定装置２０００から出力される対象物体の数には反映されない。これは、第１計数ネットワーク２０４４の出力と第１存在推定ネットワーク２０４６の出力をそれぞれ行列として捉えた場合、これらの行列について要素ごとの積を算出することに相当する。

その他にも例えば、第１存在ラベルが対象物体の存在確率を表しているとする。この場合、物体数推定装置２０００は、各第１推定領域について、「１）第１存在ラベルによって閾値以上の存在確率が示されている場合、第１計数ネットワーク２０４４によって出力された物体数をそのまま用い、２）第１存在ラベルによって閾値未満の存在確率が示されている場合、対象物体の数を０とする」という処理を行う。言い換えれば、或る第１推定領域について、第１計数ネットワーク２０４４から出力された対象物体の数が０より大きかったとしても、対象物体の存在確率が閾値未満であることが第１存在ラベルによって表されている場合（第１存在ラベル＜閾値）には、物体数推定装置２０００から出力される対象物体の数には反映されない。これは、第１計数ネットワーク２０４４の出力と第１存在推定ネットワーク２０４６の出力をそれぞれ行列として捉えた場合、第１存在推定ネットワーク２０４６から出力された行列の各要素を２値化した後に、前述した要素ごとの積を算出することに相当する。

図８は、第１計数ネットワーク２０４４の出力と第１存在推定ネットワーク２０４６の出力に基づいて、第１所定範囲内のサイズを持つ対象物体の数を算出する方法を例示する図である。マップ５０は、各第１推定領域について第１計数ネットワーク２０４４が出力した値（第１所定範囲内のサイズを持つ対象物体の数）を示している。一方、マップ６０は、各第１推定領域について第１存在推定ネットワーク２０４６が出力した値（第１所定範囲内のサイズを持つ対象物体の存否）を示している。

第１存在ラベルが物体の存否を表す場合、物体数推定装置２０００は、マップ５０とマップ６０について要素ごとの積を算出することでマップ７０を生成し、生成されたマップ７０を、第１所定範囲内のサイズを持つ対象物体の数を第１推定領域ごとに示す情報として扱う。第１存在ラベルが物体の存在確率を表す場合、物体数推定装置２０００は、マップ６０の各要素を閾値に基づいて２値化した後に、マップ７０を生成する。

なお、第１計数ネットワーク２０４４から得られる情報（例えば前述したマップ５０）と、第１存在推定ネットワーク２０４６から得られる情報（例えば前述したマップ６０）とは、個別に出力されてもよい。

物体数推定装置２０００は、第２計数ネットワーク２０６４の出力と第２存在推定ネットワーク２０６６の出力を用いて同様の処理を行うことにより、各第２推定領域について、第２所定範囲内のサイズを持つ対象物体の数を算出する。ただし、第２計数ネットワーク２０６４から得られる情報と第２存在推定ネットワーク２０６６から得られる情報も、個別に出力されるようにしてもよい。

本実施形態の物体数推定装置２０００によれば、特徴マップの各セルに対応する推定領域について対象物体を計数する計数ネットワークに加え、特徴マップの各セルに対応する推定領域について対象物体の存在を推定する存在推定ネットワークが設けられる。ここで、計数ネットワークと存在推定ネットワークは、共通の特徴抽出ネットワークからの出力を利用する。そのため、後述するように、計数ネットワークの学習と存在推定ネットワークの学習は、互いの精度を高め合いながら行われる。そのため、計数ネットワークと存在推定ネットワークの双方を用いることにより、計数ネットワークのみを利用するケースと比較し、対象物体の数を精度よく推定することができる。また、存在推定ネットワークについても、計数ネットワークと共に利用することで、単体で設ける場合と比較し、対象物体の存否に関する値の推定精度を向上させることができる。

さらに前述したように、物体数推定装置２０００は、計数ネットワークと存在推定ネットワークの出力結果の双方を用いて、対象物体の数を算出してもよい。このように、計数ネットワークと存在推定ネットワークの双方を用いることにより、計数ネットワークのみを利用するケースと比較し、対象物体の数をより高い精度で推定することができる。

なお、第１存在推定ネットワーク２０４６は、第１特徴マップ２０が入力されたことに応じて、各第１推定領域についての第１存在ラベルを出力するように、予め学習されている。同様に、第２存在推定ネットワーク２０６６は、第２特徴マップ３０が入力されたことに応じて、各第２推定領域についての第２存在ラベルを出力するように、予め学習されている。第１存在推定ネットワーク２０４６と第２存在推定ネットワーク２０６６の具体的な学習方法については、後述の実施形態で説明する。

なお、実施形態１で説明したように、物体数推定装置２０００は、各ネットワークを３つ以上有してもよい。例えば、物体数推定装置２０００は、第１存在推定ネットワークから第ｎ存在推定ネットワークというｎ個の存在推定ネットワークを有してもよい。

＜ハードウエア構成の例＞
実施形態２の物体数推定装置２０００は、実施形態１の物体数推定装置２０００と同様に、その構成が図４で例示される種々の計算機で実現することができる。ただし、実施形態２の物体数推定装置２０００を実現する計算機１０００に含まれるストレージデバイス１０８０には、実施形態２の物体数推定装置２０００の各機能構成部を実現するプログラムモジュールが記憶されている。

＜変形例＞
実施形態１の変形例として説明したように、実施形態２の物体数推定装置２０００は、属性の異なる対象物体の数をそれぞれ計数するように構成されてもよい。このケースにおいて、第１計数ネットワーク２０４４は、各第１推定領域について、第１所定範囲内のサイズを持つ対象物体の数を属性ごとに推定する。すなわち、図８で説明したマップ５０が属性ごとに生成される。そこで例えば、物体数推定装置２０００は、属性ごとに生成されたマップ５０それぞれに対して、各第１推定領域についての第１存在ラベルを示すマップを適用することで、第１所定範囲内のサイズを持つ対象物体の数を属性ごとに計数する。すなわち、属性ごとのマップ５０に対して共通のマップ６０が適用されることにより、図８におけるマップ７０が属性ごとに生成される。第２所定範囲内のサイズを持つ対象物体の数についても同様である。

ここで、属性ごとに対象物体を計数する計数ネットワークと、存在推定ネットワークとは、１つのネットワークで構成されてもよい。具体的には、第１計数ネットワーク２０４４に対し、第１所定範囲内のサイズを持つ対象物体の数を推定する出力を属性ごとに設け、なおかつ、第１存在ラベルを推定する出力を設ける（つまり、出力はネットワークとしてチャネル方向に拡張される）。第２計数ネットワーク２０６４についても同様である。

物体数推定装置２０００は、存在ラベルを属性ごとに推定するように構成されてもよい。すなわち、図８におけるマップ５０だけでなく、図８におけるマップ６０についても、属性ごとに生成されるようにする。そして物体数推定装置２０００は、属性ごとに、その属性についての第１計数ネットワーク２０４４の出力と、その属性についての第１存在推定ネットワーク２０４６の出力とを用いて、第１所定範囲内のサイズを持つ対象物体の数を推定する。すなわち、図８の例で言えば、属性ごとに、「その属性についてのマップ５０と、その属性についてのマップ６０から、その属性についてのマップ７０を生成する」という処理が行われるようにする。

第１存在ラベルを属性ごとに推定するように物体数推定装置２０００を構成する方法は様々である。例えば、第１存在推定ネットワーク２０４６が属性ごとに設けられる。その他にも例えば、第１存在推定ネットワーク２０４６の出力を属性というチャネル方向に複数設けることで、属性ごとの第１存在ラベルが１つの第１存在推定ネットワーク２０４６から出力されるようにしてもよい。その他にも例えば、第１計数ネットワーク２０４４において、第１所定範囲内のサイズを持つ対象物体の数を推定する出力と第１存在ラベルを推定する出力をそれぞれ、属性というチャネル方向に複数設けてもよい。この場合、１つのネットワークから、第１所定範囲内のサイズを持つ対象物体の数と第１存在ラベルが属性ごとに出力される。第２存在ラベルを属性ごとに推定するようにする方法についても同様である。

なお、属性としては、実施形態１で説明した様々なものを採用することができる。

［実施形態３］
図９は、実施形態３の物体数推定装置２０００の機能構成を例示するブロック図である。以下で説明する点を除き、実施形態３の物体数推定装置２０００は、実施形態１又は２の物体数推定装置２０００と同様の機能を有する。

実施形態３の物体数推定装置２０００は、第１属性推定ネットワーク２０４８と第２属性推定ネットワーク２０６８をさらに有する。例えばこれらはいずれも、畳み込みニューラルネットワーク等のニューラルネットワークで実現される。

第１属性推定ネットワーク２０４８は、第１特徴マップ２０を取得し、第１特徴マップ２０を用いて、対象画像１０の各第１推定領域（第１特徴マップ２０の各セルに対応する対象画像１０上の画像領域）について、第１所定範囲内のサイズを持つ対象物体の属性に関する情報（以下、第１属性情報）を出力する。ここで、対象物体の属性としては、前述した種々のものを採用できる。

例えば、第１属性情報としては、対応する第１推定領域について第１所定範囲のサイズを持つ対象物体の属性を統合できる任意の情報（統計値など）とすることができる。例えば、第１属性情報は、対応する第１推定領域において第１所定範囲内のサイズを持つ各対象物体の属性のうち、最も支配的な属性のクラス値（識別子）を表す。最も支配的な属性とは、例えば、その属性を持つ対象物体の数が最も多い属性や、その属性を持つ対象物体によって占められる領域の面積が最大の属性などである。

この場合、第１属性推定ネットワーク２０４８は、クラス分類を行うネットワークとして構成される。すなわち、第１属性推定ネットワーク２０４８は、各第１推定領域について、その第１推定領域の属性を表すクラス値を出力する。

第１属性情報のその他の例としては、対応する第１推定領域において第１所定範囲内のサイズを持つ各対象物体の属性の重み付き平均などを扱うことができる。重みには、対象物体の数や面積を利用することができる。この場合、第１属性推定ネットワーク２０４８は回帰ネットワークとして実現される。

第２属性推定ネットワーク２０６８は、第２特徴マップ３０を取得し、第２特徴マップ３０を用いて、対象画像１０の各第２推定領域（第２特徴マップ３０の各セルに対応する対象画像１０上の画像領域）について、第２所定範囲内のサイズを持つ対象物体の属性に関する情報（以下、第２属性情報）を出力する。第２属性情報が示す情報の種類は、第１属性情報が示す情報の種類と同様である。

実施形態３の物体数推定装置２０００は、実施形態１や実施形態２で説明した情報に加え、第１属性推定ネットワーク２０４８から得られた属性に関する情報を出力する。例えば第１属性推定ネットワーク２０４８は、各第１推定領域について得られた第１属性情報を出力する。その他にも例えば、第１属性推定ネットワーク２０４８は、第１属性情報を適宜加工した情報（例えば、対象画像１０全体に含まれる属性のヒストグラムなど）を出力してもよい。第２属性推定ネットワーク２０６８から得られる属性に関する情報についても同様である。

本実施形態の物体数推定装置２０００によれば、特徴マップの各セルに対応する推定領域について対象物体を計数する計数ネットワークに加え、特徴マップの各セルに対応する推定領域について対象物体の属性を推定する属性推定ネットワークが設けられる。ここで、計数ネットワークと属性推定ネットワークは、共通の特徴抽出ネットワークからの出力を利用する。そのため、後述するように、計数ネットワークの学習と属性推定ネットワークの学習は、互いの精度を高め合いながら行われる。そのため、計数ネットワークと属性推定ネットワークの双方を用いることにより、計数ネットワークのみを利用するケースと比較し、対象物体の数を精度よく推定することができる。また、属性ネットワークについても、計数ネットワークと共に利用することで、属性の推定の精度が向上する。

なお、第１属性推定ネットワーク２０４８は、第１特徴マップ２０が入力されたことに応じて、各第１推定領域についての第１属性情報を出力するように、予め学習されている。同様に、第２属性推定ネットワーク２０６８は、第２特徴マップ３０が入力されたことに応じて、各第２推定領域についての第２属性情報を出力するように、予め学習されている。第１属性推定ネットワーク２０４８と第２属性推定ネットワーク２０６８の具体的な学習方法については、後述の実施形態で説明する。

なお、実施形態１で説明したように、物体数推定装置２０００は、各ネットワークを３つ以上有してもよい。例えば、物体数推定装置２０００は、第１存在推定ネットワークから第ｎ存在推定ネットワークというｎ個の存在推定ネットワークを有してもよい。

ここで、計数ネットワークと属性推定ネットワークは、１つのネットワークで実現されてもよい。例えば、第１計数ネットワーク２０４４に対し、対象物体の属性を推定する出力をチャネル方向に追加する。こうすることで、第１特徴マップ２０が第１計数ネットワーク２０４４に入力されたことに応じ、第１計数ネットワーク２０４４から、第１所定範囲内のサイズを持つ対象物体の数と、第１所定範囲内のサイズを持つ対象物体の属性の双方が出力されるようになる。第２計数ネットワーク２０６４についても同様にすることができる。

＜ハードウエア構成の例＞
実施形態３の物体数推定装置２０００は、実施形態１の物体数推定装置２０００と同様に、その構成が図４で例示される種々の計算機で実現することができる。ただし、実施形態３の物体数推定装置２０００を実現する計算機１０００に含まれるストレージデバイス１０８０には、実施形態３の物体数推定装置２０００の各機能構成部を実現するプログラムモジュールが記憶されている。

＜変形例＞
実施形態３の物体数推定装置２０００は、実施形態２で説明した第１存在推定ネットワーク２０４６及び第２存在推定ネットワーク２０６６をさらに有してもよい。第２計数ネットワーク２０６４と第２存在推定ネットワーク２０６６の動作については、実施形態２で説明した通りである。

ここで、存在推定ネットワークと属性推定ネットワークも、共通の特徴抽出ネットワークを利用する。そのため、存在推定ネットワークと属性推定ネットワークの学習も、互いの精度を高め合いながら行われる。よって、存在推定ネットワークをさらに設けることにより、対象物体の数や属性の推定の精度をさらに向上させることができる。

計数ネットワーク、存在推定ネットワーク、及び属性推定ネットワークは、１つのネットワークで実現されてもよい。例えば、第１計数ネットワーク２０４４に対して、第１存在ラベルを推定する出力と、第１属性情報を推定する出力とを追加する。こうすることで、第１計数ネットワーク２０４４に対して第１特徴マップ２０が入力されることに応じ、第１計数ネットワーク２０４４から、第１所定範囲内のサイズを持つ対象物体の数、第１存在ラベル、及び第１属性情報がそれぞれチャネル方向に出力されるようになる。第２計数ネットワーク２０６４についても同様とすることができる。

また、実施形態３の物体数推定装置２０００は、第１計数ネットワーク２０４４及び第２計数ネットワーク２０６４を持たずに、第１存在推定ネットワーク２０４６及び第２存在推定ネットワーク２０６６を持つように構成されてもよい。この場合、対象物体の計数は行われず、対象物体の存否や存在確率の推定、及び対象物体の属性の推定が行われる。

このように計数ネットワークを設けないケースであっても、前述したように、存在推定ネットワークと属性推定ネットワークの学習は、互いの精度を高め合いながら行われる。そのため、これらのネットワークを個々に独立で設ける場合と比較し、対象物体の存否や存在確率、及び属性の推定の精度を向上させることができる。

なお、存在推定ネットワークと属性推定ネットワークは、１つのネットワークで構成されてもよい。例えば、第１存在推定ネットワーク２０４６に対し、第１属性情報を推定する出力を追加する。こうすることで、第１存在推定ネットワーク２０４６に対して第１特徴マップ２０を入力することに応じ、第１存在推定ネットワーク２０４６から、第１存在ラベルと、第１属性情報とがそれぞれチャネル方向に出力される。第２存在推定ネットワーク２０６６についても同様とすることができる。

［実施形態４］
図１０は、実施形態４の物体数推定装置２０００の機能構成を例示するブロック図である。以下で説明する点を除き、実施形態４の物体数推定装置２０００は、実施形態１の物体数推定装置２０００と同様の機能を有する。

実施形態４の物体数推定装置２０００は、学習部２１００を有する。実施形態４の学習部２１００は、学習データを利用して、実施形態１の物体数推定装置２０００が有する各ネットワークの学習を行う。なお、実施形態２の物体数推定装置２０００が追加で備える第１存在推定ネットワーク２０４６と第２存在推定ネットワーク２０６６について学習を行う物体数推定装置２０００については、実施形態５として後述する。また、実施形態３の物体数推定装置２０００が追加で有する第１属性推定ネットワーク２０４８と第２属性推定ネットワーク２０６８について学習を行う物体数推定装置２０００については、実施形態６として後述する。

実施形態４の物体数推定装置２０００において、物体数推定装置２０００は、学習データを取得する。そして、学習部２１００が、学習データを利用して、各ネットワークの学習を行う。学習データは、学習画像、第１正解物体数マップ、及び第２正解物体数マップを含む。学習画像は、学習に利用する入力画像であり、対象画像１０と同様に、対象物体を含む画像である。

第１正解物体数マップは、第１計数ネットワーク２０４４の学習に利用する学習データ（教師データ）である。例えば第１正解物体数マップは、学習画像に含まれる各第１推定領域（第１特徴マップ２０の各セルに対応する画像領域）について、第１所定範囲内のサイズを持つ対象物体の数を示す。同様に、第２正解物体数マップは、第２計数ネットワーク２０６４の学習に利用する学習データである。例えば第２正解物体数マップは、学習画像に含まれる各第２推定領域（第２特徴マップ３０の各セルに対応する画像領域）について、第２所定範囲内のサイズを持つ対象物体の数を示す。

このような学習データである推定領域内の画像と対象物体の数は、特徴マップに対応する推定領域における対象物体の配置パターンを表している。このように、対象物体の形状そのものを学習させるデータではなく、推定領域内の対象物体の配置パターンを学習させるデータを利用することで、対象物体同士の重なりをそのまま学習でき、重なりにロバストになるようにネットワークを学習することができる。

学習部２１００は、学習画像を第１特徴抽出ネットワーク２０４２に入力する。これに応じ、第１特徴抽出ネットワーク２０４２により、学習画像について第１特徴マップ２０が生成される。そして、第１計数ネットワーク２０４４により、その第１特徴マップ２０に対応する各第１推定領域（第１特徴マップ２０のセルに対応する学習画像上の画像領域）について、第１所定範囲内のサイズを持つ対象物体の数が出力される。

また、第１特徴抽出ネットワーク２０４２から第２特徴抽出ネットワーク２０６２に対して第１特徴マップ２０が入力されることに応じ、第２特徴抽出ネットワーク２０６２によって、第２特徴マップ３０が生成される。また、第２計数ネットワーク２０６４により、その第２特徴マップ３０に対応する各第２推定領域（第２特徴マップ３０のセルに対応する学習画像上の画像領域）について、第２所定範囲内のサイズを持つ対象物体の数が出力される。

例えば学習部２１００は、第１計数ネットワーク２０４４が各第１推定領域について出力した対象物体の数、第２計数ネットワーク２０６４が各第２推定領域について出力した対象物体の数、第１正解物体数マップ、及び第２正解物体数マップを用いて、ネットワークの出力と正解値との誤差を表す損失を算出し、その損失を小さくするようにネットワークの学習を行う。ここでいう学習とは、ネットワークの各パラメータを更新することを意味する。ネットワークの学習には、バックプロパゲーション等の既存の技術を利用することができる。なお、損失の算出式（すなわち、損失関数）は、学習部２１００に予め設定されていてもよいし、学習部２１００からアクセス可能な記憶装置に記憶させておいてもよい。

ここで、第１所定範囲内のサイズを持つ対象物体の計数に利用されるネットワーク（第１特徴抽出ネットワーク２０４２及び第１計数ネットワーク２０４４）と、第２所定範囲内のサイズを持つ対象物体の計数に利用されるネットワーク（第１特徴抽出ネットワーク２０４２、第２特徴抽出ネットワーク２０６２、及び第２計数ネットワーク２０６４）には、第１特徴抽出ネットワーク２０４２が共通で含まれる。そのため、第１特徴抽出ネットワーク２０４２のパラメータは、第１計数ネットワーク２０４４の出力から逆伝播された情報と第２計数ネットワーク２０６４の出力から逆伝播された情報の双方の影響を受けて更新されていく。このことから、第１所定範囲内のサイズを持つ対象物体の計数に利用されるネットワークと、第２所定範囲内のサイズを持つ対象物体の計数に利用されるネットワークとは、互いにその精度を高め合うように学習されるため、計数の精度の向上、及び学習速度の向上を実現することができる。

ここで、学習部２１００は、複数の学習データそれぞれを利用して各ネットワークの学習を繰り返し行う。例えば学習部２１００は、前述した損失の大きさが所定の閾値以下となるまで、各ネットワークの学習を繰り返し行う。ただし、学習を終了する条件には、ここで説明した条件以外にも、誤差が収束したことが分かる任意の条件を利用することができる。

なお、学習画像において、対象物体の数が少なかったり、対象物体の配置の偏りが大きかったりすると、特徴マップにおいて、対応する推定領域に含まれる対象物体の数が０個であるセルが多く発生する。一般的には、特徴マップのセルの数は対象物体の数に対して多いので頻繁に発生する可能性がある。このように学習データに偏りが生じると、正しく学習が進まない可能性がある。そこで、学習部２１００は、上述した誤差を最小化する学習において、特徴マップに含まれる全てのセルの誤差を用いるのではなく、選択した一部のセルにおける誤差を最小化するように学習を行ってもよい。この際、正解物体数マップにおいて、対応する推定領域内の対象物体の数が０個のセルとそれ以外のセルの数とが所定の比率になるように、セルを選択することが好適である。なお、ここでいう所定の比率は、１：１でもよい。この場合、対象物体の数が０個のセルとそれ以外のセルとが同数ずつ選択される。

ここで、前述した様に、物体数推定装置２０００は、特徴抽出ネットワークや計数ネットワークを３つ以上有してもよい。この場合も、前述した方法と同様の方法で学習を実現できる。例えば、特徴抽出ネットワークと計数ネットワークをそれぞれｎ個設けるとする。この場合、学習データは、第１正解物体数マップから第ｎ正解物体数マップというｎ個の正解物体数マップを含む。

学習部２１００は、各計数ネットワークの出力と各正解物体数マップとを用いて、ネットワークの出力と正解値との誤差を表す損失を算出し、その損失に基づいて各ネットワークを学習していく。ここで、第ｉ特徴抽出ネットワークは、第ｉ計数ネットワークから逆伝播された情報と、第（ｉ＋１）特徴抽出ネットワークから逆伝播された情報（すなわち、第（ｉ＋１）計数ネットワークから第ｎ計数ネットワークそれぞれの出力から逆伝播された情報）の両方の影響を受けて、そのパラメータが更新されていく。このような構成により、計数の精度の向上及びネットワークの学習速度の向上を実現することができる。

＜学習データの生成方法＞
ここでは、学習データの生成方法を例示する。以下の例では、学習データの生成の一部が物体数推定装置２０００によって行われる。学習データの生成を行う機能構成部を、学習データ生成部２１２０と呼ぶ。図１２は、学習データ生成部２１２０を有する物体数推定装置２０００の機能構成を例示するブロック図である。

例えば、学習データ生成部２１２０は、学習データの生成に利用するデータ（学習データ生成用データ）として、学習画像と物体情報とのペアを取得する。物体情報は、学習画像に含まれる対象物体ごとに、その対象物体の位置とサイズを特定可能な情報である。例えば、物体情報は、対象物体ごとに、その対象物体を表す学習画像上の画像領域を示す。ここで、対象物体を表す画像領域をその対象物体の外接矩形で表すとする。この場合、例えば物体情報は、対象物体ごとに、その対象物体の外接矩形の左上隅及び右下隅の座標を示す。

学習データ生成部２１２０は、物体情報を用いて、第１正解物体数マップ及び第２正解物体数マップを生成する。第１正解物体数マップを生成するために、学習データ生成部２１２０は、物体情報が示す対象物体から、サイズが第１所定範囲内の対象物体を特定する。なお、物体情報には、対象物体ごとにその対象物体を表す画像領域を特定する情報が含まれるため、この情報を用いて各対象物体のサイズを把握することができる。

さらに、学習データ生成部２１２０は、特定した各対象物体について、その対象物体が属する第１推定領域を特定する。この特定結果に基づき、学習データ生成部２１２０は、各第１推定領域について、第１所定範囲内のサイズを持つ対象物体の数を計数する。これにより、第１所定範囲内のサイズを持つ対象物体の数を第１推定領域ごとに示す情報、すなわち第１正解物体数マップが生成される。

ここで、対象物体を表す画像領域は、複数の第１推定領域にまたがって位置しうる。この場合、重複した計数を避けるため、例えば学習データ生成部２１２０は、対象物体が属する第１推定領域として、これら複数の第１推定領域のいずれか１つを特定する。そこで例えば、学習データ生成部２１２０は、対象物体を表す画像領域のうち、所定割合以上の画像領域が属している第１推定領域を、その対象物体が属する第１推定領域として特定する。その他にも例えば、学習データ生成部２１２０は、或る対象物体を表す画像領域を含む複数の第１推定領域のうち、その対象物体を表す画像領域を最も多く含んでいる第１推定領域を、その対象物体が属する第１推定領域として特定する。例えば、或る対象物体を表す画像領域が３つの第１推定領域にまたがって位置しており、それぞれにその対象物体を表す画像領域の 2/3, 1/6, 1/6 が含まれているとする。この場合、対象物体を表す画像領域の 2/3 を含んでいる第１推定領域が、その対象物体を表す第１推定領域として特定される。

ただし、学習データ生成部２１２０は、１つの対象物体が含まれる第１推定領域として、複数の第１推定領域を特定してもよい。ただしこの場合、例えば、学習データ生成部２１２０は、各第１推定領域に含まれる対象物体の数として、その推定領域に含まれる、その対象物体を表す画像領域の割合を用いる。例えば、或る対象物体が２つの推定領域にまたがって位置しており、それぞれにその対象物体を表す画像領域の 2/3 と 1/3 が含まれているとする。この場合、学習データ生成部２１２０は、前者の推定領域に含まれる対象物体の数に 2/3 を加算し、後者の推定領域に含まれる対象物体の数に 1/3 を加算するという方法で、対象物体の計数を行う。こうすることで、複数の推定領域に対象物体が属することを可能にしつつ、その対象物体は全体で１個の物として計数されるため、重複した計数は避けることができる。

ここで説明した対象物体の重複した計数を避けるための処理は、後述する、第２所定範囲内のサイズを持つ対象物体が属する第２推定領域を特定する処理においても同様に適用できる。

第２正解物体数マップについても、同様に生成することができる。すなわち、学習データ生成部２１２０は、物体情報が示す対象物体から、サイズが第２所定範囲内の対象物体を特定する。さらに、学習データ生成部２１２０は、特定した各対象物体について、その対象物体が属する第２推定領域を特定する。この特定結果に基づき、学習データ生成部２１２０は、各第２推定領域について、第２所定範囲内のサイズを持つ対象物体の数を計数する。これにより、第２所定範囲内のサイズを持つ対象物体の数を第２推定領域ごとに示す情報、すなわち第２正解物体数マップが生成される。

ここで、第１所定範囲と第２所定範囲は、例えば、対応する推定領域の画像上のサイズに基づいて定められる。例えば、推定領域のサイズと、その推定領域に対応する特徴マップを利用して計数すべき対象物体の基準サイズとの比率を、予め定めておく。この場合、第１特徴マップ２０を利用して計数すべき対象物体の基準サイズ（以下、第１基準サイズ）は、上記比率と第１推定領域のサイズによって算出できる。そして、第１所定範囲は、例えば、算出した第１基準サイズに対する所定の比率の範囲として定められる。例えば、第１所定範囲は、第１基準サイズ T1 及び定数 a と b（0<a<b）を用いて、「a*T1＜k≦b*T1」と定めることができる。k は対象物体のサイズを表す。同様に、第２所定範囲についても、第２基準サイズ T2 及び定数 c と d（0<c<d）を用いて、「c*T2＜k≦d*T2」と定めることができる。

ここで、第１所定範囲を定めるための定数と、第２所定範囲を定めるための定数とは、互いに等しくてもよいし、異なっていてもよい。前者は、a=c かつ b=d であることを意味する。また、第１所定範囲と第２所定範囲の間に隙間がないように、「b*T1=c*T2」が満たされるようにすることが好適である。

第１正解物体数マップと第２正解物体数マップの生成方法は上述した方法に限定されない。例えば、学習データの生成を行う作業者が目視で対象物体を計数することで、第１正解物体数マップと第２正解物体数マップを生成してもよい。

なお、物体数推定装置２０００以外の装置によって学習データが生成される場合、物体数推定装置２０００は、物体数推定装置２０００の外部から学習データを取得する。例えば学習データは、物体数推定装置２０００からアクセス可能な記憶装置に予め格納されている。一方、物体数推定装置２０００によって学習データが生成される場合、物体数推定装置２０００は、学習データ生成部２１２０によって生成された学習データを取得する。

＜ハードウエア構成の例＞
実施形態４の物体数推定装置２０００は、実施形態１の物体数推定装置２０００と同様に、その構成が図４で例示される種々の計算機で実現することができる。ただし、実施形態４の物体数推定装置２０００を実現する計算機１０００に含まれるストレージデバイス１０８０には、実施形態４の物体数推定装置２０００の各機能構成部を実現するプログラムモジュールが記憶されている。

＜処理の流れ＞
図１１は、実施形態４の物体数推定装置２０００によって実行される処理の流れを例示するフローチャートである。ここで、図１２に示す処理は、１つの学習データを利用して学習を行う処理である。複数の学習データによる学習は、図１２に示す処理を繰り返し実行することによって実現される。

学習部２１００は、学習データを取得する（Ｓ３０２）。学習部２１００は、学習画像を第１特徴抽出ネットワーク２０４２に入力する（Ｓ３０４）。学習部２１００は、各計数ネットワークからの出力と正解値との誤差を表す損失を算出し、その損失を小さくするように各ネットワークの学習を行う（Ｓ３０６）。

＜変形例＞
実施形態１の変形例でも述べたように、各ネットワークは、属性の異なる対象物体の数をそれぞれ計数するように構成されてもよい。この場合、学習データ生成用データの物体情報には、各対象物体について、その位置とサイズに加え、その対象物体の属性が示されている。学習部２１００は、学習データを各属性ついて用意し学習する。

例えば、対象物体が人であり、属性として年齢層を用いるとする。また、年齢層の属性値として、子供と大人の２つを用いるとする。この場合、第１所定範囲内のサイズを持つ子供の人数を各第１推定領域について示す第１正解物体数マップと、第１所定範囲内のサイズを持つ大人の人数を各第１推定領域について示す第１正解物体数マップとが用意される。第２正解物体数マップについても同様である。

各ネットワークの学習を行うために、学習部２１００は、学習画像を、第１特徴抽出ネットワーク２０４２に入力する。これに応じ、第１計数ネットワーク２０４４からは、第１所定範囲内のサイズを持つ対象物体の数が属性ごとに出力される。同様に、第２計数ネットワーク２０６４からは、第２所定範囲内のサイズを持つ対象物体の数が属性ごとに出力される。学習部２１００は、これらの出力と正解値（属性ごとの第１正解物体数マップ及び属性ごとの第２正解物体数マップ）との誤差を表す損失を算出し、その損失を小さくするように各ネットワークのパラメータを更新する。

［実施形態５］
図１３は、実施形態５の物体数推定装置２０００の機能構成を例示するブロック図である。以下で説明する点を除き、実施形態５の物体数推定装置２０００は、実施形態４の物体数推定装置２０００と同様の機能を有する。

実施形態５の物体数推定装置２０００は、実施形態４の物体数推定装置２０００と同様に、各ネットワークの学習を行う。ただし、前述したように、実施形態５の物体数推定装置２０００は、実施形態２の物体数推定装置２０００が有する第１存在推定ネットワーク２０４６及び第２存在推定ネットワーク２０６６の学習を行う。すなわち、実施形態５の学習部２１００は、第１存在推定ネットワーク２０４６と第２存在推定ネットワーク２０６６の学習を行う機能をさらに有する。

実施形態５の物体数推定装置２０００が取得する学習データは、第１正解存在ラベルマップ及び第２正解存在ラベルマップをさらに含む。第１正解存在ラベルマップは、第１存在推定ネットワーク２０４６の学習に利用される学習データ（教師データ）である。具体的には、第１正解存在ラベルマップは、学習画像に含まれる各第１推定領域について、第１所定範囲内のサイズを持つ対象物体の存否を表すラベル（すなわち、正解の第１存在ラベル）を示す。例えば第１正解存在ラベルマップは、第１所定範囲内のサイズを持つ対象物体が１つ以上存在する第１推定領域について１を示し、第１所定範囲内のサイズを持つ対象物体が１つも存在しない第１推定領域について０を示す。

一方、第２正解存在ラベルマップは、第２存在推定ネットワーク２０６６の学習に利用される学習データである。具体的には、第２正解存在ラベルマップは、学習画像に含まれる各第２推定領域について、第２所定範囲内のサイズを持つ対象物体の存否を表すラベル（すなわち、正解の第２存在ラベル）を示す。例えば第２正解存在ラベルマップは、第２所定範囲内のサイズを持つ対象物体が１つ以上存在する第２推定領域について１を示し、第２所定範囲内のサイズを持つ対象物体が１つも存在しない第２推定領域について０を示す。

各ネットワークの学習を行うために、学習部２１００は、学習画像を第１特徴抽出ネットワーク２０４２に入力する。学習部２１００は、第１計数ネットワーク２０４４、第２計数ネットワーク２０６４、第１存在推定ネットワーク２０４６、及び第２存在推定ネットワーク２０６６それぞれからの出力と、正解値（第１正解物体数マップ、第２正解物体数マップ、第１正解存在ラベルマップ、及び第２正解存在ラベルマップ）との誤差を表す損失を算出し、算出した損失を小さくするように各ネットワークのパラメータを更新する。ここで、第１正解存在ラベルマップが示す対象物体の存在確率は、対象物体が存在することが示されている第１推定領域については 100%、対象物体が存在しないことが示されている第１推定領域については 0% として扱うことができる。また、存在ラベルが対象物体の存否を表す場合、学習には、存在推定ネットワークの最終出力の代わりに、その前段階で算出される物体の存在確率を用いることが好ましい。

ここで、第１特徴抽出ネットワーク２０４２のパラメータは、第１計数ネットワーク２０４４、第２計数ネットワーク２０６４、第１存在推定ネットワーク２０４６、及び第２存在推定ネットワーク２０６６それぞれの出力から逆伝播される情報の影響を受けて学習される。また、第２特徴抽出ネットワーク２０６２のパラメータは、第２計数ネットワーク２０６４及び第２存在推定ネットワーク２０６６それぞれの出力から逆伝播される情報の影響を受けて更新される。そのため、計数ネットワークを独立して設ける場合と比較し、計数ネットワークの推定精度や学習速度を向上させることができる。また、存在推定ネットワークについても、独立して設ける場合と比較し、その推定精度及び学習精度を向上させることができる。

なお、学習画像上で対象物体の配置の偏りが大きい場合などを考え、特徴マップに含まれる全てのセルの誤差を用いるのではなく、選択した一部のセルにおける誤差を最小化するように学習を行ってもよいことを、実施形態４で説明した。この点については、存在推定ネットワークの学習についても同様である。

例えば、正解存在ラベルマップにおいて、存在なし又は閾値未満の存在確率であるセルとそれ以外のセルの数が同数になるようにセルを選択し、選択したセルのみを用いて損失を算出するように学習する。その他にも例えば、正解存在ラベルマップにおいて、存在なし又は閾値未満の存在確率であるセルの数が、それ以外のセルの数に対して所定の倍数になるようにセルを選択し、選択したセルのみを用いて損失を算出するように学習してもよい。

また、計数ネットワークの学習（存在推定ネットワーク以外の学習）においては、正解存在ラベルマップにおいて存在あり又は閾値以上の存在確率であるセルを選択し、選択したセルのみを用いて損失を算出するように学習してもよい。

ここで、前述した様に、物体数推定装置２０００は、特徴抽出ネットワーク等を３つ以上有してもよい。この場合も、前述した方法と同様の方法で学習を実現できる。例えば、特徴抽出ネットワーク等をそれぞれｎ個設けるとする。この場合、学習データは、第１正解物体数マップから第ｎ正解物体数マップというｎ個の正解物体数マップ、及び第１正解存在ラベルマップから第ｎ正解存在ラベルマップというｎ個の正解存在ラベルマップを含む。

学習部２１００は、各計数ネットワーク及び各存在推定ネットワークからの出力と正解値（第１正解物体数マップから第ｎ正解物体数マップ及び第１正解存在ラベルマップから第ｎ正解存在ラベルマップ）との誤差を表す損失を算出し、算出した損失を小さくするように各ネットワークのパラメータを更新する。

＜学習データの生成方法＞
第１正解存在ラベルマップ及び第２正解存在ラベルマップの生成方法を説明する。物体数推定装置２０００において学習データの生成を行う場合、本実施形態の物体数推定装置２０００も、図１２に示した実施形態４の物体数推定装置２０００と同様に、学習データ生成部２１２０を有する。例えば、学習データ生成部２１２０は、学習データの生成に利用するデータ（学習データ生成用データ）として、学習画像と物体情報とのペアを取得する。そして、学習データ生成部２１２０は、第１正解物体数マップを生成し、第１正解物体数マップを所定の規則で変換することで、第１正解存在ラベルマップを生成する。具体的には、第１正解物体数マップの各セルを、対象物体の数が０であるセルについては０のまま（対象物体なし）とし、対象物体の数が１以上であるセルについては１（対象物体あり）に変換することで、第１正解存在ラベルマップを生成することができる。なお、第１正解物体数マップの生成方法については、実施形態４で述べた通りである。

ただし、第１正解物体数マップのセルは、０より大きく１より小さい値を示すこともある。例えば、実施形態４で説明したように、或る対象物体を表す画像領域が２つの推定領域にまたがって位置するケースである。この場合、例えば学習データ生成部２１２０は、第１正解物体数マップの各セルを、対象物体の数が閾値 Th 以下（０＜Th≦１）であるセルについては０とし、対象物体の数が閾値 Th より大きいセルについては１に変換することで、第１正解存在ラベルマップを生成する。

さらに、学習データ生成部２１２０は、第２正解物体数マップを同様の規則で変換することにより、第２正解存在ラベルマップを生成する。

第１正解存在ラベルマップと第２正解存在ラベルマップの生成方法は上述した方法に限定されない。例えば、学習データの生成を行う作業者が手動で第１正解存在ラベルマップと第２正解存在ラベルマップを生成してもよい。

＜ハードウエア構成の例＞
実施形態５の物体数推定装置２０００は、実施形態１の物体数推定装置２０００と同様に、その構成が図４で例示される種々の計算機で実現することができる。ただし、実施形態５の物体数推定装置２０００を実現する計算機１０００に含まれるストレージデバイス１０８０には、実施形態５の物体数推定装置２０００の各機能構成部を実現するプログラムモジュールが記憶されている。

＜変形例＞
実施形態２の変形例として説明したように、物体数推定装置２０００は、対象物体の数を属性ごとに計数する計数ネットワークと、存在推定ネットワークとを有してもよい。この場合、学習データ生成用データの物体情報には、各対象物体について、その位置とサイズに加え、その対象物体の属性が示され、実施形態４の変形例で述べた方法と同様の方法により、学習部２１００は、学習データを各属性について用意し学習する。

例えば、対象物体が人であり、属性として年齢層を用いるとする。また、年齢層の属性値として、子供及び大人の２つを用いるとする。この場合、第１計数ネットワーク２０４４により、第１所定範囲内のサイズを持つ大人の数と子供の数がそれぞれ出力される。また、第２計数ネットワーク２０６４により、第２所定範囲内のサイズを持つ大人の数と子供の数がそれぞれ出力される。さらに、第１存在推定ネットワーク２０４６と第２存在推定ネットワーク２０６６それぞれから、第１存在ラベルと第２存在ラベルが出力される。

実施形態４の変形例の学習部２１００は、前述した各出力と正解値（属性ごとの第１正解物体数マップ、属性ごとの第２正解物体数マップ、第１正解存在ラベルマップ、及び第２正解存在ラベルマップ）との誤差を表す損失を算出し、算出した損失を小さくするように各ネットワークのパラメータを更新する。

なお、実施形態２の変形例で記載したように、存在ラベルについても属性ごとに推定されるようにしてもよい。この場合、正解存在ラベルマップについても属性ごとに用意する。学習部２１００は、第１計数ネットワーク２０４４、第２計数ネットワーク２０６４、第１存在推定ネットワーク２０４６、及び第２存在推定ネットワーク２０６６それぞれによる属性ごとの出力と、正解値（属性ごとの第１正解物体数マップ、属性ごとの第２正解物体数マップ、属性ごとの第１正解存在ラベルマップ、及び属性ごとの第２正解存在ラベルマップ）との誤差を表す損失を算出し、算出した損失を小さくするように各ネットワークのパラメータを更新する。

［実施形態６］
図１４は、実施形態６の物体数推定装置２０００の機能構成を例示するブロック図である。以下で説明する点を除き、実施形態６の物体数推定装置２０００は、実施形態４又は５の物体数推定装置２０００と同様の機能を有する。

実施形態６の物体数推定装置２０００は、実施形態４や５の物体数推定装置２０００と同様に、各ネットワークの学習を行う。ただし、前述したように、実施形態６の物体数推定装置２０００は、実施形態３の物体数推定装置２０００が有する第１属性推定ネットワーク２０４８及び第２属性推定ネットワーク２０６８の学習を行う。すなわち、実施形態６の学習部２１００は、第１属性推定ネットワーク２０４８と第２属性推定ネットワーク２０６８の学習を行う機能をさらに有する。

実施形態６の物体数推定装置２０００が取得する学習データは、第１正解属性マップ及び第２正解属性マップをさらに含む。第１正解属性マップは、第１属性推定ネットワーク２０４８の学習に利用される学習データである。具体的には、第１正解属性マップは、学習画像に含まれる各第１推定領域について、第１所定範囲内のサイズを持つ対象物体の属性情報を示す。例えば第１正解属性マップは、各第１推定領域について、その第１推定領域において最も支配的な属性のクラス値を示したり、その第１推定領域における属性のクラス値の重み付き平均などを示す。

一方、第２正解属性マップは、第２属性推定ネットワーク２０６８の学習に利用される学習データである。具体的には、第２正解属性マップは、学習画像に含まれる各第２推定領域について、第２所定範囲内のサイズを持つ対象物体の属性情報を示す。その内容は、第１正解属性マップと同様である。

学習部２１００は、学習画像を第１特徴抽出ネットワーク２０４２に入力する。これに応じ、実施形態４などで述べたように、第１計数ネットワーク２０４４と第２計数ネットワーク２０６４からそれぞれ、第１所定範囲内のサイズを持つ対象物体の数と、第２所定範囲内のサイズを持つ対象物体の数とが出力される。また、本実施形態ではさらに、第１属性推定ネットワーク２０４８と第２属性推定ネットワーク２０６８からそれぞれ、第１所定範囲内のサイズを持つ対象物体の属性情報と、第２所定範囲内のサイズを持つ対象物体の属性情報とが出力される。

学習部２１００は、前述した第１計数ネットワーク２０４４、第２計数ネットワーク２０６４、第１属性推定ネットワーク２０４８、及び第２属性推定ネットワーク２０６８それぞれからの出力と、正解値（第１正解物体数マップ、第２正解物体数マップ、第１正解属性マップ、及び第２正解属性マップ）との誤差を表す損失を算出し、算出した損失を小さくするように各ネットワークのパラメータを更新する。

ここで、第１属性推定ネットワーク２０４８がクラス分類を行う場合、第１属性推定ネットワーク２０４８の最終的な出力ではなく、その前段階で第１属性推定ネットワーク２０４８が算出する各属性についての確率に基づいて学習を行うことが好適である。例えば第１属性推定ネットワーク２０４８は、第１推定領域ごとに、各属性についてその属性が最も支配的な属性である確率が列挙された第１ベクトルを算出し、そのベクトルを 1-of-k ベクトル化した第２ベクトルを出力するように構成される。この場合、例えば、第１正解属性マップとして、最も支配的である属性についてのみ１を示す 1-of-k ベクトルを第１推定領域ごとに持つデータを用意する。第２属性推定ネットワーク２０６８についても同様である。

本実施形態によれば、実施形態５において計数ネットワークの推定精度や学習速度が向上することと同様の理由により、計数ネットワークの推定精度や学習速度が向上する。また、属性推定ネットワークについても、属性推定ネットワークを単体で設ける場合と比較し、その推定精度及び学習速度が向上する。

ここで、前述した様に、物体数推定装置２０００は、特徴抽出ネットワーク等を３つ以上有してもよい。この場合も、前述した方法と同様の方法で学習を実現できる。例えば、特徴抽出ネットワーク等をそれぞれｎ個設けるとする。この場合、学習データは、第１正解物体数マップから第ｎ正解物体数マップというｎ個の正解物体数マップ、及び第１正解属性マップから第ｎ正解属性マップというｎ個の正解属性マップを含む。

学習部２１００は、各計数ネットワーク及び各属性推定ネットワークからの出力と正解値（第１正解物体数マップから第ｎ正解物体数マップ及び第１正解属性マップから第ｎ正解属性マップ）との誤差を表す損失を算出し、算出した損失を小さくするように各ネットワークのパラメータを更新する。

＜学習データの生成方法＞
第１正解属性マップ及び第２正解属性マップの生成方法について説明する。物体数推定装置２０００において学習データの生成を行う場合、本実施形態の物体数推定装置２０００も、図１２に示した実施形態４の物体数推定装置２０００と同様に、学習データ生成部２１２０を有する。例えば学習データ生成部２１２０は、実施形態４の物体数推定装置２０００と同様に、学習データの生成に利用するデータ（学習データ生成用データ）として、学習画像と物体情報とのペアを取得する。ただし、本実施形態における物体情報には、各対象物体について、その位置とサイズに加え、その対象物体の属性が示されている。学習データ生成部２１２０は、これらの情報を利用して、第１正解属性マップ及び第２正解属性マップを生成する。

例えば学習データ生成部２１２０は、以下のように処理を行う。学習データ生成部２１２０は、上記にて学習画像と物体情報とのペアを取得した後、実施形態４で示される第１正解物体数マップを生成する。この生成によって、実施形態４で示されるように、各対象物体が属する各第1推定領域が特定される。そして、学習データ生成部２１２０は、各第１推定領域について、属する各対象物体の属性に基づいて、その第１推定領域の第１属性情報を算出する。各対象物体の属性は、その対象物体の物体情報に示されている。学習データ生成部２１２０は、各第１推定領域について上記算出した第１属性情報を示す第１正解属性マップを生成する。

学習データ生成部２１２０は、各第１推定領域について、その第１推定領域に含まれる対象物体の属性の統計値を表す第１属性情報を生成する。例えば学習データ生成部２１２０は、各第１推定領域について、属性ごとにその属性を持つ対象物体の数を算出し、その数が最も多い属性を、その第１推定領域の第１属性情報とする。その他にも例えば、学習データ生成部２１２０は、各第１推定領域について、属性ごとに対象物体の面積を重みとした重み付き和を算出し、その重み付き和が最大の属性を、その第１推定領域の第１属性情報とする。その他にも例えば、学習データ生成部２１２０は、各第１推定領域について、対象物体の数又は面積を重みとして属性の重み付き平均を算出し、その重み付き平均を、その第１推定領域の第１属性情報とする。

同様にして、学習データ生成部２１２０は、各第２推定領域について第２属性情報を算出し、各第２推定領域について第２属性情報を示す第２正解属性マップを生成する。

第１正解属性マップと第２正解属性マップの生成方法は上述した方法に限定されない。例えば、学習データの生成を行う作業者が手動で第１正解属性マップと第２正解属性マップを生成してもよい。

＜ハードウエア構成の例＞
実施形態６の物体数推定装置２０００は、実施形態１の物体数推定装置２０００と同様に、その構成が図４で例示される種々の計算機で実現することができる。ただし、実施形態６の物体数推定装置２０００を実現する計算機１０００に含まれるストレージデバイス１０８０には、実施形態６の物体数推定装置２０００の各機能構成部を実現するプログラムモジュールが記憶されている。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の構成を組み合わせた構成や、上記以外の様々な構成を採用することもできる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１． 対象画像に対して畳み込み処理を行うことで第１特徴マップ及び第２特徴マップを生成する特徴抽出ネットワークと、
前記第１特徴マップのセルごとに、そのセルに対応する前記対象画像の画像領域である第１推定領域について、第１所定範囲内のサイズを持つ対象物体の数を推定する第１計数ネットワークと、
前記第２特徴マップのセルごとに、そのセルに対応する前記対象画像の画像領域である第２推定領域について、第２所定範囲内のサイズを持つ対象物体の数を推定する第２計数ネットワークと、を有し、
前記第１特徴マップのサイズは前記第２特徴マップのサイズよりも大きく、
前記第１所定範囲に含まれるサイズは、前記第２所定範囲に含まれるサイズよりも小さい、物体数推定装置。
２． 前記特徴抽出ネットワークは、前記対象画像に対して畳み込み処理を行うことで前記第１特徴マップを生成し、前記第１特徴マップに対してさらに畳み込み処理を行うことで前記第２特徴マップを生成する、１．に記載の物体数推定装置。
３． 前記第１計数ネットワークは、第１所定範囲内のサイズを持つ対象物体の数を、対象物体の属性ごとに推定し、
前記第２計数ネットワークは、第２所定範囲内のサイズを持つ対象物体の数を、対象物体の属性ごとに推定する、１．又は２．に記載の物体数推定装置。
４． 前記第１特徴マップの各セルに対応する前記第１推定領域について、前記第１所定範囲内のサイズを持つ対象物体の存在を推定する第１存在推定ネットワークと、
前記第２特徴マップの各セルに対応する前記第２推定領域について、前記第２所定範囲内のサイズを持つ対象物体の存在を推定する第２存在推定ネットワークと、を有する１．乃至３．いずれか一つに記載の物体数推定装置。
５． 前記対象物体が存在すること又は前記対象物体の存在確率が閾値以上であることが前記第１存在推定ネットワークによって推定された第１推定領域については、その第１推定領域における前記対象物体の数として、前記第１存在推定ネットワークによって推定された数を用い、
前記対象物体が存在しないこと又は前記対象物体の存在確率が閾値未満であることが前記第１存在推定ネットワークによって推定された第１推定領域については、その第１推定領域における前記対象物体の数を０個とし、
前記対象物体が存在すること又は前記対象物体の存在確率が閾値以上であることが前記第２存在推定ネットワークによって推定された第２推定領域については、その第２推定領域における前記対象物体の数として、前記第２存在推定ネットワークによって推定された数を用い、
前記対象物体が存在しないこと又は前記対象物体の存在確率が閾値未満であることが前記第２存在推定ネットワークによって推定された第２推定領域については、その第２推定領域における前記対象物体の数を０個とする、４．に記載の物体数推定装置。
６． 前記第１特徴マップの各セルに対応する前記第１推定領域について、前記第１所定範囲内のサイズを持つ対象物体の属性を推定する第１属性推定ネットワークと、
前記第２特徴マップの各セルに対応する前記第２推定領域について、前記第２所定範囲内のサイズを持つ対象物体の属性を推定する第２属性推定ネットワークと、を有する１．乃至５．いずれか一つに記載の物体数推定装置。
７． 学習データを用いてネットワークの学習を行う学習部を有し、
前記学習データは、対象画像、前記第１所定範囲内のサイズを持つ対象物体の数を前記対象画像の各前記第１推定領域について示す第１正解物体数データ、及び前記第２所定範囲内のサイズを持つ対象物体の数を前記対象画像の各前記第２推定領域について示す第２正解物体数データを含み、
前記学習部は、前記対象画像を前記特徴抽出ネットワークに入力することで前記第１計数ネットワークと前記第２計数ネットワークのそれぞれから得られる出力と、前記第１正解物体数データと、前記第２正解物体数データとを用いて損失を算出し、前記算出した損失に基づいて、前記特徴抽出ネットワーク、前記第１計数ネットワーク、及び前記第２計数ネットワークの学習を行う、１．乃至６．いずれか一つに記載の物体数推定装置。
８． 前記第１計数ネットワークは、第１所定範囲内のサイズを持つ対象物体の数を、対象物体の属性ごとに推定し、
前記第２計数ネットワークは、第２所定範囲内のサイズを持つ対象物体の数を、対象物体の属性ごとに推定し、
前記学習データは、
前記対象画像に含まれる各対象物体の属性をさらに示し、
前記第１正解物体数データと前記第２正解物体数データを前記対象物体の属性ごとに示す、７．に記載の物体数推定装置。
９． 前記対象画像について各前記対象物体の画像領域を特定可能な物体情報を取得し、前記取得した物体情報を用いて前記学習データを生成する学習データ生成部を有し、
前記学習データ生成部は、
前記物体情報を用いて、前記第１推定領域ごとに、サイズが前記第１所定範囲内である対象物体であってなおかつその対象物体を表す領域の所定割合以上がその第１推定領域に含まれる対象物体の個数又は割合の合計を算出し、前記第１推定領域ごとに前記算出した個数又は割合の合計を示す前記第１正解物体数データを生成し、
前記物体情報を用いて、前記第２推定領域ごとに、サイズが前記第２所定範囲内である対象物体であってなおかつその対象物体を表す領域の所定割合以上がその第２推定領域に含まれる対象物体の個数又は割合の合計を算出し、前記第２推定領域ごとに前記算出した個数又は割合の合計を示す前記第２正解物体数データを生成する、７．又は８．に記載の物体数推定装置。
１０． 前記第１特徴マップの各セルに対応する前記第１推定領域について、前記第１所定範囲内のサイズを持つ対象物体の存在を推定する第１存在推定ネットワークと、
前記第２特徴マップの各セルに対応する前記第２推定領域について、前記第２所定範囲内のサイズを持つ対象物体の存在を推定する第２存在推定ネットワークと、を有し、
前記学習データは、前記第１所定範囲内のサイズを持つ対象物体の存在を前記対象画像の各前記第１推定領域について示す第１正解存在データ、及び前記第２所定範囲内のサイズを持つ対象物体の存在を前記対象画像の各前記第２推定領域について示す第２正解存在データを含み、
前記学習部は、前記対象画像を前記特徴抽出ネットワークに入力することで前記第１計数ネットワーク、前記第２計数ネットワーク、前記第１存在推定ネットワーク、及び前記第２存在推定ネットワークのそれぞれから得られる出力と、前記第１正解物体数データと、前記第２正解物体数データと、前記第１正解存在データと、前記第２正解存在データとを用いて損失を算出し、前記算出した損失に基づいて、前記特徴抽出ネットワーク、前記第１計数ネットワーク、前記第２計数ネットワーク、前記第１存在推定ネットワーク、及び前記第２存在推定ネットワークの学習を行う、７．乃至９．いずれか一つに記載の物体数推定装置。
１１． 前記対象画像について各前記対象物体の画像領域を特定可能な物体情報を取得し、前記取得した物体情報を用いて前記学習データを生成する学習データ生成部を有し、
前記学習データ生成部は、
前記物体情報を用いて、前記第１所定範囲内のサイズを持つ対象物体が１個以上含まれる前記第１推定領域については前記対象物体の存在を示し、なおかつ前記第１所定範囲内のサイズを持つ対象物体が１個も含まれない前記第１推定領域については前記対象物体の不存在を示す前記第１正解存在データを生成するか、又は、前記第１所定範囲内のサイズを持つ対象物体を表す画像領域が所定割合以上含まれる前記第１推定領域については前記対象物体の存在を示し、なおかつ前記第１所定範囲内のサイズを持つ対象物体を表す画像領域が前記所定割合以上含まれない前記第１推定領域については前記対象物体の不存在を示す前記第１正解存在データを生成し、
前記物体情報を用いて、前記第２所定範囲内のサイズを持つ対象物体が１個以上含まれる前記第２推定領域については前記対象物体の存在を示し、なおかつ前記第２所定範囲内のサイズを持つ対象物体が１個も含まれない前記第２推定領域については前記対象物体の不存在を示す前記第２正解存在データを生成するか、又は、前記第２所定範囲内のサイズを持つ対象物体を表す画像領域が前記所定割合以上含まれる前記第２推定領域については前記対象物体の存在を示し、なおかつ前記第２所定範囲内のサイズを持つ対象物体を表す画像領域が前記所定割合以上含まれない前記第２推定領域については前記対象物体の不存在を示す前記第２正解存在データを生成する、１０．に記載の物体数推定装置。
１２． 前記第１特徴マップの各セルに対応する前記第１推定領域について、前記第１所定範囲内のサイズを持つ対象物体の属性を推定する第１属性推定ネットワークと、
前記第２特徴マップの各セルに対応する前記第２推定領域について、前記第２所定範囲内のサイズを持つ対象物体の属性を推定する第２属性推定ネットワークと、を有し、
前記学習データは、対象画像、前記第１所定範囲内のサイズを持つ対象物体の属性を前記対象画像の各前記第１推定領域について示す第１正解属性データ、及び前記第２所定範囲内のサイズを持つ対象物体の属性を前記対象画像の各前記第２推定領域について示す第２正解属性データを含み、
前記学習部は、前記対象画像を前記特徴抽出ネットワークに入力することで前記第１計数ネットワーク、前記第２計数ネットワーク、前記第１属性推定ネットワーク、及び前記第２属性推定ネットワークのそれぞれから得られる出力と、前記第１正解物体数データと、前記第２正解物体数データと、前記第１正解属性データと、前記第２正解属性データとを用いて損失を算出し、前記算出した損失に基づいて、前記特徴抽出ネットワーク、前記第１計数ネットワーク、前記第２計数ネットワーク、前記第１属性推定ネットワーク、及び前記第２属性推定ネットワークの学習を行う、７．乃至１１．いずれか一つに記載の物体数推定装置。
１３． 前記対象画像について各前記対象物体の画像領域及び属性を特定可能な物体情報を取得し、前記取得した物体情報を用いて前記学習データを生成する学習データ生成部を有し、
前記学習データ生成部は、
前記物体情報を用いて、前記第１推定領域ごとに、その第１推定領域に含まれる前記第１所定範囲内のサイズを持つ対象物体の属性の統計値を算出し、各前記第１推定領域について算出された前記統計値を示す前記第１正解属性データを生成し、
前記物体情報を用いて、前記第２推定領域ごとに、その第２推定領域に含まれる前記第２所定範囲内のサイズを持つ対象物体の属性の統計値を算出し、各前記第２推定領域について算出された前記統計値を示す前記第２正解属性データを生成する、１２．に記載の物体数推定装置。
１４． 前記学習データ生成部は、
前記第１特徴マップのサイズと前記対象画像のサイズとの比率に基づいて、前記対象画像における各前記第１推定領域を特定し、
前記第２特徴マップのサイズと前記対象画像のサイズとの比率に基づいて、前記対象画像における各前記第２推定領域を特定する、９．、１１、及び１３いずれか一つに記載の物体数推定装置。
１５． 前記学習データ生成部は、
前記第１推定領域のサイズに第１所定比率を掛けることで第１基準サイズを算出し、その第１基準サイズに基づいて前記第１所定範囲を算出し、
前記第２推定領域のサイズに第２所定比率を掛けることで第２基準サイズを算出し、その第２基準サイズに基づいて前記第２所定範囲を算出する、９．、１１、１３、及び１４いずれか一つに記載の物体数推定装置。
１６． 前記第１所定比率と前記第２所定比率は等しい、１５．に記載の物体数推定装置。
１７． 前記第１所定範囲の右端と前記第２所定範囲の左端は等しく、
前記第１所定範囲の左端に対する前記第１基準サイズの比率と、前記第２所定範囲の左端に対する前記第２基準サイズの比率は等しく、
前記第１所定範囲の右端に対する前記第１基準サイズの比率と、前記第２所定範囲の右端に対する前記第２基準サイズの比率は等しい、１５．又は１６．に記載の物体数推定装置。
１８． 前記学習部は、
前記対象画像に含まれる前記第１推定領域及び前記第２推定領域の一部を、第１正解物体数データ及び第２正解物体数データにおける前記対象物体の数が０個である推定領域と０個でない推定領域とのセルの個数の比率が所定の比率となるように選択し、
前記選択された前記推定領域についてのネットワークの出力と学習データとの誤差に基づいて学習を行う、７．乃至１７．いずれか一つに記載の物体数推定装置。
１９． 前記学習部は、
存在推定ネットワークの学習に関しては、前記対象画像に含まれる前記第１推定領域及び前記第２推定領域の一部を、第１正解存在データ及び第２正解存在データにおける存在なし又は閾値未満の存在確率である推定領域とそれ以外の推定領域とのセルの個数の比率が所定の比率となるように選択し、
存在推定ネットワーク以外の学習に関しては、前記対象画像に含まれる前記第１推定領域及び前記第２推定領域の一部を、第１正解存在データ及び第２正解存在データにおける存在あり又は閾値以上の存在確率である推定領域を選択し、
前記選択された推定領域についてのネットワーク出力と学習データとの誤差に基づいて学習を行う、１０．又は１１．に記載の物体数推定装置。
２０． コンピュータによって実行される制御方法であって、
前記コンピュータは、
対象画像に対して畳み込み処理を行うことで第１特徴マップ及び第２特徴マップを生成する特徴抽出ネットワークと、
前記第１特徴マップのセルごとに、そのセルに対応する前記対象画像の画像領域である第１推定領域について、第１所定範囲内のサイズを持つ対象物体の数を推定する第１計数ネットワークと、
前記第２特徴マップのセルごとに、そのセルに対応する前記対象画像の画像領域である第２推定領域について、第２所定範囲内のサイズを持つ対象物体の数を推定する第２計数ネットワークと、を有し、
前記特徴抽出ネットワークが、前記対象画像から前記第１特徴マップと前記第２特徴マップを生成し、
前記第１計数ネットワークが、前記第１特徴マップを用いて、前記第１推定領域ごとに、前記第１所定範囲内のサイズを持つ対象物体の数を推定し、
前記第２計数ネットワークが、前記第２特徴マップを用いて、前記第２推定領域ごとに、前記第２所定範囲内のサイズを持つ対象物体の数を推定し、
前記第１特徴マップのサイズは前記第２特徴マップのサイズよりも大きく、
前記第１所定範囲に含まれるサイズは、前記第２所定範囲に含まれるサイズよりも小さい、制御方法。
２１． 前記特徴抽出ネットワークが、前記対象画像に対して畳み込み処理を行うことで前記第１特徴マップを生成し、前記第１特徴マップに対してさらに畳み込み処理を行うことで前記第２特徴マップを生成する、２０．に記載の制御方法。
２２． 前記第１計数ネットワークが、第１所定範囲内のサイズを持つ対象物体の数を、対象物体の属性ごとに推定し、
前記第２計数ネットワークが、第２所定範囲内のサイズを持つ対象物体の数を、対象物体の属性ごとに推定する、２０．又は２１．に記載の制御方法。
２３． 前記コンピュータは、
前記第１特徴マップの各セルに対応する前記第１推定領域について、前記第１所定範囲内のサイズを持つ対象物体の存在を推定する第１存在推定ネットワークと、
前記第２特徴マップの各セルに対応する前記第２推定領域について、前記第２所定範囲内のサイズを持つ対象物体の存在を推定する第２存在推定ネットワークと、を有し、
前記第１存在推定ネットワークが、前記第１特徴マップを用いて、前記第１推定領域ごとに、前記第１所定範囲内のサイズを持つ対象物体の存在を推定し、
前記第２存在推定ネットワークが、前記第２特徴マップを用いて、前記第２推定領域ごとに、前記第２所定範囲内のサイズを持つ対象物体の存在を推定する、２０．乃至２２．いずれか一つに記載の制御方法。
２４． 前記対象物体が存在すること又は前記対象物体の存在確率が閾値以上であることが前記第１存在推定ネットワークによって推定された第１推定領域については、その第１推定領域における前記対象物体の数として、前記第１存在推定ネットワークによって推定された数を用い、
前記対象物体が存在しないこと又は前記対象物体の存在確率が閾値未満であることが前記第１存在推定ネットワークによって推定された第１推定領域については、その第１推定領域における前記対象物体の数を０個とし、
前記対象物体が存在すること又は前記対象物体の存在確率が閾値以上であることが前記第２存在推定ネットワークによって推定された第２推定領域については、その第２推定領域における前記対象物体の数として、前記第２存在推定ネットワークによって推定された数を用い、
前記対象物体が存在しないこと又は前記対象物体の存在確率が閾値未満であることが前記第２存在推定ネットワークによって推定された第２推定領域については、その第２推定領域における前記対象物体の数を０個とする、２３．に記載の制御方法。
２５． 前記コンピュータは、前記第１特徴マップの各セルに対応する前記第１推定領域について、前記第１所定範囲内のサイズを持つ対象物体の属性を推定する第１属性推定ネットワークと、
前記第２特徴マップの各セルに対応する前記第２推定領域について、前記第２所定範囲内のサイズを持つ対象物体の属性を推定する第２属性推定ネットワークと、を有し、
前記第１属性推定ネットワークが、前記第１特徴マップを用いて、前記第１推定領域ごとに、前記第１所定範囲内のサイズを持つ対象物体の属性を推定し、
前記第２属性推定ネットワークが、前記第２特徴マップを用いて、前記第２推定領域ごとに、前記第２所定範囲内のサイズを持つ対象物体の属性を推定する、２０．乃至２４．いずれか一つに記載の制御方法。
２６． 学習データを用いてネットワークの学習を行い、
前記学習データは、対象画像、前記第１所定範囲内のサイズを持つ対象物体の数を前記対象画像の各前記第１推定領域について示す第１正解物体数データ、及び前記第２所定範囲内のサイズを持つ対象物体の数を前記対象画像の各前記第２推定領域について示す第２正解物体数データを含み、
前記ネットワークの学習において、前記対象画像を前記特徴抽出ネットワークに入力することで前記第１計数ネットワークと前記第２計数ネットワークのそれぞれから得られる出力と、前記第１正解物体数データと、前記第２正解物体数データとを用いて損失を算出し、前記算出した損失に基づいて、前記特徴抽出ネットワーク、前記第１計数ネットワーク、及び前記第２計数ネットワークの学習を行う、２０．乃至２５．いずれか一つに記載の制御方法。
２７． 前記第１計数ネットワークが、第１所定範囲内のサイズを持つ対象物体の数を、対象物体の属性ごとに推定し、
前記第２計数ネットワークが、第２所定範囲内のサイズを持つ対象物体の数を、対象物体の属性ごとに推定し、
前記学習データは、
前記対象画像に含まれる各対象物体の属性をさらに示し、
前記第１正解物体数データと前記第２正解物体数データを前記対象物体の属性ごとに示す、２６．に記載の制御方法。
２８． 前記対象画像について各前記対象物体の画像領域を特定可能な物体情報を取得し、前記取得した物体情報を用いて前記学習データを生成し、
前記学習データの生成において、
前記物体情報を用いて、前記第１推定領域ごとに、サイズが前記第１所定範囲内である対象物体であってなおかつその対象物体を表す領域の所定割合以上がその第１推定領域に含まれる対象物体の個数又は割合の合計を算出し、前記第１推定領域ごとに前記算出した個数又は割合の合計を示す前記第１正解物体数データを生成し、
前記物体情報を用いて、前記第２推定領域ごとに、サイズが前記第２所定範囲内である対象物体であってなおかつその対象物体を表す領域の所定割合以上がその第２推定領域に含まれる対象物体の個数又は割合の合計を算出し、前記第２推定領域ごとに前記算出した個数又は割合の合計を示す前記第２正解物体数データを生成する、２６．又は２７．に記載の制御方法。
２９． 前記コンピュータは、
前記第１特徴マップの各セルに対応する前記第１推定領域について、前記第１所定範囲内のサイズを持つ対象物体の存在を推定する第１存在推定ネットワークと、
前記第２特徴マップの各セルに対応する前記第２推定領域について、前記第２所定範囲内のサイズを持つ対象物体の存在を推定する第２存在推定ネットワークと、を有し、
前記学習データは、前記第１所定範囲内のサイズを持つ対象物体の存在を前記対象画像の各前記第１推定領域について示す第１正解存在データ、及び前記第２所定範囲内のサイズを持つ対象物体の存在を前記対象画像の各前記第２推定領域について示す第２正解存在データを含み、
前記ネットワークの学習において、前記対象画像を前記特徴抽出ネットワークに入力することで前記第１計数ネットワーク、前記第２計数ネットワーク、前記第１存在推定ネットワーク、及び前記第２存在推定ネットワークのそれぞれから得られる出力と、前記第１正解物体数データと、前記第２正解物体数データと、前記第１正解存在データと、前記第２正解存在データとを用いて損失を算出し、前記算出した損失に基づいて、前記特徴抽出ネットワーク、前記第１計数ネットワーク、前記第２計数ネットワーク、前記第１存在推定ネットワーク、及び前記第２存在推定ネットワークの学習を行う、２６．乃至２８．いずれか一つに記載の制御方法。
３０． 前記対象画像について各前記対象物体の画像領域を特定可能な物体情報を取得し、前記取得した物体情報を用いて前記学習データを生成し、
前記学習データの生成において、
前記物体情報を用いて、前記第１所定範囲内のサイズを持つ対象物体が１個以上含まれる前記第１推定領域については前記対象物体の存在を示し、なおかつ前記第１所定範囲内のサイズを持つ対象物体が１個も含まれない前記第１推定領域については前記対象物体の不存在を示す前記第１正解存在データを生成するか、又は、前記第１所定範囲内のサイズを持つ対象物体を表す画像領域が所定割合以上含まれる前記第１推定領域については前記対象物体の存在を示し、なおかつ前記第１所定範囲内のサイズを持つ対象物体を表す画像領域が前記所定割合以上含まれない前記第１推定領域については前記対象物体の不存在を示す前記第１正解存在データを生成し、
前記物体情報を用いて、前記第２所定範囲内のサイズを持つ対象物体が１個以上含まれる前記第２推定領域については前記対象物体の存在を示し、なおかつ前記第２所定範囲内のサイズを持つ対象物体が１個も含まれない前記第２推定領域については前記対象物体の不存在を示す前記第２正解存在データを生成するか、又は、前記第２所定範囲内のサイズを持つ対象物体を表す画像領域が前記所定割合以上含まれる前記第２推定領域については前記対象物体の存在を示し、なおかつ前記第２所定範囲内のサイズを持つ対象物体を表す画像領域が前記所定割合以上含まれない前記第２推定領域については前記対象物体の不存在を示す前記第２正解存在データを生成する、２９．に記載の制御方法。
３１． 前記コンピュータは、
前記第１特徴マップの各セルに対応する前記第１推定領域について、前記第１所定範囲内のサイズを持つ対象物体の属性を推定する第１属性推定ネットワークと、
前記第２特徴マップの各セルに対応する前記第２推定領域について、前記第２所定範囲内のサイズを持つ対象物体の属性を推定する第２属性推定ネットワークと、を有し、
前記学習データは、対象画像、前記第１所定範囲内のサイズを持つ対象物体の属性を前記対象画像の各前記第１推定領域について示す第１正解属性データ、及び前記第２所定範囲内のサイズを持つ対象物体の属性を前記対象画像の各前記第２推定領域について示す第２正解属性データを含み、
前記ネットワークの学習において、前記対象画像を前記特徴抽出ネットワークに入力することで前記第１計数ネットワーク、前記第２計数ネットワーク、前記第１属性推定ネットワーク、及び前記第２属性推定ネットワークのそれぞれから得られる出力と、前記第１正解物体数データと、前記第２正解物体数データと、前記第１正解属性データと、前記第２正解属性データとを用いて損失を算出し、前記算出した損失に基づいて、前記特徴抽出ネットワーク、前記第１計数ネットワーク、前記第２計数ネットワーク、前記第１属性推定ネットワーク、及び前記第２属性推定ネットワークの学習を行う、２６．乃至３０．いずれか一つに記載の制御方法。
３２． 前記対象画像について各前記対象物体の画像領域及び属性を特定可能な物体情報を取得し、前記取得した物体情報を用いて前記学習データを生成し、
前記学習データの生成において、
前記物体情報を用いて、前記第１推定領域ごとに、その第１推定領域に含まれる前記第１所定範囲内のサイズを持つ対象物体の属性の統計値を算出し、各前記第１推定領域について算出された前記統計値を示す前記第１正解属性データを生成し、
前記物体情報を用いて、前記第２推定領域ごとに、その第２推定領域に含まれる前記第２所定範囲内のサイズを持つ対象物体の属性の統計値を算出し、各前記第２推定領域について算出された前記統計値を示す前記第２正解属性データを生成する、３１．に記載の制御方法。
３３． 前記学習データの生成において、
前記第１特徴マップのサイズと前記対象画像のサイズとの比率に基づいて、前記対象画像における各前記第１推定領域を特定し、
前記第２特徴マップのサイズと前記対象画像のサイズとの比率に基づいて、前記対象画像における各前記第２推定領域を特定する、２８．、３０、及び３２いずれか一つに記載の制御方法。
３４． 前記学習データの生成において、
前記第１推定領域のサイズに第１所定比率を掛けることで第１基準サイズを算出し、その第１基準サイズに基づいて前記第１所定範囲を算出し、
前記第２推定領域のサイズに第２所定比率を掛けることで第２基準サイズを算出し、その第２基準サイズに基づいて前記第２所定範囲を算出する、２８．、３０、３２、及び３３いずれか一つに記載の制御方法。
３５． 前記第１所定比率と前記第２所定比率は等しい、３４．に記載の制御方法。
３６． 前記第１所定範囲の右端と前記第２所定範囲の左端は等しく、
前記第１所定範囲の左端に対する前記第１基準サイズの比率と、前記第２所定範囲の左端に対する前記第２基準サイズの比率は等しく、
前記第１所定範囲の右端に対する前記第１基準サイズの比率と、前記第２所定範囲の右端に対する前記第２基準サイズの比率は等しい、３４．又は３５．に記載の制御方法。
３７． 前記ネットワークの学習において、
前記対象画像に含まれる前記第１推定領域及び前記第２推定領域の一部を、第１正解物体数データ及び第２正解物体数データにおける前記対象物体の数が０個である推定領域と０個でない推定領域とのセルの個数の比率が所定の比率となるように選択し、
前記選択された推定領域についてのネットワークの出力と学習データとの誤差に基づいて学習を行う、２６．乃至３６．いずれか一つに記載の制御方法。
３８． 前記ネットワークの学習において、
存在推定ネットワークの学習に関しては、前記対象画像に含まれる前記第１推定領域及び前記第２推定領域の一部を、第１正解存在データ及び第２正解存在データにおける存在なし又は閾値未満の存在確率である推定領域とそれ以外の推定領域とのセルの個数の比率が所定の比率となるように選択し、
存在推定ネットワーク以外の学習に関しては、前記対象画像に含まれる前記第１推定領域及び前記第２推定領域の一部を、第１正解存在データ及び第２正解存在データにおける存在あり又は閾値以上の存在確率である推定領域を選択し、
前記選択された推定領域についてのネットワーク出力と学習データとの誤差に基づいて学習を行う、２９．又は３０．に記載の制御方法。
３９． ２０．乃至３８．いずれか一つに記載の制御方法をコンピュータに実行させるプログラム。

１０ 対象画像
２０ 第１特徴マップ
３０ 第２特徴マップ
５０ マップ
６０ マップ
７０ マップ
１０００ 計算機
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ ストレージデバイス
１１００ 入出力インタフェース
１１２０ ネットワークインタフェース
２０００ 物体数推定装置
２０４２ 第１特徴抽出ネットワーク
２０４４ 第１計数ネットワーク
２０４６ 第１存在推定ネットワーク
２０４８ 第１属性推定ネットワーク
２０６２ 第２特徴抽出ネットワーク
２０６４ 第２計数ネットワーク
２０６６ 第２存在推定ネットワーク
２０６８ 第２属性推定ネットワーク
２１００ 学習部
２１２０ 学習データ生成部

Claims (10)

1. 対象画像に対して畳み込み処理を行うことで第１特徴マップ及び第２特徴マップを生成する特徴抽出ネットワークと、
   前記第１特徴マップのセルごとに、そのセルに対応する前記対象画像の画像領域である第１推定領域について、第１所定範囲内のサイズを持つ対象物体の数を推定する第１計数ネットワークと、
   前記第２特徴マップのセルごとに、そのセルに対応する前記対象画像の画像領域である第２推定領域について、第２所定範囲内のサイズを持つ対象物体の数を推定する第２計数ネットワークと、を有し、
   前記第１特徴マップのサイズは前記第２特徴マップのサイズよりも大きく、
   前記第１所定範囲に含まれるサイズは、前記第２所定範囲に含まれるサイズよりも小さい、物体数推定装置。
2. 前記特徴抽出ネットワークは、前記対象画像に対して畳み込み処理を行うことで前記第１特徴マップを生成し、前記第１特徴マップに対してさらに畳み込み処理を行うことで前記第２特徴マップを生成する、請求項１に記載の物体数推定装置。
3. 前記第１計数ネットワークは、第１所定範囲内のサイズを持つ対象物体の数を、対象物体の属性ごとに推定し、
   前記第２計数ネットワークは、第２所定範囲内のサイズを持つ対象物体の数を、対象物体の属性ごとに推定する、請求項１又は２に記載の物体数推定装置。
4. 前記第１特徴マップの各セルに対応する前記第１推定領域について、前記第１所定範囲内のサイズを持つ対象物体の存在を推定する第１存在推定ネットワークと、
   前記第２特徴マップの各セルに対応する前記第２推定領域について、前記第２所定範囲内のサイズを持つ対象物体の存在を推定する第２存在推定ネットワークと、を有する請求項１乃至３いずれか一項に記載の物体数推定装置。
5. 前記対象物体が存在すること又は前記対象物体の存在確率が閾値以上であることが前記第１存在推定ネットワークによって推定された第１推定領域については、その第１推定領域における前記対象物体の数として、前記第１存在推定ネットワークによって推定された数を用い、
   前記対象物体が存在しないこと又は前記対象物体の存在確率が閾値未満であることが前記第１存在推定ネットワークによって推定された第１推定領域については、その第１推定領域における前記対象物体の数を０個とし、
   前記対象物体が存在すること又は前記対象物体の存在確率が閾値以上であることが前記第２存在推定ネットワークによって推定された第２推定領域については、その第２推定領域における前記対象物体の数として、前記第２存在推定ネットワークによって推定された数を用い、
   前記対象物体が存在しないこと又は前記対象物体の存在確率が閾値未満であることが前記第２存在推定ネットワークによって推定された第２推定領域については、その第２推定領域における前記対象物体の数を０個とする、請求項４に記載の物体数推定装置。
6. 前記第１特徴マップの各セルに対応する前記第１推定領域について、前記第１所定範囲内のサイズを持つ対象物体の属性を推定する第１属性推定ネットワークと、
   前記第２特徴マップの各セルに対応する前記第２推定領域について、前記第２所定範囲内のサイズを持つ対象物体の属性を推定する第２属性推定ネットワークと、を有する請求項１乃至５いずれか一項に記載の物体数推定装置。
7. 学習データを用いてネットワークの学習を行う学習部を有し、
   前記学習データは、対象画像、前記第１所定範囲内のサイズを持つ対象物体の数を前記対象画像の各前記第１推定領域について示す第１正解物体数データ、及び前記第２所定範囲内のサイズを持つ対象物体の数を前記対象画像の各前記第２推定領域について示す第２正解物体数データを含み、
   前記学習部は、前記対象画像を前記特徴抽出ネットワークに入力することで前記第１計数ネットワークと前記第２計数ネットワークのそれぞれから得られる出力と、前記第１正解物体数データと、前記第２正解物体数データとを用いて損失を算出し、前記算出した損失に基づいて、前記特徴抽出ネットワーク、前記第１計数ネットワーク、及び前記第２計数ネットワークの学習を行う、請求項１乃至６いずれか一項に記載の物体数推定装置。
8. 前記第１計数ネットワークは、第１所定範囲内のサイズを持つ対象物体の数を、対象物体の属性ごとに推定し、
   前記第２計数ネットワークは、第２所定範囲内のサイズを持つ対象物体の数を、対象物体の属性ごとに推定し、
   前記学習データは、
   前記対象画像に含まれる各対象物体の属性をさらに示し、
   前記第１正解物体数データと前記第２正解物体数データを前記対象物体の属性ごとに示す、請求項７に記載の物体数推定装置。
9. コンピュータによって実行される制御方法であって、
   前記コンピュータは、
   対象画像に対して畳み込み処理を行うことで第１特徴マップ及び第２特徴マップを生成する特徴抽出ネットワークと、
   前記第１特徴マップのセルごとに、そのセルに対応する前記対象画像の画像領域である第１推定領域について、第１所定範囲内のサイズを持つ対象物体の数を推定する第１計数ネットワークと、
   前記第２特徴マップのセルごとに、そのセルに対応する前記対象画像の画像領域である第２推定領域について、第２所定範囲内のサイズを持つ対象物体の数を推定する第２計数ネットワークと、を有し、
   前記特徴抽出ネットワークが、前記対象画像から前記第１特徴マップと前記第２特徴マップを生成し、
   前記第１計数ネットワークが、前記第１特徴マップを用いて、前記第１推定領域ごとに、前記第１所定範囲内のサイズを持つ対象物体の数を推定し、
   前記第２計数ネットワークが、前記第２特徴マップを用いて、前記第２推定領域ごとに、前記第２所定範囲内のサイズを持つ対象物体の数を推定し、
   前記第１特徴マップのサイズは前記第２特徴マップのサイズよりも大きく、
   前記第１所定範囲に含まれるサイズは、前記第２所定範囲に含まれるサイズよりも小さい、制御方法。
10. 請求項９に記載の制御方法をコンピュータに実行させるプログラム。

Images