JP7239002B2 - 物体数推定装置、制御方法、及びプログラム - Google Patents
物体数推定装置、制御方法、及びプログラム Download PDFInfo
- Publication number
- JP7239002B2 JP7239002B2 JP2021541930A JP2021541930A JP7239002B2 JP 7239002 B2 JP7239002 B2 JP 7239002B2 JP 2021541930 A JP2021541930 A JP 2021541930A JP 2021541930 A JP2021541930 A JP 2021541930A JP 7239002 B2 JP7239002 B2 JP 7239002B2
- Authority
- JP
- Japan
- Prior art keywords
- estimation
- network
- objects
- target
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Description
第1特徴マップのサイズは第2特徴マップのサイズよりも大きい。第1所定範囲に含まれるサイズは、第2所定範囲に含まれるサイズよりも小さい。
当該制御方法は、1)特徴抽出ネットワークが、対象画像から第1特徴マップと第2特徴マップを生成し、2)第1計数ネットワークが、第1特徴マップを用いて、第1推定領域ごとに、第1所定範囲内のサイズを持つ対象物体の数を推定し、3)第2計数ネットワークが、第2特徴マップを用いて、第2推定領域ごとに、第2所定範囲内のサイズを持つ対象物体の数を推定する。
第1特徴マップのサイズは第2特徴マップのサイズよりも大きい。第1所定範囲に含まれるサイズは、第2所定範囲に含まれるサイズよりも小さい。
<概要>
図1は、本実施形態の物体数推定装置2000が行う処理を概念的に示す図である。物体数推定装置2000は、画像を取得し、取得した画像に含まれる所定の種類の物体の数を推定する。以下、推定の対象となる画像のことを、対象画像10と呼ぶ。また、推定の対象となる所定の種類の物体を、対象物体と呼ぶ。なお、図1において、対象画像10は、チャネル方向を省略して記載されている。例えば対象画像10としてカラー画像を利用する場合、対象画像10を受け付ける入力のチャネル数は2以上(例えばRGB画像なら3)に設定されうる。
入力画像から抽出した特徴マップを利用して物体の計数を行う際、サイズがより小さい特徴マップのセル(要素)ほど、そのセルに対応する入力画像上の領域が大きくなる。そのため、サイズが小さい特徴マップのセルは、入力画像の大まかな特徴を捉えている。このことから、サイズが大きい物体の検出には、サイズが小さい特徴マップが適していると言える。逆に、サイズが大きい特徴マップのセルは、入力画像の細かな特徴を捉えている。そのため、サイズが小さい物体の検出には、サイズが大きい特徴マップが適していると言える。
図3は、実施形態1の物体数推定装置2000の機能構成を例示するブロック図である。物体数推定装置2000は、第1特徴抽出ネットワーク2042、第1計数ネットワーク2044、第2特徴抽出ネットワーク2062、及び第2計数ネットワーク2064を有する。第1特徴抽出ネットワーク2042は、対象画像10に対して畳み込み処理を行うことで、第1特徴マップ20を生成する。第1計数ネットワーク2044は、第1特徴マップ20のセルごとに、そのセルに対応する対象画像10の画像領域(第1推定領域)について、第1所定範囲内のサイズを持つ対象物体の数を推定する。
物体数推定装置2000の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、物体数推定装置2000の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
図5は、実施形態1の物体数推定装置2000によって実行される処理の流れを例示するフローチャートである。物体数推定装置2000は、対象画像10を取得し、対象画像10を第1特徴抽出ネットワーク2042に入力する(S102)。第1特徴抽出ネットワーク2042は、対象画像10から第1特徴マップ20を生成する(S104)。第1計数ネットワーク2044は、第1特徴マップ20を用いて、各推定領域について、第1所定範囲内のサイズを持つ対象物体の数を出力する(S106)。
物体数推定装置2000は、対象画像10を取得し、第1特徴抽出ネットワーク2042に入力する(S102)。ここで、物体数推定装置2000が対象画像10を取得する方法は任意である。例えば物体数推定装置2000は、他の装置(例えば、対象画像10を生成するカメラ)から出力される画像を対象画像10として取得したり、物体数推定装置2000からアクセス可能な記憶装置に格納されている画像を対象画像10として取得したりする。
第1特徴抽出ネットワーク2042は、対象画像10から第1特徴マップ20を生成する(S104)。第1特徴抽出ネットワーク2042は、対象画像10が入力されたことに応じて第1特徴マップ20を出力するように、予め学習されている。そのため、物体数推定装置2000は、対象画像10を第1特徴抽出ネットワーク2042に入力することで、第1特徴マップ20を得ることができる。
第1計数ネットワーク2044は、第1特徴マップ20が入力されたことに応じ、各第1推定領域(入力された第1特徴マップ20の各セルに対応する対象画像10上の画像領域)について、第1所定範囲内のサイズを持つ対象物体の数を推定する(S106)。第1計数ネットワーク2044は、第1特徴マップ20が入力されたことに応じて、各第1推定領域について第1所定範囲内のサイズを持つ対象物体の数を出力するように、予め学習されている。
第2特徴抽出ネットワーク2062は、第1特徴マップ20が入力されたことに応じて、第2特徴マップ30を生成する(S108)。第2特徴抽出ネットワーク2062は、第1特徴マップ20が入力されたことに応じて第2特徴マップ30を出力するように、予め学習されている。
第2計数ネットワーク2064は、第2特徴マップ30が入力されたことに応じ、各第2推定領域(入力された第2特徴マップ30の各セルに対応する対象画像10上の画像領域)について、第2所定範囲内のサイズを持つ対象物体の数を推定する(S110)。ここで、第2計数ネットワーク2064は、第2特徴マップ30が入力されたことに応じ、各第2推定領域について第2所定範囲内のサイズを持つ対象物体の数を出力するように、予め学習されている。
物体数推定装置2000は、第1計数ネットワーク2044や第2計数ネットワーク2064から得られた情報を出力する。物体数推定装置2000は、第1計数ネットワーク2044から出力された情報(第1推定領域ごとに対象物体の数を示す情報)をそのまま出力してもよいし、対象画像10全体について、第1所定範囲内のサイズを持つ対象物体の数を算出して出力してもよい。後者の値は、各第1推定領域について第1計数ネットワーク2044から出力された対象物体の数を積算することで算出ができる。
ここまでは、説明を容易にするため、物体数推定装置2000に含まれる特徴抽出ネットワークと計数ネットワークの数をそれぞれ2つとしていた。しかしながら、物体数推定装置2000は、これらのネットワークをそれぞれ3つ以上有していてもよい。具体的には、第1特徴抽出ネットワークから第n特徴抽出ネットワーク(nは3以上の整数)というn個の特徴抽出ネットワークと、第1計数ネットワークから第n計数ネットワークというn個の計数ネットワークを物体数推定装置2000に設ける。
各ネットワークは、属性の異なる対象物体の数を計数するように構成されてもよい。例えば、対象物体が人であり、属性として年齢層を用いるとする。また、年齢層の属性値として、子供と大人の2つを用いるとする。この場合、第1計数ネットワーク2044は、子供の人数と大人の人数をそれぞれ推定する。具体的には、第1特徴マップ20から子供の人数を計数するように学習された第1計数ネットワーク2044と第2特徴マップ30から子供の人数を計数するように学習された第2計数ネットワーク2064のセット、及び第1特徴マップ20から大人の人数を計数するように学習された第1計数ネットワーク2044と第2特徴マップ30から大人の人数を計数するように学習された第2計数ネットワーク2064のセットが設けられる。
第2特徴抽出ネットワーク2062は、第1特徴マップ20ではなく、対象画像10を取得するように構成されてもよい。この場合、第2特徴抽出ネットワーク2062は、対象画像10に対して畳み込み処理を行うことで、第2特徴マップ30を生成する。この場合、第2特徴マップ30は、第1特徴マップ20よりもサイズが小さくなるように生成される。例えば、第2特徴抽出ネットワーク2062が有する畳み込み層の数を、第1特徴抽出ネットワーク2042が有する畳み込み層の数よりも多くする。後述する実施形態についても同様とすることができる。
図7は、実施形態2の物体数推定装置2000の機能構成を例示するブロック図である。以下で説明する点を除き、実施形態2の物体数推定装置2000は、実施形態1の物体数推定装置2000と同様の機能を有する。
実施形態2の物体数推定装置2000は、実施形態1の物体数推定装置2000と同様に、その構成が図4で例示される種々の計算機で実現することができる。ただし、実施形態2の物体数推定装置2000を実現する計算機1000に含まれるストレージデバイス1080には、実施形態2の物体数推定装置2000の各機能構成部を実現するプログラムモジュールが記憶されている。
実施形態1の変形例として説明したように、実施形態2の物体数推定装置2000は、属性の異なる対象物体の数をそれぞれ計数するように構成されてもよい。このケースにおいて、第1計数ネットワーク2044は、各第1推定領域について、第1所定範囲内のサイズを持つ対象物体の数を属性ごとに推定する。すなわち、図8で説明したマップ50が属性ごとに生成される。そこで例えば、物体数推定装置2000は、属性ごとに生成されたマップ50それぞれに対して、各第1推定領域についての第1存在ラベルを示すマップを適用することで、第1所定範囲内のサイズを持つ対象物体の数を属性ごとに計数する。すなわち、属性ごとのマップ50に対して共通のマップ60が適用されることにより、図8におけるマップ70が属性ごとに生成される。第2所定範囲内のサイズを持つ対象物体の数についても同様である。
図9は、実施形態3の物体数推定装置2000の機能構成を例示するブロック図である。以下で説明する点を除き、実施形態3の物体数推定装置2000は、実施形態1又は2の物体数推定装置2000と同様の機能を有する。
実施形態3の物体数推定装置2000は、実施形態1の物体数推定装置2000と同様に、その構成が図4で例示される種々の計算機で実現することができる。ただし、実施形態3の物体数推定装置2000を実現する計算機1000に含まれるストレージデバイス1080には、実施形態3の物体数推定装置2000の各機能構成部を実現するプログラムモジュールが記憶されている。
実施形態3の物体数推定装置2000は、実施形態2で説明した第1存在推定ネットワーク2046及び第2存在推定ネットワーク2066をさらに有してもよい。第2計数ネットワーク2064と第2存在推定ネットワーク2066の動作については、実施形態2で説明した通りである。
図10は、実施形態4の物体数推定装置2000の機能構成を例示するブロック図である。以下で説明する点を除き、実施形態4の物体数推定装置2000は、実施形態1の物体数推定装置2000と同様の機能を有する。
ここでは、学習データの生成方法を例示する。以下の例では、学習データの生成の一部が物体数推定装置2000によって行われる。学習データの生成を行う機能構成部を、学習データ生成部2120と呼ぶ。図12は、学習データ生成部2120を有する物体数推定装置2000の機能構成を例示するブロック図である。
実施形態4の物体数推定装置2000は、実施形態1の物体数推定装置2000と同様に、その構成が図4で例示される種々の計算機で実現することができる。ただし、実施形態4の物体数推定装置2000を実現する計算機1000に含まれるストレージデバイス1080には、実施形態4の物体数推定装置2000の各機能構成部を実現するプログラムモジュールが記憶されている。
図11は、実施形態4の物体数推定装置2000によって実行される処理の流れを例示するフローチャートである。ここで、図12に示す処理は、1つの学習データを利用して学習を行う処理である。複数の学習データによる学習は、図12に示す処理を繰り返し実行することによって実現される。
実施形態1の変形例でも述べたように、各ネットワークは、属性の異なる対象物体の数をそれぞれ計数するように構成されてもよい。この場合、学習データ生成用データの物体情報には、各対象物体について、その位置とサイズに加え、その対象物体の属性が示されている。学習部2100は、学習データを各属性ついて用意し学習する。
図13は、実施形態5の物体数推定装置2000の機能構成を例示するブロック図である。以下で説明する点を除き、実施形態5の物体数推定装置2000は、実施形態4の物体数推定装置2000と同様の機能を有する。
第1正解存在ラベルマップ及び第2正解存在ラベルマップの生成方法を説明する。物体数推定装置2000において学習データの生成を行う場合、本実施形態の物体数推定装置2000も、図12に示した実施形態4の物体数推定装置2000と同様に、学習データ生成部2120を有する。例えば、学習データ生成部2120は、学習データの生成に利用するデータ(学習データ生成用データ)として、学習画像と物体情報とのペアを取得する。そして、学習データ生成部2120は、第1正解物体数マップを生成し、第1正解物体数マップを所定の規則で変換することで、第1正解存在ラベルマップを生成する。具体的には、第1正解物体数マップの各セルを、対象物体の数が0であるセルについては0のまま(対象物体なし)とし、対象物体の数が1以上であるセルについては1(対象物体あり)に変換することで、第1正解存在ラベルマップを生成することができる。なお、第1正解物体数マップの生成方法については、実施形態4で述べた通りである。
実施形態5の物体数推定装置2000は、実施形態1の物体数推定装置2000と同様に、その構成が図4で例示される種々の計算機で実現することができる。ただし、実施形態5の物体数推定装置2000を実現する計算機1000に含まれるストレージデバイス1080には、実施形態5の物体数推定装置2000の各機能構成部を実現するプログラムモジュールが記憶されている。
実施形態2の変形例として説明したように、物体数推定装置2000は、対象物体の数を属性ごとに計数する計数ネットワークと、存在推定ネットワークとを有してもよい。この場合、学習データ生成用データの物体情報には、各対象物体について、その位置とサイズに加え、その対象物体の属性が示され、実施形態4の変形例で述べた方法と同様の方法により、学習部2100は、学習データを各属性について用意し学習する。
図14は、実施形態6の物体数推定装置2000の機能構成を例示するブロック図である。以下で説明する点を除き、実施形態6の物体数推定装置2000は、実施形態4又は5の物体数推定装置2000と同様の機能を有する。
第1正解属性マップ及び第2正解属性マップの生成方法について説明する。物体数推定装置2000において学習データの生成を行う場合、本実施形態の物体数推定装置2000も、図12に示した実施形態4の物体数推定装置2000と同様に、学習データ生成部2120を有する。例えば学習データ生成部2120は、実施形態4の物体数推定装置2000と同様に、学習データの生成に利用するデータ(学習データ生成用データ)として、学習画像と物体情報とのペアを取得する。ただし、本実施形態における物体情報には、各対象物体について、その位置とサイズに加え、その対象物体の属性が示されている。学習データ生成部2120は、これらの情報を利用して、第1正解属性マップ及び第2正解属性マップを生成する。
実施形態6の物体数推定装置2000は、実施形態1の物体数推定装置2000と同様に、その構成が図4で例示される種々の計算機で実現することができる。ただし、実施形態6の物体数推定装置2000を実現する計算機1000に含まれるストレージデバイス1080には、実施形態6の物体数推定装置2000の各機能構成部を実現するプログラムモジュールが記憶されている。
1. 対象画像に対して畳み込み処理を行うことで第1特徴マップ及び第2特徴マップを生成する特徴抽出ネットワークと、
前記第1特徴マップのセルごとに、そのセルに対応する前記対象画像の画像領域である第1推定領域について、第1所定範囲内のサイズを持つ対象物体の数を推定する第1計数ネットワークと、
前記第2特徴マップのセルごとに、そのセルに対応する前記対象画像の画像領域である第2推定領域について、第2所定範囲内のサイズを持つ対象物体の数を推定する第2計数ネットワークと、を有し、
前記第1特徴マップのサイズは前記第2特徴マップのサイズよりも大きく、
前記第1所定範囲に含まれるサイズは、前記第2所定範囲に含まれるサイズよりも小さい、物体数推定装置。
2. 前記特徴抽出ネットワークは、前記対象画像に対して畳み込み処理を行うことで前記第1特徴マップを生成し、前記第1特徴マップに対してさらに畳み込み処理を行うことで前記第2特徴マップを生成する、1.に記載の物体数推定装置。
3. 前記第1計数ネットワークは、第1所定範囲内のサイズを持つ対象物体の数を、対象物体の属性ごとに推定し、
前記第2計数ネットワークは、第2所定範囲内のサイズを持つ対象物体の数を、対象物体の属性ごとに推定する、1.又は2.に記載の物体数推定装置。
4. 前記第1特徴マップの各セルに対応する前記第1推定領域について、前記第1所定範囲内のサイズを持つ対象物体の存在を推定する第1存在推定ネットワークと、
前記第2特徴マップの各セルに対応する前記第2推定領域について、前記第2所定範囲内のサイズを持つ対象物体の存在を推定する第2存在推定ネットワークと、を有する1.乃至3.いずれか一つに記載の物体数推定装置。
5. 前記対象物体が存在すること又は前記対象物体の存在確率が閾値以上であることが前記第1存在推定ネットワークによって推定された第1推定領域については、その第1推定領域における前記対象物体の数として、前記第1存在推定ネットワークによって推定された数を用い、
前記対象物体が存在しないこと又は前記対象物体の存在確率が閾値未満であることが前記第1存在推定ネットワークによって推定された第1推定領域については、その第1推定領域における前記対象物体の数を0個とし、
前記対象物体が存在すること又は前記対象物体の存在確率が閾値以上であることが前記第2存在推定ネットワークによって推定された第2推定領域については、その第2推定領域における前記対象物体の数として、前記第2存在推定ネットワークによって推定された数を用い、
前記対象物体が存在しないこと又は前記対象物体の存在確率が閾値未満であることが前記第2存在推定ネットワークによって推定された第2推定領域については、その第2推定領域における前記対象物体の数を0個とする、4.に記載の物体数推定装置。
6. 前記第1特徴マップの各セルに対応する前記第1推定領域について、前記第1所定範囲内のサイズを持つ対象物体の属性を推定する第1属性推定ネットワークと、
前記第2特徴マップの各セルに対応する前記第2推定領域について、前記第2所定範囲内のサイズを持つ対象物体の属性を推定する第2属性推定ネットワークと、を有する1.乃至5.いずれか一つに記載の物体数推定装置。
7. 学習データを用いてネットワークの学習を行う学習部を有し、
前記学習データは、対象画像、前記第1所定範囲内のサイズを持つ対象物体の数を前記対象画像の各前記第1推定領域について示す第1正解物体数データ、及び前記第2所定範囲内のサイズを持つ対象物体の数を前記対象画像の各前記第2推定領域について示す第2正解物体数データを含み、
前記学習部は、前記対象画像を前記特徴抽出ネットワークに入力することで前記第1計数ネットワークと前記第2計数ネットワークのそれぞれから得られる出力と、前記第1正解物体数データと、前記第2正解物体数データとを用いて損失を算出し、前記算出した損失に基づいて、前記特徴抽出ネットワーク、前記第1計数ネットワーク、及び前記第2計数ネットワークの学習を行う、1.乃至6.いずれか一つに記載の物体数推定装置。
8. 前記第1計数ネットワークは、第1所定範囲内のサイズを持つ対象物体の数を、対象物体の属性ごとに推定し、
前記第2計数ネットワークは、第2所定範囲内のサイズを持つ対象物体の数を、対象物体の属性ごとに推定し、
前記学習データは、
前記対象画像に含まれる各対象物体の属性をさらに示し、
前記第1正解物体数データと前記第2正解物体数データを前記対象物体の属性ごとに示す、7.に記載の物体数推定装置。
9. 前記対象画像について各前記対象物体の画像領域を特定可能な物体情報を取得し、前記取得した物体情報を用いて前記学習データを生成する学習データ生成部を有し、
前記学習データ生成部は、
前記物体情報を用いて、前記第1推定領域ごとに、サイズが前記第1所定範囲内である対象物体であってなおかつその対象物体を表す領域の所定割合以上がその第1推定領域に含まれる対象物体の個数又は割合の合計を算出し、前記第1推定領域ごとに前記算出した個数又は割合の合計を示す前記第1正解物体数データを生成し、
前記物体情報を用いて、前記第2推定領域ごとに、サイズが前記第2所定範囲内である対象物体であってなおかつその対象物体を表す領域の所定割合以上がその第2推定領域に含まれる対象物体の個数又は割合の合計を算出し、前記第2推定領域ごとに前記算出した個数又は割合の合計を示す前記第2正解物体数データを生成する、7.又は8.に記載の物体数推定装置。
10. 前記第1特徴マップの各セルに対応する前記第1推定領域について、前記第1所定範囲内のサイズを持つ対象物体の存在を推定する第1存在推定ネットワークと、
前記第2特徴マップの各セルに対応する前記第2推定領域について、前記第2所定範囲内のサイズを持つ対象物体の存在を推定する第2存在推定ネットワークと、を有し、
前記学習データは、前記第1所定範囲内のサイズを持つ対象物体の存在を前記対象画像の各前記第1推定領域について示す第1正解存在データ、及び前記第2所定範囲内のサイズを持つ対象物体の存在を前記対象画像の各前記第2推定領域について示す第2正解存在データを含み、
前記学習部は、前記対象画像を前記特徴抽出ネットワークに入力することで前記第1計数ネットワーク、前記第2計数ネットワーク、前記第1存在推定ネットワーク、及び前記第2存在推定ネットワークのそれぞれから得られる出力と、前記第1正解物体数データと、前記第2正解物体数データと、前記第1正解存在データと、前記第2正解存在データとを用いて損失を算出し、前記算出した損失に基づいて、前記特徴抽出ネットワーク、前記第1計数ネットワーク、前記第2計数ネットワーク、前記第1存在推定ネットワーク、及び前記第2存在推定ネットワークの学習を行う、7.乃至9.いずれか一つに記載の物体数推定装置。
11. 前記対象画像について各前記対象物体の画像領域を特定可能な物体情報を取得し、前記取得した物体情報を用いて前記学習データを生成する学習データ生成部を有し、
前記学習データ生成部は、
前記物体情報を用いて、前記第1所定範囲内のサイズを持つ対象物体が1個以上含まれる前記第1推定領域については前記対象物体の存在を示し、なおかつ前記第1所定範囲内のサイズを持つ対象物体が1個も含まれない前記第1推定領域については前記対象物体の不存在を示す前記第1正解存在データを生成するか、又は、前記第1所定範囲内のサイズを持つ対象物体を表す画像領域が所定割合以上含まれる前記第1推定領域については前記対象物体の存在を示し、なおかつ前記第1所定範囲内のサイズを持つ対象物体を表す画像領域が前記所定割合以上含まれない前記第1推定領域については前記対象物体の不存在を示す前記第1正解存在データを生成し、
前記物体情報を用いて、前記第2所定範囲内のサイズを持つ対象物体が1個以上含まれる前記第2推定領域については前記対象物体の存在を示し、なおかつ前記第2所定範囲内のサイズを持つ対象物体が1個も含まれない前記第2推定領域については前記対象物体の不存在を示す前記第2正解存在データを生成するか、又は、前記第2所定範囲内のサイズを持つ対象物体を表す画像領域が前記所定割合以上含まれる前記第2推定領域については前記対象物体の存在を示し、なおかつ前記第2所定範囲内のサイズを持つ対象物体を表す画像領域が前記所定割合以上含まれない前記第2推定領域については前記対象物体の不存在を示す前記第2正解存在データを生成する、10.に記載の物体数推定装置。
12. 前記第1特徴マップの各セルに対応する前記第1推定領域について、前記第1所定範囲内のサイズを持つ対象物体の属性を推定する第1属性推定ネットワークと、
前記第2特徴マップの各セルに対応する前記第2推定領域について、前記第2所定範囲内のサイズを持つ対象物体の属性を推定する第2属性推定ネットワークと、を有し、
前記学習データは、対象画像、前記第1所定範囲内のサイズを持つ対象物体の属性を前記対象画像の各前記第1推定領域について示す第1正解属性データ、及び前記第2所定範囲内のサイズを持つ対象物体の属性を前記対象画像の各前記第2推定領域について示す第2正解属性データを含み、
前記学習部は、前記対象画像を前記特徴抽出ネットワークに入力することで前記第1計数ネットワーク、前記第2計数ネットワーク、前記第1属性推定ネットワーク、及び前記第2属性推定ネットワークのそれぞれから得られる出力と、前記第1正解物体数データと、前記第2正解物体数データと、前記第1正解属性データと、前記第2正解属性データとを用いて損失を算出し、前記算出した損失に基づいて、前記特徴抽出ネットワーク、前記第1計数ネットワーク、前記第2計数ネットワーク、前記第1属性推定ネットワーク、及び前記第2属性推定ネットワークの学習を行う、7.乃至11.いずれか一つに記載の物体数推定装置。
13. 前記対象画像について各前記対象物体の画像領域及び属性を特定可能な物体情報を取得し、前記取得した物体情報を用いて前記学習データを生成する学習データ生成部を有し、
前記学習データ生成部は、
前記物体情報を用いて、前記第1推定領域ごとに、その第1推定領域に含まれる前記第1所定範囲内のサイズを持つ対象物体の属性の統計値を算出し、各前記第1推定領域について算出された前記統計値を示す前記第1正解属性データを生成し、
前記物体情報を用いて、前記第2推定領域ごとに、その第2推定領域に含まれる前記第2所定範囲内のサイズを持つ対象物体の属性の統計値を算出し、各前記第2推定領域について算出された前記統計値を示す前記第2正解属性データを生成する、12.に記載の物体数推定装置。
14. 前記学習データ生成部は、
前記第1特徴マップのサイズと前記対象画像のサイズとの比率に基づいて、前記対象画像における各前記第1推定領域を特定し、
前記第2特徴マップのサイズと前記対象画像のサイズとの比率に基づいて、前記対象画像における各前記第2推定領域を特定する、9.、11、及び13いずれか一つに記載の物体数推定装置。
15. 前記学習データ生成部は、
前記第1推定領域のサイズに第1所定比率を掛けることで第1基準サイズを算出し、その第1基準サイズに基づいて前記第1所定範囲を算出し、
前記第2推定領域のサイズに第2所定比率を掛けることで第2基準サイズを算出し、その第2基準サイズに基づいて前記第2所定範囲を算出する、9.、11、13、及び14いずれか一つに記載の物体数推定装置。
16. 前記第1所定比率と前記第2所定比率は等しい、15.に記載の物体数推定装置。
17. 前記第1所定範囲の右端と前記第2所定範囲の左端は等しく、
前記第1所定範囲の左端に対する前記第1基準サイズの比率と、前記第2所定範囲の左端に対する前記第2基準サイズの比率は等しく、
前記第1所定範囲の右端に対する前記第1基準サイズの比率と、前記第2所定範囲の右端に対する前記第2基準サイズの比率は等しい、15.又は16.に記載の物体数推定装置。
18. 前記学習部は、
前記対象画像に含まれる前記第1推定領域及び前記第2推定領域の一部を、第1正解物体数データ及び第2正解物体数データにおける前記対象物体の数が0個である推定領域と0個でない推定領域とのセルの個数の比率が所定の比率となるように選択し、
前記選択された前記推定領域についてのネットワークの出力と学習データとの誤差に基づいて学習を行う、7.乃至17.いずれか一つに記載の物体数推定装置。
19. 前記学習部は、
存在推定ネットワークの学習に関しては、前記対象画像に含まれる前記第1推定領域及び前記第2推定領域の一部を、第1正解存在データ及び第2正解存在データにおける存在なし又は閾値未満の存在確率である推定領域とそれ以外の推定領域とのセルの個数の比率が所定の比率となるように選択し、
存在推定ネットワーク以外の学習に関しては、前記対象画像に含まれる前記第1推定領域及び前記第2推定領域の一部を、第1正解存在データ及び第2正解存在データにおける存在あり又は閾値以上の存在確率である推定領域を選択し、
前記選択された推定領域についてのネットワーク出力と学習データとの誤差に基づいて学習を行う、10.又は11.に記載の物体数推定装置。
20. コンピュータによって実行される制御方法であって、
前記コンピュータは、
対象画像に対して畳み込み処理を行うことで第1特徴マップ及び第2特徴マップを生成する特徴抽出ネットワークと、
前記第1特徴マップのセルごとに、そのセルに対応する前記対象画像の画像領域である第1推定領域について、第1所定範囲内のサイズを持つ対象物体の数を推定する第1計数ネットワークと、
前記第2特徴マップのセルごとに、そのセルに対応する前記対象画像の画像領域である第2推定領域について、第2所定範囲内のサイズを持つ対象物体の数を推定する第2計数ネットワークと、を有し、
前記特徴抽出ネットワークが、前記対象画像から前記第1特徴マップと前記第2特徴マップを生成し、
前記第1計数ネットワークが、前記第1特徴マップを用いて、前記第1推定領域ごとに、前記第1所定範囲内のサイズを持つ対象物体の数を推定し、
前記第2計数ネットワークが、前記第2特徴マップを用いて、前記第2推定領域ごとに、前記第2所定範囲内のサイズを持つ対象物体の数を推定し、
前記第1特徴マップのサイズは前記第2特徴マップのサイズよりも大きく、
前記第1所定範囲に含まれるサイズは、前記第2所定範囲に含まれるサイズよりも小さい、制御方法。
21. 前記特徴抽出ネットワークが、前記対象画像に対して畳み込み処理を行うことで前記第1特徴マップを生成し、前記第1特徴マップに対してさらに畳み込み処理を行うことで前記第2特徴マップを生成する、20.に記載の制御方法。
22. 前記第1計数ネットワークが、第1所定範囲内のサイズを持つ対象物体の数を、対象物体の属性ごとに推定し、
前記第2計数ネットワークが、第2所定範囲内のサイズを持つ対象物体の数を、対象物体の属性ごとに推定する、20.又は21.に記載の制御方法。
23. 前記コンピュータは、
前記第1特徴マップの各セルに対応する前記第1推定領域について、前記第1所定範囲内のサイズを持つ対象物体の存在を推定する第1存在推定ネットワークと、
前記第2特徴マップの各セルに対応する前記第2推定領域について、前記第2所定範囲内のサイズを持つ対象物体の存在を推定する第2存在推定ネットワークと、を有し、
前記第1存在推定ネットワークが、前記第1特徴マップを用いて、前記第1推定領域ごとに、前記第1所定範囲内のサイズを持つ対象物体の存在を推定し、
前記第2存在推定ネットワークが、前記第2特徴マップを用いて、前記第2推定領域ごとに、前記第2所定範囲内のサイズを持つ対象物体の存在を推定する、20.乃至22.いずれか一つに記載の制御方法。
24. 前記対象物体が存在すること又は前記対象物体の存在確率が閾値以上であることが前記第1存在推定ネットワークによって推定された第1推定領域については、その第1推定領域における前記対象物体の数として、前記第1存在推定ネットワークによって推定された数を用い、
前記対象物体が存在しないこと又は前記対象物体の存在確率が閾値未満であることが前記第1存在推定ネットワークによって推定された第1推定領域については、その第1推定領域における前記対象物体の数を0個とし、
前記対象物体が存在すること又は前記対象物体の存在確率が閾値以上であることが前記第2存在推定ネットワークによって推定された第2推定領域については、その第2推定領域における前記対象物体の数として、前記第2存在推定ネットワークによって推定された数を用い、
前記対象物体が存在しないこと又は前記対象物体の存在確率が閾値未満であることが前記第2存在推定ネットワークによって推定された第2推定領域については、その第2推定領域における前記対象物体の数を0個とする、23.に記載の制御方法。
25. 前記コンピュータは、前記第1特徴マップの各セルに対応する前記第1推定領域について、前記第1所定範囲内のサイズを持つ対象物体の属性を推定する第1属性推定ネットワークと、
前記第2特徴マップの各セルに対応する前記第2推定領域について、前記第2所定範囲内のサイズを持つ対象物体の属性を推定する第2属性推定ネットワークと、を有し、
前記第1属性推定ネットワークが、前記第1特徴マップを用いて、前記第1推定領域ごとに、前記第1所定範囲内のサイズを持つ対象物体の属性を推定し、
前記第2属性推定ネットワークが、前記第2特徴マップを用いて、前記第2推定領域ごとに、前記第2所定範囲内のサイズを持つ対象物体の属性を推定する、20.乃至24.いずれか一つに記載の制御方法。
26. 学習データを用いてネットワークの学習を行い、
前記学習データは、対象画像、前記第1所定範囲内のサイズを持つ対象物体の数を前記対象画像の各前記第1推定領域について示す第1正解物体数データ、及び前記第2所定範囲内のサイズを持つ対象物体の数を前記対象画像の各前記第2推定領域について示す第2正解物体数データを含み、
前記ネットワークの学習において、前記対象画像を前記特徴抽出ネットワークに入力することで前記第1計数ネットワークと前記第2計数ネットワークのそれぞれから得られる出力と、前記第1正解物体数データと、前記第2正解物体数データとを用いて損失を算出し、前記算出した損失に基づいて、前記特徴抽出ネットワーク、前記第1計数ネットワーク、及び前記第2計数ネットワークの学習を行う、20.乃至25.いずれか一つに記載の制御方法。
27. 前記第1計数ネットワークが、第1所定範囲内のサイズを持つ対象物体の数を、対象物体の属性ごとに推定し、
前記第2計数ネットワークが、第2所定範囲内のサイズを持つ対象物体の数を、対象物体の属性ごとに推定し、
前記学習データは、
前記対象画像に含まれる各対象物体の属性をさらに示し、
前記第1正解物体数データと前記第2正解物体数データを前記対象物体の属性ごとに示す、26.に記載の制御方法。
28. 前記対象画像について各前記対象物体の画像領域を特定可能な物体情報を取得し、前記取得した物体情報を用いて前記学習データを生成し、
前記学習データの生成において、
前記物体情報を用いて、前記第1推定領域ごとに、サイズが前記第1所定範囲内である対象物体であってなおかつその対象物体を表す領域の所定割合以上がその第1推定領域に含まれる対象物体の個数又は割合の合計を算出し、前記第1推定領域ごとに前記算出した個数又は割合の合計を示す前記第1正解物体数データを生成し、
前記物体情報を用いて、前記第2推定領域ごとに、サイズが前記第2所定範囲内である対象物体であってなおかつその対象物体を表す領域の所定割合以上がその第2推定領域に含まれる対象物体の個数又は割合の合計を算出し、前記第2推定領域ごとに前記算出した個数又は割合の合計を示す前記第2正解物体数データを生成する、26.又は27.に記載の制御方法。
29. 前記コンピュータは、
前記第1特徴マップの各セルに対応する前記第1推定領域について、前記第1所定範囲内のサイズを持つ対象物体の存在を推定する第1存在推定ネットワークと、
前記第2特徴マップの各セルに対応する前記第2推定領域について、前記第2所定範囲内のサイズを持つ対象物体の存在を推定する第2存在推定ネットワークと、を有し、
前記学習データは、前記第1所定範囲内のサイズを持つ対象物体の存在を前記対象画像の各前記第1推定領域について示す第1正解存在データ、及び前記第2所定範囲内のサイズを持つ対象物体の存在を前記対象画像の各前記第2推定領域について示す第2正解存在データを含み、
前記ネットワークの学習において、前記対象画像を前記特徴抽出ネットワークに入力することで前記第1計数ネットワーク、前記第2計数ネットワーク、前記第1存在推定ネットワーク、及び前記第2存在推定ネットワークのそれぞれから得られる出力と、前記第1正解物体数データと、前記第2正解物体数データと、前記第1正解存在データと、前記第2正解存在データとを用いて損失を算出し、前記算出した損失に基づいて、前記特徴抽出ネットワーク、前記第1計数ネットワーク、前記第2計数ネットワーク、前記第1存在推定ネットワーク、及び前記第2存在推定ネットワークの学習を行う、26.乃至28.いずれか一つに記載の制御方法。
30. 前記対象画像について各前記対象物体の画像領域を特定可能な物体情報を取得し、前記取得した物体情報を用いて前記学習データを生成し、
前記学習データの生成において、
前記物体情報を用いて、前記第1所定範囲内のサイズを持つ対象物体が1個以上含まれる前記第1推定領域については前記対象物体の存在を示し、なおかつ前記第1所定範囲内のサイズを持つ対象物体が1個も含まれない前記第1推定領域については前記対象物体の不存在を示す前記第1正解存在データを生成するか、又は、前記第1所定範囲内のサイズを持つ対象物体を表す画像領域が所定割合以上含まれる前記第1推定領域については前記対象物体の存在を示し、なおかつ前記第1所定範囲内のサイズを持つ対象物体を表す画像領域が前記所定割合以上含まれない前記第1推定領域については前記対象物体の不存在を示す前記第1正解存在データを生成し、
前記物体情報を用いて、前記第2所定範囲内のサイズを持つ対象物体が1個以上含まれる前記第2推定領域については前記対象物体の存在を示し、なおかつ前記第2所定範囲内のサイズを持つ対象物体が1個も含まれない前記第2推定領域については前記対象物体の不存在を示す前記第2正解存在データを生成するか、又は、前記第2所定範囲内のサイズを持つ対象物体を表す画像領域が前記所定割合以上含まれる前記第2推定領域については前記対象物体の存在を示し、なおかつ前記第2所定範囲内のサイズを持つ対象物体を表す画像領域が前記所定割合以上含まれない前記第2推定領域については前記対象物体の不存在を示す前記第2正解存在データを生成する、29.に記載の制御方法。
31. 前記コンピュータは、
前記第1特徴マップの各セルに対応する前記第1推定領域について、前記第1所定範囲内のサイズを持つ対象物体の属性を推定する第1属性推定ネットワークと、
前記第2特徴マップの各セルに対応する前記第2推定領域について、前記第2所定範囲内のサイズを持つ対象物体の属性を推定する第2属性推定ネットワークと、を有し、
前記学習データは、対象画像、前記第1所定範囲内のサイズを持つ対象物体の属性を前記対象画像の各前記第1推定領域について示す第1正解属性データ、及び前記第2所定範囲内のサイズを持つ対象物体の属性を前記対象画像の各前記第2推定領域について示す第2正解属性データを含み、
前記ネットワークの学習において、前記対象画像を前記特徴抽出ネットワークに入力することで前記第1計数ネットワーク、前記第2計数ネットワーク、前記第1属性推定ネットワーク、及び前記第2属性推定ネットワークのそれぞれから得られる出力と、前記第1正解物体数データと、前記第2正解物体数データと、前記第1正解属性データと、前記第2正解属性データとを用いて損失を算出し、前記算出した損失に基づいて、前記特徴抽出ネットワーク、前記第1計数ネットワーク、前記第2計数ネットワーク、前記第1属性推定ネットワーク、及び前記第2属性推定ネットワークの学習を行う、26.乃至30.いずれか一つに記載の制御方法。
32. 前記対象画像について各前記対象物体の画像領域及び属性を特定可能な物体情報を取得し、前記取得した物体情報を用いて前記学習データを生成し、
前記学習データの生成において、
前記物体情報を用いて、前記第1推定領域ごとに、その第1推定領域に含まれる前記第1所定範囲内のサイズを持つ対象物体の属性の統計値を算出し、各前記第1推定領域について算出された前記統計値を示す前記第1正解属性データを生成し、
前記物体情報を用いて、前記第2推定領域ごとに、その第2推定領域に含まれる前記第2所定範囲内のサイズを持つ対象物体の属性の統計値を算出し、各前記第2推定領域について算出された前記統計値を示す前記第2正解属性データを生成する、31.に記載の制御方法。
33. 前記学習データの生成において、
前記第1特徴マップのサイズと前記対象画像のサイズとの比率に基づいて、前記対象画像における各前記第1推定領域を特定し、
前記第2特徴マップのサイズと前記対象画像のサイズとの比率に基づいて、前記対象画像における各前記第2推定領域を特定する、28.、30、及び32いずれか一つに記載の制御方法。
34. 前記学習データの生成において、
前記第1推定領域のサイズに第1所定比率を掛けることで第1基準サイズを算出し、その第1基準サイズに基づいて前記第1所定範囲を算出し、
前記第2推定領域のサイズに第2所定比率を掛けることで第2基準サイズを算出し、その第2基準サイズに基づいて前記第2所定範囲を算出する、28.、30、32、及び33いずれか一つに記載の制御方法。
35. 前記第1所定比率と前記第2所定比率は等しい、34.に記載の制御方法。
36. 前記第1所定範囲の右端と前記第2所定範囲の左端は等しく、
前記第1所定範囲の左端に対する前記第1基準サイズの比率と、前記第2所定範囲の左端に対する前記第2基準サイズの比率は等しく、
前記第1所定範囲の右端に対する前記第1基準サイズの比率と、前記第2所定範囲の右端に対する前記第2基準サイズの比率は等しい、34.又は35.に記載の制御方法。
37. 前記ネットワークの学習において、
前記対象画像に含まれる前記第1推定領域及び前記第2推定領域の一部を、第1正解物体数データ及び第2正解物体数データにおける前記対象物体の数が0個である推定領域と0個でない推定領域とのセルの個数の比率が所定の比率となるように選択し、
前記選択された推定領域についてのネットワークの出力と学習データとの誤差に基づいて学習を行う、26.乃至36.いずれか一つに記載の制御方法。
38. 前記ネットワークの学習において、
存在推定ネットワークの学習に関しては、前記対象画像に含まれる前記第1推定領域及び前記第2推定領域の一部を、第1正解存在データ及び第2正解存在データにおける存在なし又は閾値未満の存在確率である推定領域とそれ以外の推定領域とのセルの個数の比率が所定の比率となるように選択し、
存在推定ネットワーク以外の学習に関しては、前記対象画像に含まれる前記第1推定領域及び前記第2推定領域の一部を、第1正解存在データ及び第2正解存在データにおける存在あり又は閾値以上の存在確率である推定領域を選択し、
前記選択された推定領域についてのネットワーク出力と学習データとの誤差に基づいて学習を行う、29.又は30.に記載の制御方法。
39. 20.乃至38.いずれか一つに記載の制御方法をコンピュータに実行させるプログラム。
20 第1特徴マップ
30 第2特徴マップ
50 マップ
60 マップ
70 マップ
1000 計算機
1020 バス
1040 プロセッサ
1060 メモリ
1080 ストレージデバイス
1100 入出力インタフェース
1120 ネットワークインタフェース
2000 物体数推定装置
2042 第1特徴抽出ネットワーク
2044 第1計数ネットワーク
2046 第1存在推定ネットワーク
2048 第1属性推定ネットワーク
2062 第2特徴抽出ネットワーク
2064 第2計数ネットワーク
2066 第2存在推定ネットワーク
2068 第2属性推定ネットワーク
2100 学習部
2120 学習データ生成部
Claims (10)
- 対象画像に対して畳み込み処理を行うことで第1特徴マップ及び第2特徴マップを生成する特徴抽出ネットワークと、
前記第1特徴マップのセルごとに、そのセルに対応する前記対象画像の画像領域である第1推定領域について、第1所定範囲内のサイズを持つ対象物体の数を推定する第1計数ネットワークと、
前記第2特徴マップのセルごとに、そのセルに対応する前記対象画像の画像領域である第2推定領域について、第2所定範囲内のサイズを持つ対象物体の数を推定する第2計数ネットワークと、を有し、
前記第1特徴マップのサイズは前記第2特徴マップのサイズよりも大きく、
前記第1所定範囲に含まれるサイズは、前記第2所定範囲に含まれるサイズよりも小さい、物体数推定装置。 - 前記特徴抽出ネットワークは、前記対象画像に対して畳み込み処理を行うことで前記第1特徴マップを生成し、前記第1特徴マップに対してさらに畳み込み処理を行うことで前記第2特徴マップを生成する、請求項1に記載の物体数推定装置。
- 前記第1計数ネットワークは、第1所定範囲内のサイズを持つ対象物体の数を、対象物体の属性ごとに推定し、
前記第2計数ネットワークは、第2所定範囲内のサイズを持つ対象物体の数を、対象物体の属性ごとに推定する、請求項1又は2に記載の物体数推定装置。 - 前記第1特徴マップの各セルに対応する前記第1推定領域について、前記第1所定範囲内のサイズを持つ対象物体の存在を推定する第1存在推定ネットワークと、
前記第2特徴マップの各セルに対応する前記第2推定領域について、前記第2所定範囲内のサイズを持つ対象物体の存在を推定する第2存在推定ネットワークと、を有する請求項1乃至3いずれか一項に記載の物体数推定装置。 - 前記対象物体が存在すること又は前記対象物体の存在確率が閾値以上であることが前記第1存在推定ネットワークによって推定された第1推定領域については、その第1推定領域における前記対象物体の数として、前記第1存在推定ネットワークによって推定された数を用い、
前記対象物体が存在しないこと又は前記対象物体の存在確率が閾値未満であることが前記第1存在推定ネットワークによって推定された第1推定領域については、その第1推定領域における前記対象物体の数を0個とし、
前記対象物体が存在すること又は前記対象物体の存在確率が閾値以上であることが前記第2存在推定ネットワークによって推定された第2推定領域については、その第2推定領域における前記対象物体の数として、前記第2存在推定ネットワークによって推定された数を用い、
前記対象物体が存在しないこと又は前記対象物体の存在確率が閾値未満であることが前記第2存在推定ネットワークによって推定された第2推定領域については、その第2推定領域における前記対象物体の数を0個とする、請求項4に記載の物体数推定装置。 - 前記第1特徴マップの各セルに対応する前記第1推定領域について、前記第1所定範囲内のサイズを持つ対象物体の属性を推定する第1属性推定ネットワークと、
前記第2特徴マップの各セルに対応する前記第2推定領域について、前記第2所定範囲内のサイズを持つ対象物体の属性を推定する第2属性推定ネットワークと、を有する請求項1乃至5いずれか一項に記載の物体数推定装置。 - 学習データを用いてネットワークの学習を行う学習部を有し、
前記学習データは、対象画像、前記第1所定範囲内のサイズを持つ対象物体の数を前記対象画像の各前記第1推定領域について示す第1正解物体数データ、及び前記第2所定範囲内のサイズを持つ対象物体の数を前記対象画像の各前記第2推定領域について示す第2正解物体数データを含み、
前記学習部は、前記対象画像を前記特徴抽出ネットワークに入力することで前記第1計数ネットワークと前記第2計数ネットワークのそれぞれから得られる出力と、前記第1正解物体数データと、前記第2正解物体数データとを用いて損失を算出し、前記算出した損失に基づいて、前記特徴抽出ネットワーク、前記第1計数ネットワーク、及び前記第2計数ネットワークの学習を行う、請求項1乃至6いずれか一項に記載の物体数推定装置。 - 前記第1計数ネットワークは、第1所定範囲内のサイズを持つ対象物体の数を、対象物体の属性ごとに推定し、
前記第2計数ネットワークは、第2所定範囲内のサイズを持つ対象物体の数を、対象物体の属性ごとに推定し、
前記学習データは、
前記対象画像に含まれる各対象物体の属性をさらに示し、
前記第1正解物体数データと前記第2正解物体数データを前記対象物体の属性ごとに示す、請求項7に記載の物体数推定装置。 - コンピュータによって実行される制御方法であって、
前記コンピュータは、
対象画像に対して畳み込み処理を行うことで第1特徴マップ及び第2特徴マップを生成する特徴抽出ネットワークと、
前記第1特徴マップのセルごとに、そのセルに対応する前記対象画像の画像領域である第1推定領域について、第1所定範囲内のサイズを持つ対象物体の数を推定する第1計数ネットワークと、
前記第2特徴マップのセルごとに、そのセルに対応する前記対象画像の画像領域である第2推定領域について、第2所定範囲内のサイズを持つ対象物体の数を推定する第2計数ネットワークと、を有し、
前記特徴抽出ネットワークが、前記対象画像から前記第1特徴マップと前記第2特徴マップを生成し、
前記第1計数ネットワークが、前記第1特徴マップを用いて、前記第1推定領域ごとに、前記第1所定範囲内のサイズを持つ対象物体の数を推定し、
前記第2計数ネットワークが、前記第2特徴マップを用いて、前記第2推定領域ごとに、前記第2所定範囲内のサイズを持つ対象物体の数を推定し、
前記第1特徴マップのサイズは前記第2特徴マップのサイズよりも大きく、
前記第1所定範囲に含まれるサイズは、前記第2所定範囲に含まれるサイズよりも小さい、制御方法。 - 請求項9に記載の制御方法をコンピュータに実行させるプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/034177 WO2021038840A1 (ja) | 2019-08-30 | 2019-08-30 | 物体数推定装置、制御方法、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2021038840A1 JPWO2021038840A1 (ja) | 2021-03-04 |
JPWO2021038840A5 JPWO2021038840A5 (ja) | 2022-05-02 |
JP7239002B2 true JP7239002B2 (ja) | 2023-03-14 |
Family
ID=74684683
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021541930A Active JP7239002B2 (ja) | 2019-08-30 | 2019-08-30 | 物体数推定装置、制御方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220292706A1 (ja) |
JP (1) | JP7239002B2 (ja) |
WO (1) | WO2021038840A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115861275B (zh) * | 2022-12-26 | 2024-02-06 | 中南大学 | 细胞计数方法、装置、终端设备及介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018005520A (ja) * | 2016-06-30 | 2018-01-11 | クラリオン株式会社 | 物体検出装置及び物体検出方法 |
-
2019
- 2019-08-30 WO PCT/JP2019/034177 patent/WO2021038840A1/ja active Application Filing
- 2019-08-30 JP JP2021541930A patent/JP7239002B2/ja active Active
- 2019-08-30 US US17/636,431 patent/US20220292706A1/en active Pending
Non-Patent Citations (3)
Title |
---|
Chuan-Pin Lu, et al.,"Development of a Mushroom Growth Measurement System Applying Deep Learning for Image Recognition",Agronomy,[online],2019年01月14日,Vol.9, No.1,Pages 1-21,[令和元年11月5日検索], インターネット, <URL: https://www.mdpi.com/2073-4395/9/1/32>,ISSN: 2073-4395, <DOI: 10.3390/agronomy9010032>. |
Jianan Li, et al.,"Scale-Aware Fast R-CNN for Pedestrian Detection",IEEE TRANSACTIONS ON MULTIMEDIA,2017年10月06日,Vol.20, No.4,Pages 985-996,ISSN: 1520-9210, <DOI: 10.1109/TMM.2017.2759508>. |
Lingke Zeng, et al.,"MULTI-SCALE CONVOLUTIONAL NEURAL NETWORKS FOR CROWD COUNTING",Proceedings of the 2017 IEEE International Conference on Image Processing (ICIP 2017),2017年09月20日,Pages 465-469,ISBN: 978-1-5090-2175-8, <DOI: 10.1109/ICIP.2017.8296324>. |
Also Published As
Publication number | Publication date |
---|---|
JPWO2021038840A1 (ja) | 2021-03-04 |
US20220292706A1 (en) | 2022-09-15 |
WO2021038840A1 (ja) | 2021-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111709409B (zh) | 人脸活体检测方法、装置、设备及介质 | |
US11222239B2 (en) | Information processing apparatus, information processing method, and non-transitory computer-readable storage medium | |
Chan et al. | Bayesian poisson regression for crowd counting | |
CN108416250B (zh) | 人数统计方法及装置 | |
US11747898B2 (en) | Method and apparatus with gaze estimation | |
CN111754596B (zh) | 编辑模型生成、人脸图像编辑方法、装置、设备及介质 | |
CN115661943B (zh) | 一种基于轻量级姿态评估网络的跌倒检测方法 | |
CN110889446A (zh) | 人脸图像识别模型训练及人脸图像识别方法和装置 | |
US20220254134A1 (en) | Region recognition method, apparatus and device, and readable storage medium | |
US10943352B2 (en) | Object shape regression using wasserstein distance | |
JPH06150000A (ja) | 画像クラスタリング装置 | |
US20230386242A1 (en) | Information processing apparatus, control method, and non-transitory storage medium | |
Khandelwal et al. | Segmentation-grounded scene graph generation | |
US20220366259A1 (en) | Method, apparatus and system for training a neural network, and storage medium storing instructions | |
CN110879982A (zh) | 一种人群计数***及方法 | |
WO2024032010A1 (zh) | 一种基于迁移学习策略的少样本目标实时检测方法 | |
Huang et al. | Soft-margin mixture of regressions | |
WO2021217937A1 (zh) | 姿态识别模型的训练方法及设备、姿态识别方法及其设备 | |
CN111368768A (zh) | 一种基于人体关键点的员工手势指引检测方法 | |
CN115471863A (zh) | 三维姿态的获取方法、模型训练方法和相关设备 | |
KR102454715B1 (ko) | 영상에 기반하여 동물의 승가 행위를 검출하는 장치 및 방법 | |
JP7239002B2 (ja) | 物体数推定装置、制御方法、及びプログラム | |
CN112597842B (zh) | 基于人工智能的运动检测面瘫程度评估*** | |
JPWO2019207721A1 (ja) | 情報処理装置、制御方法、及びプログラム | |
CN111950586B (zh) | 一种引入双向注意力的目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220216 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230131 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230213 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7239002 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |