JP7331926B2 - 学習装置、物体検出装置、学習方法、及び、プログラム - Google Patents

Description

本発明は、画像に含まれる物体を検出する技術に関する。

深層学習を用いた物体検出手法が知られている。特許文献１、２は、ニューラルネットワークを使用し、畳み込み処理により特徴マップを抽出して物体を検出する手法を記載している。

特開２０１８－７７８２９号公報
特開２０１８－５５２０号公報

深層学習を用いた物体検出において検出精度を担保するためには、対象物について事前に膨大な量及びバリエーションを持ったデータを用意し、それらを用いて学習を行うことが必要となる。しかし、データの取得や加工に要する時間、費用などのコストの面で、大量のデータを用意することが難しい場合がある。また、検出の対象が稀有な事象や予測が難しい事象などである場合、十分な量のデータを用意することは困難である。

本発明の１つの目的は、稀有な事象や予測が難しい事象など、大量のデータを用意することが難しい場合でも、低コストで実用的な精度を得ることが可能な物体検出手法を提供することにある。

上記の課題を解決するため、本発明の一つの観点では、学習装置であって、
実画像及び疑似画像を含む入力画像から特徴抽出を行って特徴マップを生成し、前記特徴マップ上に設定した枠を示す枠情報を生成する特徴抽出手段と、
前記特徴マップに基づいて、前記入力画像に含まれる物体を前記枠毎に検出する物体検出手段と、
前記入力画像を構成するドメインを前記枠毎に識別し、ドメイン間に共通しない特徴を示すドメイン識別性情報を出力するドメイン識別手段と、
を備え、
前記特徴抽出手段を、前記ドメイン識別性情報に基づいて、ドメインの違いに依らない共通の特徴を抽出するように学習させ、
前記物体検出手段を、前記ドメイン識別性情報に基づいて、ドメインの違いに依らない共通の特徴に基づいて物体を検出するように学習させる。

本発明の他の観点では、入力画像から特徴を抽出し、前記入力画像に含まれる物体を検出する物体検出装置の学習方法は、
特徴抽出手段により、実画像及び疑似画像を含む入力画像から特徴抽出を行って特徴マップを生成し、前記特徴マップ上に設定した枠を示す枠情報を生成し、
物体検出手段により、前記特徴マップに基づいて、前記入力画像に含まれる物体を前記枠毎に検出し、
ドメイン識別手段により、前記入力画像を構成するドメインを前記枠毎に識別し、ドメイン間に共通しない特徴を示すドメイン識別性情報を出力し、
学習手段により、前記特徴抽出手段を、前記ドメイン識別性情報に基づいて、ドメインの違いに依らない共通の特徴を抽出するように学習させ、
前記学習手段により、前記物体検出手段を、前記ドメイン識別性情報に基づいて、ドメインの違いに依らない共通の特徴に基づいて物体を検出するように学習させる。

本発明のさらに他の観点では、コンピュータを備え、入力画像から特徴を抽出して前記入力画像に含まれる物体を検出する物体検出装置の学習処理を行うプログラムは、
特徴抽出手段により、実画像及び疑似画像を含む入力画像から特徴抽出を行って特徴マップを生成し、前記特徴マップ上に設定した枠を示す枠情報を生成し、
物体検出手段により、前記特徴マップに基づいて、前記入力画像に含まれる物体を前記枠毎に検出し、
前記入力画像を構成するドメインを前記枠毎に識別し、ドメイン間に共通しない特徴を示すドメイン識別性情報を出力し、
前記特徴抽出手段を、前記ドメイン識別性情報に基づいて、ドメインの違いに依らない共通の特徴を抽出するように学習させ、
前記物体検出手段を、前記ドメイン識別性情報に基づいて、ドメインの違いに依らない共通の特徴に基づいて物体を検出するように学習させる処理を前記コンピュータに実行させる。

本発明によれば、稀有な事象や予測が難しい事象など、大量のデータを用意することが難しい場合でも、低コストで実用的な精度の物体検出が可能となる。

実画像及び疑似画像の概念を示す。 第１実施形態に係る学習装置のハードウェア構成を示すブロック図である。 学習装置の基本原理を示す。 学習装置の機能構成を示すブロック図である。 特徴抽出部、物体検出部及びドメイン識別部のフォワード処理を示すフローチャートである。 枠情報及びドメイン領域情報を示す。 特徴抽出部、物体検出部及びドメイン識別部のバックワード処理のフローチャートである。 学習処理のフローチャートである。 物体検出装置の機能構成を示すブロック図である。 物体検出装置による物体検出処理のフローチャートである。 第２実施形態に係る学習装置の機能構成を示すブロック図である。

［画像とドメイン］
本実施形態では、大量の画像を用いて物体検出装置の学習を行うために、疑似画像を用いる。稀有な事象や予測が難しい事象については、十分な数の実画像を得ることは難しい。そこで、少数の実画像に加えて、多数の疑似画像を用いて学習を行うことにより、物体検出の精度を向上させる。

まず、実画像と疑似画像について説明する。「実画像」とは、現実の状況を撮影した画像を言う。図１（Ａ）は実画像ＲＩの概念を示す。実画像ＲＩは、その全体が実際に撮影された画像からなる。なお、本明細書では、「画像」とは１枚の画像全体を指すものとし、画像の一部分、即ち、画像の部分データを「画像データ」と呼んで両者を区別する。よって、実際に撮影された１枚の画像を実画像ＲＩと呼び、その部分データを実画像データＩａと呼ぶ。実画像ＲＩは実画像データＩａのみにより構成される。

これに対し、「疑似画像」とは、画像の合成により人為的に作成された画像を言う。図１（Ｂ）は疑似画像ＰＩの概念を示す。疑似画像ＰＩは、実画像データＩａと疑似画像データＩｂを合成することにより作成される。即ち、疑似画像ＰＩは、実画像データＩａと疑似画像データＩｂにより構成される。疑似画像データＩｂは、他の画像の一部、コンピュータグラフィックスなどにより作成された画像データなどである。

いま、実画像ＲＩのドメインを「ドメインＡ」とする。「ドメイン」とは、画像データの得られる領域、分布などを指す。同一の環境や条件などで得られた一群の画像データを同一ドメインの画像データと呼ぶ。この場合、実画像ＲＩの一部分である実画像データＩａのドメインも「ドメインＡ」となる。図１（Ａ）に示すように、実画像ＲＩは全体が「ドメインＡ」となる。これに対し、疑似画像ＰＩのドメインを「ドメインＢ」とする。図１（Ｂ）に示すように、疑似画像ＰＩについては、実画像データＩａの部分はドメインＡであり、疑似画像データＩｂの部分はドメインＢとなる。

このように、本実施形態では、少数の実画像から得られる実画像データＩａに疑似画像データＩｂを合成して多数の疑似画像ＰＩを作成し、これらを用いて物体検出装置の学習を行う。なお、図１（Ｂ）の例では、実画像ＲＩの一部のみに疑似画像データＩｂを合成して疑似画像ＰＩを作成しているが、実画像ＲＩの複数の部分に疑似画像データＩｂを合成して疑似画像ＰＩを作成しても良い。即ち、疑似画像ＰＩは、複数の疑似画像データＩｂを含んでいても良い。また、疑似画像ＰＩの全体が疑似画像データＩｂのものがあっても良い。

［第１実施形態］
次に、本発明の第１実施形態について説明する。
（ハードウェア構成）
図２は、第１実施形態に係る学習装置のハードウェア構成を示すブロック図である。図示のように、学習装置１は、インタフェース（ＩＦ）２と、プロセッサ３と、メモリ４と、記録媒体５と、データベース（ＤＢ）１５と、を備える。

インタフェース２は、外部装置との通信を行う。具体的に、インタフェース２は、物体検出の対象となる画像を外部から入力したり、物体検出の結果を外部装置へ出力する際に使用される。

プロセッサ３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、又はＣＰＵとＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｉｔ）などのコンピュータであり、予め用意されたプログラムを実行することにより、学習装置１の全体を制御する。メモリ４は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより構成される。メモリ４は、プロセッサ３により実行される各種のプログラムを記憶する。また、メモリ４は、プロセッサ３による各種の処理の実行中に作業メモリとしても使用される。

記録媒体５は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、学習装置１に対して着脱可能に構成される。記録媒体５は、プロセッサ３が実行する各種のプログラムを記録している。学習装置１が学習処理を実行する際には、記録媒体５に記録されているプログラムがメモリ４にロードされ、プロセッサ３により実行される。

データベース６は、物体検出装置の学習処理において使用される画像を記憶する。具体的には、データベース６は、実画像及び疑似画像を記憶する。また、データベース６は、実画像及び疑似画像の属性情報（以下、「画像属性情報」と呼ぶ。）を記憶する。

（原理説明）
次に、本実施形態による学習処理の基本原理を説明する。本実施形態の学習処理は、画像から物体を検出する物体検出装置を学習するものである。図３は、学習装置１の基本原理を示す。学習装置１は、特徴抽出部１１と、確信度算出部１２と、枠統合部１３と、ドメイン識別部１４とを備える。なお、特徴抽出部１１、確信度算出部１２及び枠統合部１３は、物体検出装置に相当するブロック（以下、「物体検出ブロック」と呼ぶ。）であり、基本的に物体検出アルゴリズムＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）に従って動作する。

特徴抽出部１１には、画像が入力される。学習時には、実画像及び疑似画像が特徴抽出部１１に入力される。特徴抽出部１１は、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）により構成され、入力された画像に対して畳み込み及びプーリングを行うことにより、異なるスケールの特徴マップＦＭ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成する。特徴抽出部１１が抽出した特徴は、各特徴マップＦＭの層を伝搬し、確信度算出部１２に供給される。また、各特徴マップＦＭの層も特徴抽出を行っており、抽出された特徴は各特徴マップＦＭの層を伝搬して確信度算出部１２に供給される。

確信度算出部１２は、特徴マップＦＭを構成する各セルに対して、予め用意された複数の枠（ボックス）を割り当て、枠ごとに検出対象となる物体の各クラスについての確信度を算出する。例えば、検出対象となる物体のクラスとして、「人」、「馬」、「車」が設定されている場合、確信度算出部１２は、それぞれの枠に属する画像が「人」である確信度、「馬」である確信度、「車」である確信度を算出する。確信度算出部１２は、特徴抽出部１１が生成した異なるスケールの特徴マップＦＭの全てについて、この処理を行う。

枠統合部１３は、ＮＭＳ（Ｎｏｎ－Ｍａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎ）アルゴリズムを用いて、同じクラスとして認識された重複する枠を統合する。例えば、確信度算出部１２により、画像のある部分に対応する複数の枠が同一のクラス（例えば「人」）と認識された場合、枠統合部１３は、それら複数の枠を１つの枠に統合する。そして、枠統合部１３は、統合された枠ごとに、画像におけるその位置及びクラスを含む検出結果を出力する。

一方、特徴抽出部１１が生成した異なるスケールの特徴マップＦＭは、ドメイン識別部１４にも入力される。ドメイン識別部１４は、確信度算出部１２と同様に、特徴マップＦＭの各セルに対して枠を設定し、枠ごとにドメインを識別する。具体的には、設定した枠に含まれる画像データが、実画像データＩａに対応するドメインＡであるか、疑似画像データＩｂに対応するドメインＢであるかを識別する。そして、ドメイン識別部１４は、ドメイン識別性情報ＤＤを生成する。ドメイン識別性情報とは、ドメインを識別するための情報であり、具体的にはドメインＡとドメインＢの違いを示す情報である。

ドメイン識別部１４により生成されたドメイン識別性情報ＤＤは、各特徴マップＦＭの層を逆伝搬して特徴抽出部１１へ供給される。各特徴マップＦＭの層は特徴抽出を行っているため、ドメイン識別性情報ＤＤは、一番深い特徴マップＦＭの層に入力され、そこから各特徴マップＦＭの層を逆伝搬して特徴抽出部１１に至る。そして、特徴抽出部１１は、ドメイン識別部１４から供給されたドメイン識別性情報ＤＤに基づいて、ドメインを識別できないように学習する。言い換えると、特徴抽出部１１は、ドメインＡとドメインＢに共通する特徴を抽出するように学習を行う。これにより、物体検出ブロックは、実画像と疑似画像の両方を用いて、高精度で物体検出を行えるように学習される。

前述のように、物体検出ブロックで高精度に物体を検出できるようにするためには、大量のデータが必要となるため、実画像のみで学習を行えるような十分な数の実画像を用意することは難しい。一方で、疑似画像のみを使用して物体検出ブロックの学習を行った場合、物体検出ブロックは、疑似画像からは正しく物体を検出できるが、実画像から正しく物体を検出することはできなくなる。そこで、本実施形態では、実画像と疑似画像の両方を使用し、ドメインを区別できないような特徴、即ち、ドメインの違いに依らない共通の特徴を抽出するように特徴抽出部１１を学習させることにより、最終的に学習の完了した物体検出ブロックが実画像からも正しく物体を検出できるようにする。

通常、ドメイン適応は注目領域を対象に行うものであり、画像全体を処理する物体検出処理との親和性に疑問がある。そこで、本発明では、物体検出処理（ＣＮＮ）で用いる「枠」という概念を、ドメイン適応の対象として使用することによりドメイン適応を適用可能としている。

（学習装置）
図４は、学習装置１の機能構成を示すブロック図である。学習装置１は、機能的には、特徴抽出部２１と、物体検出部２２と、ドメイン識別部２３と、ドメイン領域判別部２４とを備える。なお、特徴抽出部２１と物体検出部２２は、物体検出ブロックに相当する。

特徴抽出部２１は、ＣＮＮを用いて構成され、入力画像から特徴を抽出する。図５（Ａ）は、特徴抽出部２１のフォワード（Ｆｗ）処理のフローチャートである。特徴抽出部２１には、入力画像として、実画像ＲＩと疑似画像ＰＩが入力される。特徴抽出部２１は、入力画像に対して、ＣＮＮを用いた畳み込み及びプーリングにより特徴抽出を行い、特徴マップＦＭを生成する（ステップＳ１１）。特徴抽出部２１は、複数段の処理を行うことにより、異なるスケールの特徴マップＦＭを生成する。

次に、特徴抽出部２１は、生成した特徴マップＦＭごとに、特徴マップＦＭ上で枠を設定し、枠情報ＦＩを出力する（ステップＳ１２）。特徴マップＦＭは、複数のセルが縦方向及び横方向に並んだマトリクス構造を有し、特徴抽出部２１は、各セルに対して予め用意された複数の枠を割り当てる。なお、各セルに対しては、サイズ及びアスペクト比が異なる複数の枠が割り当てられる。そして、特徴抽出部２１は、各枠に属する画像データに基づいて枠情報ＦＩを生成する。枠情報ＦＩは、画像全体におけるその枠の位置を示す情報であり、例えば図６（Ａ）に示すように枠の左上の点の位置（ｘ，ｙ）、幅ｗ、高さｈなどを含む。そして、特徴抽出部２１は、特徴マップＦＭと枠情報ＦＩを物体検出部２２へ出力する。

物体検出部２２は、特徴マップＦＭと枠情報ＦＩに基づいて、画像中の物体を検出する。図５（Ｂ）は、物体処理部２２のフォワード処理時のフローチャートである。物体検出部２２は、特徴マップＦＭと枠情報ＦＩを受け取り、枠ごとに各クラスに対する確信度と位置誤差を算出することで物体の検出を行い（ステップＳ１３）、検出結果を出力する。具体的には、物体検出部２２は、各特徴マップＦＭ上に設定された複数の枠ごとに、その枠に属する物体のクラスごとの確信度を算出する。そして、ＮＭＳアルゴリズムを用いて、同じクラスと認識された枠を統合して物体を検出する。物体の検出結果は、統合された枠ごとに、その枠の位置と物体のクラスを含む。

ドメイン識別部２３は、特徴抽出部２１に入力された画像について、枠ごとにドメインを識別する。図５（Ｃ）は、ドメイン識別部２３のフォワード処理時のフローチャートである。ドメイン識別部２３は、物体検出部２２から入力された特徴マップＦＭと枠情報ＦＩに基づいて、枠ごとに画像のドメインを識別する（ステップＳ１４）。具体的には、ドメイン識別部２３は、各枠に属する画像データに基づいて、その枠が実画像データＩａに対応するドメインＡであるか、疑似画像データＩｂに対応するドメインＢであるかを判定し、いずれのドメインであるかを示すドメイン識別結果を生成する。

ドメイン領域判別部２４は、画像属性情報ＡＴに基づいて、ドメイン領域情報ＤＡを生成し、ドメイン識別部２３へ出力する。画像属性情報ＡＴは、実画像ＲＩ及び疑似画像ＰＩの属性に関する情報であり、その画像に含まれる実画像データＩａ及び疑似画像データＩｂの領域に関する情報を含む。例えば、実画像ＲＩについては、画像属性情報ＡＴは、その画像の全領域が実画像データＩａであることを示す情報を含む。また、疑似画像ＰＩについては、画像属性情報ＡＴは、その画像の全領域のうち、実画像データＩａの領域及び疑似画像データＩｂの領域をそれぞれ示す情報を含む。

ドメイン領域判別部２４は、画像属性情報ＡＴに基づいて、実画像ＲＩ及び疑似画像ＰＩにおけるドメインＡの領域（即ち、実画像データＩａの領域）及びドメインＢの領域（即ち、疑似画像データＩｂの領域）を判別してドメイン領域情報ＤＡを生成し、ドメイン識別部２３に出力する。ドメイン領域情報ＤＡは、図１（Ａ）及び図１（Ｂ）に示すように、実画像ＲＩ及び疑似画像ＰＩにおけるドメインＡとドメインＢの領域を示す情報である。

次に、学習装置１のバックワード処理について説明する。バックワード処理は、ドメイン識別結果と物体の検出結果を用いて、特徴抽出部２１、物体検出部２２及びドメイン識別部２３の学習を行う処理である。図７は、特徴抽出部２１、物体検出部２２及びドメイン識別部２３のバックワード処理のフローチャートである。

まず、ドメイン識別部２３は、ドメイン領域判別部２４から各画像についてのドメイン領域情報ＤＡを取得し、枠ごとにドメイン識別結果の正解データを生成する。図６（Ｂ）は、ドメイン識別結果の正解データを作成する方法を示す。ドメイン領域情報ＤＡは、図６（Ｂ）に示すように、疑似画像ＰＩにおけるドメインＡとドメインＢの領域を示す。ドメイン識別部２３は、物体検出部２２から取得した枠情報ＦＩに基づいて、その枠がドメインＡとドメインＢのいずれに属するかを判定する。例えば、図６（Ｂ）において、枠Ｆ１はその全体がドメインＡに属するので、ドメイン識別部２３は、枠Ｆ１のドメインをドメインＡと判定する。一方、枠Ｆ２はその大部分がドメインＢに属するので、ドメイン識別部２３は、枠Ｆ２のドメインをドメインＢと判定する。こうして、ドメイン識別部２３は、ドメイン領域情報ＤＡを用いて、枠ごとにドメイン識別結果の正解データを生成する。

そして、ドメイン識別部２３は、こうして生成したドメイン識別結果の正解データと、フォワード処理時にステップＳ１４で生成したドメイン識別結果とを用いて学習を行う（ステップＳ２１）。この学習は、具体的には、ドメイン識別部２３による識別結果とドメイン識別結果の正解データとの誤差に基づいて、ドメイン識別部２３を構成するモデルのパラメータを更新することにより行われる。実画像ＲＩと疑似画像ＰＩを含む多数の画像を用いて学習を行うことにより、ドメイン識別部２３は、物体検出部２２から供給される枠情報ＦＩに基づいて、ドメインＡとドメインＢとを識別できるようになる。学習によりドメインの識別ができるようになると、ドメイン識別部２３は、ドメインＡとドメインＢを識別するための情報をドメイン識別性情報ＤＤとして特徴抽出部２１及び物体検出部２２に供給する。ドメイン識別性情報ＤＤは、ドメインＡとドメインＢの違いを示す情報、ドメインＡとドメインＢとに共通しない特徴を示す情報、ドメインＡとドメインＢのそれぞれに固有の特徴を示す情報などとすることができる。

なお、ドメイン識別部２３は、ドメイン領域情報ＤＡを利用して生成した正解データのうち、各ドメイン領域と枠との重複率が一定以上である正解データを用いて学習を行うことが好ましい。即ち、例えばドメインＡとドメインＢに半分ずつ重なっているような枠については、どちらのドメインとも受け取ることができ、識別精度を向上させるための学習データとしては相応しくない。また、ドメイン識別部２３の学習に使用する正解データは、ドメインＡを正解とするデータと、ドメインＢを正解とするデータとの比率が所定の比率となるように用意することが好ましい。これは、いずれかのドメインを正解とするデータが多すぎたり少なすぎたりすると、学習によるドメイン識別精度の向上が期待できなくなるためである。

次に、ドメイン識別性情報ＤＤを用いて、物体検出部２２は、ドメインの違いに依らない共通の特徴を学習する（ステップＳ２２）。具体的には、物体検出部２２は、ドメインの違いによる影響を受けずに物体を検出するように学習を行う。ここでの学習は、具体的には、物体検出部２２が抽出した特徴と、ドメイン識別性情報ＤＤとに基づいて、物体検出部２２を構成するＣＮＮのパラメータを更新することにより行われる。

次に、ドメイン識別性情報ＤＤを用いて、特徴抽出部２１は、ドメインの違いに依らない共通の特徴を学習する（ステップＳ２３）。具体的には、特徴抽出部２１は、ドメインの違いによる影響を受けずに特徴を抽出するように学習を行う。ここでの学習は、具体的には、特徴抽出部２１が抽出した特徴と、ドメイン識別性情報ＤＤとに基づいて、特徴抽出部２１を構成するＣＮＮのパラメータを更新することにより行われる。

（学習処理）
次に、学習装置１による学習処理の全体の流れについて説明する。図８は、学習処理のフローチャートである。この処理は、図２に示すプロセッサ３が、予め用意されたプログラムを実行し、図４に示す各構成要素として動作することにより実現される。

まず、特徴抽出部２１は、入力画像として与えられる実画像ＲＩ及び疑似画像ＰＩから特徴抽出を行う（ステップＳ３１）。具体的には、特徴抽出部２１は、実画像ＲＩ及び疑似画像ＰＩから特徴マップＦＭを生成し、各特徴マップＦＭのセルごとに複数の枠を設定して枠情報ＦＩを生成する。

次に、物体検出部２２は、特徴マップＦＭ及び枠情報ＦＩを用いて枠ごとに物体検出を行い、検出結果を生成する（ステップＳ３２）。また、物体検出部２２は、得られた検出結果と、実画像ＲＩ及び疑似画像ＰＩに対して用意された正解ラベルとを用いて学習を行う（ステップＳ３３）。さらに、物体検出部２２は、枠情報ＦＩをドメイン識別部２３に供給する。

ドメイン識別部２３は、枠情報ＦＩに基づいて、枠ごとにドメイン識別を行い、ドメイン識別結果を生成する（ステップＳ３４）。これと並行して、ドメイン領域判別部２４は、画像属性情報ＡＴに基づいてドメイン領域を判別し（ステップＳ３５）、ドメイン領域情報ＤＡをドメイン識別部２３に供給する。ドメイン識別部２３は、ドメイン領域情報ＤＡに基づいて、枠ごとにドメイン識別結果の正解データを生成する。そして、ドメイン識別部２３は、ステップＳ３４で得られたドメイン識別結果と、ドメイン識別結果の正解データとを用いて学習を行う（ステップＳ３６）。

ドメイン識別部２３は、学習によりドメイン識別が可能となると、ドメイン識別性情報ＤＤを特徴抽出部２１及び物体検出部２２に供給する。物体検出部２２は、ドメイン識別性情報ＤＤを用いて、ドメインの違いに依らない共通の特徴を学習する（ステップＳ３７）。また、特徴抽出部２１は、ドメイン識別性情報ＤＤを用いて、ドメインの違いに依らない共通の特徴を学習する（ステップＳ３８）。こうして、学習処理が行われる。

（物体検出装置）
次に、学習処理により学習が完了した物体検出装置による物体検出について説明する。物体検出装置は、図２に示すようなハードウェア構成を有するＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などの端末装置により構成される。図９は、物体検出装置の機能構成を示すブロック図である。物体検出装置５０は、基本的に図４に示す学習装置１の物体検出ブロックと同様に構成され、特徴抽出部２１と、物体検出部２２とを備える。

図１０は、物体検出装置５０による物体検出処理のフローチャートである。物体検出装置５０には、実画像ＲＩが入力される。特徴抽出部２１は、入力された実画像ＲＩから特徴抽出を行い、特徴マップＦＭと枠情報ＦＩを生成して物体検出部２２に出力する（ステップＳ４１）。物体検出部２２は、枠ごとに各クラスの確信度を算出し、重複する枠を統合して物体を検出し、検出結果を出力する（ステップＳ４２）。

［第２実施形態］
次に、本発明の学習装置の第２実施形態について説明する。図１１は、第２実施形態に係る学習装置の機能構成を示す。なお、第２実施形態の学習装置も、図２に示すハードウェア構成を有する。

第２実施形態の学習装置９０は、特徴抽出部９１と、物体検出部９２と、ドメイン識別部９３とを備える。特徴抽出部９１及びドメイン識別部９３には、実画像及び疑似画像を含む入力画像が入力される。特徴抽出部９１は、入力画像から特徴抽出を行って特徴マップを生成する。物体検出部９２は、特徴マップに基づいて、入力画像に含まれる物体を検出し、検出結果を出力する。

ドメイン識別部９３は、入力画像を構成するドメインを識別し、ドメイン識別性情報を出力する。そして、特徴抽出部９１及び物体検出部９２は、ドメイン識別性情報に基づいて、ドメインの違いに依らない共通の特徴を学習する。これにより、実画像のみならず、疑似画像を用いて、物体検出装置を学習させることが可能となる。

［変形例］
上記の実施形態では、ＳＳＤにより生成される特徴マップの各セルに対して複数の枠を設定している。その代わりに、ＳＳＤと同様の枠（いわゆるRegion Proposal）に準じたものを用いる物体学習、検出方式（例えばM2DetやRefineDetなど）であれば、それらから得られる枠と特徴マップを用いて実施してもよい。

以上、実施形態及び実施例を参照して本発明を説明したが、本発明は上記実施形態及び実施例に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

１ 学習装置
２ インタフェース
３ プロセッサ
４ メモリ
５ 記録媒体
６ データベース
１１、２１、９１ 特徴抽出部
１２ 確信度算出部
１３ 枠統合部
１４、２３、９３ ドメイン識別部
２２、９２ 物体検出部
２４ ドメイン領域判別部

Claims (9)

1. 実画像及び疑似画像を含む入力画像から特徴抽出を行って特徴マップを生成し、前記特徴マップ上に設定した枠を示す枠情報を生成する特徴抽出手段と、
   前記特徴マップに基づいて、前記入力画像に含まれる物体を前記枠毎に検出する物体検出手段と、
   前記入力画像を構成するドメインを前記枠毎に識別し、ドメイン間に共通しない特徴を示すドメイン識別性情報を出力するドメイン識別手段と、
   を備え、
   前記特徴抽出手段を、前記ドメイン識別性情報に基づいて、ドメインの違いに依らない共通の特徴を抽出するように学習させ、
   前記物体検出手段を、前記ドメイン識別性情報に基づいて、ドメインの違いに依らない共通の特徴に基づいて物体を検出するように学習させる学習装置。
2. 前記ドメイン識別手段は、前記入力画像の前記枠により規定される領域が、実画像データのドメインと疑似画像データのドメインのいずれに対応するかを識別する請求項１に記載の学習装置。
3. 疑似画像の属性情報に基づいて、当該疑似画像における疑似画像データの領域を示すドメイン領域情報を生成するドメイン領域判別手段を備え、
   前記ドメイン識別手段は、前記ドメイン領域情報に基づいて、前記枠毎のドメイン識別結果の正解データを生成し、当該正解データを用いてドメイン識別の学習を行う請求項２に記載の学習装置。
4. 前記ドメイン識別手段は、前記疑似画像における疑似画像データの領域と、前記入力画像の前記枠により規定される領域との位置関係に基づいて、前記ドメイン識別結果の正解データを生成する請求項３に記載の学習装置。
5. 前記ドメイン識別性情報は、実画像データのドメインと疑似画像データのドメインの違いを示す情報である請求項１乃至４のいずれか一項に記載の学習装置。
6. 前記疑似画像は、実画像データと疑似画像データを合成して作成されている請求項１乃至５のいずれか一項に記載の学習装置。
7. 請求項１乃至６のいずれか一項に記載の学習装置により学習された特徴抽出手段及び物体検出手段を備える物体検出装置。
8. 入力画像から特徴を抽出し、前記入力画像に含まれる物体を検出する物体検出装置の学習方法であって、
   特徴抽出手段により、実画像及び疑似画像を含む入力画像から特徴抽出を行って特徴マップを生成し、前記特徴マップ上に設定した枠を示す枠情報を生成し、
   物体検出手段により、前記特徴マップに基づいて、前記入力画像に含まれる物体を前記枠毎に検出し、
   ドメイン識別手段により、前記入力画像を構成するドメインを前記枠毎に識別し、ドメイン間に共通しない特徴を示すドメイン識別性情報を出力し、
   学習手段により、前記特徴抽出手段を、前記ドメイン識別性情報に基づいて、ドメインの違いに依らない共通の特徴を抽出するように学習させ、
   前記学習手段により、前記物体検出手段を、前記ドメイン識別性情報に基づいて、ドメインの違いに依らない共通の特徴に基づいて物体を検出するように学習させる学習方法。
9. コンピュータを備え、入力画像から特徴を抽出して前記入力画像に含まれる物体を検出する物体検出装置の学習処理を行うプログラムであって、
   特徴抽出手段により、実画像及び疑似画像を含む入力画像から特徴抽出を行って特徴マップを生成し、前記特徴マップ上に設定した枠を示す枠情報を生成し、
   物体検出手段により、前記特徴マップに基づいて、前記入力画像に含まれる物体を前記枠毎に検出し、
   前記入力画像を構成するドメインを前記枠毎に識別し、ドメイン間に共通しない特徴を示すドメイン識別性情報を出力し、
   前記特徴抽出手段を、前記ドメイン識別性情報に基づいて、ドメインの違いに依らない共通の特徴を抽出するように学習させ、
   前記物体検出手段を、前記ドメイン識別性情報に基づいて、ドメインの違いに依らない共通の特徴に基づいて物体を検出するように学習させる処理を前記コンピュータに実行させるプログラム。

Images