JP2023076286A - 画像処理装置、画像処理方法、撮像装置 - Google Patents

Abstract

【課題】 実行する処理に応じた適切な領域を撮像画像から取得するための技術を提供すること。【解決手段】 撮像画像からオブジェクトの一部若しくは全部を検出対象として検出する。該撮像画像から検出したそれぞれの検出対象について、該撮像画像中のオブジェクトの領域もしくは該撮像画像中のオブジェクトの情報において該検出対象の領域が含む割合を占有度として求める。実行する処理に応じた占有度の検出対象の領域を選択する。【選択図】 図３

Description

本発明は、画像領域の選択技術に関するものである。

従来のデジタルカメラは、カメラが自動的に検出した被写体や、ユーザが任意で選択した被写体に対して、好適な画像を取得する機能が搭載されている。例えば、自動的に焦点を合わせるオートフォーカス（ＡＦ）機能、自動的に明るさを調整するオートエクスポージャー（ＡＥ）機能、自動的に適切な色に調整するオートホワイトバランス（ＡＷＢ）機能である。また、事前に選択された被写体を後のフレームにおいても追従し続けることで、その被写体にフォーカスを合わせ続けたり、明るさや色を調整し続ける追尾機能を有するカメラも知られている。これらの機能は、入力画像において、被写体が存在する注目領域の情報を用いて行われるため、注目領域を適切に設定する必要がある。

入力画像から、被写体の注目領域の情報を抽出するためには、対象物（以降、オブジェクト）の検出技術が必要である。これまでは人物の顔や顔器官（瞳、鼻、口など）、人物の全身などの特定のカテゴリのオブジェクトに対して行われるものが多かった。例えば、特許文献１には、人物の顔および顔器官に対して、ユーザがフォーカスを合わせる位置を任意に選択できる方法が開示されている。

一方で近年、深層学習の発達に伴い、様々なカテゴリの物体の情報を用いて物体らしさを学習させることで、動物や乗り物など、任意の被写体を検出する技術が実現されてきている。

非特許文献１、非特許文献２、非特許文献３はいずれも、深層学習を用いて画像から様々なカテゴリの物体を同時に検出するマルチオブジェクト検出に関する技術を開示している。人物のような特定の被写体だけでなく、このような任意の被写体についても、適切な注目領域を自動的に、あるいは、ユーザの意図通りに設定することが望まれる。

特開２０１９－１２０７４８号公報

Ｒｉｃｈ Ｆｅａｔｕｒｅ Ｈｉｅｒａｒｃｈｉｅｓ ｆｏｒ Ａｃｃｕｒａｔｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ．， Ｒｏｓｓ Ｇｉｒｓｈｉｃｋ ｅｔ ａｌ．，２０１４ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ＳＳＤ： Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ， Ｗｅｉ Ｌｉｕ ｅｔ ａｌ．， Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ? ＥＣＣＶ ２０１６ Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ： Ｕｎｉｆｉｅｄ， Ｒｅａｌ－Ｔｉｍｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ， Ｊｏｓｅｐｈ Ｒｅｄｍｏｎ ｅｔ ａｌ．， ２０１６ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ

被写体が存在する注目領域については、前述したＡＦ機能、ＡＥ機能、ＡＷＢ機能、追尾機能ごとに適切なサイズや位置が異なる。例えば、オブジェクト自体を追尾する追尾機能の初期領域として注目領域が用いられる際には、注目領域内の情報量が多い方がよく、よって、オブジェクトの全体を捉えるようなサイズの大きい注目領域が望まれる。一方で、ＡＦ機能の領域として注目領域が用いられる際には、オブジェクトの部分を捉えるようなサイズの小さな注目領域が望まれることが多い。

特許文献１では、ユーザがＡＦ機能の対象を顔全体に設定するのか、顔器官に設定するのかを切り替える方法について言及されているが、ＡＦ機能を実現するための最適な領域サイズの決定方法については言及されていない。また、ＡＦ以外の機能、例えば追尾機能・ＡＥ機能・ＡＷＢ機能を実現するのに最適な領域サイズについても言及されていない。

非特許文献１、非特許文献２、非特許文献３では、物体らしいものの検出について言及されているに留まっており、その検出される領域がＡＦ機能や追尾機能に適しているか否かについては言及されていない。そのため、それらの注目領域を利用する機能によってはユーザが期待する動作を得られない可能性がある。本発明では、実行する処理に応じた適切な領域を撮像画像から取得するための技術を提供する。

本発明の一様態は、撮像画像からオブジェクトの一部若しくは全部を検出対象として検出する検出手段と、前記検出手段が前記撮像画像から検出したそれぞれの検出対象について、前記撮像画像中のオブジェクトの領域もしくは前記撮像画像中のオブジェクトの情報において該検出対象の領域が含む割合を占有度として求める演算手段と、実行する処理に応じた占有度の検出対象の領域を選択する選択手段とを備えることを特徴とする。

本発明によれば、実行する処理に応じた適切な領域を撮像画像から取得することができる。

撮像装置１００の構成例を示す図。 （ａ）は撮像装置１００のハードウェア構成例を示すブロック図、（ｂ）は画像解析装置１１０および学習装置１５０のハードウェア構成例を示すブロック図。 撮像装置１００の機能構成例を示すブロック図。 追尾処理およびＡＦ処理を実施するために撮像装置１００が行う処理のフローチャート。 ニューラルネットワークの構成例を示す図。 検出領域の占有度について説明する図。 学習装置１５０の機能構成例を示すブロック図。 学習装置１５０によるニューラルネットワークの学習処理のフローチャート。 撮像装置１００の機能構成例を示すブロック図。 追尾処理およびＡＦ処理を実施するために撮像装置１００が行う処理のフローチャート。 表示例を示す図。 学習データの作成方法を説明する図。 学習画像におけるラベルを説明する図。 撮像装置１００の機能構成例を示すブロック図。 追尾処理およびＡＦ処理を実施するために撮像装置１００が行う処理のフローチャート。 学習装置１５０の機能構成例を示すブロック図。 学習画像におけるラベルを説明する図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
本実施形態では、定期的若しくは不定期的に撮像した静止画像を撮像画像として取得する、若しくは動画像における各フレームの画像を撮像画像として取得する撮像装置について説明する。本実施形態に係る撮像装置は、このようにして取得した撮像画像からオブジェクトの一部若しくは全部を検出対象として検出し、該撮像画像から検出したそれぞれの検出対象の領域から、追尾処理に適した領域やＡＦ処理に適した領域を選択する。そして本実施形態に係る撮像装置は、追尾処理に適した領域として選択した領域に対して追尾処理を行ったり、ＡＦ処理に適した領域として選択した領域に対してＡＦ処理を行う。なお、以下では、「オブジェクト」が「人物」であるケースについて説明するが、以下の説明は「オブジェクト」が「人物」意外であっても、同様に適用可能である。

図１に示す如く、本実施形態に係る撮像装置１００は、撮像画像に対して各種の解析処理を行って、「追尾処理やＡＦ処理の対象となる領域」の選択を行う画像解析装置１１０を有する。また、撮像装置１００には、該画像解析装置１１０が上記の動作を実施するために使用するニューラルネットワークのパラメータの学習処理を行う学習装置１５０が接続されている。

まず、撮像装置１００のハードウェア構成例について、図２（ａ）のブロック図を用いて説明する。なお、図２（ａ）には、以下の説明に関連する主な構成を示しており、撮像装置１００が図２（ａ）に示した装置以外の装置を含むことを排除するものではない。

演算処理装置１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及び／又はＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサと、該プロセッサのワークエリアを有するメモリと、を有する。演算処理装置１０１は、記憶装置１０２に保存されているコンピュータプログラムやデータを用いて各種の処理を実行することで、撮像装置１００（画像解析装置１１０を含む）や学習装置１５０の動作制御を行う。

記憶装置１０２は、磁気記憶装置、半導体メモリ等のストレージデバイスである。記憶装置１０２には、撮像装置１００（画像解析装置１１０を含む）や学習装置１５０の動作制御を演算処理装置１０１に行わせるためのコンピュータプログラムやデータが保存されている。また、記憶装置１０２には、撮像画像をファイルとして保存することができる。

撮像部１０５は、レンズを介して入光した光を光電変換により画像信号に変換し、該変換した画像信号に基づいて撮像画像を生成して出力する。また撮像部１０５は、演算処理装置１０１からの指示に応じてＡＦ機能、ＡＥ機能、ＡＷＢ機能等を実施する。撮像部１０５により定期的若しくは不定期的に撮像された静止画像、もしくは撮像部１０５により撮像された動画像における各フレームの画像は、撮像画像として記憶装置１０２に保存される。

Ｉ／Ｆ１０６は、有線および／または無線のネットワークを介して外部装置との間のデータ通信を行うための通信インターフェースである。例えば、Ｉ／Ｆ１０６は、メモリーカードやＵＳＢケーブル等を接続するためのＩ／Ｆを含んでも良い。

画像解析装置１１０は、撮像部１０５により生成された撮像画像から人物の一部若しくは全部を検出対象として検出し、該撮像画像から検出したそれぞれの検出対象の領域から、追尾処理に適した領域やＡＦ処理に適した領域を選択する。演算処理装置１０１は、画像解析装置１１０により選択された領域に対して追尾処理やＡＦ処理を行うべく、撮像部１０５を制御する。

入力装置１０３は、マウス、キーボード、タッチパネルデバイス、ボタン等のユーザインターフェースであり、ユーザが操作することで各種の指示を演算処理装置１０１に対して入力することができる。

出力装置１０４は、液晶パネル、タッチパネル画面などの表示画面を有する装置であり、演算処理装置１０１による処理結果を画像や文字などでもって該表示画面に表示させる。演算処理装置１０１、記憶装置１０２、撮像部１０５、Ｉ／Ｆ１０６、画像解析装置１１０、入力装置１０３、出力装置１０４は何れもシステムバス１０７に接続されている。

次に、画像解析装置１１０および学習装置１５０のハードウェア構成例について、図２（ｂ）のブロック図を用いて説明する。本実施形態では説明を簡単にするために、画像解析装置１１０および学習装置１５０は何れも同じハードウェア構成（図２（ｂ））を有するものとして説明する。しかし、画像解析装置１１０および学習装置１５０のそれぞれのハードウェア構成は異なっていても良い。

演算処理装置１３０は、ＣＰＵ及び／又はＧＰＵ等のプロセッサと、該プロセッサのワークエリアを有するメモリと、を有する。演算処理装置１３０は、記憶装置１３１に保存されているコンピュータプログラムやデータを用いて各種の処理を実行することで、画像解析装置１１０／学習装置１５０全体の動作制御を行う。

記憶装置１３１は、磁気記憶装置、半導体メモリ等のストレージデバイスである。記憶装置１３１には、画像解析装置１１０／学習装置１５０の動作制御を演算処理装置１３１に行わせるためのコンピュータプログラムやデータが保存されている。

Ｉ／Ｆ１３２は、有線および／または無線のネットワークを介して外部装置との間のデータ通信を行うための通信インターフェースである。画像解析装置１１０のＩ／Ｆ１３２は、学習装置１５０との間のデータ通信を行うための通信インターフェースである。学習装置１５０のＩ／Ｆ１３２は、画像解析装置１１０との間のデータ通信を行うための通信インターフェースである。演算処理装置１３０、記憶装置１３１、Ｉ／Ｆ１３２は何れもシステムバス１３３に接続されている。

次に、撮像装置１００の機能構成例について、図３のブロック図を用いて説明する。以下では、図３に示した各機能部を処理の主体として説明する場合がある。しかし、実際には、図３に示した機能部のうち画像解析装置１１０の機能部の機能を演算処理装置１３０に実現させるためのコンピュータプログラムを該演算処理装置１３０が実行することで、該機能部の機能が実現される。同様に、図３に示した機能部のうち追尾処理部２７０、ＡＦ処理部２８０の機能を演算処理装置１０１に実現させるためのコンピュータプログラムを該演算処理装置１０１が実行することで、該追尾処理部２７０、ＡＦ処理部２８０の機能が実現される。

取得部２１０は、撮像部１０５により生成された撮像画像を取得する。例えば、取得部２１０は、撮像部１０５により生成されたフルＨＤ（１９２０画素×１２８０画素）の撮像画像をリアルタイム（６０フレーム毎秒）で取得する。

抽出部２２０は、取得部２１０が取得した撮像画像から特徴量を抽出する。

推定部２３０は、抽出部２２０が撮像画像から抽出した特徴量を用いて、該撮像画像中の人物の全身の領域や該人物の一部（頭部、顔、瞳、手等）の領域を検出領域として推定する。この推定において推定部２３０は、撮像画像から推定した検出領域ごとに、該撮像画像における該検出領域の位置（中心位置、左上隅の位置など）、該検出領域のサイズ（縦サイズおよび横サイズ）、該検出領域に含まれる対象の人物らしさを表す尤度、を求める。

推定部２４０は、推定部２３０が撮像画像から推定したそれぞれの検出領域について、該撮像画像における人物の領域のうち該検出領域が占める割合を占有度として推定（演算）する。

選択部２６０は、推定部２４０が検出領域ごとに推定した占有度に基づいて、推定部２３０が撮像画像から推定した検出領域のうち、追尾処理に適した検出領域やＡＦ処理に適した検出領域を注目領域として選択する。

追尾処理部２７０は、撮像部１０５を制御して、選択部２６０が選択した注目領域内における対象を追尾する追尾処理を実行する。追尾処理については周知であるため、追尾処理に係る詳細な説明は省略する。

ＡＦ処理部２８０は、撮像部１０５を制御して、選択部２６０が選択した注目領域に対してＡＦ処理を実行する。ＡＦ処理については周知であるため、ＡＦ処理に係る詳細な説明は省略する。

次に、このような撮像装置１００において追尾処理およびＡＦ処理を実施するために該撮像装置１００が行う処理について、図４のフローチャートに従って説明する。ステップＳ４０１では、取得部２１０は、撮像部１０５により生成された撮像画像を取得する。この撮像画像は、例えば、各画素におけるＲ（赤）の画素値、Ｇ（緑）の画素値、Ｂ（青）の画素値が何れも８ビットで表現されるＲＧＢカラー画像のビットマップデータである。

ステップＳ４０２では、抽出部２２０は、ステップＳ４０１で取得部２１０が取得した撮像画像から特徴量を抽出する。撮像画像から特徴量を抽出するための方法には様々な方法を適用することができるが、本実施形態では、抽出部２２０は、ニューラルネットワークを用いて撮像画像から特徴量を抽出する。撮像画像から特徴量を抽出するために用いるニューラルネットワークの構成例を図５に示す。

抽出部２２０は、畳み込み層とプーリング層とを繰り返すことにより、認識タスクを行うニューラルネットワークである。このようなニューラルネットワークには、例えば、非特許文献１、２、３に記載されているものが利用可能である。

抽出部２２０は、複数の畳み込み層５１１、５１３、５１５と、複数のプーリング層５１２、５１４と、を有し、これらの層によって、入力画像５３０から特徴量を抽出する。

畳み込み層では、入力画像または特徴マップに対して、例えば３×３サイズのフィルタを複数チャネル設定し、注目画素を中心に畳み込み演算を行い、複数チャネルに対応する複数の特徴マップ５５１、５５３、５５５を出力する。図５では、畳み込み層５１１は、フィルタサイズが３×３で４チャネル、畳み込み層５１３はフィルタサイズが３×３で１２チャネル、畳み込み層５１５はフィルタサイズが３×３で２４チャネルとした。

プーリング層では、畳み込み層から出力された特徴マップを縮小した縮小特徴マップ５５２、５５４を生成する。２×２の範囲でプーリングを行う場合、特徴マップは１／４倍に縮小される。プーリングには最大値プーリングや平均値プーリングなどの方法を用いることができる。図５において、プーリング層５１２とプーリング層５１４は共に、２×２の範囲でプーリングを行う。図５の例では、２×２の範囲のプーリング層が２層存在するため、入力画像５３０の解像度が出力層の段階では１／１６倍に縮小される。

なお、抽出部２２０に適用可能なニューラルネットワークの構成は図５に示した構成に限らず、例えば、図５で示したニューラルネットワークよりも多層にしても構わないし、チャネル数を変更しても構わない。

ステップＳ４０３では、推定部２３０は、ステップＳ４０２で抽出部２２０が撮像画像から抽出した特徴量を用いて、該撮像画像中の人物の全身の領域や該人物の一部の領域を検出領域として推定する。そして推定部２３０は、撮像画像から推定した検出領域ごとに、該撮像画像における該検出領域の位置、該検出領域のサイズ、該検出領域に含まれる対象の人物らしさを表す尤度、を求める。

本実施形態では、推定部２３０もニューラルネットワークを用いて撮像画像から検出領域を推定する。図５を例にとると、抽出部２２０で抽出された特徴マップ５５５を全結合層５５６に入力することで、検出領域（検出枠）の位置、サイズ、該検出領域に含まれる対象の人物らしさを表す尤度、を出力する。

ステップＳ４０４では、推定部２４０は、ステップＳ４０３で抽出部２３０が撮像画像から推定したそれぞれの検出領域について占有度を推定する。本実施形態では、推定部２４０もニューラルネットワークを用いてそれぞれの検出領域の占有度を推定する。図５を例にとると、抽出部２２０で抽出された特徴マップ５５５を全結合層５５６に入力することで、検出領域の占有度を出力する。

ここで、占有度についてより詳細に説明する。検出領域の占有度とは、撮像画像中の人物の領域を該検出領域がどの程度捉えているかを表す度合いである。図６に示す具体例を用いて、検出領域の占有度について説明する。

図６では、撮像画像６００には人物の領域６０１が含まれており、推定部２３０は、該人物の全身を含む検出領域６０２と、該人物の一部である頭部の検出領域６０３と、を推定している。

検出領域６０２は、領域６０１の全部を捉えており、領域６０１において該検出領域６０２が占める割合は１００％であるので、推定部２４０は、検出領域６０２の占有度は「１．０」と推定する。

検出領域６０３は、領域６０１の一部を捉えており、領域６０１において該検出領域６０３が占める割合は１０％であるので、推定部２４０は、検出領域６０３の占有度は「０．１」と推定する。

ステップＳ４０６では、選択部２６０は、追尾処理を行うか否かを判断する。例えば、ユーザが入力装置１０３を用いて追尾処理を行う旨の設定を行った場合、演算処理装置１０１は該設定を行った旨を選択部２６０に通知するので、選択部２６０は、このような通知を受けた場合には、追尾処理を行うと判断する。一方、選択部２６０は、このような通知を受けていない場合には、追尾処理は行わないと判断する。このような判断の結果、追尾処理を行うと判断した場合には、処理はステップＳ４０７に進み、追尾処理を行わないと判断した場合には、処理はステップＳ４０９に進む。

ステップＳ４０７では、選択部２６０は、ステップＳ４０４で推定したそれぞれの検出領域の占有度に基づいて、該それぞれの検出領域から追尾処理用の注目領域として「追尾処理に適切な検出領域」を選択する。例えば、選択部２６０は、ステップＳ４０３で推定したそれぞれの検出領域のうち、追尾処理用の占有度範囲（以下では一例として０．６～１．０とする）に属する占有度を求めた検出領域を追尾処理用の注目領域として選択する。０．６～１．０の範囲に属する占有度を求めた検出領域が複数存在する場合には、選択部２６０は、０．６～１．０の範囲に属する占有度の検出領域のうち最も大きい占有度を求めた検出領域を追尾処理用の注目領域として選択する。また、０．６～１．０の範囲に属する占有度を求めた検出領域が存在しない場合には、選択部２６０は、ステップＳ４０３で推定したそれぞれの検出領域のうち最も大きい占有度を求めた検出領域を追尾処理用の注目領域として選択する。

図６の場合、検出領域６０２（占有度は１．０）および検出領域６０３（占有度は０．１）のうち、０．６～１．０の範囲に属する占有度を求めた検出領域は検出領域６０２であるから、検出領域６０２が追尾処理用の注目領域として選択される。

ステップＳ４０８では、追尾処理部２７０は、撮像部１０５を制御して、ステップＳ４０７で選択された追尾処理用の注目領域内の人物を追尾対象として追尾する追尾処理を行う。

ステップＳ４０９では、選択部２６０は、ＡＦ処理を行うか否かを判断する。例えば、ユーザが入力装置１０３を用いてＡＦ処理を行う旨の設定を行った場合、演算処理装置１０１は該設定を行った旨を選択部２６０に通知するので、選択部２６０は、このような通知を受けた場合には、ＡＦ処理を行うと判断する。一方、選択部２６０は、このような通知を受けていない場合には、ＡＦ処理は行わないと判断する。このような判断の結果、ＡＦ処理を行うと判断した場合には、処理はステップＳ４１０に進み、ＡＦ処理を行わないと判断した場合には、処理はステップＳ４１２に進む。

ステップＳ４１０では、選択部２６０は、ステップＳ４０４で推定したそれぞれの検出領域の占有度に基づいて、該それぞれの検出領域からＡＦ処理用の注目領域として「ＡＦ処理に適切な検出領域」を選択する。例えば、選択部２６０は、ステップＳ４０３で推定したそれぞれの検出領域のうち、ＡＦ処理用の占有度範囲（以下では一例として０．０１～０．６とする）に属する占有度を求めた検出領域をＡＦ処理用の注目領域として選択する。０．０１～０．６の範囲に属する占有度を求めた検出領域が複数存在する場合には、選択部２６０は、０．０１～０．６の範囲に属する占有度の検出領域のうち最も小さい占有度を求めた検出領域をＡＦ処理用の注目領域として選択する。また、０．０１～０．６の範囲に属する占有度を求めた検出領域が存在しない場合、選択部２６０は、ステップＳ４０３で推定した検出領域の中に占有度が０．６を超える検出領域があるか否かをチェックする。このチェックの結果、選択部２６０は、ステップＳ４０３で推定した検出領域の中に占有度が０．６を超える検出領域があれば、「占有度が０．６を超える検出領域」のうち最も小さい占有度を求めた検出領域をＡＦ処理用の注目領域として選択する。一方、このチェックの結果、選択部２６０は、ステップＳ４０３で推定した検出領域の中に占有度が０．６を超える検出領域がなければ、「占有度が０．０１を下回る検出領域」のうち最も大きい占有度を求めた検出領域をＡＦ処理用の注目領域として選択する。

図６の場合、検出領域６０２（占有度は１．０）および検出領域６０３（占有度は０．１）のうち、０．０１～０．６の範囲に属する占有度を求めた検出領域は検出領域６０３であるから、検出領域６０３がＡＦ処理用の注目領域として選択される。

ステップＳ４１１では、ＡＦ処理部２８０は、撮像部１０５を制御して、ステップＳ４１０で選択されたＡＦ処理用の注目領域内の人物の一部をＡＦの対象とするＡＦ処理を行う。

なお、上記の追尾処理用の占有度範囲やＡＦ処理用の占有度範囲は予め設定された範囲であっても良いし、ユーザが入力装置１０３であるタッチパネル上で設定したものであっても良い。

ステップＳ４１２では、演算処理装置１０１は、撮像装置１００の動作を継続させるか否かを判断する。例えば、ユーザが入力装置１０３を操作して撮像装置１００の動作を停止させる旨の指示を入力した場合には、撮像装置１００の動作を継続させないと判断し、該指示を入力しない限りは、撮像装置１００の動作を継続させると判断する。

このような判断の結果、撮像装置１００の動作を継続させる場合には、処理はステップＳ４０１に進み、撮像装置１００の動作を継続させない場合には、図４のフローチャートに従った処理は終了する。

次に、画像解析装置１１０にて用いられるニューラルネットワークの学習を行う学習装置１５０について説明する。本実施形態に係る学習装置１５０の機能構成例について、図７のブロック図を用いて説明する。なお、図７の抽出部２２０、推定部２３０、推定部２４０は何れも学習装置１５０による学習対象として示したものであって、これらの機能部を学習装置１５０が有することを示したものではない。

以下では、図７に示した機能部（抽出部２２０、推定部２３０、推定部２４０、記憶部７０１を除く）を処理の主体として説明する場合がある。しかし実際には、これらの機能部の機能を演算処理装置１３０に実行させるためのコンピュータプログラムを該演算処理装置１３０が実行することで、該機能部の機能が実現される。

記憶部７０１には、抽出部２２０、推定部２３０、推定部２４０にて用いられるニューラルネットワークの学習に用いる学習データが格納されている。学習データには、学習画像、該学習画像中の人物の全身の領域もしくは該人物の一部の領域である基準領域の位置およびサイズ（縦サイズおよび横サイズ）を示す領域情報、該基準領域の占有度、のセットが複数含まれている。

取得部７０２は、記憶部７０１から学習データを取得する。

取得部７０３は、取得部７０２が取得した学習データに含まれている学習画像を取得する。

抽出部２２０は、取得部７０３が取得した学習画像から特徴量を抽出する。

推定部２３０は、抽出部２２０が学習画像から抽出した特徴量を用いて、該学習画像中の人物の全身の領域や該人物の一部の領域を検出領域として推定する。この推定において推定部２３０は、学習画像から推定した検出領域ごとに、該学習画像における該検出領域の位置（中心位置、左上隅の位置など）、該検出領域のサイズ（縦サイズおよび横サイズ）、該検出領域に含まれる対象の人物らしさを表す尤度、を求める。

推定部２４０は、抽出部２３０が学習画像から推定したそれぞれの検出領域について、該学習画像における人物を包含する領域のうち該検出領域が占める割合を占有度として推定する。

算出部７０７は、推定部２３０が学習画像から推定した検出領域の位置およびサイズと、該学習画像とセットになっている領域情報が示す基準領域の位置およびサイズと、の間の誤差（位置の誤差およびサイズの誤差に基づく誤差）を領域誤差として求める。算出部７０７は、「位置の誤差」として、例えば、検出領域の位置と基準領域の位置との間の距離を求める。また算出部７０７は、「サイズの誤差」として、例えば、検出領域の縦サイズと基準領域の縦サイズとの差分と、検出領域の横サイズと基準領域の横サイズとの差分と、の和を求める。そして例えば、算出部７０７は、「位置の誤差」と「サイズの誤差」との和を、全ての検出領域について求め、全ての検出領域について求めた和の総和を領域誤差として求める。

算出部７０８は、推定部２４０が学習画像から推定した占有度と、該学習画像とセットになっている占有度と、の差分を占有度誤差として求める。

学習部７０９は、算出部７０７が求めた領域誤差および算出部７０８が求めた占有度誤差が小さくなるように、抽出部２２０、推定部２３０、推定部２４０で用いるニューラルネットワークのパラメータを更新する。ニューラルネットワークのパラメータは、例えば、該ニューラルネットワークにおける重み係数である。このような更新処理により、ニューラルネットワークの学習処理を実現させる。

上記の学習装置１５０によるニューラルネットワークの学習処理について、図８のフローチャートに従って説明する。ステップＳ８０１では、取得部７０２は、記憶部７０１から学習データを取得する。取得部７０３は、取得部７０２が取得した学習データに含まれている学習画像を取得する。学習データは事前に作成して記憶部７０１に格納されている。ここで、学習データの作成方法について、図１２を用いて説明する。学習データの作成は学習装置１５０が行っても良いし、他の装置が行っても良い。

図１２（ａ）において、人物１３５０を含む学習画像１３００には、人物１３５０の全身の領域１３１０、人物１３５０の頭部の領域１３２０、人物１３５０の胴体の領域１３３０、人物１３５０の下半身の領域１３４０、が設定されている。

図１２（ｂ）において、人物１４５０をクローズアップして撮像した学習画像１４００には、人物１４５０の頭部の領域１４０２、人物１４５０の胴体の領域１４０３、学習画像１４００における人物１４５０の全体を囲む領域１４０４、が設定されている。

図１２（ｃ）において、自動車１５５０を含む学習画像１５００には、自動車１５５０の全体を囲む領域１５０１、ヘッドライトの領域１５０２，１５０３、タイヤの領域１５０４，１５０５、フロントガラスの領域１５０６、が設定されている。

図１２（ｄ）において、猫１６５０を含む学習画像１６００には、猫１６５０の全身の領域１６０１、頭部の領域１６０２、右目の領域１６０３、左目の領域１６０４、胴体の領域１６０５、が設定されている。

学習画像上におけるオブジェクトの領域やオブジェクトの一部の領域の設定は、例えばユーザが入力装置１０３のようなユーザインターフェースを用いて手動で行っても良いし、検出器により検出されたオブジェクトの領域を設定することで行っても良い。また、検出器により検出されたオブジェクトの領域をユーザが手動で修正しても良い。

このようにして学習画像に対して設定されたオブジェクトの領域やオブジェクトの一部の領域の位置およびサイズを示す領域情報が該学習画像とセットで学習データに登録される。なお、オブジェクトによっては領域の回転方向および回転角度を示す回転情報を学習データに含めても良い。

また、学習画像中のオブジェクトの全体領域の面積（画素数）に対する「オブジェクトの全体の領域もしくはオブジェクトの一部の領域」の面積の割合を占有度として求め、該占有度を該学習画像とセットで学習データに登録する。

図１２（ａ）の例では、人物１３５０の全身の領域１３１０の面積に対する該領域１３１０の面積の割合を該領域１３１０の占有度として求める（この場合の占有度は１．０となる）。人物１３５０の全身の領域１３１０の面積に対する頭部の領域１３２０の面積の割合を領域１３２０の占有度として求める。また、領域１３１０の面積に対する胴体の領域１３３０の面積の割合を領域１３３０の占有度として求める。また、領域１３１０の面積に対する下半身の領域１３４０の面積の割合を領域１３４０の占有度として求める。図１２（ａ）の例では、下半身の領域１３４０の面積は領域１３１０の面積の半分ぐらいであるから、領域１３４０の占有度は０．５と算出される。

図１２（ｂ）の例のように、人物１４５０をクローズアップして撮像した学習画像１４００の場合には、人物１４５０の一部の領域１４０４は存在するものの、人物１４５０の全身の領域が存在しない。このような場合には、ユーザが人物１４５０の全身の領域に対する領域１４０４の占有度を目測で推測して入力する。そして、頭部の領域１４０２の占有度を求める際には、領域１４０４の面積に対する領域１４０２の面積の割合と、領域１４０４の占有度と、の積を領域１４０２の占有度として求める。また、胴体の領域１４０３の占有度を求める際には、領域１４０４の面積に対する領域１４０３の面積の割合と、領域１４０４の占有度と、の積を領域１４０３の占有度として求める。また、ユーザが東部の領域１４０２および胴体の領域１４０３の占有度を目測で推測して入力しても良い。

図１２（ｃ）の例では、自動車１５５０の全体を囲む領域１５０１の面積に対する該領域１５０１の面積の割合を該領域１５０１の占有度として求める。領域１５０１の面積に対する自動車１５５０のヘッドライトの領域１５０２の面積の割合を該領域１５０２の占有度として求める。領域１５０１の面積に対する自動車１５５０のヘッドライトの領域１５０３の面積の割合を該領域１５０３の占有度として求める。領域１５０１の面積に対する自動車１５５０のタイヤの領域１５０４の面積の割合を該領域１５０４の占有度として求める。領域１５０１の面積に対する自動車１５５０のタイヤの領域１５０５の面積の割合を該領域１５０５の占有度として求める。領域１５０１の面積に対する自動車１５５０のフロントガラスの領域１５０６の面積の割合を領域１５０６の占有度として求める。

図１２（ｄ）の例では、猫１６５０の全身の領域１６０１の面積に対する該領域１６０１の面積の割合を該領域１６０１の占有度として求める。領域１６０１の面積に対する猫１６５０の頭部の領域１６０２の面積の割合を該領域１６０２の占有度として求める。領域１６０１の面積に対する猫１６５０の右目の領域１６０３の面積の割合を該領域１６０３の占有度として求める。領域１６０１の面積に対する猫１６５０の左目の領域１６０４の面積の割合を該領域１６０４の占有度として求める。領域１６０１の面積に対する猫１６５０の胴体の領域１６０５の面積の割合を該領域１６０５の占有度として求める。

検出するオブジェクトの種別（カテゴリ）を限定して検出領域を推定したい場合には、限定した種別のオブジェクトの学習データを準備すればよい。例えば、人物を検出したい場合には、人物の学習データを準備すればよく、自動車を検出したい場合には自動車の学習データを準備すればよい。検出するオブジェクトの種別を限定せずに検出領域を推定したい場合には、様々な種別のオブジェクトの学習データを準備すればよい。

例えば、図１２に示した人物、自動車、猫に加えて、電車、飛行機、昆虫、鳥、犬など様々な種別のオブジェクトの学習データを準備すればよい。このように様々な種別のオブジェクトの学習データを準備し、適切に学習処理が実行できれば、学習データに含まれていない種別のオブジェクトも検出可能となる。例えば、魚の学習データがなくても、魚らしさを検出することができるので、魚の検出が可能となる。

図８に戻って、次に、ステップＳ８０２では、抽出部２２０は、ステップＳ８０１で取得部７０３が取得した学習画像から特徴量を抽出する。ステップＳ８０３では、推定部２３０は、ステップＳ８０２で抽出部２２０が学習画像から抽出した特徴量と、学習中のニューラルネットワークと、を用いて、該学習画像中の人物の全身の領域や該人物の一部の領域を検出領域として推定する。

ステップＳ８０４では、推定部２４０は、学習中のニューラルネットワークを用いて、ステップＳ８０３で抽出部２３０が学習画像から推定したそれぞれの検出領域について占有度を推定する。

ステップＳ８０５では、算出部７０７は、推定部２３０が学習画像から推定した検出領域の位置およびサイズと、該学習画像とセットになっている領域情報が示す基準領域の位置およびサイズと、に基づいて領域誤差を求める。領域誤差の算出方法は、例えば、非特許文献２に記載の方法に準ずる。例えば、推定部２３０で推定した検出領域の中心座標およびサイズの、学習データ中の対応する基準領域の中心座標およびサイズに対するずれ量を足し合わせて求める。

ステップＳ８０６では、算出部７０８は、学習画像におけるそれぞれの検出領域について、推定部２４０が推定した該検出領域の占有度と、該学習画像とセットになっている対応領域の占有度と、の差分（例えば二乗誤差）を、求める。そして算出部７０８は、学習画像におけるそれぞれの検出領域について求めた差分の総和を占有度誤差として求める。

ステップＳ８０７では、学習部７０９は、算出部７０７が求めた領域誤差と算出部７０８が求めた占有度誤差との和（損失値）が小さくなるように、抽出部２２０、推定部２３０、推定部２４０で用いるニューラルネットワークのパラメータを更新する。該パラメータの更新には、例えば、誤差逆伝搬法を用いることができる。

ステップＳ８０９では、学習部７０９は、学習の終了条件が満たされたか否かを判断する。学習の終了条件には様々な条件があり、特定の条件に限らず、例えば、損失値が閾値以下、損失値の変化率が閾値以下、パラメータの更新回数が閾値以上、等がある。また例えば、パラメータ更新のための学習データとは別に精度検証用の学習データを用意しておき、上記のステップＳ８０１～ステップＳ８０７の処理を行って、損失値の総和が閾値以下になった場合に学習の終了条件が満たされたと判断するようにしても良い。

このような判断の結果、学習の終了条件が満たされたと判断した場合には、図８のフローチャートに従った処理は終了し、学習の終了条件は満たされていないと判断した場合には、処理はステップＳ８０１に進む。

なお、本実施形態では、検出領域に対して追尾処理やＡＦ処理を行うケースについて説明した。しかし、検出領域に対して行う処理は追尾処理やＡＦ処理に限らず、ＡＥ処理やＡＷＢ処理などの他の処理であっても良い。その場合、注目領域に対して行う処理に応じた占有度範囲に基づいて注目領域が選択され、該注目領域に対して該処理を行う。

また、図１の構成では、学習装置１５０は撮像装置１００とは別個の装置であるものとして説明したが、撮像装置１００と学習装置１５０とを一体化させて１台の撮像装置１００を構成しても良い。

以下に、本実施形態の変形例としていくつかの変形例を説明する。なお、本実施形態の変形例に係る以下の説明において特に触れない限りは、本実施形態と同様であるものとする。

＜変形例１＞
第１の実施形態では、ニューラルネットワークの学習段階において、オブジェクト全体を包含する包含領域の面積に対する特定領域の面積の割合を該特定領域の占有度と推定した。本変形例では、ニューラルネットワークの学習段階において、画素単位のラベルに基づいて特定領域の占有度を推定する。

図１３（ａ）は、学習画像中の人物の全身の領域内の画素に付与されたラベル（全身領域ラベル）２００１を示している。図１３（ｂ）は、学習画像中の人物の頭部の領域内の画素に付与されたラベル（頭部の部分領域ラベル）２００２を示し、全身領域ラベル２００１において頭部を含む枠２０１０に対応する領域内のラベルである。

図１３（ｃ）は、学習画像中の人物の下半身の領域内の画素に付与されたラベル（下半身の部分領域ラベル）２００３を示し、全身領域ラベル２００１において下半身を含む枠２０１１に対応する領域内のラベルである。

そして本変形例では、推定部２４０は、全身領域ラベルが付与された画素の数に対する、部分領域ラベルが付与された領域の画素の数の割合を、該領域の占有度として推定する。例えば、全身領域ラベル２００１が付与された画素の数が５万、下半身の部分領域ラベル２００３が付与された画素の数が２．５万である場合、下半身を囲む枠２０１１内の領域の占有度は０．５となる。また、全身領域ラベル２００１が付与された画素の数が５万、頭部の部分領域ラベル２００２が付与された画素の数が０．５万である場合、頭部を囲む枠２０１０内の領域の占有度は０．１となる。なお、人物の全身の領域の占有度は１．０である。

本変形例では、このようにして定義される占有度を本実施形態の占有度に代わりに用いてニューラルネットワークの学習処理（図８のフローチャートに従った処理）を行う。よって、図４のフローチャートにおいてステップＳ４０４では、このような定義の占有度を検出領域ごとに推定することができる。

オブジェクトを包含する包含領域に対する占有度を求める本実施形態では、オブジェクト以外の情報が包含領域に含まれることになる。一方、本変形例では、オブジェクトの形状に沿った形でラベルが入力されており、このようなラベルを用いて占有度を求める。そのため、オブジェクト以外の情報の影響は受けずに、信頼度の高い占有度を求めることができる。そのため、占有度の推定精度も高いと言える。

＜変形例２＞
本変形例では、ニューラルネットワークの学習段階において、オブジェクトのパーツ数に応じて特定領域の占有度を推定する。

図１３（ｄ）は、学習画像中の人物の各部位（各パーツ）に対して予め設定された関節点２００４を示している。ここでは、関節点として、頭、首、右肩、右肘、右手先、左肩、左肘、左手先、股、右膝、左膝、右足首、左足首の１３点の関節点が予め設定されている。なお、頭は正確には関節ではないが、便宜上、関節点とした。

人物以外のオブジェクトを含む学習画像の場合、該オブジェクトを構成する単位（例えば、オブジェクトが車の場合はタイヤ、フロントガラス、ヘッドライト、ドア等）をパーツとし、それぞれのパーツに対して上記の関節点に相当する点を予め設定しておく。

図１３（ｄ）の場合、人物の全身の領域２００５には該人物に対して予め設定された関節点の全てが含まれているため、該領域２００５の占有度は、（領域２００５に含まれている関節点の数）／（人物の全身の関節点の数）＝１．０となる。

図１３（ｅ）の場合、人物の頭部の領域２００７の占有度は、（領域２００７に含まれている関節点の数）／（人物の全身の関節点の数）＝１／１３≒０．０８となる。図１３（ｆ）の場合、人物の下半身の領域２００９の占有度は、（領域２００９に含まれている関節点の数）／（人物の全身の関節点の数）＝５／１３≒０．３８となる。

本変形例では、このようにして定義される占有度を本実施形態の占有度に代わりに用いてニューラルネットワークの学習処理（図８のフローチャートに従った処理）を行う。よって、図４のフローチャートにおいてステップＳ４０４では、このような定義の占有度を検出領域ごとに推定することができる。変形例２も変形例１と同様にオブジェクトの形状に沿った形でパーツの情報が入力されているため、占有度の信頼性は高いと言える。

＜変形例３＞
本変形例では、ニューラルネットワークの学習段階において、推定部２４０が推定した占有度と、推定部２３０が推定した検出領域に含まれるラベルに基づいて変形例１のように推定した占有度と、の誤差を占有度誤差として求める。

本変形例に係る学習装置１５０の機能構成例を図１６のブロック図に示す。なお、図７と同様、抽出部２２０、推定部２３０、推定部２４０は何れも学習装置１５０による学習対象として示したものであって、これらの機能部を学習装置１５０が有することを示したものではない。また、図１６でも図７と同様、機能部（抽出部２２０、推定部２３０、推定部２４０、記憶部７０１を除く）を処理の主体として説明する場合がある。しかし実際には、これらの機能部の機能を演算処理装置１３０に実行させるためのコンピュータプログラムを該演算処理装置１３０が実行することで、該機能部の機能が実現される。図１６において図７に示した機能部と同じ機能部には同じ参照番号を付しており、該機能部に係る説明は省略する。

算出部３１０８は、推定部２４０が推定した占有度と、推定部２３０が推定した検出領域に含まれるラベルに基づいて変形例１のように推定した占有度と、の誤差を占有度誤差として求める。

算出部３１０８の動作について図１７を例にとり説明する。図１７（ａ）は、学習画像中の人物の全身の領域内の画素に付与されたラベル（全身領域ラベル）３００１を示している。図１７（ｂ）は、学習画像から推定部２３０によって推定された人物の頭部の領域３００３内の画素に付与されたラベル（頭部の部分領域ラベル）３００２を示し、全身領域ラベル３００１において領域３００３に対応する領域内のラベルである。図１７（ｃ）は、学習画像から推定部２３０によって推定された人物の下半身の領域３００５内の画素に付与されたラベル（下半身の部分領域ラベル）３００４を示し、全身領域ラベル３００１において領域３００５に対応する領域内のラベルである。

そして本変形例では、算出部３１０８は、変形例１と同様に、全身領域ラベルが付与された画素の数に対する、部分領域ラベルが付与された領域の画素の数の割合を、該領域の占有度として推定する。本変形例では、「部分領域ラベルが付与された領域の画素の数」が、「推定部２３０によって推定された領域に含まれるラベルが付与された画素の数」である点が変形例１と異なる。

そして算出部３１０８は、推定部２３０が推定した検出領域ごとに、該検出領域について推定部２４０が求めた占有度と、該検出領域について算出部３１０８が上記の如く求めた占有度と、の誤差を占有度誤差として求める。

［第２の実施形態］
本実施形態を含む以下の各実施形態では第１の実施形態との差分について説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。第１の実施形態では、撮像装置１００側で選択した追尾処理用の注目領域に対して追尾処理を行ったり、撮像装置１００側で選択したＡＦ処理用の注目領域に対してＡＦ処理を行うケースについて説明した。これに対し、本実施形態では、ユーザ操作に応じて選択された追尾処理用の注目領域に対して追尾処理を行ったり、ユーザ操作に応じて選択されたＡＦ処理用の注目領域に対してＡＦ処理を行うケースについて説明する。

本実施形態に係る撮像装置１００の機能構成例について、図９のブロック図を用いて説明する。図９において、図３に示した機能部と同じ機能部には同じ参照番号を付しており、該機能部に係る説明は省略する。

選択部９６０は、取得部２１０が取得した撮像画像を出力装置１０４などの表示画面に表示させる。入力部９９０は、ユーザが追尾処理やＡＦ処理の対象として表示画面に対して指示した１点の座標位置を取得する。例えば、表示画面がタッチパネル画面であった場合には、入力部９９０は、ユーザが自身の指や指示具などを用いてタッチした該タッチパネル画面上の座標位置を取得する。また入力部９９０は、ユーザが入力装置１０３を操作して指示した表示画面上の１点の座標位置を取得するようにしても良い。

選択部９６０は、入力部９９０が取得した「ユーザが指示した表示画面上の座標位置」を取得する。そして選択部９６０は、表示画面に表示しているそれぞれの検出領域から、推定部２４０が検出領域ごとに推定した占有度に基づいて、追尾処理やＡＦ処理に適した検出領域の候補を選択する。そして選択部９６０は、候補のうち、入力部９９０から取得した座標位置に基づいて、追尾処理やＡＦ処理に適した検出領域を選択する。

このような撮像装置１００において追尾処理およびＡＦ処理を実施するために該撮像装置１００が行う処理について、図１０のフローチャートに従って説明する。ステップＳ１００１では、取得部２１０は、撮像部１０５により生成された撮像画像を取得する。

ステップＳ１０１３では、選択部９６０は、ステップＳ１００１で取得部２１０が取得した撮像画像を出力装置１０４などの表示画面に表示させる。表示画面における撮像画像の表示例を図１１（ａ）に示す。図１１（ａ）の例では、自動車１１１０および自動車１１１１を含む撮像画像１１０１が表示画面に表示されている。

ステップＳ１０１４では、入力部９９０は、表示画面に対してユーザが指示した１点の座標位置を取得する。例えば、図１１（ｂ）に示す如く、表示画面に表示された撮像画像１１０１に対してユーザが指示した１点（自動車１１１１のヘッドライト部分における１点）１１２０の座標位置を取得する。

ステップＳ１００２では、抽出部２２０は、ステップＳ１００１において取得部２１０が取得した撮像画像から特徴量を抽出する。ステップＳ１００３では、推定部２３０は、ステップＳ１００２で抽出部２２０が撮像画像から抽出した特徴量を用いて、該撮像画像中のオブジェクトの全体の領域や該オブジェクトの一部の領域を検出領域として推定する。推定部２３０により撮像画像１１０１から推定された検出領域の一例を図１１（ｃ）に示す。図１１（ｃ）では、自動車１１１０の全体に対応する検出領域１１３０、ヘッドライトに対応する検出領域１１４０、タイヤに対応する検出領域１１５０，１１６０が推定されている。また図１１（ｃ）では、自動車１１１１の全体に対応する検出領域１１３１、ヘッドライトに対応する検出領域１１４１、タイヤに対応する検出領域１１５１，１１６１が推定されている。

ステップＳ１００４では、推定部２４０は、ステップＳ１００３で抽出部２３０が撮像画像から推定したそれぞれの検出領域について占有度を推定する。図１１の例では、自動車全体の検出領域１１３０、１１３１の占有度は１．０、ヘッドライトに対応する検出領域１１４０、１１４１の占有度は０．０２、タイヤに対応する検出領域１１５０、１１５１、１１６０、１１６１の占有度は０．０５と算出される。

本実施形態では、第１の実施形態と同様、追尾処理用の占有度範囲として「０．６～１．０」、ＡＦ処理用の占有度範囲として「０．０１～０．６」が予め設定されているものとする。

ステップＳ１００６では、選択部９６０は、上記のステップＳ４０６と同様にして、追尾処理を行うか否かを判断する。このような判断の結果、追尾処理を行うと判断した場合には、処理はステップＳ１００７に進み、追尾処理を行わないと判断した場合には、処理はステップＳ１００９に進む。

ステップＳ１００７では、選択部９６０は、ステップＳ１００４で推定したそれぞれの検出領域の占有度と、ステップＳ１０１４で入力部９９０が取得した座標位置と、に基づいて、該それぞれの検出領域から追尾処理用の注目領域を選択する。

例えば、選択部９６０は、ステップＳ１００３で推定したそれぞれの検出領域のうち、追尾処理用の占有度範囲に属する占有度を求めた検出領域を候補検出領域として選択する。次に選択部９６０は、候補検出領域のうち、「入力部９９０が取得した座標位置を内包する」、「中心位置が入力部９９０が取得した座標位置に最も近い」、の２つの条件を満たす候補検出領域を、追尾処理用の注目領域として選択する。

図１１の例では、占有度が０．６～１．０の検出領域１１３０，１１４０が候補検出領域となる。そして、検出領域１１３０，１１４０のうち上記の２つの条件を満たす候補検出領域は検出領域１１３１であるため、図１１（ｄ）に示す如く、検出領域１１３１が追尾処理用の注目領域として選択される。

ステップＳ１００８では、追尾処理部２７０は、撮像部１０５を制御して、ステップＳ１００７で選択された追尾処理用の注目領域内の人物を追尾対象として追尾する追尾処理を行う。

ステップＳ１００９では、選択部９６０は、上記のステップＳ４０９と同様にして、ＡＦ処理を行うか否かを判断する。このような判断の結果、ＡＦ処理を行うと判断した場合には、処理はステップＳ１０１０に進み、ＡＦ処理を行わないと判断した場合には、処理はステップＳ１０１２に進む。

ステップＳ１０１０では、選択部９６０は、ステップＳ１００４で推定したそれぞれの検出領域の占有度と、ステップＳ１０１４で入力部９９０が取得した座標位置と、に基づいて、該それぞれの検出領域からＡＦ処理用の注目領域を選択する。

例えば、選択部９６０は、ステップＳ１００３で推定したそれぞれの検出領域のうち、ＡＦ処理用の占有度範囲に属する占有度を求めた検出領域を候補検出領域として選択する。次に選択部９６０は、候補検出領域のうち、「入力部９９０が取得した座標位置を内包する」、「中心位置が入力部９９０が取得した座標位置に最も近い」、の２つの条件を満たす候補検出領域を、ＡＦ処理用の注目領域として選択する。

図１１の例では、占有度が０．０１～０．６の検出領域１１４０、１１４１、１１５０、１１５１、１１６０、１１６１が候補検出領域となる。そして、検出領域１１４０、１１４１、１１５０、１１５１、１１６０、１１６１のうち上記の２つの条件を満たす候補検出領域は検出領域１１４１であるため、図１１（ｄ）に示す如く、検出領域１１４１がＡＦ処理用の注目領域として選択される。

ステップＳ１０１１では、ＡＦ処理部２８０は、撮像部１０５を制御して、ステップＳ１０１０で選択されたＡＦ処理用の注目領域内の人物の一部をＡＦの対象とするＡＦ処理を行う。

ステップＳ１０１２では、演算処理装置１０１は、上記のステップＳ４１２と同様にして、撮像装置１００の動作を継続させるか否かを判断する。このような判断の結果、撮像装置１００の動作を継続させる場合には、処理はステップＳ１００１に進み、撮像装置１００の動作を継続させない場合には、図１０のフローチャートに従った処理は終了する。

［第３の実施形態］
第１の実施形態では、撮像装置１００側で選択した追尾処理用の注目領域に対して追尾処理を行ったり、撮像装置１００側で選択したＡＦ処理用の注目領域に対してＡＦ処理を行うケースについて説明した。本実施形態では、撮像装置１００における撮像パラメータに応じて選択された追尾処理用の注目領域に対して追尾処理を行ったり、撮像装置１００における撮像パラメータに応じて選択されたＡＦ処理用の注目領域に対してＡＦ処理を行うケースについて説明する。

本実施形態に係る撮像装置１００の機能構成例について、図１４のブロック図を用いて説明する。図１４において、図３に示した機能部と同じ機能部には同じ参照番号を付しており、該機能部に係る説明は省略する。

取得部２１５０は、撮像装置１００の撮像パラメータを取得する。撮像装置１００の撮像パラメータは、例えば、明るさ（Ｂｖ値）、露光時間、レンズの絞り値（Ｆ値）、レンズの焦点距離、ゲイン（ＩＳＯ感度）、ホワイトバランス係数としてレンズの絞りなどを含む。また、撮像装置１００の撮像パラメータは、撮像対象に対する距離情報、ＧＰＳによる自身の位置情報、撮影日時などの時間情報、を含んでも良い。以下では、具体的な説明を行うために、一例として、撮像装置１００の撮像パラメータが「レンズの絞り値」であるケースについて説明するが、撮像装置１００の撮像パラメータが「レンズの絞り値」以外であっても、以下の説明は同様に適用可能である。

選択部２１６０は、推定部２４０が検出領域ごとに推定した占有度と、取得部２１５０が取得した撮像パラメータと、に基づいて、撮像画像における検出領域のうち、追尾処理に適した検出領域やＡＦ処理に適した検出領域を注目領域として選択する。

このような撮像装置１００において追尾処理およびＡＦ処理を実施するために該撮像装置１００が行う処理について、図１５のフローチャートに従って説明する。ステップＳ２２０１では、取得部２１０は、撮像部１０５により生成された撮像画像を取得する。

ステップＳ２２１３では、取得部２１５０は、撮像装置１００の撮像パラメータを取得する。本実施形態では、撮像装置１００の撮像パラメータとしてレンズの絞り値を取得する。

ステップＳ２２０２では、抽出部２２０は、ステップＳ２２０１において取得部２１０が取得した撮像画像から特徴量を抽出する。ステップＳ２２０３では、推定部２３０は、ステップＳ２２０２で抽出部２２０が撮像画像から抽出した特徴量を用いて、該撮像画像中のオブジェクトの全体領域や該オブジェクトの一部の領域を検出領域として推定する。ステップＳ２２０４では、推定部２４０は、ステップＳ２２０３で抽出部２３０が撮像画像から推定したそれぞれの検出領域について占有度を推定する。

ステップＳ２２０６では、選択部２１６０は、上記のステップＳ４０６と同様にして、追尾処理を行うか否かを判断する。このような判断の結果、追尾処理を行うと判断した場合には、処理はステップＳ２２０７に進み、追尾処理を行わないと判断した場合には、処理はステップＳ２２０９に進む。

ステップＳ２２０７では、選択部２１６０は、推定部２４０が検出領域ごとに推定した占有度と、取得部２１５０が取得した撮像パラメータと、に基づいて、撮像画像における検出領域のうち、追尾処理に適した検出領域を追尾処理用の注目領域として選択する。

ここで、レンズの絞り値を小さくすると、被写界深度は浅くなるため、ピントが合う範囲は狭くなる。一方、レンズの絞り値を大きくすると、被写界深度は深くなるため、ピントが合う範囲は広くなる。レンズの絞り値が小さいシーンにおいて、占有度の大きい検出領域を採用してしまうと、その検出領域内にボケた領域が多く含まれる可能性が高まるため、追尾処理のための特徴量を適切に取得できなくなることがある。つまり、レンズの絞り値が小さい場合には、占有度が相対的に小さい検出領域を追尾処理用の注目領域として優先的に選択するようにする。よって、例えば、レンズの絞り値が第１閾値以下の場合には、選択部２１６０は、占有度が０．６～１．０に属する検出領域のうち、占有度が０．６に最も近い検出領域を優先的に追尾処理用の注目領域として選択する。

逆に、レンズの絞り値が大きいシーンにおいては、占有度の大きい検出領域を採用しても、その検出領域にはピントが合っている領域が多く含まれるため、追尾処理のための特徴量を適切に取得できる。したがって、レンズの絞り値が大きい場合には、占有度が相対的に大きい検出領域を追尾処理用の注目領域として優先的に選択するようにする。よって、例えば、レンズの絞り値が第２閾値（≧第１閾値）以上の場合には、選択部２１６０は、占有度が０．６～１．０に属する検出領域のうち、占有度が１．０に最も近い検出領域を優先的に追尾処理用の注目領域として選択する。

ステップＳ２２０８では、追尾処理部２７０は、撮像部１０５を制御して、ステップＳ２２０７で選択された追尾処理用の注目領域内の人物を追尾対象として追尾する追尾処理を行う。

ステップＳ２２０９では、選択部２１６０は、上記のステップＳ４０９と同様にして、ＡＦ処理を行うか否かを判断する。このような判断の結果、ＡＦ処理を行うと判断した場合には、処理はステップＳ２２１０に進み、ＡＦ処理を行わないと判断した場合には、処理はステップＳ２２１２に進む。

ステップＳ２２１０では、選択部２１６０は、推定部２４０が検出領域ごとに推定した占有度と、取得部２１５０が取得した撮像パラメータと、に基づいて、撮像画像における検出領域のうち、ＡＦ処理に適した検出領域をＡＦ処理用の注目領域として選択する。

例えば、レンズの絞り値が第１閾値以下の場合には、選択部２１６０は、占有度が０．０１～０．６に属する検出領域のうち、占有度が０．０１に最も近い検出領域を優先的にＡＦ処理用の注目領域として選択する。また例えば、レンズの絞り値が第２閾値以上の場合には、選択部２１６０は、占有度が０．０１～０．６に属する検出領域のうち、占有度が０．６に最も近い検出領域を優先的にＡＦ処理用の注目領域として選択する。

ステップＳ２２１１では、ＡＦ処理部２８０は、撮像部１０５を制御して、ステップＳ２２１０で選択されたＡＦ処理用の注目領域内の人物の一部をＡＦの対象とするＡＦ処理を行う。

ステップＳ２２１２では、演算処理装置１０１は、上記のステップＳ４１２と同様にして、撮像装置１００の動作を継続させるか否かを判断する。このような判断の結果、撮像装置１００の動作を継続させる場合には、処理はステップＳ２２０１に進み、撮像装置１００の動作を継続させない場合には、図１５のフローチャートに従った処理は終了する。

なお、本実施形態では、撮像装置１００の撮像パラメータとしてレンズの絞り値を用いたケースについて説明したが、撮像装置１００の撮像パラメータとして露光時間を用いても良い。露光時間が長くなると被写体ブレや手ブレの量が大きくなるため、画像をミクロ的に見てしまうと、ブレの影響が強く出る。したがって、露光時間が長い場合には、占有度が大きい検出領域を優先的に追尾処理用の注目領域やＡＦ処理用の注目領域として選択した方がよい。このように、本実施形態によれば、撮像される画像の質に適した検出領域の選択が可能となるため、追尾処理やＡＦ処理がより好適に動作するようになる。

また、上記の実施形態や変形例にて説明した撮像装置の動作は、「外部の撮像装置により撮像された撮像画像から追尾処理用の注目領域やＡＦ処理用の注目領域を選択する画像処理装置」にも同様に適用可能である。このような画像処理装置は、例えば、該選択した注目領域を該撮像装置に通知することで、該撮像装置に該注目領域に対する追尾処理やＡＦ処理を実行させることができる。また、このような画像処理装置は、選択した注目領域に係る情報を外部の装置に保持するようにしても良い。

また、図３，７，９，１４，１６に示した各機能部（記憶部７０１を除く）はソフトウェア（コンピュータプログラム）で実装しても良いが、一部若しくは全部をハードウェアで実装しても構わない。

また、上記の各実施形態や各変形例で使用した数値、処理タイミング、処理順、処理の主体、データ（情報）の送信先／送信元／格納場所などは、具体的な説明を行うために一例として挙げたもので、このような一例に限定することを意図したものではない。

また、以上説明した各実施形態や各変形例の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態や各変形例の一部若しくは全部を選択的に使用しても構わない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

２１０：取得部 ２２０：抽出部 ２３０：推定部 ２４０：推定部 ２６０：選択部 ２７０：追尾処理部 ２８０：ＡＦ処理部

Claims (11)

1. 撮像画像からオブジェクトの一部若しくは全部を検出対象として検出する検出手段と、
   前記検出手段が前記撮像画像から検出したそれぞれの検出対象について、前記撮像画像中のオブジェクトの領域もしくは前記撮像画像中のオブジェクトの情報において該検出対象の領域が含む割合を占有度として求める演算手段と、
   実行する処理に応じた占有度の検出対象の領域を選択する選択手段と
   を備えることを特徴とする画像処理装置。
2. 前記選択手段は、前記処理に対応する範囲に属する占有度の検出対象の領域を、前記処理の対象となる領域として選択することを特徴とする請求項１に記載の画像処理装置。
3. 前記選択手段は、前記処理に対応する範囲に属する占有度の検出対象の領域から、前記撮像画像に対してユーザが指示した座標位置に基づいて、前記処理の対象となる領域を選択することを特徴とする請求項１に記載の画像処理装置。
4. 前記選択手段は、前記処理に対応する範囲に属する占有度の検出対象の領域から、前記撮像画像を撮像した装置の撮像パラメータに基づいて、前記処理の対象となる領域を選択することを特徴とする請求項１に記載の画像処理装置。
5. 前記演算手段は、前記検出手段が前記撮像画像から検出したそれぞれの検出対象について、前記撮像画像におけるオブジェクトの画素数に対する該検出対象の領域の画素数の割合を占有度として求めることを特徴とする請求項１ないし４の何れか１項に記載の画像処理装置。
6. 前記演算手段は、前記検出手段が前記撮像画像から検出したそれぞれの検出対象について、前記撮像画像においてオブジェクトの領域に対応するラベルが付与された画素の数に対する、該検出対象に対応するラベルが付与された画素の数の割合を占有度として求めることを特徴とする請求項１ないし４の何れか１項に記載の画像処理装置。
7. 前記演算手段は、前記検出手段が前記撮像画像から検出したそれぞれの検出対象について、前記撮像画像中のオブジェクトのパーツの数に対する、該検出対象の領域に含まれる該オブジェクトのパーツの数の割合を占有度として求めることを特徴とする請求項１ないし４の何れか１項に記載の画像処理装置。
8. 更に、
   撮像画像を撮像する撮像手段と、
   請求項１ないし７の何れか１項に記載の画像処理装置と、
   前記選択手段が選択した領域に対して前記処理を実行する処理手段と
   を備えることを特徴とする撮像装置。
9. 前記処理は、追尾処理、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、を含むことを特徴とする請求項８に記載の撮像装置。
10. 画像処理装置が行う画像処理方法であって、
    前記画像処理装置の検出手段が、撮像画像からオブジェクトの一部若しくは全部を検出対象として検出する検出工程と、
    前記画像処理装置の演算手段が、前記検出工程で前記撮像画像から検出したそれぞれの検出対象について、前記撮像画像中のオブジェクトの領域もしくは前記撮像画像中のオブジェクトの情報において該検出対象の領域が含む割合を占有度として求める演算工程と、
    前記画像処理装置の選択手段が、実行する処理に応じた占有度の検出対象の領域を選択する選択工程と
    を備えることを特徴とする画像処理方法。
11. コンピュータを、請求項１ないし７の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images