JP2015215741A - 被写体検出装置、被写体検出方法及びプログラム - Google Patents
被写体検出装置、被写体検出方法及びプログラム Download PDFInfo
- Publication number
- JP2015215741A JP2015215741A JP2014097871A JP2014097871A JP2015215741A JP 2015215741 A JP2015215741 A JP 2015215741A JP 2014097871 A JP2014097871 A JP 2014097871A JP 2014097871 A JP2014097871 A JP 2014097871A JP 2015215741 A JP2015215741 A JP 2015215741A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- area
- region
- main subject
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【課題】アプリケーションにとって有用な被写体の検出結果を得ることができるようにする。【解決手段】指定条件決定部104は、入力されたアプリケーション情報を基に、主被写体の検出結果として採用しない領域(不適当領域)の条件を指定する。そして、不適当領域特定部105は、入力された不適当領域条件に従って不適当領域を特定する。最終領域特定部106は、候補領域特定部103から出力された顕著主被写体候補領域と、不適当領域特定部105から出力された不適当領域とから、最終的な主被写体領域を特定する。【選択図】図1
Description
本発明は、特に、アプリケーションに有用な主被写体を検出するために用いて好適な被写体検出装置、被写体検出方法及びプログラムに関する。
一般に、写真等の画像において、主被写体とは、撮影者が画像内に取り込みたいと意図するオブジェクト(人物、物体等)である。しかしながら、撮影者の意図は、撮影者自身にしか知りえないため、第三者が主被写体を特定するためには、撮影者の意図を推定することが必要になり、撮影者の意図と一致する主被写体を正確に検出することは非常に困難である。
以上のことから、従来は撮影者の意図を推定せずに主被写体を検出する手法として、画像中の顕著領域に基づいて画像中から主被写体を検出する手法が検討されている。これらの手法は、多くの画像において主被写体は顕著であるという経験に基づいた主被写体の検出といえる。
以上のように、主被写体を検出する方法として、画像中の顕著領域に基づいて画像中から主被写体を検出する手法が検討されているが、これらの方法には、以下のような課題がある。
まず、顕著領域を基に主被写体領域を特定する場合には、顕著であっても主被写体でない領域をどのように扱うかという問題がある。前述したように、撮影者が意図する主被写体は撮影者にしかわからないので、主被写体でない領域も撮影者にしかわからない。そこで、顕著具合だけでなく、画像中の位置やサイズ、或いはその顕著領域に何があるのかといった情報を加味して主被写体領域を決定する手法も開示されている(例えば特許文献1参照)。
一般的に主被写体を検出する目的は、その検出結果を利用して特定のアプリケーションを実現することである場合が多い。例えば、主被写体を検出する機能をデジタルカメラ等で用いることを想定した場合には、次のようなアプリケーションが考えられる。すなわち、主被写体領域にオートフォーカス(AF)を調節することにより、撮影者の意図を汲んだ写真撮影を可能することが考えられる。或いは、主被写体領域に対して自動追尾を行うことにより、主被写体が移動してもシャッターチャンスを失わないようにする等のアプリケーションが想定できる。
しかしながら、従来技術では、このようなアプリケーションの有用性という観点で主被写体の検出結果を評価するといったことは考慮されていない。さらに、特許文献1に記載の手法の場合は、顕著であっても主被写体でない領域を誤って主被写体として誤検出してしまう可能性もある。
本発明は前述の問題点に鑑み、アプリケーションにとって有用な被写体の検出結果を得ることができるようにすることを目的としている。
本発明の被写体検出装置は、入力画像から被写体の候補領域を特定する特定手段と、前記被写体の情報を用いるアプリケーションに応じて、前記被写体の候補領域から除外すべき条件を決定する決定手段と、前記決定手段によって決定された条件に基づいて、前記入力画像において前記被写体の候補領域として除外すべき領域を設定する設定手段と、前記特定手段によって特定された候補領域と、前記設定手段によって設定された領域とに基づいて、前記被写体の領域を検出する検出手段と、を有することを特徴とする。
本発明によれば、アプリケーションにとって有用な被写体の検出結果を得ることができる。
(第1の実施形態)
以下、本発明の第1の実施形態について説明する。本実施形態では、主被写体の誤検出を低減し、特に、主被写体の検出結果を利用するアプリケーションにとって有用でない主被写体の検出結果を採用しないようにする。また、本実施形態では、主被写体の検出装置をデジタルカメラに採用し、撮影者が写真を撮ろうとする際に主被写体の検出が行われる例について説明する。
以下、本発明の第1の実施形態について説明する。本実施形態では、主被写体の誤検出を低減し、特に、主被写体の検出結果を利用するアプリケーションにとって有用でない主被写体の検出結果を採用しないようにする。また、本実施形態では、主被写体の検出装置をデジタルカメラに採用し、撮影者が写真を撮ろうとする際に主被写体の検出が行われる例について説明する。
図1は、本実施形態に係る主被写体検出装置100の機能構成例を示すブロック図である。
図1において、主被写体検出装置100には、主被写体を検出する対象となる入力画像及び後述するモード情報が入力される。また、主被写体検出装置100から、主被写体の検出結果である最終主被写体領域の情報が出力される。さらに、アプリケーション設定部101から、主被写体検出装置100の出力結果を用いて実現したいアプリケーションに関する情報が入力される。
図1において、主被写体検出装置100には、主被写体を検出する対象となる入力画像及び後述するモード情報が入力される。また、主被写体検出装置100から、主被写体の検出結果である最終主被写体領域の情報が出力される。さらに、アプリケーション設定部101から、主被写体検出装置100の出力結果を用いて実現したいアプリケーションに関する情報が入力される。
図8は、本実施形態に係る主被写体検出装置100内による処理結果を模式的に示した図である。以下、図8を参照しながら、図1に示す各ブロックの処理について説明する。
アプリケーション設定部101は、主被写体の検出結果を用いて実現したいアプリケーションを設定し、設定したアプリケーションに関する情報を指定条件決定部104に出力する。主被写体の検出結果を用いて実現したいアプリケーションの例としては、オートフォーカス(AF)、自動露出(AE)、自動追尾等が想定される。AF及びAEの場合には、主被写体の検出結果で特定された主被写体の位置に対してAFやAEを調節することにより、撮影者の意図を汲んだ写真撮影を可能にする。また、主被写体領域に対して自動追尾を行うことにより、主被写体が移動してもシャッターチャンスを失わないようにすることができる。
ここで、主被写体の検出結果を用いて実現するアプリケーションに応じて、検出したい主被写体の特徴が異なることもある。つまり、撮影者の意図を正確に反映した主被写体の検出結果が得られた場合であっても、アプリケーションによってはその検出結果が不向きである場合もある。例えば、AFの場合には、極めてコントラストの小さい領域が主被写体と検出されたとしても、その領域にAFを合わせることは非常に困難であり、AFというアプリケーションにとっては、その検出結果は不適切であるといえる。
以上のことから、撮影者の意図しない主被写体を検出してしまうという誤検出を低減する一方で、主被写体の検出結果を利用するアプリケーションにとって有用でない主被写体の検出結果を得ないようにすることも重要である。つまり、主被写体の検出結果を利用するアプリケーションにとって有用な主被写体の検出結果を得ることが重要であるといえる。
また、主被写体の検出結果を利用するアプリケーションにとっての有用性を考慮する必要があるというのは、主被写体というものが撮影者の意図なしでは、本来的には定義できないものであることにも起因している。このことをわかりやすく説明するために、一般的な検出対象である顔検出と比較する。
画像中の顔は、目、口、鼻等の器官の特徴、及びそれらの配置関係から定義することが可能である。顔検出では、このような器官の特徴や配置関係を含む情報を用いて、画像中から顔の位置やサイズを特定している。したがって、顔検出を用いるアプリケーションにとっても、事前に顔検出結果の特徴を想定することが可能である。つまり、アプリケーションにおいて、顔検出において得られる顔検出結果の領域は所定の特徴をもつ器官が所定の配置関係で存在する領域であると想定できる。よって、この想定を基にして、アプリケーションにとって顔検出結果の有用性を事前に判断することができる。
例えば、顔検出結果にAFを合わせるとした場合には、顔検出結果として想定される特徴を鑑みれば、AFするのに十分なコントラストがあるか否かは、顔検出する前に判断できる。したがって例えば、顔検出結果として想定される特徴が、AFするのに十分なコントラストであると判断されれば、画像によらず、常に顔検出結果はAFにとって有用であるといえる。
これに対して、主被写体を検出する場合には、前述のように画像から主被写体を正確に定義することはできない。したがって、検出結果の領域がどのような特徴を持っているのかを事前に想定しておくことができない。例えば、AFのアプリケーションの場合、主被写体の検出結果がAFにとって有用であるか否かを事前に判断することはできない。つまり、検出対象の画像に依存して、AFにとって有用である場合もあれば、有用でない場合もあるということになる。したがって、主被写体検出の場合には、主被写体の検出結果を用いて実現しようとしているアプリケーションにとって、検出結果が有用か否かを考慮するということがアプリケーションを成立させるうえで極めて重要であるといえる。そこで、本実施形態では、以下のような手法により、有用なアプリケーションの情報を得る。
アプリケーション設定部101におけるアプリケーションの設定方法としては、デジタルカメラに設定されている撮影モード等のモード情報を入力して設定する等が考えられる。例えば、オートフォーカスモードではアプリケーション設定部101は、AFをアプリケーション情報として出力する。また、自動追尾モードの場合には、自動追尾をアプリケーション情報として出力する等が考えられる。なお、撮影者自身により不図示の操作部が操作され、手動によりアプリケーション情報を決定できるようにしてもよい。
顕著領域検出部102は、入力される入力画像に対して、その画像中の顕著領域を検出する処理を行う。ここで、顕著領域検出部102における詳細な構成について図2を参照しながら説明する。
図2は、顕著領域検出部102の詳細な構成例を示すブロック図である。
図2において、部分画像切り出し部202は、入力画像に対してスキャンウインドウを走査させ、あるスキャン位置において切り出した部分画像をデータ群間距離算出部203に出力する。
図2において、部分画像切り出し部202は、入力画像に対してスキャンウインドウを走査させ、あるスキャン位置において切り出した部分画像をデータ群間距離算出部203に出力する。
図3は、入力画像及びスキャンウインドウの例を示す図である。図3に示すように、入力画像301における矢印方向に、スキャンウインドウ302をスキャンさせ、それぞれのスキャン位置で入力画像を切り出してデータ群間距離算出部203に出力する。本実施形態では、それぞれのスキャン位置において、スキャンウインドウ302の外周側の領域(ドーナツ形状の領域)にある画像を第一のデータ群として出力する。また、スキャンウインドウ302の内部領域(円形状の領域)にある画像を第二のデータ群として出力する。したがって、スキャンウインドウ302のスキャン位置を移動させるたびに、データ群間距離算出部203に対して、2つのデータ群が出力されることになる。
データ群間距離算出部203は、入力される2つのデータ群間の距離値を算出する。スキャンウインドウを移動させるたびに部分画像切り出し部202からデータが出力されるため、データ群間距離算出部203は、そのたびに距離値を算出して顕著度マップ作成部204に出力する。データ群間の距離の算出手法については特に限定されず、公知の手法を用いればよい。例えば、入力される2つのデータ群に対して、それぞれヒストグラムを作成し、両ヒストグラムに対してビンごとに差分絶対値和を算出するような方法でもよい。
顕著度マップ作成部204は、データ群間距離算出部203から入力される距離値をマップ化する。つまり、スキャン位置ごとに距離値が算出されるので、入力画像中のスキャン位置に相当する位置に距離値をマップ化する。このようにして、算出された距離値を顕著度とみなし、画像化したデータ(顕著度マップ)を作成する。図8(a)には、顕著度マップ作成部204によって作成される顕著度マップを模式的に示している。顕著度マップ801では、顕著度の大小をマップ中の等高線で表している。
顕著領域抽出部205は、入力された顕著度マップに対して、所定の閾値による2値化処理を行い、閾値を超えた距離値(顕著度)をもつ領域の重心座標、面積、面積当たりの顕著度等を顕著領域情報として出力する。図8(b)には、顕著領域抽出部205により抽出された顕著領域情報802の一例を示している。領域811〜814は、顕著度マップ801を閾値処理した結果として閾値を超えて残存した顕著領域を示している。これらの顕著領域が、顕著領域抽出部205により抽出される。
図1の説明に戻り、候補領域特定部103は、顕著領域検出部102から出力される顕著領域情報を用いて、顕著度に基づいた主被写体候補領域を特定する。例えば、候補領域特定部103では、顕著領域検出部102から出力される顕著領域情報を構成する要素(領域の重心座標、面積、面積当たりの顕著度等)に対して、重み付き加算処理を行ってスコアを算出し、スコアの大きいものを主被写体の候補領域とする。このような処理により、顕著度に加えて画像中の位置や大きさも考慮して主被写体の候補領域を特定することが可能となる。そして、このようにして特定した主被写体の候補領域を顕著主被写体候補領域として最終領域特定部106に出力する。図8(c)の画像803には、候補領域特定部103により特定された領域群を示している。図8(b)に示す領域811〜814のうち、領域814以外の領域が顕著主被写体候補領域821〜823とされている。
指定条件決定部104には、アプリケーション設定部101から、アプリケーション情報が入力される。そして、指定条件決定部104は、入力されたアプリケーション情報を基に、主被写体の検出結果として採用しない領域(不適当領域)の条件を指定する。
ここで、どのようなアプリケーション情報が入力されると、どの領域を不適当領域とするかについては予め設定されている。例えば、主被写体の検出結果を用いるアプリケーションとしてAFが設定されている場合には、アプリケーション情報としてAFが指定条件決定部104に入力される。AFを実現する手法としてコントラスト検出式を採用している場合には、コントラストが弱い領域に対しては、AFが不安定になる場合がある。したがって、「低コントラスト」という条件を不適当領域条件として指定する。
また、例えば、主被写体の検出結果を用いるアプリケーションとして自動追尾が設定されている場合には、アプリケーション情報として自動追尾が、指定条件決定部104に入力される。この場合、撮影しようとしている画像が風景画像であった場合には、自動追尾する対象となる動きのある主被写体がない場合が多い。したがって、「風景画像」という条件を不適当領域条件として指定する。また、風景画像以外でも画像全体に壁を撮影するような場合など、画像全体に同一のテクスチャが存在するような場合も自動追尾の対象となる動きのある主被写体がない場合が多い。したがって、「画像全体同一テクスチャ」という条件を不適当領域条件として指定する。以上のように指定条件決定部104には、アプリケーション情報に対応する不適当領域条件が予め設定されており、入力されるアプリケーション情報に対応した不適当領域条件を出力する。
不適当領域特定部105には、指定条件決定部104から出力された不適当領域条件が入力される。そして、不適当領域特定部105は、入力された不適当領域条件に従って不適当領域を特定する。図8(d)の画像804には、不適当領域810が設定された例を示しており、不適当領域特定部105により、不適当領域810が特定された例を示している。
例えば、不適当領域条件として「低コントラスト」という条件が入力された場合には、入力画像中から低コントラスト領域を検出する。低コントラスト領域の検出手法は特に限定されないが、例えば、ある大きさのスキャンウインドウを画像中で走査し、画像中の各スキャン位置において、そのスキャンウインドウ中のエッジ量(ウインドウ内のエッジ積分値)を算出する。そして、このエッジ積分値が所定値よりも小さい領域を低コントラスト領域としてもよい。このように特定された低コントラスト領域が不適当領域として出力される。
また、例えば、不適当領域条件として「風景画像」という条件が入力された場合には、入力画像が風景画像であるか否かを判定する。風景画像の判定方法についても特に限定されないが、一例として、代表的な風景画像である地平線(水平線)画像の判定手法を用いる。
図4は、入力画像を所定のサイズでタイル状に分割した例を示す図である。図4において、斜線によるハッチング領域401は地面領域を表し、ハッチングなし領域402は空領域を表しているものとする。地平線(水平線)画像の場合、水平に近い線で地上(海)領域と空領域とに分断されるので、水平方向に並んだタイル間では色や輝度が似ており、垂直方向に並んだタイル間では色や輝度が異なった組み合わせが存在することが予想される。このことを用いて地平線(水平線)画像を判定する。
具体的には、タイル内の輝度平均値やRGB平均値を算出し、所定のタイル同士の組み合わせに対して、平均値を比較する。例えば、図4に示すように、タイルAとタイルB、タイルAとタイルC、タイルBとタイルD、及びタイルCとタイルDという組み合わせでそれぞれ比較する。地平線(水平線)画像である場合には、タイルAとタイルBとの比較、或いはタイルCとタイルDとの比較では平均値の差異は小さく、タイルAとタイルCとの比較、或いはタイルBとタイルDとの比較では平均値の差異は大きくなる。このようなタイル対の比較を多数のタイル対に対して行い、地平線(水平線)画像を判定する。
同様に、例えば、不適当領域条件として「画像全体同一テクスチャ」という条件が入力された場合には、入力画像全体が同一テクスチャであるか否かを判定する。同一テクスチャの判定方法については特に限定されないが、地平線(水平線)画像の判定と同様に、タイルに分割して所定のタイル対間で、タイル内の輝度平均値やRGB平均値を比較する方法が考えられる。また、全体同一テクスチャの場合には、どのタイル対で比較しても差異は小さくなると予想される。このようなタイル対の比較を多数のタイル対に対して行って、画像全体が同一テクスチャの画像であるか否かを判定する。
地平線(水平線)や、同一テクスチャの判定のように、画像全体を用いて不適当領域を判定するような場合は、画像全体を不適当領域とするか否かに関する情報が不適当領域として出力される。つまり、入力画像が地平線(水平線)画像、或いは同一テクスチャの画像と判定された場合には、この画像全体が不適当領域であるとする。また、入力画像が地平線(水平線)画像でもなく、同一テクスチャの画像でもないと判定された場合には、画像中に不適当領域はなしとする。
最終領域特定部106は、候補領域特定部103から出力された顕著主被写体候補領域と、不適当領域特定部105から出力された不適当領域とから、最終的な主被写体領域を特定する。つまり、顕著主被写体候補領域であって、不適当領域とされていない領域を最終主被写体領域として出力する。図8(e)には、画像805内で特定された最終主被写体領域831を示している。最終領域特定部106は、入力される顕著主被写体候補領域821〜823と、不適当領域810とから、最終主被写体領域831を特定する。図8に示す例では、顕著主被写体候補領域822、823は、不適当領域810に包含されているため、最終的な主被写体領域から除外されている。
以上のように構成される主被写体検出装置100により、主被写体検出結果を利用するアプリケーションにとって有用な情報を出力することができる。
図5は、本実施形態における主被写体領域を検出する処理手順の一例を示すフローチャートである。
まず、S501において、アプリケーション設定部101は、外部からモード情報を入力し、主被写体検出結果を用いて実現したいアプリケーションを設定する。そして、設定されたアプリケーションをアプリケーション情報として、指定条件決定部104に出力する。
まず、S501において、アプリケーション設定部101は、外部からモード情報を入力し、主被写体検出結果を用いて実現したいアプリケーションを設定する。そして、設定されたアプリケーションをアプリケーション情報として、指定条件決定部104に出力する。
続いて、S502において、指定条件決定部104は、入力されたアプリケーション情報に従って、主被写体検出結果として採用しない領域(不適当領域)の条件を選択する。そして、選択結果を不適当領域条件として不適当領域特定部105に出力する。続いて、S503において、入力画像が主被写体検出装置100に入力されるまで待機する。
入力画像が主被写体検出装置100に入力されると、S504において、顕著領域検出部102は、入力画像に対して顕著領域情報を生成する。そして、候補領域特定部103は、顕著領域情報に基づいて主被写体の候補領域を特定し、顕著主被写体候補領域として最終領域特定部106に出力する。さらにS505においては、不適当領域特定部105は、入力される不適当領域条件に従って、不適当領域を特定する。なお、S504及びS505の処理は互いに独立な処理であるため、どちらの処理を先に行ってもよく、並行して行ってもよい。
続いてS506において、最終領域特定部106は、入力される顕著主被写体候補領域と不適当領域とから、最終的な主被写体領域を特定する。
以上のように本実施形態によれば、不適当領域を除去しつつ、顕著度に基づいた主被写体検出を実現することができる。つまり、主被写体の検出結果を用いて実現しようとしているアプリケーションにとって有用でない領域を除去することが可能となる。したがって、アプリケーションを実現するのに役立つ主被写体検出結果を出力しやすくすることができる。
(第2の実施形態)
本実施形態では、主被写体検出結果を利用して実現したいアプリケーションが複数ある場合に、アプリケーションを切り替えながら、或いは同時に複数のアプリケーションに対して、主被写体領域を検出する場合について述べる。まず、アプリケーションが複数ある場合に、アプリケーションを切り替えながら、主被写体領域を検出する場合について説明する。なお、本実施形態に係る主被写体検出装置の構成については図1と同様であるため、説明は省略する。
本実施形態では、主被写体検出結果を利用して実現したいアプリケーションが複数ある場合に、アプリケーションを切り替えながら、或いは同時に複数のアプリケーションに対して、主被写体領域を検出する場合について述べる。まず、アプリケーションが複数ある場合に、アプリケーションを切り替えながら、主被写体領域を検出する場合について説明する。なお、本実施形態に係る主被写体検出装置の構成については図1と同様であるため、説明は省略する。
図6は、本実施形態における主被写体を検出する処理手順の一例を示すフローチャートである。図6において、図5と重複する処理については図5と同じステップ番号が付されており、ここでの説明は省略する。
S506で最終的な主被写体領域が検出されると、S601において、アプリケーション設定部101は、主被写体検出結果を利用するアプリケーションが変更されたか否かを判定する。この判定の結果、アプリケーションが変更された場合には、S501に戻り、アプリケーション設定部101は、変更されたアプリケーションを設定する。そして、設定されたアプリケーションをアプリケーション情報として、指定条件決定部104に出力する。
このようにすることにより、アプリケーションが複数ある場合に、アプリケーションを切り替えながら主被写体を検出することができる。例えば、当初、主被写体の検出結果を用いるアプリケーションとしてAFが設定されている場合には、アプリケーション情報としてAFが、アプリケーション設定部101から出力される。その後、アプリケーションが自動追尾に変更になった場合には、自動追尾がアプリケーション情報として出力される。さらに、それに応じて指定条件決定部104が出力する不適当領域条件も、当初はAFに対応した「低コントラスト」から、自動追尾に対応した「風景」(或いは「画像全体同一テクスチャ」)に変更される。
以上のように、複数のアプリケーションのそれぞれで不適当領域指定条件が異なるような場合でも、不適当領域指定条件を切り替えながら主被写体を検出できるため、それぞれのアプリケーションに対して有用な主被写体の検出結果を得ることができる。
続いて、主被写体の検出結果を用いて、同時に複数のアプリケーションを実現するような場合に関して説明する。例えば、主被写体の検出結果である領域に対して、AFを調節しながら自動追尾をするような場合を考える。この場合の処理手順は図5に示したフローチャートの手順と同様になる。このような場合には、アプリケーション設定部101は、例えばAF及び自動追尾というように同時に実現したい複数のアプリケーションを設定する。アプリケーション情報としては、複数のアプリケーション情報が出力される。
複数のアプリケーション情報に応じて指定条件決定部104が出力する不適当領域条件も、それぞれのアプリケーション情報に対応したものになる。例えば、AFに対応した「低コントラスト」と、自動追尾に対応した「風景」(或いは「画像全体同一テクスチャ」)との2つの不適当領域条件が出力される。そして、不適当領域特定部105は、複数の不適当領域条件それぞれに対して不適当領域を特定し、不適当領域条件に対応した不適当領域がそれぞれ出力される。このとき、複数の不適当領域条件に対応した複数の不適当領域がマージされたような不適当領域が出力されるようにしてもよい。
最終領域特定部106は、入力される顕著主被写体候補領域と、複数の不適当領域とから、最終的な主被写体領域を特定する。この場合には、主被写体の検出結果を用いて同時に複数のアプリケーションを実現させるため、顕著主被写体候補領域であって、複数の不適当領域のいずれにも属さない領域を最終的な主被写体領域として出力する。
(第3の実施形態)
本実施形態では、第1及び第2の実施形態とは異なる手法により最終的な主被写体領域を決定する例について説明する。
本実施形態では、第1及び第2の実施形態とは異なる手法により最終的な主被写体領域を決定する例について説明する。
第1及び第2の実施形態では、顕著主被写体候補領域であって、不適当領域に属さない領域を最終的な主被写体領域としていた。つまり、候補領域特定部103で特定された顕著主被写体候補領域の信頼度を暗黙に100%とし、同様に不適当領域特定部105で特定された不適当領域の信頼度も暗黙に100%として、最終的な主被写体領域を判定していた。これに対し本実施形態では、顕著主被写体候補領域の信頼度、並びに不適当領域の信頼度を算出し、これらの信頼度を基に、最終的な主被写体領域を判定する手法について説明する。
図7は、本実施形態に係る主被写体検出装置700の機能構成例を示すブロック図である。なお、図7において、図1と同じ符号が付されている構成については図1と同様であるため、説明は省略する。図7において、主被写体検出装置700へ入力される情報は図1の主被写体検出装置100の場合と同じであるが、出力される情報は、最終的な主被写体領域及びその信頼度(以下、最終スコアと呼ぶ)である。
候補領域特定部703は、顕著領域検出部102から出力される顕著領域情報を用いて顕著度に基づいた主被写体候補領域を特定するとともに、その特定結果の信頼度(以下、候補スコアと呼ぶ)を算出する。
本実施形態では、顕著度に基づいた主被写体候補領域(顕著主被写体候補領域)を特定するために機械学習を用いる。すなわち、正解主被写体領域が示された多数の学習用画像を用意し、学習画像に対して顕著領域検出部102の処理を行い、顕著領域情報(閾値を超えた顕著度をもつ領域の重心座標、面積、面積当たりの顕著度等)を算出する。この顕著領域情報の要素を列挙したものを特徴ベクトルとし、この顕著領域が正解主被写体領域と概ね一致しているものを正事例、顕著領域が正解主被写体領域と概ね一致していないものを負事例として学習させる。学習手法は特に問わないが、Support Vector Machine(SVM)やロジスティック回帰等の既知の技術を用いればよい。そして、機械学習の結果としては、顕著主被写体候補領域を特定するための識別器が算出される。なお、主被写体検出が開始される前に機械学習を行い、識別器を用意しておくものとする。
上述のように、機械学習により顕著主被写体候補領域を特定する場合には、正解主被写体領域が示された多数の学習画像が必要となる。ただし、前述したように、本来、正解主被写体領域というのは、画像の撮影者にしかわからない領域である。全ての学習画像に対して、その撮影者に正解主被写体領域を確認してもらうのは困難な場合が多い。そこで、撮影者以外の多数の人に、主被写体領域を推定してもらい、その多数決結果を正解主被写体領域とするような手法をとればよい。また、この正解主被写体領域は、主被写体検出を用いて実現したいアプリケーションとは独立に設定された領域になる。
次に、候補領域特定部703により、機械学習結果を用いて顕著主被写体候補領域を特定する方法、並びに候補スコアを算出する方法に関して説明する。顕著主被写体候補領域を特定したい画像の顕著領域情報が入力されると、顕著領域情報を特徴量として、予め用意されている識別器に投入する。そして、投入して得られる識別結果から顕著主被写体候補領域を特定する。また、識別結果を得るための中間値(閾値処理をして正負のクラス分けをする値)を候補スコアとする。具体的な中間値としては、例えば機械学習にSVMを用いる場合には、学習で得られる分離超平面から特徴ベクトルまでの距離を候補スコアとすればよい。また、機械学習にロジスティック回帰を用いる場合には、ロジスティック関数からの出力値を候補スコアとすればよい。
候補領域特定部703では、このようにして特定した顕著主被写体候補領域とその候補スコアとを最終領域特定部706に出力する。例えば、候補領域特定部703により特定された領域が、図8(c)に示すような領域であった場合には、特定された顕著主被写体候補領域821〜823のそれぞれに対して、候補スコアが対となって出力される。
不適当領域特定部705は、指定条件決定部104から出力された不適当領域条件に従って、不適当領域を特定するとともに、その特定結果の信頼度(以下、不適当スコアと呼ぶ)を算出する。例えば、不適当領域条件として「低コントラスト」という条件が入力された場合には、エッジ積分値が所定値よりも小さい領域を低コントラスト領域とするとともに、エッジ積分値の逆数を不適当スコアとして出力することが考えられる。不適当スコアとしてエッジ積分値の逆数するとのは、エッジ積分値が小さい領域の方が低コントラスト領域(不適当スコアが高い領域)であるためである。
また、候補領域特定部703の場合と同様に、機械学習を用いて、不適当領域を特定したり、不適当スコアを算出したりしてもよい。例えば不適当領域条件として「風景画像」という条件が入力された場合には、所定のタイル同士の組み合わせを特徴量として、学習させ識別器を準備しておくようにしてもよい。機械学習を用いる場合には、候補領域特定部703の場合と同様に、識別結果から不適当領域を特定する。また、識別結果を得るための中間値(閾値処理をして正負のクラス分けをする値)を不適当スコアとする。不適当領域特定部705では、このようにして特定した不適当領域とその不適当スコアとを出力する。例えば、不適当領域特定部705により特定された領域が、図8(d)に示すような例である場合は、特定された不適当領域810に対して、不適当スコアが対となって出力される。
最終領域特定部706は、候補領域特定部703から入力される顕著主被写体候補領域及び候補スコア、並びに不適当領域特定部705から入力される不適当領域及び不適当スコアから、最終的な主被写体領域を特定する。第1の実施形態では、顕著主被写体候補領域であって、不適当領域とされていない領域を最終主被写体領域とした。つまり、全ての顕著主被写体候補領域は同一に扱われ、同様に全ての不適当領域も同一に扱われていた。
これに対して本実施形態では、候補スコア及び不適当スコアも考慮するため、同じ顕著主被写体候補領域でも、より主被写体候補として信頼できる領域と、そうでない領域とにレベル分けすることができる。したがって、顕著主被写体候補領域であって、不適当領域とされていない領域であっても、候補スコアが小さく、不適当スコアがある程度大きい場合には、最終主被写体領域とはしない等と判断することができる。同様に、不適当領域とされている領域であっても、候補スコアが大きい顕著主被写体候補領域であれば、最終主被写体領域とする、等の判断もできる。
さらに、最終領域特定部706は、最終主被写体領域に対する信頼度(最終スコア)を算出する。最終スコアは、例えば、入力される候補スコアから不適当スコアを引いた値とする。このように最終スコアを算出することにより、候補スコアが高く、かつ不適当スコアが小さい領域が、最終スコアが高くなり、信頼度として合理的である。
以上のように本実施形態の主被写体検出装置700では、候補スコア及び不適当スコアを用いることにより、最終主被写体領域をより柔軟に判定することができる。また、最終主被写体領域とともに最終スコアを出力することにより、主被写体検出結果を利用するアプリケーションもより柔軟に実現することができる。つまり、アプリケーションでは、最終スコアを参考にしながら最終主被写体領域の結果を用いることができる。したがって、誤検出をできるだけ回避したいようなアプリケーションでは、最終スコアが所定値よりも高い結果のみを用いるといった運用が可能となる。
なお、本実施形態で示した信頼度の算出方法は一例であり、顕著主被写体らしさ、或いは不適当領域らしさを表現するような値であれば、算出方法については特に限定されない。また、主被写体検出の用途として、デジタルカメラで用いられる場合について説明したが、それに限定されるものではない。また、顕著度算出手法は、2領域で得られるデータ群に対して、それぞれヒストグラムを作成し、両ヒストグラムに対してビンごとに差分絶対値和を算出するような方法を例示したが、この方法に限定されるものではない。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
103 候補領域特定部
104 指定条件決定部
105 不適当領域特定部
106 最終領域特定部
104 指定条件決定部
105 不適当領域特定部
106 最終領域特定部
Claims (10)
- 入力画像から被写体の候補領域を特定する特定手段と、
前記被写体の情報を用いるアプリケーションに応じて、前記被写体の候補領域から除外すべき条件を決定する決定手段と、
前記決定手段によって決定された条件に基づいて、前記入力画像において前記被写体の候補領域として除外すべき領域を設定する設定手段と、
前記特定手段によって特定された候補領域と、前記設定手段によって設定された領域とに基づいて、前記被写体の領域を検出する検出手段と、
を有することを特徴とする被写体検出装置。 - 前記検出手段は、前記特定手段によって特定された候補領域から、前記設定手段によって設定された領域を除外することによって、前記被写体の領域を検出することを特徴とする請求項1に記載の被写体検出装置。
- 前記特定手段は、前記入力画像の中の各位置における顕著度を算出することによって前記被写体の候補領域を特定することを特徴とする請求項1または2に記載の被写体検出装置。
- 前記特定手段は、前記入力画像をスキャンすることによって得られた2つの領域のデータ群の距離に基づいて前記顕著度を算出することを特徴とする請求項3に記載の被写体検出装置。
- 前記特定手段は、前記算出した顕著度を画像化したマップを生成し、前記生成したマップから前記被写体の候補領域を特定することを特徴とする請求項3または4に記載の被写体検出装置。
- 前記決定手段は、前記アプリケーションが複数ある場合は、それぞれのアプリケーションに応じて、前記被写体の候補領域から除外すべき条件をそれぞれ決定し、
前記検出手段は、アプリケーションごとに前記被写体の領域を検出することを特徴とする請求項1〜5の何れか1項に記載の被写体検出装置。 - 前記決定手段は、前記アプリケーションが複数ある場合は、それぞれのアプリケーションに応じて、前記被写体の候補領域から除外すべき条件をそれぞれ決定し、
前記検出手段は、前記特定手段によって特定された候補領域から、前記設定手段によってアプリケーションごとに設定された領域をすべて除外することによって、前記被写体の領域を検出することを特徴とする請求項1〜5の何れか1項に記載の被写体検出装置。 - 前記特定手段は、前記被写体の候補領域を特定するとともに、前記候補領域の信頼度を示す第1のスコアを算出し、
前記設定手段は、前記被写体の候補領域として除外すべき領域を設定するとともに、該領域の信頼度を示す第2のスコアを算出し、
前記検出手段は、さらに前記第1のスコアと前記第2のスコアとに基づいて前記被写体の領域を検出することを特徴とする請求項1〜5の何れか1項に記載の被写体検出装置。 - 入力画像から被写体の候補領域を特定する特定工程と、
前記被写体の情報を用いるアプリケーションに応じて、前記被写体の候補領域から除外すべき条件を決定する決定工程と、
前記決定工程において決定された条件に基づいて、前記入力画像において前記被写体の候補領域として除外すべき領域を設定する設定工程と、
前記特定工程において特定された候補領域と、前記設定工程において設定された領域とに基づいて、前記被写体の領域を検出する検出工程と、
を有することを特徴とする被写体検出方法。 - 入力画像から被写体の候補領域を特定する特定工程と、
前記被写体の情報を用いるアプリケーションに応じて、前記被写体の候補領域から除外すべき条件を決定する決定工程と、
前記決定工程において決定された条件に基づいて、前記入力画像において前記被写体の候補領域として除外すべき領域を設定する設定工程と、
前記特定工程において特定された候補領域と、前記設定工程において設定された領域とに基づいて、前記被写体の領域を検出する検出工程と、
をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014097871A JP2015215741A (ja) | 2014-05-09 | 2014-05-09 | 被写体検出装置、被写体検出方法及びプログラム |
US14/689,312 US9576372B2 (en) | 2014-05-09 | 2015-04-17 | Object detecting apparatus, object detecting method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014097871A JP2015215741A (ja) | 2014-05-09 | 2014-05-09 | 被写体検出装置、被写体検出方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015215741A true JP2015215741A (ja) | 2015-12-03 |
Family
ID=54368293
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014097871A Pending JP2015215741A (ja) | 2014-05-09 | 2014-05-09 | 被写体検出装置、被写体検出方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9576372B2 (ja) |
JP (1) | JP2015215741A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018078806A1 (ja) * | 2016-10-28 | 2018-05-03 | オリンパス株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2020126434A (ja) * | 2019-02-04 | 2020-08-20 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム、記憶媒体 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6338429B2 (ja) * | 2014-04-15 | 2018-06-06 | キヤノン株式会社 | 被写体検出装置、被写体検出方法及びプログラム |
EP3140781B1 (en) * | 2014-05-08 | 2019-06-12 | Aselsan Elektronik Sanayi ve Ticaret Anonim Sirketi | A real- time, semi-automatic method for target tracking window initialization in thermal imagery |
JP2015215741A (ja) * | 2014-05-09 | 2015-12-03 | キヤノン株式会社 | 被写体検出装置、被写体検出方法及びプログラム |
CN106407978B (zh) * | 2016-09-24 | 2020-10-30 | 上海大学 | 一种结合似物度的无约束视频中显著物体检测方法 |
JP6907774B2 (ja) * | 2017-07-14 | 2021-07-21 | オムロン株式会社 | 物体検出装置、物体検出方法、およびプログラム |
CN107895162B (zh) * | 2017-10-17 | 2021-08-03 | 天津大学 | 基于物体先验的图像显著性目标检测算法 |
US11684425B2 (en) * | 2018-03-16 | 2023-06-27 | Shimadzu Corporation | X-ray fluoroscopic imaging apparatus |
JP7392368B2 (ja) * | 2019-10-03 | 2023-12-06 | 富士フイルムビジネスイノベーション株式会社 | 画像処理装置,システム,プログラム |
US11297244B2 (en) * | 2020-02-11 | 2022-04-05 | Samsung Electronics Co., Ltd. | Click-and-lock zoom camera user interface |
US20220051433A1 (en) * | 2020-08-13 | 2022-02-17 | Industry-Academic Cooperation Foundation, Yonsei University | Apparatus for performing cylindrical convolutional neural network operation and apparatus and method for object recognition and viewpoint estimation using the same |
US11087124B1 (en) | 2020-09-24 | 2021-08-10 | Fmr Llc | Systems and methods for digital document field location identification |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6282317B1 (en) | 1998-12-31 | 2001-08-28 | Eastman Kodak Company | Method for automatic determination of main subjects in photographic images |
US7474775B2 (en) * | 2005-03-31 | 2009-01-06 | University Of Iowa Research Foundation | Automatic detection of red lesions in digital color fundus photographs |
JP5471130B2 (ja) | 2009-07-31 | 2014-04-16 | カシオ計算機株式会社 | 画像処理装置及び方法 |
US8948522B2 (en) * | 2011-08-04 | 2015-02-03 | Seiko Epson Corporation | Adaptive threshold for object detection |
US8478046B2 (en) * | 2011-11-03 | 2013-07-02 | Xerox Corporation | Signature mark detection |
JP5333635B1 (ja) * | 2012-08-23 | 2013-11-06 | 富士ゼロックス株式会社 | 画像処理装置、プログラム及び画像処理システム |
EP2804128A3 (en) * | 2013-03-22 | 2015-04-08 | MegaChips Corporation | Human detection device |
JP2015215741A (ja) * | 2014-05-09 | 2015-12-03 | キヤノン株式会社 | 被写体検出装置、被写体検出方法及びプログラム |
-
2014
- 2014-05-09 JP JP2014097871A patent/JP2015215741A/ja active Pending
-
2015
- 2015-04-17 US US14/689,312 patent/US9576372B2/en active Active
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018078806A1 (ja) * | 2016-10-28 | 2018-05-03 | オリンパス株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
US11030749B2 (en) | 2016-10-28 | 2021-06-08 | Olympus Corporation | Image-processing apparatus, image-processing method, and storage medium storing image-processing program |
JP2020126434A (ja) * | 2019-02-04 | 2020-08-20 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム、記憶媒体 |
JP7286330B2 (ja) | 2019-02-04 | 2023-06-05 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム、記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
US20150324995A1 (en) | 2015-11-12 |
US9576372B2 (en) | 2017-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2015215741A (ja) | 被写体検出装置、被写体検出方法及びプログラム | |
US9196071B2 (en) | Image splicing method and apparatus | |
US10671875B2 (en) | Main-subject detection method, main-subject detection apparatus, and non-transitory computer readable storage medium | |
US10115178B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
US9652855B2 (en) | Image processing apparatus that identifies image area, and image processing method | |
US9584716B2 (en) | Method and apparatus for autofocus area selection by detection of moving objects | |
US9066002B2 (en) | System and method for utilizing enhanced scene detection in a depth estimation procedure | |
WO2013145589A1 (ja) | 画像処理装置、撮像装置および画像処理方法 | |
CN112001853A (zh) | 图像处理设备、图像处理方法、摄像设备和存储介质 | |
JP6274876B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2014099087A (ja) | 特徴点検出装置およびプログラム | |
JP2018113660A (ja) | 情報処理装置、情報処理方法、システム | |
Rudzinski et al. | Low–cost computer vision based automatic scoring of shooting targets | |
TWI620147B (zh) | 用於合成人物的影像合成方法 | |
US11842570B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and storage medium | |
US20130163862A1 (en) | Image processing method and device for redeye correction | |
US9437008B1 (en) | Image segmentation using bayes risk estimation of scene foreground and background | |
JP2012133587A (ja) | 画像解析装置、画像解析方法及びプログラム | |
JP2011154194A (ja) | 撮像装置 | |
CN112036319A (zh) | 一种图片处理方法、装置、设备及存储介质 | |
JP6766219B2 (ja) | 画像処理方法、画像処理装置及びプログラム | |
JP2018200506A (ja) | 画像処理装置および画像処理方法 | |
JP2011253099A (ja) | 焦点検出装置 | |
JP2017182668A (ja) | データ処理装置、撮像装置、及びデータ処理方法 | |
JP2017123069A (ja) | 画像処理装置および方法、および撮像装置 |