JP2021184525A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】露光量の設定を簡便に行う。【解決手段】情報処理装置は、画像内の所定の領域を指定する情報を入力する入力手段と、前記入力手段によって入力された前記所定の領域を指定する情報に基づいて、画素毎または画素の領域毎に撮像素子の露出条件を設定する設定手段と、前記設定手段によって設定された前記露出条件で前記撮像素子によって撮像された画像を取得する取得手段と、を備える。【選択図】 図１

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

従来、撮像素子の画素の各々の露光量を設定することができる撮像装置が知られている（特許文献１）。この撮像装置では、予備撮像の撮像結果から本撮像を行う際の各画素の露光量を設定することにより、被写体の輝度に応じて感度を変更するようになっている。

特開２０１０−１３６２０５号公報

本発明が解決しようとする課題は、露光量の設定を簡便に行えるようにすることである。

上述の課題を解決するため、本発明に係る情報処理装置のある態様によれば、画像内の所定の領域を指定する情報を入力する入力手段と、前記入力手段によって入力された前記所定の領域を指定する情報に基づいて、画素毎または画素の領域毎に撮像素子の露出条件を設定する設定手段と、前記設定手段によって設定された前記露出条件で前記撮像素子によって撮像された画像を取得する取得手段と、を備える情報処理装置が提供される。

実施形態１の撮像装置の構成例を示すブロック図。 撮像装置の動作の例を説明するための画像。 実施形態２の動作の例を説明するための画像。 実施形態２の動作の他の例を説明するための画像。 実施形態２の動作の他の例を説明するための画像。 実施形態３の動作の例を説明するための画像。

以下、添付図面を参照して、本発明を実施するための実施形態について詳細に説明する。なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は、以下の実施形態に必ずしも限定されるものではない。また、実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

（実施形態１）
図１は、実施形態１の撮像装置１の構成例を示すブロック図である。
この撮像装置１は、被写体２を撮像する撮像系１１と、撮像系１１によって撮像された画像に対する処理を行う画像処理部１２と、撮像系１１の制御を行う撮像系制御部１３と、表示画面を有する表示部１４と、ユーザの操作を入力する操作部１５とを備えている。画像処理部１２、撮像系制御部１３、表示部１４、操作部１５は、バス１６によって接続されており、相互に通信を行うことができるようになっている。

撮像系１１は、画素毎または領域毎の露出条件（例えば、ゲインとシャッタースピード等）を制御可能な固体撮像素子２２と、被写体２の像を固体撮像素子２２に結像させる結像光学系２０と、絞り２１とを備えている。なお、結像光学系２０は、説明を簡略化するために１枚のレンズのみとして図示しているが、複数のレンズで構成されていてもよく、例えばズームレンズ、フォーカスレンズ、ぶれ補正レンズ等が含まれていてもよい。また、撮像系１１は、短波長の光を遮断する光学ローパスフィルタ、長波長の光を遮断するＩＲ（Ｉｎｆｒａ Ｒｅｄ；赤外）カットフィルタ等を含む構成としてもよい。

画像処理部１２は、固体撮像素子２２からの画像信号をＡ／Ｄ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ）変換してデジタルデータに変換した後、デモザイキング処理やホワイトバランス処理、ガンマ処理等を含む信号処理を行ってデジタル画像を生成する。
撮像系制御部１３は、ズームやフォーカスのための結像光学系２０の駆動と、絞り２１の開口径制御と、固体撮像素子２２の画素毎または領域毎の露出条件（例えば、ゲインとシャッタースピード等）等の制御を実行する。また、撮像系制御部１３は、画像処理部１２がデジタル画像から算出した画素毎または領域毎の評価値（画像信号の強度やコントラストを基に所定の計算式で算出する値）に従って、撮像系１１の制御を実行する。

表示部１４は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）や液晶または有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）等で構成されたディスプレイであり、画像処理部１２で生成されたデジタル画像等を表示する。また、表示部１４は、デジタル画像の他に、現在の撮影条件（絞り、ゲイン、シャッタースピード等）の表示、測距枠、測光枠の重畳表示等も表示する。また、表示部１４は、公知のタッチスクリーンを備えていてもよい。
操作部１５は、ユーザからの指示を入力する装置であり、例えばボタン、撮影モードの選択を行うモードダイヤル、十字キー、表示部１４に設けられたタッチパネル等を含んでいる。また、本実施形態では、画素毎または領域毎の測光枠の設定も操作部１５で行う。操作部１５は、入力部と称してもよい。
なお、後述するように、画像処理部１２と撮像系制御部１３と操作部１５は、入力情報に基づいて露出条件を設定した後に画像を取得するので、画像処理部１２と撮像系制御部１３と操作部１５をまとめて情報処理部と称してもよい。

（動作概要）
この撮像装置１では、画面内の所定の領域毎に露出条件を制御することにより、ユーザが指定した領域内の特定の被写体（主被写体）を強調して撮影する被写体強調撮影を行うことができるようになっている。
以下、本実施形態の撮像装置１における被写体強調撮影を行う際の動作について説明する。
なお、本実施形態において、撮像装置１は、常に被写体強調撮影を行うように構成してもよいし、操作部１５のモードダイヤル等を介してユーザから指示されたときのみ被写体強調撮影を行うようにしてもよい。また、撮影モードとして、被写体強調撮影モード以外に、撮影条件を自動的に設定するオートモード、絞り優先モード、シャッタースピード優先モード、ゲイン優先モード、マニュアルモード等の一般的な撮影モードを設けてもよい。以下、撮像装置起動時はオートモードに設定されており、ユーザからのモードダイヤル等の操作によって被写体強調撮影モードに移行する動作を例に説明する。

図２は、撮像装置１の動作の例を説明するための画像である。
なお、ユーザの意図する構図が図２（ａ）であり、ユーザの意図する撮影画像の最終イメージが図２（ｃ）であるとする。また、図２（ａ）に示されるように、主被写体３１が花であり、背景と主被写体３１の輝度の差が少ない状況であるとする。
ユーザが撮像装置１を起動すると、撮像装置１は、オートモードで起動し、撮像系制御部１３は、撮影画像の露光が適正になるように、撮像系１１の撮影条件（絞り、シャッタースピード、ゲイン等）を調整する。

以下、オートモードにおける測光枠が画面全体であるとして説明するが、画面中央の所定範囲を測光枠としてもよいし、画像中央の一点を測光対象としてもよいし、画面内で評価値に重み付けをするような測光方式を採用してもよい。
オートモードにおいて撮像系１１が制御され、露出が適正に調整された場合に撮像される画像では、主被写体と背景との輝度の差が小さいため、図２（ａ）に示すように、主被写体３１と背景のどちらの露出も適正な状態になる。

（強調撮影モード）
ユーザが操作部１５のモードダイヤル等によって被写体強調撮影モードを選択すると、撮像装置１は、表示部１４のディスプレイ上に、ユーザに主被写体を選択するよう促す指示をポップアップ表示させる。この指示は、構図等を選択するためのモニター画像（スルー画像）を見やすくするためにディスプレイの中でスルー画像が表示されていないエリア（例えば撮影条件表示用に画面外側に設けられた領域等）に表示され続けるようにしてもよい。

ユーザは、表示部１４に表示されるスルー画像を見ながら、操作部１５の十字キーや、タッチパネル等を利用して主被写体（花）３１を含む画素または領域を選択する。なお、以下、画素ではなく、領域を選択する場合を例にして説明するが、画素を選択するようにしてもよい。
領域の選択では、主被写体３１を含む複数の領域を一つずつ選択するようにしてもよいし、主被写体３１の輪郭部分を含む領域だけを選択していくようにしてもよい。あるいは、例えば操作部１５がタッチパネルを備える場合、ユーザは主被写体（花）３１の輪郭を指やペン等で指定し、指定された輪郭内に含まれる領域を、主被写体３１として認識するようにしてもよい。

選択された領域をユーザに示すために、例えば外枠の線３２を撮影画像に重畳して表示する。このとき、選択された全ての領域の枠線を表示してもよいし、選択された領域の外枠の枠線のみを表示して、主被写体３１を見やすくしてもよい。ユーザが主被写体３１を含む領域を選択したときのスルー画像の例を図２（ｂ）に示す。図２（ｂ）において黒い線で囲まれた複数の領域３２が主被写体３１を含む領域である。
このように主被写体３１を含む領域３２の選択が完了すると、撮像系制御部１３は、主被写体３１を含む領域３２のみが適正な露出となり、それ以外の領域が適正な露出から所定値以下（例えば所定の段数下の露出）になるように撮像系１１の露出条件を設定する。すなわち、撮像系制御部１３は、主被写体３１を含む領域３２以外の領域（つまり背景）の露出条件を主被写体３１を含む領域３２の露出に対して所定値だけ低くする。この所定値は、予め画像処理部１２に設定された固定値でもよいが、ユーザが変更できるようにしてもよい。ユーザが所定値の設定を変更できるようにしたほうが、多様なユーザの好みに応じることが可能になるため望ましい。また、背景の露出条件が所定の下限値より低くなると、背景部分が黒くなる（黒つぶれになる）ため、撮像系制御部１３が、主被写体を含む領域以外の領域（背景）の露出条件が所定の下限値より低くならない範囲で露出条件の設定を行うようにしてもよい。

撮像系制御部１３による露出条件の設定が終了した後、ユーザから撮影が指示されると、設定された露出条件で固体撮像素子２２によって撮像された画像信号が画像処理部１２に供給され、画像処理部１２が信号処理を行ってデジタル画像が生成される。つまり、画像処理部１２は、画像信号に信号処理に行うことによってデジタル画像を取得する。このように撮像された（取得された）画像は、例えば図２（ｃ）のようになり、主被写体３１を含む領域３３のみが適正な露出となり、背景の露出が主被写体３１を含む領域３３の露出に対して所定値だけ低くなる。これにより、主被写体３１が強調されたユーザの意図通りの画像となる。

ところで、画素毎または領域毎に露出条件を制御可能な固体撮像素子を用いた場合、画面内全ての画素あるいは領域において主被写体か背景かを判断した上で、それぞれ個別に露出条件の設定を行うことも可能ではある。しかしながら、全ての画素または領域について露出条件の設定を行うためには、時間がかかってしまう。これに対し、本実施形態では、主被写体３１を含む画素または領域３２を選択するだけで、主被写体３１を含む領域３２とそれ以外の領域の露出条件を変えることができ、強調撮影を行う領域を迅速に設定することができる。すなわち、本実施形態では、露光量の設定を簡便に行うことができる。これにより、本実施形態では、容易にユーザの意図通りの画像を撮影することができる。

また、本実施形態は、主被写体および背景が共に暗く、かつ背景が動く物を含む場合にも適用できる。例えば、風が吹いている状態で、照明のない夜桜を主被写体とし、背景には風で揺れる草木が含まれているとする（草木にも照明が当たらないとする）。
このような場合には、風の影響の少ない主被写体をユーザが選択しても、背景となる草木が遠方で風で揺れていることがある。このような状況下で従来のカメラで撮影を行う場合には、例えば主被写体と背景が共に適正な露出となるよう長時間の露光を行って撮影を行い、撮影後に階調補正等のデジタル処理で背景の露出を落とす必要がある。このため、長時間の露光で背景の草木がブレてしまい、ユーザの意図とは異なる画像となってしまうことがある。これに対し、本実施形態では、風の影響を受けない主被写体を含む領域のみを長時間の露光により適正な露出とし、背景の領域を短時間の露光として露出を低下させて、ブレの影響を低減させることが可能になる。これにより、ユーザの意図した画像を容易に撮影することができる。

（実施形態２）
上述の実施形態１では、主被写体を含む領域とそれ以外の領域（背景）とで露出条件を一律に所定値だけ低く設定していたが、実施形態２では、背景の領域の露出条件を段階的に変えるようにしている。なお、本実施形態の撮像装置１は、実施形態１における撮像装置１と同一であるため説明は省略する。

本実施形態の撮像装置１と実施形態１の撮像装置１とは、ユーザが主被写体を含む領域を選択した後の処理が異なっている。ユーザによる主被写体を含む領域の選択が完了した後、撮像系制御部１３は、主被写体を含む領域は適正な露出となるように露出制御を行う。さらに、撮像系制御部１３は、背景の領域においては、主被写体を含む領域から離れるにしたがって、段階的に露出条件を低くする（露出段数を下げる）ように設定する。

ここで、説明のために、左右（または上下）に隣接する領域間の距離を１として、斜めに隣接する領域間の距離を２^０．５（ルート２）とする。領域間の距離は、１つの領域の中心から他の領域の中心までの距離である。
撮像系制御部１３は、例えば図３に示すように、主被写体を含む領域の最外殻の領域から距離１〜２^０．５にある領域の露出を適正な露出に対して一段下の値に設定し、距離２〜２×２^０．５にある領域の露出を適正な露出に対して二段下の値に設定する。さらに、撮像系制御部１３は、主被写体を含む領域から３〜３×２^０．５の距離にある領域の露出を適正な露出に対して三段下の値に設定し、主被写体を含む領域から距離４以上離れた領域の露出を適正な露出に対して４段下の値に設定する。なお、主被写体を含む領域からの距離と露出の値（段数の差）の夫々の関係は、予め画像処理部１２に設定しておけばよく、ユーザが自身の好みに応じて変更できるようにしてもよい。

本実施形態では、上述のように、主被写体を含む領域からの距離に応じて露出条件を段階的に低く設定することにより、主被写体の周辺にスポット光が当たっているかのような自然な画像を得ることができる。すなわち、本実施形態では、背景の露出条件を、主被写体を含む領域からの距離に応じて段階的に低く設定することによって、実施形態１に比べてより自然な画像を容易に撮影することが可能になる。これにより、より幅広い写真表現を容易に実現することが可能になる。

また、上述のような単純な段階的な背景の露出条件の変化に加えて、さらに複雑な背景の露出パターンを複数用意しておいてもよい。例えば図４に示すように、画像の対角線上にある背景を適正な露出とし、対角線から離れるにしたがって、段階的に露出を下げるようにしてもよい。図４では、右上角から左下角に向かう対角線上にある背景が適切な露出とされている。なお、この図４に示す例では、背景の領域については画素単位で露出条件を設定する場合について示している。
あるいは、例えば図５に示すように、主被写体を含む領域から所定の距離までは、主被写体を含む領域からの距離に応じて露出を低く設定し、所定の距離からは主被写体を含む領域からの距離に応じて露出を高く設定するようにしてもよい。なお、この図５に示す例では、図４と同様に、背景の領域については画素単位で露出条件を設定する場合について示している。

上述の図４や図５に示すような背景の露出条件の設定を行うことにより、心象に応じた風景の画像を表現したいユーザ等に対しては、印象的な背景を作ることができるため、ユーザの意図した画像を容易に撮影することができる。また、背景の露出条件の変化パターンに特段の制約はないため、幾何学模様等を参考に複数の変化パターンを、予め画像処理部１２に用意しておくとよい。また、選択した露出の変化パターンにおいて、ユーザが露出の変化の設定（例えば露出の段数の設定）を変更できるようにしてもよい。これにより、ユーザの意図した画像を容易に撮影することができる。

（実施形態３）
上述の実施形態１では、主被写体を強調した撮影を行うために、背景の露出を、主被写体を含む領域の露出より所定の値以下に低く設定していたが、実施形態３では、背景の露出を主被写体を含む領域の露出より所定の値以上高く設定している。なお、本実施形態の撮像装置１は、実施形態１における撮像装置１と同一であるため説明は省略する。

以下、領域毎に露出条件を制御する場合を例に説明する。
本実施形態の撮像装置１と実施形態１の撮像装置１とは、ユーザが主被写体を含む領域を選択した後の処理が異なっている。ユーザによる主被写体を含む領域の選択が完了した後、撮像系制御部１３は、主被写体を含む領域は適正な露出となるように露出制御を行う。さらに、撮像系制御部１３は、背景の領域においては、主被写体を含む領域から離れるにしたがって、露出条件を高くする（露出段数を上げる）ように設定する。なお、露出段数の変化量（露出段差）は、予め画像処理部１２に所定の値として入れておいてもよく、あるいは、ユーザが設定で変更できるようにしてもよい。

例えば図６（ａ）に示されるように、背景と主被写体の輝度の差が少ない状況で、上述のように露出条件を設定して撮像を行うと、例えば図６（ｂ）に示すように、背景の領域の露出が、主被写体を含む領域から離れるにしたがって高くなる画像が得られる。このような画像では、背景部分が主被写体に対して白く飛んだ状態になり、主被写体が強調された状態になる。したがって、本実施形態では、背景の露出を高くすることによる主被写体の強調撮影を容易に行うことができる。

また、本実施形態では、撮影時に背景の露出を高く設定することにより、通常の撮影を行った画像に階調補正等のゲイン調整を行って主被写体を強調する処理に比較して画像のＳＮＲ（Ｓｉｇｎａｌ Ｎｏｉｓｅ Ｒａｔｅ）が劣化しない。これにより、背景部分の階調が不連続になる、いわゆるトーンジャンプ等の発生を防止することができる。

（変形例）
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。また、本発明は、例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。なお、上述の撮像装置１は、１つの装置として構成していたが、ネットワークで接続された撮像装置と制御装置のように、複数の装置として構成してもよい。例えば、図１の撮像装置１は表示部１４を備えているが、表示部１４は撮像装置１から分離してもよい。また、図１の撮像装置１から、画像処理部１２と撮像系制御部１３と操作部１５を分離して情報処理装置として構成してもよい。また、上述の各実施形態において、ユーザが撮影後に適切な露光の画像を選択できるように、主被写体を含む領域以外の露出条件を変えた複数回の撮影を行う、いわゆるブラケット撮影を行うようにしてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。ＡＳＩＣはＡｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。

１…撮像装置、１１…撮像系、１２…画像処理部、１３…撮像系制御部、１４…表示部、１５…操作部、２０…結像光学系、２１…絞り、２２…固体撮像素子

Claims (12)

1. 画像内の所定の領域を指定する情報を入力する入力手段と、
   前記入力手段によって入力された前記所定の領域を指定する情報に基づいて、画素毎または画素の領域毎に撮像素子の露出条件を設定する設定手段と、
   前記設定手段によって設定された前記露出条件で前記撮像素子によって撮像された画像を取得する取得手段と、
   を備えることを特徴とする情報処理装置。
2. 前記設定手段は、
   前記入力手段によって入力された前記所定の領域以外の前記撮像素子の画素の露出条件を、前記所定の領域に対して所定の値低く設定する、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記設定手段は、
   前記所定の領域以外の前記撮像素子の画素の露出条件を、前記所定の領域から離れるにしたがって低く設定する、
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記設定手段は、
   前記所定の領域以外の前記撮像素子の画素の露出条件が所定の下限値より低くならない範囲で、前記露出条件の設定を行う、
   請求項２または請求項３に記載の情報処理装置。
5. 前記設定手段は、
   前記入力手段によって入力された前記所定の領域以外の前記撮像素子の画素の露出条件を、前記所定の領域に対して所定の値高く設定する、
   ことを特徴とする請求項１に記載の情報処理装置。
6. 前記設定手段は、
   前記所定の領域以外の前記撮像素子の画素の露出条件を、前記所定の領域から離れるにしたがって高く設定する、
   ことを特徴とする請求項４に記載の情報処理装置。
7. 前記所定の領域以外の前記撮像素子の画素の露出条件の変化パターンを複数保持する保持手段、をさらに備え、
   前記設定手段は、
   前記保持手段に保持されている前記露出条件の変化パターンのいずれかに基づいて、所定の領域以外の前記撮像素子の画素の露出条件を設定する、
   ことを特徴とする請求項２から請求項６のいずれか１項に記載の情報処理装置。
8. 前記所定の値を指定する指定手段、
   をさらに備えることを特徴とする請求項２から請求項７のいずれか１項に記載の情報処理装置。
9. 前記設定手段は、
   前記所定の領域以外の前記撮像素子の画素の露出条件を複数回設定し、
   前記取得手段は、
   前記設定手段によって複数回設定された前記露出条件で前記撮像素子によって撮像された画像を夫々取得する、
   ことを特徴とする請求項１から請求項８のいずれか１項に記載の情報処理装置。
10. 請求項１から請求項９のいずれか１項に記載の情報処理装置と、
    撮像素子と、
    を備えることを特徴とする撮像装置。
11. 画像内の所定の領域を指定する情報を入力するステップと、
    前記入力された前記所定の領域を指定する情報に基づいて、画素毎または画素の領域毎に撮像素子の露出条件を設定するステップと、
    前記設定された前記露出条件で前記撮像素子によって撮像された画像を取得するステップと、
    を有することを特徴とする情報処理方法。
12. コンピュータを、請求項１から請求項９のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images