JP6355324B2 - 撮像装置およびその制御方法 - Google Patents

撮像装置およびその制御方法 Download PDF

Info

Publication number
JP6355324B2
JP6355324B2 JP2013252599A JP2013252599A JP6355324B2 JP 6355324 B2 JP6355324 B2 JP 6355324B2 JP 2013252599 A JP2013252599 A JP 2013252599A JP 2013252599 A JP2013252599 A JP 2013252599A JP 6355324 B2 JP6355324 B2 JP 6355324B2
Authority
JP
Japan
Prior art keywords
lens
output image
image
focal length
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013252599A
Other languages
English (en)
Other versions
JP2015109619A (ja
Inventor
雄介 山下
雄介 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013252599A priority Critical patent/JP6355324B2/ja
Publication of JP2015109619A publication Critical patent/JP2015109619A/ja
Application granted granted Critical
Publication of JP6355324B2 publication Critical patent/JP6355324B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Exposure Control For Cameras (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像装置およびその制御方法に関する。
コンピュテーショナルフォトグラフィ(Computational Photography)という技術を搭載した撮像装置が研究されている。コンピュテーショナルフォトグラフィは、単なる画像の輝度や色のデータのほかに、従来の撮像装置では記録されなかった新たな情報を撮像素子で取り込み、画像データとともに記録し、記録した情報を用いて画像処理LSIで様々な処理を行うという技術である。例えば、撮像装置は、被写体からの光の入射角度や、奥行きの情報などの光線情報(ライトフィールド)を記録する。これらの従来の撮像装置では記録できなかった情報を用いて、フォーカス、アイリスによる被写界深度、焦点距離などを、後の画像処理で正確に再現させることができる。記録したライトフィールドを用いて、実際に撮影した画像について、後からフォーカス位置を変更できるようなカメラが提案されている。
ライトフィールドの取得方法の代表的なものとして、多視点で画像を取得する方法について説明する。例えば、1台の撮像装置で焦点距離を変えて複数の画像を取得し、取得した複数の画像を1枚の画像としてデータを残すことで、その画像の焦点距離を後から画像処理で自由に変更することができる。また、カメラを水平もしくは垂直に移動させ、画像を複数枚取得することで、その画像の視差から被写体の距離情報を取得することもできる。これらの方法は、単一の撮像装置(撮像素子)を用いる。
特許文献1は、3次元ディスプレイ装置に対して、ライトフィールドをサンプリングしてエイリアス化するシステムを開示している。また、特許文献2は、異なる焦点距離のレンズを複数用いて、異なる焦点距離の画像を取得する撮像装置を開示している。
特開2008−257686号公報 特開2000−32354号公報
撮像装置をアレイ状に複数配置することで、取得する画像に同時性を持たせるとともに、複数のデータを取得することでライトフィールドの得られる情報量を増やす技術が考えられる。しかし、この技術では、複数の撮像装置が必要となってしまい、消費電力が大きくなったり、装置が大型化したりする。
単一の撮像装置と異なる焦点距離を持つ複数のレンズを用いて撮影する撮像装置が考えられるが、この撮像装置では、以下のような課題がある。例えば、動画撮影時において、ユーザが、カメラのプレビュー画に焦点距離の短いレンズの出力画像を選択した場合を想定する。ユーザが、プレビュー画を見ながらマニュアルで露出処理した場合、同じ露出条件だと、プレビュー画に使用した焦点距離のレンズよりも長い焦点距離のレンズの出力画像が、焦点距離の短いレンズの出力画像に対して暗くなってしまう。その結果、ユーザが、撮影後の編集でズーム位置を変更しようとした場合、レンズの出力画像の切り替え時に輝度差が発生してしまい、動画として違和感のある画像になってしまう。
本発明は、焦点距離の異なる複数のレンズを通じて得られた出力画像に対してユーザが手動で露出編集を行っても、出力画像の切り替え時に違和感のない画像を得ることができる撮像装置の提供を目的とする。
本発明の一実施形態の撮像装置は、焦点距離が異なる複数のレンズと、各々の前記レンズを通じて入射した光を光電変換する撮像素子と、前記撮像素子からの画像信号に基づく出力画像のうち、ユーザが選択した出力画像をプレビュー画像として表示する表示手段と、ユーザが選択した出力画像の輝度レベルを露出の目標値として算出し、当該出力画像に対応する焦点距離のレンズとは異なる焦点距離のレンズに対応する出力画像を、前記算出された目標値に基づいて露出制御する制御手段とを備え、前記制御手段は、前記目標値で各焦点距離のレンズに対応する出力画像を露出制御したときに、ユーザが選択した出力画像と、該出力画像に対応する焦点距離のレンズとは異なる焦点距離のレンズに対応する出力画像との間に輝度差が発生してしまう場合に警告を通知する
本発明の撮像装置によれば、焦点距離の異なる複数のレンズを通じて得られた出力画像に対してユーザが手動で露出編集を行っても、出力画像の切り替え時に違和感のない画像を得ることができる撮像装置の提供を目的とする。
本実施形態の撮像装置の構成を示す図である。 デジタルビデオカメラの機能ブロック図の一例である。 実施例1の撮像装置の動作処理を説明するフローチャートである。 実施例2の撮像装置の動作処理を説明するフローチャートである。
(実施例1)
図1は、本実施形態の撮像装置の構成を示す図である。図1に示す撮像装置は、デジタルビデオカメラ101である。もちろん、本発明の適用範囲は、デジタルビデオカメラに限定されない。本発明は、デジタル一眼レフカメラやデジタルスチルカメラにも適用可能である。
ビデオカメラ101の正面には、焦点距離の異なる複数のレンズ及びセンサーが、4×4のマトリックス状に配置されている。具体的には、レンズ群102として、4×4のマトリクス状にレンズが配置されている。図1中、1番のレンズは、焦点距離Aのレンズ、2番のレンズは、焦点距離Bのレンズ、3番のレンズは、焦点距離Cのレンズ、4番のレンズは、焦点距離Dのレンズである。
焦点距離Aのレンズが、最も焦点距離が短い。すなわち、焦点距離Aのレンズが最もWide側のレンズである。図1中、焦点距離Bのレンズ、焦点距離Cのレンズ、焦点距離Dのレンズに進むにつれて焦点距離が長くなる。焦点距離Dのレンズが、最も焦点距離が長い。すなわち、焦点距離Dのレンズが最もTele側のレンズである。
デジタルビデオカメラ101は、異なる焦点距離のレンズと、焦点距離が同じレンズとを複数もち、各々のレンズを通じて得られる出力画像を記録しておく。これにより、撮影後でもズーム位置やフォーカスを変更することができる。
ここで、本発明の目的は、撮影後のズーム位置の変更による違和感を改善することである。そのため、撮影後のフォーカス変更に関わる焦点距離の同じ4つのレンズに関しては説明に不要なので、以下では、デジタルビデオカメラ101は、4つの異なる焦点距離のレンズを持つビデオカメラであるものとして説明する。
図2は、図1に示すデジタルビデオカメラの機能ブロック図の一例である。レンズ群201は、異なる焦点距離を有する複数のレンズを含む。この例では、レンズ群201は、図1を参照して説明した、焦点距離がそれぞれA,B,C,Dである4種類のレンズを有する。
レンズ群201を介して入射した光は、CMOSセンサ202などの固体撮像素子に結合し、電気信号に光電変換される。固体撮像素子は、1つのレンズに対して1個配置されており、それぞれのレンズを介して入射した光を電気信号に光電変換する。光電変換されたアナログ信号は、A/D変換器203によって、デジタル信号に変換される。
デジタル信号に変換された信号は、画像信号処理部204に入力される。画像信号処理部204は、AGC205、信号処理部206、輝度レベル検出部207を有する。AGCは、入力されたデジタル信号に対して、自動利得制御処理(AGC処理)を実行する。信号処理部206は、AGC処理された信号に対して、ガンマ補正、ホワイトバランス補正など各種信号処理を実行する。輝度レベル検出部207は、各信号処理部206からの出力信号の輝度レベルを検出する。信号処理部206からの出力は、記録制御部208と表示制御部210に入力される。
記録制御部208に入力された信号は、記録媒体209に記録される。表示制御部210に入力された信号は、映像信号表示部210によって表示される。このとき、CPU212が、表示されるプレビュー画像を選択する。CPU212は、デジタルビデオカメラ全体の制御を司る。撮像素子制御回路213は、画像信号処理部204が出力する信号に基づいて、撮像素子のシャッタースピードを制御する。
図3は、実施例1の撮像装置の動作処理を説明するフローチャートである。このフローチャートに従う処理は、CPU212が所定の制御プログラムを読み込んで実行することによって実行される。
まず、輝度レベル検出部207が、信号処理部206から出力される信号に基づいて、被写体の輝度レベルを検出する(ステップS301)。このとき、被写体の明るさの検出は、焦点距離が短いレンズ(焦点距離Aのレンズ)の出力から中央重点方式を用いて行う。
次に、CPU212が、ステップS301で検出された輝度レベルに基づいて、露出の目標値を算出する(ステップS302)。続いて、CPU212が、各レンズの出力に対して露出制御(AE)を実行する(ステップS303)。具体的には、CPU212は、撮像素子制御回路213を制御してシャッタースピードを変更するか、AGC制御部205を制御して、AGC処理におけるデジタルゲインを変更する。
次に、CPU212が、ユーザの操作にしたがって、プレビュー画像に使用する焦点距離のレンズの出力を選択する(ステップS304)。続いて、CPU212が、ユーザが、選択されたプレビュー画像に対して手動(マニュアル)で露出処理を行ったかを判断する(ステップS305)。ユーザが、選択されたプレビュー画像に対して露出処理を行っていない場合は、処理を終了する。ユーザが、選択されたプレビュー画像に対してマニュアルで露出処理を行った場合は、処理がステップS306に進む。
次に、輝度レベル検出部207が、プレビュー画像に使用されている映像の輝度レベルを検出する(ステップS306)。そして、CPU212が、ステップ306で検出された輝度レベルを基に、出力信号がプレビュー画像に使用されていない焦点距離のレンズの露出目標値を算出する(ステップS307)。そして、CPU212が、算出された各レンズの露出目標値を目標値として、プレビュー画像に使用されていないレンズの出力に対して露出制御を実行する(ステップS308)。
なお、ステップS304で、ユーザの操作にしたがってCPU212がワイド側のレンズの出力画像を選択した場合に、CPU212が、ステップS306乃至S308で、以下の処理を実行してもよい。すなわち、CPU212は、当該ワイド側の出力画像の輝度レベルを露出の目標値として、テレ側のレンズの出力画像を露出制御する。
(実施例2)
実施例1の撮像装置は、ユーザが選択した焦点距離のレンズのプレビュー画像の輝度レベルを基に、他のレンズの出力に対してAEを実行する。しかし、被写体の輝度によっては、焦点距離の短いレンズと焦点距離の長いレンズで輝度差が発生してしまう場合がある。例えば、焦点距離の短いレンズの出力画像をプレビュー画像に使用し、低照度の被写体を撮影したとする。このとき、露出制御の最大範囲(最大ゲイン、長秒露光)で出力画像を明るくしようとすると、焦点距離の長いレンズでは焦点距離の短いレンズに比べて入射光量が少ないので、暗くなってしまう。そこで、実施例2の撮像装置は、焦点距離の異なるレンズの出力画像に輝度差が発生してしまう場合は、警告を通知する。
図4は、実施例2の撮像装置の動作処理を説明するフローチャートである。このフローチャートに従う処理は、CPU212が所定の制御プログラムを読み込んで実行することによって実行される。
ステップS401、S402、S404、S406、S407、S408、S409、S412は、それぞれ、図3のステップS301、S302、S303、S304、S305、S306、S307、S308と同様である。
実施例2では、ステップS403において、CPU212が、ステップS402で算出された露出目標値に基づいて、焦点距離の異なるレンズのそれぞれに対応する出力画像間に輝度差が発生するかを判断する(ステップS403)。すなわち、CPU212は、算出された露出目標値でAEを実行すると焦点距離の異なるレンズからの出力画像間に輝度差が発生するかを判断する。CPU212が、焦点距離の異なるレンズからの出力画像間に輝度差が発生しないと判断した場合は、処理がステップS404に進む。CPU212が、焦点距離の異なるレンズからの出力画像間に輝度差が発生すると判断した場合は、処理がステップS405に進む。
ステップS405において、CPU212が、ステップS402で算出された露出目標値を、焦点距離の異なるレンズからの出力画像間に輝度差が発生しない露出目標値に変更する。そして、CPU212が、変更後の露出目標値に基づいてAEを実行し(ステップS405)、処理がステップS406に進む。
また、実施例2では、ステップS410において、CPU212は、ステップS409で算出された露出目標値でAEを実行すると焦点距離の異なるレンズからの出力画像間に輝度差が発生するかを判断する(ステップS410)。CPU212が、焦点距離の異なるレンズからの出力画像間に輝度差が発生しないと判断した場合は、処理がステップS412に進む。CPU212が、焦点距離の異なるレンズからの出力画像間に輝度差が発生すると判断した場合は、処理がステップS411に進む。
ステップ411において、CPU212が、焦点距離の異なるレンズからの出力画像間で輝度差が発生することをユーザに知らせるための警告を行う。例えば、CPU212は、表示制御部210に指示して、警告を画面に表示する。
本発明は、上述した実施例1、2に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述した実施例の一部を適宜組み合わせてもよい。
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
101 デジタルビデオカメラ
201 レンズ群
202 撮像素子
207 輝度レベル検出部
212 CPU

Claims (6)

  1. 焦点距離が異なる複数のレンズと、
    各々の前記レンズを通じて入射した光を光電変換する撮像素子と、
    前記撮像素子からの画像信号に基づく出力画像のうち、ユーザが選択した出力画像をプレビュー画像として表示する表示手段と、
    ユーザが選択した出力画像の輝度レベルを露出の目標値として算出し、当該出力画像に対応する焦点距離のレンズとは異なる焦点距離のレンズに対応する出力画像を、前記算出された目標値に基づいて露出制御する制御手段とを備え
    前記制御手段は、前記目標値で各焦点距離のレンズに対応する出力画像を露出制御したときに、ユーザが選択した出力画像と、該出力画像に対応する焦点距離のレンズとは異なる焦点距離のレンズに対応する出力画像との間に輝度差が発生してしまう場合に警告を通知する
    ことを特徴とする撮像装置。
  2. 前記制御手段は、前記目標値に基づいて前記露出制御を行うと焦点距離の異なるレンズのそれぞれに対応する出力画像間で輝度差が発生するかを判断し、焦点距離の異なるレンズのそれぞれに対応する出力画像間で輝度差が発生する場合に、警告を通知する
    ことを特徴とする請求項1に記載の撮像装置。
  3. 前記制御手段は、前記ユーザがワイド側のレンズの出力画像を選択した場合に、当該ワイド側の出力画像の輝度レベルを露出の目標値として、テレ側のレンズの出力画像を前記露出制御する
    ことを特徴とする請求項1または請求項2に記載の撮像装置。
  4. 前記制御手段は、前記ユーザが、前記選択した出力画像に対応するレンズに対してマニュアルで露出処理したかを判断し、前記ユーザが、前記選択した出力画像に対応するレンズに対してマニュアルで露出処理した場合に、当該出力画像の輝度レベルを前記目標値として算出する
    ことを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
  5. 前記制御手段は、前記ユーザが、前記選択した出力画像に対応するレンズに対してマニュアルで露出制御の最大範囲で当該出力画像を明るくする露出処理をした場合に、警告を通知する
    ことを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
  6. 焦点距離が異なる複数のレンズと、各々の前記レンズを通じて入射した光を光電変換する撮像素子とを備える撮像装置の制御方法であって、
    ユーザが前記撮像素子からの画像信号に基づく出力画像のうちから選択した出力画像をプレビュー画像として受け付ける工程と、
    前記プレビュー画像として受け付けた出力画像の輝度レベルを露出の目標値として算出し、当該出力画像に対応する焦点距離のレンズとは異なる焦点距離のレンズに対応する出力画像を、前記算出された目標値に基づいて露出制御する工程とを有し、
    前記目標値で各焦点距離のレンズに対応する出力画像を露出制御したときに、ユーザが選択した出力画像と、該出力画像に対応する焦点距離のレンズとは異なる焦点距離のレンズに対応する出力画像との間に輝度差が発生してしまう場合に警告を通知する
    ことを特徴とする制御方法。
JP2013252599A 2013-12-06 2013-12-06 撮像装置およびその制御方法 Active JP6355324B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013252599A JP6355324B2 (ja) 2013-12-06 2013-12-06 撮像装置およびその制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013252599A JP6355324B2 (ja) 2013-12-06 2013-12-06 撮像装置およびその制御方法

Publications (2)

Publication Number Publication Date
JP2015109619A JP2015109619A (ja) 2015-06-11
JP6355324B2 true JP6355324B2 (ja) 2018-07-11

Family

ID=53439671

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013252599A Active JP6355324B2 (ja) 2013-12-06 2013-12-06 撮像装置およびその制御方法

Country Status (1)

Country Link
JP (1) JP6355324B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112839166B (zh) * 2020-12-02 2023-08-22 维沃移动通信(杭州)有限公司 拍摄方法、装置及电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1096989A (ja) * 1996-09-25 1998-04-14 Olympus Optical Co Ltd カメラの警告装置
JP2006005853A (ja) * 2004-06-21 2006-01-05 Canon Inc 撮像装置及び撮像装置の制御方法
JP2008172523A (ja) * 2007-01-11 2008-07-24 Fujifilm Corp 多焦点カメラ装置及びそれに用いられる制御方法並びにプログラム
JP5896680B2 (ja) * 2011-10-12 2016-03-30 キヤノン株式会社 撮像装置、画像処理装置、及び画像処理方法

Also Published As

Publication number Publication date
JP2015109619A (ja) 2015-06-11

Similar Documents

Publication Publication Date Title
US20230353869A1 (en) Imaging apparatus and setting screen thereof
JP5655667B2 (ja) 撮像装置及び撮像制御方法、画像処理装置及び画像処理方法、並びにプログラム
TWI465107B (zh) 可顯示實況預覽圖像之攝像裝置
JP5593990B2 (ja) 撮像システムおよび画素信号読出し方法
JP5635211B2 (ja) 撮像装置
JP2014123070A (ja) 撮像装置及びその制御方法
JP2014123809A (ja) 撮像装置、撮像システム、および、撮像装置の制御方法
JP2013232780A (ja) 撮像装置、制御方法、及びプログラム
JP2010135984A (ja) 複眼撮像装置及び撮像方法
JP2010114577A (ja) 撮像装置、画像処理装置、撮像装置の制御方法及び画像処理方法
JP6355324B2 (ja) 撮像装置およびその制御方法
JP5933306B2 (ja) 撮像装置
JP2019080261A (ja) 撮像装置
JP6294607B2 (ja) 撮像装置およびその制御方法、プログラム並びに記憶媒体
JP6226536B2 (ja) 撮像装置及びその制御方法
JP5144469B2 (ja) 撮像装置及びその制御方法
JP2017009815A (ja) 焦点検出装置、焦点検出方法、およびカメラシステム
JP2015139018A (ja) 電子機器及び制御プログラム
JP2014138378A (ja) 撮像装置、その制御方法、および制御プログラム
JP2020077964A (ja) 撮像装置およびその制御方法
JP7307837B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP6257316B2 (ja) 撮像装置およびその制御方法
JP6202982B2 (ja) 画像処理装置、その制御方法、および制御プログラム
JP7004853B2 (ja) 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
JP5648563B2 (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180515

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180612

R151 Written notification of patent or utility model registration

Ref document number: 6355324

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151