JP5701664B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP5701664B2
JP5701664B2 JP2011085238A JP2011085238A JP5701664B2 JP 5701664 B2 JP5701664 B2 JP 5701664B2 JP 2011085238 A JP2011085238 A JP 2011085238A JP 2011085238 A JP2011085238 A JP 2011085238A JP 5701664 B2 JP5701664 B2 JP 5701664B2
Authority
JP
Japan
Prior art keywords
image
unit
live view
exposure
input images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011085238A
Other languages
English (en)
Other versions
JP2012222540A (ja
Inventor
鈴木　大介
大介 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2011085238A priority Critical patent/JP5701664B2/ja
Priority to US13/438,074 priority patent/US8723974B2/en
Publication of JP2012222540A publication Critical patent/JP2012222540A/ja
Application granted granted Critical
Publication of JP5701664B2 publication Critical patent/JP5701664B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は、同一被写体を撮影し、得られた複数フレーム分の異なる露光量の画像データを合成して階調が改善された画像を得る技術に関する。
屋外晴天下での逆光撮影条件等においては、撮影シーン内の被写体輝度のレンジ（以下では単に「輝度レンジ」と称する）が広くなる。輝度レンジの広い被写体をデジタルカメラで撮影したときに、撮像系および画像信号処理系で記録可能なダイナミックレンジ内に収まらない場合がある。その場合、画像内の暗部においては、像が黒くつぶれてしまう、いわゆる黒つぶれを生じる。また、画像内の明部においては、像が白く飛んでしまう、いわゆる白飛びを生じる。
このような現象を解決するための技術として、High Dynamic Range Imaging技術（以下、ＨＤＲ技術と称する）がある。ＨＤＲ技術においては、同じ撮影シーンが、シャッタ秒時を変えながら複数回にわたって撮影され、互いに異なる露光量の複数の画像（以下ではこれを異露光画像と称する）が取得される。そして、画像内の黒つぶれが生じる可能性のある領域に対しては、多めの露光量で得られた画像データの画素値が用いられ、白飛びが生じる可能性のある領域に対しては少なめの露光量で得られた画像データの画素値が用いられて合成処理が行われる。その結果、画像内の暗部から明部に至るまでの階調が再現された画像を得ることができる。
特許文献１には、撮像素子に対する露光量を露光量の異なるｎ段（ｎは２以上の整数）に変化させて物体を撮影し、ｎ段の各露光量で撮影して得られるｎ組の画像データを撮像素子から得て、隣接する露光量で得られた２つの画像データを合成して拡張されたダイナミックレンジの合成画像を得て、残りのｎ−１組の画像データに同様のことを繰り返し、最終的に１つの画像データを得る技術が開示される。
特許文献２には、本撮影に先立ち、異なる複数の露光条件にて撮影をして、撮影シーンのダイナミックレンジに関する情報を取得し、本撮影で行われる複数回露光の露光条件を決定する技術が開示される。
特許文献３には、ライブビューモードでの動作が可能な電子カメラにおいて、ライブビュー画像中に撮像部のダイナミックレンジを超える第１領域がある場合は、第１領域を撮像するのに適した第１露光量と、第１領域以外の第２領域を撮像するのに適した第２露光量とを決定し、レリーズボタンが押下されたときに第１露光量で第１画像を、第２露光量で第２画像をそれぞれ撮像し、第２画像は部分読み出しにより読み出しをして第１画像、第２画像を合成する技術が開示される。
特開平７−７５０２６号公報 特開２００２−１３５６４８号公報 特開２００９−２８４１３６号公報
ところで、撮像装置でライブビュー表示等が行われる場合、構図の確認を可能とするだけでなく、撮像装置で設定された露光条件等に応じて、実際にどのような仕上がりの画像が得られるのかを撮影者が本撮影前に把握できることが望ましい。しかし、上述した特許文献１、２、３に開示されるものはいずれも、最終的に得られる画像の白飛び・黒つぶれ低減だけを目的としている。つまり、ＨＤＲの技術を用いることによってどのような画像が得られるのかを撮影者へ事前に示す、ということの必要性や技術そのものについて、一切の開示も示唆も無い。結果として、撮影者はどのような仕上がりの画像が得られるのかを事前に知ることはできず、撮影後に得られた画像を観て、満足できなければ撮像装置の設定を変更して再度撮影を行う必要がある。
本発明は、上記の課題に鑑みてなされたものであり、ＨＤＲの技術を用いて得られる画像がどのような仕上がりとなるか、本撮影に先立って撮影者が事前に把握することが可能な技術を提供することを目的とする。
本発明の代表的な一例を示せば以下の通りである。すなわち、撮像装置が、
同一被写体を撮影して露光量の異なる複数枚のセットの入力画像を得ることが可能に構成される撮像部と、
前記露光量の異なる複数枚のセットの入力画像から合成画像を生成する画像合成部と、
ライブビュー表示動作中に、前記撮像部から得られる露光量の異なるｎ枚のセット（ｎは２以上の整数）の入力画像を前記画像合成部で合成して生成された合成画像をもとにライブビュー画像を出力するライブビュー画像出力部と、
本撮影時に、前記撮像部から得られる露光量の異なるｍ枚のセット（ｍは２以上の整数）の入力画像を前記画像合成部で合成して生成された合成画像をもとに記録画像を生成する、記録画像生成部と
を備え、
前記撮像部は、画素加算読み出しが可能に構成され、前記ライブビュー画像出力部は、前記ライブビュー表示動作中に前記画素加算読み出しの方式で読み出されて得られる前記ｎ枚のセットの入力画像を前記画像合成部で合成して生成された合成画像をもとに前記ライブビュー画像を出力する。
本発明によれば、ＨＤＲの技術を用いて得られる画像がどのような仕上がりとなるか、本撮影に先立ってライブビュー画像を観ることにより、撮影者が把握することが可能となる。
デジタルカメラの外観を示す図であり、（ａ）はその正面図を、（ｂ）は背面図を示す。 本発明の第１の実施の形態に係るデジタルカメラの内部構成を説明するブロック図である。 ライブビュー表示動作時に画像処理部で実行される処理手順を説明するフローチャートである。 図３のフローチャートにおけるＳ３０４およびＳ３０６の処理内容を概念的に説明する図である。 図３のフローチャートにおけるＳ３３０およびＳ３３２の処理内容を概念的に説明する図である。 図３のフローチャートにおけるＳ３１２およびＳ３１４の処理内容を概念的に説明する図である。 図３のフローチャートにおけるＳ３４０およびＳ３４２の処理内容を概念的に説明する図である。 ライブビュー表示動作が行われる際の動作タイミングを説明するタイミングチャートである。 静止画像記録処理が行われる際に画像処理部で実行される処理手順を説明するフローチャートである。 第２の実施の形態に係るデジタルカメラの内部構成を説明するブロック図である。
以下では、本発明をライブビュー画像の表示が可能なデジタルカメラに適用した場合について説明をする。
− 第１の実施の形態 −
図１は、本発明の第１の実施の形態に係るデジタルカメラ１００の外観を説明する図であり、図１（ａ）はその正面図を、図１（ｂ）は背面図を示す。デジタルカメラ１００はスチルカメラで、撮影レンズ交換式であるものとするが、静止画撮影が可能なムービーカメラであってもよい。図１（ａ）においてデジタルカメラ１００は、撮影レンズＬを外した状態で示している。
デジタルカメラ１００は、撮像素子１０２と、レリーズボタン１０４と、マウント１０６と、接続端子１０８と、表示装置１１０と、操作部材１１２とを備える。デジタルカメラ１００はまた、必要に応じて電子ビューファインダ１１４を備えていてもよく、この電子ビューファインダ１１４はデジタルカメラ１００と一体に構成されていても、着脱可能に構成されていてもよい。本実施の形態において、デジタルカメラ１００は固定された電子ビューファインダ１１４を備えるものとして説明する。
撮像素子１０２は、デジタルカメラ１００に装着された撮影レンズＬにより形成される被写体像を光電変換して画像信号を出力する。本実施の形態において撮像素子１０２はＣＭＯＳイメージセンサであり、アンプ、ＣＤＳ（Correlated Double Sampling）回路、Ａ／Ｄコンバータ等を含むアナログ・フロントエンドを内蔵していてデジタル画像信号を出力可能に構成されるものとする。また、撮像素子１０２は、画像信号の読み出しモードとして、キャプチャーモードとモニタリングモードとを備えるものとする。
キャプチャーモードは、比較的高画素で、記録用の画像を得ることの可能な読み出しモードである。モニタリングモードは、高精細モードで得られる画像に比して精細度が低く、より少ない画素数の画像を得る読み出しモードである。モニタリングモードで可能な読み出し速度（フレームレート）は、キャプチャーモードで可能なフレームレートよりも高くすることが可能である。モニタリングモードにおいては、いわゆる間引き読み出しによる読み出しが行われても、画素加算読み出しによる読み出しが行われてもよい。
モニタリングモードで得られる画像は主として自動焦点調節、自動露出調節、ライブビュー画像の表示に用いられるが、モニタリングモードで得られる画像をもとに動画像の記録を行うことも可能である。また、撮像素子１０２の画像信号転送速度が高く、デジタルカメラ１００の処理能力も高ければ、キャプチャーモードで得られた画像に基づく自動焦点調節、自動露出調節、ライブビュー画像の表示、動画像の記録等を行うことも可能である。これについては第２の実施の形態で説明する。
レリーズボタン１０４は、撮影者による撮影操作を受け付けるためのものである。レリーズボタン１０４を撮影者が押下すると、そのストロークに応じてレリーズスイッチが二段階の動作をする。レリーズボタン１０４を押下してゆくと、まずファーストレリーズスイッチがオンし、レリーズボタン１０４をさらに押下するとセカンドレリーズスイッチがオンする。ファーストレリーズスイッチのオンで焦点調節動作や測光動作が行われ、セカンドレリーズスイッチのオンで撮影動作が行われる。
マウント１０６は、撮影レンズＬの後面に設けられるマウントと嵌合してデジタルカメラ１００と撮影レンズＬとを締結するレンズ装着部である。接続端子１０８は、複数の端子が円弧状に配列されて構成される電気接点である。マウント１０６に撮影レンズＬを装着すると、撮影レンズＬ側に設けられた接点と接続端子１０８とが接触する。そして、デジタルカメラ１００の電源を投入すると、デジタルカメラ１００から撮影レンズＬへの電力の供給と、デジタルカメラ１００、撮影レンズＬ間の相互通信が可能となる。デジタルカメラ１００から撮影レンズＬへ制御信号を出力することにより、撮影レンズＬの側ではフォーカシング動作や絞り調節動作が行われる。
なお、本実施の形態においては、デジタルカメラ１００が撮影レンズを交換可能に構成される例について説明するが、デジタルカメラ１００は撮影レンズ一体式のものであってもよい。その場合にはマウント１０６および接続端子１０８は省略可能となる。
表示装置１１０は、文字情報、アイコン、画像等を表示可能に構成され、カラー液晶表示パネルとバックライト装置等とを備えて構成される。あるいは、有機ＥＬ表示装置等の自発光表示装置等を備えて構成されていてもよい。デジタルカメラ１００がライブビュー撮影モードや動画撮影モードで動作しているときに、ライブビュー画像を表示装置１１０に表示することが可能である。また、静止画撮影動作を完了したときに、撮影して得られた画像（ポストビュー画像）を表示装置１１０に表示することが可能である。
操作部材１１２は、押しボタンスイッチ、ダイヤルスイッチ、スライドスイッチ、タッチパッド等のうち、いずれか一種類または複数種類を備えて構成される。撮影者が操作部材１１２を操作することにより、デジタルカメラ１００の起動、動作モードの切り換え、メニュー設定、動画撮影の開始／停止等をすることができる。
電子ビューファインダ１１４は、小型のカラー液晶表示装置と、照明装置と、液晶表示装置上に表示される画像を拡大して撮影者の眼に導く観察光学系等とを備えて構成される。あるいは、小型の有機ＥＬ表示装置と、有機ＥＬ表示装置上に表示された画像を拡大して撮影者の眼に導く観察光学系等とを備えて構成されていてもよい。電子ビューファインダ１１４は、静止画像撮影動作時や動画像撮影動作時にライブビュー画像を表示可能に構成される。撮影者は、デジタルカメラ１００の使用状況に応じて、表示装置１１０または電子ビューファインダ１１４に表示されるライブビュー画像を観ながら撮影を行う。
以下ではデジタルカメラ１００を操作して静止画像の撮影が行われる例について説明する。静止画撮影をするにあたり、撮影者が表示装置１１０または電子ビューファインダ１１４に表示されるライブビュー画像を観ながら構図決定を行い、シャッターチャンスを待つ。その後、レリーズボタン１０４を押下してファーストレリーズスイッチおよびセカンドレリーズスイッチのオンが検出されると静止画撮影動作が行われる。以下では、撮影者が構図決定を行っているときにデジタルカメラ１００で行われる動作をライブビュー表示動作と称する。また、セカンドレリーズスイッチのオンが検出されたときにデジタルカメラ１００で行われる動作を静止画像記録動作と称する。
デジタルカメラ１００ではＨＤＲ技術を用いての静止画像記録動作が行われるのに加えて、ライブビュー表示動作を行う際にも、以下に説明するようにＨＤＲ技術を用いての表示動作が行われる。
ＨＤＲ技術は、先にも説明したように、複数枚の異露光画像を合成して一つの画像を得ることにより、より広いダイナミックレンジに対応して階調再現を実現可能とする技術である。異露光画像は、ある被写体輝度に対応して決定された複数種類の露光量で同一被写体を撮影して得られる、露光量の互いに異なる画像を意味する。複数枚の異露光画像を得るためには、以下に説明するように、いくつかの方法がある。
図１に示されるデジタルカメラ１００のように、一つの撮影レンズと一つの撮像素子とを備えるものである場合、異なる露光量での露光動作を時系列に繰り返し行うことにより複数枚の異露光画像を得ることが可能である。
撮影レンズおよび撮像素子を複数組備えるものである場合、ある撮影タイミングにおいてこれら複数組の撮影レンズおよび撮像素子を略同時に、異なる露光条件で作動させることにより、複数枚の異露光画像を得ることが可能である。
あるいは、一つの撮影レンズと複数の撮像素子と備えていても、複数枚の異露光画像を得ることが可能である。この場合、撮影レンズの後方にビームスプリッタ（光路分割部材）を配置し、ビームスプリッタで分割された複数の光路上に撮像素子が配置される構成とする。さらに、ビームスプリッタと各撮像素子との間に、光学濃度を変化させることの可能な濃度可変フィルタを配置する。各撮像素子の前に配置される濃度可変フィルタの濃度を個々に調節することにより、複数枚の異露光画像を得ることが可能である。類似する方法としては、偏光ビームスプリッタで分割された複数の光路上に撮像素子を配置し、偏光ビームスプリッタの入射面と撮影レンズとの間に偏光変調素子を配置するものとしてもよい。この場合には、偏光変調素子による偏光状態を電気的に調節することにより、偏光ビームスプリッタを介して各撮像素子に導かれる各被写体光の光量の比率を連続的に変化させることが可能となり、これにより複数枚の異露光画像を得ることが可能である。
複数枚の異露光画像を得るためには、以上に説明した方法のうち、いずれかを用いることが可能である。すなわち、第１の方法は、露光条件を変えながら複数回の露光動作を時系列に行う方法である。第２の方法は、複数の撮像系それぞれで異なる露光条件を設定し、略同時に撮影を行う方法である。第３の方法は、一つの撮影光学系の後方に配置した光路分割部材によって異なる光量分割比率で複数の撮像素子に被写体光を導き、異なる露光量の複数の画像を、一回の露光動作で得る方法である。
図２は、デジタルカメラ１００の内部構成を概略的に説明するブロック図である。デジタルカメラ１００は、撮像部２２０と、画像処理部２００と、撮像制御部２２２と、ライブビュー画像出力部２３０と、画像記録部２４０とを備える。
画像処理部２００は、画像保持部２０２と、画像合成部２０４と、ライブビュー画像生成部２０６と、記録画像生成部２０８と、輝度分布導出部２１０と、最大・最小露光量決定部２１２と、画像枚数決定部２１４とを備える。画像保持部２０２の後段からライブビュー画像生成部２０６および記録画像生成部２０８の後段まではすべてパイプライン処理が可能に構成されている。
ライブビュー画像出力部２３０には、先に図１を参照して説明した表示装置１１０、電子ビューファインダ１１４が必要に応じて備えられる。
図２において、各構成要素間をつなぐ矢印付きの比較的太い実線は、データラインおよびデータ転送方向を意味する。矢印付きの破線は、制御パラメータ、あるいは制御信号を伝達する信号ラインおよび伝送方向を意味する。撮像部２２０と、画像保持部２０２および輝度分布導出部２１０とがデータラインで接続される。撮像部２２０から出力される入力画像が画像保持部２０２および輝度分布導出部２１０で受信される。画像保持部２０２と画像合成部２０４との間は３本のデータラインで接続されている。このうち、２本は画像保持部２０２から画像合成部２０４にデータを転送する際に用いられるデータラインであり、図２中では１、２の符号が付されている。残りの１本は画像合成部２０４から画像保持部２０２にデータを転送する際に用いられるデータラインであり、図２中では３の符号が付されている。符号１、２の付されたデータラインは、撮像部２２０から逐次出力される入力画像が画像保持部２０２を経て画像合成部２０４で受信される際にインターリーブ方式で用いられる。符号３の付されるデータラインは、３枚以上の画像を合成する際に画像合成部２０４で合成処理された画像を画像保持部２０２に書き戻す際に用いられる。以下ではこれらのデータラインを個別に参照して説明する際に、データライン１、データライン２、データライン３と称する。
画像合成部２０４と、ライブビュー画像生成部２０６および記録画像生成部２０８とがデータラインで接続される。画像合成部２０４で生成された合成画像は、このデータラインを介し、デジタルカメラ１００の動作モードに応じてライブビュー画像生成部２０６または記録画像生成部２０８に出力される。
ライブビュー画像生成部２０６とライブビュー画像出力部２３０とがデータラインで接続される。ライブビュー画像生成部２０６で生成されたライブビュー画像は、このデータラインを介してライブビュー画像出力部２３０に出力される。
記録画像生成部２０８と画像記録部２４０とがデータラインで接続される。記録画像生成部２０８で生成された記録画像は、このデータラインを介して画像記録部２４０に出力される。
輝度分布導出部２１０と最大・最小露光量決定部２１２とがデータラインで接続される。このデータラインの近くに記される符号ＹL、ＹSは、輝度分布導出部２１０から最大・最小露光量決定部２１２に輝度画像データＹL、ＹSが出力されることを意味する。
最大・最小露光量決定部２１２と、画像枚数決定部２１４とが信号ラインで接続される。この信号ラインの近くに記される符号ＴL、ＴSは、最大・最小露光量決定部２１２から画像枚数決定部２１４に最大・最小露光量情報ＴL、ＴSが出力されることを意味する。
画像枚数決定部２１４と画像保持部２０２とが信号ラインで接続される。この信号ラインの近くに記される符号ｎ、ｍは、ライブビュー表示動作時、静止画像記録動作時に複数枚の入力画像を得る際の枚数ｎ、ｍ（ライブビュー表示動作時の枚数がｎ、正画像記録動作時の枚数がｍ）に関する情報が画像枚数決定部２１４から画像保持部２０２に出力されることを意味する。
画像枚数決定部２１４はまた、撮像制御部２２２と信号ラインで接続される。この信号ラインの近くに記される符号Ｔ1〜Ｔm（Ｔ1〜Ｔn）は、静止画像記録動作時、ライブビュー表示動作時に複数枚の入力画像１〜ｍあるいは入力画像１〜ｎを得る際の露光量に関する情報Ｔ1〜ＴmあるいはＴ1〜Ｔnに関する情報（露光量制御パラメータ）が画像枚数決定部２１４から撮像制御部２２２に出力されることを意味する。ライブビュー表示動作時の露光量制御パラメータがＴ1〜Ｔnであり、静止画像記録動作時の露光量制御パラメータがＴ1〜Ｔmである。
ところで、撮像素子１０２で設定可能な読み出しフレームレートと、ライブビュー画像の表示フレームレートとの関係等によっては、ライブビュー表示動作時の画像合成枚数は２枚に固定されることも想定される。そのような場合、ライブビュー動作時には露光量制御パラメータＴS、ＴLがそれぞれＴ1、Ｔ2に対応するものとして最大・最小露光量決定部２１２から撮像制御部２２２に直接出力されてもよい。
撮像制御部２２２と撮像部２２０とが信号ラインで接続される。撮像部２２０における動作モード（キャプチャーモード、モニタリングモード）と、撮影動作タイミングや露光量（蓄積時間）を制御するための信号がこの信号ラインを介して撮像制御部２２２から撮像部２２０に出力される。
以下、図２中に示される各構成要素について説明する。撮像部２２０は、先に説明した撮像素子１０２と撮影レンズＬと機械式シャッタとを含んで構成され、撮影レンズＬによって形成された被写体像を光電変換して生成された画像を入力画像として画像処理部２００に出力する。なお、撮像素子１０２がいわゆる電子シャッタの方式での露光（蓄積）動作が可能に構成される場合、機械式シャッタを省略することも可能である。電子シャッタとは、撮像素子１０２上の各画素において蓄積動作の開始タイミングと終了タイミングとを制御して、機械式シャッタを用いることなく露光量の制御を行う露光方式を意味する。なお、撮像素子１０２が電子シャッタの方式での露光を行うものである場合、グローバルシャッタの方式で露光動作が行われることが、動体撮影時等に画像に歪みが生じないようにする上で望ましい。
画像処理部２００について説明する。画像処理部２００の動作は、デジタルカメラ１００がライブビュー表示動作をしている場合と静止画像記録動作をしている場合とで多少異なる。そこで、最初にデジタルカメラ１００がライブビュー表示動作をしている場合の動作について説明し、次いで静止画像記録動作をしている場合の動作について説明する。
先にも説明したように、本発明の実施の形態に係るデジタルカメラ１００では、ライブビュー表示動作を行う際にもＨＤＲ技術が用いられる。画像処理部２００は、撮像部２２０から得られる複数枚の入力画像（異露光画像）を処理して一つのライブビュー画像を生成することを繰り返し行う。これにより、ＨＤＲのライブビュー画像を生成して表示することが可能となる。本明細書において、一つのライブビュー画像を生成するために用いられる複数枚の入力画像をｎ枚の入力画像と表現する。ここに、ｎは２以上の整数である。このｎが、先に説明した複数枚の入力画像を得る際の枚数ｎに相当する。
上記の値ｎに関しては、その値を大きくする程、輝度範囲のより広い被写体に対応して階調の再現されたライブビュー画像を表示することが可能となる。ただし、ライブビュー画像は、コントラスト検出方式による自動焦点調節が行われる場合の合焦速度、デジタルカメラ１００が急にパン操作された場合や動きの比較的早い被写体をフレーミングしているときのライブビュー画像の表示の追従性、あるいは画像処理部２００での処理負荷増加に伴う電池の消耗等を考慮するとｎの値をあまり大きくすることは得策ではない。以下では発明の要旨をより容易に理解できるようにすることを目的として、ｎ＝２の場合を例にとり、説明する。
撮像部２２０では、ライブビュー表示動作中、ｎ枚、本例では上記のように２枚の異露光画像を得る動作を繰り返し行う。本実施の形態においては、先に説明した三つの方法のうち、第１の方法によって２枚の異露光の入力画像を得るものとして説明をする。また、露光条件（露光量）を変える方法としては、撮影レンズＬの絞り値を変える方法、露光時間（シャッタ秒時）を変える方法がある。あるいは、撮影レンズＬの入射面や、撮影レンズＬと撮像素子１０２との間に、電気的に光学濃度を変化させることの可能なフィルタを配置して、光学濃度を逐次変化させる方法もある。以下では、露光量を変えるために、露光時間を変化させる例について説明する。つまり、画像枚数決定部２１４から撮像制御部２２２に出力される露光量制御パラメータＴ1〜Ｔnは、ライブビュー表示動作時に複数枚の入力画像１〜ｎを得る際の露光時間に関する情報であるものとする。
画像保持部２０２は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等によって構成されるバッファであり、撮像部２２０から得られる２枚の入力画像を一時的に記憶する。画像合成部２０４は、撮像部２２０から得られる２枚の異露光の入力画像を合成して合成画像を生成する。なお、デジタルカメラ１００が手で保持されていたり、被写体が動体であったりする場合、２枚の入力画像間で大きな像のずれを生じる可能性がある。その場合には、画像合成部２０４でパターンマッチングの技術を用いての画像の切り出し、貼り付け等の処理を行い、合成画像に破綻をきたすことのないようにすることも可能である。また、ライブビュー画像のような動画像では、像のずれは目立ちにくいので、上述した画像の切り出し、貼り付け等の処理を省くことも可能である。その場合、画像処理部２００の処理負荷が減じられるので、電力の消費を抑制することが可能となる。
ライブビュー表示動作時、画像合成部２０４で生成された合成画像はライブビュー画像生成部２０６に出力される。ライブビュー画像生成部２０６は、受け取った合成画像にデモザイク、ホワイトバランス、色相、彩度、コントラスト等の補正処理をしてライブビュー画像を生成し、ライブビュー画像出力部２３０に出力する。ライブビュー画像出力部２３０は、ライブビュー画像を出力する処理を行う。ライブビュー画像を出力する処理としては、表示装置１１０または電子ビューファインダ１１４に表示することが可能である。あるいは、デジタルカメラ１００に備えられる有線または無線のインターフェースを介して外部の表示装置等に画像データを出力することが可能である。
撮像部２２０では、２枚の異露光画像（入力画像）を得る動作が繰り返し行われる。そして、画像保持部２０２、画像合成部２０４、ライブビュー画像生成部２０６、ライブビュー画像出力部２３０では、撮像部２２０から得られる入力画像を以上のようにして処理することが繰り返し行われ、ライブビュー表示動作が行われる。
上記のライブビュー表示動作が行われる間、輝度分布導出部２１０、最大・最小露光量決定部２１２、画像枚数決定部２１４、撮像制御部２２２で行われる処理について以下に説明する。
輝度分布導出部２１０は、撮像部２２０から得られる１枚の入力画像に対応して一セットの輝度画像データを生成する処理を繰り返し行う。輝度画像データは、撮影シーン（被写体）の大局的な輝度分布を評価するためのデータであり、色情報を含んでいてもよいが、必ずしも必要としない。
例えば、撮像素子１０２がベイヤ配列のオンチップカラーフィルタを有する単板撮像素子であるものとして説明すると、一つの配列単位（ブロック）を構成する四つの画素の画素値を合算したものからこのブロックに対応する輝度情報を生成することが可能である。あるいは、一つのブロック中、緑（Ｇ）色の画素の画素値を合算したものから輝度情報を生成することも可能である。
さらに、入力画像にデモザイク処理をして得られるＲＧＢ画像データをＹＣｂＣｒの色空間の画像データに変換し、そのＹ値を用いて輝度情報を生成することが可能である。無論、ＨＳＬ等の他の色空間の画像データに変換して、そのうちの明るさに関連するデータをもとに輝度画像データを生成してもよい。輝度画像データは、画像全体としてどのような輝度分布を有しているのかを知るためのものであるので、入力画像が有する画素数をそのまま有していることは必ずしも必要ない。したがって、画像処理部２００の処理能力や許容される消費電力等に応じて画素数を減じたものとすることが可能である。
本実施の形態においては、ライブビュー表示動作中、１枚のライブビュー画像を得るために２枚の異露光の入力画像を取得している。また、本実施の形態では先にも説明したように、異露光の入力画像を得るために露光時間を変化させているので、これら２枚の異露光の入力画像を短露光入力画像、長露光入力画像と称して区別する。つまり、輝度分布導出部２１０は、撮像部２２０から短露光入力画像、長露光入力画像を交互に取得し、短露光入力画像から輝度画像データＹSを、長露光入力画像データから輝度画像データＹLを、それぞれ生成して最大・最小露光量決定部２１２に出力する。この動作を、輝度分布導出部２１０はライブビュー表示動作中に繰り返し行う。
最大・最小露光量決定部２１２は、輝度画像データＹS、ＹLを評価し、撮像部２２０で複数枚の異露光の入力画像を得る際の最大露光量と最小露光量とを決定する。先程来説明しているように本実施の形態では露光時間を調節して露光量の調節が行われるので、最大・最小露光量決定部２１２で決定されるのは最大露光時間ＴLと最小露光時間ＴSである。この、最大・最小露光量決定部２１２で行われる最大露光時間ＴL、最小露光時間ＴSの決定方法については後で説明する。最大・最小露光量決定部２１２は、これら最大露光時間ＴL、最小露光時間ＴSの情報（最大・最小露光量情報）を画像枚数決定部２１４に出力する。
画像枚数決定部２１４は、最大露光時間ＴL、最小露光時間ＴSに基づいて、ライブビュー表示動作中に取得する異露光の入力画像の枚数ｎを決定する。本例ではｎ＝２と決定されるものとする。続いて画像枚数決定部２１４は、露光量制御パラメータＴ1〜Ｔnを生成し、撮像制御部２２２に出力する。具体的には、画像枚数決定部２１４は、最小露光時間ＴSをＴ1、最大露光時間ＴLをＴ2（何故なら、ｎ＝２であるので。）として撮像制御部２２２に出力する。ｎが３と決定された場合、画像枚数決定部２１４は最小露光時間ＴSをＴ1、最大露光時間ＴLをＴ3とする一方、中間の露光時間に対応するＴ2については最小露光時間ＴSと最大露光時間ＴLとに基づいて決定する。ｎが４以上の場合も同様である。
撮像制御部２２２は、画像枚数決定部２１４から出力される露光量制御パラメータ、すなわち、本例においてはＴ1、Ｔ2に基づいて撮影を行うように撮像部２２０を制御する。その結果、撮像部２２０は２枚の異露光の入力画像データを取得するための撮影動作を行い、画像保持部２０２に複数枚の入力画像を順次出力する。
図３は、ライブビュー表示動作時に画像処理部２００で実行されるライブビュー画像表示処理手順を概略的に説明するフローチャートである。図３に示される処理手順は、デジタルカメラ１００の電源が投入されて、その動作モードが静止画撮影モードに切り換えられたときに実行される。実際には、自動焦点調節を行うためのコントラスト検出および自動焦点調節のための処理や、撮影者によりレリーズボタン１０４が押下されたことを検出する処理等も行われる。しかし、説明を単純化して理解を容易にすることを目的として、それらの処理手順の図示および説明については省略する。
Ｓ３００において画像処理部２００は、撮像制御部２２２に露光量制御パラメータＴ1とともに撮影開始の制御信号を発する。その結果、撮像部２２０ではシャッタ秒時Ｔ1での撮影動作が行われる。このシャッタ秒時Ｔ1は、最小露光量となるシャッタ秒時ＴSに等しい。
Ｓ３０２において画像処理部２００は、シャッタ秒時ＴSでの撮影に対応して得られた入力画像を処理して輝度画像データＹSを生成する。この処理は先に図２を参照して説明した輝度分布導出部２１０での処理に相当する。
画像処理部２００はＳ３０４、Ｓ３０６、Ｓ３３０、Ｓ３３２において、輝度画像データＹSを評価して最小露光量（最小露光時間）ＴSを決定する処理を行う。これらの処理について図４、図５も参照しながら説明する。図４、図５は、Ｓ３０４、Ｓ３０６、Ｓ３３０、Ｓ３３２で行われる処理を概念的に説明する図であり、これらの処理が行われる前の撮影で得られる入力画像から得られる輝度画像データＹSのヒストグラム（各図左側のヒストグラム）と、これらの処理が行われた後の撮影で得られる入力画像から得られる輝度画像データＹSのヒストグラム（各図右側のヒストグラム）を示している。
Ｓ３０４では、輝度画像データＹSを評価し、閾値ＴＨS1以上の輝度値を有する画素（領域）の数をカウントする処理が行われ、その画素数（領域数）が閾値ＴＨS2を超すか否かの判定が行われる。この判定が肯定されると処理はＳ３０６に進む一方、否定されるとＳ３３０に進む。
Ｓ３０４での判定が肯定された場合の分岐先であるＳ３０６において画像処理部２００は、次のライブビュー画像表示用の入力画像を得るための撮影動作が行われる際の最小露光時間ＴSを短くする（最小露光量を減じる）処理を行う。これらＳ３０４およびＳ３０６での処理について図４を参照して説明する。
Ｓ３０４における判定処理の対象となった輝度画像データＹSが、図４の左側に示されるようなヒストグラムを有するものとする。図４左側の例では、閾値ＴＨS1以上の輝度値を有するものの画素数が閾値ＴＨS2を超している。つまり、最小露光時間ＴSで撮影された、いわばアンダー目の入力画像に対応する輝度画像データＹS中で、かなり明るい部分、あるいは白飛びしている部分の画素数が多めである場合にＳ３０４での判定が肯定される。このような場合、Ｓ３０６において最小露光時間ＴSを短くする処理が行われる。
その結果、次のサイクルに行われる撮影で得られる入力画像から導出された輝度画像データＹSのヒストグラムは図４右側に示されるようなものとなる。上記閾値ＴＨS1、ＴＨS2については、撮影状況やデジタルカメラ１００の動作設定等に応じて様々に設定可能であるが、輝度画像データＹS中に白飛びしている部分がほぼ無いとき（図４右側に例示されるような状況のとき）にＳ３０４での判定が否定されるように設定することが望ましい。
Ｓ３０４での判定が否定された場合の分岐先であるＳ３３０において画像処理部２００は、輝度画像データＹSを評価し、閾値ＴＨS3以下の輝度値を有する画素（領域）の数をカウントする処理が行われ、その画素数（領域数）が閾値ＴＨS4を超すか否かの判定が行われる。この判定が肯定されると処理はＳ３３２に進む一方、否定されるとＳ３０８に進む。
Ｓ３３０での判定が肯定された場合の分岐先であるＳ３３２において画像処理部２００は、次のライブビュー画像表示用の入力画像を得るための撮影動作が行われる際の最小露光時間ＴSを長くする（最小露光量を増す）処理を行う。これらＳ３３０およびＳ３３２での処理について図５を参照して説明する。Ｓ３３０における判定処理の対象となった輝度画像データＹSが、図５左側に示されるようなヒストグラムを有するものとする。
図５左側の例では、閾値ＴＨS3以下の輝度値を有するものの画素数が閾値ＴＨS4を超している。つまり、最小露光時間ＴSで撮影された、いわばアンダー目の入力画像に対応する輝度画像データＹSが全体として暗め（つぶれ気味）となっている場合にＳ３３０での判定が肯定される。このような場合、Ｓ３３２において最小露光時間ＴSを長くする処理が行われる。その結果、次のサイクルに行われる撮影で得られる入力画像から導出された輝度画像データＹSのヒストグラムは図５右側に示されるようなものとなり、輝度画像データＹSに対応する入力画像からはより多くの階調情報を得ることが可能となる。
上記閾値ＴＨS3、ＴＨS4については、撮影状況やデジタルカメラ１００の動作設定等に応じて様々に設定可能であるが、輝度画像データＹS中の輝度値が、高輝度で飽和することがあまりなく（白飛びを生じる画素があまりなく）、高めの輝度域での画素数が適度な量となる状況のとき（図５右側に例示されるような状況のとき）にＳ３３０の判定が否定されるように設定することが望ましい。
Ｓ３３０およびＳ３３２の処理は、撮影シーンが大きく変わったり、被写体が大きく移動したりした場合等で、撮影範囲内の高輝度部分が消失した場合に露光量を適切な値に戻すために行われる。
Ｓ３０８において画像処理部２００は、撮像制御部２２２に露光量制御パラメータＴ2とともに撮影開始の制御信号を発する。その結果、撮像部２２０で撮影動作が開始され、シャッタ秒時Ｔ2での撮影動作が行われる。このシャッタ秒時Ｔ2は、最大露光量となるシャッタ秒時ＴLに等しい。
Ｓ３０２において画像処理部２００は、シャッタ秒時ＴLでの撮影に対応して得られた入力画像を処理して輝度画像データＹLを生成する。この処理は先に図２を参照して説明した輝度分布導出部２１０での処理に相当する。
画像処理部２００はＳ３１２、Ｓ３１４、Ｓ３４０、Ｓ３４２において、輝度画像データＹLを評価して最大露光量（最大露光時間）ＴLを決定する処理を行う。これらの処理について図６、図７も参照しながら説明する。図６、図７は、Ｓ３１２、Ｓ３１４、Ｓ３４０、Ｓ３４２で行われる処理を概念的に説明する図であり、これらの処理が行われる前の撮影で得られる入力画像から得られる輝度画像データＹLのヒストグラム（各図左側のヒストグラム）と、これらの処理が行われた後の撮影で得られる入力画像から得られる輝度画像データＹLのヒストグラム（各図右側のヒストグラム）を示している。
Ｓ３１２では、輝度画像データＹLを評価し、閾値ＴＨL1以下の輝度値を有する画素（領域）の数をカウントする処理が行われ、その画素数（領域数）が閾値ＴＨL2を超すか否かの判定が行われる。この判定が肯定されると処理はＳ３１４に進む一方、否定されるとＳ３４０に進む。
Ｓ３１２での判定が肯定された場合の分岐先であるＳ３１４において画像処理部２００は、次のライブビュー画像表示用の入力画像を得るための撮影動作が行われる際の最大露光時間ＴLを長くする（最大露光量を増す）処理を行う。これらＳ３１２およびＳ３１４での処理について図６を参照して説明する。
Ｓ３１２における判定処理の対象となった輝度画像データＹLが、図６の左側に示されるようなヒストグラムを有するものとする。図６左側の例では、閾値ＴＨL1以下の輝度値を有する画素数が閾値ＴＨL2を超している。つまり、最大露光時間ＴLで撮影された、いわばオーバー目の入力画像に対応する輝度画像データＹLであるにもかかわらず、かなり暗い部分、あるいは黒つぶれしている部分の画素数が多めである場合にＳ３１２での判定が肯定される。このような場合、Ｓ３１４において最大露光時間ＴLを長くする処理が行われる。
その結果、次のサイクルに行われる撮影で得られる入力画像から導出された輝度画像データＹLのヒストグラムは図６右側に示されるようなものとなる。上記閾値ＴＨL1、ＴＨL2については、撮影状況やデジタルカメラ１００の動作設定等に応じて様々に設定可能であるが、輝度画像データＹL中に黒つぶれしている部分が殆ど無いとき（図６右側に例示されるような状況のとき）にＳ３１２の判定が否定されるように設定することが望ましい。
Ｓ３１２での判定が否定された場合の分岐先であるＳ３４０において画像処理部２００は、輝度画像データＹLを評価し、閾値ＴＨL3以上の輝度値を有する画素（領域）の数をカウントする処理が行われ、その画素数（領域数）が閾値ＴＨL4を超すか否かの判定が行われる。この判定が肯定されると処理はＳ３４２に進む一方、否定されるとＳ３１６に進む。
Ｓ３４０での判定が肯定された場合の分岐先であるＳ３４２において画像処理部２００は、次のライブビュー画像表示用の入力画像を得るための撮影動作が行われる際の最大露光時間ＴLを短くする（最小露光量を減じる）処理を行う。これらＳ３４０およびＳ３４２での処理について図７を参照して説明する。
Ｓ３４０における判定処理の対象となった輝度画像データＹLが、図７左側に示されるようなヒストグラムを有するものとする。図７左側の例では、閾値ＴＨL3以上の輝度値を有する画素数が閾値ＴＨL4を超している。つまり、最大露光時間ＴLで撮影された、いわばオーバー目の入力画像に対応する輝度画像データＹLが全体として明るめ（飛び気味）となっている場合にＳ３４０での判定が肯定される。このような場合、Ｓ３４２において最大露光時間ＴSを短くする処理が行われる。
その結果、次のサイクルに行われる撮影で得られる入力画像から導出された輝度画像データＹLのヒストグラムは図７右側に示されるようなものとなり、輝度画像データＹLに対応するカラー画像データからはより多くの階調情報を得ることが可能となる。
上記閾値ＴＨL3、ＴＨL4については、撮影状況やデジタルカメラ１００の動作設定等に応じて様々に設定可能であるが、輝度画像データＹL中の輝度値が、低輝度で飽和することがあまりなく（黒つぶれを生じる画素があまりなく）、比較的低い輝度域での画素数が適度に分布する状況のときに（図７右側に例示されるような状況のときに）Ｓ３４０の判定が否定されるように設定することが望ましい。
Ｓ３４０およびＳ３４２の処理は、撮影シーンが大きく変わったり、被写体が大きく移動したりした場合等で、撮影範囲内の低輝度部分が消失した場合に露光量を適切な値に戻すために行われる。
以上、Ｓ３０４、Ｓ３０６、Ｓ３３０、Ｓ３３２、Ｓ３１２、Ｓ３１４、Ｓ３４０、Ｓ３４２で行われる処理が最大・最小露光量決定部２１２での処理に対応する。ところで、こうしたライブビュー表示動作中の露出調節に関して、一般的には画像全体や画像中央部分、あるいは主要被写体が認識されている場合には主要被写体の存在する部分で輝度値の平均をとり、露光量が標準的な値に近づくようにすることが行われる。この点、本実施の形態では、Ｓ３０４、Ｓ３０６、Ｓ３３０、Ｓ３３２の処理によって、最短露光時間ＴSによって得られる入力画像の白飛びを抑制し、Ｓ３１２、Ｓ３１４、Ｓ３４０、Ｓ３４２の処理によって、最長露光時間ＴLによって得られる入力画像の黒つぶれを抑制するのが特徴である。ただし、ここで説明した最大・最小露光量決定の処理は、一例であり、他の方法によってこれら最大露光時間ＴL、最短露光時間ＴSが決定されてもよい。
Ｓ３１６において画像処理部２００は、ライブビュー画像を生成する際に取得する入力画像の枚数ｎ（本例ではｎ＝２）と、記録画像を生成する際に取得する入力画像の枚数ｍとを決定する。枚数ｍについては、例えば以下の式（１）で求めることが可能である。式（１）において、ｉｎｔ｛ ｝は、｛ ｝内の演算結果の小数点以下を切り捨てた整数部の値をとる関数であるものとする。例えば、｛ ｝内の演算結果が３．０であっても、３．９であっても、ｉｎｔ｛ ｝は３となり、したがってｍの値は４となる。

ｍ＝ｉｎｔ｛ｌｏｇ2（ＴL／ＴS）｝＋１ … 式（１）

なお、枚数ｎについては、ｍと同じ値としてもよいし、ｍの半分の値（その値が整数でない場合には小数点以下を切り捨てまたは四捨五入）、あるいはｍ以下の数で、ライブビュー表示動作を円滑に行うことのできる上限の数、といった方法で求めることが可能である。さらには、ｍの値によらず、ｎ＝２に固定されるものであってもよい。
Ｓ３１８において画像処理部２００は、Ｓ３１６で決定されたｎ、ｍの値に応じた露光量制御パラメータＴ1〜Ｔn、Ｔ1〜Ｔmを決定する。以上、Ｓ３１６、Ｓ３１８における処理が画像枚数決定部２１４での処理に対応する。
Ｓ３２０において画像処理部２００は、Ｓ３００およびＳ３０８での処理に対応して得られた２枚の異露光の入力画像を合成し、デモザイク、色補正、階調補正等の処理をしてライブビュー画像を生成する。Ｓ３２０における処理が画像合成部２０４、ライブビュー画像生成部２０６での処理に対応する。
二枚の異露光の入力画像を合成する際には、以下の式（２）を用いて、両入力画像の同じ画素位置の画素同士で画素値を混合することを全画素で行うことにより合成画像を生成することが可能である。式（２）において、ＩLは長露光画像の対応画素位置における画素値、ＩSは短露光画像の対応画素位置における画素値、ＴLは長露光画像を得る際の露光量（露光時間）、ＴSは短露光画像を得る際の露光量（露光時間）である。また、関数ｆ（ＩL）は、短露光画像の画素値ＩLの値に応じて０から１までの間の実数が返される関数であり、いわば画素値ＩL、ＩSを合成（混合）する際の重み付け係数に相当する値を導出する関数である。この関数ｆ（ＩL）については、画素値ＩLを変数とする一次式や高次多項式、あるいは別の計算アルゴリズム等で表されていてもよいし、画像処理部２００内に予め用意されたルックアップテーブルから画素値ＩLに対応するｆ（ＩL）が読み出されるものであってもよい。

合成画素値ＩMIX＝ｆ（ＩL）×（ＴL／ＴS）×ＩS＋｛１−ｆ（ＩL）｝×ＩL
… 式（２）

Ｓ３２２において画像処理部２００は、ライブビュー画像出力部２３０に制御信号を発する。この制御信号を受けたライブビュー画像出力部２３０は、Ｓ３２０で生成されたライブビュー画像を表示装置１１０または電子ビューファインダ１１４に出力する処理を行う。なお、ライブビュー画像出力部２３０は、先にも説明したように、有線または無線のインターフェースを介してデジタルカメラ１００と接続される外部機器にライブビュー画像を出力してもよい。
以下、撮影者によるレリーズボタンの操作や動作モード切替の操作等が検出されるまでの間、上述した処理が繰り返し行われてライブビュー表示動作が行われる。このとき、Ｓ３０４、Ｓ３３０、Ｓ３１２、Ｓ３４０での判定が適宜行われた結果、Ｓ３０６、Ｓ３３２、Ｓ３１４、Ｓ３４２で最小露光時間ＴS、最大露光時間ＴLの値が撮影状況の変化に応じて随時更新され、同じくＳ３１６、Ｓ３１８では画像枚数ｎ、ｍ、露光量制御パラメータＴ1〜Ｔn、Ｔ1〜Ｔmの値が随時更新される。
図８は、上述したライブビュー表示動作が行われる際の動作タイミングを示すタイミングチャートである。図８中、横方向に符号Ｉ、ＩＩ、…、Ｖが示されているが、それぞれがフレーム区間を示している。以下では、フレーム区間Ｉ、フレーム区間ＩＩなどと称して図８中に示される動作を説明する。撮像ＶＤは、撮像制御部２２２から出力される垂直同期信号であり、撮像部２２０で行われる撮影動作や画像処理部２００で行われる処理は、この撮像ＶＤに同期して行われる。出力ＶＤは、撮像ＶＤのタイミングに対して、画像処理部２００での処理による遅延に対応したタイミングで出力される。
各フレーム区間Ｉ、ＩＩ、…のそれぞれにおいて、撮像部２２０で行われる撮影動作（露光動作）を露光１、露光２、…と称する。これらの露光１、露光２、…の後、撮像部２２０読み出される入力画像を入力画像１、入力画像２、…と称する。
フレーム区間Ｉでは、露光１（短露光画像：露光時間ＴS）が行われる。フレーム区間ＩＩでは、露光２（長露光画像：露光時間ＴL）が行われる。このフレーム期間ＩＩにおいて撮像部２２０から出力される入力画像１（露光１の結果得られる入力画像である）は画像保持部２０２内のバッファ１に書き込まれる。
フレーム区間ＩＩＩでは、露光３（短露光画像：露光時間ＴS）が行われる。この露光時間ＴSは、Ｓ３０６またはＳ３３２の処理が行われている場合には、フレーム区間Ｉでの露光時間ＴSと異なったものとなる。このフレーム区間ＩＩＩにおいて撮像部２２０から出力される入力画像２（露光２の結果得られる入力画像である）は画像保持部２０２内のバッファ２に書き込まれる。このとき、データライン１に入力画像２がスルーで出力され、それと同期してバッファ１の入力画像１がデータライン２に出力される。そして、画像合成部２０４で入力画像１と入力画像２とが合成される。入力画像１と入力画像２とが合成された画像をもとに、ライブビュー画像生成部２０６でライブビュー画像が生成され、出力ＶＤに同期してライブビュー画像出力部２３０から出力されて、表示装置１１０等に表示される。
フレーム区間ＩＶでは露光４（長露光画像：露光時間ＴL）が行われる。この露光時間ＴLも、フレーム区間ＩＩＩの露光時間ＴSと同様、Ｓ３１４またはＳ３４２の処理が行われている場合には、フレーム区間ＩＩでの露光時間ＴLと異なったものとなる。このフレーム区間ＩＶにおいて撮像部２２０から出力される入力画像３はバッファ１に書き込まれる。このとき、データライン１に入力画像２がスルーで出力され、それと同期してバッファ２の入力画像２がデータライン２に出力される。そして、画像合成部２０４で入力画像２と入力画像３とが合成される。入力画像２と入力画像３とが合成された画像をもとに、ライブビュー画像生成部２０６でライブビュー画像が生成され、出力ＶＤに同期してライブビュー画像出力部２３０から出力されて、表示装置１１０等に表示される。
フレーム区間Ｖでは露光５（長露光画像：露光時間ＴS）が行われる。この露光時間ＴSも、Ｓ３０６またはＳ３３２の処理が行われている場合には、フレーム区間ＩＩＩでの露光時間ＴSと異なったものとなる。このフレーム区間Ｖにおいて撮像部２２０から出力される入力画像４は画像保持部２０２内のバッファ２に書き込まれる。このとき、データライン１に入力画像４がスルーで出力され、それと同期してバッファ１の入力画像３がデータライン２に出力される。そして、画像合成部２０４で入力画像３と入力画像４とが合成される。入力画像３と入力画像４とが合成された画像をもとに、ライブビュー画像生成部２０６でライブビュー画像が生成され、出力ＶＤに同期してライブビュー画像出力部２３０から出力されて、表示装置１１０等に表示される。
図８のタイミングチャートを参照して以上に説明した処理を行うことにより、複数枚の入力画像の合成を伴うライブビュー表示動作でも、従来の画像合成を伴わないライブビュー表示動作とほぼ同等の遅延でライブビュー画像を出力することが可能となる。その結果、ライブビュー画像の応答性を確保することが可能となる。
続いて、デジタルカメラ１００で本露光が開始され、静止画像記録動作をしている場合における画像処理部２００の動作について再び図２を参照して説明する。静止画像記録動作の開始にあたり、撮像部２２０では同一被写体に対してｍ回の撮影動作が行われて、ｍ枚の異露光の入力画像が生成される。この枚数ｍは、先に説明したとおり、ライブビュー表示動作中に画像枚数決定部２１４で決定される。また、撮像部２２０でｍ回の撮影動作が行われる際の露光時間Ｔ1〜Ｔmは、先にも説明したようにライブビュー表示動作中に画像枚数決定部２１４で決定される。
静止画像記録動作に際しては、画像処理部２００中の画像保持部２０２、画像合成部２０４、記録画像生成部２０８で以下に説明する処理が行われる。
画像保持部２０２は、ｍ回の撮影動作が行われるのに伴って撮像部２２０から逐次出力されるｍ枚の入力画像を記憶する。その後、画像合成部２０４で画像合成の処理が行われる間、画像保持部２０２と画像合成部２０４との間でデータライン１、２、３を介しての入力画像および合成画像の転送が繰り返し行われ、最終的に一つの合成画像が生成される。
図９は、本露光の開始に伴い、画像処理部２００により行われる静止画像記録処理の手順を概略的に説明するフローチャートである。図９に示される処理手順は、ライブビュー表示動作中のデジタルカメラ１００のレリーズボタン１０４が押下されてファーストレリーズスイッチおよびセカンドレリーズスイッチがオンしたときに実行が開始される。なお、ｍは２以上の値をとるものとする。
Ｓ９００において画像処理部２００は、撮像制御部２２２に露光制御パラメータＴCとともに撮影開始の制御信号を発する。その結果、撮像部ではシャッタ秒時ＴCでの撮影動作が行われて（Ｃ＝１〜ｍ）、入力画像が画像保持部２０２に一時的に保存される。Ｓ９０２ではｍ枚の入力画像の取得が完了したか否かの判定が行われる。Ｓ９０２での判定が否定される間、Ｓ９００およびＳ９０２の処理が繰り返し行われて最終的にｍ枚の入力画像が取得され、画像保持部２０２に一時的に保存される。なお、シャッタ秒時ＴCに関しては、Ｃの値が増すにつれてＴCの値も増すものとする。つまり、ｍ回の撮影動作が行われる間、１回目の撮影動作におけるシャッタ秒時が最短のシャッタ秒時であるものとする。Ｓ９０２の判定が肯定されると処理はＳ９０４に進む。
Ｓ９０４において画像処理部２００は、入力画像Ｉ１およびＩ２をそれぞれデータライン１、データライン２に出力し、合成画像を生成する。合成に際しては式（２）を用いることが可能である。Ｓ９０４での処理が画像合成部２０４での処理に対応する。Ｓ９０６において画像処理部２００は、入力画像の枚数ｍが３以上であるか否かの判定をし、この判定が肯定されるとＳ９０８に進む一方、否定されるとＳ９１６に進む。すなわち、入力画像の枚数ｍが２（Ｓ９０６：いいえ）であるときには、Ｓ９０４での処理で画像合成は完了するので、Ｓ９０８からＳ９１４までの処理をスキップする。
Ｓ９０６の判定が肯定された場合、つまり入力画像の枚数ｍは３以上であると判定されたときの分岐先であるＳ９０８において画像処理部２００は、ループカウンタＣの初期値として３を代入する。
Ｓ９１０において画像処理部２００は、以前の合成処理で得られた合成画像と入力画像ＩCとを合成し、それを新たな合成画像とする。Ｓ９１０での処理もまた、画像合成部２０４での動作に対応する。このとき、以前の合成処理で得られた合成画像は、データライン３を介して画像保持部２０２に書き戻され、この合成画像と入力画像ＩCとがデータライン１、２を介して再び画像合成部２０４に出力されて合成処理が行われる。この際にも式（２）を用いての合成が可能である。なお、以前の合成処理で得られた合成画像（入力画像Ｉ1、Ｉ2、…ＩC-1を合成した画像）と入力画像ＩCとを合成する際には、ＴL＝ＴC、ＴS＝ＴC-1、入力画像Ｉ1、Ｉ2、…ＩC-1を合成した画像の画素値をＩS、入力画像ＩCの画素値をＩLとすればよい。
Ｓ９１２において画像処理部２００はループカウンタＣをインクリメントする（Ｃの値を一つ増す）。Ｓ９１４では、ループカウンタＣの値が入力画像の枚数ｍを超すか否かの判定がなされ、この判定が否定される間、Ｓ９１０からＳ９１４の処理が繰り返し行われて、すべての入力画像が合成される。
なお、先にも説明したように、デジタルカメラ１００が手で保持されていたり、被写体が動体であったりする場合、２枚の入力画像間で像のずれを生じる可能性がある。その場合には、Ｓ９０４、Ｓ９１０の画像合成処理に際してパターンマッチングの技術を用いての画像の切り出し、貼り付け等の処理を行い、合成画像に破綻をきたすことの無いようにすることが望ましい。
以上に説明したＳ９０４からＳ９１４までの処理について入力画像の枚数ｍが４である場合を例に具体的に説明する。Ｉ1、Ｉ2、Ｉ3、Ｉ4の入力画像が取得されて、画像保持部２０２に一時的に保存されているものとする。Ｓ９０４において、入力画像Ｉ1および入力画像Ｉ2がそれぞれデータライン１、データライン２を介して画像保持部２０２から画像合成部２０４に出力され、合成画像（この画像を合成画像Ｉ12と称する）が生成される。ｍ＝４であるのでＳ９０６の判定は肯定され、Ｓ９０８の処理が行われた後、Ｓ９１０の処理が行われる。
Ｓ９１０では、合成画像Ｉ12がデータライン３を介して画像合成部２０４から画像保持部２０２に書き戻される。続いて、合成画像Ｉ12と入力画像Ｉ3とがそれぞれデータライン１、データライン２を介して画像合成部２０４に出力され、合成画像（この画像を合成画像Ｉ123と称する）が生成される。
Ｓ９１２でループカウンタＣがインクリメントされて４となる。つまり、Ｃ＝ｍであるので、Ｓ９１４の判定は否定されてＳ９１０の処理が再度行われる。このとき、合成画像Ｉ123がデータライン３を介して画像合成部２０４から画像保持部２０２に書き戻される。続いて、合成画像Ｉ123と入力画像Ｉ4とがそれぞれデータライン１、データライン２を介して画像合成部２０４に出力され、合成画像（この画像を合成画像Ｉ1234と称する）が生成される。
Ｓ９１２でループカウンタＣがインクリメントされて５となる。その結果、Ｓ９１４での判定が肯定されて処理はＳ９１６に分岐する。すなわち、４枚の入力画像Ｉ1、Ｉ2、Ｉ3、Ｉ4を合成した合成画像Ｉ1234が最終的に得られる。以上のＳ９０４からＳ９１４までの処理が行われる間、表示装置１１０等に、合成過程にある画像をリサイズして表示してもよいし、画像合成処理中であることを撮影者に告知する表示等をしてもよい。
Ｓ９１６以降の処理について説明する。画像処理部２００はＳ９０４からＳ９１４までの処理で生成された合成画像を、Ｓ９１６において現像し、ホワイトバランス、色相、明度、コントラスト、アンシャープマスク等の処理を施し、記録画像を生成する。
Ｓ９１８で画像処理部２００は、Ｓ９１６の処理で得られた記録画像をもとにポストビュー画像を生成し、表示装置１１０等に表示する。画像処理部２００はＳ９２０において、記録画像を圧縮する処理をして画像記録部２４０に記録する。以上のＳ９１６からＳ９２０までの処理が、記録画像生成部２０８での処理に対応する。なお、Ｓ９２０での圧縮処理は必須ではなく、非圧縮の記録画像を画像記録部２４０に記録してもよい。また、Ｓ９１６で現像処理をする前の合成画像を、いわゆるＲＡＷ画像として画像記録部２４０に記録してもよい。このとき、ＲＡＷ画像は、単独で記録されても、Ｓ９１６で生成され、Ｓ９２０で圧縮された記録画像とともに記録されてもよい。
以上に説明したように、本実施の形態に係るデジタルカメラ１００によれば、被写体のより広い輝度域に対応して階調を再現可能な記録画像を得ることが可能であるのに加えて、複数の異露光の入力画像に基づいてダイナミックレンジの拡大されたライブビュー画像を表示することが可能となる。したがって、撮影者は実際に撮影して得られる画像の仕上がりを、ライブビュー画像を観て予想することが可能となるので、作画意図に応じて露出補正等をより的確に行うことが可能となる。
このとき、ライブビュー表示動作に際して得る異露光の入力画像の枚数ｎを、静止画像記録動作に際して得る異露光の入力画像の枚数ｍよりも少なくすることにより、ライブビュー画像の表示や自動焦点調節の応答性を維持可能となる。さらに、ｎ＝２に固定し、図８を参照して説明したように、短露光画像、長露光画像が交互に得られる状況で、最新の入力画像（長露光画像または短露光画像）と一つ前のタイミングで得られた入力画像（短露光画像または長露光画像）とから一つのライブビュー画像を生成することを繰り返し行うことにより、従来のライブビュー画像に比べて遜色のない追従性を得ることが可能となる。
つまり、短露光、長露光の２枚の入力画像が得られるのを待って、それから合成処理をして一つのライブビュー画像を生成するのではなく、いわばインターリーブの方式で短露光画像、長露光画像を合成してライブビュー画像を生成することを繰り返す。すなわち、最新の入力画像と一つ前のタイミングで得られた入力画像とを合成するようにして、短露光画像＋長露光画像、長露光画像＋短露光画像というように合成してライブビュー画像を生成する。このようにして、画像処理部２００の処理能力（ハードウェアの規模）を大幅に増すことなく、撮像部２２０での撮像フレームレートと同等のフレームレートでライブビュー画像の表示更新をすることが可能となる。
− 第２の実施の形態 −
以上に説明した第１の実施の形態では、ライブビュー動作時、撮像部２２０はモニタリングモードで作動しており、その際に撮像素子１０２内で画素加算または画素間引きの読み出しが行われて入力画像の画素数が減じられるものであった。これに対し、第２の実施の形態ではライブビュー表示動作中も撮像素子で画素加算や画素間引きは行われずに読み出されて入力画像が得られる例について説明する。
図１０は第２の実施の形態に係るデジタルカメラの内部構成を概略的に説明するブロック図である。図１０において、図２に示されるものと同様の構成要素には同じ符号を付してその説明を省略し、第１の実施の形態との差異を中心に説明をする。
撮像部２２０Ａは、撮像素子１０２Ａを備える点が第１の実施の形態の撮像部２２０と異なる。撮像素子１０２Ａは、ライブビュー表示動作が行われる際にも画素加算や画素間引きを行うことなく信号を読み出し可能に構成される。例えば、撮像素子１０２Ａの全画素数が比較的少ないものや、撮像素子１０２Ａから画像処理部２００Ａへの信号の転送速度が比較的高速であるものを用いることにより、第２の実施の形態のデジタルカメラを実施可能である。以下では第２の実施の形態に係るデジタルカメラをデジタルカメラ１００Ａと称する。
画像処理部２００Ａは、第１の実施の形態の画像処理部２００に備えられる構成要素をすべて備えるのに加えて、画素加算処理部２５０を備える。撮像部２２０Ａと画素加算処理部２５０、そして画素加算処理部２５０と画像保持部２０２とがデータラインによって接続されている。
画素加算処理部２５０は、デジタルカメラ１００Ａがライブビュー表示動作をしているときに、撮像部２２０Ａから逐次得られる比較的高画素の入力画像に画素加算の処理をして画素数を減じる。その結果、画像合成部２０４で画像合成が行われる際の処理負荷を、第１の実施の形態における画像合成部２０４と同等とすることが可能となる。一方、静止画像記録動作中は、撮像部２２０Ａから得られた入力画像に画素加算処理をすることなく、画像保持部２０２に出力して保存する。
図１０では、図２に示されるものと同様、撮像部２２０Ａと輝度分布導出部２１０とがデータラインで接続される例が示されている。これに代えて、画素加算処理部２５０の出力側と輝度分布導出部２１０とがデータラインで接続され、画素数の減じられた入力画像が輝度分布導出部２１０に入力されるようにしてもよい。
以上に説明した以外、デジタルカメラ１００Ａで行われるライブビュー表示動作および静止画像記録動作は第１の実施の形態のデジタルカメラ１００と同様であるのでその説明を省略する。
第２の実施の形態によれば、ライブビュー表示動作中、撮像素子１０２Ａのハードウェア構成に依存しない画素数の入力画像を合成してライブビュー画像を生成することが可能となる。一般に、撮像素子の側で間引き読み出しや画素加算読み出しを行う場合、読み出し可能な画像サイズ（読み出し画素数）は撮像素子のハードウェア構成（仕様）に依存する。この点、第２の実施の形態によれば、撮像部２２０Ａから得られたより高画素の入力画像を画素加算処理部２５０で画素加算するので、画素加算処理部２５０の内部での画素加算方法を変更することにより、入力画像の画素数を様々に変更可能である。
以上、第１、第２の実施の形態で説明した撮像装置は、デジタルスチルカメラだけでなく、静止画像を記録可能なムービーカメラとすることも可能である。また、携帯電話やＰＤＡ、可搬型コンピュータ等に内蔵されるカメラに本発明を適用することも可能である。さらに、顕微鏡用撮影装置や、内視鏡画像を記録する装置などに本発明を適用することも可能である。
１００、１００Ａ … デジタルカメラ
１０２、１０２Ａ … 撮像素子
１０４ … レリーズボタン
１１０ … 表示装置
１１４ … 電子ビューファインダ
２００、２００Ａ … 画像処理部
２０２ … 画像保持部
２０４ … 画像合成部
２０６ … ライブビュー画像生成部
２０８ … 記録画像生成部
２１０ … 輝度分布導出部
２１２ … 最大・最小露光量決定部
２１４ … 画像枚数決定部
２２０、２２０Ａ … 撮像部
２２２ … 撮像制御部
２３０ … ライブビュー画像出力部
２４０ … 画像記録部
２５０ … 画素加算処理部

Claims (11)

  1. 同一被写体を撮影して露光量の異なる複数枚のセットの入力画像を得ることが可能に構成される撮像部と、
    前記露光量の異なる複数枚のセットの入力画像から合成画像を生成する画像合成部と、
    ライブビュー表示動作中に、前記撮像部から得られる露光量の異なるｎ枚のセット（ｎは２以上の整数）の入力画像を前記画像合成部で合成して生成された合成画像をもとにライブビュー画像を出力するライブビュー画像出力部と、
    本撮影時に、前記撮像部から得られる露光量の異なるｍ枚のセット（ｍは２以上の整数）の入力画像を前記画像合成部で合成して生成された合成画像をもとに記録画像を生成する、記録画像生成部と
    を備え、
    前記撮像部は、画素加算読み出しが可能に構成され、前記ライブビュー画像出力部は、前記ライブビュー表示動作中に前記画素加算読み出しの方式で読み出されて得られる前記ｎ枚のセットの入力画像を前記画像合成部で合成して生成された合成画像をもとに前記ライブビュー画像を出力することを特徴とする撮像装置。
  2. 同一被写体を撮影して露光量の異なる複数枚のセットの入力画像を得ることが可能に構成される撮像部と、
    前記露光量の異なる複数枚のセットの入力画像から合成画像を生成する画像合成部と、
    ライブビュー表示動作中に、前記撮像部から得られる露光量の異なるｎ枚のセット（ｎは２以上の整数）の入力画像を前記画像合成部で合成して生成された合成画像をもとにライブビュー画像を出力するライブビュー画像出力部と、
    本撮影時に、前記撮像部から得られる露光量の異なるｍ枚のセット（ｍは２以上の整数）の入力画像を前記画像合成部で合成して生成された合成画像をもとに記録画像を生成する、記録画像生成部と、
    前記撮像部から得られる入力画像に画素加算の処理をして画素数を減じる画素加算処理部と、
    を備え、
    前記ライブビュー画像出力部は、前記ライブビュー表示動作中に、前記撮像部から得られる露光量の異なる前記ｎ枚のセットの入力画像のそれぞれが前記画素加算処理部で画素数が減じられた後、前記画像合成部で合成されて生成された合成画像をもとに前記ライブビュー画像を出力することを特徴とする撮像装置。
  3. 同一被写体を撮影して露光量の異なる複数枚のセットの入力画像を得ることが可能に構成される撮像部と、
    前記露光量の異なる複数枚のセットの入力画像から合成画像を生成する画像合成部と、
    ライブビュー表示動作中に、前記撮像部から得られる露光量の異なるｎ枚のセット（ｎは２以上の整数）の入力画像を前記画像合成部で合成して生成された合成画像をもとにライブビュー画像を出力するライブビュー画像出力部と、
    本撮影時に、前記撮像部から得られる露光量の異なるｍ枚のセット（ｍは２以上の整数）の入力画像を前記画像合成部で合成して生成された合成画像をもとに記録画像を生成する、記録画像生成部と
    を備え、
    前記ライブビュー表示動作中に前記撮像部から得られる前記ｎ枚のセットの入力画像に基づき、前記本撮影に際して前記撮像部から得る際の前記複数枚のセットの入力画像の枚数ｍを決定する画像枚数決定部をさらに備える
    ことを特徴とする撮像装置。
  4. 前記画像枚数決定部はさらに、前記ライブビュー表示動作中に前記撮像部から得られる前記ｎ枚のセットの入力画像に基づき、以降のタイミングで行われるライブビュー表示動作に際して前記撮像部で得る入力画像の新たな枚数ｎを決定する
    ことを特徴とする請求項３に記載の撮像装置。
  5. 前記ライブビュー表示動作中に前記撮像部から得られる前記ｎ枚のセットの入力画像それぞれに対応して前記被写体の輝度分布を評価するための評価用データを導出する輝度分布導出部と、
    前記評価用データを評価し、当該評価結果に基づいて、前記本撮影に際して前記撮像部で前記同一被写体を撮影して露光量の異なる複数枚のセットの入力画像を得る際に設定される露光量のうち、最大露光量と最小露光量とを決定する最大・最小露光量決定部と
    をさらに備えることを特徴とする請求項１から４のいずれか一つに記載の撮像装置。
  6. 前記輝度分布導出部は、前記ライブビュー表示動作中に前記撮像部から得られる前記ｎ枚のセットの入力画像それぞれに対応して、前記ｎ枚のセットの入力画像のそれぞれが有する画素数よりも少ない画素数で構成される輝度画像データを前記評価用データとして生成する
    ことを特徴とする請求項５に記載の撮像装置。
  7. 前記最大・最小露光量決定部は、前記評価用データ中、最も少ない露光量で得られた入力画像に対応して生成された評価用データの評価結果に基づいて前記最小露光量を決定し、最も多い露光量で得られた入力画像に対応して生成された評価用データの評価結果に基づいて前記最大露光量を決定する
    ことを特徴とする請求項５または６に記載の撮像装置。
  8. 前記最大・最小露光量決定部は、前記評価用データのうち、最も少ない露光量で得られた入力画像に対応して導出された評価用データ中、第１の閾値以上の輝度を有する領域の占める割合が第２の閾値以下となるように前記最小露光量を決定する
    ことを特徴とする請求項５から７のいずれか一つに記載の撮像装置。
  9. 前記最大・最小露光量決定部は、前記評価用データのうち、最も多い露光量で得られた入力画像に対応して導出された評価用データ中、第３の閾値以下の輝度を有する領域の占める割合が第４の閾値以下となるように前記最大露光量を決定する
    ことを特徴とする請求項５から８のいずれか一つに記載の撮像装置。
  10. 前記ｎの値が２に固定されることを特徴とする請求項１から９のいずれか一つに記載の撮像装置。
  11. 前記ライブビュー画像出力部は、前記ライブビュー画像を表示可能に構成される表示装置を備える
    ことを特徴とする請求項１から１０のいずれか一つに記載の撮像装置。
JP2011085238A 2011-04-07 2011-04-07 撮像装置 Active JP5701664B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011085238A JP5701664B2 (ja) 2011-04-07 2011-04-07 撮像装置
US13/438,074 US8723974B2 (en) 2011-04-07 2012-04-03 Image pickup apparatus, image pickup method and recording device recording image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011085238A JP5701664B2 (ja) 2011-04-07 2011-04-07 撮像装置

Publications (2)

Publication Number Publication Date
JP2012222540A JP2012222540A (ja) 2012-11-12
JP5701664B2 true JP5701664B2 (ja) 2015-04-15

Family

ID=46965820

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011085238A Active JP5701664B2 (ja) 2011-04-07 2011-04-07 撮像装置

Country Status (2)

Country Link
US (1) US8723974B2 (ja)
JP (1) JP5701664B2 (ja)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012105141A (ja) * 2010-11-11 2012-05-31 Canon Inc 画像処理装置及びその制御方法
JP2013005017A (ja) * 2011-06-13 2013-01-07 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
CN104335569B (zh) * 2012-06-11 2017-08-25 索尼电脑娱乐公司 图像生成设备以及图像生成方法
CN102970549B (zh) * 2012-09-20 2015-03-18 华为技术有限公司 图像处理方法及装置
KR20140089672A (ko) * 2013-01-04 2014-07-16 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
US9568713B2 (en) 2013-01-05 2017-02-14 Light Labs Inc. Methods and apparatus for using multiple optical chains in parallel to support separate color-capture
JP6168879B2 (ja) * 2013-06-27 2017-07-26 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及びプログラム
TWI464526B (zh) * 2013-08-08 2014-12-11 Quanta Comp Inc 高動態範圍影像曝光時間控制方法
US9374514B2 (en) 2013-10-18 2016-06-21 The Lightco Inc. Methods and apparatus relating to a camera including multiple optical chains
US9197816B2 (en) 2013-10-18 2015-11-24 The Lightco Inc. Zoom related methods and apparatus
US9557520B2 (en) 2013-10-18 2017-01-31 Light Labs Inc. Synchronized image capture methods and apparatus
US9467627B2 (en) 2013-10-26 2016-10-11 The Lightco Inc. Methods and apparatus for use with multiple optical chains
US9736365B2 (en) 2013-10-26 2017-08-15 Light Labs Inc. Zoom related methods and apparatus
US9686471B2 (en) 2013-11-01 2017-06-20 Light Labs Inc. Methods and apparatus relating to image stabilization
KR20150051085A (ko) * 2013-11-01 2015-05-11 삼성전자주식회사 하이 다이나믹 레인지 영상을 표시하는 방법 및 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 디지털 영상 처리 장치.
US9172869B2 (en) * 2013-12-04 2015-10-27 Omnivision Technologies, Inc. Image data aggregating high dynamic range imaging systems and associated methods
US9554031B2 (en) 2013-12-31 2017-01-24 Light Labs Inc. Camera focusing related methods and apparatus
US9979878B2 (en) 2014-02-21 2018-05-22 Light Labs Inc. Intuitive camera user interface methods and apparatus
US20150244949A1 (en) 2014-02-21 2015-08-27 Rajiv Laroia Illumination methods and apparatus
CN104917973B (zh) * 2014-03-11 2019-03-05 宏碁股份有限公司 动态曝光调整方法及其电子装置
US9106820B1 (en) * 2014-03-18 2015-08-11 Here Global B.V. Multi-stage trigger for capturing video images
EP3128740B1 (en) * 2014-03-31 2020-04-01 Sony Corporation Image-capturing device, method for outputting image data, and program
EP3164831A4 (en) 2014-07-04 2018-02-14 Light Labs Inc. Methods and apparatus relating to detection and/or indicating a dirty lens condition
US10110794B2 (en) 2014-07-09 2018-10-23 Light Labs Inc. Camera device including multiple optical chains and related methods
WO2016055090A1 (en) * 2014-10-06 2016-04-14 Leica Microsystems (Schweiz) Ag Microscope and method for obtaining a high dynamic range synthesized image of an object
US9912865B2 (en) 2014-10-17 2018-03-06 Light Labs Inc. Methods and apparatus for supporting burst modes of camera operation
WO2016100756A1 (en) 2014-12-17 2016-06-23 The Lightco Inc. Methods and apparatus for implementing and using camera devices
US9544503B2 (en) 2014-12-30 2017-01-10 Light Labs Inc. Exposure control methods and apparatus
US9824427B2 (en) 2015-04-15 2017-11-21 Light Labs Inc. Methods and apparatus for generating a sharp image
US10091447B2 (en) 2015-04-17 2018-10-02 Light Labs Inc. Methods and apparatus for synchronizing readout of multiple image sensors
US10075651B2 (en) 2015-04-17 2018-09-11 Light Labs Inc. Methods and apparatus for capturing images using multiple camera modules in an efficient manner
US9857584B2 (en) 2015-04-17 2018-01-02 Light Labs Inc. Camera device methods, apparatus and components
US9967535B2 (en) 2015-04-17 2018-05-08 Light Labs Inc. Methods and apparatus for reducing noise in images
WO2016172641A1 (en) 2015-04-22 2016-10-27 The Lightco Inc. Filter mounting methods and apparatus and related camera apparatus
US10129483B2 (en) 2015-06-23 2018-11-13 Light Labs Inc. Methods and apparatus for implementing zoom using one or more moveable camera modules
US10491806B2 (en) 2015-08-03 2019-11-26 Light Labs Inc. Camera device control related methods and apparatus
US10365480B2 (en) 2015-08-27 2019-07-30 Light Labs Inc. Methods and apparatus for implementing and/or using camera devices with one or more light redirection devices
US9749549B2 (en) 2015-10-06 2017-08-29 Light Labs Inc. Methods and apparatus for facilitating selective blurring of one or more image portions
US10003738B2 (en) 2015-12-18 2018-06-19 Light Labs Inc. Methods and apparatus for detecting and/or indicating a blocked sensor or camera module
US10225445B2 (en) 2015-12-18 2019-03-05 Light Labs Inc. Methods and apparatus for providing a camera lens or viewing point indicator
US10306218B2 (en) 2016-03-22 2019-05-28 Light Labs Inc. Camera calibration apparatus and methods
US9948832B2 (en) 2016-06-22 2018-04-17 Light Labs Inc. Methods and apparatus for synchronized image capture in a device including optical chains with different orientations
US11056518B2 (en) * 2016-08-18 2021-07-06 Sony Corporation Imaging apparatus and imaging method
JP6935272B2 (ja) * 2017-08-29 2021-09-15 キヤノン株式会社 ハイダイナミックレンジ画像を作成する装置、方法、及びプログラム
CN114208144A (zh) * 2019-07-31 2022-03-18 麦克赛尔株式会社 摄像装置、便携终端和曝光控制方法
US11100664B2 (en) 2019-08-09 2021-08-24 Google Llc Depth-aware photo editing
US11333829B2 (en) 2019-11-22 2022-05-17 Karl Storz Imaging, Inc. Medical imaging device with split image on common image sensor
CN116034002A (zh) * 2020-08-11 2023-04-28 发那科株式会社 图像处理装置和机器人控制装置
JP2022135222A (ja) * 2021-03-05 2022-09-15 キヤノン株式会社 撮像装置、撮像装置の制御方法、及びプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3084189B2 (ja) 1993-06-29 2000-09-04 株式会社豊田中央研究所 撮像装置
JP4869474B2 (ja) 2000-10-26 2012-02-08 オリンパス株式会社 撮像装置
JP4905187B2 (ja) * 2007-03-09 2012-03-28 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム
US8599282B2 (en) * 2007-04-26 2013-12-03 Samsung Electronics Co., Ltd. Method and apparatus for generating image
JP2009284136A (ja) 2008-05-21 2009-12-03 Nikon Corp 電子カメラ
KR101080427B1 (ko) * 2009-08-31 2011-11-04 삼성전자주식회사 전자셔터를 이용하여 영상의 동적 범위를 향상시키는 방법 및 그 장치
KR20110076729A (ko) * 2009-12-18 2011-07-06 삼성전자주식회사 전자 셔터를 이용한 다단계 노출 이미지 획득 방법 및 이를 이용한 촬영 장치
US8606009B2 (en) * 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
JP5432799B2 (ja) * 2010-03-30 2014-03-05 オリンパスイメージング株式会社 撮像装置、撮像システム、撮像方法
JP2011254125A (ja) * 2010-05-31 2011-12-15 Sony Corp 画像処理装置、カメラシステム、画像処理方法、およびプログラム
US8462221B2 (en) * 2010-11-03 2013-06-11 Eastman Kodak Company Method for producing high dynamic range images
TWI433533B (zh) * 2010-11-22 2014-04-01 Altek Corp 影像擷取裝置及其影像合成方法
US8711248B2 (en) * 2011-02-25 2014-04-29 Microsoft Corporation Global alignment for high-dynamic range image generation
JP5713752B2 (ja) * 2011-03-28 2015-05-07 キヤノン株式会社 画像処理装置、及びその制御方法

Also Published As

Publication number Publication date
JP2012222540A (ja) 2012-11-12
US20120257077A1 (en) 2012-10-11
US8723974B2 (en) 2014-05-13

Similar Documents

Publication Publication Date Title
JP5701664B2 (ja) 撮像装置
JP3551123B2 (ja) 電子カメラ
TWI524709B (zh) 影像擷取設備、影像擷取設備之控制方法及電子裝置
US7509042B2 (en) Digital camera, image capture method, and image capture control program
TWI661727B (zh) 控制裝置、控制方法及電子機器
US9118854B2 (en) Methods and apparatus for providing optical black compensation of added images
JP5622513B2 (ja) 画像処理装置、画像処理方法、および撮像装置
JP5123137B2 (ja) 撮像装置および撮像方法
KR20110052507A (ko) 촬상장치 및 촬상방법
US8786728B2 (en) Image processing apparatus, image processing method, and storage medium storing image processing program
JP2017108309A (ja) 撮像装置および撮像方法
JP3999321B2 (ja) 電子カメラ
US20170318208A1 (en) Imaging device, imaging method, and image display device
JP5620196B2 (ja) 撮像装置
JP2013090095A (ja) 撮像装置、撮像方法、およびプログラム
JP6148497B2 (ja) 画像処理装置及び画像処理方法、プログラム並びに記憶媒体
JP2014060578A (ja) 撮像装置
JPWO2006103880A1 (ja) 撮像装置
JP2009118052A (ja) 画像信号処理方法及び装置
JP5310331B2 (ja) 撮像装置および撮像方法
JP2006080960A (ja) 撮像装置および撮像方法
KR101298638B1 (ko) 디지털 영상 처리 방법
JP2004128558A (ja) 撮像装置
JP5145876B2 (ja) 撮像装置および撮像方法
JP5091734B2 (ja) 撮像装置および撮像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150218

R151 Written notification of patent or utility model registration

Ref document number: 5701664

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250