JP2011205546A - 撮影装置、画像合成方法及び画像合成プログラム - Google Patents

撮影装置、画像合成方法及び画像合成プログラム Download PDF

Info

Publication number
JP2011205546A
JP2011205546A JP2010072718A JP2010072718A JP2011205546A JP 2011205546 A JP2011205546 A JP 2011205546A JP 2010072718 A JP2010072718 A JP 2010072718A JP 2010072718 A JP2010072718 A JP 2010072718A JP 2011205546 A JP2011205546 A JP 2011205546A
Authority
JP
Japan
Prior art keywords
image
images
exposure
exposure value
photographing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010072718A
Other languages
English (en)
Inventor
Tsuyoshi Hagiwara
強 萩原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2010072718A priority Critical patent/JP2011205546A/ja
Priority to PCT/JP2011/001227 priority patent/WO2011118134A1/ja
Publication of JP2011205546A publication Critical patent/JP2011205546A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3871Composing, repositioning or otherwise geometrically modifying originals the composed originals being of different kinds, e.g. low- and high-resolution originals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/587Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】被写体の位置ずれを最小限にし、ユーザの納得を得られる合成画像を生成するとともに、ユーザの納得を得られる露出条件の合成画像を提供すること。
【解決手段】撮影部103は、画像毎にオーバー露出とアンダー露出とを交互に繰り返すとともに、画像毎に異なる露出値を設定して複数枚の画像を撮影する。メモリ107は、撮影部103により撮影した画像を順次記憶する。ダイナミックレンジ拡大合成処理部108は、メモリ107に記憶した画像を順次合成する。表示部110は、ダイナミックレンジ拡大合成処理部108により合成した合成画像を表示する。
【選択図】図1

Description

本発明は、撮影装置、画像合成方法及び画像合成プログラムに関し、特に露出を変化させながら複数枚の画像を撮影して合成する撮影装置、画像合成方法及び画像合成プログラムに関する。
従来、撮影条件を変えた複数の画像を合成して、ダイナミックレンジの拡張及び好ましい階調表現を実現する撮影装置が知られている(例えば、特許文献1)。
特許文献1の撮影装置は、被写界を測光する測光部と、測光部による測光値の最小値から最大値までの幅を、複数回の撮影によりカバーする撮影条件を決定する決定部と、撮影条件に従って被写体像を複数回撮影して複数の画像を生成する撮影部とを具備する。そして、撮影部により撮影したn枚の画像は記録部に記録され、記録されたn枚の画像は適宜合成される。これにより、特許文献1では、ダイナミックレンジが拡張され、かつ、好ましい階調表現の画像を生成することができる。
特開2009−27622号公報
しかしながら、特許文献1においては、合成する画像の各々の撮影タイミングの間隔が長い場合には被写体の位置ずれが生じ、ユーザの納得を得られる合成画像を生成することが困難であるという問題がある。また、特許文献1においては、n枚の画像における露出条件のバリエーションが少ない場合には、ユーザの納得を得られる露出条件の合成画像を提供することが困難であるという問題がある。
本発明の目的は、被写体の位置ずれを最小限にすることができ、ユーザの納得を得られる合成画像を生成することができるとともに、ユーザの納得を得られる露出条件の合成画像を提供することができる撮影装置、画像合成方法及び画像合成プログラムを提供することである。
本発明の撮影装置は、画像毎にオーバー露出とアンダー露出とを交互に繰り返すとともに、画像毎に異なる可変露出値を設定して複数枚の画像を撮影する撮影手段と、前記撮影手段により撮影した画像を順次記憶する記憶手段と、前記記憶手段に記憶した画像を順次合成する合成手段と、前記合成手段により合成した合成画像を表示する表示手段と、を具備する構成を採る。
本発明の画像合成方法は、撮影した画像を合成する撮影装置における画像合成方法であって、画像毎にオーバー露出とアンダー露出とを交互に繰り返すとともに、画像毎に異なる可変露出値を設定して複数枚の画像を撮影するステップと、前記撮影した画像を順次記憶するステップと、前記記憶した画像を順次合成するステップと、を具備するようにした。
本発明の画像合成プログラムは、コンピュータに、画像毎にオーバー露出とアンダー露出とを交互に繰り返すとともに、画像毎に異なる可変露出値を設定して複数枚の画像を撮影するステップと、前記撮影した画像を順次記憶するステップと、前記記憶した画像を順次合成するステップと、を実行させるようにした。
本発明によれば、被写体の位置ずれを最小限にすることができ、ユーザの納得を得られる合成画像を生成することができるとともに、ユーザの納得を得られる露出条件の合成画像を提供することができる。
本発明の実施の形態に係る撮影装置の構成を示すブロック図 本発明の実施の形態に係る画像合成方法を示すフロー図 本発明の実施の形態に係る連写による撮影の際の露出設定方法を示す図
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
(実施の形態)
図1は、本発明の実施の形態に係る撮影装置100の構成を示すブロック図である。
撮影装置100は、適正露出決定部101と、露出補正部102と、撮影部103と、事前露出補正値決定部104と、カメラ画像取込制御部105と、メモリ106と、メモリ107と、ダイナミックレンジ拡大合成処理部108と、メモリ109と、表示部110とから主に構成される。また、撮影手段であるカメラ部150は、適正露出決定部101と、露出補正部102と、撮影部103とを含む。以下に、各構成について、詳細に説明する。
適正露出決定部101は、適正露出値を決定し、決定した適切露出値を露出補正部102へ出力する。
露出補正部102は、カメラ画像取込制御部105から入力した露出補正値を設定する。また、露出補正部102は、設定した露出補正値と、適正露出決定部101から入力した適正露出値とに基づいて、撮影部103における連写による撮影時の露出を、画像毎に逐次変化させる制御を行う。
撮影部103は、露出補正部102の制御に従って、オーバー露出とアンダー露出とを画像毎に交互に繰り返すとともに、画像毎に異なる露出値を設定することにより、露出値を逐次変化させて複数枚の画像を撮影する。また、撮影部103は、撮影した画像をカメラ画像取込制御部105へ出力する。ここで、オーバー露出とは、適正露出以上の露出を意味する。また、アンダー露出とは、適正露出以下の露出を意味する。
事前露出補正値決定部104は、連写撮影枚数分の露出補正値を各々決定する。そして、事前露出補正値決定部104は、決定した露出補正値をカメラ画像取込制御部105へ出力する。
カメラ画像取込制御部105は、事前露出補正値決定部104から露出補正値を取得して露出補正部102へ出力する。また、カメラ画像取込制御部105は、撮影部103において撮影した画像を取り込んで、メモリ106及びメモリ107へ出力する。この際、カメラ画像取込制御部105は、適正露出により撮影した画像を、プレビュー用画像データ1gとして取り込んでメモリ106へ出力する。
メモリ106は、カメラ画像取込制御部105から入力した画像を、プレビュー用画像データ1gとして記憶する。
メモリ107は、カメラ画像取込制御部105から入力した複数枚の画像を、ダイナミックレンジ拡大合成用画像群1iとして順次記憶する。メモリ107に記憶されたダイナミックレンジ拡大合成用画像群1iは、撮影した時間順に管理される。
ダイナミックレンジ拡大合成処理部108は、メモリ107に記憶した2枚の画像を、時間順に順次合成するダイナミックレンジ拡大合成処理を実施する。そして、ダイナミックレンジ拡大合成処理部108は、ダイナミックレンジ拡大合成処理後の合成画像をメモリ109へ出力する。
メモリ109は、ダイナミックレンジ拡大合成処理部108から入力した複数の合成画像を、ダイナミックレンジ拡大合成画像群1lとして記憶する。
表示部110は、メモリ106に記憶しているプレビュー用画像データ1gの画像をプレビュー画像として表示する。また、表示部110は、メモリ109に記憶しているダイナミックレンジ拡大合成画像群1lの各合成画像を表示する。
以上で、撮影装置100の構成の説明を終える。
次に、撮影装置100における画像合成方法について、図2を用いて説明する。図2は、画像合成方法を示すフロー図である。
最初に、事前露出補正値決定部104は、オーバー露出の最大露出値及びアンダー露出の最大露出値を決定する(ステップST201)。また、適正露出決定部101は、適正露出を決定する。
また、事前露出補正値決定部104は、ステップST201において決定した最大露出値に基づいて、撮影枚数(N(Nは1以上の任意の自然数)+1枚)分の露出補正値を各々決定する(ステップST202)。
次に、露出補正部102は、ステップST202において決定した露出補正値と適正露出値とに基づいて撮影部103における連写時の露出を制御する。そして、撮影部103は、露出補正部102の制御に従って露出値を設定し、撮影枚数分の連写撮影を実施する(ステップST203)。
次に、ダイナミックレンジ拡大合成処理部108は、撮影した時間順に従って2枚の画像を合成するダイナミックレンジ拡大合成処理をN回実施する(ステップST204)。
以上で、撮影装置100における画像合成方法の説明を終える。
次に、連写による撮影の際の露出設定方法について、図3を用いて説明する。図3は、連写による撮影の際の露出設定方法を示す図である。
図3では、連写による撮影枚数を6枚とする。また、図3では、平均露出値3cを0EV(Exposure Value)とする。また、図3では、オーバー露出の最大露出値3a(+2EV)と、アンダー露出の最大露出値3b(−2EV)との範囲(−2EV〜+2EVの範囲)において、3分の2刻みで逐次露出値を設定して露出補正する。そして、奇数枚目の撮影画像をオーバー露出とし、偶数枚目の撮影画像をアンダー露出とし、オーバー露出とアンダー露出とを交互に繰り返す。ここで、平均露出値3cは、適正露出決定部101により決定した適正露出値である。また、最大露出値3a及び最大露出値3bは、露出補正部102に設定される。
また、連写時の1枚目の露出値〜(N+1)枚目の露出値を決定する際に、1枚目を先頭とする奇数枚目は、1枚目の露出値をオーバー露出の最大露出値3aとし、以降、3枚目、5枚目と枚数が増えるにつれて平均露出値3cに近づくように露出値を減らしていく。同様に、2枚目を先頭とする偶数枚目は、2枚目の露出値をアンダー露出の最大露出値3bとし、以降、4枚目、6枚目と枚数が増えるにつれて平均露出値3cに近づくように露出値を増やしていく。この結果、連写時の1枚目の露出値〜(N+1)枚目の露出値は、オーバー側の露出値と、アンダー側の露出値とが交互に繰り返し設定され、ジグザグの変化をしながら、枚数が増えるにつれて平均露出値3cに近づく。なお、図3では、奇数枚目をオーバー側及び偶数枚目をアンダー側としたが、これに限らず、奇数枚目をアンダー側及び偶数枚目をオーバー側としてもよい。
具体的には、図3において、オーバー露出の最大露出値3aを+2EVとし、アンダー露出の最大露出値3bを−2EVとする。奇数枚目は1枚目、3枚目、5枚目であり、1枚目の露出値は+2EV、3枚目の露出値は+4/3EV、5枚目の露出値は+2/3EVとなり、枚数が増えるほど平均露出値3cに近づくように減らしていく。即ち、連写時の撮影開始タイミングに近いタイミングで撮影する画像ほど、平均露出値3cと撮影部103において設定する露出値との差分が大きくなる。
一方、偶数枚目は2枚目、4枚目、6枚目であり、2枚目の露出値は−2EV、4枚目の露出値は−4/3EV、6枚目の露出値は−2/3EVとなり、枚数が増えるほど平均露出値3cに近づくように増やしていく。即ち、連写時の撮影開始タイミングに近いタイミングで撮影する画像ほど、平均露出値3cと撮影部103において設定する露出値との差分が大きくなる。
この結果、連写時の1枚目〜6枚目の露出値の変化は、「+2EV」、「−2EV」、「+4/3EV」、「−4/3EV」、「+2/3EV」、「−2/3EV」の順に変化する。即ち、オーバー露出の露出値とアンダー露出の露出値とが交互に設定されるジグザグの変化をしながら、平均露出値3cに近づく。
また、事前露出補正値決定部104は、ユーザが選択した合成画像の撮影部103において設定した露出値を記憶し、記憶した露出値に基づいて露出補正値を決定し、決定した露出補正値により、新たに連写する画像の露出値を設定してもよい。例えば、事前露出補正値決定部104は、2/3EV以外の一定の補正量で、撮影部103において設定する露出値を変化させてもよいし、連写する画像毎に異なる補正量で、撮影部103において設定する露出値を変化させてもよい。
このように、本実施の形態によれば、連続して撮影した露出条件の異なる2枚の画像を合成するので、被写体の位置ずれを最小限にすることができ、ユーザの納得を得られる合成画像を生成することができる。また、本実施の形態によれば、全ての画像において露出条件を異ならせるので、露出条件のバリエーションを増やすことができ、ユーザの納得を得られる露出条件の合成画像を提供することができる。
なお、本実施の形態の図3において、設定する露出値をEV値にしたが、本発明はこれに限らず、例えば、カメラ部150において定義される独自の露出補正パラメータにより露出を設定してもよい。即ち、本実施の形態において、撮影枚数以上の異なる露出値を設定できる任意のパラメータを用いることができる。また、本実施の形態の図3において、連写時の撮影開始タイミングに近いタイミングで撮影する画像ほど、平均露出値3cとの差分が大きくなる露出値を設定したが、本発明はこれに限らず、連写時の撮影開始タイミングに近いタイミングで撮影する画像ほど、平均露出値3cとの差分が小さくなる露出値を設定してもよい。また、連写する画像毎に、任意の露出値を設定してもよい。また、本実施の形態において、撮影装置には、カメラ付き携帯電話機等のカメラ付き通信端末装置を含む。
本発明にかかる撮影装置、画像合成方法及び画像合成プログラムは、特に露出を変化させながら複数枚の画像を撮影して合成するのに好適である。
100 撮影装置
101 適正露出決定部
102 露出補正部
103 撮影部
104 事前露出補正値決定部
105 カメラ画像取込制御部
106、107、109 メモリ
108 ダイナミックレンジ拡大合成処理部
110 表示部
150 カメラ部

Claims (7)

  1. 画像毎にオーバー露出とアンダー露出とを交互に繰り返すとともに、画像毎に異なる可変露出値を設定して複数枚の画像を撮影する撮影手段と、
    前記撮影手段により撮影した画像を順次記憶する記憶手段と、
    前記記憶手段に記憶した画像を順次合成する合成手段と、
    前記合成手段により合成した合成画像を表示する表示手段と、
    を具備する撮影装置。
  2. 前記撮影手段は、前記複数枚の画像の撮影を開始するタイミングに近いタイミングで撮影する画像ほど、適正露出値との差分が大きくなる前記可変露出値を設定する請求項1記載の撮影装置。
  3. 前記撮影手段は、前記複数枚の画像の撮影を開始するタイミングに近いタイミングで撮影する画像ほど、適正露出値との差分が小さくなる前記可変露出値を設定する請求項1記載の撮影装置。
  4. 前記撮影手段は、過去に選択された前記合成画像の前記可変露出値に基づいて、新たに撮影する前記複数枚の画像の前記可変露出値を設定する請求項1記載の撮影装置。
  5. 前記撮影手段は、前記複数枚の画像を連写により撮影する請求項1記載の撮影装置。
  6. 撮影した画像を合成する撮影装置における画像合成方法であって、
    画像毎にオーバー露出とアンダー露出とを交互に繰り返すとともに、画像毎に異なる可変露出値を設定して複数枚の画像を撮影するステップと、
    前記撮影した画像を順次記憶するステップと、
    前記記憶した画像を順次合成するステップと、
    を具備する画像合成方法。
  7. コンピュータに、
    画像毎にオーバー露出とアンダー露出とを交互に繰り返すとともに、画像毎に異なる可変露出値を設定して複数枚の画像を撮影するステップと、
    前記撮影した画像を順次記憶するステップと、
    前記記憶した画像を順次合成するステップと、
    を実行させる画像合成プログラム。
JP2010072718A 2010-03-26 2010-03-26 撮影装置、画像合成方法及び画像合成プログラム Withdrawn JP2011205546A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010072718A JP2011205546A (ja) 2010-03-26 2010-03-26 撮影装置、画像合成方法及び画像合成プログラム
PCT/JP2011/001227 WO2011118134A1 (ja) 2010-03-26 2011-03-02 撮影装置、画像合成方法及び画像合成プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010072718A JP2011205546A (ja) 2010-03-26 2010-03-26 撮影装置、画像合成方法及び画像合成プログラム

Publications (1)

Publication Number Publication Date
JP2011205546A true JP2011205546A (ja) 2011-10-13

Family

ID=44672715

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010072718A Withdrawn JP2011205546A (ja) 2010-03-26 2010-03-26 撮影装置、画像合成方法及び画像合成プログラム

Country Status (2)

Country Link
JP (1) JP2011205546A (ja)
WO (1) WO2011118134A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013106149A (ja) * 2011-11-11 2013-05-30 Canon Inc 撮像装置、その制御方法、及びプログラム
KR20150045877A (ko) 2013-10-21 2015-04-29 삼성테크윈 주식회사 영상 처리 장치 및 영상 처리 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4335728B2 (ja) * 2004-03-31 2009-09-30 富士フイルム株式会社 画像処理装置および方法
JP5012656B2 (ja) * 2008-05-16 2012-08-29 ソニー株式会社 画像処理装置、撮像装置、画像処理方法、およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013106149A (ja) * 2011-11-11 2013-05-30 Canon Inc 撮像装置、その制御方法、及びプログラム
KR20150045877A (ko) 2013-10-21 2015-04-29 삼성테크윈 주식회사 영상 처리 장치 및 영상 처리 방법

Also Published As

Publication number Publication date
WO2011118134A1 (ja) 2011-09-29

Similar Documents

Publication Publication Date Title
JP6034740B2 (ja) 撮像装置および撮像方法
JP4973719B2 (ja) 撮像装置、撮像方法、及び撮像プログラム
US8638374B2 (en) Image pickup apparatus, image pickup system, and image pickup method
US8872936B2 (en) Image processing device, white balance correction method, and imaging device
JP5806007B2 (ja) 撮像装置
JP2016092609A (ja) 撮像装置および撮像装置の制御方法
JP5090302B2 (ja) 撮影装置および方法
JP2010074535A (ja) 撮影装置及び撮影方法
JP2015159353A (ja) 撮像装置および撮像方法
JP5138521B2 (ja) 撮像装置及び撮像方法
JP6096041B2 (ja) 撮像装置および撮像方法
WO2011118134A1 (ja) 撮影装置、画像合成方法及び画像合成プログラム
JP2013085140A (ja) 撮像装置およびその制御方法
JP2014060578A (ja) 撮像装置
JP6242129B2 (ja) 撮像装置、その制御方法、及び制御プログラム
JP6231814B2 (ja) 露出決定装置、撮像装置、制御方法、及びプログラム
JP6296909B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP5991495B2 (ja) 画像生成装置、撮像装置およびプログラム
JP2013031205A (ja) 撮影装置および方法
JP5482428B2 (ja) 撮像装置、手ブレ補正方法、プログラム
JP6418715B2 (ja) 画像処理装置および画像処理方法
JP2016054447A (ja) 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム
JP6284604B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP5966072B2 (ja) 撮像装置および撮像方法
JP2016076847A (ja) 撮像装置、撮像方法

Legal Events

Date Code Title Description
A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20120329