JP5013954B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP5013954B2
JP5013954B2 JP2007127742A JP2007127742A JP5013954B2 JP 5013954 B2 JP5013954 B2 JP 5013954B2 JP 2007127742 A JP2007127742 A JP 2007127742A JP 2007127742 A JP2007127742 A JP 2007127742A JP 5013954 B2 JP5013954 B2 JP 5013954B2
Authority
JP
Japan
Prior art keywords
shooting
bracket
image
cycle
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007127742A
Other languages
English (en)
Other versions
JP2008283605A (ja
Inventor
日出人 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2007127742A priority Critical patent/JP5013954B2/ja
Publication of JP2008283605A publication Critical patent/JP2008283605A/ja
Application granted granted Critical
Publication of JP5013954B2 publication Critical patent/JP5013954B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Exposure Control For Cameras (AREA)
  • Studio Devices (AREA)

Description

本発明は、デジタルカメラ等の撮像装置に関し、特に、ブラケット撮影機能を備えた撮像装置に関する。
近年のデジタルカメラには、様々な撮影条件を自動的に制御する機能が備えられている。例えば、最適な露出量を自動的に設定するオート露出調整機能(オートアイリス機能)、自動でホワイトバランス調整を行うオートホワイトバランス機能、フォーカスを自動的に調整するオートフォーカス機能などが備えられている。
このような自動制御は非常に利便性が高いのであるが、その自動制御による撮影が撮影者の意図通りの撮影になるとは限らない。例えば、自動的に設定された露出量では、撮影者が意図していたよりも明るすぎる画像が得られたり、暗すぎる画像が得られたりすることがある。このような問題に対応するべく、露出条件などの撮影条件を段階的に変えながら複数枚の静止画像撮影を行うブラケット撮影が実用化されている。
ブラケット撮影では、通常、1枚目の撮影時に自動制御によって最適制御値を決めた後、最適制御値を中心として制御値をプラス側、マイナス側に変化させて撮影を行う。ブラケット撮影を利用することにより、撮影者の意図に合致した撮影条件による画像を取得することが可能となる。
しかしながら、従来のブラケット撮影は、画像の明暗等を変化させるのに適してはいるものの、動きのある被写体の撮影に適しているとは言えない。つまり、ブラケット撮影では、動きのある被写体の最適なタイミングを捉えきれないことがある。
動きのある被写体の最適なタイミングを捉えるために、連写撮影機能が利用される。連写撮影では、通常、1枚目の撮影時に最適制御値を決め、その最適制御値を2枚目以降の撮影にも適用して高速連続撮影を行う。この連写撮影を利用することで、所謂シャッタチャンスを逃すことなく動きのある被写体の最適なタイミングを捉えることが可能となる。しかしながら、制御値を固定する連写撮影では、ブラケット撮影が解決しようとする問題に対応することができない。
尚、下記特許文献1には、ブラケット撮影時の露出補正に関する方法が開示されている。この方法では、被写体の明るさに基づいて適正な露出値を求め、その適正な露出値にて1枚目の撮影を行う。その後、1枚目の撮影結果に基づいて該適正な露出値が適正であったかを判別し、その判別結果に基づいて2枚目以降の撮影を行う。
特開2004−245923号公報
そこで本発明は、シャッタチャンスを逃すことなく、撮影者の意図に沿った撮影条件による画像取得を支援する撮像装置を提供することを目的とする。
本発明に係る撮像装置は、所定種類の撮影条件を変化させながら所定回数の撮影を行うブラケット撮影を実行する撮像装置において、前記ブラケット撮影を複数サイクル連続して実行する連続ブラケット撮影手段を備えたことを特徴とする。
ブラケット撮影を複数サイクル連続して実行することにより、ブラケット撮影がもたらす有益性と連写撮影がもたらす有益性の双方を享受することが可能となる。即ち例えば、最適なシャッタチャンスを逃すことなく、撮影者の意図に沿った撮影条件による画像取得が可能となる。
そして例えば、前記連続ブラケット撮影手段は、2サイクル目以降の着目サイクルのブラケット撮影に対する前記撮影条件を、その着目サイクルの過去のサイクルにて取得された各撮影画像の画像特徴を考慮して、決定する。
より具体的には例えば、当該撮像装置は、各撮影画像の明るさに応じた輝度評価値を導出する評価値導出手段を備え、前記所定種類の撮影条件とは、露出条件であり、前記連続ブラケット撮影手段は、2サイクル目以降の着目サイクルのブラケット撮影に対する前記撮影条件を、その着目サイクルの過去のサイクルにおける前記輝度評価値を考慮して、決定する。
これにより、露出条件に連続性を持たせるといった制御も可能となる。例えば、照明変化や構図変化に追随した、滑らかな画像変化を有する一連の画像群を得ることも可能となる。
具体的な構成として例えば、1回のブラケット撮影は、基準露出条件にて撮影を行う基準撮影と、前記基準露出条件よりも露出量が多いプラス補正撮影と、前記基準露出条件よりも露出量が少ないマイナス補正撮影と、を含み、前記連続ブラケット撮影手段は、前記着目サイクルの過去の1サイクル分の平均輝度評価値と、その過去の1サイクルにおける基準撮影についての輝度評価値とを対比し、その対比結果を考慮して前記着目サイクルのブラケット撮影に対する前記撮影条件を決定する。
具体的な構成として例えば、1回のブラケット撮影は、基準露出条件にて撮影を行う基準撮影と、前記基準露出条件よりも露出量が多いプラス補正撮影と、前記基準露出条件よりも露出量が少ないマイナス補正撮影と、を含み、前記連続ブラケット撮影手段は、前記着目サイクルの過去の1サイクル分の平均輝度評価値と、その過去の1サイクルにおける基準撮影についての輝度評価値とを対比し、前者と後者との差が所定の閾値よりも大きい場合、後者を基準とした前者の変化分を減少させる方向に前記基準露出条件を補正して補正後の基準露出条件を前記着目サイクルに適用し、前記差が前記閾値よりも小さい場合、前記過去のサイクルに対する前記基準露出条件を前記着目サイクルに対しても適用する。
また例えば、1回のブラケット撮影は、基準の撮影条件にて撮影を行う基準撮影と、前記基準の撮影条件を中心として互いに反対方向にブラケット幅分だけ撮影条件を異ならせたプラス補正撮影及びマイナス補正撮影と、を含み、前記連続ブラケット撮影手段は、 1回のブラケット撮影における各撮影画像の画像特徴から当該ブラケット撮影に対して適用した前記ブラケット幅の適否を評価する評価手段と、2サイクル目以降の着目サイクルのブラケット撮影に対する前記ブラケット幅を、前記着目サイクルの過去のサイクルに対する前記評価手段の評価結果に基づいて決定するブラケット幅設定手段と、を備えている。
これにより、ブラケット幅をより良い方向に調整することができる。
また例えば、前記所定種類の撮影条件とは、露出条件であり、1回のブラケット撮影は、基準露出条件にて撮影を行う基準撮影と、前記基準露出条件よりも設定されたブラケット幅分だけ露出量が多いプラス補正撮影と、前記基準露出条件よりも前記ブラケット幅分だけ露出量が少ないマイナス補正撮影と、を含み、前記基準撮影による撮影画像、前記プラス補正撮影による撮影画像及び前記マイナス補正撮影による撮影画像を、夫々、基準露出画像、プラス補正画像及びマイナス補正画像と呼んだ場合、前記連続ブラケット撮影手段は、各サイクルを評価サイクルとし、前記評価サイクルのブラケット撮影における、前記基準露出画像の暗部領域の輝度ヒストグラムと前記プラス補正画像の暗部領域の輝度ヒストグラム及び前記基準露出画像の明部領域の輝度ヒストグラムと前記マイナス補正画像の明部領域の輝度ヒストグラムとに基づいて、前記評価サイクルのブラケット撮影に対して適用した前記ブラケット幅の適否を評価する評価手段と、2サイクル目以降の着目サイクルのブラケット撮影に対する前記ブラケット幅を、前記着目サイクルの過去のサイクルに対する前記評価手段の評価結果に基づいて決定するブラケット幅設定手段と、を備えている。
これにより、ブラケット幅をより良い方向に調整することができる。
具体的には例えば、前記評価手段は、前記基準露出画像の明部領域の輝度ヒストグラムにおける最頻値と輝度最大値との第1輝度差と、前記マイナス補正画像の明部領域の輝度ヒストグラムにおける最頻値と輝度最大値との第2輝度差と、を対比する一方、前記基準露出画像の暗部領域の輝度ヒストグラムにおける最頻値と輝度最小値との第3輝度差と、前記プラス補正画像の暗部領域の輝度ヒストグラムにおける最頻値と輝度最小値との第4輝度差と、を対比し、それらの対比結果に基づいて前記ブラケット幅の適否を評価する。
そして例えば、前記連続ブラケット撮影手段は、前記着目サイクルの過去のサイクルを前記評価サイクルとしたときの前記第1〜第4輝度差を考慮して、前記着目サイクルの基準撮影に対する露出量を設定する。
これにより、露出量をより良い方向に調整することができる。
本発明によれば、シャッタチャンスを逃すことなく、撮影者の意図に沿った撮影条件による画像取得を支援することができる。
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第1〜第4実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。
図1は、本発明の実施の形態に係る撮像装置1の全体ブロック図である。撮像装置1は、動画像及び静止画像を撮影可能なデジタルビデオカメラである。但し、撮像装置1は、静止画像のみを撮影可能なデジタルスチルカメラであってもよい。図1に示す如く、撮像装置1は、符号11〜28で参照される各部位を備える。
撮像装置1内の各部位は、バス24又は25を介して、各部位間の信号(データ)のやり取りを行う。TG22は、撮像装置1全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置1内の各部に与える。タイミング制御信号は、垂直同期信号Vsyncと水平同期信号Hsyncを含む。
CPU23は、撮像装置1内の各部の動作を統括的に制御する。操作部26は、ユーザによる操作を受け付ける。操作部26は、録画ボタン26a、シャッタボタン26b及び操作キー26c等を有している。操作部26に与えられた操作内容は、CPU23に伝達される。SDRAM17は、フレームメモリとして機能する。撮像装置1内の各部は、必要に応じ、信号処理時に一時的に各種のデータ(デジタル信号)をSDRAM17に記録する。メモリカード18は、外部記録媒体であり、例えば、SD(Secure Digital)メモリカードである。尚、本実施形態では外部記録媒体としてメモリカード18を例示しているが、外部記録媒体を、1または複数のランダムアクセス可能な記録媒体(半導体メモリ、メモリカード、光ディスク、磁気ディスク等)で構成することができる。
図2は、図1の撮像部11の内部構成図である。撮像部11にカラーフィルタなどを用いることにより、撮像装置1は、撮影によってカラー画像を生成可能なように構成されている。
撮像部11は、光学系35と、絞り32と、撮像素子33と、ドライバ34を有している。光学系35は、ズームレンズ30及びフォーカスレンズ31を含む複数枚のレンズを備えて構成される。ズームレンズ30及びフォーカスレンズ31は光軸方向に移動可能である。ドライバ34は、CPU23からの制御信号に基づいて、ズームレンズ30及びフォーカスレンズ31の移動を制御し、光学系35のズーム倍率や焦点距離を制御する。また、ドライバ34は、CPU23からの制御信号に基づいて絞り32の開度(絞り値)を制御する。
被写体からの入射光は、光学系35を構成する各レンズ及び絞り32を介して、撮像素子33に入射する。光学系35を構成する各レンズは、被写体の光学像を撮像素子33上に結像させる。TG22は、上記タイミング制御信号に同期した、撮像素子33を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子33に与える。
撮像素子33は、例えばCCD(Charge Coupled Devices)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等からなる。撮像素子33は、光学系35及び絞り32を介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をAFE12に出力する。より具体的には、撮像素子33は、マトリクス状に二次元配列された複数の画素(受光画素;不図示)を備え、各撮影において、各画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各画素からの電気信号は、TG22からの駆動パルスに従って、後段のAFE12に順次出力される。
AFE12は、撮像部11(撮像素子33)から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。AFE12は、このデジタル信号を、順次、映像信号処理部13に出力する。
映像信号処理部13は、AFE12の出力信号に基づいて、撮像部11によって撮影された画像(以下、「撮影画像」ともいう)を表す映像信号を生成する。映像信号は、撮影画像の輝度を表す輝度信号Yと、撮影画像の色を表す色差信号U及びVと、から構成される。映像信号処理部13にて生成された映像信号は、圧縮処理部16と映像出力回路20に送られる。
また、映像信号処理部13は、撮影画像中のフォーカス検出領域内のコントラスト量に応じたAF評価値及び撮影画像の明るさに応じたAE評価値(輝度評価値)を検出し、それらをCPU23に伝達する。CPU23は、AF評価値に応じて図2のドライバ34を介してフォーカスレンズ31の位置を調節することにより、被写体の光学像を撮像素子33上に結像させる。また、CPU23は、AE評価値に応じて図2のドライバ34を介して絞り32の開度(及び必要に応じてAFE12における信号増幅の増幅度)を調節することにより、受光量(画像の明るさ)を制御する。
マイク14は、外部から与えられた音声(音)を、アナログの音声信号に変換して出力する。音声信号処理部15は、マイク14から出力されるアナログの音声信号をデジタルの音声信号に変換する。このデジタルの音声信号は、圧縮処理部16に送られる。
圧縮処理部16は、映像信号処理部13からの映像信号を、所定の圧縮方式を用いて圧縮する。動画像または静止画像の撮影及び記録時において、圧縮された映像信号はメモリカード18に送られ、メモリカード18に記録される。また、圧縮処理部16は、音声信号処理部15からの音声信号を、所定の圧縮方式を用いて圧縮する。動画像の撮影及び記録時において、映像信号処理部13からの映像信号と音声信号処理部15からの音声信号は、圧縮処理部16にて時間的に互いに関連付けられつつ圧縮され、圧縮後のそれらはメモリカード18に記録される。
撮像装置1の動作モードには、動画像または静止画像の撮影及び記録が可能な撮影モードと、メモリカード18に格納された動画像または静止画像を表示部27に再生表示する再生モードと、が含まれる。操作キー26cに対する操作に応じて、各モード間の遷移は実施される。録画ボタン26aに対する操作に従って動画像の撮影及び記録の開始又は終了が実施される。また、シャッタボタン26bに対する操作に従って静止画像の撮影及び記録が実施される。
撮影モードでは、所定のフレーム周期(例えば、1/60秒)にて順次撮影が行われる。撮影モードにおいて、ユーザが録画ボタン26aを押下すると、CPU23の制御の下、その押下後の各フレームの映像信号及びそれに対応する音声信号が、順次、圧縮処理部16を介してメモリカード18に記録される。再度、録画ボタン26aを押下すると、動画像撮影は終了する。つまり、映像信号及び音声信号のメモリカード18への記録は終了し、1つの動画像の撮影は完了する。
また、撮影モードにおいて、ユーザがシャッタボタン26bを押下すると、静止画像の撮影が行われる。具体的には、CPU23の制御の下、その押下後の1つのフレームの映像信号が、静止画像を表す映像信号として、圧縮処理部16を介してメモリカード18に記録される。
再生モードにおいて、ユーザが操作キー26cに所定の操作を施すと、メモリカード18に記録された動画像または静止画像を表す圧縮された映像信号は、伸張処理部19に送られる。伸張処理部19は、受け取った映像信号を伸張して映像出力回路20に送る。尚、撮影モードにおいては、録画ボタン26a又はシャッタボタン26bが押下されていなくても、所定のフレーム周期(例えば、1/60秒の周期)にて撮影画像が取得されている。この撮影画像を、特に、スルー画像という。撮影モードでは、所謂プレビューを行うべく、逐次スルー画像の映像信号が映像出力回路20に送られる。
映像出力回路20は、与えられたデジタルの映像信号を表示部27で表示可能な形式の映像信号(例えば、アナログの映像信号)に変換して出力する。表示部27は、液晶ディスプレイなどの表示装置であり、映像出力回路20から出力された映像信号に応じた画像を表示する。
また、再生モードにおいて動画像を再生する際、メモリカード18に記録された動画像に対応する圧縮された音声信号も、伸張処理部19に送られる。伸張処理部19は、受け取った音声信号を伸張して音声出力回路21に送る。音声出力回路21は、与えられたデジタルの音声信号をスピーカ28にて出力可能な形式の音声信号(例えば、アナログの音声信号)に変換してスピーカ28に出力する。スピーカ28は、音声出力回路21からの音声信号を音声(音)として外部に出力する。
ところで、撮像装置1は、ブラケット撮影を実行可能となっている。一般的に知られるように、ブラケット撮影とは、所定種類の撮影条件を変えながら所定回数の撮影を連続的に行う撮影である。本実施形態では、説明の具体化のため、変化させられる撮影条件が露出条件である場合を取り扱う。そして、撮像装置1は、1回のブラケット撮影を単位サイクルとし、ブラケット撮影を複数サイクル連続して繰り返し行う連続ブラケット撮影を実行可能である。
図3に、連続ブラケット撮影の概念図を示す。本実施形態では、1回のブラケット撮影、即ち1サイクル分のブラケット撮影が、3回の撮影(3枚の静止画像の撮影)から形成されている場合を想定している。図3において、符号201が付された3枚の静止画像が1サイクル目のブラケット撮影にて撮影された画像群であり、符号202が付された3枚の静止画像が2サイクル目のブラケット撮影にて撮影された画像群であり、符号203が付された3枚の静止画像が3サイクル目のブラケット撮影にて撮影された画像群であり、符号204が付された3枚の静止画像が4サイクル目のブラケット撮影にて撮影された画像群である。連続ブラケット撮影の実行を指示する操作が図1の操作部26に対してなされた時、まず1サイクル目のブラケット撮影が行われ、続いて、2、3、4・・・サイクル目のブラケット撮影が順次連続的に実行される。
尚、ブラケット撮影に関し、1サイクル目、2サイクル目、3サイクル目、・・・を夫々第1サイクル、第2サイクル、第3サイクル、・・・とも呼ぶ。
以下に、連続ブラケット撮影に関する具体的な実施例として第1〜第4実施例を説明する。或る実施例に記載した事項は、矛盾なき限り、他の実施例にも適用される。以下の説明は、特に記述なき限り、撮影モードでの動作の説明である。
<<第1実施例>>
まず、連続ブラケット撮影に関する第1実施例について説明する。図4に、第1実施例に係る連続ブラケット撮影に関与する、撮像装置1の一部ブロック図を示す。例えば、AE評価部41は、図1の映像信号処理部13内に実装され、露出制御部42は、図1のCPU23内に実装される。図4には特に示していないが、連続ブラケット撮影の実行に当たっては、当然、撮像装置1の各部位(撮像部11等)の機能も利用される。
AE評価部41には、各撮影画像についての輝度信号が与えられる。AE評価部41は、撮影画像の明るさに応じたAE評価値(輝度評価値)を算出する。例えば、着目した撮影画像の所定のAE評価領域内に位置する各画素の輝度値の平均値(或いは積算値)を算出し、その平均値を着目した撮影画像のAE評価値とする。AE評価領域とは、撮影画像内に設定された所定の矩形領域、或いは、撮影画像の全体領域である。輝度値とは輝度信号の値であり、或る画素に関し、輝度値が大きくなるに従って該画素の明るさは増大する。AE評価値は、撮影画像ごとに算出され、算出されたAE評価値は、順次、露出制御部42に伝達される。
露出制御部42は、受け取ったAE評価値に基づいて、次回以降の撮影における露出量を制御するための露出制御(即ち、露出条件の制御)を行う。露出制御は、電子シャッタにおけるシャッタ速度に対する制御及び絞り32の開度(絞り値)に対する制御、並びに、撮影の感度(AFE12又は映像信号処理部13での信号増幅の程度)に対する制御を含む。電子シャッタにおけるシャッタ速度(以下、単にシャッタ速度という)は、図2の撮像素子33の各画素に対する露光時間によって表される。露出制御を実現するための露出制御信号は撮像部11等に伝達される。或る撮影において、露光時間又は絞り32の開度を増大させればその撮影に対する露出量は増大し、露光時間又は絞り32の開度を減少させればその撮影に対する露出量は減少する。尚、露出量は、一般的に露出値として表現される(故に、露出量を露出値と読み替えることも可能である)。
図18に、1回のブラケット撮影(即ち、1サイクル分のブラケット撮影)の概念図を示す。1回のブラケット撮影は、基準露出条件にて撮影を行う基準露出撮影と、基準露出撮影よりも露出量が多いプラス補正撮影と、基準露出撮影よりも露出量が少ないマイナス補正撮影と、を含む。基準露出撮影における露出量を基準露出量といい、基準露出量は基準露出条件にて規定される。基準露出撮影にて取得された撮影画像、プラス補正撮影にて取得された撮影画像及びマイナス補正撮影にて取得された撮影画像を、夫々、基準露出画像、プラス補正画像及びマイナス補正画像と呼ぶ。連続ブラケット撮影にて取得された各撮影画像は、図1のメモリカード18に格納される。
本実施形態では、上述したように、1回のブラケット撮影が3回の撮影(3枚の静止画像の撮影)から形成されている場合を想定している。このため、1回のブラケット撮影は、1つの基準露出撮影と1つのプラス補正撮影と1つのマイナス補正撮影とによって形成される。プラス補正撮影における露出量は基準露出量よりも所定のブラケット幅に相当する量だけ多くされ、マイナス補正撮影における露出量は基準露出量よりも該ブラケット幅に相当する量だけ少なくされる。
全ての実施例を含む以下の説明では、説明の便宜上、基準露出撮影の露出量を中心としてプラス補正撮影とマイナス補正撮影の露出量を制御するために、シャッタ速度(露光時間)を制御することとする。勿論、それらの露出量を制御するために、シャッタ速度ではなく絞り値を制御するようにしても構わない。
図5を参照して、第1実施例に係る連続ブラケット撮影の動作手順について説明する。図5は、この動作手順を表すフローチャートである。
撮影モードにおいてシャッタボタン26b(図1参照)が押下されたことを検知することによって、図5の各処理が実行開始される。まず、ステップS11において必要な変数を初期化するなどの処理を行い、ステップS12にて最新のスルー画像に対するAE評価値を取得する。続いて、ステップS13において、露出制御部42は、ステップS12にて取得されたAE評価値に基づき、適正な露出条件(即ち、適正な絞り値と適正なシャッタ速度)を決定する。例えば、AE評価値を所望の値とするために設定されるべき絞り値及びシャッタ速度を、適正な絞り値及び適正なシャッタ速度として算出する。本実施例では、ステップS13にて決定された最新の適正な露出条件を、基準露出条件とする。
そして、露出制御部42からの露出制御信号に従って実際の絞り値が適正な絞り値に制御された後、ステップS14において基準露出条件による基準露出撮影が実施され、続くステップS15においてプラス補正撮影が実施され、更に続くステップS16においてマイナス補正撮影が実施される。プラス補正撮影における露光時間は、基準露出撮影における露光時間よりも所定のブラケット幅に相当する時間分だけ長くされ、マイナス補正撮影における露光時間は、基準露出撮影における露光時間よりも該ブラケット幅に相当する時間分だけ短くされる。これにより、プラス補正撮影における露出量は、基準露出撮影におけるそれよりもブラケット幅に相当する量だけ多くなり、マイナス補正撮影における露出量は、基準露出撮影におけるそれよりもブラケット幅に相当する量だけ少なくなる。
1回分のステップS14〜S16の処理で1サイクル分のブラケット撮影が行われることになる。ステップS16にてマイナス補正撮影が実施された後、ステップS17に移行し、CPU23は、シャッタボタン26bが押し下げられたままとなっているかを確認する。ステップS17にてシャッタボタン26bが押し下げられている場合は、ステップS12に戻り、ステップS12〜S16から成るブラケット撮影を再度実行する。即ち、次のサイクルのブラケット撮影を実行する。シャッタボタン26bが押し下げられていない場合は図5の処理を終了する。シャッタボタン26bを押し下げ続ける操作は、連続ブラケット撮影の継続実行を指示する操作に相当する。
上述のように処理することにより、シャッタボタン26bを押し下げている期間に相当するサイクル分、連続ブラケット撮影が実行される。
本来、ブラケット撮影は、自動制御では最適な撮影条件の設定が困難である場合や自動制御では撮影者が望む撮影条件に合わせきれない場合に有効な撮影手法である。但し、従来のブラケット撮影は、1サイクルのみの撮影であるため、動きのある被写体の最適なタイミングを捉えきれないことがある。動きのある被写体の最適なタイミングを捉えるために連写撮影機能が用意されるが、通常の連写撮影機能では、ブラケット撮影が解決しようとする問題を回避することが困難である。これらを考慮した連続ブラケット撮影では、ブラケット撮影がもたらす有益性と連写撮影がもたらす有益性の双方を享受することができる。即ち例えば、最適なシャッタチャンスを逃すことなく、撮影者が意図した撮影条件による画像取得が可能となる。
<<第2実施例>>
上述した第1実施例では、サイクルごとに独立して基準露出条件を設定しているため、サイクル間で露出量が大きく変わることがある。この様子の例を、図6に示す。図6に示す例では、2サイクル目と3サイクル目との間で、照明の変化や構図の変化に起因して露出量に大きな隔たりが存在している。撮像装置1自体は、各サイクルで最適と考える露出量を設定するのであるが、撮影者が真に望む露出量がどこにあるのかを撮像装置1は知ることができない。図6の第2及び第3サイクルの各露出量の中間に撮影者が真に望む露出量が存在する場合も、想定される。
また、急激に露出量を変化させると、連続ブラケット撮影による1連の撮影画像群内で急激な画像変化が生じることになる。連写撮影では滑らかな画像変化が求められ、連続ブラケット撮影は連写撮影としての側面も併せ持っているのであるから、連続ブラケット撮影においても露出調整の連続性があった方が好ましい。
このような露出調整の連続性を考慮した実施例として第2実施例を説明する。第2実施例に係る連続ブラケット撮影に関与する、撮像装置1の一部ブロック図は、第1実施例に係るそれ(即ち、図4)と同様である。
図7を参照して、第2実施例に係る連続ブラケット撮影の動作手順について説明する。図7は、この動作手順を表すフローチャートである。
撮影モードにおいてシャッタボタン26b(図1参照)が押下されたことを検知することによって、図7の各処理が実行開始される。まず、ステップS21において必要な変数を初期化するなどの処理を行い、ステップS22にて最新のスルー画像に対するAE評価値を取得する。続いて、ステップS23において、露出制御部42は、ステップS22にて取得されたAE評価値に基づき、適正な露出条件(即ち、適正な絞り値と適正なシャッタ速度)を決定する。ここで決定された適正な露出条件を、1サイクル目の基準露出条件とする。
そして、露出制御部42からの露出制御信号に従って実際の絞り値が適正な絞り値に制御された後、ステップS24において基準露出条件による基準露出撮影が実施され、続くステップS25においてプラス補正撮影が実施され、更に続くステップS26においてマイナス補正撮影が実施される。プラス補正撮影における露光時間は、基準露出撮影における露光時間よりも所定のブラケット幅に相当する時間分だけ長くされ、マイナス補正撮影における露光時間は、基準露出撮影における露光時間よりも該ブラケット幅に相当する時間分だけ短くされる。
1サイクル目における基準露出条件は、ステップS23にて決定される適正な露出条件と一致し、1サイクル目の基準露出撮影に適用される基準露出量は、その適正な露出条件に従った露出量となるが、2サイクル目以降における基準露出条件は、ステップS23にて決定された適正な露出条件から補正されうる(後述のステップS30又はS32参照)。
また、露出制御部42は、変数V[0]、V[1]及びV[2]を導入する。そして、最新の基準露出撮影にて取得された基準露出画像のAE評価値を変数V[0]に代入し(ステップS24)、最新のプラス補正撮影にて取得されたプラス補正画像のAE評価値を変数V[1]に代入し(ステップS25)、最新のマイナス補正撮影にて取得されたマイナス補正画像のAE評価値を変数V[2]に代入する(ステップS26)。
ステップS26の処理後、ステップS27に移行し、CPU23は、シャッタボタン26bが押し下げられたままとなっているかを確認する。シャッタボタン26bが押し下げられていない場合は図7の処理を終了するが、シャッタボタン26bが押し下げられている場合はステップS28に移行する。
ステップS28〜S32では、1サイクル分のAE評価値に基づいて、次のサイクルの基準露出条件を設定する。ステップS28〜S32は、図4の露出制御部42によって実行される。図8を参照して、この設定処理の概要を説明する。図8は、この設定処理の概念を説明するための図である。
基準露出撮影を中心としたプラス補正撮影とマイナス補正撮影に対するブラケット幅は同じであるため、撮像装置1の周辺の照明状態及び撮影の構図に変化がなければ、プラス補正画像のAE評価値V[1]とマイナス補正画像のAE評価値V[2]の平均値は、基準露出画像のAE評価値V[0]と概ね一致する。1回のブラケット撮影の途中に照明や構図に変化があった場合、このAE評価値の関係に変化が生まれる。
例えば、基準露出撮影、プラス補正撮影を実行後、マイナス補正撮影を行う際に照明輝度が増加した場合、マイナス補正画像のAE評価値V[2]は想定値よりも大きな値となり、V[1]とV[2]の平均値はV[0]よりも大きくなる。照明輝度の増加等により画像が明るくなった場合は、次の撮影で適正な露出に戻すべく、露出量をマイナス側(即ち、画像が暗くなる側)に補正すべきである。照明輝度の増加等により画像が明るくなった場合を例示したが、画像が暗くなった場合も同様に対応すべきである。
このような補正を実現するべく、「V[0]−(V[1]+V[2])/2」と所定の閾値との比較を行う。
具体的にはステップS28において、下記式(1)が満たされるかを判断する。閾値TH1は、負の所定値である(図8も参照)。そして、式(1)が満たされる場合はステップS30に移行して、今サイクルの基準露出撮影にて適用されていた基準露出量を所定量αだけ減少させ、ステップS24に戻る。その減少後の基準露出量は、次サイクルの基準露出撮影に適用されることになる。露出量に対する制御を露光時間に対する制御にて実現する場合は、今サイクルの基準露出撮影に適用されていた露光時間をαに相当する分だけ短くなるように補正し、その短縮補正後の露光時間を次サイクルの基準露出撮影に適用する。次サイクルの基準露出撮影に適用される露光時間が短縮されれば、勿論、次サイクルにおけるプラス補正撮影及びマイナス補正撮影の露光時間についても短縮補正されることになる。また、式(1)が満たされない場合は、ステップS29に移行する。
V[0]−(V[1]+V[2])/2<TH1 ・・・(1)
ステップS29では、下記式(2)が満たされるかを判断する。閾値TH2は、正の所定値である(図8も参照)。そして、式(2)が満たされる場合はステップS32に移行して、今サイクルの基準露出撮影にて適用されていた基準露出量を所定量αだけ増加させ、ステップS24に戻る。その増加後の基準露出量は、次サイクルの基準露出撮影に適用されることになる。露出量に対する制御を露光時間に対する制御にて実現する場合は、今サイクルの基準露出撮影に適用されていた露光時間をαに相当する分だけ増加するように補正し、その増加補正後の露光時間を次サイクルの基準露出撮影に適用する。次サイクルの基準露出撮影に適用される露光時間が増加すれば、勿論、次サイクルにおけるプラス補正撮影及びマイナス補正撮影の露光時間についても増加補正されることになる。
V[0]−(V[1]+V[2])/2>TH2 ・・・(2)
また、ステップS29において式(2)が満たされない場合は、今サイクルの基準露出撮影にて適用されていた基準露出量を変更することなく(ステップS31)、ステップS24に戻る。従って、この場合は、今サイクルの基準露出撮影に適用されていた露光時間が、そのまま、次サイクルの基準露出撮影にも適用される。
尚、下記式(3)にも示されるように、「V[0]−(V[1]+V[2])/2」は、1サイクル分のAE評価値の平均値と当該サイクルの基準露出画像のAE評価値との差に比例するため、上記式(1)又は(2)に基づく比較は、この差と所定の閾値とを比較することと等価である。
V[0]−(V[1]+V[2])/2
=3/2{V[0]−(V[0]+V[1]+V[2])/3} ・・・(3)
このように、1サイクル分のAE評価値の平均値(V[0]+V[1]+V[2])/
3とV[0]とを比較し、後者を基準として前者が大きくなっていたならば前者の増大分を打ち消す方向に次サイクルの露出量を補正し、後者を基準として前者が小さくなっていたならば前者の減少分を打ち消す方向に次サイクルの露出量を補正する。これを繰り返すことにより、露出条件の急激な変化を避けつつ、照明変化や構図変化に追随することができ、滑らかな画像変化を有する一連の画像群を得ることが可能となる。
尚、図7に示す処理では、一旦、ステップS23にて適正露出条件が設定された後は、ステップS30又はS32のみに依存して各サイクルの基準露出条件(基準露出量)が決定されていくが、隣接するサイクル間のスルー画像のAE評価値をも考慮して、各サイクルの基準露出条件を決定するようにしても良い。即ち例えば第1及び第2サイクルに着目した場合、第1サイクルについてのステップS24〜S26の処理の後であって且つ第2サイクルについてのステップS24の処理を実行する前に取得されたスルー画像のAE評価値V[3]をも参照して、第2サイクルのブラケット撮影に対する基準露出条件(基準露出量)を決定するようにしてもよい。
例えば、第1サイクルについて上記式(1)及び(2)の双方が不成立となってステップS31に至った場合、第1サイクルについてのV[0]又は(V[0]+V[1]+V[2])/3と、V[3]とを対比する。そして、V[0]−V[3]>ΔV、又は、(V[0]+V[1]+V[2])/3−V[3]>ΔV、であれば、ステップS26の処理後において照明輝度減少等が発生したことが予想されるため、ステップS32と同様の処理を行ってからステップS24に戻るようにする(但し、ΔVは、正の所定値)。即ち、第1サイクルの基準露出撮影にて適用されていた基準露出量を所定量αだけ増加させてから、ステップS24に戻る。その増加後の基準露出量は、第2サイクルの基準露出撮影に適用されることになる。
逆に、V[3]−V[0]>ΔVであれば、ステップS30と同様の処理を行ってからステップS24に戻るようにする。即ち、第1サイクルの基準露出撮影にて適用されていた基準露出量を所定量αだけ減少させてから、ステップS24に戻る。その減少後の基準露出量は、第2サイクルの基準露出撮影に適用されることになる。
<<第3実施例>>
次に、第3実施例を説明する。第3実施例は、第2実施例の変形例に相当し、第3実施例のようにしても第2実施例と同様の効果が得られる。第3実施例に係る連続ブラケット撮影に関与する、撮像装置1の一部ブロック図は、第1実施例に係るそれ(即ち、図4)と同様である。
図9を参照して、第3実施例に係る連続ブラケット撮影の動作手順について説明する。図9は、この動作手順を表すフローチャートである。
撮影モードにおいてシャッタボタン26b(図1参照)が押下されたことを検知することによって、図9の各処理が実行開始される。まず、ステップS41において必要な変数を初期化するなどの処理を行う。特に、変数Pを導入し、この変数Pにゼロを代入しておく。また、第2実施例と同様、基準露出画像、プラス補正画像及びマイナス補正画像の各AE評価値が代入されるべき変数V[0]〜V[2]も導入される。
そして、ステップS42にて最新のスルー画像に対するAE評価値が取得され、続くステップS43において、露出制御部42は、ステップS42にて取得されたAE評価値に基づき、適正な露出条件(即ち、適正な絞り値と適正なシャッタ速度)を決定する。1サイクル目における基準露出条件は、ステップS43にて決定される適正な露出条件と一致し、1サイクル目の基準露出撮影に適用される基準露出量は、その適正な露出条件に従った露出量となる。但し、2サイクル目以降における基準露出条件は、ステップS43にて決定された適正な露出条件から補正されうる(後述のステップS46又はS48を参照)。
また、ステップS42にて取得されたAE評価値に基づいて、1回目のサイクルにおける基準露出画像、プラス補正補正画像及びマイナス補正画像の各AE評価値を予測し、各予測値を変数V[0]〜V[2]に初期値として代入しておく。ブラケット幅は定まっているため、露出制御部42は、1回目のサイクルにおける基準露出画像、プラス補正補正画像及びマイナス補正画像の各AE評価値を事前に予測可能である。尚、ここでは、等式「V[0]−(V[1]+V[2])/2=0」が成立するように予測されるものとする。
露出制御部42からの露出制御信号に従って実際の絞り値が適正な絞り値に制御された後、ステップS44〜S48において、露出制御部42により図7のステップS28〜S32と同様の処理が行われる。
まず、ステップS44において、上記式(1)が満たされるかを判断する。そして、式(1)が満たされる場合はステップS46に移行して、次の基準露出撮影に適用されるべき基準露出量を所定量αだけ減少させる処理を行ってからステップS49に移行する一方、式(1)が満たされない場合は、ステップS45に移行する。
ステップS45では、上記式(2)が満たされるかを判断する。そして、式(2)が満たされる場合はステップS48に移行して、次の基準露出撮影に適用されるべき基準露出量を所定量αだけ増加させる処理を行ってからステップS49に移行する一方、式(2)が満たされない場合は、基準露出量を変更することなく(ステップS47)、ステップS49に移行する。
ステップS49では、P/3の余りを求める。そして、その余りが、0である場合はステップS50に移行し、1である場合はステップS51に移行し、2である場合はステップS52に移行する。
ステップS50では、基準露出条件による基準露出撮影が実施され、その基準露出撮影によって得られた基準露出画像のAE評価値をV[0]に代入する。ステップS50の基準露出撮影に適用される基準露出量は、ステップS43で決定された適正な露出条件に従う基準露出量をステップS46又はS48の処理で補正したものとなる(但し、ステップS46又はS48の処理が実行されていない時には、この補正はない)
ステップS51では、プラス補正撮影が実施され、そのプラス補正撮影によって得られたプラス補正画像のAE評価値をV[1]に代入する。ステップS52では、マイナス補正撮影が実施され、そのマイナス補正撮影によって得られたマイナス補正画像のAE評価値をV[2]に代入する。ステップS51におけるプラス補正撮影の露出量は、現時点の基準露出量よりも所定のブラケット幅に相当する量だけ多く、ステップS52におけるマイナス補正撮影の露出量は、現時点の基準露出量よりも該ブラケット幅に相当する量だけ少ない。
ステップS50、S51又はS52の処理後、ステップS53に移行し、CPU23は、シャッタボタン26bが押し下げられたままとなっているかを確認する。シャッタボタン26bが押し下げられていない場合は図9の処理を終了するが、シャッタボタン26bが押し下げられている場合は変数Pに1を加算してからステップS44に戻り(ステップS54)、上述のステップS44以降の各処理を繰り返し実行する。
尚、ステップS46の処理にて基準露出量が減少補正された場合、その補正結果はS50、S51又はS52の撮影に対して直ちに反映される。これに起因して、次回のステップS44でも上記式(1)が成立してステップS46に移行し、基準露出量の減少補正が再度実行される惧れがある。ステップS48についても、同様の惧れがある。これらを回避するために、ステップS46又はS48の処理を1度実行した後は、その実行時点から起算して変数Pが3だけ増加するまで、ステップS46及びS48での基準露出量に対する補正を禁止するとよい(ステップS46又はS48の補正をマスクする)。
この禁止処理を行う代わりに以下のようにしてもよい。ステップS46又はS48にて基準露出量に対する補正を行った後、ステップS49を介してステップS50、S51又はS52の処理が実行されるが、そのステップS50、S51又はS52において、変数V[0]〜V[2]を全て更新するようにする。例えば、ステップS46又はS48にて基準露出量に対する補正を行った後、ステップS49を介してステップS50に至った場合、上述の如く基準露出撮影を行って基準露出画像のAE評価値をV[0]に代入した後、最新のV[0]と所定のブラケット幅から補正後の基準露出量に対応するプラス補正画像及びマイナス補正画像の各AE評価値を予測し、各予測値をV[1]及びV[2]に代入してからステップS53に移行するようにする。
<<第4実施例>>
ところで、撮像装置1が露出条件を決定する際、通常、撮影画像を複数の領域に分割して領域ごとに平均的明るさを測定し、測定された各平均的明るさの単純平均値或いは加重平均値から露出量を決定する。特定領域内の被写体をよりよく写したいと撮影者が望む場合もあるが、撮像装置1が撮影者の意図を推察することは難しい。例えば、図10に示す撮影画像250に着目して考えた場合、比較的明るい領域251の階調表現をよくしたい、或いは、比較的暗い領域252の階調表現をよくしたい、というのが撮影者の意図であることが多い。
このような意図に沿った画像取得を手助けするべくブラケット撮影が存在するのであるが、領域251又は252の階調表現をよくするためには、ブラケット幅が適切に設定されている必要がある。従来のブラケット撮影においては、ブラケット幅が適切であったかを撮影者自身が撮影後に行うことでしか評価できず、真に望む画像を取得できないことも多い。
本実施形態に係る撮像装置1では、連続ブラケット撮影という特殊な機能を利用してブラケット幅を自動調整することができる。このブラケット幅の自動調整を実現する実施例として、第4実施例を説明する。
まず、図11及び図12を参照して、ブラケット幅の自動調整の原理を説明する。1つのサイクルにおけるブラケット撮影に着目する。図11は、着目したサイクルにおける基準露出画像300、プラス補正画像301及びマイナス補正画像302と、それらの画像に対応する4つの輝度ヒストグラムを示している。符号310a、312a、320a及び321aは、4つの輝度ヒストグラムを表す4つのグラフを示している。図12は、ブラケット幅の自動調整の際に利用される各変数の一覧表である。
基準露出画像300において、画像が比較的明るい領域を明部領域310とし、画像が比較的暗い領域を暗部領域320とする。明部領域310及び暗部領域320は互いに重複する領域を有さず、それらは基準露出画像300の全体領域の一部である。また、マイナス補正画像302内に明部領域312を設定し、プラス補正画像301内に暗部領域321を設定する。基準露出画像300における明部領域310の位置及びサイズとマイナス補正画像302における明部領域312の位置及びサイズは同じとされ、基準露出画像300における暗部領域320の位置及びサイズとプラス補正画像301における暗部領域321の位置及びサイズは同じとされる。
着目したサイクルのブラケット撮影において、ブラケット幅が適切であったか否かは、領域ごとの輝度ヒストグラムから評価することができる。より具体的に説明する。今、説明の具体化のため、撮影画像の各画素の輝度値が0〜255の範囲内のデジタル値をとるものとする。
明部領域310内の画像を形成する各画素の輝度値のヒストグラムを、グラフ310a内において符号310bが付された曲線で表す。
明部領域312内の画像を形成する各画素の輝度値のヒストグラムを、グラフ312a内において符号312bが付された曲線で表す。
暗部領域320内の画像を形成する各画素の輝度値のヒストグラムを、グラフ320a内において符号320bが付された曲線で表す。
暗部領域321内の画像を形成する各画素の輝度値のヒストグラムを、グラフ321a内において符号321bが付された曲線で表す。
各グラフ(310a、312a、320a及び321a)において、横軸は輝度値を表し、縦軸はヒストグラムにおける度数を表している。
ヒストグラム310bにおいて、最頻値(即ち、最も度数が多い輝度値)をLA0で表し、最も大きな輝度値をLB0で表してそれを輝度最大値と呼ぶ。
ヒストグラム312bにおいて、最頻値(即ち、最も度数が多い輝度値)をLA2で表し、最も大きな輝度値をLB2で表してそれを輝度最大値と呼ぶ。
ヒストグラム320bにおいて、最頻値(即ち、最も度数が多い輝度値)をLC0で表し、最も小さな輝度値をLD0で表してそれを輝度最小値と呼ぶ。
ヒストグラム321bにおいて、最頻値(即ち、最も度数が多い輝度値)をLC1で表し、最も小さな輝度値をLD1で表してそれを輝度最小値と呼ぶ。
輝度最大値LB0又はLB2は、255と一致する場合もあるが一致しない場合もある(図11の例では、LB0=255且つLB2<255、となっている)。輝度最小値LD0又はLD1は、0と一致する場合もあるが一致しない場合もある(図11の例では、LD0=0且つLD1>0、となっている)。
ヒストグラム310bから分かるように、基準露出画像300における明部領域310では全体的に輝度値が大きすぎて、白側の階調表現が乏しくコントラストが小さくなっている。マイナス補正画像302における明部領域312では、この白側の階調表現及びコントラストが改善されることになる。今、変数RL及びRL(-)を導入し、RL=LB0−LA0且つRL(-)=LB2−LA2、とする(図12参照)。RLは、明部領域310の白側のコントラスト及び階調表現の良好さを表す評価値であり、RL(-)は、明部領域312の白側のコントラスト及び階調表現の良好さを表す評価値である。RL及びRL(-)を、それぞれ、以下、評価値RL及びRL(-)とも呼ぶ。
評価値RLが大きいほど、明部領域310についてのコントラスト及び階調表現は良好であるといえ、評価値RL(-)が大きいほど、明部領域312についてのコントラスト及び階調表現は良好であるといえる。マイナス補正撮影によって白側の階調表現が改善されると考えた時、(RL(-)−RL)は、その改善度合いを表すことになる。そこで、QL=(RL(-)−RL)とおき、QLを明部改善度と呼ぶことにする(図12参照)。
暗部領域についても同様に考えて、変数RD及びRD(+)を導入し、RD=LC0−LD0且つRD(+)=LC1−LD1、とする(図12参照)。RDは、暗部領域320の黒側のコントラスト及び階調表現の良好さを表す評価値であり、RD(+)は、暗部領域321の黒側のコントラスト及び階調表現の良好さを表す評価値である。RD及びRD(+)を、それぞれ、以下、評価値RD及びRD(+)とも呼ぶ。更に、QD=(RD(+)−RD)とおき、QDを暗部改善度と呼ぶことにする(図12参照)。
ブラケット幅が適切であり、マイナス補正撮影によって白側の階調表現が適切に改善された時、明部改善度QLは適切な値をとる。同様に、ブラケット幅が適切であり、プラス補正撮影によって黒側の階調表現が適切に改善された時、暗部改善度QDは適切な値をとる。このため、上述の各ヒストグラムを参照することによって、着目したサイクルのブラケット撮影に用いたブラケット幅の適否を判断することができる。そして、その判断結果に応じて次サイクルのブラケット撮影に適用されるブラケット幅を調整すればよい。
上述のブラケット幅の自動調整を実現する構成及び動作について説明する。図13に、第4実施例に係る連続ブラケット撮影に関与する、撮像装置1の一部ブロック図を示す。図13において、AE評価部41は図4のそれと同じものであり、露出制御部42aは図4の露出制御部42と同様の機能を備えつつ、更に後述の動作も実現する。ブラケット幅評価部43の機能については、後述の説明から明らかとなる。図13において、例えば、AE評価部41は、図1の映像信号処理部13内に実装され、露出制御部42a及びブラケット幅評価部43は、図1のCPU23内に実装される。図13には特に示していないが、連続ブラケット撮影の実行に当たっては、当然、撮像装置1の各部位(撮像部11等)の機能も利用される。
図14及び図15を参照して、第4実施例に係る連続ブラケット撮影の動作手順について説明する。図14及び図15は、この動作手順を表すフローチャートである。
撮影モードにおいてシャッタボタン26b(図1参照)が押下されたことを検知することによって、図14及び図15の各処理が実行開始される。まず、図14のステップS61において必要な変数を初期化するなどの処理を行う。特に、ブラケット幅を表す変数W及び露出補正値を表す変数ECを導入し、Wに所定の初期値(初期ブラケット幅)を代入すると共にECにゼロを代入しておく。
そして、ステップS62にて最新のスルー画像に対するAE評価値が取得され、続くステップS63において、露出制御部42aは、ステップS62にて取得されたAE評価値に基づき、適正な露出条件(即ち、適正な絞り値と適正なシャッタ速度)を決定する。続いてステップS64において、露出制御部42aは、適正露出量に露出補正値ECを加えたものを、基準露出量とする。適正露出量は、ステップS63で決定された適正な露出条件にて規定される(即ち、適正な絞り値及び適正なシャッタ速度にて特定される)。後述の説明から明らかとなるが、ECはゼロ又は正もしくは負の値をとり、ECが正の時、基準露出量は適正露出量よりも|EC|で表される露出量分だけ多くされ、ECが負の時、基準露出量は適正露出量よりも|EC|で表される露出量分だけ少なくされる。1サイクル目においては、EC=0であるため基準露出量と適正露出量は一致する。
露出制御部42aからの露出制御信号に従って実際の絞り値が適正な絞り値に制御された後、ステップS65において基準露出条件(基準露出量)による基準露出撮影が実施され、続くステップS66においてプラス補正撮影が実施され、更に続くステップS67においてマイナス補正撮影が実施される。プラス補正撮影における露光時間は、基準露出撮影における露光時間よりもブラケット幅Wに相当する時間分だけ長くされ、マイナス補正撮影における露光時間は、基準露出撮影における露光時間よりもブラケット幅Wに相当する時間分だけ短くされる。
この後、ブラケット幅評価部43が、ステップS68において、基準露出画像とマイナス補正画像を用いて画像中の明部領域のコントラスト(階調表現)を評価し、ステップS69において、基準露出画像とプラス補正画像を用いて画像中の暗部領域のコントラスト(階調表現)を評価する。これらの評価手法には、上述の輝度ヒストグラムに基づく手法が利用される。この評価結果から、現在のブラケットWの適否が判断される。
今、説明の具体化のため、或る1つのサイクルのブラケット撮影に着目する。そして、着目したサイクルのステップS65、S66及びS67で取得された各画像が、夫々、図11の基準露出画像300、プラス補正画像301及びマイナス補正画像302であると仮定して、ステップS68及びS69の処理並びに後段のステップS70〜S77の処理を説明する。
ブラケット幅評価部43は、ステップS68及びS69の処理に先立って、基準露出画像300における明部領域310と暗部領域320を設定し、その設定内容に従ってプラス露出画像301の暗部領域321及びマイナス露出画像302の明部領域312を設定する。
この設定の際、AE評価部41の機能が利用される。AE評価部41は、図16に示す如く、着目した撮影画像を垂直及び水平方向に分割することにより該撮影画像を複数の領域に分割する。この分割によって得られた各領域を、要素領域と呼ぶ。そして、要素領域ごとに、要素領域内に属する各画素の輝度値の平均値を算出し、各要素領域の平均値から着目した撮影画像のAE評価値を算出する。ブラケット幅評価部43は、要素領域ごとの輝度値の平均値を参照し、着目した撮影画像内で比較的明るい領域を明部領域とし且つ比較的暗い領域を暗部領域とする。
例えば、各要素領域の輝度値の平均値と所定の明部閾値とを比較し、輝度値の平均値が明部閾値以上となっている要素領域の集まりを明部領域(着目した撮影画像が基準露出画像300である場合は明部領域310)として設定する一方、各要素領域の輝度値の平均値と所定の暗部閾値とを比較し、輝度値の平均値が暗部閾値以下となっている要素領域の集まりを暗部領域(着目した撮影画像が基準露出画像300である場合は暗部領域320)として設定する。ここで、明部閾値は暗部閾値よりも大きい。尚、基準露出画像300に対して輝度値に基づく領域分割処理を施すことによって、明部領域310及び暗部領域320を定めるようにしてもよい。
明部領域及び暗部領域を設定した後、ブラケット幅評価部43は、図11のヒストグラム310b、312b、320b及び321bの作成、評価値RL及びRL(-)並びにRD及びRD(+)の算出を介して明部改善度QL及び暗部改善度QDを算出し、明部改善度QL及び暗部改善度QDの程度を評価する(図12参照)。
具体的には、明部改善度QLに関しては、下記式(4a)及び式(4b)が成立するか否かを判定する。そして、式(4a)が成立する場合は明部改善度QLが過小であると判定し、式(4b)が成立する場合は明部改善度QLが過大であると判定し、式(4a)及び式(4b)の双方が不成立の場合は、明部改善度QLが適切であると判断する。尚、QTH1及びQTH2は、夫々、予め設定される過小判定閾値及び過大判定閾値であり、図17に示す如く、0<QTH1<QTH2<QTH3、である。QTH3は、所定の限界値である。
L<QTH1 ・・・(4a)
L>QTH2 ・・・(4b)
同様に、暗部改善度QDに関しては、下記式(5a)及び式(5b)が成立するか否かを判定する。そして、式(5a)が成立する場合は暗部改善度QDが過小であると判定し、式(5b)が成立する場合は暗部改善度QDが過大であると判定し、式(5a)及び式(5b)の双方が不成立の場合は、暗部改善度QDが適切であると判断する。
D<QTH1 ・・・(5a)
D>QTH2 ・・・(5b)
明部改善度QL及び暗部改善度QDに対する評価を終えると、処理は図14のステップS69から図15のステップS70に移行する。また、その評価結果は、露出制御部42a(図13参照)に伝達される。以下、明部改善度QL及び暗部改善度QDを、夫々、単にQL及びQDとも表記する。ステップS70〜S77の各処理は、QL及びQDに対する評価結果に基づいて、露出制御部42aによって実行される。
ステップS70では、QLが過小と判断されたか否かが判断され、QLが過小と判断された場合はステップS71に移行する一方、QLが過小と判断されなかった場合はステップS74に移行する。ステップS71では、QDが過大と判断されたか否かが判断され、QDが過大と判断された場合はステップS73に移行する一方、QDが過大と判断されなかった場合はステップS72に移行する。ステップS74では、QLが過大と判断されたか否かが判断され、QLが過大と判断された場合はステップS75に移行する一方、QLが過大と判断されなかった場合はステップS78に移行する。ステップS75では、QDが過小と判断されたか否かが判断され、QDが過小と判断された場合はステップS77に移行する一方、QDが過小と判断されなかった場合はステップS76に移行する。
明部改善度QLが過小であって且つ暗部改善度QDも過小(又は適切)であると判断された場合、ステップS72に至る。この場合、現時点のブラケット幅Wが少なすぎると考えられる。従って、ステップS72では、現時点のブラケット幅Wを増大するように補正する。具体的には、下記式(6)の右辺のWに現時点のブラケット幅Wを代入し、式(6)に従って得られる左辺のW1の値を新たなブラケット幅Wとする。ここで、WMAXは、ブラケット幅Wが取りうる所定の最大値である。
1=W+(WMAX−W)×(1−QL/QTH1) ・・・(6)
明部改善度QLが過大であって且つ暗部改善度QDも過大(又は適切)であると判断された場合、ステップS76に至る。この場合、現時点のブラケット幅Wが多すぎると考えられる。従って、ステップS76では、現時点のブラケット幅Wを減少するように補正する。具体的には、下記式(7)の右辺のWに現時点のブラケット幅Wを代入し、式(7)に従って得られる左辺のW2の値を新たなブラケット幅Wとする。ここで、WMINは、ブラケット幅Wが取りうる所定の最小値である。
2=W−(W−WMIN)×QL/QTH3 ・・・(7)
明部改善度QLが過小であって且つ暗部改善度QDが過大であると判断された場合、ステップS73に至る。この場合、今サイクルの露出量が多すぎると考えられる。従って、ステップS73では、露出補正値ECを減少させる補正を行う。例えば、現時点の露光補正値ECから所定値ΔEを減算し、この減算によって得られた値を新たな露光補正値ECとする。但し、ΔE>0、である。
明部改善度QLが過大であって且つ暗部改善度QDが過小であると判断された場合、ステップS77に至る。この場合、今サイクルの露出量が少なすぎると考えられる。従って、ステップS77では、露出補正値ECを増大させる補正を行う。例えば、現時点の露出補正値ECに所定値ΔEを加算し、この加算によって得られた値を新たな露出補正値ECとする。
上述のように処理することにより、次サイクルのブラケット撮影において、より適切なブラケット幅と露出量が設定される。この結果、より撮影者の意図に沿った画像を取得することが可能となる。
ステップS72、S73、S76又はS77の処理を終えると、ステップS78に移行する。ステップS78において、CPU23は、シャッタボタン26bが押し下げられたままとなっているかを確認する。シャッタボタン26bが押し下げられていない場合は図14及び図15の処理を終了するが、シャッタボタン26bが押し下げられている場合は図14のステップS62に戻り、上述のステップS62以降の各処理を繰り返し実行する。
<<変形等>>
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈1〜注釈4を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
[注釈1]
上述したように、ブラケット撮影とは、所定種類の撮影条件を変えながら所定回数の撮影を連続的に行う撮影である。上述の本実施形態では変化させられる撮影条件が露出条件である場合を取り扱ったが、連続ブラケット撮影において変化させられる撮影条件の種類には、様々な種類が含まれ、公知のブラケット撮影の実行時に変化させられる任意の撮影条件の種類を含む。
例えば、変化させられる撮影条件として、露出条件の他、ホワイトバランスに影響する色バランス条件、フォーカス条件、ズーム条件などがある。何れの種類の撮影条件を変化させる場合においても、まず基準となる撮影条件を定め、その基準の撮影条件を中心として互いに反対方向に所定のブラケット幅分だけ撮影条件を異ならせたプラス補正撮影及びマイナス補正撮影を行う。
1サイクルのブラケット撮影が3回分の撮影から成る場合を上述したが、勿論、本発明はこれに限定されない。1サイクルのブラケット撮影を形成する撮影の回数を、ブラケット撮影回数と呼ぶとすると、ブラケット撮影回数は、上述の如く3回でもよいし、2回でも4回以上でもよい。
[注釈2]
連続ブラケット撮影を実行する場合、1サイクルごとに独立して、カメラ制御設定及びブラケット制御設定を実行するという手法もとることができる。カメラ制御設定とは、例えば、露出量及びフォーカシングに対する設定である。ブラケット制御設定には、ブラケット撮影において変化させられる撮影条件の種類の設定、ブラケット幅の設定及びブラケット撮影回数の設定などが含まれる。但し、この手法は、撮像装置1への実装が容易である反面、カメラ制御設定の度に計算時間が必要となる。また、隣接サイクル間のブラケット撮影において撮影条件が大きく変わってしまう惧れがあり、設定した撮影条件が適切であったかを次サイクルに反映することもできない。
これを考慮し、第2〜第4実施例では、着目サイクルの過去サイクルにおける各撮影画像(基準露出画像、プラス補正画像及びマイナス補正画像)の画像特徴を考慮して、着目サイクルの撮影条件を決定している。第2〜第4実施例では、輝度に関する画像特徴に着目し、AE評価値や輝度のヒストグラムを利用して着目サイクルの撮影条件を決定しているが、輝度以外の画像特徴に基づいて着目サイクルの撮影条件を決定するようにしてもよい。
例えば、着目サイクルの直前サイクルにおける各撮影画像(基準露出画像、プラス補正画像及びマイナス補正画像)の色差信号から、その各撮影画像の色に関する画像特徴を評価し、その画像特徴を考慮して着目サイクルの撮影条件を決定するようにしてもよい。色に関する画像特徴は、例えば色評価値として表現され、この色評価値に従って、例えばホワイトバランス調整が行われる。
[注釈3]
図1の撮像装置1は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図4又は図13に示される各部位の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて撮像装置1を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。また、図4又は図13に示される各部位にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置(例えばコンピュータ)上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
[注釈4]
例えば、以下のように考えることができる。連続ブラケット撮影を実現するための連続ブラケット撮影手段は、図4の露出制御部42又は図13の露出制御部42aを含む。この連続ブラケット撮影手段に、図11の撮像部11及び/又はCPU23が含まれていると考えることもできる。また、図4又は図13のAE評価部41は、評価値導出手段として機能する。
図13のブラケット幅評価部43は、ブラケット幅の適否を評価する評価手段として機能する。そして、図13の露出制御部42aは、その評価手段の評価結果に基づいてブラケット幅を設定するブラケット幅設定手段として機能する。尚、ブラケット幅評価部43は、輝度ヒストグラムを求める輝度ヒストグラム導出手段としての機能も備える。
本発明の実施形態に係る撮像装置の全体ブロック図である。 図1の撮像部の内部ブロック図である。 本発明の実施形態に係る連続ブラケット撮影の概念図である。 本発明の第1実施例に係り、連続ブラケット撮影に関与する、図1の撮像装置の一部ブロック図である。 本発明の第1実施例に係る連続ブラケット撮影の動作手順を表すフローチャートである。 本発明の第1実施例に係る連続ブラケット撮影に関し、隣接サイクル間で露出量が大きく変わりうることを示す図である。 本発明の第2実施例に係る連続ブラケット撮影の動作手順を表すフローチャートである。 本発明の第2実施例に係り、今サイクルの撮影結果に基づいて次サイクルの露出条件を設定する手法を説明するための図である。 本発明の第3実施例に係る連続ブラケット撮影の動作手順を表すフローチャートである。 1枚の撮影画像内に、比較的明るい領域と比較的暗い領域が混在している様子を示す図である。 本発明の第4実施例に係り、ブラケット幅の自動調整の原理を説明するための図である。 本発明の第4実施例に係り、ブラケット幅の自動調整の際に利用される各変数を一覧表として示した図である。 本発明の第4実施例に係り、連続ブラケット撮影に関与する、図1の撮像装置の一部ブロック図である。 本発明の第4実施例に係る連続ブラケット撮影の動作手順を表すフローチャートである。 本発明の第4実施例に係る連続ブラケット撮影の動作手順を表すフローチャートである。 図13のAE評価部において撮影画像が複数の領域に分割されることを示す図である。 図13のブラケット幅評価部にて参照される閾値の大小関係を示す図である。 本発明の実施形態に係り、1回のブラケット撮影(即ち、1サイクル分のブラケット撮影)の概念図を示す図である。
符号の説明
1 撮像装置
11 撮像部
32 絞り
33 撮像素子
41 AE評価部
42、42a 露出制御部
43 ブラケット幅評価部

Claims (4)

  1. 所定種類の撮影条件を変化させながら所定回数の撮影を行うブラケット撮影を実行する撮像装置において、
    前記ブラケット撮影を複数サイクル連続して実行する連続ブラケット撮影手段と、
    各撮影画像の明るさに応じた輝度評価値を導出する評価値導出手段と、
    を備え、
    前記連続ブラケット撮影手段は、
    2サイクル目以降の着目サイクルのブラケット撮影に対する前記撮影条件を、その着目サイクルの過去のサイクルにおける前記輝度評価値を考慮して、決定し、
    1回のブラケット撮影は、基準の撮影条件にて撮影を行う基準撮影と、前記基準の撮影条件を中心として互いに反対方向にブラケット幅分だけ撮影条件を異ならせたプラス補正撮影及びマイナス補正撮影と、を含み、
    前記連続ブラケット撮影手段は、
    1回のブラケット撮影における各撮影画像の画像特徴から当該ブラケット撮影に対して適用した前記ブラケット幅の適否を評価する評価手段と、
    2サイクル目以降の着目サイクルのブラケット撮影に対する前記ブラケット幅を、前記着目サイクルの過去のサイクルに対する前記評価手段の評価結果に基づいて決定するブラケット幅設定手段と、を備えた
    ことを特徴とする撮像装置。
  2. 所定種類の撮影条件を変化させながら所定回数の撮影を行うブラケット撮影を実行する撮像装置において、
    前記ブラケット撮影を複数サイクル連続して実行する連続ブラケット撮影手段と、
    各撮影画像の明るさに応じた輝度評価値を導出する評価値導出手段と、
    を備え、
    前記連続ブラケット撮影手段は、
    2サイクル目以降の着目サイクルのブラケット撮影に対する前記撮影条件を、その着目サイクルの過去のサイクルにおける前記輝度評価値を考慮して、決定し、
    1回のブラケット撮影は、基準露出条件にて撮影を行う基準撮影と、前記基準露出条件よりも設定されたブラケット幅分だけ露出量が多いプラス補正撮影と、前記基準露出条件よりも前記ブラケット幅分だけ露出量が少ないマイナス補正撮影と、を含み、
    前記基準撮影による撮影画像、前記プラス補正撮影による撮影画像及び前記マイナス補正撮影による撮影画像を、夫々、基準露出画像、プラス補正画像及びマイナス補正画像とした場合、
    前記連続ブラケット撮影手段は、
    各サイクルを評価サイクルとし、前記評価サイクルのブラケット撮影における、前記基準露出画像の暗部領域の輝度ヒストグラムと前記プラス補正画像の暗部領域の輝度ヒストグラム及び前記基準露出画像の明部領域の輝度ヒストグラムと前記マイナス補正画像の明部領域の輝度ヒストグラムとに基づいて、前記評価サイクルのブラケット撮影に対して適用した前記ブラケット幅の適否を評価する評価手段と、
    2サイクル目以降の着目サイクルのブラケット撮影に対する前記ブラケット幅を、前記着目サイクルの過去のサイクルに対する前記評価手段の評価結果に基づいて決定するブラケット幅設定手段と、を備えた
    ことを特徴とする撮像装置。
  3. 前記評価手段は、
    前記基準露出画像の明部領域の輝度ヒストグラムにおける最頻値と輝度最大値との第1輝度差と、前記マイナス補正画像の明部領域の輝度ヒストグラムにおける最頻値と輝度最大値との第2輝度差と、を対比する一方、
    前記基準露出画像の暗部領域の輝度ヒストグラムにおける最頻値と輝度最小値との第3輝度差と、前記プラス補正画像の暗部領域の輝度ヒストグラムにおける最頻値と輝度最小値との第4輝度差と、を対比し、
    それらの対比結果に基づいて前記ブラケット幅の適否を評価する
    ことを特徴とする請求項2に記載の撮像装置。
  4. 前記連続ブラケット撮影手段は、前記着目サイクルの過去のサイクルを前記評価サイクルとしたときの前記第1〜第4輝度差を考慮して、前記着目サイクルの基準撮影に対する露出量を設定する
    ことを特徴とする請求項3に記載の撮像装置。
JP2007127742A 2007-05-14 2007-05-14 撮像装置 Expired - Fee Related JP5013954B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007127742A JP5013954B2 (ja) 2007-05-14 2007-05-14 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007127742A JP5013954B2 (ja) 2007-05-14 2007-05-14 撮像装置

Publications (2)

Publication Number Publication Date
JP2008283605A JP2008283605A (ja) 2008-11-20
JP5013954B2 true JP5013954B2 (ja) 2012-08-29

Family

ID=40144026

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007127742A Expired - Fee Related JP5013954B2 (ja) 2007-05-14 2007-05-14 撮像装置

Country Status (1)

Country Link
JP (1) JP5013954B2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5294922B2 (ja) * 2009-02-26 2013-09-18 キヤノン株式会社 再生装置および再生方法
US8681239B2 (en) 2009-04-07 2014-03-25 Panasonic Corporation Image capturing device, image capturing method, program, and integrated circuit
JP2011048341A (ja) 2009-07-27 2011-03-10 Panasonic Corp 撮像装置
JP5495878B2 (ja) * 2010-03-24 2014-05-21 キヤノン株式会社 撮像装置、その制御方法及びプログラム
JP6094037B2 (ja) * 2012-02-24 2017-03-15 カシオ計算機株式会社 撮像装置、撮像方法及び撮像プログラム
JP5911340B2 (ja) * 2012-03-14 2016-04-27 キヤノン株式会社 撮像装置およびその制御方法
EP2709350B1 (en) * 2012-09-14 2015-06-03 Axis AB Configuration of image capturing settings
JP6077853B2 (ja) * 2012-12-21 2017-02-08 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP5491653B2 (ja) * 2013-04-09 2014-05-14 キヤノン株式会社 再生装置および再生方法
JP5539600B2 (ja) * 2014-02-21 2014-07-02 キヤノン株式会社 再生装置、表示装置、および再生方法
JP5745134B2 (ja) * 2014-04-23 2015-07-08 キヤノン株式会社 画像出力装置、表示装置、画像出力方法、およびプログラム
JP6744711B2 (ja) * 2015-12-15 2020-08-19 キヤノン株式会社 撮像装置及びその制御方法、プログラム並びに記憶媒体
WO2023166556A1 (ja) * 2022-03-01 2023-09-07 日本電気株式会社 情報処理システム、情報処理方法、及び記録媒体

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1172816A (ja) * 1997-06-17 1999-03-16 Nikon Corp オートブラケティング撮影装置
JP2004245923A (ja) * 2003-02-12 2004-09-02 Fuji Photo Film Co Ltd オートブラケティング撮影方法
WO2005065283A2 (en) * 2003-12-24 2005-07-21 Walker Digital, Llc Method and apparatus for automatically capturing and managing images
JP2006118067A (ja) * 2004-10-19 2006-05-11 Nippon Ester Co Ltd 熱接着性複合繊維の製造方法
JP2006217249A (ja) * 2005-02-03 2006-08-17 Nikon Corp 電子カメラ、電子カメラシステムおよびプログラム
JP2007295093A (ja) * 2006-04-21 2007-11-08 Fujifilm Corp 車載監視カメラの露出制御方法

Also Published As

Publication number Publication date
JP2008283605A (ja) 2008-11-20

Similar Documents

Publication Publication Date Title
JP5013954B2 (ja) 撮像装置
JP4823179B2 (ja) 撮像装置及び撮影制御方法
KR101342477B1 (ko) 동영상을 촬영하는 촬상 장치, 및 촬상 처리 방법
US7668451B2 (en) System for and method of taking image
JP4787180B2 (ja) 撮影装置及び撮影方法
US20080112644A1 (en) Imaging device
JP4824586B2 (ja) 撮像装置
JP2005086499A (ja) 撮像装置
JP5623256B2 (ja) 撮像装置、その制御方法及びプログラム
JP2005241805A (ja) オートフォーカス装置及びそのプログラム
KR20070086061A (ko) 카메라 및 카메라의 화상처리방법
JP2008139683A (ja) 撮像装置及びオートフォーカス制御方法
JP2010147786A (ja) 撮像装置及び画像処理方法
JP2010054730A (ja) 合焦位置検出装置、撮像装置及び合焦位置検出方法
JP4748375B2 (ja) 撮像装置、画像再生装置及びそのプログラム
JP2005055746A (ja) 撮像装置、合焦制御方法、およびプログラム
JP2010103700A (ja) 撮像装置および撮像方法
JP2007212723A (ja) 合焦位置決定方法および装置
JP2009017427A (ja) 撮像装置
JP2020008886A (ja) 合焦位置検出装置及び合焦位置検出方法
JP2004328606A (ja) 撮像装置
JP4871664B2 (ja) 撮像装置及び撮像装置の制御方法
JP2019080261A (ja) 撮像装置
JPH08265631A (ja) 自動焦点調節装置
JP6294607B2 (ja) 撮像装置およびその制御方法、プログラム並びに記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120508

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120605

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150615

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150615

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150615

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150615

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees