JP2007251611A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2007251611A
JP2007251611A JP2006072423A JP2006072423A JP2007251611A JP 2007251611 A JP2007251611 A JP 2007251611A JP 2006072423 A JP2006072423 A JP 2006072423A JP 2006072423 A JP2006072423 A JP 2006072423A JP 2007251611 A JP2007251611 A JP 2007251611A
Authority
JP
Japan
Prior art keywords
correction
image signal
flicker
signal
correction value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006072423A
Other languages
English (en)
Other versions
JP4739998B2 (ja
Inventor
Seiji Okada
誠司 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2006072423A priority Critical patent/JP4739998B2/ja
Publication of JP2007251611A publication Critical patent/JP2007251611A/ja
Application granted granted Critical
Publication of JP4739998B2 publication Critical patent/JP4739998B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

【課題】動画撮影中の静止画撮影において生じうるフリッカを、小規模な回路構成にて補正することができる撮像装置を提供することを目的とする。
【解決手段】動画撮影中に静止画を同時撮影する際、露光時間を静止画撮影用の露光時間に変更した上で撮影を行う。まず、露光時間を変更する前の撮影(FL2)によって得られる画像信号を基準に、変更直後のフレーム(FL3)の画像信号に対する補正ゲインを水平ラインごとに算出し、そのフレーム(FL3)の画像信号をフリッカ補正する。そのフレーム以降は、フリッカ補正した最新の画像信号を基準に、順次、フリッカ補正を行う。
【選択図】図2

Description

本発明は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置に関し、特に、動画撮影中に静止画を同時撮影することができる撮像装置に関する。
商用交流電源によって直接点灯される蛍光灯の照明下で、XYアドレス型の撮像素子を備えた撮像装置を用いて動画撮影を行った場合、いわゆる蛍光灯フリッカが生じうる。これを排除するために、動画撮影が可能な撮像装置は、通常、電源起動時などに照明の輝度変化の周期を測定することによって動画撮影時の露光時間を決定する。
例えば、商用交流電源の周波数が50Hz(ヘルツ)の場合において、非インバータ式の蛍光灯の照明下で動画撮影を行う場合を考える。この場合、照明の輝度変化の周期は1/100秒となる。そして、NTSC(National Television Standards Committee)方式に従い、動画の1フレーム期間が1/60秒である場合を考える(垂直同期周波数が60Hz)。
仮に、図12に示す如く、各画素の露光時間を1/100秒未満とすると、同一の水平ライン上の画素に対する露光量がフレーム間で変動すると共に、同一のフレームにおいても異なる水平ライン間で露光量が相違する。この結果、図12の最下段に示すような、帯状のフリッカ(ラインフリッカ)を含んだ画像が得られてしまう。
そこで、各画素の露光時間は、照明の輝度変化の周期の整数倍、例えば、図13に示す如く1/100秒とされる。XYアドレス型の撮像素子では、水平ラインごとに露光タイミングが異なるが、各画素の露光時間を、例えば1/100秒とすることにより、露光タイミングに拘らず露光量が一定となるため、蛍光灯フリッカが生じない。
尚、同一の水平ラインにおいても、各画素の露光タイミングは順次ずれるが、蛍光灯の輝度変化の周期と比べてそのタイミング差は十分に短いため、同一の水平ライン上の隣接する画素の露光タイミングは同じとみなすことができる。
動画撮影では、動いているものの動きを滑らかに表現するために、比較的長い露光時間(例えば1/100秒)が設定される。そのような比較的長い露光時間によって撮影された画像の例として、図14の画像60を示す。露光時間を長くすると、露光時間が被写体の動きに対して長くなって被写体ぶれ(動体ぶれ)が大きくなり、動きを滑らかに表現することができる。この際、照明の輝度変化の周期に応じて露光時間を適切に設定することにより、動画撮影によって得られる画像から蛍光灯フリッカを排除することができる。
ところで、デジタルビデオカメラ等には、動画だけでなく静止画も撮影する機能が搭載されることが多い。静止画を撮影する際には、露光時間を比較的短く設定することにより(例えば、1/250秒)、動く被写体の一瞬の状態を表す鮮明な画像を取得する。そのような比較的短い露光時間によって撮影された画像の例として、図14の画像61を示す。
動画と静止画を時間的に完全に分離して撮影する場合には問題は生じないが、近年、デジタルビデオカメラ等では、動画撮影中に、ユーザの操作に応じて静止画を同時撮影する機能が求められている。
動画撮影中に、動画撮影を止めることなく静止画を撮影する際(同時撮影する際)、鮮明な静止画を得るべく、動画撮影用に設定された比較的長い露光時間は、例えば、一時的に静止画撮影用の比較的短い露光時間に変更される。この場合、動画撮影用の露光時間(例えば1/100秒)よりも短い露光時間で撮影されたフレームの画像には、図15に示す如く、フリッカが表れてしまう。
従来技術として、フリッカの発生周期を検出し、検出した発生周期に基づいてフリッカを補正するというものがある。しかしながら、このような手法を用いる場合、補正の効果を得るために数フレーム分の画像を取得する必要があり、全てのフレームのフリッカを補正するためには、それらの画像(画像信号)を全てフレームメモリ等に貯めておく必要がある。このため、回路規模が増大してしまうという問題を抱えていた。
特開2004−222228号公報 特開2005−33616号公報
上述の如く、動画撮影中に静止画の撮影を行う場合、フリッカが生じうる。このフリッカの補正を、小規模な回路構成にて実現する手法が切望されている。
そこで本発明は、動画撮影中の静止画撮影において生じうるフリッカを、小規模な回路構成にて補正することができる撮像装置を提供することを目的とする。
上記目的を達成するために本発明に係る撮像装置は、異なる水平ライン間で露光タイミングを異ならせつつ、撮影を行うための撮像素子と、前記撮像素子を用いた撮影によって得られる画像信号を処理する信号処理部と、を備え、動画と静止画を撮影可能な撮像装置において、動画撮影中に静止画を撮影する際、1又は2以上のフレームから成る静止画撮影用フレームの間、動画撮影用の露光時間と異なる露光時間を採用して撮影を行い、
前記信号処理部は、その静止画の撮影前における前記動画撮影用の露光時間を採用した撮影によって得られる画像信号である基準画像信号と、前記静止画撮影用フレームの撮影によって得られる画像信号である補正対象画像信号と、の比較に基づいて、前記動画撮影用の露光時間と異なる前記露光時間を採用したことに起因して前記補正対象画像信号に含まれることになったフリッカ成分に応じたフリッカ補正値を算出するフリッカ補正値算出手段と、前記フリッカ補正値を用いて、前記フリッカ成分を低減する方向に前記補正対象画像信号を補正するフリッカ補正手段と、を備える。
ことを特徴とする
基準画像信号と補正対象画像信号とを比較すれば、補正対象画像信号に含まれているフリッカ成分を検出することができ、そのフリッカ成分に応じて補正対象画像信号を補正することにより、フリッカ成分を低減することが可能である。フリッカの発生周期を検出するといった回路規模の増大を招く手法を用いるのではなく、基準画像信号と補正対象画像信号とを比較するという処理を介してフリッカを低減させるため、フリッカ補正のための回路の小規模化が期待できる。
具体的には例えば、前記静止画撮影用フレームが、第1、第2、・・・、及び第nフレーム(nは2以上の整数)から成り、前記補正対象画像信号が、第1、第2、・・・、及び第nフレームに対応する第1、第2、・・・、及び第n補正対象画像信号から成る場合、前記フリッカ補正値算出手段は、前記基準画像信号と前記第1補正対象画像信号との比較から前記フリッカ補正値として第1フリッカ補正値を算出し、前記フリッカ補正手段は、前記第1フリッカ補正値を用いて前記第1補正対象画像信号を補正し、前記フリッカ補正値算出手段は、補正後の前記第1補正対象画像信号と前記第2補正対象画像信号との比較から前記フリッカ補正値として第2フリッカ補正値を算出し、前記フリッカ補正手段は、前記第2フリッカ補正値を用いて前記第2補正対象画像信号を補正し、・・・、前記フリッカ補正値算出手段は、補正後の前記第(n−1)補正対象画像信号と前記第n補正対象画像信号との比較から前記フリッカ補正値として第nフリッカ補正値を算出し、前記フリッカ補正手段は、前記第nフリッカ補正値を用いて前記第n補正対象画像信号を補正する。
まず、「含まれるフリッカ成分が十分に少ない、動画撮影用の露光時間を用いた基準画像信号」と「フリッカ成分を含む第1補正対象画像信号」との比較から、第1補正対象信号を補正する。そして、次は、「フリッカ成分が低減された補正後の第1補正対象画像信号」と「フリッカ成分を含む第2補正対象画像信号」との比較から、第2補正対象信号を補正する。このように、補正の基準となる画像信号を順次変更していくことにより、フリッカ補正用のメモリ領域を非常に小さく抑えることが可能となる。
更に具体的には例えば、前記撮像素子の撮像領域に複数の検出領域を設け、各検出領域は互いに異なる水平ライン上の画素を含み、前記第1フリッカ補正値は、各々が1または2以上の水平ラインに対応する複数の第1要素補正値から成り、前記第2フリッカ補正値は、各々が1または2以上の水平ラインに対応する複数の第2要素補正値から成り、・・・、前記第nフリッカ補正値は、各々が1または2以上の水平ラインに対応する複数の第n要素補正値から成り、前記フリッカ補正値算出手段は、前記基準画像信号中の各検出領域に対応する信号と前記第1補正対象画像信号中の各検出領域に対応する信号との比較から、検出領域ごとに前記第1補正対象画像信号に含まれる前記フリッカ成分を検出することにより、各第1要素補正値を算出し、補正後の前記第1補正対象画像信号中の各検出領域に対応する信号と前記第2補正対象画像信号中の各検出領域に対応する信号との比較から、検出領域ごとに前記第2補正対象画像信号に含まれる前記フリッカ成分を検出することにより、各第2要素補正値を算出し、・・・、補正後の前記第(n−1)補正対象画像信号中の各検出領域に対応する信号と前記第n補正対象画像信号中の各検出領域に対応する信号との比較から、検出領域ごとに前記第n補正対象画像信号に含まれる前記フリッカ成分を検出することにより、各第n要素補正値を算出する。
また具体的には例えば、前記第1、第2、・・・、及び第nフリッカ補正値を算出するために必要な情報を記録する記録手段を備え、前記記録手段には、前記第1フリッカ補正値を算出するための情報、前記第2フリッカ補正値を算出するための情報、・・・、及び、第nフリッカ補正値を算出するための情報が、順次更新されつつ記録される。
また具体的には例えば、前記第1、第2、・・・、及び第nフリッカ補正値を算出するために必要な情報を記録する記録手段を備え、前記フリッカ補正値算出手段は、前記基準画像信号から算出される比較対象値と前記第1補正対象画像信号から算出される比較対象値との比較から第1フリッカ補正値を算出し、補正後の前記第1補正対象画像信号から算出される比較対象値と前記第2補正対象画像信号から算出される比較対象値との比較から第2フリッカ補正値を算出し、・・・、補正後の前記第(n−1)補正対象画像信号から算出される比較対象値と前記第n補正対象画像信号から算出される比較対象値との比較から前記第nフリッカ補正値を算出し、前記記録手段には、前記基準画像信号から算出される比較対象値、補正後の前記第1補正対象画像信号から算出される比較対象値、・・・、及び、補正後の前記第(n−1)補正対象画像信号から算出される比較対象値が、前記情報として順次更新されつつ記録される。
これにより、フリッカ補正のために必要なメモリ領域を大幅に小さくすることが可能となる。尚、後述する実施形態では、AVE_PRE[m:n]が比較対象値に対応している。
また例えば、前記静止画撮影用フレームが、第1、第2、・・・、及び第nフレーム(nは2以上の整数)から成り、前記補正対象画像信号が、第1、第2、・・・、及び第nフレームに対応する第1、第2、・・・、及び第n補正対象画像信号から成る場合、前記フリッカ補正値算出手段は、前記基準画像信号と前記第1、第2、・・・、及び第n補正対象画像信号との比較から、夫々、前記フリッカ補正値として第1、第2、・・・、及び第nフリッカ補正値を算出し、前記フリッカ補正手段は、第1、第2、・・・、及び第nフリッカ補正値を用いて、夫々、前記第1、第2、・・・、及び第n補正対象画像信号を補正する。
また例えば、前記静止画撮影用フレームが1つのフレームから成る場合、前記フリッカ補正値算出手段は、前記基準画像信号と前記補正対象画像信号との比較から前記フリッカ補正値を算出する。
そして例えば、前記撮像素子の撮像領域に複数の検出領域を設け、各検出領域は互いに異なる水平ライン上の画素を含み、前記フリッカ補正値は、各々が1または2以上の水平ラインに対応する複数の要素補正値から成り、前記フリッカ補正値算出手段は、前記基準画像信号中の各検出領域に対応する信号と前記補正対象画像信号中の各検出領域に対応する信号との比較から、検出領域ごとに前記補正対象画像信号に含まれる前記フリッカ成分を検出することにより、各要素補正値を算出する。
また具体的には例えば、前記撮像素子は、XYアドレス走査型の撮像素子である。
上述した通り、本発明によれば、動画撮影中の静止画撮影において生じうるフリッカを、小規模な回路構成にて補正することが可能となる。例えば、フリッカ補正用のフレームメモリ使用量を削減することが可能となる、或いは、フレームメモリを用いることなくフリッカ補正をすることも可能となる。
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一のものには同一の符号を付す。図1は、本発明の実施の形態に係る撮像装置1の全体ブロック図である。撮像装置1は、例えば、デジタルスチルカメラやデジタルビデオカメラなどである。
撮像装置1は、光学系11と、絞り12と、撮像素子13と、前処理部14と、ドライバ17と、タイミングジェネレータ18と、主制御部19と、信号処理部20と、フレームメモリバッファ40と、外部記録媒体41と、操作部42と、を有して構成される。撮像装置1は、動画と静止画の双方を同時に撮影可能な撮像装置である。
光学系11は、例えば複数枚のレンズから構成され、撮像対象からの入射光は該レンズ及び絞り12を介して撮像素子13に入射する。ドライバ17は、主制御部19からの制御信号に基づいて光学系11を制御し、光学系11のズーム倍率や焦点距離を制御する。また、ドライバ17は、主制御部19からの制御信号に基づいて絞り12の開口量(開口部の大きさ)を制御する。光学系11に入射する光学像が同じである場合、絞り12の開口量が大きくなるに従って、撮像素子13への単位時間当たりの入射光量は増大する。
撮像素子13は、XYアドレス走査型の撮像素子であり、例えばCMOS(Complementary Metal Oxide Semiconductor)イメージセンサである。CMOSを形成可能な半導体基板上に、マトリクス状に二次元配列された複数の画素と、垂直走査回路、水平走査回路及び映像信号出力回路と、を形成することによって、撮像素子13の例としてのCMOSイメージセンサが形成される。各画素は、フォトダイオード、転送ゲート、選択ゲート、増幅トランジスタ及びリセットゲートなどを有する。
撮像素子13は、光学系11及び絞り12を介して入射した光学像を光電変換し、該光電変換によって得られた電気信号を前処理部14に出力する。より具体的には、各撮影において、各画素は露光時間に応じた電荷量の信号電荷を蓄える。各画素は、蓄えた信号電荷の電荷量に比例した大きさを有する電気信号を後段の前処理部14に順次出力する。光学系11に入射する光学像が同じであり且つ絞り12の開口量が同じである場合、撮像素子13(各画素)からの電気信号の大きさ(強度)は上記露光時間に比例して増大する。
撮像素子13は、カラー撮影の可能な、単板式の撮像素子となっている。撮像素子13を構成する各画素には、例えば、赤(R)、緑(G)及び青(B)の何れかのカラーフィルタ(不図示)が設けられている。尚、撮像素子13として、3板式の撮像素子を採用することも可能である。
撮像素子13には、電子シャッタ機能が備えられており、上記露光時間は、タイミングジェネレータ18からの電子シャッタ制御信号によって制御される。主制御部19は、タイミングジェネレータ18の動作を制御するものであるため、主制御部19とタイミングジェネレータ18は、上記露光時間を制御する露光時間制御部として機能する。上記露光時間によって、電子シャッタ制御におけるシャッタスピードが特定される。同一のフレームにおいて、撮像素子13を構成する各画素に対する露光時間(露光時間の長さ)は同じである。
前処理部14は、増幅回路15とA/D変換器(アナログ−デジタル変換器)16等から構成される。増幅回路15は、撮像素子13の出力信号であるアナログ信号を指定された増幅度で増幅して出力する。A/D変換器16は、タイミングジェネレータ18からの信号に従って増幅回路15の出力信号をデジタル信号に変換する。前処理部14は、このデジタル信号に必要に応じて更に適切な処理を施し、撮影した画像を表す画像信号を出力する。前処理部14が出力する画像信号は信号処理部20に与えられる。
タイミングジェネレータ18は、撮影のタイミングに従って、撮像素子13及び前処理部14の各動作のタイミングを制御する。具体的には、例えば、撮像素子13からの出力信号を読み出すタイミング(撮像素子13からの出力信号を前処理部14に与えるタイミング)や、前処理部14からの信号の出力タイミングを制御する。
信号処理部20は、画素数変換部21と、動き検出部22と、動画処理部23と、動画圧縮部24と、静止画処理部25と、静止画圧縮部26と、フリッカ検出部(フリッカ補正値算出部)27と、フリッカ補正部28と、を有して構成される。前処理部14が出力する画像信号は、フリッカ検出部27及びフリッカ補正部28に与えられると共に、フリッカ補正部28を介して画素数変換部21、動き検出部22及び静止画処理部25に与えられる。以下、前処理部14が出力する画像信号(デジタルの画像データ)を、特に原画像信号と呼ぶ。
フリッカ検出部27及びフリッカ補正部28は、動画撮影中に静止画を同時撮影する際に有効に機能する部位であり、フリッカ補正部28は、原画像信号を補正することによって得られる画像信号を、画素数変換部21、動き検出部22及び静止画処理部25に与える。連続して動画を撮影している最中、或いは、静止画のみを撮影する場合は、フリッカ補正部28の入出力信号は同じである。
画素数変換部21は、フリッカ補正部28から送られてきた画像信号に対して、切り出し処理、フィルタ処理や間引き処理等を施すことにより、画像信号の画像サイズを縮小する。この縮小によって得られた画像信号は、動画処理部23に与えられる。動画処理部23は、画素数変換部21からの画像信号に必要な映像処理を施す。この映像処理には、例えば、輝度信号及び色差信号の生成、ガンマ補正、輪郭強調処理等が含まれる。動画処理部23は、この映像処理を経て得られた画像信号を動画圧縮部24に出力する。動画圧縮部24は、動画処理部23からの画像信号にMPEG(Moving Picture Experts Group)等の所定の圧縮方式を用いた圧縮を施し、その圧縮後の画像信号を外部記録媒体41に出力する。
静止画処理部25は、フリッカ補正部28から送られてきた画像信号に対して必要な映像処理を施す。この映像処理には、例えば、輝度信号及び色差信号の生成、ガンマ補正、輪郭強調処理等が含まれる。静止画処理部25は、この映像処理を経て得られた画像信号を静止画圧縮部26に出力する。静止画圧縮部26は、静止画処理部25からの画像信号にJPEG(Joint Photographic Experts Group)等の所定の圧縮方式を用いた圧縮を施し、その圧縮後の画像信号を外部記録媒体41に出力する。
動き検出部22は、動画撮影中に次々と送られてくる画像信号に基づき、周知の代表点マッチング法等を用いて被写体の動きベクトルを検出する。動画撮影中において、画素数変換部21や動画処理部23は、動き検出部22が検出した動きベクトルを参照し、必要な処理(例えば、所謂手ぶれ補正)を行う。
フレームメモリバッファ40は、DRAM(Dynamic Random Access Memory)等の半導体メモリから成り、データの読み書きが可能となっている。信号処理部20を構成する各部位は、一時的に記録しておくべきデータをフレームメモリバッファ40に書き込むとともに参照すべきデータをフレームメモリバッファ40から読み出す。外部記録媒体41は、1または複数の記録媒体から構成され、各記録媒体は、例えば、半導体メモリ、メモリカード、磁気テープ等である。
主制御部19は、CPU(Central Processing Unit)等から成り、撮像装置1内の各部位の動作を統括的に制御する。入力キー(不図示)等から構成された操作部42をユーザが操作することにより、その操作内容を表す信号が主制御部19に伝達される。その信号に応じて主制御部19がドライバ17、タイミングジェネレータ18及び信号処理部20等を制御することにより、静止画の撮影及び記録や動画の撮影及び記録が行われる。
操作部42への操作に応じて動画撮影を行う場合、主制御部19は、ドライバ17及びタイミングジェネレータ18を制御して撮像素子13の露光設定(撮像装置1の露光設定)を動画撮影用のそれにする。動画撮影用の露光設定は、動画の撮影に適した露光設定となっている。動画撮影中、所定のフレームレートで(即ち、所定の間隔をおいて)次々と原画像信号が前処理部14から出力される。撮影した動画を表すこれらの原画像信号は、画素数変換部21、動画処理部23及び動画圧縮部24の所定の処理を経つつ、次々と外部記録媒体41に送られ、外部記録媒体41に記録される。これにより、動画の撮影及び撮影した動画の記録が行われる。
操作部42への操作に応じて静止画撮影を行う場合、主制御部19は、ドライバ17及びタイミングジェネレータ18を制御して撮像素子13の露光設定(撮像装置1の露光設定)を静止画撮影用のそれにする。静止画撮影用の露光設定は、静止画の撮影に適した露光設定となっている。静止画の撮影によって得られた原画像信号は、静止画処理部25及び静止画圧縮部26の所定の処理を経て外部記録媒体41に送られ、外部記録媒体41に記録される。これにより、静止画の撮影及び撮影した静止画の記録が行われる。
上記の「露光設定」には、絞り12の開口量及び露光時間(露光時間の長さ)などの設定が含まれる。
今、商用交流電源の周波数が50Hz(ヘルツ)の場合において、非インバータ式の蛍光灯の照明下で動画撮影を行う場合を考える。この場合、照明の輝度変化の周期は1/100秒となる。そして、NTSC(National Television Standards Committee)方式に従い、動画の1フレーム期間が1/60秒である場合を考える(垂直同期周波数が60Hz)。
撮像素子13は、XYアドレス走査型の撮像素子であるため、異なる水平ライン間における露光タイミングは異なる。従って、図12を参照して説明したように、各画素の露光時間を1/100秒未満とすると、同一の水平ライン上の画素に対する露光量がフレーム間で変動すると共に、同一のフレームにおいても異なる水平ライン間で露光量が相違する。
このため、動画撮影用の露光時間は、照明の輝度変化の周期の整数倍に設定される。これにより、動画連続撮影中の蛍光灯フリッカが排除される。尚、同一の水平ラインにおいても、各画素の露光タイミングは順次ずれるが、蛍光灯の輝度変化の周期と比べてそのタイミング差は十分に短いため、同一の水平ライン上の隣接する画素の露光タイミングは同じとみなすことができる(つまり、同一フレームの同一水平ラインにおける蛍光灯フリッカを無視する)。また、周知の技術を用いて、撮像装置1の電源起動時などに照明の輝度変化の周期が測定されており、その測定結果に基づいて動画撮影用の露光時間が事前に定められているものとする。
動画撮影においては、被写体の動きを滑らかに再現するために露光時間を比較的長くして撮影を行うことが望ましい。一方、静止画撮影用の露光時間は、鮮明な静止画を得るべく比較的短く設定される。露光時間が被写体の動きに対して十分に短い場合は、図14の画像61に示す如く、所謂「被写体ぶれ」(動体ぶれ)のない鮮明な画像が得られる。
以下、動画撮影用の露光時間及び静止画撮影用の露光時間を、それぞれ、「TA」及び「TB」と表記し、露光時間TA及びTBが、それぞれ、1/100秒及び1/250秒であるものとする。
図2を参照して、動画撮影及び記録中に静止画を同時に撮影及び記録する場合の概要動作について説明する。動画撮影は、フレームFL1、FL2、FL3、FL4、FL5、FL6、・・・の順番で行われるものとする。
動画撮影中において、操作部42に対する静止画撮影の操作に応じてフレームFL4に相当する期間に1枚の静止画の撮影を行う場合を想定する。そして、この静止画の撮影のために、3つのフレームFL3、FL4及びFL5における露光時間をTAと異ならせる場合を想定する。その前後のフレームFL1、FL2及びFL6、・・・における露光時間はTAとされる。
静止画撮影を行う際は、露光時間を比較的短いTBとする一方で、露光時間の短縮による露光不足を補償すべく絞り12の開口量を動画撮影用のそれよりも大きくするが、絞り12の開口量の変化は機械的な動作を伴うため、或る程度の時間が必要である。このため、フレームFL3及びFL5における露光時間もTAと異なっている。
具体的には、フレームFL1、FL2及びFL6の開口量を動画撮影用のDAとし、フレームFL4の開口量を静止画撮影用のDBとし、フレームFL3及びFL5の開口量をそれぞれDC1及びDC2とした場合、DA<DC1<DB且つDA<DC2<DBが成立する。DC1とDC2の同一性は問わない。また、フレームFL4の露光時間はTBとされる。そして、フレームFL3及びFL5の露光時間をそれぞれTC1及びTC2とした場合、TA>TC1>TB且つTA>TC2>TBが成立する。TC1とTC2の同一性は問わない。
上記のような、露光時間と絞り12の開口量の調整によって、FL1〜FL6における画像の明るさ(例えば画面全体の輝度平均)は、均一化される。尚、絞り12の開口量の調整を行う代わりに増幅回路15の増幅度を調整し、これによってFL1〜FL6における画像の明るさを均一化してもよい。また、露光時間、絞り12の開口量及び増幅回路15の増幅度の調整を全て行い、これによってフレームFL1〜FL6における画像の明るさを均一化してもよい。
フレームFL1〜FL6における撮影によって得られた各原画像信号は、順次、フリッカ検出部27及びフリッカ補正部28に送られる。フレームFL1、FL2、FL3、FL4、FL5及びFL6における撮影によって得られた原画像信号を、それぞれ、IO1、IO2、IO3、IO4、IO5及びIO6とする。原画像信号IO1、IO2及びIO6によって表される画像にはフリッカが表れないが、TAより短い露光時間を採用したことに起因して原画像信号IO3、IO4及びIO5によって表される画像にはフリッカが表れる。
フリッカ検出部27は、原画像信号IO3、IO4及びIO5に含まれているフリッカ成分を検出し、該フリッカ成分を打ち消すためのフリッカ補正値を算出する。フリッカ補正部28は、算出されたフリッカ補正値を用いて、原画像信号IO3、IO4及びIO5を補正することにより、それぞれ補正画像信号IR3、IR4及びIR5を生成して出力する。補正画像信号IR3、IR4及びIR5によって表される画像のフリッカは低減されている(理想的には完全に排除される)。尚、原画像信号IO1、IO2及びIO6については、そのまま後段(画素数変換部21等)に出力される。
フレームFL1、FL2及びFL6に対応する原画像信号IO1、IO2及びIO6と、フレームFL3、FL4及びFL5に対応する補正画像信号IR3、IR4及びIR5は、画素数変換部21及び静止画処理部25(並びに動き検出部22)に送られる。それら(IO1、IO2及びIO6とIR3、IR4及びIR5)は、動画処理部23及び動画圧縮部24による所定の処理を経て、動画を表す画像信号(画像データ)として外部記録媒体41に記録される。一方、補正画像信号IR4は、静止画処理部25及び静止画圧縮部26のよる所定の処理を経て、静止画を表す画像信号(画像データ)として外部記録媒体41に記録される。
次に、フリッカ検出部27によるフリッカ補正値の算出手法、及び、それを用いたフリッカ補正部28によるフリッカ補正について詳細に説明する。
図3は、撮像素子13の撮像領域の模式図である。図3に示す如く、撮像素子13の撮像領域を、垂直方向にM分割、水平方向にN分割して考える。これによって、撮像素子13の撮像領域は、M×N個の領域に分割される。M及びNは、それぞれ2以上の整数である。
M×N個に分割された領域をM行N列の行列として捉える。撮像素子13の撮像領域の原点Xを基準にして考えた場合、
1行目には、領域AR[1:1]、AR[1:2]、・・・、AR[1:N−1]及びAR[1:N]が含まれ、2行目には、領域AR[2:1]、AR[2:2]、・・・、AR[2:N−1]及びAR[2:N]が含まれ、・・・、(M−1)行目には、領域AR[M−1:1]、AR[M−1:2]、・・・、AR[M−1:N−1]及びAR[M−1:N]が含まれ、M行目には、領域AR[M:1]、AR[M:2]、・・・、AR[M:N−1]及びAR[M:N]が含まれる。
また、1列目には、領域AR[1:1]、AR[2:1]、・・・、AR[M−1:1]及びAR[M:1]が含まれ、2列目には、領域AR[1:2]、AR[2:2]、・・・、AR[M−1:2]及びAR[M:2]が含まれ、・・・、(N−1)列目には、領域AR[1:N−1]、AR[2:N−1]、・・・、AR[M−1:N−1]及びAR[M:N−1]が含まれ、N列目には、領域AR[1:N]、AR[2:N]、・・・、AR[M−1:N]及びAR[M:N]が含まれる。
同一の行に属する領域同士は、同一の水平ライン上の画素を含む。異なる行に属する領域同士は、互いに異なる水平ライン上の画素を含む。同一の列に属する領域同士は、同一の垂直ライン上の画素を含む。異なる列に属する領域同士は、互いに異なる垂直ライン上の画素を含む。
例えば、領域AR[1:1]は、第1〜第5の水平ライン上にあって且つ第1〜第6垂直ライン上にある画素(この場合、合計30画素)から構成され、領域AR[1:2]は、第1〜第5の水平ライン上にあって且つ第7〜第12垂直ライン上にある画素(この場合、合計30画素)から構成され、領域AR[2:1]は、第6〜第10の水平ライン上にあって且つ第1〜第6垂直ライン上にある画素(この場合、合計30画素)から構成される。
尚、隣接する領域が同一の画素を含むようにしても構わない。例えば、領域AR[1:1]が、第1〜第5の水平ライン上にあって且つ第1〜第6垂直ライン上にある画素(この場合、合計30画素)から構成され、領域AR[1:2]が、第1〜第5の水平ライン上にあって且つ第5〜第9垂直ライン上にある画素(この場合、合計30画素)から構成され、領域AR[2:1]が、第4〜第8の水平ライン上にあって且つ第1〜第6垂直ライン上にある画素(この場合、合計30画素)から構成されるようにしても構わない。
フリッカ検出部27及びフリッカ補正部28は、以下のような想定の下でフリッカ補正を行う。
第1に、隣接するフレーム間において、被写体の動きやそれに伴う輝度変化などは軽微である(或いは無視できる)。
第2に、フリッカ補正部28による補正後の画像信号には(殆ど)フリッカ成分が含まれていない。
上記の想定の下、図4に示す如く、フリッカ検出部27は、まず、フリッカ成分が含まれていない原画像信号IO2を補正の基準である第1画像信号とし、フリッカ成分が含まれている原画像信号IO3を補正の対象である第2画像信号とし、第1画像信号(IO2)と第2画像信号(IO3)との比較から第2画像信号(IO3)に対するフリッカ補正値αを算出する。そして、フリッカ補正部28は、フリッカ補正値αを用いて、第2画像信号としての原画像信号IO3を補正し、補正画像信号IR3を生成する。
次に、フリッカ検出部27は、フリッカ成分が除去された補正画像信号IR3を第1画像信号とし、フリッカ成分が含まれている原画像信号IO4を第2画像信号とし、第1画像信号(IR3)と第2画像信号(IO4)との比較から第2画像信号(IO4)に対するフリッカ補正値βを算出する。そして、フリッカ補正部28は、フリッカ補正値βを用いて、第2画像信号としての原画像信号IO4を補正し、補正画像信号IR4を生成する。
更に次に、フリッカ検出部27は、フリッカ成分が除去された補正画像信号IR4を第1画像信号とし、フリッカ成分が含まれている原画像信号IO5を第2画像信号とし、第1画像信号(IR4)と第2画像信号(IO5)との比較から第2画像信号(IO5)に対するフリッカ補正値γを算出する。そして、フリッカ補正部28は、フリッカ補正値γを用いて、第2画像信号としての原画像信号IO5を補正し、補正画像信号IR5を生成する。
上記の流れに沿ったフリッカ補正手法の例として、第1補正手法及び第2補正手法を例示する。
[第1補正手法]
まず、第1補正手法について説明する。図5は、この第1補正手法を説明するためのフローチャートである。
ステップS1において、まず、フリッカ検出部27は、第1画像信号と第2画像信号を参照する。第1及び第2画像信号は、上記の如く特定される。今、説明の具体化のため、例として、第1及び第2画像信号が、それぞれ原画像信号IO2及びIO3であるとする。
そして、前フレーム(前回のフレーム)の画像信号である第1画像信号における、各領域内の信号レベルの平均値を算出する。具体的には、第1画像信号(IO2)に着目し、領域AR[m:n]ごとに、領域AR[m:n]を構成する画素の信号レベルの平均値を算出する(ステップS1)。合計M×N個の平均値が算出される。第1画像信号の領域AR[m:n]について算出された、該平均値をAVE_PRE[m:n]と表記する。mは1〜Mの任意の整数であり、nは1〜Nの任意の整数である。
例えば、信号レベルとは輝度を表す輝度信号の値である。この場合、原画像信号には、各画素の輝度を表す輝度信号が含まれる。例えば、領域AR[1:1]が30個の画素から構成される場合、AVE_PRE[1:1]は、30個の輝度信号の値の平均値となり、それは領域AR[1:1]内の画素の平均的な輝度を表す。尚、或る画素についての輝度信号は、周知の如く、例えば、その画素の周辺の画素値を考慮して算出される。
同様に、今フレーム(今回のフレーム)の画像信号である第2画像信号における、各領域内の信号レベルの平均値を算出する。具体的には、第2画像信号(IO3)に着目し、領域AR[m:n]ごとに、領域AR[m:n]を構成する画素の信号レベルの平均値を算出する(ステップS1)。合計M×N個の平均値が算出される。第2画像信号の領域AR[m:n]について算出された、該平均値をAVE_NOW[m:n]と表記する。
ステップS1に続くステップS2では、前フレームと今フレームの間で、領域ごとに、ステップS1で求めた平均値の比(RATIO[m:n]と表記する)を算出する。具体的には、下記式(1)に基づいて、各比RATIO[m:n]を算出する。合計M×N個の比が算出される。
RATIO[m:n]=AVE_PRE[m:n]/AVE_NOW[m:n]
・・・(1)
ステップS2に続くステップS3では、ステップS2で求めた比の行ごとの平均値を求める。m行目についての比(RATIO[m:1]〜RATIO[m:n])の平均値を、AVE_RATIO[m]と表記する。具体的には、下記式(2)に基づいて、各平均値AVE_RATIO[m]を算出する。合計M個の平均値が算出される。
前フレームと今フレームで撮像素子13に入射する光学像が変化していないと仮定すると、例えば、AVE_RATIO[1]は、1行目に属する領域[1:n]の中央に位置する水平ライン(図6の符号70)についての、フリッカ成分に起因するフレーム間の信号レベル比を表している。フリッカ成分が含まれている第2画像信号(IO3)において、その中央に位置する水平ライン(図6の符号70)上の画素の信号レベルに、AVE_RATIO[1]を乗じれば、フリッカ成分を打ち消すことができる。
ステップS3に続くステップS4では、ステップS3で求められたAVE_RATIO[m]を基に、水平ラインごとに、補正ゲイン(信号レベル補正ゲイン)を算出する。
図7に、AVE_RATIO[m]をプロットした様子を示す。各領域AR[m:n]が複数の水平ライン上の画素を含む場合を考える。この場合、各領域において、中央に位置する水平ラインに対して採用すべき補正ゲインと、中央に位置しない水平ラインに採用すべき補正ゲインとは、異なる。
そこで、例えば、AVE_RATIO[m]を垂直ライン方向に線形補間することにより、撮像素子13の各水平ラインに対する補正ゲイン(要素補正値)を算出する。
具体的には、まず、AVE_RATIO[m]を、m行目に属する領域AR[m:n]の中央に位置する水平ラインに対する補正ゲインとする。例えば、AVE_RATIO[1]を、1行目に属する領域AR[1:n]の中央に位置する水平ライン(以下、水平ラインL1という)に対する補正ゲイン(以下、補正ゲインG1という)とする。AVE_RATIO[2]を、2行目に属する領域AR[2:n]の中央に位置する水平ライン(以下、水平ラインL2という)に対する補正ゲイン(以下、補正ゲインG2という)とする。
そして、水平ラインL1とL2の間の水平ラインについての各補正ゲインを、補正ゲインG1とG2とを垂直ライン方向に線形補間することによって算出する。例えば、水平ラインL1とL2の間の水平ラインが、水平ラインL1AとL2Aの2本であって且つ水平ラインL1Aが水平ラインL1に隣接し、水平ラインL2Aが水平ラインL2に隣接する場合、水平ラインL1Aについての補正ゲインは「(G2―G1)/3+G1」とされ、水平ラインL2Aについての補正ゲインは「2(G2―G1)/3+G1」とされる。
他の水平ラインについての補正ゲインも同様に算出される。図7において、符号71が付された曲線は、この線形補間を用いて算出された各補正ゲインを表す曲線である。
尚、AVE_RATIO[m]を線形補間することによって、水平ラインごとに補正ゲインを算出する例を示したが、補間の手法として、線形補間以外の様々な補間手法を採用することも可能である。例えば、領域AR[m:n]の中央に位置する水平ラインと領域AR[m+1:n]の中央に位置する水平ラインとの間の水平ラインについての補正ゲインを補間によって算出する際、AVE_RATIO[m]及びAVE_RATIO[m+1]だけでなく、更にAVE_RATIO[m−1]及びAVE_RATIO[m+2]などを用い、近似曲線による補間を使ってもよい。
ステップS1〜S4の処理は、フリッカ検出部27によって行われる。上述の如く、水平ラインごとに算出された合計k個の補正ゲイン(要素補正値)は、第2画像信号(IO3)に対するフリッカ補正値(α)を構成する。但し、kは、撮像素子13の水平ラインの本数を表している。
ステップS4に続くステップS5において、フリッカ補正部28は、ステップS4にて算出された各補正ゲインを用いて第2画像信号(IO3)を補正する。具体的には、第2画像信号(IO3)における、第1、第2、・・・、第(k−1)、第k番目の水平ライン上の画素についての各信号レベル(例えば、輝度信号の値)に、それぞれ、ステップS4で算出した、第1、第2、・・・、第(k−1)、第k番目の水平ラインに対応する補正ゲインを乗じる。これによって、第2画像信号(IO3)からフリッカ成分が排除された補正画像信号(IR3)が生成される。
図4を参照して説明したように第1及び第2画像信号を順次入れ替えつつ、ステップS1〜S5の処理を繰り返すことにより、補正画像信号IR4及びIR5も生成される。
尚、水平ラインごとに補正ゲイン(合計k個の補正ゲイン)を算出する例を示したが、複数の水平ラインに対して1つの補正ゲインを割り当てるようにしても構わない。例えば、2本の水平ラインごとに、同一の1つの補正ゲインを割り当てる。この場合、ステップS4にて算出される補正ゲインの個数は合計k/2個となり、k/2個の補正ゲイン(要素補正値)によってフリッカ補正値(α)が構成されることになる。
そして、この場合、ステップS5において、第1及び第2番目の水平ライン上の画素についての各信号レベル(例えば、輝度信号の値)に、第1及び第2番目の水平ラインに対応する同一の補正ゲインを乗じる。他の水平ラインについても同様にし、補正画像信号(IR3)を生成するようにする。
また、「複数の水平ラインに対して1つの補正ゲインを割り当てる」という手法に含まれる内容であるが、各領域AR[m:n]に含まれる水平ラインの本数が十分に小さい場合は、ステップS4における補間処理を省略することも可能である。この場合、AVE_RATIO[m]を、領域AR[m:n]に含まれる全ての水平ラインに対する補正ゲインとする。
また、各領域AR[m:n]が複数の水平ライン上の画素を含む場合を上述したが、各領域AR[m:n]が1つの水平ライン上の画素しか含まない場合、即ち、撮像素子13の水平ラインの本数がM本である場合、AVE_RATIO[m]そのものを、第m番目の水平ラインに対応する補正ゲインとすることができる(領域AR[m:n]は、第m番目の水平ライン上の画素のみから構成される)。この場合、各補正ゲインを算出する際に補間処理は必要なくなる。しかしながら、ノイズ等の影響を受けやすくなるため、AVE_RATIO[m]から構成される数値群を、垂直ライン方向に空間的にフィルタリングしたものを、各補正ゲインとして最終的に採用するようにするとよい。
上述したフリッカ補正の手法は、隣接するフレーム間において、被写体の動きやそれに伴う輝度変化などが軽微であるとの想定の下で提案されるものであり、実際の画像は、その想定から外れる場合もある。これを考慮し、例えば、ステップS3にて、ステップS2で求めたRATIO[m:n]の行ごとの平均値AVE_RATIO[m]を求める際、所定の規則に則って、RATIO[m:n]の有効または無効を判断し、無効と判断したRATIO[m:n]を平均値の算出に当たって無視するようにしても構わない。
例えば、m=1の行についてのみ着目し、これを説明する。N=8と仮定する。この場合、ステップS2で8つの比(RATIO[1:1]〜RATIO[1:8])が算出される。この8つの比を、それぞれ、R1、R1、R3、R4、R5、R6、R7及びR8とする。
そして、例えば、R1〜R8の分散を考慮し、8つの比(R1〜R8)の平均値から所定の閾値以上乖離した比を、ノイズ等の影響が大きいと判断して無効とする。例えば、R1とR2を無効と判断した場合、AVE_RATIO[1]=(RATIO[1:3]+RATIO[1:4]+RATIO[1:5]+RATIO[1:6]+RATIO[1:7]+RATIO[1:8])/6、によって、AVE_RATIO[1]を算出する。
また、N=1とすることも可能である。この場合、撮像素子13の撮像領域は、図8に示す如く、水平ライン方向に合計M個の領域で分割されることになる。また、図9に示す如く、撮像素子13の撮像領域を垂直方向に2分割し、分割によって得られた一方の撮像領域を、水平ライン方向に合計M個の領域で分割するようにしてもよい。但し、上述した、RATIO[m:n]の有効/無効判断に基づく処理の利点を考慮すると、Nを2以上に設定することが望ましい。
[第2補正手法]
次に、フリッカ補正手法の第2補正手法について説明する。尚、第1補正手法にて説明した事項は、適宜、第2補正手法にも適用可能である。図10は、この第2補正手法を説明するためのフローチャートである。図10のステップS11〜S14の処理はフリッカ検出部27によって行われ、ステップS15の処理はフリッカ補正部28によって行われる。
第2補正手法では、画素に設けられるカラーフィルタの色ごとに、第1補正手法と同様の処理を行う。撮像素子13を構成する各画素に、赤(R)、緑(G)及び青(B)の何れかのカラーフィルタ(不図示)が、所謂ベイヤー配列にて配列されている場合を例として考える。図11に、或る1つの領域AR[m:n]における、カラーフィルタの配列を示す。各領域AR[m:n]には、赤のカラーフィルタが設けられた複数の画素(以下、R画素という)と、緑のカラーフィルタが設けられた複数の画素(以下、G画素という)と、青のカラーフィルタが設けられた複数の画素(以下、B画素という)と、が含まれる。
そして、信号処理部20に与えられる原画像信号には、R画素に蓄えられた信号電荷に比例するR信号値(R信号レベル)と、G画素に蓄えられた信号電荷に比例するG信号値(G信号レベル)と、B画素に蓄えられた信号電荷に比例するB信号値(B信号レベル)と、が含まれているものとする。
まず、ステップS11(図10参照)において、フリッカ検出部27は、第1画像信号と第2画像信号を参照する。今、説明の具体化のため、例として、第1及び第2画像信号が、それぞれ原画像信号IO2及びIO3であるとする。
そして、第1画像信号において、領域AR[m:n]ごとに、R信号値の平均値、G信号値の平均値及びB信号値の平均値を算出する(ステップS11)。具体的には、第1画像信号(IO2)に着目し、領域AR[m:n]ごとに、領域AR[m:n]を構成するR画素のR信号値の平均値AVE_PRE_R[m:n]、領域AR[m:n]を構成するG画素のG信号値の平均値AVE_PRE_G[m:n]、及び、領域AR[m:n]を構成するB画素のB信号値の平均値AVE_PRE_B[m:n]を算出する。
同様に、第2画像信号において、領域AR[m:n]ごとに、R信号値の平均値、G信号値の平均値及びB信号値の平均値を算出する(ステップS11)。具体的には、第2画像信号(IO3)に着目し、領域AR[m:n]ごとに、領域AR[m:n]を構成するR画素のR信号値の平均値AVE_NOW_R[m:n]、領域AR[m:n]を構成するG画素のG信号値の平均値AVE_NOW_G[m:n]、及び、領域AR[m:n]を構成するB画素のB信号値の平均値AVE_NOW_B[m:n]を算出する。
ステップS11に続くステップS12では、領域ごとに且つ色ごとに、ステップS11で求めた平均値の比を算出する。具体的には、下記式(3R)、(3G)及び(3B)に基づいて、RATIO_R[m:n]、RATIO_G[m:n]及びRATIO_B[m:n]を算出する。
RATIO_R[m:n]
=AVE_PRE_R[m:n]/AVE_NOW_R[m:n] ・・・(3R)
RATIO_G[m:n]
=AVE_PRE_G[m:n]/AVE_NOW_G[m:n] ・・・(3G)
RATIO_B[m:n]
=AVE_PRE_B[m:n]/AVE_NOW_B[m:n] ・・・(3B)
ステップS12に続くステップS13では、ステップS12で求めた比を用い、下記式(4R)、(4G)及び(4B)に基づいて、平均値AVE_RATIO_R[m]、AVE_RATIO_G[m]及びAVE_RATIO_B[m]を算出する。
ステップS13に続くステップS14では、図5のステップS4の処理に準じた処理を行う。つまり、ステップS14では、ステップS13で求められた平均値AVE_RATIO_R[m]等に基づき、線形補間などを用いて、水平ラインごとに且つ色ごとに、補正ゲイン(信号レベル補正ゲイン)を算出する。
AVE_RATIO_R[m]は、m行目に属する領域AR[m:n]の中央に位置する水平ラインに対するR補正ゲインとされる。そして、AVE_RATIO_R[m]を垂直ライン方向に線形補間することにより、撮像素子13の各水平ラインに対するR補正ゲイン(要素補正値)を算出する。この線形補間の手法は、図5のステップS4におけるそれと同様である。
同様に、AVE_RATIO_G[m]は、m行目に属する領域AR[m:n]の中央に位置する水平ラインに対するG補正ゲインとされる。そして、AVE_RATIO_G[m]を垂直ライン方向に線形補間することにより、撮像素子13の各水平ラインに対するG補正ゲイン(要素補正値)を算出する。
同様に、AVE_RATIO_B[m]は、m行目に属する領域AR[m:n]の中央に位置する水平ラインに対するB補正ゲインとされる。そして、AVE_RATIO_G[m]を垂直ライン方向に線形補間することにより、撮像素子13の各水平ラインに対するB補正ゲイン(要素補正値)を算出する。
但し、ベイヤー配列の場合、1つの水平ラインには2色のカラーフィルタしか存在しないため、対応する色画素が存在しない水平ラインについての補正ゲインの算出は省略される。例えば、R画素とG画素しか存在しない水平ラインについての、B補正ゲインの算出は省略される。今、R画素が奇数番目の水平ライン上にのみ存在し、B画素が偶数番目の水平ライン上にのみ存在するものとする。また、水平ラインの本数kを、偶数とする。
ステップS14に続くステップS15において、フリッカ補正部28は、ステップS14にて算出された各補正ゲインを用いて、色ごとに第2画像信号(IO3)を補正する。
具体的には、第2画像信号(IO3)における、第1、第3、・・・、第(k−3)、第(k−1)番目の水平ライン上のR画素についての各R信号値に、それぞれ、ステップS14で算出した、第1、第3、・・・、第(k−3)、第(k−1)の水平ラインに対応するR補正ゲインを乗じる。
第2画像信号(IO3)における、第1、第2、・・・、第(k−1)、第k番目の水平ライン上のG画素についての各G信号値に、それぞれ、ステップS14で算出した、第1、第2、・・・、第(k−1)、第k番目の水平ラインに対応するG補正ゲインを乗じる。
第2画像信号(IO3)における、第2、第4、・・・、第(k−2)、第k番目の水平ライン上のB画素についての各B信号値に、それぞれ、ステップS14で算出した、第2、第4、・・・、第(k−2)、第k番目の水平ラインに対応するB補正ゲインを乗じる。
これによって、第2画像信号(IO3)からフリッカ成分が排除された補正画像信号(IR3)が生成される。図4を参照して説明したように第1及び第2画像信号を順次入れ替えつつ、ステップS11〜S15の処理を繰り返すことにより、補正画像信号IR4及びIR5も生成される。
通常、蛍光灯の照明光におけるR、G、Bの構成比は、照明の輝度に応じて多少変化する。このため、フレームFL3〜FL5において、画像の色相変化(色フリッカ)も生じる可能があるが、第2補正手法を採用することにより、この色相変化をも補正することが可能となる。
尚、第1補正手法を説明する際にも述べたように、複数の水平ラインに対して1つのR補正ゲイン、1つのG補正ゲイン及び1つのB補正ゲインを割り当てるようにしても構わない。この際、ステップS14の補間処理を省略することも可能である。
また、第1補正手法を説明する際にも述べたように、各領域AR[m:n]が1つの水平ライン上の画素しか含まないようにすることも可能である。この場合、対応する色画素が存在しない水平ラインについての各種の値の算出は省略される。例えば、R画素とG画素しか存在しない領域(或いは行)に対応する、AVE_PRE_B[m:n]、AVE_NOW_B[m:n]、RATIO_B[m:n]、AVE_RATIO_B[m]及びB補正値の算出は省略される。
また、第1補正手法を説明する際にも述べたように、ステップS13にて、平均値(AVE_RATIO_R[m]等)を算出する際、所定の規則に則って、RATIO_R[m:n]等の有効または無効を判断し、無効と判断したRATIO_R[m:n]等を平均値の算出に当たって無視するようにしても構わない。
[メモリ使用状況]
次に、上述の第1または第2補正手法によるフリッカ補正を行うために必要なメモリの使用方法について説明する。撮像装置1が採用可能な、第1及び第2のメモリ使用方法を例示する。
まず、第1メモリ使用方法について説明する。第1メモリ使用方法では、フレームメモリ40内の所定サイズを有するメモリ領域が用いられる。このメモリ領域を、第1補正用メモリ領域(記録手段に対応)とよぶ。上記の所定サイズは、例えば、1つのフレームの画像信号を過不足なく格納することができるメモリサイズである。
第1メモリ使用方法を採用する際、図4の最下段に対応する「原画像信号IO2、補正画像信号IR3、IR4(、IR5)」が、この順番で、第1補正用メモリ領域に順次更新されつつ格納される。
つまり、まず、フリッカ補正値αを算出するために必要となる原画像信号IO2を第1補正用メモリ領域に格納する。そして、第1補正用メモリ領域に格納された原画像信号IO2と前処理部14から送られてきた原画像信号IO3とを用いてフリッカ補正値αの算出及び補正画像信号IR3の生成を行う。生成された補正画像信号IR3は、画素数変換部21等に送られると共に第1補正用メモリ領域に格納される(第1補正用メモリ領域内の原画像信号IO2は上書きされる)。
次のフレームでは、第1補正用メモリ領域に格納された補正画像信号IR3と前処理部14から送られてきた原画像信号IO4とを用いて、フリッカ補正値βの算出及び補正画像信号IR4の生成を行う。生成された補正画像信号IR4は、画素数変換部21等に送られると共に第1補正用メモリ領域に格納される(第1補正用メモリ領域内の補正画像信号IR3は上書きされる)。
上記のような、第1補正用メモリ領域内の画像信号の更新は、静止画撮影用フレーム(上記の例ではFL3〜FL5)の間、継続される。この手法を採用することにより、フリッカ補正に必要なメモリ領域を小さく抑えることができる。
次に、第2メモリ使用方法について説明する。第2メモリ使用方法では、第2補正用メモリ領域(記録手段に対応)を用いる。第2補正用メモリ領域は、フレームメモリ40以外のメモリ(例えば、信号処理部20の内部レジスタ;不図示)内に設けられる。但し、それをフレームメモリ40内に設けるようにしても構わない。
第2メモリ使用方法を採用する際において、図5に示す第1補正手法を用いる場合、図5のステップS1にて算出されるAVE_PRE[m:n](比較対象値に対応)が、第2補正用メモリ領域に順次更新されつつ格納される。第2メモリ使用方法を採用する際において、図10に示す第2補正手法を用いる場合、図10のステップS11にて算出されるAVE_PRE_R[m:n]、AVE_PRE_G[m:n]及びAVE_PRE_B[m:n]が、第2補正用メモリ領域に順次更新されつつ格納される。図5に示す第1補正手法を用いる場合を例にして、より具体的に説明する。
まず、原画像信号IO2を補正の基準となる第1画像信号と捉えた状態で、フリッカ補正値αを算出するために必要となるAVE_PRE[m:n]を算出し、算出したAVE_PRE[m:n]を第2補正用メモリ領域に格納する。そして、第2補正用メモリ領域に格納されたAVE_PRE[m:n]と前処理部14から送られてきた原画像信号IO3とを用いてフリッカ補正値αの算出及び補正画像信号IR3の生成を行う。
補正画像信号IR3の生成を行った後、今度は補正画像信号IR3を第1画像信号と捉えた状態で、フリッカ補正値βを算出するために必要となるAVE_PRE[m:n]を新たに算出し、新たに算出したAVE_PRE[m:n]を第2補正用メモリ領域に格納する。この際、原画像信号IO2を第1画像信号と捉えた状態で算出された、第2補正用メモリ領域内のAVE_PRE[m:n]は上書き更新される。そして、第2補正用メモリ領域に格納されたAVE_PRE[m:n]と前処理部14から送られてきた原画像信号IO4とを用いてフリッカ補正値βの算出及び補正画像信号IR4の生成を行う。
補正画像信号IR4の生成を行った後、今度は補正画像信号IR4を第1画像信号と捉えた状態で、フリッカ補正値γを算出するために必要となるAVE_PRE[m:n]を新たに算出し、新たに算出したAVE_PRE[m:n]を第2補正用メモリ領域に格納する。この際、補正画像信号IR3を第1画像信号と捉えた状態で算出された、第2補正用メモリ領域内のAVE_PRE[m:n]は上書き更新される。
上記のような、第2補正用メモリ領域内のAVE_PRE[m:n]の更新は、静止画撮影用フレーム(上記の例ではFL3〜FL5)の間、継続される。この手法を採用することによっても、フリッカ補正に必要なメモリ領域を小さく抑えることができる。また、必要なメモリ領域は、上記の第1メモリ使用方法と比べても極めて小さくて済み、フレームメモリ40を使用する必要もない。
[変形等]
尚、補正の基準となる第1画像信号を、順次変更(IO2→IR3→IR4)としていく例を示したが、補正の基準となる第1画像信号を原画像信号IO2に固定するという手法も採用可能である。この場合も、上記の第1または第2補正手法を採用可能である。
この場合、第2画像信号を原画像信号IO3と捉え、第1画像信号(IO2)と第2画像信号(IO3)との対比から、原画像信号IO3に含まれるフリッカ成分を打ち消すためのフリッカ補正値(上記フリッカ補正値αと同じ)を算出し、該フリッカ補正値を用いて原画像信号IO3の補正を行う。また、第2画像信号を原画像信号IO4と捉え、第1画像信号(IO2)と第2画像信号(IO4)との対比から、原画像信号IO4に含まれるフリッカ成分を打ち消すためのフリッカ補正値(上記フリッカ補正値βに対応)を算出し、該フリッカ補正値を用いて原画像信号IO4の補正を行う。また、第2画像信号を原画像信号IO5と捉え、第1画像信号(IO2)と第2画像信号(IO5)との対比から、原画像信号IO5に含まれるフリッカ成分を打ち消すためのフリッカ補正値(上記フリッカ補正値γに対応)を算出し、該フリッカ補正値を用いて原画像信号IO5の補正を行う。
但し、補正の基準となる第1画像信号を原画像信号IO2に固定した場合、被写体が動くことを考慮するとフリッカ補正の精度が悪化する。このため、上述してきたように、補正の基準となる第1画像信号を、順次変更していくことが望ましい。
1枚の静止画の撮影を行うために3つのフレームFL3〜FL5を使用する場合を例示したが、絞り12の開口量の変化が十分に短時間で終了する場合、静止画撮影用フレームを1つのフレームとすることが可能である。例えば、フレームFL3のみが静止画撮影用フレームとなる。この場合、フレームFL1、FL2及びFL4〜FL6における露光時間及び絞り12の開口量は動画撮影用のTA及びDAとされ、フレームFL3における露光時間及び絞り12の開口量は静止画撮影用のTB及びDBとされる(図2参照)。
静止画撮影用フレームが1つのフレームFL3から構成される場合の動作も、上述してきた動作と同様となる。単に、フレームFL4及びFL5に対応する原画像信号IO4及びIO5のフリッカ補正を行う必要がないだけである。勿論、複数枚の静止画を連続撮影する場合は、絞り12の開口量の変化速度に関係なく、連続する複数のフレームを静止画撮影用フレームとすることも可能である。
また、図3において、M行N列の行列の1行目に属する領域AR[1:1]〜AR[1:N]は1つの検出領域を構成する。同様に、m行目に属する領域AR[m:1]〜AR[m:N]も1つの検出領域を構成する(ここにおけるmは、2〜Mの範囲内の何れかの整数)。各検出領域は、互いに異なる水平ライン上の画素を含む。また、図8または図9において、1行目に属する領域AR[1:1]は、1つの検出領域を構成する。同様に、m行目に属する領域AR[m:1]も1つの検出領域を構成する(ここにおけるmは、2〜Mの範囲内の何れかの整数)。
尚、上記の記載の「平均値」は、勿論、「積算値」であってもかまわない。
本発明の実施の形態に係る撮像装置の全体ブロック図である。 図1の撮像装置を用いて行われる、動画撮影中における静止画同時撮影の動作を説明するための図である。 図1の撮像素子の撮像領域を、M行N列の領域に分割した様子を表す図である。 図1のフリッカ検出部及びフリッカ補正部によるフリッカ補正動作を説明するための図である。 図1のフリッカ検出部及びフリッカ補正部によるフリッカ補正の第1補正手法を説明するためのフローチャートである。 図1のフリッカ検出部及びフリッカ補正部によるフリッカ補正の第1補正手法を説明するための図である。 図1のフリッカ検出部にて算出される補正ゲインを模式的に表す図である。 図1のフリッカ検出部及びフリッカ補正部によるフリッカ補正手法の変形例を説明するための図である。 図1のフリッカ検出部及びフリッカ補正部によるフリッカ補正手法の変形例を説明するための図である。 図1のフリッカ検出部及びフリッカ補正部によるフリッカ補正の第2補正手法を説明するためのフローチャートである。 図3に示す各領域における、カラーフィルタの配列を示す図である。 蛍光灯フリッカの発生原理を説明するための図である。 蛍光灯フリッカの発生原理を説明するための図である。 露光時間と撮影画像との関係を説明するための図である。 蛍光灯フリッカの発生原理を説明するための図である。
符号の説明
1 撮像装置
11 光学系
12 絞り
13 撮像素子
14 前処理部
17 ドライバ
18 タイミングジェネレータ
19 主制御部
20 信号処理部
21 画素数変換部
22 動き検出部
23 動画処理部
24 動画圧縮部
25 静止画処理部
26 静止画圧縮部
27 フリッカ検出部
28 フリッカ補正部
40 フレームメモリバッファ
41 外部記録媒体
42 操作部

Claims (9)

  1. 異なる水平ライン間で露光タイミングを異ならせつつ、撮影を行うための撮像素子と、前記撮像素子を用いた撮影によって得られる画像信号を処理する信号処理部と、を備え、動画と静止画を撮影可能な撮像装置において、
    動画撮影中に静止画を撮影する際、1又は2以上のフレームから成る静止画撮影用フレームの間、動画撮影用の露光時間と異なる露光時間を採用して撮影を行い、
    前記信号処理部は、
    その静止画の撮影前における前記動画撮影用の露光時間を採用した撮影によって得られる画像信号である基準画像信号と、前記静止画撮影用フレームの撮影によって得られる画像信号である補正対象画像信号と、の比較に基づいて、前記動画撮影用の露光時間と異なる前記露光時間を採用したことに起因して前記補正対象画像信号に含まれることになったフリッカ成分に応じたフリッカ補正値を算出するフリッカ補正値算出手段と、
    前記フリッカ補正値を用いて、前記フリッカ成分を低減する方向に前記補正対象画像信号を補正するフリッカ補正手段と、を備える
    ことを特徴とする撮像装置。
  2. 前記静止画撮影用フレームが、第1、第2、・・・、及び第nフレーム(nは2以上の整数)から成り、前記補正対象画像信号が、第1、第2、・・・、及び第nフレームに対応する第1、第2、・・・、及び第n補正対象画像信号から成る場合、
    前記フリッカ補正値算出手段は、前記基準画像信号と前記第1補正対象画像信号との比較から前記フリッカ補正値として第1フリッカ補正値を算出し、前記フリッカ補正手段は、前記第1フリッカ補正値を用いて前記第1補正対象画像信号を補正し、
    前記フリッカ補正値算出手段は、補正後の前記第1補正対象画像信号と前記第2補正対象画像信号との比較から前記フリッカ補正値として第2フリッカ補正値を算出し、前記フリッカ補正手段は、前記第2フリッカ補正値を用いて前記第2補正対象画像信号を補正し、・・・、
    前記フリッカ補正値算出手段は、補正後の前記第(n−1)補正対象画像信号と前記第n補正対象画像信号との比較から前記フリッカ補正値として第nフリッカ補正値を算出し、前記フリッカ補正手段は、前記第nフリッカ補正値を用いて前記第n補正対象画像信号を補正する
    ことを特徴とする請求項1に記載の撮像装置。
  3. 前記撮像素子の撮像領域に複数の検出領域を設け、各検出領域は互いに異なる水平ライン上の画素を含み、
    前記第1フリッカ補正値は、各々が1または2以上の水平ラインに対応する複数の第1要素補正値から成り、前記第2フリッカ補正値は、各々が1または2以上の水平ラインに対応する複数の第2要素補正値から成り、・・・、前記第nフリッカ補正値は、各々が1または2以上の水平ラインに対応する複数の第n要素補正値から成り、
    前記フリッカ補正値算出手段は、前記基準画像信号中の各検出領域に対応する信号と前記第1補正対象画像信号中の各検出領域に対応する信号との比較から、検出領域ごとに前記第1補正対象画像信号に含まれる前記フリッカ成分を検出することにより、各第1要素補正値を算出し、
    補正後の前記第1補正対象画像信号中の各検出領域に対応する信号と前記第2補正対象画像信号中の各検出領域に対応する信号との比較から、検出領域ごとに前記第2補正対象画像信号に含まれる前記フリッカ成分を検出することにより、各第2要素補正値を算出し、・・・、
    補正後の前記第(n−1)補正対象画像信号中の各検出領域に対応する信号と前記第n補正対象画像信号中の各検出領域に対応する信号との比較から、検出領域ごとに前記第n補正対象画像信号に含まれる前記フリッカ成分を検出することにより、各第n要素補正値を算出する
    ことを特徴とする請求項2に記載の撮像装置。
  4. 前記第1、第2、・・・、及び第nフリッカ補正値を算出するために必要な情報を記録する記録手段を備え、
    前記記録手段には、前記第1フリッカ補正値を算出するための情報、前記第2フリッカ補正値を算出するための情報、・・・、及び、第nフリッカ補正値を算出するための情報が、順次更新されつつ記録される
    ことを特徴とする請求項2または請求項3に記載の撮像装置。
  5. 前記第1、第2、・・・、及び第nフリッカ補正値を算出するために必要な情報を記録する記録手段を備え、
    前記フリッカ補正値算出手段は、
    前記基準画像信号から算出される比較対象値と前記第1補正対象画像信号から算出される比較対象値との比較から第1フリッカ補正値を算出し、
    補正後の前記第1補正対象画像信号から算出される比較対象値と前記第2補正対象画像信号から算出される比較対象値との比較から第2フリッカ補正値を算出し、・・・、
    補正後の前記第(n−1)補正対象画像信号から算出される比較対象値と前記第n補正対象画像信号から算出される比較対象値との比較から前記第nフリッカ補正値を算出し、
    前記記録手段には、前記基準画像信号から算出される比較対象値、補正後の前記第1補正対象画像信号から算出される比較対象値、・・・、及び、補正後の前記第(n−1)補正対象画像信号から算出される比較対象値が、前記情報として順次更新されつつ記録される
    ことを特徴とする請求項2または請求項3に記載の撮像装置。
  6. 前記静止画撮影用フレームが、第1、第2、・・・、及び第nフレーム(nは2以上の整数)から成り、前記補正対象画像信号が、第1、第2、・・・、及び第nフレームに対応する第1、第2、・・・、及び第n補正対象画像信号から成る場合、
    前記フリッカ補正値算出手段は、前記基準画像信号と前記第1、第2、・・・、及び第n補正対象画像信号との比較から、夫々、前記フリッカ補正値として第1、第2、・・・、及び第nフリッカ補正値を算出し、前記フリッカ補正手段は、第1、第2、・・・、及び第nフリッカ補正値を用いて、夫々、前記第1、第2、・・・、及び第n補正対象画像信号を補正する
    ことを特徴とする請求項1に記載の撮像装置。
  7. 前記静止画撮影用フレームが1つのフレームから成る場合、
    前記フリッカ補正値算出手段は、前記基準画像信号と前記補正対象画像信号との比較から前記フリッカ補正値を算出する
    ことを特徴とする請求項1に記載の撮像装置。
  8. 前記撮像素子の撮像領域に複数の検出領域を設け、各検出領域は互いに異なる水平ライン上の画素を含み、
    前記フリッカ補正値は、各々が1または2以上の水平ラインに対応する複数の要素補正値から成り、
    前記フリッカ補正値算出手段は、前記基準画像信号中の各検出領域に対応する信号と前記補正対象画像信号中の各検出領域に対応する信号との比較から、検出領域ごとに前記補正対象画像信号に含まれる前記フリッカ成分を検出することにより、各要素補正値を算出する
    ことを特徴とする請求項7に記載の撮像装置。
  9. 前記撮像素子は、XYアドレス走査型の撮像素子である
    ことを特徴とする請求項1〜請求項8の何れかに記載の撮像装置。
JP2006072423A 2006-03-16 2006-03-16 撮像装置 Expired - Fee Related JP4739998B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006072423A JP4739998B2 (ja) 2006-03-16 2006-03-16 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006072423A JP4739998B2 (ja) 2006-03-16 2006-03-16 撮像装置

Publications (2)

Publication Number Publication Date
JP2007251611A true JP2007251611A (ja) 2007-09-27
JP4739998B2 JP4739998B2 (ja) 2011-08-03

Family

ID=38595441

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006072423A Expired - Fee Related JP4739998B2 (ja) 2006-03-16 2006-03-16 撮像装置

Country Status (1)

Country Link
JP (1) JP4739998B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009194770A (ja) * 2008-02-15 2009-08-27 Casio Comput Co Ltd 撮像装置、動画再生装置及びそのプログラム
JP2010056685A (ja) * 2008-08-26 2010-03-11 Sony Corp 撮像装置、補正回路および補正方法
US8018497B2 (en) 2007-10-26 2011-09-13 Casio Computer Co., Ltd. Image pick-up apparatus having still image advancing/retreating manipulation function, and method and non-transitory computer readable medium therefor
US8094203B2 (en) 2007-02-02 2012-01-10 Casio Computer Co., Ltd. Imaging apparatus having moving image shooting function
JP2012160785A (ja) * 2011-01-28 2012-08-23 Canon Inc 撮像装置およびその制御方法
JP2015228616A (ja) * 2014-06-02 2015-12-17 株式会社リコー 撮像装置、画像補正プログラムおよび画像処理装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001016508A (ja) * 1999-06-30 2001-01-19 Toshiba Corp 固体撮像装置
JP2006050031A (ja) * 2004-08-02 2006-02-16 Hitachi Ltd 撮影装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001016508A (ja) * 1999-06-30 2001-01-19 Toshiba Corp 固体撮像装置
JP2006050031A (ja) * 2004-08-02 2006-02-16 Hitachi Ltd 撮影装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8094203B2 (en) 2007-02-02 2012-01-10 Casio Computer Co., Ltd. Imaging apparatus having moving image shooting function
US8018497B2 (en) 2007-10-26 2011-09-13 Casio Computer Co., Ltd. Image pick-up apparatus having still image advancing/retreating manipulation function, and method and non-transitory computer readable medium therefor
JP2009194770A (ja) * 2008-02-15 2009-08-27 Casio Comput Co Ltd 撮像装置、動画再生装置及びそのプログラム
JP4556195B2 (ja) * 2008-02-15 2010-10-06 カシオ計算機株式会社 撮像装置、動画再生装置及びそのプログラム
US7995104B2 (en) 2008-02-15 2011-08-09 Casio Computer Co., Ltd. Image pick-up apparatus, image data processing apparatus, and recording medium
JP2010056685A (ja) * 2008-08-26 2010-03-11 Sony Corp 撮像装置、補正回路および補正方法
JP4626689B2 (ja) * 2008-08-26 2011-02-09 ソニー株式会社 撮像装置、補正回路および補正方法
US8218029B2 (en) 2008-08-26 2012-07-10 Sony Corporation Image taking apparatus, correction circuit and correction method
JP2012160785A (ja) * 2011-01-28 2012-08-23 Canon Inc 撮像装置およびその制御方法
US8970716B2 (en) 2011-01-28 2015-03-03 Canon Kabushiki Kaisha Image-capturing apparatus and control method of the image-capturing apparatus
JP2015228616A (ja) * 2014-06-02 2015-12-17 株式会社リコー 撮像装置、画像補正プログラムおよび画像処理装置

Also Published As

Publication number Publication date
JP4739998B2 (ja) 2011-08-03

Similar Documents

Publication Publication Date Title
JP5161706B2 (ja) 撮像装置及びその制御方法
JP4404823B2 (ja) 撮像装置
JP4646655B2 (ja) 固体撮像装置及びその駆動方法並びに撮像システム
JP2009268073A (ja) 撮像装置及び撮像装置の信号処理方法
JP2000341577A (ja) 手振れ補正装置およびその補正方法
JP4739998B2 (ja) 撮像装置
JP2007082044A (ja) 撮像方法および撮像装置
JP2003319240A (ja) 撮像装置
JP5199736B2 (ja) 画像撮像装置
JP2018207413A (ja) 撮像装置
JP5829122B2 (ja) 撮像装置および評価値生成装置
JP2007274504A (ja) デジタルカメラ
JP2006148550A (ja) 画像処理装置及び撮像装置
US20070269133A1 (en) Image-data noise reduction apparatus and method of controlling same
JP2009135792A (ja) 撮像装置および画像信号処理方法
JPH1175105A (ja) 静止画カメラ
JP2006279144A (ja) 歪補正装置
JP6108854B2 (ja) 撮像装置及びその制御方法
JP6235788B2 (ja) 撮像装置及びその制御方法
JP2007214772A (ja) 画像信号処理装置
JP2006121165A (ja) 撮像装置、画像形成方法
JP2007228152A (ja) 固体撮像装置および撮像方法
JP2009118430A (ja) 撮像装置、該撮像装置の駆動方法、画像生成装置及び画像生成方法
JP2006319827A (ja) 固体撮像装置および画像補正方法
JPH1175106A (ja) 静止画カメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090303

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110317

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110428

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees