JP2013197650A - 撮像装置および撮像方法 - Google Patents

撮像装置および撮像方法 Download PDF

Info

Publication number
JP2013197650A
JP2013197650A JP2012059747A JP2012059747A JP2013197650A JP 2013197650 A JP2013197650 A JP 2013197650A JP 2012059747 A JP2012059747 A JP 2012059747A JP 2012059747 A JP2012059747 A JP 2012059747A JP 2013197650 A JP2013197650 A JP 2013197650A
Authority
JP
Japan
Prior art keywords
image
frame
moving image
recording
frame rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012059747A
Other languages
English (en)
Other versions
JP5929362B2 (ja
Inventor
Akira Kanehiro
兼弘  亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2012059747A priority Critical patent/JP5929362B2/ja
Publication of JP2013197650A publication Critical patent/JP2013197650A/ja
Application granted granted Critical
Publication of JP5929362B2 publication Critical patent/JP5929362B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

【課題】 動画像のダイナミックレンジを拡張することができる撮像装置および撮像方法を得る。
【解決手段】 記録フレームレートより高い取込フレームレートで動画像を撮影する動画像撮影手段、取込フレームレートで撮影された動画像から記録フレームレート動画像を生成する動画像生成手段、生成された記録フレームレート動画像を記録する動画像記録手段、を有し、動画像生成手段は、取込フレームレートで撮影された動画像を構成する複数のフレーム画像のうち1のフレーム画像を注目フレーム画像として決定する注目フレーム画像決定部、注目フレーム画像の明るさを判定する判定部、判定結果により注目フレーム画像に他のフレーム画像を合成する画像合成部、注目フレームと他のフレーム画像の合成画像を用いて、動画像記録手段に記録される記録フレームレート動画像を生成する動画像生成部、を有する撮像装置による。
【選択図】図4

Description

本発明は、所定のフレームレートで動画像を撮像する撮像装置および同装置における撮像方法に関するものであって、詳しくは、動画像のダイナミックレンジを拡張することができる撮像装置および撮像方法に関するものである。
撮影レンズを介して受光面に結像した被写体画像に係る静止画像を記録する撮像装置が知られている。このような撮像装置の中には、従来のものに比べて撮像する静止画像のダイナミックレンジを拡張することができるものがある(例えば、特許文献1を参照)。
特許文献1の撮像装置が備えるダイナミックレンジ拡張技術は、自動露出機能により、予め定められた基準露光量で撮像した画像に生じた「白とび」や「黒潰れ」を、基準露光量とは異なる露光量で撮像した画像を用いて補完して、「白飛び」や「黒潰れ」の無い撮像画像を生成するものである。
また、近年の撮像装置の中には、動画像を撮像する機能も備えているものもある。動画像撮像モードでは、予め規定された所定の記録フレームレートに対応するフレームレートで静止画像を連続的に取得し、動画像として記録する。動画像においても、静止画像の撮像の撮像時に生じる「白飛び」や「黒潰れ」が、同様の原因で生じることがある。
しかし、動画像の撮像時に、上記特許文献1に記載されているダイナミックレンジ拡張技術を適用するには課題がある。例えば、動画像の記録フレームレートが毎秒30フレームである場合、毎秒30枚の静止画像を基準露光量で取得し、さらに、基準と異なる露光量の画像を同じフレームレートで取得することになるが、基準と異なる露光量の静止画像を取得するには、露光時間を長くする必要がある。そのために、毎秒30フレームよりも遅いフレームレートで画像を取得する必要がある。この場合、特に「黒つぶれ」を補正するための明るい画像を取得するには、露光時間がより長くなる。このように、従来知られているダイナミックレンジ拡張技術を動画像の撮像に用いると、補完のために取得する画像のフレームレートを遅くすることになり、それにともなって、記録する動画像のフレームレートも毎秒30フレームよりも遅くなる。その結果として、動画像の動きの滑らかさが損なわれてコマ送り画像のようになってしまう。
上記の課題を解決するものとして、撮像素子を2つ以上備えた撮像装置が知られている(例えば、特許文献2を参照)。特許文献2に記載されている撮像装置によれば、露光量が異なる2つ撮像素子を介して取得した2つの動画像を合成することで、ダイナミックレンジを拡張することができる。
しかし、特許文献2の撮像装置のように、複数の撮像素子を介して画像を取得すると、それぞれの画像の画角が異なるので、画像合成処理を行うには、まず、各画像の画角を合わせる必要が生じる。また、複数の撮像素子の動作を同期させないと、動画像にズレが生じることから、これを制御する構成が必要となり、複雑な制御処理も必要となる。さらに、撮像素子を複数搭載することから、部品点数が増えるため製造コストが上がるという課題が生じる。
本発明は上記の課題に鑑みてなされたものであって、容易にダイナミックレンジの広い動画像を撮像することができる撮像装置および撮像方法を提供することを目的とする。
本発明は、被写体の動画像を所定の記録フレームレートで記録する撮像装置であって、記録フレームレートよりも高い取込フレームレートで動画像を撮影する動画像撮影手段と、取込フレームレートで撮影された動画像から、記録フレームレートの動画像を生成する動画像生成手段と、生成された記録フレームレートの動画像を記録する動画像記録手段と、を有し、動画像生成手段は、取込フレームレートで撮影された動画像を構成する複数のフレーム画像のうち、1のフレーム画像を注目フレーム画像として決定する注目フレーム画像決定部と、注目フレーム画像の明るさを判定する判定部と、決定された注目フレーム画像に、複数のフレーム画像のうち他のフレーム画像を合成する画像合成部と、注目フレームと他のフレーム画像とが合成されて得られる画像を用いて、動画像記録手段に記録される記録フレームレートの動画像を生成する動画像生成部と、を有し、画像合成部が、判定部の判定結果に基づいて注目フレーム画像に他のフレーム画像を合成することが決定された場合に、注目フレーム画像に他のフレーム画像を合成する、ことを最も主要な特徴とする。
本発明によれば、ダイナミックレンジの広い動画像を撮像することができる。
本発明に係る撮像装置であるカメラの例を示す正面図である。 本発明に係る撮像装置であるカメラの例を示す上面図である。 本発明に係る撮像装置であるカメラの例を示す背面図である。 本発明に係る撮像装置の機能構成の例を示す機能ブロック図である。 従来の撮像装置によって撮像される動画像のフレーム構成の例を示す図であって、(a)取込フレームレートの例、(b)記録フレームレートの例、である。 本発明に係る撮像装置によって撮像される動画像のフレーム構成の例を示す図であって、(a)取込フレームレートの例、(b)記録フレームレートの例、である。 本発明に係る撮像装置が実行する動画像撮像処理の例を示すフローチャートである。 上記動画像撮像処理における動画像生成処理の例を示すフローチャートである。 上記動画像撮像処理におけるフレーム合成処理の例を示すフローチャートである。 上記動画像撮像処理における動画像生成処理の別の例を示すフローチャートである。 上記動画像撮像処理におけるブロック合成処理の例を示すフローチャートである。 上記動画像撮像処理におけるフレーム合成処理の別の例を示すフローチャートである。 本発明に係る撮像方法を実行するプログラムの構成例を示すブロック図である。 本発明に係る撮像装置における輝度値を算出する画像ブロックの例を示す図である。 本発明に係る撮像装置における合成比率の例を示すグラフである。
●撮像装置の外観●
以下、本発明に係る撮像装置および撮像方法の実施の形態について図面を参照しながら説明する。図1から図3は、本発明に係る撮像装置の実施形態を示す外観図である。図1は本発明に係る撮像装置1の正面図、図2は撮像装置1の上面図、図3は撮像装置1の背面図、である。図1に示すように、撮像装置1の筐体であるカメラボディCBの正面には、ストロボ発光部3、ファインダ4の対物面、リモコン受光部6および撮像レンズを含む撮像光学系7が配置されている。カメラボディCBの一方の側面部には、メモリカード装填室および電池装填室の蓋2が設けられている。
また、図2に示すように、カメラボディCBの上面には、レリーズスイッチSW1、モードダイヤルSW2およびサブ液晶ディスプレイ(サブLCD)(以下「液晶ディスプレイ」を「LCD」という。)11が配置されている。
また、図3に示すように、カメラボディCBの背面には、ファインダ4の接眼部、AF用発光ダイオード(以下、発光ダイオードを「LED」という。)8、ストロボLED9、被写体画像と拡大画像および各種設定画面を表示する表示手段であるLCDモニタ10、電源スイッチ13、広角方向ズームスイッチSW3、望遠方向ズームスイッチSW4、セルフタイマの設定および解除スイッチSW5、メニュースイッチSW6、上移動およびストロボセットスイッチSW7、右移動スイッチSW8、ディスプレイスイッチSW9、下移動およびマクロスイッチSW10、左移動および画像確認スイッチSW11、OKスイッチSW12、電源スイッチSW13、が配置されている。
●撮像装置の機能ブロック●
図4は、撮像装置1の機能構成例を示す機能ブロック図である。本発明に係る撮像装置の各種動作(処理)は、デジタル信号処理IC(集積回路)等で構成されるプロセッサ23と、プロセッサ23において動作するプログラムによって制御される情報処理手段によって実現されるものである。当該プログラムはROM38に記憶されている。
図4において撮像装置1は、フォーカスレンズ(フォーカス光学系)を含む撮影レンズ系7、撮影レンズ系7と撮像素子であるCCD101との間に設けられたメカニカルシャッタ17と、この撮像レンズ系7およびメカニカルシャッタ17を介して受光面に結像する被写体像に係る信号を出力する撮像素子であるCCD101と、撮像レンズ系7のうち少なくともフォーカスレンズを、その光軸に沿った可動範囲で変位させるモータドライバ75と、撮像開始の操作指示に用いられるレリーズスイッチSW1等を含む操作部19と、主としてCCD101からの信号読み取り処理を行うフロントエンド(F/E)のF/E信号処理部102と、CCD101から信号を読み取るための制御や、読み取られた信号の処理、モータドライバ75の駆動制御、操作部19からの操作信号の入力処理、CCD101から読み取って得られた画像信号に基づいて動画像を生成して記憶する等の各種画像処理を行うデジタル信号処理IC(プロセッサ)23と、撮像装置1の動作制御を行うプログラムを記憶するROM38と、フレームメモリであるSDRAM41と、モニタリング画像や再生画像を表示する画像表示部を構成するLCD10と、撮像した画像を記録するメモリカード14と、を有してなる。
なお、図示はしないが、撮像装置1には、定期的に被写体距離を測定する測距手段である測距センサ、手ブレを補正する手ブレ補正手段、撮像装置1のブレを検出するためのジャイロセンサなど、も備えてもよい。
CCD101は、露光状態で受光面に入射される光学像を電気信号に変換し、画像信号として転送出力する。動画像を撮像するときには、露光は所定のタイミング間隔で繰り返して行われて、所定の時間間隔で動画像信号を転送出力する。CCD101には各画素上に色分解フィルタとしてのRGB原色フィルタ(不図示)が配置されており、各画素においてRGB3原色に対応した電気信号(アナログRGB画像信号)が発生する。CCD101の画素出力値は、例えば、12ビット(R、G、Bに3ビットずつ割り当て、Gが2つある)であって、各画素は0〜4095の値をとる。
F/E信号処理部102は、CDS(相関2重サンプリング)回路1021、AGC(自動利得制御)回路1022、A/D(アナログ・デジタル)変換器1023、およびタイミング発生器(TG)1024を有してなる。
CDS回路1021は、上記のアナログRGB画像信号を相関2重サンプリングして信号のノイズを除去する回路である。
AGC(自動利得制御)回路1022は、CDS回路1021でノイズ除去された信号を自動利得制御して所望の信号レベルに調整する回路である。
A/D(アナログ・デジタル)変換器1023は、AGC回路1022からのアナログRGB画像信号をデジタルRGB画像データ(以下、「RAW−RGBデータ」という)に変換する回路である。
タイミング発生器(TG)1024は、プロセッサ23のカメラインターフェイス(カメラI/F)31からの水平同期駆動信号(HD)と垂直同期駆動信号(VD)に応動して、プロセッサ23の制御部25と連携して、CCD101、CDS回路1021、AGC回路1022およびA/D変換器1023に対して、それぞれタイミング信号を送る。このタイミング信号によって各回路は、適正に同期する。
プロセッサ23は、カメラI/F31、メモリコントローラ32、表示出力制御部33、圧縮処理部34、YUV変換部35、リサイズ処理部36、メディアインターフェイス(メディアI/F)37、制御部25および動画像生成処理部39と、を有してなる。
カメラI/F31は、A/D変換器1023から出力されるRAW−RGBデータを所定のフレームレートをもって取り込み、メモリコントローラ32を介してSDRAM41にRAW−RGBデータとして記憶させる。カメラI/F31が、取り込むデジタルRGB画像データ(以下、取込画像データ、という。)のフレームレートは、記録・保存される動画像データのフレームレートよりも高いフレームレート(取込フレームレート)である。
メモリコントローラ32は、制御部25の制御に基づき、カメラI/F31において取り込まれた取込画像データ、取込画像データがYUV変換部35によりYUV変換されたYUVデータ、静止画撮像モードにおいて、カメラI/F31から取り込まれた静止画データが圧縮処理部34により例えばJPEG形式で圧縮処理された画像データ、および後述する動画像生成処理部39によって生成された合成画像データなどを、SDRAM41への書き込む処理、およびSDRAM41に保存されている画像データの読み出す処理を行う。
表示出力制御部33は、SDRAM41から読み出された画像データを、LCDモニタ10に表示させるとともに、図示しない外部のディスプレイへの画像出力を行う。
SDRAM41は、半導体メモリで構成されており、各種の画像データなどのデータを保存するために用いられる。
圧縮処理部34は、制御部25の制御に基づき、与えられた画像データを所定の方式でエンコードして圧縮された画像データを生成する。
YUV変換部35は、カメラI/F31により取り込まれた取込画像データの輝度レベルを判定する輝度レベル判定部、RAW−RGBデータをビットシフトしてビット圧縮するビット圧縮変換部、オートホワイトバランス制御部、制御部25から与えられるオートホワイトバランス制御値にしたがってRAW−RGB形式の取込画像データをYUV形式のデータに変換するRGB−YUV変換部、変換されたYUV形式のデータから輝度ヒストグラムを生成する輝度ヒストグラム生成部等を有している。
リサイズ処理部36は、カメラI/F31により取り込まれた取込画像データや、SDRAM41から読み出された画像データ等をリサイズする処理を行う。
メディアI/F37は、カメラI/F31により取り込まれた取込画像データやSDRAM41から読み出された記録用の動画像ファイルを、メモリコントローラ32と制御部25の制御に従ってメモリカード14に書き込むインターフェース回路である。
ROM38には、後述する撮影動作に係る各種の処理を行うためのプログラムおよびデータが格納されている。当該プログラムおよびデータによって、プロセッサ23が画像演算処理等を行い、メモリカード14に動画像ファイルを記録することができる。
●プログラム構成
図13に、ROM38に格納されている制御プログラム380の構成の例を示す。制御プログラム380は、注目フレーム判定部381と、明るさ判定部382と、合成処理部383と、記録フレーム生成部384と、動き検出処理部385と、を有してなる。
注目フレーム判定部381は、取込画像データを構成する特定のフレームを注目フレームとして特定する処理を行う。明るさ判定部382は、注目フレームの画像の明るさ(輝度値)を検出して、合成処理の要否を判断する処理を行う。合成処理部383は、後述する合成処理を行う。記録フレーム生成部384は、後述する動画像生成処理部39において、記録フレームレートの画像から動画像ファイルを生成する処理を行う。動き検出処理部385は、取込画像データに含まれる被写体の動き検出処理を行い、合成処理の要否を判定する処理を行う。
動画像生成処理部39は、所定のフレームレートにてカメラI/F31が取り込んだ取込画像データから、記録フレームレートからなる記録動画像ファイルを生成する処理を行う。
●動画像撮像処理の流れ
以上の構成を備える撮像装置1において、撮影者が撮像装置1のメニュースイッチ6(図3参照)を操作して撮影設定画面(不図示)をLCD10に表示させる。そして、撮影者が撮影設定画面に表示される「動画撮影モード」を選択することにより、撮像装置1は制御部25の制御によって動画撮影モードに設定される。
動画撮影モードで動作をする撮像装置1は、レリーズスイッチSW1が押下されるまでモニタリング動作をおこなう。モニタリング動作は、予め規定されたフレームレートで被写体画像をLCD10に表示する動作である。LCD10に表示される画像に対しては、AE(自動露光)処理と公知のAWB処理が繰り返し行われている。
ここで、AE処理について説明をする。制御部25は、取込画像データにおけるRGB値のそれぞれを積分値からAE(自動露出)評価値を算出する。例えば、CCD101の全画素の受光面に対応した画面を図14に示すように256エリアに等分割(水平16分割、垂直16分割)し、それぞれのエリアのRGB積算を算出する。そして、制御部25は算出されたRGB積算値から、画面それぞれのエリアの輝度を算出して輝度分布から適正な露光量(適正露光時間Ts)を決定する。
●フレームレートの説明
次に、本発明に係る撮像装置の動画像撮像動作の例について説明をする。まず動画像の構成について説明をする。図5は、従来の撮像装置における取込フレームレート(a)と、記録フレームレート(b)の例を示している。従来の撮像装置は、取込フレームレートと記録フレームレートが同じフレームレートになる。従って、図5(b)に示すように、記録フレームレートを1/30秒に設定していれば、図5(a)に示すように、取込フレームレートも1/30秒になる。
次に、本発明に係る撮像装置に係る取込フレームレートと記録フレームレートについて説明する。図6(a)は、本発明に係る撮像装置における取込フレームレートの例を示している。図6(b)は、本発明に係る撮像装置における記録フレームレートの例を示している。図6(b)に示すように、記録フレームレートが1/30秒の場合、取込フレームレートは記録フレームレートよりも高いフレームレート(例えば、1/120秒)が設定される。
●ダイナミックレンジ技術の適用原理
本発明に係る撮像装置では、まず、取込画像データを構成する取込フレームレートの1フレームを注目フレームとし、注目フレームに係る画像を「注目フレーム画像」という。注目フレーム画像に対する明るさ判定処理によって、画像合成処理の有無を判定することになるので、注目フレームは、記録フレームレートに対応する取込フレームレートの最後のフレームが望ましい。よって、注目フレームは、図6(a)の符号100、101、102で示したフレームとする。言い換えると、注目フレームは、取込フレームレートを構成するフレームのうち、記録フレームレートに対応する分の取込フレームレートにおける最新のフレームである。
注目フレーム画像の明るさが適正であるか否かは、注目フレーム画像の輝度値を算出し、この輝度値が適正な値(閾値)を超えているか否かを判定することで行われる。注目フレーム画像の輝度値が閾値を超えていれば、この注目画像の明るさは適正であると判定する。この判定処理の結果、注目フレーム画像100の輝度値が閾値を超えていれば、この注目フレーム100画像を用いて記録フレームレートの1フレーム(符号1001)の画像を生成すればよい。
注目フレーム画像101の輝度値が閾値以下であれば、この注目フレーム画像101の明るさは不適であると判定する。このときは、当該注目フレーム画像101の1つ前のフレーム画像101aと、注目フレーム画像101を合成することで、適正な輝度値からなる画像を生成し、この画像を用いて、記録フレームレートの1フレーム(符号1011)を生成する。同様に、注目フレーム画像102の輝度値が閾値以下であるとき、1つ前のフレーム画像102aと、注目フレーム画像102とを合成する。しかし、合成後の注目フレーム画像102の輝度値が閾値以下であるときは、さらに1つ前のフレーム画像102bも合成する。このように、注目フレーム画像の輝度値が閾値を超えるまで他のフレーム画像を合成することで、適正な明るさからなる記録フレームレートの1フレーム(符号1021)に係る画像を生成する。
このように本発明に係る撮像装置によれば、記録フレームレートよりも高い取込フレームレートで動画像を撮像し、取込フレームレートで撮影された動画像を構成する複数のフレーム画像のうち、1のフレームである注目フレーム画像の明るさを判定し、この判定結果に応じて、他のフレーム画像と注目フレーム画像とを合成して記録フレームの動画像を生成することで、ダイナミックレンジを拡張することができる。
●撮像方法●
次に、本発明に係る撮像装置が実行する撮像方法の例について、図7以降のフローチャートを用いて説明する。各フローチャートにおいて、処理ステップは、S1、S2、S3、・・・のように表す。図7は、本発明に係る撮像方法の全体の流れの例を示している。撮像装置1の電源スイッチSW13が操作され、モードダイヤルSW2が操作されて「動画撮像モード」が選択されると、画像取込処理(S1)が実行される。画像取込処理(S1)では、記録フレームレートよりも高いフレームレートである取込フレームレートによって、カメラI/F31から取込画像データを取得する。取得された取込画像データは、メモリコントローラ32を介してSDRAM41に、一時的に記録される。その後、制御部25の制御によって、SDRAM41に一時的に記録された取込画像データに対して所定の画像処理が行われ、メモリコントローラ32と表示出力制御部33を介して、LCD10にモニタリング画像が出力される。
●画像取込処理
ここで、レリーズスイッチSW1が操作されて(例えば押下されて)、動画像撮像が開始されると、SDRAM41に記録された取込画像データを用いて動画像データを生成する動画像生成処理(S2)が行われる。動画像生成処理(S2)の詳細については後述する。続いて、生成された動画像を動画像ファイルとしてメディアI/F37を介してメモリカード14に記録(S3)し、当該処理は終了する。
●動画像生成処理
次に、動画像生成処理(図7のS2)の詳細な処理の流れについて、図8のフローチャートを用いて説明する。まず、注目フレーム決定処理が行われる(S21)。注目フレームとは、取込画像データにおいて、1記録フレームレートに相当する取込フレームレートに含まれるフレームのうち、最新のフレームをいう。また、注目フレーム画像とは、取込画像データにおいて、1記録フレームレートに相当する取込フレームレートに含まれるフレームのうち、最新のフレームの画像をいう(図6(a)の符号100、101、102を参照)。次に、注目フレーム画像の明るさを判定する第1明るさ判定処理が行われる(S22)。注目フレーム画像の輝度値が所定の閾値を超えていれば(S22のYES)、当該注目フレーム画像の明るさは適正であると判定されて、記録フレームレートの1フレーム分の画像を生成する記録フレーム生成処理が、この注目フレームを用いて実行される(S23)。
第1明るさ判定処理において、閾値以下であれば(S22のNO)、フレーム合成処理(S24)が行われる。フレーム合成処理(S24)の詳細については後述する。フレーム合成処理(S24)後の注目フレーム画像に対する第1明るさ判定処理(S22)が行われ、注目フレー像の輝度値が閾値適正な輝度値を超えていれば(S22のYES)、当該合成された注目フレーム画像を用いて記録フレームレートの1フレーム分の画像が生成される(S23)。ここで、合成された画像に対して、再度、第1明るさ判定処理(S22)が行われて、合成された注目フレーム画像が閾値以下であれば(S22のNO)、再度のフレーム合成処理(S24)が行われる。フレーム合成処理(S24)は、注目フレーム画像の輝度値が適正値になるまで繰り返し実行される。
このように、本発明に係る撮像方法によれば、取込画像データの取込フレームレートを構成する1つのフレームを用いて画像の明るさを輝度値によって判定し、適正な輝度値であれば、その1フレームを用いて記録フレームレートの1フレームに係る画像を生成する。一方、輝度値が不適であれば、取込フレーム中の他のフレームに係る画像を合成して輝度値を増加させて明るさを補完することで、1つの撮像素子から取得した動画像を用いて、ダイナミックレンジを拡張した動画像ファイルを生成することができる。
●フレーム合成処理
次に、フレーム合成処理(図8のS24)の詳細な処理の流れについて、図9のフローチャートを用いて説明する。まず、注目フレーム画像の明るさに応じて、注目フレーム画像に対して他のフレーム画像を画像合成するための、合成比率を決定する(S241)。合成比率決定処理(S241)について図15を用いて説明する。
●合成比率の決定方法
図15は横軸を輝度値とし、縦軸を合成比率とするグラフである。フレーム合成処理(S24)において、取込フレームレートを構成する取込画像データの1フレーム分の画像全体の輝度によって、合成比率を決定する場合、1フレーム分の画像全体を複数の画像ブロックに分割し、この画像ブロックごとに算出した輝度値の平均値を用いて、合成比率を決定すればよい。例えば、適正な明るさに係る輝度値を60とし、注目フレームに係る画像の輝度値がこの値以下であれば、フレーム合成処理を行うと判定すればよい(S22のNO)。
なお、「画像ブロックに分割する」とは、図14に示すように1フレーム分の画像を、縦方向と横方向に所定の数で画像ブロックを形成することをいう。
合成条件決定処理(S241)における合成処理の決定方法について、図15を例に説明をする。例えば、当該注目フレーム画像の輝度値が0〜15の間であれば、図15のグラフに示すように、合成比率は「100%」となる。輝度値が30のときは、合成比率は「95%」、輝度値が45のときは「50%」、輝度値が60のときは「6%」、というように決定すればよい。輝度値が上記の中間の値であるときは、合成比率も図15に示すグラフに従って中間の値を用いればよい。
なお、輝度値が0〜15の間であれば「100%」、16〜30の間であれば「95%」、31〜45の間であれば「50%」、46〜60の間であれば「6%」というように、参照テーブル形式のデータとして規定して、ROM38に記憶しておき、所定の数値幅の輝度値に対しては、同じ合成比率を適用してもよい。テーブルデータとして合成比率決定テーブルを記憶しておけば、合成比率決定処理(S241)をより素早く行うことができる。
決定した合成比率を用いて、注目フレーム画像と、注目フレーム画像の一つ前の他のフレーム画像とを合成する(S242)。合成処理は、注目フレーム画像の各画素の画素値に対して、対応する他のフレーム画像の各画素の画素値に合成比率を掛け合わせた値を、加算する処理である。
フレーム合成処理(S24)によって他のフレーム画像が合成された注目フレーム画像の明るさ判定処理(図8のS22)が再度行われる。その結果、合成した注目フレーム画像の輝度値が閾値を超えていなければ(S22のNO)、再度、フレーム合成処理(S24)を実行する。再度のフレーム合成処理では、先のフレーム合成処理において使用した他のフレーム画像のさらに前のフレーム画像を、合成された注目フレーム画像に合成する。この場合、合成比率の決定は(図9のS241)、合成されている注目フレーム画像の明るさに応じて行う。
以上説明をした本発明に係る撮像方法によれば、記録フレームレートよりも高いフレームレートである取込フレームレートで構成される取込画像データに含まれる1のフレームを注目フレームとして、この注目フレームに係る画像(注目フレーム画像)の明るさに応じて、他のフレーム画像と注目フレーム画像を合成し、記録フレームを生成することで、動画像のダイナミックレンジを拡張することができる。
●フレーム内分割した動画像生成処理
次に、本発明に係る撮像装置が実行する撮像方法に係る動画像生成処理(図7のS2)の別の例について、図10のフローチャートを用いて説明する。図10において、既に説明をした動画像生成処理(図8)と同じ処理には同じ符号を付与し、詳細な説明を省略する。まず、注目フレーム決定処理が行われる(S21)。次に、注目フレーム画像のブロック分割処理が行われる(S211)。当該処理は、注目フレーム画像を、所定の大きさの画素ブロックに分割する処理である。画素ブロックへの分割は、例えば、図14に示すように有効画素を縦16横16の計256ブロックに分割すればよい。
次に、画素ブロック毎に明るさを判定する第2明るさ判定処理を行う(S221)。この第2明るさ判定処理によって、全ての画素ブロックの輝度値が所定の閾値よりも高ければ(S221のYES)、当該注目フレームの明るさは適正であると判定されて、当該注目フレーム画像を用いて記録フレーム生成処理(S23)が実行される。
第2明るさ判定処理(S221)において、輝度値が閾値以下の画素ブロックがあれば(S221のNO)、この画素ブロックに対して、ブロック合成処理(S25)を行う。ブロック合成処理(S25)の詳細については、後述する。ブロック合成処理(S25)の後、再度、合成処理をした画素ブロックに対して第2明るさ判定処理(S221)を行う。全ての画素ブロックの輝度値が閾値を超えるまで、当該処理を繰り返す。
●ブロック合成処理
次に、ブロック合成処理(図10のS25)の詳細な処理の流れについて、図11のフローチャートを用いて説明する。明るさ判定処理(S221)において、輝度値が閾値以下と判定された画素ブロックの輝度値に応じて、合成比率決定処理(S251)を行う。合成比率決定処理(S251)は、既に説明をした合成比率決定処理(S241)と同様に、注目フレーム画像の該当する画素ブロックの輝度値に応じて決定される数値であって、当該画素ブロックに対して、対応する他のフレーム画像の画素ブロックを合成するための、合成比率を決定する(S251)。
決定した合成比率を用いて、注目フレーム画像の当該画像ブロックと、当該画像ブロックに対応する注目フレーム画像の一つ前のタイミングで取得された他のフレーム画像の画像ブロックとを合成する。ブロック合成処理は、注目フレーム画像の当該画像ブロックに対応する、注目フレーム画像の一つ前のタイミングで取得された他のフレーム画像の画像ブロックの画素値に、決定した合成比率を掛け合わせた値を、注目フレーム画像の対応する画像ブロックの画素値に加算する処理である。
以上説明をした本発明に係る撮像装置によれば、注目フレームに係る画像を画像ブロックに分割して、各画像ブロックの輝度値に応じて、他の取込フレームに係る画像の合成要否を決定する。これによって、注目フレーム全体ではなく、一部に対してだけ画像合成を行うことで、より精密に、かつ、素早く動画像ファイルのダイナミックレンジの拡張処理を行うことができる。
●動き検出に係る撮像方法
次に、フレーム合成処理(図8のS24)の別の詳細な処理の流れについて、図12のフローチャートを用いて説明する。まず、動き判定処理(S240)を行う。動き判定処理では、注目フレーム画像の輝度値の平均と、注目フレームの一つ前のフレームに係る画像の輝度値の平均の差分が閾値以下であれば、「動きなし」と判定し(S240のNO)、差分が閾値を超えていれば「動きあり」(S240のYES)と判定する。また、動き判定処理においては、注目フレーム画像と、1つ前のフレーム画像とを、パターンマッチングによって比較して、当該フレーム間において被写体に動きがあるか否かを判定してもよい。この場合、パターンマッチング処理の方が、より素早く動き判定処理(S240)を行うことができる。
「動きあり」と判定されたときは(S240のYES)、注目フレーム画像と1つ前のフレーム画像とを合成すると、画像にずれが生じてしまい、注目フレーム画像の明るさを補完するダイナミックレンジ拡張処理を行うことができない。従って、「動きあり」と判定されたときは(S240YES)、注目フレーム画像の画素値に、この注目フレーム画像の画素値を加算する合成処理を行う(S2401)。このように処理することで、被写体の動きがあっても、暗い注目フレーム画像の輝度値を引き上げることができるようになる。
「動きあり」と判定されなければ(S240のNO)、合成比率決定処理(S241)、フレーム合成処理(S242)を行って、処理を動画像生成処理に戻す。
なお、上記の実施例では、「動きあり」と判定されたときは、注目フレーム画像の画素値に注目フレーム画像の画素値を加算する合成処理を行う(S2401)としたが、「動きあり」と判定されたときに、図9のフレーム合成処理と同様に、注目フレーム画像の輝度値に応じて合成比率を決定してから、注目フレーム画像の各画素の画素値に対して、注目フレーム画像の各画素の画素値に、決定した合成比率を掛け合わせた値を、加算する処理を行ってもよい。
また、上記の実施例では画像全体で動きの有無を判定したが、画像をブロック分割して、各ブロックにおいて動きの有無を判定し、「動きあり」と判定されたブロックのみにおいて注目フレーム画像の当該画像ブロックの画素値に、注目フレーム画像の当該画像ブロックの画素値を加算する合成処理を行ってもよい。
この場合に、ブロック分割を図10のS211と同様に行い、各ブロックにおいて動きの有無を判定し、「動きあり」と判定されたブロックについて、図10のブロック合成処理と同様に、画像ブロックの輝度値に応じて合成比率を決定してから、注目フレームの画像ブロックの各画素の画素値に対して、注目フレームの画像ブロックの各画素の画素値に、決定した合成比率を掛け合わせた値を、加算する処理を行ってもよい。
更には、明るさ判定処理の後段で動き判定処理を行うのではなく、先に動き判定処理を行ってから明るさ判定処理を行ってもよい。
以上説明をした本発明に係る撮像装置によれば、動きがある被写体を撮像した動画像においてもダイナミックレンジを拡張することができる。
23 プロセッサ
25 制御部
31 カメラI/F
38 ROM
39 動画像生成処理部
380 制御プログラム
特開2010−178164号公報 特開2010−147812号公報

Claims (10)

  1. 被写体の動画像を所定の記録フレームレートで記録する撮像装置であって、
    上記記録フレームレートよりも高い取込フレームレートで動画像を撮影する動画像撮影手段と、
    上記取込フレームレートで撮影された動画像から、上記記録フレームレートの動画像を生成する動画像生成手段と、
    上記生成された記録フレームレートの動画像を記録する動画像記録手段と、
    を有し、
    上記動画像生成手段は、
    上記取込フレームレートで撮影された動画像を構成する複数のフレーム画像のうち、1のフレーム画像を注目フレーム画像として決定する注目フレーム画像決定部と、
    上記注目フレーム画像の明るさを判定する判定部と、
    上記決定された注目フレーム画像に、上記複数のフレーム画像のうち他のフレーム画像を合成する画像合成部と、
    上記注目フレームと上記他のフレーム画像とが合成されて得られる画像を用いて、上記動画像記録手段に記録される上記記録フレームレートの動画像を生成する動画像生成部と、
    を有し、
    上記画像合成部は、上記判定部の判定結果に基づいて上記注目フレーム画像に他のフレーム画像を合成することが決定された場合に、上記注目フレーム画像に他のフレーム画像を合成する、ことを特徴とする撮像装置。
  2. 上記画像合成部は、上記判定部の判定結果に基づいて、上記注目フレーム画像に他のフレーム画像を合成する合成比率を決定する、
    請求項1記載の撮像装置。
  3. 上記動画像生成手段は、上記注目フレーム画像を複数の画像ブロックに分割する画像分割部を有し、
    上記判定部は、上記画像ブロックごとの明るさを判定し、
    上記画像合成部は、上記判定部の判定結果に基づいて、上記画像ブロックごとに、上記注目フレーム画像の画像ブロックに、他のフレームの対応する画像ブロックを合成する合成比率を決定する、
    請求項1または2に記載の撮像装置。
  4. 上記画像合成部は、上記合成された注目フレーム画像の明るさを判定部によって判定した結果に基づいて、上記合成された注目フレーム画像に、上記取込フレームレートで撮影された動画像を構成する複数のフレーム画像のうち、さらに他のフレームの画像を合成する、
    請求項1乃至3のいずれかに記載の撮像装置。
  5. 上記注目フレーム画像の明るさごとに対応する上記合成比率が設定されたデータベースが記憶されている記憶手段を備える、
    請求項2または3に記載の撮像装置。
  6. 上記被写体の移動を検知する検知手段を備え、
    上記画像合成部は、上記検知手段が上記被写体の移動を検知したときには、上記注目フレーム画像に上記注目フレーム画像を合成する、
    請求項1乃至5のいずれかに記載の撮像装置。
  7. 上記検知手段は、上記注目フレーム画像と別のフレーム画像とのパターンマッチングにより、上記被写体の移動を検知する、
    請求項6記載の撮像装置。
  8. 上記別のフレーム画像は、上記取込フレームレートの動画像を構成する複数のフレーム画像のうち、上記注目フレーム画像の撮影以前に撮影されたフレーム画像である、
    請求項7記載の撮像装置。
  9. 上記注目フレーム画像は、上記記録フレームレートに対応する上記取り込みフレームレートの最新のフレームの画像である、
    請求項1乃至8のいずれかに記載の撮像装置。
  10. 被写体の動画像を所定の記録フレームレートで記録する撮像装置が実行する撮像方法であって、
    上記撮像装置は、上記記録フレームレートよりも高い取込フレームレートで動画像を撮影する動画像撮影手段と、上記取込フレームレートで撮影された動画像から、上記記録フレームレートの動画像を生成する動画像生成手段と、上記生成された記録フレームレートの動画像を記録する動画像記録手段と、を有してなり、
    上記動画像生成手段が、
    上記取込フレームレートで撮影された動画像を構成する複数のフレーム画像のうち、1のフレーム画像を注目フレーム画像として決定するステップと、
    上記注目フレーム画像の明るさを判定するステップと、
    上記決定された注目フレーム画像に、上記複数のフレーム画像のうち他のフレーム画像を合成するステップと、
    上記注目フレーム画像と上記他のフレーム画像とが合成されて得られる画像を用いて、上記動画像記録手段に記録される上記記録フレームレートの動画像を生成する動画像生成部ステップと、を実行し、
    上記画像を合成するステップは、上記注目フレーム画像の明るさを判定するステップによる判定結果に基づいて、上記注目フレーム画像に他のフレーム画像を合成することが決定された場合に、上記フレーム画像に他のフレーム画像を合成する、ことを特徴とする撮像方法。
JP2012059747A 2012-03-16 2012-03-16 撮像装置および撮像方法 Active JP5929362B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012059747A JP5929362B2 (ja) 2012-03-16 2012-03-16 撮像装置および撮像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012059747A JP5929362B2 (ja) 2012-03-16 2012-03-16 撮像装置および撮像方法

Publications (2)

Publication Number Publication Date
JP2013197650A true JP2013197650A (ja) 2013-09-30
JP5929362B2 JP5929362B2 (ja) 2016-06-01

Family

ID=49396140

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012059747A Active JP5929362B2 (ja) 2012-03-16 2012-03-16 撮像装置および撮像方法

Country Status (1)

Country Link
JP (1) JP5929362B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021046402A1 (en) * 2019-09-06 2021-03-11 Google Llc Low frame rate night vision on video camera

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007049648A (ja) * 2005-08-12 2007-02-22 Fujifilm Corp 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP2012050073A (ja) * 2010-07-30 2012-03-08 Nikon Corp 撮像装置及び画像合成プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007049648A (ja) * 2005-08-12 2007-02-22 Fujifilm Corp 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP2012050073A (ja) * 2010-07-30 2012-03-08 Nikon Corp 撮像装置及び画像合成プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021046402A1 (en) * 2019-09-06 2021-03-11 Google Llc Low frame rate night vision on video camera
US11805328B2 (en) 2019-09-06 2023-10-31 Google Llc Composite frame generation for low-light video monitoring

Also Published As

Publication number Publication date
JP5929362B2 (ja) 2016-06-01

Similar Documents

Publication Publication Date Title
JP5054583B2 (ja) 撮像装置
US7706674B2 (en) Device and method for controlling flash
JP5652649B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US7668451B2 (en) System for and method of taking image
JP4943721B2 (ja) 画像データのカラーノイズ除去方法及びこの方法を用いた撮像装置
JP5123137B2 (ja) 撮像装置および撮像方法
TWI459126B (zh) 可產生廣角影像之影像處理裝置、影像處理方法及記錄媒體
KR20140027816A (ko) 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
JP5343588B2 (ja) 撮像装置
JP2012002951A (ja) 撮像装置、合焦位置検出方法および合焦位置検出プログラム
JP5009880B2 (ja) 撮像装置及び撮像方法
JP2010147786A (ja) 撮像装置及び画像処理方法
JP2009010616A (ja) 撮像装置および画像出力制御方法
JP2015231118A (ja) 画像合成装置、画像合成システム及び画像合成方法
JP2008109485A (ja) 撮像装置及び撮像制御方法
JP2006108759A (ja) 撮像装置
JP2007235640A (ja) 撮影装置及び方法
JP2005236662A (ja) 撮像方法、撮像装置及び撮像システム
JP4934617B2 (ja) 撮像装置及び撮像方法
JP2011259245A (ja) 撮影装置及び撮影方法
JP5929362B2 (ja) 撮像装置および撮像方法
JP2008301161A (ja) 画像処理装置、デジタルカメラ、及び画像処理方法
JP4714561B2 (ja) 撮像装置および撮像方法
JP4586578B2 (ja) デジタルカメラ及びプログラム
KR101630295B1 (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160418

R151 Written notification of patent or utility model registration

Ref document number: 5929362

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151