JP4288992B2 - 撮像装置及び方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像素子を用い、同一タイミング下で、複数種類の露出時間に応じた画像データ、特に１種類の動画像データ及び静止画像データが生成されるようにした撮像装置及び方法に関する。
【０００２】
【従来の技術】
近年、動画像データ及び静止画像データを記録可能なディジタルビデオカメラが開発されており、現に実際に実用化されているのが現状である。このようなディジタルビデオカメラ一般では、動画像の場合、撮像手段からの画像情報は画素密度が低減化された上、一連の動画像として記録媒体に記録された後、後にその記録媒体より随時、読み出された上、動画像として再生表示されるようになっている。また、静止画像の場合には、撮像手段からの画像情報は画素密度が低減化されることなく、そのまま静止画像として記録媒体に記録された後、後にその記録媒体より随時、読み出された上、静止画像として再生表示されるようになっている。
【０００３】
因みに、特許文献１には、１つの撮像素子から、非同一タイミングで動画像データ及び静止画像データを生成することが記述されている。また、特許文献２には、システムの共通化を図りつつ、動画像記録中に静止画記録指示があった場合には、高精細な静止画像データの記録を行うことが記述されている。
【０００４】
【特許文献１】
特開平８―２９８６４４号公報
【特許文献２】
特開平１０―１０８１２１号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、一般に、動画像データに最適な露出時間と、静止画像データに最適な露出時間とは異なっている。この事実にも拘らず、これまでにあっては、特許文献１，２として示されているように、あるタイミングで撮像された画像データは動画像データ及び静止画像データとして共用されているため、動画像、静止画像の何れか一方、あるいは双方画像の画像品質を低下させる結果を生んでいるのが実情である。即ち、これまでにあっては、動画像データ、静止画像データを、それぞれが要求する最適露出時間のものとして生成することは何等考慮されていなかったものである。
【０００６】
本発明の目的は、撮像素子を用い、同一タイミング下で、複数種類の露出時間に応じた画像データ、特に１種類の動画像データ及び静止画像データが画像品質が損なわれることなく、且つ容易に生成され得るようにすることにある。
【０００７】
【課題を解決するための手段】
本発明は、被写体を撮像する撮像素子と、撮像素子からの撮像出力を取得して、１種類の動画像データ及び静止画像データを生成する画像情報処理回路とを備えた撮像装置において、静止画像データ用露出時間が、前記動画像データ用露出時間のｎ（ｎは自然数）倍以上であり（ｎ＋１）倍未満となるように撮像素子を制御するステップと、画像情報処理回路に対して、動画像データ用露出時間でｎ回に亘って順次取得される撮像出力からｎフレーム分の動画像データが生成された後に動画像データ用露出時間のｎ倍と静止画像データ用露出時間との差分に応じたものとして取得される撮像出力と、静止画像データ用露出時間と動画像データ用露出時間の（ｎ＋１）倍との差分に応じたものとして取得される撮像出力との組合せ加算により生成する１フレーム分の動画像データと、動画像用露出時間でｎ回に亘って順次取得される撮像出力を累積加算したものと、静止画像データ用露出時間と動画像データ用露出時間のｎ倍との差分に応じたものとして取得される撮像出力との組合せ加算により生成する静止画データとを、同一タイミングで生成させるステップとを含むようにして、複数種類の露出時間に応じた画像データが生成されるようにしたものである。
【０００８】
現に、取得要求されている画像データが、例えば１種類の動画像データ及び静止画像データとされ、最も簡単な例として、静止画像データ用露出時間が動画像データ用露出時間未満であって、これら動画像データ、静止画像データが同一タイミングで生成されるに際しては、画像データ生成ステップでは、動画像データは、静止画像データ用露出時間と動画像データ用露出時間との差分に応じたものとして取得される撮像出力と、静止画像データ用露出時間で取得される撮像出力との組合せ加算により生成されるようにすればよく、また、静止画像データは、静止画像データ用露出時間で取得される画像情報からそのまま生成されるようにすればよい。
【０００９】
また、例えば静止画像データ用露出時間が動画像データ用露出時間の１倍以上、２倍未満であって、これら動画像データ、静止画像データが同一タイミングで生成されるに際しては、最初の動画像データについては、動画像データ用露出時間で取得される撮像出力からそのまま生成されればよいが、次動画像データについては、静止画像データ用露出時間と動画像データ用露出時間の２倍との差分に応じたものとして取得される撮像出力と、動画像データ用露出時間の１倍と静止画像データ用露出時間との差分に応じたものとして取得される撮像出力との組合せ加算により生成されればよいものである。一方、静止画データについては、動画像データ用露出時間で取得される画像情報と、静止画像データ用露出時間と動画像データ用露出時間の１倍との差分に応じたものとして取得される撮像出力との組合せ加算により生成されるようにしたものである。
【００１０】
以上の具体例からして、動画像データや静止画像データは、それぞれに最適とされた露出時間に応じたものとして、画像品質が損なわれることなく、且つ容易に生成されることになる。
【００１１】
【発明の実施の形態】
以下，本発明の一実施の形態を図１から図８により説明する。
先ず本発明の具体的説明に先立って、本発明でいうところの複数種類の露出時間、即ち、複数種類のシャッター速度に応じた画像データについて定義しておく。一般に、画像データは、動画像データと静止画像データとに大別される。このうち、動画像データは、動画像データ用シャッター速度（例えば１／３０秒に固定）で１／３０周期で連続的に生成されているが、本発明では、シャッター速度がそれとは異なる動画像データも考慮されていることに注意されたい。例えばシャッター速度が１／３０秒の動画像データの他に、シャッター速度が１／６０や１／１２０秒の動画像データが同時に生成される必要がある場合に、本発明が適用可能となっている。
【００１２】
一方、静止画像データのシャッター速度は様々に設定可能とされているが、シャッター速度が相異なる静止画像データを同一タイミングで生成することも考慮されていることに注意されたい。本発明では、特に動画像データ生成中に、所望シャッター速度の静止画像データをも併せて生成することが考慮されている。したがって、このことからすれば、複数種類のシャッター速度に応じた画像データとは、１種類の動画像データ（そのシャッター速度は、例えば１／３０秒に固定）がそれに含まれることは当然として、この動画像データと静止画像データ（そのシャッター速度は任意に可変設定）とを主に意味していることになる。
【００１３】
さて、本発明について具体的に説明すれば、先ず本発明による撮像装置の一例での要部概要構成を図１に示す。図示のように、撮影レンズ１１や撮像素子（撮影レンズ１による光学画像を電気信号に変換するＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）１２、画像情報処理ブロック１３、動画像記録ブロック１４、静止画像記録ブロック１５から構成されている。これら以外の構成要素としては、撮像素子１２、画像情報処理ブロック１３それぞれに対し電子シャッター速度制御、各種情報処理制御を行う制御回路や、画像情報や画像情報中間処理結果等を一時記憶するためのメモリ等が必要となっているが、図示の簡単化上、省略されていることに注意されたい。先ず一般的な動画像記録動作について説明すれば、以下のようである。
【００１４】
即ち、動画像データの記録は、オペレータからの動画像データ記録要求によって行われる。その記録要求があった場合、図示のように、撮影レンズ１１による集光画像は撮像素子１２により、周期的にアナログ画像信号に変換された後、画像情報処理ブロック１３内のＡ／Ｄ変換器１３１によってディジタル画像信号に変換された状態で、画像情報処理回路１３２により順次、処理される。その処理では、ホワイトバランス調整やガンマ補正等が行われることで、動画像データが生成されているが、その際に必要があれば、動画像データの記録フォーマットに合せた画素数変換も併せて行われる。これは、一般的に、動画像・静止画像両対応記録機器においては、静止画像の解像度に合せた撮像素子が用いられることが多く、動画像データに対しては、データ間引きが必要とされているからである。このように、画像情報処理回路１３２で生成された動画像データは、その後、動画像記録ブロック１４内の動画像圧縮回路１４１により画像圧縮された上、記録媒体１４２上に順次、記録されるようになっている。
【００１５】
次に、一般的な静止画像記録動作について説明すれば、この静止画像データの記録も、オペレータからの静止画像データ記録要求によって行われる。その記録要求があった場合、図示のように、撮影レンズ１１による集光画像は撮像素子１２によってアナログ画像信号に変換された後、画像情報処理ブロック１３内のＡ／Ｄ変換器１３１によってディジタル画像信号に変換された状態で、画像情報処理回路１３２により処理される。その処理では、ホワイトバランス調整やガンマ補正等が行われることで、静止画像データが生成されているものである。このように、画像情報処理回路１３２で生成された静止画像データは、その後、静止画像記録ブロック１５内の静止画像圧縮回路１５１により画像圧縮された上、記録媒体１５２上に記録されるようになっている。
【００１６】
ここで、動画像データの撮像について、より詳細に説明すれば、以下のようである。
即ち、本例での場合、３０フレーム／秒のノンインターレース方式（順次走査、あるいはプログレッシブ走査）動画像データが記録される場合が想定されており、動画像データの撮像においては、図２に示すように、露出時間（シャッター速度）２１は１／３０秒に設定されるのが望ましい。このようにして、ややブレ気味に被写体が撮像されることで、動画像データは、後に滑らかな動画像としての再生され得るものである。
【００１７】
次に、静止画像データの撮像について説明すれば、静止画像の場合には、その用途や周囲の明るさ状況に応じて、シャッター速度が最適に設定される必要がある。もしくは、静止画像の場合、動きの速い被写体を撮像する場合には、より短いシャッター速度で、また、流し撮り等を望む場合には、長いシャッター速度を選択できることが好ましい。例えば露出時間２２として示すように、１／１２５秒であったり、露出時間２３として示すように、１／８秒であったりする。換言すれば、動画像データに対し、静止画像データに要求されているシャッター速度は一般に大きく異なっており、静止画像データそれぞれに要求されているシャッター速度もまた、互いに大きく異なっている場合が殆どである。したがって、唯一の撮像素子で動画像データと静止画像データの双方が同時に撮像される場合には、異なるシャッター速度での撮像が同時に実現される必要があるが、以下、これの実現方法を図３，図４を用い説明する。
【００１８】
以上の動画像データや静止画像データの記録動作はあくまでも単独動作でのものであり、したがって、その動作は比較的単純となっている。しかしながら、動画像データ生成・記録中に、所望シャッター速度、例えば、図３に示すように、シャッター速度１／１２５秒の静止画像データが併せて記録される場合について説明すれば、動画像データを記録し、静止画像データを記録していない場合での撮像素子１２の露出時間２１は１／３０秒である。このようにして、撮像された画像に対しては、画像情報処理回路１３２によりホワイトバランス調整やガンマ補正等の処理が施され、更に、必要があれば、画素数変換処理が行われることで、動画像データ３４として得られた後、圧縮記録されることになる。
【００１９】
さて、以上のようにして、動画像データが生成・記録されている状態で、図示のようなタイミング３１で、シャッター速度が１／１２５秒の静止画像データ記録要求が発生されたとすれば、撮像素子１２では、露出時間３２，３３として示される撮像が行われる。露出時間３２は静止画像データ用の撮像であり、シャッター速度は１／１２５秒である。しかしながら、露出時間３３は、動画像データの撮像単位時間である１／３０秒を考えた場合、その撮像単位時間に対する残り時間内での撮像である。即ち、露出時間３３のシャッター速度は、１９／７５０秒（＝１／３０秒−１／１２５秒）となる。
【００２０】
以上のようにして撮像された場合に、撮像素子１２からのアナログ画像信号はディジタル化された上、画像情報処理回路１３２で画像処理されることで、圧縮記録直前での動画像データと静止画像データが生成されているわけであるが、この生成方法について、より詳細に説明すれば、以下のようである。
【００２１】
即ち、先ず動画像データについては、露出時間３２，３３それぞれで撮像された画像データが組合せ加算されるようにすれば、必要とされる動画像データが得られることは明らかである。その後、ホワイトバランス調整やガンマ補正等、更には、必要に応じて画素数変換が行われることで、圧縮記録直前での動画像データ３５が得られることになる。結局、途中でシャッター速度が１／１２５秒の静止画像データを得るための撮像が行われているにも拘らず、何等その撮像に影響されることなく、１／３０秒のシャッター速度で撮像された動画像データが得られるものである。一方、静止画像データについては、露出時間３２で撮像された画像データに対し、単にホワイトバランス調整やガンマ補正が行われるだけで、圧縮記録直前での静止画像データ３６が得られるようになっている。
【００２２】
以上の説明は、シャッター速度が１／１２５秒の静止画像データである場合でのものであるが、そのシャッター速度が１／３０秒よりも長い、例えば１／８秒である場合について、図４により説明すれば、以下のようである。
【００２３】
即ち、図４に示すように、露出時間２１による撮像が連続的に行われている状態で、あるタイミング３１で、シャッター速度が１／８秒の静止画像データ記録要求が発生したとする。この場合、撮像素子１２では、露出時間４１〜４３として示される撮像が行われる。静止画像データ用の撮像には、１／８秒の露出が必要なことから、３回に亘る連続的な通常露出の後、露出が足りない部分に対する撮像は、露出時間４２内で行われるようにする。つまり、シャッター速度１／８秒は、１／３０秒＋１／３０秒＋１／３０秒＋１／４０秒（＝１／８秒）として分解された上、各露出時間４１内では１／３０秒の撮像が、また、露出時間４２内では１／４０秒の撮像が行われるようにする。また、図３に示す場合と同様にして、動画像データの単位時間である１／３０秒を考えた場合での残り時間に対する撮像として、露出時間４３として示される撮像が行われるが、そのシャッター速度は、１／１２０秒（＝１／３０秒−１／４０秒）として求められることになる。
【００２４】
結局、以上のようにして撮像された画像データから、３フレーム分の動画像データ４４の他、露出時間４２に対する画像データと露出時間４３に対する画像データとの組合せ加算により１フレーム分の動画像データ４５が得られることになる。また、静止画像データについては、３フレーム分の動画像データ４４を累積加算したものと、露出時間４２に対する画像データとの組合せ加算により静止画像データ４６が得られることになる。
【００２５】
更に、１／３０秒周期毎に動画像データを得るとしても、その動画像データ用シャッター速度が１／６０秒に設定されている場合には、図５に示すように、露出時間５２による撮像が連続的に行われる。しかしながら、１／３０秒周期それぞれの前半に相当する露出時間５２に対する画像データのみが動画像データ５８として得られ、その後半に相当する露出時間５２に対する画像データは動画像データ５８としては得られないよう、無視される。
【００２６】
さて、そのような状態で、あるタイミング５１で、シャッター速度が１／１６秒の静止画像データ記録要求が発生した場合について説明すれば、この場合、撮像素子１２では、露出時間５３〜５７として示される撮像が順次、行われるが、これら露出時間５３〜５７のうち、露出時間５３，５５それぞれに対する画像データが動画像データ５９として得られることは明らかである。しかしながら、静止画像データ用の撮像には、１／１６秒の露出が必要なことから、露出時間５３〜５５それぞれによる撮像後、露出が足りない部分に対する撮像は、露出時間５６内で行われる。つまり、シャッター速度１／１６秒は、１／６０秒＋１／６０秒＋１／６０秒＋１／８０秒（＝１／１６秒）として分解された上、各露出時間５３〜５５内では１／６０秒の撮像が、また、露出時間５６内では１／８０秒の撮像が行われる。結局、露出時間５３〜５５それぞれに対する画像データを累積加算したものと、露出時間５６に対する画像データとの組合せ加算により、静止画像データ６０が得られることになる。因みに、露出時間５７は、１／２４０秒（＝１／６０秒−１／８０秒）として求められるが、これに対する画像データは廃棄される。
【００２７】
結局、以上のようにして撮像された画像データから、２フレーム分の動画像データ５９が得られることになる。また、静止画像データについては、露出時間５３，５４，５５各々に対する画像データを累積加算したものと、露出時間５６に対する画像データとの組合せ加算により静止画像データ６０が得られることになる。
【００２８】
以上の説明から判るように、静止画像データ用シャッター速度が動画像データ用シャッター速度の整数倍であることは稀である。換言すれば、例えば動画像データ用シャッター速度が１／３０秒に設定され、静止画像データ用シャッター速度が任意に設定された場合、ある動画像データを１フレーム分、取得する際に、静止画像データを取得するための撮像が１／３０秒内で１回、行われる必要がある。既述の露出時間３２，４２，５６はその撮像のためのものであるが、これら露出時間３２，４２，５６は制御回路により、既に説明したようにして、容易に算出され得るものとなっている。
【００２９】
静止画像データ用シャッター速度が任意に設定された場合での、制御回路によるシャッター速度制御の一例でのフローを図６に示す。これによる場合、先ず動画像データの撮像の度に、その撮像に先立って、１／３０秒より短い撮像が必要か否か、即ち、静止画像データを取得するための撮像が必要か否かが判定される（ステップ６１）。この判定で、未だ不要と判定された場合、通常の場合と同様にして、シャッター速度が１／３０に設定された状態で、動画像データの撮像が行われる（ステップ６２）。しかしながら、必要と判定された場合には、動画像データ用シャッター速度と静止画像データ用シャッター速度から、必要な露出時間Ａ（秒）が算出される（ステップ６３）。この必要な露出時間Ａとは、既述の露出時間３２，４２，５６に相当することから、先ずこの露出時間Ａによる撮像が行われる（ステップ６４）。この露出時間Ａによる撮像が行われた後、露出時間（１／３０−Ａ）（秒）による撮像が行われるようになっている（ステップ６５）。
【００３０】
ところで、同一タイミング下で、動画像データに併せて、静止画像データが生成される場合、撮像素子１２から、ある露出時間による画像信号が読出し出力されている最中に、次露出時間による画像信号の読出し出力が開始される必要がある場合には、不具合を生じることになる。そのような場合とは、例えば１／３０秒内でシャッター速度が１／４０秒による撮像が行われた直後に、シャッター速度が１／１２０秒による撮像が行われるような場合である。このような不具合を回避するには、撮像素子１２におけるＣＣＤ構成に対しては、何等かの工夫が施される必要がある。
【００３１】
以上の不具合を回避するには、図７に示すように、ＣＣＤの構成として、蓄積部７４１，７４２を２つ設けることが考えられる。フレームインターライントランスファー型ＣＣＤでは、ＣＣＤ上に蓄積部があり、電荷がフォトダイオードから垂直転送ＣＣＤに転送後、高速に蓄積部に転送されており、その後、比較的低速度でＣＣＤから後段のシステムにアナログ画像情報が転送されているのに対し、蓄積部７４１，７４２を２つ設けようというものである。
【００３２】
その構成と動作について説明すれば、フォトダイオード７１で蓄積された電荷は、トランスファーゲート７２を介し垂直シフトレジスタ７３に転送される。その後、高速に蓄積部７４１，７４２に転送された上、水平シフトレジスタ７５１，７５２を介し比較的低速度でＣＣＤ外部に出力可能となっている。このような機能は、フレームインターライントランスファー型ＣＣＤに対しても蓄積部を２つ設けることにより、実現可能となっている。
【００３３】
以上のような構成のＣＣＤを用いれば、以上の不具合は解消されることになる。即ち、例えばシャッター速度が１／４０秒による撮像の際には、矢印表示のように、蓄積部７４２、水平シフトレジスタ７５２を介しアナログ画像信号が読み出されるようにする一方、シャッター速度が１／１２０秒による撮像の際には、図８に矢印表示されているように、蓄積部７４１、水平シフトレジスタ７５１を介しアナログ画像信号が読み出されるようにするものである。この場合、水平シフトレジスタ７５１，７５２それぞれからは、専用信号線を介しアナログ画像信号が読み出されてもよいが、共通信号線を介し読み出すことも可能となっている。これは、蓄積部７４１，７４２それぞれには、必要とされるアナログ画像信号が既に退避蓄積されているからであり、したがって、低速度で読み出されても、特に問題は生じないからである。
【００３４】
以上のように、撮像素子を用い同一タイミング下において、動画像データと静止画像データの双方が画像品質が損なわれることなく、しかも容易に生成され得ることになる。また、以上の説明では、動画像データのシャッター速度として１／３０秒が主に想定されているが、この値は任意に設定されてもよい。更に、主な対象として、１種類の動画像データ及び静止画像データについて説明されているが、複数種類のシャッター速度に応じた静止画像データを、唯一の撮像素子で撮像する場合等にも容易に適用され得るものとなっている。
【００３５】
以上、本発明者によってなされた発明を実施の形態に基づき、具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内で種々変更可能であることはいうまでもない。
【００３６】
【発明の効果】
撮像素子を用い、同一タイミング下で、複数種類のシャッター速度に応じた画像データ、特に１種類の動画像データ及び静止画像データが画像品質が損なわれることなく、且つ容易に生成され得る効果がある。
【図面の簡単な説明】
【図１】本発明による撮像装置の一例での要部概要構成を示す図である。
【図２】動画像データ、静止画像データそれぞれに要求されるシャッター速度の例を示す図である。
【図３】静止画像データ用のシャッター速度が動画像データ用のシャッター速度未満である場合に、動画像データ、静止画像データそれぞれを生成する方法を説明するための図である。
【図４】静止画像データ用のシャッター速度が動画像データ用のシャッター速度よりも長い場合に、動画像データ、静止画像データそれぞれを生成する方法を説明するための図である。
【図５】同じく、静止画像データ用のシャッター速度が動画像データ用のシャッター速度よりも長い場合に、動画像データ、静止画像データそれぞれを生成する方法を説明するための図である。
【図６】静止画像データ用シャッター速度が任意に設定された場合での、制御回路によるシャッター速度制御の一例でのフローを示す図である。
【図７】蓄積部を２つ有するＣＣＤ構成とその動作を示す図である。
【図８】同じく、その動作を示す図である。
【符号の説明】
１１…撮影レンズ、１２…撮像素子、１３…画像情報処理ブロック、１３２…画像情報処理回路

Claims (2)

1. 被写体を撮像する撮像素子と、
   上記撮像素子からの撮像出力を取得して、１種類の動画像データ及び静止画像データを生成する画像情報処理回路と、
   上記静止画像データ用露出時間が、前記動画像データ用露出時間のｎ（ｎは自然数）倍以上であり（ｎ＋１）倍未満となるように上記撮像素子を制御するとともに、上記画像情報処理回路に対して、上記動画像データ用露出時間でｎ回に亘って順次取得される上記撮像出力からｎフレーム分の上記動画像データが生成された後に上記動画像データ用露出時間のｎ倍と上記静止画像データ用露出時間との差分に応じたものとして取得される撮像出力と、上記静止画像データ用露出時間と上記動画像データ用露出時間の（ｎ＋１）倍との差分に応じたものとして取得される撮像出力との組合せ加算により生成する１フレーム分の動画像データと、上記動画像用露出時間でｎ回に亘って順次取得される上記撮像出力を累積加算したものと、上記静止画像データ用露出時間と上記動画像データ用露出時間のｎ倍との差分に応じたものとして取得される撮像出力との組合せ加算により生成する静止画データとを、同一タイミングで生成させる制御を行う制御回路とを含む
   撮像装置。
2. 被写体を撮像する撮像素子と、上記撮像素子からの撮像出力を取得して、１種類の動画像データ及び静止画像データを生成する画像情報処理回路とを備えた撮像装置における撮像方法であって、
   上記静止画像データ用露出時間が、前記動画像データ用露出時間のｎ（ｎは自然数）倍以上であり（ｎ＋１）倍未満となるように上記撮像素子を制御するステップと、
   上記画像情報処理回路に対して、上記動画像データ用露出時間でｎ回に亘って順次取得される上記撮像出力からｎフレーム分の上記動画像データが生成された後に上記動画像データ用露出時間のｎ倍と上記静止画像データ用露出時間との差分に応じたものとして取得される撮像出力と、上記静止画像データ用露出時間と上記動画像データ用露出時間の（ｎ＋１）倍との差分に応じたものとして取得される撮像出力との組合せ加算により生成する１フレーム分の動画像データと、上記動画像用露出時間でｎ回に亘って順次取得される上記撮像出力を累積加算したものと、上記静止画像データ用露出時間と上記動画像データ用露出時間のｎ倍との差分に応じたものとして取得される撮像出力との組合せ加算により生成する静止画データとを、同一タイミングで生成させるステップとを含む
   撮像方法。

Images