JP2004312276A

JP2004312276A - Imaging apparatus and method

Info

Publication number: JP2004312276A
Application number: JP2003101823A
Authority: JP
Inventors: Hiroyuki Tominaga; 浩之富永
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-04-04
Filing date: 2003-04-04
Publication date: 2004-11-04
Anticipated expiration: 2023-04-04
Also published as: JP4288992B2

Abstract

<P>PROBLEM TO BE SOLVED: To easily generate a plurality of kinds of image data such as one kind of dynamic image data and static image data under the same timing by using a sole imaging element. <P>SOLUTION: For example, when an exposure time 32 is equal to the static image data use shutter speed (1/125 sec), the imaging element sequentially carries out imaging with exposure times 32, 33. The exposure time 33 is obtained by 19/750 sec (=1/30-1/125 sec), wherein a unit time of the dynamic image data is selected as 1/30 sec. Then the static image data can be generated from image information acquired at a shutter speed of 1/125 sec and the dynamic image data can be generated from the summation of a combination of the image information and image information acquired at a shutter seed of 19/750 sec respectively. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像素子を用い、同一タイミング下で、複数種類の露出時間に応じた画像データ、特に１種類の動画像データ及び静止画像データが生成されるようにした撮像装置及び方法に関する。
【０００２】
【従来の技術】
近年、動画像データ及び静止画像データを記録可能なディジタルビデオカメラが開発されており、現に実際に実用化されているのが現状である。このようなディジタルビデオカメラ一般では、動画像の場合、撮像手段からの画像情報は画素密度が低減化された上、一連の動画像として記録媒体に記録された後、後にその記録媒体より随時、読み出された上、動画像として再生表示されるようになっている。また、静止画像の場合には、撮像手段からの画像情報は画素密度が低減化されることなく、そのまま静止画像として記録媒体に記録された後、後にその記録媒体より随時、読み出された上、静止画像として再生表示されるようになっている。
【０００３】
因みに、特許文献１には、１つの撮像素子から、非同一タイミングで動画像データ及び静止画像データを生成することが記述されている。また、特許文献２には、システムの共通化を図りつつ、動画像記録中に静止画記録指示があった場合には、高精細な静止画像データの記録を行うことが記述されている。
【０００４】
【特許文献１】
特開平８―２９８６４４号公報
【特許文献２】
特開平１０―１０８１２１号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、一般に、動画像データに最適な露出時間と、静止画像データに最適な露出時間とは異なっている。この事実にも拘らず、これまでにあっては、特許文献１，２として示されているように、あるタイミングで撮像された画像データは動画像データ及び静止画像データとして共用されているため、動画像、静止画像の何れか一方、あるいは双方画像の画像品質を低下させる結果を生んでいるのが実情である。即ち、これまでにあっては、動画像データ、静止画像データを、それぞれが要求する最適露出時間のものとして生成することは何等考慮されていなかったものである。
【０００６】
本発明の目的は、撮像素子を用い、同一タイミング下で、複数種類の露出時間に応じた画像データ、特に１種類の動画像データ及び静止画像データが画像品質が損なわれることなく、且つ容易に生成され得るようにすることにある。
【０００７】
【課題を解決するための手段】
本発明は、撮像素子を用い、同一タイミング下で、複数種類の露出時間に応じた画像データが生成されるに際し、それぞれの画像データに要求されている露出時間で、撮像素子から撮像出力を順次、取得する撮像出力取得ステップと、該撮像出力取得ステップで順次、取得された撮像出力の組合せ加算により、それぞれの画像データを生成する画像データ生成ステップとを含むようにして、複数種類の露出時間に応じた画像データが生成されるようにしたものである。
【０００８】
現に、取得要求されている画像データが、例えば１種類の動画像データ及び静止画像データとされ、最も簡単な例として、静止画像データ用露出時間が動画像データ用露出時間未満であって、これら動画像データ、静止画像データが同一タイミングで生成されるに際しては、画像データ生成ステップでは、動画像データは、静止画像データ用露出時間と動画像データ用露出時間との差分に応じたものとして取得される撮像出力と、静止画像データ用露出時間で取得される撮像出力との組合せ加算により生成されるようにすればよく、また、静止画像データは、静止画像データ用露出時間で取得される画像情報からそのまま生成されるようにすればよい。
【０００９】
また、例えば静止画像データ用露出時間が動画像データ用露出時間の１倍以上、２倍未満であって、これら動画像データ、静止画像データが同一タイミングで生成されるに際しては、最初の動画像データについては、動画像データ用露出時間で取得される撮像出力からそのまま生成されればよいが、次動画像データについては、静止画像データ用露出時間と動画像データ用露出時間の２倍との差分に応じたものとして取得される撮像出力と、動画像データ用露出時間の１倍と静止画像データ用露出時間との差分に応じたものとして取得される撮像出力との組合せ加算により生成されればよいものである。一方、静止画データについては、動画像データ用露出時間で取得される画像情報と、静止画像データ用露出時間と動画像データ用露出時間の１倍との差分に応じたものとして取得される撮像出力との組合せ加算により生成されるようにしたものである。
【００１０】
以上の具体例からして、動画像データや静止画像データは、それぞれに最適とされた露出時間に応じたものとして、画像品質が損なわれることなく、且つ容易に生成されることになる。
【００１１】
【発明の実施の形態】
以下，本発明の一実施の形態を図１から図８により説明する。
先ず本発明の具体的説明に先立って、本発明でいうところの複数種類の露出時間、即ち、複数種類のシャッター速度に応じた画像データについて定義しておく。一般に、画像データは、動画像データと静止画像データとに大別される。このうち、動画像データは、動画像データ用シャッター速度（例えば１／３０秒に固定）で１／３０周期で連続的に生成されているが、本発明では、シャッター速度がそれとは異なる動画像データも考慮されていることに注意されたい。例えばシャッター速度が１／３０秒の動画像データの他に、シャッター速度が１／６０や１／１２０秒の動画像データが同時に生成される必要がある場合に、本発明が適用可能となっている。
【００１２】
一方、静止画像データのシャッター速度は様々に設定可能とされているが、シャッター速度が相異なる静止画像データを同一タイミングで生成することも考慮されていることに注意されたい。本発明では、特に動画像データ生成中に、所望シャッター速度の静止画像データをも併せて生成することが考慮されている。したがって、このことからすれば、複数種類のシャッター速度に応じた画像データとは、１種類の動画像データ（そのシャッター速度は、例えば１／３０秒に固定）がそれに含まれることは当然として、この動画像データと静止画像データ（そのシャッター速度は任意に可変設定）とを主に意味していることになる。
【００１３】
さて、本発明について具体的に説明すれば、先ず本発明による撮像装置の一例での要部概要構成を図１に示す。図示のように、撮影レンズ１１や撮像素子（撮影レンズ１による光学画像を電気信号に変換するＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）１２、画像情報処理ブロック１３、動画像記録ブロック１４、静止画像記録ブロック１５から構成されている。これら以外の構成要素としては、撮像素子１２、画像情報処理ブロック１３それぞれに対し電子シャッター速度制御、各種情報処理制御を行う制御回路や、画像情報や画像情報中間処理結果等を一時記憶するためのメモリ等が必要となっているが、図示の簡単化上、省略されていることに注意されたい。先ず一般的な動画像記録動作について説明すれば、以下のようである。
【００１４】
即ち、動画像データの記録は、オペレータからの動画像データ記録要求によって行われる。その記録要求があった場合、図示のように、撮影レンズ１１による集光画像は撮像素子１２により、周期的にアナログ画像信号に変換された後、画像情報処理ブロック１３内のＡ／Ｄ変換器１３１によってディジタル画像信号に変換された状態で、画像情報処理回路１３２により順次、処理される。その処理では、ホワイトバランス調整やガンマ補正等が行われることで、動画像データが生成されているが、その際に必要があれば、動画像データの記録フォーマットに合せた画素数変換も併せて行われる。これは、一般的に、動画像・静止画像両対応記録機器においては、静止画像の解像度に合せた撮像素子が用いられることが多く、動画像データに対しては、データ間引きが必要とされているからである。このように、画像情報処理回路１３２で生成された動画像データは、その後、動画像記録ブロック１４内の動画像圧縮回路１４１により画像圧縮された上、記録媒体１４２上に順次、記録されるようになっている。
【００１５】
次に、一般的な静止画像記録動作について説明すれば、この静止画像データの記録も、オペレータからの静止画像データ記録要求によって行われる。その記録要求があった場合、図示のように、撮影レンズ１１による集光画像は撮像素子１２によってアナログ画像信号に変換された後、画像情報処理ブロック１３内のＡ／Ｄ変換器１３１によってディジタル画像信号に変換された状態で、画像情報処理回路１３２により処理される。その処理では、ホワイトバランス調整やガンマ補正等が行われることで、静止画像データが生成されているものである。このように、画像情報処理回路１３２で生成された静止画像データは、その後、静止画像記録ブロック１５内の静止画像圧縮回路１５１により画像圧縮された上、記録媒体１５２上に記録されるようになっている。
【００１６】
ここで、動画像データの撮像について、より詳細に説明すれば、以下のようである。
即ち、本例での場合、３０フレーム／秒のノンインターレース方式（順次走査、あるいはプログレッシブ走査）動画像データが記録される場合が想定されており、動画像データの撮像においては、図２に示すように、露出時間（シャッター速度）２１は１／３０秒に設定されるのが望ましい。このようにして、ややブレ気味に被写体が撮像されることで、動画像データは、後に滑らかな動画像としての再生され得るものである。
【００１７】
次に、静止画像データの撮像について説明すれば、静止画像の場合には、その用途や周囲の明るさ状況に応じて、シャッター速度が最適に設定される必要がある。もしくは、静止画像の場合、動きの速い被写体を撮像する場合には、より短いシャッター速度で、また、流し撮り等を望む場合には、長いシャッター速度を選択できることが好ましい。例えば露出時間２２として示すように、１／１２５秒であったり、露出時間２３として示すように、１／８秒であったりする。換言すれば、動画像データに対し、静止画像データに要求されているシャッター速度は一般に大きく異なっており、静止画像データそれぞれに要求されているシャッター速度もまた、互いに大きく異なっている場合が殆どである。したがって、唯一の撮像素子で動画像データと静止画像データの双方が同時に撮像される場合には、異なるシャッター速度での撮像が同時に実現される必要があるが、以下、これの実現方法を図３，図４を用い説明する。
【００１８】
以上の動画像データや静止画像データの記録動作はあくまでも単独動作でのものであり、したがって、その動作は比較的単純となっている。しかしながら、動画像データ生成・記録中に、所望シャッター速度、例えば、図３に示すように、シャッター速度１／１２５秒の静止画像データが併せて記録される場合について説明すれば、動画像データを記録し、静止画像データを記録していない場合での撮像素子１２の露出時間２１は１／３０秒である。このようにして、撮像された画像に対しては、画像情報処理回路１３２によりホワイトバランス調整やガンマ補正等の処理が施され、更に、必要があれば、画素数変換処理が行われることで、動画像データ３４として得られた後、圧縮記録されることになる。
【００１９】
さて、以上のようにして、動画像データが生成・記録されている状態で、図示のようなタイミング３１で、シャッター速度が１／１２５秒の静止画像データ記録要求が発生されたとすれば、撮像素子１２では、露出時間３２，３３として示される撮像が行われる。露出時間３２は静止画像データ用の撮像であり、シャッター速度は１／１２５秒である。しかしながら、露出時間３３は、動画像データの撮像単位時間である１／３０秒を考えた場合、その撮像単位時間に対する残り時間内での撮像である。即ち、露出時間３３のシャッター速度は、１９／７５０秒（＝１／３０秒−１／１２５秒）となる。
【００２０】
以上のようにして撮像された場合に、撮像素子１２からのアナログ画像信号はディジタル化された上、画像情報処理回路１３２で画像処理されることで、圧縮記録直前での動画像データと静止画像データが生成されているわけであるが、この生成方法について、より詳細に説明すれば、以下のようである。
【００２１】
即ち、先ず動画像データについては、露出時間３２，３３それぞれで撮像された画像データが組合せ加算されるようにすれば、必要とされる動画像データが得られることは明らかである。その後、ホワイトバランス調整やガンマ補正等、更には、必要に応じて画素数変換が行われることで、圧縮記録直前での動画像データ３５が得られることになる。結局、途中でシャッター速度が１／１２５秒の静止画像データを得るための撮像が行われているにも拘らず、何等その撮像に影響されることなく、１／３０秒のシャッター速度で撮像された動画像データが得られるものである。一方、静止画像データについては、露出時間３２で撮像された画像データに対し、単にホワイトバランス調整やガンマ補正が行われるだけで、圧縮記録直前での静止画像データ３６が得られるようになっている。
【００２２】
以上の説明は、シャッター速度が１／１２５秒の静止画像データである場合でのものであるが、そのシャッター速度が１／３０秒よりも長い、例えば１／８秒である場合について、図４により説明すれば、以下のようである。
【００２３】
即ち、図４に示すように、露出時間２１による撮像が連続的に行われている状態で、あるタイミング３１で、シャッター速度が１／８秒の静止画像データ記録要求が発生したとする。この場合、撮像素子１２では、露出時間４１〜４３として示される撮像が行われる。静止画像データ用の撮像には、１／８秒の露出が必要なことから、３回に亘る連続的な通常露出の後、露出が足りない部分に対する撮像は、露出時間４２内で行われるようにする。つまり、シャッター速度１／８秒は、１／３０秒＋１／３０秒＋１／３０秒＋１／４０秒（＝１／８秒）として分解された上、各露出時間４１内では１／３０秒の撮像が、また、露出時間４２内では１／４０秒の撮像が行われるようにする。また、図３に示す場合と同様にして、動画像データの単位時間である１／３０秒を考えた場合での残り時間に対する撮像として、露出時間４３として示される撮像が行われるが、そのシャッター速度は、１／１２０秒（＝１／３０秒−１／４０秒）として求められることになる。
【００２４】
結局、以上のようにして撮像された画像データから、３フレーム分の動画像データ４４の他、露出時間４２に対する画像データと露出時間４３に対する画像データとの組合せ加算により１フレーム分の動画像データ４５が得られることになる。また、静止画像データについては、３フレーム分の動画像データ４４を累積加算したものと、露出時間４２に対する画像データとの組合せ加算により静止画像データ４６が得られることになる。
【００２５】
更に、１／３０秒周期毎に動画像データを得るとしても、その動画像データ用シャッター速度が１／６０秒に設定されている場合には、図５に示すように、露出時間５２による撮像が連続的に行われる。しかしながら、１／３０秒周期それぞれの前半に相当する露出時間５２に対する画像データのみが動画像データ５８として得られ、その後半に相当する露出時間５２に対する画像データは動画像データ５８としては得られないよう、無視される。
【００２６】
さて、そのような状態で、あるタイミング５１で、シャッター速度が１／１６秒の静止画像データ記録要求が発生した場合について説明すれば、この場合、撮像素子１２では、露出時間５３〜５７として示される撮像が順次、行われるが、これら露出時間５３〜５７のうち、露出時間５３，５５それぞれに対する画像データが動画像データ５９として得られることは明らかである。しかしながら、静止画像データ用の撮像には、１／１６秒の露出が必要なことから、露出時間５３〜５５それぞれによる撮像後、露出が足りない部分に対する撮像は、露出時間５６内で行われる。つまり、シャッター速度１／１６秒は、１／６０秒＋１／６０秒＋１／６０秒＋１／８０秒（＝１／１６秒）として分解された上、各露出時間５３〜５５内では１／６０秒の撮像が、また、露出時間５６内では１／８０秒の撮像が行われる。結局、露出時間５３〜５５それぞれに対する画像データを累積加算したものと、露出時間５６に対する画像データとの組合せ加算により、静止画像データ６０が得られることになる。因みに、露出時間５７は、１／２４０秒（＝１／６０秒−１／８０秒）として求められるが、これに対する画像データは廃棄される。
【００２７】
結局、以上のようにして撮像された画像データから、２フレーム分の動画像データ５９が得られることになる。また、静止画像データについては、露出時間５３，５４，５５各々に対する画像データを累積加算したものと、露出時間５６に対する画像データとの組合せ加算により静止画像データ６０が得られることになる。
【００２８】
以上の説明から判るように、静止画像データ用シャッター速度が動画像データ用シャッター速度の整数倍であることは稀である。換言すれば、例えば動画像データ用シャッター速度が１／３０秒に設定され、静止画像データ用シャッター速度が任意に設定された場合、ある動画像データを１フレーム分、取得する際に、静止画像データを取得するための撮像が１／３０秒内で１回、行われる必要がある。既述の露出時間３２，４２，５６はその撮像のためのものであるが、これら露出時間３２，４２，５６は制御回路により、既に説明したようにして、容易に算出され得るものとなっている。
【００２９】
静止画像データ用シャッター速度が任意に設定された場合での、制御回路によるシャッター速度制御の一例でのフローを図６に示す。これによる場合、先ず動画像データの撮像の度に、その撮像に先立って、１／３０秒より短い撮像が必要か否か、即ち、静止画像データを取得するための撮像が必要か否かが判定される（ステップ６１）。この判定で、未だ不要と判定された場合、通常の場合と同様にして、シャッター速度が１／３０に設定された状態で、動画像データの撮像が行われる（ステップ６２）。しかしながら、必要と判定された場合には、動画像データ用シャッター速度と静止画像データ用シャッター速度から、必要な露出時間Ａ（秒）が算出される（ステップ６３）。この必要な露出時間Ａとは、既述の露出時間３２，４２，５６に相当することから、先ずこの露出時間Ａによる撮像が行われる（ステップ６４）。この露出時間Ａによる撮像が行われた後、露出時間（１／３０−Ａ）（秒）による撮像が行われるようになっている（ステップ６５）。
【００３０】
ところで、同一タイミング下で、動画像データに併せて、静止画像データが生成される場合、撮像素子１２から、ある露出時間による画像信号が読出し出力されている最中に、次露出時間による画像信号の読出し出力が開始される必要がある場合には、不具合を生じることになる。そのような場合とは、例えば１／３０秒内でシャッター速度が１／４０秒による撮像が行われた直後に、シャッター速度が１／１２０秒による撮像が行われるような場合である。このような不具合を回避するには、撮像素子１２におけるＣＣＤ構成に対しては、何等かの工夫が施される必要がある。
【００３１】
以上の不具合を回避するには、図７に示すように、ＣＣＤの構成として、蓄積部７４１，７４２を２つ設けることが考えられる。フレームインターライントランスファー型ＣＣＤでは、ＣＣＤ上に蓄積部があり、電荷がフォトダイオードから垂直転送ＣＣＤに転送後、高速に蓄積部に転送されており、その後、比較的低速度でＣＣＤから後段のシステムにアナログ画像情報が転送されているのに対し、蓄積部７４１，７４２を２つ設けようというものである。
【００３２】
その構成と動作について説明すれば、フォトダイオード７１で蓄積された電荷は、トランスファーゲート７２を介し垂直シフトレジスタ７３に転送される。その後、高速に蓄積部７４１，７４２に転送された上、水平シフトレジスタ７５１，７５２を介し比較的低速度でＣＣＤ外部に出力可能となっている。このような機能は、フレームインターライントランスファー型ＣＣＤに対しても蓄積部を２つ設けることにより、実現可能となっている。
【００３３】
以上のような構成のＣＣＤを用いれば、以上の不具合は解消されることになる。即ち、例えばシャッター速度が１／４０秒による撮像の際には、矢印表示のように、蓄積部７４２、水平シフトレジスタ７５２を介しアナログ画像信号が読み出されるようにする一方、シャッター速度が１／１２０秒による撮像の際には、図８に矢印表示されているように、蓄積部７４１、水平シフトレジスタ７５１を介しアナログ画像信号が読み出されるようにするものである。この場合、水平シフトレジスタ７５１，７５２それぞれからは、専用信号線を介しアナログ画像信号が読み出されてもよいが、共通信号線を介し読み出すことも可能となっている。これは、蓄積部７４１，７４２それぞれには、必要とされるアナログ画像信号が既に退避蓄積されているからであり、したがって、低速度で読み出されても、特に問題は生じないからである。
【００３４】
以上のように、撮像素子を用い同一タイミング下において、動画像データと静止画像データの双方が画像品質が損なわれることなく、しかも容易に生成され得ることになる。また、以上の説明では、動画像データのシャッター速度として１／３０秒が主に想定されているが、この値は任意に設定されてもよい。更に、主な対象として、１種類の動画像データ及び静止画像データについて説明されているが、複数種類のシャッター速度に応じた静止画像データを、唯一の撮像素子で撮像する場合等にも容易に適用され得るものとなっている。
【００３５】
以上、本発明者によってなされた発明を実施の形態に基づき、具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内で種々変更可能であることはいうまでもない。
【００３６】
【発明の効果】
撮像素子を用い、同一タイミング下で、複数種類のシャッター速度に応じた画像データ、特に１種類の動画像データ及び静止画像データが画像品質が損なわれることなく、且つ容易に生成され得る効果がある。
【図面の簡単な説明】
【図１】本発明による撮像装置の一例での要部概要構成を示す図である。
【図２】動画像データ、静止画像データそれぞれに要求されるシャッター速度の例を示す図である。
【図３】静止画像データ用のシャッター速度が動画像データ用のシャッター速度未満である場合に、動画像データ、静止画像データそれぞれを生成する方法を説明するための図である。
【図４】静止画像データ用のシャッター速度が動画像データ用のシャッター速度よりも長い場合に、動画像データ、静止画像データそれぞれを生成する方法を説明するための図である。
【図５】同じく、静止画像データ用のシャッター速度が動画像データ用のシャッター速度よりも長い場合に、動画像データ、静止画像データそれぞれを生成する方法を説明するための図である。
【図６】静止画像データ用シャッター速度が任意に設定された場合での、制御回路によるシャッター速度制御の一例でのフローを示す図である。
【図７】蓄積部を２つ有するＣＣＤ構成とその動作を示す図である。
【図８】同じく、その動作を示す図である。
【符号の説明】
１１…撮影レンズ、１２…撮像素子、１３…画像情報処理ブロック、１３２…画像情報処理回路[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image pickup apparatus and a method for generating image data corresponding to a plurality of types of exposure time, in particular, one type of moving image data and still image data using the image sensor at the same timing.
[0002]
[Prior art]
In recent years, digital video cameras capable of recording moving image data and still image data have been developed, and are currently in practical use. In such a digital video camera in general, in the case of a moving image, the image information from the imaging means has a reduced pixel density, and is recorded on a recording medium as a series of moving images, and later, as needed, from the recording medium. After being read, it is reproduced and displayed as a moving image. In the case of a still image, the image information from the imaging unit is recorded as a still image on a recording medium as it is without reducing the pixel density, and thereafter read from the recording medium as needed. , And are reproduced and displayed as a still image.
[0003]
Incidentally, Patent Document 1 describes that moving image data and still image data are generated from one image sensor at non-identical timing. Japanese Patent Application Laid-Open No. H11-157572 describes that high-definition still image data is recorded when a still image recording instruction is issued during moving image recording, while sharing the system.
[0004]
[Patent Document 1]
JP-A-8-298644 [Patent Document 2]
JP-A-10-108121
[Problems to be solved by the invention]
However, in general, the optimal exposure time for moving image data is different from the optimal exposure time for still image data. Despite this fact, image data captured at a certain timing has been shared as moving image data and still image data, as shown in Patent Documents 1 and 2, The reality is that the image quality of one or both of the moving image and the still image is reduced. That is, the generation of moving image data and still image data with the optimum exposure time required by each has not been considered at all.
[0006]
An object of the present invention is to use an image pickup device and easily and at the same timing, without deteriorating the image quality of image data corresponding to a plurality of types of exposure time, in particular, one type of moving image data and still image data. Is to be able to be generated.
[0007]
[Means for Solving the Problems]
According to the present invention, when image data corresponding to a plurality of types of exposure time is generated at the same timing using an image sensor, the imaging output is sequentially output from the image sensor at the exposure time required for each image data. And an image data generating step of generating respective image data by combining and adding the image capturing outputs sequentially obtained in the image capturing output obtaining step to obtain a plurality of types of exposure times. That is, the image data is generated.
[0008]
Actually, the image data requested to be acquired is, for example, one type of moving image data and still image data. As the simplest example, the exposure time for still image data is shorter than the exposure time for moving image data. When the moving image data and the still image data are generated at the same timing, in the image data generating step, the moving image data is acquired as one corresponding to the difference between the exposure time for the still image data and the exposure time for the moving image data. What is necessary is just to make it generate | occur | produce by the combination addition of the imaging | photography output performed and the imaging | photography output acquired by the exposure time for still image data, and the still image data is the image acquired by the exposure time for still image data. What is necessary is just to make it generate from information as it is.
[0009]
Further, for example, when the exposure time for still image data is at least one time and less than twice the exposure time for moving image data, and these moving image data and still image data are generated at the same timing, the first moving image The data may be generated as it is from the imaging output obtained with the moving image data exposure time, but for the next moving image data, the still image data exposure time and twice the moving image data exposure time are calculated. It is generated by a combinational addition of an imaging output obtained as a function of the difference and an imaging output obtained as a function of a difference between one time of the exposure time for the moving image data and the exposure time for the still image data. It is good. On the other hand, for the still image data, the image information acquired by the exposure time for the moving image data and the imaging information acquired as the difference between the exposure time for the still image data and one time of the exposure time for the moving image data. It is generated by combination addition with the output.
[0010]
According to the above specific example, the moving image data and the still image data can be easily generated without deteriorating the image quality, assuming that they correspond to the exposure times optimized respectively.
[0011]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to FIGS.
First, prior to a specific description of the present invention, image data corresponding to a plurality of types of exposure time, that is, a plurality of types of shutter speeds in the present invention are defined. Generally, image data is roughly classified into moving image data and still image data. Among them, the moving image data is continuously generated at a shutter speed for moving image data (for example, fixed to 1/30 second) at 1/30 cycle, but in the present invention, the moving image data has a different shutter speed. Note that the data is also taken into account. For example, the present invention can be applied to a case where moving image data having a shutter speed of 1/60 or 1/120 second needs to be simultaneously generated in addition to moving image data having a shutter speed of 1/30 second. I have.
[0012]
On the other hand, although the shutter speed of the still image data can be variously set, it should be noted that generation of still image data having different shutter speeds at the same timing is also considered. In the present invention, it is particularly considered to generate still image data at a desired shutter speed while generating moving image data. Therefore, from this, it is natural that the image data corresponding to the plurality of types of shutter speeds includes one type of moving image data (the shutter speed is fixed to, for example, 1/30 second). This mainly means the moving image data and the still image data (the shutter speed of which is arbitrarily variably set).
[0013]
Now, the present invention will be specifically described. First, FIG. 1 shows a schematic configuration of a main part of an example of an imaging apparatus according to the present invention. As shown in the drawing, a photographing lens 11, an image pickup device (such as a CCD image sensor or a CMOS image sensor that converts an optical image from the photographing lens 1 into an electric signal) 12, an image information processing block 13, a moving image recording block 14, a still image recording It consists of a block 15. Other components include a control circuit for performing electronic shutter speed control and various information processing controls for the image sensor 12 and the image information processing block 13, and a memory for temporarily storing image information and image information intermediate processing results. Note that a memory or the like is required, but is omitted for simplicity of illustration. First, a general moving image recording operation will be described as follows.
[0014]
That is, recording of moving image data is performed in response to a moving image data recording request from an operator. When the recording request is made, as shown in the figure, the condensed image by the photographing lens 11 is periodically converted into an analog image signal by the image pickup device 12, and then the A / D converter in the image information processing block 13 is used. After being converted into a digital image signal by 131, it is sequentially processed by the image information processing circuit 132. In the processing, moving image data is generated by performing white balance adjustment, gamma correction, and the like. At that time, if necessary, pixel number conversion according to the recording format of the moving image data is also performed. Done. This is because, in general, an image sensor adapted to the resolution of a still image is often used in a recording device that supports both a moving image and a still image, and data thinning is required for moving image data. Because there is. As described above, the moving image data generated by the image information processing circuit 132 is thereafter image-compressed by the moving image compression circuit 141 in the moving image recording block 14, and is sequentially recorded on the recording medium 142. It has become.
[0015]
Next, a general still image recording operation will be described. The recording of the still image data is also performed by a still image data recording request from the operator. When the recording request is made, as shown in the figure, the condensed image by the photographing lens 11 is converted into an analog image signal by the image sensor 12, and then the digital image is converted by the A / D converter 131 in the image information processing block 13. The signal is converted by the image information processing circuit 132 and processed. In this process, still image data is generated by performing white balance adjustment, gamma correction, and the like. As described above, the still image data generated by the image information processing circuit 132 is thereafter image-compressed by the still image compression circuit 151 in the still image recording block 15 and then recorded on the recording medium 152. ing.
[0016]
Here, imaging of moving image data will be described in more detail as follows.
That is, in the case of this example, it is assumed that non-interlaced (sequential scanning or progressive scanning) moving image data of 30 frames / second is recorded, and the imaging of moving image data is shown in FIG. Thus, the exposure time (shutter speed) 21 is desirably set to 1/30 second. In this way, the moving image data can be reproduced later as a smooth moving image by imaging the subject slightly blurred.
[0017]
Next, imaging of still image data will be described. In the case of a still image, the shutter speed needs to be set optimally according to the application and the surrounding brightness situation. Alternatively, in the case of a still image, it is preferable that a shorter shutter speed can be selected when capturing a fast-moving subject, and a longer shutter speed can be selected when panning is desired. For example, the exposure time may be 1/125 second as shown as the exposure time 22, or 1/8 second as shown as the exposure time 23. In other words, the shutter speed required for still image data is generally significantly different from the moving image data, and the shutter speed required for each still image data is also often greatly different from each other. is there. Therefore, when both moving image data and still image data are simultaneously imaged by a single image sensor, it is necessary to simultaneously realize imaging at different shutter speeds. This will be described with reference to FIG.
[0018]
The recording operation of the moving image data and the still image data described above is a single operation to the last, and therefore, the operation is relatively simple. However, a description will be given of a case where still image data having a desired shutter speed, for example, a shutter speed of 1/125 second as shown in FIG. 3 is also recorded during the generation and recording of the moving image data. The exposure time 21 of the image sensor 12 when recording is performed and still image data is not recorded is 1/30 second. The image captured in this way is subjected to processing such as white balance adjustment and gamma correction by the image information processing circuit 132, and further, if necessary, is subjected to pixel number conversion processing. After being obtained as the moving image data 34, it is compressed and recorded.
[0019]
Now, in the state where the moving image data is generated and recorded as described above, if a request for recording still image data with a shutter speed of 1/125 seconds is issued at timing 31 as shown in the figure, In the element 12, the imaging shown as the exposure times 32 and 33 is performed. Exposure time 32 is imaging for still image data, and the shutter speed is 1/125 second. However, in consideration of the exposure time 33, which is 1/30 seconds, which is the unit time for capturing moving image data, the exposure is performed within the remaining time with respect to the unit time for imaging. That is, the shutter speed for the exposure time 33 is 19/750 seconds (= 1/30 seconds-1 / 125 seconds).
[0020]
When the image is captured as described above, the analog image signal from the image sensor 12 is digitized and image-processed by the image information processing circuit 132, so that the moving image data and the still image The data has been generated, and this generation method will be described below in more detail.
[0021]
That is, it is apparent that the required moving image data can be obtained by combining and adding the image data captured at the exposure times 32 and 33 respectively. Thereafter, by performing white balance adjustment, gamma correction, and the like, and further performing pixel number conversion as necessary, moving image data 35 immediately before compression recording is obtained. Eventually, despite the fact that imaging was performed to obtain still image data with a shutter speed of 1/125 second on the way, the image was captured at a shutter speed of 1/30 second without being affected by the imaging at all. Moving image data is obtained. On the other hand, with respect to the still image data, the image data captured at the exposure time 32 is simply subjected to white balance adjustment and gamma correction, so that the still image data 36 immediately before the compression recording is obtained. .
[0022]
The above description is for the case of still image data with a shutter speed of 1/125 sec. FIG. 4 shows a case where the shutter speed is longer than 1/30 sec, for example, 1/8 sec. This will be described below.
[0023]
That is, as shown in FIG. 4, it is assumed that a request for recording still image data with a shutter speed of 発生 second is generated at a certain timing 31 in a state where imaging is continuously performed with the exposure time 21. In this case, the imaging device 12 performs imaging indicated as exposure times 41 to 43. Since imaging for still image data requires 1/8 second of exposure, after three consecutive normal exposures, imaging of the underexposed portion is performed within the exposure time 42. To That is, the shutter speed 1/8 second is decomposed as 1/30 second + 1/30 second + 1/30 second + 1/40 second (= 1/8 second). Imaging is performed, and imaging is performed for 1/40 second within the exposure time 42. In the same manner as in the case shown in FIG. 3, an image indicated as an exposure time 43 is taken as an image for the remaining time when 1/30 seconds, which is a unit time of moving image data, is considered. The speed will be determined as 1/120 seconds (= 1/30 seconds-1 / 40 seconds).
[0024]
After all, from the image data captured as described above, in addition to the moving image data 44 for three frames, the moving image data for one frame is obtained by combining and adding the image data for the exposure time 42 and the image data for the exposure time 43. 45 will be obtained. In addition, as for still image data, still image data 46 is obtained by combination addition of data obtained by cumulatively adding three frames of moving image data 44 and image data for the exposure time 42.
[0025]
Further, even if the moving image data is obtained every 1/30 second period, if the moving image data shutter speed is set to 1/60 second, as shown in FIG. Are performed continuously. However, only the image data for the exposure time 52 corresponding to the first half of each 1/30 second cycle is obtained as the moving image data 58, and the image data for the exposure time 52 corresponding to the second half thereof is not obtained as the moving image data 58. Ignored.
[0026]
Now, a description will be given of a case where a request for recording still image data with a shutter speed of 1/16 second is generated at a certain timing 51 in such a state. In this case, in the image pickup device 12, the exposure times are indicated as 53 to 57. It is apparent that image data for each of the exposure times 53 and 55 among the exposure times 53 to 57 is obtained as the moving image data 59. However, since imaging for still image data requires exposure of 1/16 second, after imaging for each of the exposure times 53 to 55, imaging of a portion where exposure is insufficient is performed within the exposure time 56. That is, the shutter speed 1/16 second is decomposed as 1/60 second + 1/60 second + 1/60 second + 1/80 second (= 1/16 second), and 1/60 second within each exposure time 53-55. The second imaging is performed, and the 1/80 second imaging is performed within the exposure time 56. As a result, the still image data 60 is obtained by the combined addition of the sum of the image data for each of the exposure times 53 to 55 and the image data for the exposure time 56. Incidentally, the exposure time 57 is obtained as 1/240 seconds (= 1/60 seconds-1 / 80 seconds), and the image data corresponding to this is discarded.
[0027]
As a result, the moving image data 59 for two frames is obtained from the image data captured as described above. As for the still image data, the still image data 60 is obtained by the combined addition of the sum of the image data for each of the exposure times 53, 54, and 55 and the image data for the exposure time 56.
[0028]
As can be understood from the above description, the still image data shutter speed is rarely an integral multiple of the moving image data shutter speed. In other words, for example, when the shutter speed for moving image data is set to 1/30 second and the shutter speed for still image data is arbitrarily set, when one frame of moving image data is acquired, a still image Imaging for acquiring data needs to be performed once within 1/30 second. The above-described exposure times 32, 42, and 56 are used for imaging, but these exposure times 32, 42, and 56 can be easily calculated by the control circuit as described above. I have.
[0029]
FIG. 6 shows a flow of an example of the shutter speed control by the control circuit when the shutter speed for the still image data is arbitrarily set. In this case, first, every time moving image data is captured, it is determined whether imaging shorter than 1/30 second is necessary prior to the imaging, that is, whether imaging for acquiring still image data is required. A determination is made (step 61). If it is determined in this determination that the shutter speed is not yet required, moving image data is captured with the shutter speed set to 1/30 as in the normal case (step 62). However, if it is determined that the exposure time is necessary, the necessary exposure time A (second) is calculated from the shutter speed for moving image data and the shutter speed for still image data (step 63). Since the necessary exposure time A corresponds to the above-described exposure times 32, 42, and 56, first, imaging is performed using the exposure time A (step 64). After the imaging for the exposure time A is performed, the imaging for the exposure time (1 / 30-A) (seconds) is performed (step 65).
[0030]
By the way, when still image data is generated together with moving image data at the same timing, while an image signal with a certain exposure time is being read out and output from the image sensor 12, an image signal with the next exposure time is output. If it is necessary to start reading out the data, a problem will occur. Such a case is, for example, a case where an image is captured at a shutter speed of 1/120 second immediately after an image is captured at a shutter speed of 1/40 second within 1/30 second. In order to avoid such a problem, it is necessary to take some measures for the CCD configuration of the image sensor 12.
[0031]
In order to avoid the above problem, as shown in FIG. 7, it is conceivable to provide two storage units 741 and 742 as the configuration of the CCD. In the frame interline transfer type CCD, a storage unit is provided on the CCD, and charges are transferred from the photodiode to the vertical transfer CCD at a high speed after being transferred to the storage unit. However, two storage units 741 and 742 are provided while the analog image information is transferred to the storage unit.
[0032]
Explaining the configuration and operation, the electric charge accumulated in the photodiode 71 is transferred to the vertical shift register 73 via the transfer gate 72. Thereafter, the data is transferred to the storage units 741 and 742 at a high speed, and can be output to the outside of the CCD at a relatively low speed via the horizontal shift registers 751 and 752. Such a function can be realized by providing two storage units for the frame interline transfer type CCD.
[0033]
If the CCD having the above configuration is used, the above problems can be solved. That is, for example, at the time of imaging at a shutter speed of 1/40 second, an analog image signal is read via the storage unit 742 and the horizontal shift register 752 as indicated by an arrow, while the shutter speed is 1/120. At the time of imaging in seconds, an analog image signal is read via the storage unit 741 and the horizontal shift register 751, as indicated by arrows in FIG. In this case, an analog image signal may be read from each of the horizontal shift registers 751 and 752 via a dedicated signal line, but may be read via a common signal line. This is because the necessary analog image signals have already been saved and stored in the storage units 741 and 742, respectively, and therefore, even if they are read out at a low speed, no particular problem occurs.
[0034]
As described above, at the same timing using an image sensor, both moving image data and still image data can be easily generated without deteriorating the image quality. In the above description, 1/30 seconds is mainly assumed as the shutter speed of the moving image data, but this value may be set arbitrarily. Furthermore, one type of moving image data and still image data is described as a main object. However, even in a case where still image data corresponding to a plurality of types of shutter speeds is captured by a single image sensor, it is easily performed. It can be applied.
[0035]
As described above, the invention made by the present inventor has been specifically described based on the embodiment. However, the present invention is not limited to the above embodiment, and can be variously modified without departing from the gist thereof. Needless to say, there is.
[0036]
【The invention's effect】
Using an image sensor, image data corresponding to a plurality of types of shutter speeds, particularly one type of moving image data and still image data, can be easily generated at the same timing without deteriorating the image quality. .
[Brief description of the drawings]
FIG. 1 is a diagram showing a schematic configuration of a main part of an example of an imaging apparatus according to the present invention.
FIG. 2 is a diagram illustrating an example of a shutter speed required for each of moving image data and still image data.
FIG. 3 is a diagram for explaining a method of generating moving image data and still image data when the shutter speed for still image data is lower than the shutter speed for moving image data.
FIG. 4 is a diagram for explaining a method of generating moving image data and still image data when the shutter speed for still image data is longer than the shutter speed for moving image data.
FIG. 5 is a diagram for explaining a method of generating moving image data and still image data when the shutter speed for still image data is longer than the shutter speed for moving image data.
FIG. 6 is a diagram illustrating a flow of an example of shutter speed control by a control circuit when a shutter speed for still image data is arbitrarily set;
FIG. 7 is a diagram showing a CCD configuration having two storage units and its operation.
FIG. 8 is also a diagram showing the operation.
[Explanation of symbols]
11: photographing lens, 12: imaging element, 13: image information processing block, 132: image information processing circuit

Claims

被写体を撮像する撮像素子と、
該撮像素子からの撮像出力を処理する画像情報処理回路と、
同一タイミング下で、複数種類の露出時間に応じた画像データが、上記撮像素子からの撮像出力に基づき、上記画像情報処理回路で生成されるよう、上記撮像素子及び上記画像情報処理回路を制御する制御回路と
を含む撮像装置。An image sensor for imaging a subject;
An image information processing circuit that processes an imaging output from the imaging element;
At the same timing, the image sensor and the image information processing circuit are controlled such that image data corresponding to a plurality of types of exposure time is generated by the image information processing circuit based on an image pickup output from the image sensor. An imaging device including a control circuit.

請求項１記載の撮像装置において、
上記制御回路による制御下に、
それぞれの画像データに要求されている露出時間で、上記撮像素子からは撮像出力が順次、取得される一方、
上記画像情報処理回路では、上記撮像素子から順次、取得される撮像出力の組合せ加算により、それぞれの画像データを生成されてなる
撮像装置。The imaging device according to claim 1,
Under the control of the above control circuit,
At the exposure time required for each image data, while the imaging output is sequentially obtained from the imaging device,
In the image information processing circuit, an image pickup apparatus configured to generate respective image data by combination addition of image pickup outputs sequentially acquired from the image pickup device.

請求項２記載の撮像装置において、
上記画像データは、１種類の動画像データ及び静止画像データとされる
撮像装置。The imaging device according to claim 2,
An image pickup apparatus in which the image data is one type of moving image data and still image data.

請求項３記載の撮像装置において、
静止画像データ用露出時間が動画像データ用露出時間のｎ（ｎ：０以上の整数）倍以上、（ｎ＋１）倍未満の関係にあって、動画像データ及び静止画像データが上記画像情報処理回路にて同一タイミングで生成されるに際し、
動画像データは、動画像データ用露出時間でｎ回に亘って順次、取得される撮像出力からｎフレーム分の動画像データが生成された後、動画像データ用露出時間のｎ倍と静止画像データ用露出時間との差分に応じたものとして取得される撮像出力と、静止画像データ用露出時間と動画像データ用露出時間の（ｎ＋１）倍との差分に応じたものとして取得される撮像出力との組合せ加算により１フレーム分の動画像データが生成される一方、
静止画データは、動画像用露出時間でｎ回に亘って順次、取得される撮像出力を累積加算したものと、静止画像データ用露出時間と動画像データ用露出時間のｎ倍との差分に応じたものとして取得される画像情報との組合せ加算により生成されてなる
撮像装置。The imaging device according to claim 3,
The exposure time for still image data is at least n (n: an integer of 0 or more) times and less than (n + 1) times the exposure time for moving image data, and the moving image data and the still image data are stored in the image information processing circuit. At the same time,
The moving image data is obtained by sequentially generating n frames of moving image data from the obtained imaging output in the exposure time for moving image data n times, and then n times the exposure time for moving image data and the still image. An imaging output obtained as a function of the difference between the data exposure time and an imaging output obtained as a function of the difference between the exposure time for the still image data and (n + 1) times the exposure time for the moving image data. While the moving image data for one frame is generated by the combination addition with
The still image data is the difference between the cumulative addition of the obtained imaging outputs sequentially over n times in the moving image exposure time and the difference between the still image data exposure time and n times the moving image data exposure time. An imaging device generated by combination addition with image information acquired as a response.

撮像素子を用い、同一タイミング下で、複数種類の露出時間に応じた画像データが生成されるようにした撮像方法であって、
それぞれの画像データに要求されている露出時間で、撮像素子から撮像出力を順次、取得する撮像出力取得ステップと、
該撮像出力取得ステップで順次、取得された撮像出力の組合せ加算により、それぞれの画像データを生成する画像データ生成ステップと
を含む撮像方法。An imaging method using an imaging element, under the same timing, so that image data corresponding to a plurality of types of exposure time is generated,
An imaging output obtaining step of sequentially obtaining an imaging output from the imaging device with an exposure time required for each image data;
An image data generating step of generating respective image data by combining and adding sequentially the obtained imaging outputs in the imaging output obtaining step.

請求項５記載の撮像方法において、
上記画像データは、１種類の動画像データ及び静止画像データとされる
撮像方法。The imaging method according to claim 5,
An imaging method in which the image data is one type of moving image data and still image data.

請求項６記載の撮像方法において、
静止画像データ用露出時間が動画像データ用露出時間のｎ（ｎ：０以上の整数）倍以上、（ｎ＋１）倍未満の関係にあって、動画像データ及び静止画像データが同一タイミングで生成されるに際し、
画像データ生成ステップでは、動画像データは、動画像データ用露出時間でｎ回に亘って順次、取得される撮像出力からｎフレーム分の動画像データが生成された後、動画像データ用露出時間のｎ倍と静止画像データ用露出時間との差分に応じたものとして取得される撮像出力と、静止画像データ用露出時間と動画像データ用露出時間の（ｎ＋１）倍との差分に応じたものとして取得される画像情報との組合せ加算により１フレーム分の動画像データが生成される一方、
静止画データは、動画像用露出時間でｎ回に亘って順次、取得される撮像出力を累積加算したものと、静止画像データ用露出時間と動画像データ用露出時間のｎ倍との差分に応じたものとして取得される撮像出力との組合せ加算により生成される
撮像方法。The imaging method according to claim 6,
The exposure time for still image data is at least n (n: an integer of 0 or more) times the exposure time for moving image data and less than (n + 1) times, and the moving image data and the still image data are generated at the same timing. In doing so,
In the image data generation step, the moving image data is generated by sequentially generating n frames of moving image data from the acquired imaging output in the moving image data exposure time n times. The imaging output obtained as a value corresponding to the difference between n times the exposure time for the still image data and the difference between the exposure time for the still image data and the (n + 1) times the exposure time for the moving image data. While one frame of moving image data is generated by combination addition with image information acquired as
The still image data is the difference between the cumulative addition of the obtained imaging outputs sequentially over n times in the moving image exposure time and the difference between the still image data exposure time and n times the moving image data exposure time. An imaging method generated by combination addition with an imaging output acquired as a response.