JP2006211426A - Image sensing device and its image generating method - Google Patents
Image sensing device and its image generating method Download PDFInfo
- Publication number
- JP2006211426A JP2006211426A JP2005022230A JP2005022230A JP2006211426A JP 2006211426 A JP2006211426 A JP 2006211426A JP 2005022230 A JP2005022230 A JP 2005022230A JP 2005022230 A JP2005022230 A JP 2005022230A JP 2006211426 A JP2006211426 A JP 2006211426A
- Authority
- JP
- Japan
- Prior art keywords
- image
- resolution
- compressed
- low
- compressed image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、ディジタルカメラ等の撮像装置および画像生成方法に係り、より詳しくは、動画主体として取り出す画像（比較的低画素数）と静止側として取り扱える画像（比較的高画素数）を同一ストリーム上で取り扱う撮像装置およびその画像生成方法に関するものである。 The present invention relates to an imaging apparatus such as a digital camera and an image generation method. More specifically, an image to be extracted as a moving image (relatively low number of pixels) and an image that can be handled as a still side (relatively high number of pixels) are on the same stream. The present invention relates to an image pickup apparatus handled by, and an image generation method thereof.
従来より、撮像素子を用いて撮像した撮像信号に基づくディジタルビデオ信号を離散コサイン変換（ＤＣＴ）やウエーブレット変換と可変長符号により圧縮し、磁気テープや磁気ディスクや光ディスク等の記録媒体に記録するディジタルカメラが提案されている。
このディジタルカメラは、動画記録モードおよび静止画記録モードを有し、動画記録モードにおいては動画用の圧縮記録を行って記録媒体に記録し、静止画記録モードにおいては静止画用の圧縮を行って記録媒体に記録する。
Conventionally, a digital video signal based on an image signal captured using an image sensor is compressed by discrete cosine transform (DCT), wavelet transform and variable length code, and recorded on a recording medium such as a magnetic tape, a magnetic disk, or an optical disk. Digital cameras have been proposed.
This digital camera has a moving image recording mode and a still image recording mode. In the moving image recording mode, the digital camera performs compression recording for a moving image and records it on a recording medium. In the still image recording mode, the digital camera performs compression for a still image. Record on a recording medium.
また、従来より、動画撮影中に、高解像の静止画を撮影可能な撮像装置が、以下に第１〜第８の撮像装置として示すように、種々提案されている。 Conventionally, various imaging devices capable of capturing high-resolution still images during moving image shooting have been proposed, as shown as first to eighth imaging devices below.
第１の撮像装置は、動画撮影中に所定周期で静止画を撮影するものである（特許文献１参照）。 The first imaging device captures a still image at a predetermined cycle during moving image capturing (see Patent Document 1).
第２の撮像装置は、通常解像度の動画撮影中に操作者の操作により、または、自動的に一定間隔で高解像度の静止画を撮影するものであって、静止画は静止画デ一タとして記録し、動画は動画デ一タとして記録するものであり、動画再生中に静止画データありを表示し、操作者の操作でその静止画表示に切り替わる（特許文献２参照）。 The second imaging device captures a high-resolution still image at a fixed interval by an operator's operation or automatically during normal-resolution video recording, and the still image is used as still image data. The recorded moving image is recorded as moving image data, and the presence of still image data is displayed during moving image reproduction, and the still image display is switched by the operation of the operator (see Patent Document 2).
第３の撮像装置は、所定期間の動画を撮影しつつ操作者のシャツタボタン操作により静止画を撮影する画像記録装置であって、撮影した静止画をその前後の動画を用いて修正するものである。 The third imaging device is an image recording device that captures a still image by shooting a moving image of a predetermined period by an operator's shot button operation, and corrects the captured still image using the preceding and following moving images. It is.
第４の撮像装置は、動画撮影時にシャッタボタンを操作すると高精細の静止画を撮影するカムコーダなどの動画記録装置であって、シャッタボタン操作時の高精細の静止画を強制的にイントラ符号化画像（Ｉピクチャ）として符号化するものである（特許文献３参照）。 The fourth imaging device is a moving image recording device such as a camcorder that captures a high-definition still image when the shutter button is operated during moving image shooting, and forcibly encodes the high-definition still image when the shutter button is operated. It is encoded as an image (I picture) (see Patent Document 3).
第５の撮像装置は、動画撮影中に静止画撮影が可能なものであって、希望する静止画がない場合には、所望する動画像に対応する高解像度画像を、所望する動画像とそれと関連する静止画像とで合成するものである（特許文献４参照）。 The fifth imaging device is capable of still image shooting during moving image shooting, and when there is no desired still image, a high-resolution image corresponding to the desired moving image is obtained as a desired moving image and It is synthesized with related still images (see Patent Document 4).
第６の撮像装置は、シャッタボタンの半押で動画記録開始し、シャッタボタンの押込みで動作記録中に静止画の撮影を行うデジタルカメラであって、動画撮影中に撮影した静止画デ一夕を動画デ一夕と関連付けて記憶するものである（特許文献５参照）。 The sixth imaging device is a digital camera that starts recording a moving image by half-pressing the shutter button and captures a still image while recording an operation by pressing the shutter button. Is stored in association with the moving image data (see Patent Document 5).
第７の撮像装置は、動画撮影中に操作者のシャッタボタン操作により静止画を撮影する画像記録装置であって、撮影した静止画をその前後の動画を用いて修正するものである（特許文献６参照）。 A seventh imaging device is an image recording device that captures a still image by operating an operator's shutter button during moving image shooting, and corrects the captured still image using moving images before and after (Patent Document). 6).
第８の撮像装置は、動画と静止画のデータを一連のファイルとして記録するもの、動画は、ＭＰ＠ＭＬ（Ｍａｉｎ Ｐｒｏｆｉｌｅ ａｔ Ｍａｉｎ Ｌｅｖｅｌ）で記録し、静止画はＭＰ＠ＨＬ（Ｍａｉｎ Ｐｒｏｆｉｌｅ ａｔ Ｈｉｇｈ Ｌｅｖｅｌ）で記録するものである（特許文献７参照）。
ところで、上述した各撮像装置においては、通常、動画程度の画像を取り込む場合は、ローリングシャッタを繰り返し露光−データ転送を順次行う。また、静止画の連続撮影を行う場合は、同様にローリングシャッタを連続させるか、メカニカルシャッタを用いる。 ここで、ローリングシャッタのみの画像取り込みでは、画像の上下で画像の歪みが発生することとなる。但し、あくまで動画像なので許容できる。
しかしながら、それが静止画像の取り込みとなると、この画像歪みを許容できなくなる。そのために、メカニカルシャッタが必要となるが、限りなく、高速で連続画像取り込みを行うには、メカニカルシャッタ駆動にも限界がある。
By the way, in each of the above-described imaging apparatuses, in general, when an image of a moving image level is captured, exposure and data transfer are sequentially performed by repeating a rolling shutter. In addition, when continuous shooting of still images is performed, a rolling shutter is similarly continued or a mechanical shutter is used. Here, in the image capture using only the rolling shutter, image distortion occurs at the top and bottom of the image. However, since it is a moving image to the last, it is permissible.
However, this image distortion becomes unacceptable when it becomes the capture of a still image. Therefore, a mechanical shutter is necessary, but there is a limit to mechanical shutter driving in order to capture continuous images at high speed.
また、ディジタルカメラ等においては、高解像度で所望する画像を得るために、操作者が撮影対象を観察し、ここと思うタイミングでレリーズボタンを操作する必要がある。
しかしながら、ここと思うタイミングで操作したとしても、必ずしも所望する画像は得られないことが多く、これを解消する連写機能が実用化されている。
しかし、高解像度で、たとえば１０秒間も秒数コマで撮影したとすると、その記録した画像データは膨大となり、現在のメモリカード等の容量を考えると実用性に乏しい。
また、このような連写機能を有するものは、数百万画素の高解像度の静止画連写の場合、連写速度の上限がＣＣＤ等の読み出し処理能力に大きく依存するため、秒数コマ程度が上限となり、所望する画像が動きの早い被写体であると、たとえば連写を用いたとしても所望する画像を得ることはむずかしいものとなる。
Further, in a digital camera or the like, in order to obtain a desired image with high resolution, it is necessary for an operator to observe a subject to be photographed and to operate a release button at a timing considered here.
However, even if it is operated at the timing considered here, a desired image is not always obtained, and a continuous shooting function for solving this problem has been put into practical use.
However, if the image is taken at a high resolution, for example, several frames per second for 10 seconds, the recorded image data is enormous, and considering the capacity of the current memory card or the like, the practicality is poor.
Also, those with such a continuous shooting function, in the case of high resolution still image continuous shooting with millions of pixels, the upper limit of the continuous shooting speed greatly depends on the readout processing capacity of the CCD, etc., so about several frames per second If the desired image is a fast moving subject, for example, it is difficult to obtain the desired image even if continuous shooting is used.
また、比較的低解像度の動画を再生し、動画として見ている分にはいいが、再生動作を一時停止して静止画としてとらえた場合には画像も粗く、印刷しても質の良い写真とはいえない。またコマ送り再生をしても、粗い画像では被写体の細かい様子までを観察することができない、という問題があった。 Also, if you play a relatively low-resolution video and view it as a video, it will be fine, but if you pause the playback operation and view it as a still image, the image will be rough and good quality when printed. That's not true. In addition, there is a problem that even if frame-by-frame playback is performed, it is impossible to observe the detailed state of the subject with a rough image.
そこで、動画再生中に一時停止やコマ送りをしたときにでも、高精細な静止画として表示することができ、また、連写等の速度を気にせずに、かつ記録容量も実用的に抑えた上で、操作者がシャッタタイミングを気にせずに所望の高解像度静止画を得ることが可能な撮像装置を新規に開発した。 Therefore, even when pausing or frame-by-frame playback during video playback, it can be displayed as a high-definition still image, and the recording capacity is practically suppressed without worrying about the speed of continuous shooting. In addition, a new imaging device has been developed that allows the operator to obtain a desired high-resolution still image without worrying about the shutter timing.
本発明はかかる開発にて生じた全く新規なものであり、特に、上記した高解像度生成画を得る等の課題を背景とするものではなく、従来にない全く新規な撮像方式を有する撮像装置およびその画像生成方法を提供することを目的とする。 The present invention is completely new that has occurred in such development, and in particular, is not based on the above-described problem of obtaining a high-resolution generated image. An object of the present invention is to provide an image generation method.
本発明の第１の観点は、被写体の光学像を撮像素子に結像させ当該撮像素子から高解像度の高画像データまたは低解像度の低画像データを読み出し、これら画像データに対して所定の画像処理を行う撮像装置であって、上記高画像データをイントラフレーム圧縮した第１の圧縮画像と、上記第１の圧縮画像を生成する期間の前後の期間で、低画像データをインターフレーム圧縮した第２の圧縮画像とを含む一連の動画ストリームから低解像度の動画を生成する動画生成手段と、上記動画ストリームの上記第１の圧縮画像または上記第１の圧縮画像と少なくとも上記第２の圧縮画像から高解像度の静止画を生成する静止画生成手段と、再生モードを、動画再生モードと少なくもとコマ送りモード、静止画モード、スロー再生モード、間歇再生モードの少なくともいずれか一つに切り換え可能なモード切換手段と、上記モード切換手段により切り換えられたモードに応じて、上記動画生成手段と上記静止画生成手段とを切り換える切換手段とを有する。 According to a first aspect of the present invention, an optical image of a subject is formed on an imaging device, high-resolution high-image data or low-resolution low-image data is read from the imaging device, and predetermined image processing is performed on these image data. A first compressed image obtained by intra-frame compressing the high image data, and a second image obtained by inter-frame compressing low image data in a period before and after the period for generating the first compressed image. Moving image generation means for generating a low-resolution moving image from a series of moving image streams including the compressed image, and the first compressed image or the first compressed image and at least the second compressed image of the moving image stream are high. Still image generation means for generating still images of resolution, and the playback mode is a video playback mode and at least frame advance mode, still image mode, slow playback mode, and intermittent playback mode. Having a mode switching means for switching to at least one of de, in accordance with the switched mode by said mode switching means, and switching means for switching between the moving image generation means and the still image generating means.
好適には、上記動画ストリームを再生中に一時停止指令を受ける際の１フレームの画像が前記第１の圧縮画像から生成された低解像度の動画画像であれば、当該第１の圧縮画像から生成する高解像度の画像を、前記第２の圧縮画像と前記第１の圧縮画像から生成された低解像度の動画画像であれば、当該第２の圧縮画像と当該第１の圧縮画像から高解像度の画像を生成処理して表示する画像処理手段を、さらに有する。 Preferably, if the one-frame image when receiving a pause command during playback of the moving image stream is a low-resolution moving image generated from the first compressed image, the image is generated from the first compressed image. If the high-resolution image is a low-resolution moving image generated from the second compressed image and the first compressed image, a high-resolution image is generated from the second compressed image and the first compressed image. Image processing means for generating and displaying an image is further included.
好適には、上記動画ストリームを再生中に一時停止指令を受けた後に、少なくとも上記コマ送りモード、スロー再生モード、間歇再生モードへの切換指令を受けたきには、順次高解像度の画像を生成して表示する。 Preferably, after receiving a pause command during playback of the video stream, at least when receiving a command to switch to the frame advance mode, slow playback mode, or intermittent playback mode, sequentially generate high-resolution images. To display.
上記高画像データは、上記撮像素子から間引かずに読み出した画像データまたは任意の間引き量で間引いて読み出した画像データであり、上記低画像データは、上記撮像素子から当該高画像データより低い解像度となるような任意の間引き量で間引いて読み出した画像である。 The high image data is image data read out from the image sensor without being thinned out or image data read out by thinning out at an arbitrary thinning amount, and the low image data has a lower resolution than the high image data from the image sensor. This is an image read out by thinning out with an arbitrary thinning amount.
好適には、シャッタ機能としてグローバルシャッタ機能とローリングシャッタ機能とを含み、上記画像処理手段は、上記グローバルシャッタで取り込んだ画素のデータより第１の圧縮画像を生成し、上記ローリングシャッタで取り込んだ画素のデータより第２の圧縮画像を生成する。 Preferably, the shutter function includes a global shutter function and a rolling shutter function, and the image processing means generates a first compressed image from the pixel data captured by the global shutter, and the pixels captured by the rolling shutter A second compressed image is generated from the data.
好適には、上記画像処理手段は、上記第２の圧縮画像の一画面を指定すると、当該第２の圧縮画像の画面を前後の上記第１の圧縮画像を含めた他の画像により伸長復号して当該指定した一画面を示す高解像度の静止画像データを生成する。 Preferably, when one screen of the second compressed image is designated, the image processing means decompresses and decodes the screen of the second compressed image with other images including the preceding and following first compressed images. Thus, high-resolution still image data representing the designated one screen is generated.
好適には、高解像度の第１の圧縮画像と、低解像度の第２の圧縮画像とにより低解像度の連続したビデオストリームを出力するストリーム出力手段と、上記第１の圧縮画像が高解像度か低解像度かを判別する判別手段と、上記判別手段により上記第１の圧縮画像が高解像度か低解像度かを示す信号を出力する判別信号出力手段と、を有する。 Preferably, a stream output means for outputting a low-resolution continuous video stream using a high-resolution first compressed image and a low-resolution second compressed image; and A determination unit configured to determine whether the resolution is a resolution; and a determination signal output unit configured to output a signal indicating whether the first compressed image has a high resolution or a low resolution by the determination unit.
好適には、被写体の光学像を撮像素子に結像させ当該撮像素子から高解像度の高画像データまたは低解像度の低画像データを読み出し、これら画像データに対して所定の画像処理を行う撮像装置の画像生成方法であって、上記高画像のデータをイントラフレーム圧縮して第１の圧縮画像を生成するステップと、上記第１の圧縮画像を生成する期間の前後の期間で、低画像データをインターフレーム圧縮した第２の圧縮画像を生成するステップと、上記第１の圧縮画像と、上記第２の圧縮画像とを含む一連の動画ストリームを形成し、当該動画ストリームから低解像度の動画を生成する動画生成ステップと、上記動画ストリームの上記第１の圧縮画像または上記第１の圧縮画像と少なくとも上記第２の圧縮画像から高解像度の静止画を生成する静止画生成ステップと、再生モードを、動画再生モードと少なくもとコマ送りモード、静止画モード、スロー再生モード、間歇再生モードの少なくともいずれか一つに切り換えるモード切換ステップと、上記モード切換ステップにより切り換えられたモードに応じて、上記動画生成ステップと静止画生成ステップの処理を切り換える切換ステップとを有する。 Preferably, an imaging device that forms an optical image of a subject on an imaging device, reads high-resolution high-image data or low-resolution low-image data from the imaging device, and performs predetermined image processing on the image data. An image generation method comprising: inter-frame compressing the high image data to generate a first compressed image; and low image data in a period before and after the first compressed image generation period. A series of moving image streams including a step of generating a frame-compressed second compressed image, the first compressed image, and the second compressed image are formed, and a low-resolution moving image is generated from the moving image stream. A high-resolution still image is generated from the moving image generation step and the first compressed image or the first compressed image and at least the second compressed image of the moving image stream. A still image generation step, a mode switching step for switching the playback mode to at least one of the video playback mode, frame advance mode, still image mode, slow playback mode, and intermittent playback mode, and the mode switching step described above. According to the switched mode, there is a switching step for switching the processing of the moving image generation step and the still image generation step.
本発明によれば、従来にない新規な撮像装置およびその画像生成方法が提供できる。 According to the present invention, an unprecedented novel imaging device and an image generation method thereof can be provided.
以下、本発明に係る撮像装置の実施形態について、添付図面に関連付けて説明する。 Embodiments of an imaging apparatus according to the present invention will be described below with reference to the accompanying drawings.
図１は、本実施形態における撮像装置１の全体構成を例示する図である。本撮像装置１は、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。
FIG. 1 is a diagram illustrating an overall configuration of an
本実施形態に係る撮像装置１は、動画撮影中、信号処理系において高画素の画像データをイントラフレーム圧縮（圧縮符号化）して第１の圧縮画像を生成する機能と、第１の圧縮画像を生成する期間の前後の期間で、低画素の画像データをインターフレーム圧縮（圧縮符合化）した第２の圧縮画像を生成する機能と、第１の圧縮画像と、第２の圧縮画像とを含む一連の動画ストリームを形成し、形成した動画ストリームから低解像度の動画を生成する動画生成機能と、動画ストリームの第１の圧縮画像または第１の圧縮画像と少なくとも第２の圧縮画像から高解像度の静止画を生成する静止画生成機能と、再生モードを、動画再生モードと少なくもとコマ送りモード、静止画モード、スロー再生モード、間歇再生モードの少なくともいずれか一つに切り換えるモード切換機能と、モード切換機能により切り換えられたモードに応じて、動画生成機能と静止画生成機能の処理を切り換える切換機能と、を有している。
撮像装置１においては、低解像度の動画と高解像度の静止画が混在する画像ストリームの動画再生モードにおいて、コマ送り、停止、スロー再生を指示すると、低解像度のコマ送りや低解像度の静止画や低解像度のスロー再生ではなく、高解像度静止画のコマ送り、高解像度静止画のスチル再生（停止時）、高解像度静止画のスロー再生となる。
The
In the
また、撮像装置１は、高画素の画像データをイントラフレーム圧縮して第１の圧縮画像を生成し、第１の圧縮画像を生成する期間の前後の期間で、低画素の画像データをインターフレーム圧縮して第２の圧縮画像を生成し、第２の圧縮画像の一画面を指定すると、第２の圧縮画像とその前後の第１の圧縮画像を含めた他の圧縮画像により伸長復号して指定した一画面を示す高解像度の静止画像データを生成する機能を有している。
そして、本実施形態に係る撮像装置１は、一動画像データ取り込み中に、ローリングシャッタ機能とグローバルシャッタ機能とを併用する。
また、本実施形態に係る撮像装置１は、高解像度の第１の圧縮画像の画像レベルと低解像度の第２の圧縮画像の画像レベルとを略等しいレベルに補正し、第１の圧縮画像と第２の圧縮画像の出力レベルを一定するにするように制御する。
また、本実施形態に係る撮像装置１は、再生モードと、静止画再現モードと、ストリームデータ変更モードの３モードを備えている。再生モードには、動画再生モードと少なくもとコマ送りモード、静止画モード、スロー再生モード、間歇再生モードを含む。
以下、各部の構成および機能について説明する。
The
The
In addition, the
In addition, the
Hereinafter, the configuration and function of each unit will be described.
光学系は、レンズ光学系１０およびＣＭＯＳセンサ等のイメージセンサ１１から構成される。
レンズ光学系１０は、被写体に対向する光学レンズ１０１、および図示しない光学ローパスフィルタ等を備えている。レンズ光学系１０においては、光学レンズ１０１により被写体の光学像を集光して、イメージセンサ１１上に被写体の像を結像する。
The optical system includes a lens
The lens
撮像素子としてのイメージセンサ１１は、たとえば、カラーフィルタが設けられたＣＭＯＳイメージセンサから構成され、レンズ光学系１０により結像された被写体の像を光電変換する。
また、グローバルシャッタ機能とローリングシャッタ機能とを含むシャッタ機能を有する。
シャッタ機能は、制御系の制御に従ってグローバルシャッタ機能またはローリングシャッタ機能を選択的に用いられ、ローリングシャッタで画素を取り込ませている間に、グローバルシャッタで画像を取り込ませることが可能なように制御される。すなわち、一動画像データ取り込み中に、ローリングシャッタ機能とグローバルシャッタ機能とが併用される。
The image sensor 11 as an image sensor is composed of, for example, a CMOS image sensor provided with a color filter, and photoelectrically converts an object image formed by the lens
Further, it has a shutter function including a global shutter function and a rolling shutter function.
The shutter function is controlled so that the global shutter function or the rolling shutter function is selectively used according to the control of the control system, and the image can be captured by the global shutter while the pixels are captured by the rolling shutter. The In other words, the rolling shutter function and the global shutter function are used in combination during capture of the single moving image data.
信号処理系は、イメージセンサ１１から出力される電気信号をサンプリングすることによってノイズを低減させるための相関２重サンプリング回路（ＣＤＳ：Correlated Double Sampling）であるＣＤＳ１２と、ＣＤＳ１２が出力するアナログ信号をディジタル信号に変換するＡ／Ｄ変換器１３と、Ａ／Ｄ変換器１３が出力するディジタル信号に対して、後述する所定の画像処理を行う画像処理部１４とから構成される。
基本的に画像処理部１４が、本発明に係る動画生成手段、静止画生成手段、モード切換手段、切換手段を含んで構成される。
The signal processing system digitally outputs a
The
本実施形態に係る画像処理部１４は、基本的には、グローバルシャッタで取り込んだ画素のデータをイントラフレーム圧縮して第１の圧縮画像を生成し、第１の圧縮画像を生成する期間の前後の期間で、ローリングシャッタで取り込んだ画素のデータをインターフレーム圧縮して第２の圧縮画像を生成する。
後で詳述するように、画像処理部１４は、第１の圧縮画像をイメージセンサから画像データを間引かずに読み出して生成し、第２の圧縮画像をイメージセンサから画像データを間引いて読み出して生成する。
画像処理部１４は、第１の圧縮画像の生成時は高画素の画像データをイントラフレーム圧縮し、第２の圧縮画像の生成時は、低画素の画像データをインターフレーム圧縮する。 また、画像処理部１４は、第２の圧縮画像をイメージセンサからのデータを間引いて読み出して生成する場合、同色の近傍の画素の積分処理を行って間引き読み出しを行う。
画像処理部１４は、第１の圧縮画像の画像レベルと第２の圧縮画像の画像レベルとを略等しいレベルに補正する機能を有している。
The
As will be described in detail later, the
The
The
画像処理部１４は、後で詳述するように、第２の圧縮画像の積分処理読み出しを行ったＲレベルに基づき第１の圧縮画像の画像レベルを補正することにより、第１の圧縮画像の画像レベルと上記第２の圧縮画像の画像レベルとを略等しいレベルに補正する機能を有している。
また、画像処理部１４は、第１の圧縮画像の画像レベルを維持し、第２の圧縮画像の画像レベルは、積分処理の積分量で除して補正することにより、第１の圧縮画像の画像レベルと第２の圧縮画像の画像レベルとを略等しいレベルに補正する機能を有している。
そして、画像処理部１４は、第２の圧縮画像の一画面を指定すると、第２の圧縮画像とその前後の第１の圧縮画像を含めた他の圧縮画像により伸長復号して当該指定した一画面を示す高解像度の静止画像データを生成する機能を有する。
As will be described in detail later, the
Further, the
When the
画像処理部１４は、一ストリームデータ上の上記第１の圧縮画像を一画面指定すると、第１の圧縮画像の解像度を第２の圧縮画像と同程度に低減し、一ストリームデータの当該第１の圧縮画像を解像度を低減した第１の圧縮画像に置き換えてメモリ１５に記録し直す。
画像処理部１４は、一ストリームデータの複数の第１の圧縮画像の解像度を、一括で第２の圧縮画像と同程度に低減し、一ストリームデータの第１の圧縮画像を解像度を低減した第１の圧縮画像に置き換えてメモリ１５に記録し直す。
When the
The
以上の機能を有する画像処理部１４は、上述した３モード、すなわち、再生モードと、静止画再現モードと、ストリームデータ変更モードにおいて、以下の処理を行う。
The
画像処理部１４は、再生モード時においては、高解像度の第１の圧縮画像と、低解像度の第２の圧縮画像とにより低解像度の連続したビデオストリームを生成し、表示する。
In the playback mode, the
静止画再現モードにおいては、高解像度の第１の圧縮画像と、低解像度の第２の圧縮画像とにより低解像度の連続したビデオストリームを再生中に、操作者により特定画像の指定を行う。
画像処理部１４は、静止画再現モード時においては、操作者が指定した画像が第１の圧縮画像の場合は、その第１の圧縮画像の高精度静止画を出力し、表示する。
また、指定した画像が第２の圧縮画像の場合は、その画像および前後の第１の圧縮画像および第２の圧縮画像の少なくとも１以上の画面から指定した画像に対応する高解像度の画像を生成して出力し、表示する。
または、静止画再現モードにおいては、高解像度の第１の圧縮画像と、低解像度の第２の圧縮画像とにより低解像度の連続したサムネイルのような連続画像を表示し、操作者のキー操作等に画像指定を行い、画像処理部１４は、同様の処理を行う。
In the still image reproduction mode, a specific image is designated by an operator while a low-resolution continuous video stream is reproduced using a high-resolution first compressed image and a low-resolution second compressed image.
In the still image reproduction mode, when the image designated by the operator is the first compressed image, the
If the designated image is the second compressed image, a high-resolution image corresponding to the designated image is generated from the image and at least one of the first and second compressed images and the second compressed image. Output and display.
Alternatively, in the still image reproduction mode, a continuous image such as a low-resolution continuous thumbnail is displayed by the high-compression first compressed image and the low-resolution second compressed image, and the operator performs key operations, etc. The
画像処理部１４は、ストリームデータ変更モードにおいては、操作者のキー操作等により、指定した一ストリームデータ中の高解像度の第１の圧縮画像を全て低解像度の第１の圧縮画像に自動的に置き換える処理を行う。
このストリームデータ変更モードの処理によりファイルサイズを小さくできる。この処理についてさらに詳述する。
In the stream data change mode, the
The file size can be reduced by processing in this stream data change mode. This process will be further described in detail.
単なる動画ファイルを再生中にある一画像で静止させても、動画の解像度が低いため、これを静止がとして保存したり、プリントアウトしても画質の粗いものになる。
これを解決するため、撮像装置１においては、図２に示すように、１秒間に複数フレーム（たとえば３０フレーム）の画像（たとえばＶＧＡサイズ）を撮影し、動画としてファイルを形成し、動画ファイルのうち１秒間に数フレーム（たとえば５フレーム）は動画よりも解像度の高い静止画（たとえばＳＸＧＡサイズ）で撮影し、一つのストリームとして記録する機能を有する。
これは、単なる動画ファイルの中に数枚の高解像度の静止画を差し込むことで、このストリームのどこで止めても、ＶＧＡサイズの画像と等間隔に撮影した高解像度の静止画を補完することで、高画質な静止画としての保存やプリントを可能とするものである。
しかし、このままでは、動画ファイル中に高解像度の静止画が存在することでファイルサイズが大きくなり、容量に制限のある記録メモリ１５の残り容量を占有してしまうおそれがある。
そこで、本実施形態に係る撮像装置１の画像処理部１４においては、操作者が静止画動画混在モードで撮影したものをプリントアウト等の必要がないと判断した場合、図２に示すように、データファイルから高解像度の静止画（ＳＸＧＡサイズ）を解像度の低い画像（ＶＧＡサイズ）に変換し、単なる動画のファイルを形成することでファイルサイズを小さくすることができるようにしている。
これは、操作者自身がキー操作等で実行することができ、メモリ１５の残り容量に余裕を持たせることができる。しかも、静止画の高解像度情報だけをカットするため、動画として再生する分には画質が劣化するなどの問題はない。
Even if a simple moving image file is stopped on a single image being played back, the resolution of the moving image is low, so that even if the moving image is stored as a still image or printed out, the image quality is poor.
In order to solve this, in the
This is simply by inserting several high-resolution still images into the video file, and complementing the high-resolution still images captured at equal intervals with the VGA-sized image, no matter where you stop in this stream. It is possible to store and print as a high-quality still image.
However, if this is the case, the file size increases due to the presence of a high-resolution still image in the moving image file, which may occupy the remaining capacity of the
Therefore, in the
This can be executed by the operator himself by key operation or the like, and the remaining capacity of the
また、画像処理部１４は、図２に示すように、低解像度の動画の中に一定間隔ごとに高解像度の画像が混在した一つのストリームにおいて、操作者（ユーザ）の操作入力部２０の操作によりストリーム再生中に一時停止指令が発行されたとき、そのときの１フレームの画像が高解像度のものであれば、その高解像度の画像を、低解像度のものであれば、前後の画像から高解像度の画像を生成処理して表示部１９に表示する。
画像処理部１４は、図２に示すように、低解像度の動画の中に一定間隔ごとに高解像度の画像が混在した一つのストリームにおいて、操作者（ユーザ）の操作入力部２０の操作によりストリーム再生中に一時停止指令が発行された後に、コマ送り指令やスロー再生指令が発行されたときには、順次高解像度の画像を生成して表示部１９に表示する。
Further, as shown in FIG. 2, the
As shown in FIG. 2, the
前述したように、図２は、低解像度の動画の中に一定間隔ごとに高解像度の画像が混在した一つのストリームを表している。
画像処理部１４は、たとえば再生モードのとき、このストリームファイルを動画として再生中は、高解像度の画像でも低解像度の動画ストリームとして表示部１９に再生表示する。
動画再生中、たとえば図２中Ａの位置で操作者（ユーザ）の操作により一時停止指令が発行されたとき、表示部１９にはＡの画像を高解像度で表示する。
また、図２中Ｂの位置でユーザの操作により一時停止指令が発行されたとき、前後の高解像度の画像から伸長復号生成した高解像の画像を表示部１９に表示する。
表示画像の一時停止中に、ユーザの操作によりコマ送りの指令が発行されたとき、表示中の画像の次の画像を高解像度で表示する。スロー再生の時も同様、順次高解像度で表示していく。
このように、本実施形態に係る撮像装置１は、動画再生中に一時停止をしても、高精細な画像の表示を可能とし、また、一時停止した動画像をコマ送りしても、あたかも高解像度の画像を連続撮影したかのような、高精細な画像を順次表示していくことが可能となっている。
As described above, FIG. 2 shows one stream in which high-resolution images are mixed at regular intervals in a low-resolution moving image.
For example, in the playback mode, the
During playback of a moving image, for example, when a pause command is issued by an operator (user) operation at a position A in FIG. 2, the image of A is displayed on the
When a pause command is issued by a user operation at the position B in FIG. 2, a high resolution image generated by decompression decoding from the previous and next high resolution images is displayed on the
When a frame advance command is issued by a user operation while the display image is paused, the next image after the currently displayed image is displayed with high resolution. Similarly, during slow playback, images are displayed in high resolution.
As described above, the
以下に、画像処理部（および制御部）における上記した再生モード時の動作についてより具体的に説明する。
図３は、上記した本実施形態における再生モード時の動作を説明するためのフローチャートである。
Hereinafter, the operation in the above-described playback mode in the image processing unit (and the control unit) will be described more specifically.
FIG. 3 is a flowchart for explaining the operation in the playback mode in the present embodiment.
動画および静止画の再生モードに設定され（ＳＴ１）、動画および静止画混在ストリームのファイルが選択される（ＳＴ２）。
この状態で、操作者（ユーザ）が入力操作部２０のボタンやＧＵＩ等を操作して動画再生指示があったか否かの判別を行う（ＳＴ３）。
ステップＳＴ３において、動画再生指示があったと判別すると、動画および静止画混在ストリームの再生を開始し（ＳＴ４）、低解像度での動画を再生する（ＳＴ５）。
ここで、操作者（ユーザ）が入力操作部２０のボタンやＧＵＩ等を操作して動画再生一時停止指示があったか否かの判別を行う（ＳＴ６）。
ステップＳＴ６において、再生一時停止指示があったと判別すると、停止すべき画像がイントラフレーム画像（第１の圧縮画像）かインターフレーム画像（第２の圧縮画像または第３の圧縮画像）であるかを判別する（ＳＴ７）。
ステップＳＴ７において、停止すべき画像がイントラフレーム画像であると判別すると高解像度の静止画を表示部１９に表示し（ＳＴ８）する。一方、停止すべき画像がインターフレーム画像であると判別すると伸長復号した高解像度の静止画を表示部１９に表示し（ＳＴ９）する。
次に、操作者（ユーザ）が入力操作部２０のボタンやＧＵＩ等を操作してコマ送り再生指示があったか否かの判別を行う（ＳＴ１０）。
ステップＳＴ１０において、コマ送り再生指示があったと判別すると、次のフレームの画像で停止し（ＳＴ１１）、ステップＳＴ７からの処理に戻る。
一方、ステップＳＴ１０において、コマ送り再生指示がないと判別すると、操作者（ユーザ）が入力操作部２０のボタンやＧＵＩ等を操作して動画再生指示があったか否かの判別を行う（ＳＴ１２）。
ステップＳＴ１２において、動画再生指示があったと判別すると、ステップＳＴ５からの処理に戻る。
一方、ステップＳＴ１２において、動作再生指示がないと判別すると、操作者（ユーザ）が入力操作部２０のボタンやＧＵＩ等を操作して再生モード終了指示があったか否かの判別を行う（ＳＴ１３）。
ステップＳＴ１３において、再生モード終了指示がないと判別すると、高解像度の静止画雄を引き続き表示してステップＳＴ１０からの処理に移行する（ＳＴ１４）。
ステップＳＴ１３において、再生モード終了指示があったと判別すると画像の表示（再生）を終了する。
The playback mode for moving images and still images is set (ST1), and a moving image and still image mixed stream file is selected (ST2).
In this state, the operator (user) operates a button, GUI, or the like of the
If it is determined in step ST3 that a moving image reproduction instruction has been given, reproduction of a moving image and still image mixed stream is started (ST4), and a moving image at a low resolution is reproduced (ST5).
Here, it is determined whether or not the operator (user) has operated the button or GUI of the
If it is determined in step ST6 that a playback pause instruction has been issued, it is determined whether the image to be stopped is an intra-frame image (first compressed image) or an inter-frame image (second compressed image or third compressed image). A determination is made (ST7).
If it is determined in step ST7 that the image to be stopped is an intra frame image, a high-resolution still image is displayed on the display unit 19 (ST8). On the other hand, if it is determined that the image to be stopped is an inter-frame image, the decompressed and decoded high-resolution still image is displayed on the display unit 19 (ST9).
Next, it is determined whether or not an operator (user) has issued a frame advance reproduction instruction by operating a button or GUI of the input operation unit 20 (ST10).
If it is determined in step ST10 that there has been a frame advance playback instruction, the process stops at the next frame image (ST11), and the process returns to step ST7.
On the other hand, if it is determined in step ST10 that there is no frame advance reproduction instruction, it is determined whether or not the operator (user) operates the button or GUI of the
If it is determined in step ST12 that a moving image playback instruction has been issued, the process returns to step ST5.
On the other hand, if it is determined in step ST12 that there is no operation reproduction instruction, it is determined whether or not the operator (user) has operated the button or GUI of the
If it is determined in step ST13 that there is no instruction to end the reproduction mode, the high-resolution still image is continuously displayed and the process proceeds to step ST10 (ST14).
If it is determined in step ST13 that a reproduction mode end instruction has been issued, the image display (reproduction) is terminated.
また、画像処理部１４は、ビデオストリームを出力するストリーム出力機能に加えて、上記３モードにおいて、データを高解像度の第１の圧縮画像と、低解像度の第２の圧縮画像とにより低解像度の連続したビデオストリームを出力する際、同時の出力中の第１の圧縮画像が高解像か低解像かを判別し、第１の圧縮画像が高解像か低解像かを示す信号を出力する機能を有する。
具体的には、Ｎ分割のマルチ表示画面上に第１の圧縮画像が存在する場合には、その第１の圧縮画像の画面近傍に高解像度または低解像度を判別可能なマークを表示する。また、動画的表示態様においては、高解像度を示すマークを重畳的に画面に表示する。
また、さらなる態様として、他の機器やメモリカード等の記録媒体に転送中に、各第１の圧縮画像に対して高か低かを示すフラグ信号を付加して転送する。
また、ビデオストリーム群を示すファイル一覧表示画面において、一ストリームデータ中に高解像度の第１の圧縮画像が存在するか否か、存在する場合には何画面存在するか、存在するストリームデータ上の位置データ（時間情報）を一緒に転送する。
In addition to the stream output function for outputting a video stream, the
Specifically, when the first compressed image exists on the N-divided multi-display screen, a mark capable of determining high resolution or low resolution is displayed in the vicinity of the screen of the first compressed image. In the moving image display mode, a mark indicating high resolution is displayed on the screen in a superimposed manner.
As a further aspect, during transfer to a recording medium such as another device or a memory card, a flag signal indicating whether the first compressed image is high or low is added to the first compressed image and transferred.
In addition, on the file list display screen showing the video stream group, whether or not the first compressed image with high resolution exists in one stream data, how many screens exist, and on the existing stream data. Transfer location data (time information) together.
記録系は、制御部１６により実行される制御用プログラムと、画像処理部１４により生成された画像データの圧縮データと、を格納するメモリ１５を含んで構成される。
記憶手段としてのメモリ１５には、画像処理部１４により第１の圧縮画像および第２の圧縮画像の一連のストリームデータが記憶される。
The recording system includes a
A series of stream data of the first compressed image and the second compressed image is stored in the
表示系は、画像処理部１４が処理し、内蔵する画像メモリに格納する画像データをアナログ化するＤ／Ａ変換器１８と、入力される画像を表示することによりファインダとして機能するＬＣＤ(Liquid Crystal Display)等よりなる表示部１９を含んで構成される。
The display system includes a D /
制御系は、イメージセンサ１１乃至Ａ／Ｄ変換器１３の動作タイミングを制御するタイミングジェネレータ１７と、ユーザによるシャッタ操作やその他のコマンドを入力するための操作入力部２０と、画像処理部１４と、メモリ１５に記憶されている制御用プログラムを読み出し、読み出した制御用プログラムと、操作入力部２０から入力されるユーザからのコマンド等に基づいて、撮像装置１の全体を制御するＣＰＵ(Central Processing Unit) などよりなる制御部１６とを含んで構成される。
The control system includes a
制御部１６は、一つのストリーム上で異なった画素数の画像データを取り込む際、動画の場合にはローリングシャッタ機能を用い、静止画の際にはグローバルシャッタを用いるように制御する。
The
ここでは、一つのストリーム上で異なった画素数の画像データを取り込む際、動画はローリングシャッタ、静止画はローリングシャッタ若しくはグローバルシャッタを用いる、用いないときのカメラ状態において判断する。 Here, when capturing image data with a different number of pixels on one stream, a moving shutter is used for a moving image, and a rolling shutter or a global shutter is used for a still image.
すなわち、本実施形態に係る撮像装置１は、制御部１６が一連の動作の中で、違う画素数を撮像素子から取り出すシステムにおいて、動画主体として取り出す画像（比較的低画素数）と静止画として取り扱える画像（比較的高画素数）を同一ストリーム上で取り扱う場合、低画素取り込みの場合、グローバルシャッタは用いず、高画素取り込みの場合のみグローバルシャッタ（若しくはメカニカルシャッタ）を用いる若しくは用いない判断を行う。
That is, in the
通常、動画程度の画像を取り込む場合は、ローリングシャッタを繰り返し露光−データ転送を順次行う。また、静止画の連続撮影を行う場合は、同様にローリングシャッタを連続させるか、メカニカルシャッタを用いるか、グローバルシャッタを用いて制御する。
ここで、ローリングシャッタのみの画像取り込みでは、画像の上下で画像の歪みが発生することとなる。但し、あくまで動画像なので許容できる。
しかしながら、それが静止画像の取り込みとなると、この画像歪みを許容できなくなる。そのために、メカニカルシャッタおよびグローバルシャッタが必要となる。限りなく、高速で連続画像取り込みを行うには、メカニカルシャッタ駆動にも限界があり、グローバルシャッタが不可欠となってくる。
ここでは、一つのストリーム上で異なった画素数の画像データを取り込む際、動画はローリングシャッタ機能を用い、静止画はローリングシャッタ若しくはグローバルシャッタを用いる、用いないときのカメラ状態において判断する。
Normally, when capturing an image of a moving image level, exposure and data transfer are sequentially performed by repeating a rolling shutter. In addition, when performing continuous shooting of still images, control is similarly performed using a rolling shutter, a mechanical shutter, or a global shutter.
Here, in the image capture using only the rolling shutter, image distortion occurs at the top and bottom of the image. However, since it is a moving image to the last, it is permissible.
However, this image distortion becomes unacceptable when it becomes the capture of a still image. Therefore, a mechanical shutter and a global shutter are required. Infinitely, in order to capture continuous images at high speed, there is a limit to mechanical shutter drive, and a global shutter becomes indispensable.
Here, when capturing image data with a different number of pixels on one stream, the moving image uses the rolling shutter function, and the still image uses the rolling shutter or the global shutter.
図４は、ローリングシャッタ使用時の撮像素子（イメージセンサ）の一例を示す図である。
図４のように、Ａ〜Ｆまでのラインが素子に存在すると仮定すると、その画像の制御は図５に示すようになる。
通常、このローリングシャッタを使用する場合はＡ〜Ｆライン間で露光時間のズレを生じるために画像歪みを生じさせる。
FIG. 4 is a diagram illustrating an example of an image sensor (image sensor) when the rolling shutter is used.
Assuming that lines A to F exist in the element as shown in FIG. 4, the control of the image is as shown in FIG.
Normally, when this rolling shutter is used, image distortion occurs due to a shift in exposure time between the A to F lines.
図６は、グローバルシャッタ使用時の図２のように、Ａ〜Ｆまでのラインが素子に存在すると仮定したときの画像の制御波形例を示す図である。 FIG. 6 is a diagram illustrating an example of a control waveform of an image when it is assumed that lines A to F exist in the element as in FIG. 2 when the global shutter is used.
この場合、グローバルシャッタ使用時は露光時間にズレを生じさせないため、画像に歪みを生じさせない。但し、露出終了が同時に起こるため、露光開始を全画素同時に行う必要がある。また、ローリングシャッタに比べ、画像転送時間が一斉に発生するため、長い時間要する。
したがって、ローリングシャッタの長所としては、その取り込みのスピードがグローバルシャッタやメカニカルシャッタに比べ高速なことである。短所としては、ライン間の画像歪みを生じさせることである。
それに比べ、グローバルシャッタ（またはメカニカルシャッタ）の長所は、画像の歪みを生じさせないデータを得ることができる一方、取り込みのスピードは、ローリングシャッタに比べ遅くなる。
これらの長所、短所をカメラシステムとして、予め予測しておけば、カメラの状況に応じ（たとえば、ユーザー設定）、画像歪みは許容できるがスピード優先は絶対必要な場合はどのような、画素数の画像であろうと全てローリングシャッタで取り込みをを行い、画質優先の場合は、その必要な画像データに関してはグローバルシャッタを用いる。
なお、一連の動作の中で、違う画素数を撮像素子から取り出すシステムに限らず、同一の画素数を取り扱う場合も同様なことが言える。
In this case, when the global shutter is used, the exposure time is not shifted, so that the image is not distorted. However, since exposure ends simultaneously, it is necessary to start exposure for all pixels simultaneously. In addition, compared to the rolling shutter, the image transfer time is generated all at once, so a long time is required.
Therefore, the advantage of the rolling shutter is that the capturing speed is faster than the global shutter and the mechanical shutter. The disadvantage is that it causes image distortion between lines.
In contrast, the advantage of the global shutter (or mechanical shutter) is that data that does not cause image distortion can be obtained, while the capturing speed is slower than that of the rolling shutter.
If these advantages and disadvantages are predicted in advance as a camera system, depending on the camera situation (for example, user settings), image distortion is acceptable but speed priority is absolutely necessary. Even if it is an image, all images are captured by a rolling shutter. When priority is given to image quality, a global shutter is used for the necessary image data.
The same applies to a case where the same number of pixels is handled in a series of operations, not limited to a system in which different numbers of pixels are extracted from the image sensor.
撮像装置１においては、被写体の光学像は、レンズ光学系１０を介してイメージセンサ１１に入射され、イメージセンサ１１により光電変換されて電気信号となる。得られた電気信号は、ＣＤＳ１２によりノイズ成分が除去され、Ａ／Ｄ変換器１３によってディジタル化された後、画像処理部１４が内蔵する画像メモリに一時格納される。
通常の状態では、タイミングジェネレータ１７による信号処理系に対する制御により、画像処理部１４が内蔵する画像メモリには、一定のフレームレートで絶えず画像信号が上書きされるようになされている。画像処理部１４が内蔵する画像メモリの画像信号は、Ｄ／Ａ変換器１８によってアナログ信号に変換され、対応する画像が表示部１９に表示される。
In the
In a normal state, an image signal is constantly overwritten at a constant frame rate in the image memory built in the
表示部１９は、撮像装置１のファインダの役割も担っている。ユーザが操作入力部２０に含まれるシャッタボタンを押下（操作）した後、制御部１６は、タイミングジェネレータ１７に対し、シャッタボタンが押下された直後の画像信号を保持するように、すなわち、画像処理部１４の画像メモリに画像信号が上書きされないように、信号処理系を制御する。そして、画像処理部１４の画像メモリに保持された画像データは、所定の方式により圧縮されてメモリ１５に記録される。
The
次に、画像処理部１４において実行される特徴的な処理について説明する。
Next, characteristic processing executed in the
画素数の違う画像の取り込みにおけるゲイン変倍若しくは平均制御
一連の動作の中で、違う画素数を撮像素子から取り出すシステムにおいて、動画主体として取り出す画像（比較的低画素数）と静止画として取り扱える画像（比較的高画素数）を同一ストリーム上で取り扱う場合、低画素取り込みの場合、出力される画素は最低でもその同一色画素の１画素以上の積分された画素データからなる。高画素取り込みの場合は、その低画素取り込み時の積分画素数に比べるとそれ以下の画素数となる。
その出力された画素の１画素の出力は、元の積分された画素数の差によりおのずと異なる。その異なった１画素１画素の出力を同一なものと判断すると、画像処理において、特にその画像の輝度が異なった画像を連続して生成してしまうため、おかしな画像となってしまう。
それを解消するため、画像処理部１４は、画素が出力される部分で、その画素数に応じたディジタルゲインの回路（若しくはアナログゲインの回路）、もしくは画素数分平均化する回路を設け、１画素、１画素の画像出力に差異が発生することを補正する回路を設ける。
An image that can be handled as a moving image (a relatively low number of pixels) and an image that can be handled as a still image in a system that takes out the number of different pixels from the image sensor in a series of gain scaling or averaging control operations when capturing images with different numbers of pixels In the case of handling (relatively high number of pixels) on the same stream, in the case of low pixel capture, the output pixel consists of integrated pixel data of at least one pixel of the same color pixel. In the case of high pixel capture, the number of pixels is less than the number of integrated pixels at the time of low pixel capture.
The output of one of the output pixels is naturally different due to the difference in the number of original integrated pixels. If it is determined that the outputs of the different one pixel and the same pixel are the same, in the image processing, images having particularly different luminances are continuously generated, resulting in a strange image.
In order to solve this problem, the
図７は、イメージセンサの概念図である。なお、図７においてＲＧＢは色の３原色の赤、青、緑を示している。 FIG. 7 is a conceptual diagram of the image sensor. In FIG. 7, RGB indicates the three primary colors red, blue, and green.
図７のようなセンサ図において、静止画（高画素）を取り込む際は、ほぼ全画素に相当する画素を取り込む。それに対し、動画（低画素）の場合は画素数的にも少なくて済むために、全画素の取り込みは必要なく必要最小限の画素の取り込みを行う。
通常は不必要な画素は単純な間引きにより排除されるが、動画等のクオリティを求める場合、図７の（Ｒ）のように周辺のＲを積分して取り出す。
その際出力された画素データが静止画（高画素）の場合と動画（低画素）の場合では異なり、出力のレベルの差がでる。
これを補正するため、高画素と低画素時では、その積分された画素の比に応じた係数を出力データに掛け補正するか若しくは積分された画素データをその積分された画素数に応じた係数で平均化することにより、静止画と動画時の出力レベルを補正する。
図８に、本実施形態に係る補正処理の概念図を示す。
In the sensor diagram as shown in FIG. 7, when capturing a still image (high pixel), pixels corresponding to almost all pixels are captured. On the other hand, in the case of a moving image (low pixels), since the number of pixels can be small, all pixels need not be captured, and the minimum necessary pixels are captured.
Normally, unnecessary pixels are eliminated by simple thinning, but when obtaining the quality of a moving image or the like, the surrounding R is integrated and extracted as shown in FIG.
At that time, the output pixel data differs between the case of the still image (high pixel) and the case of the moving image (low pixel).
In order to correct this, at the time of high pixel and low pixel, a coefficient corresponding to the ratio of the integrated pixel is applied to the output data for correction, or the integrated pixel data is corrected according to the number of integrated pixels. The output level for still images and moving images is corrected by averaging with.
FIG. 8 shows a conceptual diagram of correction processing according to the present embodiment.
高画素時のＳ／Ｎ情報制御
一連の動作の中で、違う画素数を撮像素子から取り出すシステムにおいて、動画主体として取り出す画像（比較的低画素数）と静止画として取り扱える画像（比較的高画素数）を同一ストリーム上で取り扱う場合、低画素キャプチャーの場合、出力される画素は最低でもその同一色画素の１画素以上の積分された画素データからなり、高画素キャプチャーの場合は、その低画素キャプチヤー時の積分画素数に比べるとそれ以下の画素数となる。 低画素取り込みの場合その１画素データは複数画素の積分から生成されており、短画素取り込み時のそれと比較すると、出力は積分数だけ大きくなり、Ｓ／Ｎとしても一般的に短画素のＳ／Ｎと、比較するとＳ／Ｎ的に優れた情報である。
本実施形態においては、その積分されたデータ（動画時の情報のＳ／Ｎ情報を利用し、比較的ノイズの多いとされる短画素データ（静止画の情報）の画質向上を達成させる。
S / N information control at the time of high pixels In a system in which a different number of pixels is extracted from the image sensor, an image to be extracted as a moving image (relatively low number of pixels) and an image that can be handled as a still image (relatively high pixels) In the case of low pixel capture, the output pixel consists of integrated pixel data of at least one pixel of the same color pixel, and in the case of high pixel capture, the low pixel The number of pixels is less than the number of integrated pixels at capture. In the case of low pixel capture, the single pixel data is generated from the integration of a plurality of pixels. Compared with that at the time of short pixel capture, the output is increased by the number of integrals. Compared with N, the information is excellent in S / N.
In the present embodiment, the integrated data (S / N information of information at the time of moving images is used to improve the image quality of short pixel data (still image information) that is considered to be relatively noisy.
その出力された画素の１画素の出力は、元の積分された画素数の差によりおのずと異なる。その異なった１画素１画素の出力を同一なものと判断すると、画像処理において、特にその画像の輝度が異なった画像を連続して生成してしまうため、おかしな画像となってしまう。
それを解消するため、画素が出力される部分で、上述したように、画素数に応じたディジタルゲインの回路（あるいはアナログゲインの回路）、若しくは画素数分平均化する回路を設け、１画素、１画素の画像出力に差異が発生することを補正する回路を設ける。
The output of one of the output pixels is naturally different due to the difference in the number of original integrated pixels. If it is determined that the outputs of the different one pixel and the same pixel are the same, in the image processing, images having particularly different luminances are continuously generated, resulting in a strange image.
In order to solve this problem, as described above, a digital gain circuit (or an analog gain circuit) corresponding to the number of pixels or a circuit that averages the number of pixels is provided in the portion where the pixels are output. A circuit for correcting occurrence of a difference in the image output of one pixel is provided.
図７を参照すると、図７は、４画素を積分している図を示している。
これは、すなわち単画素に比べると、そこから出力される（Ｒ）は約４倍の出力を持った画像出力となる。これはＩＳＯの感度で言えば約２段分有利に働く。この（Ｒ）情報を常時利用しているのが低画素出力時である。
それに比べ高画素出力時には、単画素出力情報ｒｌ〜ｒ４の情報を利用している。
イメージセンサ１１から出力されるレベル調整のため、同一ストリーム上では、この単画素ｒｌ〜ｒ４はアナログ若しくはデジタルによるゲインアップにより補正される。このゲインアップがＳ／Ｎに対し重大な劣化を招く。
元を正せば（Ｒ）情報はｒｌ〜ｒ４の積分情報であるので、ノイズの少ない（Ｒ）情報から類推することができる。
一方、単画素ｒｎは、最終的にはゲインアップされたＲｎとなる。
Referring to FIG. 7, FIG. 7 shows a diagram integrating four pixels.
That is, as compared with a single pixel, (R) output therefrom is an image output having an output about four times. This is advantageous for about two stages in terms of ISO sensitivity. This (R) information is always used during low pixel output.
In contrast, at the time of high pixel output, information of single pixel output information rl to r4 is used.
In order to adjust the level output from the image sensor 11, the single pixels rl to r4 are corrected by increasing the gain by analog or digital on the same stream. This gain increase causes a serious deterioration with respect to S / N.
If the original is corrected, the (R) information is the integration information of rl to r4, and can be inferred from the (R) information with less noise.
On the other hand, the single pixel rn finally becomes Rn whose gain has been increased.
すなわち、単画素が各々ゲインアップされたデータの和（Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４）は論理的には大元の（ｒ１＋ｒ２＋ｒ３＋ｒ４）の和である（Ｒ）と等しくなければならない。ところが、ゲインアップ等のノイズ増大により、一般的に次の関係が成立する。
ｒ１＋ｒ２＋ｒ３＋ｒ４＞＞（Ｒ）
That is, the sum (R1 + R2 + R3 + R4) of the data obtained by increasing the gain of each single pixel must be logically equal to (R), which is the sum of the original (r1 + r2 + r3 + r4). However, the following relationship is generally established due to an increase in noise such as gain increase.
r1 + r2 + r3 + r4 >> (R)
したがって、動画情報（Ｒ）と単画素のアドレスから一致する（Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４）の成分が存在する場合は、各々に掛けられたゲインが逆算し、その大元の成分である（ｒ１＋ｒ２＋ｒ３＋ｒ４）に戻した内容とその積分で構成されているはずの（Ｒ）と比較し、
ｒ１＋ｒ２＋ｒ３＋ｒ４＞＞（Ｒ）
に関係が成立した場合は、そのオーバ分はノイズと判断し、各々のＲｎに
（ｒ１−ｎ１）＋（ｒ２−ｎ２）＋（ｒ３−ｎ３）＋（ｒ４−ｎ４）・・（１）
のｎ１〜ｎ４に相当するＮ１〜Ｎ４を減じる補正を施す。
Therefore, when there is a component (R1 + R2 + R3 + R4) that matches the moving image information (R) from the address of a single pixel, the gain multiplied by each is calculated backward, and the content returned to the original component (r1 + r2 + r3 + r4) And (R), which should consist of the integral,
r1 + r2 + r3 + r4 >> (R)
When the relationship is established, it is determined that the excess is noise, and (r1−n1) + (r2−n2) + (r3−n3) + (r4−n4) + (r4−n4) (1)
Correction is performed to reduce N1 to N4 corresponding to n1 to n4.
この際、ｎ１〜ｎ４は一定値である可能性も、ｒｌ〜ｒ４の出力比である可能性も、その混合の可能性もある。それはそのカメラシステムにおけるノイズ成分がどのようなノイズが支配的かによる。
また計算上（量子化誤差等）の誤差もあるため（１）式の右辺は（Ｒ）固定ではなく、（Ｒ）±ｘである。
このときのｘは、計算上の丸め込み等の誤差で生じる誤差補正数である。
At this time, n1 to n4 may be constant values, may be output ratios of rl to r4, or may be mixed. It depends on what kind of noise is dominant in the noise component in the camera system.
In addition, since there is a calculation error (quantization error or the like), the right side of equation (1) is not (R) fixed but (R) ± x.
At this time, x is the number of error corrections caused by errors such as rounding in calculation.
動画タイミング時の再生でも静止画画質を生成する方法
一連の動作の中で、違う画素数を撮像素子から取り出すシステムにおいて、動画主体として取り出す画像（比較的低画素数）と静止画として取り扱える画像（比較的高画素数）を同一ストリーム上で取り扱い制御する方式で、その再生時に動画の画質（低画素数）しかないタイミングであっても、周囲の静止画の情報から予測された情報により動画画質を静止画として復元させる。
Method of generating still image quality even during playback at the time of video timing In a series of operations that take out a different number of pixels from the image sensor, an image that can be extracted as a video subject (a relatively low number of pixels) and an image that can be handled as a still image ( A relatively high number of pixels) is handled and controlled on the same stream, and even when it has only video image quality (low pixel count) at the time of playback, the image quality is determined based on information predicted from surrounding still image information. Is restored as a still image.
動画（低画素）と静止画（高画素）混在のストリーム上では、図９のようになる。
ここで高画素（静止画）画像データＩｎと低画素（動画）画像データｂｎとの違いは、出力される１画素相当画像情報の中、Ｉｎは相当する１画素の情報、ｂｎは積分する画素情報、の違いがある。
また、Ｉｎはディジタル的には、積分は可能なため、実質的にはＩｎ時の情報は、静止画情報および動画情報をもつことになる。
ここで、Ｉから予測される情報も含んだ動画情報ｂｎからは、積分された情報を一塊とする、物体移動情報が算出される。
また、Ｉｎからは、その積分される各々の単画素の含有比率情報が得られる。
したがって、動画画素数の情報しか持たない、たとえばｂ５の静止画生成には、Ｉ情報の変動から予想される各々の積分される単画素の構成比率を乗ずれば、ここの画素成分に復元できる。その個々の単画素情報から画像を生成することにより、静止画画質の画像を作り出せる。また、上述の理由によりｂとｂの間の画像もｂｎの物体移動情報及びＩｎの含有比率情報から作り出すことが可能である。
FIG. 9 shows a stream including a moving image (low pixel) and a still image (high pixel) mixed.
Here, the difference between the high pixel (still image) image data In and the low pixel (moving image) image data bn is that, in the output image information corresponding to one pixel, In is information of one corresponding pixel, and bn is a pixel to be integrated. There is a difference in information.
In addition, since In can be integrated digitally, information at the time of In substantially includes still image information and moving image information.
Here, from the moving image information bn including information predicted from I, object movement information is calculated by integrating the integrated information.
In addition, the content ratio information of each integrated single pixel is obtained from In.
Accordingly, for example, b5 still image generation having only information on the number of moving image pixels can be restored to the pixel component here by multiplying by the component ratio of each integrated single pixel expected from the fluctuation of I information. . An image of still image quality can be created by generating an image from the individual single pixel information. For the above-described reason, an image between b and b can also be created from the object movement information of bn and the content ratio information of In.
以上説明したように、本実施形態における撮像装置１によれば、画像処理部１４が、低解像度の動画の中に一定間隔ごとに高解像度の画像が混在した一つのストリームにおいて、操作者（ユーザ）の操作入力部２０の操作によりストリーム再生中に一時停止指令が発行されたとき、そのときの１フレームの画像が高解像度のものであれば、その高解像度の画像を、低解像度のものであれば、前後の画像から高解像度の画像を生成処理して表示部１９に表示することから、動画再生中に一時停止をしても、高精細な画像の表示が可能である。
また、画像処理部１４は、低解像度の動画の中に一定間隔ごとに高解像度の画像が混在した一つのストリームにおいて、操作者（ユーザ）の操作入力部２０の操作によりストリーム再生中に一時停止指令が発行された後に、コマ送り指令やスロー再生指令が発行されたときには、順次高解像度の画像を生成して表示部１９に表示することから、一時停止した動画像をコマ送りしても、あたかも高解像度の画像を連続撮影したかのような、高精細な画像を順次表示していくことが可能である。
As described above, according to the
In addition, the
また、本実施形態によれば、信号処理系において動画撮影中、高画素の画像データをイントラフレーム圧縮して第１の圧縮画像を生成し、第１の圧縮画像を生成する期間の前後の期間で、低画素の画像データをインターフレーム圧縮して第２の圧縮画像を生成し、第２の圧縮画像の一画面を指定すると、第２の圧縮画像とその前後の第１の圧縮画像を含めた他の圧縮画像により伸長復号して指定した一画面を示す高解像度の静止画像データを生成する。
そして、本実施形態に係る撮像装置１は、一動画像データ取り込み中に、ローリングシャッタ機能とグローバルシャッタ機能とを併用することから、画像の歪みの発生を抑止しつつ、高速で連続画像取り込みを行うことが可能となる利点がある。
また、本実施形態に係る撮像装置１は、第１の圧縮画像の画像レベルと第２の圧縮画像の画像レベルとを略等しいレベルの補正することができ、画像の輝度が異なった画像を連続して生成してしまうためことを防止できる利点がある。
また、本実施形態に係る撮像装置１は、操作者が静止画動画混在モードで撮影したものをプリントアウト等の必要がないと判断した場合、データファイルから高解像度の静止画を解像度の低い画像に変換し、単なる動画のファイルを形成することでファイルサイズを小さくすることができ、操作者自身がキー操作等で実行することができ、メモリ１５の残り容量に余裕を持たせることができる。しかも、静止画の高解像度情報だけをカットするため、動画として再生する分には画質が劣化するなどの問題はないという利点がある。
Further, according to the present embodiment, during moving image shooting in the signal processing system, the first compressed image is generated by intra-frame compression of high pixel image data, and the period before and after the period for generating the first compressed image Then, when the second compressed image is generated by inter-frame compression of the low pixel image data and one screen of the second compressed image is designated, the second compressed image and the first compressed image before and after the second compressed image are included. High-definition still image data representing one designated screen is generated by decompression decoding with another compressed image.
The
In addition, the
In addition, the
１…撮像装置
１０…レンズ光学系
１１…イメージセンサ
１２…ＣＤＳ
１３…Ａ／Ｄ変換器
１４…画像処理部
１５…メモリ
１６…制御部
１７…タイミングジェネレータ
１８…Ｄ／Ａ変換器
１９…表示部
２０…操作入力部
DESCRIPTION OF
DESCRIPTION OF
Claims (8)
上記高画像データをイントラフレーム圧縮した第１の圧縮画像と、上記第１の圧縮画像を生成する期間の前後の期間で、低画像データをインターフレーム圧縮した第２の圧縮画像とを含む一連の動画ストリームから低解像度の動画を生成する動画生成手段と、
上記動画ストリームの上記第１の圧縮画像または上記第１の圧縮画像と少なくとも上記第２の圧縮画像から高解像度の静止画を生成する静止画生成手段と、
再生モードを、動画再生モードと少なくもとコマ送りモード、静止画モード、スロー再生モード、間歇再生モードの少なくともいずれか一つに切り換え可能なモード切換手段と、
上記モード切換手段により切り換えられたモードに応じて、上記動画生成手段と上記静止画生成手段とを切り換える切換手段と
を有する撮像装置。 An imaging device that forms an optical image of a subject on an imaging device, reads high-resolution high-image data or low-resolution low-image data from the imaging device, and performs predetermined image processing on the image data,
A series of images including a first compressed image obtained by intra-frame compressing the high image data and a second compressed image obtained by interframe compressing the low image data in a period before and after the period for generating the first compressed image. A video generation means for generating a low-resolution video from the video stream;
Still image generation means for generating a high-resolution still image from the first compressed image or the first compressed image and at least the second compressed image of the moving image stream;
Mode switching means capable of switching the playback mode to at least one of a video playback mode and at least a frame advance mode, a still image mode, a slow playback mode, and an intermittent playback mode;
An imaging apparatus comprising: switching means for switching between the moving image generating means and the still image generating means in accordance with the mode switched by the mode switching means.
請求項１に記載の撮像装置。 If a one-frame image when receiving a pause command during playback of the video stream is a low-resolution video image generated from the first compressed image, a high-resolution video generated from the first compressed image If the image is a low-resolution moving image generated from the second compressed image and the first compressed image, a high-resolution image is generated from the second compressed image and the first compressed image. The imaging apparatus according to claim 1, further comprising image processing means for displaying the image.
請求項２に記載の撮像装置。 After receiving a pause command during playback of the video stream, at least when receiving a command to switch to the frame advance mode, slow playback mode, or intermittent playback mode, high-resolution images are sequentially generated and displayed. Item 3. The imaging device according to Item 2.
請求項１から３のうちのいずれか一に記載の撮像装置。 The high image data is image data read out from the image sensor without being thinned out or image data read out by thinning out at an arbitrary thinning amount, and the low image data has a lower resolution than the high image data from the image sensor. The imaging apparatus according to any one of claims 1 to 3, wherein the image is a thinned-out and read-out image with an arbitrary thinning amount.
上記画像処理手段は、上記グローバルシャッタで取り込んだ画素のデータより第１の圧縮画像を生成し、上記ローリングシャッタで取り込んだ画素のデータより第２の圧縮画像を生成する
請求項１から４のうちのいずれか一に記載の撮像装置。 The global shutter function and rolling shutter function are included as shutter functions.
The image processing means generates a first compressed image from pixel data captured by the global shutter, and generates a second compressed image from pixel data captured by the rolling shutter. The imaging device according to any one of the above.
請求項１から５のうちのいずれか一に記載の撮像装置。 When the image processing means designates one screen of the second compressed image, the image of the second compressed image is decompressed and decoded by another image including the first compressed image before and after the designated image. The imaging device according to claim 1, wherein high-resolution still image data indicating one screen is generated.
上記第１の圧縮画像が高解像度か低解像度かを判別する判別手段と、
上記判別手段により上記第１の圧縮画像が高解像度か低解像度かを示す信号を出力する判別信号出力手段と、を有する
請求項１から６のうちのいずれか一に記載の撮像装置。 Stream output means for outputting a low-resolution continuous video stream using a high-resolution first compressed image and a low-resolution second compressed image;
Determining means for determining whether the first compressed image has a high resolution or a low resolution;
The imaging apparatus according to claim 1, further comprising: a discrimination signal output unit that outputs a signal indicating whether the first compressed image has a high resolution or a low resolution by the discrimination unit.
上記高画像のデータをイントラフレーム圧縮して第１の圧縮画像を生成するステップと、
上記第１の圧縮画像を生成する期間の前後の期間で、低画像データをインターフレーム圧縮した第２の圧縮画像を生成するステップと、
上記第１の圧縮画像と、上記第２の圧縮画像とを含む一連の動画ストリームを形成し、当該動画ストリームから低解像度の動画を生成する動画生成ステップと、
上記動画ストリームの上記第１の圧縮画像または上記第１の圧縮画像と少なくとも上記第２の圧縮画像から高解像度の静止画を生成する静止画生成ステップと、
再生モードを、動画再生モードと少なくもとコマ送りモード、静止画モード、スロー再生モード、間歇再生モードの少なくともいずれか一つに切り換えるモード切換ステップと、
上記モード切換ステップにより切り換えられたモードに応じて、上記動画生成ステップと静止画生成ステップの処理を切り換える切換ステップと
を有する撮像装置の画像生成方法。
An image generation method of an imaging apparatus that forms an optical image of a subject on an imaging device, reads high-resolution high-image data or low-resolution low-image data from the imaging device, and performs predetermined image processing on the image data. There,
Generating a first compressed image by intra-frame compressing the high image data;
Generating a second compressed image obtained by inter-frame compressing low image data in a period before and after the period for generating the first compressed image;
A video generation step of forming a series of video streams including the first compressed image and the second compressed image, and generating a low-resolution video from the video stream;
A still image generation step of generating a high-resolution still image from the first compressed image or the first compressed image and at least the second compressed image of the video stream;
A mode switching step for switching the playback mode to at least one of a video playback mode and at least a frame advance mode, a still image mode, a slow playback mode, and an intermittent playback mode;
An image generation method for an imaging apparatus, comprising: a switching step for switching processing of the moving image generation step and the still image generation step according to the mode switched by the mode switching step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005022230A JP2006211426A (en) | 2005-01-28 | 2005-01-28 | Image sensing device and its image generating method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005022230A JP2006211426A (en) | 2005-01-28 | 2005-01-28 | Image sensing device and its image generating method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2006211426A true JP2006211426A (en) | 2006-08-10 |
Family
ID=36967772
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005022230A Pending JP2006211426A (en) | 2005-01-28 | 2005-01-28 | Image sensing device and its image generating method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2006211426A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009260892A (en) * | 2008-04-21 | 2009-11-05 | Canon Inc | Image processing apparatus, control method therefor, and program |
| JP2010233254A (en) * | 2010-07-06 | 2010-10-14 | Casio Computer Co Ltd | Imaging device, moving image reproducing apparatus, and program thereof |
| US20120051426A1 (en) * | 2010-08-30 | 2012-03-01 | Koichi Takagi | Code amount reducing apparatus, encoder and decoder |
| JP2016541177A (en) * | 2013-11-18 | 2016-12-28 | アップル インコーポレイテッド | Modeless video and still image frame capture |
| JP2021111835A (en) * | 2020-01-07 | 2021-08-02 | ｖｉｚｏ株式会社 | Image processing system, image processing method, program and system |
| CN115278054A (en) * | 2022-06-23 | 2022-11-01 | 西北工业大学 | Method for recovering high frame rate global shutter video from rolling shutter image |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001145009A (en) * | 1999-09-03 | 2001-05-25 | Mitsubishi Electric Corp | Image pickup device and display device |
| JP2002044531A (en) * | 2000-07-27 | 2002-02-08 | Sony Corp | Image pickup device, image recorder, image recording/ reproducing device and image transmission method |
-
2005
- 2005-01-28 JP JP2005022230A patent/JP2006211426A/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001145009A (en) * | 1999-09-03 | 2001-05-25 | Mitsubishi Electric Corp | Image pickup device and display device |
| JP2002044531A (en) * | 2000-07-27 | 2002-02-08 | Sony Corp | Image pickup device, image recorder, image recording/ reproducing device and image transmission method |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009260892A (en) * | 2008-04-21 | 2009-11-05 | Canon Inc | Image processing apparatus, control method therefor, and program |
| JP2010233254A (en) * | 2010-07-06 | 2010-10-14 | Casio Computer Co Ltd | Imaging device, moving image reproducing apparatus, and program thereof |
| US20120051426A1 (en) * | 2010-08-30 | 2012-03-01 | Koichi Takagi | Code amount reducing apparatus, encoder and decoder |
| JP2016541177A (en) * | 2013-11-18 | 2016-12-28 | アップル インコーポレイテッド | Modeless video and still image frame capture |
| KR101789976B1 (en) | 2013-11-18 | 2017-10-25 | 애플 인크. | Modeless video and still frame capture |
| US10038845B2 (en) | 2013-11-18 | 2018-07-31 | Apple Inc. | Modeless video and still frame capture |
| US10498960B2 (en) | 2013-11-18 | 2019-12-03 | Apple Inc. | Modeless video and still frame capture |
| US10911673B2 (en) | 2013-11-18 | 2021-02-02 | Apple Inc. | Modeless video and still frame capture |
| JP2021111835A (en) * | 2020-01-07 | 2021-08-02 | ｖｉｚｏ株式会社 | Image processing system, image processing method, program and system |
| CN115278054A (en) * | 2022-06-23 | 2022-11-01 | 西北工业大学 | Method for recovering high frame rate global shutter video from rolling shutter image |
| CN115278054B (en) * | 2022-06-23 | 2023-08-08 | 西北工业大学 | Method for recovering high frame rate global shutter video from rolling shutter image |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101110009B1 (en) | Imaging device and image generation method of imaging device | |
| JP5243432B2 (en) | Image processing apparatus and image processing method | |
| JP4441882B2 (en) | Imaging device, display control method, program | |
| US8743227B2 (en) | Imaging apparatus and control method for reducing a load of writing image data on a recording medium | |
| US20060268117A1 (en) | Method for simultaneously recording motion and still images in a digital camera | |
| JP4687807B2 (en) | Movie recording apparatus, moving image tilt correction method, and program | |
| JP2007135057A (en) | Imaging apparatus, image processing method, as well as program | |
| JP4794911B2 (en) | Image processing device | |
| JP2009194770A (en) | Imaging device, moving image reproducing apparatus, and program thereof | |
| JP2006211426A (en) | Image sensing device and its image generating method | |
| JP2007067708A (en) | Imaging apparatus and method of forming image by it | |
| JP4268891B2 (en) | Imaging apparatus and image generation method thereof | |
| JP2010021710A (en) | Imaging device, image processor, and program | |
| JP2004072550A (en) | Imaging device and picture reproducing device | |
| KR101480406B1 (en) | Recording apparatus, replaying apparatus, recording method, replaying method and program recording medium | |
| JP2005012423A (en) | Image pickup device, and signal processing apparatus | |
| JP4387264B2 (en) | Imaging apparatus and image generation method thereof | |
| JP4467232B2 (en) | Image recording apparatus and method | |
| JP4429148B2 (en) | Image photographing and recording apparatus and method | |
| JP4336827B2 (en) | Imaging apparatus and image generation method thereof | |
| JP4256028B2 (en) | Compression encoding apparatus and method | |
| JP5211947B2 (en) | Imaging apparatus and program | |
| JP2007208850A (en) | Camera, recording control method for camera, program, and recording medium | |
| JP2005244762A (en) | Imaging apparatus and image forming method thereof | |
| JP2005217493A (en) | Imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071217 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100316 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100706 |