JP4415858B2 - Imaging apparatus and method - Google Patents

Imaging apparatus and method Download PDF

Info

Publication number
JP4415858B2
JP4415858B2 JP2005000888A JP2005000888A JP4415858B2 JP 4415858 B2 JP4415858 B2 JP 4415858B2 JP 2005000888 A JP2005000888 A JP 2005000888A JP 2005000888 A JP2005000888 A JP 2005000888A JP 4415858 B2 JP4415858 B2 JP 4415858B2
Authority
JP
Japan
Prior art keywords
signal
frame
synchronization signal
imaging
horizontal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005000888A
Other languages
Japanese (ja)
Other versions
JP2006191307A (en
Inventor
真吾 島崎
浩二 神谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005000888A priority Critical patent/JP4415858B2/en
Publication of JP2006191307A publication Critical patent/JP2006191307A/en
Application granted granted Critical
Publication of JP4415858B2 publication Critical patent/JP4415858B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Description

本発明は、撮影速度(フレーム周波数)の変更機能を有する撮像装置及び方法に関するものである。   The present invention relates to an imaging apparatus and method having a function of changing a shooting speed (frame frequency).

映画やコマーシャルフィルム、スポーツ中継等で特殊な映像効果を得るために、撮影速度(フレーム周波数、フレームレート)を変更して撮影する可変速撮影を行うことがある。可変速撮影を行う理由は、高速度で撮影したものを通常の速さで再生すればスローモーション効果を得ることができ、低速度で撮影したものを通常速度で再生すればコマ落とし効果により高速で動いているように見えるからである。このような可変速撮影は、フィルムカメラでは古くから使われてきた撮影方法であるが、近年、電子式のビデオカメラでもこのような撮影方法を取り入れるようになってきた。   In order to obtain special video effects in movies, commercial films, sports broadcasts, etc., variable speed shooting may be performed in which shooting is performed by changing the shooting speed (frame frequency, frame rate). The reason for variable speed shooting is that you can get a slow motion effect if you play back at a normal speed when you shoot at a high speed. Because it seems to be moving. Such variable speed shooting is a shooting method that has been used for a long time in film cameras, but in recent years, such a shooting method has also been adopted in electronic video cameras.

CCD撮像素子やCMOS撮像素子などの固体撮像素子を使ったカメラや、デジタル信号処理によって映像信号処理を行うカメラでは、その信号処理は、基本クロック(マスタークロック)を基準に行われる。例えば、一般的な高品位画像(HD)を撮影可能な電子式カメラ(以下、HDカメラという。)では、74.25MHzの周波数の基本クロックを基準にして、固体撮像素子の駆動及びデジタル信号処理を行う。   In a camera using a solid-state imaging device such as a CCD imaging device or a CMOS imaging device, or a camera that performs video signal processing by digital signal processing, the signal processing is performed based on a basic clock (master clock). For example, in a general electronic camera (hereinafter referred to as an HD camera) capable of taking a high-definition image (HD), driving of a solid-state imaging device and digital signal processing are based on a basic clock having a frequency of 74.25 MHz. I do.

74.25MHzの周波数の基本クロック(fCLK)を用いるのは、ビデオ映像信号の水平走査期間のクロック数(水平クロック数)、垂直走査期間のライン数(水平ライン数)及びフレーム周波数との間に、以下の関係が成り立つためである。 The basic clock (f CLK ) having a frequency of 74.25 MHz is used between the number of clocks in the horizontal scanning period (the number of horizontal clocks), the number of lines in the vertical scanning period (the number of horizontal lines), and the frame frequency. This is because the following relationship holds.

水平クロック数 × 水平ライン数 × フレーム周波数 = クロック周波数   Number of horizontal clocks × number of horizontal lines × frame frequency = clock frequency

すなわち、60フィールドインターレース走査のビデオ映像信号(60I)、又は30フレームプログレッシブ走査のビデオ映像信号(30P)は、水平クロック数=2200、水平ライン数=1125、フレームレート=30Hzであるので、次のような関係が成り立つためである。   That is, the video image signal (60I) of 60-field interlaced scanning or the video image signal (30P) of 30-frame progressive scanning has the number of horizontal clocks = 2200, the number of horizontal lines = 1125, and the frame rate = 30 Hz. This is because such a relationship is established.

2200 * 1125 * 30 (Hz) = 74,250,000 (Hz)   2200 * 1125 * 30 (Hz) = 74,250,000 (Hz)

ところで、可変速再生をするためには、フレーム周波数を変更しなければならない。しかしながら、水平ライン数(走査線数)又はクロック周波数を調整して、フレーム周波数を変更することは、非常に困難である。そのため、通常、水平クロック数を変更することによって、フレーム周波数を変更し、可変速撮影を行うこととなる。例えば、映画と同じコマ数の24フレームプログレッシブ走査(24P)にする場合は、以下に示すように、水平クロック数を2750クロックに調整することにより行われる。
2750 * 1125 * 24 (Hz) = 74,250,000 (Hz)
By the way, in order to perform variable speed reproduction, the frame frequency must be changed. However, it is very difficult to change the frame frequency by adjusting the number of horizontal lines (number of scanning lines) or the clock frequency. Therefore, usually, the frame frequency is changed by changing the number of horizontal clocks, and variable-speed shooting is performed. For example, in the case of 24-frame progressive scanning (24P) with the same number of frames as a movie, the horizontal clock number is adjusted to 2750 clocks as shown below.
2750 * 1125 * 24 (Hz) = 74,250,000 (Hz)

ここで、フレーム周波数を1(Hz)から30(Hz)まで1(Hz)刻みで自在に変更することができるHDカメラを実現する場合について考える。   Consider a case where an HD camera is realized in which the frame frequency can be freely changed from 1 (Hz) to 30 (Hz) in increments of 1 (Hz).

以下の表1に、フレーム周波数を1(Hz)から30(Hz)まで1(Hz)刻みで可変にした場合のHDカメラの各パラメータの関係を示す。   Table 1 below shows the relationship of each parameter of the HD camera when the frame frequency is varied from 1 (Hz) to 30 (Hz) in increments of 1 (Hz).

Figure 0004415858
Figure 0004415858

この表1を見るとわかるように、フレーム周波数によっては水平クロック数が整数にならない場合が存在する。   As can be seen from Table 1, the number of horizontal clocks may not be an integer depending on the frame frequency.

水平クロック数が整数でないと、デジタルの処理システムが成り立たない。そのため、水平クロック数の小数点以下を四捨五入して整数に丸める必要がある。   If the number of horizontal clocks is not an integer, a digital processing system cannot be established. Therefore, it is necessary to round to the integer by rounding off the decimal point of the number of horizontal clocks.

水平クロック数の小数点以下を四捨五入して整数に丸めた場合における、フレーム周波数を可変するHDカメラの各パラメータの関係を、以下の表2に示す。   Table 2 below shows the relationship between the parameters of the HD camera that varies the frame frequency when the number of horizontal clocks is rounded to the nearest whole number.

Figure 0004415858
Figure 0004415858

この表2に示すように、水平クロック数を変更すれば、可変速撮影を行うことができる。   As shown in Table 2, variable speed shooting can be performed by changing the number of horizontal clocks.

ところが、表2を見ると、実は、フレーム周波数が整数になっていない。   However, looking at Table 2, in fact, the frame frequency is not an integer.

もっとも、フレーム周波数が29(Hz)の映像と28.998(Hz)の映像の違いを人間が感知することはまず不可能であるので、1台のHDカメラによる可変速撮影を行う場合には、このことは特に大きな問題とはならない。   However, since it is impossible for humans to detect the difference between an image with a frame frequency of 29 (Hz) and an image with 28.998 (Hz), when performing variable-speed shooting with one HD camera. This is not a big problem.

しかしながら、放送局で複数のカメラを用いてライブ中継を行う場合や、ドラマ撮影など複数のカメラで撮影し、後に編集する場合などは、複数のカメラを同時に用いる。このような場合、それぞれのカメラのフレーム位相が同期していないと都合が悪い。   However, when live broadcasting is performed using a plurality of cameras at a broadcasting station, or when shooting with a plurality of cameras such as drama shooting and editing later, a plurality of cameras are used simultaneously. In such a case, it is inconvenient if the frame phases of the respective cameras are not synchronized.

このように複数のカメラで同時に撮影し、かつフレームレートの異なるカメラが混在しているような場合、例えば、通常の60フィールドインターレース動作(60I)のカメラと24フレームプログレッシブ動作(24P)のカメラと10フレームプログレッシブ(10P)のコマ落とし動作のカメラが混在している場合、それぞれのカメラのフレーム同期をロックさせようとすると、1秒間に1度必ずフレーム位相が揃うような関係にあることが、システムを構成し運用する上で都合が良いといえる。   In this case, when a plurality of cameras are simultaneously photographed and cameras having different frame rates are mixed, for example, a normal 60-field interlace operation (60I) camera and a 24-frame progressive operation (24P) camera are combined. When cameras with 10 frame progressive (10P) frame dropping operation are mixed, when trying to lock the frame synchronization of each camera, there is a relationship that the frame phase is always aligned once per second. This is convenient for configuring and operating the system.

それぞれのカメラが常にこのような関係を保つということは、すなわち、それぞれのカメラのフレーム周波数が、小数点以下の半端の値を持たない整数値であるということを意味する。   The fact that each camera always maintains such a relationship means that the frame frequency of each camera is an integer value that does not have a fractional value after the decimal point.

つまり、複数のカメラで同時に撮影し、かつフレームレートの異なるカメラが混在している場合には、基本クロック周波数を固定にしたまま、水平クロック数、水平ライン数、フレーム周波数が全て常に整数値であることが、簡便に同期システムを構成することができる条件となる。   In other words, when shooting with multiple cameras at the same time and cameras with different frame rates are mixed, the number of horizontal clocks, the number of horizontal lines, and the frame frequency are always integer values with the basic clock frequency fixed. It is a condition that a synchronization system can be easily configured.

本発明は、このような問題を解決するものであり、水平ライン数(走査線数)及びクロック周波数を変更せずに、水平クロック数のみを調整して、フレーム周波数(1秒間のフレーム数)を任意の整数としたフレーム周波数変更を自在に行うことができる撮影装置及び方法を提供することを目的とする。   The present invention solves such a problem. The frame frequency (the number of frames per second) is adjusted by adjusting only the number of horizontal clocks without changing the number of horizontal lines (number of scanning lines) and the clock frequency. An object of the present invention is to provide a photographing apparatus and method that can freely change the frame frequency with an arbitrary integer.

本発明に係る撮像装置は、フレーム周波数F(Fは自然数)が変更自在に設定されるレート設定部と、周波数fCLKの基本クロックを発生する基本クロック発生部と、上記レート設定部によって設定されたフレーム周波数F毎に設定され、上記基本クロック発生部によって発生される基本クロックのカウント値で示された垂直同期信号及び水平同期信号を発生する発生タイミングを示す同期信号発生パターンが記憶されたパターン記憶部と、上記基本クロック発生部によって発生された基本クロックfCLKをカウントし、当該カウンタした値と上記パターン記憶部に記憶された同期信号発生パターンに示された値とが一致したタイミングで、フレームの開始タイミングを示す垂直同期信号Vと、フレームを構成するN本の水平ラインの開始タイミングを示す水平同期信号Hとを発生することによって、上記基本クロックfCLKに同期させた垂直同期信号Vと水平同期信号Hとを発生する同期信号生成部と、複数の光電変換素子により被写体を撮像し、上記同期信号発生部から発生された垂直同期信号及び水平同期信号に従って上記各光電変換素子から信号を読み出して、当該垂直同期信号及び水平同期信号に同期した撮像信号を出力する撮像部と、上記撮像部から出力された撮像信号から、有効画面部分の信号を抽出する抽出部と、上記同期信号発生パターンの1周期毎に、同時に撮像動作を行っている他の撮像装置と同期を取るためのフレーム同期リセット信号を当該他の撮像装置に出力するリセット信号出力手段とを備えたことを特徴とする。 The imaging apparatus according to the present invention includes a rate setting unit in which a frame frequency F R (F R is a natural number) is set freely changeable, a basic clock generation unit that generates a basic clock of frequency f CLK , and the rate setting unit. is set for each set frame frequency F R, the synchronization signal generation pattern is stored which indicates the generation timing for generating a vertical synchronizing signal and a horizontal synchronizing signal shown by the count value of the basic clock generated by said basic clock generating unit And the basic clock f CLK generated by the basic clock generation unit is counted, and the counted value matches the value indicated in the synchronization signal generation pattern stored in the pattern storage unit. timing, and the vertical synchronizing signal V indicating the start timing of the frame, the N v present which constitutes the frame of water A synchronization signal generator for generating a vertical synchronization signal V and a horizontal synchronization signal H synchronized with the basic clock fCLK by generating a horizontal synchronization signal H indicating a start timing of a flat line; and a plurality of photoelectric conversions The subject is imaged by the element, the signal is read from each photoelectric conversion element in accordance with the vertical synchronization signal and the horizontal synchronization signal generated from the synchronization signal generator, and an imaging signal synchronized with the vertical synchronization signal and the horizontal synchronization signal is output. An imaging unit that extracts an effective screen portion signal from an imaging signal output from the imaging unit, and another imaging device that simultaneously performs an imaging operation for each cycle of the synchronization signal generation pattern And a reset signal output means for outputting a frame synchronization reset signal for synchronizing with the other imaging apparatus.

本発明に係る撮像方法は、フレーム周波数F(Fは自然数)が変更自在に設定するレート設定ステップと、周波数fCLKの基本クロックを発生する基本クロック発生ステップと、上記基本クロック発生ステップで発生された基本クロックをカウントし、当該カウンタした値と、上記レート設定ステップで設定されるフレーム周波数F毎に設定され、上記基本クロック発生ステップで発生される基本クロックのカウント値で示された垂直同期信号及び水平同期信号を発生する発生タイミングを示す同期信号発生パターンが記憶されたパターン記憶部に記憶された同期信号発生パターンに示された値とが一致したタイミングで、フレームの開始タイミングを示す垂直同期信号Vと、フレームを構成するN本の水平ラインの開始タイミングを示す水平同期信号Hとを発生することによって、上記基本クロックに同期させた垂直同期信号Vと水平同期信号Hとを発生する同期信号生成ステップと、複数の光電変換素子により被写体を撮像し、上記同期信号生成ステップで発生された垂直同期信号及び水平同期信号に従って上記各光電変換素子から信号を読み出して、当該垂直同期信号及び水平同期信号に同期した撮像信号を出力する撮像信号出力ステップと、上記撮像信号出力ステップで出力された撮像信号から、有効画面部分の信号を抽出する信号抽出ステップと、上記同期信号発生パターンの1周期毎に、同時に撮像動作を行っている他の撮像装置と同期を取るためのフレーム同期リセット信号を当該他の撮像装置に出力するリセット信号出力ステップとを含むことを特徴とする。 The imaging method according to the present invention includes a rate setting step in which a frame frequency F R (F R is a natural number) can be changed, a basic clock generating step for generating a basic clock having a frequency f CLK , and the basic clock generating step. counts the generated basic clock, a value obtained by the counter, is set for each frame frequency F R that is set by the rate setting step, indicated by the count value of the basic clock generated by the fundamental clock generator step The start timing of the frame is determined at the timing when the value shown in the sync signal generation pattern stored in the pattern storage unit storing the sync signal generation pattern indicating the generation timing for generating the vertical sync signal and the horizontal sync signal coincides with the value. and vertical synchronizing signal V shown, starting Thailand N v the horizontal lines that make up the frame Generating a horizontal synchronization signal H indicating the synchronization, generating a vertical synchronization signal V synchronized with the basic clock and a horizontal synchronization signal H, and imaging a subject by a plurality of photoelectric conversion elements. An imaging signal output step of reading out signals from each of the photoelectric conversion elements according to the vertical synchronization signal and horizontal synchronization signal generated in the synchronization signal generation step and outputting an imaging signal synchronized with the vertical synchronization signal and horizontal synchronization signal; A signal extraction step of extracting a signal of an effective screen portion from the imaging signal output in the imaging signal output step, and another imaging device performing an imaging operation simultaneously for each cycle of the synchronization signal generation pattern A reset signal output step of outputting a frame synchronization reset signal for synchronization to the other imaging device. To.

本発明に係る撮像装置及び方法では、水平ライン数(走査線数)及びクロック周波数を変更せずに、水平クロック数のみを変更して、フレーム周波数(1秒間のフレーム数)を任意の整数としたフレーム周波数変更を自在に行うことができる。このため、本発明に係る撮像装置及び方法では、例えば複数のカメラを同時に用いた撮影においてフレーム周波数を変更した場合、各カメラのフレームの位相が同期するので、後に編集する時に非常に都合が良い。   In the imaging apparatus and method according to the present invention, without changing the number of horizontal lines (number of scanning lines) and the clock frequency, only the number of horizontal clocks is changed, and the frame frequency (number of frames per second) is set to an arbitrary integer. The frame frequency can be changed freely. For this reason, in the imaging apparatus and method according to the present invention, for example, when the frame frequency is changed in shooting using a plurality of cameras at the same time, the frame phase of each camera is synchronized, which is very convenient when editing later. .

以下、本発明が適用された電子式のビデオカメラ(以下、単にビデオカメラという。)について説明する。以下説明を行うビデオカメラは、1080(60i)の高品位画像の撮影をすることができるとともに、フレーム周波数を1フレーム/秒から30フレーム/秒まで1フレーム刻みで変更した撮影(可変速撮影)をする機能が設けられている。   An electronic video camera (hereinafter simply referred to as a video camera) to which the present invention is applied will be described below. The video camera described below is capable of shooting 1080 (60i) high-quality images, and shooting with variable frame rate from 1 frame / second to 30 frames / second (variable speed shooting). The function to do is provided.

ビデオカメラの構成
図1に、本発明が適用されたビデオカメラ1のブロック構成図を示す。
Configuration Figure 1 of a video camera, a block diagram of a video camera 1 to which the present invention is applied.

ビデオカメラ1は、レンズユニット2と、撮像素子3と、アナログ処理及びAD変換部4と、デジタル処理部5と、メモリコントローラ6と、フレームメモリ7と、デジタル信号処理部8と、出力部9とを備えている。   The video camera 1 includes a lens unit 2, an image sensor 3, an analog processing and AD conversion unit 4, a digital processing unit 5, a memory controller 6, a frame memory 7, a digital signal processing unit 8, and an output unit 9. And.

レンズユニット2は、フォーカスレンズ、ズームレンズ及び絞り羽根等並びにこれらレンズ等を駆動する駆動部が設けられている。レンズユニット2は、撮像対象となる被写体像光を受光して撮像素子3の受光面上に結像させる。   The lens unit 2 includes a focus lens, a zoom lens, a diaphragm blade, and the like, and a drive unit that drives these lenses. The lens unit 2 receives subject image light to be imaged and forms an image on the light receiving surface of the image sensor 3.

撮像素子3は、C−MOSイメージセンサやCCDイメージセンサ等の固体撮像素子である。撮像素子3は、受光面にマトリクス状に配置された単位画素を有しており、各単位画素が照射された光を光電変換する。撮像素子3は、マトリクス状に配置された単位画素をスキャンして電気信号を読み出すことにより、撮像信号を出力する。撮像素子3により読み出された撮像信号は、アナログ処理及びA/D変換部4に供給される。   The image sensor 3 is a solid-state image sensor such as a C-MOS image sensor or a CCD image sensor. The imaging device 3 has unit pixels arranged in a matrix on the light receiving surface, and photoelectrically converts light irradiated on each unit pixel. The imaging element 3 outputs an imaging signal by scanning unit pixels arranged in a matrix and reading out an electrical signal. The imaging signal read by the imaging device 3 is supplied to the analog processing and A / D conversion unit 4.

アナログ処理及びA/D変換部4は、撮像素子3から出力された信号に対してクランプや増幅処理等のアナログ処理を行い、A/D変換を行ってデジタル化する。アナログ処理及びA/D変換部4から出力されたデジタルの撮像信号は、デジタル処理部5に供給される。   The analog processing and A / D conversion unit 4 performs analog processing such as clamping and amplification processing on the signal output from the image pickup device 3, performs A / D conversion, and digitizes the signal. The digital imaging signal output from the analog processing and A / D conversion unit 4 is supplied to the digital processing unit 5.

デジタル処理部5は、入力された撮像信号に対して、ホワイトバランス処理、収差補正処理、シェーディング処理等の処理等を行う。   The digital processing unit 5 performs processing such as white balance processing, aberration correction processing, and shading processing on the input imaging signal.

メモリコントローラ6は、デジタル処理部5により各種の処理がされた後の撮像信号をフレームメモリ7に格納する。また、メモリコントローラ6は、フレームメモリ7に格納されている画像信号を読み出してデジタル信号処理部8へ出力する。   The memory controller 6 stores in the frame memory 7 the imaging signal that has been subjected to various types of processing by the digital processing unit 5. Further, the memory controller 6 reads out the image signal stored in the frame memory 7 and outputs it to the digital signal processing unit 8.

デジタル信号処理部8は、例えばニー補正及びガンマ補正の非線形処理等を、入力された画像信号に対して行う。ニー補正及びガンマ補正がされた画像信号は、出力部9に供給される。   The digital signal processing unit 8 performs, for example, nonlinear processing such as knee correction and gamma correction on the input image signal. The image signal subjected to knee correction and gamma correction is supplied to the output unit 9.

出力部9は、入力された画像信号を、所定の映像フォーマットに対応した信号に変換して外部に出力をする。   The output unit 9 converts the input image signal into a signal corresponding to a predetermined video format and outputs it to the outside.

また、ビデオカメラ1は、基本クロック発生部11と、パターン記憶部12と、同期信号発生部13と、駆動パルス発生部14とを備えている。   The video camera 1 also includes a basic clock generation unit 11, a pattern storage unit 12, a synchronization signal generation unit 13, and a drive pulse generation unit 14.

基本クロック発生部11は、ビデオカメラ1の基本クロックfCLKを発生する。基本クロック発生部11から発生される基本クロックfCLKの周波数は74.25MHzである。 The basic clock generator 11 generates a basic clock f CLK of the video camera 1. The frequency of the basic clock f CLK generated from the basic clock generator 11 is 74.25 MHz.

パターン記憶部12は、同期信号発生パターンを格納している。なお、同期信号発生パターンの具体的な内容については詳細を後述する。   The pattern storage unit 12 stores a synchronization signal generation pattern. The specific contents of the synchronization signal generation pattern will be described later in detail.

同期信号発生部13は、外部からフレーム周波数Fが設定され、設定されたフレーム周波数Fに対応した同期信号発生パターンをパターン記憶部12内から呼び出し、当該同期信号発生パターンに従って基本クロックfCLKに同期させた垂直同期信号V及び水平同期信号Hを発生する。同期信号発生部13から出力された垂直同期信号V及び水平同期信号Hは、駆動パルス発生部14等の各回路に供給される。 Synchronizing signal generator 13 is set frame frequency F R from the outside, calling the synchronizing signal generation pattern corresponding to the frame frequency F R which is set from the pattern storage unit 12. Particularly, the basic clock f CLK in accordance with the synchronizing signal generating pattern A vertical synchronizing signal V and a horizontal synchronizing signal H synchronized with each other are generated. The vertical synchronization signal V and the horizontal synchronization signal H output from the synchronization signal generator 13 are supplied to each circuit such as the drive pulse generator 14.

駆動パルス発生部14は、同期信号発生部13から発生された垂直同期信号V及び水平同期信号Hに基づき、撮像素子3(CCDイメージセンサやCMOSイメージセンサ等)の駆動信号を生成し、当該駆動信号を撮像素子3に供給する。   The drive pulse generation unit 14 generates a drive signal for the image sensor 3 (CCD image sensor, CMOS image sensor, etc.) based on the vertical synchronization signal V and the horizontal synchronization signal H generated from the synchronization signal generation unit 13, and performs the drive. A signal is supplied to the image sensor 3.

可変速撮影時の動作
以上のような構成のビデオカメラ1では、可変速撮影が可能となっている。可変速撮影が行われる場合には、例えばユーザ等によって、フレーム周波数Fが変更される。ここでは、1フレーム/秒から30フレーム/秒まで1フレーム刻みでフレーム周波数Fを変更することが可能となっているものとする。
Operation at Variable Speed Shooting With the video camera 1 having the above configuration, variable speed shooting is possible. When the variable speed photographing is performed, for example, by a user or the like, the frame frequency F R is changed. Here, it is assumed that it is possible to change the frame frequency F R in one frame increments from 1 frame / sec to 30 frames / sec.

ユーザ等により設定されたフレーム周波数Fは、同期信号発生部13に与えられる。 Frame frequency F R which is set by the user or the like is supplied to synchronizing signal generator 13.

同期信号発生部13は、設定されたフレーム周波数Fに応じた同期信号発生パターンを、パターン記憶部12から読み出す。同期信号発生パターンには、フレーム周波数F毎に設定されており、そのフレーム周波数Fで撮影動作をする際における垂直同期信号V及び水平同期信号Hの発生パターンが示された情報である。同期信号発生部13は、読み出した同期信号発生パターンに従って垂直同期信号V及び水平同期信号Hを生成する。すなわち、同期信号発生部13は、設定されたフレーム周波数Fに対応したタイミングの垂直同期信号V及び水平同期信号Hを発生する。 Synchronizing signal generator 13, a synchronizing signal generation pattern corresponding to the frame frequency F R which is set, read from the pattern storing unit 12. The sync signal generation pattern is set for each frame frequency F R, it is information generation pattern of the vertical synchronization signal V and the horizontal synchronizing signal H is shown in the time of the shooting operation at the frame frequency F R. The synchronization signal generator 13 generates a vertical synchronization signal V and a horizontal synchronization signal H according to the read synchronization signal generation pattern. That is, the synchronization signal generator 13 generates a vertical synchronization signal V and the horizontal synchronizing signal H of the timing corresponding to the frame frequency F R that is set.

なお、同期信号発生部13は、設定されたフレーム周波数Fに応じた垂直同期信号V及び水平同期信号Hを発生しているとともに、通常のフレーム周波数(30Hz)での垂直同期信号V及び水平同期信号Hも同時に発生している。 Incidentally, the synchronization signal generating unit 13, a vertical synchronizing signal V and the horizontal synchronizing signal H with occurring in accordance with the frame frequency F R that is set, the vertical synchronization signal V and horizontal at the normal frame frequency (30 Hz) The synchronization signal H is also generated at the same time.

フレーム周波数Fに応じた垂直同期信号V及び水平同期信号Hは、駆動パルス発生部14、アナログ処理及びA/D変換部4及びデジタル処理部5に供給される。 Frame frequency F R vertical synchronizing signal V and the horizontal synchronization signal H in response to the drive pulse generator 14, is supplied to an analog processing and A / D converter 4, and the digital processing unit 5.

駆動パルス発生部14、アナログ処理及びA/D変換部4及びデジタル処理部5は、入力された垂直同期信号V及び水平同期信号Hに同期してデータ処理を行う。このため、これらの各回路は、設定されたフレーム周波数Fに応じた速度での処理が行われ、このことにより、設定されたフレーム周波数Fでの撮影処理がなされることとなる。 The drive pulse generation unit 14, the analog processing / A / D conversion unit 4, and the digital processing unit 5 perform data processing in synchronization with the input vertical synchronization signal V and horizontal synchronization signal H. Therefore, each of these circuits is performed processing at a speed corresponding to the frame frequency F R which is set, by this, so that the shooting processing in the frame frequency F R that is set is made.

メモリコントローラ6は、デジタル処理部5から出力された撮像信号をフレームメモリ7に転送する処理を行う。ここで、デジタル処理部5から出力された撮像信号には、有効画面の部分の信号の他に、垂直及び水平方向の両端部分に無効な信号部分(例えば、ブランキング期間の信号)も含まれている。そのため、メモリコントローラ6は、フレーム周波数Fに応じた垂直同期信号V及び水平同期信号Hを基準として、フレーム内でのライン数及び各ライン内でのクロック数をカウントしてフレームの有効な画像部分を特定し、特定した有効な画像部分のみをフレームメモリ7に格納する。この結果、無効部分については、フレームメモリ7への転送時に削除されることとなる。 The memory controller 6 performs a process of transferring the imaging signal output from the digital processing unit 5 to the frame memory 7. Here, the imaging signal output from the digital processing unit 5 includes an invalid signal portion (for example, a blanking period signal) at both ends in the vertical and horizontal directions in addition to the signal of the effective screen portion. ing. Therefore, the memory controller 6, a frame frequency F as R relative to the vertical synchronizing signal V and the horizontal synchronizing signal H corresponding to the number of lines in the frame and a valid image of the frame by counting the number of clocks in each line The part is specified, and only the specified effective image part is stored in the frame memory 7. As a result, the invalid part is deleted at the time of transfer to the frame memory 7.

また、メモリコントローラ6は、フレームメモリ7に格納されている画像信号(有効画像部分)を読み出して、デジタル信号処理部8へ供給する。ここで、ビデオカメラ1は、外部機器との接続互換性を保つため、可変速撮影動作をしている場合であっても、外部機器へ供給するビデオ信号を通常のフレーム周波数(30Hz)の信号に変換しなければならない。そのため、メモリコントローラ6は、通常のフレーム周波数(30Hz)に応じた垂直同期信号V及び水平同期信号Hに基づき、フレームメモリ7から画像信号を読み出す。この際に、撮像は通常撮影時よりも低速で行われるために、フレームメモリ7への書き込み速度よりフレームメモリ7からの読み出し速度の方が速くなる。従って、もし、読み出しが間に合わなかった場合には、図2の斜線部分に示すように、メモリコントローラ6は、同一のフレームを複数回読み出すような処理を行う。   Further, the memory controller 6 reads out the image signal (effective image portion) stored in the frame memory 7 and supplies it to the digital signal processing unit 8. Here, in order to maintain connection compatibility with the external device, the video camera 1 transmits a video signal supplied to the external device to a signal with a normal frame frequency (30 Hz) even when performing variable speed shooting operation. Must be converted to Therefore, the memory controller 6 reads an image signal from the frame memory 7 based on the vertical synchronization signal V and the horizontal synchronization signal H corresponding to the normal frame frequency (30 Hz). At this time, since imaging is performed at a lower speed than during normal imaging, the reading speed from the frame memory 7 is faster than the writing speed to the frame memory 7. Therefore, if the reading is not completed in time, the memory controller 6 performs a process of reading the same frame a plurality of times as shown by the hatched portion in FIG.

デジタル信号処理部8は、通常のフレーム周波数(30Hz)で読み出された画像信号に対して、例えばニー補正及びガンマ補正等の非線形デジタル処理を行う。これらの処理がされた画像信号は、出力部9に供給される。出力部9では、所定の映像フォーマットに対応した信号に変換して外部に出力をする。   The digital signal processing unit 8 performs nonlinear digital processing such as knee correction and gamma correction on an image signal read at a normal frame frequency (30 Hz). The image signal subjected to these processes is supplied to the output unit 9. The output unit 9 converts the signal into a signal corresponding to a predetermined video format and outputs the signal to the outside.

可変速撮影時の同期信号発生パターン
ビデオカメラ1は、30フレーム/秒、29フレーム/秒、28フレーム/秒、…、3フレーム/秒、2フレーム/秒、1フレーム/秒といった1Hz刻の各速度(フレーム周波数F)での可変速撮影をする。
Synchronous signal generation pattern during variable-speed shooting The video camera 1 has 30 frames / second, 29 frames / second, 28 frames / second, ... 3 frames / second, 2 frames / second, 1 frame / second, etc. Variable speed shooting at a speed (frame frequency F R ) is performed.

パターン記憶部12内には、フレーム周波数毎に、同期信号発生パターンが格納されている。同期信号発生パターンは、垂直同期信号V及び水平同期信号Hの発生タイミングが示された情報である。従って、同期信号発生部13は、設定されたフレーム周波数Fに応じた同期信号発生パターンを、パターン記憶部12から読み出し、読み出した同期信号発生パターンに従って動作をすることによって、垂直同期信号V及び水平同期信号Hを所定のタイミングで発生する。 In the pattern storage unit 12, a synchronization signal generation pattern is stored for each frame frequency. The synchronization signal generation pattern is information indicating the generation timing of the vertical synchronization signal V and the horizontal synchronization signal H. Therefore, the synchronization signal generating unit 13, a synchronization signal generation pattern corresponding to the frame frequency F R that is set, read from the pattern storage unit 12, by the operation in accordance with the sync signal generation pattern read, the vertical synchronizing signal V and A horizontal synchronization signal H is generated at a predetermined timing.

例えば、同期信号発生パターンには、垂直同期信号V及び水平同期信号Hの各発生タイミングが、基本クロックfCLKのカウント値で示されている。この場合、同期信号発生部13は、基本クロックfCLKをカウンタによりカウントし、当該カウンタの値が同期信号発生パターンに示された値と一致したタイミングで垂直同期信号V及び水平同期信号Hを発生すればよい。 For example, the generation timing of the vertical synchronization signal V and the horizontal synchronization signal H is indicated by the count value of the basic clock fCLK in the synchronization signal generation pattern. In this case, the synchronization signal generation unit 13 counts the basic clock f CLK by the counter, and generates the vertical synchronization signal V and the horizontal synchronization signal H at the timing when the value of the counter matches the value indicated in the synchronization signal generation pattern. do it.

このようにフレーム周波数F毎に同期信号発生パターンが設定されていることによって、容易に可変速撮影を実現できる。 By this synchronization signal generation pattern for each frame frequency F R as is set, it can be realized easily variable speed photography.

ここで、ビデオカメラ1では、垂直ライン数N(走査線数)及びクロック周波数fCLKを固定とし、水平クロック数のみが適宜調整された同期信号発生パターンが設定されている。このため、ビデオカメラ1では、他のビデオカメラとフレームタイミング(フレーム位相)が所定秒毎に必ず一致するようにした状態で、1Hz〜30Hzのフレーム周波数(1秒間のフレーム数)Fで可変速撮影ができる。 Here, in the video camera 1, a synchronizing signal generation pattern is set in which the number of vertical lines N V (number of scanning lines) and the clock frequency f CLK are fixed, and only the number of horizontal clocks is appropriately adjusted. Therefore, in the video camera 1, with the other video camera and frame timing (frame phase) is as always match the predetermined seconds, (the number of frames per second) Frame frequency 1Hz~30Hz Y in F R Variable speed shooting is possible.

以下、このような同期信号発生パターンについてさらに具体的に説明をする。   Hereinafter, such a synchronization signal generation pattern will be described more specifically.

(周期性)
同期信号発生パターンは、所定の周期性をもったパターンとなっている。換言すれば、同期信号発生部13が同期信号発生パターンに従い垂直同期信号V及び水平同期信号Hの発生動作を行うと、垂直同期信号V及び水平同期信号Hの発生パターンが、所定の周期で繰り返される。
(Periodicity)
The synchronization signal generation pattern is a pattern having a predetermined periodicity. In other words, when the synchronization signal generator 13 generates the vertical synchronization signal V and the horizontal synchronization signal H according to the synchronization signal generation pattern, the generation pattern of the vertical synchronization signal V and the horizontal synchronization signal H is repeated at a predetermined cycle. It is.

垂直同期信号V及び水平同期信号Hの発生パターンの周期は、全てのフレーム周波数Fで同一である。具体的には、その周期が1秒となっている。つまり、基本クロックの周波数fCLKが74.25MHzであるので、パターン周期は、74250000クロックとなる。 Period of generation patterns of the vertical synchronization signal V and the horizontal synchronization signal H is the same in every frame frequency F R. Specifically, the period is 1 second. That is, since the frequency f CLK of the basic clock is 74.25 MHz, the pattern period is 7420000 clocks.

ビデオカメラ1では、このように垂直同期信号V及び水平同期信号Hの発生パターンに周期性をもたせ、且つ、その周期を全てのフレーム周波数Fで同一としているので、可変速撮影をした場合であっても他のビデオカメラとのフレーム位相を必ずこの周期毎に1回は揃えることができることとなる。 In the video camera 1, thus imparted periodicity in occurrence pattern of the vertical synchronization signal V and the horizontal synchronization signal H, and, since the same the cycle at every frame frequency F R, in the case where the variable-speed photographing Even if it exists, the frame phase with the other video camera can always be aligned once every period.

なお、本例では、同期信号の発生パターンの1周期を1秒としているが、本発明では、必ず所定秒毎に垂直同期信号の位相が一致すればよい。従って、1周期=1秒でなく、1周期=n×1秒であってもよい。なお、nは、自然数である。   In this example, one cycle of the generation pattern of the synchronization signal is set to 1 second. However, in the present invention, the phase of the vertical synchronization signal only needs to match every predetermined second. Therefore, instead of one cycle = 1 second, one cycle = n × 1 second may be used. Note that n is a natural number.

(垂直同期信号の発生タイミング)
同期信号発生パターンには、垂直同期信号Vの発生タイミングが示されている。例えば、同期信号発生パターンの開始位置からのクロック数により、垂直同期信号Vの発生タイミングが示されている。垂直同期信号Vは、フレームの開始位置を示しているので、同期信号発生パターンの1周期(1秒間)中に発生される垂直同期信号Vは、設定されたフレーム周波数Fの値と同一となる。なお、同期信号発生パターンの1周期がn秒の場合には、1周期中に発生される垂直同期信号Vの数は、n×Fとなる。
(Vertical synchronization signal generation timing)
The generation timing of the vertical synchronization signal V is shown in the synchronization signal generation pattern. For example, the generation timing of the vertical synchronization signal V is indicated by the number of clocks from the start position of the synchronization signal generation pattern. The vertical synchronizing signal V, it indicates the start position of the frame, the vertical synchronization signal V generated during one cycle (one second) of the sync signal generation pattern is the same as the value of the frame frequency F R which is set Become. Note that when one period of the sync signal generation pattern is n seconds, the number of vertical synchronizing signal V is generated during one cycle becomes n × F R.

ここで、各フレームのフレーム長(=フレームのクロック数=垂直同期信号Vの時間間隔)は、垂直同期信号Vの発生タイミングの間隔により定まるのであるが、同期信号発生パターンにより設定されている各フレームのクロック数は、全てのフレームで一致しているとは限らず、フレーム毎にクロック数が異なる場合もある。   Here, the frame length of each frame (= the number of clocks of the frame = the time interval of the vertical synchronization signal V) is determined by the interval of the generation timing of the vertical synchronization signal V, but is set by the synchronization signal generation pattern. The number of clocks of a frame is not necessarily the same for all frames, and the number of clocks may be different for each frame.

本例の場合では、全てのフレームでクロック数が一致しているフレーム周波数と、1クロック分だけ異なる2種類のフレームが存在するフレーム周波数がある。すなわち、74250000を各フレーム周波数(30,29,28,…)で割ったときに余りがでなければ、全てのフレームで同じクロック数となり、余りがあれば、その余りと同数のフレームだけ1クロック分クロック数が多いフレームが含まれているわけである。   In the case of this example, there is a frame frequency in which the number of clocks is the same in all frames, and a frame frequency in which there are two types of frames that differ by one clock. That is, if there is no remainder when dividing 74250,000 by each frame frequency (30, 29, 28,...), The number of clocks is the same for all frames, and if there is a remainder, one clock is the same number of frames as the remainder. This is because a frame with a large number of minute clocks is included.

このように、ビデオカメラ1では、フレームのクロック数の異なりを許容している。このため、1秒間に含まれるフレームの数(すなわち、フレーム周波数F)を整数とすることができ、可変速撮影をした場合であっても他のビデオカメラとのフレーム位相を必ずこの1秒間に1回は揃えることができることとなる。 Thus, the video camera 1 allows a difference in the number of clocks of the frame. For this reason, the number of frames included in one second (that is, the frame frequency F R ) can be an integer, and the frame phase with other video cameras is always set to this one second even when variable speed shooting is performed. Can be aligned once.

以下、1クロック分だけクロック数が少ない方のフレームをAフレーム、1つだけクロック数が多い方のフレームをBフレームと呼ぶ。また、全てのフレームでクロック数が一致している場合には、全てBフレームであるものとする。   Hereinafter, a frame having a smaller number of clocks by one clock is referred to as an A frame, and a frame having a larger number of clocks by one is referred to as a B frame. Further, if the number of clocks is the same in all frames, it is assumed that all are B frames.

各フレーム周波数F(30,29,28,…,3,2,1)のAフレームとBフレームの数は、例えば表3に示すようになる。 Table 3 shows the number of A frames and B frames at each frame frequency F R (30, 29, 28,..., 3, 2, 1), for example.

Figure 0004415858
Figure 0004415858

なお、表3で示した同期信号発生パターンは、AフレームとBフレームとの差のクロック数をmとしたとき、上述した例ではmを1以下にしている。しかしながら、mの値は1に限らず、充分に小さい自然数であれば、2以上であってもよい。この理由は、次の通りである。   In the synchronization signal generation pattern shown in Table 3, m is set to 1 or less in the above-described example, where m is the number of clocks of the difference between the A frame and the B frame. However, the value of m is not limited to 1, and may be 2 or more as long as it is a sufficiently small natural number. The reason for this is as follows.

すなわち、各フレームのクロック数が一致していないということは、固体撮像素子で光電荷を蓄積する時間(シャッタースピード)がフレーム毎に異なるということである。従って、フリッカが発生する原因となる。しかしながら、各フレームのクロック数の差、言い換えれば、フレーム毎のクロック数のばらつきmが充分に小さければ、人間の目で感知できずフリッカとは認識できず特に問題はない。mを1以下としたのは、このばらつきを人間の目で認識できないようにするためである。従って、ばらつきがフリッカとして人間に感知できない程度小さい値であれば、mを2以上としてもよいわけである。   That is, the fact that the number of clocks in each frame does not match means that the time (shutter speed) for accumulating photocharges in the solid-state image sensor varies from frame to frame. Therefore, flicker occurs. However, if the difference in the number of clocks in each frame, in other words, the variation m in the number of clocks in each frame is sufficiently small, it cannot be perceived by human eyes and cannot be recognized as flicker. The reason why m is set to 1 or less is to prevent this variation from being recognized by human eyes. Therefore, m may be set to 2 or more if the variation is small enough to prevent humans from detecting flicker.

また、同期信号発生パターンには、AフレームとBフレームの2種類のクロック数のフレームが存在しているが、フレーム間のクロック数のばらつきがm以下であれば、2種類に限らず3種類以上あってもよい。   In addition, in the synchronization signal generation pattern, there are two types of frames with the number of clocks of A frame and B frame. There may be more.

(水平同期信号の発生タイミング)
同期信号発生パターンには、各フレーム中の水平ラインの開始位置を示す水平同期信号Hの発生タイミングも示されている。
(Horizontal synchronization signal generation timing)
The generation timing of the horizontal synchronization signal H indicating the start position of the horizontal line in each frame is also shown in the synchronization signal generation pattern.

ビデオカメラ1では、1フレーム中の水平ラインの本数を常時N本(ここでは、N=1125)で固定としている。このため、同期信号発生パターンには、1フレーム中(すなわち、垂直同期信号Vの間の期間)に、N本(1125本)の水平同期信号Hを発生するような情報が示されている。 In the video camera 1 (here, N V = 1125) at all times N v present the number of horizontal lines in one frame is set to fixed. Therefore, the synchronization signal generation pattern, in one frame (i.e., vertical period between synchronous signals V), the information so as to generate a horizontal synchronizing signal H of the N V present (1125) is shown .

ここで、上述したように既に各フレームのクロック数は設定されているため、水平ラインのクロック数がN本全てで均等となるように、水平同期信号Hのタイミングを設定することはできない。 Since the already clock number of the frame as described above is set, as the clock number of the horizontal lines become equal in all the N V, it is impossible to set the timing of the horizontal synchronizing signal H.

そこで、ビデオカメラ1では、特定の1本の水平ライン(ここでは最終ライン)をクロック調整用の水平ラインとし、その他の(N−1)本の水平ライン(1124本の水平ライン)のクロック数を全てのフレームで一致させるように、水平同期信号Hの発生タイミングを設定している。 Therefore, in the video camera 1, one specific horizontal line (here, the last line) is used as a clock adjustment horizontal line, and the other (N V −1) horizontal lines (1124 horizontal lines) are clocks. The generation timing of the horizontal synchronizing signal H is set so that the number matches in all frames.

具体的に、各フレーム周波数Fでの水平ラインのクロック数の一例を、以下の表4に示す。 Specifically, an example of a clock number of the horizontal lines in each frame frequency F R, shown in Table 4 below.

Figure 0004415858
Figure 0004415858

なお、各水平ラインのクロック数は、このようなパターンに限られない。具体的には、クロック調整用の水平ライン以外の水平ライン(1124本)は、少なくとも、水平方向の有効画像が切り出せるだけの充分な長さのクロック数以上、N本(ここでは1125本)の水平ラインを1フレーム内中に含むことが可能な充分短いクロック数以下の範囲であれば、どのような値であってもよい。 Note that the number of clocks in each horizontal line is not limited to such a pattern. Specifically, the horizontal lines other than the horizontal lines for clock adjustment (1124 lines) is at least the horizontal direction of the effective image cut out by sufficient length of more than the number of clocks, N V present (1125 in this case As long as it is within a range of a sufficiently short number of clocks that can include a horizontal line of 1) in one frame, it may be any value.

また、クロック調整用の水平ライン(最終ライン)は、フレーム中の全ての水平ラインのクロック数を合計したときに、そのフレームに設定された総クロック数となるように調整がされている。言い換えれば、同期信号発生パターンの1周期の総クロック数が74250000クロックとなるように、調整がなされているためである。この結果、AフレームとBフレームとが存在するフレーム周波数では、当該最終ラインの水平クロック数は、Aフレームの方がBフレームよりも1クロック分少なくなっている。   The horizontal line for clock adjustment (final line) is adjusted so that the total number of clocks set for the frame is obtained when the number of clocks of all horizontal lines in the frame is summed. In other words, the adjustment is made so that the total number of clocks in one cycle of the synchronization signal generation pattern is 74250,000. As a result, at the frame frequency where the A frame and the B frame exist, the horizontal clock number of the final line is smaller by one clock in the A frame than in the B frame.

また、クロック調整用の水平ラインは、最終ラインでなくとも、少なくとも垂直ブランキング期間のラインであればよい。もっとも、有効画面の信号が読み出すことが可能な程度にクロック数が充分大きければ、垂直ブランキング期間の水平ラインでなくてもよい。   Further, the horizontal line for clock adjustment is not limited to the final line, and may be a line at least in the vertical blanking period. However, as long as the number of clocks is sufficiently large so that the signal of the effective screen can be read, the horizontal line in the vertical blanking period may not be used.

以上のように、ビデオカメラ1では、水平ライン数N及びクロック周波数fCLKを変更せずに、水平クロック数のみを調整して、フレーム周波数(1秒間のフレーム数)を任意の自然数に設定することができる。 As described above setting, the video camera 1 without changing the horizontal line number N V and clock frequency f CLK, by adjusting the number of horizontal clock only, the frame frequency (the number of frames per second) for any natural number can do.

このため、ビデオカメラ1では、例えば複数のカメラを同時に用いた撮影においてフレーム周波数を変更した場合、各カメラのフレームの位相が同期するので、後に編集する時に非常に都合が良い。   For this reason, in the video camera 1, for example, when the frame frequency is changed in shooting using a plurality of cameras at the same time, the phase of the frame of each camera is synchronized, which is very convenient when editing later.

第2の実施形態のビデオカメラの構成
つぎに、本発明が適用された第2の実施形態のビデオカメラについて説明をする。
Next, a video camera according to the second embodiment to which the present invention is applied will be described.

上述したビデオカメラ20では、フレーム周波数Fが低いと、それに伴って1フレームの電荷蓄積時間も長くなる。例えば、フレーム周波数Fが1(Hz)の場合は、撮像素子での電荷の蓄積時間(シャッタースピード)は1秒間になることになる。これでは、別途シャッタによる電荷量の調整をしないかぎり、撮像素子のダイナミックレンジをオーバーし、白クリップしてしまい正常な画像にならない。 The video camera 20 described above, when the low frame frequency F R, the charge storage time of one frame becomes longer accordingly. For example, if the frame frequency F R is 1 (Hz), storage time of charges in the image sensor (shutter speed) will be the second. In this case, unless the charge amount is adjusted separately by the shutter, the dynamic range of the image sensor is exceeded, white clipping occurs and a normal image is not obtained.

そこで、以下に説明をする第2の実施形態のビデオカメラ20では、ユーザにより設定されたフレーム周波数が低い場合は、実際には撮像素子の露光がオーバーしない程度の早いフレーム周波数により撮影をして、撮像信号のフレームを時間方向に加算することによりダウンコンバートするようにしている。   Therefore, in the video camera 20 of the second embodiment described below, when the frame frequency set by the user is low, shooting is performed at a fast frame frequency that does not actually cause the image sensor to be overexposed. The down conversion is performed by adding the frames of the imaging signal in the time direction.

ビデオカメラの構成
図3に、本発明が適用された第2の実施形態のビデオカメラ20のブロック構成図を示す。なお、図1に示したビデオカメラ1と同一の構成要素については同一の符号を付し、その詳細な説明を省略する。
Configuration of Video Camera FIG. 3 shows a block configuration diagram of a video camera 20 of the second embodiment to which the present invention is applied. The same components as those of the video camera 1 shown in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted.

ビデオカメラ20は、レンズユニット2と、撮像素子3と、アナログ処理及びAD変換部4と、デジタル処理部5と、メモリコントローラ6と、フレームメモリ7と、デジタル信号処理部8と、出力部9と、基本クロック発生部11と、パターン記憶部12と、同期信号発生部13と、駆動パルス発生部14とを備えている。   The video camera 20 includes a lens unit 2, an image sensor 3, an analog processing and AD conversion unit 4, a digital processing unit 5, a memory controller 6, a frame memory 7, a digital signal processing unit 8, and an output unit 9. A basic clock generation unit 11, a pattern storage unit 12, a synchronization signal generation unit 13, and a drive pulse generation unit 14.

また、ビデオカメラ20は、レート設定部21と、フレーム加算部22とを備えている。   The video camera 20 includes a rate setting unit 21 and a frame addition unit 22.

レート設定部21は、例えばユーザ等からフレーム周波数FRX(FRXは自然数)が入力される。例えば、フレーム周波数FRXは、ここでは、1フレーム/秒から30フレーム/秒まで1フレーム刻みで入力される。 The rate setting unit 21 receives, for example, a frame frequency F RX (F RX is a natural number) from a user or the like. For example, the frame frequency F RX is input in increments of 1 frame from 1 frame / second to 30 frames / second here.

レート設定部21は、入力されたフレーム周波数FRXと、以下の式(11)の関係を満たすフレーム周波数F及びフレーム加算数Mを設定する。 Rate setting unit 21 sets a frame frequency F RX input, the frame frequency F R and frame addition number M that satisfies the following relationship of Equation (11).

RX=F/M …(11) F RX = F R / M (11)

なお、式(11)において、Mは自然数であり、Fは撮像素子3により撮像可能な最高のフレーム周波数(例えば、30Hz)を超えない値である。 In the equation (11), M is a natural number, F R is a value that does not exceed the imaging highest possible frame frequency (e.g., 30 Hz) by the image pickup device 3.

レート設定部21により設定されたフレーム周波数Fは、同期信号発生部13に供給される。 Frame frequency F R that is set by the rate setting unit 21 is supplied to the synchronizing signal generator 13.

同期信号発生部13は、入力されたフレーム周波数Fに対応した垂直同期信号V及び水平同期信号Hを発生する。従って、駆動パルス発生部14、アナログ処理及びA/D変換部4及びデジタル処理部5では、フレーム周波数Fに応じた可変速撮影を行う。 Synchronizing signal generator 13 generates a vertical synchronization signal V and the horizontal synchronizing signal H corresponding to the frame frequency F R that is input. Therefore, the drive pulse generator 14, the analog processing and A / D converter 4, and the digital processing unit 5, a variable-speed photographing in accordance with the frame frequency F R performed.

フレーム加算部22は、メモリコントローラ6の出力段と、デジタル信号処理部8との間に設けられている。フレーム加算部22には、レート設定部21により設定されたフレーム加算数Mが入力される。フレーム加算部22は、メモリコントローラ6から出力された連続したM個のフレームを加算して、1つのフレームを生成する。このようにMフレーム分の加算処理をすることにより、実質上、フレームレートFで撮影された画像信号を、フレームレートFRX(F/M)にダウンコンバートすることができる。 The frame addition unit 22 is provided between the output stage of the memory controller 6 and the digital signal processing unit 8. The frame addition unit 22 receives the frame addition number M set by the rate setting unit 21. The frame addition unit 22 adds M consecutive frames output from the memory controller 6 to generate one frame. By the addition processing of M frames Thus, substantially, the image signal captured at a frame rate F R, can be down-converted to the frame rate F RX (F R / M) .

具体的に、各フレーム周波数FRXでの水平ラインのクロック数の一例を、以下の表5に示す。 Specifically, an example of the number of horizontal line clocks at each frame frequency FRX is shown in Table 5 below.

Figure 0004415858
Figure 0004415858

以上のように第2の実施形態のビデオカメラ20では、ユーザにより設定されたフレーム周波数FRXが低い場合であっても、撮像素子のダイナミックレンジをオーバーさせずに、可変速の撮影をすることが可能となる。 As described above, in the video camera 20 of the second embodiment, even when the frame frequency FRX set by the user is low, variable-speed shooting is performed without exceeding the dynamic range of the image sensor. Is possible.

複数のビデオカメラによるシステム構成
つぎに、このようなフレーム周波数を自在に変更することができるビデオカメラ1やビデオカメラ20を複数使用して同時撮影する場合のシステムを説明する。
System Configuration Using Plural Video Cameras Next, a system in the case where a plurality of video cameras 1 and video cameras 20 capable of freely changing the frame frequency are used for simultaneous photographing will be described.

このような複数カメラシステム30の構成例を図4に示す。複数カメラシステム30では、設定されているフレーム周波数Fが異なる3つのビデオカメラ1(カメラA,カメラB,カメラC)が、同時に同一の被写体を撮影している。 An example of the configuration of such a multiple camera system 30 is shown in FIG. Multiple camera system 30, the frame frequency F R is different three video cameras 1 set (camera A, camera B, camera C) has taken the same subject at the same time.

複数カメラシステム30では、ある一つのビデオカメラ(例えば、カメラA)をマスターカメラとして設定する。マスターカメラであるカメラAは、フレーム同期リセット信号を発生する。マスターカメラであるカメラAは、あるフレーム周波数Fが設定されており、そのフレーム周波数Fの同期信号発生パターンに従い動作をしている。フレーム同期リセット信号は、その動作中の同期信号発生パターンの1周期毎(又は所定周期毎)に発生される同期信号である。つまり、同期信号発生パターンの周期は1秒(又はn秒)であるので、フレーム同期リセット信号は、1秒毎(又はn秒毎)に発生される同期信号である。 In the multiple camera system 30, one video camera (for example, camera A) is set as a master camera. Camera A, which is a master camera, generates a frame synchronization reset signal. Camera A is the master camera is set a frame frequency F R have the operation in accordance with the synchronization signal generation pattern of the frame frequency F R. The frame synchronization reset signal is a synchronization signal generated every cycle (or every predetermined cycle) of the synchronization signal generation pattern in operation. That is, since the cycle of the synchronization signal generation pattern is 1 second (or n seconds), the frame synchronization reset signal is a synchronization signal generated every second (or every n seconds).

マスターカメラ以外のカメラ(カメラB,カメラC)は、マスターカメラ(カメラA)から発生されたフレーム同期リセット信号が入力される。マスターカメラ以外のカメラ(カメラB,カメラC)は、フレーム同期リセット信号に従い内部カウンタ等をリセットし、同期信号発生パターンの位相調整を行う。   Cameras other than the master camera (camera B, camera C) receive a frame synchronization reset signal generated from the master camera (camera A). Cameras other than the master camera (camera B and camera C) reset the internal counter and the like according to the frame synchronization reset signal, and adjust the phase of the synchronization signal generation pattern.

フレーム同期リセット信号、各カメラA、B、Cの垂直及び水平同期信号のタイミングチャートを図5に示す。   FIG. 5 shows a timing chart of the frame synchronization reset signal and the vertical and horizontal synchronization signals of the cameras A, B, and C.

ここでは、例えば、カメラAのフレーム周波数が24Hz、カメラBのフレーム周波数が20Hz、カメラCのフレーム周波数が10Hzに設定されているとする。それぞれのカメラの出力のフレーム周波数は30Hzである。   Here, for example, it is assumed that the frame frequency of camera A is set to 24 Hz, the frame frequency of camera B is set to 20 Hz, and the frame frequency of camera C is set to 10 Hz. The frame frequency of each camera output is 30 Hz.

この図5のタイミングチャートに表されているように、フレーム同期リセット信号でリセットを行うことによって、各カメラがどのようなフレーム周波数であっても常にそのフレーム周波数は整数値であるので、必ず1秒間に1度全てカメラのフレーム位相が揃う。   As shown in the timing chart of FIG. 5, by resetting with a frame synchronization reset signal, the frame frequency is always an integer value regardless of the frame frequency of each camera. The frame phase of the camera is aligned once every second.

また、例えば、カメラAのフレーム周波数を出力映像周波数と同じ30Hzにした場合(これはすなわち、既存の固定フレームレートのカメラと同じである。)にも、1秒間に1回全てのカメラのフレーム位相が揃う。つまり、既存の固定フレームレートのカメラシステムの中に可変フレームレートのカメラを混在させて、同期させることも可能である。   In addition, for example, when the frame frequency of the camera A is set to 30 Hz which is the same as the output video frequency (that is, the same as that of an existing fixed frame rate camera), the frames of all the cameras are once per second. The phase is aligned. That is, it is possible to mix and synchronize a variable frame rate camera in an existing fixed frame rate camera system.

フレーム周波数が30Hz以上の場合
また、以上の説明では、フレーム周波数Fが1(Hz)から30(Hz)までの例を示したが、クロック周波数を適当に選べば、どのようなフレーム周波数でも同様のことが実現可能である。
Also when the frame frequency is greater than 30 Hz, in the above description, the frame frequency F R is an example from 1 (Hz) to 30 (Hz), if properly choose the clock frequency, in any frame frequency The same can be realized.

例えば、1(Hz)から60(Hz)まで、1Hz刻みで変更可能な場合の設定例を、以下の表6及び表7に示す。   For example, Table 6 and Table 7 below show setting examples in the case where it can be changed in increments of 1 Hz from 1 (Hz) to 60 (Hz).

Figure 0004415858
Figure 0004415858

Figure 0004415858
Figure 0004415858

本発明が適用されたビデオカメラのブロック構成図である。It is a block diagram of a video camera to which the present invention is applied. フレームメモリから画像信号を読み出す際の画像信号示す図である。It is a figure which shows the image signal at the time of reading an image signal from a frame memory. 本発明が適用された他のビデオカメラのブロック構成図である。It is a block block diagram of the other video camera to which this invention was applied. 本発明が適用されたビデオカメラを複数使用して同時撮影するシステムを示す図である。It is a figure which shows the system which image | photographs simultaneously using multiple video cameras to which this invention was applied. フレーム同期リセット信号、各カメラA、B、Cの垂直及び水平同期信号のタイミングチャートである。4 is a timing chart of a frame synchronization reset signal and vertical and horizontal synchronization signals of each camera A, B, and C.

符号の説明Explanation of symbols

1,20 ビデオカメラ、2 レンズユニット、3 撮像素子、4 アナログ処理及びAD変換部、5 カメラ信号処理部、6 メモリコントローラ、7 フレームメモリ、8 デジタル信号処理部、9 出力部、11 基本クロック発生部、12 パターン記憶部、13 同期信号発生部、14 駆動パルス発生部
1,20 video camera, 2 lens unit, 3 image sensor, 4 analog processing and AD conversion unit, 5 camera signal processing unit, 6 memory controller, 7 frame memory, 8 digital signal processing unit, 9 output unit, 11 basic clock generation Unit, 12 pattern storage unit, 13 synchronization signal generation unit, 14 drive pulse generation unit

Claims (8)

フレーム周波数F(Fは自然数)が変更自在に設定されるレート設定部と、
周波数fCLKの基本クロックを発生する基本クロック発生部と、
上記レート設定部によって設定されたフレーム周波数F毎に設定され、上記基本クロック発生部によって発生される基本クロックのカウント値で示された垂直同期信号及び水平同期信号を発生する発生タイミングを示す同期信号発生パターンが記憶されたパターン記憶部と、
上記基本クロック発生部によって発生された基本クロックfCLKをカウントし、当該カウンタした値と上記パターン記憶部に記憶された同期信号発生パターンに示された値とが一致したタイミングで、フレームの開始タイミングを示す垂直同期信号Vと、フレームを構成するN本の水平ラインの開始タイミングを示す水平同期信号Hとを発生することによって、上記基本クロックfCLKに同期させた垂直同期信号Vと水平同期信号Hとを発生する同期信号生成部と、
複数の光電変換素子により被写体を撮像し、上記同期信号発生部から発生された垂直同期信号及び水平同期信号に従って上記各光電変換素子から信号を読み出して、当該垂直同期信号及び水平同期信号に同期した撮像信号を出力する撮像部と、
上記撮像部から出力された撮像信号から、有効画面部分の信号を抽出する抽出部と、
上記同期信号発生パターンの1周期毎に、同時に撮像動作を行っている他の撮像装置と同期を取るためのフレーム同期リセット信号を当該他の撮像装置に出力するリセット信号出力手段と
を備えた撮像装置。
A rate setting unit in which the frame frequency F R (F R is a natural number) is set freely changeable,
A basic clock generator for generating a basic clock of frequency f CLK ;
Is set in the frame each frequency F R which is set by the rate setting unit, sync indicating a generation timing for generating a vertical synchronizing signal and a horizontal synchronizing signal shown by the count value of the basic clock generated by said basic clock generating unit A pattern storage unit in which a signal generation pattern is stored;
The basic clock f CLK generated by the basic clock generation unit is counted, and the frame start timing is the timing at which the counted value coincides with the value indicated in the synchronization signal generation pattern stored in the pattern storage unit. a vertical synchronizing signal V shown, by generating the horizontal synchronizing signal H indicating the start timing of the horizontal lines of the N v present constituting the frame, the basic clock f CLK vertically synchronized with the synchronous signal V and horizontal sync A synchronization signal generator for generating the signal H;
A subject is imaged by a plurality of photoelectric conversion elements, signals are read from the photoelectric conversion elements in accordance with the vertical synchronization signal and horizontal synchronization signal generated from the synchronization signal generation unit, and are synchronized with the vertical synchronization signal and horizontal synchronization signal. An imaging unit that outputs an imaging signal;
An extraction unit that extracts a signal of an effective screen portion from the imaging signal output from the imaging unit;
An imaging device comprising: a reset signal output unit that outputs a frame synchronization reset signal for synchronizing with another imaging device that is simultaneously performing an imaging operation for each cycle of the synchronization signal generation pattern to the other imaging device. apparatus.
上記同期信号発生パターンは、
1秒を1周期とするものであり、
垂直ブランキング期間中の特定の1つの水平ライン以外の(N−1)本の全ての水平ラインのクロック数が、全てのフレームで同一となるように設定され、
上記垂直ブランキング期間中の特定の1つの水平ラインのクロック数が、当該同期発生パターンの1周期の総クロック数がfCLKとなり、且つ、フレーム毎のクロック数のばらつきが1クロック以下となるように、調整されている請求項1記載の撮像装置。
The sync signal generation pattern is
One second is one cycle,
The number of clocks of all (N V −1) horizontal lines other than one specific horizontal line during the vertical blanking period is set to be the same in all frames,
The number of clocks of a specific horizontal line during the vertical blanking period is such that the total number of clocks in one cycle of the synchronization generation pattern is f CLK and the variation in the number of clocks for each frame is 1 clock or less. The imaging apparatus according to claim 1, wherein the imaging apparatus is adjusted.
上記抽出部から出力される撮像信号のフレーム周波数をダウンコンバートするレート変換部を、さらに備え、
上記レート設定部は、外部からフレームレートFRX(FRXは自然数)が入力され、入力されたフレームレートFRXと、下記式(1)の関係を満たすフレーム周波数F及び加算数Mを設定し、
上記レート変換部は、上記抽出部から出力される撮像信号のフレーム周波数を、FからFRXに変換する請求項1記載の撮像装置。
RX=F/M…(1)
なお、式(1)において、Mは自然数であり、Fは撮像可能な最高フレーム周波数を超えない値である。
A rate conversion unit that down-converts the frame frequency of the imaging signal output from the extraction unit;
Said rate setting unit may set the frame rate F RX from the outside (F RX is a natural number) is input, the frame rate F RX input, the frame frequency F R and the addition number M satisfies the following formula (1) And
The rate conversion unit, the frame frequency of the image signal output from the extraction unit, the image pickup apparatus according to claim 1, wherein the conversion from F R to F RX.
F RX = F R / M (1)
In Equation (1), M is a natural number, and FR is a value that does not exceed the highest frame frequency that can be imaged.
上記同期信号発生パターンの自然数倍の周期の位相調整信号が、外部から入力される調整信号入力部を、さらに備え、
上記同期信号発生部は、同期信号発生パターンの周期を、上記位相調整信号の周期に同期させて、垂直同期信号及び水平同期信号を出力する請求項1記載の撮像装置。
The phase adjustment signal having a period that is a natural number multiple of the synchronization signal generation pattern further includes an adjustment signal input unit that is input from the outside,
The imaging apparatus according to claim 1, wherein the synchronization signal generation unit outputs a vertical synchronization signal and a horizontal synchronization signal by synchronizing the period of the synchronization signal generation pattern with the period of the phase adjustment signal.
フレーム周波数F(Fは自然数)が変更自在に設定するレート設定ステップと、
周波数fCLKの基本クロックを発生する基本クロック発生ステップと、
上記基本クロック発生ステップで発生された基本クロックをカウントし、当該カウンタした値と、上記レート設定ステップで設定されるフレーム周波数F毎に設定され、上記基本クロック発生ステップで発生される基本クロックのカウント値で示された垂直同期信号及び水平同期信号を発生する発生タイミングを示す同期信号発生パターンが記憶されたパターン記憶部に記憶された同期信号発生パターンに示された値とが一致したタイミングで、フレームの開始タイミングを示す垂直同期信号Vと、フレームを構成するN本の水平ラインの開始タイミングを示す水平同期信号Hとを発生することによって、上記基本クロックに同期させた垂直同期信号Vと水平同期信号Hとを発生する同期信号生成ステップと、
複数の光電変換素子により被写体を撮像し、上記同期信号生成ステップで発生された垂直同期信号及び水平同期信号に従って上記各光電変換素子から信号を読み出して、当該垂直同期信号及び水平同期信号に同期した撮像信号を出力する撮像信号出力ステップと、
上記撮像信号出力ステップで出力された撮像信号から、有効画面部分の信号を抽出する信号抽出ステップと、
上記同期信号発生パターンの1周期毎に、同時に撮像動作を行っている他の撮像装置と同期を取るためのフレーム同期リセット信号を当該他の撮像装置に出力するリセット信号出力ステップと
を含む撮像方法。
A rate setting step in which the frame frequency F R (F R is a natural number) is set freely,
A basic clock generation step for generating a basic clock of frequency f CLK ;
Counting the basic clock generated by said basic clock generating step, a value obtained by the counter, is set for each frame frequency F R that is set by the rate setting step, the basic clock generated by the fundamental clock generator Step At the timing when the value shown in the sync signal generation pattern stored in the pattern storage unit storing the sync signal generation pattern indicating the generation timing for generating the vertical sync signal and the horizontal sync signal indicated by the count value coincides with each other. , constituting a vertical synchronizing signal V indicating the start timing of the frame, the frame N v by generating a horizontal synchronizing signal H indicating the start timing of the horizontal line of the vertical synchronization signal V in synchronization with the basic clock And a synchronizing signal generating step for generating a horizontal synchronizing signal H;
The subject is imaged by a plurality of photoelectric conversion elements, signals are read from the photoelectric conversion elements in accordance with the vertical synchronization signal and horizontal synchronization signal generated in the synchronization signal generation step, and synchronized with the vertical synchronization signal and horizontal synchronization signal. An imaging signal output step for outputting an imaging signal;
A signal extraction step of extracting a signal of an effective screen portion from the imaging signal output in the imaging signal output step;
An imaging method comprising: a reset signal output step of outputting a frame synchronization reset signal for synchronizing with another imaging apparatus that is simultaneously performing an imaging operation to the other imaging apparatus for each cycle of the synchronization signal generation pattern. .
上記同期信号発生パターンは、
1秒を1周期とするものであり、
垂直ブランキング期間中の特定の1つの水平ライン以外の(N−1)本の全ての水平ラインのクロック数が、全てのフレームで同一となるように設定され、
上記垂直ブランキング期間中の特定の1つの水平ラインのクロック数が、当該同期発生パターンの1周期の総クロック数がfCLKとなり、且つ、フレーム毎のクロック数のばらつきが1クロック以下となるように、調整されている請求項5記載の撮像方法。
The sync signal generation pattern is
One second is one cycle,
The number of clocks of all (N V −1) horizontal lines other than one specific horizontal line during the vertical blanking period is set to be the same in all frames,
The number of clocks of a specific horizontal line during the vertical blanking period is such that the total number of clocks in one cycle of the synchronization generation pattern is f CLK and the variation in the number of clocks for each frame is 1 clock or less. 6. The imaging method according to claim 5, wherein the imaging method is adjusted.
外部からフレームレートFRX(FRXは自然数)が入力され、
入力されたフレームレートFRXと、下記式(2)の関係を満たすフレーム周波数F及び加算数Mを設定し、
上記撮像信号のフレーム周波数を、FからFRXに変換する請求項5記載の撮像方法。
RX=F/M…(2)
なお、式(2)において、Mは自然数であり、Fは撮像可能な最高フレーム周波数を超えない値である。
The frame rate F RX (F RX is a natural number) is input from the outside,
Set the frame rate F RX input, the frame frequency F R and the addition number M satisfies the following formula (2),
The imaging method according to claim 5, wherein the frame frequency of the imaging signal is converted from F R to F RX .
F RX = F R / M (2)
In Equation (2), M is a natural number, and FR is a value that does not exceed the highest frame frequency that can be imaged.
上記同期信号発生パターンの自然数倍の周期の位相調整信号が、外部から入力され、
同期信号発生パターンの周期を、上記位相調整信号の周期に同期させて垂直同期信号及び水平同期信号を出力する請求項5記載の撮像方法。
A phase adjustment signal having a cycle that is a natural number times the synchronization signal generation pattern is input from the outside,
The imaging method according to claim 5, wherein a synchronizing signal generation pattern is synchronized with a period of the phase adjustment signal to output a vertical synchronizing signal and a horizontal synchronizing signal.
JP2005000888A 2005-01-05 2005-01-05 Imaging apparatus and method Expired - Fee Related JP4415858B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005000888A JP4415858B2 (en) 2005-01-05 2005-01-05 Imaging apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005000888A JP4415858B2 (en) 2005-01-05 2005-01-05 Imaging apparatus and method

Publications (2)

Publication Number Publication Date
JP2006191307A JP2006191307A (en) 2006-07-20
JP4415858B2 true JP4415858B2 (en) 2010-02-17

Family

ID=36798020

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005000888A Expired - Fee Related JP4415858B2 (en) 2005-01-05 2005-01-05 Imaging apparatus and method

Country Status (1)

Country Link
JP (1) JP4415858B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111669479A (en) * 2019-03-06 2020-09-15 舜宇光学(浙江)研究院有限公司 Method and system for verifying synchronous exposure of camera and electronic equipment

Also Published As

Publication number Publication date
JP2006191307A (en) 2006-07-20

Similar Documents

Publication Publication Date Title
KR101035770B1 (en) Image pickup apparatus and synchronization signal generating apparatus
US8638374B2 (en) Image pickup apparatus, image pickup system, and image pickup method
JP4501758B2 (en) MULTI-CAMERA SYSTEM, IMAGING DEVICE, IMAGING CONTROL METHOD, AND IMAGING METHOD
US20070013807A1 (en) Digital camera
JP2004282648A (en) Digital still camera
JP2003219341A (en) Movie still camera and operation control method thereof
JP2010157863A (en) Compound-eye camera and image processing method
JP6118118B2 (en) Imaging apparatus and control method thereof
JP2012094956A (en) Imaging device
JP2004180151A (en) Digital camera
US8279309B2 (en) Image capturing device with signal sampling
JP4415858B2 (en) Imaging apparatus and method
JP2010161739A (en) Compound-eye imaging apparatus, and imaging control method
JP2007135073A (en) Solid state imaging device
JP7234015B2 (en) Imaging device and its control method
JP2004312276A (en) Imaging apparatus and method
CN113014795B (en) Control apparatus, control method, image pickup apparatus, image pickup system, and storage medium
JP4827577B2 (en) Imaging apparatus and control method
KR100213946B1 (en) Solid-state image pickup apparatus
JP5631084B2 (en) Image recording device
JP2011205406A (en) Compound eye camera
JP4471055B2 (en) Imaging apparatus and method thereof
JP3696897B2 (en) Imaging device
JP2022171269A (en) Imaging apparatus and method for controlling the same
JP2007336092A (en) Imaging apparatus and imaging method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees