JP2015106769A

JP2015106769A - Control device for imaging device

Info

Publication number: JP2015106769A
Application number: JP2013246884A
Authority: JP
Inventors: 木村　健士; Takeshi Kimura; 健士木村
Original assignee: Shimadzu Corp
Current assignee: Shimadzu Corp
Priority date: 2013-11-29
Filing date: 2013-11-29
Publication date: 2015-06-08

Abstract

PROBLEM TO BE SOLVED: To provide a control device for an imaging device that can synchronize the frame period of an image sensor with that of an external apparatus such as a display device without using a frame buffer, while the frequency of a clock signal for the operation of the image sensor is made optimal.SOLUTION: A control device for an imaging device calculates the difference between the frame period of an image sensor 11 and the frame period of an external apparatus 2 such as a display device or a recording device, and stops a sensor clock to be supplied to the image sensor by the time of the calculated difference between the frame periods to stop the operation of the image sensor 11 in the clock stop section, and thereby enabling the synchronization with a trigger signal from the external apparatus 2 to output frame data from the image sensor 11.

Description

本発明は、ＣＭＯＳセンサなどの画像データを出力する画像センサを備えた撮像装置における制御装置に関し、表示装置や記録装置などの外部機器からのトリガ信号に同期して動画を撮像する撮像装置の制御装置に関する。 The present invention relates to a control device in an imaging apparatus including an image sensor that outputs image data such as a CMOS sensor, and controls the imaging apparatus that captures a moving image in synchronization with a trigger signal from an external device such as a display device or a recording device. Relates to the device.

ＣＭＯＳセンサ等の画像センサを用いた撮像装置からの画像データを、表示装置に動画として表示する場合、表示装置における画像のフレーム表示のタイミングに同期して画像センサからの画像データを取得することが望ましい。画像センサと表示装置のフレーム周期が異なる場合、表示装置の内部または表示装置と画像センサとの間にメモリ（フレームバッファ）とメモリ制御回路を配置して、画像センサからのフレームデータ（１フレーム分の画像データ）を一旦メモリ内に格納し、表示装置のフレーム表示のタイミングで、つまり表示装置の表示動作に同期するようにフレームデータを出力する方法が知られている（例えば特許文献１参照）。 When image data from an imaging device using an image sensor such as a CMOS sensor is displayed as a moving image on a display device, the image data from the image sensor may be acquired in synchronization with the frame display timing of the image on the display device. desirable. When the frame periods of the image sensor and the display device are different, a memory (frame buffer) and a memory control circuit are arranged inside the display device or between the display device and the image sensor, and the frame data from the image sensor (for one frame) Is temporarily stored in the memory, and the frame data is output at the frame display timing of the display device, that is, in synchronization with the display operation of the display device (see, for example, Patent Document 1). .

しかしながら、この方法では、１フレームないしは数フレーム分の画像データをメモリに記憶する必要があり、大容量のメモリが必要となって装置構成が大型化するばかりでなく、複雑な回路が必要となってコストが増大するという問題がある。 However, in this method, it is necessary to store image data for one frame or several frames in a memory, which requires a large-capacity memory, which not only increases the apparatus configuration but also requires a complicated circuit. There is a problem that the cost increases.

ここで、画像センサのなかには、画像センサ内部の固定タイミングによる内部フレーム同期動作（ＶＩＤＥＯモード）のほかに、外部トリガモードと称されるモードを備えたものがあり、この外部トリガモードでは、外部トリガによる同期動作を行うことができるため、上記のようなフレームメモリは不要となる。 Here, some image sensors have a mode called an external trigger mode in addition to an internal frame synchronization operation (VIDEO mode) at a fixed timing inside the image sensor. In this external trigger mode, an external trigger is provided. Therefore, the frame memory as described above is not necessary.

しかしながら、一部の画像センサには、外部トリガモードを備えていないものや、外部トリガモードを備えるものの、その機能が制限（例えば露光と前のフレームの画像出力を同時に行うオーバーラップができないために高速化できない等）されているものがある。このような画像センサは、性能がよくても内部フレーム同期動作（ＶＩＤＥＯモード）で使用しなければならず、フレームバッファメモリ制御を用いて同期を取り直す必要があった。 However, some image sensors do not have an external trigger mode or have an external trigger mode, but their functions are limited (for example, they cannot overlap with exposure and image output of the previous frame at the same time). Some of them are not able to speed up. Such an image sensor has to be used in the internal frame synchronization operation (VIDEO mode) even if the performance is good, and it is necessary to re-synchronize using the frame buffer memory control.

また、フレームバッファを使用しない方法として、従来、外部機器側のフレーム同期信号の周期と、１フレームに必要なクロック数とから、画像センサの動作用クロックの周波数を決定して生成する方法、つまり、画像センサの動作用クロックを外部機器のフレーム周期に応じた周波数とする方法が知られている（例えば特許文献２参照）。しかし、画像センサによっては、性能を良好なものとするために推奨の周波数のクロック入力が求められているデバイスがあり、そのような画像センサに対してはこのような手法を適用することはできない。 Also, as a method not using a frame buffer, conventionally, a method of determining and generating the frequency of the operation clock of the image sensor from the cycle of the frame synchronization signal on the external device side and the number of clocks required for one frame, that is, A method is known in which the operation clock of the image sensor is set to a frequency corresponding to the frame period of the external device (see, for example, Patent Document 2). However, depending on the image sensor, there is a device that requires a clock input of a recommended frequency for good performance, and such a method cannot be applied to such an image sensor. .

特開平１１−２９６１５５号公報Japanese Patent Laid-Open No. 11-296155 特開２００１−２２８８１６号公報JP 2001-228816 A

本発明は上記した従来の各技術が有する諸問題を解決し、外部トリガモードを有さない、あるいは外部トリガモードを実質的に適用できない画像センサであっても、フレームバッファやその制御回路等の複雑な回路を使用することなく、また、画像センサの動作用クロックの周波数をその画像センサの推奨周波数としながらも、画像センサを外部機器からのフレーム周期に同期させることのできる撮像装置の制御装置の提供をその課題としている。 The present invention solves the problems of the conventional technologies described above, and even an image sensor that does not have an external trigger mode or cannot substantially apply the external trigger mode, such as a frame buffer and its control circuit. Control device for an image pickup apparatus that can synchronize the image sensor with a frame period from an external device without using a complicated circuit and using the frequency of the operation clock of the image sensor as a recommended frequency of the image sensor Is the issue.

上記の課題を解決するため、本発明の撮像装置の制御装置は、画像データを出力する画像センサを備えた撮像装置の制御装置であって、クロック発振器からの基準クロックに基づいて上記画像センサの動作用クロックを生成するセンサ動作用クロック生成手段と、上記画像センサのフレーム周期を記憶する記憶手段と、表示装置や記録装置などの画像データを出力すべき外部機器からのトリガ信号を受信するトリガ信号受信手段と、その受信したトリガ信号の周期を計測するトリガ周期計測手段と、計測したトリガ周期と上記記憶手段に記憶されているフレーム周期との差を算出するフレーム周期差算出手段と、その算出されたフレーム周期差の時間だけ上記センサ動作用クロック生成手段からのクロックを停止するクロック停止制御手段を備え、上記トリガ信号に同期して上記画像センサからのフレームデータを上記外部機器に供給するとともに、当該外部機器と上記画像センサとのフレーム周期差の時間だけ、上記画像センサの動作を停止することによって特徴づけられる（請求項１）。 In order to solve the above-described problems, a control device for an image pickup apparatus according to the present invention is a control device for an image pickup apparatus including an image sensor that outputs image data, and the image sensor is based on a reference clock from a clock oscillator. Trigger for receiving a trigger signal from an external device to output image data, such as a display device or a recording device, a sensor operation clock generating device for generating an operation clock, a storage device for storing the frame period of the image sensor A signal receiving means, a trigger period measuring means for measuring the period of the received trigger signal, a frame period difference calculating means for calculating a difference between the measured trigger period and the frame period stored in the storage means, and Clock stop control means for stopping the clock from the sensor operation clock generation means for the calculated frame period difference time. In addition, the frame data from the image sensor is supplied to the external device in synchronization with the trigger signal, and the operation of the image sensor is stopped for the time of the frame period difference between the external device and the image sensor. (Claim 1).

ここで、本発明においては、上記画像センサからの１フレームの画像出力の完了を検知する検知手段を備え、上記クロック停止制御手段は、その検知手段による検知後に上記動作用クロックを停止する構成（請求項２）を採用することが好ましい。 Here, in the present invention, there is provided a detecting means for detecting completion of output of one frame of image from the image sensor, and the clock stop control means stops the operation clock after detection by the detecting means ( It is preferable to adopt claim 2).

また、本発明においては、上記画像センサからの画像データを少なくとも１ライン分以上の一時的に記憶するラインバッファを備え、このラインバッファへの書き込みは上記画像センサの動作用クロックに同期して行うとともに、当該バッファからの読み出しは別のクロックに同期して行う構成（請求項３）を採用することもできる。 In the present invention, a line buffer that temporarily stores at least one line of image data from the image sensor is provided, and writing to the line buffer is performed in synchronization with the operation clock of the image sensor. In addition, it is possible to adopt a configuration in which reading from the buffer is performed in synchronization with another clock (claim 3).

本発明は、画像センサ側のフレーム周期と、表示装置等の外部機器のフレーム周期との差の時間だけ、画像センサに供給する動作用クロックを停止させることにより、互いに異なるフレーム周期を持つ画像センサと外部機器とを実質的に同期させることを可能とし、課題を解決するものである。 The present invention provides an image sensor having different frame periods by stopping the operation clock supplied to the image sensor for the time difference between the frame period of the image sensor and the frame period of an external device such as a display device. And the external device can be substantially synchronized to solve the problem.

すなわち、画像センサを例えばその最適周波数のクロックで動作させたときのフレーム周期が、表示装置等の外部機器のフレーム周期よりも短い場合、最適周波数のクロックで画像センサを動作させてそのままデータを出力すると、外部機器とは非同期となってしまうが、画像センサと外部機器の各フレーム周期の差の時間だけ画像センサの動作用クロックを停止し、その間の画像センサの動作を停止させることで、画像センサのフレーム周期を外部機器のフレーム周期に実質的に同期させることができる。 That is, for example, if the frame period when the image sensor is operated with the clock of the optimum frequency is shorter than the frame period of an external device such as a display device, the image sensor is operated with the clock of the optimum frequency and the data is output as it is. Then, although it becomes asynchronous with the external device, the image sensor operation clock is stopped for the time of the difference between the frame periods of the image sensor and the external device, and the operation of the image sensor during that time is stopped. The frame period of the sensor can be substantially synchronized with the frame period of the external device.

画像センサの動作用クロックを停止させるタイミングは、１フレームデータの出力の完了を検知する検知手段を設けて、その検知を行ってからとすることにより（請求項２）、フレームデータを確実に外部機器に対して出力することができる。 The timing to stop the operation clock of the image sensor is provided by detecting means for detecting the completion of output of one frame data, and after the detection is performed (Claim 2), the frame data is reliably externally output. Can be output to the device.

また、画像センサと外部機器のライン周期が相違する場合には、画像センサの動作用クロックの周波数で直接的に外部機器に出力することができないので、少なくとも１ライン分以上のラインデータを一時的に記憶するラインバッファを設け、そのラインバッファへの書き込みは画像センサの動作用クロックに同期して行い、読み出しは別のクロックに同期して行うこと（請求項３）、つまり外部機器に都合のよい周波数のクロックに同期してデータの読み出しを行うことで、画像センサの動作用クロックを独立させ、しかもライン周期の相違を吸収することができる。 In addition, when the line cycles of the image sensor and the external device are different, since it cannot be directly output to the external device at the frequency of the operation clock of the image sensor, at least one line of line data is temporarily stored. A line buffer for storing data is provided, and writing to the line buffer is performed in synchronization with the operation clock of the image sensor, and reading is performed in synchronization with another clock. By reading data in synchronization with a clock having a good frequency, the operation clock of the image sensor can be made independent and the difference in line cycle can be absorbed.

本発明によれば、画像センサと表示装置等の外部機器のフレーム周期に差があっても、その差の分だけ画像センサの動作用クロックを停止することにより、画像センサの動作をその分だけ停止させるので、画像センサと外部機器の各動作クロックの周波数が互いに相違していても、そのままの状態で画像センサのフレーム周期を外部機器のフレーム周期に同期させることができる。したがって、フレームバッファが不要となり、しかも、画像センサの動作用クロックの周波数を特に変更する必要もない。 According to the present invention, even if there is a difference in the frame period between the image sensor and an external device such as a display device, the operation of the image sensor is reduced by that amount by stopping the operation clock of the image sensor by the difference. Since the operation is stopped, the frame period of the image sensor can be synchronized with the frame period of the external device as it is even if the frequency of each operation clock of the image sensor and that of the external device are different from each other. Therefore, the frame buffer is not necessary, and there is no need to change the frequency of the operation clock of the image sensor.

また、画像センサの動作用クロックの停止を、１フレームのデータの出力完了を検知してから行うことにより、フレームデータが異常になることを防止することができる。 Further, by stopping the operation clock of the image sensor after detecting the completion of output of one frame of data, it is possible to prevent the frame data from becoming abnormal.

そして、ラインバッファを設けて、画像センサからの画像データの書き込みを当該画像センサの動作用クロックに同期して行い、その読み出しを別のクロック、例えば外部機器に対応したクロックで行うことにより、画像センサの動作用クロックを独立させることが可能となり、画像センサと、表示装置等の外部機器との双方をそれぞれに最適な周波数のクロックで動作させることが可能となる。 Then, by providing a line buffer, writing image data from the image sensor is performed in synchronization with the operation clock of the image sensor, and reading is performed with another clock, for example, a clock corresponding to an external device, thereby It is possible to make the operation clock of the sensor independent, and it is possible to operate both the image sensor and the external device such as a display device with a clock having an optimum frequency.

本発明の撮像装置を外部機器に接続した状態を示す構成図。The block diagram which shows the state which connected the imaging device of this invention to the external apparatus. 図１におけるセンサ制御部の構成例を示すブロック図。The block diagram which shows the structural example of the sensor control part in FIG. 図２におけるタイミング制御部の構成例を示すブロック図。FIG. 3 is a block diagram illustrating a configuration example of a timing control unit in FIG. 2. 図３のタイミング制御部のクロックマスク動作を表すタイムチャート。FIG. 4 is a time chart illustrating a clock mask operation of the timing control unit in FIG. 3. FIG. 外部機器からのトリガ信号に同期して画像データを出力するための画像センサの動作開始時におけるタイムチャート。The time chart at the time of the operation | movement start of the image sensor for outputting image data synchronizing with the trigger signal from an external apparatus. 図２における画像入力部の構成例を示すブロック図。The block diagram which shows the structural example of the image input part in FIG.

以下、図面を参照しつつ本発明の実施の形態について説明する。
図１は本発明の実施の撮像装置の構成を示すブロック図で、外部機器（表示装置もしくは録画装置）に接続した状態で示している。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus according to an embodiment of the present invention, in a state where it is connected to an external device (display device or recording device).

撮像装置１は、ＣＭＯＳセンサなどの画像センサ１１と、その画像センサ１１の受光面に被写体像を結像させるための光学レンズ１２、画像センサ１１を制御するためのセンサ制御部１３、およびこのセンサ制御部１３に基準クロックを供給する水晶発振器１４を主体として構成されている。 The imaging apparatus 1 includes an image sensor 11 such as a CMOS sensor, an optical lens 12 for forming a subject image on a light receiving surface of the image sensor 11, a sensor control unit 13 for controlling the image sensor 11, and the sensor. A crystal oscillator 14 that supplies a reference clock to the control unit 13 is mainly configured.

外部機器２は表示装置もしくは録画装置（記録装置）であって、この外部機器２と撮像装置１との間はカメラリンク等の画像データ転送用のケーブルによって接続されている。なお、本例では画像データ転送用のケーブルで接続しているが、ＵＳＢやＥｔｈｅｒｎｅｔ（登録商標）等のデータ転送用のケーブルで接続してもよい。 The external device 2 is a display device or a recording device (recording device), and the external device 2 and the imaging device 1 are connected by a cable for transferring image data such as a camera link. In this example, the image data transfer cable is used for connection, but a USB or Ethernet (registered trademark) data transfer cable may be used.

画像センサ１１は２次元の撮像素子のほかにＡ−Ｄ変換器を含み、撮像素子の受光面に結像した被写体像情報をデジタルデータとして送信する。画像センサ１１内では、蓄積容量のリセット、電荷の蓄積、サンプリング、Ａ−Ｄ変換がライン単位で制御され、また、各ラインの画像データの出力は画素単位で制御が行われる。これらの制御は、後述するセンサ制御部１３から供給される動作用クロック（以下、センサクロックと称する）を基準に画像センサ１１内で水平同期信号や垂直同期信号などのタイミング信号を生成して、そのタイミング信号に基づいて動作を行う。そのため、画像センサ１１はセンサ制御部１３からのセンサクロックに同期して動作することになる。なお、図１の例では画像センサ内のＡ−Ｄ変換器を含んでいるが、画像センサ内に含まず、センサ制御部１３に含むようにしてもよい。
画像センサ１１で生成された画像データは、画像データの有効区間を示すタイミング信号および転送クロックと共に、センサ制御部１３に送られる。 The image sensor 11 includes an A-D converter in addition to the two-dimensional image sensor, and transmits subject image information formed on the light receiving surface of the image sensor as digital data. In the image sensor 11, the storage capacitor reset, charge accumulation, sampling, and A-D conversion are controlled in units of lines, and the output of image data for each line is controlled in units of pixels. These controls are performed by generating timing signals such as a horizontal synchronization signal and a vertical synchronization signal in the image sensor 11 based on an operation clock (hereinafter referred to as a sensor clock) supplied from a sensor control unit 13 described later. An operation is performed based on the timing signal. Therefore, the image sensor 11 operates in synchronization with the sensor clock from the sensor control unit 13. 1 includes the A-D converter in the image sensor, it may be included in the sensor control unit 13 without being included in the image sensor.
Image data generated by the image sensor 11 is sent to the sensor control unit 13 together with a timing signal indicating a valid section of the image data and a transfer clock.

センサ制御部１３から画像センサ１１に送られるセンサクロックの元となり、また、センサ制御部１３の内部回路を動作させるための内部クロックの元となる基準クロックは、センサ制御部１３に接続された水晶発振器１４から供給される。 The reference clock that is the source of the sensor clock sent from the sensor control unit 13 to the image sensor 11 and the source of the internal clock for operating the internal circuit of the sensor control unit 13 is a crystal connected to the sensor control unit 13. Supplied from the oscillator 14.

画像センサ１１とセンサ制御部１３との間は通信信号で結ばれ、この通信信号は画像センサ１１のタイミング等の設定を行うために使用される。 The image sensor 11 and the sensor control unit 13 are connected by a communication signal, and this communication signal is used for setting the timing and the like of the image sensor 11.

また、表示装置や録画装置などの外部機器２の表示タイミングまたは記録タイミングに画像センサ１１を同期させるため、外部機器２から各フレームデータの開始のタイミングを示すトリガ信号がセンサ制御部１３に供給される。センサ制御部１３では、入力したトリガ信号を基準に画像センサ１１の動作有効信号とセンサクロックを制御することにより、外部機器２に対する画像センサ１１のフレーム同期を行う。 Further, in order to synchronize the image sensor 11 with the display timing or recording timing of the external device 2 such as a display device or a recording device, a trigger signal indicating the start timing of each frame data is supplied from the external device 2 to the sensor control unit 13. The The sensor control unit 13 performs frame synchronization of the image sensor 11 with respect to the external device 2 by controlling the operation valid signal and the sensor clock of the image sensor 11 based on the input trigger signal.

なお、図１の例では１台の撮像装置１のみを外部機器２に接続しているが、１台の外部機器２に対して２台以上の撮像装置１を接続して重畳表示等を行うこともできる。 In the example of FIG. 1, only one imaging device 1 is connected to the external device 2, but two or more imaging devices 1 are connected to one external device 2 to perform superimposed display or the like. You can also.

さて、図２に本発明の特徴であるセンサ制御部１３の構成例をブロック図で示す。センサ制御部１３は、クロック生成部２１、タイミング制御部２２、画像入力部２３、画像出力部２４、および通信制御部２５から構成されている。 Now, FIG. 2 is a block diagram showing a configuration example of the sensor control unit 13 which is a feature of the present invention. The sensor control unit 13 includes a clock generation unit 21, a timing control unit 22, an image input unit 23, an image output unit 24, and a communication control unit 25.

画像入力部２３は画像センサ１１からの画像データを受信する。この画像入力部２３には、少なくとも１ライン分、好ましくは数ライン分の画像データを蓄積可能なメモリが搭載されており、入力された画像データを図１の画像センサ１１からのタイミング（画像データとともに送られてくるクロックに同期）で蓄積し、蓄積した画像データをセンサ制御部１３の内部のタイミング（後述する内部クロックに同期）で読み出して出力する。なお、この画像入力部２３の具体的な構成例は後述する。 The image input unit 23 receives image data from the image sensor 11. The image input unit 23 is equipped with a memory capable of storing image data for at least one line, preferably several lines. The input image data is received from the image sensor 11 in FIG. The stored image data is read out at the internal timing of the sensor control unit 13 (synchronized with an internal clock described later) and output. A specific configuration example of the image input unit 23 will be described later.

画像入力部２３から出力された画像データは画像出力部２４に入力され、画像出力部２４では図１の外部機器２へ出力するインターフェースによって構成され、入力した画像データを例えばカメラリンク信号形式および信号レベルに変換して出力する。なお、図２の例では、画像入力部２３と画像出力部２４が直接接続されているが、画像入力部２３と画像出力部２４の間に画像処理部を設け、γ補正、欠損補正等の画像処理を行ってもよい。 The image data output from the image input unit 23 is input to the image output unit 24, and the image output unit 24 is configured by an interface that outputs to the external device 2 in FIG. Convert to level and output. In the example of FIG. 2, the image input unit 23 and the image output unit 24 are directly connected. However, an image processing unit is provided between the image input unit 23 and the image output unit 24 to perform γ correction, loss correction, and the like. Image processing may be performed.

クロック生成部２１は例えばＰＬＬ等で構成され、図１の水晶発振器１４から供給される基準クロックから、画像センサ１１動作用のセンサクロックと、センサ制御部１３自体を動作させるための内部クロックを生成する。センサクロックの周波数は画像センサ１１に適した周波数であり、この周波数は、画像センサの製造元により指定されている場合もある。一方、内部クロックの周波数は、フレームレートを満たし、なおかつ外部機器２に対応した周波数である。なお、この例では、センサクロックと内部クロックの各周波数は互いに異なる例を示しているが、画像センサ１１と外部機器２の条件が合うのであれば同一の周波数でもかまわない。 The clock generation unit 21 is configured by a PLL, for example, and generates a sensor clock for operating the image sensor 11 and an internal clock for operating the sensor control unit 13 itself from the reference clock supplied from the crystal oscillator 14 of FIG. To do. The frequency of the sensor clock is a frequency suitable for the image sensor 11, and this frequency may be specified by the manufacturer of the image sensor. On the other hand, the frequency of the internal clock is a frequency that satisfies the frame rate and corresponds to the external device 2. In this example, the frequency of the sensor clock and the internal clock are different from each other. However, the same frequency may be used as long as the conditions of the image sensor 11 and the external device 2 are met.

タイミング制御部２２は、外部機器２から送られてくるトリガ信号を基準として動作有効信号を生成するとともに、その動作有効信号と、上記したクロック生成部２１で生成されたセンサクロックを以下に示すようにマスクを掛けた上で画像センサ１１に供給する。 The timing control unit 22 generates an operation valid signal based on the trigger signal sent from the external device 2, and the operation valid signal and the sensor clock generated by the clock generation unit 21 are as shown below. A mask is applied to the image sensor 11 and then supplied to the image sensor 11.

通信制御部２５は、画像センサ１１に対してタイミングやモード設定のための通信を行う。具体的には、この通信制御部２５にはＣＰＵとプログラムＲＯＭを搭載し、電源投入後に、画像センサ１１に対して、１フレームのライン数（画像有効ライン＋ブランキング）と１ライン当たりのクロック数等のタイミングに関する設定および通信の信号の生成を行う。なお、ＣＰＵは特に搭載しなくてもよいし、他の代替手段で賄うこともできる。 The communication control unit 25 performs communication for timing and mode setting to the image sensor 11. Specifically, the communication control unit 25 is equipped with a CPU and a program ROM. After the power is turned on, the number of lines per frame (image effective line + blanking) and the clock per line are set for the image sensor 11. Settings related to timing such as number and generation of communication signals are performed. The CPU does not need to be mounted in particular, and can be covered by other alternative means.

図３にタイミング制御部２２の構成例を示すブロック図を示し、図４にはタイミング制御部２２におけるクロックマスク動作を表すタイムチャートを示す。これらの図を参照しつつ、以下にタイミング制御部２２によるセンサクロックのマスク処理の動作について詳述する。 FIG. 3 is a block diagram showing a configuration example of the timing control unit 22, and FIG. 4 is a time chart showing a clock mask operation in the timing control unit 22. The operation of sensor clock masking by the timing controller 22 will be described in detail below with reference to these drawings.

周期カウント部３１は、図４（ｂ）に示す外部機器２からのトリガ信号の立ち上がりエッジを検出し、前後のトリガ信号の立ち上がりエッジ間においてセンサクロックをカウントし、２つのトリガ信号間の時間、つまり外部機器２における１フレームの周期を表すクロック数を図４（ｃ）に示す時間領域において出力する。具体的構成としてセンサクロックをカウントするカウンタを有し、トリガ信号の立ち上がりエッジの検出により、それまでのカウント値を保持して出力し、同時にカウント値を０にクリアしてセンサクロックの立ち上がりでカウントアップを行う。なお、トリガ信号はある程度一定の間隔でアサートするものとする（表示装置もしくは録画装置等の外部機器２が６０ｆｐｓであれば約１６．６６６ｍｓ毎）。また、画像表示装置等の外部機器２が生成するトリガ信号は、センサクロックとは非同期であることが多いため、上記の動作において不安定状態になることを避けるためにトリガ信号の入力時にメタステーブルの対策を行い、センサクロックに同期させる。 The period counting unit 31 detects the rising edge of the trigger signal from the external device 2 shown in FIG. 4B, counts the sensor clock between the rising edges of the preceding and succeeding trigger signals, and the time between the two trigger signals, That is, the number of clocks representing the period of one frame in the external device 2 is output in the time domain shown in FIG. As a specific configuration, it has a counter that counts the sensor clock, and by detecting the rising edge of the trigger signal, it holds and outputs the count value up to that time, and simultaneously clears the count value to 0 and counts at the rise of the sensor clock. Do up. Assume that the trigger signal is asserted at a certain interval (about 16.666 ms if the external device 2 such as a display device or a recording device is 60 fps). In addition, since the trigger signal generated by the external device 2 such as an image display device is often asynchronous with the sensor clock, the metastable is input when the trigger signal is input in order to avoid an unstable state in the above operation. Take measures to synchronize with the sensor clock.

メモリ３２では、画像センサ１１のフレーム周期を表すクロック数の情報を記憶している。画像センサ１１は１フレームのライン数（画像有効ライン＋ブランキング）と１ライン当たりのクロック数が設定されおり、ライン数と１ライン当たりのクロック数を積算した値がフレーム周期のクロック数となる。なお、この例において画像センサ１１は内部フレーム同期動作（ＶＩＤＥＯモード）で動作することを想定しており、上記のライン数、１ライン当たりのクロック数の積算値のサイクル毎に画像データの出力を行う。画像センサ１１のモードおよびライン数、クロック数については通信制御部２５を通じて画像センサ１１に設定される。 The memory 32 stores information on the number of clocks representing the frame period of the image sensor 11. In the image sensor 11, the number of lines per frame (image effective line + blanking) and the number of clocks per line are set, and the value obtained by integrating the number of lines and the number of clocks per line is the number of clocks in the frame period. . In this example, it is assumed that the image sensor 11 operates in an internal frame synchronization operation (VIDEO mode), and image data is output for each cycle of the integrated value of the number of lines and the number of clocks per line. Do. The mode, the number of lines, and the number of clocks of the image sensor 11 are set in the image sensor 11 through the communication control unit 25.

減算部３３は、前記した周期カウント部３１からの直前のトリガ信号とその一つ前のトリガ信号との間隔、つまり外部機器２のフレーム周期に対応するクロック数と、メモリ３２に記憶している画像センサ１１のフレーム周期に対応するクロック数を入力し、外部機器２のフレーム周期から画像センサ１１のフレーム周期を減算し、図４（ｄ）に示す時間領域にその結果をマスク区間幅として出力する。なお、トリガ信号間の周期、つまり外部機器２側のフレーム周期は、必ず画像センサ１１のフレーム周期よりも長くなければならない。そのため、画像センサ１１のフレームレートは外部機器２（表示装置または録画装置）のフレームレートよりも大きくなければならない。実施例としては、画像センサ１１のクロック周波数１１４ＭＨｚで、フレームレート６０．０１５ｆｐｓ、フレーム周期１６．６６２ｍｓ（クロック数１，８９９，５２０）であり、外部機器２のフレームレート６０ｆｐｓ、フレーム周期１６．６６６ｍｓ（クロック数１，９００，０００）である。この場合、減算部３３による減算値は４８０クロックとなる。 The subtracting unit 33 stores the interval between the immediately preceding trigger signal from the cycle counting unit 31 and the immediately preceding trigger signal, that is, the number of clocks corresponding to the frame cycle of the external device 2, in the memory 32. The number of clocks corresponding to the frame period of the image sensor 11 is input, the frame period of the image sensor 11 is subtracted from the frame period of the external device 2, and the result is output as a mask section width in the time domain shown in FIG. To do. Note that the period between trigger signals, that is, the frame period on the external device 2 side, must always be longer than the frame period of the image sensor 11. For this reason, the frame rate of the image sensor 11 must be larger than the frame rate of the external device 2 (display device or recording device). As an example, the clock frequency of the image sensor 11 is 114 MHz, the frame rate is 60.15 fps, the frame period is 16.662 ms (the number of clocks is 1,899,520), the frame rate of the external device 2 is 60 fps, and the frame period is 16.666 ms. (Number of clocks 1,900,000). In this case, the subtraction value by the subtraction unit 33 is 480 clocks.

マスク信号生成部３４は、画像センサ１１からのタイミング信号をモニタすることにより、１フレームの画像データの出力の完了を検知し、その検知のタイミングを基準に、減算部３３により求められたマスク区間幅分だけアサートし、図４（ｇ）に示すようなマスク信号を出力する。具体的には、画像センサ１１からの図４（ｅ）に示すような垂直同期信号（Ｌｏｗアクティブ）の立ち上がりを検出した時点でマスク信号をアサートし、内蔵のカウンタによるセンサクロックのカウント値が減算部３３で求められた減算値と等しくなったタイミングでマスク信号をネゲートする。 The mask signal generation unit 34 detects the completion of output of one frame of image data by monitoring the timing signal from the image sensor 11, and the mask interval obtained by the subtraction unit 33 based on the detection timing. Assert by the width and output a mask signal as shown in FIG. Specifically, the mask signal is asserted when the rising edge of the vertical synchronization signal (Low active) as shown in FIG. 4E from the image sensor 11 is detected, and the count value of the sensor clock by the built-in counter is subtracted. The mask signal is negated at a timing equal to the subtraction value obtained by the unit 33.

クロックマスク部３５は論理和回路で構成され、クロック生成部２１で生成した図４（ａ）に示すセンサクロックと、マスク信号生成部３４で生成した図４（ｇ）に示すマスク信号の論理和信号を生成することにより、図４（ｈ）に示すように、センサクロックがその一部時間領域で欠落した信号、換言すれば一部時間領域においてセンサクロックが停止している状態の信号を作り、画像センサ１１を動作させるセンサクロックとして出力する。前記したように、画像センサ１１は供給されたセンサクロックを基準として動作を行うため、クロックのマスク区間中は動作を停止することになる。 The clock mask unit 35 is composed of an OR circuit, and the logical sum of the sensor clock shown in FIG. 4A generated by the clock generation unit 21 and the mask signal shown in FIG. 4G generated by the mask signal generation unit 34. By generating the signal, as shown in FIG. 4 (h), a signal in which the sensor clock is missing in the partial time domain, in other words, a signal in a state where the sensor clock is stopped in the partial time domain is generated. And output as a sensor clock for operating the image sensor 11. As described above, since the image sensor 11 operates with reference to the supplied sensor clock, the operation is stopped during the clock mask period.

有効信号生成部３６は、撮像、出力動作の許可／禁止を制御する動作有効信号を生成する回路であり、この動作有効信号によって外部機器２からのトリガ信号と画像データの出力タイミングをコントロールすることができる。この点については後で詳述する。 The valid signal generation unit 36 is a circuit that generates an operation valid signal for controlling permission / prohibition of imaging and output operations, and controls the output timing of the trigger signal and the image data from the external device 2 by the operation valid signal. Can do. This point will be described in detail later.

以上の動作により、ＶＩＤＥＯモードで動作する画像センサ１１は設定された周期（ライン数×１ラインのクロック数、実施例では１１４ＭＨｚ、１，８９９，５２９クロック）毎に画像出力を行うが、画像出力完了後に外部機器２のフレーム周期との差のクロック数分（実施例では４８０クロック）だけクロックを停止するため、画像センサ１１は外部トリガ信号と実質的に同じフレームレート（実施例では６０ｆｐｓ、１１４ＭＨｚ、１，９００，０００クロック）で動作することが可能となる。また、以上の動作において、垂直同期信号などの画像センサからのタイミング信号から画像出力が完了したことを検知してからクロックを停止するので、画像出力中にクロックを停止することによる一部画像データの出力停止といった弊害も生じない。 With the above operation, the image sensor 11 operating in the VIDEO mode outputs an image every set period (number of lines × number of clocks of one line, 114 MHz in the embodiment, 1,899,529 clocks). Since the clock is stopped by the number of clocks corresponding to the difference from the frame period of the external device 2 after completion (480 clocks in the embodiment), the image sensor 11 has substantially the same frame rate as the external trigger signal (60 fps, 114 MHz in the embodiment). , 1,900,000 clocks). In the above operation, since the clock is stopped after detecting the completion of the image output from the timing signal from the image sensor such as the vertical synchronization signal, the partial image data by stopping the clock during the image output. There is no negative effect such as stopping the output.

次に、外部機器２からのトリガ信号に同期して画像データを出力する方法について、図５に示すタイムチャートを参照しつつ以下に説明する。画像センサ１１には、撮像、出力動作の許可／禁止を制御する図５（ｃ）に示す動作有効信号が、前記したセンサ制御部１３の有効信号生成部３６（図３参照）から供給される。この動作有効信号のアサート後に、図５（ｄ）に示すように撮像（露光）を開始し、撮像完了次第図５（ｅ）の画像センサタイミング信号を出力し、同図（ｆ）のように画像データの出力を開始する。各フレームの露光時間は画像センサ１１に設定可能であり、あらかじめ決められた値である。そのため、外部機器２からのトリガ信号を基準に動作有効信号をコントロールすることにより、そのトリガ信号と画像データの出力タイミングをコントロールすることができる。 Next, a method for outputting image data in synchronization with a trigger signal from the external device 2 will be described below with reference to a time chart shown in FIG. The image sensor 11 is supplied with the operation valid signal shown in FIG. 5C for controlling the permission / prohibition of the imaging and output operations from the valid signal generator 36 (see FIG. 3) of the sensor controller 13 described above. . After the assertion of the operation valid signal, imaging (exposure) is started as shown in FIG. 5D, and upon completion of imaging, the image sensor timing signal of FIG. 5E is output, as shown in FIG. Start outputting image data. The exposure time of each frame can be set in the image sensor 11 and is a predetermined value. Therefore, by controlling the operation valid signal based on the trigger signal from the external device 2, the output timing of the trigger signal and image data can be controlled.

具体的には有効信号生成部３６において、外部機器２からのトリガ信号の周期から露光時間を減算した値をクロック数の形で保持し、外部機器２からのトリガ信号の立ち上がりからクロックをカウントし、減算した値のクロック数に達した以降に動作有効信号をアサートする。 Specifically, the effective signal generation unit 36 holds a value obtained by subtracting the exposure time from the cycle of the trigger signal from the external device 2 in the form of the number of clocks, and counts the clock from the rising edge of the trigger signal from the external device 2. The operation valid signal is asserted after reaching the subtracted clock number.

このようにしてトリガ信号に同期して出力された画像データは、前記した図２に示したセンサ制御部１３の画像入力部２３に取り込まれ、この画像入力部２３に１ないしは数ライン分の画像データを蓄積するメモリ（ラインバッファ）を設けて、その書き込みをセンサクロックで行い、読み出しを内部クロックで行うことは既に述べたが、以下にこの画像入力部２３の構成例について述べる。 The image data output in synchronization with the trigger signal in this way is taken into the image input unit 23 of the sensor control unit 13 shown in FIG. 2, and one or several lines of images are stored in the image input unit 23. Although it has already been described that a memory (line buffer) for storing data is provided, the writing is performed by the sensor clock, and the reading is performed by the internal clock, a configuration example of the image input unit 23 will be described below.

図６に画像入力部２３の構成例をブロック図で示す。この例では、ラインバッファとしてデュアルポートのＳＲＡＭ４１を用い、その一方のポートに書き込み制御部４２を介して画像センサ１１からのタイミング信号（センサクロック、水平同期信号）と画像データを入力するとともに、他方のポートは読み出し制御部４３を介して外部機器２に接続する。この読み出し制御部４３の出力タイミング信号はタイミング信号生成部４４により生成する。このタイミング信号生成部４４による出力タイミング信号は、外部機器２のタイミングと一致させる。
ラインバッファのＳＲＡＭ４１の必要容量は、書き込みのライン速度（ライン周期の逆数）や読み出しのライン速度の差により異なる。それぞれのライン速度に差がある場合は、ＳＲＡＭ４１への書き込みのアドレスに対して読み出しのアドレスが追い越さないように制御する必要がある。書き込みライン速度が速い場合は、書き込みと読み出しを同時に開始しても、読み出し速度が遅いため、書き込みが先に終了する。そのため、書き込みが終了した時点で、まだ読み出しが終了していない分のデータ容量はＳＲＡＭ４１に格納する必要がある。また読み出しライン速度が早い場合は、読み出し時間の方が短いため、追い越しが発生しないように、ある程度書き込みが完了してから読み出しを開始する必要がある。そのため、読み出しが開始するまでの書き込みを行う分のデータ容量をＳＲＡＭ４１に格納する必要がある。具体的には、（１−遅いライン速度÷早いライン速度）×１フレームの有効ライン数、以上の容量が少なくとも必要となる。なお、実施例ではＣＭＯＳセンサ（書き込み）のライン速度は６３．６ＫＨｚであり、表示機器（読み出し）のライン速度は６４ＫＨｚであり、１フレームの有効ライン数は１０２４のため、６．４ライン以上のメモリが必要となる。実際には８ライン分の容量を持つメモリを搭載する。 FIG. 6 is a block diagram illustrating a configuration example of the image input unit 23. In this example, a dual-port SRAM 41 is used as a line buffer, and a timing signal (sensor clock, horizontal synchronization signal) and image data from the image sensor 11 are input to one of the ports via the write control unit 42, and the other Is connected to the external device 2 via the read control unit 43. An output timing signal of the read control unit 43 is generated by a timing signal generation unit 44. The output timing signal from the timing signal generation unit 44 is matched with the timing of the external device 2.
The required capacity of the SRAM 41 of the line buffer varies depending on the difference in the writing line speed (reciprocal of the line cycle) and the reading line speed. When there is a difference between the line speeds, it is necessary to control so that the read address does not overtake the write address to the SRAM 41. When the writing line speed is high, even if writing and reading are started at the same time, the reading speed is low, and thus writing ends first. Therefore, it is necessary to store in the SRAM 41 the data capacity that has not been read yet when writing is completed. When the read line speed is high, the read time is shorter, so that it is necessary to start reading after completion of writing to some extent so that overtaking does not occur. Therefore, it is necessary to store in the SRAM 41 a data capacity for writing until reading is started. Specifically, at least (1−slow line speed ÷ high line speed) × the number of effective lines of one frame, the above capacity is required. In the embodiment, the line speed of the CMOS sensor (writing) is 63.6 KHz, the line speed of the display device (reading) is 64 KHz, and the number of effective lines in one frame is 1024. Memory is required. Actually, a memory having a capacity for 8 lines is mounted.

以上の構成により、ＳＲＡＭ４１には画像センサ１１の動作タイミングであるセンサクロックと水平同期信号等の画像センサ１１に最適なタイミングで画像データが書き込まれ、その書き込まれたデータは、外部機器２に最適なタイミングで画像出力部２４を介して外部機器２に送ることができる。 With the above configuration, image data is written in the SRAM 41 at an optimal timing for the image sensor 11 such as a sensor clock and a horizontal synchronization signal as the operation timing of the image sensor 11, and the written data is optimal for the external device 2. The image can be sent to the external device 2 via the image output unit 24 at an appropriate timing.

１撮像装置
２外部機器
１１画像センサ
１２光学レンズ
１３センサ制御部
１４水晶発振器
２１クロック生成部
２２タイミング制御部
２３画像入力部
２４画像出力部
２５通信制御部
３１周期カウント部
３２メモリ
３３減算部
３４マスク信号生成部
３５クロックマスク部
３６有効信号生成部
４１ＳＲＡＭ
４２書き込み制御部
４３読み出し制御部
４４タイミング信号生成部 DESCRIPTION OF SYMBOLS 1 Imaging device 2 External apparatus 11 Image sensor 12 Optical lens 13 Sensor control part 14 Crystal oscillator 21 Clock generation part 22 Timing control part 23 Image input part 24 Image output part 25 Communication control part 31 Period count part 32 Memory 33 Subtraction part 34 Mask Signal generation unit 35 Clock mask unit 36 Effective signal generation unit 41 SRAM
42 Write Control Unit 43 Read Control Unit 44 Timing Signal Generation Unit

Claims

画像データを出力する画像センサを備えた撮像装置の制御装置であって、
クロック発振器からの基準クロックに基づいて上記画像センサの動作用クロックを生成する動作用クロック生成手段と、上記画像センサのフレーム周期を記憶する記憶手段と、表示装置や記録装置などの画像データを出力すべき外部機器からのトリガ信号を受信するトリガ信号受信手段と、その受信したトリガ信号の周期を計測するトリガ周期計測手段と、計測したトリガ周期と上記記憶手段に記憶されているフレーム周期との差を算出するフレーム周期差算出手段と、その算出されたフレーム周期差の時間だけ上記動作用クロック生成手段からのクロックを停止するクロック停止制御手段を備え、上記トリガ信号に同期して上記画像センサからのフレームデータを上記外部機器に供給するとともに、当該外部機器と上記画像センサとのフレーム周期差の時間だけ、上記画像センサの動作を停止するよう構成されていることを特徴とする撮像装置の制御装置。 A control device for an imaging device including an image sensor that outputs image data,
An operation clock generating means for generating an operation clock for the image sensor based on a reference clock from a clock oscillator, a storage means for storing the frame period of the image sensor, and outputting image data such as a display device or a recording device A trigger signal receiving means for receiving a trigger signal from an external device to be measured, a trigger period measuring means for measuring a period of the received trigger signal, a measured trigger period, and a frame period stored in the storage means A frame period difference calculating means for calculating a difference; and a clock stop control means for stopping the clock from the operation clock generating means for a time corresponding to the calculated frame period difference, wherein the image sensor is synchronized with the trigger signal. Frame data from the external device and the frame between the external device and the image sensor. Just in time arm period difference, the control unit of the imaging apparatus characterized by being configured to stop the operation of the image sensor.

上記画像センサの１フレームの画像出力の完了を検知する検知手段を備え、上記クロック停止制御手段は、その検知手段による検知後に上記動作用クロックを停止することを特徴とする請求項１に記載の撮像装置の制御装置。 2. The detection unit according to claim 1, further comprising detection means for detecting completion of image output of one frame of the image sensor, wherein the clock stop control means stops the operation clock after detection by the detection means. Control device for imaging device.

上記画像センサからの画像データを少なくとも１ライン分だけ一時的に記憶するラインバッファを備え、このラインバッファへの書き込みは上記画像センサの動作用クロックに同期して行うとともに、当該バッファからの読み出しは別のクロックに同期して行うことを特徴とする請求項１または２に記載の撮像装置の制御装置。 A line buffer that temporarily stores at least one line of image data from the image sensor is provided, and writing to the line buffer is performed in synchronization with the operation clock of the image sensor, and reading from the buffer is performed The control apparatus for an image pickup apparatus according to claim 1, wherein the control is performed in synchronization with another clock.