JP4302485B2

JP4302485B2 - Imaging device, image acquisition device, and imaging system

Info

Publication number: JP4302485B2
Application number: JP2003370919A
Authority: JP
Inventors: 貴之井上
Original assignee: Hamamatsu Photonics KK
Current assignee: Hamamatsu Photonics KK
Priority date: 2003-10-30
Filing date: 2003-10-30
Publication date: 2009-07-29
Anticipated expiration: 2023-10-30
Also published as: JP2005136720A

Description

本発明は、撮像装置、画像取得装置、及び撮像システムに関する。 The present invention relates to an imaging device, an image acquisition device, and an imaging system.

先端技術の分野では従来よりも高速の撮像システムが要求されている。ある種の撮像システムでは、低解像度でも構わないので取りこぼし無く高フレームレートで撮像したいということが要求されている。この要求に応えるために、撮像システムの撮像部及び画像取得部の少なくともいずれか一方に大容量メモリを備えたものがある（例えば、下記非特許文献１参照）。
「データスピゴット（ＤａｔａＳｐｉｇｏｔ）シリーズカタログ」、株式会社グラフイン、２００２年７月発行。 In the field of advanced technology, a higher-speed imaging system is required than before. A certain type of imaging system is required to capture images at a high frame rate without losing sight because low resolution is acceptable. In order to meet this requirement, there is one in which at least one of the imaging unit and the image acquisition unit of the imaging system includes a large-capacity memory (for example, see Non-Patent Document 1 below).
"Data Spigot Series Catalog", Grafin Inc., issued July 2002.

上記非特許文献１に記載のように大容量メモリを備えて、その大容量メモリに撮像した画像データを取り込む技術では、高フレームレート化の要請に対してメモリ容量を更に増やす必要があると共に、いかにメモリ容量を増やしてもそのメモリ容量によって撮像時間が制限されるといった解決すべき技術的課題がある。 As described in Non-Patent Document 1, in the technology that includes a large-capacity memory and captures image data captured in the large-capacity memory, it is necessary to further increase the memory capacity in response to a request for a high frame rate. There is a technical problem to be solved that no matter how much the memory capacity is increased, the imaging time is limited by the memory capacity.

そこで本発明では、撮影時間に実質的な制限がない撮像装置、画像取得装置、及び撮像システムを提供することを課題とする。 Therefore, an object of the present invention is to provide an imaging device, an image acquisition device, and an imaging system that have no substantial limitation on the shooting time.

本発明者らは撮影時間に制限のない撮像システムを提供するために、撮像部として高フレームレートモードを有する固体撮像素子、画像取得部として汎用のフレームグラバ、及びパーソナルコンピュータを用いたカメラシステムを構築した。具体的には図１に示すように、固体撮像素子を含むカメラ１ａと、パーソナルコンピュータ１ｂと、フレームグラバ１ｃとからなるカメラシステム１を構築した。このカメラシステム１では、フレームグラバ１ｃはパーソナルコンピュータ１ｂの内部に組み込まれている。カメラ１ａが撮影した画像データはデジタル変換されてデジタルインタフェイスケーブルを通ってパーソナルコンピュータ１ｂに出力される。この出力された画像データはパーソナルコンピュータ１ｂ内部に組み込まれているフレームグラバ１ｃの画像取得部１１ｃに受け渡される。画像取得部１１ｃは受け渡された画像データをそのフレームごとに、フレームグラバ１ｃ内に設けられているバッファ（１）１２ｃ〜バッファ（３）１４ｃに蓄積する。バッファ（１）１２ｃ〜バッファ（３）１４ｃに蓄積された画像データは、順次メモリ（１）１１ｂ、メモリ（２）１２ｂ、メモリ（３）１３ｂ、・・・、メモリ（ｎ）１ｎｂに格納される。 In order to provide an imaging system with no limitation on shooting time, the present inventors have provided a camera system using a solid-state imaging device having a high frame rate mode as an imaging unit, a general-purpose frame grabber as an image acquisition unit, and a personal computer. It was constructed. Specifically, as shown in FIG. 1, a camera system 1 including a camera 1a including a solid-state imaging device, a personal computer 1b, and a frame grabber 1c was constructed. In this camera system 1, the frame grabber 1c is incorporated in the personal computer 1b. Image data photographed by the camera 1a is digitally converted and output to the personal computer 1b through a digital interface cable. The output image data is transferred to the image acquisition unit 11c of the frame grabber 1c incorporated in the personal computer 1b. The image acquisition unit 11c accumulates the received image data for each frame in the buffers (1) 12c to (3) 14c provided in the frame grabber 1c. The image data accumulated in the buffer (1) 12c to the buffer (3) 14c are sequentially stored in the memory (1) 11b, the memory (2) 12b, the memory (3) 13b,..., The memory (n) 1nb. The

各メモリに画像データが格納されるタイミングを図２（適宜図１参照）を参照しながら説明する。図２では時間軸を図中右から左に取っている。カメラ１ａ（図１参照）で撮像された画像データはデジタル変換されて、図２のフレーム１〜５のタイミングでフレームグラバ１ｃ（図１参照）に出力される。フレームグラバ１ｃのバッファ（１）１２ｃ〜バッファ（３）１４ｃ（図１参照）は、図２のバッファ１〜３のタイミングで受け渡された画像データをバッファリングする。その後、バッファ（１）１２ｃ〜バッファ（３）１４ｃから各メモリに画像データがコピーされる。例えば、図２のコピー１のタイミングではバッファ（１）１２ｃからメモリ（１）１１ｂへ、コピー２のタイミングではバッファ（２）１３ｃからメモリ（２）１２ｂへ、コピー３のタイミングではバッファ（３）１４ｃからメモリ（３）１３ｂへそれぞれ画像データがコピーされ、コピー４のタイミングではバッファ（１）１２ｃからメモリ（４）１４ｂへというように順次画像データがコピーされる。ところで、このカメラシステム１では上記課題を解決できるものの、画像のとりこぼしが発生した。本発明者らはこの取りこぼしの原因を次のように考察した。 The timing at which image data is stored in each memory will be described with reference to FIG. 2 (see FIG. 1 as appropriate). In FIG. 2, the time axis is taken from right to left in the figure. Image data captured by the camera 1a (see FIG. 1) is digitally converted and output to the frame grabber 1c (see FIG. 1) at the timing of frames 1 to 5 in FIG. The buffer (1) 12c to buffer (3) 14c (see FIG. 1) of the frame grabber 1c buffer the image data transferred at the timing of the buffers 1 to 3 in FIG. Thereafter, the image data is copied from the buffer (1) 12c to the buffer (3) 14c to each memory. For example, the buffer (1) 12c to the memory (1) 11b at the timing of copy 1 in FIG. 2, the buffer (2) 13c to the memory (2) 12b at the timing of copy 2, and the buffer (3) at the timing of copy 3 in FIG. Image data is copied from 14c to the memory (3) 13b, and at the timing of copy 4, the image data is sequentially copied from the buffer (1) 12c to the memory (4) 14b. By the way, although the camera system 1 can solve the above-mentioned problems, the image is lost. The present inventors considered the cause of this failure as follows.

画像を取り込む繰り返しレートが高くなり、図２における各フレームの時間及び各バッファの時間が短くなるとコピールーチンの呼び出し回数が増えて、その呼び出しにおけるコピーの時間に対してオーバヘッドの占める割合が多くなる。この様子を図３に示す。図３も図２同様に各メモリに画像データ格納されるタイミングを示しており、時間軸を図中右から左に取っている。 When the repetition rate for capturing an image increases and the time of each frame and the time of each buffer in FIG. 2 become shorter, the number of times the copy routine is called increases, and the ratio of overhead to the copy time in that call increases. This is shown in FIG. FIG. 3 also shows the timing at which image data is stored in each memory as in FIG. 2, and the time axis is taken from the right to the left in the figure.

カメラ１ａ（図１参照）で撮像された画像データはデジタル変換されて、図３のフレーム１〜５のタイミングでフレームグラバ１ｃ（図１参照）に出力される。フレームグラバ１ｃのバッファ（１）１２ｃ〜バッファ（３）１４ｃ（図１参照）は、図２のバッファ１〜３のタイミングで受け渡された画像データをバッファリングする。その後、バッファ（１）１２ｃ〜バッファ（３）１４ｃから各メモリに画像データがコピーされる。ここで、図２の例に比較して図３の場合には、各フレーム及び各バッファの時間が短くなっている。従って、データ転送速度が変わらないとしても各コピー動作におけるオーバヘッドの時間は一定であるから、結果的に各コピーの時間は各フレーム及び各バッファの時間に対して相対的に長くなる。図３においては、コピー１のタイミングではバッファ（１）１２ｃからメモリ（１）１１ｂへ、コピー２のタイミングではバッファ（２）１３ｃからメモリ（２）１２ｂへそれぞれ画像データがコピーされる。ここで、コピー３のタイミングではバッファ（３）１４ｃからメモリ（３）１３ｂへ画像データがコピーされるはずであるが、既に二巡目のバッファ１のタイミングが到来しており、コピー３のタイミングではバッファ（１）１２ｃからメモリ（３）１３ｂへ画像データがコピーされている。よって、バッファ（３）１４ｃがバッファリングした画像データが欠落することになる。本発明はこれらの知見に基づいてなされたものである。 Image data captured by the camera 1a (see FIG. 1) is digitally converted and output to the frame grabber 1c (see FIG. 1) at the timing of frames 1 to 5 in FIG. The buffer (1) 12c to buffer (3) 14c (see FIG. 1) of the frame grabber 1c buffer the image data transferred at the timing of the buffers 1 to 3 in FIG. Thereafter, the image data is copied from the buffer (1) 12c to the buffer (3) 14c to each memory. Here, the time of each frame and each buffer is shorter in the case of FIG. 3 than in the example of FIG. Therefore, even if the data transfer rate does not change, the overhead time in each copy operation is constant. As a result, the time for each copy becomes relatively longer than the time for each frame and each buffer. In FIG. 3, the image data is copied from the buffer (1) 12c to the memory (1) 11b at the copy 1 timing and from the buffer (2) 13c to the memory (2) 12b at the copy 2 timing. Here, at the timing of copy 3, the image data should be copied from the buffer (3) 14c to the memory (3) 13b. However, the timing of the buffer 1 has already arrived, and the timing of copy 3 is reached. Then, the image data is copied from the buffer (1) 12c to the memory (3) 13b. Therefore, the image data buffered by the buffer (3) 14c is lost. The present invention has been made based on these findings.

本発明の撮像装置は、（１）被測定光を受光して光電変換した電荷を出力する画素が２次元配列されている固体撮像素子と、（２）出力された電荷を複数のモードに切り替えて画像信号として読み出すことができる読み出し手段と、（３）当該モードの切り替えを制御するための切替制御信号と水平同期信号及び垂直同期信号とを出力する信号出力手段と、を備え、信号出力手段は、（ａ）読み出し手段に対して第１のモードで画像信号を読み出すように指示する切り替え制御信号を出力し、（ｂ）当該第１のモードで読み出した画像信号に対して、各フレームごとに読み出した画像信号を特定できるように水平同期信号を関連付けると共に、複数のフレームに渡って読み出した画像信号を特定できるように垂直同期信号を関連付けて出力する。 The imaging apparatus according to the present invention includes (1) a solid-state imaging device in which pixels that receive a light to be measured and output a photoelectrically converted charge are two-dimensionally arranged, and (2) switch the output charge to a plurality of modes. And (3) a signal output means for outputting a switching control signal for controlling switching of the mode, a horizontal synchronizing signal and a vertical synchronizing signal, and a signal outputting means. (A) outputs a switching control signal for instructing the reading means to read out the image signal in the first mode, and (b) for each frame with respect to the image signal read out in the first mode. In addition to associating the horizontal sync signal so that the read image signal can be specified, the vertical sync signal is output so that the read image signal can be specified over multiple frames. .

本発明の撮像装置によれば、固体撮像素子から出力される電荷を複数のモード、例えば、通常の読み出しモード及び高フレームレートモードのいずれかに切り替えて画像信号として読み出すことができるので、撮像対象に応じた撮影が可能となる。また、第１のモード（例えば高フレームレートモード）で読み出した画像信号に対して、各フレームごとに読み出した画像信号を特定できるように水平同期信号を関連付け、更に複数のフレームに渡って読み出した画像信号を特定できるように垂直同期信号を関連付けるので、複数のフレームに渡る画像信号を束ねることができる。従って、その束ねた画像信号を処理できるので、一つのフレームごとの画像信号をそれぞれ処理するのに比較して処理時間を短縮できる。 According to the imaging apparatus of the present invention, the charge output from the solid-state imaging device can be read out as an image signal by switching to any of a plurality of modes, for example, a normal readout mode and a high frame rate mode. It is possible to shoot according to In addition, the horizontal synchronization signal is associated with the image signal read in the first mode (for example, the high frame rate mode) so that the image signal read for each frame can be specified, and further read out over a plurality of frames. Since the vertical synchronization signal is associated so that the image signal can be specified, it is possible to bundle the image signals over a plurality of frames. Accordingly, since the bundled image signals can be processed, the processing time can be shortened as compared with the case of processing each image signal for each frame.

本発明の画像取得装置は、（４）被測定光を受光して光電変換した電荷を出力する画素が２次元配列されている固体撮像素子から出力される電荷に基づく画像信号と、当該出力された画像信号を各フレームごとに特定するための水平同期信号及び複数のフレームごとに特定するための垂直同期信号と、を受け取る信号受容手段と、（５）垂直同期信号に基づいて特定される複数のフレームに渡る画像信号を束ねて、当該束ねられた画像信号に対応する水平同期信号と共に格納する領域を複数備える一次格納手段と、（６）当該複数の領域それぞれに格納されている画像信号及び水平同期信号を順次読み出して出力する信号出力手段と、を備える。 The image acquisition apparatus according to the present invention includes (4) an image signal based on a charge output from a solid-state imaging device in which pixels that receive the light to be measured and output a photoelectrically converted charge are two-dimensionally arranged, and the output A signal receiving means for receiving a horizontal synchronizing signal for specifying each image signal for each frame and a vertical synchronizing signal for specifying each of a plurality of frames; and (5) a plurality specified based on the vertical synchronizing signal. Primary storage means comprising a plurality of areas for bundling image signals over a plurality of frames and storing together with a horizontal synchronization signal corresponding to the bundled image signals, and (6) image signals stored in the plurality of areas, and Signal output means for sequentially reading out and outputting horizontal synchronization signals.

本発明の画像取得装置によれば、複数のフレームに渡る画像信号を、それぞれのフレームにおける画像信号として認識するための水平同期信号と共に複数の領域に分けて格納し、その格納した画像信号及び水平同期信号を順次読み出して出力するので、一つのフレームごとの画像信号を読み出して主力するのに比較して読み出す時間を全体として短縮できる。例えば、高フレームレートで撮影された画像信号が出力されても、複数のフレームごとの画像信号を束ねることができるので、欠落することなく読み出すことができる。 According to the image acquisition device of the present invention, an image signal over a plurality of frames is stored in a plurality of regions together with a horizontal synchronization signal for recognizing as an image signal in each frame, and the stored image signal and horizontal Since the synchronization signals are sequentially read out and output, the overall readout time can be shortened compared to reading out the main image signal for each frame. For example, even if an image signal captured at a high frame rate is output, the image signals for each of a plurality of frames can be bundled, so that they can be read without being lost.

また本発明の画像取得装置では、信号出力手段が出力する、複数のフレームに渡って束ねられた画像信号を、当該複数のフレームの各フレームをそれぞれ特定するための水平同期信号と関連付けて格納する二次格納手段を備えることも好ましい。複数のフレームに渡る画像信号を格納するので、例えば高フレームレートで撮影された画像信号が出力されても欠落することなく格納することができる。また、各フレームをそれぞれ特定するための水平同期信号もあわせて格納されているので、束ねられた画像信号がどのフレームの画像信号であるかを認識できる。 In the image acquisition apparatus of the present invention, the image signal bundled over a plurality of frames output from the signal output means is stored in association with a horizontal synchronization signal for specifying each frame of the plurality of frames. It is also preferable to provide secondary storage means. Since the image signals over a plurality of frames are stored, for example, even if an image signal photographed at a high frame rate is output, it can be stored without being lost. In addition, since a horizontal synchronization signal for specifying each frame is also stored, it is possible to recognize which frame the bundled image signal is.

本発明の撮像システムは、上述の撮像装置と、上述の画像取得装置と、測定対象物が発する微弱光を取得する顕微鏡光学系と、当該取得した微弱光を増強して被測定光とする画像増強装置と、を備える。 The imaging system of the present invention includes the above-described imaging device, the above-described image acquisition device, a microscope optical system that acquires the weak light emitted from the measurement object, and an image that enhances the acquired weak light to be measured light. And an enhancement device.

本発明の撮像システムによれば、顕微鏡光学系が取得した微弱光を画像増強装置が増強して被測定光とするので、撮像装置はその増強した被測定光を受光できる。 According to the imaging system of the present invention, the weak light acquired by the microscope optical system is enhanced by the image intensifying device to be measured light, so that the imaging device can receive the enhanced measured light.

本発明によれば、撮影時間に実質的な制限がなく、さらに画像データの取りこぼしの可能性も低減できる。 According to the present invention, there is no substantial limitation on the shooting time, and the possibility of image data being lost can be reduced.

本発明の知見は、例示のみのために示された添付図面を参照して以下の詳細な記述を考慮することによって容易に理解することができる。引き続いて、添付図面を参照しながら本発明の実施の形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。 The knowledge of the present invention can be easily understood by considering the following detailed description with reference to the accompanying drawings shown for illustration only. Subsequently, embodiments of the present invention will be described with reference to the accompanying drawings. Where possible, the same parts are denoted by the same reference numerals, and redundant description is omitted.

本発明の実施形態である撮影システムについて図４を参照しながら説明する。撮影システム４は、カメラ２０（撮像装置）と、フレームグラバ３０（画像取得装置）と、パーソナルコンピュータ４０（画像取得装置）と、を備える。 An imaging system according to an embodiment of the present invention will be described with reference to FIG. The imaging system 4 includes a camera 20 (imaging device), a frame grabber 30 (image acquisition device), and a personal computer 40 (image acquisition device).

まず、カメラ２０について説明する。カメラ２０は、固体撮像素子２０１と、読み出し回路２０２（読み出し手段）と、Ａ／Ｄ変換器２０３と、デジタルインタフェイス２０４と、タイミングパルス発生器２０５（信号出力手段）と、ＣＰＵ２０６（信号出力手段）と、シリアルインタフェイス２０７と、を備える。 First, the camera 20 will be described. The camera 20 includes a solid-state imaging device 201, a reading circuit 202 (reading means), an A / D converter 203, a digital interface 204, a timing pulse generator 205 (signal output means), and a CPU 206 (signal output means). ) And a serial interface 207.

固体撮像素子２０１は、被測定光を受光して光電変換した電荷を出力する画素が２次元配列されている２次元イメージセンサである。より具体的には、固体撮像素子２０１は、被測定光を受光して光電変換する光電変換素子と光電変換素子で光電変換された電荷を蓄積して転送する電荷蓄積素子とを含む。固体撮像素子２０１は、タイミングパルス発生器２０５から出力される電子シャッタ信号、読み出し信号、及び転送信号に応じて電荷を読み出し回路２０２に出力する。固体撮像素子２０１は電子シャッタ信号に応じて光電変換素子で光電変換された電荷を掃き捨て、読み出し信号に応じて光電変換された電荷を電荷蓄積素子に読み出し、転送信号に応じて読み出した電荷を順次転送させて読み出し回路２０２に出力する。 The solid-state imaging device 201 is a two-dimensional image sensor in which pixels that receive light to be measured and output photoelectrically converted charges are two-dimensionally arranged. More specifically, the solid-state imaging element 201 includes a photoelectric conversion element that receives and measures photoelectrically the light to be measured, and a charge storage element that accumulates and transfers charges photoelectrically converted by the photoelectric conversion element. The solid-state imaging device 201 outputs charges to the readout circuit 202 in accordance with the electronic shutter signal, readout signal, and transfer signal output from the timing pulse generator 205. The solid-state image sensor 201 sweeps away the electric charge photoelectrically converted by the photoelectric conversion element according to the electronic shutter signal, reads the electric charge photoelectrically converted according to the read signal to the charge storage element, and reads the electric charge read according to the transfer signal. The data is sequentially transferred and output to the reading circuit 202.

読み出し回路２０２は、固体撮像素子２０１から出力される電荷を画像信号として増幅してＡ／Ｄ変換器２０３に出力する部分である。 The readout circuit 202 is a part that amplifies the charge output from the solid-state image sensor 201 as an image signal and outputs the amplified image signal to the A / D converter 203.

Ａ／Ｄ変換器２０３は、読み出し回路２０２から出力されるアナログ信号の画像信号をデジタル信号の画像信号に変換し、デジタルインタフェイス２０４に出力する部分である。 The A / D converter 203 is a part that converts an analog image signal output from the readout circuit 202 into a digital image signal and outputs the digital signal to the digital interface 204.

デジタルインタフェイス２０４は、Ａ／Ｄ変換器２０３から出力される画像信号を、タイミングパルス発生器２０５から出力される水平同期信号及び垂直同期信号と共にフレームグラバ３０に出力する部分である。 The digital interface 204 is a part that outputs the image signal output from the A / D converter 203 to the frame grabber 30 together with the horizontal synchronization signal and the vertical synchronization signal output from the timing pulse generator 205.

タイミングパルス発生器２０５は、ＣＰＵ２０６から出力される制御信号に応じて同期信号を出力する部分である。より具体的には、タイミングパルス発生器２０５は、通常の読み出しモードか高フレームレートモード（第一のモード）かのいずれかの読み出しモードに応じて水平同期信号及び垂直同期信号を出力する。通常の読み出しモードの場合には、タイミングパルス発生器２０５は水平同期信号を水平走査の折り返しを指定する信号として一水平走査に対して出力し、垂直同期信号を画面走査の切り替えを指定する信号として一画面走査に対して出力する。一方、高フレームレートモードの場合には、タイミングパルス発生器２０５は、一画像の期間を一水平期間とするように水平同期信号を出力し、複数画面の期間を一垂直期間とするように垂直同期信号を出力する。タイミングパルス発生器２０５は、固体撮像素子２０１、読み出し回路２０２、Ａ／Ｄ変換器２０３にも所定の信号を出力する。すなわち、通常の読み出しモードの場合には、タイミングパルス発生器２０５は、固体撮像素子２０１及び読み出し回路２０２に対して通常の読み出しモードで画像データを出力するように指示する切り替え信号を出力する。また、高フレームレートモードの場合には、タイミングパルス発生器２０５は、固体撮像素子２０１及び読み出し回路２０２に対して高フレームレートモードで画像データを出力するように指示する切り替え信号を出力する。この読み出しモードの具体例については後述する。 The timing pulse generator 205 is a part that outputs a synchronization signal in accordance with a control signal output from the CPU 206. More specifically, the timing pulse generator 205 outputs a horizontal synchronization signal and a vertical synchronization signal in accordance with either the normal reading mode or the high frame rate mode (first mode). In the normal reading mode, the timing pulse generator 205 outputs a horizontal synchronization signal as a signal for specifying the horizontal scanning return for one horizontal scanning, and the vertical synchronization signal as a signal for specifying switching of the screen scanning. Output for one screen scan. On the other hand, in the case of the high frame rate mode, the timing pulse generator 205 outputs a horizontal synchronization signal so that one image period is one horizontal period, and the plurality of screen periods are vertical so as to be one vertical period. Output sync signal. The timing pulse generator 205 also outputs a predetermined signal to the solid-state imaging device 201, the readout circuit 202, and the A / D converter 203. That is, in the normal reading mode, the timing pulse generator 205 outputs a switching signal that instructs the solid-state imaging device 201 and the reading circuit 202 to output image data in the normal reading mode. In the high frame rate mode, the timing pulse generator 205 outputs a switching signal that instructs the solid-state imaging device 201 and the readout circuit 202 to output image data in the high frame rate mode. A specific example of this read mode will be described later.

ＣＰＵ２０６は、シリアルインタフェイス２０７を介して出力される制御信号に応じて、所定のタイミングで信号を出力するようにタイミングパルス発生器２０５に制御信号を出力する。シリアルインタフェイス２０７は、パーソナルコンピュータ４０のシリアルインタフェイス４０４と接続されていて、パーソナルコンピュータ４０から出力される制御信号が、シリアルインタフェイス４０４及びシリアルインタフェイス２０７を介してＣＰＵ２０６に出力される。 The CPU 206 outputs a control signal to the timing pulse generator 205 so as to output a signal at a predetermined timing in accordance with a control signal output via the serial interface 207. The serial interface 207 is connected to the serial interface 404 of the personal computer 40, and a control signal output from the personal computer 40 is output to the CPU 206 via the serial interface 404 and the serial interface 207.

引き続いてフレームグラバ３０について説明する。フレームグラバ３０は、デジタルインタフェイス３０１（信号受容手段）と、フレームバッファ３０２（一次格納手段）と、バスインタフェイス３０３と、を備える。 Next, the frame grabber 30 will be described. The frame grabber 30 includes a digital interface 301 (signal receiving means), a frame buffer 302 (primary storage means), and a bus interface 303.

デジタルインタフェイス３０１は、カメラ２０のデジタルインタフェイス２０４から出力される画像信号と水平同期信号及び垂直同期信号とを受け取る部分である。デジタルインタフェイス３０１は、受け取った画像信号と水平同期信号及び垂直同期信号とをフレームバッファ３０２に出力する。 The digital interface 301 is a part that receives an image signal, a horizontal synchronization signal, and a vertical synchronization signal output from the digital interface 204 of the camera 20. The digital interface 301 outputs the received image signal, horizontal synchronization signal, and vertical synchronization signal to the frame buffer 302.

フレームバッファ３０２は、受け取った垂直同期信号に基づいて画像信号及び水平同期信号を格納する部分である。より具体的には、フレームバッファ３０２は、画像信号及び水平同期信号を格納する領域としてバッファ（１）３０２ａ、バッファ（２）３０２ｂ、バッファ（３）３０２ｃを備える。フレームバッファ３０２は、垂直同期信号で特定される一垂直期間ごとに画像信号及び水平同期信号を、バッファ（１）３０２ａ、バッファ（２）３０２ｂ、及びバッファ（３）３０２ｃに順次格納する。従って、上述したように高フレームレートモードで読み出されていれば、複数の画面が一垂直期間となるように垂直同期信号が付与されているので、フレームバッファ３０２は、バッファ（１）３０２ａ、バッファ（２）３０２ｂ、及びバッファ（３）３０２ｃにそれぞれ複数の画面における画像信号及び水平同期信号を束ねて格納する。フレームバッファ３０２は、バッファ（１）３０２ａ、バッファ（２）３０２ｂ、及びバッファ（３）３０２ｃに順次格納した画像信号及び水平同期信号を、順次読み出してバスインタフェイス３０３に出力する。 The frame buffer 302 is a part that stores an image signal and a horizontal synchronization signal based on the received vertical synchronization signal. More specifically, the frame buffer 302 includes a buffer (1) 302a, a buffer (2) 302b, and a buffer (3) 302c as areas for storing image signals and horizontal synchronization signals. The frame buffer 302 sequentially stores the image signal and the horizontal synchronization signal in the buffer (1) 302a, the buffer (2) 302b, and the buffer (3) 302c for each vertical period specified by the vertical synchronization signal. Therefore, since the vertical synchronization signal is given so that a plurality of screens have one vertical period when read in the high frame rate mode as described above, the frame buffer 302 includes the buffer (1) 302a, The buffer (2) 302b and the buffer (3) 302c store the image signals and horizontal synchronization signals for a plurality of screens in a bundle. The frame buffer 302 sequentially reads the image signal and the horizontal synchronization signal sequentially stored in the buffer (1) 302a, the buffer (2) 302b, and the buffer (3) 302c, and outputs them to the bus interface 303.

バスインタフェイス３０３は、フレームバッファ３０２から順次出力される画像信号及び水平同期信号をパーソナルコンピュータ４０に出力する。 The bus interface 303 outputs the image signal and the horizontal synchronization signal sequentially output from the frame buffer 302 to the personal computer 40.

引き続いてパーソナルコンピュータ４０について説明する。パーソナルコンピュータ４０は、ＣＰＵ４０１と、メモリ４０２と、ハードディスク４０３（二次格納手段）と、シリアルインタフェイス４０４と、バスインタフェイス４０５と、を備える。 Subsequently, the personal computer 40 will be described. The personal computer 40 includes a CPU 401, a memory 402, a hard disk 403 (secondary storage unit), a serial interface 404, and a bus interface 405.

バスインタフェイス４０５は、フレームグラバ３０が出力する画像信号及び水平同期信号を受け取ってＣＰＵ４０１に出力する部分である。 The bus interface 405 is a part that receives an image signal and a horizontal synchronization signal output from the frame grabber 30 and outputs them to the CPU 401.

ＣＰＵ４０１は、メモリ４０２に格納されているプログラムに基づいて所定の情報処理を行う部分である。より具体的には、ＣＰＵ４０１はバスインタフェイス４０５から出力される画像信号及び水平同期信号に基づいてハードディスク４０３に画像信号を格納する。ＣＰＵ４０１は水平同期信号に基づいて画像信号の一水平期間を認識し、その一水平期間に対応する画像信号をそれぞれ順次ハードディスク４０３に格納する。従って、一画面走査の期間を一水平期間とするように水平同期信号が出力されれば、ＣＰＵ４０１は一画面走査ごとの画像信号を順次ハードディスク４０３に格納する。また、複数の画面が一垂直期間となるように垂直同期信号が出力されれば、この束ねられている複数の画面ごとに画像信号をハードディスク４０３に格納する。 The CPU 401 is a part that performs predetermined information processing based on a program stored in the memory 402. More specifically, the CPU 401 stores the image signal in the hard disk 403 based on the image signal output from the bus interface 405 and the horizontal synchronization signal. The CPU 401 recognizes one horizontal period of the image signal based on the horizontal synchronization signal, and sequentially stores the image signals corresponding to the one horizontal period in the hard disk 403. Therefore, if a horizontal synchronizing signal is output so that the period of one screen scan is one horizontal period, the CPU 401 sequentially stores the image signal for each screen scan in the hard disk 403. If a vertical synchronization signal is output so that a plurality of screens have one vertical period, an image signal is stored in the hard disk 403 for each of the plurality of bundled screens.

ＣＰＵ４０１はまた、パーソナルコンピュータ４０に入力される情報やメモリ４０２に格納されているプログラムに応じて、カメラ２０に対する制御信号を送信するようにシリアルインタフェイス４０４に出力する。シリアルインタフェイス４０４はこの制御信号をカメラ２０に出力する。 The CPU 401 also outputs a control signal for the camera 20 to the serial interface 404 in accordance with information input to the personal computer 40 and a program stored in the memory 402. The serial interface 404 outputs this control signal to the camera 20.

ここで、上述したカメラ２０、フレームグラバ３０、及びパーソナルコンピュータ４０からなる撮像システム４の動作を図５（Ａ）〜（Ｄ）に示すタイミングチャートを参照しながら説明する。 Here, the operation of the imaging system 4 including the camera 20, the frame grabber 30, and the personal computer 40 will be described with reference to timing charts shown in FIGS.

図５（Ａ）は、通常の読み出しモードの場合の動作を示している。図５（Ａ）に示すように水平同期信号は一水平走査に対して一水平期間となるように出力されている。また、垂直同期信号は一画面走査に対して一垂直期間となるように出力されている。フレームグラバ３０のフレームバッファ３０２は、一垂直期間ごとに画像信号をバッファリングし、パーソナルコンピュータ４０に一垂直期間ごとの画像信号及び水平同期信号を出力する。この水平同期信号と垂直同期信号との論理積で画像信号の有効データ部（図５（Ａ）中の斜線部分）を認識できる。 FIG. 5A shows the operation in the normal reading mode. As shown in FIG. 5A, the horizontal synchronizing signal is output so as to have one horizontal period for one horizontal scanning. Further, the vertical synchronization signal is output so as to have one vertical period for one screen scan. The frame buffer 302 of the frame grabber 30 buffers the image signal for each vertical period, and outputs the image signal and the horizontal synchronization signal for each vertical period to the personal computer 40. The effective data portion of the image signal (shaded portion in FIG. 5A) can be recognized by the logical product of the horizontal synchronizing signal and the vertical synchronizing signal.

図５（Ｂ）は、高フレームレートモードの場合の動作を示している。図５（Ｂ）に示すように水平同期信号は一画面走査に対して一水平期間となるように出力されている。また、垂直同期信号は３つの画面走査に対して一垂直期間となるように出力されている。フレームグラバ３０のフレームバッファ３０２は、垂直同期信号でバッファリングする画像信号の束を認識するので、３つのフレームの画像信号をフレームバンドルしてバッファリングする。フレームバッファ３０２は、パーソナルコンピュータ４０に一垂直期間ごとの画像信号及び水平同期信号を出力するので、３つのフレームの画像信号を束ねてコピーすることになる。 FIG. 5B shows the operation in the high frame rate mode. As shown in FIG. 5B, the horizontal synchronizing signal is output so as to have one horizontal period for one screen scan. The vertical synchronization signal is output so that one vertical period is provided for three screen scans. Since the frame buffer 302 of the frame grabber 30 recognizes a bundle of image signals to be buffered with the vertical synchronization signal, the image signals of three frames are frame bundled and buffered. Since the frame buffer 302 outputs an image signal and a horizontal synchronization signal for each vertical period to the personal computer 40, the image signals of three frames are bundled and copied.

図５（Ｃ）は、高フレームレートモードの場合の動作を示している。図５（Ｂ）と異なるのは、垂直同期信号が常に非アクティブとなっている点である。この場合、フレームグラバ３０２は一次元センサモードでの読み取りに準拠してバッファリングを行う。 FIG. 5C shows the operation in the case of the high frame rate mode. The difference from FIG. 5B is that the vertical synchronization signal is always inactive. In this case, the frame grabber 302 performs buffering according to reading in the one-dimensional sensor mode.

図５（Ｄ）は、図５（Ｃ）の場合に更にデータ同期信号という第三の制御信号が付加された場合の例である。このデータ同期信号は有効データを示す信号であり、これを利用して不必要なデータをハードウェア的に取り除くことができる。 FIG. 5D shows an example in which a third control signal called a data synchronization signal is further added in the case of FIG. This data synchronization signal is a signal indicating valid data, and unnecessary data can be removed by hardware using this data synchronization signal.

よって、本実施形態の高フレームレート時におけるデータ処理は図６に示すようなタイミングで行われる。カメラ２０で撮像された画像データはデジタル変換されて、図６のフレーム１〜６のタイミングでフレームグラバ３０に出力される。フレームグラバ３０のフレームバッファ３０２は、図６のバッファ１〜２のタイミングで受け渡された画像データをバッファリングする。すなわち、フレーム１〜３のタイミングで出力された画像データは一つの画像データとしてフレームバッファ３０２のバッファ（１）３０２ａに取り込まれる。その後、フレームバッファ３０２からパーソナルコンピュータのハードディスクに画像データがコピーされる。 Therefore, data processing at a high frame rate according to the present embodiment is performed at a timing as shown in FIG. The image data captured by the camera 20 is digitally converted and output to the frame grabber 30 at the timing of frames 1 to 6 in FIG. The frame buffer 302 of the frame grabber 30 buffers the image data transferred at the timing of the buffers 1 and 2 in FIG. That is, the image data output at the timing of frames 1 to 3 is taken into the buffer (1) 302a of the frame buffer 302 as one image data. Thereafter, the image data is copied from the frame buffer 302 to the hard disk of the personal computer.

更に、具体的な読み出し方法について説明する。図７は、具体的な読み出し方法を説明する前提となる状態を示す図である。図７に示す例では、３２×２４の画素を持つ固体撮像素子７０を用いて、被測定光８０及び８１を撮像する例を示している。以下の説明はこの図７の状態を前提とする。 Further, a specific reading method will be described. FIG. 7 is a diagram illustrating a precondition for explaining a specific reading method. In the example shown in FIG. 7, an example is shown in which the measured light 80 and 81 are imaged using the solid-state imaging device 70 having 32 × 24 pixels. The following description is based on the state shown in FIG.

図８（Ａ）〜（Ｂ）はビニングモードでの読み出し方法について説明するための図である。図８（Ａ）は、８×８ビニングをした場合の例を説明する図である。８×８ビニングとは、縦８画素及び横８画素の電荷を積算して一の出力値として処理する方法である。従って図８（Ａ）の例では、３２×２４の画素における画像データが４×３の画素によける画像データとして処理できる。図８（Ｂ）は、図８（Ａ）において１２画素の画像データとして出力されてくる画像データを８フレームごとにまとめてフレームバンドルして取り込んだ状態を示す図である。図８（Ｂ）の横方向には各フレームごとのビニングした画素から出力される１２個のデータを示し、縦方向には各フレームごとのデータを示している。すなわち、１フレーム目の画像データは図８（Ｂ）の一番下の行に並べられている。各行の画像データは、図８（Ａ）におけるビニングされた画素の上の段から左から右に向かって順に並べられている。 FIGS. 8A to 8B are diagrams for explaining a reading method in the binning mode. FIG. 8A is a diagram for explaining an example when 8 × 8 binning is performed. The 8 × 8 binning is a method in which charges of 8 vertical pixels and 8 horizontal pixels are integrated and processed as one output value. Therefore, in the example of FIG. 8A, image data in 32 × 24 pixels can be processed as image data in 4 × 3 pixels. FIG. 8B is a diagram illustrating a state in which image data output as image data of 12 pixels in FIG. The horizontal direction of FIG. 8B shows 12 data output from the binned pixels for each frame, and the vertical direction shows data for each frame. That is, the image data of the first frame is arranged in the bottom row of FIG. The image data of each row is arranged in order from the left to the right from the upper stage of the binned pixels in FIG.

このように垂直方向にｎ個のビニングを行うことで、水平方向の駆動期間を１／ｎにすることができる。一般にＣＣＤのフレームレートは水平方向の駆動期間が支配的だからである。例えば、通常モードで３０Ｈｚのフレームレートの場合、８×８ビニングを行うことでフレームレートが２４０Ｈｚ程度になる。更に、これを８フレームごとにフレームバンドルすることでフレームグラバにおけるフレームレートを３０Ｈｚにすることができる。従って、撮像時には高フレームレートにしたものをフレームグラバ３０ではフレームレートを通常と同様にして処理できる。 Thus, by performing n binning in the vertical direction, the horizontal driving period can be reduced to 1 / n. This is because generally the CCD frame rate is dominated by the horizontal driving period. For example, in the case of a frame rate of 30 Hz in the normal mode, the frame rate is about 240 Hz by performing 8 × 8 binning. Further, by bundling this every 8 frames, the frame rate in the frame grabber can be set to 30 Hz. Therefore, the frame grabber 30 can process the frame rate in the same manner as normal when shooting at a high frame rate.

図９（Ａ）〜（Ｂ）はサブアレイモードでの読み出し方法について説明するための図である。図９（Ａ）は、被測定光８１に着目し、その部分の４×３領域（図中着色部分）を指定して読み出す状態を示している。この場合には、着目した４×３領域以外は読み出す必要がない。従って各フレームごとには１２画素分の画像データが読み出されることになる。この読み出した画像データを８フレームごとにまとめてフレームバンドルして取り込んだ状態を図９（Ｂ）に示す。図９（Ｂ）の横方向には各フレームごとの着目した画素から出力される１２個のデータを示し、縦方向には各フレームごとのデータを示している。すなわち、１フレーム目の画像データは図９（Ｂ）の一番下の行に並べられている。各行の画像データは、図９（Ａ）における着目された画素が順に並べられている。 FIGS. 9A to 9B are diagrams for explaining a reading method in the subarray mode. FIG. 9A shows a state in which the measured light 81 is focused and a 4 × 3 region (colored portion in the drawing) of that portion is designated and read. In this case, it is not necessary to read other than the focused 4 × 3 area. Therefore, image data for 12 pixels is read for each frame. FIG. 9B shows a state in which the read image data is captured every eight frames and bundled. The horizontal direction of FIG. 9B shows 12 data output from the pixel of interest for each frame, and the vertical direction shows data for each frame. That is, the image data of the first frame is arranged in the bottom row of FIG. In the image data of each row, the focused pixels in FIG. 9A are arranged in order.

このように垂直方向に３ラインに着目したサブアレイを行うことで、水平方向の駆動期間を３／２４にすることができる。一般にＣＣＤのフレームレートは垂直方向の駆動期間が支配的だからである。例えば、通常モードで３０Ｈｚのフレームレートの場合、３ラインに着目したサブアレイを行うことでフレームレートが２４０Ｈｚ程度になる。更に、これを８フレームごとにフレームバンドルすることでフレームグラバにおけるフレームレートを３０Ｈｚにすることができる。従って、撮像時には高フレームレートにしたものをフレームグラバ３０ではフレームレートを通常と同様にして処理できる。 Thus, by performing the sub-array focusing on three lines in the vertical direction, the horizontal driving period can be reduced to 3/24. This is because the CCD frame rate is generally controlled by the vertical driving period. For example, in the case of a frame rate of 30 Hz in the normal mode, the frame rate is about 240 Hz by performing sub-array focusing on three lines. Further, by bundling this every 8 frames, the frame rate in the frame grabber can be set to 30 Hz. Therefore, the frame grabber 30 can process the frame rate in the same manner as normal when shooting at a high frame rate.

図１０（Ａ）〜（Ｂ）は間引きモードでの読み出し方法について説明するための図である。図１０（Ａ）では、４×４の画素を単位としてその中の一画素を代表として読み出す状態を示している。この場合には、１６個に１個の割合で画像データを読み出せばよい。従って各フレームごとには４８画素分の画像データが読み出されることになる。この読み出した画像データを１６フレームごとにまとめてフレームバンドルして取り込んだ状態を図１０（Ｂ）に示す。図１０（Ｂ）の横方向には代表となる画素から出力される４８個のデータを示し、縦方向には各フレームごとのデータを示している。すなわち、１フレーム目の画像データは図１０（Ｂ）の一番下の行に並べられている。各行の画像データは、図１０（Ａ）における代表となる画素が順に並べられている。 FIGS. 10A to 10B are diagrams for explaining a reading method in the thinning mode. FIG. 10A shows a state in which 4 × 4 pixels are used as a unit and one pixel is read as a representative. In this case, image data may be read at a rate of 1 out of 16. Therefore, image data for 48 pixels is read for each frame. FIG. 10B shows a state in which the read image data is captured every 16 frames as a frame bundle. The horizontal direction of FIG. 10B shows 48 data output from the representative pixels, and the vertical direction shows data for each frame. That is, the image data of the first frame is arranged in the bottom row of FIG. In the image data of each row, representative pixels in FIG. 10A are arranged in order.

このように間引いた場合、代表となる画素以外は読み出す必要がない。従って、水平方向の駆動期間を１／４にすることができる。一般にＣＣＤのフレームレートは水平方向の駆動期間が支配的だからである。例えば、通常モードで３０Ｈｚのフレームレートの場合、４×４画素に１個ごとの画素を取り出す間引きを行った場合にはフレームレートが１２０Ｈｚ程度になる。更に、これを１６フレームごとにフレームバンドルすることでフレームグラバにおけるフレームレートを７．５Ｈｚにすることができる。従って、撮像時には高フレームレートにしたものをフレームグラバ３０ではフレームレートを通常と同様にして処理できる。 When thinning out in this way, it is not necessary to read out pixels other than the representative pixel. Therefore, the horizontal driving period can be reduced to ¼. This is because generally the CCD frame rate is dominated by the horizontal driving period. For example, in the case of a frame rate of 30 Hz in the normal mode, the frame rate is about 120 Hz when thinning out of every 4 × 4 pixels is performed. Further, by bundling this every 16 frames, the frame rate in the frame grabber can be 7.5 Hz. Therefore, the frame grabber 30 can process the frame rate in the same manner as normal when shooting at a high frame rate.

本実施形態の撮像システムの別の構成例について図１１を参照しながら説明する。図１１に示す撮像システムは、顕微鏡５１（顕微鏡光学系）と、イメージインテンシファイア５２（画像増強装置）と、ＥＭ−ＣＣＤカメラ５３と、デジタルカメラインタフェイス５４と、パーソナルコンピュータ５５と、を備える。顕微鏡５１は測定対象の微弱光を計測してイメージインテンシファイア５２側にその微弱光を出力する。イメージインテンシファイア５２はその微弱光を増強してＥＭ−ＣＣＤカメラ５３に出力する。ＥＭ−ＣＣＤカメラ５３はこの増強された微弱光を被測定光として計測する。ＥＭ−ＣＣＤカメラ５３と、デジタルカメラインタフェイス５４と、パーソナルコンピュータ５５と、からなる部分は、上述したカメラ２０と、フレームグラバ３０と、パーソナルコンピュータ４０と、からなる部分と機能的に同等であるので詳細な説明を省略する。 Another configuration example of the imaging system of the present embodiment will be described with reference to FIG. The imaging system shown in FIG. 11 includes a microscope 51 (microscope optical system), an image intensifier 52 (image intensifier), an EM-CCD camera 53, a digital camera interface 54, and a personal computer 55. . The microscope 51 measures weak light to be measured and outputs the weak light to the image intensifier 52 side. The image intensifier 52 enhances the weak light and outputs it to the EM-CCD camera 53. The EM-CCD camera 53 measures the enhanced faint light as the light to be measured. A portion including the EM-CCD camera 53, the digital camera interface 54, and the personal computer 55 is functionally equivalent to a portion including the camera 20, the frame grabber 30, and the personal computer 40 described above. Therefore, detailed description is omitted.

本実施形態によれば、カメラ２０の固体撮像素子２０１から出力される電荷を通常の読み出しモード及び高フレームレートモードのいずれかに切り替えて画像信号として読み出すことができるので、撮像対象に応じた撮影が可能となる。また、高フレームレートモードで読み出した画像信号に対して、各フレームごとに読み出した画像信号を特定できるように水平同期信号を関連付け、更に複数のフレームに渡って読み出した画像信号を特定できるように垂直同期信号を関連付けるので、複数のフレームに渡る画像信号を束ねることができる。従って、その束ねた画像信号を処理できるので、一つのフレームごとの画像信号をそれぞれ処理するのに比較して処理時間を短縮できる。また、ビニングモード、サブアレイモード、及び間引きモードといったように、各フレームごとに読み出す画素数を実質的に減らして撮像のフレームレートを上げた場合でも、フレームグラバ３０におけるデータ処理時にはフレームレートを戻して処理することができる。 According to the present embodiment, the charge output from the solid-state image sensor 201 of the camera 20 can be read out as an image signal by switching between the normal readout mode and the high frame rate mode, so that shooting according to the imaging target is performed. Is possible. In addition, the horizontal sync signal is associated with the image signal read in the high frame rate mode so that the image signal read for each frame can be specified, and the image signal read over a plurality of frames can be specified. Since the vertical synchronization signals are associated, the image signals over a plurality of frames can be bundled. Accordingly, since the bundled image signals can be processed, the processing time can be shortened as compared with the case of processing each image signal for each frame. Even when the number of pixels read out for each frame is substantially reduced and the imaging frame rate is increased, such as in the binning mode, the subarray mode, and the thinning mode, the frame rate is returned during the data processing in the frame grabber 30. Can be processed.

本発明に至る検討の過程を説明するための図である。It is a figure for demonstrating the process of the examination which leads to this invention. 本発明に至る検討の過程を説明するための図である。It is a figure for demonstrating the process of the examination which leads to this invention. 本発明に至る検討の過程を説明するための図である。It is a figure for demonstrating the process of the examination which leads to this invention. 本発明の実施形態である撮像システムの構成を説明するための図である。It is a figure for demonstrating the structure of the imaging system which is embodiment of this invention. 本発明の実施形態である撮像システムの動作を説明するための図である。It is a figure for demonstrating operation | movement of the imaging system which is embodiment of this invention. 本発明の実施形態である撮像システムの動作を説明するための図である。It is a figure for demonstrating operation | movement of the imaging system which is embodiment of this invention. 本発明の実施形態である撮像システムのデータ処理方法を説明するための図である。It is a figure for demonstrating the data processing method of the imaging system which is embodiment of this invention. 本発明の実施形態である撮像システムのデータ処理方法を説明するための図である。It is a figure for demonstrating the data processing method of the imaging system which is embodiment of this invention. 本発明の実施形態である撮像システムのデータ処理方法を説明するための図である。It is a figure for demonstrating the data processing method of the imaging system which is embodiment of this invention. 本発明の実施形態である撮像システムのデータ処理方法を説明するための図である。It is a figure for demonstrating the data processing method of the imaging system which is embodiment of this invention. 本発明の実施形態である撮像システムの構成を説明するための図である。It is a figure for demonstrating the structure of the imaging system which is embodiment of this invention.

符号の説明Explanation of symbols

４…撮像システム、２０…カメラ、３０…フレームグラバ、４０…パーソナルコンピュータ、２０１…固体撮像素子、２０２…読み出し回路、２０３…Ａ／Ｄ変換器、２０４…デジタルインタフェイス、２０５…タイミングパルス発生器、２０６…ＣＰＵ、２０７…シリアルインタフェイス、３０１…デジタルインタフェイス、３０２…フレームバッファ、３０３…バスインタフェイス、４０１…ＣＰＵ、４０２…メモリ、４０３…ハードディスク、４０４…シリアルインタフェイス、４０５…バスインタフェイス。 DESCRIPTION OF SYMBOLS 4 ... Imaging system, 20 ... Camera, 30 ... Frame grabber, 40 ... Personal computer, 201 ... Solid-state image sensor, 202 ... Read-out circuit, 203 ... A / D converter, 204 ... Digital interface, 205 ... Timing pulse generator 206 ... CPU, 207 ... serial interface, 301 ... digital interface, 302 ... frame buffer, 303 ... bus interface, 401 ... CPU, 402 ... memory, 403 ... hard disk, 404 ... serial interface, 405 ... bus interface face.

Claims

被測定光を受光して光電変換した電荷を出力する画素が２次元配列されている固体撮像素子と、
前記出力された電荷を複数のモードに切り替えて画像信号として読み出すことができる読み出し手段と、
当該モードの切り替えを制御するための切替制御信号と水平同期信号及び垂直同期信号とを出力する信号出力手段と、を備え、
前記信号出力手段は、
前記読み出し手段に対して第１のモードで画像信号を読み出すように指示する切り替え制御信号を出力し、
当該第１のモードで読み出した画像信号に対して、各フレームごとに読み出した画像信号を特定できるように前記水平同期信号を関連付けると共に、複数のフレームに渡って読み出した画像信号を特定できるように前記垂直同期信号を関連付けて出力する、撮像装置。 A solid-state imaging device in which pixels that receive the measured light and output photoelectrically converted charges are two-dimensionally arranged;
Reading means capable of switching the output electric charge to a plurality of modes and reading out the image signal;
A switching control signal for controlling switching of the mode, and a signal output means for outputting a horizontal synchronization signal and a vertical synchronization signal, and
The signal output means includes
A switching control signal for instructing the reading means to read the image signal in the first mode;
The horizontal sync signal is associated with the image signal read in the first mode so that the image signal read for each frame can be specified, and the image signal read over a plurality of frames can be specified An imaging apparatus that outputs the vertical synchronization signal in association with each other.

被測定光を受光して光電変換した電荷を出力する画素が２次元配列されている固体撮像素子から出力される電荷に基づく画像信号と、当該出力された画像信号を各フレームごとに特定するための水平同期信号及び複数のフレームごとに特定するための垂直同期信号と、を受け取る信号受容手段と、
前記垂直同期信号に基づいて特定される複数のフレームに渡る画像信号を束ねて、当該束ねられた画像信号に対応する水平同期信号と共に格納する領域を複数備える一次格納手段と、
当該複数の領域それぞれに格納されている画像信号及び水平同期信号を順次読み出して出力する信号出力手段と、を備える画像取得装置。 In order to identify the image signal based on the charge output from the solid-state imaging device in which pixels that receive the light to be measured and output the photoelectrically converted charge are two-dimensionally arranged, and the output image signal for each frame A signal receiving means for receiving a horizontal synchronization signal of the plurality of frames and a vertical synchronization signal for specifying every plurality of frames;
Primary storage means comprising a plurality of areas for bundling image signals over a plurality of frames specified based on the vertical synchronization signal and storing together with horizontal synchronization signals corresponding to the bundled image signals;
An image acquisition apparatus comprising: a signal output unit that sequentially reads out and outputs an image signal and a horizontal synchronization signal stored in each of the plurality of regions.

前記信号出力手段が出力する、複数のフレームに渡って束ねられた画像信号を、当該複数のフレームの各フレームをそれぞれ特定するための水平同期信号と関連付けて格納する二次格納手段を備える、請求項２に記載の画像取得装置。 And a secondary storage unit that stores the image signal output from the signal output unit and bundled over a plurality of frames in association with a horizontal synchronization signal for specifying each frame of the plurality of frames. Item 3. The image acquisition device according to Item 2.

請求項１に記載の撮像装置と、
請求項２又は３に記載の画像取得装置と、
測定対象物が発する微弱光を取得する顕微鏡光学系と、
当該取得した微弱光を増強して被測定光とする画像増強装置と、を備える撮像システム。 An imaging device according to claim 1;
The image acquisition device according to claim 2 or 3,
A microscope optical system for acquiring the weak light emitted by the measurement object;
An imaging system comprising: an image intensifying device that enhances the acquired weak light to obtain measured light.