JP7116580B2 - IMAGING DEVICE, METHOD AND PROGRAM FOR CONTROLLING IMAGING DEVICE - Google Patents
IMAGING DEVICE, METHOD AND PROGRAM FOR CONTROLLING IMAGING DEVICE Download PDFInfo
- Publication number
- JP7116580B2 JP7116580B2 JP2018077557A JP2018077557A JP7116580B2 JP 7116580 B2 JP7116580 B2 JP 7116580B2 JP 2018077557 A JP2018077557 A JP 2018077557A JP 2018077557 A JP2018077557 A JP 2018077557A JP 7116580 B2 JP7116580 B2 JP 7116580B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- light
- row
- period
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Endoscopes (AREA)
- Studio Devices (AREA)
Description
本発明の実施形態は、撮像装置及び撮像装置の制御プログラムに関する。 An embodiment of the present invention relates to an imaging device and a control program for the imaging device.
撮像装置、例えば、内視鏡装置では、以前は、ＣＣＤ（Charge Coupled Device）イメージセンサが主流であったが、近年、低コスト化、単電源化、低消費電力化等の利点を有するＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが主流になっている。ＣＭＯＳイメージセンサでは、ローリングシャッタ方式が一般的に多く採用されている。 CCD (Charge Coupled Device) image sensors used to be the mainstream in imaging devices, for example, endoscope devices, but in recent years, CMOS ( Complementary Metal Oxide Semiconductor) image sensors have become mainstream. CMOS image sensors generally employ a rolling shutter method.
本発明が解決しようとする課題は、観察するのに十分なフレームレートを確保することができる撮像装置及び撮像装置の制御プログラムを提供することである。 A problem to be solved by the present invention is to provide an imaging apparatus and a control program for the imaging apparatus that can ensure a sufficient frame rate for observation.
実施形態の撮像装置は、行列状に配置された、受光により電気信号を発生する複数の画素を含み、前記複数の画素の最初の行から最後の行に向かって、少なくとも１行毎に順次露光を開始し、露光が終了した行から順に前記電気信号を出力する処理を、１フレーム毎に繰り返す、ローリングシャッタ方式のイメージセンサと、第１の光を光源装置から連続的に出射させるとともに、前記第１の光と種類が異なる第２の光を、前記最後の行からの前記電気信号の出力を終了してから、前記最初の行からの前記電気信号の出力を開始するまでの期間に対応するブランキング期間と同期した所定の期間に、前記光源装置から２フレームに１回の割合で非連続的に出射させ、前記所定の期間にのみ、前記複数の画素に前記第２の光を受光させる制御部と、前記最後の行と前記最初の行の期間の中間に位置する露光期間に、前記第２の光の反射光又は前記第２の光によって発生した蛍光を受光しないフレームにおいて出力される電気信号に基づいて第１の画像を生成し、前記露光期間に前記第２の光の反射光又は前記第２の光によって発生した蛍光を受光するフレームにおいて出力される電気信号に基づいて第２の画像を生成し、前記第１の画像と前記第２の画像を用いて、画像を生成する画像生成部とを備え、前記画像生成部は、前記複数の画素が、前記第２の光を、前記ブランキング期間より長い期間受光したときは、前記第１の画像のうち、前記ブランキング期間より長い期間に第２の光を受光した行の映像信号に基づく部分をマスクする撮像装置。 An imaging device according to an embodiment includes a plurality of pixels arranged in a matrix for generating an electric signal upon receiving light, and the plurality of pixels are arranged sequentially from the first row to the last row for at least one row. A rolling shutter type image sensor that repeats, for each frame, a process of starting exposure and outputting the electric signal in order from the row where the exposure is completed , and continuously emitting the first light from the light source device, A second light different in type from the first light is emitted during a period from the end of the output of the electrical signal from the last row to the start of the output of the electrical signal from the first row During a predetermined period synchronized with the corresponding blanking period, the light source device is discontinuously emitted at a rate of once every two frames, and the plurality of pixels are irradiated with the second light only during the predetermined period. a controller for receiving light, and outputting in a frame in which reflected light of the second light or fluorescence generated by the second light is not received during an exposure period located between the periods of the last row and the first row. a first image is generated based on the electrical signal that is applied, and based on the electrical signal that is output in the frame in which the reflected light of the second light or fluorescence generated by the second light is received during the exposure period an image generation unit that generates a second image and generates an image using the first image and the second image , wherein the image generation unit is configured such that the plurality of pixels correspond to the second image; An imaging device that, when receiving light for a period longer than the blanking period, masks a portion of the first image based on a video signal in a row that received the second light for a period longer than the blanking period. .
以下、図面を参照して、各実施形態に係る撮像装置及び撮像装置の制御プログラムを説明する。なお、実施形態は、以下の内容に限られるものではない。また、一つの実施形態や変形例に記載した内容は、原則として他の実施形態や変形例にも同様に適用される。 An imaging device according to each embodiment and a control program for the imaging device will be described below with reference to the drawings. In addition, embodiment is not restricted to the following contents. In principle, the contents described in one embodiment and modification are similarly applied to other embodiments and modifications.
（第１の実施形態）
図１は、第１の実施形態に係る撮像装置１０を備える撮像システム１の構成例を示す図である。図１に示すように、第１の実施形態に係る撮像システム１は、撮像装置１０と、光源装置３０と、光ファイバ３１とを備える。
(First embodiment)
FIG. 1 is a diagram showing a configuration example of an
撮像装置１０は、例えば、医療用の硬性内視鏡として用いられ、被検体１００の体内を撮像する装置である。撮像装置１０は、スコープ１１と、カメラヘッド１２と、カメラケーブル１３と、ＣＣＵ（Camera Control Unit）１４とを備える。
The
スコープ１１は、撮像が行われる際に、被検体１００の体内に挿入される。スコープ１１の先端には、対物レンズ１１ａが設けられている。スコープ１１は、屈曲しない硬性を有する。
The
カメラヘッド１２は、励起光カットフィルタ１２ａと、分光プリズム１２ｂと、３つのイメージセンサ１２ｃ～１２ｅ（１２ｃ，１２ｄ，１２ｅ）と、イメージセンサ制御回路１２ｆとを備える。
The camera head 12 includes an excitation
励起光カットフィルタ１２ａは、複数の画素の撮像領域に対向するように配置され、光源装置３０から出射された励起光以外の光を複数の画素に受光させる光学素子である。励起光カットフィルタ１２ａは、スコープ１１と分光プリズム１２ｂの入射面１２ｂ＿１との間に配置され、対物レンズ１１ａから入射される光のうち、励起光をカットし、励起光以外の光を通過させるフィルタである。したがって、分光プリズム１２ｂの入射面１２ｂ＿１には、光源装置３０により被検体１００の体内組織に照射された光の反射光（戻り光）のうち、励起光以外の光が入射される。以下の説明では、分光プリズム１２ｂに入射されてイメージセンサ１２ｃに入射される白色光の反射光を、単に、白色光と表記する場合がある。
The excitation
分光プリズム１２ｂは、入射された光を赤色（Ｒ）の光、緑色（Ｇ）の光及び青色（Ｂ）の光に分光する。そして、分光プリズム１２ｂは、青色の光をイメージセンサ１２ｃの撮像面に結像する。また、分光プリズム１２ｂは、緑色の光をイメージセンサ１２ｄの撮像面に結像する。また、分光プリズム１２ｂは、赤色の光をイメージセンサ１２ｅの撮像面に結像する。
The spectral prism 12b splits the incident light into red (R) light, green (G) light, and blue (B) light. Then, the spectral prism 12b forms an image of the blue light on the imaging surface of the image sensor 12c. Also, the spectral prism 12b forms an image of green light on the imaging surface of the
イメージセンサ１２ｃ～１２ｅのそれぞれは、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。イメージセンサ１２ｃ～１２ｅのそれぞれの撮像面と、分光プリズム１２ｂの結像面とが略一致するように、イメージセンサ１２ｃ～１２ｅが配置される。３つ（複数）のイメージセンサ１２ｃ～１２ｅのそれぞれの複数の画素は、対応する種類の光を受光することにより映像信号を出力する。 Each of the image sensors 12c to 12e is, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor. The image sensors 12c to 12e are arranged such that the respective imaging planes of the image sensors 12c to 12e substantially coincide with the imaging plane of the spectral prism 12b. A plurality of pixels of each of the three (plurality) image sensors 12c to 12e output a video signal by receiving the corresponding kind of light.
イメージセンサ１２ｃ～１２ｅのそれぞれは、複数の画素（撮像要素）を備える。複数の画素は、撮像面において行列状に配置される。各画素は、イメージセンサ制御回路１２ｆによる駆動制御により、光を受光することにより映像信号（電気信号）を発生し、発生した映像信号を出力する。例えば、イメージセンサ１２ｃの各画素は、青色の光を受光することにより、Ｂ信号（Ｂの映像信号）を出力する。また、イメージセンサ１２ｄの各画素は、緑色の光を受光することにより、Ｇ信号（Ｇの映像信号）を出力する。また、イメージセンサ１２ｅの各画素は、赤色の光を受光することにより、Ｒ信号（Ｒの映像信号）を出力する。例えば、イメージセンサ１２ｃ～１２ｅを備えるカメラヘッド１２は、カメラケーブル１３を介して、ＣＣＵ１４にＲＧＢ信号を出力する。なお、イメージセンサ１２ｃ～１２ｅからは、アナログ形式の映像信号が出力される。
Each of the image sensors 12c-12e has a plurality of pixels (imaging elements). A plurality of pixels are arranged in a matrix on the imaging plane. Each pixel generates a video signal (electrical signal) by receiving light under drive control by the image
ここで、第１の実施形態に係る撮像装置１０は、例えば、被検体１００に対して、ＩＣＧ（インドシアニングリーン）蛍光造影法による外科手術を行う際に用いられる。第１の実施形態では、被検体１００に、ＩＣＧが投与される。ＩＣＧは、ＩＲレーザ３０ｄから出射される励起光により励起され、８００～８５０ｎｍ程度の近赤外蛍光（以下、蛍光と称する）を発する。この蛍光は、励起光カットフィルタ１２ａを通過して、分光プリズム１２ｂによりイメージセンサ１２ｅの撮像面に結像される。すなわち、イメージセンサ１２ｅは、励起光に基づく蛍光を受光することにより、Ｒ信号を出力する。以下、イメージセンサ１２ｅが蛍光を受光して、撮像装置１０が各種の処理を行う場合について説明するが、撮像装置１０は、励起光カットフィルタ１２ａを設けずに、励起光の反射光をイメージセンサ１２ｅに受光させて同様の処理を行っても良い。
Here, the
イメージセンサ１２ｃ～１２ｅのそれぞれは、複数の画素の最初の行から最後の行に向かって、少なくとも１行毎に順次露光を開始し、露光が終了した行から順に映像信号を出力する処理を、１フレーム（画像）毎に繰り返すローリングシャッタ方式のイメージセンサである。ここで、露光とは、例えば、画素が電荷を蓄積することを意味する。 Each of the image sensors 12c to 12e sequentially starts exposure for each row from the first row to the last row of a plurality of pixels, and outputs video signals sequentially from the row where the exposure is completed, This is a rolling shutter type image sensor that repeats for each frame (image). Here, exposure means, for example, that a pixel accumulates charge.
ここで、上述したようにカメラヘッド１２が複数のイメージセンサ１２ｃ～１２ｅを備える場合には、半画素ずらしという手法を用いて、画像の高解像度化を図ってもよい。 Here, when the camera head 12 includes a plurality of image sensors 12c to 12e as described above, a half-pixel shift method may be used to increase the resolution of the image.
なお、カメラヘッド１２は、分光プリズム１２ｂ及び３つのイメージセンサ１２ｃ～１２ｅに代えて、ベイヤフィルタ及び１つのイメージセンサを備えても良い。この場合には、イメージセンサの撮像面側に、各画素に赤色フィルタ、緑色フィルタ及び青色フィルタのいずれかが対向するようにベイヤフィルタが配置される。このように、１つの画素に対して１つの色のフィルタが対応する。イメージセンサは、画素毎に、当該画素に対応するフィルタの色の映像信号を出力する。なお、後述の画像処理回路１４ｃにより、画素毎に、当該画素の周辺の画素から出力される映像信号に基づいて、直接得られない残りの２色の各映像信号を推定する推定処理が実行される。この結果、撮像装置１０は、画素毎に、映像信号としてＲＧＢ信号を得ることができる。
Note that the camera head 12 may include a Bayer filter and one image sensor instead of the spectral prism 12b and the three image sensors 12c to 12e. In this case, the Bayer filter is arranged on the imaging surface side of the image sensor so that each pixel faces one of the red filter, the green filter, and the blue filter. Thus, one color filter corresponds to one pixel. The image sensor outputs a video signal of the color of the filter corresponding to each pixel. An image processing circuit 14c, which will be described later, performs estimation processing for estimating each of the remaining two-color video signals that cannot be obtained directly, for each pixel, based on video signals output from pixels surrounding the pixel. be. As a result, the
イメージセンサ制御回路１２ｆは、後述する制御回路１４ａから出力された制御信号、並びに、後述するタイミング信号発生回路１４ｆから出力された各種の同期信号に基づいてイメージセンサ１２ｃ～１２ｅを駆動制御する。例えば、イメージセンサ制御回路１２ｆは、制御信号及び各種の同期信号に基づいて、イメージセンサ１２ｃ～１２ｅから出力されるアナログ形式の映像信号に適宜ゲイン（アナログゲイン）をかけて（映像信号を増幅して）、ゲインがかけられた映像信号をＣＣＵ１４に出力するように、イメージセンサ１２ｃ～１２ｅを制御する。或いは、イメージセンサ１２ｃ～１２ｅが図示しないＡＤコンバータを内蔵する場合、イメージセンサ制御回路１２ｆは、イメージセンサ１２ｃ～１２ｅから出力されるデジタル形式の映像信号に適宜ゲイン（デジタルゲイン）をかけて、ゲインがかけられた映像信号をＣＣＵ１４に出力するように、イメージセンサ１２ｃ～１２ｅを制御する。
The image
カメラケーブル１３は、カメラヘッド１２とＣＣＵ１４との間で映像信号、制御信号及び同期信号を送受信するための信号線を収容するケーブルである。
The
ＣＣＵ１４は、カメラヘッド１２から出力された映像信号に各種の画像処理を施すことにより、ディスプレイ１０１に表示させる画像を示す画像データを生成し、ＣＣＵ１４に接続されたディスプレイ１０１に画像データを出力する。なお、各種の画像処理が施された映像信号は、ディスプレイ１０１に表示させる画像を示す画像データである。
The CCU 14 performs various image processing on the video signal output from the camera head 12 to generate image data representing an image to be displayed on the
ＣＣＵ１４は、制御回路１４ａと、記憶制御回路１４ｂと、画像処理回路１４ｃと、画像合成回路１４ｄと、出力回路１４ｅと、タイミング信号発生回路１４ｆと、記憶回路１４ｇとを備える。なお、イメージセンサ１２ｃ～１２ｅがＡＤコンバータを内蔵しない場合、ＣＣＵ１４は、図示しないＡＤ（Analog to Digital）コンバータ等も備える。かかるＡＤコンバータは、例えば、カメラヘッド１２から出力されたアナログ形式の映像信号をデジタル形式の映像信号に変換する。
The CCU 14 includes a
制御回路１４ａは、撮像装置１０の各種の構成要素を制御する。例えば、制御回路１４ａは、イメージセンサ制御回路１２ｆ、記憶制御回路１４ｂ、画像処理回路１４ｃ、画像合成回路１４ｄ、出力回路１４ｅ及びタイミング信号発生回路１４ｆの各回路に対して制御信号を出力して、各回路を制御する。制御回路１４ａは、記憶回路１４ｇに記憶された撮像装置１０の制御プログラムを読み込み、読み込んだ制御プログラムを実行することで、撮像装置１０の各種の構成要素を制御する制御処理を実行する。或いは、制御回路１４ａは、内部に図示しない記憶回路を有しており、当該記憶回路に記憶された制御プログラムを実行する。制御回路１４ａは、例えば、ＭＰＵ（Micro-Processing Unit）等のプロセッサにより実現される。
The
記憶制御回路１４ｂは、制御回路１４ａから出力された制御信号、並びに、タイミング信号発生回路１４ｆから出力された各種の同期信号に基づいて、カメラヘッド１２から出力された映像信号を記憶回路１４ｇに記憶させる制御を行う。また、記憶制御回路１４ｂは、制御信号及び同期信号に基づいて、記憶回路１４ｇに記憶された映像信号を１行毎に読み取る。そして、記憶制御回路１４ｂは、読み取った１行分の映像信号を画像処理回路１４ｃに出力する。
The storage control circuit 14b stores the video signal output from the camera head 12 in the storage circuit 14g based on the control signal output from the
画像処理回路１４ｃは、制御回路１４ａから出力された制御信号、及び、タイミング信号発生回路１４ｆから出力された各種の同期信号に基づいて、記憶制御回路１４ｂから出力された映像信号に対して各種の画像処理を施す。これにより、画像処理回路１４ｃは、ディスプレイ１０１に表示させる画像を示す画像データを生成する。すなわち、画像処理回路１４ｃは、映像信号に基づいて、画像を生成する。例えば、画像処理回路１４ｃは、記憶制御回路１４ｂから出力された映像信号に対してゲイン（デジタルゲイン）をかけて、画像の明るさを調整する。また、画像処理回路１４ｃは、記憶制御回路１４ｂから出力された映像信号に対して、ノイズを低減させるノイズリダクション処理や輪郭を強調する輪郭強調処理等を行ってもよい。そして、画像処理回路１４ｃは、各種の画像処理が施された映像信号（ディスプレイ１０１に表示させる画像を示す画像データ）を画像合成回路１４ｄに出力する。
The image processing circuit 14c performs various operations on the video signal output from the storage control circuit 14b based on the control signal output from the
画像合成回路１４ｄは、制御回路１４ａから出力された制御信号、並びに、タイミング信号発生回路１４ｆから出力された各種の同期信号に基づいて、画像処理回路１４ｃから出力された映像信号を合成して合成画像データを生成する。そして、画像合成回路１４ｄは、合成画像データをディスプレイ１０１に出力する。
The image synthesis circuit 14d synthesizes the video signal output from the image processing circuit 14c based on the control signal output from the
例えば、記憶制御回路１４ｂ、画像処理回路１４ｃ及び画像合成回路１４ｄは、ＤＳＰ（Digital Signal Processor）等の１つのプロセッサにより実現される。また、例えば記憶制御回路１４ｂ、画像処理回路１４ｃ及び画像合成回路１４ｄ、タイミング信号発生回路１４ｆは、１つのＦＰＧＡ（Field Programmable Gate Array）により実現される。なお、制御回路１４ａ、記憶制御回路１４ｂ、画像処理回路１４ｃ、画像合成回路１４ｄは、１つの処理回路により実現されてもよい。この処理回路は、例えば、プロセッサにより実現される。
For example, the memory control circuit 14b, the image processing circuit 14c, and the image synthesizing circuit 14d are realized by one processor such as a DSP (Digital Signal Processor). Also, for example, the memory control circuit 14b, the image processing circuit 14c, the image synthesizing circuit 14d, and the timing
出力回路１４ｅは、画像合成回路１４ｄから出力された合成画像データをディスプレイ１０１に出力する。これにより、ディスプレイ１０１は、合成画像データが示す合成画像を表示する。合成画像は、画像の一例である。出力回路１４ｅは、例えば、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ドライバＩＣ（Integrated Circuit）やＳＤＩ（Serial Digital Interface）ドライバＩＣなどにより実現される。
The output circuit 14e outputs the synthesized image data output from the image synthesizing circuit 14d to the
タイミング信号発生回路１４ｆは、光源装置３０からの光の出射タイミング、イメージセンサ１２ｃ～１２ｅの露光タイミング及び映像信号の出力タイミング、記憶制御回路１４ｂによる記憶回路１４ｇの制御タイミング等の各種のタイミングを一元管理する。制御回路１４ａ及びタイミング信号発生回路１４ｆは、制御部の一例である。
The timing
タイミング信号発生回路１４ｆは、図示しない発振回路により生成されたクロック信号を基に水平同期信号及び垂直同期信号や、撮像装置１０全体の同期をとるためのその他の同期信号等の各種の同期信号を生成する。そして、タイミング信号発生回路１４ｆは、生成した各種の同期信号をイメージセンサ制御回路１２ｆ、制御回路１４ａ、記憶制御回路１４ｂ、画像処理回路１４ｃ、画像合成回路１４ｄ及び出力回路１４ｅの各回路に出力する。
The timing
また、タイミング信号発生回路１４ｆは、クロック信号、及び、制御回路１４ａから出力された制御信号を基に、光源制御信号を生成する。光源制御信号は、光源装置３０から出射される光を制御するとともに撮像システム１全体の同期をとるための制御信号である。そして、タイミング信号発生回路１４ｆは、生成した光源制御信号を光源装置３０に出力する。
The timing
例えば、光源制御信号の波形は、矩形波であり、光源制御信号は、ハイ（ｈｉｇｈ）レベル及びロー（ｌｏｗ）レベルの２つのレベル（状態）を有する。例えば、光源制御信号は、ハイレベルの間、白色ＬＥＤ３０ｂから白色光を出射させたり、ＩＲレーザ３０ｄから励起光を出射させたりし、ローレベルの間、白色ＬＥＤ３０ｂを消灯させたり、ＩＲレーザ３０ｄからの励起光の出射を停止させたりする制御信号である。 For example, the waveform of the light source control signal is a rectangular wave, and the light source control signal has two levels (states) of a high level and a low level. For example, the light source control signal emits white light from the white LED 30b or emits excitation light from the IR laser 30d while it is at high level, and extinguishes the white LED 30b or emits excitation light from the IR laser 30d while it is at low level. It is a control signal for stopping the emission of the excitation light of the .
記憶回路１４ｇは、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。記憶回路１４ｇは、各種のプログラムを記憶する。例えば、記憶回路１４ｇは、制御回路１４ａにより実行される制御プログラムを記憶する。また、記憶回路１４ｇには、記憶制御回路１４ｂにより映像信号が一時的に格納される。
The storage circuit 14g is implemented by, for example, a RAM (Random Access Memory), a semiconductor memory device such as a flash memory, a hard disk, an optical disk, or the like. The storage circuit 14g stores various programs. For example, the memory circuit 14g stores a control program executed by the
光源装置３０は、光源制御信号に基づいて、白色光又は励起光を出射する。光源装置３０は、駆動回路３０ａと、白色ＬＥＤ（Light Emitting Diode）３０ｂと、駆動回路３０ｃと、ＩＲレーザ３０ｄとを備える。
The light source device 30 emits white light or excitation light based on the light source control signal. The light source device 30 includes a drive circuit 30a, a white LED (Light Emitting Diode) 30b, a
駆動回路３０ａは、タイミング信号発生回路１４ｆから出力される光源制御信号に基づいて、白色ＬＥＤ３０ｂを駆動させて点灯させる駆動制御を行う。白色ＬＥＤ３０ｂは、駆動回路３０ａによる駆動制御により、白色光を出射する。白色光は、例えば、可視光である。また、白色光は、光の一例である。また、白色光は、第２の光の一例でもある。
The drive circuit 30a performs drive control for driving and lighting the white LED 30b based on the light source control signal output from the timing
駆動回路３０ｃは、タイミング信号発生回路１４ｆから出力される光源制御信号に基づいて、ＩＲレーザ３０ｄを駆動させて、ＩＲレーザ３０ｄから励起光を出射させる駆動制御を行う。ＩＲレーザ３０ｄは、駆動回路３０ｃによる駆動制御により、励起光を出射する。なお、上述したように、励起光は、励起光カットフィルタ１２ａによりカットされる。また、励起光によりＩＣＧが励起されてＩＣＧから出射された蛍光（励起光に基づく蛍光）は、励起光カットフィルタ１２ａを通過して、イメージセンサ１２ｅにより受光される。励起光は、光の一例である。また、励起光は、第１の光の一例である。
The
光ファイバ３１は、光源装置３０からの白色光及び励起光をスコープ１１の先端部に導いて、スコープ１１の先端部から出射させる。
The
以上、第１の実施形態に係る撮像システム１の撮像装置１０の構成例について説明した。ここで、比較例に係る撮像装置について説明する。比較例に係る撮像装置は、ローリングシャッタ方式のイメージセンサを備える。
The configuration example of the
図２は、比較例に係る撮像装置の動作の一例を説明するための図である。図２には、比較例に係る撮像装置のイメージセンサが備える複数の画素の各行の露光タイミングと、イメージセンサから出力される映像信号の出力タイミングとの関係の一例が示されている。図２に示すように、比較例に係る撮像装置では、１フレーム目の撮像において、複数の画素の最初の行から最後の行に向かって１行毎に順次露光が開始される。比較例に係る撮像装置では、露光期間は、１／６０［ｓ］である。ここで、露光期間とは、例えば、画素が電荷の蓄積を開始してから終了するまでの期間を意味する。 FIG. 2 is a diagram for explaining an example of the operation of the imaging device according to the comparative example. FIG. 2 shows an example of the relationship between the exposure timing of each row of a plurality of pixels provided in the image sensor of the imaging device according to the comparative example and the output timing of the video signal output from the image sensor. As shown in FIG. 2, in the imaging apparatus according to the comparative example, in the imaging of the first frame, exposure is sequentially started for each row from the first row to the last row of a plurality of pixels. In the imaging device according to the comparative example, the exposure period is 1/60 [s]. Here, the exposure period means, for example, the period from when pixels start accumulating electric charges to when they finish accumulating electric charges.
そして、図２に示すように、比較例に係る撮像装置では、露光が終了した行から順に映像信号が出力される。すなわち、最初の行から最後の行に向かって各行から映像信号が順々に出力される。ここで、比較例に係る撮像装置では、イメージセンサから１フレームの映像信号が出力される期間（読み出し期間）は、露光期間と同じ１／６０［ｓ］である。そして、図２に示すように、２フレーム目以降も同様の処理が行われる。 Then, as shown in FIG. 2, in the image pickup apparatus according to the comparative example, video signals are output in order from the row where the exposure is completed. That is, video signals are sequentially output from each row from the first row to the last row. Here, in the imaging apparatus according to the comparative example, the period (readout period) during which one frame of video signal is output from the image sensor is 1/60 [s], which is the same as the exposure period. Then, as shown in FIG. 2, similar processing is performed for the second and subsequent frames.
比較例に係る撮像装置では、イメージセンサは、複数の画素の全ての行において、光を受光する期間（受光期間）が露光期間と同じ期間である。そのため、最初の行から最後の行に向かって、各行の受光期間が順々に時間軸方向にずれている。このように、比較例に係る撮像装置では、行毎に受光期間が異なるため、画像に歪みが発生してしまう場合がある。この場合、画像を観察する医師等のユーザにとって、観察するのに画質が十分でないという問題がある。 In the image sensor according to the comparative example, the light receiving period (light receiving period) is the same period as the exposure period in all rows of a plurality of pixels of the image sensor. Therefore, the light-receiving period of each row is sequentially shifted in the time axis direction from the first row to the last row. As described above, in the image pickup apparatus according to the comparative example, since the light receiving period is different for each row, the image may be distorted. In this case, there is a problem that the image quality is not sufficient for a user such as a doctor who observes the image.
そこで、第１の実施形態に係る撮像装置１０は、上述した構成のもと、ユーザが観察するのに十分な画質及びフレームレートを確保することができるように、以下の動作を行う。
Therefore, the
本実施形態では、イメージセンサ１２ｃ～１２ｅの露光期間は、撮像装置１０からディスプレイ１０１に１フレームの映像信号が出力される期間の半分である。そして、制御回路１４ａは、ブランキング期間又はブランキング期間を中心とした期間にのみ、イメージセンサ１２ｃ～１２ｅそれぞれの複数の画素を受光させる制御を行う。例えば、制御回路１４ａは、このような制御をイメージセンサ制御回路１２ｆに行わせるための制御信号をイメージセンサ制御回路１２ｆに出力する。
In this embodiment, the exposure period of the image sensors 12c to 12e is half the period during which one frame of video signal is output from the
ここで、制御回路１４ａは、読み出し期間以下の期間で、複数の画素を受光させる制御を行う。読み出し期間とは、例えば、イメージセンサ１２ｃ～１２ｅから１フレームの映像信号が出力される期間を指す。また、読み出し期間とは、例えば、１フレームにおける最初の行からの映像信号の出力を開始してから最後の行からの映像信号の出力を終了するまでの期間を指す。
Here, the
なお、ブランキング期間とは、例えば、本実施形態では、ｎ（ｎは、正の整数）フレーム目の撮像において、イメージセンサ１２ｃ～１２ｅの最後の行からの映像信号の出力を終了してから、（ｎ＋１）フレーム目の撮像において、イメージセンサ１２ｃ～１２ｅの最初の行からの映像信号の出力を開始するまでの期間に対応する期間を指す。 Note that, in the present embodiment, for example, the blanking period is defined as the time after output of the video signal from the last row of the image sensors 12c to 12e is finished in the n-th (n is a positive integer) frame imaging. , refers to the period corresponding to the period until the first row of the image sensors 12c to 12e starts outputting the video signal in the (n+1)th frame imaging.
本実施形態では、撮像装置１０からディスプレイ１０１に出力される映像信号（画像）のフレームレートを、Ａ［ｆｐｓ（frame per second）］とする。この場合、読み出し期間を、１／（Ｍ・Ａ）［ｓ］とすることが可能なイメージセンサを、撮像装置１０のイメージセンサ１２ｃ～１２ｅとして用いる。すなわち、１／(Ｍ・ｋ・Ａ)［ｓ］毎に、各行から映像信号を出力することが可能なイメージセンサをイメージセンサ１２ｃ～１２ｅとして用いる。ただし、「Ｍ」は、１よりも大きい数であり、「ｋ」は、イメージセンサ１２ｃ～１２ｅそれぞれの画素の行数である。以下、Ｍ＝２の場合を例に挙げて説明するが、Ｍは、２とは異なる数であって１よりも大きい数であってもよい。
In this embodiment, the frame rate of the video signal (image) output from the
そして、制御回路１４ａは、露光期間１／Ａ［ｓ］よりも短い読み出し期間１／（２Ａ）［ｓ］で１フレームの映像信号をイメージセンサ１２ｃ～１２ｅに出力させるための制御信号をイメージセンサ制御回路１２ｆに出力する。
Then, the
以下、Ａ＝６０の場合を例に挙げて説明する。つまり、露光期間と、撮像装置１０からディスプレイ１０１に１フレームの映像信号が出力される期間とが同一の１／６０［ｓ］であり、読み出し期間が１／１２０［ｓ］である場合について、以下、説明する。
A case where A=60 will be described below as an example. In other words, when the exposure period and the period during which one frame of video signal is output from the
図３は、第１の実施形態に係る撮像装置１０の撮像動作の一例を説明するための図である。図３には、第１の実施形態に係る光源装置３０から出射される白色光及び励起光の出射タイミングと、撮像装置１０のイメージセンサ１２ｃ～１２ｅが備える複数の画素の各行の露光タイミングと、イメージセンサ１２ｃ～１２ｅから出力される映像信号の出力タイミングと、出力回路１４ｅから出力される映像信号の出力タイミングとの関係の一例が示されている。図３において、横軸は、時間を示す。
FIG. 3 is a diagram for explaining an example of the imaging operation of the
なお、図３において、図示を簡略化したため、ｎフレーム目の撮像においてイメージセンサ１２ｃ～１２ｅの最後の行からの映像信号の出力を終了した時間（タイミング）、及び、（ｎ＋１）フレーム目の撮像においてイメージセンサ１２ｃ～１２ｅの最初の行からの映像信号の出力を開始する時間の２つの異なる時間が、同一の「Ｔｐ（ｐ＝ｎ＋１）」で示されている。実際には、上述したように、ｎフレーム目の撮像において、イメージセンサ１２ｃ～１２ｅの最後の行からの映像信号の出力を終了してから、（ｎ＋１）フレーム目の撮像において、イメージセンサ１２ｃ～１２ｅの最初の行からの映像信号の出力を開始するまでの間の期間として、ブランキング期間が存在する。 In FIG. 3, for simplification of illustration, the time (timing) at which the output of the video signal from the last row of the image sensors 12c to 12e in the nth frame imaging is completed, and the (n+1)th frame imaging , two different times of starting the output of video signals from the first row of the image sensors 12c to 12e are indicated by the same "Tp (p=n+1)". In fact, as described above, after finishing the output of the video signals from the last row of the image sensors 12c to 12e in the nth frame imaging, in the (n+1)th frame imaging, the image sensors 12c to 12e A blanking period exists as a period until the start of outputting the video signal from the first row of 12e.
図３において、（ｎ）は、ｎフレーム目の撮像における露光タイミングを示す。ただし、ｎは、上述したように正の整数である。第１の実施形態では、白色ＬＥＤ３０ｂから出射される白色光の反射の光量よりも、励起光の照射によって発生した蛍光の光量の方が小さい。例えば、白色光の反射の光量に比べて、蛍光の光量が無視できるくらい小さい。よって、白色光から得られるカラー画像に及ぼす励起光に基づく蛍光から得られる蛍光画像の影響は著しく小さいと考えられる。このため、第１の実施形態では、ＩＲレーザ３０ｄからは常時（連続的に）励起光が出射されている。したがって、イメージセンサ１２ｅにより受光される蛍光の光量は、常時励起光がＩＲレーザ３０ｄから出射されていない場合と比べて、大きくなる。このため、蛍光の受光感度を高くすることができ、光量不足による画像の明るさの低下を抑制することができる。 In FIG. 3, (n) indicates the exposure timing in the imaging of the n-th frame. However, n is a positive integer as described above. In the first embodiment, the amount of fluorescent light generated by irradiation of the excitation light is smaller than the amount of reflected white light emitted from the white LED 30b. For example, the amount of fluorescent light is negligibly small compared to the amount of reflected white light. Therefore, it is considered that the effect of the fluorescence image obtained from the fluorescence based on the excitation light on the color image obtained from the white light is remarkably small. Therefore, in the first embodiment, excitation light is constantly (continuously) emitted from the IR laser 30d. Therefore, the amount of fluorescence light received by the image sensor 12e is greater than when excitation light is not constantly emitted from the IR laser 30d. For this reason, it is possible to increase the sensitivity of receiving fluorescence, and to suppress a decrease in brightness of an image due to insufficient amount of light.
図３において、ｎが奇数の場合には、ＩＲｎは、ｎフレーム目の撮像において、イメージセンサ１２ｅから出力されるＲ信号を示す。すなわち、ｎが奇数の場合には、ＩＲｎは、励起光に基づく蛍光を受光したイメージセンサ１２ｅから出力されるＲ信号を示す。 In FIG. 3, when n is an odd number, IRn indicates the R signal output from the image sensor 12e in the nth frame imaging. That is, when n is an odd number, IRn represents the R signal output from the image sensor 12e that received fluorescence based on the excitation light.
図３において、ｎが偶数の場合には、Ｇｎは、ｎフレーム目の撮像において、イメージセンサ１２ｄから出力されるＧ信号を示す。また、ｎが偶数の場合には、Ｂｎは、ｎフレーム目の撮像において、イメージセンサ１２ｃから出力されるＢ信号を示す。また、ｎが偶数の場合には、「Ｒｎ＋ＩＲｎ」は、ｎフレーム目の撮像において、イメージセンサ１２ｅから出力されるＲ信号を示す。すなわち、「Ｒｎ＋ＩＲｎ」は、ｎフレーム目の撮像において、白色光、及び、励起光に基づく蛍光を同時に受光したイメージセンサ１２ｅから出力されるＲ信号を示す。また、「Ｗｎ＋ＩＲｎ」は、ｎフレーム目の撮像において、イメージセンサ１２ｃ～１２ｅから出力されるＲＧＢ信号を示す。すなわち、「Ｗｎ＋ＩＲｎ」は、ＧｎとＢｎとＲｎとの合成信号である。
In FIG. 3, when n is an even number, Gn indicates the G signal output from the
図３の例において、１フレーム目の撮像を開始する前または１フレーム目の撮像の開始とともに、制御回路１４ａは、第１の光源制御信号を出力させるための制御信号をタイミング信号発生回路１４ｆに出力する。第１の光源制御信号は、ＩＲレーザ３０ｄから励起光を連続的に出射させるための制御信号である。
In the example of FIG. 3, the
タイミング信号発生回路１４ｆは、制御回路１４ａから出力された上述の制御信号に基づき、励起光を連続的に出射させるための第１の光源制御信号を駆動回路３０ｃに出力する。駆動回路３０ｃは、タイミング信号発生回路１４ｆから出力された第１の光源制御信号に基づき、ＩＲレーザ３０ｄから励起光を連続的に出射させる。
The timing
図３に示すように、１フレーム目の撮像において、複数の画素の最初の行から最後の行に向かって１行毎に順次露光が開始される。１フレーム目の撮像では、励起光に基づく蛍光がイメージセンサ１２ｅにより受光され、イメージセンサ１２ｅは、時間Ｔ１から時間Ｔ２までの読み出し期間１／１２０［ｓ］で、Ｒ信号（ＩＲ１）を出力する。すなわち、イメージセンサ１２ｅは、１／(１２０ｋ)［ｓ］毎に、各行から映像信号を出力する。なお、時間Ｔ１は、１フレーム目において、最初の行からの映像信号の出力が開始する時間である。時間Ｔ２は、１フレーム目において、最後の行からの映像信号の出力が終了する時間である。 As shown in FIG. 3, in the imaging of the first frame, exposure is sequentially started row by row from the first row to the last row of a plurality of pixels. In the imaging of the first frame, fluorescence based on the excitation light is received by the image sensor 12e, and the image sensor 12e outputs an R signal (IR1) during a readout period of 1/120 [s] from time T1 to time T2. . That is, the image sensor 12e outputs a video signal from each row every 1/(120k) [s]. Note that the time T1 is the time when the output of the video signal from the first row starts in the first frame. Time T2 is the time when the output of the video signal from the last row ends in the first frame.
具体的な制御方法について説明すると、制御回路１４ａは、時間Ｔ１から読み出し期間１／１２０［ｓ］で１フレーム目の映像信号をイメージセンサ１２ｅに出力させるための制御信号をイメージセンサ制御回路１２ｆに出力する。すなわち、制御回路１４ａは、時間Ｔ１から、１／（１２０ｋ）［ｓ］毎に各行から順々に映像信号を出力することをイメージセンサ１２ｅに開始させるための制御信号をイメージセンサ制御回路１２ｆに出力する。
To explain a specific control method, the
イメージセンサ制御回路１２ｆは、かかる制御信号に基づいて、イメージセンサ１２ｅを駆動制御する。この結果、イメージセンサ１２ｅは、時間Ｔ１から時間Ｔ２までの読み出し期間１／１２０［ｓ］で、全ての行（ｋ行）から映像信号を出力する。
The image
そして、記憶制御回路１４ｂは、１フレーム目の撮像において、イメージセンサ１２ｅの各行から出力された映像信号が入力される度に、各行から出力された映像信号を一時的に記憶回路１４ｇに格納する。ここで、記憶制御回路１４ｂは、時間Ｔ１から時間Ｔ２にかけて、最初の行から順々に最後の行まで、各行から出力された映像信号を記憶回路１４ｇに記憶させる。このようにして１フレーム目の撮像において記憶された映像信号は、少なくとも、時間Ｔ５までは記憶回路１４ｇに記憶される。 Then, the storage control circuit 14b temporarily stores the video signal output from each row in the storage circuit 14g each time the video signal output from each row of the image sensor 12e is input in the imaging of the first frame. . Here, the storage control circuit 14b causes the storage circuit 14g to store the video signals output from the first row to the last row in order from the time T1 to the time T2. The video signal thus stored in the imaging of the first frame is stored in the storage circuit 14g at least until time T5.
次に、図３に示すように、２フレーム目の撮像において、イメージセンサ１２ｃ～１２ｅそれぞれの複数の画素の最初の行から最後の行に向かって１行毎に順次露光が開始される。 Next, as shown in FIG. 3, in the imaging of the second frame, exposure is sequentially started row by row from the first row to the last row of the plurality of pixels of each of the image sensors 12c to 12e.
ここで、１フレーム目の撮像において、最後の行からの映像信号の出力が終了する時間Ｔ２から、２フレーム目の撮像において、最初の行からの映像信号の出力が開始する時間までの期間は、図３に示すように、ブランキング期間４０に対応する。なお、ブランキング期間４０は、露光期間等と比較して相対的に短い期間であるため、図３において一本の点線で示されているが、実際は、時間軸方向に一定の幅を有する期間である。
Here, the period from the time T2 when the output of the video signal from the last row ends in the imaging of the first frame to the time when the output of the video signal from the first row starts in the imaging of the second frame is , corresponds to the
本実施形態では、図３に示すように、２フレーム目の撮像において、ブランキング期間４０又はブランキング期間４０を中心とした期間４１にのみ、白色ＬＥＤ３０ｂから白色光が出射される。例えば、ブランキング期間４０を中心とした期間４１にのみ白色光が出射される場合、２フレーム目の撮像において、イメージセンサ１２ｃ～１２ｅの複数の画素の全ての行のうち、最初の行側の少なくとも１つの行４２、及び、最後の行側の少なくとも１つの行４３には、期間４１よりも短い時間しか白色光が照射されない。
In this embodiment, as shown in FIG. 3, white light is emitted from the white LED 30b only during the
なお、ブランキング期間４０内で白色ＬＥＤ３０ｂから白色光が出射されてもよい。この場合には、ブランキング期間４０内なら、ブランキング期間４０の中心を中心とした期間に限られず、どのようなタイミングでも白色光が出射されてもよい。また、期間４１は、例えば、ブランキング期間４０よりも長い期間であり、ブランキング期間４０を含み、ブランキング期間４０よりも前の期間と後ろの期間とを含む。ブランキング期間、ブランキング期間内の期間、及び、ブランキング期間を中心とした期間は、ブランキング期間を基準とした期間の一例である。
White light may be emitted from the white LED 30b during the
一方、図３に示すように、全ての行のうち、行４２及び行４３を除いた１つ以上の行４４では、白色光を受光する受光期間が、略一致する。すなわち、行４４と、行４２及び行４３とでは、受光期間が異なる。このため、撮像装置１０は、行４２及び行４３から出力される映像信号に基づいて得られる画像をマスクし、行４４から出力される映像信号に基づいて得られる画像の範囲を有効画像範囲として設定する。これにより、ディスプレイ１０１には、明るさのムラが発生する可能性がある部分がマスクされた画像が表示される。したがって、画像の歪みの発生を抑制することができる。よって、第１の実施形態に係る撮像装置１０によれば、画像を観察する医師等のユーザにとって、観察するのに十分な画質を確保することができる。
On the other hand, as shown in FIG. 3, in one or
また、図３に示すように、３フレーム目の撮像において、複数の画素の全ての行のうち、最初の行側の少なくとも１つの行は、露光期間中に、励起光に基づく蛍光のみを受光するのではなく、白色光も受光している。また、１フレーム目の撮像において、複数の画素の全ての行のうち、最後の行側の少なくとも１つの行は、露光期間中に、励起光に基づく蛍光のみを受光するのではなく、白色光も受光している。よって、蛍光に加えて白色光も受光しているこれらの行から出力される映像信号からは、白色光の成分も含まれているため、蛍光成分のみからなる画質が良好な蛍光画像を生成することが困難である。 Further, as shown in FIG. 3, in the third frame imaging, at least one row on the first row side among all the rows of the plurality of pixels receives only fluorescence based on the excitation light during the exposure period. Instead, it also receives white light. Further, in the imaging of the first frame, at least one row on the last row side among all the rows of the plurality of pixels receives white light instead of only fluorescence based on the excitation light during the exposure period. is also received. Therefore, the video signals output from these rows, which receive white light in addition to fluorescence, contain a white light component, so that a high-quality fluorescence image consisting of only the fluorescence component is generated. is difficult.
したがって、第１の実施形態に係る撮像装置１０は、１フレーム目の撮像及び３フレーム目の撮像においても同様に、行４２及び行４３から出力される映像信号に基づいて得られる画像をマスクし、行４４から出力される映像信号に基づいて得られる画像の範囲を有効画像範囲として設定する。これにより、ディスプレイ１０１には、画質が良好でない可能性がある部分がマスクされた画像が表示される。したがって、第１の実施形態に係る撮像装置１０によれば、この点からも、画像を観察する医師等のユーザにとって、観察するのに十分な画質を確保することができる。
Therefore, the
ここで、期間４１がブランキング期間を中心とした期間である理由の一例について説明する。仮に、期間４１がブランキング期間を中心としていない期間である場合には、両端がマスクされる画像において、一端側のマスクされている領域の大きさと、他端側のマスクされている領域との大きさとが異なり、画像を観察するユーザに違和感を覚えさせてしまう虞がある。
Here, an example of the reason why the
しかしながら、期間４１がブランキング期間を中心とした期間であることで、一端側のマスクされている領域と、他端側のマスクされている領域との大きさが略一致し、ユーザに違和感を与えることを抑制することができる。
However, since the
そして、イメージセンサ１２ｃ～１２ｅは、時間Ｔ２から時間Ｔ３までの読み出し期間１／１２０［ｓ］で、全ての行（ｋ行）からの映像信号（ＲＧＢ信号）を出力する。 The image sensors 12c to 12e output video signals (RGB signals) from all rows (k rows) during a readout period of 1/120 [s] from time T2 to time T3.
具体的な制御方法について説明する。制御回路１４ａは、時間Ｔ２から読み出し期間１／１２０［ｓ］で映像信号をイメージセンサ１２ｃ～１２ｅに出力させるための制御信号をイメージセンサ制御回路１２ｆに出力する。すなわち、制御回路１４ａは、時間Ｔ２から１／（１２０ｋ）［ｓ］毎に各行からの映像信号を出力することをイメージセンサ１２ｃ～１２ｅに開始させるための制御信号をイメージセンサ制御回路１２ｆに出力する。
A specific control method will be described. The
イメージセンサ制御回路１２ｆは、かかる制御信号に基づいて、イメージセンサ１２ｃ～１２ｅを駆動制御する。この結果、イメージセンサ１２ｃは、時間Ｔ２から時間Ｔ３までの読み出し期間１／１２０［ｓ］で、全ての行（ｋ行）から映像信号（Ｂ信号）を出力する。また、イメージセンサ１２ｄは、時間Ｔ２から時間Ｔ３までの読み出し期間１／１２０［ｓ］で、全ての行（ｋ行）から映像信号（Ｇ信号）を出力する。また、イメージセンサ１２ｅは、時間Ｔ２から時間Ｔ３までの読み出し期間１／１２０［ｓ］で、２フレーム目の撮像において、全ての行（ｋ行）から映像信号（Ｒ信号（Ｒ２＋ＩＲ２））を出力する。
The image
そして、記憶制御回路１４ｂは、時間Ｔ２から時間Ｔ３まで、イメージセンサ１２ｃの各行から出力された映像信号が入力される度に、各行から出力された映像信号を一時的に記憶回路１４ｇに格納する。また、記憶制御回路１４ｂは、時間Ｔ２から時間Ｔ３まで、イメージセンサ１２ｄの各行から出力された映像信号が入力される度に、各行から出力された映像信号を一時的に記憶回路１４ｇに格納する。また、記憶制御回路１４ｂは、時間Ｔ２から時間Ｔ３まで、イメージセンサ１２ｅの各行から出力された映像信号が入力される度に、各行から出力された映像信号を一時的に記憶回路１４ｇに格納する。ここで、２フレーム目の撮像において、時間Ｔ２から時間Ｔ３にかけて、最初の行から順々に、最後の行まで、各行から出力された映像信号が記憶回路１４ｇに記憶される。このようにして２フレーム目の撮像において記憶された映像信号は、少なくとも、時間Ｔ５までは記憶回路１４ｇに記憶される。
Then, the memory control circuit 14b temporarily stores the video signal output from each row in the memory circuit 14g every time the video signal output from each row of the image sensor 12c is input from time T2 to time T3. . In addition, the storage control circuit 14b temporarily stores the video signal output from each row in the storage circuit 14g every time the video signal output from each row of the
そして、図３に示すように、３フレーム目の撮像において、複数の画素の最初の行から最後の行に向かって１行毎に順次露光が開始される。３フレーム目の撮像では、励起光に基づく蛍光がイメージセンサ１２ｅにより受光され、イメージセンサ１２ｅは、時間Ｔ３から時間Ｔ４までの読み出し期間１／１２０［ｓ］で、Ｒ信号（ＩＲ３）を出力する。すなわち、イメージセンサ１２ｅの各行は、１／(１２０ｋ)［ｓ］毎に映像信号を出力する。なお、時間Ｔ３は、３フレーム目の撮像において、最初の行からの映像信号の出力が開始する時間である。時間Ｔ４は、３フレーム目の撮像において、最後の行からの映像信号の出力が終了する時間である。 Then, as shown in FIG. 3, in the imaging of the third frame, exposure is sequentially started row by row from the first row to the last row of the plurality of pixels. In the imaging of the third frame, fluorescence based on the excitation light is received by the image sensor 12e, and the image sensor 12e outputs an R signal (IR3) during a readout period of 1/120 [s] from time T3 to time T4. . That is, each row of the image sensor 12e outputs a video signal every 1/(120k) [s]. Note that the time T3 is the time when the output of the video signal from the first row starts in the imaging of the third frame. Time T4 is the time when the output of the video signal from the last row ends in the imaging of the third frame.
具体的な制御方法について説明すると、制御回路１４ａは、時間Ｔ３から読み出し期間１／１２０［ｓ］で映像信号をイメージセンサ１２ｅに出力させるための制御信号をイメージセンサ制御回路１２ｆに出力する。すなわち、制御回路１４ａは、時間Ｔ３から１／（１２０ｋ）［ｓ］毎に各行から映像信号を出力することをイメージセンサ１２ｅに開始させるための制御信号をイメージセンサ制御回路１２ｆに出力する。
Specifically, the
イメージセンサ制御回路１２ｆは、かかる制御信号に基づいて、イメージセンサ１２ｅを駆動制御する。この結果、イメージセンサ１２ｅは、時間Ｔ３から時間Ｔ４までの読み出し期間１／１２０［ｓ］で、全ての行（ｋ行）から映像信号を出力する。
The image
そして、記憶制御回路１４ｂは、３フレーム目の撮像において、イメージセンサ１２ｅの各行から出力された映像信号が入力される度に、各行から出力された映像信号を一時的に記憶回路１４ｇに格納する。ここで、３フレーム目の撮像において、時間Ｔ３から時間Ｔ４にかけて、最初の行から順々に最後の行まで、各行から出力された映像信号が記憶回路１４ｇに記憶される。このようにして３フレーム目の撮像において記憶された映像信号は、少なくとも、時間Ｔ７までは記憶回路１４ｇに記憶される。 Then, the storage control circuit 14b temporarily stores the video signal output from each row in the storage circuit 14g every time the video signal output from each row of the image sensor 12e is input in the imaging of the third frame. . Here, in the imaging of the third frame, from time T3 to time T4, the video signals output from each row are stored in the storage circuit 14g in order from the first row to the last row. The video signal thus stored in the imaging of the third frame is stored in the storage circuit 14g at least until time T7.
ここで、図３の「（Ｗ２＋ＩＲ２）＋（ＩＲ１＋ＩＲ３）／２」が示す処理について説明する。時間Ｔ３の段階では、記憶回路１４ｇには、１フレーム目の映像信号（ＩＲ１）と、２フレーム目の映像信号（Ｗ２＋ＩＲ２）とが記憶されている。そして、時間Ｔ３からは、上述したように、３フレーム目の映像信号（ＩＲ３）が記憶回路１４ｇに記憶されることが開始される。 Here, the processing indicated by "(W2+IR2)+(IR1+IR3)/2" in FIG. 3 will be described. At time T3, the storage circuit 14g stores the video signal (IR1) of the first frame and the video signal (W2+IR2) of the second frame. Then, from time T3, as described above, the storage circuit 14g starts to store the video signal (IR3) of the third frame.
そして、本実施形態では、撮像装置１０は、１フレーム目の映像信号（ＩＲ１）と、２フレーム目の映像信号（Ｗ２＋ＩＲ２）と、３フレーム目の映像信号（ＩＲ３）とを合成してディスプレイ１０１に出力する。
In this embodiment, the
ここで、単純に、撮像装置１０が、３フレーム目の撮像において、イメージセンサ１２ｅの各行から映像信号（ＩＲ３）が出力される度に、各行から出力された映像信号（ＩＲ３）と、各行から出力された映像信号（ＩＲ１）と、イメージセンサ１２ｃ～１２ｅの各行から出力された映像信号（Ｗ２＋ＩＲ２）とを合成して、合成画像をディスプレイ１０１に出力する場合について説明する。この場合、ディスプレイ１０１には、１／１２０［ｓ］で、全ての行から出力された映像信号の合成画像が出力される。
Here, whenever the
すると、あるフレームの撮像において最後の行の映像信号がディスプレイ１０１に出力されてから、その次のフレームの撮像において最初の行の映像信号がディスプレイ１０１に出力されるまでの１／１２０［ｓ］の間、ディスプレイ１０１に対して映像信号が出力されない期間が存在することとなる。映像信号が出力されない期間は、ディスプレイ１０１に表示される画像が更新されない期間でもある。このため、画像が更新される１／１２０［ｓ］の期間と、画像が更新されない１／１２０［ｓ］の期間とが交互に並ぶ。このような場合、画像の更新頻度が一定でないため、ディスプレイ１０１は、このような入力に対応できないことがある。
Then, 1/120 [s] from outputting the video signal of the last row to the
そこで、本実施形態では、画像の更新頻度が一定となるように、出力回路１４ｅからディスプレイ１０１に出力される１フレームの映像信号のフレームレートを、６０［ｆｐｓ］に設定している。すなわち、あるフレームの撮像において最後の行の映像信号が出力されてから、その次のフレームの撮像において最初の行の映像信号が出力されるまでの期間を短縮している。
Therefore, in this embodiment, the frame rate of the video signal for one frame output from the output circuit 14e to the
このため、記憶制御回路１４ｂは、時間Ｔ３から、１／（６０ｋ）［ｓ］毎に、１フレーム目の撮像において各行から出力された映像信号（ＩＲ１）、２フレーム目の撮像において各行から出力された映像信号（Ｗ２＋ＩＲ２）、及び、３フレーム目の撮像において各行から出力された映像信号（ＩＲ３）を順々に記憶回路１４ｇから読み出す。例えば、記憶制御回路１４ｂは、イメージセンサ１２ｅのｍ番目の行から出力された映像信号（ＩＲ１）と映像信号（ＩＲ３）と、イメージセンサ１２ｃ～１２ｅのｍ番目の行から出力された映像信号（Ｗ２＋ＩＲ２）とを読み出す。なお、ｍは、正の整数である。そして、記憶制御回路１４ｂは、イメージセンサ１２ｅのｍ番目の行から出力された映像信号（ＩＲ１）と映像信号（ＩＲ３）と、イメージセンサ１２ｃ～１２ｅのｍ番目の行から出力された映像信号（Ｗ２＋ＩＲ２）とを画像処理回路１４ｃに出力する。 Therefore, from time T3, the memory control circuit 14b, every 1/(60k) [s], outputs the video signal (IR1) output from each row in the first frame imaging, and the output from each row in the second frame imaging. The video signal (W2+IR2) that has been captured and the video signal (IR3) that has been output from each row in the imaging of the third frame are sequentially read out from the storage circuit 14g. For example, the memory control circuit 14b outputs a video signal (IR1) and a video signal (IR3) output from the m-th row of the image sensor 12e, and a video signal (IR3) output from the m-th row of the image sensors 12c to 12e. W2+IR2). Note that m is a positive integer. Then, the memory control circuit 14b outputs the video signal (IR1) and the video signal (IR3) output from the m-th row of the image sensor 12e, and the video signal (IR3) output from the m-th row of the image sensors 12c to 12e. W2+IR2) is output to the image processing circuit 14c.
そして、画像処理回路１４ｃは、イメージセンサ１２ｅのｍ番目の行から出力された映像信号（ＩＲ１）及び映像信号（ＩＲ３）、並びに、イメージセンサ１２ｃ～１２ｅのｍ番目の行から出力された映像信号（Ｗ２＋ＩＲ２）に対して各種の画像処理を施して、画像合成回路１４ｄに出力する。 Then, the image processing circuit 14c processes the image signal (IR1) and the image signal (IR3) output from the m-th row of the image sensor 12e, and the image signals output from the m-th rows of the image sensors 12c to 12e. (W2+IR2) is subjected to various image processing and output to the image synthesizing circuit 14d.
以下、画像処理回路１４ｃにより施される各種の画像処理の一例について説明する。例えば、画像処理回路１４ｃは、１フレーム目の撮像において、イメージセンサ１２ｅのｍ番目の行から出力された映像信号（ＩＲ１）に対して、デジタルゲインをかける。画像処理回路１４ｃは、デジタルゲイン及び上述したアナログゲインによって、イメージセンサ１２ｅのｍ番目の行から出力された映像信号（ＩＲ１）を例えば３０倍まで増幅させる。 An example of various image processing performed by the image processing circuit 14c will be described below. For example, in imaging the first frame, the image processing circuit 14c applies a digital gain to the video signal (IR1) output from the m-th row of the image sensor 12e. The image processing circuit 14c amplifies the video signal (IR1) output from the m-th row of the image sensor 12e by a factor of 30, for example, using the digital gain and the above-described analog gain.
同様に、画像処理回路１４ｃは、３フレーム目の撮像において、イメージセンサ１２ｅのｍ番目の行から出力された映像信号（ＩＲ３）に対して、デジタルゲインをかける。画像処理回路１４ｃは、デジタルゲイン及び上述したアナログゲインと合わせて、イメージセンサ１２ｅのｍ番目の行から出力された映像信号（ＩＲ３）を例えば３０倍まで増幅させる。 Similarly, the image processing circuit 14c applies a digital gain to the video signal (IR3) output from the m-th row of the image sensor 12e when capturing the third frame. The image processing circuit 14c amplifies the video signal (IR3) output from the m-th row of the image sensor 12e by, for example, 30 times in combination with the digital gain and the above-described analog gain.
なお、画像処理回路１４ｃは、２フレーム目の撮像において、イメージセンサ１２ｃ～１２ｅから出力されたｍ番目の映像信号（Ｗ２＋ＩＲ２）については、デジタルゲイン及びアナログゲインをかけない。 Note that the image processing circuit 14c does not apply the digital gain and the analog gain to the m-th video signal (W2+IR2) output from the image sensors 12c to 12e in the imaging of the second frame.
また、本実施形態に係る画像処理回路１４ｃは、上述した行４２及び行４３から出力される映像信号に基づいて得られる画像をマスクする。また、画像処理回路１４ｃは、上述した行４４から出力される映像信号に基づいて得られる画像の範囲を有効画像範囲として設定する。
Further, the image processing circuit 14c according to this embodiment masks the image obtained based on the video signals output from the
図４Ａは、画像処理回路１４ｃが実行する画像処理の一例を説明するための図である。図４Ａの例に示すように、例えば、画像処理回路１４ｃは、上述した行４２及び行４３から出力される映像信号（Ｗ２＋ＩＲ２）に基づいて得られる画像を、黒色の画像５１に置換し、上述した行４４から出力される映像信号（Ｗ２＋ＩＲ２）に基づいて得られる画像の範囲を有効画像範囲５２として設定したカラー画像５０を生成する。
FIG. 4A is a diagram for explaining an example of image processing performed by the image processing circuit 14c. As shown in the example of FIG. 4A, for example, the image processing circuit 14c replaces the image obtained based on the video signal (W2+IR2) output from the
図４Ａの例に示すカラー画像５０は、ブランキング期間を中心とし、ブランキング期間に１／１２００［ｓ］を加えた期間にのみイメージセンサ１２ｃ～１２ｅの複数の画素を受光させた場合のカラー画像の一例を示す。カラー画像５０では、カラー画像５０の全体の１０％の領域がマスクされている。
The
同様に、画像処理回路１４ｃは、上述した行４２及び行４３から出力される映像信号（ＩＲ１）に基づいて得られる画像を、黒色の画像に置換し、上述した行４４から出力される映像信号（ＩＲ１）に基づいて得られる画像の範囲を有効画像範囲として設定した蛍光画像を生成する。また、画像処理回路１４ｃは、上述した行４２及び行４３から出力される映像信号（ＩＲ３）に基づいて得られる画像を、黒色の画像に置換し、上述した行４４から出力される映像信号（ＩＲ３）に基づいて得られる画像の範囲を有効画像範囲として設定した蛍光画像を生成する。
Similarly, the image processing circuit 14c replaces the image obtained based on the video signal (IR1) output from the
画像合成回路１４ｄは、１フレーム目の撮像においてイメージセンサ１２ｅの各行から出力された映像信号（ＩＲ１）と、３フレーム目の撮像においてイメージセンサ１２ｅの各行から出力された映像信号（ＩＲ３）とを合成して合成画像を生成する。例えば、画像合成回路１４ｄは、映像信号（ＩＲ１）と映像信号（ＩＲ３）とを合成して合成画像（（ＩＲ１＋ＩＲ３）／２）を生成する。 The image synthesizing circuit 14d combines the video signal (IR1) output from each row of the image sensor 12e in imaging the first frame and the video signal (IR3) output from each row of the image sensor 12e in imaging the third frame. Synthesize to generate a composite image. For example, the image synthesizing circuit 14d synthesizes the video signal (IR1) and the video signal (IR3) to generate a synthesized image ((IR1+IR3)/2).
そして、画像合成回路１４ｄは、例えば、合成画像（（ＩＲ１＋ＩＲ３）／２）のうち輝度が閾値以上の部分を抽出する。そして、画像合成回路１４ｄは、抽出した部分と同一の位置及び範囲を有するマーカであって、所定の色（例えば、高彩度の緑色）が付与されたマーカを生成する。そして、画像合成回路１４ｄは、２フレーム目の撮像において、各行から出力された映像信号（Ｗ２＋ＩＲ２）に、生成したマーカを重畳して、合成画像（Ｗ２＋ＩＲ２＋（ＩＲ１＋ＩＲ３）／２）を生成する。そして、画像合成回路１４ｄは、生成した合成画像（Ｗ２＋ＩＲ２＋（ＩＲ１＋ＩＲ３）／２）を出力回路１４ｅに出力する。画像合成回路１４ｄは、カラー画像、及び、カラー画像の前後に生成された複数（２つ）の蛍光画像を用いて、合成画像を生成する。 Then, the image synthesizing circuit 14d extracts, for example, a portion of the synthetic image ((IR1+IR3)/2) whose brightness is equal to or greater than the threshold. Then, the image synthesizing circuit 14d generates a marker having the same position and range as the extracted portion and having a predetermined color (for example, highly saturated green). Then, in the imaging of the second frame, the image synthesis circuit 14d superimposes the generated marker on the video signal (W2+IR2) output from each row to generate a synthesized image (W2+IR2+(IR1+IR3)/2). The image combining circuit 14d then outputs the generated combined image (W2+IR2+(IR1+IR3)/2) to the output circuit 14e. The image combining circuit 14d generates a combined image using the color image and a plurality of (two) fluorescence images generated before and after the color image.
例えば、被検体１００の体内を画像化したカラー画像の色合いは、全体的に赤みがかった色合いである。そのため、例えば、マーカに赤い色を付与しても、マーカが目立たない。そのため、赤色に対して補色である緑色をマーカに付与して、マーカを目立つようにする。 For example, a color image obtained by imaging the inside of the body of the subject 100 has a reddish tint as a whole. Therefore, even if the marker is given a red color, for example, the marker does not stand out. Therefore, green, which is a complementary color to red, is given to the marker to make the marker stand out.
なお、画像合成回路１４ｄは、マーカではなく、蛍光により得られる蛍光画像から輪郭成分を抽出し、抽出した輪郭成分をカラー画像に重畳して合成画像を生成してもよい。 Note that the image synthesizing circuit 14d may extract outline components from a fluorescent image obtained by fluorescence, instead of the markers, and superimpose the extracted outline components on the color image to generate a synthesized image.
このような処理を、画像合成回路１４ｄは、全ての行から出力された映像信号に対して行う。すなわち、画像合成回路１４ｄは、時間Ｔ３から時間Ｔ５までの期間１／６０［ｓ］で、全ての行から出力された映像信号の合成画像を出力回路１４ｅに出力する。これにより、図３の「Ｗ２＋ＩＲ２＋（ＩＲ１＋ＩＲ３）／２」によって示されるように、出力回路１４ｅは、時間Ｔ３から時間Ｔ５までの期間１／６０［ｓ］で、全ての行の映像信号の合成画像をディスプレイ１０１に出力する。このため、ディスプレイ１０１に表示された合成画像は、１／６０［ｓ］毎に更新される。
The image synthesizing circuit 14d performs such processing on the video signals output from all the rows. That is, the image synthesizing circuit 14d outputs a synthetic image of the video signals output from all the rows to the output circuit 14e in a period of 1/60 [s] from time T3 to time T5. As a result, as shown by "W2+IR2+(IR1+IR3)/2" in FIG. 3, the output circuit 14e outputs a composite image of the video signals of all the rows for a period of 1/60 [s] from time T3 to time T5. is output to the
４フレーム目以降についても、１フレーム目の撮像、２フレーム目の撮像及び３フレーム目の撮像において説明した撮像動作と同様の撮像動作が繰り返し行われる。したがって、制御回路１４ａは、励起光を光源装置３０から連続的に出射させるとともに、励起光と種類が異なる白色光を、ブランキング期間４０又は期間４１と同期するように、光源装置３０から２フレームに１回の割合で出射させる。画像処理回路１４ｃは、励起光に基づく蛍光の受光によりイメージセンサ１２ｅの複数の画素で発生した映像信号に基づいて蛍光画像を生成する。なお、蛍光の受光によりイメージセンサ１２ｅの複数の画素で発生した映像信号は、第１の電気信号の一例である。また、蛍光画像は、第１の画像の一例である。
For the fourth and subsequent frames, the imaging operation similar to that described for the imaging of the first frame, the imaging of the second frame, and the imaging of the third frame is repeated. Therefore, the
また、画像処理回路１４ｃは、蛍光および白色光の同時受光によりイメージセンサ１２ｃ～１２ｅの複数の画素で発生した映像信号に基づいてカラー画像を生成する。なお、蛍光および白色光の同時受光によりイメージセンサ１２ｃ～１２ｅの複数の画素で発生した映像信号は、第２の電気信号の一例である。また、カラー画像は、第２の画像の一例である。 Further, the image processing circuit 14c generates a color image based on video signals generated by a plurality of pixels of the image sensors 12c to 12e by simultaneous reception of fluorescent light and white light. A video signal generated by a plurality of pixels of the image sensors 12c to 12e by simultaneously receiving fluorescent light and white light is an example of the second electrical signal. Also, the color image is an example of the second image.
画像合成回路１４ｄは、蛍光画像とカラー画像を用いて、合成画像を生成する。例えば、画像処理回路１４ｃ及び画像合成回路１４ｄは、画像生成部の一例である。 The image synthesis circuit 14d uses the fluorescence image and the color image to generate a synthesized image. For example, the image processing circuit 14c and the image synthesizing circuit 14d are examples of the image generator.
図４Ｂは、合成画像の一例を示す図である。図４Ｂの例には、明るさのムラが生じる可能性がある部分がマスクされたカラー画像５０に、マーカ５３が重畳された合成画像の一例が示されている。したがって、ユーザは、例えば、注目すべき箇所であるマーカ５３を容易に観察することができる。また、ユーザは、人間が実際に認識できるような内容のカラー画像であるカラー画像５０を観察しつつ、マーカ５３の情報を得ることができる。
FIG. 4B is a diagram illustrating an example of a synthesized image; The example of FIG. 4B shows an example of a composite image in which a
また、カラー画像５０において、露光タイミングは一致している。このため、第１の実施形態に係る撮像装置１０によれば、画像の歪みの発生を抑制することができる。したがって、第１の実施形態に係る撮像装置１０によれば、画像を観察する医師等のユーザにとって、観察するのに十分な画質を確保することができる。
Also, in the
図４Ｂに示すように、画像処理回路１４ｃは、最初の行と最後の行に対応する合成画像の端部を少なくとも除く有効画像範囲５２を合成画像に設定する。また、画像処理回路１４ｃ及び画像合成回路１４ｄは、有効画像範囲５２以外の範囲が黒色の画像（他の画像）５１に置き換えられた合成画像を生成する。
As shown in FIG. 4B, the image processing circuit 14c sets an
ここで、合成画像において、撮像対象が所定の方向に移動している場合について説明する。更に、カラー画像（Ｗ２＋ＩＲ２）に対して、蛍光画像（ＩＲ１）から得られるマーカを重畳させて、合成画像（Ｗ２＋ＩＲ２＋ＩＲ１）を生成した場合について説明する。この場合、撮像対象が移動しているため、カラー画像（Ｗ２＋ＩＲ２）に描出された撮像対象の重心位置に対して、マーカの重心位置が時間的に遅れた位置となる。 Here, a case where the object to be imaged is moving in a predetermined direction in the synthesized image will be described. Furthermore, a case will be described in which a composite image (W2+IR2+IR1) is generated by superimposing markers obtained from the fluorescence image (IR1) on the color image (W2+IR2). In this case, since the object to be imaged is moving, the position of the center of gravity of the marker is delayed in time with respect to the position of the center of gravity of the object to be imaged drawn in the color image (W2+IR2).
次に、カラー画像（Ｗ２＋ＩＲ２）に対して、蛍光画像（ＩＲ３）から得られるマーカを重畳させて、合成画像（Ｗ２＋ＩＲ２＋ＩＲ３）を生成した場合について説明する。この場合、撮像対象が移動しているため、カラー画像（Ｗ２＋ＩＲ２）に描出された撮像対象の重心位置に対して、マーカの重心位置が時間的に進んだ位置となる。 Next, a case will be described in which a composite image (W2+IR2+IR3) is generated by superimposing markers obtained from the fluorescence image (IR3) on the color image (W2+IR2). In this case, since the object to be imaged is moving, the position of the center of gravity of the marker is ahead in time with respect to the position of the center of gravity of the object to be imaged depicted in the color image (W2+IR2).
ここで、本実施形態では、カラー画像（Ｗ２＋ＩＲ２）に対して、蛍光画像（ＩＲ１）と蛍光画像（ＩＲ３）の合成画像（（ＩＲ１＋ＩＲ３）／２）から得られるマーカを重畳させて、合成画像（Ｗ２＋ＩＲ２＋（ＩＲ１＋ＩＲ３）／２）を生成している。本実施形態によれば、撮像対象が移動していても、カラー画像（Ｗ２＋ＩＲ２）の撮像タイミングから、略同一な時間だけ前後する撮像タイミングで撮像された蛍光画像（ＩＲ１）と蛍光画像（ＩＲ３）の合成画像（（ＩＲ１＋ＩＲ３）／２）から得られるマーカをカラー画像（Ｗ２＋ＩＲ２）に重畳している。このため、カラー画像（Ｗ２＋ＩＲ２）の重心位置と合成画像（（ＩＲ１＋ＩＲ３）／２）の重心位置との差は、比較的小さい。したがって、合成画像（Ｗ２＋ＩＲ２＋（ＩＲ１＋ＩＲ３）／２）に描出される撮像対象の重心位置に対するマーカの重心位置のずれを抑制することができる。よって、第１の実施形態によれば、動きに対して合成画像（Ｗ２＋ＩＲ２＋（ＩＲ１＋ＩＲ３）／２）からユーザに与える違和感を抑制することができる。 Here, in the present embodiment, a marker obtained from a composite image ((IR1+IR3)/2) of the fluorescence image (IR1) and the fluorescence image (IR3) is superimposed on the color image (W2+IR2) to obtain the composite image ( W2+IR2+(IR1+IR3)/2). According to the present embodiment, even if the imaging target is moving, the fluorescence image (IR1) and the fluorescence image (IR3) are captured at imaging timings that are substantially the same time before and after the imaging timing of the color image (W2+IR2). The marker obtained from the composite image ((IR1+IR3)/2) of is superimposed on the color image (W2+IR2). Therefore, the difference between the centroid position of the color image (W2+IR2) and the centroid position of the combined image ((IR1+IR3)/2) is relatively small. Therefore, it is possible to suppress the deviation of the center-of-gravity position of the marker from the center-of-gravity position of the imaging target depicted in the combined image (W2+IR2+(IR1+IR3)/2). Therefore, according to the first embodiment, it is possible to suppress the user's sense of discomfort from the synthesized image (W2+IR2+(IR1+IR3)/2) with respect to movement.
次に、第１の実施形態に係る制御回路１４ａにより実行される制御処理について説明する。図５は、第１の実施形態に係る制御処理の流れを示すフローチャートである。かかる制御処理は、図示しないマウスやキーボード等のユーザからの指示を受け付ける入力装置により、被検体１００の体内の撮像を開始する指示がＣＣＵ１４に入力された場合に、制御回路１４ａにより実行される。
Next, control processing executed by the
図５に示すように、制御回路１４ａは、変数Ｎに「１」を設定する（ステップＳ１０１）。そして、制御回路１４ａは、ＩＲレーザ３０ｄから励起光を連続的に出射させるための光源制御信号を出力させるための制御信号をタイミング信号発生回路１４ｆに出力する（ステップＳ１０２）。そして、制御回路１４ａは、Ｎフレーム目の撮像を開始させるために、ローリングシャッタ方式によるＮフレーム目の露光を開始させるための制御信号を、イメージセンサ制御回路１２ｆに出力する（ステップＳ１０３）。
As shown in FIG. 5, the
そして、制御回路１４ａは、Ｎフレーム目の撮像においてイメージセンサ１２ｅの複数の画素の最初の行の映像信号の出力が開始する時間から、読み出し期間１／１２０［ｓ］で映像信号をイメージセンサ１２ｅに出力させるための制御信号をイメージセンサ制御回路１２ｆに出力する（ステップＳ１０４）。なお、ステップＳ１０４において、記憶制御回路１４ｂは、イメージセンサ１２ｅの各行から出力された映像信号が入力される度に、各行から出力された映像信号を一時的に記憶回路１４ｇに格納する。
Then, the
そして、制御回路１４ａは、変数Ｎの値を１つインクリメントする（ステップＳ１０５）。そして、制御回路１４ａは、Ｎフレーム目の撮像を開始させるために、ローリングシャッタ方式によるＮフレーム目の露光を開始させるための制御信号を、イメージセンサ制御回路１２ｆに出力する（ステップＳ１０６）。
Then, the
制御回路１４ａは、現在の時間が、ブランキング期間又はブランキング期間を中心とした期間であるか否かを判定する（ステップＳ１０７）。現在の時間が、ブランキング期間又はブランキング期間を中心とした期間でない場合（ステップＳ１０７；Ｎｏ）には、制御回路１４ａは、再び、ステップＳ１０７の判定を行う。
The
一方、現在の時間が、ブランキング期間又はブランキング期間を中心とした期間である場合（ステップＳ１０７；Ｙｅｓ）には、制御回路１４ａは、次の処理を行う。すなわち、制御回路１４ａは、ブランキング期間又はブランキング期間を中心とした期間にのみ、白色ＬＥＤ３０ｂから白色光を出射させる光源制御信号を出力させるための制御信号をタイミング信号発生回路１４ｆに出力する（ステップＳ１０８）。
On the other hand, if the current time is a blanking period or a period centered on the blanking period (step S107; Yes), the
そして、制御回路１４ａは、最初の行からの映像信号の出力が開始する時間から、読み出し期間１／１２０［ｓ］で映像信号をイメージセンサ１２ｃ～１２ｅに出力させるための制御信号をイメージセンサ制御回路１２ｆに出力する（ステップＳ１０９）。なお、ステップＳ１０９において、記憶制御回路１４ｂは、イメージセンサ１２ｃ～１２ｅの各行から出力された映像信号が入力される度に、各行から出力された映像信号を一時的に記憶回路１４ｇに格納する。
Then, the
そして、制御回路１４ａは、変数Ｎの値を１つインクリメントする（ステップＳ１１０）。そして、制御回路１４ａは、Ｎフレーム目の撮像を開始させるために、ローリングシャッタ方式によるＮフレーム目の露光を開始させるための制御信号を、イメージセンサ制御回路１２ｆに出力する（ステップＳ１１１）。なお、ステップＳ１１１において、記憶制御回路１４ｂは、イメージセンサ１２ｅの各行から出力された映像信号が入力される度に、各行から出力された映像信号を一時的に記憶回路１４ｇに格納する。
Then, the
そして、ステップＳ１１２では、画像処理回路１４ｃは、１フレーム目の撮像において各行から出力された映像信号（ＩＲ１）、２フレーム目の撮像において各行から出力された映像信号（Ｗ２＋ＩＲ２）、及び、３フレーム目の撮像において各行から出力された映像信号（ＩＲ３）に対して各種の画像処理を施す。そして、ステップＳ１１２では、画像合成回路１４ｄは、映像信号（ＩＲ１）、映像信号（Ｗ２＋ＩＲ２）及び映像信号（ＩＲ３）の合成画像（Ｗ２＋ＩＲ２＋（ＩＲ１＋ＩＲ３）／２）を出力回路１４ｅに出力する。 Then, in step S112, the image processing circuit 14c processes the video signal (IR1) output from each row in the first frame imaging, the video signal (W2+IR2) output from each row in the second frame imaging, and the three frame Various types of image processing are performed on the video signal (IR3) output from each row in imaging the eye. Then, in step S112, the image synthesizing circuit 14d outputs the synthesized image (W2+IR2+(IR1+IR3)/2) of the video signal (IR1), the video signal (W2+IR2), and the video signal (IR3) to the output circuit 14e.
そして、制御回路１４ａは、制御処理を終了する指示を、入力装置を介して受け付けたか否かを判定する（ステップＳ１１３）。制御処理を終了する指示を受け付けていない場合（ステップＳ１１３；Ｎｏ）には、制御回路１４ａは、変数Ｎの値を１つインクリメントして（ステップＳ１１４）、ステップＳ１０２に戻る。一方、制御処理を終了する指示を受け付けた場合（ステップＳ１１３；Ｙｅｓ）には、制御回路１４ａは、制御処理を終了する。
Then, the
以上、第１の実施形態に係る撮像装置１０について説明した。第１の実施形態に係る撮像装置１０によれば、上述したように、ユーザが観察するのに十分な画質を確保することができる。
The
また、例えば、上記特許文献１に記載の技術において、波長の異なる２つの光（白色光、及び、ＩＲ励起光）を交互に出射し、撮像素子が１２０［ｆｐｓ］で映像信号を出力し、露光期間を１／６０［ｓ］とした場合について説明する。この場合には、白色光画像は、３０［ｆｐｓ］でモニタに出力される。
Further, for example, in the technique described in
一方、第１の実施形態では、例えば、イメージセンサ１２ｃが１２０［ｆｐｓ］で映像信号を出力し、露光期間が１／６０［ｓ］である場合に、白色光に基づくカラー画像は、６０［ｆｐｓ］でディスプレイ１０１に出力される。したがって、第１の実施形態に係る撮像装置によれば、フレームレートの低下を抑制することができる。したがって、ユーザが観察するのに十分なフレームレートを確保することができる。
On the other hand, in the first embodiment, for example, when the image sensor 12c outputs a video signal at 120 [fps] and the exposure period is 1/60 [s], the color image based on white light is 60 [fps]. fps] to the
（第１の実施形態の変形例）
次に、第１の実施形態の変形例について説明する。第１の実施形態において、カラー画像（Ｗ２＋ＩＲ２）には、白色光及び蛍光の同時受光によりイメージセンサ１２ｃ～１２ｅから出力された映像信号に基づく画像である。このため、カラー画像（Ｗ２＋ＩＲ２）は、白色光に基づくカラー画像と、蛍光に基づく蛍光画像との合成画像である。このように、カラー画像（Ｗ２＋ＩＲ２）には、蛍光画像が含まれている。
(Modification of the first embodiment)
Next, a modification of the first embodiment will be described. In the first embodiment, the color image (W2+IR2) is an image based on video signals output from the image sensors 12c to 12e by simultaneous reception of white light and fluorescence. Therefore, the color image (W2+IR2) is a composite image of a color image based on white light and a fluorescence image based on fluorescence. Thus, the color image (W2+IR2) contains the fluorescence image.
第１の実施形態では、白色光の反射の光量に比べて、蛍光の光量が無視できるくらい小さいことが前提であるが、第１の実施形態の変形例では、白色光の反射の光量に比べて、蛍光の光量が無視できないくらいの大きさである場合について説明する。この場合には、蛍光画像が赤みがかかった色合いであるため、カラー画像（Ｗ２＋ＩＲ２）も赤みがかかったような色合いとなる。 In the first embodiment, it is assumed that the amount of fluorescent light is negligibly small compared to the amount of reflected white light. Therefore, the case where the amount of fluorescence light cannot be ignored will be described. In this case, since the fluorescent image has a reddish hue, the color image (W2+IR2) also has a reddish hue.
そこで、第１の実施形態の変形例では、画像処理回路１４ｃは、カラー画像（Ｗ２＋ＩＲ２）から、蛍光画像（ＩＲ１）と蛍光画像（ＩＲ３）との合成画像（（ＩＲ１＋ＩＲ３）／２）を減算することで、略白色光のみに基づくカラー画像を生成する。すなわち、画像処理回路１４ｃは、カラー画像（Ｗ２＋ＩＲ２）の前後に生成された複数の蛍光画像（ＩＲ１）及び蛍光画像（ＩＲ３）を用いて、蛍光の成分が低減されるようにカラー画像（Ｗ２＋ＩＲ２）を補正する。したがって、第１の実施形態の変形例によれば、カラー画像（Ｗ２＋ＩＲ２）から蛍光成分を抑制する補正を行うことができる。なお、蛍光の成分は、第１の光による成分の一例である。 Therefore, in the modified example of the first embodiment, the image processing circuit 14c subtracts the composite image ((IR1+IR3)/2) of the fluorescence image (IR1) and the fluorescence image (IR3) from the color image (W2+IR2). This produces a color image based on only substantially white light. That is, the image processing circuit 14c uses a plurality of fluorescence images (IR1) and fluorescence images (IR3) generated before and after the color image (W2+IR2) to reduce the fluorescence component of the color image (W2+IR2). is corrected. Therefore, according to the modified example of the first embodiment, it is possible to perform correction for suppressing the fluorescent component from the color image (W2+IR2). Note that the fluorescence component is an example of the component of the first light.
（第２の実施形態）
次に、第２の実施形態に係る撮像装置について説明する。第２の実施形態において、第１の実施形態と同様の構成については、同一の符号を付して説明を省略する場合がある。第２の実施形態に係る撮像装置は、画像の明るさが、目標の明るさとなるように、白色ＬＥＤ３０ｂが発する白色光を制御する点以外は、第１の実施形態に係る撮像装置１０の動作と同様の動作を行う。また、第２の実施形態に係る撮像装置及び撮像システムの構成は、第１の実施形態と同様である。
(Second embodiment)
Next, an imaging device according to the second embodiment will be described. In the second embodiment, the same reference numerals may be given to the same configurations as in the first embodiment, and the description thereof may be omitted. The imaging device according to the second embodiment operates in the same manner as the
例えば、ローリングシャッタ方式のイメージセンサ１２ｃ～１２ｅでは、あるフレームの撮像中に、複数の画素の全ての行で、それまで蓄積していた電荷を全て排出し（リセットし）、電荷を排出後、露光を再び行って電荷を再蓄積するシャッタ機能がある。このようなシャッタ機能が動作すると、上述した行４４で受光期間が同一にならない場合がある。この場合には、画像に明るさのムラが発生することがある。
For example, in the rolling shutter type image sensors 12c to 12e, during imaging of a certain frame, in all rows of a plurality of pixels, all the charges accumulated so far are discharged (reset), and after discharging the charges, There is a shutter function that re-exposures and re-accumulates the charge. When such a shutter function operates, the light receiving periods may not be the same in
そこで、第２の実施形態に係る撮像装置は、シャッタ機能が動作しないように、画像の明るさが、閾値以下の目標の明るさとなるように、白色ＬＥＤ３０ｂが発する白色光を制御する。 Therefore, the imaging apparatus according to the second embodiment controls the white light emitted by the white LED 30b so that the brightness of the image becomes a target brightness below the threshold so that the shutter function does not operate.
ここで、画像の明るさの算出方法の一例について説明する。第２の実施形態では、制御回路１４ａは、フレームごとに、以下の処理を実行する。例えば、制御回路１４ａは、各種の画像処理が施された結果得られたカラー画像の画像データを画像処理回路１４ｃから取得する。そして、制御回路１４ａは、画像データが示すカラー画像を構成する各画素のＲの輝度、Ｇの輝度及びＢの輝度の中から最も高い輝度を画素毎に選択する。なお、例えば、画像を構成する各画素は、イメージセンサ１２ｃ～１２ｅの各画素に対応する。そして、制御回路１４ａは、画素毎に選択した輝度の合計を算出する。そして、制御回路１４ａは、算出した輝度の合計を、画像を構成する画素の数（画素数）で除して、１つの画素あたりの輝度の平均値を算出する。そして、制御回路１４ａは、算出した輝度の平均値を画像の明るさとして扱う。
Here, an example of a method for calculating the brightness of an image will be described. In the second embodiment, the
そして、制御回路１４ａは、画像の明るさと、目標の明るさとを比較する。なお、目標の明るさは、例えば、ユーザにより指定される輝度の値である。また、目標の明るさは、所定の明るさの一例である。制御回路１４ａは、目標の明るさよりも、画像の明るさの方が大きければ、被検体１００に照射される白色光の光量を小さくするために、画像の明るさと目標の明るさとの差分に応じて、ハイレベルの期間の長さを短くした光源制御信号をタイミング信号発生回路１４ｆに出力させる。例えば、制御回路１４ａは、画像の明るさと目標の明るさとの差分が大きくなるほど、ハイレベルの期間の長さを短くした光源制御信号をタイミング信号発生回路１４ｆに出力させる。具体例を挙げて説明すると、制御回路１４ａは、画像の明るさと目標の明るさとの差分に応じて、ハイレベルの期間の長さを計算して、計算の結果得られたハイレベルの期間の長さをタイミング信号発生回路１４ｆに出力する。これにより、タイミング信号発生回路１４ｆは、ハイレベルの期間の長さを短くした光源制御信号を駆動回路３０ａに出力する。
Then, the
また、画像の明るさよりも目標の明るさのほうが大きければ、制御回路１４ａは、画像の明るさと目標の明るさとの差分に応じて、読み出し期間以下の範囲で、ハイレベルの期間の長さを長くした光源制御信号をタイミング信号発生回路１４ｆに出力させる。
Also, if the target brightness is greater than the image brightness, the
すなわち、制御回路１４ａ及びタイミング信号発生回路１４ｆは、画像の明るさが目標の明るさとなるように、ハイレベルの期間の長さを変更することにより、複数の画素により受光される白色光を制御する。具体的には、制御回路１４ａ及びタイミング信号発生回路１４ｆは、画像の明るさが目標の明るさとなるように、受光期間を制御する。制御回路１４ａ及びタイミング信号発生回路１４ｆは、受光期間を制御することにより、被検体１００に照射される白色光の光量を制御する。制御回路１４ａ及びタイミング信号発生回路１４ｆは、受光期間を制御することにより、カラー画像の明るさを制御する。
That is, the
（第３の実施形態）
次に、第３の実施形態に係る撮像装置について説明する。第３の実施形態の説明において、上述した各実施形態、及び、上述した変形例と同様の構成については、同一の符号を付して説明を省略する場合がある。
(Third embodiment)
Next, an imaging device according to the third embodiment will be described. In the description of the third embodiment, the same reference numerals may be assigned to the same configurations as those of the above-described embodiments and modifications, and the description thereof may be omitted.
第３の実施形態に係る撮像装置は、白色光及び励起光（蛍光）の光量が十分である場合や、白色光と励起光との混在を抑制する場合に用いられる。 The imaging apparatus according to the third embodiment is used when the white light and the excitation light (fluorescence) have sufficient amounts of light, or when the mixing of the white light and the excitation light is suppressed.
図６は、第３の実施形態に係る撮像装置の動作の一例を説明するための図である。図６には、第３の実施形態に係る光源装置３０から出射される白色光及び励起光の出射タイミングと、撮像装置１０のイメージセンサ１２ｃ～１２ｅが備える複数の画素の各行の露光タイミングと、イメージセンサ１２ｃ～１２ｅから出力される映像信号の出力タイミングと、出力回路１４ｅから出力される映像信号の出力タイミングとの関係の一例が示されている。図６において、横軸は、時間を示す。
FIG. 6 is a diagram for explaining an example of the operation of the imaging device according to the third embodiment. FIG. 6 shows the emission timing of white light and excitation light emitted from the light source device 30 according to the third embodiment, the exposure timing of each row of a plurality of pixels provided in the image sensors 12c to 12e of the
図６に示す第３の実施形態に係る撮像装置の動作が、図３に示す第１の実施形態に係る撮像装置１０の動作と異なる点について説明する。第１の実施形態では、制御回路１４ａが、連続的に励起光を出射させていた場合について説明した。しかしながら、第３の実施形態では、制御回路１４ａは、複数の画素が受光する光の種類を、１フレーム毎に切り替える。具体的には、制御回路１４ａは、１フレームごとに、交互に、光源装置３０から出射させる光を、白色光又は励起光に切り替える。これにより、制御回路１４ａは、複数の画素に受光させる光を、１フレームごとに、交互に、白色光又は蛍光に切り替える。
Differences between the operation of the imaging apparatus according to the third embodiment shown in FIG. 6 and the operation of the
第３の実施形態では、制御回路１４ａは、種類が異なる励起光と白色光を、ブランキング期間又はブランキング期間を中心とした期間と同期するように、光源装置３０から交互に出射させる。画像処理回路１４ｃは、励起光に基づく蛍光の受光により複数の画素で発生した映像信号に基づいて蛍光画像を生成し、白色光の受光により複数の画素で発生した映像信号に基づいてカラー画像を生成する。画像合成回路１４ｄは、蛍光画像とカラー画像を用いて、合成画像を生成する。なお、励起光に基づく蛍光の受光によりイメージセンサ１２ｅの複数の画素で発生した映像信号は、第１の電気信号の一例である。白色光の受光によりイメージセンサ１２ｃ～１２ｅの複数の画素で発生した映像信号は、第２の電気信号の一例である。
In the third embodiment, the
第３の実施形態に係る撮像装置は、第１の実施形態と同様に、観察するのに十分な画質を確保することができる。 The imaging apparatus according to the third embodiment can ensure image quality sufficient for observation, as in the first embodiment.
また、例えば、上記特許文献１に記載の技術において、波長の異なる２つの光（白色光、及び、ＩＲ励起光）を交互に出射し、撮像素子が１２０［ｆｐｓ］で映像信号を出力し、露光期間を１／６０［ｓ］とした場合について説明する。この場合には、白色光画像及び蛍光観察画像それぞれは、３０［ｆｐｓ］でモニタに出力される。
Further, for example, in the technique described in
一方、第３の実施形態では、例えば、波長の異なる２つの光（白色光、及び、励起光）を交互に出射し、イメージセンサ１２ｃ～１２ｅが１２０［ｆｐｓ］で映像信号を出力し、露光期間が１／６０［ｓ］である場合に、白色光に基づくカラー画像、及び、蛍光に基づく蛍光画像の合成画像は、６０［ｆｐｓ］でディスプレイ１０１に出力される。したがって、第３の実施形態に係る撮像装置によれば、フレームレートの低下を抑制することができる。
On the other hand, in the third embodiment, for example, two lights with different wavelengths (white light and excitation light) are alternately emitted, the image sensors 12c to 12e output video signals at 120 [fps], and exposure When the period is 1/60 [s], the composite image of the color image based on the white light and the fluorescence image based on the fluorescence is output to the
（第４の実施形態）
次に、第４の実施形態に係る撮像装置について説明する。第４の実施形態の説明において、上述した各実施形態、及び、上述した変形例と同様の構成については、同一の符号を付して説明を省略する場合がある。
(Fourth embodiment)
Next, an imaging device according to the fourth embodiment will be described. In the description of the fourth embodiment, the same reference numerals may be assigned to the same configurations as those of the above-described embodiments and modifications, and the description thereof may be omitted.
第１の実施形態では、例えば、ブランキング期間を中心とし、ブランキング期間に１／１２００［ｓ］を加えた期間にのみ、イメージセンサ１２ｃ～１２ｅの複数の画素に受光させる場合について説明した。この場合、マスクされる領域は、全画面の領域のおよそ１０％となる。 In the first embodiment, for example, the case where a plurality of pixels of the image sensors 12c to 12e are allowed to receive light only during a blanking period plus 1/1200 [s] has been described. In this case, the masked area is approximately 10% of the total screen area.
図７は、第４の実施形態に係る画像の一例を説明するための図である。しかしながら、光量を確保するために、イメージセンサ１２ｃ～１２ｅの複数の画素の受光期間を伸ばして、例えば、図７の例に示すように、全画面の領域のおよそ５０％をマスクされる領域としてもよい。この場合には、画像処理回路１４ｃは、有効画像範囲５２が拡大された画像（拡大画像）５０ａを生成してもよい。図７の例に示すように、拡大されたことで、ユーザは、マーカ５３ａを、より容易に観察することができる。
FIG. 7 is a diagram for explaining an example of an image according to the fourth embodiment; However, in order to secure the amount of light, the light-receiving period of the plurality of pixels of the image sensors 12c to 12e is extended, and, for example, as shown in the example of FIG. good too. In this case, the image processing circuit 14c may generate an image (enlarged image) 50a in which the
（第５の実施形態）
次に、第５の実施形態に係る撮像装置について説明する。第５の実施形態の説明において、上述した各実施形態、及び、上述した変形例と同様の構成については、同一の符号を付して説明を省略する場合がある。
(Fifth embodiment)
Next, an imaging device according to the fifth embodiment will be described. In the description of the fifth embodiment, the same reference numerals may be assigned to the same configurations as those of the above-described embodiments and modifications, and the description thereof may be omitted.
第５の実施形態に係る撮像装置の制御回路１４ａは、第１の実施形態～第４の実施形態のうちの１つの実施形態に係る制御処理を実行するモード（第１のモード）と、白色ＬＥＤ３０ｂ又はＩＲレーザ３０ｄのみを駆動させて白色光に基づくカラー画像又は励起光に基づく蛍光画像の撮像を実行するモード（第２のモード）とを、ユーザの指示に応じて切り替える。
The
例えば、第２のモードでは、露光期間が、第１～第４の実施形態に係る露光期間１／１２０［ｓ］の２倍の期間である１／６０となる。そして、第２のモードでは、制御回路１４ａは、イメージセンサ１２ｃ～１２ｅの複数の画素に、蛍光又は白色光を受光させ、蛍光画像又はカラー画像を所定のフレームレート１／６０［ｓ］でディスプレイ１０１に出力させる。
For example, in the second mode, the exposure period is 1/60, which is twice the exposure period of 1/120 [s] according to the first to fourth embodiments. In the second mode, the
図８は、第５の実施形態に係る撮像装置が行うモード切替の一例を説明するための図である。図８の例に示すように、例えば、医師等のユーザが、第２のモードでカラー画像６０を観察している最中に、精査したい箇所がある場合には、入力装置（図示せず）を介して第１のモードに切り替える指示を入力する。制御回路１４ａは、入力されたユーザの指示に応じて、第１のモードに切り替えて、カラー画像５０にマーカ５３が重畳された合成画像をディスプレイ１０１に表示させる。
FIG. 8 is a diagram for explaining an example of mode switching performed by the imaging device according to the fifth embodiment. As shown in the example of FIG. 8, for example, while a user such as a doctor is observing the
第５の実施形態では、モードが切り替わった場合であっても、撮像装置からディスプレイ１０１に出力されるフレームレートは変わらない。したがって、第５の実施形態に係る撮像装置によれば、モードの切り替え時にユーザに与える違和感を抑制することができる。
In the fifth embodiment, even when the mode is switched, the frame rate output from the imaging device to the
（第６の実施形態）
次に、第６の実施形態に係る撮像装置について説明する。上述した第１の実施形態～第４の実施形態及び第１の実施形態の変形例では、制御回路１４ａが、ブランキング期間を基準とした期間として、ブランキング期間、ブランキング期間内の期間、又は、ブランキング期間を中心とした期間にのみ、複数の画素を受光させる場合について説明した。しかしながら、制御回路１４ａは、ブランキング期間を基準とした期間として、ブランキング期間を中心とした期間の一部の期間のみ、複数の画素を受光させてもよい。そこで、このような実施形態を第６の実施形態として説明する。
(Sixth embodiment)
Next, an imaging device according to the sixth embodiment will be described. In the above-described first to fourth embodiments and the modification of the first embodiment, the
図９は、第６の実施形態に係る撮像装置の動作の一例を説明するための図である。図９において横軸は、時間を示す。例えば、まず、第１の実施形態と同様に、制御回路１４ａが、励起光を光源装置３０から連続的に出射させるとともに、白色光を、ブランキング期間４０を基準とした期間と同期するように、光源装置３０から２フレームに１回の割合で出射させる場合について説明する。
FIG. 9 is a diagram for explaining an example of the operation of the imaging device according to the sixth embodiment. In FIG. 9, the horizontal axis indicates time. For example, as in the first embodiment, the
この場合、図９に示すように、制御回路１４ａは、白色光を、２フレームに１回の割合でブランキング期間４０を中心とした期間４１の一部の期間４１ａのみ、光源装置３０から出射させる。これにより、複数の画素は、期間４１の一部の期間４１ａのみ受光される。ここで、期間４１ａは、ブランキング期間４０よりも時系列において前の期間である。
In this case, as shown in FIG. 9, the
次に、第３の実施形態と同様に、制御回路１４ａが、種類が異なる励起光と白色光を、ブランキング期間４０を基準とした期間と同期するように、光源装置３０から交互に出射させる場合について説明する。
Next, as in the third embodiment, the
この場合においても、図９に示すように、制御回路１４ａは、励起光と白色光を、期間４１ａのみ、光源装置３０から交互に出射させる。これによっても、複数の画素は、期間４１の一部の期間４１ａのみ受光される。
Also in this case, as shown in FIG. 9, the
第６の実施形態によれば、ディスプレイ１０１に表示される合成画像の一端側のマスクされている領域の大きさと、他端側のマスクされている領域との大きさとが異なるものの、他の実施形態と同様に、画像を観察する医師等のユーザにとって、観察するのに十分なフレームレート及び画質を確保することができる。
According to the sixth embodiment, the size of the masked area on one end side of the composite image displayed on the
以上、各実施形態について説明した。なお、各実施形態において、撮像装置１０が、白色光の反射光をイメージセンサ１２ｃ～１２ｅを受光させて、各種の処理を行う場合について説明した。しかしながら、撮像装置１０は、白色光によりＩＣＧが励起されてＩＣＧから出射された蛍光（白色光に基づく蛍光）をイメージセンサ１２ｅに受光させて、同様の処理を行ってもよい。
Each embodiment has been described above. In each embodiment, the case where the
以上述べた少なくとも１つの実施形態又は変形例に係る撮像装置によれば、ユーザが観察するのに十分なフレームレートを確保することができる。 According to the imaging device according to at least one embodiment or modified example described above, it is possible to secure a sufficient frame rate for user observation.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 While several embodiments of the invention have been described, these embodiments have been presented by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and modifications can be made without departing from the scope of the invention. These embodiments and their modifications are included in the scope and spirit of the invention, as well as the scope of the invention described in the claims and equivalents thereof.
１ 撮像システム
１０ 撮像装置
１２ｃ，１２ｄ，１２ｅ イメージセンサ
１４ａ 制御回路
１４ｃ 画像処理回路
１４ｄ 画像合成回路
1
Claims (17)
第１の光を光源装置から連続的に出射させるとともに、前記第１の光と種類が異なる第２の光を、前記最後の行からの前記電気信号の出力を終了してから、前記最初の行からの前記電気信号の出力を開始するまでの期間に対応するブランキング期間と同期した所定の期間に、前記光源装置から２フレームに１回の割合で非連続的に出射させ、前記所定の期間にのみ、前記複数の画素に前記第２の光を受光させる制御部と、
前記最後の行と前記最初の行の期間の中間に位置する露光期間に、前記第２の光の反射光又は前記第２の光によって発生した蛍光を受光しないフレームにおいて出力される電気信号に基づいて第１の画像を生成し、前記露光期間に前記第２の光の反射光又は前記第２の光によって発生した蛍光を受光するフレームにおいて出力される電気信号に基づいて第２の画像を生成し、前記第１の画像と前記第２の画像を用いて、画像を生成する画像生成部とを備え、
前記画像生成部は、前記複数の画素が、前記第２の光を、前記ブランキング期間より長い期間受光したときは、前記第１の画像のうち、前記ブランキング期間より長い期間に第２の光を受光した行の映像信号に基づく部分をマスクする撮像装置。 including a plurality of pixels arranged in a matrix for generating an electric signal upon receiving light; exposure is sequentially started and completed for each row from the first row to the last row of the plurality of pixels; a rolling shutter type image sensor that repeats the process of outputting the electric signal in order from the row where the image is drawn, for each frame;
The first light is continuously emitted from the light source device, and the second light different in kind from the first light is emitted from the first light after finishing the output of the electrical signal from the last row. During a predetermined period synchronized with the blanking period corresponding to the period until the output of the electrical signal from the row is started, the light source device is caused to discontinuously emit light at a rate of once every two frames, and the predetermined a control unit that causes the plurality of pixels to receive the second light only during a period;
Based on an electrical signal output in a frame in which the reflected light of the second light or the fluorescence generated by the second light is not received during the exposure period located between the periods of the last row and the first row to generate a first image, and generate a second image based on an electrical signal output in a frame in which reflected light of the second light or fluorescence generated by the second light is received during the exposure period. and an image generation unit that generates an image using the first image and the second image,
When the plurality of pixels receive the second light for a period longer than the blanking period, the image generation unit generates a second light during a period longer than the blanking period in the first image. An imaging device that masks a portion based on a video signal of a row that receives light .
前記電気信号に基づいて、画像を生成する画像生成部と、
第１の光を光源装置から連続的に出射させるとともに、前記第１の光と種類が異なる第２の光を、前記最後の行からの前記電気信号の出力を終了してから、前記最初の行からの前記電気信号の出力を開始するまでの期間に対応するブランキング期間の間、又は前記ブランキング期間と、前記ブランキング期間の前のフレームの最後の行と前記ブランキング期間の後のフレームの最初の行のそれぞれの露光期間とを含んだ期間の間、またはその部分期間にのみ、前記光源装置から２フレームに１回の割合で非連続的に出射させる制御部と、を有し、
前記画像生成部は、前記第１の光の反射光又は前記第１の光によって発生した蛍光の受光により前記複数の画素で発生した第１の電気信号に基づいて第１の画像を生成し、前記第１の光の反射光又は前記蛍光と、前記第２の光の反射光又は前記第２の光によって発生した蛍光との同時受光により前記複数の画素で発生した第２の電気信号に基づいて第２の画像を生成し、前記第１の画像と前記第２の画像を用いて、前記画像を生成する撮像装置。 including a plurality of pixels arranged in a matrix for generating an electric signal upon receiving light; exposure is sequentially started and completed for each row from the first row to the last row of the plurality of pixels; a rolling shutter type image sensor that repeats the process of outputting the electric signal in order from the row where the image is drawn, for each frame;
an image generator that generates an image based on the electrical signal;
The first light is continuously emitted from the light source device, and the second light different in kind from the first light is emitted from the first light after finishing the output of the electrical signal from the last row. During a blanking period corresponding to the period until the output of the electrical signal from the row is started, or between the blanking period and the last row of the frame before the blanking period and after the blanking period and a control unit that causes the light source device to discontinuously emit light at a rate of once every two frames during a period including each exposure period of the first row of the frame, or only during a partial period thereof. ,
The image generation unit generates a first image based on first electrical signals generated in the plurality of pixels by receiving reflected light of the first light or fluorescence generated by the first light, Based on a second electrical signal generated in the plurality of pixels by simultaneous reception of the reflected light of the first light or the fluorescence and the reflected light of the second light or fluorescence generated by the second light and generating a second image using the first image and the second image to generate the image.
前記最後の行からの前記電気信号の出力を終了してから、前記最初の行からの前記電気信号の出力を開始するまでの期間に対応するブランキング期間と同期した所定の期間にのみ、前記複数の画素を受光させる制御部と、
前記電気信号に基づいて、画像を生成する画像生成部と、を有し、
前記制御部は、種類が異なる第１の光と第２の光とを、前記ブランキング期間と同期した所定の期間に、光源装置から１フレーム毎に交互に出射させ、
前記画像生成部は、前記最後の行と前記最初の行の期間の中間に位置する露光期間に、前記第２の光の反射光又は前記第２の光によって発生した蛍光を受光しないフレームにおいて出力される電気信号に基づいて第１の画像を生成し、前記露光期間に前記第２の光の反射光又は前記第２の光によって発生した蛍光を受光するフレームにおいて出力される電気信号に基づいて第２の画像を生成し、前記第２の画像と、前記第２の画像のフレームの直前のフレームの前記第１の画像と、前記第２の画像のフレームの直後のフレームの前記第１の画像とを用いて前記画像を生成し、前記第１の画像のうち露光期間に第２の光を受光した行の映像信号に基づく部分をマスクする撮像装置。 including a plurality of pixels arranged in a matrix for generating an electric signal upon receiving light; exposure is sequentially started and completed for each row from the first row to the last row of the plurality of pixels; a rolling shutter type image sensor that repeats the process of outputting the electric signal in order from the row where the image is drawn, for each frame;
Only during a predetermined period synchronized with a blanking period corresponding to a period from the end of outputting the electrical signal from the last row to the start of outputting the electrical signal from the first row a control unit that receives light from a plurality of pixels;
an image generator that generates an image based on the electrical signal;
The control unit alternately emits the first light and the second light of different types from the light source device for each frame during a predetermined period synchronized with the blanking period,
The image generator outputs in a frame in which the reflected light of the second light or the fluorescence generated by the second light is not received in an exposure period located between the periods of the last row and the first row. a first image is generated based on the electrical signal that is applied, and based on the electrical signal that is output in the frame in which the reflected light of the second light or fluorescence generated by the second light is received during the exposure period generating a second image, the second image, the first image in the frame immediately preceding the frame of the second image, and the first image in the frame immediately following the frame of the second image; and masking a portion of the first image based on a video signal in a row receiving the second light during the exposure period .
前記最後の行からの前記電気信号の出力を終了してから、前記最初の行からの前記電気信号の出力を開始するまでの期間に対応するブランキング期間の間、又は前記ブランキング期間とその前のフレームの最後の行とその後のフレームの最初の行のそれぞれの露光期間とを含んだ期間の間、又はその部分期間にのみ、前記複数の画素を受光させる制御部と、
前記電気信号に基づいて、画像を生成する画像生成部と、を有し、
前記制御部は、種類が異なる第１の光と第２の光とを、前記複数の画素が受光する期間と同期するように、光源装置から１フレーム毎に交互に出射させ、
前記画像生成部は、前記第１の光の反射光又は前記第１の光によって発生した蛍光の受光により前記複数の画素で発生した第１の電気信号に基づいて第１の画像を生成し、前記第２の光の反射光又は前記第２の光によって発生した蛍光の受光により前記複数の画素で発生した第２の電気信号に基づいて第２の画像を生成し、前記第２の画像と、前記第２の画像のフレームの直前のフレームの前記第１の画像と、前記第２の画像のフレームの直後のフレームの前記第１の画像とを用いて前記画像を生成する撮像装置。 including a plurality of pixels arranged in a matrix for generating an electric signal upon receiving light; exposure is sequentially started and completed for each row from the first row to the last row of the plurality of pixels; a rolling shutter type image sensor that repeats the process of outputting the electric signal in order from the row where the image is drawn, for each frame;
During a blanking period corresponding to a period from the end of outputting the electrical signal from the last row to the start of outputting the electrical signal from the first row, or the blanking period and the blanking period a controller for causing the plurality of pixels to receive light only during a period including the exposure period of the last row of the previous frame and the exposure period of each of the first row of the subsequent frame, or only during a partial period thereof;
an image generator that generates an image based on the electrical signal;
The control unit alternately emits the first light and the second light of different types from the light source device for each frame so as to be synchronized with a period during which the plurality of pixels receive light;
The image generation unit generates a first image based on first electrical signals generated in the plurality of pixels by receiving reflected light of the first light or fluorescence generated by the first light, generating a second image based on second electrical signals generated in the plurality of pixels by receiving reflected light of the second light or fluorescence generated by the second light; , an imaging device that generates the image using the first image in a frame immediately before the frame of the second image and the first image in a frame immediately after the frame of the second image .
前記複数のイメージセンサのそれぞれは、対応する種類の光を受光することにより電気信号を出力する、請求項１乃至１３のいずれか１項に記載の撮像装置。 comprising a plurality of the image sensors,
14. The imaging device according to any one of claims 1 to 13, wherein each of said plurality of image sensors outputs an electrical signal by receiving a corresponding type of light.
第１の光を光源装置から連続的に出射させるとともに、前記第１の光と種類が異なる第２の光を、前記最後の行からの前記電気信号の出力を終了してから、前記最初の行からの前記電気信号の出力を開始するまでの期間に対応するブランキング期間と同期した所定の期間に、前記光源装置から２フレームに１回の割合で非連続的に出射させ、前記所定の期間にのみ、前記複数の画素に前記第２の光を受光させ、
前記最後の行と前記最初の行の期間の中間に位置する露光期間に、前記第２の光の反射光又は前記第２の光によって発生した蛍光を受光しないフレームの電気信号に基づいて第１の画像を生成し、前記露光期間に前記第２の光の反射光又は前記第２の光によって発生した蛍光を受光するフレームの電気信号に基づいて第２の画像を生成し、
前記第１の画像のうち前記露光期間に第２の光を受光した行の映像信号に基づく部分をマスクする
撮像装置を制御するための方法。 including a plurality of pixels arranged in a matrix for generating an electric signal upon receiving light; exposure is sequentially started and completed for each row from the first row to the last row of the plurality of pixels; A method for controlling an imaging device equipped with a rolling shutter type image sensor, wherein the process of outputting the electric signal is repeated for each frame in order from the row where the
The first light is continuously emitted from the light source device, and the second light different in kind from the first light is emitted from the first light after finishing the output of the electrical signal from the last row. During a predetermined period synchronized with the blanking period corresponding to the period until the output of the electrical signal from the row is started, the light source device is caused to discontinuously emit light at a rate of once every two frames, and the predetermined causing the plurality of pixels to receive the second light only during a period;
Based on the electrical signal of the frame in which the reflected light of the second light or the fluorescence generated by the second light is not received during the exposure period positioned between the last row period and the first row period generating an image of and generating a second image based on an electrical signal of a frame receiving reflected light of the second light or fluorescence generated by the second light during the exposure period;
masking a portion of the first image based on the video signal of the row receiving the second light during the exposure period;
A method for controlling an imaging device .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/952,916 US10638077B2 (en) | 2017-04-14 | 2018-04-13 | Imaging device and control method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017080974 | 2017-04-14 | ||
| JP2017080974 | 2017-04-14 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018175871A JP2018175871A (en) | 2018-11-15 |
| JP7116580B2 true JP7116580B2 (en) | 2022-08-10 |
Family
ID=64281752
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018077557A Active JP7116580B2 (en) | 2017-04-14 | 2018-04-13 | IMAGING DEVICE, METHOD AND PROGRAM FOR CONTROLLING IMAGING DEVICE |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7116580B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7265823B2 (en) | 2018-10-19 | 2023-04-27 | キヤノン株式会社 | Imaging device and program |
| JP2020137614A (en) * | 2019-02-27 | 2020-09-03 | Hoya株式会社 | Electronic endoscope system |
| JP7352411B2 (en) | 2019-08-22 | 2023-09-28 | キヤノン株式会社 | Imaging device |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006115963A (en) | 2004-10-20 | 2006-05-11 | Fujinon Corp | Electronic endoscope apparatus |
| JP2009022579A (en) | 2007-07-20 | 2009-02-05 | Olympus Corp | Electronic endoscope |
| WO2012176561A1 (en) | 2011-06-21 | 2012-12-27 | オリンパスメディカルシステムズ株式会社 | Medical device |
| JP2015037565A (en) | 2014-09-12 | 2015-02-26 | 富士フイルム株式会社 | Endoscope system and drive method therefor |
| JP2015119762A (en) | 2013-12-20 | 2015-07-02 | 富士フイルム株式会社 | Imaging system, and endoscope apparatus |
| WO2015114906A1 (en) | 2014-01-29 | 2015-08-06 | オリンパス株式会社 | Imaging system and imaging device |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3560671B2 (en) * | 1995-02-23 | 2004-09-02 | オリンパス株式会社 | Fluorescence observation device |
| JP3525235B2 (en) * | 1995-12-06 | 2004-05-10 | 松下電器産業株式会社 | Optical diagnostic equipment |
-
2018
- 2018-04-13 JP JP2018077557A patent/JP7116580B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006115963A (en) | 2004-10-20 | 2006-05-11 | Fujinon Corp | Electronic endoscope apparatus |
| JP2009022579A (en) | 2007-07-20 | 2009-02-05 | Olympus Corp | Electronic endoscope |
| WO2012176561A1 (en) | 2011-06-21 | 2012-12-27 | オリンパスメディカルシステムズ株式会社 | Medical device |
| JP2015119762A (en) | 2013-12-20 | 2015-07-02 | 富士フイルム株式会社 | Imaging system, and endoscope apparatus |
| WO2015114906A1 (en) | 2014-01-29 | 2015-08-06 | オリンパス株式会社 | Imaging system and imaging device |
| JP2015037565A (en) | 2014-09-12 | 2015-02-26 | 富士フイルム株式会社 | Endoscope system and drive method therefor |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018175871A (en) | 2018-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7265823B2 (en) | Imaging device and program | |
| WO2019123796A1 (en) | Endoscope system | |
| EP2664268B1 (en) | Medical instrument | |
| US20200337540A1 (en) | Endoscope system | |
| US20120026339A1 (en) | White balance adjustment method and imaging device | |
| JP7116580B2 (en) | IMAGING DEVICE, METHOD AND PROGRAM FOR CONTROLLING IMAGING DEVICE | |
| JP7374600B2 (en) | Medical image processing device and medical observation system | |
| JP6355527B2 (en) | Endoscope system and operating method thereof | |
| JP2018182580A (en) | Imaging apparatus and control program for imaging apparatus | |
| JP6430880B2 (en) | Endoscope system and method for operating endoscope system | |
| JP6355531B2 (en) | Endoscope light source device, endoscope system and operating method thereof | |
| US10901199B2 (en) | Endoscope system having variable focal length lens that switches between two or more values | |
| US10638077B2 (en) | Imaging device and control method | |
| US11789283B2 (en) | Imaging apparatus | |
| JP7224963B2 (en) | Medical controller and medical observation system | |
| JP7402637B2 (en) | Imaging device, its control method and program | |
| US20210052149A1 (en) | Imaging apparatus | |
| JP7281308B2 (en) | Medical image processing device and medical observation system | |
| US20230255460A1 (en) | Image processing apparatus and image processing method | |
| WO2023090044A1 (en) | Processor for electronic endoscope and electronic endoscopic system | |
| WO2022172574A1 (en) | Endoscope system and operation method for endoscope system | |
| JP4415162B2 (en) | Electronic endoscope device | |
| JP6386889B2 (en) | Endoscope light source device, endoscope system and operating method thereof | |
| JP2022080732A (en) | Medical image processing device and medical observation system | |
| JP6312254B2 (en) | Endoscope system and operating method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20191001 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210330 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220225 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220225 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220422 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220701 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220729 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7116580 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |