JP2009039510A - Imaging apparatus - Google Patents

Imaging apparatus Download PDF

Info

Publication number
JP2009039510A
JP2009039510A JP2008137372A JP2008137372A JP2009039510A JP 2009039510 A JP2009039510 A JP 2009039510A JP 2008137372 A JP2008137372 A JP 2008137372A JP 2008137372 A JP2008137372 A JP 2008137372A JP 2009039510 A JP2009039510 A JP 2009039510A
Authority
JP
Japan
Prior art keywords
image
light
wavelength
spectral image
spectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008137372A
Other languages
Japanese (ja)
Other versions
JP5073579B2 (en
Inventor
Kazuhiro Tsujita
和宏 辻田
Hiroshi Sunakawa
寛 砂川
Katsuya Kikuchi
克也 菊池
Tetsuya Kasai
徹也 河西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujinon Corp
Fujifilm Corp
Original Assignee
Fujinon Corp
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujinon Corp, Fujifilm Corp filed Critical Fujinon Corp
Priority to JP2008137372A priority Critical patent/JP5073579B2/en
Priority to US12/175,033 priority patent/US7787121B2/en
Priority to EP08012940A priority patent/EP2017591A1/en
Publication of JP2009039510A publication Critical patent/JP2009039510A/en
Application granted granted Critical
Publication of JP5073579B2 publication Critical patent/JP5073579B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Endoscopes (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To form a spectroscopic image in a near-infrared area in addition to a normal image without causing enlarging of an apparatus in size or resulting increase of costs in an imaging apparatus. <P>SOLUTION: The apparatus is provided with: a light source unit 14 capable of selectively irradiating an object 3 to be observed with white light or light of a wavelength band different from that of white light; an imaging part (CCD 15) having an imaging element which captures an image of the object 3; and spectroscopic image forming circuits (color space transformation processing circuits 29 and 51) which form spectroscopic image signals indicating a spectroscopic image of a designated wavelength. The imaging part selectively captures an image of the object 3 of each of first, second and third lights of different wavelength bands in a visible area and an image of the object 3 of each of at least fourth and fifth lights of different wavelength bands in a near-infrared region. The imaging part has a first spectroscopic element making only the first and fourth lights enter the first pixel of the imaging element and a second spectroscopic element making only the second and fifth lights enter the second pixel of the imaging element. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は撮像装置に関し、より詳細には、光を照射された被観察体を撮像して得られる画像信号を演算処理することによって、所定の波長域の分光画像を形成する撮像装置に関する。   The present invention relates to an imaging apparatus, and more particularly, to an imaging apparatus that forms a spectral image in a predetermined wavelength region by performing arithmetic processing on an image signal obtained by imaging an observation object irradiated with light.

近年、固体撮像素子を用いた電子内視鏡等の撮像装置では、消化器官（胃粘膜等）における分光反射率に基づき、狭帯域バンドパスフィルタを組み合わせた分光イメージング、すなわち狭帯域フィルタ内蔵撮像装置（Ｎａｒｒｏｗ Ｂａｎｄ Ｉｍａｇｉｎｇ−ＮＢＩ）が注目されている。この装置は、面順次式のＲ（赤）、Ｇ（緑）、Ｂ（青）の回転フィルタの代わりに、３つの狭（波長）帯域のバンドパスフィルタを設け、これら狭帯域バンドパスフィルタを介して照明光を順次出力し、これらの照明光で得られた３つの信号に対しそれぞれの重み付けを変えながらＲ、Ｇ、Ｂ（ＲＧＢ）信号の場合と同様の処理を行うことにより、分光画像を形成するものである。このような分光画像によれば、胃、大腸等の消化器において、従来では得られなかった微細構造等が抽出される。   In recent years, in an imaging apparatus such as an electronic endoscope using a solid-state imaging device, spectral imaging combined with a narrowband bandpass filter based on spectral reflectance in the digestive organs (gastric mucosa, etc.), that is, an imaging apparatus incorporating a narrowband filter (Narrow Band Imaging-NBI) is drawing attention. This device is provided with three narrow (wavelength) band-pass filters instead of the frame sequential R (red), G (green), and B (blue) rotary filters. By sequentially performing the same processing as in the case of the R, G, and B (RGB) signals while changing the respective weights for the three signals obtained with these illumination lights, the spectral image is output. Is formed. According to such a spectral image, in the digestive organs such as the stomach and the large intestine, a fine structure or the like that has not been obtained conventionally is extracted.

一方、上記の狭帯域バンドパスフィルタを用いる面順次式のものではなく、特許文献１や非特許文献１に示されるように、固体撮像素子に微小モザイクの色フィルタを配置する同時式において、白色光で得られた画像信号を基に、演算処理にて分光画像を形成することが提案されている。これは、Ｒ、Ｇ、Ｂのそれぞれのカラー感度特性を数値データ化したものと、特定の狭帯域バンドパスの分光特性を数値データ化したものとの関係をマトリクスデータ（係数セット）として求め、このマトリクスデータとＲ、Ｇ、Ｂ信号との演算により狭帯域バンドパスフィルタを介して得られる分光画像を推定した分光画像信号を得るものである。このような演算によって分光画像を形成する場合は、所望の波長域に対応した複数のフィルタを用意する必要がなく、またこれらの交換配置が不要となるので、装置の大型化が避けられ、低コスト化を図ることができる。
特開２００３−９３３３６号公報 三宅洋一著「デジタルカラー画像の解析・評価」東京大学出版会、 ２０００年、ｐ．１４８〜１５３ On the other hand, as shown in Patent Document 1 and Non-Patent Document 1, instead of the above-described narrow-band bandpass filter, the simultaneous expression in which a fine mosaic color filter is arranged in a solid-state image sensor is white. It has been proposed to form a spectral image by arithmetic processing based on an image signal obtained with light. This is to obtain the relationship between the color sensitivity characteristics of R, G, and B as numerical data and the spectral characteristics of a specific narrowband bandpass as numerical data as matrix data (coefficient set). A spectral image signal obtained by estimating the spectral image obtained through the narrow band-pass filter by calculating the matrix data and the R, G, and B signals is obtained. When a spectral image is formed by such an operation, it is not necessary to prepare a plurality of filters corresponding to a desired wavelength region, and replacement arrangement of these is unnecessary, so that the apparatus can be prevented from being enlarged and reduced in size. Cost can be reduced.
JP 2003-93336 A Yoichi Miyake "Analysis and Evaluation of Digital Color Images" The University of Tokyo Press, 2000, p. 148-153

ところで、上記のような生体観察の分野では、血管やガン細胞等を蛍光試薬により標識して、その蛍光画像を観察する手法が用いられており、その際に上記分光画像の技術を応用して蛍光画像を得ることが考えられている。蛍光や励起光の波長としては、生体に含まれる水やヘモグロビンの吸収を考慮すると、約６００〜１３００ｎｍの波長域のものが好ましく、さらには７００〜１３００ｎｍの波長域、すなわち近赤外領域のものがより好ましい。   By the way, in the field of living body observation as described above, a technique is used in which blood vessels, cancer cells, etc. are labeled with a fluorescent reagent and the fluorescence image is observed. It is considered to obtain a fluorescent image. In consideration of absorption of water and hemoglobin contained in a living body, the wavelength of fluorescence or excitation light is preferably about 600 to 1300 nm, more preferably 700 to 1300 nm, that is, the near infrared range. Is more preferable.

しかしながら、上述の演算処理にて分光画像を得る装置は、通常画像（カラー画像）用のＲ、Ｇ、Ｂ信号を用いて可視光領域の分光画像を得るものであり、上記の波長域に対応したものではなかった。通常画像に加え、この波長域の分光画像を得るためには、そのための光学系が別途必要となり、装置の大型化や大幅なコストアップを招くという問題がある。   However, the device that obtains a spectral image by the above-described arithmetic processing obtains a spectral image in the visible light region using R, G, and B signals for a normal image (color image), and corresponds to the above wavelength range. It was not what I did. In order to obtain a spectral image in this wavelength region in addition to the normal image, an optical system for that purpose is required separately, which causes a problem that the apparatus is increased in size and greatly increased in cost.

本発明は上記の問題点に鑑みてなされたものであり、装置の大型化や大幅なコストアップを招くことなく、通常画像に加え、近赤外領域の分光画像の形成が可能な撮像装置を提供することを目的とする。   The present invention has been made in view of the above problems, and an imaging apparatus capable of forming a spectral image in the near-infrared region in addition to a normal image without causing an increase in the size of the apparatus or a significant increase in cost. The purpose is to provide.

本発明による撮像装置は、白色光と、前記白色光とは異なる波長帯域の光とを選択的に被観察体へ照射可能な光源ユニットと、該光源ユニットからの光が照射された前記被観察体の像を撮像する撮像素子を有する撮像部と、該撮像部の出力に基づく画像信号と、所定のマトリクスデータとの演算により、指定された波長の分光画像を示す分光画像信号を形成する分光画像形成回路とを備え、前記撮像部が、可視領域において波長域の異なる３つの第１、第２、第３の光ごとの前記被観察体の像と、近赤外領域において波長域の異なる少なくとも２つの第４、第５の光ごとの前記被観察体の像とを選択的に撮像するものであり、前記第１の光および前記第４の光のみを前記撮像素子の第１の画素へ入射させる第１の分光素子と、前記第２の光および前記第５の光のみを前記撮像素子の第２の画素へ入射させる第２の分光素子とを有することを特徴とするものである。   The imaging apparatus according to the present invention includes a light source unit capable of selectively irradiating an object to be observed with white light and light having a wavelength band different from that of the white light, and the object to be observed irradiated with light from the light source unit. A spectroscopic image forming a spectroscopic image signal indicating a spectroscopic image of a specified wavelength by calculating an image pickup unit having an image pickup element for picking up an image of a body, an image signal based on an output of the image pickup unit, and predetermined matrix data An image forming circuit, and the imaging unit has different wavelength regions in the near-infrared region and images of the object to be observed for each of the first, second, and third lights having different wavelength regions in the visible region. And selectively capturing at least two images of the object to be observed for each of the fourth and fifth lights, and only the first light and the fourth light are the first pixels of the image sensor. A first spectroscopic element incident on the second light source and the second light beam It is characterized in that it has a second spectral element to be incident only fine the fifth light to the second pixel of the image sensor.

ここで、「白色光とは異なる波長帯域の光」は、その波長帯域全域が白色光の波長帯域と全く一致するものではなければよく、その波長帯域の一部が白色光の波長帯域と重なっていてもよい。例えば、「白色光とは異なる波長帯域の光」として、赤から近赤外領域の光を用いてもよい。また、「波長域の異なる３つの第１、第２、第３の光」、「波長域の異なる少なくとも２つの第４、第５の光」における「波長域の異なる」とは、その波長帯域全域が全く一致するものではなければよく、その波長帯域の一部が重なったものでもよい。   Here, “light in a wavelength band different from that of white light” is not required if the entire wavelength band does not completely match the wavelength band of white light, and a part of the wavelength band overlaps with the wavelength band of white light. It may be. For example, red to near-infrared light may be used as “light having a wavelength band different from that of white light”. Further, “different wavelength ranges” in “three first, second, and third lights having different wavelength ranges” and “at least two fourth and fifth lights having different wavelength ranges” means the wavelength bands It is sufficient that the whole area does not coincide at all, and a part of the wavelength band may overlap.

ここで、「選択的に被観察体へ照射可能な」や「選択的に撮像」の「選択的」とは例えば、時間的に分割して行うことが可能という意味である。   Here, “selectively” of “selectively irradiating the object to be observed” and “selectively imaged” means, for example, that it is possible to divide in time.

なお、本明細書における「近赤外領域」の短波長側の波長の境界値は、約７００ｎｍとする。   The boundary value of the wavelength on the short wavelength side of the “near infrared region” in this specification is about 700 nm.

なお、「前記第１の光および前記第４の光のみ」、「前記第２の光および前記第５の光のみ」とは、光源ユニットから出射される光の波長帯域内についてのことであり、その他の帯域についてはこの限りではない。   Note that “only the first light and the fourth light” and “only the second light and the fifth light” are within the wavelength band of the light emitted from the light source unit. However, this does not apply to other bands.

上記撮像装置において、前記分光画像形成回路が、少なくとも前記第４の光および前記第５の光に基づく画像信号を用いて、前記分光画像信号を形成するものであることが好ましい。   In the imaging apparatus, it is preferable that the spectral image forming circuit forms the spectral image signal by using an image signal based on at least the fourth light and the fifth light.

上記撮像装置において、前記指定された波長が蛍光の波長であり、前記白色光とは異なる波長帯域の光が前記蛍光を励起する励起光であるように構成してもよい。   In the imaging apparatus, the designated wavelength may be a fluorescence wavelength, and light having a wavelength band different from the white light may be excitation light that excites the fluorescence.

また、上記撮像装置は可視領域の光によるカラー画像と、可視領域の光による第１の分光画像と、近赤外領域の光による第２の分光画像とを形成可能であることが好ましい。   In addition, it is preferable that the imaging apparatus can form a color image with light in the visible region, a first spectral image with light in the visible region, and a second spectral image with light in the near infrared region.

その際に、前記カラー画像、前記第１の分光画像、および前記第２の分光画像のうち、いずれか２つ以上を同時に表示可能であることが好ましい。   At that time, it is preferable that any two or more of the color image, the first spectral image, and the second spectral image can be displayed simultaneously.

また、前記カラー画像、前記第１の分光画像、および前記第２の分光画像のうち、いずれか２つ以上を重ねて表示可能であることが好ましい。   Moreover, it is preferable that any two or more of the color image, the first spectral image, and the second spectral image can be displayed in an overlapping manner.

本発明の撮像装置によれば、撮像部により近赤外領域において少なくとも２つの異なる波長域の第４、第５の光ごとの被観察体の像を撮像し、分光画像形成回路により近赤外領域における分光画像信号を形成することができるため、近赤外領域の分光画像を形成することができる。また、光源ユニットは、白色光と白色光とは異なる波長帯域の光を選択的に照射可能であり、第１の分光素子により第１の画素は第１の光および第４の光を受光することができ、第２の分光素子により第２の画素は第２の光および第５の光を受光することができるため、同一の撮像素子で可視領域および近赤外領域の撮像を時間的に分けて行うことが可能になる。したがって、可視領域用の光学系と近赤外領域用の光学系を別途設ける必要がなくなり、装置の大型化や大幅なコストアップを招くことなく、通常画像および近赤外領域の分光画像を取得することが可能になる。   According to the imaging apparatus of the present invention, the imaging unit captures an image of the object to be observed for each of the fourth and fifth lights in at least two different wavelength ranges in the near infrared region, and the spectral image forming circuit performs near infrared. Since a spectral image signal in the region can be formed, a spectral image in the near infrared region can be formed. The light source unit can selectively irradiate light in a wavelength band different from white light and white light, and the first pixel receives the first light and the fourth light by the first spectral element. Since the second pixel can receive the second light and the fifth light by the second spectroscopic element, the imaging region in the visible region and the near infrared region can be temporally captured by the same image sensor. It becomes possible to carry out separately. Therefore, there is no need to provide an optical system for the visible region and an optical system for the near-infrared region, and normal images and spectral images in the near-infrared region can be acquired without increasing the size and cost of the device. It becomes possible to do.

以下、図面を参照して本発明の実施形態を詳細に説明する。図１は、本発明の第１の実施形態による撮像装置としての電子内視鏡装置１００のブロック図を示すものである。本実施形態の電子内視鏡装置１００は、被観察体の通常画像を形成する通常画像モードと、後述の演算処理により得られる被観察体の分光画像を表示する分光画像モードとにより動作するものである。さらに電子内視鏡装置１００は、分光画像モード下では、可視光領域の３色の画像信号（Ｒ、Ｇ、Ｂ信号）に基づき可視光領域の分光画像を形成する可視分光画像モードと、近赤外領域の３色の画像信号（後述するＮｒ、Ｎｇ、Ｎｂ信号）に基づき近赤外領域の分光画像を形成する近赤外分光画像モードと、により動作するものである。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 shows a block diagram of an electronic endoscope apparatus 100 as an imaging apparatus according to a first embodiment of the present invention. The electronic endoscope apparatus 100 according to the present embodiment operates in a normal image mode for forming a normal image of an object to be observed and a spectral image mode for displaying a spectral image of the object to be observed obtained by arithmetic processing described later. It is. Furthermore, the electronic endoscope apparatus 100 has a visible spectral image mode that forms a spectral image in the visible light region based on the three color image signals (R, G, and B signals) in the visible light region, and a near spectral image mode. It operates in a near-infrared spectral image mode that forms a spectral image in the near-infrared region based on image signals of three colors in the infrared region (Nr, Ng, and Nb signals described later).

図１に示すとおり、電子内視鏡装置１００は、被観察体３を観察するためのスコープ１０と、このスコープ１０が着脱自在に接続されるプロセッサ装置１２とから主に構成される。このプロセッサ装置１２内には被観察体３に光を照射するための光源ユニット１４が配置されている。スコープ１０の先端には照明用光学系２３が設けられ、この照明用光学系２３には、一端が光源ユニット１４に接続されたライトガイド２４の他端が対面している。なお光源ユニット１４は、プロセッサ装置１２とは別体の光源装置に配置されてもよい。   As shown in FIG. 1, the electronic endoscope apparatus 100 mainly includes a scope 10 for observing the observation object 3 and a processor device 12 to which the scope 10 is detachably connected. A light source unit 14 for irradiating the observation object 3 with light is arranged in the processor device 12. An illumination optical system 23 is provided at the distal end of the scope 10, and the other end of the light guide 24 whose one end is connected to the light source unit 14 faces the illumination optical system 23. The light source unit 14 may be disposed in a light source device that is separate from the processor device 12.

本実施形態における被観察体３は、体腔内の生体組織であり、波長が異なる３種類の蛍光試薬により標識されている。生体組織に多量に含まれる水およびヘモグロビンの光吸収の波長帯域は図２に示すとおりであり、短波長側ではヘモグロビンの吸収があり、長波長側では水の吸収がある。よって、波長域６００〜１３００ｎｍの光、すなわち赤〜近赤外の光が比較的よく生体組織を透過することがわかる。そこで、本実施形態においては、励起光が６００〜１３００ｎｍの波長域にある蛍光試薬が選択されている。   The observation object 3 in the present embodiment is a living tissue in a body cavity and is labeled with three types of fluorescent reagents having different wavelengths. The wavelength band of light absorption of water and hemoglobin contained in a large amount in the living tissue is as shown in FIG. 2, and there is absorption of hemoglobin on the short wavelength side and water absorption on the long wavelength side. Therefore, it can be seen that light in the wavelength range of 600 to 1300 nm, that is, red to near-infrared light is relatively well transmitted through the living tissue. Therefore, in the present embodiment, a fluorescent reagent having excitation light in the wavelength region of 600 to 1300 nm is selected.

このような蛍光試薬としては、例えば、励起光波長６８２ｎｍおよび蛍光波長７１５ｎｍの蛍光試薬ＤｙＬｉｇｈｔ６８０、励起光波長７４７ｎｍおよび蛍光波長７７６ｎｍの蛍光試薬Ｃｙ７、励起光波長７８５ｎｍおよび蛍光波長８０５ｎｍの蛍光試薬ＩＣＧ（インドシアニングリーン）を用いることができる。   Examples of such a fluorescent reagent include a fluorescent reagent DyLight 680 having an excitation light wavelength of 682 nm and a fluorescence wavelength of 715 nm, a fluorescent reagent Cy7 having an excitation light wavelength of 747 nm and a fluorescence wavelength of 776 nm, and a fluorescent reagent ICG having an excitation light wavelength of 785 nm and a fluorescence wavelength of 805 nm (India). Cyanine green) can be used.

なお、用いる複数の蛍光試薬としては、それぞれ異なる組織を標識するものを用いてもよく、あるいは、同一組織を標識するものを用いてもよい。例えば、ガン組織を標識可能な複数種類の蛍光試薬を同時に用いることにより、ガンの検出精度が上がり、正診率を向上させることができる。   As a plurality of fluorescent reagents to be used, those that label different tissues may be used, or those that label the same tissue may be used. For example, by simultaneously using a plurality of types of fluorescent reagents capable of labeling cancer tissue, cancer detection accuracy can be improved and the correct diagnosis rate can be improved.

光源ユニット１４は、図３にその一構成例を示すように、赤から近赤外領域の光を出射する励起光源ユニット６および白色光を出射する白色光源ユニット７を有するものであり、白色光と、赤から近赤外領域の光とを選択的に被観察体へ照射可能な光源ユニットである。すなわち、本実施形態においては、白色光と、赤から近赤外領域の光とを時間的に分割して被観察体へ照射することが可能である。励起光源ユニット６は、被観察体３を標識した蛍光試薬を励起する励起光を出射するものであり、近赤外分光画像モードにおいて使用される。白色光源ユニット７は、本実施形態においては、可視光領域のみの白色光を出射するものであり、通常画像モードと可視分光画像モードにおいて使用される。   As shown in FIG. 3, the light source unit 14 includes an excitation light source unit 6 that emits light in the near infrared region from red and a white light source unit 7 that emits white light. And a light source unit capable of selectively irradiating the object to be observed with light in the red to near-infrared region. That is, in the present embodiment, it is possible to irradiate the object to be observed by dividing the white light and the red to near-infrared light in terms of time. The excitation light source unit 6 emits excitation light that excites the fluorescent reagent that labels the object to be observed 3 and is used in the near-infrared spectral image mode. In the present embodiment, the white light source unit 7 emits white light only in the visible light region, and is used in the normal image mode and the visible spectral image mode.

図３に示す構成の励起光源ユニット６は、上記３種類の蛍光試薬を励起するための、それぞれ異なる波長の励起光を出射する多数の光源６ａ、６ｂ、６ｃと、光源６ａ、６ｂ、６ｃからの光がそれぞれ入射される多数のマルチモードの光ファイバ６ｄ、６ｅ、６ｆとを備えている。   The excitation light source unit 6 having the configuration shown in FIG. 3 includes a large number of light sources 6a, 6b, and 6c that emit excitation light of different wavelengths, and the light sources 6a, 6b, and 6c, for exciting the three types of fluorescent reagents. Are provided with a plurality of multimode optical fibers 6d, 6e, and 6f.

光源６ａ、６ｂ、６ｃとしては、例えば、半導体レーザ、高輝度ＬＥＤ、キセノンフラッシュランプ等を用いることができる。光源６ａ、６ｂ、６ｃは、中心波長に対し±１０ｎｍ程度あるいはそれ以下の半値幅を有する狭帯域の光を出射するものであることが好ましい。光源６ａ、６ｂ、６ｃに狭帯域の光を出射するものを用いない場合は、光源６ａ、６ｂ、６ｃから被観察体３までの光路に±１０ｎｍ程度の半値幅を有する狭帯域の光を透過させる狭帯域のバンドパスフィルタを設けることが好ましい。   As the light sources 6a, 6b, and 6c, for example, a semiconductor laser, a high-intensity LED, a xenon flash lamp, or the like can be used. The light sources 6a, 6b, and 6c preferably emit narrow-band light having a half width of about ± 10 nm or less with respect to the center wavelength. When the light sources 6a, 6b, and 6c that do not emit narrow-band light are not used, the narrow-band light having a half-value width of about ± 10 nm is transmitted in the optical path from the light sources 6a, 6b, and 6c to the object 3 to be observed. It is preferable to provide a narrow-band bandpass filter.

光ファイバ６ｄ、６ｅ、６ｆの入射端は先端加工によりレンズが一体的に整形されており、高効率に光結合することができる。なお、ここでは部品数低減のためにレンズが一体整形された光ファイバ６ｄ、６ｅ、６ｆを用いたが、これに代わり、レンズが一体整形されていない通常の光ファイバと光結合用のレンズを用いてもよい。   Lenses are integrally formed at the incident ends of the optical fibers 6d, 6e, and 6f by tip processing, and can be optically coupled with high efficiency. Here, the optical fibers 6d, 6e, and 6f in which the lenses are integrally formed are used to reduce the number of parts, but instead of this, a normal optical fiber and an optical coupling lens in which the lenses are not integrally formed are used. It may be used.

また、図３では、図の煩雑化を避けるため、光源および光ファイバは４つずつ図示しているが、実際には多数の光源と多数の光ファイバを備えている。光源と光ファイバの数は同一でもよく、あるいは異なっていてもよく、１つの光源からの光が複数の光ファイバに入射するように構成してもよい。   In FIG. 3, four light sources and four optical fibers are illustrated in order to avoid complication of the drawing, but actually, a large number of light sources and a large number of optical fibers are provided. The number of light sources and optical fibers may be the same or different, and the light from one light source may be configured to enter a plurality of optical fibers.

光ファイバ６ｄ、６ｅ、６ｆの出射端は全て合波器６ｇの一端に接続され、合波器６ｇの他端には小径の光ファイバ６ｈが接続されている。光源６ａ、６ｂ、６ｃから出射して光ファイバ６ｄ、６ｅ、６ｆを伝播した光は、合波器６ｇにより合波されて光ファイバ６ｈにより伝送される。   The emission ends of the optical fibers 6d, 6e, and 6f are all connected to one end of the multiplexer 6g, and a small-diameter optical fiber 6h is connected to the other end of the multiplexer 6g. Light emitted from the light sources 6a, 6b, and 6c and propagated through the optical fibers 6d, 6e, and 6f is multiplexed by the multiplexer 6g and transmitted by the optical fiber 6h.

なお、合波器６ｇとしては例えば光カプラ等を用いることができる。あるいは、合波器６ｇを用いる代わりに、光ファイバの出射端側の各コアが一体化されて形成された構成を採用してもよい。上記のような多数光源の光を光ファイバを用いて合波する際は、例えば特開２００６−３３７３９９号公報に記載の技術を適用することができる。   For example, an optical coupler or the like can be used as the multiplexer 6g. Or you may employ | adopt the structure formed by integrating each core by the side of the output end of an optical fiber instead of using the multiplexer 6g. For example, the technique described in Japanese Patent Application Laid-Open No. 2006-337399 can be applied when combining light from multiple light sources as described above using an optical fiber.

上記構成を有する励起光源ユニット６によれば、多数の光源からの光を細径の光ファイバで光伝送することができ、かつ高輝度高出力の光を得ることができる。   According to the excitation light source unit 6 having the above-described configuration, light from a large number of light sources can be transmitted through a thin optical fiber, and light with high brightness and high output can be obtained.

なお、上記例では、３つの蛍光試薬を用いているため、励起光源ユニット６は各蛍光試薬に最も好適な励起光を得るための３種の光源を備えているが、１種の励起光で複数の蛍光試薬を励起可能であれば、より少数の光源であってもよい。あるいは、励起光源ユニット６は、多用な蛍光試薬に対応するため、４種以上の励起用の光源を備えていてもよい。   In the above example, since three fluorescent reagents are used, the excitation light source unit 6 includes three types of light sources for obtaining the most suitable excitation light for each fluorescent reagent. If a plurality of fluorescent reagents can be excited, a smaller number of light sources may be used. Alternatively, the excitation light source unit 6 may include four or more types of excitation light sources in order to correspond to various fluorescent reagents.

一方、白色光源ユニット７は、白色光を出射する白色光源７ａと、光結合のためのレンズ７ｂと、可視光領域のみの光を透過させるフィルタ７ｃと、白色光源７ａからの光がレンズ７ｂにより集光されて入射される光ファイバ７ｄとを備える。この光ファイバ７ｄは、光ファイバ６ｈと合わせてライトガイド２４を構成するものである。   On the other hand, the white light source unit 7 includes a white light source 7a that emits white light, a lens 7b for optical coupling, a filter 7c that transmits light only in the visible light region, and light from the white light source 7a is transmitted by the lens 7b. An optical fiber 7d that is focused and incident. The optical fiber 7d constitutes the light guide 24 together with the optical fiber 6h.

なお、本実施形態では、フィルタ７ｃを光源ユニット１４内に設けたが、代わりに光源ユニット１４から被観察体３までの光路に挿脱可能に設けておき、通常画像モードと可視分光画像モードでは光路に挿入し、近赤外分光画像モードでは光路から排除するようにしてもよい。あるいは、フィルタ７ｃを光源ユニット１４内に設ける代わりに、被観察体３からＣＣＤセンサ１５までの光路に近赤外光からそれ以上の長波長の光をカットする近赤外光カットフィルタを挿脱可能に設けておき、通常画像モードと可視分光画像モードでは光路に挿入し、近赤外分光画像モードでは光路から排除するようにしてもよい。   In the present embodiment, the filter 7c is provided in the light source unit 14, but instead provided in the optical path from the light source unit 14 to the object to be observed 3 so that it can be inserted and removed, in the normal image mode and the visible spectral image mode. It may be inserted into the optical path and excluded from the optical path in the near infrared spectral image mode. Alternatively, instead of providing the filter 7 c in the light source unit 14, a near-infrared light cut filter that cuts light having a longer wavelength from near-infrared light is inserted into and removed from the optical path from the observed object 3 to the CCD sensor 15. It may be provided so that it is inserted into the optical path in the normal image mode and the visible spectral image mode, and excluded from the optical path in the near-infrared spectral image mode.

図１に示すスコープ１０の先端部には、結像レンズ８と、励起光カットフィルタ９、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサ１５とが同軸上にこの順に設けられている。結像レンズ８は、被観察体３の像をＣＣＤセンサ１５上に結像するものである。励起光カットフィルタ９としては、励起光のみを遮断して蛍光は透過させるように、例えば、極めて狭帯域の光のみを遮断するノッチフィルタを用いることができる。   An imaging lens 8, an excitation light cut filter 9, and a CCD (Charge Coupled Device) sensor 15 are coaxially provided in this order at the distal end of the scope 10 shown in FIG. The imaging lens 8 forms an image of the observation object 3 on the CCD sensor 15. As the excitation light cut filter 9, for example, a notch filter that blocks only very narrow band light can be used so as to block only excitation light and transmit fluorescence.

ＣＣＤセンサ１５は、光源ユニット１４からの光が照射された被観察体３の像を撮像する撮像部を構成するものであり、可視光領域においてはＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色に分光して、各光ごとの被観察体３の像を撮像してＲ、Ｇ、Ｂ信号として出力し、また、近赤外領域においてもＮｒ、Ｎｇ、Ｎｂの３色に分光して、各光ごとの被観察体３の像を撮像してＮｒ、Ｎｇ、Ｎｂ信号として出力する機能を有するものである。ここで、Ｎｂ、Ｎｇ、Ｎｒは、図４Ａに示すように、近赤外領域において、この順に短波長側から設定された所定波長幅を有する波長帯域である。Ｎｂ、Ｎｇ、Ｎｒは、例えば、近赤外領域における擬似的な３原色として考えることができる。   The CCD sensor 15 constitutes an imaging unit that captures an image of the observation object 3 irradiated with light from the light source unit 14, and in the visible light region, R (red), G (green), B ( (Blue) is split into three primary colors, an image of the object 3 for each light is captured and output as R, G, B signals, and also in the near infrared region, three colors of Nr, Ng, and Nb And has a function of capturing an image of the observation object 3 for each light and outputting it as Nr, Ng, and Nb signals. Here, as shown in FIG. 4A, Nb, Ng, and Nr are wavelength bands having a predetermined wavelength width set in this order from the short wavelength side in the near infrared region. Nb, Ng, and Nr can be considered as, for example, pseudo three primary colors in the near infrared region.

図５にこのような機能を有するＣＣＤセンサ１５の一構成例を示す。図５の左側にＣＣＤセンサ１５の全体像を示す。この全体像に示すようにＣＣＤセンサ１５は撮像素子であるＣＣＤ１５ａと、多数のフィルタＢ＋Ｎｂ、フィルタＧ＋Ｎｇ、フィルタＲ＋Ｎｒ色からなるフィルタ群１５ｂとを有する。図５の右側にフィルタ群１５ｂの部分拡大図を示す。ＣＣＤ１５ａの撮像面には、画素ごとにフィルタＢ＋Ｎｂ、フィルタＧ＋Ｎｇ、フィルタＲ＋Ｎｒの３種の色フィルタが形成されている。これら３種の色フィルタは分光素子として機能するものである。図４Ａには、これら３つの各色フィルタの分光透過率を合わせて示し、図４Ｂには明確化のために、フィルタＢ＋Ｎｂのみの分光透過率を示す。図４Ａ，図４Ｂに示すように、これら３つの各色フィルタは双峰性（ダブルピーク）の透過率特性を有するものである。   FIG. 5 shows a configuration example of the CCD sensor 15 having such a function. An overall image of the CCD sensor 15 is shown on the left side of FIG. As shown in this overall image, the CCD sensor 15 includes a CCD 15a that is an image sensor, and a filter group 15b composed of a number of filters B + Nb, a filter G + Ng, and a filter R + Nr. A partial enlarged view of the filter group 15b is shown on the right side of FIG. On the imaging surface of the CCD 15a, three types of color filters, a filter B + Nb, a filter G + Ng, and a filter R + Nr, are formed for each pixel. These three color filters function as spectroscopic elements. FIG. 4A shows the spectral transmittance of these three color filters together, and FIG. 4B shows the spectral transmittance of only the filter B + Nb for the sake of clarity. As shown in FIGS. 4A and 4B, each of these three color filters has a bimodal (double peak) transmittance characteristic.

フィルタＢ＋Ｎｂは、図４Ａの実線で示すように、可視光領域のＢおよび近赤外領域のＮｂのみに透過特性を有するフィルタであり、このフィルタが形成された画素へ、可視光領域のＢおよび近赤外領域のＮｂのみの光を入射させる分光素子として機能するものである。フィルタＧ＋Ｎｇは、図４Ａの点線で示すように、可視光領域のＧおよび近赤外領域のＮｇのみに透過特性を有するフィルタであり、このフィルタが形成された画素へ、可視光領域のＧおよび近赤外領域のＮｇのみの光を入射させる分光素子として機能するものである。フィルタＲ＋Ｎｒは、図４Ａの一点鎖線で示すように、可視光領域のＲおよび近赤外領域のＮｒのみに透過特性を有するフィルタであり、このフィルタが形成された画素へ、可視光領域のＲおよび近赤外領域のＮｒのみの光を入射させる分光素子として機能するものである。   As shown by the solid line in FIG. 4A, the filter B + Nb is a filter having transmission characteristics only in the visible light region B and the near-infrared region Nb. To the pixels in which the filter is formed, the visible light region B and It functions as a spectroscopic element that allows only Nb light in the near infrared region to enter. The filter G + Ng is a filter having transmission characteristics only in G in the visible light region and Ng in the near-infrared region, as indicated by a dotted line in FIG. 4A. It functions as a spectroscopic element that allows only Ng light in the near infrared region to enter. The filter R + Nr is a filter having transmission characteristics only in R in the visible light region and Nr in the near infrared region, as indicated by a one-dot chain line in FIG. 4A. It functions as a spectroscopic element that allows only Nr light in the near infrared region to enter.

よって、フィルタＢ＋Ｎｂが形成された画素は、可視光領域のＢと近赤外領域のＮｂの領域のみに感度を有し、フィルタＧ＋Ｎｇが形成された画素は、可視光領域のＧと近赤外領域のＮｇの領域のみに感度を有し、フィルタＲ＋Ｎｒが形成された画素は、可視光領域のＲと近赤外領域のＮｒの領域のみに感度を有する。このような構成のＣＣＤセンサ１５を用いることにより、可視光領域だけでなく、近赤外領域においても、ＣＣＤセンサ１５上に結像される像を分光して撮像することが可能になる。また、１枚のフィルタが可視光領域と近赤外領域で透過する帯域を有することから、１つの撮像素子で、可視光領域と近赤外領域の両方の領域で分光して撮像することができる。   Therefore, the pixel in which the filter B + Nb is formed is sensitive only to the B region in the visible light region and the Nb region in the near infrared region, and the pixel in which the filter G + Ng is formed is in the G region in the visible light region and the near infrared region. A pixel having the filter R + Nr has sensitivity only in the visible light region R and the near-infrared region Nr. By using the CCD sensor 15 having such a configuration, it is possible to spectrally capture an image formed on the CCD sensor 15 not only in the visible light region but also in the near infrared region. In addition, since one filter has a band transmitting in the visible light region and the near infrared region, it is possible to perform spectral imaging in both the visible light region and the near infrared region with one image sensor. it can.

なお、撮像部としては、図５に示す構成のＣＣＤセンサ１５に代わり、図６や図７に示す構成のものを用いることもできる。図６に示す構成例は、入射面および各プリズム間の接触面にダイクロイック膜ＤＭ１、ＤＭ２、ＤＭ３が形成された３つのプリズムＰ１、Ｐ２、Ｐ３からなる分光素子により、入射光を可視光領域のＢおよび近赤外領域のＮｂの光、可視光領域のＧおよび近赤外領域のＮｇの光、可視光領域のＲおよび近赤外領域のＮｒの光に分光して３方向に出射させ、出射光それぞれに対してＣＣＤ１１５、１１６、１１７を配置したものである。   In addition, as an imaging part, the thing of the structure shown in FIG.6 or FIG.7 can also be used instead of the CCD sensor 15 of the structure shown in FIG. In the configuration example shown in FIG. 6, incident light is transmitted in the visible light region by a spectroscopic element including three prisms P1, P2, and P3 in which dichroic films DM1, DM2, and DM3 are formed on an incident surface and a contact surface between the prisms. B and Nb light in the near-infrared region, G in the visible light region and Ng light in the near-infrared region, R in the visible light region and Nr light in the near-infrared region are emitted in three directions, CCDs 115, 116, and 117 are arranged for each of the emitted lights.

図７に示す構成例は、図７（Ａ）に示すように、ＣＣＤ１１８の前に配置された円盤状のフィルタ素子１１９を中心軸の周りに回転させることにより、ＣＣＤに入射する光の波長帯域を切り換える、いわゆる切換方式のものである。この円盤状のフィルタ素子１１９は、図７（Ｂ）に示すように周方向に沿って３つの領域に分割されており、それぞれ分光素子として機能するフィルタＢ＋Ｎｂ、フィルタＧ＋Ｎｇ、フィルタＲ＋Ｎｒが形成されている。なお、図７（Ｂ）に示すフィルタ素子１１９の代わりに、図７（Ｃ）に示すような、周方向に沿って６つの領域に分割され、各領域がそれぞれＢ、Ｇ、Ｒ、Ｎｂ、Ｎｇ、Ｎｒの光を透過させるよう構成された円盤状のフィルタ素子を用いても同様の効果が得られる。   In the configuration example shown in FIG. 7, as shown in FIG. 7A, the wavelength band of light incident on the CCD is obtained by rotating a disk-shaped filter element 119 arranged in front of the CCD 118 around the central axis. Is a so-called switching system. This disc-shaped filter element 119 is divided into three regions along the circumferential direction as shown in FIG. 7B, and a filter B + Nb, a filter G + Ng, and a filter R + Nr functioning as a spectroscopic element are formed. Yes. In addition, instead of the filter element 119 shown in FIG. 7B, it is divided into six regions along the circumferential direction as shown in FIG. 7C, and each region is divided into B, G, R, Nb, The same effect can be obtained by using a disk-shaped filter element configured to transmit Ng and Nr light.

なお、図１ではＣＣＤセンサ１５をスコープ１０に設けた例を図示しているが、スコープ１０に像伝送用のイメージガイド等を挿通させておき、ＣＣＤセンサ１５をスコープ１０外に配置してもよい。この構成を採用した場合は、スコープ１０内におけるスペースの制約が緩和されるため、図７（Ａ）に示す構成の実現が容易になる。また、この構成を採用した場合は、前述のように、可視光領域以外の光を出射する白色光源ユニットを用い、被観察体３とＣＣＤの間の光路に近赤外光カットフィルタを挿脱可能に設ける構成が容易となる。   Although FIG. 1 shows an example in which the CCD sensor 15 is provided in the scope 10, an image guide for image transmission or the like may be inserted into the scope 10 and the CCD sensor 15 may be disposed outside the scope 10. Good. When this configuration is adopted, the space restriction in the scope 10 is relaxed, and the configuration shown in FIG. When this configuration is adopted, as described above, a white light source unit that emits light outside the visible light region is used, and a near-infrared light cut filter is inserted into and removed from the optical path between the object 3 and the CCD. A possible configuration is easy.

図１に示すように、このＣＣＤセンサ１５には、同期信号に基づいて駆動パルスを形成するＣＣＤ駆動回路１６が接続されると共に、このＣＣＤセンサ１５が出力した画像（映像）信号をサンプリングして増幅するＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）回路１７が接続されている。またＣＤＳ／ＡＧＣ回路１７には、そのアナログ出力をデジタル化するＡ／Ｄ変換器１８が接続されている。さらにスコープ１０には、上記の各種回路を制御するとともに、プロセッサ装置１２との間の通信制御を行うマイコン２０が配設されている。   As shown in FIG. 1, the CCD sensor 15 is connected to a CCD drive circuit 16 that forms a drive pulse based on a synchronization signal, and samples an image (video) signal output from the CCD sensor 15. A CDS / AGC (correlated double sampling / automatic gain control) circuit 17 to be amplified is connected. The CDS / AGC circuit 17 is connected to an A / D converter 18 for digitizing the analog output. Further, the scope 10 is provided with a microcomputer 20 that controls the various circuits described above and controls communication with the processor device 12.

一方プロセッサ装置１２には、Ａ／Ｄ変換器１８によりデジタル化された画像信号に対して各種の画像処理を施すＤＳＰ（デジタル信号プロセッサ）２５が設けられている。このＤＳＰ２５は、上記画像信号から輝度（Ｙ）信号と色差（Ｃ）信号で構成されるＹ／Ｃ信号を生成し、それを出力する。   On the other hand, the processor device 12 is provided with a DSP (digital signal processor) 25 that performs various image processing on the image signal digitized by the A / D converter 18. The DSP 25 generates a Y / C signal composed of a luminance (Y) signal and a color difference (C) signal from the image signal and outputs it.

本実施形態の装置は、通常画像、可視分光画像、近赤外分光画像（全て動画および静止画）を選択的に形成するものであり、上記ＤＳＰ２５には、上記のうちいずれの画像を形成するかの切換えを行う切換器２６の一端が接続されている。なお、上記ＤＳＰ２５はスコープ１０側に配置してもよい。そしてこの切換器２６の他端側の出力端子は、通常画像モード用のカラー信号処理回路３８、可視分光画像モード用の第１色変換回路２８、近赤外分光画像モード用の第１色変換回路５０のいずれかに選択的に接続可能に構成されている。   The apparatus of this embodiment selectively forms a normal image, a visible spectral image, and a near-infrared spectral image (all moving images and still images), and any one of the above images is formed on the DSP 25. One end of a switching device 26 for switching is connected. The DSP 25 may be disposed on the scope 10 side. The output terminal on the other end side of the switch 26 has a color signal processing circuit 38 for the normal image mode, a first color conversion circuit 28 for the visible spectral image mode, and a first color conversion for the near infrared spectral image mode. The circuit 50 can be selectively connected to any one of the circuits 50.

まず、可視分光画像モードの流れに沿って説明する。第１色変換回路２８は、上記ＤＳＰ２５から出力されたＹ（輝度）／Ｃ（色差）信号をＲ、Ｇ、Ｂの３色画像信号に変換する。第１色変換回路２８の後段側には、分光画像形成のためのマトリクス演算を行って、選択された波長域λ１、λ２、λ３による分光画像を形成するための画像信号λ１ｓ、λ２ｓ、λ３ｓを出力する色空間変換処理回路２９、１つの狭波長帯域の分光画像を形成する単色モードと、３つの波長域からなる分光画像を形成する３色モードとのいずれかを選択する色数セレクタ３０、１つの波長域または３つの波長域の画像信号λ１ｓ、λ２ｓ、λ３ｓを、Ｒ、Ｇ、Ｂ信号に対応させた処理をするためにＲｓ、Ｇｓ、Ｂｓ信号として入力し、これらの信号をＹ／Ｃ信号に変換する第２色変換回路３１、鏡像処理、マスク発生、キャラクタ発生等のその他の各種信号処理を行う信号処理回路３２、およびＤ／Ａ変換器３３が逐次この順に接続されている。そして、最後段のＤ／Ａ変換器３３は、プロセッサ装置１２外に配置された例えば液晶表示装置やＣＲＴ等からなるモニタ３４に接続されている。なお、色数セレクタ３０が選択する３色モードに代えて、２つの波長域からなる分光画像を形成する２色モードを設定するようにしてもよい。なお、ここで、色空間変換処理回路２９は、分光画像形成回路として機能するものである。   First, it demonstrates along the flow of visible spectral image mode. The first color conversion circuit 28 converts the Y (luminance) / C (color difference) signal output from the DSP 25 into a three-color image signal of R, G, and B. Image signals λ1s, λ2s, and λ3s for forming a spectral image in the selected wavelength regions λ1, λ2, and λ3 by performing matrix calculation for spectral image formation on the rear side of the first color conversion circuit 28. A color space conversion processing circuit 29 to output, a single color mode for forming a spectral image in one narrow wavelength band, and a color number selector 30 for selecting any of a three color mode for forming a spectral image having three wavelength ranges, The image signals λ1s, λ2s, and λ3s in one wavelength region or three wavelength regions are input as Rs, Gs, and Bs signals in order to perform processing corresponding to the R, G, and B signals. A second color conversion circuit 31 that converts to a C signal, a signal processing circuit 32 that performs various other signal processing such as mirror image processing, mask generation, and character generation, and a D / A converter 33 are sequentially connected in this order. The D / A converter 33 at the last stage is connected to a monitor 34 that is disposed outside the processor device 12 and is composed of, for example, a liquid crystal display device or a CRT. Instead of the three-color mode selected by the color number selector 30, a two-color mode for forming a spectral image having two wavelength ranges may be set. Here, the color space conversion processing circuit 29 functions as a spectral image forming circuit.

一方、近赤外分光画像モード用の第１色変換回路５０は、上記ＤＳＰ２５から出力されたＹ（輝度）／Ｃ（色差）信号をＮｒ、Ｎｇ、Ｎｂの３色画像信号に変換する。第１色変換回路５０の後段側には、分光画像形成のためのマトリクス演算を行って、近赤外領域における選択された波長域λ１’、λ２’、λ３’による分光画像を形成するための画像信号λ１ｓ’、λ２ｓ’、λ３ｓ’を出力する色空間変換処理回路５１が接続され、色空間変換処理回路５１は、前述の色数セレクタ３０に接続されている。ここで、色空間変換処理回路５１は、本発明の分光画像形成回路として機能するものである。   On the other hand, the first color conversion circuit 50 for near-infrared spectral image mode converts the Y (luminance) / C (color difference) signal output from the DSP 25 into a three-color image signal of Nr, Ng, and Nb. A matrix operation for forming a spectral image is performed on the rear side of the first color conversion circuit 50 to form a spectral image with the selected wavelength regions λ1 ′, λ2 ′, and λ3 ′ in the near infrared region. A color space conversion processing circuit 51 that outputs image signals λ1s ′, λ2s ′, and λ3s ′ is connected, and the color space conversion processing circuit 51 is connected to the color number selector 30 described above. Here, the color space conversion processing circuit 51 functions as a spectral image forming circuit of the present invention.

なお、図１では、モードの相違を明確にするため、第１色変換回路２８と第１色変換回路５０は別の回路、色空間変換処理回路２９と色空間変換処理回路５１は別の回路として図示しているが、これらは同一の回路として構成してもよい。   In FIG. 1, the first color conversion circuit 28 and the first color conversion circuit 50 are different circuits, and the color space conversion processing circuit 29 and the color space conversion processing circuit 51 are different circuits in order to clarify the difference in mode. These may be configured as the same circuit.

また上記プロセッサ装置１２内には、スコープ１０との間の通信を行うと共に、該装置１２内の各回路および光源ユニット１４を制御し、また分光画像を形成するためのマトリクス（係数）データを上記色空間変換処理回路２９に入力する等の機能を有するマイコン３５が設けられている。また、マイコン３５にはメモリ３６が接続されている。メモリ３６には、Ｒ、Ｇ、Ｂ信号またはＮｒ、Ｎｇ、Ｎｂ信号に基づいて分光画像を形成するための所定の係数となるマトリクスデータがテーブルの形で記憶されている。   In the processor device 12, communication with the scope 10 is performed, and each circuit and the light source unit 14 in the device 12 are controlled, and matrix (coefficient) data for forming a spectral image is stored in the processor device 12. A microcomputer 35 having a function of inputting to the color space conversion processing circuit 29 is provided. A memory 36 is connected to the microcomputer 35. In the memory 36, matrix data serving as predetermined coefficients for forming a spectral image based on R, G, B signals or Nr, Ng, Nb signals is stored in the form of a table.

なお、Ｒ、Ｇ、Ｂ信号に基づいて分光画像を形成するためのマトリクスデータは、特許文献１に記載の方法により算出することができる。また、Ｎｒ、Ｎｇ、Ｎｂ信号に基づいて分光画像を形成するためのマトリクスデータは、Ｒ、Ｇ、Ｂ信号に基づいて分光画像を形成する場合に用いる照明光の分光特性の代わりに、本実施形態においては、被観察体３を標識している蛍光試薬の分光特性を先見情報として利用することにより算出することができる。   Note that matrix data for forming a spectral image based on the R, G, and B signals can be calculated by the method described in Patent Document 1. In addition, matrix data for forming a spectral image based on Nr, Ng, and Nb signals is used instead of the spectral characteristics of illumination light used when forming a spectral image based on R, G, and B signals. In the embodiment, the calculation can be performed by using the spectral characteristic of the fluorescent reagent labeling the observation object 3 as the foreseeing information.

表１に一例として、Ｒ、Ｇ、Ｂ信号に基づいて分光画像を形成する際のマトリクスデータを示す。この表１のマトリクスデータは、例えば４００ｎｍから７００ｎｍの波長域を５ｎｍ間隔で分けた６１個の波長域ごとに設定されたマトリクス演算のための係数ｋｒ（λ）、ｋｇ（λ）、ｋｂ（λ）（λは波長、ここでは変数として扱う）から構成されている。

Figure 2009039510
As an example, Table 1 shows matrix data when a spectral image is formed based on R, G, and B signals. The matrix data in Table 1 includes, for example, coefficients k r (λ), k g (λ), k for matrix calculation set for each of 61 wavelength ranges obtained by dividing a wavelength range of 400 nm to 700 nm at 5 nm intervals. b (λ) (λ is a wavelength, here treated as a variable).
Figure 2009039510

そして色空間変換処理回路２９において、上記係数ｋｒ（λ）、ｋｇ（λ）、ｋｂ（λ）と第１色変換回路２８から出力されたＲ、Ｇ、Ｂ信号とにより次式（１）で示すマトリクス演算が行われて、分光画像信号λ１ｓ、λ２ｓ、λ３ｓが形成される。

Figure 2009039510
Then, in the color space conversion processing circuit 29, the following equation (4) is obtained from the coefficients k r (λ), k g (λ), k b (λ) and the R, G, B signals output from the first color conversion circuit 28. The matrix calculation shown in 1) is performed to form spectral image signals λ1s, λ2s, and λ3s.
Figure 2009039510

例えば、可視分光画像を構成する波長域λ１、λ２、λ３としてそれぞれ５００ｎｍ、６２０ｎｍ、６５０ｎｍが選択される場合は、係数（ｋｒ、ｋｇ、ｋｂ）として、表１の６１のパラメータのうち、中心波長５００ｎｍに対応する係数（-0.00119，0.002346，0.0016）、中心波長６２０ｎｍに対応する係数（0.004022，0.000068，‐0.00097）、および中心波長６５０ｎｍに対応する係数（0.005152，-0.00192，0.000088）を用いて上式（１）に従い、下式（２）のマトリクス演算がなされる。なおこのようなパラメータは、メモリ３６に記憶されている波長の組合せに基づいてメモリ３６から読み出すことができる。

Figure 2009039510
For example, when 500 nm, 620 nm, and 650 nm are selected as the wavelength ranges λ1, λ2, and λ3 constituting the visible spectroscopic image, the coefficients (k r , k g , and k b ) are selected from among the 61 parameters in Table 1. , Coefficients corresponding to the center wavelength of 500 nm (−0.00119, 0.002346, 0.0016), coefficients corresponding to the center wavelength of 620 nm (0.004022, 0.000068, −0.00097), and coefficients corresponding to the center wavelength of 650 nm (0.005152, −0.00192, 0.000088). The matrix operation of the following equation (2) is performed according to the above equation (1). Such parameters can be read from the memory 36 based on the combination of wavelengths stored in the memory 36.
Figure 2009039510

Ｎｒ、Ｎｇ、Ｎｂ信号に基づいて分光画像を形成する際も同様に、近赤外分光画像モード用に保存されている係数ｋｒ’（λ）、ｋｇ’（λ）、ｋｂ’（λ）と第１色変換回路５０から出力されたＮｒ、Ｎｇ、Ｎｂ信号とにより次式（３）で示すマトリクス演算が行われて、分光画像信号λ１ｓ’、λ２ｓ’、λ３ｓ’が形成される。

Figure 2009039510
Similarly, when forming a spectral image based on the Nr, Ng, and Nb signals, the coefficients k r ′ (λ), k g ′ (λ), and k b ′ ( λ) and the Nr, Ng, and Nb signals output from the first color conversion circuit 50 are subjected to matrix calculation represented by the following equation (3) to form spectral image signals λ1s ′, λ2s ′, and λ3s ′. .
Figure 2009039510

図１に示す切換器２６の他方の出力端子には、分光画像ではなく通常のカラー画像を形成するためのカラー信号処理回路３８が接続され、そしてこのカラー信号処理回路３８にはＤ／Ａ変換器３９が接続されている。   A color signal processing circuit 38 for forming a normal color image instead of a spectral image is connected to the other output terminal of the switch 26 shown in FIG. 1, and this color signal processing circuit 38 is connected to a D / A converter. A device 39 is connected.

マイコン３５には上記メモリ３６に加えて、操作パネル４１、およびキーボード等からなる入力部４３が接続されている。図８は上記操作パネル４１を詳しく示すものである。該操作パネル４１には、波長セット選択スイッチ４１ａと、波長選択スイッチ４１ｂ、４１ｈと、切換え幅設定スイッチ４１ｃと、色数切換えスイッチ４１ｄとが設けられている。波長セット選択スイッチ４１ａは、分光画像を形成するために予め設定されている波長域λ１、λ２、λ３の波長セットを選択するためのスイッチである。波長選択スイッチ４１ｂは、可視分光画像を形成するための波長域λ１、λ２、λ３のそれぞれの中心波長を任意に選択するためのスイッチであり、波長選択スイッチ４１ｈは、近赤外分光画像を形成するための波長域λ１’、λ２’、λ３’のそれぞれの中心波長を任意に選択するためのスイッチである。切換え幅設定スイッチ４１ｃは、この波長選択スイッチ４１ｂ、４１ｈによりなされる波長切換えの幅を設定するスイッチである。   In addition to the memory 36, the microcomputer 35 is connected with an operation panel 41 and an input unit 43 including a keyboard and the like. FIG. 8 shows the operation panel 41 in detail. The operation panel 41 is provided with a wavelength set selection switch 41a, wavelength selection switches 41b and 41h, a change width setting switch 41c, and a color number change switch 41d. The wavelength set selection switch 41a is a switch for selecting a wavelength set of wavelength ranges λ1, λ2, and λ3 set in advance to form a spectral image. The wavelength selective switch 41b is a switch for arbitrarily selecting the center wavelengths of the wavelength ranges λ1, λ2, and λ3 for forming a visible spectral image, and the wavelength selective switch 41h forms a near-infrared spectral image. This is a switch for arbitrarily selecting the center wavelength of each of the wavelength regions λ1 ′, λ2 ′, and λ3 ′. The switching width setting switch 41c is a switch for setting the width of wavelength switching performed by the wavelength selective switches 41b and 41h.

波長セット選択スイッチ４１ａで選択可能な予め設定されているλ１、λ２、λ３、λ１’、λ２’、λ３’としては、例えば、血管を標識可能な蛍光試薬の発光波長や、血管を標識可能な蛍光試薬の発光波長および自家蛍光の発光波長や、ともにガン組織を標識可能な異なる種類の蛍光試薬の発光波長等が挙げられる。このような波長セットの組は、デフォルト波長セットとして、図１に示すメモリ３６に記憶されている。   Examples of preset λ1, λ2, λ3, λ1 ′, λ2 ′, and λ3 ′ that can be selected by the wavelength set selection switch 41a include the emission wavelength of a fluorescent reagent that can label blood vessels, and the ability to label blood vessels. Examples include the emission wavelength of the fluorescent reagent and the emission wavelength of autofluorescence, and the emission wavelengths of different types of fluorescent reagents capable of labeling cancer tissue. Such a set of wavelength sets is stored in the memory 36 shown in FIG. 1 as a default wavelength set.

色数切換えスイッチ４１ｄは、単一波長を選択する単色モードと３色モードとの切換えを行うものであり、３色モード動作時にこの色数切換えスイッチ４１ｄを押すと、単色モードへ切り換えられ、マイコン３５により例えば波長域λ１、λ２、λ３の全てが６５０、６５０、６５０というように同一の値に設定される。なおこの共通の波長域についても、上記波長選択スイッチ４１ｂ、４１ｈによって任意の値を選択することができる。   The color number changeover switch 41d switches between a single color mode for selecting a single wavelength and a three color mode. When the color number changeover switch 41d is pressed during operation of the three color mode, the color number changeover switch 41d is switched to the single color mode. 35, for example, all of the wavelength regions λ1, λ2, and λ3 are set to the same value such as 650, 650, and 650. For this common wavelength range, any value can be selected by the wavelength selective switches 41b and 41h.

また、操作パネル４１には、可視光領域の分光画像の形成および表示を指示する可視分光画像形成スイッチ４１ｅ、近赤外領域の分光画像の形成および表示を指示する近赤外分光画像形成スイッチ４１ｆ、通常画像の形成および表示させる通常画像表示スイッチ４１ｇが設けられている。なお、可視分光画像形成スイッチ４１ｅ、近赤外分光画像形成スイッチ４１ｆは、スコープ１０側に設けることもできる。   Further, the operation panel 41 includes a visible spectral image forming switch 41e for instructing formation and display of a spectral image in the visible light region, and a near-infrared spectral image forming switch 41f for instructing formation and display of a spectral image in the near-infrared region. A normal image display switch 41g for forming and displaying a normal image is provided. The visible spectral image forming switch 41e and the near infrared spectral image forming switch 41f can also be provided on the scope 10 side.

ここで、上記の操作パネル４１上のスイッチ類の一部の機能をキーボードのキー機能に置き換えたり、全部の機能をキーボードのキー機能に置き換えたりしてもよい。   Here, some functions of the switches on the operation panel 41 may be replaced with keyboard key functions, or all functions may be replaced with keyboard key functions.

次に、上記構成を有する本実施形態の電子内視鏡の動作について説明する。まず、通常画像モードにおける動作を説明する。通常画像モードにおいては、マイコン３５の制御により光源ユニット１４から白色光が出射されて被観察体３を照射する。図１に示されるように、スコープ１０では、ＣＣＤ駆動回路１６によって駆動されたＣＣＤセンサ１５が被観察体を撮像し、撮像信号を出力する。この撮像信号はＣＤＳ／ＡＧＣ回路１７で相関二重サンプリングと自動利得制御による増幅を受けた後、Ａ／Ｄ変換器１８でＡ／Ｄ変換されて、デジタル信号としてプロセッサ装置１２のＤＳＰ２５に入力される。   Next, the operation of the electronic endoscope of the present embodiment having the above configuration will be described. First, the operation in the normal image mode will be described. In the normal image mode, white light is emitted from the light source unit 14 under the control of the microcomputer 35 and irradiates the object 3 to be observed. As shown in FIG. 1, in the scope 10, the CCD sensor 15 driven by the CCD drive circuit 16 images the object to be observed and outputs an image signal. The imaging signal is amplified by correlated double sampling and automatic gain control in the CDS / AGC circuit 17, then A / D converted by the A / D converter 18, and input to the DSP 25 of the processor unit 12 as a digital signal. The

このＤＳＰ２５では、スコープ１０からの出力信号に対してガンマ処理が行われると共に、フィルタＢ＋Ｎｂ、フィルタＧ＋Ｎｇ、フィルタＲ＋Ｎｒの色フィルタを介して得られた信号に対し色変換処理が行われ、輝度（Ｙ）信号と色差（Ｃ）信号からなるＹ／Ｃ信号が形成される。このＤＳＰ２５の出力は、通常、切換器２６によってカラー信号処理回路３８へ供給され、この回路３８にて鏡像処理、マスク発生およびキャラクタ発生等の所定の処理を受けた後、Ｄ／Ａ変換器３９によりアナログ信号に変換された上で図１に示すモニタ３４へ供給される。それにより、このモニタ３４には通常の被観察体のカラー画像が表示される。   In the DSP 25, gamma processing is performed on the output signal from the scope 10, and color conversion processing is performed on the signals obtained through the filter B + Nb, filter G + Ng, and filter R + Nr color filters to obtain luminance (Y ) Signal and a color difference (C) signal are formed. The output of the DSP 25 is normally supplied to the color signal processing circuit 38 by the switch 26, and after receiving predetermined processing such as mirror image processing, mask generation, and character generation in the circuit 38, the D / A converter 39 Is converted to an analog signal and supplied to the monitor 34 shown in FIG. Thereby, a normal color image of the object to be observed is displayed on the monitor 34.

次に、可視分光画像モードにおける動作を説明する。図８に示す操作パネル４１の可視分光画像形成スイッチ４１ｅの押圧により、可視分光画像の形成が指示されて、可視分光画像モードとなる。このモードにおいては、ＤＳＰ２５の出力までは上記の通常画像モードの場合と同様である。この後、切換器２６は、ＤＳＰ２５から出力されたＹ／Ｃ信号を第１色変換回路２８へ供給する状態に切り換えられ、この回路２８により上記Ｙ／Ｃ信号がＲ、Ｇ、Ｂ信号へ変換される。このＲ、Ｇ、Ｂ信号は色空間変換処理回路２９へ供給され、この色空間変換処理回路２９ではＲ、Ｇ、Ｂ信号とマトリクスデータとにより、可視分光画像形成のための前記式（１）のマトリクス演算が行われる。すなわちこの分光画像の形成では、前述した操作パネル４１の波長セット選択スイッチ４１ａまたは波長選択スイッチ４１ｂを操作することにより、λ１、λ２、λ３の３つの波長域が設定され、マイコン３５はそれらの３つの選択波長域に対応するマトリクスデータをメモリ３６から読み出し、それらを色空間変換処理回路２９に入力する。   Next, the operation in the visible spectral image mode will be described. By pressing the visible spectral image forming switch 41e of the operation panel 41 shown in FIG. 8, the formation of a visible spectral image is instructed, and the visible spectral image mode is set. In this mode, the output up to the DSP 25 is the same as in the normal image mode. Thereafter, the switching unit 26 is switched to a state in which the Y / C signal output from the DSP 25 is supplied to the first color conversion circuit 28, and the Y / C signal is converted into R, G, B signals by this circuit 28. Is done. The R, G, B signals are supplied to the color space conversion processing circuit 29. The color space conversion processing circuit 29 uses the R, G, B signals and matrix data to formulate the visible light spectral image (1). The matrix operation is performed. That is, in the formation of the spectral image, the wavelength set selection switch 41a or the wavelength selection switch 41b of the operation panel 41 described above is operated to set three wavelength ranges of λ1, λ2, and λ3. Matrix data corresponding to one selected wavelength range is read from the memory 36 and input to the color space conversion processing circuit 29.

色数セレクタ３０にて３色モードが選択されている場合は、上記分光画像信号λ１ｓ、λ２ｓ、λ３ｓが各々Ｒｓ、Ｇｓ、Ｂｓの３色画像信号として第２色変換回路３１に入力され、また単色モードが選択されている場合は分光画像信号λ１ｓ、λ２ｓ、λ３ｓのいずれか１つがＲｓ、Ｇｓ、Ｂｓの信号として第２色変換回路３１に入力される。この第２色変換回路３１では、Ｒｓ、Ｇｓ、Ｂｓの３色画像信号がＹ／Ｃ信号（Ｙ，Ｒｓ−Ｙ，Ｂｓ−Ｙ）に変換され、このＹ／Ｃ信号が信号処理回路３２およびＤ／Ａ変換器３３を介して前述のモニタ３４等へ入力される。   When the three-color mode is selected by the color number selector 30, the spectral image signals λ1s, λ2s, and λ3s are input to the second color conversion circuit 31 as three-color image signals of Rs, Gs, and Bs, respectively. When the monochromatic mode is selected, one of the spectral image signals λ1s, λ2s, and λ3s is input to the second color conversion circuit 31 as Rs, Gs, and Bs signals. In the second color conversion circuit 31, the three-color image signals of Rs, Gs, and Bs are converted into Y / C signals (Y, Rs-Y, Bs-Y), and the Y / C signals are converted into the signal processing circuit 32 and the Y / C signal. The data is input to the above-described monitor 34 and the like via the D / A converter 33.

次に、近赤外分光画像モードにおける動作を説明する。図８に示す操作パネル４１の近赤外分光画像形成スイッチ４１ｆの押圧により、近赤外分光画像の形成が指示されて、近赤外分光画像モードとなる。近赤外分光画像モードにおいては、マイコン３５の制御により光源ユニット１４から励起光が出射されて被観察体３を照射する。この励起光により被観察体３を標識した蛍光試薬が励起されて蛍光が発せられる。被観察体３からの光のうち、励起光は励起光カットフィルタ９により遮断され、蛍光のみが励起光カットフィルタ９を透過する。   Next, the operation in the near infrared spectral image mode will be described. By pressing the near infrared spectral image forming switch 41f of the operation panel 41 shown in FIG. 8, the formation of the near infrared spectral image is instructed, and the near infrared spectral image mode is set. In the near-infrared spectroscopic image mode, excitation light is emitted from the light source unit 14 under the control of the microcomputer 35 and irradiates the object 3 to be observed. The excitation reagent excites the fluorescent reagent that labels the object 3 to emit fluorescence. Of the light from the object 3 to be observed, the excitation light is blocked by the excitation light cut filter 9, and only the fluorescence passes through the excitation light cut filter 9.

図１に示されるように、スコープ１０では、ＣＣＤ駆動回路１６によって駆動されたＣＣＤセンサ１５が被観察体を撮像し、撮像信号を出力する。この撮像信号はＣＤＳ／ＡＧＣ回路１７で相関二重サンプリングと自動利得制御による増幅を受けた後、Ａ／Ｄ変換器１８でＡ／Ｄ変換されて、デジタル信号としてプロセッサ装置１２のＤＳＰ２５に入力される。   As shown in FIG. 1, in the scope 10, the CCD sensor 15 driven by the CCD drive circuit 16 images the object to be observed and outputs an image signal. The imaging signal is amplified by correlated double sampling and automatic gain control in the CDS / AGC circuit 17, then A / D converted by the A / D converter 18, and input to the DSP 25 of the processor unit 12 as a digital signal. The

このＤＳＰ２５では、スコープ１０からの出力信号に対してガンマ処理が行われると共に、フィルタＢ＋Ｎｂ、フィルタＧ＋Ｎｇ、フィルタＲ＋Ｎｒの色フィルタを介して得られた信号に対し色変換処理が行われ、輝度（Ｙ）信号と色差（Ｃ）信号からなるＹ／Ｃ信号が形成される。   In the DSP 25, gamma processing is performed on the output signal from the scope 10, and color conversion processing is performed on the signals obtained through the filter B + Nb, filter G + Ng, and filter R + Nr color filters to obtain luminance (Y ) Signal and a color difference (C) signal are formed.

この後、切換器２６は、ＤＳＰ２５から出力されたＹ／Ｃ信号を第１色変換回路５０へ供給する状態に切り換えられ、第１色変換回路５０によりＹ／Ｃ信号がＮｒ、Ｎｇ、Ｎｂ信号へ変換される。このＮｒ、Ｎｇ、Ｎｂ信号は色空間変換処理回路５１へ供給され、この色空間変換処理回路５１ではＮｒ、Ｎｇ、Ｎｂ信号とマトリクスデータとにより、近赤外分光画像形成のための前述のマトリクス演算が行われる。すなわちこの分光画像の形成では、前述した操作パネル４１の波長セット選択スイッチ４１ａまたは波長選択スイッチ４１ｈを操作することにより、λ１’、λ２’、λ３’の３つの波長域が設定され、マイコン３５はそれらの３つの選択波長域に対応するマトリクスデータをメモリ３６から読み出し、それらを色空間変換処理回路５１に入力する。   Thereafter, the switching unit 26 is switched to a state in which the Y / C signal output from the DSP 25 is supplied to the first color conversion circuit 50, and the Y / C signal is converted into the Nr, Ng, Nb signal by the first color conversion circuit 50. Converted to The Nr, Ng, and Nb signals are supplied to the color space conversion processing circuit 51. The color space conversion processing circuit 51 uses the Nr, Ng, and Nb signals and matrix data to form the above-described matrix for forming a near-infrared spectral image. An operation is performed. That is, in the formation of this spectral image, by operating the wavelength set selection switch 41a or the wavelength selection switch 41h of the operation panel 41 described above, three wavelength ranges of λ1 ′, λ2 ′, and λ3 ′ are set. Matrix data corresponding to these three selected wavelength ranges is read from the memory 36 and input to the color space conversion processing circuit 51.

ここで、選択する波長λ１’、λ２’、λ３’を、被観察体３を標識している蛍光試薬の発光波長にしておけば、この蛍光で染色されている部位を抽出したより鮮明な画像を得ることができる。   Here, if the wavelengths λ1 ′, λ2 ′, and λ3 ′ to be selected are set to the emission wavelengths of the fluorescent reagent that labels the object 3 to be observed, a clearer image obtained by extracting the portion stained with this fluorescence is extracted. Can be obtained.

また、このモードにおいても、色数セレクタ３０にて３色モードが選択されている場合は、上記分光画像信号λ１ｓ’、λ２ｓ’、λ３ｓ’が各々Ｒｓ、Ｇｓ、Ｂｓの３色画像信号として第２色変換回路３１に入力され、また単色モードが選択されている場合は分光画像信号λ１ｓ’、λ２ｓ’、λ３ｓ’のいずれか１つがＲｓ、Ｇｓ、Ｂｓの信号として第２色変換回路３１に入力される。この第２色変換回路３１では、Ｒｓ、Ｇｓ、Ｂｓの３色画像信号がＹ／Ｃ信号（Ｙ，Ｒｓ−Ｙ，Ｂｓ−Ｙ）に変換され、このＹ／Ｃ信号が信号処理回路３２およびＤ／Ａ変換器３３を介して前述のモニタ３４等へ入力される。   Also in this mode, when the three-color mode is selected by the color number selector 30, the spectral image signals λ1s ′, λ2s ′, and λ3s ′ are the first three-color image signals of Rs, Gs, and Bs, respectively. When the single color mode is selected, one of the spectral image signals λ1s ′, λ2s ′, and λ3s ′ is input to the second color conversion circuit 31 as a signal of Rs, Gs, and Bs. Entered. In the second color conversion circuit 31, the three-color image signals of Rs, Gs, and Bs are converted into Y / C signals (Y, Rs-Y, Bs-Y), and the Y / C signals are converted into the signal processing circuit 32 and the Y / C signal. The data is input to the above-described monitor 34 and the like via the D / A converter 33.

上述のようにしてモニタ３４に表示される分光画像は、例えば、図９で示すような波長域の色成分で構成されるものとなる。すなわち、図９は、上記色フィルタの近赤外領域の分光感度特性Ｎｒ、Ｎｇ、Ｎｂに、分光画像を形成する３つの波長域λ１’、λ２’、λ３’を重ねた概念図である。分光画像信号λ１ｓ’、λ２ｓ’、λ３ｓ’は、±１０ｎｍ程度の範囲の波長域の色信号であり、これら３つの波長域の色の組み合わせから構成される分光画像（動画および静止画）が表示されることになる。   The spectral image displayed on the monitor 34 as described above is composed of, for example, color components in a wavelength range as shown in FIG. That is, FIG. 9 is a conceptual diagram in which three wavelength regions λ1 ′, λ2 ′, and λ3 ′ for forming a spectral image are superimposed on the spectral sensitivity characteristics Nr, Ng, and Nb in the near infrared region of the color filter. The spectral image signals λ1s ′, λ2s ′, and λ3s ′ are color signals in a wavelength range of about ± 10 nm, and a spectral image (moving image and still image) configured by combining these three wavelength ranges is displayed. Will be.

操作パネル４１には、設けられた可視分光画像形成スイッチ４１ｅ、近赤外分光画像形成スイッチ４１ｆ、通常画像表示スイッチ４１ｇを操作することにより、可視分光画像、近赤外分光画像、通常画像の各画像の表示が可能であり、また、これらのうち任意の２つ以上の画像を同時に表示可能であり、これにより、一般的な観察用の通常画像と、所定の対象物を鮮鋭化した分光画像とを対比して観察することができる。さらに、可視分光画像、近赤外分光画像、通常画像のうち任意の２つ以上の画像を重ねて表示することも可能であり、これにより蛍光標識された部位を明確に把握できる。   By operating a visible spectral image forming switch 41e, a near infrared spectral image forming switch 41f, and a normal image display switch 41g provided on the operation panel 41, each of a visible spectral image, a near infrared spectral image, and a normal image is displayed. Images can be displayed, and any two or more of these images can be displayed at the same time, so that a normal image for general observation and a spectral image obtained by sharpening a predetermined object can be displayed. And can be observed in contrast. Furthermore, any two or more images of a visible spectral image, a near-infrared spectral image, and a normal image can be displayed in an overlapping manner, thereby clearly grasping a fluorescently labeled site.

なお、上記実施形態では、被観察体３を３種の蛍光試薬で標識し、これらによる蛍光染色部位を描出する例について説明したが、分光画像の形成に用いる蛍光の波長は生体外からのものの波長に限定されず、例えば、次に説明するように、生体内に存在する自家蛍光の波長を用いてもよい。   In the above-described embodiment, the example in which the observation object 3 is labeled with three types of fluorescent reagents and the fluorescent staining site by these is depicted has been described. However, the wavelength of the fluorescence used for forming the spectral image is from outside the living body. The wavelength is not limited and, for example, as described below, the wavelength of autofluorescence existing in the living body may be used.

現在、ＩＣＧ等の蛍光試薬を静脈内注射して、血管の正確な位置を把握する技術が用いられている。これは、術中に正確な血管位置をリアルタイムで把握し、円滑に手術を進めるともに、そのときに必要な処置を施すことにより、術中や術後の無用の出血を防止するためである。   Currently, a technique for injecting a fluorescent reagent such as ICG intravenously and grasping an accurate position of a blood vessel is used. This is because the accurate blood vessel position is grasped in real time during the operation, the operation is smoothly performed, and necessary treatment is performed at that time, thereby preventing unnecessary bleeding during and after the operation.

その際に、蛍光染色された血管以外の蛍光発光体として、自家蛍光等のアーティファクトが存在すると、正確な血管の位置が把握できない。そこで例えば、ＩＣＧと自家蛍光の発光波長を分光画像形成用の選択波長として選択することにより、血管と自家蛍光発光体を抽出することができ、さらに自家蛍光発光体を表示させないように画像処理をすることにより、鮮明な血管の像を得ることができる。すなわち、上記分光技術により、アーティファクトの影響を低減して鮮明な血管の像を安定して得ることができる。   At this time, if an artifact such as autofluorescence exists as a fluorescent light emitter other than the fluorescently stained blood vessel, the accurate blood vessel position cannot be grasped. Therefore, for example, by selecting the emission wavelengths of ICG and autofluorescence as the selection wavelengths for spectral image formation, blood vessels and autofluorescent emitters can be extracted, and image processing is performed so as not to display the autofluorescent emitters. By doing so, a clear blood vessel image can be obtained. That is, the spectroscopic technique can reduce the influence of artifacts and stably obtain a clear blood vessel image.

上記のような正確な血管位置の把握は、内視鏡手術だけでなく、腹腔鏡による手術において特に要望が高まっている。腹腔鏡による手術は、開腹手術に比べて、入院期間が短いため医療費が少なくて済み、また患者の負担も軽いことから、近年では増加傾向にある。腹腔鏡による手術では、通常の開腹手術とは異なり、術者の触感により組織の位置を確認することができないため、血管位置の把握は画像に頼らざるをえない。万一、血管を傷つけて出血してしまうとダメージとなるため、手術中に迅速に血管の位置を知ることが切望されている。   The accurate grasp of the blood vessel position as described above is particularly demanded not only in endoscopic surgery but also in laparoscopic surgery. Laparoscopic surgery has been on the rise in recent years because the hospitalization period is shorter than the laparoscopic procedure, so medical expenses are low and the burden on the patient is light. In a laparoscopic operation, unlike a normal laparotomy, the position of the tissue cannot be confirmed by the operator's tactile sensation, so the blood vessel position must be determined by an image. In the unlikely event that a blood vessel is damaged and bleeds, it causes damage, so it is anxious to know the position of the blood vessel quickly during surgery.

一般に、内視鏡手術では深さ約２ｍｍまでの範囲で径約０．５ｍｍの血管を観察するのに対し、腹腔鏡手術では深さ約１０ｍｍ程度の脂肪層に存在する径約２．５〜６ｍｍの血管を観察するため、深部における血管の位置把握が必要となる。その点からも、生体による減衰が少ない７００〜１３００ｎｍ範囲の近赤外領域の光を用いた蛍光画像が有用である。   In general, a blood vessel having a diameter of about 0.5 mm is observed in a range up to a depth of about 2 mm in endoscopic surgery, whereas a diameter of about 2.5 to about 2.5 mm in a fat layer having a depth of about 10 mm is observed in laparoscopic surgery. In order to observe a 6 mm blood vessel, it is necessary to grasp the position of the blood vessel in the deep part. Also from this point, a fluorescence image using light in the near infrared region in the 700 to 1300 nm range with little attenuation by the living body is useful.

深部からの蛍光は組織により拡散されてボケを生じるので、深部におけるより鮮明な血管の像を得るためには、画像処理をすることが好ましく、例えば特開平１０−１６５３６５号公報に記載のような画像処理技術を用いることが考えられる。この技術によれば、組織の先見情報のシミュレーションと実際に得られた画像の点像強度分布に基づき、生体内の散乱による像のボケを推定して、画像処理により復元処理を行い、より鮮明な血管の像を得ることができる。   Since fluorescence from the deep part is diffused by the tissue to cause blur, it is preferable to perform image processing in order to obtain a clearer blood vessel image in the deep part, for example, as described in JP-A-10-165365 It is conceivable to use an image processing technique. According to this technology, based on the simulation of the foresight information of the tissue and the point image intensity distribution of the actually obtained image, the blur of the image due to scattering in the living body is estimated, and the restoration process is performed by the image processing, thereby making the image clearer. It is possible to obtain a blood vessel image.

この処理方法の一例について図１０を参照しながらその概要を説明する。図１０（Ａ）は組織内の異なる深さ位置に存在する２つの血管５９、６０を示す断面図である。このような組織深部にある血管の画像は、図１０（Ｂ）に模式的に示すようにボケが生じた像６１、６２となる。このボケた像において、中心部に対する周辺部のボケの程度から深さを推定し、シミュレーションで作ったボケ関数を使って復元することにより、図１０（Ｃ）に示すようなより鮮明な血管の像６３、６４を得ることができる。   An example of this processing method will be described with reference to FIG. FIG. 10A is a cross-sectional view showing two blood vessels 59 and 60 existing at different depth positions in the tissue. The images of the blood vessels in such a deep tissue are images 61 and 62 with blurring as schematically shown in FIG. In this blurred image, the depth is estimated from the degree of blurring of the peripheral portion with respect to the central portion, and is restored using the blurring function created by the simulation, so that a clearer blood vessel as shown in FIG. Images 63 and 64 can be obtained.

次に、本発明の第２の実施形態による撮像装置について図１１を参照しながら説明する。図１１に、この本発明の第２の実施形態による撮像装置としての検査装置２００の概略構成を示す。本実施形態においては、被観察体２０３としては、蛍光染色された多数の生体組織の切片が２次元状に並べられたものを用いており、検査装置２００は、被観察体２０３を検体としてその蛍光画像を取得し、それにより診断を行うものである。また、検査装置２００は、第１の実施形態の電子内視鏡装置１００と同様に、通常画像モードと、近赤外分光画像モードと、可視分光画像モードと、により動作するものである。   Next, an imaging apparatus according to a second embodiment of the present invention will be described with reference to FIG. FIG. 11 shows a schematic configuration of an inspection apparatus 200 as an imaging apparatus according to the second embodiment of the present invention. In the present embodiment, the object to be observed 203 uses a two-dimensional array of biologically stained tissue sections, and the inspection apparatus 200 uses the object to be observed 203 as a specimen. A fluorescence image is acquired, thereby making a diagnosis. The inspection apparatus 200 operates in the normal image mode, the near-infrared spectroscopic image mode, and the visible spectroscopic image mode, similarly to the electronic endoscope apparatus 100 of the first embodiment.

図１１に示すように、検査装置２００は、光を照射する光源ユニット１４と、光源ユニット１４からの光を伝送するライトガイド２４と、ライトガイド２４からの光を被観察体２０３に照射するとともに被観察体２０３の像を結像するための光学系７０と、光学系７０により結像された被観察体２０３の像を撮像するＣＣＤセンサ１５と、ＣＣＤセンサ１５と接続されたＣＣＤ制御部２１０と、演算処理等を行うプロセッサ部１２とを備える。なお、光源ユニット１４、ＣＣＤセンサ１５、プロセッサ部１２は、第１の実施形態のものと同様の機能および構成を有するため、以下ではこれらについての説明を省略する。また、図１１では、プロセッサ部１２の構成要素は光源ユニット１４とマイコン３５のみを図示し、その他の構成要素の図示は省略している。   As shown in FIG. 11, the inspection apparatus 200 irradiates the observation object 203 with the light source unit 14 that emits light, the light guide 24 that transmits light from the light source unit 14, and the light from the light guide 24. An optical system 70 for forming an image of the observation object 203, a CCD sensor 15 for picking up an image of the observation object 203 formed by the optical system 70, and a CCD control unit 210 connected to the CCD sensor 15. And a processor unit 12 that performs arithmetic processing and the like. Since the light source unit 14, the CCD sensor 15, and the processor unit 12 have the same functions and configurations as those of the first embodiment, description thereof will be omitted below. In FIG. 11, only the light source unit 14 and the microcomputer 35 are illustrated as the components of the processor unit 12, and other components are not illustrated.

光学系７０は、ライトガイド２４から出射された光を集光する集光レンズ７１と、被観察体２０３の像をＣＣＤセンサ１５上に結像する結像レンズ７２と、集光レンズ７１と結像レンズ７２の間の光路に挿脱可能に配設されるダイクロイックミラー７３と、ダイクロイックミラー７３と交換可能なハーフミラー７４とから主に構成される。   The optical system 70 includes a condenser lens 71 that condenses the light emitted from the light guide 24, an imaging lens 72 that forms an image of the object 203 to be observed on the CCD sensor 15, and the condenser lens 71. It mainly includes a dichroic mirror 73 that is detachably disposed in the optical path between the image lenses 72 and a half mirror 74 that can be replaced with the dichroic mirror 73.

ダイクロイックミラー７３は、近赤外分光画像モードにおいて、光路中に挿入されて結像レンズ７２の光軸に対して４５度傾けて配置され、通常画像モードと可視分光画像モードにおいては光路から排除される。ダイクロイックミラー７３は、この配置において、ライトガイド２４からの励起光は透過させ、被観察体２０３からの励起光は遮断し、被観察体２０３からの蛍光は反射するように構成されている。   The dichroic mirror 73 is inserted in the optical path in the near-infrared spectroscopic image mode and is inclined by 45 degrees with respect to the optical axis of the imaging lens 72, and is excluded from the optical path in the normal image mode and the visible spectroscopic image mode. The In this arrangement, the dichroic mirror 73 is configured to transmit the excitation light from the light guide 24, block the excitation light from the observed object 203, and reflect the fluorescence from the observed object 203.

ハーフミラー７４は、光の波長に関係なく入射光の約５０％を透過し、残りの約５０％を反射する機能を有する。ハーフミラー７４は、通常画像モードと可視分光画像モードにおいて、光路中に挿入されて結像レンズ７２の光軸に対して４５度傾けて配置され、近赤外分光画像モードにおいては光路から排除される。   The half mirror 74 has a function of transmitting about 50% of incident light regardless of the wavelength of light and reflecting the remaining about 50%. The half mirror 74 is inserted in the optical path in the normal image mode and the visible spectral image mode and is inclined by 45 degrees with respect to the optical axis of the imaging lens 72, and is excluded from the optical path in the near-infrared spectral image mode. The

なお、集光レンズ７１は、ライトガイド２４からの光を集光するものであるが、その集光位置は、被観察体２０３以外の位置に設定され、好ましくは結像レンズ７２の瞳位置である。また、ライトガイド２４を出射し、集光レンズ７１と結像レンズ７２を透過した後の光は、発散光または平行光となるように構成することが好ましく、これにより、被観察体２０３上での照明ムラを低減することができる。   The condensing lens 71 condenses the light from the light guide 24, but the condensing position is set to a position other than the observation object 203, preferably at the pupil position of the imaging lens 72. is there. Further, it is preferable that the light emitted from the light guide 24 and transmitted through the condensing lens 71 and the imaging lens 72 is configured to be divergent light or parallel light. Illumination unevenness can be reduced.

ＣＣＤセンサ１５は、図４Ａおよび図５に示すような第１の実施形態と同様の構成を有するものであり、ダイクロイックミラー７３またはハーフミラー７４で反射された光の光路上に、結像レンズ７２による被観察体２０３の結像位置に配置されている。   The CCD sensor 15 has the same configuration as that of the first embodiment as shown in FIGS. 4A and 5, and an imaging lens 72 is provided on the optical path of the light reflected by the dichroic mirror 73 or the half mirror 74. Is arranged at the image forming position of the object 203 to be observed.

ＣＣＤセンサ１５には、ＣＣＤ制御部２１０が接続されている。ＣＣＤ制御部２１０は、第１の実施形態のスコープ１０が備える構成要素のうち、ＣＣＤ駆動回路１６、ＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）回路１７、Ａ／Ｄ変換器１８、マイコン２０を備えるものである。そして、ＣＣＤ制御部２１０の後段には、第１の実施形態のものと同構成のプロセッサ装置１２が接続されており、形成された画像はモニタ３４に表示される。   A CCD control unit 210 is connected to the CCD sensor 15. The CCD control unit 210 includes a CCD drive circuit 16, a CDS / AGC (correlated double sampling / automatic gain control) circuit 17, an A / D converter 18, a microcomputer among the components included in the scope 10 of the first embodiment. 20. The processor unit 12 having the same configuration as that of the first embodiment is connected to the subsequent stage of the CCD control unit 210, and the formed image is displayed on the monitor 34.

次に、本実施形態における検査装置２００の動作について説明する。近赤外分光画像モードにおいては、マイコン３５により光源ユニット１４から励起光が出射され、ライトガイド２４から出射した励起光はダイクロイックミラー７３および結像レンズ７１を透過し、被観察体２０３全体を照射する。被観察体２０３に含まれる蛍光試薬は、励起光により蛍光を発光し、結像レンズ７２により被観察体２０３の蛍光画像がＣＣＤセンサ１５上に結像され、ＣＣＤセンサ１５はこの像を撮像する。なお、被観察体２０３で反射された励起光はダイクロイックミラー７３で遮断されるため、ＣＣＤセンサ１５には到達しない。ＣＣＤセンサ１５以降については、第１の実施形態等と同様に処理および画像形成が行われ、モニタ３４に近赤外分光画像が表示される。   Next, the operation of the inspection apparatus 200 in this embodiment will be described. In the near-infrared spectral image mode, excitation light is emitted from the light source unit 14 by the microcomputer 35, and the excitation light emitted from the light guide 24 passes through the dichroic mirror 73 and the imaging lens 71 and irradiates the entire observation object 203. To do. The fluorescent reagent contained in the object to be observed 203 emits fluorescence by excitation light, and a fluorescent image of the object to be observed 203 is formed on the CCD sensor 15 by the imaging lens 72, and the CCD sensor 15 captures this image. . The excitation light reflected by the observation object 203 is blocked by the dichroic mirror 73 and does not reach the CCD sensor 15. With respect to the CCD sensor 15 and later, processing and image formation are performed in the same manner as in the first embodiment, and a near-infrared spectral image is displayed on the monitor 34.

通常画像モードおよび可視分光画像モードにおいては、マイコン３５により光源ユニット１４から白色光が出射され、ライトガイド２４を出射してハーフミラー７４を透過した白色光は結像レンズ７２を透過して被観察体２０３を照射する。そして、被観察体２０３で反射された光が結像レンズ７２を透過し、結像レンズ７２により被観察体２０３の画像がＣＣＤセンサ１５上に結像され、ＣＣＤセンサ１５はこの像を撮像する。ＣＣＤセンサ１５以降については、第１の実施形態等と同様に処理および画像形成が行われ、モニタ３４に通常画像または可視分光画像が表示される。   In the normal image mode and visible spectral image mode, white light is emitted from the light source unit 14 by the microcomputer 35, and the white light emitted from the light guide 24 and transmitted through the half mirror 74 is transmitted through the imaging lens 72 and observed. The body 203 is irradiated. Then, the light reflected by the object to be observed 203 is transmitted through the imaging lens 72, and the image of the object to be observed 203 is formed on the CCD sensor 15 by the image forming lens 72, and the CCD sensor 15 captures this image. . With respect to the CCD sensor 15 and later, processing and image formation are performed in the same manner as in the first embodiment, and a normal image or a visible spectral image is displayed on the monitor 34.

上記のような検査装置２００の用法としては、例えばガン手術における術中のｅｘ ｖｉｖｏ診断を挙げることができる。具体的には例えば、術中に取得されたリンパ節等の検体をガン組織を標識可能な複数種類の蛍光試薬を用いて標識し、この蛍光画像を観察することにより、ガン転移したリンパ節の有無を画像により検出し、リンパ節のガン転移を診断することができる。   Examples of the usage of the inspection apparatus 200 as described above include intra-operative ex vivo diagnosis in cancer surgery. Specifically, for example, a specimen such as a lymph node obtained during surgery is labeled with a plurality of types of fluorescent reagents capable of labeling cancer tissue, and the presence or absence of cancer-metastasized lymph nodes is observed by observing this fluorescence image. Can be detected by an image to diagnose cancerous metastasis of lymph nodes.

現在のガン手術では、安全性重視のため、ガン細胞およびその周辺の疑わしい領域を全て切除してしまうことが多く、そのため、術後の患者の負担は大きく、例えば乳ガンの場合には術後、手があがらない、むくむ等の症状が出てしまうことになる。   In current cancer surgery, in order to emphasize safety, cancer cells and all the suspicious areas around them are often removed, so the burden on patients after surgery is large, for example, in the case of breast cancer, after surgery, Symptoms such as hand lifting and swelling will occur.

上記の全切除の方法を回避する方法として、従来は術中のｅｘ ｖｉｖｏ診断として、ガン組織近傍のリンパ節等を切除して、凍結切片を作製し、病理診断する方法が用いられている。しかしながら、この方法は非常に高度な技術が必要であるため、必ずしも広く普及されていない。また、診断精度向上のためには、より多数の切片を観察することが望ましいが、術中であるがゆえの時間的な制約と、約４０μｍという検体の薄さゆえに、取得したリンパ節全体ではなく、その一部、一断面のみしか観察することができず、見落としの心配があった。   As a method for avoiding the above-described total excision method, conventionally, as an ex vivo diagnosis during operation, a method of excising lymph nodes in the vicinity of cancer tissue, preparing frozen sections, and performing pathological diagnosis has been used. However, this method requires a very advanced technique and is not necessarily widely used. In order to improve the diagnostic accuracy, it is desirable to observe a larger number of sections. However, due to the time limitation due to the operation and the thinness of the specimen of about 40 μm, it is not the entire acquired lymph node. Some of them were only observable in one section, and there was concern about oversight.

これに対して、蛍光による診断を応用した本発明の実施形態の検査装置２００によれば、生体に対して透過率の高い波長帯域の光を用いているため、検体となる切片は厚くすることが可能であり、例えば、厚さ約２ｍｍの検体に対しても蛍光画像は取得可能である。これにより、検体数の増加を抑制でき、取得したリンパ節全体について、摘出リンパ節転移の有無を診断することが可能になり、見落としの心配を大きく軽減できる。そして、リンパ節転移の迅速診断により、切除領域の決定を確実に行うことができる。さらに、検査装置２００において診断基準を規定するようにすれば、標準化された方法で迅速かつ高精度な診断が可能となる。   On the other hand, according to the inspection apparatus 200 of the embodiment of the present invention to which the diagnosis by fluorescence is applied, since the light in the wavelength band having a high transmittance with respect to the living body is used, the section serving as the specimen is thickened. For example, a fluorescence image can be acquired even for a specimen having a thickness of about 2 mm. As a result, the increase in the number of specimens can be suppressed, and it becomes possible to diagnose the presence or absence of isolated lymph node metastasis of the entire acquired lymph node, thereby greatly reducing the possibility of oversight. Then, the ablation area can be reliably determined by rapid diagnosis of lymph node metastasis. Furthermore, if a diagnostic criterion is defined in the inspection apparatus 200, a quick and highly accurate diagnosis can be performed by a standardized method.

また、上記のような蛍光抗体マーキングによるガン診断では、ガン組織に対して抗体が１００％つくとは限らないため、診断精度向上のために、複数種類の蛍光を用いることが好ましいとされている。検査装置２００によれば、分光画像を得る際の選択波長を複数設定することにより、複数種類の蛍光を分離して検出することが可能であり、診断精度の向上に貢献できる。さらに、蛍光試薬ごとに診断の判定基準を設けるようにすれば、検出精度をより向上させることもできる。   In addition, in cancer diagnosis based on the fluorescent antibody marking as described above, it is considered that it is preferable to use a plurality of types of fluorescence in order to improve diagnosis accuracy because the antibody does not always reach 100% against the cancer tissue. . According to the inspection apparatus 200, it is possible to separate and detect a plurality of types of fluorescence by setting a plurality of selection wavelengths when obtaining a spectral image, which can contribute to an improvement in diagnostic accuracy. Furthermore, if a diagnostic criterion is provided for each fluorescent reagent, the detection accuracy can be further improved.

以上、添付図面を参照しながら本発明にかかる好適な実施形態について説明したが、本発明はかかる例に限定されない。例えば、上記実施形態では、原色型のＲＧＢの色フィルタを用いた例について説明したが、これに代わり、補色型のＭｇ（マゼンタ）、Ｙｅ（イエロー）、Ｃｙ（シアン）、Ｇ（グリーン）の色フィルタを用いてもよい。   As mentioned above, although preferred embodiment concerning this invention was described referring an accompanying drawing, this invention is not limited to this example. For example, in the above-described embodiment, an example using the primary color RGB color filter has been described. Instead, complementary colors of Mg (magenta), Ye (yellow), Cy (cyan), and G (green) are used. A color filter may be used.

また、上記実施形態では、Ｒ，Ｇ，Ｂ信号またはＮｒ，Ｎｇ，Ｎｂ信号のように、３色の画像信号、すなわち、波長域の異なる３つの光に基づく画像信号を用いて分光画像を形成する場合を例にとり説明したが、本発明においては、分光画像を形成するときの画像信号の数は上記例に限定されず、波長域の異なる少なくとも２つの光に基づく画像信号を用いることにより分光画像を形成することができる。   In the above embodiment, a spectral image is formed using three color image signals, that is, image signals based on three lights having different wavelength ranges, such as R, G, B signals or Nr, Ng, Nb signals. In the present invention, the number of image signals when forming a spectral image is not limited to the above example, and spectral signals are obtained by using image signals based on at least two lights having different wavelength ranges. An image can be formed.

また、上記実施形態では、３つの波長を選択して分光画像を形成する場合を主な例として説明したが、分光画像形成時に選択する波長の数は、これに限定されず、１つでも２つでもよく、あるいは４つ以上となるように構成してもよい。   In the above-described embodiment, the case where a spectral image is formed by selecting three wavelengths has been described as a main example. However, the number of wavelengths selected at the time of spectral image formation is not limited to this, and at least one is 2. The number may be one, or may be configured to be four or more.

また、上記実施形態では、白色光源ユニットは通常画像モードと可視分光画像モードにおいて使用されるとしたが、図１２のＬＰＦで示す透過特性を有するロングパスフィルタを被観察体からＣＣＤまでの光路に挿脱可能に設けておき、通常画像モードと可視分光画像モードでは光路から排除し、近赤外分光画像モードでは光路に挿入して、全てのモードにおいて白色光光源ユニットを使用するようにしてもよい。なお、図１２に示すＬＰＦは、可視領域の光をカットし近赤外領域の光を透過させる透過特性を有するものであり、励起光の波長が可視領域にある場合に使用可能である。   In the above embodiment, the white light source unit is used in the normal image mode and the visible spectral image mode. However, a long-pass filter having transmission characteristics indicated by LPF in FIG. 12 is inserted in the optical path from the object to be observed to the CCD. It is possible to remove it from the optical path in the normal image mode and the visible spectral image mode, and insert it in the optical path in the near infrared spectral image mode so that the white light source unit is used in all modes. . Note that the LPF shown in FIG. 12 has transmission characteristics that cut light in the visible region and transmit light in the near infrared region, and can be used when the wavelength of the excitation light is in the visible region.

なお、上記実施形態では、撮像装置として電子内視鏡装置、検査装置の形態を例に取り説明したが、本発明はこれらに限定されず、分析装置等の他の形態の装置にも適用可能である。   In the above-described embodiment, the electronic endoscope apparatus and the inspection apparatus have been described as examples of the imaging apparatus. However, the present invention is not limited thereto, and can be applied to other forms of apparatuses such as an analysis apparatus. It is.

また、上記実施形態では、分光画像モードは、可視分光画像モードおよび近赤外分光画像モードの両方を備えていたが、本発明においては、必ずしも可視分光画像モードを備える必要はなく、可視分光画像モードを省略した構成も可能である。   In the above embodiment, the spectral image mode includes both the visible spectral image mode and the near-infrared spectral image mode. However, in the present invention, the visible spectral image mode is not necessarily provided. A configuration in which the mode is omitted is also possible.

さらに、上記実施形態では、スイッチの押圧により通常画像、可視光領域の分光画像、近赤外領域の分光画像を形成、表示させるようにしているが、本発明はこれに限定されず、自動的にこれら３つを交互に動画で表示させる表示方法、あるいは自動的に通常画像と近赤外領域の分光画像を交互に動画で表示させる表示方法を採用してもよく、あるいはこのような表示方法を選択可能なように構成してもよい。   Further, in the above embodiment, the normal image, the visible light region spectral image, and the near infrared region spectral image are formed and displayed by pressing the switch. However, the present invention is not limited to this, and is automatically performed. A display method in which these three images are alternately displayed in a moving image, or a display method in which a normal image and a spectral image in the near-infrared region are automatically displayed in a moving image may be employed. May be configured to be selectable.

なお、上記第２の実施形態の検査装置２００は、通常画像の形成と可視光領域および近赤外領域の分光画像とを形成するものであるが、例えば、通常画像の形成は不要であり、蛍光の検出のみを行いたい場合は、より簡単な構成を採用できる。次に、この場合について、検査装置２００の変形例として、検査装置２００と比較しながら説明する。   Note that the inspection apparatus 200 of the second embodiment forms a normal image and a spectral image in the visible light region and the near-infrared region. For example, the normal image formation is unnecessary, If only fluorescence detection is desired, a simpler configuration can be adopted. Next, this case will be described as a modification of the inspection apparatus 200 while comparing with the inspection apparatus 200.

この変形例では、通常画像の形成は不要であるため、光源ユニット１４から白色光源ユニットを省き、またハーフミラー７４を省いた構成が可能である。また、ＣＣＤセンサ１５の受光面に形成される色フィルタについても、Ｒ、Ｇ、Ｂの透過特性は有さず、Ｎｒ、Ｎｇ、Ｎｂのみの透過特性を有する単峰性のフィルタを使用可能である。これは、図６や図７に示す構成についても同様であり、Ｒ、Ｇ、Ｂの特性は有さず、Ｎｒ、Ｎｇ、Ｎｂのみの特性を有する分光素子を使用可能である。   In this modification, since it is not necessary to form a normal image, a configuration in which the white light source unit is omitted from the light source unit 14 and the half mirror 74 is omitted is possible. Also, the color filter formed on the light receiving surface of the CCD sensor 15 does not have R, G, and B transmission characteristics, and a unimodal filter having transmission characteristics of only Nr, Ng, and Nb can be used. is there. The same applies to the configurations shown in FIGS. 6 and 7, and a spectroscopic element having characteristics of only Nr, Ng, and Nb without using the characteristics of R, G, and B can be used.

さらに、上記第１、第２の実施形態では通常画像を形成するため、Ｎｒ、Ｎｇ、Ｎｂの波長帯域は近赤外領域としていたが、本変形例では、そのような制約はないため、Ｎｒ、Ｎｇ、Ｎｂに対応する撮像時の波長帯域、および、分光画像を形成するために選択する波長帯域を、より広い波長範囲の中から設定することができ、その場合には生体の観察に好適な６００〜１３００ｎｍの波長帯域の中から設定することができる。   Furthermore, in order to form a normal image in the first and second embodiments, the wavelength bands of Nr, Ng, and Nb are in the near infrared region. However, in the present modification, there is no such restriction, so Nr , Ng, and Nb, the wavelength band at the time of imaging, and the wavelength band selected to form the spectral image can be set from a wider wavelength range, in which case it is suitable for observation of a living body It can be set from a wavelength band of 600 to 1300 nm.

本発明の第１の実施形態にかかる電子内視鏡装置の構成を示すブロック図1 is a block diagram showing the configuration of an electronic endoscope apparatus according to a first embodiment of the present invention. 水およびヘモグロビンの光吸収率の波長特性を示す図The figure which shows the wavelength characteristic of the light absorption rate of water and hemoglobin 光源ユニットの構成を示す図Diagram showing the configuration of the light source unit 色フィルタの分光透過特性を示す図Diagram showing spectral transmission characteristics of color filter 色フィルタの分光透過特性を示す図Diagram showing spectral transmission characteristics of color filter 撮像部の一例の構成を示す図The figure which shows the structure of an example of an imaging part 撮像部の別の例の構成を示す図The figure which shows the structure of another example of an imaging part. 図７（Ａ）は撮像部の別の例の構成を示す図、図７（Ｂ）は分光素子の構成を示す図、図７（Ｃ）は別の分光素子の構成を示す図7A is a diagram illustrating the configuration of another example of the imaging unit, FIG. 7B is a diagram illustrating the configuration of the spectroscopic element, and FIG. 7C is a diagram illustrating the configuration of another spectroscopic element. 操作パネルの構成を示す図Diagram showing the configuration of the operation panel 分光画像の波長域の一例を分光素子の分光感度特性と共に示す図The figure which shows an example of the wavelength range of a spectral image with the spectral sensitivity characteristic of a spectroscopic element 図１０（Ａ）は組織内の血管を示す断面図、図１０（Ｂ）は血管のボケた像を模式的に示す図、図１０（Ｃ）は画像処理後の血管の像を模式的に示す図10A is a cross-sectional view showing a blood vessel in the tissue, FIG. 10B is a diagram schematically showing a blurred image of the blood vessel, and FIG. 10C is a schematic image of the blood vessel after image processing. Illustration 本発明の第２の実施形態にかかる検査装置の概略構成を示す図The figure which shows schematic structure of the inspection apparatus concerning the 2nd Embodiment of this invention. ロングパスフィルタおよび色フィルタの分光透過特性を示す図Diagram showing spectral transmission characteristics of long pass filter and color filter

符号の説明Explanation of symbols

３、２０３ 被観察体
６ 励起光源ユニット
７ 白色光源ユニット
１０ スコープ
１２ プロセッサ装置
１４ 光源ユニット
１５ ＣＣＤセンサ
１５ａ ＣＣＤ
１５ｂ フィルタ群
２０、３５ マイコン
２５ ＤＳＰ
２６ 切換器
２９ 色空間変換処理回路
３０ 色数セレクタ
３２ 信号処理回路
３４ モニタ
３６ メモリ
３８ カラー信号処理回路
４１ 操作パネル
４３ 入力部
７０ 光学系
１００電子内視鏡装置
２００ 検査装置
２１０ ＣＣＤ制御部
Ｒ＋Ｎｒ、Ｇ＋Ｎｇ、Ｂ＋Ｎｂ フィルタ 3, 203 Object 6 Excitation light source unit 7 White light source unit 10 Scope 12 Processor unit 14 Light source unit 15 CCD sensor 15a CCD
15b Filter group 20, 35 Microcomputer 25 DSP
26 switching device 29 color space conversion processing circuit 30 color number selector 32 signal processing circuit 34 monitor 36 memory 38 color signal processing circuit 41 operation panel 43 input unit 70 optical system 100 electronic endoscope apparatus 200 inspection apparatus 210 CCD control unit R + Nr, G + Ng, B + Nb filter

Claims (6)

白色光と、該白色光とは異なる波長帯域の光とを選択的に被観察体へ照射可能な光源ユニットと、
該光源ユニットからの光が照射された前記被観察体の像を撮像する撮像素子を有する撮像部と、
該撮像部の出力に基づく画像信号と、所定のマトリクスデータとの演算により、指定された波長の分光画像を示す分光画像信号を形成する分光画像形成回路とを備え、
前記撮像部が、
可視領域において波長域の異なる３つの第１、第２、第３の光ごとの前記被観察体の像と、近赤外領域において波長域の異なる少なくとも２つの第４、第５の光ごとの前記被観察体の像とを選択的に撮像するものであり、
前記第１の光および前記第４の光のみを前記撮像素子の第１の画素へ入射させる第１の分光素子と、
前記第２の光および前記第５の光のみを前記撮像素子の第２の画素へ入射させる第２の分光素子とを有することを特徴とする撮像装置。 A light source unit capable of selectively irradiating a subject with white light and light of a wavelength band different from the white light;
An image pickup unit having an image pickup device for picking up an image of the observed object irradiated with light from the light source unit;
A spectral image forming circuit that forms a spectral image signal indicating a spectral image of a specified wavelength by calculating an image signal based on an output of the imaging unit and predetermined matrix data;
The imaging unit is
Three images of the object to be observed for each of the first, second, and third lights having different wavelength ranges in the visible region, and each of at least two fourth and fifth lights having different wavelength regions in the near-infrared region. Selectively capturing an image of the object to be observed;
A first spectroscopic element that causes only the first light and the fourth light to enter the first pixel of the imaging element;
An image pickup apparatus comprising: a second spectral element that causes only the second light and the fifth light to enter the second pixel of the image pickup element. 前記分光画像形成回路が、少なくとも前記第４の光および前記第５の光に基づく画像信号を用いて、前記分光画像信号を形成するものであることを特徴とする請求項１記載の撮像装置。   The imaging apparatus according to claim 1, wherein the spectral image forming circuit forms the spectral image signal using an image signal based on at least the fourth light and the fifth light. 前記指定された波長が蛍光の波長であり、前記白色光とは異なる波長帯域の光が前記蛍光を励起する励起光であることを特徴とする請求項１または２記載の撮像装置。   The imaging apparatus according to claim 1, wherein the designated wavelength is a fluorescence wavelength, and light in a wavelength band different from the white light is excitation light that excites the fluorescence. 可視領域の光によるカラー画像と、可視領域の光による第１の分光画像と、近赤外領域の光による第２の分光画像とを形成可能であることを特徴とする請求項１から３のうちいずれか１項記載の撮像装置。   The color image by the light in the visible region, the first spectral image by the light in the visible region, and the second spectral image by the light in the near infrared region can be formed. The imaging device of any one of them. 前記カラー画像、前記第１の分光画像、および前記第２の分光画像のうち、いずれか２つ以上を同時に表示可能であることを特徴とする請求項４記載の撮像装置。   The imaging apparatus according to claim 4, wherein any two or more of the color image, the first spectral image, and the second spectral image can be displayed simultaneously. 前記カラー画像、前記第１の分光画像、および前記第２の分光画像のうち、いずれか２つ以上を重ねて表示可能であることを特徴とする請求項４または５記載の撮像装置。   6. The imaging apparatus according to claim 4, wherein any two or more of the color image, the first spectral image, and the second spectral image can be displayed in an overlapping manner.
JP2008137372A 2007-07-18 2008-05-27 Imaging device Expired - Fee Related JP5073579B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008137372A JP5073579B2 (en) 2007-07-18 2008-05-27 Imaging device
US12/175,033 US7787121B2 (en) 2007-07-18 2008-07-17 Imaging apparatus
EP08012940A EP2017591A1 (en) 2007-07-18 2008-07-17 Imaging apparatus

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007187170 2007-07-18
JP2007187170 2007-07-18
JP2008137372A JP5073579B2 (en) 2007-07-18 2008-05-27 Imaging device

Publications (2)

Publication Number Publication Date
JP2009039510A true JP2009039510A (en) 2009-02-26
JP5073579B2 JP5073579B2 (en) 2012-11-14

Family

ID=40440905

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008137372A Expired - Fee Related JP5073579B2 (en) 2007-07-18 2008-05-27 Imaging device

Country Status (1)

Country Link
JP (1) JP5073579B2 (en)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010051350A (en) * 2008-08-26 2010-03-11 Fujifilm Corp Apparatus, method and program for image processing
JP2012145390A (en) * 2011-01-11 2012-08-02 National Maritime Research Institute Multiwavelength fluorescence measuring device and object identification method
JP2013032920A (en) * 2011-08-01 2013-02-14 Sumitomo Electric Ind Ltd Object detection device, and object detection method
JP2013113803A (en) * 2011-11-30 2013-06-10 Sumitomo Electric Ind Ltd Object detection device, and object detection method
JP2013153951A (en) * 2012-01-30 2013-08-15 Reimei Ri Laparoscope diagnostic apparatus and method for inspection for sentinel lymph node
JP2013253861A (en) * 2012-06-07 2013-12-19 Tottori Univ Method and device for discriminating presence/absence of specimen cell in sample tissue body to be tested
WO2014136695A1 (en) * 2013-03-04 2014-09-12 東京特殊電線株式会社 Laparoscope
WO2014199984A1 (en) * 2013-06-10 2014-12-18 住友電気工業株式会社 Microscope system for surgery
JP2015053979A (en) * 2013-09-10 2015-03-23 オリンパスメディカルシステムズ株式会社 Imaging system
US9207124B2 (en) 2013-08-06 2015-12-08 Seiko Epson Corporation Colorimetry apparatus
WO2016056157A1 (en) * 2014-10-07 2016-04-14 パナソニックＩｐマネジメント株式会社 Color separation prism and imaging device
JP2016518197A (en) * 2013-04-23 2016-06-23 シーダーズ−サイナイ メディカル センター System and method for simultaneously recording phosphor-derived visible and infrared light images
JP2017015488A (en) * 2015-06-30 2017-01-19 株式会社ニコン Imaging device
WO2017047142A1 (en) * 2015-09-18 2017-03-23 オリンパス株式会社 Endoscopic device and endoscopic system
WO2017068908A1 (en) * 2015-10-22 2017-04-27 オリンパス株式会社 Endoscope system
JP2017205492A (en) * 2017-04-06 2017-11-24 パナソニックＩｐマネジメント株式会社 Optical device
JP2018166693A (en) * 2017-03-29 2018-11-01 池上通信機株式会社 Medical diagnosis system and light source device
JP2020130553A (en) * 2019-02-19 2020-08-31 富士フイルム株式会社 Endoscope system
US10803578B2 (en) 2013-04-23 2020-10-13 Cedars-Sinai Medical Center Systems and methods for recording simultaneously visible light image and infrared light image from fluorophores
CN112689995A (en) * 2018-07-12 2021-04-20 直观外科手术操作公司 Multi-band-pass Bayer pattern filter
WO2022113758A1 (en) * 2020-11-27 2022-06-02 株式会社エヌテック Imaging device, inspection device, and imaging method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006341077A (en) * 2005-05-13 2006-12-21 Olympus Medical Systems Corp Biological observation system
JP2007097709A (en) * 2005-09-30 2007-04-19 Fujinon Corp Electronic endoscope apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006341077A (en) * 2005-05-13 2006-12-21 Olympus Medical Systems Corp Biological observation system
JP2007097709A (en) * 2005-09-30 2007-04-19 Fujinon Corp Electronic endoscope apparatus

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010051350A (en) * 2008-08-26 2010-03-11 Fujifilm Corp Apparatus, method and program for image processing
JP2012145390A (en) * 2011-01-11 2012-08-02 National Maritime Research Institute Multiwavelength fluorescence measuring device and object identification method
JP2013032920A (en) * 2011-08-01 2013-02-14 Sumitomo Electric Ind Ltd Object detection device, and object detection method
JP2013113803A (en) * 2011-11-30 2013-06-10 Sumitomo Electric Ind Ltd Object detection device, and object detection method
JP2013153951A (en) * 2012-01-30 2013-08-15 Reimei Ri Laparoscope diagnostic apparatus and method for inspection for sentinel lymph node
JP2013253861A (en) * 2012-06-07 2013-12-19 Tottori Univ Method and device for discriminating presence/absence of specimen cell in sample tissue body to be tested
WO2014136695A1 (en) * 2013-03-04 2014-09-12 東京特殊電線株式会社 Laparoscope
JP2014168564A (en) * 2013-03-04 2014-09-18 Reimei Ri Laparoscope
AU2019202450B2 (en) * 2013-04-23 2020-08-13 Cedars-Sinai Medical Center Systems and methods for recording simultaneously visible light image and infrared light image from fluorophores
JP2019093157A (en) * 2013-04-23 2019-06-20 シーダーズ−サイナイ メディカル センター Systems and methods for recording simultaneously visible light image and infrared light image from fluorophores
JP2016518197A (en) * 2013-04-23 2016-06-23 シーダーズ−サイナイ メディカル センター System and method for simultaneously recording phosphor-derived visible and infrared light images
US10803578B2 (en) 2013-04-23 2020-10-13 Cedars-Sinai Medical Center Systems and methods for recording simultaneously visible light image and infrared light image from fluorophores
US11737645B2 (en) 2013-04-23 2023-08-29 Cedars-Sinai Medical Center Systems and methods for recording simultaneously visible light image and infrared light image from fluorophores
JP2014236911A (en) * 2013-06-10 2014-12-18 住友電気工業株式会社 Surgical microscope system
WO2014199984A1 (en) * 2013-06-10 2014-12-18 住友電気工業株式会社 Microscope system for surgery
US9207124B2 (en) 2013-08-06 2015-12-08 Seiko Epson Corporation Colorimetry apparatus
JP2015053979A (en) * 2013-09-10 2015-03-23 オリンパスメディカルシステムズ株式会社 Imaging system
WO2016056157A1 (en) * 2014-10-07 2016-04-14 パナソニックＩｐマネジメント株式会社 Color separation prism and imaging device
US10527861B2 (en) 2014-10-07 2020-01-07 Panasonic Intellectual Property Management Co., Ltd. Color separation prism and imaging device
JP2017015488A (en) * 2015-06-30 2017-01-19 株式会社ニコン Imaging device
JP6138386B1 (en) * 2015-09-18 2017-05-31 オリンパス株式会社 Endoscope apparatus and endoscope system
WO2017047142A1 (en) * 2015-09-18 2017-03-23 オリンパス株式会社 Endoscopic device and endoscopic system
WO2017068908A1 (en) * 2015-10-22 2017-04-27 オリンパス株式会社 Endoscope system
JP6169310B1 (en) * 2015-10-22 2017-07-26 オリンパス株式会社 Endoscope system
JP2018166693A (en) * 2017-03-29 2018-11-01 池上通信機株式会社 Medical diagnosis system and light source device
JP7014522B2 (en) 2017-03-29 2022-02-01 池上通信機株式会社 Medical diagnostic system
JP2017205492A (en) * 2017-04-06 2017-11-24 パナソニックＩｐマネジメント株式会社 Optical device
CN112689995A (en) * 2018-07-12 2021-04-20 直观外科手术操作公司 Multi-band-pass Bayer pattern filter
CN112689995B (en) * 2018-07-12 2023-09-08 直观外科手术操作公司 Multi-bandpass bayer pattern filter
JP2020130553A (en) * 2019-02-19 2020-08-31 富士フイルム株式会社 Endoscope system
US11311185B2 (en) 2019-02-19 2022-04-26 Fujifilm Corporation Endoscope system
JP7080195B2 (en) 2019-02-19 2022-06-03 富士フイルム株式会社 Endoscope system
WO2022113758A1 (en) * 2020-11-27 2022-06-02 株式会社エヌテック Imaging device, inspection device, and imaging method

Also Published As

Publication number Publication date
JP5073579B2 (en) 2012-11-14

Similar Documents

Publication Publication Date Title
JP5073579B2 (en) Imaging device
US7787121B2 (en) Imaging apparatus
US10231658B2 (en) Endoscope system, processor device for endoscope system, operation method for endoscope system, and operation method for processor device
JP6427625B2 (en) Image processing apparatus and method of operating the same
JP6184571B2 (en) Fluorescence observation endoscope system
JP5309120B2 (en) Endoscope device
JP5426620B2 (en) Endoscope system and method for operating endoscope system
JP5405445B2 (en) Endoscope device
JP6057921B2 (en) Living body observation device
JP4855728B2 (en) Illumination device and observation device
JP5789280B2 (en) Processor device, endoscope system, and operation method of endoscope system
JP2019081044A (en) Image processing apparatus, method for operating image processing apparatus, and image processing program
EP2767210A1 (en) Endoscope system and image generation method
US20140221744A1 (en) Endoscope system and image generation method
JP2012152460A (en) Medical system, processing unit therefor, and method of generating image
JP2004024656A (en) Fluorescent endoscope equipment
US9788709B2 (en) Endoscope system and image generation method to generate images associated with irregularities of a subject
JP5766773B2 (en) Endoscope system and method for operating endoscope system
JP6017669B2 (en) Image processing apparatus and method for operating endoscope system
JP2007500025A (en) Device for detecting and characterizing living tissue
JP2012130506A (en) Light measurement system and light measurement method
JP6099518B2 (en) Endoscope system and method of operation
JP6243311B2 (en) Endoscope processor device, operation method of endoscope processor device, control program for endoscope
WO2016194101A1 (en) Infrared fluorescence observation device
JP2011177532A (en) Endoscope apparatus

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20100614

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120814

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120822

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150831

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees