JP2009279172A - Fluorescent image obtainment method and apparatus - Google Patents

Fluorescent image obtainment method and apparatus Download PDF

Info

Publication number
JP2009279172A
JP2009279172A JP2008134073A JP2008134073A JP2009279172A JP 2009279172 A JP2009279172 A JP 2009279172A JP 2008134073 A JP2008134073 A JP 2008134073A JP 2008134073 A JP2008134073 A JP 2008134073A JP 2009279172 A JP2009279172 A JP 2009279172A
Authority
JP
Japan
Prior art keywords
light
image
excitation light
signal
fluorescence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008134073A
Other languages
Japanese (ja)
Other versions
JP5229723B2 (en
Inventor
Shuichi Ishii
秀一 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujinon Corp
Original Assignee
Fujinon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujinon Corp filed Critical Fujinon Corp
Priority to JP2008134073A priority Critical patent/JP5229723B2/en
Priority to US12/453,768 priority patent/US20090289200A1/en
Priority to EP11179366A priority patent/EP2404542A1/en
Priority to CN2013103016191A priority patent/CN103431830A/en
Priority to EP11179380A priority patent/EP2404543A1/en
Priority to CN 200910203876 priority patent/CN101584572B/en
Priority to EP11179372.5A priority patent/EP2409635B1/en
Priority to EP09006889.1A priority patent/EP2123213B1/en
Publication of JP2009279172A publication Critical patent/JP2009279172A/en
Application granted granted Critical
Publication of JP5229723B2 publication Critical patent/JP5229723B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Endoscopes (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To maintain balance between lightness of an ordinary image and that of a fluorescent image in an excellent state at all times, in a fluorescent image obtainment apparatus for obtaining the ordinary image and the fluorescent image by illuminating a body to be observed with illumination light and excitation light. <P>SOLUTION: A white light source means is driven so as to continuously output white illumination light, and an excitation light source means is pulse-driven on the basis of a pulse signal so as to output pulsed excitation light. An image composed of light reflected from the body to be observed by illumination with the illumination light, and an image including fluorescence output from the body to be observed by illumination with the excitation light are captured. The ordinary image is produced on the basis of the image composed of the reflection light, and the fluorescent image is produced on the basis of the image including the fluorescence. The light amount of the illumination light is controlled so that the representative luminance value of the ordinary image becomes a predetermined luminance value, and the light amount of the excitation light is controlled by controlling the pulse signal so that the ratio of the light amount of the excitation light to the light amount of the illumination light becomes a preset ratio. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、蛍光画像取得方法および蛍光画像取得装置に関し、詳しくは、励起光の照射により被観察体から発せられる蛍光を含む像を撮像して、蛍光画像を生成する蛍光画像取得方法および蛍光画像取得装置に関するものである。   The present invention relates to a fluorescence image acquisition method and a fluorescence image acquisition device. More specifically, the present invention relates to a fluorescence image acquisition method and a fluorescence image that captures an image including fluorescence emitted from an observation object by excitation light irradiation and generates a fluorescence image. The present invention relates to an acquisition device.

従来、体腔内の組織を観察する内視鏡装置が広く知られており、白色光によって照明された体腔内の被観察体を撮像して通常画像を得、この通常画像をモニタ画面上に表示する電子式の内視鏡が広く実用化されている。   Conventionally, endoscope apparatuses for observing tissue in a body cavity are widely known, and a normal image is obtained by imaging a body to be observed in a body cavity illuminated by white light, and this normal image is displayed on a monitor screen. Electronic endoscopes are widely used.

また、被観察体を白色光で照明して観察するばかりでなく、励起光の照射により被観察体から発せられた自家蛍光を受光して蛍光画像を撮像し、この蛍光画像を上記通常画像と共にモニタ画面上に表示する蛍光内視鏡装置として使用される蛍光画像取得装置が知られている(たとえば、特許文献1参照)。このような自家蛍光は、生体組織内の内因性蛍光物質から発されている。例えば被観察体が気道粘膜であれば、自家蛍光の大部分は粘膜下層から発せられると考えられ、内因性蛍光物質としては、リボフラビン、トリプトファン、チロシン、NADH、NADPH、ポルフィリン、コラーゲン、エラスチン、フィブロネクチンあるいはFAD等が考えられている。   In addition to observing the object under illumination with white light, the fluorescent light is picked up by receiving the autofluorescence emitted from the object under irradiation of the excitation light, and the fluorescence image is combined with the normal image. A fluorescence image acquisition device used as a fluorescence endoscope device that displays on a monitor screen is known (see, for example, Patent Document 1). Such autofluorescence is emitted from an endogenous fluorescent substance in living tissue. For example, if the object to be observed is an airway mucosa, most of the autofluorescence is considered to be emitted from the submucosa, and the endogenous fluorescent substances include riboflavin, tryptophan, tyrosine, NADH, NADPH, porphyrin, collagen, elastin, fibronectin. Or FAD etc. are considered.

さらに、このような蛍光画像取得装置としては、例えば、腫瘍親和性を有し、光により励起されたとき蛍光を発する光感受性物質(ATX-S10、5-ALA、NPe6、HAT-D01、Photofrin-2等)を蛍光薬剤として予め被験者へ投与して、癌等の腫瘍部分に吸収させておき、その部分にこの蛍光薬剤の励起波長領域にある励起光を照射して、腫瘍部分に集積した蛍光薬剤から発せられる薬剤蛍光を検出して、蛍光画像を生成する蛍光画像取得装置も知られている。   Further, as such a fluorescence image acquisition apparatus, for example, a photosensitizer (ATX-S10, 5-ALA, Npe6, HAT-D01, Photofrin-, which has tumor affinity and emits fluorescence when excited by light) 2) is administered to the subject in advance as a fluorescent drug and absorbed in a tumor part such as cancer, and the part is irradiated with excitation light in the excitation wavelength region of this fluorescent drug, and the fluorescence accumulated in the tumor part. There is also known a fluorescence image acquisition device that detects fluorescence of a drug emitted from a drug and generates a fluorescence image.

ここで、上記のように白色光の照射により通常画像を撮像し、励起光の照射により蛍光画像を撮像する蛍光画像取得装置においては、照明光の射出端から被観察部までの距離が遠い場合には、十分な光量の照明光が被観察部まで届かず、画像が暗くなってしまう虞がある。そのため、動画を撮像する場合には、常時、平均輝度値などの画像の明るさを検出し、一定の明るさが得られるように照明光の光量を制御することが行われている。
特開2001−128925号公報
Here, in the fluorescence image acquisition device that captures a normal image by irradiation with white light and captures a fluorescence image by irradiation with excitation light as described above, when the distance from the emission end of the illumination light to the observed portion is long In such a case, a sufficient amount of illumination light may not reach the part to be observed, and the image may become dark. For this reason, when capturing a moving image, the brightness of an image such as an average luminance value is always detected, and the amount of illumination light is controlled so as to obtain a constant brightness.
JP 2001-128925 A

しかしながら、上記のように白色光の照射による通常画像と励起光の照射による蛍光画像との両方を取得する装置において、たとえば、通常画像に蛍光画像を重ねて表示するようにした場合には、照明光のみの光量を制御したのでは、たとえば、照明光の光量を増加させた場合には、通常画像だけが明るくなり、蛍光画像は暗いままなので通常画像上における蛍光画像の識別が困難になる。また、逆に、照明光の光量を減少させた場合には、通常画像だけが暗くなり、蛍光画像は明るいままなので通常画像と蛍光画像の明るさのバランスが悪くなり見難い画像となってしまう。   However, in the apparatus that acquires both the normal image by the white light irradiation and the fluorescence image by the excitation light irradiation as described above, for example, when the fluorescent image is displayed over the normal image, the illumination If the amount of light alone is controlled, for example, when the amount of illumination light is increased, only the normal image becomes bright and the fluorescent image remains dark, making it difficult to identify the fluorescent image on the normal image. Conversely, when the amount of illumination light is reduced, only the normal image becomes dark and the fluorescent image remains bright, so the brightness balance between the normal image and the fluorescent image becomes poor and the image becomes difficult to see. .

また、上記のような問題を解決するために励起光の光量を精度よく制御しようとした場合、励起光源の駆動電流に対して白色光光源の駆動電流は比較的大きな電流であるので、その駆動電流によるノイズが問題となる。   Also, when trying to accurately control the amount of excitation light in order to solve the above problems, the drive current of the white light source is relatively large compared to the drive current of the excitation light source. Noise due to current becomes a problem.

本発明は上記の問題に鑑みてなされたものであり、照明光および励起光を被観察体へ照射して、通常画像および蛍光画像を取得する蛍光画像取得方法および蛍光画像取得装置において、通常画像と蛍光画像の明るさをバランス良くすることができるとともに、励起光源のノイズ耐性の向上を図ることができる蛍光画像取得方法および蛍光画像取得装置を提供することを目的とする。   The present invention has been made in view of the above problems, and in the fluorescence image acquisition method and the fluorescence image acquisition apparatus for acquiring the normal image and the fluorescence image by irradiating the observation object with the illumination light and the excitation light, the normal image An object of the present invention is to provide a fluorescence image acquisition method and a fluorescence image acquisition device that can improve the brightness of the fluorescence image and improve the noise resistance of the excitation light source.

本発明の蛍光画像取得方法は、照明光を連続的に射出するように照明光源手段を駆動するとともに、パルス状の励起光を射出するように励起光源手段をパルス信号に基づいてパルス駆動し、照明光の照射により被観察体から反射された反射光からなる像および励起光の照射により被観察体から発せられた蛍光を含む像を撮像し、その撮像した反射光からなる像に基づいて通常画像を生成するとともに、撮像した蛍光を含む像に基づいて蛍光画像を生成し、通常画像の代表輝度値が所定輝度値となるように照明光の光量を制御するとともに、照明光の光量に対して励起光の光量が予め設定された比率となるようにパルス信号を制御することによって励起光の光量を制御することを特徴とする。   The fluorescence image acquisition method of the present invention drives the illumination light source means so as to continuously emit illumination light, and pulse-drives the excitation light source means based on the pulse signal so as to emit pulsed excitation light, Based on an image composed of reflected light reflected from the object under observation by illumination light and an image containing fluorescence emitted from the object under irradiation by excitation light, and based on the image composed of reflected light. In addition to generating an image, a fluorescent image is generated based on the captured image including fluorescence, and the amount of illumination light is controlled so that the representative luminance value of the normal image becomes a predetermined luminance value. The light amount of the excitation light is controlled by controlling the pulse signal so that the light amount of the excitation light becomes a preset ratio.

本発明の蛍光画像取得装置は、照明光を連続的に射出する照明光源手段と、パルス信号に基づいてパルス駆動され、パルス状の励起光を射出する励起光源手段と、照明光と励起光とを被観察体の略同一箇所へ照射する照射手段と、照明光の照射により被観察体から反射された反射光からなる像および励起光の照射により被観察体から発せられた蛍光を含む像を撮像する撮像手段と、撮像手段により撮像された反射光からなる像に基づいて通常画像を生成するとともに、撮像手段により撮像された蛍光を含む像に基づいて蛍光画像を生成する画像処理手段と、通常画像の代表輝度値が所定輝度値となるように照明光の光量を制御するとともに、照明光の光量に対して励起光の光量が予め設定された比率となるようにパルス信号を制御することによって励起光の光量を制御する光量制御手段とを備えたことを特徴とする。   The fluorescence image acquisition apparatus of the present invention includes an illumination light source means that continuously emits illumination light, an excitation light source means that is pulse-driven based on a pulse signal and emits pulsed excitation light, and illumination light and excitation light. An irradiating means for irradiating substantially the same part of the object to be observed, an image made of reflected light reflected from the object to be observed by irradiation of illumination light, and an image containing fluorescence emitted from the object to be observed by irradiation of excitation light An image processing unit that generates an image based on an image that includes an image captured by the image capturing unit, an image including the reflected light captured by the image capturing unit, and a fluorescence image captured by the image capturing unit; Control the amount of illumination light so that the representative luminance value of the normal image becomes a predetermined luminance value, and control the pulse signal so that the amount of excitation light is a preset ratio with respect to the amount of illumination light In Characterized in that a light quantity control means for controlling the quantity of the excitation light I.

ここで、上記「照明光」としては、たとえば、連続した波長からなる白色光であってもよいし、R光、G光およびB光が同時に射出された白色光であってもよい。   Here, the “illumination light” may be, for example, white light having a continuous wavelength, or white light in which R light, G light, and B light are simultaneously emitted.

また、上記本発明の蛍光画像取得装置においては、励起光源手段を、所定の周期で所定の発光可能期間の間に1または複数のパルス状の励起光を射出するものとし、光量制御手段を、所定の発光可能期間の間のパルス励起光の数および/またはパルス励起光発光時間を変化させることにより前励起光の光量を制御するものとすることができる。   In the fluorescence image acquisition device of the present invention, the excitation light source means emits one or a plurality of pulsed excitation light in a predetermined cycle during a predetermined light emission possible period, and the light quantity control means includes: The light quantity of the pre-excitation light can be controlled by changing the number of pulse excitation light and / or the pulse excitation light emission time during a predetermined light emission possible period.

また、照明光の光量に対する励起光の光量の比率を入力操作により設定する設定手段をさらに設けるようにすることができる。   Further, it is possible to further provide setting means for setting the ratio of the amount of excitation light to the amount of illumination light by an input operation.

ここで、上記「略同一箇所へ照射」とは、照明光の照射範囲と励起光の照射範囲とが少なくとも一部で重なり合うように照射することを意味する。   Here, the “irradiation to substantially the same location” means that irradiation is performed so that the illumination light irradiation range and the excitation light irradiation range overlap at least partially.

本発明の蛍光画像取得方法および装置によれば、白色の照明光を連続的に射出するように白色光源手段を駆動するとともに、パルス状の励起光を射出するように励起光源手段をパルス信号に基づいてパルス駆動し、照明光の照射により被観察体から反射された反射光からなる像および励起光の照射により被観察体から発せられた蛍光を含む像を撮像し、その撮像した反射光からなる像に基づいて通常画像を生成するとともに、撮像した蛍光を含む像に基づいて蛍光画像を生成し、通常画像の代表輝度値が所定輝度値となるように照明光の光量を制御するとともに、照明光の光量に対して励起光の光量が予め設定された比率となるようにパルス信号を制御することによって励起光の光量を制御するようにしたので、照明光の光量に対する励起光の光量の比率を常に一定にすることができ、通常画像と蛍光画像の明るさのバランスを常に良い状態に維持することができる。そして、パルス信号をデジタル的に制御することによって励起光の光量を制御するようにしたので、ノイズ耐性の向上を図ることができる。また、パルス駆動にすることによって、励起光出射時の光量をアップさせることができ、光源のコストダウンに寄与することができる。   According to the fluorescence image acquisition method and apparatus of the present invention, the white light source means is driven so as to continuously emit white illumination light, and the excitation light source means is converted into a pulse signal so as to emit pulsed excitation light. Based on the reflected light reflected from the observed object by the illumination light irradiation and the image including the fluorescence emitted from the observed object by the excitation light irradiation. A normal image is generated based on the image, and a fluorescent image is generated based on the captured image including the fluorescence, and the amount of illumination light is controlled so that the representative luminance value of the normal image becomes a predetermined luminance value. Since the light quantity of the excitation light is controlled by controlling the pulse signal so that the light quantity of the excitation light becomes a preset ratio with respect to the light quantity of the illumination light, the excitation light with respect to the light quantity of the illumination light The ratio of the light amount can always be made constant, it is possible to maintain the brightness balance of the normal image and fluorescent image is always good condition. And since the light quantity of excitation light was controlled by controlling a pulse signal digitally, the noise tolerance can be improved. Further, by using pulse driving, the amount of light when the excitation light is emitted can be increased, which can contribute to the cost reduction of the light source.

また、照明光の光量に対する励起光の光量の比率を入力操作により設定する設定手段をさらに設けるようにした場合には、照明光の光量に対する励起光の光量の比率を任意に設定することができるので、診断の用途などに応じて適切な比率を設定することができ、より高精度はスクリーニングに寄与することができる。   Further, in the case where setting means for setting the ratio of the amount of excitation light to the amount of illumination light by an input operation is further provided, the ratio of the amount of excitation light to the amount of illumination light can be arbitrarily set. Therefore, an appropriate ratio can be set according to the use of diagnosis and the like, and higher accuracy can contribute to screening.

以下、図面を参照して本発明の一実施形態を詳細に説明する。図1は、本発明の一実施形態による蛍光内視鏡装置の概略構成図を示すものである。本蛍光内視鏡装置100は、被観察体10へ照明光L1を照射して取得したカラー通常画像を動画として表示する通常画像モードと、被観察体10へ照明光L1および励起光L2を照射して取得した合波画像から後述の演算処理により得られる蛍光画像とカラー通常画像とを重ね合わせた蛍光重畳画像を動画として表示する蛍光画像モードとを切り替え可能に構成されている。   Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings. FIG. 1 is a schematic configuration diagram of a fluorescence endoscope apparatus according to an embodiment of the present invention. The fluorescence endoscope apparatus 100 irradiates the observation object 10 with the illumination light L1 and the excitation light L2 in the normal image mode in which the color normal image acquired by irradiating the observation object 10 with the illumination light L1 is displayed as a moving image. Thus, it is configured to be able to switch between a fluorescence image mode in which a fluorescence superimposed image obtained by superimposing a fluorescence image obtained by a calculation process described later and a color normal image from the combined image obtained as a moving image is displayed as a moving image.

本蛍光内視鏡装置100は、図1に示すように、被験者の体腔内に挿入され、被観察体10を観察するためのスコープユニット110と、このスコープユニット110が電気的に着脱自在に接続されるプロセッサユニット170と、スコープユニット110が光学的に着脱自在に接続され、照明光L1を射出するキセノンランプ151を収納する照明光ユニット150と、この照明光ユニット150へ電気的かつ光学的に着脱自在に接続され、励起光L2を射出するGaN系の半導体レーザ131を収納する励起光ユニット130とを備えている。なお、プロセッサユニット170と照明光ユニット150とは、一体的に構成されているものであってもよいし、あるいは別体として構成されているものであってもよい。   As shown in FIG. 1, the present fluorescence endoscope apparatus 100 is inserted into a body cavity of a subject, and a scope unit 110 for observing a body 10 to be observed, and the scope unit 110 are electrically detachably connected. The processor unit 170 and the scope unit 110 are optically and detachably connected, and the illumination light unit 150 that houses the xenon lamp 151 that emits the illumination light L1 is electrically and optically connected to the illumination light unit 150. And a pumping light unit 130 that houses a GaN-based semiconductor laser 131 that is detachably connected and emits the pumping light L2. Note that the processor unit 170 and the illumination light unit 150 may be configured integrally or may be configured separately.

上記スコープユニット110の先端には照明用光学系111が設けられている。この照明用光学系111には、照明光L1が導光されるライトガイド112の一端が対面している。ライトガイド112は、スコープユニット110の外部へ延伸するものであり、その他端には、光コネクタ113が設けられ、後述する照明光ユニット150の光コネクタ153と着脱自在に接続されている。   An illumination optical system 111 is provided at the tip of the scope unit 110. One end of the light guide 112 through which the illumination light L1 is guided faces the illumination optical system 111. The light guide 112 extends to the outside of the scope unit 110, and an optical connector 113 is provided at the other end, and is detachably connected to an optical connector 153 of an illumination light unit 150 described later.

また、スコープユニット110の先端部には、結像レンズ115と、励起光カットフィルタ116、固体撮像素子であるCCD(Charge Coupled Device)117とが同軸上にこの順に設けられている。結像レンズ115は、被観察体10の像をCCD117上に結像するものである。励起光カットフィルタ116としては、励起光のみを遮断して他の波長の光は透過させるように、例えば、極めて狭帯域の光のみを遮断するノッチフィルタを用いることができる。なお、CCD117の撮像面には例えばRGBの色フィルタを有する原色型の色フィルタが取り付けられている。   In addition, an imaging lens 115, an excitation light cut filter 116, and a CCD (Charge Coupled Device) 117 that is a solid-state imaging device are coaxially provided in this order on the distal end portion of the scope unit 110. The imaging lens 115 forms an image of the observation object 10 on the CCD 117. As the excitation light cut filter 116, for example, a notch filter that blocks only light in a very narrow band can be used so that only excitation light is blocked and light of other wavelengths is transmitted. For example, a primary color filter having RGB color filters is attached to the imaging surface of the CCD 117.

CCD117には、同期信号に基づいて駆動パルス信号を形成するCCD駆動回路118が接続されると共に、このCCD117が出力した画像(映像)信号をサンプリングして増幅するCDS/AGC(相関二重サンプリング/自動利得制御)回路119接続されている。またCDS/AGC回路119には、そのアナログ出力をデジタル化するA/D変換器120が接続されている。  Connected to the CCD 117 is a CCD drive circuit 118 that forms a drive pulse signal based on the synchronizing signal, and a CDS / AGC (correlated double sampling / output) that samples and amplifies an image (video) signal output from the CCD 117. Automatic gain control) circuit 119 is connected. The CDS / AGC circuit 119 is connected to an A / D converter 120 that digitizes the analog output.

さらにスコープユニット110内には、そこに設けられた各種回路を制御するとともに、プロセッサユニット170との間の通信制御を行う制御部121が配置されている。またスコープユニット110の根元近傍には、制御部121に接続され、動作モードの切換を行う押圧型のスイッチ122が設けられている。  Further, in the scope unit 110, a control unit 121 that controls various circuits provided therein and controls communication with the processor unit 170 is disposed. Further, near the base of the scope unit 110, a push-type switch 122 that is connected to the control unit 121 and switches the operation mode is provided.

また、A/D変換器120には画像信号ライン125の一端が接続され、制御部121には制御信号ライン126の一端が接続されている。画像信号ライン125および制御信号ライン126は、スコープユニット110の本体から外部へ延伸するものであり、その他端にはコネクタ127が設けられている。このコネクタ127は、後述するプロセッサユニット170のコネクタ194と着脱自在に接続されている。  One end of the image signal line 125 is connected to the A / D converter 120, and one end of the control signal line 126 is connected to the control unit 121. The image signal line 125 and the control signal line 126 extend from the main body of the scope unit 110 to the outside, and a connector 127 is provided at the other end. This connector 127 is detachably connected to a connector 194 of a processor unit 170 described later.

照明光ユニット150は、照明光L1を発するキセノンランプ151と、このキセノンランプ151を駆動する駆動回路152と、スコープユニット110のライトガイド112の先端に設けられている光コネクタ113と着脱自在に接続される光コネクタ153とを備えている。光コネクタ153には、光コネクタ113と接続されているか否かを検知する接続検知部154が設けられている。また、キセノンランプ151と光コネクタ153との間には、照明光L1の波長帯域を、410nm以上700nm以下へ制限する波長フィルタ155と、照明光L1の光量を制御する絞り156と、410nm以上の波長の光を透過し、410nmより短い波長の光を直角に反射するダイクロイックミラー157と、集光レンズ158と、ロータリーシャッタ159とが配置されている。   The illumination light unit 150 is detachably connected to a xenon lamp 151 that emits illumination light L1, a drive circuit 152 that drives the xenon lamp 151, and an optical connector 113 provided at the tip of the light guide 112 of the scope unit 110. The optical connector 153 is provided. The optical connector 153 is provided with a connection detection unit 154 that detects whether or not the optical connector 113 is connected. Between the xenon lamp 151 and the optical connector 153, a wavelength filter 155 that limits the wavelength band of the illumination light L1 to 410 nm or more and 700 nm or less, a diaphragm 156 that controls the light quantity of the illumination light L1, and a wavelength of 410 nm or more A dichroic mirror 157 that transmits light having a wavelength and reflects light having a wavelength shorter than 410 nm at right angles, a condensing lens 158, and a rotary shutter 159 are disposed.

さらに、照明光ユニット150には、後述する励起光ユニット130のライトガイド133の先端に設けられている光コネクタ136と着脱自在に接続される光コネクタ161が設けられている。また、この光コネクタ161には、光コネクタ136と接続されているか否かを検知する接続検知部162が設けられている。光コネクタ161には、照明光ユニット150内で励起光を導光するライトガイド163の一端(入射端)が接続されている。ライトガイド163の他端(出射端)は、このライトガイド163から射出された励起光L2がダイクロイックミラー157へ入射する位置へ配置されている。また、ライトガイド163の出射端とダイクロイックミラー157との間にはレンズ164が配置されている。   Further, the illumination light unit 150 is provided with an optical connector 161 that is detachably connected to an optical connector 136 that is provided at the tip of a light guide 133 of the excitation light unit 130 described later. The optical connector 161 is provided with a connection detection unit 162 that detects whether the optical connector 136 is connected. One end (incident end) of a light guide 163 that guides excitation light in the illumination light unit 150 is connected to the optical connector 161. The other end (outgoing end) of the light guide 163 is disposed at a position where the excitation light L <b> 2 emitted from the light guide 163 enters the dichroic mirror 157. A lens 164 is disposed between the light guide 163 and the dichroic mirror 157.

さらに、照明光ユニット150には、後述する励起光ユニット130のコネクタ142と着脱自在に接続されるコネクタ165が設けられている。コネクタ165には、コネクタ142と接続されているか否かを検知する接続検知部166が設けられている。また、照明光ユニット150には、上記コネクタ165、接続検知部166等の照明光ユニット150に設けられた各部位と接続され、各部位を制御するとともに、プロセッサユニット170および励起光ユニット130との間の通信制御を行う制御部167が配置されている。   Further, the illumination light unit 150 is provided with a connector 165 detachably connected to a connector 142 of the excitation light unit 130 described later. The connector 165 is provided with a connection detection unit 166 that detects whether or not it is connected to the connector 142. In addition, the illumination light unit 150 is connected to each part provided in the illumination light unit 150 such as the connector 165 and the connection detection unit 166, and controls each part, and between the processor unit 170 and the excitation light unit 130. A control unit 167 for performing communication control is arranged.

励起光ユニット130は、励起光L2を発するGaN系の半導体レーザ131と、この半導体レーザ131を駆動する駆動回路132と、半導体レーザ131から射出された励起光L2を導光するライトガイド133とを備えている。ライトガイド133は、励起光ユニット130の筐体から外部へ延伸するものであり、その他端には、光コネクタ136が設けられている。この光コネクタ136は、照明光ユニット150の光コネクタ161と着脱自在に接続されている。半導体レーザ131と駆動回路132との間には、スイッチ134が設けられている。また、半導体レーザ131とライトガイド133の一端(入射端)との間には、集光レンズ135が配置されている。   The excitation light unit 130 includes a GaN-based semiconductor laser 131 that emits the excitation light L2, a drive circuit 132 that drives the semiconductor laser 131, and a light guide 133 that guides the excitation light L2 emitted from the semiconductor laser 131. I have. The light guide 133 extends from the casing of the excitation light unit 130 to the outside, and an optical connector 136 is provided at the other end. This optical connector 136 is detachably connected to the optical connector 161 of the illumination light unit 150. A switch 134 is provided between the semiconductor laser 131 and the drive circuit 132. A condensing lens 135 is disposed between the semiconductor laser 131 and one end (incident end) of the light guide 133.

ここで、本蛍光内視鏡装置100における半導体レーザ131を駆動する駆動回路132は、駆動パルス信号を生成し、その駆動パルス信号に基づいて半導体レーザ131を駆動するものである。そして、半導体レーザ131は、駆動パルス信号に応じて駆動し、パルス状の励起光L2を射出するものである。そして、駆動回路132は、所定の周期で所定の発光可能期間の間に1または複数の駆動パルス信号を生成し、半導体レーザ131はその駆動パルス信号に基づいてパルス状の励起光を射出するものである。そして、駆動回路132は、後述する光量制御部186からの駆動パルス制御信号に基づいて、上記所定の発光可能期間の間の駆動パルス信号の数または駆動パスル信号の幅を変化させるものである。駆動回路132による半導体レーザ131の駆動制御については、後でさらに詳述する。   Here, the drive circuit 132 that drives the semiconductor laser 131 in the fluorescence endoscope apparatus 100 generates a drive pulse signal and drives the semiconductor laser 131 based on the drive pulse signal. The semiconductor laser 131 is driven according to the drive pulse signal and emits pulsed excitation light L2. The drive circuit 132 generates one or a plurality of drive pulse signals at a predetermined cycle during a predetermined light emission possible period, and the semiconductor laser 131 emits pulsed excitation light based on the drive pulse signal. It is. The drive circuit 132 changes the number of drive pulse signals or the width of the drive pulse signal during the predetermined light emission possible period based on a drive pulse control signal from the light quantity control unit 186 described later. The drive control of the semiconductor laser 131 by the drive circuit 132 will be described in detail later.

さらに励起光ユニット130には、上記駆動回路132、スイッチ134等の励起光ユニット130内に設けられた各部位と接続され、これらの各部位を制御するとともに、照明光ユニット150と間の通信制御を行う制御部140が配置されている。制御部140には信号ライン141の一端が接続されている。信号ライン141は、励起光ユニット130の筐体から外部へ延伸するものであり、その他端には、コネクタ142が設けられている。コネクタ142は、照明光ユニット150のコネクタ165と着脱自在に接続されている。   Further, the pumping light unit 130 is connected to each part provided in the pumping light unit 130 such as the drive circuit 132 and the switch 134, and controls these parts and also controls communication with the illumination light unit 150. A control unit 140 that performs is arranged. One end of a signal line 141 is connected to the control unit 140. The signal line 141 extends from the casing of the excitation light unit 130 to the outside, and a connector 142 is provided at the other end. The connector 142 is detachably connected to the connector 165 of the illumination light unit 150.

プロセッサユニット170には、通常画像モードが選択された場合に信号処理を行う通常画像処理部174および表示処理部176と、蛍光画像モードが選択された場合に信号処理を行う蛍光画像処理部182および表示処理部184と、照明光および励起光の強度を制御する光量制御部186とが設けられているプロセッサ部172を備えている。   The processor unit 170 includes a normal image processing unit 174 and a display processing unit 176 that perform signal processing when the normal image mode is selected, a fluorescent image processing unit 182 that performs signal processing when the fluorescent image mode is selected, and It includes a processor unit 172 provided with a display processing unit 184 and a light amount control unit 186 that controls the intensity of illumination light and excitation light.

通常画像処理部174は、照明光L1の被観察体10への照射によってスコープユニット110により撮像された通常像に基づいてR、G、Bの3色画像信号からなる通常画像信号を生成し、各種の信号処理を施した上、輝度(Y)信号と色差[C(R−Y,B−Y)]信号で構成されるY/C信号を生成し、表示処理部176へ出力する。表示処理部176では、Y/C信号に各種の信号処理を施し、表示用のカラー通常画像信号を生成し、このカラー通常画像信号を、例えば液晶表示装置やCRT等からなるモニタ11へ出力する。   The normal image processing unit 174 generates a normal image signal composed of three color image signals of R, G, and B based on a normal image captured by the scope unit 110 by irradiating the observation object 10 with the illumination light L1. After performing various signal processing, a Y / C signal composed of a luminance (Y) signal and a color difference [C (R−Y, B−Y)] signal is generated and output to the display processing unit 176. The display processing unit 176 performs various types of signal processing on the Y / C signal, generates a color normal image signal for display, and outputs the color normal image signal to the monitor 11 including, for example, a liquid crystal display device or a CRT. .

蛍光画像処理部182は、蛍光画像モードが選択されている場合に、照明光L1および励起光L2の両方が被観察体10に照射されている期間においてスコープユニット110により撮像された合波像に基づいてR、G、Bの3色画像信号からなる合波画像信号を生成し、その合波画像信号から通常画像処理部174において取得された通常画像信号を減算して蛍光画像信号を取得する。そして、通常画像処理部174において取得された通常画像信号と上記蛍光画像信号に各種の信号処理を施した信号を重畳して蛍光重畳画像信号を生成し、その蛍光重畳画像信号にさらに各種の信号処理を施した上、輝度(Y)信号と色差[C(R−Y,B−Y)]信号で構成されるY/C信号を生成し、表示処理部184へ出力する。表示処理部184では、Y/C信号に各種の信号処理を施し、表示用の蛍光重畳画像信号を生成し、その表示用蛍光重畳画像信号をモニタ11へ出力する。   When the fluorescence image mode is selected, the fluorescence image processing unit 182 generates a combined image captured by the scope unit 110 during a period in which both the illumination light L1 and the excitation light L2 are irradiated on the observed object 10. Based on this, a combined image signal composed of three color image signals of R, G, and B is generated, and the fluorescent image signal is acquired by subtracting the normal image signal acquired in the normal image processing unit 174 from the combined image signal. . Then, a normal image signal acquired by the normal image processing unit 174 and a signal obtained by performing various signal processing on the fluorescent image signal are superimposed to generate a fluorescent superimposed image signal, and various signals are further added to the fluorescent superimposed image signal. After processing, a Y / C signal composed of a luminance (Y) signal and a color difference [C (R−Y, B−Y)] signal is generated and output to the display processing unit 184. The display processing unit 184 performs various types of signal processing on the Y / C signal, generates a display fluorescent superimposed image signal, and outputs the display fluorescent superimposed image signal to the monitor 11.

光量制御部186は、通常画像処理部174に接続され、通常画像信号に基づく輝度信号に基づいて、照明光L1および励起光L2の光量を制御する。なお、照明光L1および励起光L2の光量制御の方法については、後で詳述する。   The light amount control unit 186 is connected to the normal image processing unit 174 and controls the light amounts of the illumination light L1 and the excitation light L2 based on the luminance signal based on the normal image signal. A method for controlling the amount of light of the illumination light L1 and the excitation light L2 will be described in detail later.

さらにプロセッサ部172には、キーボード型の入力部192およびスコープユニット110のコネクタ127と着脱自在に接続されるコネクタ194が接続されている。コネクタ194には、コネクタ127と接続されているか否かを検知する接続検知部195が設けられている。また、プロセッサ部172は、スコープユニット110の制御部121、照明光ユニット150の制御部167および励起光ユニット130に制御部140と接続されている。   Further, a connector 194 that is detachably connected to the keyboard-type input unit 192 and the connector 127 of the scope unit 110 is connected to the processor unit 172. The connector 194 is provided with a connection detection unit 195 that detects whether or not it is connected to the connector 127. The processor unit 172 is connected to the control unit 140 in the control unit 121 of the scope unit 110, the control unit 167 of the illumination light unit 150, and the excitation light unit 130.

次に、本実施形態の蛍光内視鏡装置の動作について説明する。まず、被観察体10へ照明光L1を照射して取得したカラー通常画像を動画として表示する通常画像モードの際の動作について説明する。   Next, the operation of the fluorescence endoscope apparatus of this embodiment will be described. First, an operation in the normal image mode in which a color normal image acquired by irradiating the observation object 10 with the illumination light L1 is displayed as a moving image will be described.

本蛍光内視鏡装置の使用に先立って、洗浄および殺菌されたスコープユニット110がプロセッサユニット170および照明光ユニット150へ取り付けられる。スコープユニット110の画像信号ライン125および制御信号ライン126の先端に設けられているコネクタ127は、プロセッサユニット170のコネクタ194へ接続される。また、ライトガイド112に先端に設けられている光コネクタ113は、照明光ユニット150の光コネクタ153と接続される。コネクタ194に設けられている接続検知部195は、コネクタ194へコネクタ127が接続された場合には、接続信号をプロセッサ部172へ出力する。また、光コネクタ153へ設けられている接続検知部154は、光コネクタ153へ光コネクタ113が接続された場合には接続信号を制御部167へ出力する。   Prior to use of the present fluorescence endoscope apparatus, the cleaned and sterilized scope unit 110 is attached to the processor unit 170 and the illumination light unit 150. A connector 127 provided at the tip of the image signal line 125 and the control signal line 126 of the scope unit 110 is connected to the connector 194 of the processor unit 170. The optical connector 113 provided at the tip of the light guide 112 is connected to the optical connector 153 of the illumination light unit 150. The connection detection unit 195 provided in the connector 194 outputs a connection signal to the processor unit 172 when the connector 127 is connected to the connector 194. The connection detection unit 154 provided to the optical connector 153 outputs a connection signal to the control unit 167 when the optical connector 113 is connected to the optical connector 153.

プロセッサ部172は、接続検知部195および接続検知部154から接続信号が入力された場合に、照明光ユニット150のロータリーシャッタ159を回転し、通常画像モードにおける動作を可能とし、プロセッサユニット170のプロセッサ部172を介して入力部192の所定のキーの機能形態を設定し、かつプロセッサ部172およびスコープユニット110の制御部121を介して、スイッチ122の機能形態を設定する。プロセッサ部172の制御により、使用者が入力部192の所定のキーもしくはスイッチ122を押圧すると、動作モードが停止状態と通常画像モードとの間で切り替る。   The processor unit 172 rotates the rotary shutter 159 of the illumination light unit 150 when a connection signal is input from the connection detection unit 195 and the connection detection unit 154, and can operate in the normal image mode. A function form of a predetermined key of the input unit 192 is set via the unit 172, and a function form of the switch 122 is set via the processor unit 172 and the control unit 121 of the scope unit 110. When the user presses a predetermined key or switch 122 of the input unit 192 under the control of the processor unit 172, the operation mode is switched between the stopped state and the normal image mode.

使用者が入力部192の所定のキーもしくはスイッチ122を一回押圧すると、通常画像モードにおける動作が開始される。照明光ユニット150では、駆動回路152によりキセノンランプ151が点灯し、照明光L1が連続的に射出される。照明光L1は、波長フィルタ155、絞り156、ダイクロイックミラー157を経て、集光レンズ158により光コネクタ113の端面へ集光され、ライトガイド112へ入射する。ライトガイド112内を伝播した照明光L1は、ライトガイド112の先端から射出して、照明用光学系111を介して被観察体10へ連続的に照射される。   When the user presses a predetermined key or switch 122 of the input unit 192 once, the operation in the normal image mode is started. In the illumination light unit 150, the xenon lamp 151 is turned on by the drive circuit 152, and the illumination light L1 is continuously emitted. The illumination light L 1 passes through the wavelength filter 155, the stop 156, and the dichroic mirror 157, and is collected on the end face of the optical connector 113 by the condenser lens 158 and enters the light guide 112. The illumination light L1 that has propagated through the light guide 112 is emitted from the tip of the light guide 112, and is continuously irradiated onto the object to be observed 10 through the illumination optical system 111.

なお、照明光L1の波長帯域は、波長フィルタ155により410nm以上700nm以下へ制限され、照明光L1の光量は絞り156により制御されている。絞り156による照明光L1の光量制御動作については後述する。   The wavelength band of the illumination light L1 is limited to 410 nm or more and 700 nm or less by the wavelength filter 155, and the light quantity of the illumination light L1 is controlled by the diaphragm 156. The light amount control operation of the illumination light L1 by the diaphragm 156 will be described later.

CCD駆動回路118によって駆動されたCCD117がこの被観察体10の通常像を撮像し、撮像信号を出力する。この撮像信号はCDS/AGC回路119で相関二重サンプリングと自動利得制御による増幅を受けた後、A/D変換器120でA/D変換されてプロセッサユニット170のプロセッサ部172の通常画像処理部174へ入力される。通常画像処理部174では、通常画像モードが選択されている場合に、スコープユニット110から出力された信号に基づいてR、G、Bの3色画像信号からなる通常画像信号を生成し、その通常画像各種の信号処理を施した上、輝度信号Yと色差信号Cで構成されるY/C信号(カラー通常画像信号)を生成し、表示処理部176へ出力する。表示処理部176では、このY/C信号へ対し、I/P変換およびノイズ除去などの各種信号処理を施し、モニタ11へ出力する。   The CCD 117 driven by the CCD drive circuit 118 captures a normal image of the object 10 and outputs an image signal. The imaging signal is amplified by correlated double sampling and automatic gain control in the CDS / AGC circuit 119, and then A / D converted by the A / D converter 120, and the normal image processing unit of the processor unit 172 of the processor unit 170 It is input to 174. When the normal image mode is selected, the normal image processing unit 174 generates a normal image signal composed of R, G, and B color image signals based on the signal output from the scope unit 110, After performing various kinds of image signal processing, a Y / C signal (color normal image signal) composed of a luminance signal Y and a color difference signal C is generated and output to the display processing unit 176. The display processing unit 176 performs various signal processing such as I / P conversion and noise removal on the Y / C signal, and outputs it to the monitor 11.

そして、モニタ11は、入力されたカラー通常画像信号に基づいてカラー通常画像を動画として表示する。   The monitor 11 displays the color normal image as a moving image based on the input color normal image signal.

また、通常画像処理部174は、画素毎の輝度信号Y、または隣接する複数画素の平均輝度信号Y’を光量制御部186へ出力する。光量制御部186では、入力された輝度信号Yまたは平均輝度信号Y’に基づいて、1フレーム毎に指定エリア内の画素の平均輝度値Yaを算出し、予めメモリ(図示省略)へ記憶されている基準輝度値Yrと比較して、比較結果に基づいて絞り制御信号を選択し、照明光ユニット150の制御部167へ出力する。この絞り制御信号としては、平均輝度値Yaが基準輝度値Yrより大きければ絞り156の絞り量を小さくする信号が選択され、平均輝度値Yaが基準輝度値Yrより小さければ絞り156の絞り量を大きくする信号が選択され、平均輝度値Yaが基準輝度値Yrと略等しい場合には、絞り量を維持する信号が選択される。   Further, the normal image processing unit 174 outputs the luminance signal Y for each pixel or the average luminance signal Y ′ of a plurality of adjacent pixels to the light amount control unit 186. The light quantity control unit 186 calculates the average luminance value Ya of the pixels in the designated area for each frame based on the input luminance signal Y or average luminance signal Y ′, and is stored in advance in a memory (not shown). Compared with the reference brightness value Yr, a diaphragm control signal is selected based on the comparison result and output to the control unit 167 of the illumination light unit 150. As the diaphragm control signal, a signal for decreasing the diaphragm amount of the diaphragm 156 is selected if the average luminance value Ya is larger than the reference luminance value Yr, and the diaphragm amount of the diaphragm 156 is selected if the average luminance value Ya is smaller than the reference luminance value Yr. When a signal to be increased is selected and the average luminance value Ya is substantially equal to the reference luminance value Yr, a signal for maintaining the aperture amount is selected.

照明光ユニット150の制御部167では、この絞り制御信号に基づいて、絞り156の絞り量を制御する。   The control unit 167 of the illumination light unit 150 controls the aperture amount of the aperture 156 based on the aperture control signal.

次に、蛍光画像モードの際の動作について説明する。蛍光画像モードを使用する前には、まず、洗浄および殺菌されたスコープユニット110がプロセッサユニット170および照明光ユニット150へ取り付けられる。スコープユニット110の画像信号ライン125および制御信号ライン126の先端に設けられているコネクタ127は、プロセッサユニット170のコネクタ194へ接続される。コネクタ194に設けられている接続検知部195は、コネクタ194へコネクタ127が接続された場合には、接続信号をプロセッサ部172へ出力する。また、ライトガイド112に先端に設けられている光コネクタ113は、照明光ユニット150の光コネクタ153と接続される。光コネクタ153へ設けられている接続検知部154は、光コネクタ153へ光コネクタ113が接続された場合には接続信号を制御部167へ出力する。   Next, the operation in the fluorescence image mode will be described. Before using the fluorescence image mode, first, the cleaned and sterilized scope unit 110 is attached to the processor unit 170 and the illumination light unit 150. A connector 127 provided at the tip of the image signal line 125 and the control signal line 126 of the scope unit 110 is connected to the connector 194 of the processor unit 170. The connection detection unit 195 provided in the connector 194 outputs a connection signal to the processor unit 172 when the connector 127 is connected to the connector 194. The optical connector 113 provided at the tip of the light guide 112 is connected to the optical connector 153 of the illumination light unit 150. The connection detection unit 154 provided to the optical connector 153 outputs a connection signal to the control unit 167 when the optical connector 113 is connected to the optical connector 153.

さらに、励起光ユニット130が照明光ユニット150へ接続される。励起光ユニット130の信号ライン141の先端に設けられているコネクタ142は、照明光ユニット150のコネクタ165へ接続される。コネクタ165に設けられている接続検知部166は、コネクタ165へコネクタ142が接続された場合には、接続信号を制御部167へ出力する。また、ライトガイド133の先端に設けられている光コネクタ136は、照明光ユニット150の光コネクタ161へ接続される。光コネクタ161に設けられている接続検知部162は、光コネクタ161へ光コネクタ136が接続された場合には接続信号を制御部167へ出力する。   Further, the excitation light unit 130 is connected to the illumination light unit 150. The connector 142 provided at the tip of the signal line 141 of the excitation light unit 130 is connected to the connector 165 of the illumination light unit 150. The connection detection unit 166 provided in the connector 165 outputs a connection signal to the control unit 167 when the connector 142 is connected to the connector 165. The optical connector 136 provided at the tip of the light guide 133 is connected to the optical connector 161 of the illumination light unit 150. The connection detection unit 162 provided in the optical connector 161 outputs a connection signal to the control unit 167 when the optical connector 136 is connected to the optical connector 161.

励起光ユニット130の制御部140は、照明光ユニット150の制御部167と通信を行い、接続検知部166および接続検知部162から接続信号が入力された場合に、励起光ユニット130のスイッチ134を閉じ、半導体レーザ131と駆動回路132との間を電気的に接続し、駆動回路132による半導体レーザ131の駆動を可能とし、また、またプロセッサユニット170のプロセッサ部172を介して入力部192の所定のキーの機能形態を設定し、かつプロセッサ部172およびスコープユニット110の制御部121を介して、スイッチ122の機能形態を設定する。プロセッサ部172の制御により、使用者が入力部192の所定のキーもしくはスイッチ122を押圧すると、動作モードが停止状態、通常画像モードと蛍光画像モードの間で切り替る。なお、接続検知部166および接続検知部162に両方から接続信号が入力されていない場合、すなわち両者から接続信号が入力されていない、あるいはどちらか一方から接続入力信号が入力されていない場合には、励起光ユニット130においては、常にスイッチ134は開状態となっている。このため、励起光ユニット130が、照明光ユニット150へ接続されていない状態で、半導体レーザ131が駆動されることはない。   The control unit 140 of the excitation light unit 130 communicates with the control unit 167 of the illumination light unit 150, and when a connection signal is input from the connection detection unit 166 and the connection detection unit 162, the switch 134 of the excitation light unit 130 is turned on. The semiconductor laser 131 and the drive circuit 132 are electrically connected to each other, the semiconductor laser 131 can be driven by the drive circuit 132, and the predetermined input of the input unit 192 is provided via the processor unit 172 of the processor unit 170. The functional form of the switch 122 is set through the processor unit 172 and the control unit 121 of the scope unit 110. When the user presses a predetermined key or switch 122 of the input unit 192 under the control of the processor unit 172, the operation mode is switched between the stopped state, the normal image mode, and the fluorescent image mode. In the case where no connection signal is input from both the connection detection unit 166 and the connection detection unit 162, that is, no connection signal is input from either of them, or no connection input signal is input from either of them. In the excitation light unit 130, the switch 134 is always open. For this reason, the semiconductor laser 131 is not driven in a state where the excitation light unit 130 is not connected to the illumination light unit 150.

通常画像モードにおいて動作している際に、使用者が入力部192の所定のキーもしくはスイッチ122を一回押圧すると、蛍光画像モードにおける動作が開始される。照明光ユニット150に加え励起光ユニット130が動作を開始する。駆動回路132から出力された駆動パルス信号に基づいて半導体レーザ131がパルス駆動され、波長405nmの励起光L2が射出される。具体的には、図2に示すように、周期Tで発光可能期間T2にパルス幅T3のパルス励起光が射出される。   When operating in the normal image mode, when the user presses a predetermined key or switch 122 of the input unit 192 once, the operation in the fluorescent image mode is started. In addition to the illumination light unit 150, the excitation light unit 130 starts operating. The semiconductor laser 131 is pulse-driven based on the drive pulse signal output from the drive circuit 132, and the excitation light L2 having a wavelength of 405 nm is emitted. Specifically, as shown in FIG. 2, pulse excitation light having a pulse width T3 is emitted in a period T2 with a period T.

励起光L2は、集光レンズ135により集光され、ライトガイド133の端面へ入射する。ライトガイド133を伝播した励起光L2は、光コネクタ136、光コネクタ161を介してライトガイド163へ入射する。ライトガイド163を伝播し、その端部から射出した励起光L2は、コリメータレンズ164により平行光へ変換され、ダイクロイックミラー157へ入射する。励起光L2の波長が405nmであるため、励起光L2はダイクロイックミラー157で直角に反射し、集光レンズ158により光コネクタ113の端面へ集光され、ライトガイド112へ入射する。  The excitation light L2 is collected by the condenser lens 135 and is incident on the end surface of the light guide 133. The excitation light L 2 that has propagated through the light guide 133 enters the light guide 163 via the optical connector 136 and the optical connector 161. The excitation light L2 propagating through the light guide 163 and exiting from the end thereof is converted into parallel light by the collimator lens 164 and enters the dichroic mirror 157. Since the wavelength of the excitation light L <b> 2 is 405 nm, the excitation light L <b> 2 is reflected by the dichroic mirror 157 at a right angle, is condensed on the end face of the optical connector 113 by the condenser lens 158, and enters the light guide 112.

ライトガイド112内を伝播した励起光L2は、ライトガイド112の先端から射出して、照明用光学系111を介して被観察体10へ照射される。なお、この際には、被観察体10の励起光L2の照射位置へは照明光L1も照射されている。  The excitation light L2 that has propagated through the light guide 112 exits from the tip of the light guide 112 and is irradiated to the object 10 through the illumination optical system 111. At this time, the illumination light L1 is also irradiated to the irradiation position of the excitation light L2 of the object 10 to be observed.

そして、CCD駆動回路118により駆動されたCCD117は、図2に示す照射光L1のみが照射されている期間T1においては、被観察体10で反射された照明光L1の反射光からなる通常像を撮像し、図2に示す発光可能期間T2においては、被観察体10で反射された照明光L1の反射光と励起光L2の照射により被観察体10から発せられた蛍光とからなる合波像を撮像する。なお、CCD117の先端には、波長410nm以下の光をカットする励起光カットフィルタが設けられているため、励起光L2の反射光はほとんどCCD117へは入射しない。   Then, the CCD 117 driven by the CCD driving circuit 118 displays a normal image composed of the reflected light of the illumination light L1 reflected by the observation object 10 in the period T1 during which only the irradiation light L1 shown in FIG. In the light emission possible period T2 shown in FIG. 2, a combined image composed of the reflected light of the illumination light L1 reflected by the observed object 10 and the fluorescence emitted from the observed object 10 by irradiation of the excitation light L2. Image. Note that since the excitation light cut filter for cutting light having a wavelength of 410 nm or less is provided at the tip of the CCD 117, the reflected light of the excitation light L2 hardly enters the CCD 117.

CCD117は、期間T1で取得した撮像信号と発光可能期間T2で取得した撮像信号を交互に出力し、これらの撮像信号はCDS/AGC回路119で相関二重サンプリングと自動利得制御による増幅を受けた後、A/D変換器120でA/D変換されて、RGB画像信号としてプロセッサユニット170のプロセッサ部172へ入力される。このとき期間T1で取得された通常像に基づくRGB画像信号は通常画像処理部174に入力され、発光可能期間T2で取得された合波像に基づくRGB画像信号は蛍光画像処理部182に入力される。   The CCD 117 alternately outputs the imaging signal acquired in the period T1 and the imaging signal acquired in the light emission enabled period T2, and these imaging signals were amplified by the CDS / AGC circuit 119 by correlated double sampling and automatic gain control. Thereafter, A / D conversion is performed by the A / D converter 120 and the RGB image signal is input to the processor unit 172 of the processor unit 170. At this time, the RGB image signal based on the normal image acquired in the period T1 is input to the normal image processing unit 174, and the RGB image signal based on the combined image acquired in the light emission enabled period T2 is input to the fluorescence image processing unit 182. The

そして、通常画像処理部174は、入力されたRGB画像信号から通常画像信号を生成し、その通常画像信号を蛍光画像処理部182に出力する。   Then, the normal image processing unit 174 generates a normal image signal from the input RGB image signal, and outputs the normal image signal to the fluorescence image processing unit 182.

一方、蛍光画像処理部182は、入力されたRGB画像信号から合波画像信号を生成し、その合波画像信号から通常画像信号を減算して蛍光画像信号を生成する。そして、上記蛍光画像信号に各種の信号処理を施した上、通常画像信号を重畳して蛍光重畳画像信号を生成し、その蛍光重畳画像信号にさらに各種の信号処理を施した上、輝度(Y)信号と色差[C(R−Y,B−Y)]信号で構成されるY/C信号を生成し、表示処理部184へ出力する。表示処理部184では、Y/C信号に各種の信号処理を施し、表示用蛍光重畳画像信号を生成し、その表示用蛍光重畳画像信号をモニタ11へ出力する。   On the other hand, the fluorescence image processing unit 182 generates a combined image signal from the input RGB image signal, and subtracts the normal image signal from the combined image signal to generate a fluorescent image signal. Then, the fluorescent image signal is subjected to various signal processing, the normal image signal is superimposed to generate a fluorescent superimposed image signal, the fluorescent superimposed image signal is further subjected to various signal processing, and the luminance (Y ) A Y / C signal composed of the signal and the color difference [C (R−Y, BY)] signal is generated and output to the display processing unit 184. The display processing unit 184 performs various types of signal processing on the Y / C signal, generates a display fluorescent superimposed image signal, and outputs the display fluorescent superimposed image signal to the monitor 11.

そして、モニタ11は、入力された表示用蛍光重畳画像信号に基づいて、蛍光画像と通常画像とが重ねあわされた蛍光重畳画像を動画として表示する。   Then, the monitor 11 displays, as a moving image, the fluorescent superimposed image in which the fluorescent image and the normal image are overlapped based on the input display fluorescent superimposed image signal.

また、通常画像処理部174は、画素毎の輝度信号Y、または隣接する複数画素の平均輝度信号Y’を光量制御部186へ出力する。光量制御部186では、1フレーム毎に指定エリア内の画素の平均輝度値Yaを算出し、予めメモリ(図示省略)へ記憶されている基準輝度値Yrと比較して、比較結果に基づいて絞り制御信号を選択し、照明光ユニット150の制御部167へ出力する。この絞り制御信号としては、平均輝度値Yaが基準輝度値Yrより大きければ絞り156の絞り量を小さくする信号が選択され、平均輝度値Yaが基準輝度値Yrより小さければ絞り156の絞り量を大きくする信号が選択され、平均輝度値Yaが基準輝度値Yrと略等しい場合には、絞り量を維持する信号が選択される。   Further, the normal image processing unit 174 outputs the luminance signal Y for each pixel or the average luminance signal Y ′ of a plurality of adjacent pixels to the light amount control unit 186. The light amount control unit 186 calculates an average luminance value Ya of the pixels in the designated area for each frame, compares it with a reference luminance value Yr stored in advance in a memory (not shown), and reduces the aperture based on the comparison result. A control signal is selected and output to the control unit 167 of the illumination light unit 150. As the diaphragm control signal, a signal for decreasing the diaphragm amount of the diaphragm 156 is selected if the average luminance value Ya is larger than the reference luminance value Yr, and the diaphragm amount of the diaphragm 156 is selected if the average luminance value Ya is smaller than the reference luminance value Yr. When a signal to be increased is selected and the average luminance value Ya is substantially equal to the reference luminance value Yr, a signal for maintaining the aperture amount is selected.

また、照明光L1の光量と励起光L2の光量との比率が所定の値になるように、絞り制御信号と対応する駆動パルス制御信号が光量制御部186から駆動回路132に出力される。そして、駆動回路132は、入力された駆動パルス制御信号に基づいて、駆動パルス信号のパルス幅を変更する、または所定の発光可能期間T2の間に生成する駆動パルス信号の数を変更する。そして、半導体レーザ131はその駆動パルス信号に基づいてパルス状の励起光を射出する。具体的には、図3に示す励起光L2の発光パターン1のように発光可能期間T2の間に発光するパルス励起光の数が変更されるか、あるいは発光パターン2のように、パルス励起光のパルス幅(パルス励起光発光時間)が変更されることにより、発光可能期間T2における励起光L2の光量が変更される。このとき、照明光L1に対する絞り156への制御信号が光量減少の信号である場合には、パルス励起光のパルス幅を狭くする、もしくは発光可能期間T2の間に発光するパルス励起光の数を減少させることによって、発光可能期間T2における励起光L2の光量が減らされる。また、照明光L1に対する絞り156への制御信号が光量増大の信号である場合には、パルス励起光のパルス幅を広くする、もしくは発光可能期間T2の間に発光するパルス励起光の数を増加させることによって、発光可能期間T2における励起光L2の光量が増やされる。なお、上記説明では、図2に示す発光パターンからまず説明したが、パルス励起光の発光パターンの初期設定としては、図3の発光パターン1や発光パターン2にしておき、パルス励起光の数または幅を増減させることによって光量を制御することができる。   Further, a drive pulse control signal corresponding to the aperture control signal is output from the light amount control unit 186 to the drive circuit 132 so that the ratio between the light amount of the illumination light L1 and the light amount of the excitation light L2 becomes a predetermined value. Then, the drive circuit 132 changes the pulse width of the drive pulse signal based on the input drive pulse control signal, or changes the number of drive pulse signals generated during the predetermined light emission possible period T2. The semiconductor laser 131 emits pulsed excitation light based on the drive pulse signal. Specifically, the number of pulse excitation lights emitted during the light emission possible period T2 is changed as in the emission pattern 1 of the excitation light L2 shown in FIG. Is changed, the light quantity of the excitation light L2 in the light emission possible period T2 is changed. At this time, when the control signal to the diaphragm 156 with respect to the illumination light L1 is a light amount reduction signal, the pulse width of the pulse excitation light is narrowed or the number of pulse excitation light emitted during the light emission possible period T2 is set. By reducing, the light quantity of the excitation light L2 in the light emission possible period T2 is reduced. Further, when the control signal to the diaphragm 156 for the illumination light L1 is a signal for increasing the light amount, the pulse width of the pulse excitation light is widened or the number of pulse excitation light emitted during the light emission possible period T2 is increased. By doing so, the light quantity of the excitation light L2 in the light emission possible period T2 is increased. In the above description, the light emission pattern shown in FIG. 2 is first described. However, as the initial setting of the light emission pattern of the pulse excitation light, the light emission pattern 1 or light emission pattern 2 in FIG. The amount of light can be controlled by increasing or decreasing the width.

なお、照明光L1の光量と励起光L2の光量との比率は、予め入力部192からの入力操作により設定可能であり、光量制御部186ではこの設定された比率と、照明光L1の絞り量とに基づいて、パルス励起光のパルス幅と発光可能期間T2におけるパルス励起光の数を決定し、これらに基づいて駆動パルス制御信号を出力する。   Note that the ratio between the light amount of the illumination light L1 and the light amount of the excitation light L2 can be set in advance by an input operation from the input unit 192, and the light amount control unit 186 sets the set ratio and the aperture amount of the illumination light L1. Based on the above, the pulse width of the pulse excitation light and the number of pulse excitation light in the light emission possible period T2 are determined, and based on these, the drive pulse control signal is output.

照明光ユニット150の制御部167では、この絞り制御信号に基づいて、絞り156の絞り量を制御する。また、励起光ユニット130の制御部140では、この駆動パルス制御信号に基づいて、駆動回路132から半導体レーザ131へ供給される駆動パルス信号が制御される。   The control unit 167 of the illumination light unit 150 controls the aperture amount of the aperture 156 based on the aperture control signal. In addition, the control unit 140 of the excitation light unit 130 controls the drive pulse signal supplied from the drive circuit 132 to the semiconductor laser 131 based on the drive pulse control signal.

なお、上記実施形態においては、発光可能期間T2におけるパルス励起光のパルス幅またはパルス励起光の数を制御することにより、発光可能期間T2における励起光L2の光量を制御するようにしたが、発光可能期間T2におけるパルス励起光の数とパルス励起光のパルス幅を同時に制御することによって励起光L2の光量を制御するようにしてもよい。   In the above embodiment, the light amount of the excitation light L2 in the light emission possible period T2 is controlled by controlling the pulse width of the pulse excitation light or the number of pulse excitation light in the light emission possible period T2. The amount of the excitation light L2 may be controlled by simultaneously controlling the number of pulse excitation light and the pulse width of the pulse excitation light in the possible period T2.

また、上記説明においては、蛍光画像信号と通常画像信号を重畳して蛍光重畳画像信号を生成し、その蛍光重畳画像信号に基づいて表示用蛍光重畳画像を表示するようにしたが、これに限らず、たとえば、蛍光画像信号を通常画像信号の輝度信号Yの値で除算することにより蛍光収率を求め、この蛍光収率に対して、その大きさに応じて赤、黄、緑の色を順次割り当てて、表示用蛍光画像を作成し、その表示用蛍光画像をモニタ11に表示させるようにしてもよい。   In the above description, the fluorescence image signal and the normal image signal are superimposed to generate a fluorescence image signal, and the display fluorescence superimposed image is displayed based on the fluorescence image signal. However, the present invention is not limited to this. First, for example, the fluorescence yield is obtained by dividing the fluorescence image signal by the value of the luminance signal Y of the normal image signal, and red, yellow, and green colors are obtained according to the magnitude of the fluorescence yield. The display fluorescent image may be generated by sequentially assigning and displaying the fluorescent image for display on the monitor 11.

また、正常組織から発せられる蛍光と病変組織から発せられる蛍光とでは強度が異なることを利用して、上記のようにして求めた蛍光収率に基づいて被観察体10が病変組織であるか正常組織であるかを判断する判断部を設けるようにしてもよい。そして、判断部において、正常組織であると判断された場合には、通常画像を表示し、病変組織であると判断された場合には、蛍光収率に応じて該当画素の通常画像色を変更した新規蛍光画像を生成して表示するようにしてもよい。   Further, by utilizing the fact that the fluorescence emitted from the normal tissue and the fluorescence emitted from the diseased tissue have different intensities, it is determined whether the observed object 10 is a diseased tissue based on the fluorescence yield obtained as described above. You may make it provide the judgment part which judges whether it is an organization. When the determination unit determines that the tissue is normal, the normal image is displayed. When the determination unit determines that the tissue is a lesion, the normal image color of the corresponding pixel is changed according to the fluorescence yield. A new fluorescent image may be generated and displayed.

なお、通常画像についても、所定のゲインおよび/またはオフセットをかけて新規通常画像を生成して表示するようにしてもよい。なお、この場合、通常画像に対するゲインおよび/またはオフセットは、蛍光画像に対するゲインおよび/またはオフセットと異なるものとすることが望ましく、たとえば、蛍光画像に対するゲインGAINf>通常画像に対するゲインGAINn、蛍光画像に対するオフセットOFFSETf>通常画像に対するオフセットOFFSETnとすることができる。   As for the normal image, a new normal image may be generated and displayed by applying a predetermined gain and / or offset. In this case, the gain and / or offset for the normal image is preferably different from the gain and / or offset for the fluorescent image. For example, the gain GAINf for the fluorescent image> the gain GAINn for the normal image, and the offset for the fluorescent image. OFFSETf> offset OFFSETn with respect to the normal image.

また、蛍光強調のために合波画像信号に蛍光画像信号を加算して表示用蛍光画像を生成するようにしてもよい。   Further, a fluorescent image signal may be added to the combined image signal for fluorescence enhancement to generate a display fluorescent image.

また、上記実施形態の蛍光内視鏡装置においては、上述したように通常画像信号は照明光L1のみが照射されている期間に撮像された通常像に基づいて生成し、蛍光画像信号は照明光L1と励起光L2の両方が照射されている期間に撮像された合波像に基づいて生成するようにしているが、通常像が撮像された期間と合波像が撮像された期間とが異なるので、それぞれの像に対応する被観察体10における撮像位置が異なる場合がある。このような場合には、たとえば、通常像に基づく通常画像信号と合波像に基づく合波画像信号とに基づいて撮像位置のずれを検出し、その位置ずれ量に応じて、たとえば、いずれか一方の画像信号にシフト補正などを施して位置合わせをするようにしてもよい。   Moreover, in the fluorescence endoscope apparatus of the said embodiment, as mentioned above, a normal image signal is produced | generated based on the normal image imaged in the period when only the illumination light L1 is irradiated, and a fluorescence image signal is illumination light. Although generated based on a combined image captured during a period in which both L1 and excitation light L2 are irradiated, the period during which the normal image is captured is different from the period during which the combined image is captured. Therefore, the imaging position in the observed object 10 corresponding to each image may be different. In such a case, for example, the shift of the imaging position is detected based on the normal image signal based on the normal image and the combined image signal based on the combined image, and, for example, either One image signal may be aligned by performing shift correction or the like.

また、図4に示すように、上記実施形態の蛍光内視鏡装置にさらに分光画像処理部188を設け、通常画像処理部174において取得されたRGB画像信号からなる通常画像信号、蛍光画像処理部182において取得されたRGB画像信号からなる合波画像信号および蛍光画像信号のうちの少なくとも一つに分光画像処理を施すようにしてもよい。なお、分光画像処理を施すか否かは入力部192からの入力操作により選択可能である。   Further, as shown in FIG. 4, the fluorescence endoscope apparatus of the above embodiment is further provided with a spectral image processing unit 188, and a normal image signal composed of RGB image signals acquired by the normal image processing unit 174, a fluorescent image processing unit Spectral image processing may be performed on at least one of the combined image signal and the fluorescence image signal made up of the RGB image signals acquired in 182. Note that whether or not to perform spectral image processing can be selected by an input operation from the input unit 192.

以下、通常画像信号、蛍光画像信号または合波画像信号に分光画像処理を施す場合の作用について説明する。   Hereinafter, an operation when the spectral image processing is performed on the normal image signal, the fluorescence image signal, or the combined image signal will be described.

分光画像処理部188では、各画素毎に、通常画像信号、蛍光画像信号または合波画像信号の3色画像信号R、G、Bに対して、メモリ(図示省略)に記憶されている推定マトリクスデータの全てのパラメータからなる3×59のマトリクスを用いて、次式(1)で示すマトリクス演算を行って、分光推定データ(q1〜q59)を作成する。

Figure 2009279172
In the spectral image processing unit 188, for each pixel, an estimation matrix stored in a memory (not shown) for the three-color image signals R, G, and B of the normal image signal, the fluorescence image signal, or the combined image signal. Spectral estimation data (q1 to q59) is generated by performing a matrix calculation represented by the following equation (1) using a 3 × 59 matrix including all parameters of the data.
Figure 2009279172

ここで、推定マトリクスデータは、上述したようにテーブルとしてメモリ(図示省略)にあらかじめ記憶されている。なお、この推定マトリクスデータの詳細は、特開2003−93336号公報あるいは特開2007−202621号公報などに開示されている。本実施形態において、このメモリに格納されている推定マトリクスデータの一例は次の表1のようになる。

Figure 2009279172
Here, the estimation matrix data is stored in advance in a memory (not shown) as a table as described above. The details of the estimation matrix data are disclosed in Japanese Patent Laid-Open No. 2003-93336 or Japanese Patent Laid-Open No. 2007-202621. In the present embodiment, an example of estimated matrix data stored in this memory is as shown in Table 1 below.
Figure 2009279172

この表1の推定マトリクスデータは、例えば410nmから700nmの波長域を5nm間隔で分けた59の波長域パラメータ(係数セット)p1〜p59からなる。パラメータp1〜p59は各々、マトリクス演算のための係数kpr,kpg,kpb(p=1〜59)から構成されている。 The estimation matrix data in Table 1 includes 59 wavelength region parameters (coefficient sets) p1 to p59 obtained by dividing the wavelength region from 410 nm to 700 nm at 5 nm intervals, for example. Each of the parameters p1 to p59 includes coefficients k pr , k pg , and k pb (p = 1 to 59) for matrix calculation.

そして、たとえば、入力部192の操作によってλ1,λ2,λ3の3つの波長域が選択され、メモリに記憶されている推定マトリクスデータの中からそれらの3つの選択波長域に対応するパラメータをメモリから読み出す。   Then, for example, three wavelength ranges of λ1, λ2, and λ3 are selected by operating the input unit 192, and parameters corresponding to the three selected wavelength ranges are estimated from the estimated matrix data stored in the memory. read out.

例えば、3つの波長域λ1,λ2,λ3として波長500nm,620nm,650nmが選択された場合は、それぞれの波長に対応する表1のパラメータp21,p45,p51の係数が用いられて、通常画像信号、蛍光画像信号または合波画像信号のRGB信号に上式(1)のマトリクス演算が施され、分光推定データλ1s,λ2s,λ3sが算出される。   For example, when the wavelengths 500 nm, 620 nm, and 650 nm are selected as the three wavelength ranges λ1, λ2, and λ3, the coefficients of the parameters p21, p45, and p51 in Table 1 corresponding to the respective wavelengths are used to generate the normal image signal. Then, the matrix calculation of the above equation (1) is performed on the RGB signals of the fluorescence image signal or the combined image signal to calculate the spectral estimation data λ1s, λ2s, λ3s.

そして、この算出された分光推定データλ1s,λ2s,λ3sにそれぞれ適切なゲイン、オフセットを加味して擬似色分光推定データλ1t,λ2t,λ3tが算出され、この擬似色分光推定データλ1t,λ2t,λ3tがそれぞれR’、G’、B’の画像信号とされる。   Then, pseudo color spectral estimation data λ1t, λ2t, and λ3t are calculated by adding appropriate gain and offset to the calculated spectral estimation data λ1s, λ2s, and λ3s, respectively, and the pseudo color spectral estimation data λ1t, λ2t, and λ3t are calculated. Are image signals of R ′, G ′, and B ′, respectively.

そして、この擬似3色画像信号R’、G’、B’を用いて、輝度信号Yと色差信号Cで構成されるY/C信号を生成し、表示処理部184へ出力する。表示処理部184では、Y/C信号に各種の信号処理を施し、擬似カラー画像信号を生成し、その擬似カラー画像信号をモニタ11へ出力する。   Then, using the pseudo three-color image signals R ′, G ′, and B ′, a Y / C signal composed of the luminance signal Y and the color difference signal C is generated and output to the display processing unit 184. The display processing unit 184 performs various kinds of signal processing on the Y / C signal, generates a pseudo color image signal, and outputs the pseudo color image signal to the monitor 11.

なお、分光画像処理部188においても、蛍光収率を求め、該蛍光収率に基づいて蛍光画像を生成するようにしてもよい。   The spectral image processing unit 188 may also obtain the fluorescence yield and generate a fluorescence image based on the fluorescence yield.

具体的には、分光画像処理部188は、参照光強度として通常画像信号に対する分光画像処理で取得した輝度信号Yの値を使用し、蛍光画像に対する分光画像処理で取得した輝度信号Y’を輝度信号Yの値で除算することにより、推定蛍光収率を求め、この推定蛍光収率に対して、例えば、図5に示すように、赤、黄、緑の色を順次割り当てて、表示用蛍光画像を作成する。この場合には推定蛍光収率が小さくなる病変組織は赤色に、推定蛍光収率が大きい正常組織は緑色に表示される。なお、推定蛍光収率が所定の下限値以下である場合には、赤のみを割り当て、所定の上限値以上である場合には緑を割り当てる。あるいは、図6に示すように、推定蛍光収率に対して、赤、黄、緑、シアン、青を割り当て、推定蛍光収率が所定の下限値以下である場合、あるいは所定の上限値以上である場合には無彩色を割り当ててもよい。   Specifically, the spectral image processing unit 188 uses the value of the luminance signal Y acquired by the spectral image processing for the normal image signal as the reference light intensity, and uses the luminance signal Y ′ acquired by the spectral image processing for the fluorescent image as the luminance. The estimated fluorescence yield is obtained by dividing by the value of the signal Y, and red, yellow, and green colors are sequentially assigned to the estimated fluorescence yield, for example, as shown in FIG. Create an image. In this case, a lesion tissue with a small estimated fluorescence yield is displayed in red, and a normal tissue with a large estimated fluorescence yield is displayed in green. When the estimated fluorescence yield is equal to or lower than the predetermined lower limit value, only red is allocated, and when it is equal to or higher than the predetermined upper limit value, green is allocated. Alternatively, as shown in FIG. 6, red, yellow, green, cyan, and blue are assigned to the estimated fluorescence yield, and the estimated fluorescence yield is equal to or lower than a predetermined lower limit value, or is equal to or higher than a predetermined upper limit value. In some cases, an achromatic color may be assigned.

なお、本実施の形態においては、参照光強度として通常画像信号に対する分光画像処理で取得した輝度信号Yの値を用いたが、例えば、正常組織から発せられる蛍光強度と病変組織から発せられる蛍光強度との差が少ない長波長帯域、例えば620nmにおける分光推定データから求めた光強度などを用いてもよい。   In this embodiment, the value of the luminance signal Y acquired by the spectral image processing for the normal image signal is used as the reference light intensity. For example, the fluorescence intensity emitted from the normal tissue and the fluorescence intensity emitted from the diseased tissue are used. For example, light intensity obtained from spectral estimation data in a long wavelength band with a small difference with respect to 620 nm, for example, may be used.

そして、たとえば、分光画像処理部188では、観察者が、推定蛍光収率が小さくなる病変組織の位置を確認しやすいように、通常画像の輝度信号Yを反映させた画像、すなわち白黒通常画像へ、上述の推定蛍光収率に任意のゲイン、オフセットを加味したデータをR、G、Bの1つもしくは2つに割り当てて生成した蛍光画像を重畳して表示用蛍光重畳画像を生成し、表示処理部184へ出力する。表示処理部184では、分光画像処理部188から出力されたカラー通常画像と表示用蛍光重畳画像を並べて表示した表示画像を生成し、モニタ11へ出力して表示させても良い。   Then, for example, in the spectral image processing unit 188, an image reflecting the luminance signal Y of the normal image, that is, a black and white normal image is displayed so that the observer can easily confirm the position of the lesion tissue in which the estimated fluorescence yield is small. , The above-described estimated fluorescence yield is added to one or two of R, G, and B with data including an arbitrary gain and offset, and a fluorescence image for display is generated and superimposed. The data is output to the processing unit 184. The display processing unit 184 may generate a display image in which the color normal image output from the spectral image processing unit 188 and the display fluorescent superimposed image are displayed side by side, and may output the display to the monitor 11 for display.

さらに、本発明の形態は、上記のような実施形態に限定されるものではなく、例えばスコープ部先端にLED等の光源部を備えた内視鏡装置、あるいはカプセル内視鏡装置等であってもよい。   Furthermore, the form of the present invention is not limited to the above-described embodiment. For example, the endoscope apparatus includes a light source unit such as an LED at the distal end of the scope unit, or a capsule endoscope apparatus. Also good.

また、CCD117のモザイクフィルタとしては、原色型の3色フィルタを用いて説明を行ったが、これに限定されるものではなく、4色型あるいは補色型等のモザイクフィルタ等を用いることもできる。   Further, although the description has been given using the primary color type three-color filter as the mosaic filter of the CCD 117, the present invention is not limited to this, and a mosaic filter such as a four-color type or a complementary color type can also be used.

なお、本実施の形態においては、生体組織そのものから発せられる自家蛍光を取得したが、取得する蛍光は例えば蛍光薬剤であるインドシアニングリーン(Indocyanine green)、光感受性物質である(ATX-S10、5-ALA、NPe6、HAT-D01、Photofrin-2等)等が注入、吸収された観察部から発せられる薬剤蛍光であってもよい。また、励起光として405nmの光を用いたが、これに限定されるものではない。例えば、蛍光薬剤としてインドシアニングリーン(Indocyanine green)を用いる場合であれば、700nm〜800nmの波長帯域の光を励起光として使用することができ、800nm以上の波長帯域の薬剤蛍光が発せられる。さらに、励起光光源の種類はレーザに限らず、LEDでも良い。   In the present embodiment, autofluorescence emitted from the living tissue itself is acquired. However, the acquired fluorescence is, for example, indocyanine green, which is a fluorescent agent, or a photosensitive substance (ATX-S10, 5 -ALA, NPe6, HAT-D01, Photofrin-2, etc.) may be injected into and absorbed from the observation part. Moreover, although 405 nm light was used as excitation light, it is not limited to this. For example, when indocyanine green is used as a fluorescent agent, light having a wavelength band of 700 nm to 800 nm can be used as excitation light, and drug fluorescence having a wavelength band of 800 nm or more is emitted. Furthermore, the type of the excitation light source is not limited to a laser, but may be an LED.

本発明の蛍光内視鏡装置の一実施形態の概略構成を示すブロック図The block diagram which shows schematic structure of one Embodiment of the fluorescence endoscope apparatus of this invention 本発明の蛍光内視鏡装置の一実施形態における照明光と励起光の発光パターンを示す図The figure which shows the light emission pattern of illumination light and excitation light in one Embodiment of the fluorescence endoscope apparatus of this invention 本発明の蛍光内視鏡装置の一実施形態における照明光と励起光の発光パターンを示す図The figure which shows the light emission pattern of illumination light and excitation light in one Embodiment of the fluorescence endoscope apparatus of this invention 本発明の蛍光内視鏡装置のその他の実施形態の概略構成を示すブロック図The block diagram which shows schematic structure of other embodiment of the fluorescence endoscope apparatus of this invention. 蛍光収率に対する色の割り当て方法の説明図Illustration of how to assign colors to fluorescence yield 他の蛍光収率に対する色の割り当て方法の説明図Illustration of how to assign colors to other fluorescence yields

符号の説明Explanation of symbols

10 被観察体
11 モニタ
100 蛍光内視鏡装置
110 スコープユニット
111 照明用光学系
118 CCD駆動回路
119 CDS/AGC回路
120 A/D変換器
121 制御部
122 スイッチ
130 励起光ユニット
131 半導体レーザ
132 駆動回路
134 スイッチ
140 制御部
150 照明光ユニット
151 キセノンランプ
152 駆動回路
167 制御部
170 プロセッサユニット
172 プロセッサ部
174 通常画像処理部
176 表示処理部
182 蛍光画像処理部
184 表示処理部
186 光量制御部
188 分光画像処理部
192 入力部
DESCRIPTION OF SYMBOLS 10 Object 11 Monitor 100 Fluorescence endoscope apparatus 110 Scope unit 111 Illumination optical system 118 CCD drive circuit 119 CDS / AGC circuit 120 A / D converter 121 Control part 122 Switch 130 Excitation light unit 131 Semiconductor laser 132 Drive circuit 134 Switch 140 Control unit 150 Illumination light unit 151 Xenon lamp 152 Drive circuit 167 Control unit 170 Processor unit 172 Processor unit 174 Normal image processing unit 176 Display processing unit 182 Fluorescent image processing unit 184 Display processing unit 186 Light amount control unit 188 Spectral image processing Part 192 Input part

Claims (4)

照明光を連続的に射出するように照明光源手段を駆動するとともに、パルス状の励起光を射出するように励起光源手段をパルス信号に基づいてパルス駆動し、
前記照明光の照射により前記被観察体から反射された反射光からなる像および前記励起光の照射により前記被観察体から発せられた蛍光を含む像を撮像し、
該撮像した前記反射光からなる像に基づいて通常画像を生成するとともに、前記撮像した前記蛍光を含む像に基づいて蛍光画像を生成し、
前記通常画像の代表輝度値が所定輝度値となるように前記照明光の光量を制御するとともに、前記照明光の光量に対して前記励起光の光量が予め設定された比率となるように前記パルス信号を制御することによって前記励起光の光量を制御することを特徴とする蛍光画像取得方法。
Driving the illumination light source means so as to emit the illumination light continuously, and pulse driving the excitation light source means based on the pulse signal so as to emit the pulsed excitation light,
Taking an image composed of reflected light reflected from the observed object by irradiation of the illumination light and an image including fluorescence emitted from the observed object by irradiation of the excitation light,
A normal image is generated based on the captured image of the reflected light, and a fluorescent image is generated based on the captured image including the fluorescence,
The light quantity of the illumination light is controlled so that the representative brightness value of the normal image becomes a predetermined brightness value, and the pulse light quantity is set so that the light quantity of the excitation light becomes a preset ratio with respect to the light quantity of the illumination light. A fluorescent image acquisition method, wherein the amount of the excitation light is controlled by controlling a signal.
照明光を連続的に射出する照明光源手段と、
パルス信号に基づいてパルス駆動され、パルス状の励起光を射出する励起光源手段と、
前記照明光と前記励起光とを被観察体の略同一箇所へ照射する照射手段と、
前記照明光の照射により前記被観察体から反射された反射光からなる像および前記励起光の照射により前記被観察体から発せられた蛍光を含む像を撮像する撮像手段と、
該撮像手段により撮像された前記反射光からなる像に基づいて通常画像を生成するとともに、前記撮像手段により撮像された前記蛍光を含む像に基づいて蛍光画像を生成する画像処理手段と、
前記通常画像の代表輝度値が所定輝度値となるように前記照明光の光量を制御するとともに、前記照明光の光量に対して前記励起光の光量が予め設定された比率となるように前記パルス信号を制御することによって前記励起光の光量を制御する光量制御手段とを備えたことを特徴とする蛍光画像取得装置。
Illumination light source means for continuously emitting illumination light;
Excitation light source means that is pulse-driven based on a pulse signal and emits pulsed excitation light;
Irradiation means for irradiating the illumination light and the excitation light to substantially the same location of the observation object;
An imaging unit that captures an image including reflected light reflected from the object to be observed by irradiation of the illumination light and an image including fluorescence emitted from the object to be observed by irradiation of the excitation light;
An image processing means for generating a normal image based on the image composed of the reflected light imaged by the imaging means and generating a fluorescence image based on the image including the fluorescence imaged by the imaging means;
The light quantity of the illumination light is controlled so that the representative brightness value of the normal image becomes a predetermined brightness value, and the pulse light quantity is set so that the light quantity of the excitation light becomes a preset ratio with respect to the light quantity of the illumination light. A fluorescence image acquisition apparatus comprising: a light amount control unit that controls a light amount of the excitation light by controlling a signal.
前記励起光源手段が、所定の周期で所定の発光可能期間の間に1または複数のパルス状の励起光を射出するものであり、
前記光量制御手段が、前記所定の発光可能期間の間のパルス励起光の数および/またはパルス励起光発光時間を変化させることにより前励起光の光量を制御するものであることを特徴とする請求項2記載の蛍光画像取得装置。
The excitation light source means emits one or a plurality of pulsed excitation light in a predetermined cycle during a predetermined light emission possible period;
The light amount control means controls the light amount of the pre-excitation light by changing the number of pulse excitation light and / or the pulse excitation light emission time during the predetermined light emission possible period. Item 3. The fluorescent image acquisition device according to Item 2.
前記照明光の光量に対する前記励起光の光量の比率を入力操作により設定する設定手段を備えていることを特徴とする請求項2または3記載の蛍光画像取得装置。   4. The fluorescence image acquisition apparatus according to claim 2, further comprising setting means for setting a ratio of the light amount of the excitation light to the light amount of the illumination light by an input operation.
JP2008134073A 2008-05-22 2008-05-22 Fluorescence image acquisition device Active JP5229723B2 (en)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2008134073A JP5229723B2 (en) 2008-05-22 2008-05-22 Fluorescence image acquisition device
US12/453,768 US20090289200A1 (en) 2008-05-22 2009-05-21 Fluorescent image obtainment method and apparatus, fluorescence endoscope, and excitation-light unit
CN2013103016191A CN103431830A (en) 2008-05-22 2009-05-22 Fluorescent image obtainment method and apparatus, fluorescence endoscope, and excitation-light unit
EP11179380A EP2404543A1 (en) 2008-05-22 2009-05-22 Fluorescent image obtainment method and apparatus, fluorescence endoscope, and excitation-light unit
EP11179366A EP2404542A1 (en) 2008-05-22 2009-05-22 Fluorescent image obtainment method and apparatus, fluorescence endoscope, and excitation-light unit
CN 200910203876 CN101584572B (en) 2008-05-22 2009-05-22 Fluorescent image obtainment method and apparatus, fluorescence endoscope, and excitation-light unit
EP11179372.5A EP2409635B1 (en) 2008-05-22 2009-05-22 Fluorescent image obtainment method and apparatus, fluorescence endoscope, and excitation-light unit
EP09006889.1A EP2123213B1 (en) 2008-05-22 2009-05-22 Fluorescent image obtainment method and apparatus, fluorescence endoscope, and excitation-light unit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008134073A JP5229723B2 (en) 2008-05-22 2008-05-22 Fluorescence image acquisition device

Publications (2)

Publication Number Publication Date
JP2009279172A true JP2009279172A (en) 2009-12-03
JP5229723B2 JP5229723B2 (en) 2013-07-03

Family

ID=41450273

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008134073A Active JP5229723B2 (en) 2008-05-22 2008-05-22 Fluorescence image acquisition device

Country Status (1)

Country Link
JP (1) JP5229723B2 (en)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011111619A1 (en) * 2010-03-09 2011-09-15 オリンパス株式会社 Fluorescent endoscope device
WO2011115095A1 (en) * 2010-03-18 2011-09-22 オリンパス株式会社 Fluorescence observation device and fluorescence observation method
JP2012055391A (en) * 2010-09-07 2012-03-22 Fujifilm Corp Light source device for endoscope, method for controlling light intensity of the same, endoscope system and control method for the same
JP2012065976A (en) * 2010-09-27 2012-04-05 Fujifilm Corp Temperature regulator and temperature regulation method, light source device, and endoscopic diagnosis equipment
JP2012090726A (en) * 2010-10-26 2012-05-17 Fujifilm Corp Electronic endoscope system, processor device of electronic endoscope system, and method for controlling illumination light
JP2012110479A (en) * 2010-11-24 2012-06-14 Hoya Corp Scanning type confocal endoscopic system
JP2012125501A (en) * 2010-12-17 2012-07-05 Fujifilm Corp Endoscope apparatus
WO2012098791A1 (en) * 2011-01-20 2012-07-26 オリンパスメディカルシステムズ株式会社 Capsule endoscope
WO2012169270A1 (en) * 2011-06-07 2012-12-13 オリンパスメディカルシステムズ株式会社 Endoscope apparatus and light quantity control method for fluorescent light observation
JP2013507182A (en) * 2009-10-07 2013-03-04 インテュイティブ サージカル オペレーションズ, インコーポレイテッド Method and apparatus for displaying enhanced imaging data on a clinical image
JP2013046688A (en) * 2011-08-29 2013-03-07 Fujifilm Corp Endoscopic diagnostic apparatus
JP2014138868A (en) * 2014-02-19 2014-07-31 Fujifilm Corp Light source device for endoscope and operation method for the same, and endoscope system and operation method for the same
WO2015015839A1 (en) * 2013-08-01 2015-02-05 オリンパスメディカルシステムズ株式会社 Imaging device
KR101499004B1 (en) * 2013-12-10 2015-03-05 센시(주) Method and apparatus for searching test target in photo image by using color light
JP2015054038A (en) * 2013-09-11 2015-03-23 オリンパスメディカルシステムズ株式会社 Endoscope device
JP2016144697A (en) * 2016-05-02 2016-08-12 富士フイルム株式会社 Light source device for endoscope and endoscope system
JP2016152933A (en) * 2016-03-29 2016-08-25 富士フイルム株式会社 Endoscope apparatus
US9588046B2 (en) 2011-09-07 2017-03-07 Olympus Corporation Fluorescence observation apparatus
JP2017223706A (en) * 2017-08-22 2017-12-21 浜松ホトニクス株式会社 Fluorescence observation device and fluorescence observation method
JP2018033973A (en) * 2017-10-06 2018-03-08 富士フイルム株式会社 Light source device for endoscope and endoscope system
US10048206B2 (en) 2013-03-29 2018-08-14 Hamamatsu Photonics K.K. Fluorescence viewing device and fluorescence viewing method
JP2018182741A (en) * 2017-04-14 2018-11-15 キヤノンメディカルシステムズ株式会社 Imaging apparatus and imaging program
US10223779B2 (en) 2015-03-17 2019-03-05 Hamamatsu Photonics K.K. Superimposed image creation apparatus and superimposed image creation method
JP2020068389A (en) * 2018-10-19 2020-04-30 キヤノン株式会社 Imaging device and program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006055503A (en) * 2004-08-23 2006-03-02 Pentax Corp Electronic endoscope apparatus
JP2006122131A (en) * 2004-10-26 2006-05-18 Olympus Corp Image generator
JP2007111328A (en) * 2005-10-21 2007-05-10 Pentax Corp Electronic endoscope apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006055503A (en) * 2004-08-23 2006-03-02 Pentax Corp Electronic endoscope apparatus
JP2006122131A (en) * 2004-10-26 2006-05-18 Olympus Corp Image generator
JP2007111328A (en) * 2005-10-21 2007-05-10 Pentax Corp Electronic endoscope apparatus

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013507182A (en) * 2009-10-07 2013-03-04 インテュイティブ サージカル オペレーションズ, インコーポレイテッド Method and apparatus for displaying enhanced imaging data on a clinical image
JP2018202266A (en) * 2009-10-07 2018-12-27 インテュイティブ サージカル オペレーションズ, インコーポレイテッド Methods and apparatus for displaying enhanced imaging data on clinical image
JP2016101528A (en) * 2009-10-07 2016-06-02 インテュイティブ サージカル オペレーションズ, インコーポレイテッド Methods and apparatus for displaying enhanced imaging data on clinical image
WO2011111619A1 (en) * 2010-03-09 2011-09-15 オリンパス株式会社 Fluorescent endoscope device
US9119553B2 (en) 2010-03-09 2015-09-01 Olympus Corporation Fluorescence endoscope device
WO2011115095A1 (en) * 2010-03-18 2011-09-22 オリンパス株式会社 Fluorescence observation device and fluorescence observation method
US8481972B2 (en) 2010-03-18 2013-07-09 Olympus Corporation Fluoroscopy apparatus and fluoroscopy method
JP5860802B2 (en) * 2010-03-18 2016-02-16 オリンパス株式会社 Fluorescence observation apparatus and method of operating fluorescence observation apparatus
JP2012055391A (en) * 2010-09-07 2012-03-22 Fujifilm Corp Light source device for endoscope, method for controlling light intensity of the same, endoscope system and control method for the same
JP2012065976A (en) * 2010-09-27 2012-04-05 Fujifilm Corp Temperature regulator and temperature regulation method, light source device, and endoscopic diagnosis equipment
JP2012090726A (en) * 2010-10-26 2012-05-17 Fujifilm Corp Electronic endoscope system, processor device of electronic endoscope system, and method for controlling illumination light
JP2012110479A (en) * 2010-11-24 2012-06-14 Hoya Corp Scanning type confocal endoscopic system
JP2012125501A (en) * 2010-12-17 2012-07-05 Fujifilm Corp Endoscope apparatus
US9044163B2 (en) 2010-12-17 2015-06-02 Fujifilm Corporation Endoscope apparatus
US8830310B2 (en) 2011-01-20 2014-09-09 Olympus Medical Systems Corp. Capsule endoscope
JP5385469B2 (en) * 2011-01-20 2014-01-08 オリンパスメディカルシステムズ株式会社 Capsule endoscope
WO2012098791A1 (en) * 2011-01-20 2012-07-26 オリンパスメディカルシステムズ株式会社 Capsule endoscope
US8721532B2 (en) 2011-06-07 2014-05-13 Olympus Medical Systems Corp. Endoscope apparatus and method for controlling fluorescence imaging apparatus
WO2012169270A1 (en) * 2011-06-07 2012-12-13 オリンパスメディカルシステムズ株式会社 Endoscope apparatus and light quantity control method for fluorescent light observation
JP2013046688A (en) * 2011-08-29 2013-03-07 Fujifilm Corp Endoscopic diagnostic apparatus
US9588046B2 (en) 2011-09-07 2017-03-07 Olympus Corporation Fluorescence observation apparatus
US10048206B2 (en) 2013-03-29 2018-08-14 Hamamatsu Photonics K.K. Fluorescence viewing device and fluorescence viewing method
JP5669997B1 (en) * 2013-08-01 2015-02-18 オリンパスメディカルシステムズ株式会社 Imaging device
US9414739B2 (en) 2013-08-01 2016-08-16 Olympus Corporation Imaging apparatus for controlling fluorescence imaging in divided imaging surface
WO2015015839A1 (en) * 2013-08-01 2015-02-05 オリンパスメディカルシステムズ株式会社 Imaging device
JP2015054038A (en) * 2013-09-11 2015-03-23 オリンパスメディカルシステムズ株式会社 Endoscope device
KR101499004B1 (en) * 2013-12-10 2015-03-05 센시(주) Method and apparatus for searching test target in photo image by using color light
JP2014138868A (en) * 2014-02-19 2014-07-31 Fujifilm Corp Light source device for endoscope and operation method for the same, and endoscope system and operation method for the same
US10223779B2 (en) 2015-03-17 2019-03-05 Hamamatsu Photonics K.K. Superimposed image creation apparatus and superimposed image creation method
JP2016152933A (en) * 2016-03-29 2016-08-25 富士フイルム株式会社 Endoscope apparatus
JP2016144697A (en) * 2016-05-02 2016-08-12 富士フイルム株式会社 Light source device for endoscope and endoscope system
JP2018182741A (en) * 2017-04-14 2018-11-15 キヤノンメディカルシステムズ株式会社 Imaging apparatus and imaging program
JP7249108B2 (en) 2017-04-14 2023-03-30 キヤノン株式会社 Imaging device and imaging program
JP2017223706A (en) * 2017-08-22 2017-12-21 浜松ホトニクス株式会社 Fluorescence observation device and fluorescence observation method
JP2018033973A (en) * 2017-10-06 2018-03-08 富士フイルム株式会社 Light source device for endoscope and endoscope system
JP2020068389A (en) * 2018-10-19 2020-04-30 キヤノン株式会社 Imaging device and program
JP7265823B2 (en) 2018-10-19 2023-04-27 キヤノン株式会社 Imaging device and program

Also Published As

Publication number Publication date
JP5229723B2 (en) 2013-07-03

Similar Documents

Publication Publication Date Title
JP5229723B2 (en) Fluorescence image acquisition device
JP5110702B2 (en) Fluorescence image acquisition device
JP5081720B2 (en) Fluorescence endoscope apparatus and excitation light unit
EP2409635B1 (en) Fluorescent image obtainment method and apparatus, fluorescence endoscope, and excitation-light unit
JP5426620B2 (en) Endoscope system and method for operating endoscope system
JP5815426B2 (en) Endoscope system, processor device for endoscope system, and image processing method
JP5303012B2 (en) Endoscope system, processor device for endoscope system, and method for operating endoscope system
JP5485191B2 (en) Endoscope device
JP5496075B2 (en) Endoscopic diagnosis device
JP2015029841A (en) Imaging device and imaging method
JP5147538B2 (en) Fluorescence image acquisition device and method of operating fluorescence image acquisition device
JP6085649B2 (en) Endoscope light source device and endoscope system
JP2011092683A (en) Electronic endoscope
JP6085648B2 (en) Endoscope light source device and endoscope system
JP5538143B2 (en) Endoscope system
JP5766773B2 (en) Endoscope system and method for operating endoscope system
JP5191327B2 (en) Image acquisition device and method of operating image acquisition device
JP6214503B2 (en) Endoscope light source device and endoscope system
JPWO2019176253A1 (en) Medical observation system
JP5264382B2 (en) Image acquisition device
JP6254502B2 (en) Endoscope light source device and endoscope system
JP5764472B2 (en) Endoscopic diagnosis device
JP2003159210A (en) Method for displaying fluorescent diagnostic image and display unit thereof
JP2015231576A (en) Endoscope system, processor device of endoscope system, and image processing method
JP5152795B2 (en) Fluorescence image acquisition device and method of operating fluorescence image acquisition device

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20100614

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120814

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120921

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130312

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160329

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5229723

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250