JP5669997B1 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP5669997B1 JP5669997B1 JP2014544276A JP2014544276A JP5669997B1 JP 5669997 B1 JP5669997 B1 JP 5669997B1 JP 2014544276 A JP2014544276 A JP 2014544276A JP 2014544276 A JP2014544276 A JP 2014544276A JP 5669997 B1 JP5669997 B1 JP 5669997B1
- Authority
- JP
- Japan
- Prior art keywords
- unit
- fluorescence
- image
- light
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 92
- 230000003321 amplification Effects 0.000 claims abstract description 99
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 99
- 230000005284 excitation Effects 0.000 claims abstract description 43
- 238000005286 illumination Methods 0.000 claims abstract description 31
- 238000002073 fluorescence micrograph Methods 0.000 claims abstract description 24
- 230000003287 optical effect Effects 0.000 claims abstract description 19
- 239000000126 substance Substances 0.000 claims abstract description 4
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 abstract description 19
- 230000000875 corresponding effect Effects 0.000 description 23
- 238000006243 chemical reaction Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 15
- 238000003780 insertion Methods 0.000 description 12
- 230000037431 insertion Effects 0.000 description 12
- 230000015654 memory Effects 0.000 description 11
- 230000035945 sensitivity Effects 0.000 description 11
- 238000000034 method Methods 0.000 description 9
- 238000005452 bending Methods 0.000 description 7
- 238000001727 in vivo Methods 0.000 description 7
- 210000000056 organ Anatomy 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 239000000523 sample Substances 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 3
- 239000006059 cover glass Substances 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 229940079593 drug Drugs 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000000740 bleeding effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000003365 glass fiber Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Veterinary Medicine (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
Abstract
発光した蛍光を見落とすことなく、蛍光画像の観察を適切に行うことができる撮像装置を提供する。内視鏡システム１は、被写体に導入された蛍光物質を励起するための励起光を該被検体に向けて出射する特殊光光源４２と、励起光と異なる可視帯域を含む通常光を被検体に向けて出射する白色光光源４１と、励起光または通常光で照明された被写体の光学像を撮像して光学像の画像信号を生成する撮像面を有する撮像素子２４４と、通常光の照明下で撮像素子２４４が生成した画像信号に基づいて、明るさを示す輝度信号を生成する明るさ検出部３０３と、明るさ検出部３０３が生成した輝度信号に応じた増幅率で励起光の照明下で撮像素子２４４が生成する画像信号の増幅率を設定する増幅部３０９ａと、を備える。
Description
本発明は、被写体に励起光または可視光を照射して、この被写体で反射した光を複数の画素で受光して光電変換を行って画像情報を出力する撮像装置に関する。
従来、医療分野においては、被検体の臓器内部を観察する際に内視鏡システムが用いられている。内視鏡システムは、一般に、患者等の被検体の体腔内に細長形状をなす可撓性の挿入部を挿入し、この挿入した挿入部を介して体腔内の生体組織に白色光を照射し、その反射光を挿入部の先端に設けられた撮像部によって受光して、体内画像を撮像する撮像装置の一種である。内視鏡システムで撮影された生体画像の画像信号は、挿入部内の伝送ケーブルを介して体外の画像処理装置に伝送され、画像処理装置において画像処理が行われることにより、内視鏡システムのモニタに表示される。医師等のユーザは、モニタに表示された体内画像を通して、被検体の体腔内を観察する。
このような内視鏡システムとして、蛍光マーカ等を含む蛍光薬剤が導入された生体組織に特定波長の励起光を照射して蛍光を撮像する蛍光観察、または可視帯域の通常光を生体組織に照射して反射光を撮像する通常観察を行うことが可能な技術が知られている（特許文献１参照）。この技術では、通常光で撮像された画像の輝度レベルを目標値として、蛍光画像の輝度レベルを自動で調整することにより、ユーザに負担をかけることなく、蛍光画像を適切な明るさで表示することができる。
しかしながら、上述した従来技術では、蛍光を観察できない場合、励起光の強度や画像信号の増幅が足りないのか、または蛍光薬剤の集積不足による蛍光を観察することができないのかを蛍光画像から判断することができなかった。
本発明は、上記に鑑みてなされたものであって、発光した蛍光を見落とすことなく、蛍光画像の観察を適切に行うことができる撮像装置を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明にかかる撮像装置は、被検体に導入された蛍光物質を励起するための励起光を該被検体に向けて出射する励起光出射部と、前記励起光と異なる可視帯域を含む通常光を前記被検体に向けて出射する通常光出射部と、前記励起光または前記通常光で照明された前記被検体の光学像を撮像面上で結像して画像信号を生成する撮像部と、前記通常光の照明下で前記撮像部が生成した前記画像信号に基づいて、明るさを示す輝度信号を生成する輝度信号生成部と、前記輝度信号生成部が生成した前記輝度信号に応じた前記画像信号の増幅率に基づいて、前記励起光の照明下で前記撮像部が生成する前記画像信号の増幅率を設定する増幅部と、を備えたことを特徴とする。
また、本発明にかかる撮像装置は、上記発明において、前記撮像面を分割して複数の分割領域を設定する分割領域設定をさらに備え、前記輝度信号生成部は、前記分割領域設定部が設定した前記複数の分割領域それぞれの前記輝度信号を生成し、前記増幅部は、前記輝度信号の各々に応じた増幅率に基づいて、前記励起光の照明下における前記分割領域に対応する前記画像信号の増幅率を設定することを特徴とする。
また、本発明にかかる撮像装置は、上記発明において、前記分割領域設定部は、前記分割領域を分割して複数の小分割領域を設定し、前記増幅部は、前記輝度信号の各々に応じた増幅率に基づいて、前記励起光の照明下における前記小分割領域に対応する前記画像信号の増幅率を設定することを特徴とする。
また、本発明にかかる撮像装置は、上記発明において、前記励起光の照明下で生成された前記画像信号に対応する蛍光画像内において蛍光を発する蛍光領域の有無を判定する蛍光判定部をさらに備え、前記分割領域設定部は、前記蛍光判定部が前記蛍光画像内において前記蛍光領域があると判定した場合、前記蛍光領域が含まれる前記分割領域を分割して複数の小分割領域を設定し、前記増幅部は、前記輝度信号の各々に応じた増幅率に基づいて、前記励起光の照明下における前記小分割領域に対応する前記画像信号の増幅率を設定することを特徴とする。
また、本発明にかかる撮像装置は、上記発明において、前記励起光の照明下で生成された前記画像信号に対応する蛍光画像内において蛍光を発する蛍光領域の有無を判定する蛍光判定部をさらに備え、前記分割領域設定部は、前記蛍光判定部が前記蛍光画像内において前記蛍光領域があると判定した場合、前記蛍光領域が含まれる前記分割領域を時間の経過とともに小さく設定することを特徴とする。
また、本発明にかかる撮像装置は、上記発明において、前記増幅部は、ゲインに基づいて、前記画像信号の増幅率を設定することを特徴とする。
また、本発明にかかる撮像装置は、上記発明において、前記増幅部は、露光時間に基づいて、前記画像信号の増幅率を設定することを特徴とする。
本発明にかかる撮像装置によれば、増幅部が輝度信号生成部によって生成された通常光の照明下で撮像素子が生成した画像信号の輝度信号に応じた増幅率に基づいて、各画素の蛍光の増幅率を設定する。これにより、発光した蛍光を見落とすことなく、蛍光画像の観察を適切に行うことができる効果を奏する。
以下、本発明を実施するための形態（以下、「実施の形態」という）として、患者等の被検体の体腔内の画像を撮像して表示する医療用の内視鏡システムについて説明する。また、この実施の形態によりこの発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付している。さらにまた、図面は模式的なものであり、各部材の厚みと幅との関係、各部材の比率等は、現実と異なることに留意する必要がある。また、図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている。
（実施の形態１）
図１は、本発明の実施の形態１にかかる撮像装置である内視鏡システムの概略構成を示す図である。図１に示すように、内視鏡システム１は、被検体の体腔内に先端部を挿入することによって被検体の体内画像を撮像する内視鏡２と、内視鏡２が撮像した体内画像に所定の処理を施すとともに、内視鏡システム１全体の動作を統括的に制御する制御装置３と、内視鏡２の先端から出射する照明光または励起光を発生する光源部である光源装置４と、制御装置３が画像処理を施した体内画像を表示する表示装置５と、を備える。
図１は、本発明の実施の形態１にかかる撮像装置である内視鏡システムの概略構成を示す図である。図１に示すように、内視鏡システム１は、被検体の体腔内に先端部を挿入することによって被検体の体内画像を撮像する内視鏡２と、内視鏡２が撮像した体内画像に所定の処理を施すとともに、内視鏡システム１全体の動作を統括的に制御する制御装置３と、内視鏡２の先端から出射する照明光または励起光を発生する光源部である光源装置４と、制御装置３が画像処理を施した体内画像を表示する表示装置５と、を備える。
内視鏡２は、可撓性を有する細長形状をなす挿入部２１と、挿入部２１の基端側に接続され、各種の操作信号の入力を受け付ける操作部２２と、操作部２２から挿入部２１が延びる方向と異なる方向に延び、制御装置３および光源装置４と接続する各種ケーブルを内蔵するユニバーサルコード２３と、を備える。
挿入部２１は、後述する撮像素子を内蔵した先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端側に接続され、可撓性を有する長尺状の可撓管部２６と、を有する。
図２は、先端部２４の内部構成の概略を説明する断面図である。図２に示すように、先端部２４は、グラスファイバ等を用いて構成されて光源装置４が発生した光の導光路をなすライトガイド２４１と、ライトガイド２４１の先端に設けられた照明レンズ２４２と、集光用の光学系２４３と、光学系２４３の結像位置に設けられ、光学系２４３が集光した光を受光して電気信号に光電変換して所定の信号処理を施す撮像素子２４４と、内視鏡２用の処置具を通る処置具チャンネル２４５と、を有する。
光学系２４３は、少なくともレンズ２４３ａおよびレンズ２４３ｂからなる。なお、光学系２４３を構成するレンズの種類や数は、図２に示されるものに限られるわけではない。
図３は、内視鏡システム１の要部の機能構成を示すブロック図である。図３を参照して、撮像素子２４４の構成を説明する。図３に示すように、撮像素子２４４は、光学系２４３からの光を光電変換して電気信号を出力するセンサ部２４４ａと、センサ部２４４ａが出力した電気信号に対してノイズ除去やＡ／Ｄ変換を行うアナログフロントエンド２４４ｂ（以下、「ＡＦＥ部２４４ｂ」という）と、ＡＦＥ部２４４ｂが出力したデジタル信号をパラレル／シリアル変換するＰ／Ｓ変換部２４４ｃと、センサ部２４４ａの駆動タイミング、ＡＦＥ部２４４ｂおよびＰ／Ｓ変換部２４４ｃにおける各種信号処理のパルスを発生するタイミングジェネレータ２４４ｄと、撮像素子２４４の動作を制御する撮像制御部２４４ｅと、を有する。撮像素子２４４は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。
センサ部２４４ａは、基板２４４Ｓを介してＩＣ回路群２４４Ｇと接続される。ＩＣ回路群２４４Ｇは、ＡＦＥ部２４４ｂ、Ｐ／Ｓ変換部２４４ｃ、タイミングジェネレータ２４４ｄ、および撮像制御部２４４ｅの機能を有する複数のＩＣ回路を有する。
センサ部２４４ａは、光量に応じた電荷を蓄積するフォトダイオードおよびフォトダイオードが蓄積した電荷を増幅する増幅器をそれぞれ有する複数の画素が２次元マトリックス状に配設された受光部２４４ｆと、受光部２４４ｆの複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を画像情報として読み出す読み出し部２４４ｇと、を有する。受光部２４４ｆには、画素ごとにＲＧＢ個別のカラーフィルタが設けられており、カラー画像の取得を可能にしている。
ＡＦＥ部２４４ｂは、電気信号（アナログ）に含まれるノイズ成分を低減するノイズ低減部２４４ｈと、電気信号の増幅率（ゲイン）を調整して一定の出力レベルを維持するＡＧＣ（Auto Gain Control）部２４４ｉと、ＡＧＣ部２４４ｉを介して出力された電気信号をＡ／Ｄ変換するＡ／Ｄ変換部２４４ｊと、を有する。ノイズ低減部２４４ｈは、たとえば相関二重サンプリング（Correleted Double Sampling）法を用いてノイズの低減を行う。
撮像制御部２４４ｅは、制御装置３から受信した設定データにしたがって、先端部２４の各種動作を制御する。撮像制御部２４４ｅは、ＣＰＵ（Central Processing Unit）等を用いて構成される。また、撮像制御部２４４ｅは、制御装置３から受信した設定データにしたがって、読み出し部２４４ｇが受光部２４４ｆから読み出す領域を設定する。
基板２４４Ｓに設けられる電極２４４Ｅには、制御装置３との間で電気信号の送受信を行う複数の信号線が束ねられた集合ケーブル２４６が接続している。複数の信号線には、撮像素子２４４が出力した画像信号を制御装置３へ伝送する信号線および制御装置３が出力する制御信号を撮像素子２４４へ伝送する信号線等が含まれる。
操作部２２は、湾曲部２５を上下方向および左右方向に湾曲させる湾曲ノブ２２１と、体腔内に生体鉗子、レーザメスおよび検査プローブ等の処置具を挿入する処置具挿入部２２２と、制御装置３、光源装置４に加えて、送気手段、送水手段、送ガス手段等の周辺機器の操作指示信号を入力する操作入力部である複数のスイッチ２２３と、を有する。処置具挿入部２２２から挿入される処置具は、先端部２４の処置具チャンネル２４５を経由して開口部２４５ａから表出する。
ユニバーサルコード２３は、ライトガイド２４１と、集合ケーブル２４６と、を少なくとも内蔵している。ユニバーサルコード２３のライトガイド２４１は、光源装置４に接続される。ユニバーサルコード２３の集合ケーブル２４６は、制御装置３に接続される。
つぎに、制御装置３の構成について説明する。制御装置３は、Ｓ／Ｐ変換部３０１と、画像処理部３０２と、明るさ検出部３０３と、調光部３０４と、読出アドレス設定部３０５と、駆動信号生成部３０６と、入力部３０７と、記憶部３０８と、制御部３０９と、基準クロック生成部３１０と、を備える。
Ｓ／Ｐ変換部３０１は、先端部２４から受信した画像信号（デジタル信号）をシリアル／パラレル変換する。
画像処理部３０２は、Ｓ／Ｐ変換部３０１から出力されたパラレル形態の画像信号をもとに、表示装置５が表示する体内画像を生成する。画像処理部３０２は、同時化部３０２ａと、ホワイトバランス（ＷＢ）調整部３０２ｂと、ゲイン調整部３０２ｃと、γ補正部３０２ｄと、Ｄ／Ａ変換部３０２ｅと、フォーマット変更部３０２ｆと、サンプル用メモリ３０２ｇと、静止画像用メモリ３０２ｈと、を有する。
同時化部３０２ａは、画素情報として入力された画像信号を、画素ごとに設けられた３つのメモリ（図示せず）に入力し、読み出し部２４４ｇが読み出した受光部２４４ｆの画素のアドレスに対応させて、各メモリの値を順次更新しながら保持するとともに、これら３つのメモリの画像信号をＲＧＢ画像信号として同時化する。同時化部３０２ａは、同時化したＲＧＢ画像信号をホワイトバランス調整部３０２ｂへ順次出力するとともに、一部のＲＧＢ画像信号を、明るさ検出などの画像解析用としてサンプル用メモリ３０２ｇへ出力する。
ホワイトバランス調整部３０２ｂは、ＲＧＢ画像信号のホワイトバランスを自動的に調整する。具体的には、ホワイトバランス調整部３０２ｂは、ＲＧＢ画像信号に含まれる色温度に基づいて、ＲＧＢ画像信号のホワイトバランスを自動的に調整する。
ゲイン調整部３０２ｃは、ＲＧＢ画像信号のゲイン調整を行う。ゲイン調整部３０２ｃは、ゲイン調整を行ったＲＧＢ信号をγ補正部３０２ｄへ出力するとともに、一部のＲＧＢ信号を、静止画像表示用、拡大画像表示用または強調画像表示用として静止画像用メモリ３０２ｈへ出力する。
γ補正部３０２ｄは、表示装置５に対応させてＲＧＢ画像信号の階調補正（γ補正）を行う。
Ｄ／Ａ変換部３０２ｅは、γ補正部３０２ｄが出力した階調補正後のＲＧＢ画像信号をアナログ信号に変換する。
フォーマット変更部３０２ｆは、アナログ信号に変換された画像信号をハイビジョン方式等の動画用のファイルフォーマットに変更して表示装置５に出力する。
明るさ検出部３０３は、サンプル用メモリ３０２ｇが保持するＲＧＢ画像信号から、各画素に対応する明るさレベルを検出し、検出した明るさレベルを内部に設けられたメモリに記録するとともに制御部３０９へ出力する。また、明るさ検出部３０３は、検出した明るさレベルをもとにゲイン調整値および光照射量を算出し、ゲイン調整値をゲイン調整部３０２ｃへ出力する一方、光照射量を調光部３０４へ出力する。さらに、明るさ検出部３０３は、内視鏡２の撮像素子２４４が生成した画像信号に基づいて、明るさを示す輝度信号を生成し、この輝度信号を制御部３０９へ出力する。なお、本実施の形態１では、明るさ検出部３０３が輝度信号生成部として機能する。
調光部３０４は、制御部３０９の制御のもと、明るさ検出部３０３が算出した光照射量をもとに光源装置４が発生する光の種別、光量、発光タイミング等を設定し、この設定した条件を含む光源同期信号を光源装置４へ送信する。
読出アドレス設定部３０５は、センサ部２４４ａの受光面における読み出し対象の画素および読み出し順序を設定する機能を有する。すなわち、読出アドレス設定部３０５は、ＡＦＥ部２４４ｂが読出すセンサ部２４４ａの画素のアドレスを設定する機能を有する。また、読出アドレス設定部３０５は、設定した読み出し対象の画素のアドレス情報を同時化部３０２ａへ出力する。
駆動信号生成部３０６は、撮像素子２４４を駆動するための駆動用のタイミング信号を生成し、集合ケーブル２４６に含まれる所定の信号線を介してタイミングジェネレータ２４４ｄへ送信する。このタイミング信号は、読み出し対象の画素のアドレス情報を含む。
入力部３０７は、内視鏡システム１の動作を指示する動作指示信号等の各種信号の入力を受け付ける。
記憶部３０８は、フラッシュメモリやＤＲＡＭ（Dynamic Random Access Memory）等の半導体メモリを用いて実現される。記憶部３０８は、内視鏡システム１を動作させるための各種プログラム、および内視鏡システム１の動作に必要な各種パラメータ等を含むデータを記憶する。
制御部３０９は、ＣＰＵ等を用いて構成され、先端部２４および光源装置４を含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部３０９は、撮像制御のための設定データを、集合ケーブル２４６に含まれる所定の信号線を介して撮像制御部２４４ｅへ送信する。ここで、設定データは、撮像素子２４４の撮像速度（フレームレート）、およびセンサ部２４４ａの任意の画素からの画素情報の読み出し速度を指示する指示情報、ならびにＡＦＥ部２４４ｂが読み出した画素情報の伝送制御情報などを含む。また、制御部３０９は、増幅部３０９ａを有する。
増幅部３０９ａは、明るさ検出部３０３から入力される輝度信号に応じた増幅率に基づいて、励起光の照明下で撮像素子２４４が生成する画像信号の増幅率を設定する。具体的には、増幅部３０９ａは、明るさ検出部３０３によって通常光（可視光）の照明下で撮像素子２４４が生成した画像信号に基づいて生成された輝度信号に応じたＡＧＣ部２４４ｉの増幅率に基づいて、励起光の照明下で撮像素子２４４が生成する画像信号の増幅率（ゲイン）をＡＧＣ部２４４ｉに設定する。
基準クロック生成部３１０は、内視鏡システム１の各構成部の動作の基準となる基準クロック信号を生成し、内視鏡システム１の各構成部に対して生成した基準クロック信号を供給する。
つぎに、光源装置４の構成について説明する。光源装置４は、白色光光源４１と、特殊光光源４２と、光源制御部４３と、ＬＥＤ（Light Emitting Diode）ドライバ４４と、を備える。
白色光光源４１は、白色ＬＥＤからなり、光源制御部４３の制御のもと、白色照明光を発生する。
特殊光光源４２は、被検体に導入された蛍光物質を励起するための励起光を発生する。具体的には、特殊光光源４２は、赤外光を発生する。また、特殊光光源４２は、白色照射光とは波長帯域が異なる光であって狭帯域バンドパスフィルタによって狭帯域化したＲ、Ｇ、Ｂいずれかの成分の光を特殊光として発生してもよい。特殊光光源４２が発生する特殊光としては、たとえば血液中のヘモグロビンに吸収されやすくなるように狭帯域化された青色光および緑色光の２種の帯域のＮＢＩ（Narrow Band Imaging）照明光等を発生させてもよい。
光源制御部４３は、調光部３０４から送信された光源同期信号にしたがって白色光光源４１または特殊光光源４２に供給する電流量を制御する。
ＬＥＤドライバ４４は、白色光光源４１あるいは特殊光光源４２に対して光源制御部４３の制御のもとで電流を供給することにより、白色光光源４１または特殊光光源４２に励起光を発生させる。白色光光源４１または特殊光光源４２が発生した光は、ライトガイド２４１を経由して先端部２４の先端から外部へ照射される。
表示装置５は、映像ケーブルを介して制御装置３が生成した体内画像を制御装置３から受信して表示する機能を有する。表示装置５は、液晶、有機ＥＬ（Electro Luminescence）等の表示ディスプレイを有する。
以上のように構成された内視鏡システム１において被検体の蛍光観察を行う際の処理について説明する。図４は、内視鏡システム１が実行する処理の概要を示すフローチャートである。なお、以下においては、被検体は、施術者によって生体内に蛍光マーカを含む蛍光薬剤が処置具によって既に施されているものとする。
図４に示すように、光源制御部４３は、制御部３０９の制御のもと、ＬＥＤドライバ４４を駆動して白色光光源４１に可視光を照射させる（ステップＳ１０１）。
続いて、撮像制御部２４４ｅは、制御部３０９の制御のもと、所定のタイミングで読み出し部２４４ｇを駆動して受光部２４４ｆが受光した可視反射光の画像信号を制御装置３に出力する（ステップＳ１０２）。
その後、明るさ検出部３０３は、サンプル用メモリ３０２ｇから可視光の画像信号を取得して受光部２４４ｆの各画像の照度を算出し（ステップＳ１０３）、各画素における輝度信号を生成する（ステップＳ１０４）。
続いて、増幅部３０９ａは、明るさ検出部３０３が生成した輝度信号に基づいて、受光部２４４ｆの各画素から出力される可視光（通常光）の画像信号の増幅率を、撮像制御部２４４ｅを介してＡＦＥ部２４４ｂのＡＧＣ部２４４ｉに設定する（ステップＳ１０５）。
その後、制御部３０９は、画像処理部３０２に白色光の画像信号を生成して表示装置５に出力する（ステップＳ１０６）。具体的には、制御部３０９は、内視鏡システム１に白色光による通常観察モードが設定されている場合、画像処理部３０２に白色光画像信号を表示装置５に出力させる。これにより、施術者は、表示装置５で表示される画像を確認することにより、被検体の通常観察を行うことができる。さらに、制御部３０９は、画像処理部３０２に白色光画像信号を記憶部３０８に記憶させてもよい。
続いて、増幅部３０９ａは、可視光の増幅率に応じて、受光部２４４ｆの各画像から出力される蛍光の画像信号の増幅率を、撮像制御部２４４ｅを介してＡＦＥ部２４４ｂのＡＧＣ部２４４ｉに設定する（ステップＳ１０７）。
その後、光源制御部４３は、制御部３０９の制御のもと、ＬＥＤドライバ４４を駆動して特殊光光源４２に励起光を照射させる（ステップＳ１０８）。
続いて、撮像制御部２４４ｅは、制御部３０９の制御のもと、所定のタイミングで読み出し部２４４ｇを駆動して受光部２４４ｆが受光した蛍光の蛍光画像信号を制御装置３に出力する（ステップＳ１０９）。
その後、制御部３０９は、画像処理部３０２に蛍光画像信号を生成して表示装置５に出力させる（ステップＳ１１０）。これにより、施術者は、表示装置５で表示される蛍光画像を確認することにより、被検体内の蛍光観察を行うことができる。
続いて、制御部３０９は、入力部３０７から被検体の観察を終了する指示信号が入力されたか否かを判断する（ステップＳ１１１）。指示信号が入力されたと制御部３０９が判断した場合（ステップＳ１１１：Ｙｅｓ）、内視鏡システム１は、本処理を終了する。これに対して、入力部３０７を介して指示信号が入力されていないと制御部３０９が判断した場合（ステップＳ１１１：Ｎｏ）、内視鏡システム１は、ステップＳ１０１へ戻る。
以上説明した本実施の形態１によれば、増幅部３０９ａが明るさ検出部３０３によって生成された白色光の照明光で撮像素子２４４が生成した画像信号の輝度信号に応じた受光部２４４ｆの各画像の増幅率に基づいて、各画素の蛍光の増幅率を設定する。これにより、配光または臓器の吸光特性の影響による蛍光強度の変化を低減することができ、鮮明な被検体の蛍光画像を表示装置５に表示させることができる。
また、本実施の形態１によれば、可視光を照射し、生体組織で反射した反射光が弱い領域（暗い領域あるいは出血領域）は、先端部２４までの距離が遠い、または配光が悪いことで照明光が届いていない領域（場所）と考えられるので、同様に、励起光もその領域に対して十分届いていない領域（場所）と考えられる。このため、上述したように、増幅部３０９ａが明るさ検出部３０３によって生成された白色光の照明光で撮像素子２４４が生成した画像信号の輝度信号に応じた受光部２４４ｆの各画像の増幅率に基づいて、各画素の蛍光の増幅率を設定する。この結果、蛍光の薬剤集積領域を見落とすことなく、蛍光画像の観察を適切に行うことができる。
さらに、本実施の形態１によれば、同一の集積度の薬剤を観察した場合であっても、先端部２４から生体組織までの距離から生じる励起光の強度と取得する蛍光の強度との差および薬剤集積領域の周辺組織の光学特性の差が生じた場合であって、増幅部３０９ａが周辺臓器の反射光の増幅率と蛍光の増幅率との比を一定になるように各画素の撮影感度を最適化しているので、蛍光画像の観察を適切に行うことができる。なお、増幅部３０９ａは、比でなく、反射光の増幅率に一定の係数を乗じてもよい。
また、本実施の形態１では、増幅部３０９ａが白色光（可視光）の増幅率に応じて、蛍光の増幅率を設定していたが、たとえば蛍光が赤外（ＩＲ）の場合、画像信号に含まれる赤（Ｒ）の画像信号の輝度信号を用いて増幅率を設定し、この増幅率に応じて蛍光の増幅率を設定してもよい。これにより、制御部３０９の処理内容を低減することができ、内視鏡２が撮像するフレームレートを高速化することができる。
（実施の形態２）
つぎに、本発明の実施の形態２について説明する。本実施の形態２にかかる内視鏡システムは、制御装置の制御部の構成が異なるとともに、内視鏡システムが実行する処理のみが異なる。具体的には、上述した実施の形態では、蛍光観察時に各画像の増幅率を設定していたが、本実施の形態２では、受光部の領域を複数の領域に分割し、この分割した分割領域ごとに蛍光観察時の増幅率を設定する。このため、以下においては、本実施の形態２にかかる内視鏡システムの制御部の構成を説明後、内視鏡システムが実行する処理について説明する。なお、同一の構成には同一の符号を付して説明する。
つぎに、本発明の実施の形態２について説明する。本実施の形態２にかかる内視鏡システムは、制御装置の制御部の構成が異なるとともに、内視鏡システムが実行する処理のみが異なる。具体的には、上述した実施の形態では、蛍光観察時に各画像の増幅率を設定していたが、本実施の形態２では、受光部の領域を複数の領域に分割し、この分割した分割領域ごとに蛍光観察時の増幅率を設定する。このため、以下においては、本実施の形態２にかかる内視鏡システムの制御部の構成を説明後、内視鏡システムが実行する処理について説明する。なお、同一の構成には同一の符号を付して説明する。
図５は、本実施の形態２にかかる内視鏡システム１００の要部の機能構成を示すブロック図である。図５に示すように、内視鏡システム１００の制御装置３は、制御部１０１をさらに備える。
制御部１０１は、ＣＰＵ等を用いて構成され、先端部２４および光源装置４を含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部１０１は、撮像制御のための設定データを、集合ケーブル２４６に含まれる所定の信号線を介して撮像制御部２４４ｅへ送信する。制御部１０１は、増幅部３０９ａと、分割領域設定部１０１ａと、を有する。
分割領域設定部１０１ａは、センサ部２４４ａの撮像面を所定の領域ごとに分割して複数の分割領域を設定する。具体的には、分割領域設定部１０１ａは、読出アドレス設定部３０５を介してセンサ部２４４ａの撮像面を分割して複数の分割領域を設定する。この複数の分割領域は、後述する増幅部３０９ａが蛍光観察時に各分割領域で増幅率を設定する際に使用される。
以上の構成を有する内視鏡システム１００が実行する処理について説明する。図６は、本実施の形態２にかかる内視鏡システム１００が実行する処理の概要を示すフローチャートである。
図６に示すように、分割領域設定部１０１ａは、撮像制御部２４４ｅを介して読み出し部２４４ｇが受光部２４４ｆから画像信号を読み出す領域を分割して分割領域を設定する（ステップＳ２０１）。たとえば、図７（ａ）に示すように、分割領域設定部１０１ａは、センサ部２４４ａの受光面を４分割にして分割領域Ａ１〜Ａ４を設定する。
ステップＳ２０２およびステップＳ２０３は、上述した図４のステップＳ１０１およびステップＳ１０２にそれぞれ対応する。
続いて、明るさ検出部３０３は、サンプル用メモリ３０２ｇから可視光の画像信号を取得して受光部２４４ｆの分割領域ごとの照度を算出し（ステップＳ２０４）、各分割領域の輝度信号を生成する（ステップＳ２０５）。具体的には、図７（ａ）に示すように、明るさ検出部３０３は、分割領域設定部１０１ａが設定した各分割領域Ａ１〜Ａ４の照度を算出し、各分割領域Ａ１〜Ａ４の輝度信号を生成する。
その後、増幅部３０９ａは、明るさ検出部３０３が検出した各分割領域の輝度信号に基づいて、受光部２４４ｆの各分割領域から出力される画像信号の可視光の増幅率を、撮像制御部２４４ｅを介してＡＦＥ部２４４ｂのＡＧＣ部２４４ｉに設定する（ステップＳ２０６）。
続いて、制御部３０９は、画像処理部３０２に白色光の画像信号を生成させて表示装置５に出力させる（ステップＳ２０７）。
その後、分割領域設定部１０１ａは、可視光の各分割領域を分割した小分割領域を設定する（ステップＳ２０８）。たとえば、図７（ｂ）に示すように、分割領域設定部１０１ａは、可視光の分割領域Ａ１をさらに分割した励起光の小分割領域Ａ１１〜Ａ１４を設定する。
続いて、増幅部３０９ａは、可視光の各分割領域の増幅率に応じて、各小分割領域の蛍光の増幅率を設定する（ステップＳ２０９）。具体的には、増幅部３０９ａは、分割領域Ａ１の増幅率に応じて、小分割領域Ａ１１〜Ａ１４の蛍光の増幅率を設定する。この場合、増幅部３０９ａは、分割領域Ａ１内の各画素の輝度信号の平均値に基づいて、小分割領域Ａ１１〜Ａ１４の蛍光の増幅率を設定する。これにより、分割領域Ａ１〜Ａ４で内視鏡２から被検体の体内の表面までの距離または臓器の光学特性による可視光の反射光の平均値で、小分割領域Ａ１１〜Ａ１４，Ａ２１〜Ａ２４，Ａ３１〜Ａ３４，Ａ４１〜Ａ４４で蛍光との輝度比を一定にするためのゲインを調整することができる。
ステップＳ２１０〜ステップＳ２１３は、図４のステップＳ１０８〜ステップＳ１１１にそれぞれ対応する。
以上説明した本実施の形態２によれば、増幅部３０９ａが分割領域設定部１０１ａによって設定された各分割領域に対して励起光の照明下で撮像素子２４４が生成する画像信号の増幅率を設定する。これにより、分割領域で内視鏡２から被検体の体内の表面までの距離または臓器の光学特性による可視光の反射光の平均値を設定し、分割領域で蛍光との輝度比を一定にするためのゲインを調整することができる。
また、本実施の形態２によれば、分割領域設定部１０１ａがセンサ部２４４ａの撮像面の分割領域をさらに分割して小分割領域を設定し、増幅部３０９ａが各小分割領域に対応する蛍光の画像信号の増幅率を設定しているので、よりきめ細かに蛍光のゲインを調整することができる。これにより、撮像範囲内で先端部２４と生体組織との距離が異なっても、撮像素子２４４の撮像面でムラなく適切に増幅することができ、滑らかな蛍光画像を撮像することができる。
さらに、本実施の形態２によれば、像の配光分布または吸収分布がある被写体に対しても、充分なダイナミックレンズまたはコントラストで可視光（白色光）の画像に、励起光を照射し発光した蛍光画像を重畳させた画像を得ることができる。
なお、本実施の形態２では、増幅部３０９ａが可視光の増幅率に応じて各分割領域に対応する蛍光の画像信号の増幅率を設定したが、蛍光が所定以上ある分割領域に対して必要以上の増幅率を設定させなくてもよい。これにより、患部の蛍光の周辺を見やすくするとともに、増幅によって生じるノイズを低減することができる。
また、本実施の形態２では、ＡＧＣ部２４４ｉのゲインを調整することにより、蛍光観察時における画像信号の増幅率を設定しているが、たとえばセンサ部２４４ａの各画素のリセットを行わず、多重読み出しにより感度や増幅率を調整してもよい。
また、本実施の形態２では、分割領域設定部１０１ａがセンサ部２４４ａの撮像面を４分割にして設定していたが、分割する数は、適宜設定することができる。たとえば、分割領域設定部１０１ａは、センサ部２４４ａの撮像面の大きさ、被検体の臓器や部位に応じて所定の領域、たとえば９分割にして分割領域を設定してもよい。さらに、分割領域設定部１０１ａは、同様に分割領域を分割する数を適宜設定することも可能である。
（実施の形態３）
つぎに、本発明の実施の形態３について説明する。本実施の形態３にかかる内視鏡システムは、制御装置の制御部の構成が異なるとともに、内視鏡システムが実行する処理のみが異なる。具体的には、本実施の形態３では、蛍光が検出された領域の画素のみに露光させ、それ以外の領域の画素に対して可視光を低ゲインで露光させる。このため、以下においては、本実施の形態３にかかる内視鏡システムの制御部の構成を説明後、内視鏡システムが実行する処理について説明する。なお、同一の構成には同一の符号を付して説明する。
つぎに、本発明の実施の形態３について説明する。本実施の形態３にかかる内視鏡システムは、制御装置の制御部の構成が異なるとともに、内視鏡システムが実行する処理のみが異なる。具体的には、本実施の形態３では、蛍光が検出された領域の画素のみに露光させ、それ以外の領域の画素に対して可視光を低ゲインで露光させる。このため、以下においては、本実施の形態３にかかる内視鏡システムの制御部の構成を説明後、内視鏡システムが実行する処理について説明する。なお、同一の構成には同一の符号を付して説明する。
図８は、本実施の形態３にかかる内視鏡システム１１０の要部の機能構成を示すブロック図である。図８に示すように、内視鏡システム１１０の制御装置３は、制御部１１１を有する。
制御部１１１は、ＣＰＵ等を用いて構成され、先端部２４および光源装置４を含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部１１１は、撮像制御のための設定データを、集合ケーブル２４６に含まれる所定の信号線を介して撮像制御部２４４ｅへ送信する。制御部１１１は、増幅部３０９ａと、分割領域設定部１０１ａと、蛍光判定部１１１ａと、を有する。
蛍光判定部１１１ａは、撮像素子２４４が生成した画像信号に対応する画像内において蛍光を発する蛍光領域の有無を判定する。具体的には、蛍光判定部１１１ａは、蛍光観察時に撮像素子２４４が生成した画像内に輝度が一定のレベルを含む領域の有無を判定する。なお、蛍光判定部１１１ａは、画像内において蛍光を発する蛍光領域に対応する画素のアドレスを判定してもよい。
以上の構成を有する内視鏡システム１１０が実行する処理について説明する。図９は、本実施の形態３にかかる内視鏡システム１１０が実行する処理の概要を示すフローチャートである。
図９に示すように、ステップＳ３０１〜ステップＳ３０８は、図６のステップＳ２０１〜ステップＳ２０７およびステップＳ２０９にそれぞれ対応する。また、ステップＳ３０９〜ステップＳ３１１は、図４のステップＳ１０８〜ステップＳ１１０にそれぞれ対応する。
ステップＳ３１１の後、蛍光判定部１１１ａは、蛍光画像信号に対応する蛍光画像内に蛍光が検出された分割領域があるか否かを判定する（ステップＳ３１２）。具体的には、蛍光判定部１１１ａは、蛍光画像内で輝度が一定のレベルを有する分割領域が検出されたか否かを検出する。蛍光画像信号に対応する蛍光画像内に蛍光が検出された分割領域があると蛍光判定部１１１ａが判定した場合（ステップＳ３１２：Ｙｅｓ）、内視鏡システム１は、後述するステップＳ３１３へ移行する。これに対して、蛍光画像信号に対応する蛍光画像内に蛍光が検出された分割領域がないと蛍光判定部１１１ａが判定した場合（ステップＳ３１２：Ｎｏ）、内視鏡システム１は、後述するステップＳ３１７へ移行する。
ステップＳ３１３において、分割領域設定部１０１ａは、蛍光が検出された分割領域を所定の領域ごとに分割した小分割領域を設定する。具体的には、図１０に示すように、分割領域設定部１０１ａは、蛍光Ｓ１が検出された分割領域Ａ３を所定の領域ごとに分割して小分割領域Ａ３１〜Ａ３４を設定する（図１０（ａ）→（図１０（ｂ））。続いて、分割領域設定部１０１ａは、撮像制御部２４４ｅを介して受光部２４４ｆが露光する領域を設定する。具体的には、分割領域設定部１０１ａは、撮像制御部２４４ｅを介して蛍光Ｓ１が検出された小分割領域に対応する領域を、受光部２４４ｆの画素が蛍光を受光して露光する領域として設定する。
その後、光源制御部４３は、制御部３１１の制御のもと、ＬＥＤドライバ４４を駆動して特殊光光源４２に励起光を照射させ（ステップＳ３１４）、増幅部３０９ａは、分割領域設定部１０１ａによって設定された小分割領域の画素のみに蛍光を受光させて露光を行う（ステップＳ３１５）。これにより、センサ部２４４ａは、小分割領域の画素のみを露光すればよいので、長時間露光を行うことができ、蛍光の増幅率（感度）を上げることができる。この結果、内視鏡システム１は、受光部２４４ｆの必要な画素のみを長時間露光することで、受光部２４４ｆの全画素で長時間露光を行う場合に比して、設定されたフレームレートを落とすことなく、かつ、一連の撮像（露光）時間が延びることを防止することができ、連続的に蛍光画像信号を滑らかに出力することができる。
続いて、画像処理部３０２は、先端部２４の撮像素子２４４から出力された画像信号に対して所定の画像処理を施して蛍光画像信号を生成して表示装置５に出力する（ステップＳ３１６）。
その後、制御部３１１は、内視鏡システム１に終了の指示信号が入力されたか否かを判断する（ステップＳ３１７）。終了の指示信号が入力されたと制御部３１１が判断した場合（ステップＳ３１７：Ｙｅｓ）、内視鏡システム１は、本処理を終了する。
これに対して、終了の指示信号が入力されていないと制御部３１１が判断した場合（ステップＳ３１７：Ｎｏ）、内視鏡システム１は、ステップＳ３０２へ戻る。この場合、分割領域設定部１０１ａは、図１０に示すように、終了の指示信号等が入力されるまで、蛍光Ｓ１が検出された小分割領域を所定の分割にさらに分割して微小分割領域Ａ３２１〜Ａ３２４を設定し（図１０（ｂ）→図１０（ｃ））、増幅部３０９ａが蛍光を撮像する際の増幅率（感度）や長時間露光の設定を行ってもよい。
以上説明した本実施の形態３によれば、増幅部３０９ａが分割領域設定部１０１ａによって設定された小分割領域の画素のみに蛍光を受光させて露光を行う。これにより、センサ部２４４ａは、小分割領域の画素のみを露光すればよいので、長時間露光を行うことができ、蛍光の増幅率（感度）を上げることができる。この結果、内視鏡システム１は、受光部２４４ｆの必要な画素のみを長時間露光することで、受光部２４４ｆの全画素で長時間露光を行う場合に比して、設定されたフレームレートを落とすことなく、かつ、一連の撮像（露光）時間が延びることを防止することができ、連続的に蛍光画像信号を滑らかに出力することができる。
また、本実施の形態３では、励起光を先に照射させて蛍光が検出された領域を所定の領域ごとに分割して分割領域を設定してもよい。すなわち、注目する領域のみ小さな領域で高感度の撮像を行うようにしてもよい。これにより、充分なダイナミックレンジまたはコントラストで蛍光画像を撮像することができる。
（実施の形態４）
つぎに、本実施の形態４について説明する。本実施の形態４にかかる内視鏡システムは、上述した実施の形態と同様の構成を有し、内視鏡システムが実行する処理のみが異なる。具体的には、上述した実施の形態では、蛍光が観察された分割領域に含まれる各画素の増幅率を長時間露光させて蛍光を撮像する感度を上げていたが、本実施の形態４では、全体領域から蛍光が観察された領域に向けて増幅率を上げる領域を徐々に小さく領域を設定する。このため、以下においては、本実施の形態４にかかる内視鏡システムが実行する処理について説明する。なお、以下においては、蛍光が観察された領域を関心領域（以下、「ＲＯＩ」という）として説明する。
つぎに、本実施の形態４について説明する。本実施の形態４にかかる内視鏡システムは、上述した実施の形態と同様の構成を有し、内視鏡システムが実行する処理のみが異なる。具体的には、上述した実施の形態では、蛍光が観察された分割領域に含まれる各画素の増幅率を長時間露光させて蛍光を撮像する感度を上げていたが、本実施の形態４では、全体領域から蛍光が観察された領域に向けて増幅率を上げる領域を徐々に小さく領域を設定する。このため、以下においては、本実施の形態４にかかる内視鏡システムが実行する処理について説明する。なお、以下においては、蛍光が観察された領域を関心領域（以下、「ＲＯＩ」という）として説明する。
図１１は、本実施の形態４にかかる内視鏡システム１が実行する処理のタイムチャートである。図１１において、図１１（ａ）が受光部２４４ｆから出力される領域のタイミングを示し、図１１（ｂ）が受光部２４４ｆの画素に対してリセットを指示するタイミングを示す。なお、図１１において、横軸が時間を示す。
図１１に示すように、分割領域設定部１０１ａは、蛍光判定部１１１ａの判定結果に基づいて、撮像制御部２４４ｅを介して受光部２４４ｆの領域を全領域、ＲＯＩ１、ＲＯＩ２、ＲＯＩ３およびＲＯＩ４の順に読み出させて出力させる。具体的には、図１２に示すように、分割領域設定部１０１ａは、蛍光判定部１１１ａの判定結果に基づいて、撮像制御部２４４ｅを介して画像内Ｗ１内で患部の蛍光Ｓ１が観察された領域が徐々に小さくなるように、受光部２４４ｆの領域を全領域Ｒ１、ＲＯＩ１、ＲＯＩ２、ＲＯＩ３およびＲＯＩ４の順で読み出させて出力させる。この際、各ＲＯＩ領域に対応する画像は、画像中心の座標が同じで、徐々に領域が小さくなる（ＲＯＩ１＞ＲＯＩ２＞ＲＯＩ３＞ＲＯＩ４）。これにより、各ＲＯＩの重畳部分は、最も露光回数が多くなるので、高感度になり、漸次感度が低下する画像となるので、周辺画像との違和感がなくなる。
以上説明した本実施の形態４によれば、分割領域設定部１０１ａが蛍光判定部１１１ａの判定結果に基づいて、受光部２４４ｆの受光面を患部の蛍光Ｓ１が観察された領域に向けて増幅率を上げる領域を徐々に小さくして領域を設定するので、撮像素子２４４のフレームレートを落とさずに、自然な部分に感度を上げた滑らかな画像を得ることができる。
また、本実施の形態４によれば、増幅部３０９ａが蛍光を有する領域の境界の感度を傾斜的に設定するので、画像の違和感を低減することができる。
さらに、本実施の形態４によれば、ＲＯＩ領域以外に不必要な高輝度領域があったとしても、感度が飽和する領域を低減することができるとともに、明るさの自動制御による誤動作、たとえばブラックアウトを防止することができる。
（実施の形態５）
つぎに、本実施の形態５について説明する。本実施の形態５にかかる内視鏡システムは、内視鏡の先端部に二つの撮像素子が設けられている。このため、以下においては、上述した実施の形態の内視鏡システムと異なる構成についてのみ説明する。なお、同一の構成には同一の符号を付して説明する。
つぎに、本実施の形態５について説明する。本実施の形態５にかかる内視鏡システムは、内視鏡の先端部に二つの撮像素子が設けられている。このため、以下においては、上述した実施の形態の内視鏡システムと異なる構成についてのみ説明する。なお、同一の構成には同一の符号を付して説明する。
図１３は、本実施の形態５にかかる内視鏡システムの先端部の先端面を示す図である。図１４は、図１３に示すＡ−Ａ線で切断した切断面の一部を示す図である。図１５は、図１３に示すＢ−Ｂ線で切断した切断面の一部を示す図である。図１６は、本実施の形態５にかかる内視鏡システムの要部の機能構成を示すブロック図である。
図１３〜図１６に示すように、内視鏡２の先端部６の先端面には、洗浄用ノズル６１、観察窓６２、観察窓６３、照明レンズ２４２および処置具チャンネル２４５が設けられている。
観察窓６２および観察窓６３は、閉塞されている。観察窓６２を介して外部から入射した光は、複数のレンズ６２１ａ，６２１ｂによって構成される第１の光学系６２１Ａに入射し、集光されてから、第１の受光部６２２Ａに入射する。観察窓６３を介して外部から入射した光は、複数のレンズ６３１ｃ，６３１ｄによって構成される第２の光学系６３１Ｂに入射し、集光されてから、第２の受光部６３２Ｂに入射する。
第１の受光部６２２Ａは、２次元的にマトリックス状に配置された撮像用の複数の画素を有し、第１の光学系６２１Ａから出射した光が入射するように配置される。第１の受光部６２２Ａは、第１の光学系６２１Ａを介して入射した光を受光して体腔内を撮像する。第１の受光部６２１Ａの受光面側には、カバーガラス６２３Ａが設けられている。カバーガラス６２３Ａと第１の受光部６２２Ａとの間には、第１の受光部６２２Ａの画素の配列に対応してＲ赤（Ｒ），緑（Ｇ）あるいは青（Ｂ）のフィルタが配列するオンチップフィルタ６２４Ａが設けられており、第１の受光部６２２Ａは、カラー画像を撮像する。なお、オンチップフィルタ６２４Ａは、シアン、マゼンタ、黄および緑のフィルタが配列する補色フィルタであってもよい。
第２の受光部６３２Ｂは、２次元的にマトリックス状に配置された撮像用の複数の画素を有し、第２の光学系６３１Ｂから出射した光が入射するように配置される。第２の受光部６３２Ｂの受光面側には、所定波長帯の光のみを透過する分光フィルタ６３３と、カバーガラス６３４Ｂとが設けられており、第２の受光部６３２Ｂは、所定波長帯の蛍光に対応する蛍光観察用画像を、モノクロ画像として撮像する特性を有する。
第１の受光部６２２Ａおよび第２の受光部６３２Ｂは、第１の受光部６２２Ａおよび第２の受光部６３２Ｂに撮像タイミングを指示するとともに電源供給を行うドライバ６４や、第１の受光部６２２Ａおよび第２の受光部６３２Ｂによる画像信号を読み出して電気信号に変換する変換回路６５などとともに、回路基板６６に実装される。第１の受光部６２２Ａおよび第２の受光部６３２Ｂは、受光面が左右に並んで回路基板６６に実装される。回路基板６６には、電極６７が設けられる。電極６７は、たとえば異方性導電性樹脂フィルムを介して、制御装置３との間で電気信号を伝送する信号線６８と接続する。第１の受光部６２２Ａおよび第２の受光部６３２Ｂが出力した電気信号である画像信号を伝送する信号線６７ａのほか、制御装置３から制御信号を伝送する信号線を含む複数の信号線によって、集合ケーブルが形成される。
同調部１２１は、第１の受光部６２２Ａおよび第２の受光部６３２Ｂが交互に画像情報が読み出されるように、第１の受光部６２２Ａおよび第２の受光部６３２Ｂの読み出し対象の画素を設定する。同調部１２１は、第１の受光部６２２Ａおよび第２の受光部６３２Ｂにおける露光処理、ならびに、タイミングジェネレータ２４４ｄおよびＡＦＥ部２４４ｂによる第１の受光部６２２Ａおよび第２の受光部６３２Ｂに対する画素情報の読み出し処理のタイミングを相関付けて制御する。そして、第１の受光部６２２Ａおよび第２の受光部６３２Ｂから読み出された画素情報は、同一の伝送路によって伝送される。
このように構成された内視鏡システム１２０は、明るさ検出部３０３が第１の受光部６２２Ａで撮像された画像信号に基づいて輝度信号を生成し、増幅部３０９ａが明るさ検出部３０３によって生成された輝度信号に応じた増幅率に基づいて、励起光の照明下で第２の受光部６３２Ｂが生成する画像信号の増幅率を設定する。これにより、内視鏡システム１２０は、通常光（可視光）の撮像を行いながら、励起光の撮像の感度をほぼ同時に調整することができる。
１，１００，１１０，１２０ 内視鏡システム
２ 内視鏡
３ 制御装置
４ 光源装置
５ 表示装置
６，２４ 先端部
２１ 挿入部
２２ 操作部
２３ ユニバーサルコード
２５ 湾曲部
２６ 可撓管部
４１ 白色光光源
４２ 特殊光光源
４３ 光源制御部
４４ ＬＥＤドライバ
１０１，１１１，３０９ 制御部
１０１ａ 分割領域設定部
１１１ａ 蛍光判定部
１２１ 同調部
２２１ 湾曲ノブ
２２２ 処置具挿入部
２２３ スイッチ
２４１ ライトガイド
２４２ 照明レンズ
２４３ 光学系
２４４ 撮像素子
２４４ａ センサ部
２４４ｂ アナログフロントエンド
２４４ｃ Ｐ／Ｓ変換部
２４４ｄ タイミングジェネレータ
２４４ｅ 撮像制御部
２４４ｆ 受光部
２４４ｇ 読み出し部
２４４ｈ ノイズ低減部
２４４ｉ ＡＧＣ部
２４４ｊ Ａ／Ｄ部
２４５ 処置具チャンネル
３０２ 画像処理部
３０４ 調光部
３０５ 読出アドレス設定部
３０６ 駆動信号生成部
３０７ 入力部
３０８ 記憶部
３０９ａ 増幅部
３１０ 基準クロック生成部
２ 内視鏡
３ 制御装置
４ 光源装置
５ 表示装置
６，２４ 先端部
２１ 挿入部
２２ 操作部
２３ ユニバーサルコード
２５ 湾曲部
２６ 可撓管部
４１ 白色光光源
４２ 特殊光光源
４３ 光源制御部
４４ ＬＥＤドライバ
１０１，１１１，３０９ 制御部
１０１ａ 分割領域設定部
１１１ａ 蛍光判定部
１２１ 同調部
２２１ 湾曲ノブ
２２２ 処置具挿入部
２２３ スイッチ
２４１ ライトガイド
２４２ 照明レンズ
２４３ 光学系
２４４ 撮像素子
２４４ａ センサ部
２４４ｂ アナログフロントエンド
２４４ｃ Ｐ／Ｓ変換部
２４４ｄ タイミングジェネレータ
２４４ｅ 撮像制御部
２４４ｆ 受光部
２４４ｇ 読み出し部
２４４ｈ ノイズ低減部
２４４ｉ ＡＧＣ部
２４４ｊ Ａ／Ｄ部
２４５ 処置具チャンネル
３０２ 画像処理部
３０４ 調光部
３０５ 読出アドレス設定部
３０６ 駆動信号生成部
３０７ 入力部
３０８ 記憶部
３０９ａ 増幅部
３１０ 基準クロック生成部
Claims (7)
- 被検体に導入された蛍光物質を励起するための励起光を該被検体に向けて出射する励起光出射部と、
前記励起光と異なる可視帯域を含む通常光を前記被検体に向けて出射する通常光出射部と、
前記励起光または前記通常光で照明された前記被検体の光学像を撮像面上で結像して画像信号を生成する撮像部と、
前記通常光の照明下で前記撮像部が生成した前記画像信号に基づいて、明るさを示す輝度信号を生成する輝度信号生成部と、
前記輝度信号生成部が生成した前記輝度信号に応じた前記画像信号の増幅率に基づいて、前記励起光の照明下で前記撮像部が生成する前記画像信号の増幅率を設定する増幅部と、
を備えたことを特徴とする撮像装置。 - 前記撮像面を分割して複数の分割領域を設定する分割領域設定部をさらに備え、
前記輝度信号生成部は、前記分割領域設定部が設定した前記複数の分割領域それぞれの前記輝度信号を生成し、
前記増幅部は、前記輝度信号の各々に応じた増幅率に基づいて、前記励起光の照明下における前記分割領域に対応する前記画像信号の増幅率を設定することを特徴とする請求項１に記載の撮像装置。 - 前記分割領域設定部は、前記分割領域を分割して複数の小分割領域を設定し、
前記増幅部は、前記輝度信号の各々に応じた増幅率に基づいて、前記励起光の照明下における前記小分割領域に対応する前記画像信号の増幅率を設定することを特徴とする請求項２に記載の撮像装置。 - 前記励起光の照明下で生成された前記画像信号に対応する蛍光画像内において蛍光を発する蛍光領域の有無を判定する蛍光判定部をさらに備え、
前記分割領域設定部は、前記蛍光判定部が前記蛍光画像内において前記蛍光領域があると判定した場合、前記蛍光領域が含まれる前記分割領域を分割して複数の小分割領域を設定し、
前記増幅部は、前記輝度信号の各々に応じた増幅率に基づいて、前記励起光の照明下における前記小分割領域に対応する前記画像信号の増幅率を設定することを特徴とする請求項２に記載の撮像装置。 - 前記励起光の照明下で生成された前記画像信号に対応する蛍光画像内において蛍光を発する蛍光領域の有無を判定する蛍光判定部をさらに備え、
前記分割領域設定部は、前記蛍光判定部が前記蛍光画像内において前記蛍光領域があると判定した場合、前記蛍光領域が含まれる前記分割領域を時間の経過とともに小さく設定することを特徴とする請求項２に記載の撮像装置。 - 前記増幅部は、ゲインに基づいて、前記画像信号の増幅率を設定することを特徴とする請求項１に記載の撮像装置。
- 前記増幅部は、露光時間に基づいて、前記画像信号の増幅率を設定することを特徴とする請求項１に記載の撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014544276A JP5669997B1 (ja) | 2013-08-01 | 2014-03-31 | 撮像装置 |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013160659 | 2013-08-01 | ||
| JP2013160659 | 2013-08-01 | ||
| JP2014544276A JP5669997B1 (ja) | 2013-08-01 | 2014-03-31 | 撮像装置 |
| PCT/JP2014/059473 WO2015015839A1 (ja) | 2013-08-01 | 2014-03-31 | 撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP5669997B1 true JP5669997B1 (ja) | 2015-02-18 |
| JPWO2015015839A1 JPWO2015015839A1 (ja) | 2017-03-02 |
Family
ID=52431389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014544276A Active JP5669997B1 (ja) | 2013-08-01 | 2014-03-31 | 撮像装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9414739B2 (ja) |
| EP (1) | EP3028622A4 (ja) |
| JP (1) | JP5669997B1 (ja) |
| CN (1) | CN104619236B (ja) |
| WO (1) | WO2015015839A1 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017073302A1 (ja) * | 2015-10-27 | 2017-05-04 | オリンパス株式会社 | 撮像システムのための制御装置、撮像システム、及び撮像システムの制御方法 |
| CN105595947B (zh) * | 2016-02-01 | 2017-09-29 | 清华大学 | 荧光内窥成像装置和方法 |
| WO2018043293A1 (ja) * | 2016-09-01 | 2018-03-08 | Hoya株式会社 | 電子スコープ及び電子内視鏡システム |
| JP6750876B2 (ja) * | 2016-10-07 | 2020-09-02 | キヤノン株式会社 | 固体撮像装置及びその駆動方法 |
| US10771924B2 (en) | 2016-12-22 | 2020-09-08 | Telecom Italia S.P.A. | Method and system for counting people at a transport hub by means of data of a telecommunication network |
| US11160443B2 (en) * | 2017-03-30 | 2021-11-02 | Hoya Corporation | Electronic endoscope device for changing observation image brightness |
| US10805553B2 (en) * | 2017-04-14 | 2020-10-13 | Canon Kabushiki Kaisha | Imaging apparatus and imaging method |
| CN108478174B (zh) * | 2018-03-20 | 2023-07-25 | 广东欧谱曼迪科技有限公司 | 基于曝光反馈的双相机***及其术中荧光导航调整方法 |
| US20210290037A1 (en) * | 2020-03-17 | 2021-09-23 | Sony Olympus Medical Solutions Inc. | Medical image processing apparatus and medical observation system |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009095525A (ja) * | 2007-10-18 | 2009-05-07 | Hoya Corp | 内視鏡装置の電子内視鏡 |
| JP2009095566A (ja) * | 2007-10-18 | 2009-05-07 | Olympus Medical Systems Corp | 内視鏡装置 |
| JP2009279172A (ja) * | 2008-05-22 | 2009-12-03 | Fujinon Corp | 蛍光画像取得方法および蛍光画像取得装置 |
| JP2011250925A (ja) * | 2010-06-01 | 2011-12-15 | Fujifilm Corp | 電子内視鏡システム |
| JP5200200B2 (ja) * | 2011-06-14 | 2013-05-15 | オリンパスメディカルシステムズ株式会社 | 医療機器 |
| JP5245022B1 (ja) * | 2011-08-15 | 2013-07-24 | オリンパスメディカルシステムズ株式会社 | 撮像装置 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5589879A (en) * | 1993-03-26 | 1996-12-31 | Fuji Photo Film Co., Ltd. | Performing white balance correction on integrated divided areas of which average color is substantially white |
| US7179222B2 (en) * | 1996-11-20 | 2007-02-20 | Olympus Corporation | Fluorescent endoscope system enabling simultaneous achievement of normal light observation based on reflected light and fluorescence observation based on light with wavelengths in infrared spectrum |
| DE60031349T2 (de) * | 1999-11-18 | 2007-05-24 | Fuji Photo Film Co., Ltd., Minami-Ashigara | Verfahren und Vorrichtung zur Erzeugung von Fluoreszenzbildern |
| EP1301118B1 (en) * | 2000-07-14 | 2006-09-06 | Xillix Technologies Corp. | Compact fluorescence endoscopy video system |
| JP2005142680A (ja) * | 2003-11-04 | 2005-06-02 | Olympus Corp | 画像処理装置 |
| JP4575720B2 (ja) * | 2004-07-23 | 2010-11-04 | Ｈｏｙａ株式会社 | 電子内視鏡システム |
| JP4611687B2 (ja) * | 2004-08-27 | 2011-01-12 | Ｈｏｙａ株式会社 | 電子内視鏡装置 |
| US7855727B2 (en) * | 2004-09-15 | 2010-12-21 | Gyrus Acmi, Inc. | Endoscopy device supporting multiple input devices |
| CN101188965B (zh) * | 2005-06-08 | 2012-08-08 | 奥林巴斯医疗株式会社 | 内窥镜装置 |
| JP4761899B2 (ja) * | 2005-09-12 | 2011-08-31 | Ｈｏｙａ株式会社 | 電子内視鏡システム |
| JP4745790B2 (ja) * | 2005-10-21 | 2011-08-10 | Ｈｏｙａ株式会社 | 電子内視鏡装置 |
| JP5855358B2 (ja) * | 2011-05-27 | 2016-02-09 | オリンパス株式会社 | 内視鏡装置及び内視鏡装置の作動方法 |
| JP5926909B2 (ja) * | 2011-09-07 | 2016-05-25 | オリンパス株式会社 | 蛍光観察装置 |
| CN103732119B (zh) * | 2011-12-27 | 2016-08-24 | 奥林巴斯株式会社 | 摄像装置 |
-
2014
- 2014-03-31 CN CN201480002352.9A patent/CN104619236B/zh active Active
- 2014-03-31 WO PCT/JP2014/059473 patent/WO2015015839A1/ja active Application Filing
- 2014-03-31 EP EP14833079.8A patent/EP3028622A4/en not_active Withdrawn
- 2014-03-31 JP JP2014544276A patent/JP5669997B1/ja active Active
-
2015
- 2015-03-09 US US14/641,603 patent/US9414739B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009095525A (ja) * | 2007-10-18 | 2009-05-07 | Hoya Corp | 内視鏡装置の電子内視鏡 |
| JP2009095566A (ja) * | 2007-10-18 | 2009-05-07 | Olympus Medical Systems Corp | 内視鏡装置 |
| JP2009279172A (ja) * | 2008-05-22 | 2009-12-03 | Fujinon Corp | 蛍光画像取得方法および蛍光画像取得装置 |
| JP2011250925A (ja) * | 2010-06-01 | 2011-12-15 | Fujifilm Corp | 電子内視鏡システム |
| JP5200200B2 (ja) * | 2011-06-14 | 2013-05-15 | オリンパスメディカルシステムズ株式会社 | 医療機器 |
| JP5245022B1 (ja) * | 2011-08-15 | 2013-07-24 | オリンパスメディカルシステムズ株式会社 | 撮像装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2015015839A1 (ja) | 2015-02-05 |
| EP3028622A4 (en) | 2017-03-22 |
| CN104619236B (zh) | 2016-11-23 |
| JPWO2015015839A1 (ja) | 2017-03-02 |
| EP3028622A1 (en) | 2016-06-08 |
| CN104619236A (zh) | 2015-05-13 |
| US20150173595A1 (en) | 2015-06-25 |
| US9414739B2 (en) | 2016-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5669997B1 (ja) | 撮像装置 | |
| JP5259882B2 (ja) | 撮像装置 | |
| JP5452785B1 (ja) | 撮像システム | |
| JP5274720B2 (ja) | 撮像装置 | |
| JP5769892B2 (ja) | 内視鏡 | |
| JP5467182B1 (ja) | 撮像システム | |
| WO2013128764A1 (ja) | 医療システム | |
| JP6100674B2 (ja) | 内視鏡用光源装置及び内視鏡システム | |
| JP5539840B2 (ja) | 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び電子内視鏡システムの作動方法 | |
| JP5554288B2 (ja) | 内視鏡システム、プロセッサ装置及び画像補正方法 | |
| JP5810016B2 (ja) | 内視鏡システム | |
| JP2014183908A (ja) | 撮像システム | |
| JP6396717B2 (ja) | 感度調整方法および撮像装置 | |
| JP5525991B2 (ja) | 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び電子内視鏡システムの作動方法 | |
| JP5815162B2 (ja) | 撮像装置 | |
| JP7235540B2 (ja) | 医療用画像処理装置及び医療用観察システム | |
| JP2017099944A (ja) | 内視鏡用光源装置及び内視鏡システム | |
| WO2020217541A1 (ja) | 光源ユニット | |
| JP2008252906A (ja) | 内視鏡装置 | |
| WO2022208629A1 (ja) | 蛍光観察装置、光免疫治療システムおよび蛍光内視鏡 | |
| JP2013252356A (ja) | 蛍光分光観察装置及び画像処理方法 | |
| JP2016025509A (ja) | 撮像システムおよび内視鏡 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20141111 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141202 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141216 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5669997 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |