JP2016022043A - 生体組織中の生体物質の濃度分布を示す画像を生成する方法 - Google Patents

生体組織中の生体物質の濃度分布を示す画像を生成する方法 Download PDF

Info

Publication number
JP2016022043A
JP2016022043A JP2014146688A JP2014146688A JP2016022043A JP 2016022043 A JP2016022043 A JP 2016022043A JP 2014146688 A JP2014146688 A JP 2014146688A JP 2014146688 A JP2014146688 A JP 2014146688A JP 2016022043 A JP2016022043 A JP 2016022043A
Authority
JP
Japan
Prior art keywords
light
imaging data
imaging
biological
optical filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014146688A
Other languages
English (en)
Other versions
JP6284451B2 (ja
Inventor
千葉 亨
Toru Chiba
亨 千葉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Priority to JP2014146688A priority Critical patent/JP6284451B2/ja
Publication of JP2016022043A publication Critical patent/JP2016022043A/ja
Application granted granted Critical
Publication of JP6284451B2 publication Critical patent/JP6284451B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Endoscopes (AREA)

Abstract

【課題】酸素飽和度分布等の生体物質の分布を表わす画像情報を短時間で取得可能にする。【解決手段】モル濃度比の増大と共に光吸収が増大する第1種波長域を含む一種以上の光のそれぞれを用いて生体組織を撮像して一つ以上の第1撮像データを取得するステップと、モル濃度比の増大と共に光吸収が減少する第2種波長域を含む一種以上の光のそれぞれを用いて生体組織を撮像して一つ以上の第2撮像データを取得するステップと、各撮像データに基づいて、各画素について、該撮像データの取得に用いた光に対する生体組織の光吸収を計算するステップと、各画素について、一つ以上の第1撮像データに基づいて計算した生体組織の光吸収の和と一つ以上の第2撮像データに基づいて計算した生体組織の光吸収の和との差分に基づいて第1生体物質と第2生体物質とのモル濃度比を示す指標を計算するステップと、指標に基づいて分布画像を生成するステップと、を含む方法。【選択図】図1

Description

本発明は、生体組織中の生体物質の濃度分布を示す画像を生成する方法に関する。
近年、分光画像撮影機能を備えた内視鏡装置(分光内視鏡装置)が提案されている。このような分光内視鏡装置によれば、消化器の粘膜等の生体組織の分光特性に関する情報(例えば反射スペクトル)を得ることができる。この生体組織の反射スペクトルは、測定対象となる生体組織の表層近傍に含まれる物質の種類や濃度の情報を反映していることが知られている。具体的には、生体組織の反射スペクトルより算出される吸収は、その生体組織を構成する複数の物質の吸収を線形的に重畳したものとなることが知られている。
病変部の生体組織は、健常部の生体組織とは、その組成、成分量において異なることが知られている。特に、癌などに代表される病変部の異常は、血液の状態、とりわけ全血液量や酸素飽和度の状態と深く関わることが多くの先行研究で報告されている。ここで、注目する2つの生体組織を、それらが有する可視域の分光学的特徴量を利用して、定性、定量することは、分光分析化学の分野では良く利用されている手法である。よって病変部を含む生体組織の血液の分光特性と、健常部のみの生体組織のそれとを比較して、生体組織に何らかの病変部が含まれるかどうかを推定することができる。
分光画像は、異なる波長の光で撮像された複数の画像情報から構成されるが、分光画像に含まれる波長情報(画像情報を取得する波長の数)が多いほど、より詳細な生体組織の情報を分光画像から得ることができる。特許文献1には、400〜800nmの波長域において5nmの波長間隔で分光画像を取得する分光内視鏡装置の構成例が開示されている。
特開2012−245223号公報
しかしながら、特許文献1に記載されているような波長分解能の高い分光画像を得るには、波長を変えながら多数の画像を撮像する必要がある。さらに、画像の解析に必要な計算量も多く、長い計算時間を要する。すなわち、有効な診断支援情報を得るためには、比較的に煩雑な撮影操作と計算を繰り返すことが必要となり、長い時間を要するという問題がある。
本発明は上記の事情に鑑みてなされたものであり、酸素飽和度分布等の生体物質の分布を表わす画像情報を短時間で取得可能な方法を提供することを目的とする。
本発明の一実施形態によれば、光吸収スペクトルが複数の等吸収点を有する生体組織に含まれ、それぞれ光吸収を有する第1生体物質と第2生体物質とのモル濃度比の分布画像を生成する方法であって、モル濃度比の増大と共に光吸収が増大する第1種波長域を含む一種以上の光のそれぞれを用いて生体組織を撮像して一つ以上の第1撮像データを取得するステップと、モル濃度比の増大と共に光吸収が減少する第2種波長域を含む一種以上の光のそれぞれを用いて生体組織を撮像して一つ以上の第2撮像データを取得するステップと、各撮像データに基づいて、各画素について、該撮像データの取得に用いた光に対する生体組織の光吸収を計算するステップと、各画素について、一つ以上の第1撮像データに基づいて計算した生体組織の光吸収の和と一つ以上の第2撮像データに基づいて計算した生体組織の光吸収の和との差分に基づいて第1生体物質と第2生体物質とのモル濃度比を示す指標を計算するステップと、指標に基づいて分布画像を生成するステップと、を含む方法が提供される。
上記の方法において、第1撮像データを取得するステップにおいて、第1種波長域のみを含む光を用いて生体組織を撮像する構成としてもよい。また、第2撮像データを取得するステップにおいて、第2種波長域のみを含む光を用いて生体組織を撮像する構成としてもよい。
上記の方法において、第1撮像データを取得するステップが、少なくとも一つの第1種波長域の光を選択的に分離する少なくとも一つの第1光学フィルタにより白色光から分離した光を用いて撮像するステップを含み、第2撮像データを取得するステップが、少なくとも一つの第2種波長域の光を選択的に分離する少なくとも一つの第2光学フィルタにより白色光から分離した光を用いて撮像するステップを含む構成としてもよい。
上記の方法において、少なくとも一つの第1光学フィルタと少なくとも一つの第2光学フィルタを順次切り替えながら、少なくとも一つの第1撮像データ及び少なくとも一つの第2撮像データを取得する構成としてもよい。
上記の方法において、第1光学フィルタ及び第2光学フィルタの少なくとも一方が、複数の第1種波長域又は第2種波長域を選択的に分離する多峰性の光学フィルタである構成としてもよい。
上記の方法において、指標に基づいて分布画像を生成するステップが、指標を画素値とする画像データを生成するステップを含む構成としてもよい。
上記の方法において、第1生体物質が酸素化ヘモグロビンであり、第2生体物質が還元ヘモグロビンであり、酸素飽和度の分布画像を生成する構成としてもよい。
上記の方法において、少なくとも一つの第1撮像データに基づいて計算した生体組織の光吸収と、少なくとも一つの第2撮像データに基づいて計算した生体組織の光吸収との合計に基づいて、生体組織の総ヘモグロビン量を計算するステップを更に含む構成としてもよい。
上記の方法において、生体組織の光吸収スペクトルにおいて、モル濃度比による光吸収の変化が十分に小さな波長を等吸収点とみなす構成としてもよい。
本発明によれば、酸素飽和度分布等の生体物質の分布を表わす画像情報を短時間で取得することが可能になる。
図1は、ヘモグロビンの吸収スペクトルに各光学フィルタの透過波長域を併せて示した図である。 図2は、本発明の実施の形態に係る内視鏡装置のブロック図である。 図3は、本発明の実施の形態に係る内視鏡装置の撮像素子に内蔵されるカラーフィルタの透過スペクトルである。 図4は、回転フィルタの外観図である。 図5は、本発明の実施形態に係る画像生成処理を説明するフローチャートである。 図6は、本発明の実施の形態に係る内視鏡装置によって生成された内視鏡画像の例である。(a)は通常観察画像であり、(b)は酸素飽和度分布画像である。
以下、本発明の実施の形態について、図面を参照しながら説明する。
以下に説明する本発明の実施形態に係る内視鏡装置は、波長域の異なる光で撮像した複数の画像に基づいて被写体の生体情報(例えば、酸素飽和度)を定量的に分析して、分析結果を画像化して表示する装置である。以下に説明する本実施形態の内視鏡装置を用いた酸素飽和度の定量分析では、可視域における血液の分光特性(すなわち、ヘモグロビンの分光特性)が酸素飽和度に応じて連続的に変化する性質が利用される。
(ヘモグロビンの分光特性及び酸素飽和度の計算原理)
本発明の実施形態に係る内視鏡装置の詳しい構成を説明する前に、可視域におけるヘモグロビンの分光特性と、本実施形態における酸素飽和度の計算原理について説明する。
図1に、ヘモグロビンの透過スペクトルを示す。ヘモグロビンの分光スペクトルは、酸素飽和度(全ヘモグロビンのうち酸素化ヘモグロビンが占める割合)に応じて変化する。図1における実線の波形は、酸素飽和度が100%の場合(すなわち、酸素化ヘモグロビンHbO2)の透過スペクトルであり、長破線の波形は、酸素飽和度が0%の場合(すなわち、還元ヘモグロビンHb)の透過スペクトルである。また、短破線は、その中間の酸素飽和度(10、20、30、・・・90%)におけるヘモグロビン(酸素化ヘモグロビンと還元ヘモグロビンの混合物)の透過スペクトルである。
なお、ヘモグロビンの吸収(吸光度)Aは、光透過率Tから以下の数式1により計算される。
図1に示されるヘモグロビンの透過スペクトルは、各成分(酸素化ヘモグロビン、還元ヘモグロビン)の濃度の和が一定となる2成分系の分光スペクトルであるため、各成分の濃度比(すなわち、酸素飽和度)によらず吸収A(すなわち透過率T)が一定となる等吸収点E1(422nm)、E2(452nm)、E3(502nm)、E4(526nm)、E5(546nm)、E6(570nm)及びE7(586nm)が現れる。以下の説明では、等吸収点E1とE2とで挟まれた波長領域を波長域W1、等吸収点E2とE3とで挟まれた波長領域を波長域W2、等吸収点E3とE4とで挟まれた波長領域を波長域W3、等吸収点E4とE5とで挟まれた波長領域を波長域W4、等吸収点E5とE6とで挟まれた波長領域を波長域W5、等吸収点E6とE7とで挟まれた波長領域を波長域W6と定義する。
隣接する等吸収点間では、酸素飽和度の増加に応じて吸収が単調に増加又は減少する。また、隣接する等吸収点間では、ヘモグロビンの吸収Aは、酸素飽和度に対してほぼ線形的に変化する。
また、波長400nmから等吸収点E1までの波長域W0と、等吸収点E7から波長620nmまでの波長域W7においても、酸素飽和度の増加に対する吸収の増減の傾向が一様となる。また、波長400nm及び620nmにおいては、酸素飽和度が変化してもヘモグロビンの吸収Aは殆ど変化しない。したがって、波長400nm及び620nmを等吸収点に準ずる波長として考えることができるため、本明細書では、波長400nmを準等吸収点E0、波長620nmを準等吸収点E8と定義する。また、本実施形態の分光分析においては、準等吸収点E0、E8を等吸収点とみなすことができる。また、準等吸収点E8よりも長波長側には、モグロビンの吸収が少ない領域が存在する。ここで、準等吸収点E8から800nmまでの波長領域を波長域WRと定義する。
偶数番目の波長域W0、W2、W4、W6におけるヘモグロビンの吸収AW0、AW2、AW4、AW6は酸素化ヘモグロビンの濃度(酸素飽和度)の増加に対して線形的に単調増加し、奇数番目の波長域W1、W3、W5、W7におけるヘモグロビンの吸収AW1、AW3、AW5、AW7は還元ヘモグロビンの濃度(1−酸素飽和度)の増加に対して線形的に単調増加する。従って、次の数式2により定義される指標Xは、酸素化ヘモグロビンの濃度(酸素飽和度)に対して線形的に単調増加する。
従って、予め実験的に酸素飽和度と指標Xとの定量的な関係を取得すれば、指標Xの値から酸素飽和度を計算することができる。
上記の数式2は、波長400nmから620nmまでの波長範囲に含まれる全ての波長域W0〜W7の吸収AW0〜AW7を使用して指標Xを計算する場合のものであるが、偶数番目の波長域W0、W2、W4、W6の吸収AW0、AW2、AW4、AW6の任意の一つ以上の和(部分和)から、奇数番目の波長域W1、W3、W5、W7の吸収AW1、AW3、AW5、AW7の任意の一つ以上の和を差し引いた値を指標Xとすることもできる。
(内視鏡装置の構成)
図2は、本発明の実施形態に係る内視鏡装置1のブロック図である。本実施形態の内視鏡装置1は、電子内視鏡100、プロセッサ200及びモニタ300を備えている。電子内視鏡100及びモニタ300は、プロセッサ200に着脱可能に接続されている。また、プロセッサ200には、光源部400及び画像処理部500が内蔵されている。
電子内視鏡100は、体腔内に挿入される挿入管110を有している。電子内視鏡100の内部には、全長に亘って延びるライトガイド131が設けられている。ライトガイド131の一端部(先端部131a)は、挿入管110の先端部(挿入管先端部111)の近傍に配置されており、ライトガイド131の他端部(基端部131b)は、プロセッサ200に接続されている。プロセッサ200は、キセノンランプ等の光量の大きい白色光WLを生成する光源ランプ430等を備えた光源部400を内蔵しており、この光源部400によって生成された照明光ILは、ライトガイド131の基端131bに入射するようになっている。ライトガイド131の基端131bに入射した光は、ライトガイド131を通ってその先端部131aに導かれ、先端部131aから放射される。電子内視鏡100の挿入管先端部111には、ライトガイド131の先端部131aと対向して配置された配光レンズ132が設けられており、ライトガイド131の先端部131aから放射される照明光ILは、配光レンズ132を透過して、挿入管先端部111の近傍の生体組織Tを照明する。
また、挿入管先端部111には対物光学系121及び撮像素子141が設けられている。生体組織Tの表面で反射又は散乱された光の一部(戻り光)は、対物光学系121に入射し、集光されて、撮像素子141の受光面に結像する。本実施形態の撮像素子141は、その受光面にカラーフィルタ141aを備えたカラー画像撮像用のCCD(Charge Coupled Device)イメージセンサであるが、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の他の種類の撮像素子を使用してもよい。カラーフィルタ141aは、赤色の光を透過させるRフィルタと、緑色の光を透過させるGフィルタと、青色の光を透過させるBフィルタとが配列され、撮像素子141の各受光素子上に直接形成された、いわゆるオンチップフィルタである。R、G、Bの各フィルタは、図3に示すような分光特性を有している。すなわち、本実施形態のRフィルタは、波長約570nm以上の光を透過させるフィルタであり、Gフィルタは、波長約470nm〜620nmの光を透過させるフィルタであり、Bフィルタは、波長約530nm以下の光を透過させるフィルタである。
撮像素子141は、後述する信号処理回路550と同期して駆動するように制御され、受光面に結像した像に対応する撮像信号を、周期的に(例えば、1/30秒間隔で)出力する。撮像素子141から出力された撮像信号は、ケーブル142を介してプロセッサ200の画像処理部500に送られる。
画像処理部500は、A/D変換回路510、一時記憶メモリ520、コントローラ530、ビデオメモリ540及び信号処理回路550を備えている。A/D変換回路510は、電子内視鏡100の撮像素子141からケーブル142を介して入力される撮像信号をA/D変換してデジタル画像データを出力する。A/D変換回路510から出力されるデジタル画像データは、一時記憶メモリ520に送られ記憶される。なお、デジタル画像データ(撮像信号)には、Rフィルタが装着された受光素子によって撮像されたRデジタル画像データ(R撮像信号)、Gフィルタが装着された受光素子によって撮像されたGデジタル画像データ(G撮像信号)及びBフィルタが装着された受光素子によって撮像されたBデジタル画像データ(B撮像信号)が含まれている。
コントローラ530は、一時記憶メモリ520に記憶された単数又は複数のデジタル画像データを処理して一枚の表示用画像データを生成し、これをビデオメモリ540に送る。例えば、コントローラ530は、単一のデジタル画像データから生成された表示用画像データ、複数のデジタル画像データの画像が並べられた表示用画像データ、或いは複数のデジタル画像データに基づいて画素(x,y)毎に生体組織Tの反射スペクトルを生成し、これによって健常部と病変部とを識別した表示用画像データや、特定の画素(x,y)に対応する生体組織Tの反射スペクトルのグラフを表示する表示用画像データ等を生成して、これをビデオメモリ540に記憶させる。信号処理回路550は、ビデオメモリ540に記憶されている表示用画像データに基づいて所定の形式(例えば、NTSC規格やDVI規格に準拠した形式)のビデオ信号を生成して出力する。信号処理回路550から出力されたビデオ信号は、モニタ300に入力される。この結果、電子内視鏡100によって撮像された内視鏡画像等が、モニタ300に表示される。
このように、プロセッサ200は、電子内視鏡100の撮像素子141から出力される撮像信号を処理するビデオプロセッサとしての機能と、被写体である生体組織Tを照明するための照明光ILを電子内視鏡100のライトガイド131に供給する光源装置としての機能とを兼ね備えたものである。
光源部400は、上述の光源430の他に、コリメータレンズ440、回転フィルタ410、フィルタ制御部420及び集光レンズ450を備えている。光源430から出射される白色光WLは、コリメータレンズ440によって平行光となり、回転フィルタ410を通過した後、集光レンズ450によってライトガイド131の基端131bに入射する。
回転フィルタ410は、複数の光学フィルタを備えた円盤型の光学ユニットであり、その回転角度に応じて透過波長域が切り替わるように構成されている。回転フィルタ410の回転角度は、コントローラ530に接続されたフィルタ制御部420によって制御される。コントローラ530がフィルタ制御部420を介して回転フィルタ410の回転角度を制御することにより、回転フィルタ410を透過してライトガイド131に供給される照明光ILのスペクトルが切り替えられる。
図4は、回転フィルタ410の外観図(正面図)である。回転フィルタ410は、略円盤状のフレーム411と、5つの扇形の光学フィルタF1、F2、F3、F4及びF5を備えている。フレーム411の中心軸の周りには5つの扇状の窓414a、414b、414c、414d及び414eが等間隔で形成されており、各窓414a、414b、414c、414d及び414eには、それぞれ光学フィルタF1、F2、F3、F4及びF5が嵌め込まれている。なお、本実施形態の光学フィルタは、いずれも誘電体多層膜フィルタであるが、他の方式の光学フィルタ(例えば、吸収型の光学フィルタや誘電体多層膜を反射膜として用いたエタロンフィルタ等)を用いてもよい。
また、フレーム411の中心軸上にはボス穴412が形成されている。ボス穴412には、フィルタ制御部420が備えるサーボモータ(不図示)の出力軸が差し込まれて固定され、回転フィルタ410はサーボモータの出力軸と共に回転する。
図4には、白色光WLが光学フィルタF1に入射する状態が示されているが、回転フィルタ410が矢印で示される方向に回転すると、白色光WLが入射する光学フィルタは、F1、F2、F3、F4、F5の順に切り替わり、これにより回転フィルタ410を透過する照明光ILのスペクトルが切り替えられる。
光学フィルタF1は、450−500nm帯の光を選択的に透過させる光バンドパスフィルタである。図1に示すように、光学フィルタF1は、波長域W2の光を低損失で透過させ、それ以外の波長領域の光を遮断するように構成されている。
光学フィルタF1の透過波長域(図1)は、カラーフィルタ141aのBフィルタの透過波長域(図3)に含まれている。従って、光学フィルタF1を通過した光によって形成される像は、Bフィルタが装着された受光素子によって撮像され、Bデジタル画像データ(B撮像信号)として得られる。
光学フィルタF2及びF3は、550nm帯の光を選択的に透過させる光バンドパスフィルタである。図1に示すように、光学フィルタF2は、等吸収点E4からE7までの波長域W4、W5及びW6の光を低損失で透過させ、それ以外の波長域の光を遮断するように構成されている。また、光学フィルタF3は、波長域W5の光を低損失で透過させ、それ以外の波長域の光を遮断するように構成されている。
光学フィルタF2及びF3の透過波長域(図1)は、カラーフィルタ141aのGフィルタの透過波長域(図3)に含まれている。従って、光学フィルタF2又はF3を通過した光によって形成される像は、Gフィルタが装着された受光素子によって撮像され、Gデジタル画像データ(G撮像信号)として得られる。
光学フィルタF4は、生体組織Tの吸収が低い波長域である等吸収点E8よりも長波長側の波長域WRの光のみを選択的に透過させるように設計されている。光学フィルタF4の透過波長域は、カラーフィルタ141aのRフィルタの透過波長域(図3)に含まれている。従って、光学フィルタF4を通過した光の像は、Rフィルタが装着された受光素子によって撮像され、Rデジタル画像データ(R撮像信号)として得られる。波長域WRの照明光ILを使用して取得される画像データは、後述する規格化処理に使用される。
また、光学フィルタF5は、紫外線カットフィルタであり、可視光に対しては透明である。光学フィルタF5を透過した照明光IL(すなわち白色光)は、通常観察像の撮像に使用される。なお、光学フィルタF5を使用せず、フレーム411の窓414eを開放した構成としてもよい。
フレーム411の周縁部には、中心軸と平行に延びる貫通孔413が形成されている。貫通孔413は、フレーム411の回転方向において、窓414aと窓414eとの境界部と同じ位置に形成されている。フレーム411の周囲には、貫通孔413を検出するためのフォトインタラプタ422が、フレーム411の周縁部の一部を囲むように配置されている。フォトインタラプタ422は、フィルタ制御部420に接続されている。
本実施形態の内視鏡装置1は、通常観察モード、分光分析(酸素飽和度分布画像表示)モード及びベースライン測定モードの3つの動作モードを有している。通常観察モードは、光学フィルタF5を通過した白色光を用いてカラー画像を撮影する動作モードである。分光分析モードは、光学フィルタF1、F2、F3及びF4のそれぞれを通過した照明光ILを用いて撮像したデジタル画像データに基づいて分光分析を行い、生体組織中の生体分子の分布画像(例えば酸素飽和度分布画像)を表示するモードである。ベースライン測定モードは、実際の内視鏡観察を行う前に(又は行った後で)、無彩色の拡散板(磨りガラス等)や標準反射板等の色基準板を被写体として、光学フィルタF1、F2、F3及びF4のそれぞれを通過した照明光ILを用いて撮像を行い、後述する規格化処理に使用するデータを取得するモードである。
通常観察モードにおいては、コントローラ530は、フィルタ制御部420を制御して、白色光WLが光学フィルタF5に入射する位置で回転フィルタ410を静止させる。そして、撮像素子141によって撮像されたデジタル画像データを、必要に応じて画像処理を施した後に、ビデオ信号に変換して、モニタ300に表示させる。
分光分析モードにおいては、コントローラ530は、フィルタ制御部420を制御して、回転フィルタ410を一定の回転数で回転駆動させながら、光学フィルタF1、F2、F3、F4及びF5をそれぞれ透過した照明光ILによる生体組織Tの撮像を順次行う。そして、光学フィルタF1、F2、F3及びF4を用いて取得したデジタル画像データに基づいて生体組織中の生体分子の分布を示す画像を生成し、これと光学フィルタF5を用いて取得した通常観察画像とを並べた表示画面を生成して、更にビデオ信号に変換して、モニタ300に表示させる。
分光分析モードでは、フィルタ制御部420は、フォトインタラプタ422が貫通孔413を検出するタイミングに基づいて、回転フィルタ410の回転の位相を検出し、これをコントローラ530から供給されるタイミング信号の位相と比較して、回転フィルタ410の回転の位相を調整する。コントローラ530からのタイミング信号は、撮像素子141の駆動信号と同期している。従って、回転フィルタ410は、撮像素子141の駆動と同期して、略一定の回転数で回転駆動される。具体的には、回転フィルタ410の回転は、撮像素子141による1画像分(R,G,Bの3フレーム)の撮像が行われる毎に、白色光WLが入射する光学フィルタF1〜F4(窓414a〜d)が切り替わるように制御される。
ベースライン測定モードにおいては、コントローラ530は、フィルタ制御部420を制御して回転フィルタ410を回転させながら、光学フィルタF1、F2、F3及びF4を透過した照明光ILによる色基準板の撮像を順次行う。光学フィルタF1を透過した照明光ILを用いて撮影されたBデジタル画像データは、ベースライン画像データBLF1(x,y)として、コントローラ530の内部メモリ531に記憶される。また、光学フィルタF2、F3をそれぞれ透過した照明光ILを用いて撮影されたGデジタル画像データは、それぞれベースライン画像データBLF2(x,y)、BLF3(x,y)として、コントローラ530の内部メモリ531に記憶される。また、光学フィルタF4を透過した照明光ILを用いて撮影されたRデジタル画像データは、ベースライン画像データBLF4(x,y)としてコントローラ530の内部メモリ531に記憶される。
次に、分光分析モードにおいて、画像処理部500によって実行される画像生成処理について説明する。図5は、画像生成処理を説明するフローチャートである。
ユーザ操作によって、分光分析モードが選択されている場合は、上述のように、フィルタ制御部420は回転フィルタ410を一定の回転数で回転駆動する。そして、光源部400からは、光学フィルタF1、F2、F3、F4及びF5のそれぞれを透過した照明光ILが順次供給され、各照明光ILを用いた撮像が順次行われる(S1)。具体的には、光学フィルタF1を透過した照明光ILを用いて撮像したBデジタル画像データBF1(x,y)、光学フィルタF2を透過した照明光ILを用いて撮像したGデジタル画像データGF2(x,y)、光学フィルタF3を透過した照明光ILを用いて撮像したGデジタル画像データGF3(x,y)、光学フィルタF4を透過した照明光ILを用いて撮像したRデジタル画像データRF4(x,y)並びに光学フィルタ(紫外線カットフィルタ)F5を透過した照明光IL(白色光)を用いて撮像したRデジタル画像データRF5(x,y)、Gデジタル画像データGF5(x,y)及びBデジタル画像データBF5(x,y)がコントローラ530の内部メモリ532に記憶される。
次に、画像処理部500は、処理S1にて取得したRデジタル画像データRF5(x,y)、Gデジタル画像データGF5(x,y)及びBデジタル画像データBF5(x,y)を用いて、以下の分析処理(処理S3−S7)の対象とする画素を選別する画素選別処理S2を行う。血液を含んでいない箇所や、組織の色がヘモグロビン以外の物質により支配的な影響を受けている箇所については、画素の色情報から酸素飽和度や血流量を計算しても意味のある値は得られず、単なるノイズとなる。このようなノイズを算出して医師に提供すると、医師による迅速な診断の妨げとなるだけでなく、画像処理部500に無用な負荷を与えて処理速度を低下させるという弊害が生じる。そこで、本実施形態の画像生成処理は、分析処理に適した画素(すなわち、ヘモグロビンの分光学的特徴が記録された画素)を選別して、選別された画素に対してのみ分析処理を行うように構成されている。
画素選別処理S2では、以下の数式3、数式4及び数式5の条件を全て充足する画素のみが分析処理の対象画素として選別される。
ここで、a、a、aは正の定数である。
上記の3つの条件式は、血液の透過スペクトルにおける、G成分<B成分<R成分の値の大小関係に基づいて設定されている。なお、上記の3つの条件式のうちの1つ又は2つのみを使用して(例えば、血液に特有の赤色に注目して数式4及び数式5のみを使用して)画素選別処理S2を行っても良い。
次に、画像処理部500は、規格化処理を行う。本実施形態の規格化処理には、内視鏡装置1自体の特性(例えば光学フィルタの透過率や撮像素子の受光感度)を補正するための第1規格化処理S3と、被写体である生体組織Tの表面状態や、生体組織Tへの照明光ILの入射角の違いによる反射率の変動を補正するための第2規格化処理S4とが含まれる。
規格化処理においては、画像処理部500は、光学フィルタF1を透過した照明光ILを用いて取得したBデジタル画像データBF1(x,y)、光学フィルタF4を透過した照明光ILを用いて取得したRデジタル画像データRF4(x,y)及びベースライン画像データBLF1(x,y)、BLF4(x,y)から、次の数式6により、規格化反射率SRF1(x,y)が計算される。なお、各デジタル画像データBF1(x,y)、RF4(x,y)をそれぞれ対応するベースライン画像データBLF1(x,y)、BLF4(x,y)で除算することにより、内視鏡装置1の特性に依存する要素(装置関数)が取り除かれる(第1規格化処理S3)。また、Bデジタル画像データBF1(x,y)をRデジタル画像データRF4(x,y)で除算することにより、生体組織Tの表面状態や生体組織Tへの照明光ILの入射角の違いによる反射率の変動が補正される(第2規格化処理S4)。
同様に、次の数式7及び数式8により、規格化反射率SRF2(x,y)及びSRF3(x,y)が計算される。
光学フィルタF1、F2,F3を透過した照明光ILに対する生体組織Tの吸収AF1(x,y)、AF2(x,y)、AF3(x,y)は、それぞれ次の数式9、10、11により計算される(S5)。
なお、吸収AF1(x,y)、AF2(x,y)及びAF3(x,y)は、それぞれ次の数式12、13及び14により近似的に計算することもできる。
また、上述した規格化処理(S3、S4)を省略して、簡易的に分光分析を行うこともできる。その場合には、吸収AF1(x,y)、AF2(x,y)及びAF3(x,y)は、それぞれ次の数式15、16及び17により計算される。
また、この場合、吸収AF1(x,y)、AF2(x,y)及びAF3(x,y)は、それぞれ次の数式18、19及び20により近似的に計算することもできる。
また、図1に示すヘモグロビンの吸収波長域W4、W5、W6と光学フィルタF2、F3の透過波長域との関係から明らかなように、波長域W4、W5、W6に対する生体組織Tの吸収AW4(x,y)、AW5(x,y)、AW6(x,y)と、光学フィルタF2、F3を透過した照明光ILに対する生体組織Tの吸収AF2(x,y)、AF3(x,y)との間には、次の数式21及び22に示す関係がある。
また、ヘモグロビンの吸収波長域W2に対する生体組織Tの吸収AW2(x,y)と光学フィルタF1を透過した照明光ILに対する生体組織Tの吸収AF1(x,y)との間には、次の数式23に示す関係がある。
従って、指標Xは、次の数式24によって表わされる。
更に、数式9、10、11及び数式6、7、8を用いて数式24を整理すると、次の数式25が得られる。
従って、数式25を用いて、Bデジタル画像データBF1(x,y)、Gデジタル画像データGF2(x,y)、GF3(x,y)及びベースライン画像データBLF1(x,y)、BLF2(x,y)、BLF3(x,y)から指標Xの値を計算することができる(S6)。
また、指標Xは、次の数式26によっても近似的に求めることができる。
コントローラ530が備える不揮発性のメモリ532には、予め実験的に取得されたヘモグロビンの酸素飽和度と指標Xの値との定量的関係を示す数値表が記憶されている。コントローラ530は、この数値表を参照して、数式25又は数式26から算出した指標Xの値に対応する酸素飽和度SatO(x,y)を取得する。そして、コントローラ530は、取得した酸素飽和度SatO(x,y)に所定の定数を乗じた値を各画素(x,y)の画素値とする画像データ(酸素飽和度分布画像データ)を生成する(S7)。
また、コントローラ530は、光学フィルタ(紫外線カットフィルタ)F4を透過した照明光IL(白色光)を用いて取得したRデジタル画像データRF4(x,y)、Gデジタル画像データGF4(x,y)及びBデジタル画像データBF4(x,y)から、通常観察画像データを生成する。図6にコントローラ530が生成する画像データの表示例を示す。図6(a)が通常観察画像データの表示例であり、図6(b)が酸素飽和度分布画像データの表示例である。なお、図6は、中指の近位指節間関節付近を輪ゴムで圧迫した状態の右手を観察したものである。図6(b)には、右中指の圧迫部よりも遠位側において、圧迫によって血流が阻害されたことにより、酸素飽和度が低くなっていることが示されている。また、圧迫部の近位側直近では、動脈血が滞留して、局所的に酸素飽和度が高くなっていることが読み取れる。
更に、コントローラ530は、生成した酸素飽和度分布画像データ及び通常観察画像データから、1画面上に通常観察画像と酸素飽和度分布画像を並べて表示する画面データを生成して、ビデオメモリ540に記憶させる。なお、コントローラ530は、ユーザ操作に応じて、酸素飽和度分布画像のみを表示する表示画面や、通常観察画像のみを表示する表示画面、酸素飽和度分布画像及び/又は通常観察画像に患者のID情報や観察条件等の付帯情報をスーパーインポーズ表示した表示画面等、種々の表示画面を生成することができる。
また、波長域W4、W5及びW6から構成される550nm付近の波長領域(すなわち、光学フィルタF2の透過波長域)に着目すると、酸素飽和度の変化に応じて各波長域W4、W5、W6の吸収AW4、AW5、AW6は変化するが、これらの和Y(数式27に示す)は一定となる。また、この吸収の和Yは、生体組織中の総ヘモグロビン量(酸素化ヘモグロビンHbO2と還元ヘモグロビンHbの合計量)に比例するため、総ヘモグロビン量を示す良い指標となる。
悪性腫瘍の組織では、血管新生により正常な組織よりも総ヘモグロビン量が多く、尚且つ、酸素の代謝が顕著であるため酸素飽和度は正常な組織よりも低いことが知られている。そこで、コントローラ530は、数式27により計算した総ヘモグロビン量を示す指標Yが所定の基準値(第1基準値)よりも大きく、且つ、数式25等により計算した酸素飽和度を示す指標Xが所定の基準値(第2基準値)よりも小さい画素を抽出して、例えば通常観察画像データの対応する画素に対して強調表示処理を行った病変部強調画像データを生成し、通常観察画像及び/又は酸素飽和度分布画像と共に(或いは単独で)病変部強調画像をモニタ300に表示することもできる。
強調表示処理としては、例えば、該当する画素の画素値を増加させる処理や、色相を変化させる処理(例えば、R成分を増加させて赤味を強くする処理や、色相を所定角度だけ回転させる処理)、該当する画素を明滅させる(あるいは、周期的に色相を変化させる)処理がある。
また、コントローラ530が、病変部強調画像データの代わりに、例えば、指標X(x,y)の平均値からの偏差と、指標Y(x,y)の平均値からの偏差に基づいて、悪性腫瘍の疑いの度合を示す指標Z(x,y)を計算して、指標Zを画素値とする画像データ(悪性疑い度画像データ)を生成する構成としてもよい。
以上が本発明の実施形態および該実施形態の具体的実施例の説明であるが、本発明は、上記の構成に限定されるものではなく、本発明の技術的思想の範囲内において様々な変形が可能である。
上記の実施形態では、連続する単一の透過波長域を有する光学フィルタが使用されるが、不連続な複数の透過波長域を有する所謂多峰性の光学フィルタを使用することもできる。例えば、図1に示される4つの偶数番目の波長域W0、W2、W4、W6のみを透過する光学フィルタF11と、4つの奇数番目の波長域W1、W3、W5、W7のみを透過する光学フィルタF12とを使用して分光分析を行うことができる。この場合、400〜620nmの波長範囲の全域を使用するため、光エネルギーの利用効率が高く、よりノイズの少ない高精度の分析が可能となる。また、カラーフィルタ141aを備えていない撮像素子141を使用すると、光エネルギーの利用効率を更に高めることができる。
この場合、次の数式28によって指標Xが計算される。
但し、
F11:光学フィルタF11を透過した照明光ILに対する生体組織の吸収
F12:光学フィルタF12を透過した照明光ILに対する生体組織の吸収
F11:光学フィルタF11を使用して撮像したデジタル画像データ
F12:光学フィルタF12を使用して撮像したデジタル画像データ
BLF11:光学フィルタF11を使用して取得したベースライン画像データ
BLF12:光学フィルタF12を使用して取得したベースライン画像データ
また、上記の実施形態では、指標Xの値に基づいて数値表から酸素飽和度の値を取得し、更に所定の定数を乗じて酸素飽和度分布画像の画素値を計算しているが、本発明はこの構成に限定されるものではない。指標Xは酸素飽和度に対して単調に増加する数値であるため、指標Xの値をそのまま(又は所定の定数を乗じて)酸素飽和度分布画像の画素値として用いることもできる。
また、本実施形態の撮像素子141は、その前面にR、G、Bの原色系カラーフィルタを備えたカラー画像撮像用の撮像素子であるとして説明したが、この構成に限定されるものではなく、例えば、Y、Cy、Mg、Gの補色系カラーフィルタを備えたカラー画像撮像用の撮像素子を用いてもよい。
また、本実施形態の撮像素子141は、オンチップのカラーフィルタ141aを備えたカラー画像撮像用の撮像素子であるとして説明したが、この構成に限定されるものではなく、例えば、白黒画像撮像用の撮像素子を用い、いわゆる面順次方式のカラーフィルタを備えた構成としてもよい。また、カラーフィルタ141aは、オンチップの構成に限定されるものではなく、光源430から撮像素子141までの光路中への配置が可能である。
また、上記の実施形態では、回転フィルタ410が使用されるが、本発明はこの構成に限定されるものではなく、透過波長域が切換え可能な他の方式の波長可変フィルタを使用することもできる。
また、上記の実施形態では、回転フィルタ410が光源側に設けられ、照射光ILに対してフィルタリングを行う構成が採用されているが、本発明はこの構成に限定されるものではなく、回転フィルタ410を撮像素子側(例えば、対物光学系121と撮像素子131との間)に設けて、被写体からの戻り光をフィルタリングする構成とすることもできる。
また、上記の実施形態では、分光分析モードにおいて、回転フィルタ410を一定の回転数で回転させながら、所定の時間間隔で撮像を行う構成が採用されているが、本発明はこの構成に限定されるものではなく、例えば、回転フィルタ410の回転位置を所定の時間間隔で段階的に変化させ、回転フィルタ410が静止した状態で撮像を行う構成としてもよい。
また、上記の実施形態は、本発明をデジタルカメラの一形態である電子内視鏡装置に適用した例であるが、他の種類のデジタルカメラ(例えば、デジタル一眼レフカメラやデジタルビデオカメラ)を使用したシステムに本発明を適用することもできる。例えば、本発明をデジタルスチルカメラに適用すると、体表組織の観察や開頭手術時の脳組織の観察(例えば、脳血流量の迅速検査)を行うことができる。
1 内視鏡装置
100 電子内視鏡
110 挿入管
111 挿入管先端部
121 対物光学系
131 ライトガイド
131a 先端部
131b 基端部
132 レンズ
141 撮像素子
141a カラーフィルタ
142 ケーブル
200 プロセッサ
300 モニタ
400 光源部
410 回転フィルタ
420 フィルタ制御部
430 光源
440 コリメータレンズ
450 集光レンズ
500 画像処理部
510 A/D変換回路
520 一時記憶メモリ
530 コントローラ
540 ビデオメモリ
550 信号処理回路

Claims (10)

  1. 光吸収スペクトルが複数の等吸収点を有する生体組織に含まれ、それぞれ光吸収を有する第1生体物質と第2生体物質とのモル濃度比の分布画像を生成する方法であって、
    前記モル濃度比の増大と共に光吸収が増大する第1種波長域を含む一種以上の光のそれぞれを用いて前記生体組織を撮像して一つ以上の第1撮像データを取得するステップと、
    前記モル濃度比の増大と共に光吸収が減少する第2種波長域を含む一種以上の光のそれぞれを用いて前記生体組織を撮像して一つ以上の第2撮像データを取得するステップと、
    各撮像データに基づいて、各画素について、該撮像データの取得に用いた光に対する前記生体組織の光吸収を計算するステップと、
    各画素について、前記一つ以上の第1撮像データに基づいて計算した前記生体組織の光吸収の和と前記一つ以上の第2撮像データに基づいて計算した前記生体組織の光吸収の和との差分に基づいて前記第1生体物質と前記第2生体物質とのモル濃度比を示す指標を計算するステップと、
    前記指標に基づいて前記分布画像を生成するステップと、
    を含む方法。
  2. 前記第1撮像データを取得するステップにおいて、前記第1種波長域のみを含む光を用いて前記生体組織を撮像する、
    ことを特徴とする請求項1に記載の方法。
  3. 前記第2撮像データを取得するステップにおいて、前記第2種波長域のみを含む光を用いて前記生体組織を撮像する、
    ことを特徴とする請求項1又は請求項2に記載の方法。
  4. 前記第1撮像データを取得するステップが、少なくとも一つの前記第1種波長域の光を選択的に分離する少なくとも一つの第1光学フィルタにより白色光から分離した光を用いて撮像するステップを含み、
    前記第2撮像データを取得するステップが、少なくとも一つの前記第2種波長域の光を選択的に分離する少なくとも一つの第2光学フィルタにより白色光から分離した光を用いて撮像するステップを含む、
    ことを特徴とする請求項1から請求項3のいずれか一項に記載の方法。
  5. 前記少なくとも一つの第1光学フィルタと前記少なくとも一つの第2光学フィルタを順次切り替えながら、少なくとも一つの前記第1撮像データ及び少なくとも一つの前記第2撮像データを取得する、
    ことを特徴とする請求項4に記載の方法。
  6. 前記第1光学フィルタ及び前記第2光学フィルタの少なくとも一方が、複数の前記第1種波長域又は前記第2種波長域を選択的に分離する多峰性の光学フィルタである、
    ことを特徴とする請求項1から請求項5のいずれか一項に記載の方法。
  7. 前記指標に基づいて前記分布画像を生成するステップが、前記指標を画素値とする画像データを生成するステップを含む、
    ことを特徴とする請求項1から請求項6のいずれか一項に記載の方法。
  8. 前記第1生体物質が酸素化ヘモグロビンであり、
    前記第2生体物質が還元ヘモグロビンであり、
    酸素飽和度の分布画像を生成する、
    ことを特徴とする請求項1から請求項7のいずれか一項に記載の方法。
  9. 少なくとも一つの前記第1撮像データに基づいて計算した前記生体組織の光吸収と、少なくとも一つの前記第2撮像データに基づいて計算した前記生体組織の光吸収との合計に基づいて、前記生体組織の総ヘモグロビン量を計算するステップを更に含む、
    ことを特徴とする請求項8に記載の方法。
  10. 前記生体組織の光吸収スペクトルにおいて、前記モル濃度比による光吸収の変化が十分に小さな波長を等吸収点とみなす、
    ことを特徴とする請求項1から請求項9のいずれか一項に記載の方法。
JP2014146688A 2014-07-17 2014-07-17 内視鏡装置 Active JP6284451B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014146688A JP6284451B2 (ja) 2014-07-17 2014-07-17 内視鏡装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014146688A JP6284451B2 (ja) 2014-07-17 2014-07-17 内視鏡装置

Publications (2)

Publication Number Publication Date
JP2016022043A true JP2016022043A (ja) 2016-02-08
JP6284451B2 JP6284451B2 (ja) 2018-02-28

Family

ID=55269393

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014146688A Active JP6284451B2 (ja) 2014-07-17 2014-07-17 内視鏡装置

Country Status (1)

Country Link
JP (1) JP6284451B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017148392A (ja) * 2016-02-26 2017-08-31 Hoya株式会社 計算システム
WO2018037505A1 (ja) * 2016-08-24 2018-03-01 Hoya株式会社 内視鏡システム
WO2018043723A1 (ja) * 2016-09-02 2018-03-08 Hoya株式会社 電子内視鏡システム
CN111989023A (zh) * 2018-08-31 2020-11-24 Hoya株式会社 内窥镜***及使内窥镜***工作的方法
WO2022043836A1 (en) 2020-08-26 2022-03-03 Hoya Corporation Illumination system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01280442A (ja) * 1988-05-02 1989-11-10 Olympus Optical Co Ltd 内視鏡装置
JP2004135798A (ja) * 2002-10-16 2004-05-13 Communication Research Laboratory 物質計測装置
JP2006326153A (ja) * 2005-05-30 2006-12-07 Olympus Corp ヘモグロビン観察装置及びヘモグロビン観察方法
WO2013047054A1 (ja) * 2011-09-29 2013-04-04 Hoya株式会社 診断システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01280442A (ja) * 1988-05-02 1989-11-10 Olympus Optical Co Ltd 内視鏡装置
JP2004135798A (ja) * 2002-10-16 2004-05-13 Communication Research Laboratory 物質計測装置
JP2006326153A (ja) * 2005-05-30 2006-12-07 Olympus Corp ヘモグロビン観察装置及びヘモグロビン観察方法
WO2013047054A1 (ja) * 2011-09-29 2013-04-04 Hoya株式会社 診断システム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017148392A (ja) * 2016-02-26 2017-08-31 Hoya株式会社 計算システム
WO2017145529A1 (ja) * 2016-02-26 2017-08-31 Hoya株式会社 計算システム
CN108697307A (zh) * 2016-02-26 2018-10-23 Hoya株式会社 计算***
WO2018037505A1 (ja) * 2016-08-24 2018-03-01 Hoya株式会社 内視鏡システム
WO2018043723A1 (ja) * 2016-09-02 2018-03-08 Hoya株式会社 電子内視鏡システム
CN111989023A (zh) * 2018-08-31 2020-11-24 Hoya株式会社 内窥镜***及使内窥镜***工作的方法
US20210228068A1 (en) * 2018-08-31 2021-07-29 Hoya Corporation Endoscope system
US11885954B2 (en) 2018-08-31 2024-01-30 Hoya Corporation Endoscope system
CN111989023B (zh) * 2018-08-31 2024-02-02 Hoya株式会社 内窥镜***及使内窥镜***工作的方法
WO2022043836A1 (en) 2020-08-26 2022-03-03 Hoya Corporation Illumination system
DE102020122282A1 (de) 2020-08-26 2022-03-03 Hoya Corporation Beleuchtungssystem

Also Published As

Publication number Publication date
JP6284451B2 (ja) 2018-02-28

Similar Documents

Publication Publication Date Title
JP6356122B2 (ja) 生体組織中の生体物質の濃度分布を示す画像を生成する装置の作動方法及び装置
JP6356051B2 (ja) 分析装置及び分析装置の作動方法
JP6204314B2 (ja) 電子内視鏡システム
WO2017145529A1 (ja) 計算システム
JP5466182B2 (ja) 内視鏡システムおよび内視鏡システムの作動方法
JP6467562B2 (ja) 内視鏡システム
WO2017119239A1 (ja) 内視鏡装置
JP6195328B2 (ja) 分析装置
JP6284451B2 (ja) 内視鏡装置
JP6615369B2 (ja) 内視鏡システム
CN111989023A (zh) 内窥镜***及使内窥镜***工作的方法
JP6783168B2 (ja) 内視鏡システム及び分析装置
US10791973B2 (en) Analysis device and method of analysis
WO2018070474A1 (ja) 内視鏡システム
JP6584147B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160615

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170525

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171011

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180130

R150 Certificate of patent or registration of utility model

Ref document number: 6284451

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250