JP6484336B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP6484336B2
JP6484336B2 JP2017524202A JP2017524202A JP6484336B2 JP 6484336 B2 JP6484336 B2 JP 6484336B2 JP 2017524202 A JP2017524202 A JP 2017524202A JP 2017524202 A JP2017524202 A JP 2017524202A JP 6484336 B2 JP6484336 B2 JP 6484336B2
Authority
JP
Japan
Prior art keywords
signal
light
processing unit
region
signal processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017524202A
Other languages
English (en)
Other versions
JPWO2016203572A1 (ja
Inventor
祐輔 山本
祐輔 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2016203572A1 publication Critical patent/JPWO2016203572A1/ja
Application granted granted Critical
Publication of JP6484336B2 publication Critical patent/JP6484336B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096Optical elements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/046Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for infrared imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A61B5/0086Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters using infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0669Endoscope light sources at proximal end of an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Description

本発明は、撮像装置に関する。
可視光を用いた通常観察に加えて、赤外光を用いた特殊光観察が可能な内視鏡システムが広く利用されている。この内視鏡システムでは、通常観察または特殊光観察により発見された病変部を処置具で治療することが可能である。
例えば、特許文献1に開示された内視鏡システムでは、励起光が、インドシアニングリーン(ICG)という蛍光物質に照射され、病変部からの蛍光が検出される。ICGは、予め検査対象者の体内に投与される。ICGは、励起光によって赤外領域で励起され、蛍光を発する。投与されたICGは、癌などの病変部に集積される。病変部から強い蛍光が発生するため、検査者は撮像された蛍光画像に基づいて病変部の有無を判断することができる。
特許文献1に開示された内視鏡システムでは、可視光と赤外光とを含む光が被写体に照射される。被写体に照射される赤外光の波長帯域は、蛍光の波長帯域を含まず、かつ励起光の波長帯域を含む。被写体によって反射された光と、被写体から発生した蛍光(赤外蛍光)とが、カメラヘッド内に内蔵されたダイクロイックミラーまたはダイクロイックプリズムを介して撮像される。可視光と蛍光とを分割する分割手段が設けられているため、可視光を用いる通常観察と、赤外光を用いる特殊光観察とを同時に行うことができる。また、ダイクロイックミラーまたはダイクロイックプリズムを介して、蛍光と、赤色光と、緑色光と、青色光とがそれぞれ異なるイメージセンサにより撮像される。このため、高画質な画像を得ることができる。
図9は、特許文献1に開示された構成と同様の内視鏡装置1001の構成を示している。図9に示すように、内視鏡装置1001は、光源部1010と、内視鏡スコープ部1020と、カメラヘッド1030と、プロセッサ1040と、モニタ1050とを有する。図9では、光源部1010と、内視鏡スコープ部1020と、カメラヘッド1030との概略構成が示されている。
光源部1010は、光源1100と、バンドパスフィルタ1101と、コンデンサレンズ1102とを有する。光源1100は、可視光の波長帯域から赤外光の波長帯域までの波長の光を発する。赤外光の波長帯域は、励起光の波長帯域と蛍光の波長帯域とを含む。蛍光の波長帯域は、赤外光の波長帯域において励起光の波長帯域よりも波長が長い帯域である。バンドパスフィルタ1101は、光源1100の照明光路中に設けられている。バンドパスフィルタ1101は、可視光と励起光とのみを透過させる。コンデンサレンズ1102は、バンドパスフィルタ1101を透過した光を集光する。光源1100が発する赤外光の波長帯域は、少なくとも励起光の波長帯域を含んでいればよい。
図10は、バンドパスフィルタ1101の透過特性を示している。図10に示すグラフの横軸は波長であり、縦軸は透過率である。バンドパスフィルタ1101は、波長が約370nmから約800nmである波長帯域の光を透過させる。また、バンドパスフィルタ1101は、波長が約370nm未満である波長帯域の光と、波長が約800nm以上である波長帯域の光とを遮断する。バンドパスフィルタ1101が透過させる光の波長帯域は、可視光の波長帯域と励起光の波長帯域とを含む。励起光の波長帯域は、波長が約750nmから約780nmの帯域である。バンドパスフィルタ1101が遮断する光の波長帯域は、蛍光の波長帯域を含む。蛍光の波長帯域は、波長が約800nmから約900nmの帯域である。
内視鏡スコープ部1020は、ライトガイド1200と、照明レンズ1201と、対物レンズ1202と、イメージガイド1203とを有する。光源1100からの光は、バンドパスフィルタ1101とコンデンサレンズ1102とを介して、ライトガイド1200に入射する。ライトガイド1200は、光源1100からの光を内視鏡スコープ部1020の先端部に伝送する。ライトガイド1200によって伝送された光は、照明レンズ1201により被写体1060に照射される。
内視鏡スコープ部1020の先端部において、照明レンズ1201に隣接して対物レンズ1202が設けられている。被写体1060によって反射された光と、被写体1060から発生した蛍光とが対物レンズ1202に入射する。被写体1060によって反射された光は、可視光と励起光とを含む。つまり、被写体1060からの可視光の波長帯域の反射光と、励起光の波長帯域の反射光と、被写体1060から発光した蛍光とを含む光が対物レンズ1202に入射する。対物レンズ1202は、上記の光を結像する。
対物レンズ1202の結像位置にはイメージガイド1203の先端面が配置されている。イメージガイド1203は、その先端面に結像された光学像を後端面に伝送する。
カメラヘッド1030は、結像レンズ1300と、ダイクロイックミラー1301と、励起光カットフィルタ1302と、イメージセンサ1303と、ダイクロイックプリズム1304と、イメージセンサ1305と、イメージセンサ1306と、イメージセンサ1307とを有する。結像レンズ1300は、イメージガイド1203の後端面に対向するように配置されている。結像レンズ1300は、イメージガイド1203により伝送された光学像をイメージセンサ1303と、イメージセンサ1305と、イメージセンサ1306と、イメージセンサ1307とに結像する。
結像レンズ1300から結像レンズ1300の結像位置までの光路にダイクロイックミラー1301が配置されている。結像レンズ1300を通過した光は、ダイクロイックミラー1301に入射する。ダイクロイックミラー1301は、可視光を透過させ、可視光以外の光を反射する。図11は、ダイクロイックミラー1301の反射と透過との特性を示している。図11に示すグラフの横軸は波長であり、縦軸は透過率である。ダイクロイックミラー1301は、波長が約700nm未満である波長帯域の光を透過させる。また、ダイクロイックミラー1301は、波長が約700nm以上である波長帯域の光を反射する。ダイクロイックミラー1301が透過させる光の波長帯域は、可視光の波長帯域を含む。また、ダイクロイックミラー1301が反射する光の波長帯域は、赤外光の波長帯域を含む。
ダイクロイックミラー1301を透過した光の結像位置では、可視光成分の光学像が結像される。一方、ダイクロイックミラー1301により反射された光の結像位置には、赤外光成分の光学像が結像される。
ダイクロイックミラー1301により反射された光は、励起光カットフィルタ1302に入射する。励起光カットフィルタ1302に入射する光は、赤外光を含む。赤外光は、励起光と蛍光とを含む。励起光カットフィルタ1302は、励起光を遮断し、蛍光を透過させる。図12は、励起光カットフィルタ1302の透過特性を示している。図12に示すグラフの横軸は波長であり、縦軸は透過率である。励起光カットフィルタ1302は、波長が約800nm未満である波長帯域の光を遮断する。また、励起光カットフィルタ1302は、波長が約800nm以上である波長帯域の光を透過させる。励起光カットフィルタ1302が遮断する光の波長帯域は、励起光の波長帯域を含む。励起光カットフィルタ1302が透過させる光の波長帯域は、蛍光の波長帯域を含む。
励起光カットフィルタ1302を透過した蛍光はイメージセンサ1303に入射する。イメージセンサ1303は、蛍光に基づくIR信号を生成する。
図13は、被写体1060に投与されるICGの特性を示している。図13に示すグラフの横軸は波長であり、縦軸は強度である。図13では、ICGを励起する励起光の特性と、ICGが発する蛍光の特性とが示されている。励起光のピーク波長は約770nmであり、蛍光のピーク波長は約820nmである。したがって、波長が約750nmから約780nmである励起光が被写体1060に照射された場合、波長が約800nmから約900nmである蛍光が被写体1060から発生する。被写体1060から発生した蛍光を検出することにより、癌の有無を検出することができる。図10に示すように、バンドパスフィルタ1101は、波長が約750nmから約780nmである励起光を透過させ、波長が約800nmから約900nmである蛍光を遮断する。また、図12に示すように、励起光カットフィルタ1302は、波長が約750nmから約780nmである励起光を遮断する。
ダイクロイックミラー1301を透過した、可視光の波長帯域の光は、ダイクロイックプリズム1304に入射する。ダイクロイックプリズム1304は、可視光の波長帯域の光を、赤波長帯域の光(赤色光)と、緑波長帯域の光(緑色光)と、青波長帯域の光(青色光)とに分割する。ダイクロイックプリズム1304を通過した赤色光はイメージセンサ1305に入射する。イメージセンサ1305は、赤色光に基づくR信号を生成する。ダイクロイックプリズム1304を通過した緑色光はイメージセンサ1306に入射する。イメージセンサ1306は、緑色光に基づくG信号を生成する。ダイクロイックプリズム1304を通過した青色光はイメージセンサ1307に入射する。イメージセンサ1307は、青色光に基づくB信号を生成する。
プロセッサ1040は、R信号と、G信号と、B信号とから可視光画像信号を生成し、IR信号から蛍光画像信号を生成する。モニタ1050は、可視光画像信号に基づく可視光画像と、蛍光画像信号に基づく蛍光画像とを表示する。例えば、モニタ1050は、同じ時刻で取得された可視光画像と蛍光画像とを並べて表示する。あるいは、モニタ1050は、同じ時刻で取得された可視光画像と蛍光画像とを重ねて表示する。
日本国特開平10−201707号公報
図9に示す内視鏡装置1001では、イメージセンサ1303が、ダイクロイックミラー1301により反射された光のうち、被写体1060からの励起光の波長帯域の反射光を検出せず、かつ蛍光のみを検出できるように、イメージセンサ1303の前に励起光カットフィルタ1302が配置されている。しかし、励起光の波長帯域の光を完全に遮断できる励起光カットフィルタ1302の製造が難しい。このため、イメージセンサ1303は、蛍光帯域の光と、励起光カットフィルタ1302が遮断できなかった、励起光の波長帯域の残りの光とを検出する。
図14は、イメージセンサ1303に入射する光のエネルギー分布の概略を示している。図14に示すグラフの横軸は波長であり、縦軸は入射エネルギーである。図14に示すように、イメージセンサ1303に入射する光の波長帯域は、波長が約700nmから約800nmの励起光の波長帯域と、波長が約800nmから約900nmの蛍光帯域とを含む。つまり、被写体1060から発せられた蛍光と、励起光カットフィルタ1302が遮断できなかった、励起光の波長帯域の一部の光とがイメージセンサ1303に入射する。
被写体1060から発生する蛍光は、励起光に比べて微弱である。このため、励起光カットフィルタ1302が遮断できなかった、励起光の波長帯域の一部の光がイメージセンサ1303に入射する場合、イメージセンサ1303の第1の画素で生成されるIR信号の信号値がイメージセンサ1303の第2の画素で生成されるIR信号の信号値よりも大きい場合がある。第1の画素は、蛍光を発してなく、かつ励起光の反射率が高い被写体からの光が入射する画素である。第2の画素は、蛍光を発し、かつ励起光の反射率が低い被写体からの光が入射する画素である。このため、蛍光を発していない被写体1060の領域からの光が入射するイメージセンサ1303の画素で生成されたIR信号の信号値が大きい場合がある。この結果、蛍光画像において、蛍光を発していない被写体1060の領域が明るく表示される場合がある。
励起光カットフィルタ1302を透過した励起光がイメージセンサ1303の受光面に一様に入射する場合、イメージセンサ1303の各画素において生成される、励起光に基づく信号成分は一様である。このため、プロセッサ1040は、イメージセンサ1303の各画素において生成されたIR信号から励起光に基づくオフセット成分を差し引くことにより、蛍光のみに基づくIR信号を算出することができる。
しかし、イメージセンサ1303の撮像領域では、複数の異なる被写体が存在し、かつ励起光の波長帯域における各被写体の反射率が異なる。このため、励起光カットフィルタ1302を透過した励起光は、イメージセンサ1303の受光面に一様に入射しない。つまり、イメージセンサ1303の各画素において生成される、励起光に基づく信号成分は一様でない。この結果、プロセッサ1040は、励起光と蛍光とに基づくIR信号から、蛍光のみに基づくIR信号を算出することが難しい。
以上の事情から、蛍光を観察する内視鏡装置において、蛍光を発する蛍光領域がより鮮明に光る蛍光画像を生成することが難しい。
本発明は、蛍光領域がより鮮明に光る蛍光画像を表示するための蛍光画像信号を生成することができる撮像装置を提供することを目的とする。
本発明の第1の態様によれば、撮像装置は、撮像部と、信号処理部とを有する。前記撮像部は、被写体からの可視光に基づく第1の画像信号を生成し、かつ前記被写体からの励起光と蛍光とに基づく第2の画像信号を生成する。前記信号処理部は、前記第1の画像信号と前記第2の画像信号とに基づいて、前記蛍光に対応する蛍光画像信号を生成する。前記信号処理部は、前記第1の画像信号に基づいて、前記被写体における注目領域を判定する。前記信号処理部は、前記注目領域に対応する前記第2の画像信号に基づいて、蛍光領域を判定し、前記蛍光領域は、前記被写体において前記蛍光を発生する。前記信号処理部は、前記蛍光領域に対応する前記第2の画像信号の強調処理を行う。
本発明の第2の態様によれば、第1の態様において、前記信号処理部は、前記蛍光領域に対応する前記第2の画像信号の信号値のみに所定値を加算または乗算することにより前記強調処理を行ってもよい。
本発明の第3の態様によれば、第1の態様において、前記信号処理部は、前記蛍光領域に対応する前記第2の画像信号の信号値のみに、前記信号値に応じた値を加算または乗算することにより前記強調処理を行ってもよい。
本発明の第4の態様によれば、第1の態様において、前記信号処理部は、前記第1の画像信号の各画素の信号値と、基準値との相関度に応じた各画素の領域判定係数を算出してもよい。前記基準値は、前記注目領域に対応する前記第1の画像信号の信号値として期待される値に対応する。前記信号処理部は、前記領域判定係数に基づいて、前記注目領域を判定してもよい。
本発明の第5の態様によれば、第4の態様において、前記信号処理部は、前記強調処理が行われた前記第2の画像信号の各画素の信号値と前記各画素の領域判定係数とを乗算してもよい。
本発明の第6の態様によれば、第1の態様において、前記撮像部はダイクロイックミラーと、可視光撮像部と、励起光カットフィルタと、蛍光撮像部とを有してもよい。前記ダイクロイックミラーは、前記被写体からの第1の光を第2の光と第3の光とに分割する。前記第1の光は前記可視光と前記励起光と前記蛍光とを含む。前記第2の光は前記可視光を含む。前記第3の光は前記励起光と前記蛍光とを含む。前記可視光撮像部は、前記第2の光が入射し、かつ前記第1の画像信号を生成する。前記励起光カットフィルタは、前記蛍光の透過率が前記励起光の透過率よりも高く、かつ前記第3の光が入射する。前記蛍光撮像部は、前記励起光カットフィルタを透過した前記第3の光が入射し、かつ前記第2の画像信号を生成する。前記可視光撮像部と前記蛍光撮像部とは、前記信号処理部に接続されてもよい。
本発明の第7の態様によれば、第1の態様において、前記信号処理部は、メモリと、注目領域判定部とを有してもよい。前記被写体の特性を示す被写体特性情報が前記メモリに記録される。前記被写体特性情報は前記被写体の前記第1の画像信号から生成される。前記注目領域判定部は、前記メモリに記録された前記被写体特性情報と前記第1の画像信号とに基づいて、前記注目領域を判定する。
本発明の第8の態様によれば、第1の態様において、前記信号処理部は、前記第1の画像信号の各画素の信号値から前記各画素の彩度と色相とを算出してもよい。前記信号処理部は、前記各画素の前記彩度と前記色相とに基づいて、前記注目領域を判定してもよい。
上記の各態様によれば、信号処理部は、第1の画像信号に基づいて、被写体における注目領域を判定する。信号処理部は、注目領域に対応する第2の画像信号に基づいて、蛍光領域を判定する。信号処理部は、蛍光領域に対応する第2の画像信号の強調処理を行う。このため、撮像装置は、蛍光領域がより鮮明に光る蛍光画像を表示するための蛍光画像信号を生成することができる。
本発明の第1の実施形態の内視鏡装置の構成を示すブロック図である。 本発明の第1の実施形態における注目領域の判定の概念を示す参考図である。 本発明の第1の実施形態における蛍光領域の判定の概念を示す参考図である。 本発明の第1の実施形態における蛍光領域の判定の概念を示す参考図である。 本発明の第1の実施形態と第2の実施形態との第1の変形例の内視鏡装置の構成を示すブロック図である。 本発明の第1の実施形態と第2の実施形態との第1の変形例の励起光カットフィルタの特性を示すグラフである。 本発明の第1の実施形態と第2の実施形態との第1の変形例のイメージセンサの画素配列を示す参考図である。 本発明の第1の実施形態と第2の実施形態との第2の変形例の内視鏡装置の構成を示すブロック図である。 従来技術の内視鏡装置の構成を示すブロック図である。 バンドパスフィルタの特性を示すグラフである。 ダイクロイックミラーの特性を示すグラフである。 励起光カットフィルタの特性を示すグラフである。 インドシアニングリーン(ICG)の特性を示すグラフである。 イメージセンサに入射する光のエネルギー分布を示すグラフである。
図面を参照し、本発明の実施形態を説明する。以下の各実施形態では、撮像装置の一例である内視鏡装置について説明する。本発明は、撮像機能を有する装置、システム、およびモジュール等に適用可能である。
(第1の実施形態)
図1は、本発明の第1の実施形態の内視鏡装置1aの構成を示している。図1に示すように、内視鏡装置1aは、光源部10と、内視鏡スコープ部20と、カメラヘッド30a(撮像部)と、信号処理部40と、表示部50とを有する。図1では、光源部10と、内視鏡スコープ部20と、カメラヘッド30aとの概略構成が示されている。
光源部10は、光源100と、バンドパスフィルタ101と、コンデンサレンズ102とを有する。光源100は、可視光の波長帯域から赤外光の波長帯域までの波長の光を発する。可視光の波長帯域は、赤波長帯域と、緑波長帯域と、青波長帯域とを含む。赤波長帯域は、緑波長帯域よりも波長が長い帯域である。緑波長帯域は、青波長帯域よりも波長が長い帯域である。赤外光の波長帯域は、赤波長帯域よりも波長が長い帯域である。赤外光の波長帯域は、励起光の波長帯域と蛍光の波長帯域とを含む。蛍光の波長帯域は、赤外光の波長帯域において励起光の波長帯域よりも波長が長い帯域である。つまり、赤外光の波長は赤色光の波長よりも長い。赤色光の波長は緑色光の波長よりも長い。緑色光の波長は青色光の波長よりも長い。光源100が発する赤外光の波長帯域は、少なくとも励起光の波長帯域を含んでいればよい。
バンドパスフィルタ101は、光源100の照明光路中に設けられている。バンドパスフィルタ101は、可視光と励起光とのみを透過させる。コンデンサレンズ102は、バンドパスフィルタ101を透過した光を集光する。
バンドパスフィルタ101の透過特性は、図10に示す透過特性と同様である。バンドパスフィルタ101は、波長が約370nmから約800nmである波長帯域の光を透過させる。また、バンドパスフィルタ101は、波長が約370nm未満である波長帯域の光と、波長が約800nm以上である波長帯域の光とを遮断する。バンドパスフィルタ101が透過させる光の波長帯域は、可視光の波長帯域と励起光の波長帯域とを含む。励起光の波長帯域は、波長が約750nmから約780nmの帯域である。バンドパスフィルタ101が遮断する光の波長帯域は、蛍光の波長帯域を含む。蛍光の波長帯域は、波長が約800nmから約900nmの帯域である。
内視鏡スコープ部20は、ライトガイド200と、照明レンズ201と、対物レンズ202と、イメージガイド203とを有する。光源100からの光は、バンドパスフィルタ101とコンデンサレンズ102とを介して、ライトガイド200に入射する。ライトガイド200は、光源100からの光を内視鏡スコープ部20の先端部に伝送する。ライトガイド200によって伝送された光は、照明レンズ201により被写体60に照射される。
内視鏡スコープ部20の先端部において、照明レンズ201に隣接して対物レンズ202が設けられている。被写体60によって反射された光と、被写体60から発生した蛍光とが対物レンズ202に入射する。被写体60によって反射された光は、可視光と励起光とを含む。つまり、被写体60からの可視光の波長帯域の反射光と、励起光の波長帯域の反射光と、被写体60から発光した蛍光とを含む光が対物レンズ202に入射する。対物レンズ202は、上記の光を結像する。
対物レンズ202の結像位置にはイメージガイド203の先端面が配置されている。イメージガイド203は、その先端面に結像された光学像を後端面に伝送する。
カメラヘッド30aは、結像レンズ300と、ダイクロイックミラー301と、励起光カットフィルタ302と、イメージセンサ303(蛍光撮像部)と、ダイクロイックプリズム304と、イメージセンサ305(可視光撮像部)と、イメージセンサ306(可視光撮像部)と、イメージセンサ307(可視光撮像部)とを有する。結像レンズ300は、イメージガイド203の後端面に対向するように配置されている。結像レンズ300は、イメージガイド203により伝送された光学像をイメージセンサ303と、イメージセンサ305と、イメージセンサ306と、イメージセンサ307とに結像する。
被写体60からの第1の光は、第2の光と第3の光とを含む。第2の光は、可視光を含む。可視光は、赤色光と緑色光と青色光とを含む。第3の光は、励起光と蛍光とを含む。蛍光の波長は励起光の波長よりも長い。
結像レンズ300から結像レンズ300の結像位置までの光路にダイクロイックミラー301が配置されている。結像レンズ300を通過した第1の光、つまり被写体60からの第1の光はダイクロイックミラー301に入射する。ダイクロイックミラー301は、可視光を透過させ、可視光以外の光を反射する。ダイクロイックミラー301の反射と透過との特性は、図11に示すダイクロイックミラー1301の反射と透過との特性と同様である。ダイクロイックミラー301は、波長が約700nm未満である波長帯域の光を透過させる。また、ダイクロイックミラー301は、波長が約700nm以上である波長帯域の光を反射する。ダイクロイックミラー301が透過させる光の波長帯域は、可視光の波長帯域を含む。また、ダイクロイックミラー301が反射する光の波長帯域は、赤外光の波長帯域を含む。つまり、ダイクロイックミラー301は、第2の光を透過させ、かつ第3の光を反射する。これによって、ダイクロイックミラー301は、被写体60からの第1の光を第2の光と第3の光とに分割する。
ダイクロイックミラー301を透過した光の結像位置では、可視光成分の光学像が結像される。一方、ダイクロイックミラー301により反射された光の結像位置には、赤外光成分の光学像が結像される。
ダイクロイックミラー301により反射された第3の光は、励起光カットフィルタ302に入射する。励起光カットフィルタ302に入射する光は、赤外光を含む。赤外光は、励起光と蛍光とを含む。励起光カットフィルタ302は、励起光を遮断し、蛍光を透過させる。励起光カットフィルタ302の透過特性は、図12に示す励起光カットフィルタ1302の透過特性と同様である。励起光カットフィルタ302は、波長が約800nm未満である波長帯域の光を遮断する。また、励起光カットフィルタ302は、波長が約800nm以上である波長帯域の光を透過させる。励起光カットフィルタ302が遮断する光の波長帯域は、励起光の波長帯域を含む。励起光カットフィルタ302が透過させる光の波長帯域は、蛍光の波長帯域を含む。励起光に対する励起光カットフィルタ302の遮断特性は完全ではない。励起光カットフィルタ302は、励起光の波長帯域の光の一部を遮断し、励起光の波長帯域の残りの光と蛍光とを透過させる。
励起光カットフィルタ302を透過した励起光の波長帯域の一部の光と蛍光とはイメージセンサ303に入射する。イメージセンサ303は、励起光カットフィルタ302を透過した励起光と蛍光とに基づくIR信号(第2の画像信号)を生成する。
ダイクロイックミラー301を透過した第2の光は、ダイクロイックプリズム304に入射する。ダイクロイックプリズム304は、第2の光を、赤波長帯域の光(赤色光)と、緑波長帯域の光(緑色光)と、青波長帯域の光(青色光)とに分割する。ダイクロイックプリズム304を通過した赤色光はイメージセンサ305に入射する。イメージセンサ305は、赤色光に基づくR信号(第1の画像信号)を生成する。ダイクロイックプリズム304を通過した緑色光はイメージセンサ306に入射する。イメージセンサ306は、緑色光に基づくG信号(第1の画像信号)を生成する。ダイクロイックプリズム304を通過した青色光はイメージセンサ307に入射する。イメージセンサ307は、青色光に基づくB信号(第1の画像信号)を生成する。
R信号は、イメージセンサ305に配置された複数の画素の信号値(画素値)を含む。G信号は、イメージセンサ306に配置された複数の画素の信号値(画素値)を含む。B信号は、イメージセンサ307に配置された複数の画素の信号値(画素値)を含む。IR信号は、イメージセンサ303に配置された複数の画素毎の信号値(画素値)を含む。
上記のように、カメラヘッド30a(撮像部)は、ダイクロイックミラー301と、励起光カットフィルタ302と、イメージセンサ305(可視光撮像部)と、イメージセンサ306(可視光撮像部)と、イメージセンサ307(可視光撮像部)と、イメージセンサ303(蛍光撮像部)とを有する。ダイクロイックミラー301は、被写体60からの第1の光を第2の光と第3の光とに分割する。第1の光は、可視光と励起光と蛍光とを含む。第2の光は、可視光を含む。第3の光は、励起光と蛍光とを含む。第2の光がイメージセンサ305とイメージセンサ306とイメージセンサ307とに入射する。イメージセンサ305とイメージセンサ306とイメージセンサ307とは、可視光に基づく信号(第1の画像信号)を生成する。励起光カットフィルタ302の蛍光の透過率は、励起光カットフィルタ302の励起光の透過率よりも高い。第3の光が励起光カットフィルタ302に入射する。励起光カットフィルタ302を透過した第3の光がイメージセンサ303に入射する。イメージセンサ303は、励起光と蛍光とに基づくIR信号(第2の画像信号)を生成する。イメージセンサ305とイメージセンサ306とイメージセンサ307とイメージセンサ303とは、信号処理部40に接続されている。
信号処理部40は、R信号と、G信号と、B信号とから可視光画像信号を生成する。可視光画像信号は、可視光画像を表示するための信号である。また、信号処理部40は、R信号と、G信号と、B信号との少なくとも1つと、IR信号とから蛍光画像信号を生成する。蛍光画像信号は、蛍光画像を表示するための信号である。
表示部50は、モニタ500を有する。モニタ500は、可視光画像信号に基づく可視光画像と、蛍光画像信号に基づく蛍光画像とを表示する。例えば、モニタ500は、同じ時刻で取得された可視光画像と蛍光画像とを並べて表示する。あるいは、モニタ500は、同じ時刻で取得された可視光画像と蛍光画像とを重ねて表示する。
上記のように、内視鏡装置1a(撮像装置)は、カメラヘッド30a(撮像部)と、信号処理部40とを有する。カメラヘッド30aは、被写体60からの可視光に基づく第1の画像信号(R信号、G信号、およびB信号)を生成する。カメラヘッド30aは、被写体60からの励起光と蛍光とに基づく第2の画像信号(IR信号)を生成する。信号処理部40は、第1の画像信号と第2の画像信号とに基づいて、蛍光に対応する蛍光画像信号を生成する。信号処理部40は、第1の画像信号に基づいて、被写体60における注目領域を判定する。信号処理部40は、注目領域に対応する第2の画像信号に基づいて、蛍光領域を判定する。蛍光領域は、被写体60において蛍光を発生する。信号処理部40は、蛍光領域に対応する第2の画像信号の強調処理を行う。このため、内視鏡装置1aは、蛍光領域がより鮮明に光る蛍光画像を表示するための蛍光画像信号を生成することができる。
信号処理部40の詳細な構成を説明する。信号処理部40は、メモリ400と、RGB信号処理部401と、注目領域判定部402と、蛍光領域判定部403と、IR信号処理部404とを有する。例えば、メモリ400は、揮発性または不揮発性の記録媒体である。例えば、RGB信号処理部401と、注目領域判定部402と、蛍光領域判定部403と、IR信号処理部404とは、プロセッサとして実装される。あるいは、RGB信号処理部401と、注目領域判定部402と、蛍光領域判定部403と、IR信号処理部404とは、特定用途向け集積回路(ASIC)等のハードウェアとして実装される。
被写体60の特性を示す被写体特性情報がメモリ400に記録される。つまり、メモリ400は、被写体特性情報を記憶する。被写体特性情報は、被写体60の第1の画像信号(R信号、G信号、およびB信号)から生成される。例えば、被写体特性情報は、可視光に対する被写体60の分光反射特性を示すRGB情報である。
RGB信号処理部401は、第1の画像信号(R信号、G信号、およびB信号)から、各画素のRGB情報を生成する。RGB信号処理部401によって生成されたRGB情報は、注目領域判定部402に出力される。
注目領域判定部402は、第1の画像信号(R信号、G信号、およびB信号)に基づいて、被写体60における注目領域を判定する。つまり、注目領域判定部402は、メモリ400に記録された被写体特性情報(RGB情報)と、RGB信号処理部401によって生成されたRGB情報とに基づいて、被写体60における注目領域を判定する。注目領域を示す注目領域情報が蛍光領域判定部403に出力される。注目領域情報は、注目領域に対応する画素の位置情報を含む。
蛍光領域判定部403は、注目領域に対応する第2の画像信号(IR信号)に基づいて、蛍光領域を判定する。つまり、蛍光領域判定部403は、注目領域情報が示す画素の第2の画像信号に基づいて、蛍光領域を判定する。蛍光領域を示す蛍光領域情報がIR信号処理部404に出力される。蛍光領域情報は、蛍光領域に対応する画素の位置情報を含む。
IR信号処理部404は、蛍光領域に対応する第2の画像信号(IR信号)の強調処理を行う。つまり、IR信号処理部404は、蛍光領域情報が示す画素の第2の画像信号の強調処理を行う。IR信号処理部404は、第2の画像信号において、蛍光領域に対応する画素の信号値が、蛍光領域以外の領域に対応する画素の信号値よりも大きくなるように、第2の画像信号の強調処理を行う。
メモリ400に記録される被写体特性情報であるRGB情報の詳細を説明する。例えば、内視鏡装置1aによる観察の対象である被写体60は、人体の器官である。例えば、被写体60は、大腸、小腸、胃、および肝臓である。ICGが被験者の静脈に注射された後、投与されたICGは、血管とリンパ管とを流れる。したがって、ICGを使用する蛍光観察における注目領域は、血管およびリンパ管である。血管およびリンパ管などの注目領域における可視光の分光反射特性は、観察対象における他の領域(例えば、脂肪など)における可視光の分光反射特性と異なる。このため、R信号とG信号とB信号とを解析することにより、撮像された被写体60の注目領域を検出することができる。
例えば、RGB情報は、R信号とG信号とB信号との信号値の比率である。つまり、RGB情報は、R信号とG信号との信号値の比率と、R信号とB信号との信号値の比率とを含む。例えば、注目領域におけるR信号とG信号との信号値の比率は、X1からX2の範囲である。X2は、X1よりも大きい。例えば、注目領域におけるR信号とB信号との信号値の比率は、Y1からY2の範囲である。Y2は、Y1よりも大きい。X1からX2の範囲と、Y1からY2の範囲とがRGB情報としてメモリ400に記録される。
RGB情報は、彩度と色相とであってもよい。彩度は、色の鮮やかさを表す指標である。無彩色(黒、白、および灰色)の彩度は0である。色が鮮やかになるにつれて彩度は大きくなる。つまり、より鮮やかな色の彩度は大きい。色相は、赤、黄、緑、青、および紫などの色の様相を表す指標である。色の様相毎に色相の数値が異なる。RGB信号を、色相(H)、彩度(S)、および輝度(I)の3要素で定義されるHIS色空間の画素値(色相、彩度、および輝度)に変換することができる。彩度と色相とのそれぞれの範囲がメモリ400に記録される。
信号処理部40の詳細な動作を説明する。イメージセンサ305から出力されたR信号と、イメージセンサ306から出力されたG信号と、イメージセンサ307から出力されたB信号と、イメージセンサ303から出力されたIR信号とが信号処理部40に入力される。R信号とG信号とB信号とは、RGB信号処理部401に入力される。IR信号は、蛍光領域判定部403に入力される。イメージセンサ305と、イメージセンサ306と、イメージセンサ307と、イメージセンサ303との各画素は、互いに対応している。例えば、イメージセンサ305と、イメージセンサ306と、イメージセンサ307と、イメージセンサ303との各画素数は同一である。
信号処理部40(RGB信号処理部401)は、R信号とG信号とB信号とから、各画素のRGB情報を生成する。RGB情報の生成の際、信号処理部40(RGB信号処理部401)は、以下の処理を行う。信号処理部40(RGB信号処理部401)は、互いに対応する画素のR信号とG信号とB信号とから、その画素のRGB情報を生成する。RGB情報がR信号とG信号とB信号との信号値の比率である場合、信号処理部40(RGB信号処理部401)は、R信号とG信号との信号値の比率およびR信号とB信号との信号値の比率を算出する。信号処理部40(RGB信号処理部401)は、算出された比率を含むRGB情報を注目領域判定部402に出力する。
RGB情報が彩度と色相とである場合、信号処理部40(RGB信号処理部401)は、第1の画像信号(R信号、G信号、およびB信号)の各画素の信号値から各画素の彩度と色相とを算出する。信号処理部40(RGB信号処理部401)は、算出された彩度と色相とを含むRGB情報を注目領域判定部402に出力する。
さらに、信号処理部40(RGB信号処理部401)は、R信号とG信号とB信号とから可視光画像信号を生成する。信号処理部40(RGB信号処理部401)は、R信号とG信号とB信号との少なくとも1つに対して、補間処理等の画像処理を行ってもよい。信号処理部40(RGB信号処理部401)は、可視光画像信号をモニタ500に出力する。
信号処理部40(RGB信号処理部401)によって生成されたRGB情報がメモリ400に記録されてもよい。例えば、既知の注目領域を含む被写体60が撮像され、かつR信号とG信号とB信号とが生成される。さらに、既知の注目領域を含む被写体60の可視光画像信号に基づく可視光画像がモニタ500に表示される。この可視光画像に基づいて、観察者によって注目領域が指定される。信号処理部40(RGB信号処理部401)は、観察者によって指定された注目領域に対応するR信号とG信号とB信号とからRGB情報を生成する。
例えば、信号処理部40(RGB信号処理部401)は、注目領域におけるR信号とG信号との各画素の信号値の比率およびR信号とB信号との各画素の信号値の比率を算出する。注目領域におけるR信号とG信号との各画素の信号値の比率の最小値X1と最大値X2とがRGB情報としてメモリ400に記録される。また、注目領域におけるB信号とG信号との各画素の信号値の比率の最小値Y1と最大値Y2とがRGB情報としてメモリ400に記録される。
あるいは、信号処理部40(RGB信号処理部401)は、注目領域における各画素の彩度と色相とを算出する。注目領域における彩度と色相とのそれぞれの範囲がRGB情報としてメモリ400に記録される。
信号処理部40(注目領域判定部402)は、メモリ400に記録された被写体特性情報(RGB情報)と第1の画像信号(R信号、G信号、およびB信号)とに基づいて、被写体60における注目領域を判定する。注目領域の判定の際、信号処理部40(注目領域判定部402)は、以下の処理を行う。信号処理部40(注目領域判定部402)は、メモリ400からRGB情報を読み出す。信号処理部40(注目領域判定部402)は、メモリ400に記録されたRGB情報と、RGB信号処理部401によって生成されたRGB情報とを比較する。信号処理部40(注目領域判定部402)は、比較結果に基づいて、被写体60における注目領域を判定する。
図2は、注目領域の判定の概念を示している。撮像領域S1は、イメージセンサ305と、イメージセンサ306と、イメージセンサ307とのいずれか1つの撮像領域である。撮像領域S1において、赤色光と緑色光と青色光とのいずれか1つに基づく被写体60の像が結像される。被写体60は、注目領域61を含む。信号処理部40(注目領域判定部402)は、メモリ400に記録されたRGB情報と、RGB信号処理部401によって生成されたRGB情報とを画素毎に比較する。これによって、信号処理部40(注目領域判定部402)は、各画素が注目領域61に含まれるか否かを判定する。
RGB情報がR信号とG信号とB信号との信号値の比率である場合、信号処理部40(注目領域判定部402)は、RGB信号処理部401によって算出された比率が、メモリ400に記録された比率の範囲に含まれるか否かを判定する。例えば、信号処理部40(注目領域判定部402)は、RGB信号処理部401によって算出されたR信号とG信号との信号値の比率Prgが、メモリ400に記録されたR信号とG信号との信号値の比率の範囲に含まれるか否かを判定する。R信号とG信号との信号値の比率の範囲は、X1からX2である。
同様に、信号処理部40(注目領域判定部402)は、RGB信号処理部401によって算出されたR信号とB信号との信号値の比率Prbが、メモリ400に記録されたR信号とB信号との信号値の比率の範囲に含まれるか否かを判定する。R信号とB信号との信号値の比率の範囲は、Y1からY2である。比率PrgがX1以上かつX2未満であり、かつ比率PrbがY1以上かつY2未満である場合、信号処理部40(注目領域判定部402)は、判定対象の画素が注目領域に含まれると判定する。比率PrgがX1未満またはX2以上である場合、信号処理部40(注目領域判定部402)は、判定対象の画素が注目領域に含まれないと判定する。比率PrbがX1未満またはX2以上である場合も、信号処理部40(注目領域判定部402)は、判定対象の画素が注目領域に含まれないと判定する。
RGB情報が彩度と色相とである場合、信号処理部40(注目領域判定部402)は、第1の画像信号(R信号、G信号、およびB信号)の各画素の彩度と色相とに基づいて、注目領域を判定する。つまり、信号処理部40(注目領域判定部402)は、RGB信号処理部401によって算出された彩度Psが、メモリ400に記録された彩度Psmの範囲に含まれるか否かを判定する。同様に、信号処理部40(注目領域判定部402)は、RGB信号処理部401によって算出された色相Phが、メモリ400に記録された色相Phmの範囲に含まれるか否かを判定する。
彩度Psが彩度Psmの範囲に含まれ、かつ色相Phが色相Phmの範囲に含まれる場合、信号処理部40(注目領域判定部402)は、判定対象の画素が注目領域に含まれると判定する。彩度Psが彩度Psmの範囲に含まれない場合、信号処理部40(注目領域判定部402)は、判定対象の画素が注目領域に含まれないと判定する。色相Phが色相Phmの範囲に含まれない場合も、信号処理部40(注目領域判定部402)は、判定対象の画素が注目領域に含まれないと判定する。
信号処理部40(注目領域判定部402)は、注目領域の判定結果に基づいて、注目領域情報を生成する。注目領域情報は、注目領域に含まれると判定された画素の位置情報を含む。信号処理部40(注目領域判定部402)は、注目領域情報を蛍光領域判定部403に出力する。
信号処理部40(蛍光領域判定部403)は、注目領域に対応する第2の画像信号(IR信号)の各画素の信号値に基づいて、蛍光領域を判定する。蛍光領域の判定の際、信号処理部40(蛍光領域判定部403)は、以下の処理を行う。信号処理部40(蛍光領域判定部403)は、注目領域情報が示す各画素のIR信号の信号値と基準値αとを比較する。信号処理部40(蛍光領域判定部403)は、比較結果に基づいて、被写体60の注目領域における蛍光領域を判定する。
図3と図4とは、蛍光領域の判定の概念を示している。撮像領域S2は、イメージセンサ303の撮像領域である。撮像領域S2において、励起光と蛍光とに基づく被写体60の像が結像される。被写体60は、注目領域61を含む。
ICGは、血管およびリンパ管を流れる。しかし、ICGは、必ずしも被写体60内の全ての血管およびリンパ管を流れるとは限らない。このため、信号処理部40(蛍光領域判定部403)は、注目領域61の中でICGが発光している領域と、注目領域61の中でICGが発光していない領域とを判定する。
病巣の領域では、投与したICGが集積され、かつ蛍光が発生する。このため、病巣の領域では、病巣でない領域と比較して、IR信号の信号値が大きい。つまり、注目領域において病巣である領域に対応するIR信号は、蛍光と一部の励起光とに基づく信号成分を含む。このため、病巣である領域に対応するIR信号の信号値は大きい。一方、注目領域において病巣でない領域に対応するIR信号は、一部の励起光のみに基づく信号成分を含む。このため、病巣でない領域に対応するIR信号の信号値は小さい。
信号処理部40(蛍光領域判定部403)は、IR信号の信号値と基準値αとを注目領域における画素毎に比較する。これによって、信号処理部40(蛍光領域判定部403)は、注目領域における各画素が蛍光領域に含まれるか否かを判定する。基準値αは、励起光カットフィルタ302を透過した励起光に基づく信号値、すなわち励起光の漏れ成分に基づく信号値である。
注目領域における画素のIR信号の信号値が基準値α以上である場合、信号処理部40(蛍光領域判定部403)は、判定対象の画素が蛍光領域に含まれると判定する。注目領域における画素のIR信号の信号値が基準値α未満である場合、信号処理部40(蛍光領域判定部403)は、判定対象の画素が蛍光領域に含まれないと判定する。
例えば、基準値αは、以下のように決定される。既知の注目領域を含む被写体60が撮像され、かつR信号とG信号とB信号とが生成される。さらに、既知の注目領域を含む被写体60の可視光画像信号に基づく可視光画像がモニタ500に表示される。この可視光画像に基づいて、観察者によって注目領域が指定される。信号処理部40(RGB信号処理部401)は、観察者によって指定された注目領域に対応するR信号とG信号とB信号とから励起光の反射率を算出する。信号処理部40(RGB信号処理部401)は、被写体60の種類毎に、注目領域における励起光の反射率を算出する。例えば、被写体60の種類は、大腸、小腸、胃、および肝臓である。被写体60の種類毎の励起光の反射率がメモリ400に記録される。
観察対象の被写体60が観察される場合、信号処理部40(RGB信号処理部401)は、被写体60の種類に対応する励起光の反射率をメモリ400から読み出す。信号処理部40(RGB信号処理部401)は、光源100の強度と励起光の反射率とに基づいて、注目領域における励起光の反射光強度を算出する。算出された反射光強度が基準値αである。
信号処理部40(蛍光領域判定部403)は、注目領域における各画素のIR信号を比較することにより、蛍光領域を判定してもよい。例えば、注目領域における第1の画素のIR信号の信号値から、注目領域における第2の画素のIR信号の信号値を差し引いた値が基準値β以上である場合、信号処理部40(蛍光領域判定部403)は、第1の画素が蛍光領域に含まれると判定する。注目領域における第1の画素のIR信号の信号値から、注目領域における第2の画素のIR信号の信号値を差し引いた値が基準値β未満である場合、信号処理部40(蛍光領域判定部403)は、第1の画素が蛍光領域に含まれないと判定する。例えば、第2の画素は、注目領域においてIR信号の信号値が最も小さい画素である。
例えば、基準値βは、体内に投与されたICGの発光により検出されるIR信号の最低レベルの信号値である。基準値βは、被写体60の種類と、光源100の励起光強度と、体内に投与されるICGの濃度とに基づいて決定される。既知の注目領域を含む被写体60が撮像されたときの情報に基づいて基準値βが決定され、かつ決定された基準値βはメモリ400に記録される。
信号処理部40(蛍光領域判定部403)は、蛍光領域の判定結果に基づいて、蛍光領域情報を生成する。蛍光領域情報は、蛍光領域に含まれると判定された画素の位置情報を含む。信号処理部40(蛍光領域判定部403)は、蛍光領域情報をIR信号処理部404に出力する。
前述したように、蛍光を発してなく、かつ励起光の反射率が高い被写体からの光が入射する画素で生成されたIR信号の信号値が大きい場合がある。被写体において撮像された領域の全体に対応するIR信号に基づいて蛍光領域が判定される場合、注目領域以外の領域において、IR信号の信号値が大きい画素が蛍光領域として誤って判定される可能性がある。しかし、信号処理部40(蛍光領域判定部403)は、注目領域のみのIR信号に基づいて蛍光領域を判定する。これによって、信号処理部40(蛍光領域判定部403)は、蛍光領域を高精度に判定することができる。
信号処理部40(IR信号処理部404)は、蛍光領域に対応する第2の画像信号(IR信号)の各画素の信号値の強調処理を行う。これによって、信号処理部40(IR信号処理部404)は、蛍光画像信号を生成する。強調処理の際、信号処理部40(IR信号処理部404)は、以下の処理を行う。信号処理部40(IR信号処理部404)は、蛍光領域に対応するIR信号の信号値のみに所定値を加算することにより強調処理を行う。つまり、信号処理部40(IR信号処理部404)は、蛍光領域に対応するIR信号の各画素の信号値のみに所定値γを加算する。所定値γは、0よりも大きく、かつ加算後のIR信号の最大値が飽和信号値よりも小さい値となるように設定される。所定値γは、体内に投与されたICGが発光することにより検出される最低レベルのIR信号の信号値よりも大きくてもよい。
蛍光領域に対応するIR信号の信号値のみに所定値γが加算されることにより、加算後のIR信号の信号値と、蛍光領域以外の領域に対応するIR信号の信号値との差が大きくなる。このため、蛍光領域に対応するIR信号がより強調される。
信号処理部40(IR信号処理部404)は、蛍光領域に対応するIR信号の信号値のみに、その信号値に応じた値を加算することにより強調処理を行ってもよい。つまり、信号処理部40(IR信号処理部404)は、蛍光領域に対応するIR信号の各画素の信号値のみに、その信号値に応じて異なる値を加算することにより強調処理を行ってもよい。加算される値は、0よりも大きく、かつIR信号の最大値(飽和信号値)よりも小さい。信号処理部40(IR信号処理部404)は、より大きなIR信号の信号値に対して、より大きな値を加算する。
蛍光領域に対応するIR信号の信号値のみに、その信号値に応じた値が加算されることにより、加算後のIR信号の信号値と、蛍光領域以外の領域に対応するIR信号の信号値との差が大きくなる。このため、蛍光領域に対応するIR信号がより強調される。より大きなIR信号の信号値に対して、より大きな値が加算されることにより、蛍光領域におけるIR信号の強度の違いがより大きくなる。
信号処理部40(IR信号処理部404)は、蛍光領域に対応するIR信号の信号値のみに所定値を乗算することにより強調処理を行ってもよい。つまり、信号処理部40(IR信号処理部404)は、蛍光領域に対応するIR信号の各画素の信号値のみに所定値γaを加算する。所定値γaは、1よりも大きく、かつ乗算後のIR信号の最大値が飽和信号値よりも小さい値となるように設定される。
蛍光領域に対応するIR信号の信号値のみに所定値γaが乗算されることにより、加算後のIR信号の信号値と、蛍光領域以外の領域に対応するIR信号の信号値との差が大きくなる。このため、蛍光領域に対応するIR信号がより強調される。
信号処理部40(IR信号処理部404)は、蛍光領域に対応するIR信号の信号値のみに、その信号値に応じた値を乗算することにより強調処理を行ってもよい。つまり、信号処理部40(IR信号処理部404)は、蛍光領域に対応するIR信号の各画素の信号値のみに、その信号値に応じて異なる値を乗算することにより強調処理を行ってもよい。乗算される値は、1よりも大きく、かつ乗算後のIR信号の最大値が飽和信号値よりも小さい値となるように設定される。信号処理部40(IR信号処理部404)は、より大きいIR信号の信号値に対して、より大きい値を乗算する。
蛍光領域に対応するIR信号の信号値のみに、その信号値に応じた値が乗算されることにより、乗算後のIR信号の信号値と、蛍光領域以外の領域に対応するIR信号の信号値との差が大きくなる。このため、蛍光領域に対応するIR信号がより強調される。より大きなIR信号の信号値に対して、より大きな値が乗算されることにより、蛍光領域におけるIR信号の強度の違いがより大きくなる。
信号処理部40(IR信号処理部404)は、蛍光領域に対応する第2の画像信号(IR信号)の強調処理を行い、かつ蛍光領域以外の領域に対応する第2の画像信号(IR信号)の低減処理を行ってもよい。低減処理の際、信号処理部40(IR信号処理部404)は、以下の処理を行う。信号処理部40(IR信号処理部404)は、蛍光領域以外の領域に対応するIR信号の信号値のみから所定値を減算することにより低減処理を行う。つまり、信号処理部40(IR信号処理部404)は、蛍光領域以外の領域に対応するIR信号の各画素の信号値のみから所定値γbを減算する。所定値γbは、0よりも大きく、かつ図14に示す励起光の成分に基づくIR信号の最大信号値よりも小さい。
蛍光領域以外の領域に対応するIR信号の信号値のみから所定値γbが減算されることにより、減算後のIR信号の信号値と、蛍光領域に対応するIR信号の信号値との差が大きくなる。これによって、蛍光領域以外の領域に対応するIR信号がより低減される。
信号処理部40(IR信号処理部404)は、蛍光領域以外の領域に対応するIR信号の信号値のみに、1よりも小さい値を乗算することにより低減処理を行ってもよい。つまり、信号処理部40(IR信号処理部404)は、蛍光領域に対応するIR信号の各画素の信号値のみに、1よりも小さい値を乗算することにより低減処理を行ってもよい。乗算される値は、定数と、IR信号の信号値に応じて異なる値とのどちらであってもよい。
蛍光領域以外の領域に対応するIR信号の信号値のみに、1よりも小さい値が乗算されることにより、乗算後のIR信号の信号値と、蛍光領域に対応するIR信号の信号値との差が大きくなる。これによって、蛍光領域以外の領域に対応するIR信号がより低減される。
信号処理部40(IR信号処理部404)は、蛍光画像信号をモニタ500に出力する。蛍光画像信号は、蛍光領域以外の領域に対応するIR信号と、蛍光領域に対応し強調処理が行われたIR信号とを含む。
本発明の各態様の撮像装置は、光源部10と、内視鏡スコープ部20と、結像レンズ300と、ダイクロイックミラー301と、励起光カットフィルタ302と、ダイクロイックプリズム304と、表示部50との少なくとも1つに対応する構成を有していなくてもよい。
第1の実施形態では、信号処理部40は、R信号とG信号とB信号とに基づいて、被写体60における注目領域を判定する。信号処理部40は、注目領域に対応するIR信号に基づいて、蛍光領域を判定する。信号処理部40は、蛍光領域に対応するIR信号の強調処理を行う。このため、内視鏡装置1aは、蛍光領域がより鮮明に光る蛍光画像を表示するための蛍光画像信号を生成することができる。
信号処理部40は、蛍光領域に対応するIR信号の信号値のみに対する加算または乗算を行う。これによって、蛍光画像において、蛍光領域が他の領域と比較してより目立つようになる。
内視鏡装置1aは、R信号とG信号とB信号とIR信号とを別々に取得する。このため、内視鏡装置1aは、解像度が高い可視光画像と蛍光画像とを取得することができる。また、内視鏡装置1aは、可視光の撮像と赤外光の撮像とを同時に行うことができる。
信号処理部40は、R信号とG信号とB信号との各画素の彩度と色相とに基づいて、注目領域を判定する。これによって、彩度と色相とから注目領域を判定することができる。
(第2の実施形態)
図1に示す内視鏡装置1aを使用して、本発明の第2の実施形態を説明する。以下では、第1の実施形態と異なる点を説明する。
信号処理部40(注目領域判定部402)は、第1の画像信号(R信号、G信号、およびB信号)の各画素の信号値と、基準値との相関度に応じた各画素の領域判定係数を算出する。基準値は、注目領域に対応する第1の画像信号の信号値として期待される値に対応する。信号処理部40(注目領域判定部402)は、各画素で算出された領域判定係数に基づいて、注目領域を判定する。
領域判定係数は、各画素における注目領域の確からしさを示す。信号処理部40(注目領域判定部402)は、領域判定係数に基づいて、各画素が注目領域に属する可能性を判定する。これによって、信号処理部40(注目領域判定部402)は、注目領域の確からしさに応じて注目領域を判定することができる。
信号処理部40(注目領域判定部402)は、強調処理が行われた第2の画像信号(IR信号)の各画素の信号値と各画素の領域判定係数とを乗算する。
第1の画像信号の各画素が注目領域に含まれる場合の各画素の領域判定係数は、第1の画像信号の各画素が注目領域に含まれない場合の各画素の領域判定係数よりも大きい。このため、第2の画像信号の信号値と領域判定係数との乗算が行われることにより、注目領域に含まれない画素の信号値に対する、注目領域かつ蛍光領域に含まれる画素の信号値の比がより大きくなる。この結果、蛍光画像において、蛍光領域が他の領域と比較してより目立つようになる。
信号処理部40(注目領域判定部402)が行う処理の詳細を説明する。領域判定係数の算出の際、信号処理部40(注目領域判定部402)は、以下の処理を行う。信号処理部40(注目領域判定部402)は、メモリ400から基準値を読み出す。信号処理部40(注目領域判定部402)は、メモリ400に記録された基準値と、RGB信号処理部401によって生成されたRGB情報とを比較する。信号処理部40(注目領域判定部402)は、比較結果に基づいて、相関度を算出する。信号処理部40(注目領域判定部402)は、算出された相関度に基づいて領域判定係数を算出する。
RGB情報がR信号とG信号とB信号との信号値の比率である場合、RGB信号処理部401によって生成されたRGB情報は、各画素のR信号とG信号との信号値の比率X3と、各画素のR信号とB信号との信号値の比率Y3とを含む。メモリ400に記録された基準値は、注目領域におけるR信号とG信号との信号値の比率X5と、注目領域におけるR信号とB信号との信号値の比率Y5とである。前述したように、注目領域におけるR信号とG信号との信号値の比率は、X1からX2の範囲である。X5は、X1からX2の範囲の代表値である。前述したように、注目領域におけるB信号とG信号との信号値の比率は、Y1からY2の範囲である。Y5は、Y1からY2の範囲の代表値である。
信号処理部40(注目領域判定部402)は、各画素の比率X3と比率Y3との組み合わせと、基準値である比率X5とY5との組み合わせとを比較し、かつ相関度を算出する。例えば、信号処理部40(注目領域判定部402)は、(X3,Y3)と(X5,Y5)とのユークリッド距離を算出する。算出されたユークリッド距離は、R信号とG信号とB信号との各画素の信号値と、基準値との相関度を示す。ユークリッド距離が小さい場合、相関度が高い。ユークリッド距離が大きい場合、相関度が低い。
信号処理部40(注目領域判定部402)は、各画素の相関度に基づいて、各画素の領域判定係数を算出する。例えば、各画素の領域判定係数は0から1の値である。相関度が高い場合すなわち各画素が注目領域に含まれる可能性が高い場合、領域判定係数は1に近い。相関度が低い場合すなわち各画素が注目領域に含まれない可能性が高い場合、領域判定係数は0に近い。つまり、領域判定係数は、相関度に応じた重みを有する。
信号処理部40(注目領域判定部402)は、各画素の領域判定係数と基準値δとを比較する。基準値δは、0よりも大きく、かつ1よりも小さい値である。これによって、信号処理部40(注目領域判定部402)は、各画素が注目領域に含まれるか否かを判定する。
各画素の領域判定係数が基準値δ以上である場合、信号処理部40(注目領域判定部402)は、判定対象の画素が注目領域に含まれると判定する。各画素の領域判定係数が基準値δ未満である場合、信号処理部40(注目領域判定部402)は、判定対象の画素が注目領域に含まれないと判定する。
例えば、基準値である比率X5と比率Y5とは、以下のように決定される。信号処理部40(RGB信号処理部401)は、既知の情報に基づいて、注目領域で反射されかつイメージセンサに入射する可視光の代表的なスペクトル分布を取得することができる。既知の情報は、光源100が発する光のスペクトル分布と、内視鏡装置1aの光学系に依存する分光透過率と、注目領域の分光反射特性とを含む。信号処理部40(RGB信号処理部401)は、可視光の代表的なスペクトル分布に基づいて、注目領域における代表的な比率X5と比率Y5とを算出する。算出された比率X5と比率Y5とは、メモリ400に記録される。信号処理部40(RGB信号処理部401)は、既知の注目領域を含む被写体60が撮像されたときに生成されたR信号とG信号とB信号とに基づいて、注目領域における代表的な比率X5と比率Y5とを算出してもよい。
例えば、基準値δは、以下のように決定される。比率X5と比率Y5とは、注目領域における代表値である。しかし、イメージセンサで発生するノイズおよび光源100が発する光のむら等により、注目領域におけるR信号とG信号との信号値の比率X3と比率X5とは、必ずしも同一ではない。同様に、注目領域におけるR信号とB信号との信号値の比率Y3と比率Y5とは、必ずしも同一ではない。つまり、注目領域において検出される比率X3と比率Y3とは、ばらつきを有する。注目領域における比率X3と比率Y3とがばらつきを有する場合でも、注目領域に対応する画素の大部分が注目領域であると判定されるような基準値δが決定される。
例えば、信号処理部40(RGB信号処理部401)は、既知の注目領域を含む被写体60が撮像されたときに生成されたR信号とG信号とB信号とに基づいて、注目領域における各画素の比率X3と比率Y3とを算出する。信号処理部40(RGB信号処理部401)は、注目領域における各画素の比率X3および比率Y3と、基準値である比率X5および比率Y5との相関度を算出する。信号処理部40(RGB信号処理部401)は、各画素の相関度の分布に基づいて、基準値δを決定する。
RGB情報が彩度と色相とである場合、信号処理部40(注目領域判定部402)は、各画素の彩度と色相との組み合わせと、基準値である彩度と色相との組み合わせとを比較し、かつ相関度を算出する。相関度に基づく領域判定係数の算出と、領域判定係数に基づく注目領域の判定とは、上記の各処理と同様である。
信号処理部40(蛍光領域判定部403)は、第1の実施形態における方法と同様の方法により、蛍光領域を判定する。信号処理部40(蛍光領域判定部403)は、蛍光領域の判定結果に基づいて、蛍光領域情報を生成する。蛍光領域情報は、蛍光領域に含まれると判定された画素の位置情報を含む。信号処理部40(蛍光領域判定部403)は、蛍光領域情報と、各画素の領域判定係数とをIR信号処理部404に出力する。
信号処理部40(IR信号処理部404)は、第2の画像信号(IR信号)に対して、第1の実施形態における強調処理を行う。つまり、信号処理部40(IR信号処理部404)は、蛍光領域に対応するIR信号の信号値のみに所定値を加算または乗算することにより強調処理を行う。信号処理部40(IR信号処理部404)は、蛍光領域に対応するIR信号の信号値のみに、その信号値に応じた値を加算または乗算することにより強調処理を行ってもよい。
さらに、信号処理部40(IR信号処理部404)は、以下の処理を行う。信号処理部40(注目領域判定部402)は、強調処理が行われたIR信号の各画素の信号値と各画素の領域判定係数とを乗算する。同一の画素に対応するIR信号の信号値と領域判定係数とが乗算される。
前述したように、各画素の領域判定係数は0から1の値である。各画素が注目領域に含まれる可能性が高い場合、領域判定係数は1に近い。一方、各画素が注目領域に含まれる可能性が低い場合、領域判定係数は0に近い。例えば、注目領域かつ蛍光領域に対応する画素P1のIR信号の信号値Sir1と注目領域以外の領域に対応する画素P2のIR信号の信号値Sir2との比Pr1は、式(1)で表される。
Pr1=Sir1/Sir2 ・・・(1)
画素P1の領域判定係数はa1であり、画素P2の領域判定係数はa2である。IR信号の信号値と領域判定係数とが乗算された後、注目領域かつ蛍光領域に対応する画素P1のIR信号の信号値Sir1’と注目領域以外の領域に対応する画素P2のIR信号の信号値Sir2’との比Pr2は、式(2)で表される。
Pr2=Sir1’/Sir2’
=(a1×Sir1)/(a2×Sir2) ・・・(2)
領域判定係数a1は、領域判定係数a2よりも大きい。このため、比Pr2は、比Pr1よりも大きい。つまり、IR信号の信号値と領域判定係数との乗算が行われることにより、蛍光画像において、蛍光領域が他の領域と比較してより目立つようになる。
信号処理部40(IR信号処理部404)は、蛍光画像信号をモニタ500に出力する。蛍光画像信号は、蛍光領域以外の領域に対応するIR信号と、蛍光領域に対応し強調処理と領域判定係数の乗算とが行われたIR信号とを含む。
信号処理部40(IR信号処理部404)は、強調処理と、第1の実施形態における低減処理とを行ってもよい。第2の実施形態において、IR信号の各画素の信号値と各画素の領域判定係数との乗算は、必須ではない。
上記以外の点については、第2の実施形態における内視鏡装置1aの動作は、第1の実施形態における内視鏡装置1aの動作と同様である。
第2の実施形態では、内視鏡装置1aは、蛍光領域がより鮮明に光る蛍光画像を表示するための蛍光画像信号を生成することができる。
信号処理部40は、R信号とG信号とB信号との各画素の信号値と、基準値との相関度に応じた各画素の領域判定係数を算出する。信号処理部40は、領域判定係数に基づいて、注目領域を判定する。これによって、信号処理部40は、注目領域の確からしさに応じて注目領域を判定することができる。
信号処理部40は、強調処理が行われたIR信号の各画素の信号値と各画素の領域判定係数とを乗算する。これによって、内視鏡装置1aは、蛍光領域がより鮮明に光る蛍光画像を表示するための蛍光画像信号を生成することができる。
(第1の変形例)
図5は、本発明の第1の実施形態と第2の実施形態との第1の変形例の内視鏡装置1bの構成を示している。図5に示すように、内視鏡装置1bは、光源部10と、内視鏡スコープ部20と、カメラヘッド30b(撮像部)と、信号処理部40と、表示部50とを有する。図5では、光源部10と、内視鏡スコープ部20と、カメラヘッド30bとの概略構成が示されている。
図5に示す構成について、図1に示す構成と異なる点を説明する。カメラヘッド30bは、結像レンズ300と、励起光カットフィルタ308と、イメージセンサ309(可視光撮像部および蛍光撮像部)とを有する。結像レンズ300は、図1に示す結像レンズ300と同一である。
結像レンズ300を通過した第1の光、つまり被写体60からの第1の光は励起光カットフィルタ308に入射する。励起光カットフィルタ308に入射する光は、可視光と赤外光とを含む。可視光は、赤色光と緑色光と青色光とを含む。赤外光は、励起光と蛍光とを含む。励起光カットフィルタ308は、励起光を遮断し、蛍光と可視光とを透過させる。
図6は、励起光カットフィルタ308の透過特性を示している。図6に示すグラフの横軸は波長であり、縦軸は透過率である。励起光カットフィルタ308は、波長が約700nmから約800nmである波長帯域の光を遮断する。また、励起光カットフィルタ308は、波長が約700nm未満である波長帯域の光と、波長が約800nm以上である波長帯域の光とを透過させる。励起光カットフィルタ308が遮断する光の波長帯域は、励起光の波長帯域を含む。励起光カットフィルタ308が透過させる光の波長帯域は、可視光の波長帯域と蛍光の波長帯域とを含む。励起光に対する励起光カットフィルタ308の遮断特性は完全ではない。励起光カットフィルタ308は、励起光の波長帯域の一部の光を遮断し、励起光の波長帯域の残りの光と蛍光と可視光とを透過させる。
励起光カットフィルタ308を透過した励起光と蛍光とはイメージセンサ309に入射する。イメージセンサ309は、赤色光に基づくR信号(第1の画像信号)と、緑色光に基づくG信号(第1の画像信号)と、青色光に基づくB信号(第1の画像信号)とを生成する。さらに、イメージセンサ309は、励起光と蛍光とに基づくIR信号(第2の画像信号)を生成する。
上記以外の点については、図5に示す構成は、図1に示す構成と同様である。
図7は、イメージセンサ309の画素配列を示している。イメージセンサ309は、複数の画素309Rと、複数の画素309Gと、複数の画素309Bと、複数の画素309IRとを有する。複数の画素309Rと、複数の画素309Gと、複数の画素309Bと、複数の画素309IRとは、行列状に配置されている。図7では、代表として、1つの画素309Rと、1つの画素309Gと、1つの画素309Bと、1つの画素309IRとの符号が示されている。1つの画素309Rと、1つの画素309Gと、1つの画素309Bと、1つの画素309IRとは、単位配列を構成する。図7に示す画素配列では、複数の単位配列が2次元状に周期的に配置されている。
赤色光を透過するフィルタが複数の画素309Rの表面に配置されている。緑色光を透過するフィルタが複数の画素309Gの表面に配置されている。青色光を透過するフィルタが複数の画素309Bの表面に配置されている。蛍光を透過するフィルタが複数の画素309IRの表面に配置されている。複数の画素309Rは、赤色光に基づくR信号を生成する。複数の画素309Gは、緑色光に基づくG信号を生成する。複数の画素309IRは、蛍光に基づくIR信号を生成する。したがって、複数の画素309Rと、複数の画素309Gと、複数の画素309Bとは、可視光撮像部を構成する。複数の画素309IRは、蛍光撮像部を構成する。
(第2の変形例)
図8は、本発明の第1の実施形態と第2の実施形態との第2の変形例の内視鏡装置1cの構成を示している。図8に示すように、内視鏡装置1cは、光源部10cと、内視鏡スコープ部20と、カメラヘッド30c(撮像部)と、信号処理部40と、表示部50とを有する。図8では、光源部10cと、内視鏡スコープ部20と、カメラヘッド30cとの概略構成が示されている。
図8に示す構成について、図5に示す構成と異なる点を説明する。光源部10cは、光源100と、バンドパスフィルタ101と、コンデンサレンズ102と、帯域制限フィルタ103と、RGB回転フィルタ104とを有する。光源100は、図1に示す光源100と同一である。バンドパスフィルタ101は、図1に示すバンドパスフィルタ101と同一である。コンデンサレンズ102は、図1に示すコンデンサレンズ102と同一である。
バンドパスフィルタ101を透過した可視光と励起光とは、帯域制限フィルタ103に入射する。帯域制限フィルタ103は、第1のフィルタと、第2のフィルタとを有する。第1のフィルタは、可視光のみを透過する。第2のフィルタは、励起光のみを透過する。帯域制限フィルタ103は、回転式のフィルタである。第1のフィルタと第2のフィルタとの1つが光路に配置される。可視光の撮像時には、第1のフィルタが光路に配置される。帯域制限フィルタ103は、可視光を透過させる。蛍光の撮像時には、第2のフィルタが光路に配置される。帯域制限フィルタ103は、励起光を透過させる。
帯域制限フィルタ103を透過した光は、RGB回転フィルタ104に入射する。RGB回転フィルタ104は、第3のフィルタと、第4のフィルタと、第5のフィルタとを有する。第3のフィルタは、緑色光と青色光とを遮断し、赤色光と励起光とを透過させる。第4のフィルタは、赤色光と青色光とを遮断し、緑色光と励起光とを透過させる。第5のフィルタは、赤色光と緑色光とを遮断し、青色光と励起光とを透過させる。RGB回転フィルタ104は、回転式のフィルタである。第3のフィルタと第4のフィルタと第5のフィルタとが光路に順次配置される。可視光の撮像時には、RGB回転フィルタ104は、赤色光と緑色光と青色光とを順次透過させる。蛍光の撮像時には、RGB回転フィルタ104は、励起光を透過させる。
カメラヘッド30cは、結像レンズ300と、励起光カットフィルタ308と、イメージセンサ310(可視光撮像部および蛍光撮像部)とを有する。結像レンズ300は、図1に示す結像レンズ300と同一である。励起光カットフィルタ308は、図8に示す励起光カットフィルタ308と同一である。
イメージセンサ310は、可視光と蛍光とに対する感度を有する。可視光の撮像時には、赤色光と緑色光と青色光とが励起光カットフィルタ308を順次透過する。イメージセンサ310は、赤色光に基づくR信号と、緑色光に基づくG信号と、青色光に基づくB信号とを順次生成する。蛍光の撮像時には、励起光と蛍光とが励起光カットフィルタ308を透過する。イメージセンサ310は、励起光と蛍光とに基づくIR信号を生成する。
上記のように、イメージセンサ310は、R信号とG信号とB信号とIR信号とを異なるタイミングで生成することができる。
上記以外の点については、図8に示す構成は、図5に示す構成と同様である。
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
本発明の各実施形態によれば、撮像装置は、蛍光領域がより鮮明に光る蛍光画像を表示するための蛍光画像信号を生成することができる。
1a,1b,1c,1001 内視鏡装置
10,10c,1010 光源部
20,1020 内視鏡スコープ部
30a,30b,30c,1030 カメラヘッド
40 信号処理部
50 表示部
100,1100 光源
101,1101 バンドパスフィルタ
102,1102 コンデンサレンズ
103 帯域制限フィルタ
104 RGB回転フィルタ
200,1200 ライトガイド
201,1201 照明レンズ
202,1202 対物レンズ
203,1203 イメージガイド
300,1300 結像レンズ
301,1301 ダイクロイックミラー
302,308,1302 励起光カットフィルタ
304,1304 ダイクロイックプリズム
303,305,306,307,309,310,1303,1305,1306,1307 イメージセンサ
400 メモリ
401 RGB信号処理部
402 注目領域判定部
403 蛍光領域判定部
404 IR信号処理部
500,1050 モニタ
1040 プロセッサ

Claims (8)

  1. 被写体からの可視光に基づく第1の画像信号を生成し、かつ前記被写体からの励起光と蛍光とに基づく第2の画像信号を生成する撮像部と、
    前記第1の画像信号と前記第2の画像信号とに基づいて、前記蛍光に対応する蛍光画像信号を生成する信号処理部と、
    を有し、
    前記信号処理部は、前記第1の画像信号に基づいて、前記被写体における注目領域を判定し、
    前記信号処理部は、前記注目領域に対応する前記第2の画像信号に基づいて、蛍光領域を判定し、前記蛍光領域は、前記被写体において前記蛍光を発生し、
    前記信号処理部は、前記蛍光領域に対応する前記第2の画像信号の強調処理を行う
    撮像装置。
  2. 前記信号処理部は、前記蛍光領域に対応する前記第2の画像信号の信号値のみに所定値を加算または乗算することにより前記強調処理を行う
    請求項1に記載の撮像装置。
  3. 前記信号処理部は、前記蛍光領域に対応する前記第2の画像信号の信号値のみに、前記信号値に応じた値を加算または乗算することにより前記強調処理を行う
    請求項1に記載の撮像装置。
  4. 前記信号処理部は、前記第1の画像信号の各画素の信号値と、基準値との相関度に応じた各画素の領域判定係数を算出し、前記基準値は、前記注目領域に対応する前記第1の画像信号の信号値として期待される値に対応し、
    前記信号処理部は、前記領域判定係数に基づいて、前記注目領域を判定する
    請求項1に記載の撮像装置。
  5. 前記信号処理部は、前記強調処理が行われた前記第2の画像信号の各画素の信号値と前記各画素の領域判定係数とを乗算する
    請求項4に記載の撮像装置。
  6. 前記撮像部は
    前記被写体からの第1の光を第2の光と第3の光とに分割し、前記第1の光は前記可視光と前記励起光と前記蛍光とを含み、前記第2の光は前記可視光を含み、前記第3の光は前記励起光と前記蛍光とを含むダイクロイックミラーと、
    前記第2の光が入射し、かつ前記第1の画像信号を生成する可視光撮像部と、
    前記蛍光の透過率が前記励起光の透過率よりも高く、かつ前記第3の光が入射する励起光カットフィルタと、
    前記励起光カットフィルタを透過した前記第3の光が入射し、かつ前記第2の画像信号を生成する蛍光撮像部と、
    を有し、
    前記可視光撮像部と前記蛍光撮像部とは、前記信号処理部に接続されている
    請求項1に記載の撮像装置。
  7. 前記信号処理部は、
    前記被写体の特性を示す被写体特性情報が記録され、前記被写体特性情報は前記被写体の前記第1の画像信号から生成されるメモリと、
    前記メモリに記録された前記被写体特性情報と前記第1の画像信号とに基づいて、前記注目領域を判定する注目領域判定部と、
    を有する
    請求項1に記載の撮像装置。
  8. 前記信号処理部は、前記第1の画像信号の各画素の信号値から前記各画素の彩度と色相とを算出し、
    前記信号処理部は、前記各画素の前記彩度と前記色相とに基づいて、前記注目領域を判定する
    請求項1に記載の撮像装置。
JP2017524202A 2015-06-17 2015-06-17 撮像装置 Active JP6484336B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/067452 WO2016203572A1 (ja) 2015-06-17 2015-06-17 撮像装置

Publications (2)

Publication Number Publication Date
JPWO2016203572A1 JPWO2016203572A1 (ja) 2018-04-05
JP6484336B2 true JP6484336B2 (ja) 2019-03-13

Family

ID=57545618

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017524202A Active JP6484336B2 (ja) 2015-06-17 2015-06-17 撮像装置

Country Status (5)

Country Link
US (1) US20180116520A1 (ja)
JP (1) JP6484336B2 (ja)
CN (1) CN107708518A (ja)
DE (1) DE112015006505T5 (ja)
WO (1) WO2016203572A1 (ja)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111526775A (zh) 2017-12-27 2020-08-11 爱惜康有限责任公司 在缺光环境中用工具追踪的超光谱成像
WO2020075578A1 (ja) * 2018-10-12 2020-04-16 富士フイルム株式会社 医用画像処理装置、内視鏡システム、及び医用画像処理方法
US11758256B2 (en) 2019-06-20 2023-09-12 Cilag Gmbh International Fluorescence imaging in a light deficient environment
US11533417B2 (en) 2019-06-20 2022-12-20 Cilag Gmbh International Laser scanning and tool tracking imaging in a light deficient environment
US20200397239A1 (en) 2019-06-20 2020-12-24 Ethicon Llc Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11122967B2 (en) 2019-06-20 2021-09-21 Cilag Gmbh International Driving light emissions according to a jitter specification in a fluorescence imaging system
US11550057B2 (en) 2019-06-20 2023-01-10 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11986160B2 (en) 2019-06-20 2024-05-21 Cllag GmbH International Image synchronization without input clock and data transmission clock in a pulsed hyperspectral imaging system
US11937784B2 (en) 2019-06-20 2024-03-26 Cilag Gmbh International Fluorescence imaging in a light deficient environment
US11516387B2 (en) 2019-06-20 2022-11-29 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11622094B2 (en) 2019-06-20 2023-04-04 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
US11674848B2 (en) 2019-06-20 2023-06-13 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for hyperspectral imaging
US11617541B2 (en) 2019-06-20 2023-04-04 Cilag Gmbh International Optical fiber waveguide in an endoscopic system for fluorescence imaging
US11412920B2 (en) 2019-06-20 2022-08-16 Cilag Gmbh International Speckle removal in a pulsed fluorescence imaging system
US11700995B2 (en) 2019-06-20 2023-07-18 Cilag Gmbh International Speckle removal in a pulsed fluorescence imaging system
US11944273B2 (en) 2019-06-20 2024-04-02 Cilag Gmbh International Fluorescence videostroboscopy of vocal cords
US11389066B2 (en) 2019-06-20 2022-07-19 Cilag Gmbh International Noise aware edge enhancement in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11360028B2 (en) 2019-06-20 2022-06-14 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11187658B2 (en) 2019-06-20 2021-11-30 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US11877065B2 (en) 2019-06-20 2024-01-16 Cilag Gmbh International Image rotation in an endoscopic hyperspectral imaging system
US11398011B2 (en) 2019-06-20 2022-07-26 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed laser mapping imaging system
US11284785B2 (en) 2019-06-20 2022-03-29 Cilag Gmbh International Controlling integral energy of a laser pulse in a hyperspectral, fluorescence, and laser mapping imaging system
US11237270B2 (en) 2019-06-20 2022-02-01 Cilag Gmbh International Hyperspectral, fluorescence, and laser mapping imaging with fixed pattern noise cancellation
US11540696B2 (en) 2019-06-20 2023-01-03 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11716543B2 (en) 2019-06-20 2023-08-01 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
US11898909B2 (en) 2019-06-20 2024-02-13 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US10841504B1 (en) 2019-06-20 2020-11-17 Ethicon Llc Fluorescence imaging with minimal area monolithic image sensor
US11624830B2 (en) 2019-06-20 2023-04-11 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for laser mapping imaging
US11903563B2 (en) 2019-06-20 2024-02-20 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11671691B2 (en) 2019-06-20 2023-06-06 Cilag Gmbh International Image rotation in an endoscopic laser mapping imaging system
US10952619B2 (en) 2019-06-20 2021-03-23 Ethicon Llc Hyperspectral and fluorescence imaging and topology laser mapping with minimal area monolithic image sensor
US11716533B2 (en) 2019-06-20 2023-08-01 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed fluorescence imaging system
US11925328B2 (en) 2019-06-20 2024-03-12 Cilag Gmbh International Noise aware edge enhancement in a pulsed hyperspectral imaging system
US20200397245A1 (en) 2019-06-20 2020-12-24 Ethicon Llc Minimizing image sensor input/output in a pulsed fluorescence imaging system
US11432706B2 (en) 2019-06-20 2022-09-06 Cilag Gmbh International Hyperspectral imaging with minimal area monolithic image sensor
US11633089B2 (en) 2019-06-20 2023-04-25 Cilag Gmbh International Fluorescence imaging with minimal area monolithic image sensor
US11892403B2 (en) 2019-06-20 2024-02-06 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed fluorescence imaging system
US12013496B2 (en) 2019-06-20 2024-06-18 Cilag Gmbh International Noise aware edge enhancement in a pulsed laser mapping imaging system
US11471055B2 (en) 2019-06-20 2022-10-18 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11412152B2 (en) 2019-06-20 2022-08-09 Cilag Gmbh International Speckle removal in a pulsed hyperspectral imaging system
US11240426B2 (en) 2019-06-20 2022-02-01 Cilag Gmbh International Pulsed illumination in a hyperspectral, fluorescence, and laser mapping imaging system
US11931009B2 (en) 2019-06-20 2024-03-19 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a hyperspectral imaging system
US11793399B2 (en) 2019-06-20 2023-10-24 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed hyperspectral imaging system
JP2021149558A (ja) * 2020-03-19 2021-09-27 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察システムおよび画像処理方法
WO2022238991A1 (en) * 2021-05-10 2022-11-17 Given Imaging Ltd. In vivo device and a combined imager therefor

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1301118B1 (en) * 2000-07-14 2006-09-06 Xillix Technologies Corp. Compact fluorescence endoscopy video system
US20020182603A1 (en) * 2001-04-20 2002-12-05 Chapman William H. Uniformly functionalized surfaces for microarrays
US8620410B2 (en) * 2002-03-12 2013-12-31 Beth Israel Deaconess Medical Center Multi-channel medical imaging system
JP3869324B2 (ja) * 2002-06-26 2007-01-17 オリンパス株式会社 蛍光観察用画像処理装置
US8498695B2 (en) * 2006-12-22 2013-07-30 Novadaq Technologies Inc. Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy
CA2713113A1 (en) * 2008-01-24 2009-07-30 Lifeguard Surgical Systems Common bile duct surgical imaging system
JP5242479B2 (ja) * 2009-03-26 2013-07-24 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理装置の作動方法
DE102009024943A1 (de) * 2009-06-10 2010-12-16 W.O.M. World Of Medicine Ag Bildgebungssystem und Verfahren zur fluoreszenz-optischen Visualisierung eines Objekts
JP5541914B2 (ja) * 2009-12-28 2014-07-09 オリンパス株式会社 画像処理装置、電子機器、プログラム及び内視鏡装置の作動方法
JP5484997B2 (ja) * 2010-04-12 2014-05-07 オリンパス株式会社 蛍光観察装置および蛍光観察装置の作動方法
JP2012005512A (ja) * 2010-06-22 2012-01-12 Olympus Corp 画像処理装置、内視鏡装置、内視鏡システム、プログラム及び画像処理方法
JP5485191B2 (ja) * 2011-01-19 2014-05-07 富士フイルム株式会社 内視鏡装置
JP2012152460A (ja) * 2011-01-27 2012-08-16 Fujifilm Corp 医療システム、医療システムのプロセッサ装置、及び画像生成方法
JP2012245285A (ja) * 2011-05-31 2012-12-13 Fujifilm Corp 光源装置
JP5802440B2 (ja) * 2011-06-02 2015-10-28 オリンパス株式会社 蛍光観察装置
WO2012176285A1 (ja) * 2011-06-21 2012-12-27 オリンパス株式会社 蛍光観察装置、蛍光観察システムおよび蛍光画像処理方法
WO2013015120A1 (ja) * 2011-07-22 2013-01-31 オリンパス株式会社 蛍光内視鏡装置
BRPI1103937A2 (pt) * 2011-09-05 2013-08-06 Prates Joel Aires circuito sincronizador comulador reversÍvel automÁtico
JP6042817B2 (ja) * 2011-10-06 2016-12-14 オリンパス株式会社 蛍光観察装置
JP5993237B2 (ja) * 2012-07-25 2016-09-14 オリンパス株式会社 蛍光観察装置
JP6017219B2 (ja) * 2012-08-01 2016-10-26 オリンパス株式会社 蛍光観察装置および蛍光観察システム
WO2014091964A1 (ja) * 2012-12-13 2014-06-19 オリンパス株式会社 蛍光観察装置
JP2014198144A (ja) * 2013-03-29 2014-10-23 ソニー株式会社 画像処理装置、画像処理方法、情報処理プログラム、蛍光観察システム、および蛍光ナビゲーション・サージェリー・システム

Also Published As

Publication number Publication date
CN107708518A (zh) 2018-02-16
US20180116520A1 (en) 2018-05-03
JPWO2016203572A1 (ja) 2018-04-05
WO2016203572A1 (ja) 2016-12-22
DE112015006505T5 (de) 2018-03-15

Similar Documents

Publication Publication Date Title
JP6484336B2 (ja) 撮像装置
JP5977302B2 (ja) 齲蝕の検出方法
US9247241B2 (en) Method and apparatus for detection of caries
EP2476373B1 (en) Endoscope system and processor apparatus thereof
WO2017145529A1 (ja) 計算システム
US20060247535A1 (en) Fluorescence detecting system
JP7021183B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
US9271635B2 (en) Fluorescence endoscope apparatus
US20080170764A1 (en) System for early detection of dental caries
US20190041333A1 (en) Imaging method using fluoresence and associated image recording apparatus
US20190008374A1 (en) Endoscope system
JP5930474B2 (ja) 内視鏡システム及びその作動方法
US8300093B2 (en) Endoscope image processing method and apparatus, and endoscope system using the same
US10021356B2 (en) Method and apparatus for wide-band imaging based on narrow-band image data
KR102112229B1 (ko) 가시광 및 근적외선 광을 모두 가시화할 수 있는 내시경 장치
JP2021148886A5 (ja)
KR20190135705A (ko) 단일 컬러 카메라를 이용하고 가시광선 및 근적외선 영상 동시 획득이 가능한 가시광선 및 근적외선 영상 제공 시스템 및 방법
WO2022209732A1 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
JP6535701B2 (ja) 撮像装置
JP6756054B2 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
JP2009125411A (ja) 内視鏡画像処理方法および装置ならびにこれを用いた内視鏡システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190215

R151 Written notification of patent or utility model registration

Ref document number: 6484336

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250