JP7378315B2 - 医療用信号処理装置、および医療用信号処理方法 - Google Patents

医療用信号処理装置、および医療用信号処理方法 Download PDF

Info

Publication number
JP7378315B2
JP7378315B2 JP2020025477A JP2020025477A JP7378315B2 JP 7378315 B2 JP7378315 B2 JP 7378315B2 JP 2020025477 A JP2020025477 A JP 2020025477A JP 2020025477 A JP2020025477 A JP 2020025477A JP 7378315 B2 JP7378315 B2 JP 7378315B2
Authority
JP
Japan
Prior art keywords
light
signal level
fluorescence
signal
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020025477A
Other languages
English (en)
Other versions
JP2021129648A (ja
Inventor
航史 小島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Olympus Medical Solutions Inc
Original Assignee
Sony Olympus Medical Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Olympus Medical Solutions Inc filed Critical Sony Olympus Medical Solutions Inc
Priority to JP2020025477A priority Critical patent/JP7378315B2/ja
Priority to US17/134,538 priority patent/US11583165B2/en
Publication of JP2021129648A publication Critical patent/JP2021129648A/ja
Application granted granted Critical
Publication of JP7378315B2 publication Critical patent/JP7378315B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00057Operational features of endoscopes provided with means for testing or calibration
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00131Accessories for endoscopes
    • A61B1/00137End pieces at either end of the endoscope, e.g. caps, seals or forceps plugs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/00078Insertion part of the endoscope body with stiffening means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00105Constructional details of the endoscope body characterised by modular construction
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00112Connection or coupling means
    • A61B1/00114Electrical cables in or with an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00112Connection or coupling means
    • A61B1/00117Optical cables in or with an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0669Endoscope light sources at proximal end of an endoscope

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)

Description

本開示は、医療用信号処理装置、キャップ部材および医療用信号処理方法に関する。
内視鏡において、白色光画像と蛍光画像を合成して合成画像を生成する技術が知られている(例えば、特許文献1を参照)。
特開2007-75198号公報
白色光画像と蛍光画像を合成する際、蛍光の励起光の発光に対して白色光の発光の比率を一定にすることが難しい。この比率が変化すると、同一の環境下で、同一の濃度の蛍光剤を投入して観察したとしても、白色光画像の明るさに対する蛍光画像の明るさにばらつきが発生してしまう。
本開示は、上記に鑑みてなされたものであって、白色光画像の明るさに対する蛍光画像の明るさのばらつきを抑制することができる医療用信号処理装置、キャップ部材および医療用信号処理方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本開示に係る医療用信号処理装置は、可視光を含む波長帯域の第1の光を被写体へ照射することによって得られた第1の画像信号、および前記被写体が有する蛍光物質を励起する第2の光を前記被写体へ照射することによって得られた第2の画像信号を取得する取得部と、前記第1の画像信号に含まれる前記可視光の信号レベル、および前記第2の画像信号に含まれる蛍光の信号レベルをそれぞれ検出する検出部と、前記検出部の検出結果を用いて、前記蛍光の信号レベルを補正する補正係数を算出する算出部と、を備える。
本開示に係る医療用信号処理装置は、上記開示において、前記補正係数は、前記可視光の信号レベルと前記蛍光の信号レベルの比率を予め設定された比率にするための係数である。
本開示に係る医療用信号処理装置は、上記開示において、前記算出部は、前記可視光の時間平均信号レベルおよび前記蛍光の時間平均信号レベルをそれぞれ算出し、前記可視光の時間平均信号レベルと、前記蛍光の時間平均信号レベルと、前記予め設定された比率に基づいて定まる目標補正係数とを用いて前記補正係数を算出する。
本開示に係る医療用信号処理装置は、上記開示において、前記第1および第2の画像信号は、内視鏡が撮像した画像信号であり、前記被写体は、前記第1の光を照射したときに前記第1の光を反射し、前記第2の光を照射したときに、前記第2の光を反射するとともに、前記第2の光に対応する蛍光を発光する。
本開示に係るキャップ部材は、一方の底面が開口している有底の中空筒状をなし、中空部内に内視鏡の先端部が挿入される本体部と、前記中空部の底面に設けられるチャート部と、を備え、前記チャート部は、可視光を含む波長帯域の第1の光が照射されたときに前記第1の光を反射し、前記第1の光と異なる波長帯域の第2の光が照射されたときに前記第2の光を反射し、前記第2の光によって励起される蛍光物質を有する。
本開示に係るキャップ部材は、上記開示において、前記チャート部および前記中空部の一部を気密に閉塞し、前記第1の光、前記第2の光、および前記蛍光物質が発光する蛍光を透過するカバー部材をさらに備える。
本開示に係る医療用信号処理方法は、(a)可視光を含む波長帯域の第1の光を被写体へ照射することによって得られた第1の画像信号を取得し、(b)前記第1の画像信号に含まれる前記可視光の信号レベルを検出し、(c)前記被写体が有する蛍光物質を励起する第2の光を前記被写体へ照射することによって得られた第2の画像信号を取得し、(d)前記第2の画像信号に含まれる蛍光の信号レベルを検出し、(e)前記(b)および前記(d)の検出結果を用いて、前記蛍光の信号レベルを補正する補正係数を算出し、前記(a)から前記(b)に至る第1の処理と、前記(c)から前記(d)に至る第2の処理を任意の順序で行う。
本開示によれば、白色光画像の明るさに対する蛍光画像の明るさのばらつきを抑制することができる。
図1は、医療用観察システムの構成を示す図である。 図2は、カメラヘッドおよび制御装置の構成を示すブロック図である。 図3は、実施の形態に係るキャップ部材の構成を模式的に示す断面図である。 図4は、実施の形態に係る医療用信号処理装置が行う補正係数算出処理の概要を示すフローチャート部である。 図5は、キャップ部材の別な構成を模式的に示す断面図である。 図6は、医療用観察システムの第2の構成例を示す図である。 図7は、医療用観察システムの第3の構成例を示す図である。
以下、添付図面を参照して、本開示を実施するための形態(以下、「実施の形態」という)を説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。
図1は、実施の形態に係る医療用信号処理装置を備えた医療用観察システムの構成を示す図である。同図に示す医療用観察システム1は、医療分野において用いられ、被写体となる生体内(観察対象)を撮像(観察)するシステムである。この医療用観察システム1は、内視鏡2と、光源装置3と、ライトガイド4と、カメラヘッド5と、第1伝送ケーブル6と、表示装置7と、第2伝送ケーブル8と、実施の形態に係る医療用信号処理装置である制御装置9と、第3伝送ケーブル10とを備える。
内視鏡2は、全体が硬質である細長形状を有し、生体内に挿入される。この内視鏡2内には、1または複数のレンズを用いて構成され、被写体からの光を集光する光学系が設けられている。なお、内視鏡2は、先端硬質部を有する軟性内視鏡でもよい。
光源装置3は、ライトガイド4の一端が接続され、制御装置9による制御の下、ライトガイド4に生体内に照射する光を供給する。この光源装置3は、第1の光源31と、第2の光源32とを備える。
第1の光源31は、可視光を含む波長帯域の第1の光を発光する。第1の光源31は、例えば赤、青、緑の3つのLED(Light Emitting Diode)により構成されており、第1の光として白色光を発光する。輝度成分は緑色(495~570nm)である。なお、後述する補正係数算出処理を実行する際に、第1の光源31が第1の光として緑色光を発光してもよい。
第2の光源32は、第1の光とは異なる波長帯域を有する第2の光を発光する。本実施の形態において、第2の光源32は、例えば半導体レーザで構成されており、第2の光として近赤外の波長帯域を有し、インドシアニングリーン(ICG)等の蛍光物質を励起する励起光を発光する。励起光の中心波長は774nm付近であり、ICGによる蛍光の中心波長は805nm付近である。励起光の波長帯域と蛍光の波長帯域とを、一部が重なるように設定してもよいし、全く重ならないように設定してもよい。
光源装置3は、制御装置9による制御の下、第1の光源31と第2の光源32が時分割で交互に駆動する。なお、本実施の形態では、光源装置3を制御装置9とは別体で構成しているが、光源装置3を制御装置9と一体で構成してもよい。
ライトガイド4は、一端が光源装置3に着脱自在に接続されるとともに、他端が内視鏡2に着脱自在に接続される。ライトガイド4は、光源装置3から供給された光(白色光や励起光)を一端から他端に伝播し、内視鏡2に供給する。生体等の被写体に白色光が照射された場合には、被写体によって反射された白色光が内視鏡2内の光学系により集光される。また、被写体に励起光が照射された場合には、被写体によって反射された励起光と、被写体に含まれるICG等の蛍光物質が発する蛍光とが、内視鏡2内の光学系により集光される。
カメラヘッド5は、内視鏡2の基端に設けられた接眼部21に対して着脱自在に接続され、制御装置9による制御の下、内視鏡2にて集光された光を撮像し、撮像によって取得したデジタルの画像信号(RAW信号)を出力する。カメラヘッド5の詳細な構成については、後述する。
第1伝送ケーブル6は、一端がコネクタCN1を介して制御装置9に着脱自在に接続され、他端がコネクタCN2を介してカメラヘッド5に着脱自在に接続される。第1伝送ケーブル6は、カメラヘッド5から出力される画像信号等を制御装置9に伝送するとともに、制御装置9から出力される制御信号、同期信号、クロック、および電力等をカメラヘッド5にそれぞれ伝送する。なお、第1伝送ケーブル6を介したカメラヘッド5から制御装置9への画像信号等を光信号または電気信号で伝送してもよい。第1伝送ケーブル6を介した制御装置9からカメラヘッド5への制御信号、同期信号、クロックの伝送も同様である。
表示装置7は、液晶または有機EL(Electro Luminescence)等を用いた表示ディスプレイで構成され、制御装置9による制御の下、制御装置9からの映像信号に基づく画像を表示する。
第2伝送ケーブル8は、一端が表示装置7に着脱自在に接続され、他端が制御装置9に着脱自在に接続される。そして、第2伝送ケーブル8は、制御装置9が出力した映像信号を表示装置7に伝送する。
制御装置9は、CPU(Central Processing Unit)やFPGA(Field-Programmable Gate Array)等で構成され、光源装置3、カメラヘッド5、および表示装置7の動作を統括的に制御する。制御装置9の詳細な構成については、後述する。
第3伝送ケーブル10は、一端が光源装置3に着脱自在に接続され、他端が制御装置9に着脱自在に接続される。そして、第3伝送ケーブル10は、制御装置9からの制御信号を光源装置3に伝送する。
図2は、カメラヘッド5および制御装置9の構成を示すブロック図である。
まず、カメラヘッド5の構成を説明する。カメラヘッド5は、レンズユニット51と、撮像部52と、通信部53とを備える。
レンズユニット51は、1または複数のレンズを用いて構成され、内視鏡2が集光した光(白色光、励起光および蛍光)を撮像部52が有する撮像素子の撮像面に結像する。
撮像部52は、制御装置9による制御の下、生体内を撮像する。撮像部52は、励起光カットフィルタ521と、撮像素子522と、信号処理部523とを備える。
励起光カットフィルタ521は、レンズユニット51と撮像素子522との間に設けられ、励起光を除去する一方、白色光や蛍光を透過する。励起光カットフィルタ521は、例えばバンドストップフィルタで構成されている。
撮像素子522は、励起光カットフィルタ521を透過した光を受光して電気信号(アナログ信号)に変換するCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等で構成されている。
信号処理部523は、撮像素子522にて生成された電気信号に対して信号処理を行って、デジタルの画像信号(RAW信号)を生成して出力する。
通信部53は、第1伝送ケーブル6を介して、撮像部52から出力されるRAW信号を制御装置9に送信するトランスミッタとして機能する。この通信部53は、例えば、第1伝送ケーブル6を介して、制御装置9との間で、1Gbps以上の伝送レートで通信を行う高速シリアルインターフェースで構成されている。
次に、制御装置9の構成を説明する。
制御装置9は、通信部91と、メモリ92と、観察画像生成部93と、制御部94と、入力部95と、出力部96と、記憶部97とを備える。制御装置9は、通常の観察モードと、蛍光の信号レベルを補正する補正係数を算出するキャリブレーションモードとを択一的に設定可能である。
通信部91は、第1伝送ケーブル6を介して、カメラヘッド5の通信部53から出力されるRAW信号を受信する。通信部91は、第1の光を被写体へ照射することによって得られた第1の画像信号、および第2の光を被写体へ照射することによって得られた第2の画像信号を取得する取得部として機能する。通信部91は、例えば、通信部53との間で、1Gbps以上の伝送レートで通信を行う高速シリアルインターフェースで構成されている。
メモリ92は、例えば、DRAM(Dynamic Random Access Memory)等で構成されている。メモリ92は、通信部91が取得したRAW信号を複数フレーム分、一時的に記憶する。
観察画像生成部93は、制御部94による制御の下、RAW信号を用いて観察画像の信号を生成する。観察画像生成部93は、画像処理部931と、重畳画像生成部932と、表示制御部933とを備える。
画像処理部931は、RAW信号を用いて信号レベルを検出する検出部として機能する。また、画像処理部931は、ホワイトバランス調整処理、デモザイク処理、ガンマ補正処理等の各種画像処理を行った後、R,G,Bの信号値を所定の演算によってY,Cb,Crの信号値(輝度・色差信号値)に変換する。画像処理部931は、制御装置9が観察モードの場合、メモリ92はキャリブレーションモードで後述する算出部941によって算出された補正係数にしたがって蛍光の信号レベルを補正する。
重畳画像生成部932は、画像処理部931において画像処理が施された白色光画像と蛍光画像とを重畳して重畳画像の信号を生成する。
表示制御部933は、画像処理部931または重畳画像生成部932から取得した画像信号から表示用の映像信号を生成し、生成した映像信号を、第2伝送ケーブル8を介して表示装置7に出力する。
制御部94は、算出部941と、光源制御部942と、撮像制御部943と、を備える。
算出部941は、画像処理部931が白色光発光時に検出したRAW信号の輝度成分(緑色)の信号レベルと、励起光発光時に検出したRAW信号の蛍光の信号レベルとを用いて蛍光の信号レベルを補正する補正係数を算出する。具体的には、算出部941は、所定の長さの検出期間における輝度成分の平均信号レベル<G>と、同じ長さの検出期間における蛍光の平均信号レベル<FS>を用いて補正係数α=<G>/α0<FS>を計算する。ここで、右辺のα0は、予め設定された比率に基づいて定まる目標補正係数(補正係数の目標値)である、この目標補正係数α0は、内視鏡の種類等に応じて設定してもよいし、医師等のユーザが入力部95から手動で設定してもよい。算出部941は、算出した補正係数αを記憶部97に書き込んで記憶させる。
入力部95は、マウス、キーボード、およびタッチパネル等の操作デバイスを用いて構成され、ユーザによる操作入力を受け付ける。そして、入力部95は、操作入力に応じた信号を制御部94に出力する。
出力部96は、液晶や有機EL等の表示部、ランプ、スピーカ等を用いて構成され、制御装置9の動作に関する情報を含む各種情報を出力する。
記憶部97は、観察モードで使用する補正係数、制御部94が実行するプログラム、および制御部94の処理に必要な情報等を記憶する。記憶部97は、RAMやROM(Read Only Memory)等を用いて構成される。
図3は、実施の形態に係るキャップ部材の構成を模式的に示す断面図である。同図に示すキャップ部材100は、医療用観察システム1において補正係数算出処理を行う際に内視鏡2の先端部に装着して使用するものである。図3では、キャップ部材100に装着された内視鏡2を破線で示している。
キャップ部材100は、一方の底面が開口している有底の中空筒状をなす本体部101と、本体部101の中空部102の底面に設けられたチャート部103とを備える。
中空部102は、内視鏡2の先端部を収容可能な大径部121と、大径部121より径が小さく、底面にチャート部103が取り付けられた小径部122と有する段付き形状をなしている。大径部121の小径部122との境界における端部121aは、中空部102の深さ方向(図3の左右方向)と直交する幅方向(図3の上下方向)と平行な円環状をなしている。端部121aは、キャップ部材100を内視鏡2の先端部に装着する際、内視鏡2の先端を当接させて位置決めを行う機能を有する。端部121aの円環の径方向の幅は、互いに径が異なる複数の内視鏡2の先端を当接させることができるように設定される。
チャート部103は、励起光が照射されると励起光を反射するとともに、その励起光に対応する蛍光を発光する1または複数の量子ドットを有する。チャート部103は、白色光が照射された場合には、その白色光を反射する。また、チャート部103は、輝度成分の光(緑色光)が照射され場合には、その光を反射される。なお、チャート部103は、量子ドットの代わりに、ICG等の蛍光物質を含有する蛍光樹脂を有してもよい。
キャップ部材100はディスポーザブル式であることを想定しているため、チャート部103の表面にICG等の蛍光物質を設けて蛍光を発光させるようにしてもよい。チャート部103に蛍光物質を設ける場合には、キャップ部材100を遮光状態で保存しておく。
図4は、制御装置9がキャリブレーションモードに設定されている場合に行う補正係数算出処理の概要を示すフローチャート部である。以下に説明する処理の最中、カメラヘッド5の撮像部52は常時動作してRAW信号を制御装置9へ出力しているものとする。また、以下に説明する処理において、少なくとも第1の光源31または第2の光源32が発光している最中は、内視鏡2の先端部にキャップ部材100が装着されているものとする。
まず、入力部95が第1の光源31の発光指示の入力を受け付けると(ステップS1:Yes)、光源制御部942は、第1の光源31を発光させる(ステップS2)。この際、光源制御部942は、第1の光源31に白色光を発光させてもよいし、輝度成分の緑色光のみを発光させてもよい。ステップS1において入力部95が第1の光源31の発光指示の入力を受け付けない場合(ステップS1:No)、制御装置9はステップS1を繰り返す。
続いて、画像処理部931は、カメラヘッド5から取得したRAW信号(第1の画像信号)の輝度成分の信号レベルを検出する(ステップS3)。画像処理部931は、検出した信号レベルを時間情報とともに記憶部97へ書き込んで記憶させる。
この後、画像処理部931が信号レベルの検出を開始してから所定時間経過した場合(ステップS4:Yes)、光源制御部942は、第1の光源31の発光を終了させ、第2の光源32を発光させる(ステップS5)。一方、画像処理部931が検出を開始してから所定時間経過していない場合(ステップS4:No)、制御装置9はステップS3に戻る。
続いて、画像処理部931は、カメラヘッド5から取得した蛍光のRAW信号(第2の画像信号)の信号レベルを検出する(ステップS6)。画像処理部931は、検出した信号レベルを時間情報とともに記憶部97へ書き込んで記憶させる。
この後、画像処理部931が検出を開始してから所定時間経過した場合(ステップS7:Yes)、光源制御部942は、第2の光源32の発光を終了させる(ステップS8)。一方、画像処理部931が検出を開始してから所定時間経過していない場合(ステップS7:No)、制御装置9はステップS6に戻る。
ステップS8の後、算出部941は、ステップS3とステップS6の検出結果を記憶部97から読み出して蛍光信号の信号レベルの補正係数αを算出する(ステップS9)。この際、算出部941は、まず輝度成分の平均信号レベル<G>および蛍光の平均信号レベル<FS>をそれぞれ算出し、その算出結果を用いて補正係数α=<G>/α0<FS>を算出する。この後、制御装置9は一連の処理を終了する。
なお、第1の光源31と第2の光源32の発光順は逆でもよく、入力部95が第2の光源32の発光指示の入力を受け付けてもよい。また、ステップS5とステップS7の所定時間は同じでもよいし、異なってもよい。また、第1の光源31と第2の光源32のそれぞれのオン、オフの指示を入力部95が受け付けるようにしてもよい。
以上の処理は、カメラヘッド5に内視鏡2を装着して検査を行う前に実施する。これにより、検査のたびに異なる種類の内視鏡2を使用する場合であっても、その内視鏡2に適合した補正係数αを設定することができる。なお、以上の処理を出荷時に行ってもよい。
以上説明した本実施の形態によれば、それぞれ個別に取得した画像信号から検出した輝度成分の信号レベルおよび蛍光の信号レベルを用いて、蛍光の信号レベルを補正する補正係数を算出するため、内視鏡、光源装置、ライトガイド、カメラヘッド、その他の要因によって発生するばらつきを調整し、白色光画像の明るさに対する蛍光画像の明るさのばらつきを抑制することができる。その結果、一定の濃度の蛍光体を観察したときはいつも同じ明るさで観察することが可能となり、蛍光の定量化を実現することができる。
また、本実施の形態によれば、一方の底面が開口している有底の中空筒状をなし、中空部内に内視鏡の先端部が挿入される本体部と、中空部の底面に、第1の光を反射し、かつ第2の光を反射するとともに第2の光によって励起される前記蛍光を発光するチャート部と、を備えるキャップ部材を用いるため、第1および第2の光を照射したときの内視鏡の撮像条件を揃えることができるため、白色光画像の明るさに対する蛍光画像の明るさのばらつきを精度よく抑制することができる。
ここまで、本開示を実施するための形態を説明してきたが、本開示は、上述した実施の形態によってのみ限定されるべきものではない。図5は、キャップ部材の別な構成を模式的に示す断面図である。同図に示すキャップ部材100Aは、上述したキャップ部材100の構成(図3を参照)に加えて、小径部122に設けられ、第1の光、第2の光および蛍光を透過するカバー部材104をさらに備える。カバー部材104は、例えば熱や薬品に対する耐性を有するサファイアガラス製であり、大径部121との境界付近において本体部101に半田付けされ、チャート部103を含む領域を気密に閉塞する。これにより、キャップ部材100Aに対してオートクレーブによる滅菌処理を行うことができ、キャップ部材100Aを繰り返し使用することができる。なお、この場合のチャート部103は、蛍光物質を用いずに、量子ドットまたは蛍光樹脂等を用いて構成される。
また、本開示は、時分割で白色光と励起光を発光して観察する構成に限定されず、例えば白色光と励起光を同時に発光して観察する構成であっても適用可能である。
図6は、医療用観察システムでの第2の構成例を示す図である。同図に示す医療用観察システム200は内視鏡システムである。医療用観察システム200は、被写体内に挿入部202を挿入することによって観察部位の体内画像を撮像して撮像信号を生成する内視鏡201と、内視鏡201から被写体に照射する第1の光と第2の光とを生成する光源装置210と、内視鏡201が取得した撮像信号に所定の画像処理を施すとともに、医療用観察システム200全体の動作を統括して制御する制御装置220と、制御装置220が画像処理を施した体内画像を表示する表示装置230と、を備える。制御装置220は、制御装置9と同様の機能構成を有する。また、医療用観察システム200では、挿入部202の先端硬質部に装着可能なキャップ部材を用いることにより、上述した実施の形態と同様に補正係数算出処理を行う。
光源装置210は、第1の光源31と、第2の光源32とを備える。光源装置210は、制御装置220の制御のもと、内視鏡201に第1の光と第2の光とを供給する。
図7は、医療用観察システムの第3の構成例を示す図である。同図に示す医療用観察システム300は手術用顕微鏡システムである。医療用観察システム300は、被写体を観察するための画像を撮像することによって取得する医療用撮像装置である顕微鏡装置310と、顕微鏡装置310が撮像した画像を表示する表示装置311と、を備える。なお、表示装置311と顕微鏡装置310とを一体に構成することも可能である。
顕微鏡装置310は、被写体の微小部位を拡大して撮像する顕微鏡部312と、顕微鏡部312の基端部に接続し、顕微鏡部312を回動可能に支持するアームを含む支持部313と、支持部313の基端部を回動可能に保持し、床面上を移動可能なベース部314と、を有する。ベース部314は、医療用観察システム300の動作を統括して制御する制御装置315と、顕微鏡装置310から被写体に照射する第1の光と第2の光とを生成する光源装置316と、を有する。制御装置315は、制御装置9と同様の機能構成を有する。光源装置316は、第1の光源31と、第2の光源32とを備える。光源装置316は、制御装置315の制御のもと、顕微鏡装置310に第1の光と第2の光とを供給する。なお、ベース部314は、床面上に移動可能に設けるのではなく、天井や壁面等に固定して支持部313を支持する構成としてもよい。
顕微鏡部312は、例えば、円柱状をなしており、その内部に上述したレンズユニット51および撮像部52を有する。顕微鏡部312の側面には、顕微鏡装置310の動作指示の入力を受け付けるスイッチが設けられている。顕微鏡部312の下端部の開口面には、内部を保護するカバーガラスが設けられている(図示せず)。
このように構成された医療用観察システム300は、術者等のユーザが顕微鏡部312を把持した状態で各種スイッチを操作しながら、顕微鏡部312を移動させたり、ズーム操作を行ったり、照明光を切り替えたりする。この場合には、顕微鏡部312の先端に装着可能なキャップ部材を用いることにより、上述した実施の形態と同様に補正係数算出処理を行う。なお、顕微鏡部312の形状は、ユーザが把持して視野方向を変更しやすいように、観察方向に細長く延びる形状であれば好ましい。このため、顕微鏡部312の形状は、円柱状以外の形状であってもよく、例えば多角柱状であってもよい。
以上説明した医療用観察システム200、300においても、上述した実施の形態と同様の効果を得ることができる。
なお、本技術は以下のような構成も取ることができる。
(1) 可視光を含む波長帯域の第1の光を被写体へ照射することによって得られた第1の画像信号、および前記被写体が有する蛍光物質を励起する第2の光を前記被写体へ照射することによって得られた第2の画像信号を取得する取得部と、
前記第1の画像信号に含まれる前記可視光の信号レベル、および前記第2の画像信号に含まれる蛍光の信号レベルをそれぞれ検出する検出部と、
前記検出部の検出結果を用いて、前記蛍光の信号レベルを補正する補正係数を算出する算出部と、
を備える医療用信号処理装置。
(2) 前記補正係数は、前記可視光の信号レベルと前記蛍光の信号レベルの比率を予め設定された比率にするための係数である
前記(1)に記載の医療用信号処理装置。
(3) 前記算出部は、
前記可視光の時間平均信号レベルおよび前記蛍光の時間平均信号レベルをそれぞれ算出し、
前記可視光の時間平均信号レベルと、前記蛍光の時間平均信号レベルと、前記予め設定された比率に基づいて定まる目標補正係数とを用いて前記補正係数を算出する
前記(2)に記載の医療用信号処理装置。
(4) 前記第1および第2の画像信号は、
内視鏡が撮像した画像信号であり、
前記被写体は、
前記第1の光を照射したときに前記第1の光を反射し、
前記第2の光を照射したときに、前記第2の光を反射するとともに、前記第2の光に対応する蛍光を発光する
前記(1)~(3)のいずれか一項に記載の医療用信号処理装置。
(5) 一方の底面が開口している有底の中空筒状をなし、中空部内に内視鏡の先端部が挿入される本体部と、
前記中空部の底面に設けられるチャート部と、
を備え、
前記チャート部は、
可視光を含む波長帯域の第1の光が照射されたときに前記第1の光を反射し、前記第1の光と異なる波長帯域の第2の光が照射されたときに前記第2の光を反射し、前記第2の光によって励起される蛍光物質を有するキャップ部材。
(6) 前記チャート部および前記中空部の一部を気密に閉塞し、前記第1の光、前記第2の光、および前記蛍光物質が発光する蛍光を透過するカバー部材をさらに備える前記(5)に記載のキャップ部材。
(7) (a)可視光を含む波長帯域の第1の光を被写体へ照射することによって得られた第1の画像信号を取得し、
(b)前記第1の画像信号に含まれる前記可視光の信号レベルを検出し、
(c)前記被写体が有する蛍光物質を励起する第2の光を前記被写体へ照射することによって得られた第2の画像信号を取得し、
(d)前記第2の画像信号に含まれる蛍光の信号レベルを検出し、
(e)前記(b)および前記(d)の検出結果を用いて、前記蛍光の信号レベルを補正する補正係数を算出し、
前記(a)から前記(b)に至る第1の処理と、前記(c)から前記(d)に至る第2の処理を任意の順序で行う医療用信号処理方法。
1、200、300 医療用観察システム
2 内視鏡
3 光源装置
4 ライトガイド
5 カメラヘッド
6 第1伝送ケーブル
7 表示装置
8第2伝送ケーブル
9 制御装置
10 第3伝送ケーブル
31 第1の光源
32 第2の光源
91 通信部
92 メモリ
93 観察画像生成部
94 制御部
95 入力部
96 出力部
97 記憶部
100、100A キャップ部材
101 本体部
102 中空部
103 チャート部
104 カバー部材
121 大径部
122 小径部
121a 端部
201 内視鏡
202 挿入部
210 光源装置
220 制御装置
230 表示装置
310 顕微鏡装置
311 表示装置
312 顕微鏡部
313 支持部
314 ベース部
315 制御装置
316 光源装置
931 画像処理部
932 重畳画像生成部
933 表示制御部
941 算出部
942 光源制御部
943 撮像制御部

Claims (5)

  1. 可視光を含む波長帯域の第1の光を被写体へ照射することによって得られた第1の画像信号、および前記被写体が有する蛍光物質を励起する第2の光を前記被写体へ照射することによって得られた第2の画像信号を取得する取得部と、
    前記第1の画像信号に含まれる前記可視光の信号レベル、および前記第2の画像信号に含まれる蛍光の信号レベルをそれぞれ検出する検出処理を実行する検出部と、
    前記検出部の検出結果を用いて、前記蛍光の信号レベルを補正する補正係数を算出する算出処理を実行する算出部と、
    前記被写体を観察する観察モードと、前記補正係数を算出するキャリブレーションモードとを択一的に設定するモード設定部と、
    前記補正係数を用いて前記蛍光の信号レベルを補正する補正処理を実行する補正処理部と、を備え、
    前記検出部および前記算出部は、
    前記キャリブレーションモードに設定されている場合にのみ、前記検出処理および前記算出処理を実行し、
    前記補正処理部は、
    前記観察モードに設定されている場合にのみ、前記補正処理を実行する医療用信号処理装置。
  2. 前記補正係数は、前記可視光の信号レベルと前記蛍光の信号レベルの比率を予め設定された比率にするための係数である
    請求項1に記載の医療用信号処理装置。
  3. 前記算出部は、
    前記可視光の時間平均信号レベルおよび前記蛍光の時間平均信号レベルをそれぞれ算出し、
    前記可視光の時間平均信号レベルと、前記蛍光の時間平均信号レベルと、前記予め設定された比率に基づいて定まる目標補正係数とを用いて前記補正係数を算出する
    請求項2に記載の医療用信号処理装置。
  4. 前記第1および第2の画像信号は、
    内視鏡が撮像した画像信号であり、
    前記被写体は、
    前記第1の光を照射したときに前記第1の光を反射し、
    前記第2の光を照射したときに、前記第2の光を反射するとともに、前記第2の光に対応する蛍光を発光する
    請求項1に記載の医療用信号処理装置。
  5. (a)可視光を含む波長帯域の第1の光を被写体へ照射することによって得られた第1の画像信号を取得し、
    (b)前記第1の画像信号に含まれる前記可視光の信号レベルを検出し、
    (c)前記被写体が有する蛍光物質を励起する第2の光を前記被写体へ照射することによって得られた第2の画像信号を取得し、
    (d)前記第2の画像信号に含まれる蛍光の信号レベルを検出し、
    (e)前記(b)および前記(d)の検出結果を用いて、前記蛍光の信号レベルを補正する補正係数を算出し、
    (f)前記被写体を観察する観察モードと、前記補正係数を算出するキャリブレーションモードとを択一的に設定し、
    (g)前記補正係数を用いて前記蛍光の信号レベルを補正し、
    前記(a)から前記(b)に至る第1の処理と、前記(c)から前記(d)に至る第2の処理を任意の順序で行い、
    前記(b)、前記(d)、および前記(e)は、
    前記(f)で前記キャリブレーションモードに設定されている場合にのみ行い、
    前記(g)は、
    前記(f)で前記観察モードに設定されている場合にのみ行う医療用信号処理方法。
JP2020025477A 2020-02-18 2020-02-18 医療用信号処理装置、および医療用信号処理方法 Active JP7378315B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020025477A JP7378315B2 (ja) 2020-02-18 2020-02-18 医療用信号処理装置、および医療用信号処理方法
US17/134,538 US11583165B2 (en) 2020-02-18 2020-12-28 Medical signal processing device, cap member, and medical signal processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020025477A JP7378315B2 (ja) 2020-02-18 2020-02-18 医療用信号処理装置、および医療用信号処理方法

Publications (2)

Publication Number Publication Date
JP2021129648A JP2021129648A (ja) 2021-09-09
JP7378315B2 true JP7378315B2 (ja) 2023-11-13

Family

ID=77271947

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020025477A Active JP7378315B2 (ja) 2020-02-18 2020-02-18 医療用信号処理装置、および医療用信号処理方法

Country Status (2)

Country Link
US (1) US11583165B2 (ja)
JP (1) JP7378315B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007215764A (ja) 2006-02-16 2007-08-30 Olympus Medical Systems Corp 内視鏡カラーバランス調整具および内視鏡システム
JP2007215927A (ja) 2006-02-20 2007-08-30 Pentax Corp 内視鏡プロセッサ、擬似カラー画像生成プログラム、及び蛍光内視鏡システム
WO2016117049A1 (ja) 2015-01-21 2016-07-28 オリンパス株式会社 内視鏡装置
US20170035280A1 (en) 2015-08-07 2017-02-09 Reinroth Gmbh Stereoscopic endoscope system with concurrent imaging at visible and infrared wavelengths
JP2017118887A (ja) 2015-12-28 2017-07-06 株式会社システック 体内近赤外光像検出カメラ

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4208707C1 (ja) * 1992-03-18 1993-06-03 Ulrich Dr. Pfeiffer
WO2018008062A1 (ja) * 2016-07-04 2018-01-11 オリンパス株式会社 蛍光観察装置および蛍光観察内視鏡装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007215764A (ja) 2006-02-16 2007-08-30 Olympus Medical Systems Corp 内視鏡カラーバランス調整具および内視鏡システム
JP2007215927A (ja) 2006-02-20 2007-08-30 Pentax Corp 内視鏡プロセッサ、擬似カラー画像生成プログラム、及び蛍光内視鏡システム
WO2016117049A1 (ja) 2015-01-21 2016-07-28 オリンパス株式会社 内視鏡装置
US20170035280A1 (en) 2015-08-07 2017-02-09 Reinroth Gmbh Stereoscopic endoscope system with concurrent imaging at visible and infrared wavelengths
JP2017118887A (ja) 2015-12-28 2017-07-06 株式会社システック 体内近赤外光像検出カメラ

Also Published As

Publication number Publication date
JP2021129648A (ja) 2021-09-09
US20210251469A1 (en) 2021-08-19
US11583165B2 (en) 2023-02-21

Similar Documents

Publication Publication Date Title
US11805977B2 (en) Endoscope system and control method for endoscope system
WO2018159083A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP2003190091A (ja) 蛍光観察用照明プローブ、電子内視鏡システム及び電子内視鏡
JP2011067266A (ja) 内視鏡装置
JPWO2013164962A1 (ja) 内視鏡装置
JP2010005095A (ja) 内視鏡装置における距離情報取得方法および内視鏡装置
JP6100674B2 (ja) 内視鏡用光源装置及び内視鏡システム
JP5554288B2 (ja) 内視鏡システム、プロセッサ装置及び画像補正方法
WO2020178962A1 (ja) 内視鏡システムおよび画像処理装置
US20200405135A1 (en) Medical observation system
JP2012125402A (ja) 内視鏡システム、内視鏡システムのプロセッサ装置及び機能情報取得方法
JP2011110272A (ja) 内視鏡装置
JP7378315B2 (ja) 医療用信号処理装置、および医療用信号処理方法
JP7399151B2 (ja) 光源装置、医療用観察システム、調整装置、照明方法、調整方法およびプログラム
JP6325707B2 (ja) 内視鏡用光源装置及び内視鏡システム
JP7224963B2 (ja) 医療用制御装置及び医療用観察システム
JP7235540B2 (ja) 医療用画像処理装置及び医療用観察システム
US11534057B2 (en) Light source device, medical observation system, illumination method, and computer readable recording medium
JP2019041946A (ja) プロセッサ装置とその作動方法、および内視鏡システム
JP6396717B2 (ja) 感度調整方法および撮像装置
JP2012100733A (ja) 内視鏡診断装置
JP2012085917A (ja) 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び蛍光画像の高感度化方法
JP2017086549A (ja) 走査型内視鏡装置
JP2010042133A (ja) 画像取得方法および装置
WO2022208629A1 (ja) 蛍光観察装置、光免疫治療システムおよび蛍光内視鏡

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231031

R151 Written notification of patent or utility model registration

Ref document number: 7378315

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151