JP2022162028A - 内視鏡画像処理装置、内視鏡システム、内視鏡画像処理装置の作動方法、内視鏡画像処理プログラム及び記憶媒体 - Google Patents
内視鏡画像処理装置、内視鏡システム、内視鏡画像処理装置の作動方法、内視鏡画像処理プログラム及び記憶媒体 Download PDFInfo
- Publication number
- JP2022162028A JP2022162028A JP2022132527A JP2022132527A JP2022162028A JP 2022162028 A JP2022162028 A JP 2022162028A JP 2022132527 A JP2022132527 A JP 2022132527A JP 2022132527 A JP2022132527 A JP 2022132527A JP 2022162028 A JP2022162028 A JP 2022162028A
- Authority
- JP
- Japan
- Prior art keywords
- image
- endoscopic
- endoscope
- image quality
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 173
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000006243 chemical reaction Methods 0.000 claims abstract description 42
- 238000005286 illumination Methods 0.000 claims description 40
- 230000006870 function Effects 0.000 claims description 23
- 238000003384 imaging method Methods 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000004148 unit process Methods 0.000 claims description 2
- 238000012937 correction Methods 0.000 description 87
- 239000011159 matrix material Substances 0.000 description 34
- 238000010586 diagram Methods 0.000 description 15
- 230000003902 lesion Effects 0.000 description 15
- 210000004204 blood vessel Anatomy 0.000 description 11
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 9
- 210000001519 tissue Anatomy 0.000 description 9
- 210000004400 mucous membrane Anatomy 0.000 description 7
- 239000013307 optical fiber Substances 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 239000002344 surface layer Substances 0.000 description 5
- 238000005452 bending Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 108010054147 Hemoglobins Proteins 0.000 description 3
- 102000001554 Hemoglobins Human genes 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 3
- 230000005284 excitation Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 239000010410 layer Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 208000003200 Adenoma Diseases 0.000 description 1
- 206010001233 Adenoma benign Diseases 0.000 description 1
- 201000009030 Carcinoma Diseases 0.000 description 1
- 238000012327 Endoscopic diagnosis Methods 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 108010064719 Oxyhemoglobins Proteins 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 208000029742 colonic neoplasm Diseases 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 206010020718 hyperplasia Diseases 0.000 description 1
- 230000002390 hyperplastic effect Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000004088 microvessel Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 210000004876 tela submucosa Anatomy 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Veterinary Medicine (AREA)
- Astronomy & Astrophysics (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Image Processing (AREA)
Abstract
【課題】画質の差異を考慮せずに画像認識できる内視鏡画像処理装置、内視鏡システム、内視鏡画像処理装置の作動方法、内視鏡画像処理プログラム及び記憶媒体を提供する。
【解決手段】内視鏡装置１０で撮影された内視鏡画像に対して画像認識を行う内視鏡画像処理装置１００は、内視鏡画像を取得する内視鏡画像取得部１２０と、内視鏡画像を基準画質の画像に変換する処理を行う画像変換処理部１２２と、基準画質に変換された画像に対して画像認識を行う画像認識部１２４と、認識結果を表示装置１１４に出力する出力制御部１２６と、を備える。画像変換処理部１２２は、内視鏡装置で設定されている画質の調整値に基づいて、内視鏡画像を基準画質の画像に変換する処理を行う。これにより、内視鏡装置で設定された画質の差異を考慮せずに画像認識できる。
【選択図】 図９
【解決手段】内視鏡装置１０で撮影された内視鏡画像に対して画像認識を行う内視鏡画像処理装置１００は、内視鏡画像を取得する内視鏡画像取得部１２０と、内視鏡画像を基準画質の画像に変換する処理を行う画像変換処理部１２２と、基準画質に変換された画像に対して画像認識を行う画像認識部１２４と、認識結果を表示装置１１４に出力する出力制御部１２６と、を備える。画像変換処理部１２２は、内視鏡装置で設定されている画質の調整値に基づいて、内視鏡画像を基準画質の画像に変換する処理を行う。これにより、内視鏡装置で設定された画質の差異を考慮せずに画像認識できる。
【選択図】 図９
Description
本発明は、内視鏡画像処理装置、内視鏡システム、内視鏡画像処理装置の作動方法、内視鏡画像処理プログラム及び記憶媒体に係り、特に、内視鏡画像に対して画像認識を行う内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡画像処理プログラムに関する。
内視鏡装置で撮影された内視鏡画像から画像認識によって病変部を検出したり、病変を種別ごとに分類したりする技術が知られている（たとえば、特許文献１、２等）。
画像認識には、深層学習（Deep Learning）をはじめとする画像の機械学習（非特許文献１）が広く使用されている。機械学習では、問題に応じた画像を大量に学習させることで分類、検出といった画像認識が可能となる。
A. Krizhevsky、 I. Sutskever、 and G. Hinton. ImageNet classification with deep convolutional neural networks. In NIPS、 2012
機械学習では、学習用の画像群に画質の偏りがあると、画質の偏りも学習してしまう。このため、学習した画像群の画質の偏りから外れた画質の画像を画像認識させた場合に精度が低下するという問題がある。内視鏡装置による検査では、一般に術者の好みに応じた画質で撮影及び検査が行われるため、撮影した画像の画質が、学習した画像群の画質と異なると、画像認識の精度が低下するという問題がある。その一方ですべての画質について学習することも困難である。
本発明は、このような事情に鑑みてなされたもので、画質の差異を考慮せずに画像認識できる内視鏡画像処理装置、内視鏡システム、内視鏡画像処理装置の作動方法、内視鏡画像処理プログラム及び記憶媒体を提供することを目的とする。
上記課題を解決するための手段は、次のとおりである。
（１）内視鏡装置で撮影された内視鏡画像を取得する内視鏡画像取得部と、内視鏡画像を基準画質の画像に変換する処理を行う画像変換処理部と、基準画質に変換された画像に対して画像認識を行う画像認識部と、を備えた内視鏡画像処理装置。
本態様によれば、取得された内視鏡画像が、基準画質の画像に変換されて、画像認識が行われる。これにより、撮影された内視鏡画像の画質の差異を考慮せずに画像認識できる。
（２）画像変換処理部は、内視鏡装置で設定されている画質の調整値に基づいて、内視鏡画像を基準画質の画像に変換する処理を行う、上記（１）の内視鏡画像処理装置。
本態様によれば、内視鏡装置で設定されている画質の調整値に基づいて、内視鏡画像が基準画質の画像に変換される。これにより、内視鏡装置で設定された画質の差異を考慮せずに画像認識できる。
（３）画像変換処理部は、内視鏡画像を表示装置に出力する場合に内視鏡装置で設定される画質の調整値に基づいて、内視鏡画像を基準画質の画像に変換する処理を行う、上記（１）の内視鏡画像処理装置。
本態様によれば、内視鏡画像を表示装置に出力する場合に内視鏡装置で設定される画質の調整値に基づいて、内視鏡画像が基準画質の画像に変換される。内視鏡画像を表示装置に出力する場合、術者の好みに応じて画質が調整される場合がある。本態様によれば、画質が調整された場合であっても、精度よく画像認識できる。
（４）画像変換処理部は、内視鏡画像を静止画として保存する場合に内視鏡装置で設定される画質の調整値に基づいて、内視鏡画像を基準画質の画像に変換する処理を行う、上記（１）の内視鏡画像処理装置。
本態様によれば、内視鏡画像を静止画として保存する場合に内視鏡装置で設定される画質の調整値に基づいて、内視鏡画像が基準画質の画像に変換される。内視鏡画像を静止画として保存する場合、画質を調整して保存する場合がある。本態様によれば、画質が調整された場合であっても、精度よく画像認識できる。
（５）画像変換処理部は、内視鏡装置で設定されている色調の調整値に基づいて、内視鏡画像を基準画質の画像に変換する処理を行う、上記（１）の内視鏡画像処理装置。
本態様によれば、内視鏡装置で色調の調整が行われる場合、その調整値に基づいて、内視鏡画像が基準画質の画像に変換される。
（６）画像変換処理部は、内視鏡装置で設定されている光量による画質変化の調整値に基づいて、内視鏡画像を基準画質の画像に変換する処理を行う、上記（１）の内視鏡画像処理装置。
本態様によれば、内視鏡装置で光量による画質変化の調整が行われる場合、その調整値に基づいて、内視鏡画像が基準画質の画像に変換される。
（７）画像変換処理部は、内視鏡画像が撮影された内視鏡装置ごとに設定された数値で内視鏡画像を処理して、内視鏡画像を基準画質の画像に変換する処理を行う、上記（１）の内視鏡画像処理装置。
本態様によれば、内視鏡装置ごとに設定された数値で内視鏡画像が処理されて、内視鏡画像が基準画質の画像に変換される。これにより、異なる内視鏡装置で撮影された内視鏡画像に対して画像認識する場合であっても、画質の差異を考慮せずに画像認識できる。
（８）画像認識部は、基準画質に変換された画像で学習した畳み込みニューラルネットワークで構成される、上記（１）から（７）のいずれか一の内視鏡画像処理装置。
本態様によれば、画像認識部が、基準画質に変換された画像で学習した畳み込みニューラルネットワークで構成される。
（９）画像認識部が行う画像認識には、注目領域を検出する処理、及び／又は、認識対象を分類する処理が含まれる、上記（１）から（７）のいずれか一の内視鏡画像処理装置。
本態様によれば、画像認識により、病変等の注目領域を検出する処理、及び／又は、病変等の認識対象を分類する処理が行われる。
（１０）内視鏡装置で撮影された内視鏡画像を取得するステップと、内視鏡画像を基準画質の画像に変換する処理を行うステップと、基準画質に変換された画像に対して画像認識を行うステップと、を含む内視鏡画像処理方法。
本態様によれば、取得された内視鏡画像が、基準画質の画像に変換されて、画像認識が行われる。これにより、撮影された内視鏡画像の画質の差異を考慮せずに画像認識できる。
（１１）内視鏡装置で撮影された内視鏡画像を取得する機能と、内視鏡画像を基準画質の画像に変換する処理を行う機能と、基準画質に変換された画像に対して画像認識を行う機能と、をコンピュータに実現させる内視鏡画像処理プログラム。
本態様によれば、取得された内視鏡画像が、基準画質の画像に変換されて、画像認識が行われる。これにより、撮影された内視鏡画像の画質の差異を考慮せずに画像認識できる。
本発明によれば、画質の差異を考慮せずに画像認識できる。
以下、添付図面に従って本発明の好ましい実施形態について詳説する。
◆◆第１の実施の形態◆◆
図１は、内視鏡装置及び内視鏡画像処理装置を含む内視鏡システムの全体のシステム構成を示すブロック図である。
図１は、内視鏡装置及び内視鏡画像処理装置を含む内視鏡システムの全体のシステム構成を示すブロック図である。
同図に示すように、内視鏡システム１は、内視鏡装置１０と、内視鏡装置１０で撮影された内視鏡画像に対して画像認識を行う内視鏡画像処理装置１００と、を備える。内視鏡装置１０及び内視鏡画像処理装置１００は、ＬＡＮ（Local Area Network）等のネットワーク２を介して接続される。
《内視鏡装置》
図２は、内視鏡装置の概念的なブロック構成図である。図３は、図２に示す内視鏡装置の一例としての外観図である。
図２は、内視鏡装置の概念的なブロック構成図である。図３は、図２に示す内視鏡装置の一例としての外観図である。
本実施の形態の内視鏡装置１０は、白色光を用いた通常観察に加えて、狭帯域光を用いた狭帯域光観察が可能な内視鏡装置として構成される。
図２及び図３に示すように、内視鏡装置１０は、内視鏡１１及び内視鏡１１が接続される内視鏡制御装置１３を備える。内視鏡１１は、電子内視鏡（軟性内視鏡）であり、接続部２７を介して、内視鏡制御装置１３に着脱自在に接続される。内視鏡制御装置１３には、表示装置２１及び入力装置２３が接続される。表示装置２１は、たとえば、液晶モニタで構成される。入力装置２３は、たとえば、キーボード、マウス等で構成される。
内視鏡１１は、図３に示すように、被検体内に挿入される内視鏡挿入部１５、各種操作を行うための操作部２５、及び、内視鏡制御装置１３に接続するための接続部２７を備える。
内視鏡挿入部１５は、操作部２５の側から順に、可撓性を有する軟性部３１、湾曲部３３及び先端硬質部３５で構成される。
先端硬質部３５には、その先端面に、一対の照明窓３７Ａ、３７Ｂ及び観察窓３８等が備えられる。観察窓３８の内側には、撮影光学系３９を介してイメージセンサ１７が備えられる。イメージセンサ１７は、所定のカラーフィルタ配列（たとえば、ベイヤ配列等）を有するカラーイメージセンサで構成され、ＣＣＤ(Charge Coupled Device）イメージセンサやＣＭＯＳ(Complementary Metal-Oxide Semiconductor）イメージセンサ等で構成される。
湾曲部３３は、軟性部３１及び先端硬質部３５との間に設けられ、操作部２５に備えられたアングルノブ４１の操作に応じて湾曲する。この湾曲部３３の操作によって、先端硬質部３５の向き、すなわち、観察方向を変えることができる。
操作部２５には、上記のアングルノブ４１の他、観察モードを切り替えるためのボタン（観察モード切替ボタン）、静止画を撮影するためのボタン（シャッターボタン）等の各種の操作部材４３が備えられる。
接続部２７は、可撓性を有するコードで構成され、内視鏡制御装置１３に接続するためのライトガイドコネクタ１９Ａ及びビデオコネクタ１９Ｂを先端に有する。
内視鏡制御装置１３は、照明光を発生する光源装置４７、イメージセンサ１７からの画像信号を処理するプロセッサ装置４９を備え、ライトガイドコネクタ１９Ａ及びビデオコネクタ１９Ｂを介して、内視鏡１１と接続される。また、プロセッサ装置４９には、上記の表示装置２１及び入力装置２３が接続される。
プロセッサ装置４９は、内視鏡１１の操作部２５及び入力装置２３からの指示に基づいて、内視鏡１１から伝送されてくる撮像信号を処理し、画像データ（内視鏡画像データ）を生成して表示装置２１に出力する。
光源装置４７は、中心波長４４５ｎｍの半導体発光素子である第１レーザ光源ＬＤ１、及び、中心波長４０５ｎｍの半導体発光素子である第２レーザ光源ＬＤ２を発光源として備える。第１レーザ光源ＬＤ１及び第２レーザ光源ＬＤ２の発光は、光源制御部５１により個別に制御される。
第１レーザ光源ＬＤ１及び第２レーザ光源ＬＤ２は、ブロードエリア型のＩｎＧａＮ系レーザダイオードが利用でき、また、ＩｎＧａＮＡｓ系レーザダイオード、ＧａＮＡｓ系レーザダイオード等を用いることもできる。また、上記光源として、発光ダイオード等の発光体を用いた構成であってもよい。
第１レーザ光源ＬＤ１及び第２レーザ光源ＬＤ２から出射されるレーザ光は、集光レンズ（不図示）により、それぞれ光ファイバに入力され、合波器であるコンバイナ５３及び分波器であるカプラ５５を介して、ライトガイドコネクタ１９Ａに導光される。
ライトガイドコネクタ１９Ａに供給された中心波長４４５ｎｍの青色レーザ光、及び、中心波長４０５ｎｍの紫色レーザ光が合波されたレーザ光は、光ファイバ５７Ａ、５７Ｂによって、それぞれ先端硬質部３５まで導光される。そして、青色レーザ光は、先端硬質部３５の光ファイバ５７Ａ、５７Ｂの光出射端に配置された波長変換部材である蛍光体５９を励起して蛍光を生じさせる。また、一部の青色レーザ光は、そのまま蛍光体５９を透過し、上記の蛍光と共に白色光の照明光として出射される。一方、紫色レーザ光は、蛍光体５９を強く励起させることなく透過し、狭帯域波長の照明光（狭帯域光）として出射される。
なお、本明細書でいう「白色光」とは、厳密に可視光の全ての波長成分を含むものに限らず、赤（Red，Ｒ）、緑（Green，Ｇ）、青（Blue，Ｂ）等、特定の波長帯の光を含むものであればよく、たとえば、緑色から赤色にかけての波長成分を含む光、青色から緑色にかけての波長成分を含む光等も広義に含むものとする。
蛍光体５９は、青色レーザ光の一部を吸収して緑色～黄色に励起発光する複数種の蛍光体（たとえば、ＹＡＧ系蛍光体又はＢＡＭ（ＢａＭｇＡｌ10Ｏ17）等を含む蛍光体等）を含んで構成される。これにより、青色レーザ光を励起光とする緑色～黄色の励起光と、蛍光体５９により吸収されず透過した青色レーザ光とが合成されて、白色（疑似白色）の照明光となる。
光源制御部５１は、第１レーザ光源ＬＤ１からの青色レーザ光の出射光量及び第２レーザ光源ＬＤ２からの紫色レーザ光の出射光量を個別に制御し、青色レーザ光により生成される照明光（白色光）及び紫色レーザ光により生成される照明光（狭帯域光）を観察に適した光量比に設定する。
光源制御部５１によって観察に適した光量比に設定された照明光は、先端硬質部３５に備えられた一対の照明窓３７Ａ、３７Ｂから被検体の観察領域に向けて照射される。そして、この照明光が照射された領域が、観察窓３８から撮影光学系３９を介してイメージセンサ１７に撮像される。
イメージセンサ１７から出力される画像信号は、スコープケーブル６１を通じてＡＤＣ（Analog to Digital Converter；アナログ-デジタル変換器）６３に伝送され、ＡＤＣ６３でデジタル信号に変換されて、プロセッサ装置４９の内視鏡制御部６５に入力される。
内視鏡制御部６５は、入力されたデジタル画像信号を画像処理部６７に送る。画像処理部６７は、デジタル画像信号に所要の信号処理を施して、観察画像である内視鏡画像の画像データ（内視鏡画像データ）を生成する。この画像データは、画素単位でＲ、Ｇ及びＢの各強度値（輝度値）を有するデータである。
内視鏡制御部６５は、生成された内視鏡画像データを表示装置２１に出力する。また、内視鏡制御部６５は、必要に応じて、内視鏡画像データを記憶部６９に記憶させる。また、内視鏡制御部６５は、必要に応じて、内視鏡画像データを内視鏡画像処理装置１００に出力する。
なお、本実施の形態では、記憶部６９がプロセッサ装置４９に備えられているが、記憶部６９は、プロセッサ装置４９にネットワークを介して接続されていてもよいし、また、ネットワークに接続されたサーバ等に備えられていてもよい。
図４は、生体組織の粘膜表層の血管を模式的に表した図である。同図に示すように、生体組織の粘膜表層は、粘膜深層の血管Ｂ１から樹脂状血管網等の毛細血管Ｂ２が粘膜表層までの間に形成され、生体組織の病変は、その毛細血管Ｂ２等の微細構造に現れることが報告されている。そこで、内視鏡診察においては、粘膜表層の毛細血管を画像強調して観察し、微小病変の早期発見及び病変範囲の診断等が試みられている。
生体組織に照明光が入射されると、入射光は生体組織内を拡散的に伝播するが、生体組織の吸収及び散乱特性は波長依存性を有しており、短波長ほど散乱特性が強くなる傾向がある。つまり、照明光の波長によって光の深達度が変化する。このため、照明光が４００ｎｍ付近の波長域λａでは、粘膜表層の毛細血管からの血管情報が得られ、波長５００ｎｍ付近の波長域λｂでは、更に深層の血管を含む血管情報が得られるようになる。このため、生体組織の血管観察には、中心波長３６０～８００ｎｍ、好ましくは、３６５～５１５ｎｍの光源が用いられ、特に、表層血管の観察には、中心波長３６０～４７０ｎｍ、好ましくは、４００～４２０ｎｍの光源が用いられる。また、生体組織の粘膜表面の微細模様についても、上記波長範囲において、毛細血管と同様に強調表示できる。
図５は、狭帯域光を照明光として使用した場合の観察画像の表示例を示す図である。同図に示すように、可視短波長成分を多く含む狭帯域光を照明光とした場合は、粘膜表層の微細な毛細血管や粘膜表面の微細模様が鮮明に映出された画像が得られる。
図６は、白色光を照明光として使用した場合の観察画像の表示例を示す図である。同図に示すように、白色光を照明光とした場合は、比較的粘膜深層の血管像が映出された患部の全体像が得られる。
つまり、白色光と狭帯域光とを同時に照射した観察画像では、生体組織の粘膜表層の微細血管や粘膜表面の微細模様が強調され、患部の性状や観察位置を特定しやすい画像、すなわち、患部の内視鏡診断がしやすい観察画像となる。
そこで、本実施の形態の内視鏡装置１０では、先端硬質部３５から出射する白色光（青色レーザ光及び蛍光体の発光）及び狭帯域光（紫色レーザ光）の各出射光量を独立して制御可能とし、双方の照明光による反射光が１フレームの撮像画像内で共に含まれるようにしている。
白色光と狭帯域光との出射光量の比率は、たとえば、［白色光：狭帯域光＝１：４～１：８］等の適宜な比率に設定する。これにより、白色光で観察部位を明瞭に映出させつつ、狭帯域光により表層血管及び粘膜表面の微細模様を強調でき、微細血管構造及びピットの観察に適した画像を取得できる。
次に、撮像された内視鏡画像の画質を変えて表示装置２１に表示する場合について説明する。
内視鏡画像を表示装置２１に表示させる場合において、表示画像の画質、特に、色調は術者によって好みが分かれる。
そこで、本実施の形態の内視鏡装置１０では、必要に応じて、内視鏡画像データの色調を補正し、表示装置２１に出力する。
色調の補正は、内視鏡制御部６５による制御の下、入力装置２３から指示に基づいて、画像処理部６７で実施される。本実施の形態の内視鏡装置１０では、次のように実施される。
内視鏡制御部６５は、入力装置２３から入力される色調の調整値に基づいて、Ｒ、Ｇ、Ｂの各強度値（輝度値）をマトリクス補正する補正マトリクスを設定する。画像処理部６７は、設定された補正マトリクスに基づいて、内視鏡画像データをマトリクス補正し、色調を補正する。
色調補正前の内視鏡画像データの各画素のＲ、Ｇ、Ｂの強度値をＲ０、Ｇ０、Ｂ０、補正マトリクスをＡ、色調補正後の内視鏡画像データの各画素のＲ、Ｇ、Ｂの強度値をＲ１、Ｇ１、Ｂ１とすると、色調補正後の内視鏡画像データの各画素のＲ、Ｇ、Ｂの強度値Ｒ１、Ｇ１、Ｂ１は、次式（１）で表わされる。
補正マトリクスＡの係数ａijは、色調の調整値に基づいて設定される。内視鏡制御部６５は、入力装置２３を介して色調の調整値の情報を取得し、補正マトリクスＡを設定する。
画像処理部６７は、設定された補正マトリクスＡを用いて、内視鏡画像データの各画素のＲ、Ｇ、Ｂの強度値をマトリクス補正し、内視鏡画像データの色調を補正する。そして、補正後の内視鏡画像データを表示装置２１に出力する。
図７は、画像信号の取得から表示装置への出力までの処理の手順を示すフローチャートである。
内視鏡１１から出力される画像信号（デジタル画像信号）が取得され（ステップＳ１）、取得された画像信号から内視鏡画像の画像データ（内視鏡画像データ）が生成される（ステップＳ２）。そして、生成された内視鏡画像データに対して、調整値に基づく色調補正が行われ（ステップＳ３）、色調補正後の内視鏡画像データが表示装置２１に出力される（ステップＳ４）。
このように、色調補正を行うことにより、術者の好みに応じた色調で内視鏡画像を表示装置２１に表示できる。
なお、内視鏡画像を記憶部６９に記憶する場合は、この色調補正後の内視鏡画像データが記憶部６９に記憶される。同様に、内視鏡画像を内視鏡画像処理装置１００に出力する場合は、色調補正後の内視鏡画像データが、内視鏡画像処理装置１００に出力される。
《内視鏡画像処理装置》
内視鏡画像処理装置１００は、内視鏡装置１０から内視鏡画像データを取得し、画像認識により、画像に含まれる病変を検出し、検出した病変を種別ごとに分類して報知する処理を行う。
内視鏡画像処理装置１００は、内視鏡装置１０から内視鏡画像データを取得し、画像認識により、画像に含まれる病変を検出し、検出した病変を種別ごとに分類して報知する処理を行う。
画像認識の処理には、たとえば、畳み込みニューラルネットワーク（Convolutional Neural Network，ＣＮＮ）が用いられる。
病変の分類は、たとえば、ＮＩＣＥ分類又はＪＮＥＴ分類などに従って複数のカテゴリーに分類する処理が行われる。「ＮＩＣＥ」は、NBI International Colorectal Endoscopic の略語である。「ＪＮＥＴ」は、「the Japan NBI Expert Team」の略語である。「ＮＢＩ」（登録商標）は、Narrow band imaging（登録商標）の略語である。
ＮＩＣＥ分類は、非拡大のＮＢＩによる分類であり、病変の色調（Color）、微小血管 模様（Vessels）、及び表面模様（Surface pattern）の３項目の各項目について、Type1、Type２及びType３に分類される。Type1は過形成病変、Type2は腺腫～粘膜内癌、Type3はＳＭ（submucosa）深部浸潤癌の診断指標である。ＪＮＥＴ分類は、大腸腫瘍に対するＮＢＩ拡大内視鏡所見の分類である。ＪＮＥＴ分類は、「vessel pattern」と「surface pattern」の各項目について、Type1、Type2A、Type2B、及びType3に分類される。
なお、画像認識の処理は、ＮＩＣＥ分類などの詳細な分類に代えて、又は、これと組み合わせて、単に「癌性」であるか「非癌性」であるかの２分類の認識を行ってもよい。
図８は、内視鏡画像処理装置のハードウェア構成を示すブロック図である。
内視鏡画像処理装置１００は、たとえば、パーソナルコンピュータ、ワークステーション等のコンピュータで構成される。このコンピュータには、ＣＰＵ（Central Processing Unit）１０２、ＲＡＭ（Random Access Memory）１０４、ＲＯＭ（read-only memory）１０６、通信インターフェイス（interface，Ｉ／Ｆ）１０８及び入出力インターフェイス１１０が備えられ、通信インターフェイス１０８を介してネットワーク２に接続される。また、入出力インターフェイス１１０を介して記憶装置１１２、入力装置１１４及び表示装置１１６が接続される。記憶装置１１２は、たとえば、ハードディスクドライブ（Hard Disk Drive，ＨＤＤ）等のストレージデバイスで構成される。入力装置１１４は、キーボード及びマウス等の入力デバイスで構成される。表示装置１１６は、液晶モニタ等の表示デバイスで構成される。
図９は、内視鏡画像処理装置の機能を示すブロック図である。
同図に示すように、内視鏡画像処理装置１００は、所定の制御プログラム（内視鏡画像処理プログラム）を実行することにより、内視鏡画像取得部１２０、画像変換処理部１２２、画像認識部１２４、及び表示制御部１２６として機能する。プログラムは、ＲＯＭ１０６又は記憶装置１１２に格納される。
内視鏡画像取得部１２０は、内視鏡装置１０から内視鏡画像データを取得する。内視鏡画像データは、動画及び静止画のいずれの画像データであってもよい。
画像変換処理部１２２は、内視鏡画像取得部１２０で取得された内視鏡画像を基準画質の画像に変換する処理を行う。ここで、本実施の形態において、「基準画質」とは、内視鏡装置１０で行われた色調補正を行う前の画質をいう。
上記のように、本実施の形態の内視鏡装置１０では、必要に応じて、出力画像の色調補正が行われる。一方、後述するように、画像認識は、機械学習によって学習したモデル（学習済みモデル）が用いられる。機械学習では、学習用の画像群に画質の偏りがあると、画質の偏りも学習する。この結果、学習した画像群の画質の偏りから外れた画質の画像を画像認識させた場合に精度が低下する。色調が補正されると、学習した画像群の画質の偏りから外れ、画像認識させた場合に精度が低下する。
そこで、本実施の形態では、内視鏡装置１０から取得した内視鏡画像データに対して画像処理を行い、その画質を色調補正前の画質に変換する。具体的には、取得した内視鏡画像データに対して、色調補正した際の補正マトリクスＡの逆行列Ａ－１となる補正マトリクスＢを用いてマトリクス補正し、基準画質の画像データに変換する。
いま、取得した内視鏡画像データの各画素のＲ、Ｇ、Ｂの強度値をＲ１、Ｇ１、Ｂ１、補正マトリクスをＢ、変換後の内視鏡画像データの各画素のＲ、Ｇ、Ｂの強度値をＲ２、Ｇ２、Ｂ２とすると、変換後の内視鏡画像データの各画素のＲ、Ｇ、Ｂの強度値Ｒ２、Ｇ２、Ｂ２は、次式（２）で表わされる。
画像変換処理部１２２は、色調補正の際の補正マトリクスＡの情報を内視鏡装置１０から取得し、その逆行列となる補正マトリクスＢを設定する。そして、設定された補正マトリクスＢを用いて、取得した内視鏡画像データの各画素のＲ、Ｇ、Ｂの強度値をマトリクス補正し、画質を変換する。すなわち、色調補正前の画質に変換する。
画像認識部１２４は、画像変換処理部１２２によって基準画質の画像に変換された後の内視鏡画像に対して画像認識の処理を行う。本実施の形態では、取得した内視鏡画像から病変（注目領域）を検出し、かつ、検出された病変をＮＩＥＣ分類又はＪＮＥＴ分類などに従い分類する処理を行う。画像認識部１２４は、機械学習によって学習した学習済みモデルを用いて構成される。このモデルは、たとえば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）で構成される。モデル生成の際は、基準画質に変換された内視鏡画像群で学習する。
表示制御部１２６は、画像認識部１２４による認識結果を取得し、所定の表示態様で認識結果を表示装置１１６に表示させる。
図１０は、認識結果の表示の一例を示す図である。
同図に示すように、病変が検出された場合、画像認識した内視鏡画像に重ねて、認識結果が表示される。認識結果は、たとえば、検出された病変の領域を枠で囲う形式で表示される。また、その枠に近接して、病変の分類結果が表示される。
図１１は、内視鏡画像処理装置で実施される画像認識の処理の手順を示すフローチャートである。
まず、内視鏡画像取得部１２０によって内視鏡装置１０から内視鏡画像データが取得される（ステップＳ１１）。
次に、色調の調整値に基づいて、認識対象の画質を基準画質に変換する処理が行われる（ステップＳ１２）。この処理は、画像変換処理部１２２によって行われる。画像変換処理部１２２は、取得された内視鏡画像データをマトリクス補正することにより、その画質を変換する。この際に使用する補正マトリクスＢは、認識対象の内視鏡画像データを生成した際の色調補正の補正マトリクスＡから求められる。すなわち、補正マトリクスＡの逆行列として求められる。
次に、基準画質に変換された後の内視鏡画像に対して画像認識部１２４によって画像認識が行われ（ステップＳ１３）、その認識結果が表示装置２１に出力される（ステップＳ１４）。
このように、本実施の形態の内視鏡画像処理装置１００では、内視鏡画像を画像認識する際、認識対象の内視鏡画像の画質を基準画質に変換し、変換後の内視鏡画像に対して画像認識が行われる。これにより、内視鏡装置１０において、独自の色調補正を行った場合であっても、精度よく画像認識を行うことができる。すなわち、画質の差異を考慮せずに画像認識できる。
◆◆第２の実施の形態◆◆
内視鏡装置では、画質を自動的に補正する場合がある。たとえば、照明光の光量変化による画質の変化を自動的に補正する場合がある。本実施の形態では、認識対象である内視鏡画像が、画質補正されている場合、その補正情報に基づいて、画質を基準画質に変換し、変換後の内視鏡画像に対して、画像認識を行う。
内視鏡装置では、画質を自動的に補正する場合がある。たとえば、照明光の光量変化による画質の変化を自動的に補正する場合がある。本実施の形態では、認識対象である内視鏡画像が、画質補正されている場合、その補正情報に基づいて、画質を基準画質に変換し、変換後の内視鏡画像に対して、画像認識を行う。
《画質の自動補正》
ここでは、光量変化に基づく画質の自動補正について説明する。なお、内視鏡装置のハードウェア構成は、上記第１の実施の形態と同じである。したがって、ハードウェア構成についての説明は省略する。
ここでは、光量変化に基づく画質の自動補正について説明する。なお、内視鏡装置のハードウェア構成は、上記第１の実施の形態と同じである。したがって、ハードウェア構成についての説明は省略する。
〈光量制御〉
まず、照明光の光量の制御について説明する。本実施の形態の内視鏡装置では、撮影距離（イメージセンサの撮像面から被検体までの距離）に応じて、照明光の光量、すなわち、第１レーザ光源ＬＤ１及び第２レーザ光源ＬＤ２の出射光量が自動で制御される。内視鏡制御部６５は、撮影距離に応じて、最適な光量比となるように、第１レーザ光源ＬＤ１からの出射光量及び第２レーザ光源ＬＤ２からの出射光量を制御する。撮影距離の情報は、たとえば、オートフォーカスの情報などを利用して取得される。この他、露出情報（シャッタ速度、絞り値、明るさ（EV値（Exposure Value））等）と、光源制御部５１が設定する照明光量の情報とに基づいて推定する等の方法を採用することもできる。光量比の設定には、たとえば、撮影距離と最適光量比との関係を表すテーブルをあらかじめ用意しておき、このテーブルを参照することにより行われる。
まず、照明光の光量の制御について説明する。本実施の形態の内視鏡装置では、撮影距離（イメージセンサの撮像面から被検体までの距離）に応じて、照明光の光量、すなわち、第１レーザ光源ＬＤ１及び第２レーザ光源ＬＤ２の出射光量が自動で制御される。内視鏡制御部６５は、撮影距離に応じて、最適な光量比となるように、第１レーザ光源ＬＤ１からの出射光量及び第２レーザ光源ＬＤ２からの出射光量を制御する。撮影距離の情報は、たとえば、オートフォーカスの情報などを利用して取得される。この他、露出情報（シャッタ速度、絞り値、明るさ（EV値（Exposure Value））等）と、光源制御部５１が設定する照明光量の情報とに基づいて推定する等の方法を採用することもできる。光量比の設定には、たとえば、撮影距離と最適光量比との関係を表すテーブルをあらかじめ用意しておき、このテーブルを参照することにより行われる。
内視鏡制御部６５は、テーブルを参照し、撮影距離が近いほど、粘膜表層の毛細血管等を強調するように、第２レーザ光源ＬＤ２からの出射光量を第１レーザ光源ＬＤ１からの出射光量よりも相対的に大きく設定する。また、撮影距離が遠いほど、遠景の輝度を確保するため、高照度の照明光となるように、第１レーザ光源ＬＤ１からの出射光量を第２レーザ光源ＬＤ２からの出射光量よりも相対的に大きく設定する。
〈画質補正〉
上記のように、第１レーザ光源ＬＤ１からの出射光は最終的に白色光として被検体に照射され、第２レーザ光源ＬＤ２からの出射光は、狭帯域光として被検体に照射される。このため、第１レーザ光源ＬＤ１及び第２レーザ光源ＬＤ２の出射光の光量比が変更されると、照明光の色味が変化する。たとえば、第２レーザ光源ＬＤ２の光量が、第１レーザ光源ＬＤ１の光量に対して増加すると、青味を帯びた照明光となる。この結果、光量比に応じて観察画像である内視鏡画像の色調が変化する。
上記のように、第１レーザ光源ＬＤ１からの出射光は最終的に白色光として被検体に照射され、第２レーザ光源ＬＤ２からの出射光は、狭帯域光として被検体に照射される。このため、第１レーザ光源ＬＤ１及び第２レーザ光源ＬＤ２の出射光の光量比が変更されると、照明光の色味が変化する。たとえば、第２レーザ光源ＬＤ２の光量が、第１レーザ光源ＬＤ１の光量に対して増加すると、青味を帯びた照明光となる。この結果、光量比に応じて観察画像である内視鏡画像の色調が変化する。
そこで、設定した光量比によって変化する照明光の色味に応じて内視鏡画像の色調補正を行い、内視鏡画像が照明光の色味変化の影響を受けないようにする。
内視鏡制御部６５は、設定された光量比の情報に基づいて、画像の色調変化がなくなるように、内視鏡画像データを補正する。補正は、たとえば、光量比ごとに色調補正テーブルをあらかじめ用意し、この色調補正テーブルを参照して行う。
色調補正テーブルは、たとえば、内視鏡画像の各画素に対して、Ｒ、Ｇ、Ｂの強度値をマトリクス補正する補正マトリクスとして表すことができる。
撮影により得られた内視鏡画像データの各画素のＲ、Ｇ、Ｂの強度値をＲ３、Ｇ３、Ｂ３、補正マトリクスをＣ、色調補正後の内視鏡画像データの各画素のＲ、Ｇ、Ｂの強度値をＲ４、Ｇ４、Ｂ４とすると、色調補正後の内視鏡画像データの各画素のＲ、Ｇ、Ｂの強度値Ｒ４、Ｇ４、Ｂ４は、次式（３）で表わされる。
補正マトリクスＣの係数ｃijは、光量比の変化による照明光の色味変化をキャンセルするように設定され、複数種の光量比に対応する複数種の補正マトリクスＣが、あらかじめ容易される。
画像処理部６７は、設定された補正マトリクスＣを用いて、内視鏡画像データの各画素のＲ、Ｇ、Ｂの強度値をマトリクス補正し、内視鏡画像データの色調を補正する。そして、補正後の内視鏡画像データを表示装置２１に出力する。
図１２は、画像信号の取得から表示装置への出力までの処理の手順を示すフローチャートである。
内視鏡１１から出力される画像信号が取得され（ステップＳ２１）、取得された画像信号から内視鏡画像の画像データ（内視鏡画像データ）が生成される（ステップＳ２２）。そして、生成された内視鏡画像データに対して、光量変化に基づく色調補正が行われ（ステップＳ２３）、色調補正後の内視鏡画像データが表示装置２１に出力される（ステップＳ２４）。内視鏡画像を内視鏡画像処理装置１００に出力する場合は、色調補正後の内視鏡画像データが、内視鏡画像処理装置１００に出力される。
《画像認識》
認識対象の内視鏡画像が、光量変化に基づいて自動的に色調補正されている場合、内視鏡画像処理装置１００は、その補正情報に基づいて、画質を基準画質に変換し、変換後の内視鏡画像に対して、画像認識を行う。
認識対象の内視鏡画像が、光量変化に基づいて自動的に色調補正されている場合、内視鏡画像処理装置１００は、その補正情報に基づいて、画質を基準画質に変換し、変換後の内視鏡画像に対して、画像認識を行う。
図１３は、内視鏡画像処理装置で実施される画像認識の処理の手順を示すフローチャートである。
まず、内視鏡画像取得部１２０によって内視鏡装置１０から内視鏡画像データが取得される（ステップＳ３１）。次に、光量変化に基づく色調補正の補正情報に基づいて、認識対象の画質を基準画質に変換する処理が行われる（ステップＳ３２）。画像変換処理部１２２は、取得された内視鏡画像データをマトリクス補正することにより、その画質を変換する。この際に使用する補正マトリクスは、認識対象の内視鏡画像データを光量変化に基づいて色調補正した際の補正マトリクスＣから求められる。すなわち、補正マトリクスＣの逆行列Ｃ－１として求められる。
次に、基準画質に変換された後の内視鏡画像に対して画像認識部１２４によって画像認識が行われ（ステップＳ３３）、その認識結果が表示装置２１に出力される（ステップＳ３４）。
このように、基準画質の画像に変換して、画像認識することにより、内視鏡装置１０で自動的に色調が補正された場合であっても、精度よく画像認識を行うことができる。すなわち、画質の差異を考慮せずに画像認識できる。
◆◆第３の実施の形態◆◆
術者によって出力画像の色調が調整され、更に、光量変化に応じて色調が自動補正される場合は、次のように処理される。
術者によって出力画像の色調が調整され、更に、光量変化に応じて色調が自動補正される場合は、次のように処理される。
《内視鏡装置での処理》
図１４は、画像信号の取得から表示装置への出力までの処理の手順を示すフローチャートである。
図１４は、画像信号の取得から表示装置への出力までの処理の手順を示すフローチャートである。
内視鏡１１から出力される画像信号が取得され（ステップＳ４１）、取得された画像信号から内視鏡画像の画像データ（内視鏡画像データ）が生成される（ステップＳ４２）。生成された内視鏡画像データに対して、まず、光量変化に基づく色調補正が行われる（ステップＳ４３）。次いで、色調の調整値に基づいて、色調補正が行われる（ステップＳ４４）。この後、色調補正後の内視鏡画像データが、表示装置２１に出力される（ステップＳ４５）。内視鏡画像を内視鏡画像処理装置１００に出力する場合は、色調補正後の内視鏡画像データが、内視鏡画像処理装置１００に出力される。
《内視鏡画像処理装置での処理（内視鏡画像処理方法）》
図１５は、内視鏡画像処理装置で実施される画像認識の処理の手順を示すフローチャートである。
図１５は、内視鏡画像処理装置で実施される画像認識の処理の手順を示すフローチャートである。
まず、内視鏡画像取得部１２０によって内視鏡装置１０から内視鏡画像データが取得される（ステップＳ５１）。
次に、光量変化に基づく色調補正の補正情報に基づいて、認識対象の画質を変換する処理が行われる（ステップＳ５２）。次に、色調の調整値に基づく色調補正の補正情報に基づいて、認識対象の画質を変換する処理が行われる（ステップＳ５３）。この二段階の変換処理を施すことにより、認識対象の画質が基準画質に変換される。
次に、基準画質に変換された後の内視鏡画像に対して画像認識部１２４によって画像認識が行われる（ステップＳ５４）。そして、その認識結果が表示装置２１に出力される（ステップＳ５５）。
このように、認識対象の内視鏡画像に複数の画質補正が施されている場合は、各画質補正に対応した変換処理を実施することにより、基準画質の画像に変換する。そして、このように基準画質の画像に変換して、画像認識することにより、精度よく画像認識を行うことができる。
◆◆変形例◆◆
《内視鏡装置で行われる画質補正》
上記実施の形態では、内視鏡装置において色調を補正する場合を例に説明したが、内視鏡装置で行われる画質補正の種類は、これに限定されるものではない。この他、明るさの補正、コントラストの補正、シャープネスの補正等、種々の画質補正を行うことができる。
《内視鏡装置で行われる画質補正》
上記実施の形態では、内視鏡装置において色調を補正する場合を例に説明したが、内視鏡装置で行われる画質補正の種類は、これに限定されるものではない。この他、明るさの補正、コントラストの補正、シャープネスの補正等、種々の画質補正を行うことができる。
画質補正された内視鏡画像を画像認識する場合は、画質補正の内容に応じた逆変換の処理を行うことで、基準画質の画像に変換する。
また、上記実施の形態では、色調補正の手法として、マトリクス補正を採用しているが、画質補正の手法は、これに限定されるものではない。たとえば、光量変化による画質変化を調整する場合は、あらかじめ設定されている光量による画質変化を調整する画像処理パラメーターを用いて画像処理し、画質を補正してもよい。また、術者の好みの色調に調整する場合は、色調を調整する画像処理パラメーターで画像処理を行って、色調を補正してもよい。画像認識する際は、補正の際に使用した画像処理パラメーターを基にして、画像処理を行い、基準画質の画像に変換する。
《内視鏡画像処理装置で行われる画像変換処理》
上記のように、内視鏡画像処理装置では、認識対象の内視鏡画像の画質を基準画質に変換して、画像認識を行う。
上記のように、内視鏡画像処理装置では、認識対象の内視鏡画像の画質を基準画質に変換して、画像認識を行う。
基準画質に変換する処理は、認識対象の内視鏡画像に施された画質補正の内容に基づいて行われる。すなわち、その画質補正の内容を基に、逆変換の処理を施すことにより、基準画質の画像に変換する。この際、たとえば、内視鏡装置で設定されている画質の調整値の情報を取得することにより、容易に基準画質の画像に変換することができる。
内視鏡装置では、通常、観察画像である内視鏡画像を表示装置に表示する場合に色調等の画質の調整が行われる。したがって、内視鏡画像を表示装置に出力する場合に内視鏡装置で設定される画質の調整値の情報を取得して、基準画質の画像に変換する処理を行うことが好ましい。
また、内視鏡装置では、内視鏡画像を静止画として保存する場合、静止画用の画質調整が行われる場合がある。このように、静止画用の画質調整を行う場合において、静止画の内視鏡画像を画像認識する場合は、内視鏡装置で設定される静止画用の画質の調整値の情報を取得して、基準画質の画像に変換する処理を行うことが好ましい。
また、一般に画質補正の内容は、内視鏡画像が撮影された内視鏡装置ごとに異なるので、内視鏡装置ごとに設定された数値で内視鏡画像を処理して、内視鏡画像を基準画質の画像に変換する処理を行うことが好ましい。特に、色調調整する場合は、術者ごとに調整値が異なるので、術者ごとの設定に応じた画像変換処理を行って、基準画質の画像に変換することが好ましい。
《画像認識部の変形例》
上記実施の形態では、画像認識部が、機械学習によって学習した畳み込みニューラルネットワークで構成される場合を例に説明したが、画像認識部の構成は、これに限定されるものではない。この他、公知の手法で機械学習することによって生成した学習済みモデルで画像認識部を構成することができる。
上記実施の形態では、画像認識部が、機械学習によって学習した畳み込みニューラルネットワークで構成される場合を例に説明したが、画像認識部の構成は、これに限定されるものではない。この他、公知の手法で機械学習することによって生成した学習済みモデルで画像認識部を構成することができる。
なお、機械学習の際には、基準画質に変換された画像群で学習する。したがって、「基準画質」とは、画像認識部を生成した際の学習用の画像群の画質ということもできる。そして、「基準画質に変換する処理」とは、画像認識部を生成した際の学習用の画像群の画質に変換する処理ということもできる。
《認識対象とする内視鏡画像の取得方法》
上記実施の形態では、認識対象とする内視鏡画像を内視鏡装置から直接取得する構成としているが、内視鏡画像の取得先は、これに限定されるものではない。たとえば、ネットワークを介して接続された他の記憶装置に保存されている内視鏡画像、サーバに記録されている内視鏡画像等を認識対象の内視鏡画像として取得してもよい。
上記実施の形態では、認識対象とする内視鏡画像を内視鏡装置から直接取得する構成としているが、内視鏡画像の取得先は、これに限定されるものではない。たとえば、ネットワークを介して接続された他の記憶装置に保存されている内視鏡画像、サーバに記録されている内視鏡画像等を認識対象の内視鏡画像として取得してもよい。
また、認識対象の内視鏡画像は、動画と静止画のいずれであってもよい。動画は、複数のフレームを含む時系列画像として構成される。
◆◆その他の変形例◆◆
《内視鏡画像処理装置のハードウェア構成について》
内視鏡画像処理装置の機能は、各種のプロセッサ（processor）で実現できる。各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
《内視鏡画像処理装置のハードウェア構成について》
内視鏡画像処理装置の機能は、各種のプロセッサ（processor）で実現できる。各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。たとえば、１つの処理部は、複数のＦＰＧＡ、又は、ＣＰＵ及びＦＰＧＡの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第一に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第二に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
また、内視鏡画像処理装置の機能は、内視鏡装置を構成するプロセッサ装置に搭載することもできる。
《内視鏡》
電子内視鏡は、軟性内視鏡に限らず、硬性内視鏡であってもよい。また、カプセル内視鏡であってもよい。
電子内視鏡は、軟性内視鏡に限らず、硬性内視鏡であってもよい。また、カプセル内視鏡であってもよい。
《内視鏡装置の照明光について》
照明光は、白色光、あるいは、１又は複数の特定の波長帯域の光、あるいは、これらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。「特定の波長帯域」は、白色の波長帯域よりも狭い帯域である。特定の波長帯域に関する具体例を以下に示す。
照明光は、白色光、あるいは、１又は複数の特定の波長帯域の光、あるいは、これらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。「特定の波長帯域」は、白色の波長帯域よりも狭い帯域である。特定の波長帯域に関する具体例を以下に示す。
〈第１例〉
特定の波長帯域の第１例は、たとえば、可視域の青色帯域又は緑色帯域である。この第１例の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下の波長帯域又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、第１例の光は、３９０ｎｍ以上４５０ｎｍ以下の波長帯域内又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する。
特定の波長帯域の第１例は、たとえば、可視域の青色帯域又は緑色帯域である。この第１例の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下の波長帯域又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、第１例の光は、３９０ｎｍ以上４５０ｎｍ以下の波長帯域内又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する。
〈第２例〉
特定の波長帯域の第２例は、たとえば、可視域の赤色帯域である。この第２例の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下の波長帯域又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、第２例の光は、５８５ｎｍ以上６１５ｎｍの波長帯域内以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する。
特定の波長帯域の第２例は、たとえば、可視域の赤色帯域である。この第２例の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下の波長帯域又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、第２例の光は、５８５ｎｍ以上６１５ｎｍの波長帯域内以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する。
〈第３例〉
特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍの波長帯域、４７０±１０ｎｍの波長帯域、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、第３例の光は、上記４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域内にピーク波長を有する。
特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍの波長帯域、４７０±１０ｎｍの波長帯域、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、第３例の光は、上記４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域内にピーク波長を有する。
〈第４例〉
特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察（蛍光観察）に用いられ、かつ、この蛍光物質を励起させる励起光の波長帯域、たとえば、３９０ｎｍから４７０ｎｍである。
特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察（蛍光観察）に用いられ、かつ、この蛍光物質を励起させる励起光の波長帯域、たとえば、３９０ｎｍから４７０ｎｍである。
〈第５例〉
特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下の波長帯域又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、第５例の光は、７９０ｎｍ以上８２０ｎｍ以下の波長帯域内又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域内にピーク波長を有する。
特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下の波長帯域又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、第５例の光は、７９０ｎｍ以上８２０ｎｍ以下の波長帯域内又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域内にピーク波長を有する。
《照明光の切り替えについて》
光源の種類は、レーザ光源、キセノン光源、若しくは、ＬＥＤ光源（ＬＥＤ：Light-Emitting Diode）、又は、これらの適宜の組み合わせを採用できる。光源の種類、波長、フィルタの有無等は被写体の種類、観察の目的等に応じて構成することが好ましく、また、観察の際は、被写体の種類、観察の目的等に応じて照明光の波長を組み合わせ、及び／又は、切り替えることが好ましい。波長を切り替える場合、たとえば、光源の前方に配置され、特定波長の光を透過又は遮光するフィルタが設けられた円板状のフィルタ（ロータリカラーフィルタ）を回転させることにより、照射する光の波長を切り替えてもよい。
光源の種類は、レーザ光源、キセノン光源、若しくは、ＬＥＤ光源（ＬＥＤ：Light-Emitting Diode）、又は、これらの適宜の組み合わせを採用できる。光源の種類、波長、フィルタの有無等は被写体の種類、観察の目的等に応じて構成することが好ましく、また、観察の際は、被写体の種類、観察の目的等に応じて照明光の波長を組み合わせ、及び／又は、切り替えることが好ましい。波長を切り替える場合、たとえば、光源の前方に配置され、特定波長の光を透過又は遮光するフィルタが設けられた円板状のフィルタ（ロータリカラーフィルタ）を回転させることにより、照射する光の波長を切り替えてもよい。
内視鏡に用いるイメージセンサは、各画素に対しカラーフィルタが配設されたカラーイメージセンサに限定されるものではなく、モノクロイメージセンサでもよい。モノクロイメージセンサを用いる場合、照明光の波長を順次切り替えて面順次（色順次）で撮像することができる。たとえば、出射する照明光の波長を、紫色、青色、緑色、及び赤色の間で順次切り替えてもよいし、白色光を照射してロータリカラーフィルタ（赤色、緑色、青色等）により出射する照明光の波長を切り替えてもよい。また、１又は複数の狭帯域光を照射してロータリカラーフィルタにより出射する照明光の波長を切り替えてもよい。狭帯域光は、波長の異なる２波長以上の赤外光でもよい。
《特殊光画像の生成例》
プロセッサ装置４９は、白色光を用いて撮像して得られた通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を生成してもよい。プロセッサ装置４９は、特定の波長帯域の信号を、通常光画像に含まれる赤（Ｒ）、緑（Ｇ）及び青（Ｂ）、又は、シアン（Cyan，Ｃ）、マゼンタ（Magenta，Ｍ）及びイエロー（Yellow，Ｙ）の色情報に基づく演算を行うことで得ることができる。
プロセッサ装置４９は、白色光を用いて撮像して得られた通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を生成してもよい。プロセッサ装置４９は、特定の波長帯域の信号を、通常光画像に含まれる赤（Ｒ）、緑（Ｇ）及び青（Ｂ）、又は、シアン（Cyan，Ｃ）、マゼンタ（Magenta，Ｍ）及びイエロー（Yellow，Ｙ）の色情報に基づく演算を行うことで得ることができる。
《コンピュータに内視鏡画像処理装置の機能を実現させるプログラムについて》
上記の実施形態で説明した内視鏡画像処理装置の機能をコンピュータに実現させるプログラムを光ディスク、磁気ディスク、若しくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。またこのような有体物たる非一時的な情報記憶媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号をダウンロードサービスとして提供することも可能である。
上記の実施形態で説明した内視鏡画像処理装置の機能をコンピュータに実現させるプログラムを光ディスク、磁気ディスク、若しくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。またこのような有体物たる非一時的な情報記憶媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号をダウンロードサービスとして提供することも可能である。
また、上記の実施形態で説明した内視鏡画像処理装置の機能の一部又は全部をアプリケーションサーバとして提供し、電気通信回線を通じて処理機能を提供するサービスを行うことも可能である。
《実施形態及び変形例等の組み合わせについて》
上記実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。
上記実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。
１ 内視鏡システム
２ ネットワーク
１０ 内視鏡装置
１１ 内視鏡
１３ 内視鏡制御装置
１５ 内視鏡挿入部
１７ イメージセンサ
１９Ａ ライトガイドコネクタ
１９Ｂ ビデオコネクタ
２１ 表示装置
２３ 入力装置
２５ 操作部
２７ 接続部
３１ 軟性部
３３ 湾曲部
３５ 先端硬質部
３７Ａ 照明窓
３７Ｂ 照明窓
３８ 観察窓
３９ 撮影光学系
４１ アングルノブ
４３ 操作部材
４７ 光源装置
４９ プロセッサ装置
５１ 光源制御部
５３ コンバイナ
５５ カプラ
５７Ａ 光ファイバ
５７Ｂ 光ファイバ
５９ 蛍光体
６１ スコープケーブル
６５ 内視鏡制御部
６７ 画像処理部
６９ 記憶部
１００ 内視鏡画像処理装置
１０６ ＲＯＭ
１０８ 通信インターフェイス
１１０ 入出力インターフェイス
１１２ 記憶装置
１１４ 入力装置
１１６ 表示装置
１２０ 内視鏡画像取得部
１２２ 画像変換処理部
１２４ 画像認識部
１２６ 表示制御部
λａ ４００ｎｍ付近の波長域
λｂ 波長５００ｎｍ付近の波長域
Ｓ１－Ｓ４ 画像信号の取得から表示装置への出力までの処理の手順
Ｓ１１－Ｓ１４ 内視鏡画像処理装置で実施される画像認識の処理の手順
Ｓ２１－Ｓ２４ 画像信号の取得から表示装置への出力までの処理の手順
Ｓ３１－Ｓ３４ 内視鏡画像処理装置で実施される画像認識の処理の手順
Ｓ４１－Ｓ４５ 画像信号の取得から表示装置への出力までの処理の手順
Ｓ５１－Ｓ５５ 内視鏡画像処理装置で実施される画像認識の処理の手順
２ ネットワーク
１０ 内視鏡装置
１１ 内視鏡
１３ 内視鏡制御装置
１５ 内視鏡挿入部
１７ イメージセンサ
１９Ａ ライトガイドコネクタ
１９Ｂ ビデオコネクタ
２１ 表示装置
２３ 入力装置
２５ 操作部
２７ 接続部
３１ 軟性部
３３ 湾曲部
３５ 先端硬質部
３７Ａ 照明窓
３７Ｂ 照明窓
３８ 観察窓
３９ 撮影光学系
４１ アングルノブ
４３ 操作部材
４７ 光源装置
４９ プロセッサ装置
５１ 光源制御部
５３ コンバイナ
５５ カプラ
５７Ａ 光ファイバ
５７Ｂ 光ファイバ
５９ 蛍光体
６１ スコープケーブル
６５ 内視鏡制御部
６７ 画像処理部
６９ 記憶部
１００ 内視鏡画像処理装置
１０６ ＲＯＭ
１０８ 通信インターフェイス
１１０ 入出力インターフェイス
１１２ 記憶装置
１１４ 入力装置
１１６ 表示装置
１２０ 内視鏡画像取得部
１２２ 画像変換処理部
１２４ 画像認識部
１２６ 表示制御部
λａ ４００ｎｍ付近の波長域
λｂ 波長５００ｎｍ付近の波長域
Ｓ１－Ｓ４ 画像信号の取得から表示装置への出力までの処理の手順
Ｓ１１－Ｓ１４ 内視鏡画像処理装置で実施される画像認識の処理の手順
Ｓ２１－Ｓ２４ 画像信号の取得から表示装置への出力までの処理の手順
Ｓ３１－Ｓ３４ 内視鏡画像処理装置で実施される画像認識の処理の手順
Ｓ４１－Ｓ４５ 画像信号の取得から表示装置への出力までの処理の手順
Ｓ５１－Ｓ５５ 内視鏡画像処理装置で実施される画像認識の処理の手順
Claims (19)
- 内視鏡装置で撮影された内視鏡画像を取得する内視鏡画像取得部と、
前記内視鏡画像を基準画質の画像に変換する処理を行う画像変換処理部と、
学習済みモデルを用いて前記基準画質に変換された画像に対して画像認識を行う画像認識部と、
前記基準画質は、前記学習済みモデルの学習に使用した学習用の画像群の画質である、
内視鏡画像処理装置。 - 前記画像変換処理部は、前記内視鏡装置で設定されている画質の調整値に基づいて、前記内視鏡画像を前記基準画質の画像に変換する処理を行う、
請求項１に記載の内視鏡画像処理装置。 - 前記画像変換処理部は、前記内視鏡画像を表示装置に出力する場合に前記内視鏡装置で設定される画質の調整値に基づいて、前記内視鏡画像を前記基準画質の画像に変換する処理を行う、
請求項１に記載の内視鏡画像処理装置。 - 前記画像変換処理部は、前記内視鏡画像を静止画として保存する場合に前記内視鏡装置で設定される画質の調整値に基づいて、前記内視鏡画像を前記基準画質の画像に変換する処理を行う、
請求項１に記載の内視鏡画像処理装置。 - 前記画像変換処理部は、前記内視鏡装置で設定されている色調の調整値に基づいて、前記内視鏡画像を前記基準画質の画像に変換する処理を行う、
請求項１に記載の内視鏡画像処理装置。 - 前記画像変換処理部は、前記内視鏡装置で設定されている光量による画質変化の調整値に基づいて、前記内視鏡画像を前記基準画質の画像に変換する処理を行う、
請求項１に記載の内視鏡画像処理装置。 - 前記画像変換処理部は、前記内視鏡装置で設定されている明るさ、コントラスト、及びシャープのうちの少なくとも１つの調整値に基づいて、前記内視鏡画像を前記基準画質の画像に変換する処理を行う、
請求項１に記載の内視鏡画像処理装置。 - 前記調整値は、術者が入力装置を使用して設定した調整値、又は画質が自動補正された場合に設定された調整値である、
請求項２から７のいずれか一項に記載の内視鏡画像処理装置。 - 前記画像変換処理部は、前記内視鏡画像が撮影された前記内視鏡装置に応じて前記内視鏡画像を処理して、前記内視鏡画像を前記基準画質の画像に変換する処理を行う、
請求項１に記載の内視鏡画像処理装置。 - 前記画像認識部は、前記基準画質に変換された画像で学習した畳み込みニューラルネットワークで構成される、
請求項１から９のいずれか一項に記載の内視鏡画像処理装置。 - 前記画像認識部が行う前記画像認識には、注目領域を検出する処理、及び／又は、認識対象を分類する処理が含まれる、
請求項１から１０のいずれか一項に記載の内視鏡画像処理装置。 - 内視鏡装置と、
請求項１から１１のいずれか一項に記載の内視鏡画像処理装置と、を備え、
前記内視鏡画像取得部は、前記内視鏡装置から前記内視鏡画像を取得する、
内視鏡システム。 - 前記画像変換処理部による変換前の前記内視鏡画像と、前記画像認識部が認識した認識結果とを表示装置に表示させる、
請求項１２に記載の内視鏡システム。 - 前記内視鏡装置は、照明光を発生する光源装置を備え、
前記光源装置は、白色光の波長帯域よりも狭い特定の波長帯域の光を発生する、
請求項１２又は１３に記載の内視鏡システム。 - 前記特定の波長帯域は、可視域の青色帯域であり、３９０ｎｍ以上４５０ｎｍ以下の波長帯域を含み、かつ、３９０ｎｍ以上４５０ｎｍ以下の波長帯域内にピーク波長を有する、
請求項１４に記載の内視鏡システム。 - 前記特定の波長帯域は、可視域の緑色帯域であり、５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する、
請求項１４に記載の内視鏡システム。 - 内視鏡画像取得部と、画像変換処理部と、学習済みモデルを用いる画像認識部と、を備える内視鏡画像処理装置の作動方法であって、
前記内視鏡画像取得部が、内視鏡装置で撮影された内視鏡画像を取得するステップと、 前記画像変換処理部が、前記内視鏡画像を基準画質の画像に変換する処理を行うステップと、
前記画像認識部が、前記基準画質に変換された画像に対して画像認識を行うステップと、を含み、
前記基準画質は、前記学習済みモデルの学習に使用した学習用の画像群の画質である、
内視鏡画像処理装置の作動方法。 - 内視鏡装置で撮影された内視鏡画像を取得する機能と、
前記内視鏡画像を基準画質の画像に変換する処理を行う機能と、
前記基準画質に変換された画像に対し学習済みモデルを用いて画像認識を行う機能と、
をコンピュータに実現させる内視鏡画像処理プログラムであって、
前記基準画質は、前記学習済みモデルの学習に使用した学習用の画像群の画質である、内視鏡画像処理プログラム。 - 非一時的かつコンピュータ読取可能な記憶媒体であって、前記記憶媒体に格納された指令がコンピュータによって読み取られた場合に、
内視鏡装置で撮影された内視鏡画像を取得する機能と、
前記内視鏡画像を基準画質の画像に変換する処理を行う機能と、
前記基準画質に変換された画像に対し学習済みモデルを用いて画像認識を行う機能と、
を含む内視鏡画像処理機能をコンピュータに実現させる記憶媒体であって、
前記基準画質は、前記学習済みモデルの学習に使用した学習用の画像群の画質である、記憶媒体。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018111829 | 2018-06-12 | ||
| JP2018111829 | 2018-06-12 | ||
| JP2020525396A JP7130038B2 (ja) | 2018-06-12 | 2019-05-24 | 内視鏡画像処理装置、内視鏡画像処理装置の作動方法、内視鏡画像処理プログラム及び記憶媒体 |
| PCT/JP2019/020678 WO2019239854A1 (ja) | 2018-06-12 | 2019-05-24 | 内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡画像処理プログラム |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020525396A Division JP7130038B2 (ja) | 2018-06-12 | 2019-05-24 | 内視鏡画像処理装置、内視鏡画像処理装置の作動方法、内視鏡画像処理プログラム及び記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022162028A true JP2022162028A (ja) | 2022-10-21 |
| JP7350954B2 JP7350954B2 (ja) | 2023-09-26 |
Family
ID=68842861
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020525396A Active JP7130038B2 (ja) | 2018-06-12 | 2019-05-24 | 内視鏡画像処理装置、内視鏡画像処理装置の作動方法、内視鏡画像処理プログラム及び記憶媒体 |
| JP2022132527A Active JP7350954B2 (ja) | 2018-06-12 | 2022-08-23 | 内視鏡画像処理装置、内視鏡システム、内視鏡画像処理装置の作動方法、内視鏡画像処理プログラム及び記憶媒体 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020525396A Active JP7130038B2 (ja) | 2018-06-12 | 2019-05-24 | 内視鏡画像処理装置、内視鏡画像処理装置の作動方法、内視鏡画像処理プログラム及び記憶媒体 |
Country Status (2)
| Country | Link |
|---|---|
| JP (2) | JP7130038B2 (ja) |
| WO (1) | WO2019239854A1 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230021865A (ko) * | 2021-08-06 | 2023-02-14 | 주식회사 메타플바이오 | 멀티스펙트럼 내시경 및 이를 포함하는 내시경 시스템 |
| WO2023199923A1 (ja) * | 2022-04-11 | 2023-10-19 | アナウト株式会社 | 手術画像処理プラットフォーム及びコンピュータプログラム |
| JP2024017630A (ja) * | 2022-07-28 | 2024-02-08 | Hoya株式会社 | 電子内視鏡システムの画像補正方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008229161A (ja) * | 2007-03-22 | 2008-10-02 | Fujifilm Corp | 画像成分分離装置、方法、およびプログラム、ならびに、正常画像生成装置、方法、およびプログラム |
| JP2015006398A (ja) * | 2014-07-30 | 2015-01-15 | オリンパス株式会社 | 画像処理装置、画像処理方法及びプログラム |
| WO2016160491A1 (en) * | 2015-03-27 | 2016-10-06 | Siemens Aktiengesellschaft | Method and system for automated brain tumor diagnosis using image classification |
| WO2018008593A1 (ja) * | 2016-07-04 | 2018-01-11 | 日本電気株式会社 | 画像診断学習装置、画像診断装置、方法およびプログラムを格納する記憶媒体 |
| WO2018020558A1 (ja) * | 2016-07-25 | 2018-02-01 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| PT842475E (pt) * | 1995-07-25 | 2001-04-30 | Horus Therapeutics Inc | Processos e aparelhos assistidos por computador para diagnosticar doencas |
| WO2015052351A1 (en) * | 2013-10-11 | 2015-04-16 | Mauna Kea Technologies | Method for characterizing images acquired through a video medical device |
| JPWO2017017722A1 (ja) * | 2015-07-24 | 2018-05-24 | オリンパス株式会社 | 処理装置、処理方法及びプログラム |
| WO2017175282A1 (ja) * | 2016-04-04 | 2017-10-12 | オリンパス株式会社 | 学習方法、画像認識装置およびプログラム |
-
2019
- 2019-05-24 JP JP2020525396A patent/JP7130038B2/ja active Active
- 2019-05-24 WO PCT/JP2019/020678 patent/WO2019239854A1/ja active Application Filing
-
2022
- 2022-08-23 JP JP2022132527A patent/JP7350954B2/ja active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008229161A (ja) * | 2007-03-22 | 2008-10-02 | Fujifilm Corp | 画像成分分離装置、方法、およびプログラム、ならびに、正常画像生成装置、方法、およびプログラム |
| JP2015006398A (ja) * | 2014-07-30 | 2015-01-15 | オリンパス株式会社 | 画像処理装置、画像処理方法及びプログラム |
| WO2016160491A1 (en) * | 2015-03-27 | 2016-10-06 | Siemens Aktiengesellschaft | Method and system for automated brain tumor diagnosis using image classification |
| WO2018008593A1 (ja) * | 2016-07-04 | 2018-01-11 | 日本電気株式会社 | 画像診断学習装置、画像診断装置、方法およびプログラムを格納する記憶媒体 |
| WO2018020558A1 (ja) * | 2016-07-25 | 2018-02-01 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2019239854A1 (ja) | 2021-07-01 |
| JP7130038B2 (ja) | 2022-09-02 |
| JP7350954B2 (ja) | 2023-09-26 |
| WO2019239854A1 (ja) | 2019-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6495539B2 (ja) | 画像処理装置、画像処理装置の作動方法、および画像処理プログラム | |
| JP5460506B2 (ja) | 内視鏡装置の作動方法及び内視鏡装置 | |
| US10335014B2 (en) | Endoscope system, processor device, and method for operating endoscope system | |
| JP5450527B2 (ja) | 内視鏡装置 | |
| JP5460507B2 (ja) | 内視鏡装置の作動方法及び内視鏡装置 | |
| JP5757891B2 (ja) | 電子内視鏡システム、画像処理装置、画像処理装置の作動方法及び画像処理プログラム | |
| JP7350954B2 (ja) | 内視鏡画像処理装置、内視鏡システム、内視鏡画像処理装置の作動方法、内視鏡画像処理プログラム及び記憶媒体 | |
| JP7333805B2 (ja) | 画像処理装置、内視鏡システム、及び画像処理装置の作動方法 | |
| JP5762344B2 (ja) | 画像処理装置及び内視鏡システム | |
| US9072453B2 (en) | Endoscope apparatus | |
| JP6259747B2 (ja) | プロセッサ装置、内視鏡システム、プロセッサ装置の作動方法、及びプログラム | |
| WO2016110984A1 (ja) | 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置 | |
| WO2015093114A1 (ja) | 内視鏡装置 | |
| JP2016174976A (ja) | 内視鏡システム | |
| JP5972312B2 (ja) | 医用画像処理装置及びその作動方法 | |
| JP5766773B2 (ja) | 内視鏡システムおよび内視鏡システムの作動方法 | |
| JP2017158840A (ja) | 内視鏡画像信号処理装置および方法並びにプログラム | |
| JP5631757B2 (ja) | 電子内視鏡システム | |
| JP2014042842A (ja) | 内視鏡装置 | |
| JP6396717B2 (ja) | 感度調整方法および撮像装置 | |
| JP6454755B2 (ja) | 内視鏡システム | |
| JP6669539B2 (ja) | 画像処理装置、画像処理装置の作動方法、および画像処理プログラム | |
| JP5965028B2 (ja) | 内視鏡システム | |
| JP7235832B2 (ja) | 内視鏡システム | |
| JP6970777B2 (ja) | 内視鏡システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220906 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220906 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230426 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230428 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230614 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230911 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230913 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7350954 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |