JP2023015232A - 内視鏡システム - Google Patents
内視鏡システム Download PDFInfo
- Publication number
- JP2023015232A JP2023015232A JP2022179248A JP2022179248A JP2023015232A JP 2023015232 A JP2023015232 A JP 2023015232A JP 2022179248 A JP2022179248 A JP 2022179248A JP 2022179248 A JP2022179248 A JP 2022179248A JP 2023015232 A JP2023015232 A JP 2023015232A
- Authority
- JP
- Japan
- Prior art keywords
- image
- recognition
- recognition result
- medical image
- medical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 195
- 238000001514 detection method Methods 0.000 claims abstract description 7
- 238000003384 imaging method Methods 0.000 claims description 47
- 238000000034 method Methods 0.000 claims description 43
- 230000008569 process Effects 0.000 claims description 33
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 22
- 238000012986 modification Methods 0.000 claims description 6
- 230000004048 modification Effects 0.000 claims description 6
- 230000004397 blinking Effects 0.000 claims description 3
- 238000003860 storage Methods 0.000 description 69
- 230000008859 change Effects 0.000 description 27
- 230000006870 function Effects 0.000 description 27
- 238000005286 illumination Methods 0.000 description 18
- 230000003902 lesion Effects 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 14
- 238000010191 image analysis Methods 0.000 description 13
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 238000003780 insertion Methods 0.000 description 12
- 230000037431 insertion Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 238000003745 diagnosis Methods 0.000 description 9
- 230000001678 irradiating effect Effects 0.000 description 9
- 108010054147 Hemoglobins Proteins 0.000 description 7
- 102000001554 Hemoglobins Human genes 0.000 description 7
- 238000005452 bending Methods 0.000 description 6
- 238000012327 Endoscopic diagnosis Methods 0.000 description 4
- 238000010521 absorption reaction Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000001727 in vivo Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 208000003200 Adenoma Diseases 0.000 description 1
- 206010001233 Adenoma benign Diseases 0.000 description 1
- 201000009030 Carcinoma Diseases 0.000 description 1
- 241000404068 Cotula Species 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 108010064719 Oxyhemoglobins Proteins 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 208000029742 colonic neoplasm Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001605 fetal effect Effects 0.000 description 1
- 206010020718 hyperplasia Diseases 0.000 description 1
- 230000002390 hyperplastic effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000004088 microvessel Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 210000004876 tela submucosa Anatomy 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/13—Tomography
- A61B8/14—Echo-tomography
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Radiology & Medical Imaging (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Optics & Photonics (AREA)
- General Physics & Mathematics (AREA)
- Astronomy & Astrophysics (AREA)
- Endoscopes (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
Description
図1は、本発明の実施形態に係る内視鏡システムの概略構成を示した全体構成図である。内視鏡システム10は、電子内視鏡12と、光源装置14と、プロセッサ装置16と、を含む。プロセッサ装置16には、表示装置18と入力装置19とが接続される。電子内視鏡12は、「スコープ」、「電子スコープ」、或いは単に「内視鏡」と呼ばれる場合がある。
あってよい。表示装置18は、プロセッサ装置16の処理に必要な各種設定情報、又は、処理結果を示す情報などの各種情報を表示し得る。
プロセッサ装置16は、電子内視鏡12から受信した画像を画像認識する画像認識部を含む。画像認識の処理には、例えば、畳み込みニューラルネットワーク(Convolutional Neural Network:CNN)が用いられる。画像認識部は、例えば、画像内に含まれる病変をNICE分類又はJNET分類などに従って複数のカテゴリーに分類する画像分類のタスクを実施する。「NICE」は、NBI(Narrow band imaging) International Colorectal Endoscopic の略語である。「JNET」は、「the Japan NBI Expert Team」の略語である。
プロセッサ装置16は、本発明の実施形態に係る医療画像処理装置の一例である。図4は、本発明の第一実施形態に係る医療画像処理装置の機能を示すブロック図である。図4に示す医療画像処理装置160は、画像取得部162と、画像認識部164と、判定部166と、認識結果保存部168と、変更処理部170と、表示制御部172と、表示部174と、を備える。
図5は、第一実施形態に係る医療画像処理装置の動作を示すフローチャートである。医療画像処理装置の動作は、医療画像処理方法と理解してもよいし、医療画像処理装置の作動方法、若しくはプロセッサ装置の作動方法と理解してもよい。
図5のフローチャートには示していないが、プロセッサ装置16は、認識に不適な画像が一定期間継続して取得された場合、つまり、画像認識部164の認識結果を認識結果保存部168に保存されている認識結果に変更した医療画像の取得が一定期間続いた場合に、画像認識部164の認識処理を停止してもよい。この場合、表示部174に、警告メッセージなどを表示して、ユーザに注意を喚起する構成が好ましい。表示部174は「報知部」の一例である。
図4に示した第一実施形態では「第1の認識処理」と「第2の認識処理」を段階的に実施する例を示したが、このような2段階の認識処理を行う構成に代えて、1回の認識処理で「認識に不適な画像」の分類を含む複数のカテゴリーに分類する構成を採用してもよい。
図7は、第二実施形態に係る医療画像処理装置の動作を示すフローチャートである。図7において、図5に示したフローチャートと同一又は類似のステップには同一のステップ番号を付し、重複する説明は省略する。図5との相違点を説明する。
図8は、表示部174に表示される内視鏡診断支援画面の一例である。図8に例示したウインドウ300は、画像表示エリア301と、認識結果表示エリア310と、を含む。図8には、認識に適する画像が取得されている場合の表示例が示されている。画像表示エリア301には、電子内視鏡12を用いて撮影された医療画像302の画像内容がリアルタイムで表示される。図8では、医療画像302の画像内に、病変領域303が含まれている例が示されている。なお、1枚の画像内に複数の病変領域が含まれる場合がある。
認識結果保存部168に保存されている認識結果であることを示す表示は、画像認識部164の認識結果をそのまま表示する場合と比べて、表示色を異ならせた異色表示、特定の記号を付加した記号表示、特定の文字列を付加した文字列表示、及び点滅表示のうち少なくとも一つの表示形態を含むものであればよく、これらの任意の組み合わせであってよい。図9に示したアイコン312は、記号表示の一例である。異色表示には、文字の色を変える態様に限らず、背景色を変える態様も含まれる。
上述した実施形態の構成によれば、次のような作用効果が得られる。
本発明に係る医療画像処理装置は、図1に例示した内視鏡システム10のプロセッサ装置16に適用する形態に限らず、様々な応用が可能である。例えば、医療画像処理装置は、内視鏡画像を含む様々な医療情報を管理する医療情報管理システムに応用することができる。
図4及び図6で説明した医療画像処理装置160の画像取得部162、画像認識部164、判定部166、認識結果保存部168、変更処理部170、及び表示制御部172などの各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。
電子内視鏡は、軟性内視鏡に限らず、硬性内視鏡であってもよいし、カプセル内視鏡であってもよい。また、被写体像を含む時系列の医療画像を生成する装置は、電子内視鏡に限らず、例えば、超音波診断装置などであってもよい。
本開示の医療画像処理装置は、医師等による診察、治療、又は診断などを支援する診断支援装置として用いることができる。「診断支援」という用語は、診察支援、及び/又は治療支援の概念を含む。
観察光は、白色光、或いは1又は複数の特定の波長帯域の光、或いはこれらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。白色光は、白色の波長帯域の光又は複数の波長帯域の光である。「特定の波長帯域」は、白色の波長帯域よりも狭い帯域である。特定の波長帯域に関する具体例を以下に示す。
特定の波長帯域の第1例は、例えば可視域の青色帯域又は緑色帯域である。この第1例の波長帯域は、390nm以上450nm以下の波長帯域又は530nm以上550nm以下の波長帯域を含み、且つ第1例の光は、390nm以上450nm以下の波長帯域内又は530nm以上550nm以下の波長帯域内にピーク波長を有する。
特定の波長帯域の第2例は、例えば可視域の赤色帯域である。この第2例の波長帯域は、585nm以上615nm以下の波長帯域又は610nm以上730nm以下の波長帯域を含み、且つ第2例の光は、585nm以上615nmの波長帯域内以下又は610nm以上730nm以下の波長帯域内にピーク波長を有する。
特定の波長帯域の第3例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第3例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第3例の波長帯域は、400±10nm、440±10nmの波長帯域、470±10nmの波長帯域、又は600nm以上750nm以下の波長帯域を含み、且つ第3例の光は、上記400±10nm、440±10nm、470±10nm、又は600nm以上750nm以下の波長帯域内にピーク波長を有する。
特定の波長帯域の第4例は、生体内の蛍光物質が発する蛍光の観察(蛍光観察)に用いられ、且つこの蛍光物質を励起させる励起光の波長帯域、例えば、390nmから470nmである。
特定の波長帯域の第5例は、赤外光の波長帯域である。この第5例の波長帯域は、790nm以上820nm以下の波長帯域又は905nm以上970nm以下の波長帯域を含み、且つ第5例の光は、790nm以上820nm以下の波長帯域内又は905nm以上970nm以下の波長帯域内にピーク波長を有する。
光源の種類は、レーザ光源、キセノン光源、若しくは、LED光源(LED:Light-Emitting Diode)又はこれらの適宜の組み合わせを採用し得る。光源の種類、波長、フィルタの有無等は被写体の種類、観察の目的等に応じて構成することが好ましく、また観察の際は被写体の種類、観察の目的等に応じて照明光の波長を組み合わせ及び/又は切り替えることが好ましい。波長を切り替える場合、例えば光源の前方に配置され特定波長の光を透過又は遮光するフィルタが設けられた円板状のフィルタ(ロータリカラーフィルタ)を回転させることにより、照射する光の波長を切り替えてもよい。
プロセッサ装置16は、白色光を用いて撮像して得られた通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を生成してもよい。なお、ここでいう生成には「取得」の概念が含まれる。この場合、プロセッサ装置16は、特殊光画像取得部として機能する。プロセッサ装置16は、特定の波長帯域の信号を、通常光画像に含まれる赤(R)、緑(G)、及び青(B)、或いはシアン(C)、マゼンタ(M)、及びイエロー(Y)の色情報に基づく演算を行うことで得ることができる。
プロセッサ装置16は、医療画像として、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像、並びに特定の波長帯域の光を照射して得る特殊光画像の少なくともいずれかに基づく演算を用いて、特徴量画像を生成し得る。特徴量画像は医療画像の一形態である。
上述の実施形態で説明した医療画像処理装置の機能をコンピュータに実現させるプログラムを光ディスク、磁気ディスク、若しくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。またこのような有体物たる非一時的な情報記憶媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号をダウンロードサービスとして提供することも可能である。
上述した実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。
本明細書は、上述した各実施形態及び変形例等に加えて、以下に記載の構成発明の開示を含む。
医療画像処理装置は、医療画像解析処理部と、医療画像解析結果取得部と、を有し、医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
医療画像解析結果取得部は、医療画像の解析結果を記録する記録装置から取得し、解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、若しくは両方である医療画像処理装置。
医療画像は、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。
医療画像は、特定の波長帯域の光を照射して得た画像であり、特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。
特定の波長帯域は、可視域の青色若しくは、緑色帯域である医療画像処理装置。
特定の波長帯域は、390nm以上450nm以下又は530nm以上550nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、390nm以上450nm以下又は530nm以上550nm以下の波長帯域内にピーク波長を有する 医療画像処理装置。
特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。
特定の波長帯域は、585nm以上615nm以下又は610nm以上730nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、585nm以上615nm以下又は610nm以上730nm以下の波長帯域内にピーク波長を有する医療画像処理装置。
特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。
特定の波長帯域は、400±10nm、440±10nm、470±10nm、又は、600nm以上750nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、400±10nm、440±10nm、470±10nm、又は、600nm以上750nm以下の波長帯域にピーク波長を有する医療画像処理装置。
医療画像は生体内を写した生体内画像であり、生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。
蛍光は、ピークが390nm以上470nm以下である励起光を生体内に照射して得る医療画像処理装置。
医療画像は生体内を写した生体内画像であり、特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。
特定の波長帯域は、790nm以上820nm以下又は905nm以上970nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、790nm以上820nm以下又は905nm以上970nm以下の波長帯域にピーク波長を有する医療画像処理装置。
医療画像取得部は、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、医療画像は特殊光画像である医療画像処理装置。
特定の波長帯域の信号は、通常光画像に含まれるRGB或いはCMYの色情報に基づく演算により得る医療画像処理装置。
白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、医療画像は特徴量画像である医療画像処理装置。
付記1から付記18のいずれか1つに記載の医療画像処理装置と、白色の波長帯域の光、又は、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、を備える内視鏡装置。
付記1から付記18のいずれか1つに記載の医療画像処理装置を備える診断支援装置。
付記1から付記18のいずれか1つに記載の医療画像処理装置を備える医療業務支援装置。
以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、又は削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で同等関連分野の通常の知識を有する者により、多くの変形が可能である。
12 電子内視鏡
14 光源装置
16 プロセッサ装置
18 表示装置
19 入力装置
20 挿入部
22 先端硬質部
22A 先端面
24 湾曲部
26 軟性部
30 操作部
31 アングルノブ
32 送気送水ボタン
33 吸引ボタン
34 モード切替スイッチ
35 ズーム操作部
36 処置具導入口
40 ユニバーサルコード
42 コネクタ
42A ビデオコネクタ
42B ライトガイドコネクタ
42C 送水コネクタ
44 送水タンク
50 照明窓
52 観察窓
54 鉗子出口
56 送気送水用ノズル
60 対物光学系
62 撮像素子
64 アナログフロントエンド回路
65 タイミングジェネレータ
66 CPU
68 撮像チップ
70 CPU
72 ROM
74 RAM
76 デジタル信号処理回路
78 表示制御回路
100 第1光源
101 第1光源駆動回路
102 第2光源
103 第2光源駆動回路
104 CPU
105 合波部
120 ライトガイド
121 入射端
122 出射端
124 蛍光体
160 医療画像処理装置
162 画像取得部
164 画像認識部
164A 第1の認識部
164B 第2の認識部
166 判定部
168 認識結果保存部
170 変更処理部
172 表示制御部
174 表示部
200 医療情報管理システム
202 画像取込端末
204 画像保存サーバ
210 情報管理装置
218 表示装置
219 入力装置
230 電気通信回線
300 ウインドウ
301 画像表示エリア
302 医療画像
303 病変領域
310 認識結果表示エリア
312 アイコン
IM1、IM2、IM3 画像
S12~S26 医療画像処理装置における処理のステップ
Claims (20)
- 体腔内を撮影する電子内視鏡と、
前記電子内視鏡から得られる画像信号を処理するプロセッサ装置と、を含む内視鏡システムであって、
前記プロセッサ装置は、
プロセッサと、前記プロセッサが実行するプログラムが記憶されるメモリと、を備え、
前記プロセッサは、前記プログラムを実行することにより、
前記電子内視鏡を用いて撮影された被写体像を含む時系列の医療画像を取得し、
前記医療画像から画像認識を行い、
前記医療画像から注目領域の検出及び分類のうち少なくとも一方を行い、
前記時系列の前記医療画像に含まれる第1の医療画像が認識に不適な画像である場合に、前記第1の医療画像よりも先に取得された第2の医療画像についての注目領域の検出及び分類のうち少なくとも一方の結果を前記第1の医療画像とともに表示させるための処理を行う、
内視鏡システム。 - 前記プロセッサは、
前記画像認識による認識結果を前記メモリに保存し、
前記保存された前記認識結果を表示させるための処理を行い、
前記画像認識の処理は、前記医療画像が認識に不適な画像であると認識するタスクを含む、
請求項1に記載の内視鏡システム。 - 前記プロセッサは、
前記画像認識によって前記第1の医療画像が認識に不適な画像であると認識した場合に、前記第1の医療画像についての注目領域の検出及び分類のうち少なくとも一方の結果を含む認識結果を表示させずに、前記第2の医療画像についての注目領域の検出及び分類のうち少なくとも一方の結果を含む認識結果を前記第1の医療画像とともに表示させるための処理を行う、
請求項2に記載の内視鏡システム。 - 前記プロセッサは、
前記画像認識による認識結果に応じて、前記画像認識の認識結果を保存するか否かを判定し、判定結果に従い、前記画像認識の認識結果を前記メモリに保存する、
請求項2又は3に記載の内視鏡システム。 - 前記プロセッサは、
前記判定において認識結果を非保存とする判定を与えた前記医療画像についての前記画像認識の認識結果を表示させずに、前記メモリに保存されている認識結果を表示させるための処理を行う、請求項4に記載の内視鏡システム。 - 前記プロセッサは、
前記画像認識の処理により認識に不適な画像であると認識した場合に、前記不適な画像であると認識した前記医療画像についての認識結果を非保存とする判定を行う、
請求項4又は5に記載の内視鏡システム。 - 前記プロセッサが認識に不適な画像であると認識した前記医療画像についての認識結果は、前記メモリに非保存とされる、
請求項2から6のいずれか一項に記載の内視鏡システム。 - 前記プロセッサは、
前記第1の医療画像についての認識結果を、前記第2の医療画像についての認識結果に変更する処理を行い、
前記変更の処理を受けずに、前記画像認識の認識結果が維持された前記医療画像についての認識結果が前記メモリに保存される、
請求項2から7のいずれか一項に記載の内視鏡システム。 - 前記プロセッサは、
前記第1の医療画像についての認識結果の代わりに、前記メモリに保存されている最新の前記第2の医療画像についての認識結果を表示させるための処理を行う、
請求項2から8のいずれか一項に記載の内視鏡システム。 - 前記画像認識の認識結果を表示する表示部を備え、
前記画像認識の認識結果に応じて、前記メモリに保存されている前記第2の医療画像についての認識結果が前記表示部に表示される請求項2から9のいずれか一項に記載の内視鏡システム。 - 前記プロセッサは、
前記メモリに保存されている前記第2の医療画像についての認識結果を表示させる場合に、前記メモリに保存されている認識結果であることを示す表示を行わせる、
請求項2から10のいずれか一項に記載の内視鏡システム。 - 前記メモリに保存されている認識結果であることを示す表示は、前記画像認識の認識結果をそのまま表示する場合と比べて、表示色を異ならせた異色表示、特定の記号を付加した記号表示、特定の文字列を付加した文字列表示、及び点滅表示のうち少なくとも1つの表示形態を含む、
請求項11に記載の内視鏡システム。 - 前記プロセッサは、
前記画像認識によって認識に不適な画像であると認識された前記医療画像の取得が一定期間続いた場合に、前記画像認識の認識処理を停止する、
請求項1から12のいずれか一項に記載の内視鏡システム。 - 前記プロセッサは、
前記画像認識によって認識に不適な画像であると認識された前記医療画像の取得が一定期間続いた場合に、ユーザへの注意を喚起するメッセージを表示させるための処理を行う、
請求項1から13のいずれか一項に記載の内視鏡システム。 - 前記不適な画像は、被写体がボケている画像である、
請求項1から14のいずれか一項に記載の内視鏡システム。 - 前記不適な画像は、被写体がぶれている画像である、
請求項1から14のいずれか一項に記載の内視鏡システム。 - 前記不適な画像は、被写体に水がかぶっている画像である、
請求項1から14のいずれか一項に記載の内視鏡システム。 - 前記不適な画像は、被写体に残渣がある画像である、
請求項1から14のいずれか一項に記載の内視鏡システム。 - 前記画像認識の処理は、前記取得された前記医療画像が認識に不適な画像であるか否かを認識する第1の認識処理と、
前記取得された前記医療画像から注目領域の検出、及び前記医療画像の画像分類のうち少なくとも一方の処理を行う第2の認識処理と、
を含み、
前記プロセッサは、
前記第1の認識処理により認識に不適な画像であると認識した前記医療画像について、前記第2の認識処理を不実施とする、
請求項1から18のいずれか一項に記載の内視鏡システム。 - 前記プロセッサは、
前記医療画像から1回の認識処理で、認識に不適な画像の分類を含む複数のカテゴリーに分類する、
請求項1から19のいずれか一項に記載の内視鏡システム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017246464 | 2017-12-22 | ||
JP2017246464 | 2017-12-22 | ||
JP2019560908A JP6889282B2 (ja) | 2017-12-22 | 2018-11-26 | 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム |
JP2021085460A JP7176041B2 (ja) | 2017-12-22 | 2021-05-20 | 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021085460A Division JP7176041B2 (ja) | 2017-12-22 | 2021-05-20 | 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2023015232A true JP2023015232A (ja) | 2023-01-31 |
JP2023015232A5 JP2023015232A5 (ja) | 2023-03-10 |
JP7383105B2 JP7383105B2 (ja) | 2023-11-17 |
Family
ID=66992614
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019560908A Active JP6889282B2 (ja) | 2017-12-22 | 2018-11-26 | 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム |
JP2021085460A Active JP7176041B2 (ja) | 2017-12-22 | 2021-05-20 | 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム |
JP2022179248A Active JP7383105B2 (ja) | 2017-12-22 | 2022-11-09 | 医療画像処理装置及び内視鏡システム |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019560908A Active JP6889282B2 (ja) | 2017-12-22 | 2018-11-26 | 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム |
JP2021085460A Active JP7176041B2 (ja) | 2017-12-22 | 2021-05-20 | 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム |
Country Status (2)
Country | Link |
---|---|
JP (3) | JP6889282B2 (ja) |
WO (1) | WO2019123986A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6877486B2 (ja) * | 2018-12-04 | 2021-05-26 | Hoya株式会社 | 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム |
US20210407077A1 (en) * | 2018-12-04 | 2021-12-30 | Hoya Corporation | Information processing device and model generation method |
JP7373335B2 (ja) * | 2019-09-18 | 2023-11-02 | 富士フイルム株式会社 | 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム |
WO2021171465A1 (ja) * | 2020-02-27 | 2021-09-02 | オリンパス株式会社 | 内視鏡システム及び内視鏡システムによる管腔走査方法 |
JP7402314B2 (ja) * | 2020-04-02 | 2023-12-20 | 富士フイルム株式会社 | 医用画像処理システム、医用画像処理システムの作動方法 |
WO2021240656A1 (ja) * | 2020-05-26 | 2021-12-02 | 日本電気株式会社 | 画像処理装置、制御方法及び記憶媒体 |
JP7478245B2 (ja) | 2020-09-24 | 2024-05-02 | 富士フイルム株式会社 | 医療画像装置及びその作動方法 |
WO2023053991A1 (ja) * | 2021-09-30 | 2023-04-06 | 富士フイルム株式会社 | 医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120113239A1 (en) * | 2010-11-08 | 2012-05-10 | Hagai Krupnik | System and method for displaying an image stream |
JP2016067781A (ja) * | 2014-09-30 | 2016-05-09 | 富士フイルム株式会社 | 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法 |
JP2017012666A (ja) * | 2015-07-06 | 2017-01-19 | オリンパス株式会社 | 内視鏡検査データ記録システム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005011121A (ja) * | 2003-06-19 | 2005-01-13 | Olympus Corp | 情報処理装置及び方法 |
JP4615963B2 (ja) * | 2004-10-29 | 2011-01-19 | オリンパス株式会社 | カプセル型内視鏡装置 |
WO2010109726A1 (ja) * | 2009-03-23 | 2010-09-30 | オリンパスメディカルシステムズ株式会社 | 画像処理システム、外部装置およびその画像処理方法 |
JP2011255006A (ja) * | 2010-06-09 | 2011-12-22 | Olympus Corp | 画像処理装置、内視鏡装置、プログラム及び画像処理方法 |
JP5438634B2 (ja) | 2010-08-31 | 2014-03-12 | 富士フイルム株式会社 | 電子内視鏡システム |
EP2532299B1 (en) | 2010-09-14 | 2014-11-05 | Olympus Medical Systems Corp. | Endoscope system and low visibility determining method |
JP5580758B2 (ja) * | 2011-02-22 | 2014-08-27 | オリンパス株式会社 | 蛍光観察装置 |
JP2015198672A (ja) * | 2012-08-10 | 2015-11-12 | 日立アロカメディカル株式会社 | 医用画像診断装置 |
WO2014103511A1 (ja) * | 2012-12-25 | 2014-07-03 | 日立アロカメディカル株式会社 | 超音波診断装置及び弾性解析方法 |
WO2016203548A1 (ja) * | 2015-06-16 | 2016-12-22 | オリンパス株式会社 | 内視鏡システム及びカプセル内視鏡装置 |
JP6629639B2 (ja) * | 2016-03-07 | 2020-01-15 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 |
-
2018
- 2018-11-26 WO PCT/JP2018/043380 patent/WO2019123986A1/ja active Application Filing
- 2018-11-26 JP JP2019560908A patent/JP6889282B2/ja active Active
-
2021
- 2021-05-20 JP JP2021085460A patent/JP7176041B2/ja active Active
-
2022
- 2022-11-09 JP JP2022179248A patent/JP7383105B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120113239A1 (en) * | 2010-11-08 | 2012-05-10 | Hagai Krupnik | System and method for displaying an image stream |
JP2016067781A (ja) * | 2014-09-30 | 2016-05-09 | 富士フイルム株式会社 | 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法 |
JP2017012666A (ja) * | 2015-07-06 | 2017-01-19 | オリンパス株式会社 | 内視鏡検査データ記録システム |
Also Published As
Publication number | Publication date |
---|---|
JP7383105B2 (ja) | 2023-11-17 |
JP2021121348A (ja) | 2021-08-26 |
JP7176041B2 (ja) | 2022-11-21 |
JP6889282B2 (ja) | 2021-06-18 |
WO2019123986A1 (ja) | 2019-06-27 |
JPWO2019123986A1 (ja) | 2020-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7176041B2 (ja) | 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム | |
JP7346285B2 (ja) | 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム | |
JP7326308B2 (ja) | 医療画像処理装置及び医療画像処理装置の作動方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム | |
JP7170032B2 (ja) | 画像処理装置、内視鏡システム、及び画像処理方法 | |
JP2010172673A (ja) | 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法 | |
JP7125484B2 (ja) | 内視鏡システム | |
EP2229870A1 (en) | Endoscope system, endoscope video processor and method of driving endoscope system | |
JP7333805B2 (ja) | 画像処理装置、内視鏡システム、及び画像処理装置の作動方法 | |
JP2023010809A (ja) | 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム、記録媒体 | |
JP7289373B2 (ja) | 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム | |
JP2012170639A (ja) | 内視鏡システム、および粘膜表層の毛細血管の強調画像表示方法 | |
JP2010213993A (ja) | 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡駆動方法 | |
JP7374280B2 (ja) | 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法 | |
JP2010213992A (ja) | 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡駆動方法 | |
JP2012170640A (ja) | 内視鏡システム、および粘膜表層の毛細血管の強調画像表示方法 | |
JP2022136171A (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
CN105007801B (zh) | 图像处理装置以及内窥镜***的工作方法 | |
JP7389257B2 (ja) | 内視鏡システム及びその作動方法 | |
WO2020184257A1 (ja) | 医用画像処理装置及び方法 | |
JP7387859B2 (ja) | 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム | |
US20220351350A1 (en) | Endoscope processor, method for operating endoscope processor, and storage medium | |
JP7256275B2 (ja) | 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム | |
WO2022230607A1 (ja) | 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法 | |
CN112739250A (zh) | 医用图像处理装置、处理器装置、医用图像处理方法及程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221125 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230301 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230619 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230711 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230828 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231107 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7383105 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |