WO2019187049A1 - 診断支援装置、診断支援方法及び診断支援プログラム - Google Patents
診断支援装置、診断支援方法及び診断支援プログラム Download PDFInfo
- Publication number
- WO2019187049A1 WO2019187049A1 PCT/JP2018/013767 JP2018013767W WO2019187049A1 WO 2019187049 A1 WO2019187049 A1 WO 2019187049A1 JP 2018013767 W JP2018013767 W JP 2018013767W WO 2019187049 A1 WO2019187049 A1 WO 2019187049A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- period
- diagnosis support
- setting unit
- region
- predetermined
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments
Definitions
- the doctor cannot see the analysis result during diagnosis.
- the marker attached to the lesion candidate displayed after completion of the diagnosis may make it difficult to see the lesion candidate and the surrounding image of the lesion candidate, and may obstruct the doctor's observation of the medical image. is there.
- the endoscope scope 22 is formed in an elongated shape so that it can be inserted into a subject.
- the endoscope scope 22 has various pipes and signal lines (not shown) inside.
- the endoscope scope 22 has a bending mechanism (not shown) and bends according to an instruction input from the operator.
- a control unit 22 a is provided at the proximal end of the endoscope scope 22.
- the control unit 22a is connected to the diagnosis support apparatus 41.
- the display control unit 43 is a circuit that controls each unit in the endoscope system Es.
- the display control unit 43 includes a processor 43a.
- the function of the display control unit 43 is realized by the processor 43a reading and executing a program and various types of information stored in the storage unit 44.
- the detection unit P1 detects the attention area L from the endoscope image X acquired by the endoscope 21 by a predetermined detection process, and outputs position information of the attention area L.
- a contour is extracted from the amount of change in pixel values in adjacent pixels by a predetermined contour extraction process, and the attention area L is detected by matching with model information read from the storage unit 44.
- the position information is, for example, the coordinates of the center of the attention area L.
- the detection unit P1 can also detect a plurality of attention areas L from the endoscopic image X.
- the detecting unit P1 also detects the size of the attention area L by a predetermined detection process.
- the size of the attention area L is, for example, distance information between the center of the attention area L and the outer edge.
- the classification unit P2 classifies the attention area L based on a predetermined classification condition corresponding to the diagnosis index, and outputs diagnosis support information C indicating the severity of the attention area L.
- the predetermined classification condition includes, for example, a classification condition based on the NICE classification and a reference image.
- the diagnosis support information C may include the accuracy of each of an adenomatous lesion and a non-adenomatous lesion.
- category part P2 is not limited to this, You may perform by the arithmetic unit using artificial intelligence technology.
- the first setting unit Q1 sets the first period. More specifically, the first setting unit Q1 sets a first start time Cs at which the first period starts and a first end time Ce at which the first period ends. As shown in FIG. 3, the first setting unit Q1 includes a continuation determination unit Q1a, a treatment instrument determination unit Q1b, an instruction input determination unit Q1c, and an extension determination unit Q1d.
- the instruction input determination unit Q1c determines whether there is an instruction to start or end the information display by the diagnosis support information C and the marker M based on the instruction signal input from the operation unit 31.
- the first setting unit Q1 sets predetermined control information at the first start time Cs and starts the first period.
- the instruction input determination unit Q1c determines that there is an instruction signal to end information display
- the first setting unit Q1 sets predetermined control information at the first end time Ce and ends the first period. That is, the first setting unit Q1 sets at least one of the start and end of the first period in response to an instruction input by the operator.
- the number determination unit Q2c determines whether or not the number of regions of interest L input from the detection unit P1 is greater than a predetermined number. When it is determined that the number is greater than the predetermined number, the second setting unit Q2 sets the second period longer than when it is determined that the number is less than the predetermined number. That is, the second setting unit Q2 sets the second period according to the number of the attention areas L.
- the endoscopic image X is acquired (S1).
- the display control unit 43 acquires the endoscopic image X acquired by the endoscope 21 via the input unit 42.
- Diagnosis support information C is generated (S3).
- the attention area L is classified based on the predetermined classification condition, and the diagnosis support information C indicating the severity of the attention area L is output.
- the display image Y is generated (S5).
- the display control unit 43 displays the endoscopic image X in the second area A2.
- the display control unit 43 displays the diagnosis support information C in the first area A1 during the first period.
- the display control unit 43 displays the marker M so as to surround the attention area L of the second area A2 during the second period.
- the display control unit 43 displays the diagnosis support information C so that the operator can make a diagnosis by visually checking the diagnosis support information C and the endoscope image X.
- the mark M is hidden.
- the display image Y3 shows an example in which the diagnosis support information C is displayed and the mark M is not displayed.
- the second period end determination unit Q1e determines that the second period has ended.
- the first setting unit Q1 sets the start of the first period.
- the display control unit 43 displays the diagnosis support information C at the start of the first period and hides the mark M at the end of the second period.
- the display image Z3 shows an example in which the diagnosis support information C is displayed and the mark M is not displayed.
- one display unit 51 is provided, but a plurality of display units 51 may be provided.
- one may be the first region A1 and the other may be the second region A2.
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Dentistry (AREA)
- Geometry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Robotics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
Abstract
診断支援装置41は、内視鏡21によって取得した内視鏡画像Xから、注目領域Lを検出し、注目領域Lの位置情報を出力する検出部P1と、診断指標に対応した所定分類条件に基づいて、注目領域Lを分類し、注目領域Lの重篤度を示す診断支援情報Cを出力する分類部P2と、第1領域A1において診断支援情報Cを表示する第1期間と、第2領域A2において内視鏡画像Xに重畳して位置情報を表示する第2期間とが互いに異なるように、表示画像Yを制御する表示制御部43と、を有する。
Description
本発明は、診断支援装置、診断支援方法及び診断支援プログラムに関する。
従来技術として、医用画像を解析し、解析結果の表示によって医師の診断を支援する診断支援装置がある。例えば、特開2006-115921号公報には、読影に対する意欲を削ぐことなく異常部位を漏れなく発見できるように、医師の診断中に、診断用の医用画像を表示し、医師の診断終了後に、解析によって病変候補にマーカが付された医用画像と、医師によってアノテーションが記録された医用画像とを重ね合わせて表示する、診断支援装置が開示される。
しかし、先行特許文献の診断支援装置では、医師が診断中に解析の結果を見ることができない。また、診断支援装置では、診断終了後に表示される病変候補に付されたマーカが、病変候補及び病変候補の周囲の画像を見難くすることがあり、医師の医用画像の観察を阻害することがある。
そこで、本発明は、術者の診断中に内視鏡画像の観察を阻害しないように、注目領域の位置情報と注目領域の重篤度を示す診断支援情報を出力して診断を支援する、診断支援装置、診断支援方法及び診断支援プログラムを提供することを目的とする。
本発明の一態様の診断支援装置は、内視鏡によって取得した内視鏡画像から注目領域を検出し、前記注目領域の位置情報を出力する検出部と、診断指標に対応した所定分類条件に基づいて、前記注目領域を分類し、前記注目領域の重篤度を示す診断支援情報を出力する分類部と、第1領域において前記診断支援情報を表示する第1期間と、第2領域において前記内視鏡画像に重畳して前記位置情報を表示する第2期間とが互いに異なるように、表示画像を制御する表示制御部と、を有する。
本発明の一態様の診断支援プログラムは、内視鏡によって取得した内視鏡画像から、注目領域を検出し、前記注目領域の位置情報を出力するコードと、診断指標に対応した所定分類条件に基づいて、前記注目領域を分類し、前記注目領域の重篤度を示す診断支援情報を出力するコードと、第1領域において前記診断支援情報を表示する第1期間と、第2領域において前記内視鏡画像に重畳して前記位置情報を表示する第2期間とが互いに異なるように、表示画像を制御するコードと、をコンピュータに実行させる。
本発明の一態様の診断支援方法は、検出部により、内視鏡によって取得した内視鏡画像から、注目領域を検出し、前記注目領域の位置情報を出力し、分類部により、診断指標に対応した所定分類条件に基づいて、前記注目領域を分類し、前記注目領域の重篤度を示す診断支援情報を出力し、表示制御部により、第1領域において前記診断支援情報を表示する第1期間と、第2領域において前記内視鏡画像に重畳して前記位置情報を表示する第2期間とが互いに異なるように、表示画像を制御する。
以下、図面を参照しながら、本発明の実施形態を説明する。
(第1実施形態の構成)
図1は、本発明の第1実施形態に係わる、内視鏡システムEsの構成の一例を示すブロック図である。図2は、本発明の第1実施形態に係わる、診断支援装置41の表示画像Yの一例を説明するための説明図である。
図1は、本発明の第1実施形態に係わる、内視鏡システムEsの構成の一例を示すブロック図である。図2は、本発明の第1実施形態に係わる、診断支援装置41の表示画像Yの一例を説明するための説明図である。
内視鏡システムEsは、光源装置11、内視鏡装置21、操作部31、診断支援装置41、及び、表示部51を有する。光源装置11は、内視鏡装置21及び診断支援装置41の各々と接続される。内視鏡装置21は、診断支援装置41と接続される。操作部31は、診断支援装置41と接続される。診断支援装置41は、表示部51と接続される。
光源装置11は、診断支援装置41の制御の下、内視鏡装置21に、白色光、狭帯域光等の照明光を出力する。
内視鏡21は、被検体内を撮像できるように構成される。内視鏡装置21は、内視鏡スコープ22と、照明部23と、撮像部24と、画像処理部25とを有する。
内視鏡スコープ22は、被検体内に挿入できるように、細長状に形成される。内視鏡スコープ22は、内部に図示しない各種の管路及び信号線を有する。内視鏡スコープ22は、図示しない湾曲機構を有し、術者の指示入力に応じて湾曲する。
内視鏡スコープ22の基端部には、コントロールユニット22aが設けられる。コントロールユニット22aは、診断支援装置41と接続される。
照明部23は、内視鏡スコープ22の先端部に設けられ、光源装置11から入力された照明光を被検体に照射する。
撮像部24は、内視鏡スコープ22の先端部に設けられる。撮像部24は、CMOSセンサ、CCD等の撮像素子によって構成される。撮像部24は、照明部23によって照明された被検体を撮像し、撮像信号を画像処理部25に出力する。
画像処理部25は、コントロールユニット22aに設けられる。画像処理部25は、撮像部24から入力された撮像信号に、例えば、ゲイン調整、ホワイトバランス調整、ガンマ補正、輪郭強調補正、拡大縮小調整等の画像処理を行って内視鏡画像Xを生成し、診断支援装置41に出力する。なお、画像処理部25によって行われる画像処理の全部又は一部は、診断支援装置41内において行われるように構成してもよい。
操作部31は、診断支援装置41と接続され、内視鏡スコープ22の湾曲、照明部23から照射する照明光の切り替え、レリーズ操作、及び、フリーズ操作等の各種の指示入力が可能である。また、操作部31は、診断支援処理の開始及び終了、診断支援情報C及びマーカMの情報表示の開始及び終了等、各種の指示入力も可能である(図2)。操作部31は、診断支援装置41の表示制御部43と接続され、指示入力に応じた指示信号を表示制御部43に出力する。なお、操作部31は、内視鏡装置21、診断支援装置41、表示部51等に設けられてもよい。
診断支援装置41は、内視鏡画像Xに基づいて、表示画像Yを生成して出力する装置である。診断支援装置41は、入力部42、表示制御部43、記憶部44、出力部45を有する。
入力部42は、内視鏡装置21を接続する回路である。入力部42は、内視鏡装置21と表示制御部43に接続され、内視鏡装置21の画像処理部25から内視鏡画像Xを順次入力し、表示制御部43に内視鏡画像Xを出力する。
表示制御部43は、内視鏡システムEs内の各部を制御する回路である。表示制御部43は、プロセッサ43aを有する。表示制御部43の機能は、プロセッサ43aが記憶部44に記憶されたプログラム及び各種情報を読み込み、実行することによって実現する。
また、表示制御部43は、ゲイン調整の量、又は、内視鏡画像Xの明るさを検出し、制御信号を出力し、光源装置11の発光量を制御する。
また、表示制御部43は、内視鏡画像Xに基づいて、表示画像Yを生成し、出力部45に出力する。図2に示すように、表示画像Yには、診断支援情報Cを表示する第1領域A1と、第1領域A1とは異なる領域であって内視鏡画像Xと注目領域Lの位置情報を表示する第2領域A2とが設けられる。
位置情報は、例えば、内視鏡画像X上の注目領域Lを囲むマーカMによって表示される。なお、位置情報は、マーカMに限定されず、矢印画像、又は、アイコン等の他の画像によって表示されてもよい。
また、表示制御部43は、第1領域A1において診断支援情報Cを表示する第1期間と、第2領域A2において内視鏡画像Xに重畳して位置情報を表示する第2期間とが互いに異なるように、表示画像Yを制御する。
記憶部44は、RAM、ROM、フラッシュROM、HDD、又は、SSD等の読み書き可能な記憶素子を有する。
記憶部44には、内視鏡システムEsを制御するための各種データ又は各種プログラムの他、検出部P1、分類部P2、及び、期間設定部P3のプログラムも記憶される。
また、記憶部44には、検出部P1におけるマッチングに用いられるモデル情報、及び、分類部P2において用いられる所定分類条件も記憶される。所定分類条件は、例えば、腫瘍の重篤度を分類するNICE分類に基づいて、注目領域Lを分類できるように予め定められる。記憶部44は、内視鏡画像X等の情報を一時保存するワーキングメモリとしても使用される。
出力部45は、表示部51を接続する回路である。出力部45は、表示制御部43によって生成された表示画像Yを表示部51に出力する。
表示部51は、LCD、OLED等の表示パネルを有する。表示部51は、出力部45と接続され、出力部45から入力した表示画像Yを表示する。なお、表示部51は、無線通信によって診断支援装置41と接続されてもよい。
(診断支援処理に用いられるプログラムの構成)
続いて、検出部P1、分類部P2、及び、期間設定部P3について説明をする。検出部P1、分類部P2、及び、期間設定部P3は、診断支援装置41の診断支援処理に用いられるプログラムである。
続いて、検出部P1、分類部P2、及び、期間設定部P3について説明をする。検出部P1、分類部P2、及び、期間設定部P3は、診断支援装置41の診断支援処理に用いられるプログラムである。
検出部P1は、内視鏡21によって取得した内視鏡画像Xから、所定検出処理によって注目領域Lを検出し、注目領域Lの位置情報を出力する。所定検出処理は、例えば、所定輪郭抽出処理によって互いに隣り合う画素における画素値の変化量から輪郭を抽出し、記憶部44から読み込まれたモデル情報とのマッチングによって注目領域Lを検出する。位置情報は、例えば、注目領域Lの中心の座標である。検出部P1は、内視鏡画像Xから複数の注目領域Lを検出することも可能である。
また、検出部P1は、所定検出処理によって注目領域Lのサイズも検出する。注目領域Lのサイズは、例えば、注目領域Lの中心と外縁の間の距離情報である。
また、検出部P1は、所定検出処理によって内視鏡画像Xから処置具Tも検出し、処置具Tの位置情報も出力する(図2)。
なお、検出部P1の処理は、これに限定されず、例えば、内視鏡画像Xの色、空間周波数の算出によって行われてもよいし、又は、機械学習等の人工知能技術を用いた演算装置によって注目領域Lを検出する処理であってもよい。
分類部P2は、診断指標に対応した所定分類条件に基づいて、注目領域Lを分類し、注目領域Lの重篤度を示す診断支援情報Cを出力する。所定分類条件には、例えば、NICE分類に基づいた分類条件及び基準画像が含まれる。診断支援情報Cには、腺腫性病変と非腺腫性病変の各々の確度が含まれてもよい。
分類部P2は、検出部P1から注目領域Lが入力されると、注目領域Lの画像を抽出する。分類部P2は、抽出された画像の輝度値によって色調を検出する。分類部P2は、抽出された画像に基づいて、所定輪郭抽出処理によって血管模様及び表面模様を検出する。分類部P2は、検出結果と所定分類条件を比較し、所定演算によってType1からType3の各々の適合率を算出し、診断支援情報Cを生成する。表示制御部43は、第1期間中、表示画像Yの第1領域A1に診断支援情報Cを表示する。
なお、分類部P2の処理は、これに限定されず、人口知能技術を用いた演算装置によって行われてもよい。
図3は、本発明の第1実施形態に係わる、診断支援装置41の期間設定部P3の構成の一例を示すブロック図である。
期間設定部P3は、第1期間と第2期間が互いに異なるように、第1期間と第2期間の各々を設定する。より具体的には、期間設定部P3は、第1期間に、第2期間と重ならない期間が生じるように、第1期間と第2期間の各々を設定する。期間設定部P3は、第1設定部Q1と第2設定部Q2を有する。
第1設定部Q1は、第1期間を設定する。より具体的には、第1設定部Q1は、第1期間が開始する第1開始時刻Csと、第1期間が終了する第1終了時刻Ceとを設定する。図3に示すように、第1設定部Q1は、継続判定部Q1a、処置具判定部Q1b、指示入力判定部Q1c、及び、延長判定部Q1dを有する。
継続判定部Q1aは、検出部P1の検出結果に基づいて、注目領域Lが継続して検出されているか否かを判定する。例えば、継続判定部Q1aは、順次取得した内視鏡画像Xのフレームの各々を比較し、フレーム上に注目領域Lが継続して表れているか否かを判定する。継続判定部Q1aによって注目領域Lが継続して検出されていると判定されると、第1設定部Q1は、第1開始時刻Csに現在時刻等の所定制御情報をセットし、第1期間を開始させる。第1期間が開始すると、表示制御部43は、表示画像Yに診断支援情報Cを表示する。一方、継続判定部Q1aによって注目領域Lが継続して検出されなくなると、第1設定部Q1は、第1終了時刻Ceに所定制御情報をセットし、第1期間を終了させる。第1期間が終了すると、表示制御部43は、表示画像Yの診断支援情報Cを非表示にする。すなわち、第1設定部Q1は、注目領域Lが継続して検出されている期間を第1期間に設定する。
処置具判定部Q1bは、検出部P1の検出結果に基づいて、処置具Tが検出されているか否かを判定する。処置具判定部Q1bの処理は、第1期間内に行われる。処置具判定部Q1bによって処置具Tが検出されると、第1設定部Q1は、第1終了時刻Ceに所定制御情報をセットし、第1期間を終了させる。すなわち、第1設定部Q1は、内視鏡画像X内に処置具Tが検出されると、第1期間の終了の設定を行う。
指示入力判定部Q1cは、操作部31から入力された指示信号に基づいて、診断支援情報C及びマーカMによる情報表示の開始又は終了のいずれかの指示があるか否かを判定する。指示入力判定部Q1cによって情報表示の開始の指示信号があると判定されると、第1設定部Q1は、第1開始時刻Csに所定制御情報をセットし、第1期間を開始させる。一方、指示入力判定部Q1cによって情報表示の終了の指示信号があると判定されると、第1設定部Q1は、第1終了時刻Ceに所定制御情報をセットし、第1期間を終了させる。すなわち、第1設定部Q1は、術者の指示入力に応じ、第1期間の開始及び終了の少なくともいずれか一方の設定を行う。
延長判定部Q1dは、第1終了時刻Ceと第2終了時刻Meの差を判定する。より具体的には、延長判定部Q1dは、第1期間と第2期間の各々の終了時刻の差が所定差よりも小さいか否かを判定する。第1設定部Q1は、差が所定差よりも小さいと判定されたとき、診断支援情報Cが見やすくなるように、第1期間を所定延長時間だけ延長する。所定延長時間は、経験的又は実験的に予め定められる。
第2設定部Q2は、第1期間の設定に応じて第2期間を設定する。より具体的には、第2設定部Q2は、第1期間の設定と診断支援情報Cに応じ、第2期間が開始する第2開始時刻Msと、第2期間が終了する第2終了時刻Meとを設定する。第2設定部Q2は、重篤度判定部Q2a、サイズ判定部Q2b、個数判定部Q2c、動き判定部Q2d、及び、処置動作判定部Q2eを有する。
重篤度判定部Q2aは、分類部P2から出力された診断支援情報Cに基づいて、重篤度を判定する。分類部P2が、腺腫性病変と非腺腫性病変の各々の確度を有する診断支援情報Cを出力すると、重篤度判定部Q2aは、確度に基づいて、注目領域Lが腺腫性病変又は非腺腫性病変のいずれであるかを判定する。例えば、腺腫性病変の確度が所定度合い以上であるとき、重篤度判定部Q2aは、注目領域Lが腺腫性病変であると判定する。また、非腺腫性病変の確度が所定度合い以上であるとき、重篤度判定部Q2aは、注目領域Lが非腺腫性病変であると判定する。第2設定部Q2は、注目領域Lが非腺腫性病変と判定されたとき、より重篤度の高い注目領域Lを長く観察できるように、注目領域Lが腺腫性病変であると判定されたときよりも第2期間を長く設定する。非腺腫性病変及び腺腫性病変の各々の第2期間の長さは、経験的又は実験的に、予め定められる。以下のサイズ判定部Q2b、個数判定部Q2c、動き判定部Q2dにおいても同様に、判定結果の各々に応じた第2期間の長さが、経験的又は実験的に、予め定められる。
例えば、腺腫性病変であると判定されたときにおける第2期間が1秒に予め定められ、非腺腫性病変であると判定されたときにおける第2期間が2秒に予め定められているとき、重篤度判定部Q2aによって注目領域Lが非腺腫性病変であると判定されると、第2設定部Q2は、第2期間の長さが2秒になるように、第2開始時刻Ms及び第2終了時刻Meを決定し、第2期間を設定する。より具体的には、非腺腫性病変であると判定されたとき、第2設定部Q2は、第2開始時刻Msを第1開始時刻Csと同じ時刻に設定し、第2開始時刻Msに2秒加算した時刻を第2終了時刻Meに設定する。
サイズ判定部Q2bは、検出部P1によって検出された注目領域Lのサイズを判定する。検出部P1が所定検出処理によって注目領域Lのサイズを検出すると、サイズ判定部Q2bは、サイズが所定サイズよりも小さいか否かを判定する。第2設定部Q2は、サイズが所定サイズよりも小さいと判定されたとき、サイズが所定サイズよりも大きいと判定されたときよりも第2期間を長く設定する。
また、サイズ判定部Q2bは、小さい注目領域Lを無視することができるように、サイズが5mm以下であるか否かを判定する。第2設定部Q2は、サイズが5mm以下であると判定されたとき、第2期間の設定の処理を行う。
なお、第2設定部Q2は、重篤度判定部Q2aとサイズ判定部Q2bの判定結果の両方に基づいて、第2期間を設定してもよい。例えば、第2設定部Q2は、注目領域Lが腺腫性病変であってサイズが所定サイズよりも小さいと判定されたとき、所定サイズよりも大きいと判定されたときよりも第2期間を長く設定してもよい。すなわち、サイズ判定部Q2bは、サイズを判定し、第2設定部Q2は、サイズ判定部Q2bの判定の結果に応じ、第2期間を設定する。
個数判定部Q2cは、検出部P1から入力される注目領域Lの個数が所定個数よりも多いか否かを判定する。第2設定部Q2は、個数が所定個数よりも多いと判定されたとき、個数が所定個数よりも少ないと判定されたときよりも第2期間を長く設定する。すなわち、第2設定部Q2は、注目領域Lの個数に応じ、第2期間を設定する。
また、第2設定部Q2は、注目領域Lの個数が複数であるとき、注目領域Lの各々に互いに異なる第2期間を設定する。検出部P1によって注目領域Lが同時に複数検出されているとき、第2設定部Q2は、第2期間の開始を互いに所定時間だけずらすことによって注目領域Lの各々の第2期間を設定してもよい。例えば、注目領域Lが3個検出され、所定時間が0.5秒であるとき、第2設定部Q2は、1個目の注目領域Lの第2期間を開始させた後、0.5秒経過後に2個目の注目領域Lの第2期間を開始させ、さらに0.5秒経過後に3個目の注目領域Lの第2期間を開始させるように設定してもよい。
動き判定部Q2dは、検出部P1によって検出された注目領域Lの動きの判定を行う。より具体的には、動き判定部Q2dは、内視鏡画像X内の注目領域Lの動き方向及び動き量の判定を行う。第2設定部Q2は、動き方向及び動き量に応じ、第2期間を設定する。
例えば、動き判定部Q2dは、動き量が所定量よりも大きいか否かを判定する。第2設定部Q2は、動き量が所定量よりも大きいと判定されたとき、動き量が所定量よりも小さいと判定されたときよりも第2期間を長く設定する。
また、第2設定部Q2は、動き方向が内視鏡画像Xの中心へ向かう方向であると判定されとき、動き方向が内視鏡画像Xの外方へ向かう方向であると判定されたときよりも、第2期間を長く設定する。
処置動作判定部Q2eは、検出部P1によって検出された処置具Tが所定処置動作をしたか否かの判定を行う。第2設定部Q2は、所定処置動作をしたと判定されたとき、第2期間の終了の設定を行う。所定処置動作は、例えば、処置具Tの先端部から図示しないスネアを突出させる動作である。所定処置動作は、これに限定されず、例えば、処置具Tを注目領域Lに近付ける動作であってもよいし、注目領域Lに処置具Tから流体を噴き付ける動作であってもよいし、注目領域Lのマーキングを行う動作であってもよいし、又は、注目領域Lの腫瘍の切除の動作であってもよい。
第1設定部及び第2設定部における判定条件は、工場出荷時又は術者の指示入力によって予め定めることができるように構成してもよい。この場合においても、第1期間と第2期間が同じになると、第1設定部Q1は、第1期間に第2期間と重ならない期間が生じるように、第1終了時刻Ceをさらに遅らせる。
例えば、第1設定部Q1は、検出部P1における注目領域Lの検出によって第1期間を開始するように予め定めてもよいし、レリーズ操作、フリーズ操作、又は、情報表示の開始等、術者の指示入力によって第1期間を開始するように予め定めてもよい。
また、第1設定部Q1は、注目領域Lの非検出によって第1期間を終了するように予め定めてもよいし、レリーズ解除、フリーズ解除、又は、情報表示の終了等、術者の指示入力によって第1期間を終了するように予め定めてもよいし、第1開始時刻Csから所定第1時間の経過によって第1期間を終了するように予め定めてもよい。
また、第2設定部Q2は、第1期間の開始に応じて第2期間を開始するように予め定めてもよいし、術者の指示入力によって第2期間を開始するように予め定めてもよい。
また、第2設定部Q2は、注目領域Lの非検出によって第2期間を終了するように予め定めてもよいし、術者の指示入力によって第2期間を終了するように予め定めてもよいし、第2開始時刻Msから所定第2時間の経過によって第2期間を終了するように予め定めてもよい。
(動作)
続いて、診断支援装置41の動作を説明する。
続いて、診断支援装置41の動作を説明する。
図4は、本発明の第1実施形態に係わる、診断支援装置41の診断支援処理の一例を示すフローチャートである。
操作部31から診断支援処理の開始の指示入力があると、表示制御部43は、記憶部44からプログラムを読み込み、診断支援処理を開始する。
内視鏡画像Xを取得する(S1)。表示制御部43は、入力部42を介して内視鏡21によって取得した内視鏡画像Xを取得する。
注目領域Lの位置情報を検出する(S2)。検出部P1における所定検出処理によって注目領域Lが検出され、注目領域Lの位置情報が出力される。
診断支援情報Cを生成する(S3)。分類部P2の処理により、所定分類条件に基づいて注目領域Lが分類され、注目領域Lの重篤度を示す診断支援情報Cが出力される。
第1期間と第2期間を設定する(S4)。期間設定部P3の処理により、互いに異なるように、第1期間と第2期間が設定される。
表示画像Yの生成を行う(S5)。表示制御部43は、第2領域A2に内視鏡画像Xを表示する。表示制御部43は、第1期間中に第1領域A1に診断支援情報Cを表示する。表示制御部43は、第2期間中に第2領域A2の注目領域Lを囲むようにマーカMを表示する。
すなわち、診断支援プログラムは、内視鏡21によって取得した内視鏡画像Xから、所定検出処理によって注目領域Lを検出し、注目領域Lの位置情報を出力するコードと、所定分類条件に基づいて、注目領域Lを分類し、注目領域Lの重篤度を示す診断支援情報Cを出力するコードと、第1領域A1において診断支援情報Cを表示する第1期間と、第2領域A2において内視鏡画像Xに重畳して位置情報を表示する第2期間とが互いに異なるように、表示画像Yを制御するコードと、をコンピュータに実行させる。
また、診断支援方法は、検出部P1により、内視鏡21によって取得した内視鏡画像Xから、所定検出処理によって注目領域Lを検出し、注目領域Lの位置情報を出力し、分類部P2により、所定分類条件に基づいて、注目領域Lを分類し、注目領域Lの重篤度を示す診断支援情報Cを出力し、表示制御部43により、第1領域A1において診断支援情報Cを表示する第1期間と、第2領域A2において内視鏡画像Xに重畳して位置情報を表示する第2期間とが互いに異なるように、表示画像Yを制御する。
図5は、本発明の第1実施形態に係わる、診断支援装置の表示画像Yの遷移の一例を説明するための説明図である。
図5の表示画像Y1には、注目領域Lを有する内視鏡画像Xが表示されている。診断支援装置41では、注目領域Lが検出されるものの、術者が目視によって注目領域Lの診断を行うことができるように、表示画像Y1上の診断支援情報CとマーカMは、非表示にされる。
術者が操作部31を介して情報表示の開始の指示入力を行うと、指示入力判定部Q1cが情報表示の開始の指示入力があったと判定する。第1設定部Q1は、第1期間の開始の設定を行う。表示制御部43は、第1開始時刻Csから表示画像Y2に診断支援情報Cを表示する。第2設定部Q2は、第1期間の開始に応じ、第2期間の開始の設定を行う。表示制御部43は、第2開始時刻Msから表示画像Y2にマークMを表示する。第2設定部Q2は、重篤度判定部Q2a、サイズ判定部Q2b、個数判定部Q2c、及び、動き判定部Q2dの判定結果に基づいて第2終了時刻Meを設定する。
第2終了時刻Meになると、術者が診断支援情報Cと内視鏡画像Xを目視して診断をすることができるように、表示制御部43は、診断支援情報Cを表示させた状態でマークMを非表示にする。表示画像Y3は、診断支援情報Cが表示され、かつマークMが非表示された例を示す。
術者は、目視による診断が終了した後、診断支援情報C及びマークMを非表示にすることができる。術者が操作部31を介して情報表示の終了の指示入力を行うと、指示入力判定部Q1cが情報表示の終了の指示入力があったと判定し、第1設定部Q1は、第1期間の終了の設定を行う。表示画像Y4に示すように、表示制御部43は、第1終了時刻Ceにおいて、診断支援情報C及びマークMの両方を非表示にする。なお、第1設定部Q1は、延長判定部Q1dによって第1終了時刻Ceと第2終了時刻Meの差が所定差よりも小さいと判定されたとき、第1期間に、第2期間と重ならない期間が生じるように、第1期間を所定延長時間だけ延長する。
内視鏡システムEsでは、注目領域Lを検出すると、内視鏡画像X上にマーカMが表示され、内視鏡画像Xとは異なる領域に診断支援情報Cが表示される。続いて、内視鏡システムEsでは、診断支援情報Cが表示された状態でマーカMが非表示にされる。これにより、術者は、内視鏡画像上のマーカMによって注目領域Lの位置を把握し、診断支援情報Cから注目領域Lの重篤度を把握し、診断を進めることができる。続いて、術者は、マーカMが非表示にされた注目領域Lを目視し、診断支援情報Cから注目領域Lの重篤度を把握し、診断を進めることができる。
第1実施形態によれば、診断支援装置41は、術者の診断中に内視鏡画像Xの観察を阻害しないように、注目領域Lの位置情報と注目領域Lの重篤度を示す診断支援情報Cを出力して診断を支援することができる。
(第2実施形態)
第1実施形態では、第1期間と第2期間が同時に開始するが、第2期間の終了に応じて第1期間が開始してもよい。
第1実施形態では、第1期間と第2期間が同時に開始するが、第2期間の終了に応じて第1期間が開始してもよい。
図6は、本発明の第2実施形態に係わる、診断支援装置の表示画像Yの遷移の一例を説明するための説明図である。本実施形態では、他の実施形態と同じ構成については、説明を省略する。
第2期間終了判定部Q1e(図3の2点鎖線)は、第2期間が終了したか否かを判定する。第2期間終了判定部Q1eによって第2期間が終了したと判定されると、第1設定部Q1は、第1期間を開始させる。
指示入力判定部Q1cは、操作部31から入力された指示信号に基づいて、情報表示の開始又は終了のいずれかの指示があるか否かを判定する。指示入力判定部Q1cによって情報表示の開始の指示信号があると判定されると、第2設定部Q2は、第2開始時刻Msに所定制御情報をセットし、第2期間を開始させる。一方、指示入力判定部Q1cによって第2期間の終了の指示信号があると判定されると、第2設定部Q2は、第2終了時刻Meに所定制御情報をセットし、第2期間を終了させる。
図6の表示画像Z1、Z4は、表示画像Y1と同じであるため、説明を省略する。
術者が操作部31を介して情報表示の開始の指示入力を行うと、指示入力判定部Q1cが情報表示の開始の指示入力があったと判定し、第2設定部Q2は、第2期間の開始の設定を行う。表示制御部43は、第2開始時刻Msから表示画像Z2にマークMを表示する。
第2終了時刻Meになって第2期間が終了すると、第2期間終了判定部Q1eは、第2期間が終了したと判定する。第2期間が終了したと判定されると、第1設定部Q1は、第1期間の開始を設定する。表示制御部43は、第1期間の開始によって診断支援情報Cを表示し、第2期間の終了によってマークMを非表示にする。表示画像Z3は、診断支援情報Cが表示にされ、かつマークMが非表示にされた例を示す。
内視鏡システムEsでは、注目領域Lを検出すると、内視鏡画像X上にマーカMが表示される。続いて、内視鏡システムEsでは、マーカMが非表示にされ、診断支援情報Cが表示される。これにより、術者は、内視鏡画像上のマーカMによって注目領域Lの位置を把握し、診断を進めることができる。続いて、術者は、マーカMが非表示にされた注目領域Lを目視し、診断支援情報Cから注目領域Lの重篤度を把握し、診断を進めることができる。
第2実施形態によれば、診断支援装置41は、術者の診断中に内視鏡画像Xの観察を阻害しないように、注目領域Lの位置情報と注目領域Lの重篤度を示す診断支援情報Cを出力して診断を支援することができる。
なお、実施形態では、期間設定部P3は、継続判定部Q1a、処置具判定部Q1b、指示入力判定部Q1c、延長判定部Q1d、第2期間終了判定部Q1e、重篤度判定部Q2a、サイズ判定部Q2b、個数判定部Q2c、動き判定部Q2d、及び、処置動作判定部Q2eを有するが、これらの一部を有するように構成してもよい。
なお、実施形態では、表示部51は1つであるが、複数設けられてもよい。例えば、表示部51が2つ設けられているとき、一方を第1領域A1とし、他方を第2領域A2としてもよい。
なお、実施形態の動作の説明では、情報表示の開始及び終了が、術者の指示入力に応じて行われるが、検出部P1による注目領域Lの検出に応じて行われてもよい。例えば、第1実施形態では、検出部P1による注目領域Lの検出の開始から終了までの期間を第1期間に設定してもよい。例えば、第2実施形態では、検出部P1による注目領域Lの検出の開始に応じて第2期間が開始し、注目領域Lの非検出に応じて第1期間が終了してもよい。
なお、第1実施形態では、第1期間と第2期間が同時に開始するが、同時でなくてもよい。例えば、第1期間が第2期間よりも先に開始してもよいし、第2期間が第1期間よりも先に開始してもよい。
なお、第2実施形態では、第2期間の終了に応じて第1期間が開始し、第1期間と第2期間が互いに重なる期間はない。第2期間と重ならない期間が第1期間に設けられれば、第1期間と第2期間が互いに重なる期間があってもよい。
なお、実施形態では、第1期間が第2期間よりも後に終了するが、第2期間と重ならない期間が第1期間に設けられれば、第2期間が第1期間よりも後に終了してもよい。例えば、第1期間が第2期間よりも先に開始されれば、第2期間が第1期間よりも後に終了してもよい。
本実施形態における各手順の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。さらに、本実施形態における各手順の各ステップの全てあるいは一部をハードウェアにより実現してもよい。例えば、検出部P1、分類部P2、期間設定部P3の全て又は一部が回路によって構成されてもよい。
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
Claims (24)
- 内視鏡によって取得した内視鏡画像から、注目領域を検出し、前記注目領域の位置情報を出力する検出部と、
診断指標に対応した所定分類条件に基づいて、前記注目領域を分類し、前記注目領域の重篤度を示す診断支援情報を出力する分類部と、
第1領域において前記診断支援情報を表示する第1期間と、第2領域において前記内視鏡画像に重畳して前記位置情報を表示する第2期間とが互いに異なるように、表示画像を制御する表示制御部と、
を有する診断支援装置。 - 前記表示制御部は、期間設定部を有し、
前記期間設定部は、前記第1期間に、前記第2期間と重ならない期間が生じるように、前記第1期間と前記第2期間の各々を設定する、
請求項1に記載の診断支援装置。 - 前記期間設定部は、第1設定部と第2設定部を有し、
前記第1設定部は、前記第1期間を設定し、
前記第2設定部は、前記第1期間の設定に応じて前記第2期間を設定する、
請求項2に記載の診断支援装置。 - 前記第1設定部は、前記注目領域が継続して検出されている期間を前記第1期間に設定する、請求項3に記載の診断支援装置。
- 前記第1設定部は、前記内視鏡画像内に処置具が検出されると、前記第1期間の終了の設定を行う、請求項3に記載の診断支援装置。
- 前記第1設定部は、術者の指示入力に応じ、前記第1期間の開始及び終了の少なくともいずれか一方の設定を行う、請求項3に記載の診断支援装置。
- 前記第1設定部は、前記第2期間が終了すると、前記第1期間の開始を設定する、請求項3に記載の診断支援装置。
- 前記第2設定部は、前記第1期間の設定と前記診断支援情報に応じ、前記第2期間を設定する、請求項3に記載の診断支援装置。
- 前記第2設定部は、前記重篤度に応じ、前記第2期間を設定する、請求項8に記載の診断支援装置。
- 前記分類部は、腺腫性病変と非腺腫性病変の各々の確度を有する前記診断支援情報を出力し、
前記期間設定部は、重篤度判定部を有し、
前記重篤度判定部は、前記確度に基づいて、前記注目領域が前記腺腫性病変又は前記非腺腫性病変のいずれであるかを判定し、
前記第2設定部は、前記注目領域が前記非腺腫性病変と判定されたとき、前記注目領域が前記腺腫性病変であると判定されたときよりも第2期間を長く設定する、
請求項9に記載の診断支援装置。 - 前記検出部は、前記注目領域のサイズを検出し、
前記期間設定部は、サイズ判定部を有し、
前記サイズ判定部は、前記サイズを判定し、
前記第2設定部は、前記サイズ判定部の判定の結果に応じ、前記第2期間を設定する、
請求項3に記載の診断支援装置。 - 前記サイズ判定部は、前記サイズが所定サイズよりも小さいか否かを判定し、
前記第2設定部は、前記サイズが前記所定サイズよりも小さいと判定されたとき、前記サイズが前記所定サイズよりも大きいと判定されたときよりも第2期間を長く設定する、
請求項11に記載の診断支援装置。 - 前記サイズ判定部は、前記サイズが5mm以下であるか否かを判定し、
前記第2設定部は、前記サイズが5mm以下であると判定されたとき、前記第2期間の設定の処理を行う、
請求項11に記載の診断支援装置。 - 前記分類部は、腺腫性病変と非腺腫性病変の各々の確度を有する前記診断支援情報を出力し、
前記期間設定部は、重篤度判定部を有し、
前記重篤度判定部は、前記確度に基づいて、前記注目領域が前記腺腫性病変又は前記非腺腫性病変のいずれであるかを判定し、
前記第2設定部は、前記注目領域が前記腺腫性病変であって前記サイズが前記所定サイズよりも小さいと判定されたとき、前記所定サイズよりも大きいと判定されたときよりも前記第2期間を長く設定する、
請求項12に記載の診断支援装置。 - 前記第2設定部は、前記注目領域の個数に応じ、前記第2期間を設定する、請求項3に記載の診断支援装置。
- 前記期間設定部は、個数判定部を有し、
前記個数判定部は、前記個数が所定個数よりも多いか否かを判定し、
前記第2設定部は、前記個数が前記所定個数よりも多いと判定されたとき、前記個数が前記所定個数よりも少ないと判定されたときよりも前記第2期間を長く設定する、
請求項15に記載の診断支援装置。 - 前記第2設定部は、前記個数が複数であるとき、前記注目領域の各々に互いに異なる前記第2期間を設定する、請求項15に記載の診断支援装置。
- 前記期間設定部は、動き判定部を有し、
前記動き判定部は、前記内視鏡画像内の前記注目領域の動き方向及び動き量の判定を行い、
前記第2設定部は、前記動き方向及び前記動き量に応じ、前記第2期間を設定する、
請求項3に記載の診断支援装置。 - 前記動き判定部は、前記動き量が所定量よりも大きいか否かを判定し、
前記第2設定部は、前記動き量が前記所定量よりも大きいと判定されたとき、前記動き量が前記所定量よりも小さいと判定されたときよりも前記第2期間を長く設定する、
請求項18に記載の診断支援装置。 - 前記第2設定部は、前記動き方向が内視鏡画像の中心へ向かう方向であると判定されとき、前記動き方向が内視鏡画像の外方へ向かう方向であると判定されたときよりも、前記第2期間を長く設定する、請求項18に記載の診断支援装置。
- 前記期間設定部は、処置動作判定部を有し、
前記処置動作判定部は、前記検出部によって検出された処置具が所定処置動作をしたか否かの判定を行い、
前記第2設定部は、前記所定処置動作をしたと判定されたとき、前記第2期間の終了の設定を行う、
請求項3に記載の診断支援装置。 - 前記第1設定部は、延長判定部を有し、
前記延長判定部は、前記第1期間と前記第2期間の各々の終了時刻の差が所定差よりも小さいか否かを判定し、
前記第1設定部は、前記差が前記所定差よりも小さいと判定されたとき、前記第1期間を所定延長時間だけ延長する、
請求項3に記載の診断支援装置。 - 内視鏡によって取得した内視鏡画像から、注目領域を検出し、前記注目領域の位置情報を出力するコードと、
診断指標に対応した所定分類条件に基づいて、前記注目領域を分類し、前記注目領域の重篤度を示す診断支援情報を出力するコードと、
第1領域において前記診断支援情報を表示する第1期間と、第2領域において前記内視鏡画像に重畳して前記位置情報を表示する第2期間とが互いに異なるように、表示画像を制御するコードと、
をコンピュータに実行させるための診断支援プログラム。 - 検出部により、内視鏡によって取得した内視鏡画像から、注目領域を検出し、前記注目領域の位置情報を出力し、
分類部により、診断指標に対応した所定分類条件に基づいて、前記注目領域を分類し、前記注目領域の重篤度を示す診断支援情報を出力し、
表示制御部により、第1領域において前記診断支援情報を表示する第1期間と、第2領域において前記内視鏡画像に重畳して前記位置情報を表示する第2期間とが互いに異なるように、表示画像を制御する、
診断支援方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201880091997.2A CN111989025A (zh) | 2018-03-30 | 2018-03-30 | 诊断辅助装置、诊断辅助方法和诊断辅助程序 |
PCT/JP2018/013767 WO2019187049A1 (ja) | 2018-03-30 | 2018-03-30 | 診断支援装置、診断支援方法及び診断支援プログラム |
JP2020508824A JP6956853B2 (ja) | 2018-03-30 | 2018-03-30 | 診断支援装置、診断支援プログラム、及び、診断支援方法 |
US17/032,765 US11457876B2 (en) | 2018-03-30 | 2020-09-25 | Diagnosis assisting apparatus, storage medium, and diagnosis assisting method for displaying diagnosis assisting information in a region and an endoscopic image in another region |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/013767 WO2019187049A1 (ja) | 2018-03-30 | 2018-03-30 | 診断支援装置、診断支援方法及び診断支援プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US17/032,765 Continuation US11457876B2 (en) | 2018-03-30 | 2020-09-25 | Diagnosis assisting apparatus, storage medium, and diagnosis assisting method for displaying diagnosis assisting information in a region and an endoscopic image in another region |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019187049A1 true WO2019187049A1 (ja) | 2019-10-03 |
Family
ID=68061104
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/013767 WO2019187049A1 (ja) | 2018-03-30 | 2018-03-30 | 診断支援装置、診断支援方法及び診断支援プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11457876B2 (ja) |
JP (1) | JP6956853B2 (ja) |
CN (1) | CN111989025A (ja) |
WO (1) | WO2019187049A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113487609A (zh) * | 2021-09-06 | 2021-10-08 | 北京字节跳动网络技术有限公司 | 组织腔体的定位方法、装置、可读介质和电子设备 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020059526A1 (ja) * | 2018-09-18 | 2020-03-26 | 富士フイルム株式会社 | 医用画像処理装置、プロセッサ装置、医用画像処理方法、及びプログラム |
JP7038641B2 (ja) * | 2018-11-02 | 2022-03-18 | 富士フイルム株式会社 | 医療診断支援装置、内視鏡システム、及び作動方法 |
JP7488789B2 (ja) * | 2021-05-12 | 2024-05-22 | 富士フイルムヘルスケア株式会社 | 超音波診断装置及び診断支援方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016199273A1 (ja) * | 2015-06-11 | 2016-12-15 | オリンパス株式会社 | 内視鏡装置及び内視鏡装置の作動方法 |
WO2017057574A1 (ja) * | 2015-09-29 | 2017-04-06 | 富士フイルム株式会社 | 画像処理装置、内視鏡システム、及び画像処理方法 |
WO2017203560A1 (ja) * | 2016-05-23 | 2017-11-30 | オリンパス株式会社 | 内視鏡画像処理装置 |
JP2017213097A (ja) * | 2016-05-30 | 2017-12-07 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4651353B2 (ja) | 2004-10-19 | 2011-03-16 | 株式会社日立メディコ | 診断支援システム |
JP2010035756A (ja) * | 2008-08-04 | 2010-02-18 | Fujifilm Corp | 診断支援装置及び診断支援方法 |
JP5455550B2 (ja) * | 2009-10-23 | 2014-03-26 | Hoya株式会社 | 電子内視鏡用プロセッサ |
JP2011255006A (ja) * | 2010-06-09 | 2011-12-22 | Olympus Corp | 画像処理装置、内視鏡装置、プログラム及び画像処理方法 |
JP6104543B2 (ja) * | 2011-09-16 | 2017-03-29 | 東芝メディカルシステムズ株式会社 | 超音波診断装置、超音波画像表示装置、及び超音波画像表示方法 |
JP5690788B2 (ja) * | 2012-09-07 | 2015-03-25 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、及びカプセル内視鏡システム |
JP6259747B2 (ja) * | 2014-09-30 | 2018-01-10 | 富士フイルム株式会社 | プロセッサ装置、内視鏡システム、プロセッサ装置の作動方法、及びプログラム |
WO2016117277A1 (ja) * | 2015-01-21 | 2016-07-28 | Hoya株式会社 | 内視鏡システム |
JP6513209B2 (ja) * | 2015-09-28 | 2019-05-15 | 富士フイルム株式会社 | 内視鏡システム及び内視鏡システムの作動方法 |
CN106557536B (zh) * | 2015-09-30 | 2021-12-21 | 松下知识产权经营株式会社 | 控制方法 |
WO2017081976A1 (ja) * | 2015-11-10 | 2017-05-18 | オリンパス株式会社 | 内視鏡装置 |
US10339650B2 (en) * | 2016-01-07 | 2019-07-02 | Koios Medical, Inc. | Method and means of CAD system personalization to reduce intraoperator and interoperator variation |
JPWO2018078724A1 (ja) * | 2016-10-25 | 2019-09-05 | オリンパス株式会社 | 内視鏡画像処理装置及び内視鏡画像処理方法 |
CN107220975B (zh) * | 2017-07-31 | 2018-03-09 | 合肥工业大学 | 宫颈图像智能辅助判断***及其处理方法 |
-
2018
- 2018-03-30 JP JP2020508824A patent/JP6956853B2/ja active Active
- 2018-03-30 CN CN201880091997.2A patent/CN111989025A/zh active Pending
- 2018-03-30 WO PCT/JP2018/013767 patent/WO2019187049A1/ja active Application Filing
-
2020
- 2020-09-25 US US17/032,765 patent/US11457876B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016199273A1 (ja) * | 2015-06-11 | 2016-12-15 | オリンパス株式会社 | 内視鏡装置及び内視鏡装置の作動方法 |
WO2017057574A1 (ja) * | 2015-09-29 | 2017-04-06 | 富士フイルム株式会社 | 画像処理装置、内視鏡システム、及び画像処理方法 |
WO2017203560A1 (ja) * | 2016-05-23 | 2017-11-30 | オリンパス株式会社 | 内視鏡画像処理装置 |
JP2017213097A (ja) * | 2016-05-30 | 2017-12-07 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113487609A (zh) * | 2021-09-06 | 2021-10-08 | 北京字节跳动网络技术有限公司 | 组织腔体的定位方法、装置、可读介质和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111989025A (zh) | 2020-11-24 |
US11457876B2 (en) | 2022-10-04 |
JP6956853B2 (ja) | 2021-11-02 |
JPWO2019187049A1 (ja) | 2021-03-18 |
US20210113159A1 (en) | 2021-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019187049A1 (ja) | 診断支援装置、診断支援方法及び診断支援プログラム | |
CN108348145A (zh) | 内窥镜装置 | |
JP5080944B2 (ja) | パノラマ眼底画像合成装置及び方法 | |
JP6392570B2 (ja) | 画像処理装置、画像処理装置の作動方法、画像処理プログラム、及び内視鏡システム | |
WO2017073337A1 (ja) | 内視鏡装置 | |
WO2018198327A1 (ja) | 内視鏡診断支援システム、内視鏡診断支援プログラム及び内視鏡診断支援方法 | |
JP7045453B2 (ja) | 内視鏡画像処理装置、内視鏡画像処理装置の作動方法およびプログラム | |
CN113164023B (zh) | 内窥镜***和内窥镜用图像处理方法、以及计算机可读存储介质 | |
JPWO2013008526A1 (ja) | 画像処理装置 | |
US20240087113A1 (en) | Recording Medium, Learning Model Generation Method, and Support Apparatus | |
JPWO2019069629A1 (ja) | 画像処理装置及び学習済みモデル | |
JP7017646B2 (ja) | 内視鏡用画像処理装置、及び、内視鏡用画像処理装置の作動方法、並びに、内視鏡用画像処理プログラム | |
WO2023126999A1 (ja) | 画像処理装置、画像処理方法、及び、記憶媒体 | |
JP7146318B1 (ja) | コンピュータプログラム、学習モデルの生成方法、及び手術支援装置 | |
US20180098685A1 (en) | Endoscope apparatus | |
US20220346632A1 (en) | Image processing apparatus, image processing method, and non-transitory storage medium storing computer program | |
WO2022064998A1 (ja) | 検査支援装置、検査支援方法および検査支援プログラム | |
WO2024024022A1 (ja) | 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体 | |
JP7391113B2 (ja) | 学習用医療画像データ作成装置、学習用医療画像データ作成方法及びプログラム | |
WO2022065189A1 (ja) | 検査支援装置、検査支援方法および検査支援プログラム | |
WO2022191128A1 (ja) | 内視鏡システム及びその作動方法 | |
US20240135642A1 (en) | Endoscopic examination support apparatus, endoscopic examination support method, and recording medium | |
WO2024121886A1 (ja) | 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体 | |
JPWO2016056408A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JPWO2020059098A1 (ja) | 画像処理装置、内視鏡システム、および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18911720 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2020508824 Country of ref document: JP Kind code of ref document: A |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18911720 Country of ref document: EP Kind code of ref document: A1 |