WO2022080141A1 - 内視鏡撮影装置、方法およびプログラム - Google Patents

内視鏡撮影装置、方法およびプログラム Download PDF

Info

Publication number
WO2022080141A1
WO2022080141A1 PCT/JP2021/035966 JP2021035966W WO2022080141A1 WO 2022080141 A1 WO2022080141 A1 WO 2022080141A1 JP 2021035966 W JP2021035966 W JP 2021035966W WO 2022080141 A1 WO2022080141 A1 WO 2022080141A1
Authority
WO
WIPO (PCT)
Prior art keywords
endoscopic
image
imaging
endoscope
endoscopic image
Prior art date
Application number
PCT/JP2021/035966
Other languages
English (en)
French (fr)
Inventor
東 高橋
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to DE112021005393.0T priority Critical patent/DE112021005393T5/de
Priority to JP2022557351A priority patent/JPWO2022080141A1/ja
Publication of WO2022080141A1 publication Critical patent/WO2022080141A1/ja
Priority to US18/296,379 priority patent/US20230245311A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • This disclosure relates to endoscopic imaging equipment, methods and programs.
  • a similar case search device that searches for similar case images similar to the image to be diagnosed from a plurality of case images has been proposed.
  • Republishing 2018-180631 and Republishing 2017-199635 propose a method for searching for similar cases including images similar to images acquired by an endoscopy device and similar disease information. There is.
  • the present disclosure has been made in view of the above circumstances, and an object of the present invention is to utilize similar cases of endoscopic images for endoscopic imaging to improve the accuracy of diagnosis using endoscopic images. And.
  • the endoscopy apparatus comprises at least one processor.
  • the processor acquires an endoscopic image of the subject captured by an endoscope inserted into the body of the subject. Obtained by referring to an external device that stores multiple diagnosed endoscopic images and diagnostic logs for each of the diagnosed endoscopic images, including location information indicating the location of the disease. Search for similar endoscopic images similar to the characteristics of the endoscopic images that have been made from multiple diagnosed endoscopic images. Using the position information contained in the diagnostic log for similar endoscopic images, the imaging position in the subject that can image the predicted disease in the subject is identified. Notify the specified imaging position.
  • the "endoscopic image” is a moving image consisting of a plurality of frames.
  • the endoscopic image is acquired by continuously taking images in the subject, and the number of frames increases with the passage of time.
  • Diagnosed endoscopic image means an endoscopic image for which a diagnosis log has been created for diagnosis.
  • the processor identifies the current position of the tip of the endoscope in the subject.
  • An image schematically representing the inside of the subject may be displayed, and the imaging position may be notified by superimposing the tip position and the imaging position of the endoscope on the image schematically represented.
  • the processor when the tip of the endoscope moves within a predetermined range from the imaging position, the processor further notifies an index indicating the moving direction of the tip of the endoscope. It may be a thing.
  • the processor may create a diagnostic log describing the findings of the acquired endoscopic image.
  • the processor acquires a new endoscopic image at a specified imaging position, searches for a new similar endoscopic image based on the new endoscopic image, and new The identification of the imaging position and the notification of the new imaging position may be repeated.
  • the processor acquires a new endoscopic image at a specified imaging position, searches for a new similar endoscopic image based on the new endoscopic image, and new The identification of the imaging position, the notification of the new imaging position, and the update of the diagnostic log based on the findings about the new endoscopic image may be repeated.
  • the "new endoscope image” is from a predetermined time after the tip of the endoscope reaches the specified imaging position or before the tip of the endoscope reaches the specified imaging position. It means an endoscopic image added to the endoscopic image acquired in.
  • the processor detects a disease contained in the endoscopic image by analyzing the endoscopic image.
  • a diagnosed endoscopic image corresponding to a diagnostic log in which the same disease as the detected disease is described may be searched as a similar endoscopic image.
  • an endoscopic image of a subject taken by an endoscope inserted into the body of the subject is acquired. Obtained by referring to an external device that stores multiple diagnosed endoscopic images and diagnostic logs for each of the diagnosed endoscopic images, including location information indicating the location of the disease. Search for similar endoscopic images similar to the characteristics of the endoscopic images that have been made from multiple diagnosed endoscopic images. Using the position information contained in the diagnostic log for similar endoscopic images, the imaging position in the subject that can image the predicted disease in the subject is identified. Notify the specified imaging position.
  • FIG. 1 The figure which shows the schematic structure of the medical information system to which the endoscopy apparatus by embodiment of this disclosure is applied.
  • Functional configuration diagram of the endoscopic imaging device according to this embodiment A diagram schematically showing the file structure of a diagnosed endoscopic image Diagram showing diagnostic logs for similar endoscopic images Diagram to explain the part of the stomach Diagram showing the notification screen Diagram showing the notification screen Diagram showing the notification screen Flow chart showing processing performed in this embodiment
  • Functional configuration diagram of the endoscopic imaging device according to another embodiment Diagram showing diagnostic logs for similar endoscopic images A flowchart showing the processing performed in another embodiment.
  • FIG. 1 is a hardware configuration diagram showing an outline of a diagnostic support system to which the endoscopic imaging apparatus according to the embodiment of the present disclosure is applied.
  • the diagnosis support system 1 the endoscopic imaging device 2 and the image storage server 3 according to the present embodiment are connected in a communicable state via the network 4.
  • the endoscopic imaging device 2 is connected to an endoscope scope 5 that photographs the inside of the subject and a processor device 6 that generates an image of the inside of the subject based on the signal obtained by the imaging.
  • the endoscope scope 5 has an insertion portion inserted into the subject continuously attached to the operation portion 7.
  • the endoscope scope 5 is connected to the processor device 6 via a universal cord detachably connected to the processor device 6.
  • the operation unit 7 commands an operation so that the tip 8 of the insertion portion bends in the vertical direction and the horizontal direction within a predetermined angle range, or operates a puncture needle attached to the tip of the endoscope scope 5.
  • the endoscope scope 5 is a flexible scope for the stomach and is inserted into the stomach through the mouth or nose of the subject.
  • the processor device 6 converts the imaging signal captured by the endoscope scope 5 into a digital image signal, corrects the image quality by digital signal processing such as white balance adjustment and shading correction, and generates an endoscope image T0. .. Since the generated image is a color moving image represented by a predetermined sampling rate such as 60 fps, the endoscope image T0 is composed of a plurality of frames. The endoscope image T0 is sequentially transmitted from the generated frame to the endoscope photographing apparatus 2.
  • the image storage server 3 is a computer that stores and manages various data, and is equipped with a large-capacity external storage device and database management software.
  • the image storage server 3 communicates with the endoscopic imaging device 2 via a wired or wireless network 4, and is created by the endoscopic image acquired by the endoscopic imaging device 2 and the endoscopic imaging device 2. Send and receive diagnostic logs using endoscopic images.
  • the image storage server 3 stores and manages received endoscopic images, diagnostic logs, and the like in a recording medium such as a large-capacity storage device.
  • the storage format of the image data of the endoscope image and the communication between the devices via the network 4 are based on a protocol such as DICOM (Digital Imaging and Communication in Medicine). Further, the image storage server 3 is an example of an external device.
  • DICOM Digital Imaging and Communication in Medicine
  • the endoscopic image and the diagnostic log are associated with each other for each examination and stored in the image storage server 3.
  • the endoscopic image stored in the image storage server 3 is used for diagnosis and a diagnosis log is created. Therefore, in the following description, the endoscopic image acquired in one inspection and stored in the image storage server 3 is referred to as a diagnosed endoscopic image.
  • the diagnosis log describes the findings that are the results of the interpretation of the endoscopic image by the inspector.
  • Findings include information such as the location of the disease, the type and size of the disease found on the endoscopic image.
  • Findings include information such as the location of the disease, the type and size of the disease found on the endoscopic image.
  • findings including information indicating the names of gastric diseases such as gastritis, gastric ulcer, cancer, polyps and reflux esophagitis, and the location of the diseases when the diseases are observed are included.
  • the diagnostic log is created by the endoscopic imaging device 2.
  • FIG. 2 describes the hardware configuration of the endoscopic imaging apparatus according to the present embodiment.
  • the endoscopic imaging device 2 includes a CPU (Central Processing Unit) 11, a non-volatile storage 13, and a memory 16 as a temporary storage area.
  • the endoscopic imaging device 2 includes a display 14 such as a liquid crystal display, an input device 15 such as a keyboard and a mouse, a network I / F (InterFace) 17 connected to the network 4, and an I / connected to the processor device 6. Includes F18.
  • the CPU 11, the storage 13, the display 14, the input device 15, the memory 16, the networks I / F17 and the I / F18 are connected to the bus 19.
  • the CPU 11 is an example of a losser.
  • the storage 13 is realized by an HDD (Hard Disk Drive), an SSD (Solid State Drive), a flash memory, or the like.
  • the endoscopic imaging program 12 is stored in the storage 13 as a storage medium.
  • the CPU 11 reads the endoscopic imaging program 12 from the storage 13 and then expands it into the memory 16 to execute the expanded endoscopic imaging program 12.
  • FIG. 3 is a diagram showing a functional configuration of the endoscopic imaging apparatus according to the present embodiment.
  • the endoscope photographing apparatus 2 includes an image acquisition unit 21, a search unit 22, an imaging position specifying unit 23, an endoscope position specifying unit 24, a notification unit 25, a diagnostic log creating unit 26, and a communication unit 27.
  • the CPU 11 executes the endoscope photographing program 12
  • the CPU 11 has an image acquisition unit 21, a search unit 22, an imaging position specifying unit 23, an endoscope position specifying unit 24, a notification unit 25, and a diagnostic log creation. It functions as a unit 26 and a communication unit 27.
  • the image acquisition unit 21 sequentially acquires each frame of the endoscope image T0 transmitted from the processor device 6 via the I / F 18, and associates it with the inspection ID for identifying the inspection currently being performed. It is saved in the storage 13 as an image file of the two endoscope images T0.
  • the endoscope image T0 is a moving image, the number of frames acquired increases with the passage of time, and as a result, the capacity of the image file also increases.
  • the endoscopic image T0 for the examination currently being performed is referred to as an endoscopic image during diagnosis, and the same T0 as the endoscopic image may be used as a reference code.
  • the search unit 22 refers to the image storage server 3 and searches for a similar endoscopic image similar to the characteristics of the diagnostic endoscopic image T0 acquired by the image acquisition unit 21 from a plurality of diagnosed endoscopic images.
  • FIG. 4 is a diagram schematically showing a file structure of a plurality of diagnosed endoscopic images stored in the image storage server 3.
  • the image storage server 3 stores a plurality of image files 30-1, 30-2, 30-3, etc. of the diagnosed endoscopic images.
  • the image file of one diagnosed endoscopic image includes the endoscopic image 31 as a moving image acquired in one examination.
  • the image file of one diagnosed endoscopic image may include endoscopic images 34-1, 34-2 ... As a plurality of still images.
  • FIG. 4 shows that the endoscope image 31 as a moving image includes a plurality of frames 32-1, 32-2, 32-3 ....
  • one diagnosed endoscopic image is associated with a diagnosis log 33 for the examination.
  • the diagnostic log 33 is shown to be included in the image files 30-1, 30-2, 30-3 ... Of the diagnosed endoscope image, but the diagnostic log and the diagnosed endoscope image are included. It may be saved in the image storage server 3 as a separate file from the image storage server 3.
  • the search unit 22 derives the similarity S1 based on the correlation value between the endoscopic image T0 during diagnosis and the plurality of diagnosed endoscopic images. For example, the latest frame included in the endoscopic image T0 during diagnosis and each of the frames included in the diagnosed endoscopic image are aligned, and the difference in pixel values between the corresponding pixels of both frames after alignment is set. Calculate the absolute value as the correlation value. Then, the correlation value is normalized to a value of 0 to 1 to derive the similarity S1. The search unit 22 sorts the diagnosed endoscopic images in the order of including the frames having the higher similarity S1. Then, in the sorted diagnosed endoscopic images, a predetermined number of diagnosed endoscopic images having a similarity S1 higher than or equal to 1 is searched for as similar endoscopic images.
  • the imaging position specifying unit 23 refers to the diagnostic logs for all the searched similar endoscopic images, and determines whether or not the disease is described in the diagnostic logs. If the disease is not described in the diagnostic logs for all similar endoscopic images, the imaging position specifying unit 23 waits for the next similar endoscopic image to be searched. When there is a similar endoscopic image in which the disease is described in the diagnostic log, the imaging position specifying unit 23 is a position representing the disease and the position of the disease described in the diagnostic log of the similar endoscopic image having the highest degree of similarity. Identify the information. The position information thus identified represents a position in which the predicted disease in the esophagus and stomach of the subject H under examination can be imaged.
  • the imaging position specifying unit 23 identifies an imaging position capable of imaging a predicted disease in the esophagus and stomach of the subject H by using the position information of the identified disease.
  • the imaging position specifying unit 23 identifies the imaging position of all similar endoscopic images in which the disease and the position of the disease are described in the diagnosis log, based on the most common disease and the position of the disease. May be good.
  • FIG. 5 is a diagram showing a diagnostic log for a certain similar endoscopic image.
  • the diagnosis log 35 contains the description "There are signs of reflux esophagitis in the cardia.”
  • the imaging position specifying unit 23 acquires information of "reflux esophagitis” as the disease name and "cardia” as the position information from the diagnosis log 35. Therefore, the occurrence of reflux esophagitis in the cardia is predicted from the diagnosis log 35 of the similar endoscopic image.
  • the endoscope position specifying unit 24 specifies the current position of the endoscope tip 8. Specifically, the endoscope position specifying unit 24 identifies the current position of the endoscope tip 8 based on the current frame in the endoscopic image during diagnosis.
  • FIG. 6 is a diagram for explaining a part of the stomach. As shown in FIG. 6, the stomach is arranged in the order of the cardia, the fundus, the body of the stomach, the angular incisure, the vestibule, and the pylorus in order from the esophagus.
  • the endoscope positioning unit 24 has a trained model for detecting in which part of the stomach the frame represents an image, and using the trained model, the current frame is an image of which part of the stomach.
  • the part of the stomach detected by the trained model is specified at the current position of the endoscope tip 8.
  • the cardia, fundus, body of stomach, angular incisure, vestibule and pylorus each have a characteristic surface structure. Therefore, by learning the neural network using the image of each part of the esophagus and the stomach and the name of the part as teacher data, it is possible to construct a trained model for detecting the part of the stomach included in the frame.
  • the method for specifying the current position of the endoscope tip 8 is not limited to the above.
  • the endoscope tip 8 When the endoscope tip 8 is located inside the stomach, it always passes through the cardia. Therefore, based on the change in the image in the frame from the frame in which the cardia was detected to the current frame, the amount of movement of the endoscope tip 8 from the time it passed through the cardia to the present is calculated, and the calculated movement amount is used. Based on this, the approximate current position of the endoscope tip 8 may be specified. Since the cardia has a characteristic shape, the endoscope position specifying unit 24 detects a frame including the cardia from the endoscope image during diagnosis.
  • the detection of the frame including the cardia can be performed by using a trained model trained to detect the cardia, a template matching method, or the like, and endoscopy.
  • An acceleration sensor or a magnetic sensor may be provided on the tip 8 of the mirror, and the tip 8 of the endoscope may be detected by these sensors.
  • the notification unit 25 notifies the inspector of the imaging position specified by the imaging position specifying unit 23 and the current position of the endoscope tip 8 specified by the endoscope position specifying unit 24. Specifically, a map image schematically showing the esophagus and stomach of the subject H is displayed on the display 14, and the current position and the imaging position of the endoscope tip 8 are superimposed on the displayed map image for endoscopy. Notifies the current position of the mirror tip 8 and the imaging position.
  • FIG. 7 is a diagram showing a notification screen of the current position of the endoscope tip 8 and the imaging position. As shown in FIG. 7, the notification screen 40 has a first image area 41, a second image area 42, and a third image area 43.
  • the endoscope image T0 currently being photographed is displayed in the first image area 41.
  • the map image M0 is displayed in the second image area 42.
  • thumbnail images of frames extracted at predetermined time intervals are displayed with respect to the endoscopic image T0 acquired after the inspection is started.
  • the third image area 43 nine thumbnail images can be displayed in the areas C1 to C9.
  • the thumbnail images are displayed in order from the area C1 of the third image area 43 at predetermined time intervals after the inspection is started. Then, when a new frame is acquired after the nine thumbnail images are displayed, the thumbnail image of the new frame is displayed in the area C1, and the thumbnail images displayed so far are sequentially forwarded to the areas C2 to C9.
  • the thumbnail image displayed in the area C9 is deleted from the third image area 43.
  • the notification screen 40 displays a finding area 44 in which the inspector describes his / her findings regarding the endoscopic image T0.
  • the inspector can use the input device 15 to input findings about the endoscopic image T0 into the findings area 44. For example, if the current examination has already found a disease of gastritis, the finding area 44 describes the finding of "gastritis is found in the lower part of the vestibular region.”
  • the map image M0 shows an endoscope icon 51 that schematically represents an endoscope, and the position of the tip 52 thereof is the current position of the endoscope tip 8. Further, an arrow-shaped mark 53 is superimposed on the imaging position.
  • the imaging position indicates the position near the cardia suspected of having reflux esophagitis.
  • the notification unit 25 indicates an arrow indicating the direction in which the endoscope tip 8 should be moved to the first image region 41, as shown in FIG. 46 is displayed.
  • the arrow 46 indicates a direction in which the tip 8 of the endoscope is moved so as to return to the esophageal side. Further, in the map image M0, it can be seen that the tip 52 of the endoscope icon 51 is closer to the pylorus than in FIG. 7.
  • the arrow 46 is an example of an index indicating the moving direction of the endoscope.
  • the diagnosis log creation unit 26 creates a diagnosis log by describing the findings input by the inspector in the findings area 44 in the diagnosis log. For example, in FIG. 7, since the finding "Gastritis is seen in the lower part of the vestibular region" has already been entered, the diagnostic log creation unit 26 states that "Gastritis is seen in the lower part of the vestibular region” in the diagnostic log. . ".
  • the search unit 22 searches for a new similar endoscope image based on the new endoscope image. For example, when the inspector moves the endoscope tip 8 to the imaging position indicated by the mark 53 and a new endoscope image is acquired, the search unit 22 uses a new endoscope image, specifically, a new one. Search for new similar endoscopic images using the latest frames of endoscopic images. It should be noted that a new similar endoscopic image may be searched by using both the previously acquired endoscopic image and the new endoscopic image. For example, a similar endoscopic image may be searched using the last frame acquired at the immediately preceding imaging position and the latest frame.
  • the imaging position specifying unit 23 can identify a new imaging position capable of imaging a predicted disease by referring to the diagnosis log of the new similar endoscopic image. Then, when the notification unit 25 notifies the new imaging position, the inspector can move the endoscope tip 8 to the new imaging position and acquire a new endoscope image. The newly acquired endoscopic image becomes an endoscopic image during diagnosis at a new imaging position.
  • the imaging position specifying unit 23 specifies the fundus to the imaging position. Therefore, as shown in FIG. 9, the mark 53 indicating the new imaging position is superimposed on the notification screen 40 at the position of the fundus in the map image M0. Note that FIG. 9 shows that the tip 52 of the endoscope icon 51 is near the cardia. As a result, it is possible to acquire an endoscopic image at an imaging position that could not be captured only by the similar endoscopic image described above, and to confirm the presence or absence of a disease.
  • the diagnostic log creation unit 26 updates the diagnostic log when the findings for a new endoscopic image are input to the finding area 44. For example, when the endoscope tip 8 is moved to the imaging position indicated by the mark 53 shown in FIG. 7 and a new endoscope image is acquired, the inspector notifies the findings of the new endoscope image on the notification screen. It is input to the finding area 44 of 40. When a finding based on a new endoscopic image is input to the finding area 44, the diagnosis log creating unit 26 updates the diagnosis log by adding the input finding to the diagnosis log.
  • the communication unit 27 When the inspector gives an instruction to end the examination, the communication unit 27 generates an image file of one diagnosed endoscopic image from the endoscopic images under diagnosis acquired at each of the plurality of imaging positions. , It is transmitted to the image storage server 3 together with the diagnostic log described by the end of the inspection.
  • the image storage server 3 stores the transmitted diagnosed endoscope image and diagnosis log as a new diagnosed endoscope image.
  • FIG. 10 is a flowchart showing the processing performed in the present embodiment.
  • the process is started by inputting the instruction to start the examination, the image acquisition unit 21 sequentially acquires the frames of the endoscope image T0 (endoscope image acquisition; step ST1), and the acquired endoscope image T0. Is stored in the storage 13 (step ST2).
  • the search unit 22 refers to the image storage server 3 and searches for a similar endoscope image similar to the characteristics of the acquired endoscope image T0 from the plurality of diagnosed endoscope images (step ST3). .. Then, the imaging position specifying unit 23 refers to the diagnostic log for the similar endoscopic image and determines whether or not the disease is described in the diagnostic log (step ST4). If step ST4 is denied, the process returns to step ST1.
  • step ST4 is affirmed, the imaging position in the subject capable of imaging the disease predicted in the subject H described in the diagnostic log of the similar endoscopic image having the highest degree of similarity is specified (step ST5). ).
  • the endoscope position specifying unit 24 specifies the current position of the endoscope tip 8 (step ST6). The process of step ST6 may be performed after any of the processes of steps ST1 to ST5, and may be performed in parallel with these processes.
  • the notification unit 25 notifies the specified imaging position (step ST8).
  • step ST7 When step ST7 is denied, and following step ST8, the diagnostic log creation unit 26 accepts the input of the findings by the inspector and creates the diagnostic log by describing the input findings in the diagnostic log (step ST9). ). Subsequently, it is determined whether or not the end instruction has been given (step ST10), and if step ST10 is denied, the process returns to step ST1 and the processing of step ST1 to step ST10 is repeated.
  • step ST10 is affirmed, the communication unit 27 generates an image file of one diagnosed endoscopic image from the diagnostic endoscopic images acquired at each of the specified imaging positions, and diagnosed endoscopy. The image file of the mirror image and the diagnostic log are transmitted to the image storage server 3 (step ST11), and the process is terminated.
  • the diagnostic log creation unit 26 updates the diagnostic log in the processing of step ST9.
  • a similar endoscopic image similar to the characteristics of the endoscopic image during diagnosis is searched, and the position information of the disease included in the diagnostic log for the similar endoscopic image is used.
  • the imaging position in the body of the subject capable of imaging the predicted disease in the subject was specified, and the identified imaging position was notified. Therefore, the operator can move the endoscope tip 8 to the notified imaging position to acquire an endoscope image, and read the acquired endoscope image to confirm the presence or absence of a disease. Therefore, it is possible to utilize the similar endoscopic image and acquire the endoscopic image so that the disease is not overlooked, and as a result, the accuracy of the diagnosis using the endoscopic image can be improved.
  • the endoscopic image of the subject is acquired at a position that could not be captured only with similar endoscopic images, and the presence or absence of disease is confirmed. can do. Therefore, it is possible to inspect all the diseases that may occur.
  • the endoscopic imaging device is a endoscopic image during diagnosis by analyzing the endoscopic image during diagnosis, like the other endoscopic imaging device 2A according to the present embodiment shown in FIG. It may have an analysis unit 28 for detecting an abnormal shadow from the image.
  • the analysis unit 28 detects the disease included in the endoscopic image T0 during diagnosis by sequentially analyzing each frame of the endoscopic image T0 during diagnosis.
  • the analysis unit 28 detects a plurality of types of diseases from the endoscopic image T0 during diagnosis by using a known computer-aided image diagnosis (that is, CAD (Computer-Aided Diagnosis)) algorithm.
  • CAD Computer-aided image diagnosis
  • the analysis unit 28 has a trained model such as a neural network that has been machine-learned to detect diseases of the esophagus and stomach, and uses the trained model. Detects diseases contained in endoscopic images. Diseases of the esophagus and stomach include reflux esophagitis, gastritis, gastric ulcer, polyps, gastric cancer and the like. Each of these diseases has a characteristic surface structure. Therefore, by learning a neural network using images of various diseases of the esophagus and stomach and types of diseases as teacher data, it is possible to construct a trained model for detecting diseases from endoscopic images.
  • a trained model such as a neural network that has been machine-learned to detect diseases of the esophagus and stomach, and uses the trained model. Detects diseases contained in endoscopic images. Diseases of the esophagus and stomach include reflux esophagitis, gastritis, gastric ulcer, polyps, gastric cancer and the like. Each of these diseases has a characteristic surface structure.
  • the disease may be detected by performing template matching using a template representing the shape of the disease contained in the esophagus, stomach, or the like.
  • the analysis unit 28 may detect anatomical features only from one frame included in the endoscopic image T0 during diagnosis, particularly the latest frame, but only one frame may cause a disease. The detection accuracy may be low. Therefore, the disease may be detected from several frames included in the endoscopic image T0 during diagnosis.
  • the search unit 22 searches for a similar endoscopic image corresponding to the diagnosis log in which the same disease as the disease detected by the analysis unit 28 from the endoscopic image T0 during diagnosis is described. do it.
  • the imaging position specifying unit 23 refers to the diagnostic logs for all the searched similar endoscopic images, and has a disease other than the disease detected by the analysis unit 28 in the endoscopic image during diagnosis. It is determined whether or not the disease name of is included. When other disease names are included, the diagnostic log contains a description of location information indicating the location of the other disease. Therefore, when the diagnostic log for a similar endoscopic image includes another disease name, the imaging position specifying unit 23 acquires the other disease name and position information from the diagnostic log. If the diagnostic logs of all the searched similar endoscopic images do not include other disease names, the imaging position specifying unit 23 does not specify the imaging position.
  • FIG. 12 is a diagram showing a diagnostic log for a certain similar endoscopic image.
  • the diagnosis log 35 contains the description "Gastritis is observed in the body of the stomach. There are signs of reflux esophagitis in the cardia.” Since the disease detected by the analysis unit 28 in the endoscopic image during diagnosis is gastritis, in this case, the imaging position specifying unit 23 has "reflux esophagitis" as another disease name and "cardia” as the position information. Information is acquired from the diagnostic log 35. Therefore, from the diagnostic log 35 of the similar endoscopic image, it is predicted that reflux esophagitis will occur in the cardia in the subject H.
  • FIG. 13 is a flowchart showing the processing performed in another embodiment.
  • the process is started by inputting the instruction to start the examination, the image acquisition unit 21 sequentially acquires the frames of the endoscope image T0 (endoscope image acquisition; step ST21), and the acquired endoscope image T0. Is stored in the storage 13 (step ST22).
  • the analysis unit 28 analyzes the endoscopic image T0 and determines whether or not the endoscopic image T0 contains a disease (step ST23). If step ST23 is denied, the process returns to step ST21.
  • the search unit 22 refers to the image storage server 3 and obtains a similar endoscopic image similar to the characteristics of the acquired endoscopic image T0 from the plurality of diagnosed endoscopic images. Search (step ST24).
  • the imaging position specifying unit 23 identifies the imaging position on the body surface of the subject capable of imaging the disease predicted in the subject by using the diagnostic log for the similar endoscopic image (step ST25). Further, the endoscope position specifying unit 24 specifies the current position of the endoscope tip 8 (step ST26). The process of step ST26 may be performed after any of the processes of step ST21 to ST25, and may be performed in parallel with these processes.
  • the notification unit 25 notifies the specified imaging position (step ST28).
  • step ST27 When step ST27 is denied, and following step ST28, the diagnostic log creation unit 26 accepts input of findings by the inspector and creates a diagnostic log by describing the input findings in the diagnostic log (step ST29). ). Subsequently, it is determined whether or not the end instruction has been given (step ST30), and if step ST30 is denied, the process returns to step ST21, and the processing of step ST21 to step ST30 is repeated.
  • step ST30 is affirmed, the communication unit 27 generates an image file of one diagnosed endoscopic image from the diagnostic endoscopic images acquired at each of the specified imaging positions, and diagnosed endoscopy. The image file of the mirror image and the diagnostic log are transmitted to the image storage server 3 (step ST31), and the process is terminated.
  • the diagnostic log creation unit 26 updates the diagnostic log in the process of step ST29.
  • the thumbnail image in which the disease is detected may be highlighted. Highlighting includes adding a frame or adding a mark to the thumbnail image. Further, by double-clicking the highlighted thumbnail image, the frame of the endoscope image corresponding to the thumbnail image may be enlarged and displayed in a separate window.
  • the imaging points by the endoscopic imaging device 2 are the esophagus and the stomach, but the present invention is not limited to this.
  • the bronchus and large intestine may be photographed.
  • the processing unit executes various processes
  • the following various processors can be used.
  • the CPU which is a general-purpose processor that executes software (program) and functions as various processing units
  • FPGA Field Programmable Gate Array
  • Dedicated electricity which is a processor with a circuit configuration specially designed to execute specific processing such as programmable logic device (PLD), ASIC (Application Specific Integrated Circuit), which is a processor whose configuration can be changed. Circuits etc. are included.
  • One processing unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). ) May be configured. Further, a plurality of processing units may be configured by one processor.
  • one processor is configured by a combination of one or more CPUs and software. There is a form in which this processor functions as a plurality of processing units.
  • SoC System On Chip
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
  • circuitry in which circuit elements such as semiconductor elements are combined can be used.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Urology & Nephrology (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Abstract

プロセッサは、被検体の体内に挿入される内視鏡により撮像された被検体の内視鏡画像を取得する。プロセッサは、複数の診断済み内視鏡画像と、診断済み内視鏡画像のそれぞれについての診断ログであって、疾患の位置を表す位置情報を含む診断ログとが保存された外部装置を参照して、取得した内視鏡画像の特徴に類似する類似内視鏡画像を複数の診断済み内視鏡画像から検索する。プロセッサは、類似内視鏡画像についての診断ログに含まれる位置情報を用いて、被検体において予測される疾患を撮像可能な被検体内の撮像位置を特定し、特定した撮像位置を通知する。

Description

内視鏡撮影装置、方法およびプログラム
　本開示は、内視鏡撮影装置、方法およびプログラムに関する。
　複数の症例画像から、診断対象の画像と類似する類似症例画像を検索する類似症例検索装置が提案されている。例えば、再公表２０１８－１８０６３１号公報および再公表２０１７－１９９６３５号公報には、内視鏡撮影装置により取得した画像と類似する画像および類似する疾患情報を含む類似症例を検索する手法が提案されている。
　しかしながら、再公表２０１８－１８０６３１号公報および再公表２０１７－１９９６３５号公報には、検索された類似症例を如何にして内視鏡撮影に活用するか、および如何にして内視鏡画像を用いた診断の精度を向上させるかについて何ら提案はされていない。
　本開示は上記事情に鑑みなされたものであり、内視鏡画像についての類似症例を内視鏡撮影に活用して、内視鏡画像を用いた診断の精度を向上できるようにすることを目的とする。
　本開示による内視鏡撮影装置は、少なくとも１つのプロセッサを備え、
　プロセッサは、被検体の体内に挿入される内視鏡により撮像された被検体の内視鏡画像を取得し、
　複数の診断済み内視鏡画像と、診断済み内視鏡画像のそれぞれについての診断ログであって、疾患の位置を表す位置情報を含む診断ログとが保存された外部装置を参照して、取得した内視鏡画像の特徴に類似する類似内視鏡画像を複数の診断済み内視鏡画像から検索し、
　類似内視鏡画像についての診断ログに含まれる位置情報を用いて、被検体において予測される疾患を撮像可能な被検体内の撮像位置を特定し、
　特定した撮像位置を通知する。
　「内視鏡画像」は、複数のフレームからなる動画像である。内視鏡画像は被検体内において連続して撮影を行うことにより取得され、時間の経過とともにフレーム数が増加するものとなる。
　「診断済み内視鏡画像」とは、診断に供されて診断ログが作成された内視鏡画像を意味する。
　なお、本開示による内視鏡撮影装置においては、プロセッサは、内視鏡の先端の被検体内における現在位置を特定し、
　被検体内を模式的に表す画像を表示し、模式的に表す画像に内視鏡の先端位置および撮像位置を重畳することにより撮像位置を通知するものであってもよい。
　また、本開示による内視鏡撮影装置においては、プロセッサは、内視鏡の先端が撮像位置から予め定められた範囲内に移動すると、内視鏡の先端の移動方向を示す指標をさらに通知するものであってもよい。
　また、本開示による内視鏡撮影装置においては、プロセッサは、取得した内視鏡画像についての所見を記述した診断ログを作成するものであってもよい。
　また、本開示による内視鏡撮影装置においては、プロセッサは、特定した撮像位置における新たな内視鏡画像の取得、新たな内視鏡画像に基づく新たな類似内視鏡画像の検索、新たな撮像位置の特定および新たな撮像位置の通知を繰り返すものであってもよい。
　また、本開示による内視鏡撮影装置においては、プロセッサは、特定した撮像位置における新たな内視鏡画像の取得、新たな内視鏡画像に基づく新たな類似内視鏡画像の検索、新たな撮像位置の特定、新たな撮像位置の通知および新たな内視鏡画像についての所見に基づく診断ログの更新を繰り返すものであってもよい。
　「新たな内視鏡画像」とは、特定した撮像位置に内視鏡先端が到達してから、あるいは内視鏡先端が特定した撮像位置に到達する前の予め定められた時間から、それまでに取得された内視鏡画像に追加された内視鏡画像を意味する。
　また、本開示による内視鏡撮影装置においては、プロセッサは、内視鏡画像を解析することにより、内視鏡画像に含まれる疾患を検出し、
　検出された疾患と同一の疾患が記述された診断ログに対応する診断済み内視鏡画像を類似内視鏡画像として検索するものであってもよい。
　本開示による内視鏡撮影方法は、被検体の体内に挿入される内視鏡により撮像された被検体の内視鏡画像を取得し、
　複数の診断済み内視鏡画像と、診断済み内視鏡画像のそれぞれについての診断ログであって、疾患の位置を表す位置情報を含む診断ログとが保存された外部装置を参照して、取得した内視鏡画像の特徴に類似する類似内視鏡画像を複数の診断済み内視鏡画像から検索し、
　類似内視鏡画像についての診断ログに含まれる位置情報を用いて、被検体において予測される疾患を撮像可能な被検体内の撮像位置を特定し、
　特定した撮像位置を通知する。
　なお、本開示による内視鏡撮影方法をコンピュータに実行させるためのプログラムとして提供してもよい。
　本開示によれば、内視鏡画像についての類似症例を内視鏡撮影に活用して、内視鏡画像を用いた診断の精度を向上できる。
本開示の実施形態による内視鏡撮影装置を適用した医療情報システムの概略構成を示す図 本実施形態による内視鏡撮影装置の概略構成を示す図 本実施形態による内視鏡撮影装置の機能構成図 診断済み内視鏡画像のファイル構成を模式的に示す図 類似内視鏡画像についての診断ログを示す図 胃の部位を説明するための図 通知画面を示す図 通知画面を示す図 通知画面を示す図 本実施形態において行われる処理を示すフローチャート 他の実施形態による内視鏡撮影装置の機能構成図 類似内視鏡画像についての診断ログを示す図 他の実施形態において行われる処理を示すフローチャート
　以下、図面を参照して本開示の実施形態について説明する。図１は、本開示の実施形態による内視鏡撮影装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システム１では、本実施形態による内視鏡撮影装置２および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。
　内視鏡撮影装置２には、被検体の内部を撮影する内視鏡スコープ５および撮影により得られた信号に基づいて被検体の内部の画像を生成するプロセッサ装置６が接続されている。
　内視鏡スコープ５は、被検体内に挿入される挿入部が操作部７に連続して取り付けられたものである。内視鏡スコープ５は、プロセッサ装置６に着脱可能に接続されたユニバーサルコードを介してプロセッサ装置６に接続されている。操作部７は、挿入部の先端８が予め定められた角度範囲内で上下方向および左右方向に湾曲するように動作を指令したり、内視鏡スコープ５の先端に取り付けられた穿刺針を操作して組織のサンプルの採取を行ったりするための各種ボタンを含む。本実施形態では、内視鏡スコープ５は胃用の軟性鏡であり、被検体の口または鼻から胃内に挿入される。そして、プロセッサ装置６に設けられた不図示の光源装置から光ファイバーで導かれた光が内視鏡スコープ５の挿入部の先端８から照射され、内視鏡スコープ５の撮像光学系により被検体の胃の内部の画像が取得される。なお、内視鏡スコープ５の挿入部の先端８について、説明を容易なものとするために、以降の説明においては内視鏡先端８と称するものとする。
　プロセッサ装置６は、内視鏡スコープ５で撮影された撮影信号をデジタル画像信号に変換し、ホワイトバランス調整およびシェーディング補正等のデジタル信号処理によって画質の補正を行い、内視鏡画像Ｔ０を生成する。生成される画像は、例えば６０ｆｐｓ等の所定のサンプリングレートにより表されるカラーの動画像であるため、内視鏡画像Ｔ０は複数のフレームからなる。内視鏡画像Ｔ０は生成されたフレームから内視鏡撮影装置２に順次送信される。
　画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して内視鏡撮影装置２と通信を行い、内視鏡撮影装置２が取得した内視鏡画像および内視鏡撮影装置２において作成された内視鏡画像を用いての診断ログ等を送受信する。画像保管サーバ３は、受信した内視鏡画像および診断ログ等を大容量記憶装置等の記録媒体に保存して管理する。なお、内視鏡画像の画像データの格納形式およびネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。また、画像保管サーバ３が外部装置の一例である。
　内視鏡画像および診断ログは、検査毎に互いに対応づけられて画像保管サーバ３に保存される。ここで、画像保管サーバ３に保存される内視鏡画像は、診断に供されて診断ログが作成されたものである。このため、以降の説明においては、１回の検査において取得されて画像保管サーバ３に保存された内視鏡画像を診断済み内視鏡画像と称する。
　診断ログには、検査者による内視鏡画像の読影結果である所見が記述される。所見は内視鏡画像に認められる疾患の場所、疾患の種類およびサイズ等の情報を含む。例えば、胃の内視鏡画像であれば、胃炎、胃潰瘍、癌、ポリープおよび逆流性食道炎等の胃の疾患の名称、並びに疾患が認められる場合の疾患の位置等を表す情報を含む所見が、診断ログに記述される。なお、診断ログの作成は内視鏡撮影装置２において行われる。
　次いで、本実施形態による内視鏡撮影装置について説明する。図２は、本実施形態による内視鏡撮影装置のハードウェア構成を説明する。図２に示すように、内視鏡撮影装置２は、ＣＰＵ（Central Processing Unit）１１、不揮発性のストレージ１３、および一時記憶領域としてのメモリ１６を含む。また、内視鏡撮影装置２は、液晶ディスプレイ等のディスプレイ１４、キーボードとマウス等の入力デバイス１５、ネットワーク４に接続されるネットワークＩ／Ｆ（InterFace）１７およびプロセッサ装置６に接続されるＩ／Ｆ１８を含む。ＣＰＵ１１、ストレージ１３、ディスプレイ１４、入力デバイス１５、メモリ１６、ネットワークＩ／Ｆ１７およびＩ／Ｆ１８は、バス１９に接続される。なお、ＣＰＵ１１がロセッサの一例である。
　ストレージ１３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ１３には、内視鏡撮影プログラム１２が記憶される。ＣＰＵ１１は、ストレージ１３から内視鏡撮影プログラム１２を読み出してからメモリ１６に展開し、展開した内視鏡撮影プログラム１２を実行する。
　次いで、本実施形態による内視鏡撮影装置の機能的な構成を説明する。図３は、本実施形態による内視鏡撮影装置の機能的な構成を示す図である。図３に示すように内視鏡撮影装置２は、画像取得部２１、検索部２２、撮像位置特定部２３、内視鏡位置特定部２４、通知部２５、診断ログ作成部２６および通信部２７を備える。そして、ＣＰＵ１１が、内視鏡撮影プログラム１２を実行することにより、ＣＰＵ１１は、画像取得部２１、検索部２２、撮像位置特定部２３、内視鏡位置特定部２４、通知部２５、診断ログ作成部２６および通信部２７として機能する。
　画像取得部２１は、プロセッサ装置６から送信された内視鏡画像Ｔ０の各フレームをＩ／Ｆ１８を介して順次取得し、現在行っている検査を特定するための検査ＩＤと対応づけて、１つの内視鏡画像Ｔ０の画像ファイルとしてストレージ１３に保存する。ここで、内視鏡画像Ｔ０は動画像であるため、時間の経過とともに取得されるフレームが増加し、その結果、画像ファイルの容量も大きくなる。なお、現在行っている検査についての内視鏡画像Ｔ０を診断中内視鏡画像と称し、参照符号として内視鏡画像と同一のＴ０を用いる場合があるものとする。
　検索部２２は、画像保管サーバ３を参照して、複数の診断済み内視鏡画像から画像取得部２１が取得した診断中内視鏡画像Ｔ０の特徴に類似する類似内視鏡画像を検索する。図４は、画像保管サーバ３に保存された複数の診断済み内視鏡画像のファイル構成を模式的に示す図である。図４に示すように、画像保管サーバ３には複数の診断済み内視鏡画像の画像ファイル３０－１，３０－２，３０－３…が保存されている。１つの診断済み内視鏡画像の画像ファイルには、１回の検査において取得された動画像としての内視鏡画像３１が含まれる。なお、１つの診断済み内視鏡画像の画像ファイルには、複数の静止画像としての内視鏡画像３４－１，３４－２…が含まれる場合もある。なお、図４には、動画像としての内視鏡画像３１に複数のフレーム３２－１，３２－２，３２－３…が含まれることが示されている。
　また、１つの診断済み内視鏡画像は、その検査についての診断ログ３３が対応づけられている。図４においては、診断ログ３３は、診断済み内視鏡画像の画像ファイル３０－１，３０－２，３０－３…に含まれるように示しているが、診断ログと診断済み内視鏡画像とは別個のファイルとして画像保管サーバ３に保存されるものであってもよい。
　検索部２２は、診断中内視鏡画像Ｔ０と複数の診断済み内視鏡画像との相関値に基づく類似度Ｓ１を導出する。例えば、診断中内視鏡画像Ｔ０に含まれる最新のフレームと診断済み内視鏡画像に含まれるフレームのそれぞれとを位置合わせし、位置合わせ後の両フレームの対応する画素における画素値の差の絶対値を相関値として算出する。そして相関値を０～１の値に正規化して類似度Ｓ１を導出する。検索部２２は、類似度Ｓ１が大きいフレームを含む順に診断済み内視鏡画像をソートする。そして、ソートされた診断済み内視鏡画像において、類似度Ｓ１の上位予め定められた１以上の数の診断済み内視鏡画像を、類似内視鏡画像として検索する。
　撮像位置特定部２３は、検索されたすべての類似内視鏡画像についての診断ログを参照し、診断ログに疾患が記述されているか否かを判定する。すべての類似内視鏡画像についての診断ログに疾患が記述されていない場合、撮像位置特定部２３は、次の類似内視鏡画像の検索がなされるのを待つ。診断ログに疾患が記述されている類似内視鏡画像がある場合、撮像位置特定部２３は、最も類似度が高い類似内視鏡画像の診断ログに記述された疾患および疾患の位置を表す位置情報を特定する。このようにして特定された位置情報は、検査中の被検体Ｈの食道および胃において予測される疾患を撮像可能な位置を表すものとなる。撮像位置特定部２３は、特定した疾患の位置情報を用いて、被検体Ｈの食道および胃において予測される疾患を撮像可能な撮像位置を特定する。なお、撮像位置特定部２３は、診断ログに疾患および疾患の位置が記述されたすべての類似内視鏡画像について、最も多い疾患および疾患の位置に基づいて、撮像位置を特定するものであってもよい。
　図５はある類似内視鏡画像についての診断ログを示す図である。図５に示すように、診断ログ３５には、「噴門に逆流性食道炎の兆候が見られます。」の記述がなされている。この場合、撮像位置特定部２３は、疾患名として「逆流性食道炎」、位置情報として「噴門」の情報を診断ログ３５から取得する。このため、類似内視鏡画像の診断ログ３５から、噴門に逆流性食道炎の発生が予測されることとなる。
　内視鏡位置特定部２４は、内視鏡先端８の現在位置を特定する。具体的には、内視鏡位置特定部２４は、診断中内視鏡画像における現在のフレームに基づいて、内視鏡先端８の現在位置を特定する。図６は胃の部位を説明するための図である。図６に示すように、胃は食道から順に噴門、胃底部、胃体部、胃角部、前庭部および幽門の順に並んでいる。内視鏡位置特定部２４は、フレームが胃のいずれの部位における画像を表すものかを検出する学習済みモデルを有し、学習済みモデルを用いて、現在のフレームが胃のいずれの部位の画像を表すかを検出し、学習済みモデルが検出した胃の部位を内視鏡先端８の現在位置に特定する。ここで、噴門、胃底部、胃体部、胃角部、前庭部および幽門はそれぞれ特徴的な表面構造を有する。このため、食道および胃の各部位の画像および部位の名称を教師データとしてニューラルネットワークを学習することにより、フレームに含まれる胃の部位を検出する学習済みモデルを構築することができる。
　なお、内視鏡先端８の現在位置を特定する手法は上記に限定されるものではない。内視鏡先端８が胃の内部に位置する場合、噴門を必ず通過している。このため、噴門が検出されたフレームから現在のフレームまでのフレームにおける画像の変化に基づいて、噴門を通過してから現在までの内視鏡先端８の移動量を算出し、算出した移動量に基づいて内視鏡先端８のおおよその現在位置を特定するものであってもよい。なお、噴門は特徴的な形状を有するため、内視鏡位置特定部２４は、診断中内視鏡画像から噴門を含むフレームを検出する。噴門を含むフレームの検出は、上記の疾患の検出と同様に、噴門を検出するように学習がなされた学習済みモデルを用いる手法、あるいはテンプレートマッチングの手法等を用いることができる、また、内視鏡先端８に加速度センサまたは磁気センサを設け、これらのセンサにより内視鏡先端８を検出するものであってもよい。
　通知部２５は、撮像位置特定部２３が特定した撮像位置および内視鏡位置特定部２４が特定した内視鏡先端８の現在位置を検査者に通知する。具体的には、被検体Ｈの食道および胃を模式的に表すマップ画像をディスプレイ１４に表示し、表示したマップ画像に内視鏡先端８の現在位置および撮像位置を重畳することにより、内視鏡先端８の現在位置および撮像位置を通知する。図７は、内視鏡先端８の現在位置および撮像位置の通知画面を示す図である。図７に示すように、通知画面４０は、第１画像領域４１、第２画像領域４２および第３画像領域４３を有する。第１画像領域４１には、現在撮影中の内視鏡画像Ｔ０が表示される。第２画像領域４２には、マップ画像Ｍ０が表示される。第３画像領域４３には、検査を開始してから取得された内視鏡画像Ｔ０に関して、予め定められた時間間隔で抽出したフレームのサムネイル画像が表示される。
　なお、第３画像領域４３には、９つのサムネイル画像が領域Ｃ１～Ｃ９に表示可能とされている。サムネイル画像は検査が開始されてから順に予め定められた時間間隔で第３画像領域４３の領域Ｃ１から順に表示される。そして、９つのサムネイル画像が表示された後、新たなフレームが取得されると、新たなフレームのサムネイル画像が領域Ｃ１に表示され、それまでに表示されていたサムネイル画像が領域Ｃ２～Ｃ９に順送りされ、領域Ｃ９に表示されていたサムネイル画像は、第３画像領域４３から消去される。
　また、通知画面４０には検査者が内視鏡画像Ｔ０についての所見を記述する所見領域４４が表示される。検査者は入力デバイス１５を用いて内視鏡画像Ｔ０についての所見を所見領域４４に入力することができる。例えば、現在の検査においてすでに胃炎の疾患が見つかっている場合、所見領域４４には、「前庭部の下部に胃炎が見られます。」の所見が記述される。
　マップ画像Ｍ０には、内視鏡を模式的に表す内視鏡アイコン５１が示されており、その先端５２の位置が内視鏡先端８の現在位置となる。また、撮像位置には矢印状のマーク５３が重畳されている。撮像位置は逆流性食道炎の疑いがある噴門付近の位置を示している。検査者は、通知画面４０を参照することにより、内視鏡先端８をどのように動かせば、疾患が予想される撮像位置へ内視鏡先端８を移動することができるかを一見して認識することができる。
　なお、疾患が予測される撮像位置へ内視鏡先端８が近づくと、通知部２５は、図８に示すように、第１画像領域４１に内視鏡先端８を移動させるべき方向を表す矢印４６を表示する。矢印４６は内視鏡先端８を食道側へ戻すように移動させる方向を示している。また、マップ画像Ｍ０においては、図７と比較して内視鏡アイコン５１の先端５２が幽門に近づいていることが分かる。なお、矢印４６が内視鏡の移動方向を示す指標の一例である。
　診断ログ作成部２６は、検査者が所見領域４４に入力した所見を診断ログに記述することにより診断ログを作成する。例えば、図７には所見として「前庭部の下部に胃炎が見られます。」とすでに入力されているため、診断ログ作成部２６は、診断ログに「前庭部の下部に胃炎が見られます。」と記述する。
　なお、本実施形態においては、撮像位置特定部２３が特定した撮像位置が通知される毎に、撮像位置において撮影が行われて新たな内視鏡画像が取得される。新たな内視鏡画像とは、撮像位置において撮像が開始されるまでの内視鏡画像に対して追加されたフレームからなる内視鏡画像である。このため、本実施形態においては、新たな内視鏡画像が追加される毎に、検索部２２が新たな内視鏡画像に基づいて新たな類似内視鏡画像を検索する。例えば、マーク５３で示される撮像位置に検査者が内視鏡先端８を移動して新たな内視鏡画像が取得されると、検索部２２は新たな内視鏡画像、詳細には新たな内視鏡画像の最新のフレームを用いて、新たな類似内視鏡画像を検索する。なお、先に取得した内視鏡画像と新たな内視鏡画像の双方を用いて新たな類似内視鏡画像を検索するようにしてもよい。例えば、直前の撮像位置において取得した最後のフレームと最新のフレームとを用いて、類似内視鏡画像を検索するようにしてもよい。
　この場合、新たな内視鏡画像の特徴に基づいて検索した新たな類似内視鏡画像は、先の類似内視鏡画像とは異なる疾患が写った内視鏡画像を含む可能性が高い。このため、新たな類似内視鏡画像の診断ログには、先の類似内視鏡画像の診断ログには含まれない疾患が含まれる可能性が高い。したがって、撮像位置特定部２３は、新たな類似内視鏡画像の診断ログを参照して、予測される疾患を撮像可能な新たな撮像位置を特定することができる。そして、通知部２５が新たな撮像位置を通知することにより、検査者は新たな撮像位置に内視鏡先端８を移動してさらに新たな内視鏡画像を取得することができる。新たに取得された内視鏡画像は、新たな撮像位置における診断中内視鏡画像となる。
　例えば、図７に示すマーク５３で示す撮像位置に内視鏡先端８を移動して内視鏡画像を取得した場合に、検索された類似内視鏡画像の診断ログに、胃底部のポリープに関する疾患の記述が含まれていたとする。この場合、撮像位置特定部２３は、胃底部を撮像位置に特定する。したがって、通知画面４０には、図９に示すように、新たな撮像位置を示すマーク５３がマップ画像Ｍ０における胃底部の位置に重畳されることとなる。なお、図９には内視鏡アイコン５１の先端５２が噴門付近にあることが示されている。これにより、先の類似内視鏡画像のみでは撮像できなかった撮像位置において内視鏡画像を取得して、疾患の発生の有無を確認することができる。
　なお、診断ログ作成部２６は、新たな内視鏡画像に対する所見が所見領域４４に入力されると、診断ログを更新する。例えば、図７に示すマーク５３により示される撮像位置に内視鏡先端８を移動して新たな内視鏡画像を取得した際に、新たな内視鏡画像についての所見を検査者が通知画面４０の所見領域４４に入力する。診断ログ作成部２６は、新たな内視鏡画像に基づく所見が所見領域４４に入力されると、入力された所見を診断ログに追記することにより、診断ログを更新する。
　通信部２７は、検査者により検査終了の指示がなされると、それまでに複数の撮像位置のそれぞれにおいて取得した診断中内視鏡画像から１つの診断済み内視鏡画像の画像ファイルを生成し、検査終了までに記述された診断ログと併せて画像保管サーバ３に送信する。画像保管サーバ３は、送信された診断済み内視鏡画像および診断ログを、新たな診断済み内視鏡画像として保存する。
　次いで、本実施形態において行われる処理について説明する。図１０は本実施形態において行われる処理を示すフローチャートである。検査開始の指示が入力されることにより処理が開始され、画像取得部２１が、内視鏡画像Ｔ０のフレームを順次取得し（内視鏡画像取得；ステップＳＴ１）、取得した内視鏡画像Ｔ０をストレージ１３に保存する（ステップＳＴ２）。
　次いで、検索部２２が、画像保管サーバ３を参照して、複数の診断済み内視鏡画像から、取得した内視鏡画像Ｔ０の特徴に類似する類似内視鏡画像を検索する（ステップＳＴ３）。そして、撮像位置特定部２３が、類似内視鏡画像についての診断ログを参照して、疾患が診断ログに記述されているか否かを判定する（ステップＳＴ４）。ステップＳＴ４が否定されるとステップＳＴ１に戻る。ステップＳＴ４が肯定されると、類似度が最も大きい類似内視鏡画像の診断ログに記述された、被検体Ｈにおいて予測される疾患を撮像可能な被検体内における撮像位置を特定する（ステップＳＴ５）。また、内視鏡位置特定部２４が内視鏡先端８の現在位置を特定する（ステップＳＴ６）。なお、ステップＳＴ６の処理は、ステップＳＴ１～ステップＳＴ５のいずれの処理の後に行ってもよく、これらの処理と並列に行ってもよい。撮像位置が特定された場合（ステップＳＴ７；肯定）、通知部２５が特定した撮像位置を通知する（ステップＳＴ８）。
　ステップＳＴ７が否定された場合、およびステップＳＴ８に続いて、診断ログ作成部２６が検査者による所見の入力を受け付け、入力された所見を診断ログに記述することにより診断ログを作成する（ステップＳＴ９）。続いて、終了の指示がなされたか否かが判定され（ステップＳＴ１０）、ステップＳＴ１０が否定されるとステップＳＴ１に戻り、ステップＳＴ１からステップＳＴ１０の処理が繰り返される。ステップＳＴ１０が肯定されると、通信部２７が、特定された撮像位置のそれぞれにおいて取得された診断中内視鏡画像から１つの診断済み内視鏡画像の画像ファイルを生成し、診断済み内視鏡画像の画像ファイルおよび診断ログを画像保管サーバ３に送信し（ステップＳＴ１１）、処理を終了する。なお、ステップＳＴ１からステップＳＴ１０の処理が繰り返される場合、ステップＳＴ９の処理において、診断ログ作成部２６は、診断ログを更新することとなる。
　このように、本実施形態においては、診断中内視鏡画像の特徴に類似する類似内視鏡画像を検索し、類似内視鏡画像についての診断ログに含まれる疾患の位置情報を用いて、被検体において予測される疾患を撮像可能な被検体の体内における撮像位置を特定し、特定した撮像位置を通知するようにした。このため、操作者は通知された撮像位置に内視鏡先端８を移動して内視鏡画像を取得し、取得した内視鏡画像を読影して疾患の有無を確認することができる。したがって、類似内視鏡画像を活用し、疾患の見落としがないように内視鏡画像を取得することができ、その結果、内視鏡画像を用いた診断の精度を向上できる。
　また、特定した撮像位置における新たな内視鏡画像の取得、新たな内視鏡画像にも基づく新たな類似内視鏡画像の検索、新たな撮像位置の特定、新たな撮像位置の通知および新たな内視鏡画像についての所見に基づく診断ログの更新を繰り返すことにより、類似内視鏡画像のみでは撮像できなかった位置で被検体の内視鏡画像を取得して疾患の発生の有無を確認することができる。したがって、発生する可能性がある疾患を漏れなく検査することができる。
　なお、本実施形態による内視鏡撮影装置は、図１１に示す本実施形態による他の内視鏡撮影装置２Ａのように、診断中内視鏡画像を解析することにより診断中内視鏡画像から異常陰影を検出する解析部２８を有するものであってもよい。解析部２８は、診断中内視鏡画像Ｔ０の各フレームを順次解析することにより、診断中内視鏡画像Ｔ０に含まれる疾患を検出する。解析部２８は、公知のコンピュータ支援画像診断（すなわちＣＡＤ（Computer-Aided Diagnosis））のアルゴリズムを用いて、診断中内視鏡画像Ｔ０から複数種類の疾患を検出する。具体的には、解析部２８は、胃の検査であれば、食道および胃の疾患を検出するように機械学習がなされたニューラルネットワーク等の学習済みモデルを有し、学習済みモデルを用いて内視鏡画像に含まれる疾患を検出する。食道および胃の疾患としては、逆流性食道炎、胃炎、胃潰瘍、ポリープおよび胃がん等が挙げられる。これらの疾患はそれぞれが特徴的な表面構造を有する。このため、食道および胃の各種疾患の画像および疾患の種類を教師データとしてニューラルネットワークを学習することにより、内視鏡画像から疾患を検出する学習済みモデルを構築することができる。
　なお、学習済みモデルに代えて、食道および胃等に含まれる疾患の形状を表すテンプレートを用いたテンプレートマッチングを行うことにより、疾患を検出するようにしてもよい。また、解析部２８は、診断中内視鏡画像Ｔ０に含まれる１枚のフレーム、とくに最新のフレームのみから解剖学的特徴を検出するものであればよいが、１枚のフレームのみでは疾患の検出精度が低い場合がある。このため、診断中内視鏡画像Ｔ０に含まれる幾つかのフレームから疾患を検出するものであってもよい。
　このように解析部２８を備える場合、検索部２２は、解析部２８が診断中内視鏡画像Ｔ０から検出した疾患と同一の疾患が記述された診断ログに対応する類似内視鏡画像を検索すればよい。
　また、この場合、撮像位置特定部２３は、検索されたすべての類似内視鏡画像についての診断ログを参照し、診断中内視鏡画像において解析部２８により検出された疾患以外の他の疾患の疾患名が含まれるか否かを判定する。他の疾患名が含まれる場合には、他の疾患の位置を表す位置情報の記述が診断ログに含まれる。このため、撮像位置特定部２３は、類似内視鏡画像についての診断ログに他の疾患名が含まれる場合、診断ログから他の疾患名および位置情報を取得する。なお、検索されたすべての類似内視鏡画像の診断ログに他の疾患名が含まれない場合には、撮像位置特定部２３は撮像位置の特定を行わない。
　図１２はある類似内視鏡画像についての診断ログを示す図である。図１２に示すように、診断ログ３５には、「胃体部に胃炎が認められます。噴門に逆流性食道炎の兆候が見られます。」の記述がなされている。診断中内視鏡画像において解析部２８が検出した疾患が胃炎であることから、この場合、撮像位置特定部２３は、他の疾患名として「逆流性食道炎」、位置情報として「噴門」の情報を診断ログ３５から取得する。このため、類似内視鏡画像の診断ログ３５から、被検体Ｈにおいて、噴門に逆流性食道炎の発生が予測されることとなる。
　次いで、他の実施形態において行われる処理について説明する。図１３は他の実施形態において行われる処理を示すフローチャートである。検査開始の指示が入力されることにより処理が開始され、画像取得部２１が、内視鏡画像Ｔ０のフレームを順次取得し（内視鏡画像取得；ステップＳＴ２１）、取得した内視鏡画像Ｔ０をストレージ１３に保存する（ステップＳＴ２２）。
　次いで、解析部２８が内視鏡画像Ｔ０を解析し、内視鏡画像Ｔ０に疾患が含まれているか否かを判定する（ステップＳＴ２３）。ステップＳＴ２３が否定されると、ステップＳＴ２１に戻る。ステップＳＴ２３が肯定されると、検索部２２が、画像保管サーバ３を参照して、複数の診断済み内視鏡画像から、取得した内視鏡画像Ｔ０の特徴に類似する類似内視鏡画像を検索する（ステップＳＴ２４）。そして、撮像位置特定部２３が、類似内視鏡画像についての診断ログを用いて、被検体において予測される疾患を撮像可能な被検体の体表面における撮像位置を特定する（ステップＳＴ２５）。また、内視鏡位置特定部２４が内視鏡先端８の現在位置を特定する（ステップＳＴ２６）。なお、ステップＳＴ２６の処理は、ステップＳＴ２１～ステップＳＴ２５のいずれの処理の後に行ってもよく，これらの処理と並列に行ってもよい。撮像位置が特定された場合（ステップＳＴ２７；肯定）、通知部２５が、特定した撮像位置を通知する（ステップＳＴ２８）。
　ステップＳＴ２７が否定された場合、およびステップＳＴ２８に続いて、診断ログ作成部２６が検査者による所見の入力を受け付け、入力された所見を診断ログに記述することにより診断ログを作成する（ステップＳＴ２９）。続いて、終了の指示がなされたか否かが判定され（ステップＳＴ３０）、ステップＳＴ３０が否定されるとステップＳＴ２１に戻り、ステップＳＴ２１からステップＳＴ３０の処理が繰り返される。ステップＳＴ３０が肯定されると、通信部２７が、特定された撮像位置のそれぞれにおいて取得された診断中内視鏡画像から１つの診断済み内視鏡画像の画像ファイルを生成し、診断済み内視鏡画像の画像ファイルおよび診断ログを画像保管サーバ３に送信し（ステップＳＴ３１）、処理を終了する。なお、ステップＳＴ２１からステップＳＴ３０の処理が繰り返される場合、ステップＳＴ２９の処理において、診断ログ作成部２６は、診断ログを更新することとなる。
　なお、上記他の実施形態において、通知画面４０の第３画像領域４３にサムネイル画像を表示する際に、疾患が検出されたサムネイル画像を強調表示するようにしてもよい。強調表示としては、サムネイル画像に枠を付与したり、マークを付与したりすることが挙げられる。また、強調表示されたサムネイル画像をダブルクリックすることにより、そのサムネイル画像に対応する内視鏡画像のフレームを別ウィンドウで拡大表示するようにしてもよい。
　また、上記実施形態においては、内視鏡撮影装置２による撮影箇所を食道および胃としているが、これに限定されるものではない。気管支および大腸を撮影対象としてもよいことはもちろんである。
　また、上記各実施形態において、例えば、画像取得部２１、検索部２２、撮像位置特定部２３、内視鏡位置特定部２４、通知部２５、診断ログ作成部２６、通信部２７および解析部２８といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field　Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
　　　１　　コンピュータ
　　　２，２Ａ　　内視鏡撮影装置
　　　３　　画像保管サーバ
　　　４　　ネットワーク
　　　５　　内視鏡スコープ
　　　６　　プロセッサ装置
　　　７　　操作部
　　　８　　内視鏡先端
　　　１１　　ＣＰＵ
　　　１２　　内視鏡撮影プログラム
　　　１３　　ストレージ
　　　１４　　ディスプレイ
　　　１５　　入力デバイス
　　　１６　　メモリ
　　　１７　　ネットワークＩ／Ｆ
　　　１８　　Ｉ／Ｆ
　　　１９　　バス
　　　２１　　画像取得部
　　　２２　　検索部
　　　２３　　撮像位置特定部
　　　２４　　内視鏡位置特定部
　　　２５　　通知部
　　　２６　　診断ログ作成部
　　　２７　　通信部
　　　２８　　解析部
　　　３０－１，３０－２，３０－３　　診断済み内視鏡画像
　　　３１　　内視鏡画像
　　　３２－１，３２－２，３２－３　　内視鏡画像のフレーム
　　　３３，３５　　診断ログ
　　　３４－１，３４－２　　静止画像
　　　４０　　通知画面
　　　４１　　第１画像領域
　　　４２　　第２画像領域
　　　４３　　第３画像領域
　　　４４　　所見領域
　　　５１　　内視鏡アイコン
　　　５２　　先端
　　　５３，５５　　マーク
　　　Ｃ１～Ｃ９　　サムネイル画像の領域
　　　Ｍ０　　マップ画像
　　　Ｔ０　　内視鏡画像

Claims (9)

  1. 　少なくとも１つのプロセッサを備え、
    　前記プロセッサは、
    　被検体の体内に挿入される内視鏡により撮像された前記被検体の内視鏡画像を取得し、
    　複数の診断済み内視鏡画像と、前記診断済み内視鏡画像のそれぞれについての診断ログであって、疾患の位置を表す位置情報を含む診断ログとが保存された外部装置を参照して、取得した前記内視鏡画像の特徴に類似する類似内視鏡画像を前記複数の診断済み内視鏡画像から検索し、
    　前記類似内視鏡画像についての前記診断ログに含まれる前記位置情報を用いて、前記被検体において予測される疾患を撮像可能な前記被検体内の撮像位置を特定し、
    　特定した前記撮像位置を通知する内視鏡撮影装置。
  2. 　前記プロセッサは、前記内視鏡の先端の前記被検体内における現在位置を特定し、
    　前記被検体内を模式的に表す画像を表示し、前記模式的に表す画像に前記内視鏡の先端位置および前記撮像位置を重畳することにより前記撮像位置を通知する請求項１に記載の内視鏡撮影装置。
  3. 　前記プロセッサは、前記内視鏡の先端が前記撮像位置から予め定められた範囲内に移動すると、前記内視鏡の先端の移動方向を示す指標をさらに通知する請求項２に記載の内視鏡撮影装置。
  4. 　前記プロセッサは、取得した前記内視鏡画像についての所見を記述した診断ログを作成する請求項１から３のいずれか１項に記載の内視鏡撮影装置。
  5. 　前記プロセッサは、特定した前記撮像位置における新たな内視鏡画像の取得、前記新たな内視鏡画像に基づく新たな類似内視鏡画像の検索、新たな撮像位置の特定および前記新たな撮像位置の通知を繰り返す請求項１から４のいずれか１項に記載の内視鏡撮影装置。
  6. 　前記プロセッサは、特定した前記撮像位置における新たな内視鏡画像の取得、前記新たな内視鏡画像に基づく新たな類似内視鏡画像の検索、新たな撮像位置の特定、前記新たな撮像位置の通知および前記新たな内視鏡画像についての所見に基づく前記診断ログの更新を繰り返す請求項４に記載の内視鏡撮影装置。
  7. 　前記プロセッサは、前記内視鏡画像を解析することにより、前記内視鏡画像に含まれる疾患を検出し、
    　前記検出された疾患と同一の疾患が記述された前記診断ログに対応する前記診断済み内視鏡画像を前記類似内視鏡画像として検索する請求項１から６のいずれか１項に記載の内視鏡撮影装置。
  8. 　被検体の体内に挿入される内視鏡により撮像された前記被検体の内視鏡画像を取得し、
    　複数の診断済み内視鏡画像と、前記診断済み内視鏡画像のそれぞれについての診断ログであって、疾患の位置を表す位置情報を含む診断ログとが保存された外部装置を参照して、取得した前記内視鏡画像の特徴に類似する類似内視鏡画像を前記複数の診断済み内視鏡画像から検索し、
    　前記類似内視鏡画像についての前記診断ログに含まれる前記位置情報を用いて、前記被検体において予測される疾患を撮像可能な前記被検体内の撮像位置を特定し、
    　特定した前記撮像位置を通知する内視鏡撮影方法。
  9. 　被検体の体内に挿入される内視鏡により撮像された前記被検体の内視鏡画像を取得する手順と、
    　複数の診断済み内視鏡画像と、前記診断済み内視鏡画像のそれぞれについての診断ログであって、疾患の位置を表す位置情報を含む診断ログとが保存された外部装置を参照して、取得した前記内視鏡画像の特徴に類似する類似内視鏡画像を前記複数の診断済み内視鏡画像から検索する手順と、
    　前記類似内視鏡画像についての前記診断ログに含まれる前記位置情報を用いて、前記被検体において予測される疾患を撮像可能な前記被検体内の撮像位置を特定する手順と、
    　特定した前記撮像位置を通知する手順とをコンピュータに実行させる内視鏡撮影プログラム。
PCT/JP2021/035966 2020-10-12 2021-09-29 内視鏡撮影装置、方法およびプログラム WO2022080141A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112021005393.0T DE112021005393T5 (de) 2020-10-12 2021-09-29 Endoskopische bildaufnahmevorrichtung, endoskopisches bildaufnahmeverfahren und endoskopisches bildaufnahmeprogramm
JP2022557351A JPWO2022080141A1 (ja) 2020-10-12 2021-09-29
US18/296,379 US20230245311A1 (en) 2020-10-12 2023-04-06 Endoscopic photographic device, endoscopic photographic method, and endoscopic photographic program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-172184 2020-10-12
JP2020172184 2020-10-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/296,379 Continuation US20230245311A1 (en) 2020-10-12 2023-04-06 Endoscopic photographic device, endoscopic photographic method, and endoscopic photographic program

Publications (1)

Publication Number Publication Date
WO2022080141A1 true WO2022080141A1 (ja) 2022-04-21

Family

ID=81207943

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/035966 WO2022080141A1 (ja) 2020-10-12 2021-09-29 内視鏡撮影装置、方法およびプログラム

Country Status (4)

Country Link
US (1) US20230245311A1 (ja)
JP (1) JPWO2022080141A1 (ja)
DE (1) DE112021005393T5 (ja)
WO (1) WO2022080141A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11944262B2 (en) * 2019-03-27 2024-04-02 Hoya Corporation Endoscope processor, information processing device, and endoscope system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015125592A1 (ja) * 2014-02-20 2015-08-27 オリンパス株式会社 内視鏡システム
WO2017212725A1 (ja) * 2016-06-07 2017-12-14 オリンパス株式会社 医療用観察システム
WO2019003597A1 (ja) * 2017-06-26 2019-01-03 オリンパス株式会社 画像処理装置、カプセル型内視鏡システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム
WO2020059377A1 (ja) * 2018-09-20 2020-03-26 日本電気株式会社 位置推定装置、位置推定方法、及びコンピュータ読み取り可能な記録媒体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6655797B2 (ja) 2016-04-28 2020-02-26 パナソニックＩｐマネジメント株式会社 コネクタ、ヘッダおよびソケット
JP2018180631A (ja) 2017-04-04 2018-11-15 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム、並びに出荷検品システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015125592A1 (ja) * 2014-02-20 2015-08-27 オリンパス株式会社 内視鏡システム
WO2017212725A1 (ja) * 2016-06-07 2017-12-14 オリンパス株式会社 医療用観察システム
WO2019003597A1 (ja) * 2017-06-26 2019-01-03 オリンパス株式会社 画像処理装置、カプセル型内視鏡システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム
WO2020059377A1 (ja) * 2018-09-20 2020-03-26 日本電気株式会社 位置推定装置、位置推定方法、及びコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
DE112021005393T5 (de) 2023-08-31
US20230245311A1 (en) 2023-08-03
JPWO2022080141A1 (ja) 2022-04-21

Similar Documents

Publication Publication Date Title
US9204781B2 (en) Image processing apparatus and image processing method
US7319781B2 (en) Method and system for multiple passes diagnostic alignment for in vivo images
US10433709B2 (en) Image display device, image display method, and program
WO2019103440A1 (ko) 피검체의 의료 영상의 판독을 지원하는 방법 및 이를 이용한 장치
CN103635909B (zh) 一种临床发现管理***
WO2021147429A1 (zh) 内窥镜图像展示方法、装置、计算机设备及存储介质
CN112189236B (zh) 内窥镜用学习数据收集装置、内窥镜用学习数据收集方法和记录介质、学习***、学习完毕模型、以及内窥镜图像处理装置
CN107920722A (zh) 针对自胶囊相机所撷取的图像通过对象检测进行重建
CN103649961A (zh) 对图像数据中的发现的解剖学标记的方法
CN110867233B (zh) 用于生成电子喉镜医学检测报告的***和方法
KR102531400B1 (ko) 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법
CN103733200A (zh) 由带有解剖学标记临床管理促进的检查审阅
JP2012070938A (ja) 内視鏡画像記録装置、及び内視鏡画像記録支援方法、並びにプログラム
KR20230097646A (ko) 위장 질환 및 위암 검출률 향상을 위한 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법
KR100751160B1 (ko) 의료용 화상 기록 시스템
WO2022080141A1 (ja) 内視鏡撮影装置、方法およびプログラム
JP7189355B2 (ja) コンピュータプログラム、内視鏡用プロセッサ、及び情報処理方法
JP5283411B2 (ja) 画像表示装置および画像表示装置の作動方法並びに画像表示プログラム
CN110197722B (zh) Ai-cpu***平台
JP2007307397A (ja) 画像表示装置、画像表示方法および画像表示プログラム
US20220361739A1 (en) Image processing apparatus, image processing method, and endoscope apparatus
JP2019013461A (ja) プローブ型共焦点レーザー顕微内視鏡画像診断支援装置
JP2005269214A (ja) 画像診断支援装置及び画像診断支援方法及び画像診断支援プログラム及び画像診断支援プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2023175916A1 (ja) 医療支援システムおよび画像表示方法
WO2023275974A1 (ja) 画像処理装置、画像処理方法及び記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21879882

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022557351

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 21879882

Country of ref document: EP

Kind code of ref document: A1