WO2021064867A1 - 画像処理装置、制御方法及び記憶媒体 - Google Patents

画像処理装置、制御方法及び記憶媒体 Download PDF

Info

Publication number
WO2021064867A1
WO2021064867A1 PCT/JP2019/038778 JP2019038778W WO2021064867A1 WO 2021064867 A1 WO2021064867 A1 WO 2021064867A1 JP 2019038778 W JP2019038778 W JP 2019038778W WO 2021064867 A1 WO2021064867 A1 WO 2021064867A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
distance
image processing
panoramic image
Prior art date
Application number
PCT/JP2019/038778
Other languages
English (en)
French (fr)
Inventor
亮作 志野
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2021550817A priority Critical patent/JP7464060B2/ja
Priority to PCT/JP2019/038778 priority patent/WO2021064867A1/ja
Priority to EP19947499.0A priority patent/EP4040782A4/en
Priority to US17/763,778 priority patent/US20220337746A1/en
Publication of WO2021064867A1 publication Critical patent/WO2021064867A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present invention relates to a technical field of an image processing device, a control method, and a storage medium that perform processing related to display in endoscopy.
  • Patent Document 1 discloses an endoscope system that generates a composite developed image of the inner wall surface of the digestive tract and displays it on a display screen such as a monitor.
  • An object of the present invention is to provide an image processing device, a control method, and a storage medium capable of preferably presenting information on a position currently being photographed in endoscopy in view of the above-mentioned problems. It is an issue.
  • One aspect of the image processing device is an image processing device, in which a wall surface in the cavity is flattened based on a plurality of images obtained by photographing the cavity by an imaging unit provided in the endoscope in the first imaging step.
  • a panoramic image acquisition unit that acquires a panoramic image developed in a shape
  • a display control unit that displays imaged position information regarding the imaged position of the lumen in the second imaging step on a display device in association with the panoramic image.
  • One aspect of the control method is a control method executed by an image processing apparatus, and is based on a plurality of images obtained by photographing the lumen by an imaging unit provided in the endoscope in the first imaging step.
  • a panoramic image obtained by developing the wall surface in a plane shape is acquired, and the imaged position information regarding the imaged position of the cavity in the second imaging step is displayed on the display device in association with the panoramic image.
  • One aspect of the storage medium is to acquire a panoramic image in which the wall surface in the lumen is developed in a plane based on a plurality of images in which the lumen is photographed by an imaging unit provided in the endoscope in the first imaging step.
  • a program for operating the computer as a display control unit that displays the imaged position information regarding the imaged position of the cavity in the second imaging step on the display device in association with the panoramic image is stored. It is a storage medium.
  • the outline configuration of the endoscopy system is shown.
  • the hardware configuration of the image processing device is shown. It is a functional block diagram of an image processing apparatus. This is a first display example displayed by a display device in endoscopy. This is a second display example displayed by the display device in endoscopy. This is a third display example displayed by the display device in endoscopy. This is a fourth display example displayed by the display device in endoscopy.
  • This is an example of a flowchart of the panoramic image generation process.
  • (A) It is a figure which clarified the extracted feature points on the developed image.
  • (B) This is an enlarged image of the vicinity of the feature point P2.
  • (C) Shows a developed image in which feature points that are nearby feature points are connected by a line. A developed image showing the distance of each feature point from the photographing unit in the three-dimensional space is shown for each feature point. It is a figure which shows the correspondence relationship between the length in a photographed image, and the actual length when only one of the horizontal direction and the vertical direction of a photographed image is considered.
  • (B) is an enlarged view of a pixel which clearly shows the length of a relative vector in the x-direction and the y-direction.
  • FIG. 1 shows a schematic configuration of an endoscopy system 100.
  • the endoscopy system 100 mainly includes an image processing device 1, a display device 2, and an endoscope scope 3 connected to the image processing device 1.
  • the processing in the endoscopy of the large intestine will be described.
  • the image processing device 1 acquires an image (also referred to as “captured image Ic”) captured by the endoscope scope 3 in time series from the endoscope scope 3, and displays a screen based on the captured image Ic on the display device 2.
  • the photographed image Ic is an image obtained by photographing the large intestine cavity of the subject to be photographed, and is an image taken at a predetermined time interval in the process of inserting or discharging the endoscope scope 3 into the subject.
  • the image processing device 1 is based on a plurality of captured images Ic in which substantially the entire lumen of the large intestine is photographed in small pieces in the insertion step or the discharge step of the endoscope scope 3 in the past endoscopy.
  • an image also referred to as "panoramic image Ip" in which the wall surface of the lumen is developed on a plane.
  • the image processing device 1 displays information about the imaged position currently being photographed by the endoscope scope 3 in association with the panoramic image Ip in the endoscopic examination performed on the subject again. To display. The details of this process will be described later.
  • a step of generating a series of captured images Ic in which substantially the entire cavity to be imaged is photographed that is, an insertion step or an ejection step of the endoscope scope 3) is also referred to as a “photographing step”.
  • the display device 2 is a display or the like that performs a predetermined display based on a display signal supplied from the image processing device 1.
  • the endoscopic scope 3 is a device that photographs the lumen of the large intestine by being inserted into the large intestine of the subject.
  • the endoscope scope 3 is mainly inserted into a cavity with a connection unit 31 for connecting to the image processing device 1, an operation unit 32 for the inspector to perform a predetermined input, and has flexibility. It has a shaft 33 and a tip portion 34 having a built-in photographing portion such as an ultra-small image sensor.
  • the operation unit 32 has, for example, a dial unit whose directions in two axes (referred to as "X-axis" and "Y-axis") perpendicular to each other on the vertical surface of the tip portion 34 can be adjusted stepwise. ..
  • the operation unit 32 has, for example, a button or the like for designating a point of interest when the inspector finds a part of interest such as a part suspected of having a lesion (referred to as a “lesion site”). ..
  • the inspector refers to the captured image Ic displayed by the display device 2 during the inspection, and when the spot of interest is displayed, the inspector selects the above-mentioned button to display the captured image Ic. Specify that the area of interest is included.
  • the operation unit 32 supplies a predetermined signal (also referred to as “operation signal S1”) to the image processing device 1.
  • FIG. 2 shows the hardware configuration of the image processing device 1.
  • the image processing device 1 mainly includes a processor 11, a memory 12, an interface 13, an input unit 14, a light source unit 15, and a sound output unit 16. Each of these elements is connected via a data bus 19.
  • the processor 11 executes a predetermined process by executing a program or the like stored in the memory 12.
  • the processor 11 is a processor such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • the memory 12 is composed of various memories (storage media) such as a RAM (Random Access Memory) and a ROM (Read Only Memory).
  • the memory 12 may be an external storage device such as a hard disk connected to or built in the image processing device 1, or may be a storage medium such as a flash memory.
  • the memory 12 stores a program for the image processing device 1 to execute each process according to the present embodiment.
  • the memory 12 functionally includes a captured image storage unit 20, a attention point information storage unit 21, and a panoramic image storage unit 22. Details of these storage units will be described later.
  • the memory 12 is also used as a working memory.
  • the interface 13 includes an interface for connecting the image processing device 1 and the display device 2 and an interface for connecting the image processing device 1 and the endoscope scope 3.
  • the interface 13 supplies the display signal generated by the processor 11 to the display device 2.
  • the interface 13 supplies the light or the like generated by the light source unit 15 to the endoscope scope 3.
  • the interface 13 supplies the processor 11 with an electric signal indicating the captured image Ic supplied from the endoscope scope 3.
  • the interface 13 has, for example, an interface compliant with USB, SATA (Serial AT Attainment), or the like. Including.
  • the input unit 14 generates an input signal based on an operation by the inspector.
  • the input unit 14 is, for example, a button, a touch panel, a remote controller, a voice input device, or the like.
  • the light source unit 15 generates light to be supplied to the tip portion 34 of the endoscope scope 3. Further, the light source unit 15 may also include a pump or the like for sending out water or air to be supplied to the endoscope scope 3.
  • the sound output unit 16 outputs sound under the control of the processor 11.
  • the captured image storage unit 20 stores a series of captured images Ic in which the entire lumen of the large intestine is captured in the imaging step (insertion step or discharge step) of the endoscopy under the control of the processor 11.
  • These captured images Ic are images used for generating the panoramic image Ip, and are stored in association with the identification information (for example, patient ID) of the subject. Further, each photographed image Ic is associated with information such as a time stamp for identifying a photographing process in which photography was performed, a photographing order between images, and the like.
  • the endoscope scope 3 can move smoothly in the lumen in the discharge process rather than the insertion process of the endoscope scope 3. Then, the captured image Ic generated in the ejection step of the endoscope scope 3 of the endoscopy is more than the captured image Ic generated in the insertion step of the endoscope scope 3 of the endoscopy.
  • the image is a clear image of the inside of the lumen. Therefore, preferably, the processor 11 stores in the captured image storage unit 20 a series of captured images Ic in which the lumen of the large intestine is photographed in the discharge step of the endoscopic scope 3 for endoscopy, and the panoramic image Ip. It is good to use it for generation.
  • the point of interest information storage unit 21 stores information (also referred to as "point of interest information") indicating a point of interest, which is a point of interest in the examination, in the lumen of the large intestine to be inspected.
  • the point of interest corresponds to, for example, a site designated as a lesion site or the like by an inspector, or a site detected by an image analysis program for detecting a lesion site or the like.
  • the points of interest are not limited to lesions, but are inflamed, surgical scars and other cuts, folds and protrusions, and the insertion of the endoscope scope 3 at the time of the previous examination.
  • the tip portion 34 may be in contact with (scratch) the wall surface in the lumen.
  • the attention point information may be, for example, a photographed image Ic itself representing the attention point, or a partial image obtained by cutting out the attention point from the photographed image Ic, and may overlap or be in the cavity closest to the attention point. It may be information about a feature point. The method of extracting feature points and the like will be described later. Further, the attention point information may further include type information of the attention point such as whether it is an abnormal site such as a lesion site or a point contacted in the insertion step of the endoscope scope 3.
  • the panorama image storage unit 22 stores the panorama image Ip generated by the processor 11.
  • the processor 11 generates the panoramic image Ip at a predetermined timing after the captured image Ic required for generating the panoramic image Ip is stored in the captured image storage unit 20, and the generated panoramic image Ip is used as the identification information of the subject. Etc. and stored in the panoramic image storage unit 22. Further, it is preferable that the panoramic image Ip is associated with information regarding the shooting date and time (time stamp) of the captured image Ic used for generating the panoramic image Ip, identification information of the subject, and the like. In addition to the panoramic image Ip, the panoramic image storage unit 22 may further store information about feature points extracted from each captured image Ic when the panoramic image Ip is generated. Information about this feature point is used, for example, in calculating the distance between two points in the lumen.
  • FIG. 3 is a functional block diagram of the image processing device 1.
  • the processor 11 of the image processing device 1 functionally has a distance between the acquisition unit 41, the attention point information generation unit 42, the panorama image generation unit 43, and the imaged position identification unit 44. It has a calculation unit 45 and a display control unit 46.
  • the acquisition unit 41 acquires captured images Ic taken by the endoscope scope 3 via the interface 13 at predetermined intervals. Then, the acquisition unit 41 stores the acquired photographed image Ic in the photographed image storage unit 20 in association with the identification information of the subject and the like. In this case, for example, the acquisition unit 41 acquires the identification information and the like of the subject based on the input information and the like by the input unit 14 by the start of the inspection, and adds the information to the captured image Ic acquired from the endoscope scope 3. It is good to do it. Further, the acquisition unit 41 supplies the acquired captured image Ic to the display control unit 46. The captured image Ic is immediately displayed on the display device 2.
  • the acquisition unit 41 stores the acquired captured image Ic at the imaged position. It is supplied to the specific unit 44. Further, when the acquisition unit 41 receives the operation signal S1 for designating the point of interest from the endoscope scope 3, the acquisition unit 41 receives the captured image Ic received from the endoscope scope 3 at the same timing as the operation signal S1 and the operation signal S1. Is supplied to the attention point information generation unit 42.
  • the attention point information generation unit 42 generates the attention point information based on the captured image Ic supplied from the acquisition unit 41 and the operation signal S1, and stores the generated attention point information in the attention point information storage unit 21. For example, the attention point information generation unit 42 determines that the captured image Ic supplied from the endoscope scope 3 together with the operation signal S1 represents a attention point such as a lesion site, and uses the captured image Ic as the attention point information. It is stored in the attention point information storage unit 21. In another example, the attention point information generation unit 42 executes an image analysis program for detecting a lesion site or the like on the captured image Ic supplied from the acquisition unit 41.
  • the attention point information generation unit 42 detects the attention point such as the lesion site in the photographed image Ic
  • the attention point information generation unit 42 stores the attention point information indicating the detected attention point in the attention point information storage unit 21.
  • the attention point information may be the captured image Ic itself in which the attention point is detected, or may be the information of the feature amount representing the attention point.
  • the image analysis program for detecting the lesion site or the like may be, for example, a program based on an arbitrary algorithm used for abnormality detection (so-called anomaly detection).
  • the attention point information generation unit 42 is a place where the tip 34 of the endoscope scope 3 is barked (contact with the wall surface) in the process of inserting the endoscope scope 3 (“contact point”). Also called) is detected as a point of interest. Then, the attention point information generation unit 42 stores the attention point information indicating the detected attention point in the attention point information storage unit 21. In this case, the attention point information generation unit 42 may detect the contact point by image analysis on the captured image Ic, and when the tip portion 34 is provided with a contact sensor or the like, the contact point is detected by the sensor. You may.
  • the attention point information generation unit 42 uses the captured image Ic taken when the tip portion 34 is barked as the attention point information, and in the latter case, it is generated when the sensor detects contact.
  • the captured image Ic is used as the attention point information.
  • the attention point information generation unit 42 may include the detected information on the type of the attention point in the attention point information. For example, when the attention point information generation unit 42 detects the contact point based on the above-mentioned image analysis or the output of the contact sensor, the attention point information generation unit 42 includes the identification information indicating that the contact point is the contact point in the generated attention point information. .. Similarly, when the attention point information generation unit 42 determines that a lesion site (or an abnormal site equivalent thereto) exists based on the operation signal S1 or an image analysis program that detects an abnormality, it indicates that the lesion site is a lesion site. Include the identification information in the generated spot information.
  • the panoramic image generation unit 43 generates a panoramic image Ip in which the entire large intestine cavity of the subject is developed in a plane based on the photographed image Ic stored in the photographed image storage unit 20. The details of the panorama image Ip generation process by the panorama image generation unit 43 will be described later.
  • the panorama image generation unit 43 stores the generated panorama image Ip in the panorama image storage unit 22. At this time, the panoramic image generation unit 43 stores, for example, the shooting date and time of the captured image Ic used for generating the panoramic image Ip, information for identifying the subject, and the like in association with the panoramic image Ip.
  • the panoramic image generation unit 43 immediately generates a panoramic image Ip based on these captured images Ic after a series of captured images Ic captured in the imaging step of the endoscopy is stored in the captured image storage unit 20. To do.
  • the panoramic image generation unit 43 acquires the captured image Ic of the target subject from the captured image storage unit 20 when the display control unit 46 gives an instruction to generate the panoramic image Ip, and the panoramic image. Generate Ip.
  • the panorama image generation unit 43 may generate the panorama image Ip based on the generation instruction of the panorama image Ip from the display control unit 46, and then directly supply the generated panorama image Ip to the display control unit 46. ..
  • the imaged position specifying unit 44 identifies the current imaged position in the panoramic image Ip based on the latest photographed image Ic of the subject and the panoramic image Ip showing the lumen of the subject. .. In this case, the imaged position specifying unit 44 collates (matches) the captured image Ic supplied from the acquisition unit 41 with the panoramic image Ip described above, and is in the panoramic image Ip corresponding to the captured image Ic. Identify the area. Then, the imaged position specifying unit 44 supplies the information indicating the region in the panoramic image Ip corresponding to the photographed image Ic to the display control unit 46 as the first imaged position information “Itg1”.
  • the imaged position specifying unit 44 converts the photographed image Ic into an image in which the wall surface of the cavity is expanded, and performs the above-mentioned collation with the converted image and the panorama image Ip, for example, similarly to the panorama image Ip.
  • the imaged position specifying unit 44 identifies the region in the panoramic image Ip corresponding to the captured image Ic by extracting the feature points of the panoramic image Ip and the captured image Ic and matching the feature points. To do. Specific processes for extracting feature points and matching feature points will be described in the panoramic image generation process and the distance calculation process, which will be described later.
  • the distance calculation unit 45 calculates the distance between any two points in the lumen of the subject based on the captured image Ic.
  • the distance between the two points calculated by the imaged position specifying unit 44 shall indicate the distance along the lumen.
  • the distance calculation unit 45 sets the distance between two points in the lumen as the insertion position of the endoscope scope 3 (that is, the position of the anus), the position to be imaged by the endoscope scope 3, the lesion site, and the like. Calculate the distance between any two points selected from the points of interest such as contact points. The method of calculating the distance between two points by the distance calculation unit 45 will be described later.
  • the distance calculation unit 45 supplies the calculated distance information to the display control unit 46 as the second imaged position information “Itg2”.
  • the display control unit 46 generates a display signal related to endoscopy and supplies the generated display signal to the display device 2 to display a screen related to endoscopy on the display device 2. Specifically, the display control unit 46 acquires the panoramic image Ip corresponding to the subject from the panoramic image storage unit 22, and displays the acquired panoramic image Ip on the display device 2. In this case, the display control unit 46 displays the imaged position in association with the panoramic image Ip based on the first imaged position information Itg1 received from the imaged position specifying unit 44. Further, the display control unit 46 displays the distance from the insertion position of the endoscope scope 3 to the imaged position and the like in association with the panoramic image Ip based on the second imaged position information Itg2 received from the distance calculation unit 45. To do.
  • the display control unit 46 refers to the attention point information storage unit 21 and highlights the attention point on the panoramic image Ip that the inspector should pay attention to or pay attention to.
  • the display control unit 46 performs various displays to assist the work of the inspector. A specific display example of the display device 2 will be described later. If the endoscopy of the subject has not been performed in the past and the panoramic image Ip to be displayed cannot be acquired, the display control unit 46 obtains the captured image Ic supplied from the acquisition unit 41. It is displayed on the display device 2. Further, when the endoscopy of the subject has been performed a plurality of times in the past, the display control unit 46 is based on the captured image Ic generated in the previous endoscopy of the subject. The panoramic image Ip may be displayed on the display device 2.
  • FIG. 4 is a first display example of a screen displayed by the display device 2 based on a display signal generated by the display control unit 46 in endoscopy.
  • the first display example shows the display screen of the display device 2 when performing endoscopy again on a subject who has undergone endoscopy in the past.
  • the display control unit 46 causes the display device 2 to display the panoramic image Ip generated based on the captured image Ic of the previous endoscopy for the same subject.
  • the panoramic image Ip is a global image in which the inner wall of the large intestine of the subject is expanded. Further, the display control unit 46 acquires the captured image Ic generated by the endoscope scope 3 in real time in the current endoscopy together with the panoramic image Ip, and displays it on the display device 2.
  • the display control unit 46 indicates the imaged position mark 50 indicating the current imaged position and the lesion indicating the attention point (here, the lesion site) detected in the first endoscopy.
  • the site mark 51 and the distance information 60 indicating the distance between two points along the lumen are displayed in association with the panoramic image Ip.
  • the display control unit 46 surrounds the imaged position specified by the imaged position specifying unit 44 on the panoramic image Ip based on the first imaged position information Itg1 generated by the imaged position specifying unit 44.
  • the mark 50 is displayed on the panoramic image Ip.
  • the display control unit 46 uses the smallest rectangle including the corresponding portion of the panoramic image Ip of the captured image Ic immediately acquired from the endoscope scope 3 as the imaged position mark 50 as the panoramic image. Display on Ip.
  • the distance calculation unit 45 acquires a series of captured images Ic used for generating the panoramic image Ip to be displayed from the captured image storage unit 20, and from the insertion position (that is, the anus) of the endoscope scope 3 to the imaged position.
  • the distance (0.4 m in this case) is calculated. Then, the display control unit 46 provides the panoramic image Ip with the distance information 60 indicating the distance from the insertion position of the endoscope scope 3 to the imaged position based on the second imaged position information Itg2 generated by the distance calculation unit 45. It is displayed in association with.
  • the display control unit 46 can preferably make the examiner recognize the current imaged position in the entire large intestine by displaying the imaged position mark 50 in association with the panoramic image Ip. Further, the display control unit 46 displays the distance (0.4 m in this case) from the insertion position (that is, the anus) of the endoscope scope 3 to the imaged position, so that the current imaged position can be inspected more accurately. Can be grasped by a person.
  • the display control unit 46 refers to the attention point information indicating the attention point (here, the lesion site) generated at the time of the previous endoscopy of the subject from the attention point information storage unit 21, and the lesion.
  • the lesion site mark 51 surrounding the site is displayed on the panoramic image Ip.
  • the display control unit 46 identifies the target lesion site by collating the captured image Ic or the like stored as the attention point information with the panoramic image Ip, and the smallest rectangle surrounding the specified lesion site. Is displayed on the panoramic image Ip as the lesion site mark 51.
  • the distance calculation unit 45 acquires the captured image Ic used for generating the panoramic image Ip from the captured image storage unit 20, and obtains the distance (0.7 m in this case) from the imaged position to the lesion site which is the point of interest. calculate. Then, the display control unit 46 corresponds to the panoramic image Ip with the distance information 60 indicating the distance from the imaged position to the lesion site which is the attention point, based on the second imaged position information Itg2 generated by the distance calculation unit 45. Attach and display.
  • the display control unit 46 displays the lesion site mark 51 together with the imaged position mark 50 in association with the panoramic image Ip, so that the current imaged position and the attention point (lesion site) in the entire large intestine are displayed.
  • the relative positional relationship can be preferably recognized by the inspector.
  • the display control unit 46 displays the distance from the imaged position to the lesion site, which is the point of interest (0.7 m in this case), so that the inspector can use the guideline for reaching the imaged position to the lesion site. Can be suitably provided.
  • the display shown in FIG. 4 has the same function as the display used for route guidance to a vehicle or the like, and preferably contributes to navigation to the endoscope scope 3.
  • the panoramic image Ip corresponds to a map showing the entire large intestine to be inspected
  • the imaged position mark 50 corresponds to the current position mark
  • the lesion site mark 51 corresponds to the destination or waypoint mark. Equivalent to.
  • FIG. 5 is a second display example of the screen displayed by the display device 2 based on the display signal generated by the display control unit 46.
  • the second display example shows a display screen of the display device 2 when performing endoscopy again on a subject who has undergone endoscopy in the past.
  • the display control unit 46 displays the imaged position mark 50 and the lesion site mark 51 in association with the panoramic image Ip as in the first display example, and at the time of the previous inspection for the same subject.
  • the contact point mark 52 indicating the contact point detected in the above is displayed in association with the panoramic image Ip.
  • the display control unit 46 extracts the attention point information generated at the time of the previous inspection of the subject from the attention point information storage unit 21. Then, in this case, the extracted attention point information represents the lesion site and the contact point, respectively, and the display control unit 46 collates the attention point information with the panorama image Ip on the panorama image Ip. Identify the lesion site and the contact site in. Then, the display control unit 46 displays the lesion site mark 51 surrounding the specified lesion site and the contact site mark 52 surrounding the specified contact site in association with the panoramic image Ip. Further, the distance calculation unit 45 refers to the photographed image Ic stored in the photographed image storage unit 20 at the time of the previous inspection of the same subject, and moves from the insertion position of the endoscope scope 3 to the imaged position.
  • the distance (0.4 m), the distance from the imaged position to the contact point (0.2 m), and the distance from the contact point to the lesion site (0.5 m) are calculated respectively. Then, the display control unit 46 displays the distance information 60 indicating these distances calculated by the distance calculation unit 45 in association with the panoramic image Ip.
  • the display control unit 46 identifies the contact point where the endoscope scope 3 was not smoothly inserted in the insertion step of the previous inspection, and clearly indicates it on the panoramic image Ip by the contact point mark 52. .. This makes it possible for the inspector to preferably recognize a portion requiring attention when inserting the endoscope scope 3. Further, the display control unit 46 more accurately inspects the positional relationship between the contact point and the imaged position by displaying the distance between the contact point and the imaged position in association with the panoramic image Ip. Can be recognized by others.
  • the display control unit 46 detects that the distance between the contact point and the imaged position is equal to or less than a predetermined threshold value (for example, 0.2 m), and the imaged position is the subject.
  • the display device 2 displays the text information 61 indicating a warning that the contact point is approaching.
  • the display control unit 46 can preferably notify the inspector that the tip portion 34 is approaching the contact point, and call attention to the insertion work of the endoscope scope 3.
  • the display control unit 46 may output the same contents as the text information 61 by the sound output unit 16 by voice.
  • the display control unit 46 displays text information indicating a warning that the imaged position is approaching the lesion site even when the distance between the lesion site and the imaged position is equal to or less than a predetermined threshold value. It may be displayed in 2.
  • the above-mentioned threshold value is predetermined based on an experiment or the like so that the warning is at the optimum timing for the inspector, for example. As a result, the display control unit 46 can surely suppress oversight of the lesion site and the like.
  • the display control unit 46 may output a voice warning that the imaging position is approaching the lesion site by the sound output unit 16.
  • FIG. 6 is a third display example displayed by the display device 2 based on the display signal generated by the display control unit 46.
  • the third display example shows a display screen of the display device 2 in the process of inserting the endoscope scope 3 when performing endoscopy again for a subject who has undergone endoscopy in the past. There is.
  • the display control unit 46 displays the imaged position mark 50 and the lesion site mark 51 in association with the panoramic image Ip, and also displays the imaging unit built in the tip portion 34.
  • a shooting direction arrow 62 indicating the direction (line-of-sight direction) is displayed in the rectangle 63.
  • the photographing direction arrow 62 indicates a deviation in the photographing direction of the photographing portion with respect to the central direction of the tube (that is, the extending direction of the tube).
  • the direction of the imaging direction arrow 62 indicates the direction of deviation of the imaging direction of the imaging unit with respect to the center direction of the cavity, and the length of the imaging direction arrow 62 indicates the magnitude of the deviation.
  • the horizontal and vertical directions of the rectangle 63 surrounding the shooting direction arrow 62 may correspond to, for example, the X-axis and the Y-axis indicating two axes for adjusting the direction of the tip portion 34 with the dial portion of the operation portion 32. Often, it may correspond to the horizontal direction and the vertical direction of the captured image Ic.
  • the vertical direction and the horizontal direction of the captured image Ic may be the same directions as the X-axis and the Y-axis for adjusting the orientation of the tip portion 34 described above.
  • the display control unit 46 calculates the deviation of the imaging direction of the imaging unit with respect to the center direction of the tube by performing image analysis on, for example, the latest captured image Ic obtained from the endoscope scope 3. In this case, the display control unit 46 detects, for example, the farthest point in the lumen, and estimates the deviation of the imaging direction with respect to the center direction of the lumen based on the position of the farthest point. Then, the display control unit 46 determines the direction and size of the shooting direction arrow 62 based on the calculated deviation.
  • the display control unit 46 determines the deviation of the photographing direction of the photographing unit calculated from the captured image Ic to be the rectangle 63. After converting to the deviation based on the horizontal direction and the vertical direction of, the direction and size of the shooting direction arrow 62 are determined. In this case, the display control unit 46 stores in advance, for example, information for converting the deviation of the captured image Ic based on the vertical direction and the horizontal direction into the deviation of the rectangle 63 based on the horizontal direction and the vertical direction. deep.
  • the display control unit 46 detects that the wall surface of the cavity and the tip portion 34 are approaching within a predetermined distance, and warns that the tip portion 34 is too close to the wall surface.
  • the text information 64 to be shown is displayed on the display device 2.
  • the display control unit 46 in addition to the warning that the tip portion 34 is too close to the wall surface, also gives instruction information for instructing a specific operation on the operation unit 32 (“Dial in the X direction in the plus direction”.
  • the text information 64 including "Please turn" is displayed on the display device 2.
  • the display control unit 46 performs a known image analysis on the latest captured image Ic obtained from the endoscope scope 3, so that the distance between the tip portion 34 and the wall surface displayed on the captured image Ic Is calculated, and the above warning is output when the distance is equal to or less than a predetermined threshold value.
  • the above-mentioned threshold value is predetermined based on, for example, an experiment.
  • the display control unit 46 may calculate the above-mentioned distance based on the output of the sensor.
  • the display control unit 46 displays, for example, instruction information instructing that the direction of the tip portion 34 is adjusted in the direction opposite to the direction indicated by the shooting direction arrow 62 as a part of the text information 64.
  • the display control unit 46 may output the same content as the text information 64 by the sound output unit 16.
  • the display control unit 46 can suitably support the inspector's insertion work of the endoscope scope 3 by indicating the deviation of the current shooting direction by the shooting direction arrow 62. it can. Further, when the display control unit 46 detects that the tip portion 34 is approaching the wall surface, the display control unit 46 outputs a warning to that effect and instruction information regarding the operation of the endoscope scope 3, thereby performing endoscopy by the inspector.
  • the insertion work of the mirror scope 3 can be smoothly executed.
  • FIG. 7 is a fourth display example displayed by the display device 2 based on the display signal generated by the display control unit 46.
  • the fourth display example shows the display screen of the display device 2 at the time of endoscopy for a subject who has undergone endoscopy in the past.
  • the display control unit 46 displays the panoramic image Ip based on the captured image Ic generated in the past endoscopy, and is based on the captured image Ic generated in the current endoscopy.
  • a panoramic image (also referred to as "second panoramic image Ip2") is displayed on the display device 2.
  • the panoramic image generation unit 43 extracts the captured image Ic generated in this inspection from the captured image storage unit 20 or directly acquires it from the acquisition unit 41, and generates a panoramic image described later for the captured image Ic. By performing the processing, the second panoramic image Ip2 is generated.
  • the panorama image generation unit 43 performs the panorama image generation process at predetermined time intervals, for example, and updates the second panorama image Ip2 to be displayed on the display device 2.
  • the display control unit 46 determines the state in the lumen of the subject in the past endoscopy and the state in the lumen of the subject in the current endoscopy. It can be presented to the inspector in a preferably comparable manner.
  • FIG. 8 is an example of a flowchart showing an outline of display processing executed by the image processing apparatus 1 at the time of endoscopy in the present embodiment.
  • the image processing device 1 executes the process of FIG. 8 when, for example, an insertion step or a discharge step of the endoscope scope 3 is started in endoscopy.
  • the image processing device 1 determines that the process of FIG. 8 should be started when, for example, there is a predetermined input to the input unit 14 or the operation unit 32.
  • the image processing device 1 determines whether or not the captured image Ic at the time of the previous inspection of the subject of the endoscopy currently being performed is stored in the captured image storage unit 20 (step S100). Then, when the captured image Ic of the same subject at the time of the previous inspection is stored in the captured image storage unit 20 (step S100; Yes), the panorama image generation unit 43 executes the panorama image generation process (step). S101). As a result, the panoramic image generation unit 43 generates a global panoramic image Ip in which the lumen of the large intestine of the subject is expanded based on the series of captured images Ic obtained in the imaging step at the time of the previous examination. The panorama image generation unit 43 may perform the panorama image generation process in step S101 at an arbitrary timing from the previous inspection to the current inspection, and store the generated panorama image Ip in the panorama image storage unit 22.
  • the acquisition unit 41 acquires the captured image Ic obtained in real time from the endoscope scope 3, and stores the acquired captured image Ic in the captured image storage unit 20 (step S102). Then, the imaged position specifying unit 44 collates the latest photographed image Ic obtained from the endoscope scope 3 with the panoramic image Ip generated in step S101 to obtain the current panoramic image Ip on the panoramic image Ip. The position to be imaged is specified (step S103). In addition, the distance calculation unit 45 executes a distance calculation process for calculating the distance along the lumen between two points in the lumen (step S104). As a result, the distance calculation unit 45 calculates the distance from the insertion position of the endoscope scope 3 to the imaged position, the distance from the imaged position to the point of interest, and the like.
  • the display control unit 46 displays the current imaged position, the point of interest, and the like in association with the panoramic image Ip based on the processing results in steps S103 and S104 and the panoramic image Ip generated in step S101. Displayed on the device 2 (step S105).
  • the display control unit 46 can preferably make the inspector recognize the current position to be imaged and the positional relationship of the point of interest in the entire cavity.
  • the display control unit 46 determines whether or not the position to be photographed approaches the point of interest within a predetermined distance (step S106). Then, when the display control unit 46 determines that the imaged position is close to the point of interest within a predetermined distance (step S106; Yes), the display control unit 46 outputs a warning that the imaged position is approaching the point of interest (step S106; Yes). Step S107). In this case, the display control unit 46 may display the warning by the display device 2, or may output the warning by voice by the sound output unit 16.
  • step S107 when step S107 is completed, or when the position to be imaged is not close to the point of interest within a predetermined distance (step S106; No), the image processing apparatus 1 completes the endoscopy that has been in progress. It is determined whether or not this has been done (step S108). For example, when the image processing device 1 detects a predetermined input to the input unit 14 or the operation unit 32, it determines that the endoscopy has been completed. Then, when it is determined that the endoscopy has been completed (step S108; Yes), the image processing device 1 ends the processing of the flowchart. On the other hand, when the image processing apparatus 1 determines that the endoscopy has not been completed (step S108; No), the image processing apparatus 1 returns the processing to step S102. Then, the image processing device 1 executes the processes of steps S102 to S107 again.
  • step S100 when the captured image Ic of the same subject at the time of the previous inspection does not exist in the captured image storage unit 20 (step S100; No), the acquisition unit 41 supplies the same subject in real time from the endoscope scope 3. The photographed image Ic to be obtained is acquired, and the acquired photographed image Ic is stored in the photographed image storage unit 20 (step S109). Further, the display control unit 46 causes the display device 2 to display the captured image Ic acquired by the acquisition unit 41.
  • the attention point information generation unit 42 is based on the image analysis result for the captured image Ic acquired by the acquisition unit 41 from the endoscope scope 3, the operation signal S1 supplied from the endoscope scope 3, and the like. Is present or not (step S110). Then, when the attention point information generation unit 42 determines that the attention point exists (step S110; Yes), the attention point information generation unit 42 generates the attention point information corresponding to the attention point, and the generated attention point information is stored in the attention point information storage unit 21. (Step S111).
  • step S111 determines whether or not the ongoing endoscopy has been completed (step S110; No). S112). For example, when the image processing device 1 detects a predetermined input to the input unit 14 or the operation unit 32, it determines that the endoscopy has been completed. Then, when it is determined that the endoscopy has been completed (step S112; Yes), the image processing device 1 ends the processing of the flowchart. On the other hand, when the endoscopy is not completed (step S112; No), the image processing apparatus 1 continues to execute the processes of steps S109 to S111.
  • FIG. 9 is an example of a flowchart of the panorama image generation process executed by the panorama image generation unit 43.
  • the panorama image generation unit 43 executes the process of the flowchart of FIG. 9 in step S101 of FIG.
  • the panoramic image generation unit 43 acquires a series of captured images Ic obtained in the photographing step (that is, the insertion step or the discharging step of the endoscope scope 3) at the time of the previous inspection from the captured image storage unit 20 (step S200). ).
  • the panorama image generation unit 43 selects an image to be used for generating the panorama image Ip from the captured image Ic acquired in step S200 (step S201).
  • the panorama image generation unit 43 is configured to output an inference result as to whether or not there is blur or blur in the image when the image is input. Input each acquired image Ic.
  • the panorama image generation unit 43 selects an image inferred by the inferencer that there is no blur or blur as an image to be used for generating the panorama image Ip.
  • the parameters required for the above-mentioned inference device are generated in advance by learning a learning model based on deep learning, and are stored in a memory 12 or the like.
  • the panorama image generation unit 43 develops the captured image Ic selected in step S201 (step S202). For example, the panoramic image generation unit 43 develops the captured image Ic by detecting the farthest point corresponding to the position farthest from the viewpoint position in the captured image Ic and performing polar coordinate conversion around the farthest point. Generates an image (also referred to as a "development image").
  • the panorama image generation unit 43 performs an extraction process of feature points on each developed image generated in step S202 (step S203). For example, the panorama image generation unit 43 extracts feature points in each developed image by using an arbitrary feature extraction algorithm such as AKAZE, SIFT, SURF, and BRISK.
  • an arbitrary feature extraction algorithm such as AKAZE, SIFT, SURF, and BRISK.
  • the panorama image generation unit 43 matches the feature points between the developed images (step S204).
  • the panoramic image generation unit 43 detects the feature points having the same feature amount between the developed images, and recognizes the correspondence of the feature points between the developed images by regarding the combination of these feature points as the same point. ..
  • the panoramic image generation unit 43 matches the feature points between the developed images by using various feature point matching methods such as RANSAC and K-Nearest Neighbor.
  • the panorama image generation unit 43 generates the panorama image Ip by combining all the developed images generated in step S202 based on the matching result of the feature points in step S204 (step S205).
  • the panorama image generation unit 43 generates a panorama image Ip in which all the developed images are combined by deforming the developed image into a non-rigid body so that the matched feature points overlap each other.
  • the panoramic image generation process to be executed by the panoramic image generation unit 43 is not limited to the process shown in FIG. 9, and a circular image obtained by photographing the inside of a luminal organ or a tubular structure having a structure equivalent thereto is captured. Any process may be used for converting to a panoramic image.
  • Japanese Patent Application Laid-Open No. 2013-84156 discloses a process for converting a circular image into a panoramic image.
  • FIG. 10 is an example of a flowchart of the distance calculation process executed by the distance calculation unit 45.
  • the panorama image generation unit 43 executes the process of the flowchart of FIG. 10 in step S104 of FIG.
  • the distance calculation unit 45 acquires a captured image Ic between two points for calculating the distance from the captured image storage unit 20 that stores a series of captured image Ics generated in the previous endoscopy (step). S300). In this case, for example, the distance calculation unit 45 sets the shooting image Ic whose shooting range is each of the two points for which the distance is to be calculated, and another shooting image Ic generated between these shooting images Ic. Is acquired from the captured image storage unit 20.
  • the distance calculation unit 45 corresponds to the captured image Ic whose imaging range is the insertion position of the endoscope scope 3 and the latest captured image Ic obtained by the endoscopy currently being performed. And are identified from the series of captured images Ic generated in the previous endoscopy. Then, the distance calculation unit 45 acquires the specified two photographed images Ic and the photographed image Ic generated between them as the photographed image Ic between the two points for calculating the distance from the photographed image storage unit 20.
  • the distance calculation unit 45 When calculating the distance from the insertion position of the endoscope scope 3 to the imaged position, the distance calculation unit 45 is currently performed instead of acquiring the captured image Ic generated in the previous endoscopy.
  • the photographed image Ic generated by the endoscopy may be acquired.
  • the distance calculation unit 45 acquires the captured image Ic acquired from the start of the current endoscopy to the present in step S300. Even in this case, the distance calculation unit 45 can calculate the distance from the insertion position of the endoscope scope 3 to the imaged position.
  • the distance calculation unit 45 executes the same processing as steps S201 to S204 of the panoramic image generation processing shown in FIG. 9 on the captured image Ic acquired in step S300. Specifically, the distance calculation unit 45 selects an image used for distance calculation (that is, an image in which blurring or the like does not occur) from the captured image Ic acquired in step S300 (step S301). Next, the distance calculation unit 45 develops the captured image Ic selected in step S301 (step S302). Then, the distance calculation unit 45 performs an extraction process of feature points on each developed image generated in step S302 (step S303). Then, the distance calculation unit 45 matches the feature points having the same feature amount between the developed images by the feature point matching method, and recognizes the correspondence between the developed images (step S304).
  • an image used for distance calculation that is, an image in which blurring or the like does not occur
  • the panorama image generation unit 43 transmits the processing results (for example, the developed image, the information of the feature points, and the matching result of the feature points) in steps S201 to S204 of the panorama image generation process to the captured image storage unit 20. It may be stored in association with each captured image Ic to be stored. In this case, instead of executing each of the processes of steps S301 to S304, the distance calculation unit 45 refers to the processing result stored in association with the captured image Ic by the panorama image generation unit 43, thereby referring to the processing results of steps S301 to S304. The processing result of can be obtained.
  • the processing results for example, the developed image, the information of the feature points, and the matching result of the feature points
  • the distance calculation unit 45 searches for and connects nearby feature points to the feature points extracted in step S303 (step S305). In this case, the distance calculation unit 45 searches for the feature points in the vicinity of the feature points in each developed image, and provides a link for connecting the feature points in the vicinity. Details of this process will be described later with reference to FIG.
  • the distance calculation unit 45 calculates the distance of each feature point from the photographing unit in the three-dimensional space (step S306).
  • the distance calculation unit 45 calculates the distance of each feature point from the photographing unit in the three-dimensional space based on, for example, a depth estimation algorithm using machine learning. Details of this process will be described with reference to FIG.
  • the distance calculation unit 45 calculates the relative vector in the three-dimensional space between the feature points connected in step S306, the developed image acquired in step S302, the parameters of the photographing unit, and each feature calculated in step S306. Calculated based on the distance between points (step S307). Details of this process will be described with reference to FIGS. 13 and 14.
  • the distance calculation unit 45 searches for the shortest path between the two points for calculating the distance (step S308).
  • the distance calculation unit 45 forms a path between the two points for calculating the distance by connecting the links between the feature points existing between the two points for calculating the distance, and for each link forming the path.
  • the path that minimizes the total of the corresponding relative vector lengths is determined as the shortest path.
  • the distance calculation unit 45 calculates the total value of the relative vector lengths corresponding to each link forming the shortest path as the distance between the two points to be obtained (step S309). Details of the processes in steps S308 and S309 will be described with reference to FIGS. 15 and 16.
  • FIG. 11A is a diagram showing the feature points “P1” to “P6” extracted in step S303 on the developed image generated from a certain panoramic image Ip.
  • FIG. 11B is an enlarged image of the vicinity of the feature point P2.
  • the distance calculation unit 45 searches for nearby feature points within a predetermined distance (predetermined pixel) on the developed image for each feature point P1 to P6. For example, when searching for a feature point in the vicinity of the feature point P2, as shown in FIG. 11B, the distance calculation unit 45 is within a circle 68 having a radius of a predetermined distance (see arrow) centered on the feature point P2. Search for existing feature points. Then, in this case, the distance calculation unit 45 considers the feature points P1, P3, and P4 as neighboring feature points of the feature point P2, respectively.
  • FIG. 11C shows a developed image in which feature points that are nearby feature points are connected by a line.
  • the distance calculation unit 45 provides a link between feature points that are nearby feature points. For example, since the feature points P2 have the feature points P1, P3, and P4 as neighboring feature points, links are provided between the feature points P2 and the feature points P1, P3, and P4, respectively. Then, the distance calculation unit 45 executes the processes shown in FIGS. 11A to 11C for all the developed images generated in step S302.
  • FIG. 12 shows a developed image in which the distances from the photographing unit in the three-dimensional space for each of the feature points P1 to P6 are clearly shown.
  • the distance calculation unit 45 inputs a target developed image to, for example, an inference device that infers the distance from the photographing unit at each pixel (which may be a sub-pixel) with respect to the input image. Then, the distance calculation unit 45 acquires the distance of each feature point from the photographing unit in the three-dimensional space by referring to the inference value of the inference device for each pixel corresponding to each feature point.
  • This inference device is a learning model learned to infer the distance from the photographing unit for each pixel with respect to the input image, and is, for example, a learning model based on deep learning.
  • the correct answer data is the distance calculated by photographing the large intestine phantom used for training of an endoscopist with a compound eye camera, and the endoscopic image of the large intestine phantom is input. An image is used, and a combination of these is used as training data.
  • a machine learning method for estimating the depth (distance) of each pixel of a captured image such as DORN (Deep Original Regression Network for Monocular Depth Estimation).
  • FIG. 13 is a diagram showing the correspondence between the length (distance) of the captured image Ic and the actual length (distance) when only one of the horizontal direction and the vertical direction of the captured image Ic is considered. ..
  • the length of the rod-shaped object 81 existing in the photographing range of the photographing unit is “L”
  • the length (number of pixels) of the image 81a of the rod-shaped object 81 on the photographed image Ic is “La”
  • the photographed image Ic Let the width (number of pixels) be "S”.
  • the distance from the imaging unit to the rod-shaped object 81 is defined as "D", and the viewing angle (that is, the fov value), which is a parameter of the imaging unit that is uniquely determined for each lens of the imaging unit, is defined as "fv”.
  • the distance calculation unit 45 uses other parameters (for example, focal length) of the imaging unit instead of the viewing angle fv of the imaging unit, and similarly sets the length L based on the geometric relationship shown in FIG. It may be calculated.
  • FIG. 14A is a diagram showing a part of the developed image shown in FIG. 12 in association with pixels.
  • x-axis and y-axis parallel to the developed image and perpendicular to each, and “z-axis” perpendicular to the x-axis and y-axis are defined.
  • the calculation method of "Tz" will be considered.
  • the fov values (viewing angles) in the x-direction and y-direction of the imaging unit are defined as “fvx” and “fvy”, respectively, and the widths (sizes) of the imaging unit in the x-direction and y-direction are defined as “Sx” and “Sy”, respectively.
  • the distance calculation unit 45 calculates the x-direction component Px and y-direction component Py for each pixel the relative vector T 56 traversed by summing each, x direction component Tx and y directions relative vector T 56 Calculate the component Ty. That is, the distance calculating unit 45 in accordance with the following equation (5) and (6), to calculate the x-direction component Tx and y direction component Ty relative vector T 56.
  • Tx ⁇ Px (5)
  • Ty ⁇ Py (6)
  • the distance calculation unit 45 preferably sets each component Tx, Ty, Tz of the relative vector between the feature points based on the developed image, the parameters of the imaging unit, and the distance of each feature point from the photographing unit. Can be calculated.
  • the distance calculation unit 45 searches for the shortest path between two points for which the distance is obtained, based on the link between the set feature points. In this case, the distance calculation unit 45 considers that the feature points between the developed images matched in step S304 are the same points (that is, they are connected at a distance of 0).
  • FIG. 15 is a diagram showing the correspondence between the feature points of the five developed images 54 to 58 used when calculating the distance between the two points from the insertion portion 69 to the lesion site 70.
  • FIG. 15 shows a developed image 54 in which the insertion portion 69 is to be imaged, a developed images 55 to 57 in which the intermediate point from the insertion portion 69 to the lesion site 70 is to be imaged, and the lesion site 70 to be imaged.
  • Each of the developed images 58 to be targeted is shown.
  • each feature point in the frame 71A on the developed image 54 is matched with each feature point in the frame 71B of the developed image 55 in the matching process in step S304. Therefore, in this case, the distance calculation unit 45 considers each feature point in the frame 71A and each feature point in the frame 71B to be the same point (that is, they are connected at a distance of 0). Similarly, the distance calculation unit 45 considers each feature point in the frame 72A of the developed image 55 and each feature point in the frame 72B of the developed image 56 to be the same point, and each feature point in the frame 73A of the developed image 56. And the feature points in the frame 73B of the developed image 57 are regarded as the same points, and the frame 74A of the developed image 57 and the feature points in the frame 74B of the developed image 58 are regarded as the same points.
  • FIG. 16A shows the feature points from the insertion portion 69 to the lesion site 70 and the links provided between these feature points.
  • the distance calculation unit 45 recognizes the route from the insertion portion 69 to the lesion site 70 as a graph by regarding the matched feature points as the same point, as shown in FIG. 16 (A). Then, the distance calculation unit 45 calculates the shortest path from the insertion unit 69 to the lesion site 70 by using an arbitrary shortest path search algorithm (for example, Dijkstra's algorithm) used in vehicle navigation or the like. In this case, for example, the distance calculation unit 45 regards the cost of each link as the norm (length) of the relative vector between the corresponding feature points, and the total cost of the links constituting the route between the two points is minimized. Search for a route as the shortest route.
  • FIG. 16B is a diagram clearly showing the shortest path “LT” searched by the distance calculation unit 45 in FIG. 16A.
  • FIG. 16C is a diagram showing the lengths (norms) “t1” to “t13” of each relative vector constituting the shortest path LT.
  • the distance calculation unit 45 calculates the relative vector between the feature points, and then, of the paths between the two points formed by connecting these feature points, the length of the relative vector between the feature points constituting the path.
  • the route length of the route that minimizes the sum of the vectors is calculated as the distance between the two points.
  • the distance calculation unit 45 can accurately calculate the length between any two points in the lumen along the lumen.
  • the display control unit 46 may display the panoramic image Ip generated based on the captured image Ic obtained in the insertion step of the endoscope scope 3 on the display device 2 in the discharge step of the endoscope scope 3.
  • the display control unit 46 generates a panoramic image Ip based on the captured image Ic obtained in the immediately preceding insertion step when performing the treatment in the lumen in the discharge step, and displays it on the display device 2.
  • the display control unit 46 panoramics information on the current imaged position, lesion site, and the like when performing treatment in the lumen in the discharge step even in the first examination of the subject. It can be suitably displayed in association with the image Ip.
  • the captured image storage unit 20, the attention point information storage unit 21, and the panoramic image storage unit 22 may be stored in a storage device different from the image processing device 1.
  • FIG. 17 is a schematic configuration diagram of the endoscopy system 100A in the second modification. Note that in FIG. 17, for the sake of brevity, the display device 2 and the endoscope scope 3 and the like are not shown.
  • the endoscopy system 100A shown in FIG. 17 includes a server device 4 that stores a photographed image storage unit 20, a point of interest information storage unit 21, and a panoramic image storage unit 22. Further, the endoscopy system 100A includes a plurality of image processing devices 1 (1A, 1B, ...) That can perform data communication with the server device 4 via a network.
  • each image processing device 1 refers to and updates the captured image storage unit 20, the attention point information storage unit 21, and the panoramic image storage unit 22 via the network.
  • the interface 13 of each image processing device 1 includes a communication interface such as a network adapter for performing communication.
  • each image processing device 1 can suitably refer to and update the captured image storage unit 20, the attention point information storage unit 21, and the panoramic image storage unit 22 as in the above-described embodiment.
  • each image processing device 1 shares the information stored in the captured image storage unit 20, the attention point information storage unit 21, and the panorama image storage unit 22. Therefore, even if the first endoscopy and the second endoscopy for the same subject are performed using different image processing devices 1, the second endoscopy The image processing device 1 used can perform each of the displays shown in FIGS. 4 to 7. In this case, the image processing device 1 that performs the first inspection generates the panoramic image Ip and stores it in the panoramic image storage unit 22, and the image processing device 1 that performs the second inspection stores the panoramic image Ip in the panoramic image. It is also possible to obtain from the unit 22 and perform each display shown in FIGS. 4 to 7.
  • the display device 2 may be a part of the image processing device 1.
  • the processor 11 of the image processing device 1 supplies a display signal for displaying the screens shown in FIGS. 4 to 7 to the display unit corresponding to the display device 2.
  • the display device 2 is not limited to the display, and may be a projector or the like that projects an image.
  • the captured image storage unit 20 may store the captured image Ic corresponding to the region of interest in association with flag information indicating that the location of interest is associated with the captured image Ic.
  • the attention point information storage unit 21 does not have to exist.
  • the processor 11 preferably recognizes the existence of the point of interest by referring to the captured image storage unit 20, and reflects it in the display or the like on the display device 2 as in the above-described embodiment. Can be done.
  • the panorama image generation unit 43 may supply the generated panorama image Ip to the display control unit 46 instead of storing the generated panorama image Ip in the panorama image storage unit 22.
  • the panoramic image storage unit 22 does not have to exist.
  • FIG. 18 is a block diagram of the image processing apparatus 1X according to the second embodiment.
  • the image processing device 1X includes a panoramic image acquisition unit 43X and a display control unit 46X.
  • the panoramic image acquisition unit 43X obtains a panoramic image Ip in which the wall surface in the cavity is developed in a plane shape based on a plurality of captured images Ic in which the lumen is photographed by the imaging unit provided in the endoscope in the first imaging step. get.
  • the panorama image acquisition unit 43X can be, for example, the panorama image generation unit 43 of the first embodiment that generates a panorama image Ip by performing a panorama image generation process.
  • the panoramic image acquisition unit 43X may acquire the panoramic image Ip generated by another device from the other device or a storage device that stores the panoramic image Ip.
  • the display control unit 46X displays the imaged position information regarding the imaged position of the lumen in the second imaging step on the display device 2 in association with the panoramic image Ip.
  • the imaged position information can be, for example, the first imaged position information Itg1 of the first embodiment, the second imaged position information Itg2, or both of them.
  • the image processing apparatus 1X can preferably make the inspector grasp the imaged position of the cavity in the second imaging step.
  • a panoramic image acquisition unit that acquires a panoramic image in which the wall surface in the lumen is developed in a plane based on a plurality of images obtained by photographing the lumen by an imaging unit provided in the endoscope in the first imaging step.
  • a display control unit that displays the imaged position information regarding the imaged position of the cavity in the second imaging step on the display device in association with the panoramic image.
  • An image processing device having.
  • Appendix 2 The image processing device according to Appendix 1, wherein the display control unit displays information indicating a distance from the insertion position of the endoscope to the imaged position as the imaged position information on the display device.
  • the imaged position specifying portion for specifying the imaged position is further provided.
  • the image processing device according to Appendix 1 or 2, wherein the display control unit displays a mark indicating a shooting position specified by the shooting position specifying unit on the panoramic image as the shooting position information.
  • Appendix 1 further includes a distance calculation unit that calculates the distance between two points in the lumen based on the parameters of the imaging unit and the distance from the imaging unit to each of the plurality of feature points on the wall surface.
  • the image processing apparatus according to any one of 3 to 3.
  • the distance calculation unit inputs an image whose feature point is the image to be imaged into an inference device learned to output the distance of the image from the image-imaging unit of the image to the input image.
  • the image processing apparatus according to Appendix 4 wherein the distance from the photographing unit with respect to the feature point is acquired.
  • the distance calculation unit A relative vector between the feature points is calculated based on the parameters of the photographing unit, the distance from the photographing unit to each of the feature points, and the image in which the feature points are to be photographed. Of the paths between the two points formed by connecting the plurality of feature points, the sum of the paths that minimizes the sum of the lengths of the relative vectors between the feature points constituting the path is taken between the two points.
  • the distance calculation unit detects a combination of feature points representing the same location among a plurality of images whose subject is the plurality of feature points, and regards the combination of the feature points as the same feature point.
  • the display control unit displays on the display device information indicating at least one of the distance from the imaged position to the attention point or the distance from the insertion position of the endoscope to the attention point.
  • the image processing apparatus according to Appendix 8.
  • Appendix 10 The image processing apparatus according to Appendix 8 or 9, wherein the point of interest is a lesion site or a point where the endoscope comes into contact with the endoscope when the endoscope is inserted.
  • the display control unit displays the panoramic image based on the plurality of images taken in the first shooting step and the panoramic image based on the plurality of images taken in the second shooting step on the display device.
  • the image processing apparatus according to any one of 14 to 14.
  • Appendix 16 It is a control method executed by the image processing device. Based on a plurality of images of the lumen taken by an imaging unit provided in the endoscope in the first imaging step, a panoramic image in which the wall surface in the lumen is developed in a plane is acquired. The imaged position information regarding the imaged position of the cavity in the second imaging step is displayed on the display device in association with the panoramic image. Control method.
  • a panoramic image acquisition unit that acquires a panoramic image in which the wall surface in the lumen is developed in a plane based on a plurality of images obtained by photographing the lumen by an imaging unit provided in the endoscope in the first imaging step.
  • a storage medium that stores a program that causes a computer to function as a display control unit that displays imaged position information related to the imaged position of the cavity in the second imaging step in association with the panoramic image on a display device.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)

Abstract

【課題】内視鏡検査において、現在撮影されている位置に関する情報を好適に提示することが可能な画像処理装置、制御方法及び記憶媒体を提供する。 【解決手段】画像処理装置１Ｘは、パノラマ画像取得部４３Ｘと、表示制御部４６Ｘとを備える。パノラマ画像取得部４３Ｘは、第１撮影工程において内視鏡に設けられた撮影部により管腔を撮影した複数の撮影画像Ｉｃに基づき、管腔内の壁面を平面状に展開したパノラマ画像Ｉｐを取得する。表示制御部４６Ｘは、第２撮影工程における管腔の被撮影位置に関する被撮影位置情報を、パノラマ画像Ｉｐと対応付けて表示装置２に表示する。

Description

画像処理装置、制御方法及び記憶媒体
　本発明は、内視鏡検査における表示に関する処理を行う画像処理装置、制御方法及び記憶媒体の技術分野に関する。
　従来から、臓器の管腔内を撮影した画像を表示する内視鏡システムが知られている。例えば、特許文献１には、消化管の内壁面の合成展開画像を生成し、モニタ等の表示画面に表示する内視鏡システムが開示されている。
特開２０１５－１０６７０３号公報
　内視鏡システムのように、連続的に得られる複数の画像から検査対象となる病変部等を表示した画像を目視により判定する場合には、重要な検査箇所の見逃し等が生じてしまう可能性がある。このような検査箇所の見逃し等を抑制するには、検査中に現在撮影されている位置を検査者が的確に把握する必要がある。
　本発明の目的は、上述した課題を鑑み、内視鏡検査において、現在撮影されている位置に関する情報を好適に提示することが可能な画像処理装置、制御方法及び記憶媒体を提供することを主な課題とする。
　画像処理装置の一の態様は、画像処理装置であって、第１撮影工程において内視鏡に設けられた撮影部により管腔を撮影した複数の画像に基づき、前記管腔内の壁面を平面状に展開したパノラマ画像を取得するパノラマ画像取得部と、第２撮影工程における前記管腔の被撮影位置に関する被撮影位置情報を、前記パノラマ画像と対応付けて表示装置に表示する表示制御部と、を有する。
　制御方法の一の態様は、画像処理装置が実行する制御方法であって、第１撮影工程において内視鏡に設けられた撮影部により管腔を撮影した複数の画像に基づき、前記管腔内の壁面を平面状に展開したパノラマ画像を取得し、第２撮影工程における前記管腔の被撮影位置に関する被撮影位置情報を、前記パノラマ画像と対応付けて表示装置に表示する。
　記憶媒体の一の態様は、第１撮影工程において内視鏡に設けられた撮影部により管腔を撮影した複数の画像に基づき、前記管腔内の壁面を平面状に展開したパノラマ画像を取得するパノラマ画像取得部と、第２撮影工程における前記管腔の被撮影位置に関する被撮影位置情報を、前記パノラマ画像と対応付けて表示装置に表示する表示制御部としてコンピュータを機能させるプログラムを格納した記憶媒体である。
　本発明によれば、内視鏡検査時での被撮影位置を検査者に好適に把握させることができる。
内視鏡検査システムの概略構成を示す。 画像処理装置のハードウェア構成を示す。 画像処理装置の機能ブロック図である。 内視鏡検査において表示装置が表示する第１表示例である。 内視鏡検査において表示装置が表示する第２表示例である。 内視鏡検査において表示装置が表示する第３表示例である。 内視鏡検査において表示装置が表示する第４表示例である。 内視鏡検査時での表示処理の概要を示すフローチャートの一例である。 パノラマ画像生成処理のフローチャートの一例である。 距離算出処理のフローチャートの一例である。 （Ａ）展開画像上において、抽出された特徴点を明示した図である。（Ｂ）特徴点Ｐ２の近傍を拡大した画像である。（Ｃ）近傍特徴点となる特徴点間を線で結んだ展開画像を示す。 各特徴点の３次元空間上での撮影部からの距離を特徴点毎に明示した展開画像を示す。 撮影画像の横方向又は縦方向のいずれか一方のみを考慮した場合の、撮影画像における長さと実際の長さとの対応関係を示す図である。 （Ａ）図１２に示す展開画像において、一部の領域を画素と対応付けて示した図である。（Ｂ）相対ベクトルのｘ方向及びｙ方向の長さを明示した画素の拡大図である。 挿入部から病変部位までの２点間の距離を算出する場合に使用する５枚の展開画像の特徴点同士の対応関係を示した図である。 （Ａ）挿入部から病変部位までの特徴点と特徴点間に設けられたリンクとを示したグラフである。（Ｂ）距離算出部が探索した最短経路を明示した図である。（Ｃ）最短経路を構成する各相対ベクトルの長さ（ノルム）を明示した図である。 変形例における内視鏡システムの概略構成図である。 第２実施形態における画像処理装置のブロック図である。
　以下、図面を参照しながら、画像処理装置、制御方法及び記憶媒体の実施形態について説明する。
　＜第１実施形態＞
　（１）システム構成
　図１は、内視鏡検査システム１００の概略構成を示す。図１に示すように、内視鏡検査システム１００は、主に、画像処理装置１と、表示装置２と、画像処理装置１に接続された内視鏡スコープ３と、を備える。以後では、代表例として、大腸の内視鏡検査における処理の説明を行う。
　画像処理装置１は、内視鏡スコープ３が時系列により撮影する画像（「撮影画像Ｉｃ」とも呼ぶ。）を内視鏡スコープ３から取得し、撮影画像Ｉｃに基づく画面を表示装置２に表示させる。撮影画像Ｉｃは、撮影対象である被検者の大腸の管腔を撮影した画像であり、被検者への内視鏡スコープ３の挿入工程又は排出工程において所定の時間間隔により撮影された画像である。本実施形態においては、画像処理装置１は、過去の内視鏡検査における内視鏡スコープ３の挿入工程又は排出工程において大腸の管腔の略全体を細切れに撮影した複数の撮影画像Ｉｃに基づき、管腔の壁面を平面上に展開した画像（「パノラマ画像Ｉｐ」とも呼ぶ。）を生成する。そして、画像処理装置１は、被検者に対して再び行う内視鏡検査において、内視鏡スコープ３により現在撮影されている被撮影位置に関する情報を、パノラマ画像Ｉｐと対応付けて表示装置２に表示させる。この処理の詳細は後述する。以後では、撮影対象である管腔の略全体を撮影した一連の撮影画像Ｉｃが生成される工程（即ち内視鏡スコープ３の挿入工程又は排出工程）を、「撮影工程」とも呼ぶ。
　表示装置２は、画像処理装置１から供給される表示信号に基づき所定の表示を行うディスプレイ等である。
　内視鏡スコープ３は、被検者の大腸に挿入されることで大腸の管腔を撮影する機器である。内視鏡スコープ３は、主に、画像処理装置１と接続するための接続部３１と、検査者が所定の入力を行うための操作部３２と、管腔内に挿入され、柔軟性を有するシャフト３３と、超小型撮像素子などの撮影部を内蔵した先端部３４とを有する。操作部３２は、例えば、先端部３４の垂直面上で互いに垂直な２軸（「Ｘ軸」及び「Ｙ軸」とする）における方向を夫々段階的に調整可能なダイヤル部を有している。また、操作部３２は、例えば、病変が生じていると疑われる箇所（「病変部位」と呼ぶ。）などの注目箇所を検査者が発見した場合に、当該注目箇所を指定するボタン等を有する。この場合、例えば、検査者は、検査中に表示装置２が表示する撮影画像Ｉｃを参照し、注目箇所が表示された場合に、上述のボタンを選択することで、表示中の撮影画像Ｉｃが注目箇所を含むことを指定する。上述のボタンが選択された場合、操作部３２は、所定の信号（「操作信号Ｓ１」とも呼ぶ。）を画像処理装置１に供給する。
　（２）ハードウェア構成
　図２は、画像処理装置１のハードウェア構成を示す。画像処理装置１は、主に、プロセッサ１１と、メモリ１２と、インターフェース１３と、入力部１４と、光源部１５と、音出力部１６と、を含む。これらの各要素は、データバス１９を介して接続されている。
　プロセッサ１１は、メモリ１２に記憶されているプログラム等を実行することにより、所定の処理を実行する。プロセッサ１１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのプロセッサである。
　メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの各種のメモリ（記憶媒体）により構成される。なお、メモリ１２は、画像処理装置１に接続又は内蔵されたハードディスクなどの外部記憶装置であってもよく、フラッシュメモリなどの記憶媒体であってもよい。メモリ１２には、画像処理装置１が本実施形態における各処理を実行するためのプログラムが記憶される。メモリ１２は、機能的には、撮影画像記憶部２０と、注目箇所情報記憶部２１と、パノラマ画像記憶部２２とを有している。これらの記憶部の詳細については後述する。また、メモリ１２は、作業メモリとしても使用される。
　インターフェース１３は、画像処理装置１と表示装置２とを接続するためのインターフェース、及び、画像処理装置１と内視鏡スコープ３とを接続するためのインターフェースを含む。例えば、インターフェース１３は、プロセッサ１１が生成した表示信号を表示装置２に供給する。また、インターフェース１３は、光源部１５が生成する光等を内視鏡スコープ３に供給する。また、インターフェース１３は、内視鏡スコープ３から供給される撮影画像Ｉｃを示す電気信号をプロセッサ１１に供給する。また、撮影画像記憶部２０、注目箇所情報記憶部２１、及びパノラマ画像記憶部２２が外部記憶装置に含まれる場合、インターフェース１３は、例えば、ＵＳＢ、ＳＡＴＡ（Ｓｅｒｉａｌ　ＡＴ　Ａｔｔａｃｈｍｅｎｔ）などに準拠したインターフェースを含む。
　入力部１４は、検査者による操作に基づく入力信号を生成する。入力部１４は、例えば、ボタン、タッチパネル、リモートコントローラ、音声入力装置等である。光源部１５は、内視鏡スコープ３の先端部３４に供給するための光を生成する。また、光源部１５は、内視鏡スコープ３に供給する水や空気を送り出すためのポンプ等も内蔵してもよい。音出力部１６は、プロセッサ１１の制御に基づき音を出力する。
　（３）データの概要
　次に、撮影画像記憶部２０、注目箇所情報記憶部２１、及びパノラマ画像記憶部２２にそれぞれ保持するデータの概要について説明する。
　撮影画像記憶部２０は、プロセッサ１１の制御に基づき、内視鏡検査の撮影工程（挿入工程又は排出工程）において大腸の管腔全体を撮影した一連の撮影画像Ｉｃを記憶する。これらの撮影画像Ｉｃは、パノラマ画像Ｉｐの生成に用いられる画像であり、被検者の識別情報（例えば患者ＩＤ）と関連付けて記憶される。また、各撮影画像Ｉｃには、撮影が行われた撮影工程や画像間の撮影順序などを識別するためのタイムスタンプの情報等が関連付けられている。
　なお、一般に、内視鏡スコープ３の挿入工程よりも排出工程の方が内視鏡スコープ３が管腔内を円滑に移動できる。そして、内視鏡検査の内視鏡スコープ３の挿入工程において生成された撮影画像Ｉｃよりも、内視鏡検査の内視鏡スコープ３の排出工程において生成された撮影画像Ｉｃの方が、より鮮明に管腔内を撮影した画像となる。よって、好適には、プロセッサ１１は、内視鏡検査の内視鏡スコープ３の排出工程において大腸の管腔を撮影した一連の撮影画像Ｉｃを撮影画像記憶部２０に記憶し、パノラマ画像Ｉｐの生成に用いるとよい。
　注目箇所情報記憶部２１は、検査対象となる大腸の管腔において、検査上注目すべき箇所である注目箇所を示した情報（「注目箇所情報」とも呼ぶ。）を記憶する。注目箇所は、例えば、検査者により病変部位等として指定された部位、又は、病変部位等を検出するための画像解析プログラムにより検出された部位に相当する。なお、注目箇所は、病変部位に限らず、炎症が生じている箇所、手術痕その他の切り傷が生じている箇所、ひだや突起が生じている箇所、前回検査時における内視鏡スコープ３の挿入工程において先端部３４が管腔内の壁面に接触した（閊えた）箇所などであってもよい。注目箇所情報は、例えば、注目箇所を表わす撮影画像Ｉｃそのものであってもよく、当該撮影画像Ｉｃから注目箇所を切り取った部分画像であってもよく、注目箇所に重複又は最も近い管腔内の特徴点に関する情報であってもよい。特徴点の抽出方法等については、後述する。また、注目箇所情報は、病変部位などの異常部位であるか、又は、内視鏡スコープ３の挿入工程で接触した箇所であるか等の注目箇所の種別情報をさらに含んでもよい。
　パノラマ画像記憶部２２は、プロセッサ１１が生成したパノラマ画像Ｉｐを記憶する。プロセッサ１１は、パノラマ画像Ｉｐの生成に必要な撮影画像Ｉｃが撮影画像記憶部２０に記憶された後、所定のタイミングにおいてパノラマ画像Ｉｐを生成し、生成したパノラマ画像Ｉｐを被検者の識別情報等と関連付けてパノラマ画像記憶部２２に記憶する。また、パノラマ画像Ｉｐには、パノラマ画像Ｉｐの生成に用いた撮影画像Ｉｃの撮影日時（タイムスタンプ）に関する情報、及び、被検者の識別情報等が関連付けられているとよい。また、パノラマ画像記憶部２２は、パノラマ画像Ｉｐに加えて、パノラマ画像Ｉｐの生成時に各撮影画像Ｉｃから抽出された特徴点に関する情報をさらに記憶してもよい。この特徴点に関する情報は、例えば、管腔内の２点間の距離の算出において用いられる。
　（４）機能ブロック
　図３は、画像処理装置１の機能ブロック図である。図３に示すように、画像処理装置１のプロセッサ１１は、機能的には、取得部４１と、注目箇所情報生成部４２と、パノラマ画像生成部４３と、被撮影位置特定部４４と、距離算出部４５と、表示制御部４６と、を有する。
　取得部４１は、インターフェース１３を介して内視鏡スコープ３が撮影した撮影画像Ｉｃを所定間隔により取得する。そして、取得部４１は、取得した撮影画像Ｉｃを、被検者の識別情報等と関連付けて撮影画像記憶部２０に記憶する。この場合、例えば、取得部４１は、入力部１４による入力情報等に基づき被検者の識別情報等を検査開始までに取得し、当該情報を内視鏡スコープ３から取得した撮影画像Ｉｃに付加するとよい。また、取得部４１は、取得した撮影画像Ｉｃを、表示制御部４６に供給する。この撮影画像Ｉｃは、表示装置２に即時に表示される。
　さらに、取得部４１は、同一の被検者に対する過去の内視鏡検査において撮影された撮影画像Ｉｃが撮影画像記憶部２０に記憶されている場合には、取得した撮影画像Ｉｃを被撮影位置特定部４４に供給する。また、取得部４１は、注目箇所を指定する操作信号Ｓ１を内視鏡スコープ３から受信した場合、操作信号Ｓ１と同一タイミングにより内視鏡スコープ３から受信した撮影画像Ｉｃと当該操作信号Ｓ１とを、注目箇所情報生成部４２に供給する。
　注目箇所情報生成部４２は、取得部４１から供給される撮影画像Ｉｃと、操作信号Ｓ１とに基づき、注目箇所情報を生成し、生成した注目箇所情報を注目箇所情報記憶部２１に記憶する。例えば、注目箇所情報生成部４２は、操作信号Ｓ１と共に内視鏡スコープ３から供給された撮影画像Ｉｃは病変部位などの注目箇所を表していると判断し、当該撮影画像Ｉｃを注目箇所情報として注目箇所情報記憶部２１に記憶する。他の例では、注目箇所情報生成部４２は、取得部４１から供給される撮影画像Ｉｃに対し、病変部位等を検出するための画像解析プログラムを実行する。そして、注目箇所情報生成部４２は、撮影画像Ｉｃにおいて病変部位等の注目箇所を検出した場合、検出した注目箇所を示す注目箇所情報を、注目箇所情報記憶部２１に記憶する。この場合の注目箇所情報は、注目箇所が検出された撮影画像Ｉｃそのものであってもよく、注目箇所を表す特徴量の情報であってもよい。ここで、病変部位等を検出するための画像解析プログラムは、例えば、異常検知（所謂アノマリーディテクション）に用いられる任意のアルゴリズムに基づくプログラムであってもよい。
　さらに別の例では、注目箇所情報生成部４２は、内視鏡スコープ３の挿入工程において内視鏡スコープ３の先端部３４の閊え（壁面への接触）が生じた箇所（「接触箇所」とも呼ぶ。）を注目箇所として検出する。そして、注目箇所情報生成部４２は、検出した注目箇所を示す注目箇所情報を注目箇所情報記憶部２１に記憶する。この場合、注目箇所情報生成部４２は、撮影画像Ｉｃに対する画像解析により接触箇所を検出してもよく、先端部３４に接触センサ等が設けられている場合には、当該センサにより接触箇所を検出してもよい。例えば、注目箇所情報生成部４２は、前者の場合、先端部３４の閊えが生じた際に撮影された撮影画像Ｉｃを注目箇所情報とし、後者の場合、センサが接触を検知したときに生成された撮影画像Ｉｃを注目箇所情報とする。
　なお、好適には、注目箇所情報生成部４２は、検出した注目箇所の種別の情報を注目箇所情報に含めるとよい。例えば、注目箇所情報生成部４２は、上述の画像解析又は接触センサの出力等に基づき、接触箇所を検出した場合には、接触箇所であることを示す識別情報を、生成する注目箇所情報に含める。同様に、注目箇所情報生成部４２は、操作信号Ｓ１又は異常を検出する画像解析プログラムに基づき、病変部位（又はそれに準ずる異常部位）が存在すると判断した場合には、病変部位であることを示す識別情報を、生成する注目箇所情報に含める。
　パノラマ画像生成部４３は、撮影画像記憶部２０に記憶された撮影画像Ｉｃに基づき、対象の被検者の大腸の管腔全体を平面状に展開したパノラマ画像Ｉｐを生成する。パノラマ画像生成部４３によるパノラマ画像Ｉｐの生成処理の詳細については後述する。パノラマ画像生成部４３は、生成したパノラマ画像Ｉｐをパノラマ画像記憶部２２に記憶する。このとき、パノラマ画像生成部４３は、例えば、パノラマ画像Ｉｐの生成に用いた撮影画像Ｉｃの撮影日時、及び、被検者を識別する情報等をパノラマ画像Ｉｐに関連付けて記憶する。
　ここで、パノラマ画像Ｉｐの生成タイミングについて補足説明する。例えば、パノラマ画像生成部４３は、内視鏡検査の撮影工程において撮影された一連の撮影画像Ｉｃが撮影画像記憶部２０に記憶された後、直ちにこれらの撮影画像Ｉｃに基づきパノラマ画像Ｉｐを生成する。他の例では、パノラマ画像生成部４３は、表示制御部４６からパノラマ画像Ｉｐの生成指示があった場合に、撮影画像記憶部２０から対象の被検者の撮影画像Ｉｃを取得し、パノラマ画像Ｉｐを生成する。後者の例では、パノラマ画像生成部４３は、表示制御部４６からのパノラマ画像Ｉｐの生成指示に基づきパノラマ画像Ｉｐを生成後、生成したパノラマ画像Ｉｐを表示制御部４６へ直接供給してもよい。
　被撮影位置特定部４４は、対象の被検者に対する最新の撮影画像Ｉｃと、当該被検者の管腔を表したパノラマ画像Ｉｐとに基づき、パノラマ画像Ｉｐにおける現在の被撮影位置を特定する。被撮影位置特定部４４は、例えば、この場合、取得部４１から供給される撮影画像Ｉｃと、上述のパノラマ画像Ｉｐとの照合（マッチング）を行い、撮影画像Ｉｃに対応するパノラマ画像Ｉｐ中の領域を特定する。そして、被撮影位置特定部４４は、撮影画像Ｉｃに対応するパノラマ画像Ｉｐ中の領域を示す情報を、第１被撮影位置情報「Ｉｔｇ１」として表示制御部４６に供給する。
　撮影画像Ｉｃとパノラマ画像Ｉｐとの照合について補足説明する。被撮影位置特定部４４は、例えば、パノラマ画像Ｉｐと同様に、撮影画像Ｉｃを管腔の壁面を展開した画像に変換し、変換後の画像とパノラマ画像Ｉｐとで上述の照合を行う。この場合、被撮影位置特定部４４は、パノラマ画像Ｉｐと撮影画像Ｉｃとの特徴点をそれぞれ抽出し、特徴点のマッチングを行うことで、撮影画像Ｉｃに対応するパノラマ画像Ｉｐ中の領域を特定する。特徴点の抽出及び特徴点のマッチングの具体的な処理は、後述するパノラマ画像生成処理及び距離算出処理において説明する。
　距離算出部４５は、撮影画像Ｉｃに基づき、被検者の管腔内の任意の２点間の距離を算出する。被撮影位置特定部４４が算出する２点間の距離は、管腔に沿った距離を指すものとする。本実施形態では、距離算出部４５は、管腔内の２点間の距離として、内視鏡スコープ３の挿入位置（即ち肛門の位置）、内視鏡スコープ３による被撮影位置、病変部位や接触箇所などの注目箇所から選択される任意の２点間の距離を算出する。距離算出部４５による２点間の距離の算出方法については、後述する。距離算出部４５は、算出した距離を示す情報を、第２被撮影位置情報「Ｉｔｇ２」として表示制御部４６に供給する。
　表示制御部４６は、内視鏡検査に関する表示信号を生成し、生成した表示信号を表示装置２に供給することで、内視鏡検査に関する画面を表示装置２に表示する。具体的には、表示制御部４６は、被検者に対応するパノラマ画像Ｉｐをパノラマ画像記憶部２２から取得し、取得したパノラマ画像Ｉｐを、表示装置２に表示する。この場合、表示制御部４６は、被撮影位置特定部４４から受信する第１被撮影位置情報Ｉｔｇ１に基づき、パノラマ画像Ｉｐ上において被撮影位置を対応付けて表示する。また、表示制御部４６は、距離算出部４５から受信する第２被撮影位置情報Ｉｔｇ２に基づき、内視鏡スコープ３の挿入位置から被撮影位置までの距離等をパノラマ画像Ｉｐに対応付けて表示する。また、表示制御部４６は、注目箇所情報記憶部２１を参照し、検査者が注目又は注意すべき注目箇所をパノラマ画像Ｉｐ上において強調表示する。その他、表示制御部４６は、検査者の作業を補助するための種々の表示を行う。具体的な表示装置２の表示例については、後述する。なお、被検者に対する内視鏡検査が過去に行われておらず、表示すべきパノラマ画像Ｉｐを取得できない場合には、表示制御部４６は、取得部４１から供給される撮影画像Ｉｃを、表示装置２に表示する。また、被検者に対する内視鏡検査が過去に複数回行われていた場合には、表示制御部４６は、対象の被検者に対する直前の内視鏡検査において生成された撮影画像Ｉｃに基づくパノラマ画像Ｉｐを、表示装置２に表示するとよい。
　（５）表示例
　次に、表示制御部４６が実行する処理の詳細について、図４～図７を参照して説明する。
　図４は、内視鏡検査において表示制御部４６が生成する表示信号に基づき表示装置２が表示する画面の第１表示例である。第１表示例は、過去に内視鏡検査を行った被検者に対して再び内視鏡検査を行う際の表示装置２の表示画面を示している。
　第１表示例では、表示制御部４６は、同一被検者に対する前回の内視鏡検査の撮影画像Ｉｃに基づき生成されたパノラマ画像Ｉｐを、表示装置２に表示させる。ここで、パノラマ画像Ｉｐは、被検者の大腸の内壁を展開した大域的な画像となる。また、表示制御部４６は、パノラマ画像Ｉｐと共に、現在の内視鏡検査においてリアルタイムに内視鏡スコープ３が生成する撮影画像Ｉｃを取得し、表示装置２に表示させる。
　また、第１表示例では、表示制御部４６は、現在の被撮影位置を示す被撮影位置マーク５０と、１回目の内視鏡検査において検出された注目箇所（ここでは病変部位）を示す病変部位マーク５１と、管腔に沿った２点間の距離を示す距離情報６０とを、パノラマ画像Ｉｐに対応付けて表示する。
　この場合、表示制御部４６は、被撮影位置特定部４４が生成する第１被撮影位置情報Ｉｔｇ１に基づき、被撮影位置特定部４４がパノラマ画像Ｉｐ上で特定した被撮影位置を囲む被撮影位置マーク５０を、パノラマ画像Ｉｐ上に表示する。ここでは、一例として、表示制御部４６は、内視鏡スコープ３から即時に取得された撮影画像Ｉｃのパノラマ画像Ｉｐでの対応部分を包含する最小の矩形を、被撮影位置マーク５０としてパノラマ画像Ｉｐ上に表示する。また、距離算出部４５は、表示するパノラマ画像Ｉｐの生成に用いた一連の撮影画像Ｉｃを撮影画像記憶部２０から取得し、内視鏡スコープ３の挿入位置（即ち肛門）から被撮影位置までの距離（ここでは０．４ｍ）を算出する。そして、表示制御部４６は、距離算出部４５が生成した第２被撮影位置情報Ｉｔｇ２に基づき、内視鏡スコープ３の挿入位置から被撮影位置までの距離を示す距離情報６０を、パノラマ画像Ｉｐに対応付けて表示する。
　このように、表示制御部４６は、パノラマ画像Ｉｐに対応付けて被撮影位置マーク５０を表示することで、大腸全体における現在の被撮影位置を好適に検査者に認識させることができる。また、表示制御部４６は、内視鏡スコープ３の挿入位置（即ち肛門）から被撮影位置までの距離（ここでは０．４ｍ）を表示することで、現在の被撮影位置をより的確に検査者に把握させることができる。
　また、表示制御部４６は、対象の被検者に対する前回の内視鏡検査時に生成された注目箇所（ここでは病変部位）を示す注目箇所情報を注目箇所情報記憶部２１から参照し、当該病変部位を囲む病変部位マーク５１を、パノラマ画像Ｉｐ上に表示する。ここでは、一例として、表示制御部４６は、注目箇所情報として記憶された撮影画像Ｉｃ等とパノラマ画像Ｉｐとを照合することで対象の病変部位を特定し、特定した病変部位を囲む最小の矩形を、病変部位マーク５１としてパノラマ画像Ｉｐ上に表示する。また、距離算出部４５は、パノラマ画像Ｉｐの生成に用いた撮影画像Ｉｃを撮影画像記憶部２０から取得し、被撮影位置から注目箇所である病変部位までの距離（ここでは０．７ｍ）を算出する。そして、表示制御部４６は、距離算出部４５が生成した第２被撮影位置情報Ｉｔｇ２に基づき、被撮影位置から注目箇所である病変部位までの距離を示す距離情報６０を、パノラマ画像Ｉｐに対応付けて表示する。
　このように、表示制御部４６は、パノラマ画像Ｉｐに対応付けて被撮影位置マーク５０と共に病変部位マーク５１を表示することで、大腸全体における現在の被撮影位置と注目箇所（病変部位）との相対位置関係を好適に検査者に認識させることができる。また、表示制御部４６は、被撮影位置から注目箇所である病変部位までの距離（ここでは０．７ｍ）を表示することで、被撮影位置を病変部位に到達させるための目安を検査者に好適に提供することができる。なお、図４に示す表示は、車両等に対する経路案内に用いられる表示と同等の機能を有し、内視鏡スコープ３に対するナビゲーションに好適に寄与する。この場合、パノラマ画像Ｉｐは、検査対象となる大腸全体を表した地図に相当し、被撮影位置マーク５０は、現在位置マークに相当し、病変部位マーク５１は、目的地又は経由地のマークに相当する。
　図５は、表示制御部４６が生成する表示信号に基づき表示装置２が表示する画面の第２表示例である。第２表示例は、過去に内視鏡検査を行った被検者に対して再び内視鏡検査を行う際の表示装置２の表示画面を示している。
　第２表示例では、表示制御部４６は、第１表示例と同様に被撮影位置マーク５０及び病変部位マーク５１をパノラマ画像Ｉｐに対応付けて表示すると共に、同一被検者に対する前回の検査時において検出された接触箇所を示す接触箇所マーク５２を、パノラマ画像Ｉｐに対応付けて表示している。
　この場合、表示制御部４６は、被検者の前回の検査時に生成された注目箇所情報を注目箇所情報記憶部２１から抽出する。そして、この場合、抽出された注目箇所情報は、夫々病変部位と接触箇所とを表しており、表示制御部４６は、これらの注目箇所情報とパノラマ画像Ｉｐとの照合等により、パノラマ画像Ｉｐ上での病変部位と接触箇所とを夫々特定する。そして、表示制御部４６は、特定した病変部位を囲む病変部位マーク５１と共に、特定した接触箇所を囲む接触箇所マーク５２を、パノラマ画像Ｉｐに対応付けて表示する。また、距離算出部４５は、撮影画像記憶部２０に記憶された同一被検者の前回の検査時に生成された撮影画像Ｉｃを参照し、内視鏡スコープ３の挿入位置から被撮影位置までの距離（０．４ｍ）、被撮影位置から接触箇所までの距離（０．２ｍ）、接触箇所から病変部位までの距離（０．５ｍ）をそれぞれ算出する。そして、表示制御部４６は、距離算出部４５が算出したこれらの距離を示す距離情報６０を、パノラマ画像Ｉｐに対応付けて表示する。
　このように、表示制御部４６は、前回の検査の挿入工程において内視鏡スコープ３の挿入が円滑に行われなかった接触箇所を特定し、接触箇所マーク５２によりパノラマ画像Ｉｐ上にて明示する。これにより、内視鏡スコープ３の挿入において注意が必要な箇所を好適に検査者に認識させることができる。また、表示制御部４６は、上記の接触箇所と被撮影位置との距離等をパノラマ画像Ｉｐに対応付けて表示することで、上記の接触箇所と被撮影位置との位置関係をより的確に検査者に認識させることができる。
　また、第２表示例では、表示制御部４６は、接触箇所と被撮影位置との距離が予め定めた所定の閾値（例えば０．２ｍ）以下となったことを検知し、被撮影位置が当該接触箇所に近づいている旨の警告を示すテキスト情報６１を、表示装置２に表示させる。これにより、表示制御部４６は、接触箇所に先端部３４が近づいていることを好適に検査者に知らせ、内視鏡スコープ３の挿入作業の注意喚起を行うことができる。また、表示制御部４６は、テキスト情報６１の表示に加えて、音出力部１６によりテキスト情報６１と同様の内容を音声出力してもよい。
　なお、表示制御部４６は、病変部位と被撮影位置との距離が所定の閾値以下となった場合においても、被撮影位置が病変部位に近づいている旨の警告を示すテキスト情報を、表示装置２に表示させてもよい。上述の閾値は、例えば警告が検査者に対して最適なタイミングとなるように実験等に基づき予め定められる。これにより、表示制御部４６は、病変部位の見逃し等を確実に抑制することができる。上述の表示に加えて、表示制御部４６は、音出力部１６により被撮影位置が病変部位に近づいている旨の警告を音声出力してもよい。
　図６は、表示制御部４６が生成する表示信号に基づき表示装置２が表示する第３表示例である。第３表示例は、過去に内視鏡検査を行った被検者に対して再び内視鏡検査を行う際の、内視鏡スコープ３の挿入工程での表示装置２の表示画面を示している。
　表示制御部４６は、第１表示例及び第２表示例と同様に被撮影位置マーク５０及び病変部位マーク５１をパノラマ画像Ｉｐに対応付けて表示すると共に、先端部３４に内蔵された撮影部の向き（視線方向）を示す撮影方向矢印６２を矩形６３内に表示している。ここで、撮影方向矢印６２は、管腔の中心方向（即ち管腔の延伸方向）に対する撮影部の撮影方向のずれを示す。具体的には、撮影方向矢印６２の向きは、管腔の中心方向に対する撮影部の撮影方向のずれの方向を示し、撮影方向矢印６２の長さは、当該ずれの大きさを示す。なお、撮影方向矢印６２を囲む矩形６３の横方向及び縦方向は、例えば、操作部３２のダイヤル部で先端部３４の向きを調整する２軸を示すＸ軸、Ｙ軸に夫々対応してもよく、撮影画像Ｉｃの横方向及び縦方向に対応してもよい。なお、撮影画像Ｉｃの縦方向及び横方向は、上述の先端部３４の向きを調整するＸ軸及びＹ軸と夫々同一方向であってもよい。
　そして、表示制御部４６は、管腔の中心方向に対する撮影部の撮影方向のずれを、例えば、内視鏡スコープ３から得られる最新の撮影画像Ｉｃに対して画像解析することで算出する。この場合、表示制御部４６は、例えば、管腔内の最遠点を検出し、最遠点の位置に基づき管腔の中心方向に対する撮影部の撮影方向のずれを推定する。そして、表示制御部４６は、算出したずれに基づき、撮影方向矢印６２の向き及び大きさを決定する。なお、矩形６３の横方向及び縦方向が撮影画像Ｉｃの横方向及び縦方向に対応しない場合には、表示制御部４６は、撮影画像Ｉｃから算出した撮影部の撮影方向のずれを、矩形６３の横方向及び縦方向を基準としたずれに変換後、撮影方向矢印６２の向き及び大きさを決定する。この場合、表示制御部４６は、例えば、撮影画像Ｉｃの縦方向及び横方向を基準としたずれを矩形６３の横方向及び縦方向を基準としたずれに変換するための情報を予め記憶しておく。
　さらに、第３表示例では、表示制御部４６は、管腔の壁面と先端部３４とが所定距離以内に近づいていることを検知し、先端部３４が壁面に近づき過ぎている旨の警告を示すテキスト情報６４を表示装置２に表示している。このとき、表示制御部４６は、先端部３４が壁面に近づき過ぎている旨の警告に加えて、操作部３２での具体的な操作を指示する指示情報（「Ｘ方向のダイヤルをプラス方向に回して下さい」）を含むテキスト情報６４を、表示装置２に表示している。
　この場合、表示制御部４６は、内視鏡スコープ３から得られる最新の撮影画像Ｉｃに対して公知の画像解析を行うことで、先端部３４と撮影画像Ｉｃに表示されている壁面との距離を算出し、当該距離が予め定めた閾値以下の場合に上述の警告を出力する。上述の閾値は、例えば実験等に基づき予め定められる。なお、先端部３４に撮影部以外のセンサ（近接センサなど）が設けられている場合には、表示制御部４６は、当該センサの出力に基づき上述の距離を算出してもよい。また、この場合、表示制御部４６は、例えば、撮影方向矢印６２が示す方向と反対方向へ先端部３４の向きを調整する旨を指示する指示情報を、テキスト情報６４の一部として表示する。なお、表示制御部４６は、テキスト情報６４の表示に加えて、テキスト情報６４と同等の内容を音出力部１６により音声出力してもよい。
　このように、第３表示例では、表示制御部４６は、現在の撮影方向のずれを撮影方向矢印６２により示すことで、検査者による内視鏡スコープ３の挿入作業を好適に支援することができる。また、表示制御部４６は、先端部３４が壁面に近づいていることを検知した場合に、その旨の警告及び内視鏡スコープ３に対する操作に関する指示情報を出力することで、検査者による内視鏡スコープ３の挿入作業を円滑に実行させることができる。
　図７は、表示制御部４６が生成する表示信号に基づき表示装置２が表示する第４表示例である。第４表示例は、過去に内視鏡検査を行った被検者に対する内視鏡検査時での表示装置２の表示画面を示している。
　第４表示例では、表示制御部４６は、過去の内視鏡検査において生成された撮影画像Ｉｃに基づくパノラマ画像Ｉｐを表示すると共に、今回の内視鏡検査において生成された撮影画像Ｉｃに基づくパノラマ画像（「第２パノラマ画像Ｉｐ２」とも呼ぶ。）を表示装置２に表示している。この場合、パノラマ画像生成部４３は、今回の検査において生成された撮影画像Ｉｃを撮影画像記憶部２０から抽出し又は取得部４１から直接取得し、当該撮影画像Ｉｃに対して後述するパノラマ画像生成処理を行うことで、第２パノラマ画像Ｉｐ２を生成する。この場合、パノラマ画像生成部４３は、例えば、所定の時間間隔ごとに、パノラマ画像生成処理を行い、表示装置２に表示させる第２パノラマ画像Ｉｐ２を更新する。第４表示例によれば、表示制御部４６は、過去の内視鏡検査における被検者の管腔内の状態と、現在の内視鏡検査における被検者の管腔内の状態とを好適に比較可能に検査者に提示することができる。
　（６）全体処理概要
　図８は、本実施形態において内視鏡検査時に画像処理装置１が実行する表示処理の概要を示すフローチャートの一例である。画像処理装置１は、図８の処理を、例えば、内視鏡検査において内視鏡スコープ３の挿入工程又は排出工程が開始される場合に実行する。この場合、画像処理装置１は、例えば、入力部１４又は操作部３２への所定の入力があった場合に、図８の処理を開始すべきと判定する。
　まず、画像処理装置１は、現在行われる内視鏡検査の被検者に対する前回検査時の撮影画像Ｉｃが撮影画像記憶部２０に記憶されているか否か判定する（ステップＳ１００）。そして、同一の被検者に対する前回検査時の撮影画像Ｉｃが撮影画像記憶部２０に記憶されている場合（ステップＳ１００；Ｙｅｓ）、パノラマ画像生成部４３は、パノラマ画像生成処理を実行する（ステップＳ１０１）。これにより、パノラマ画像生成部４３は、前回検査時の撮影工程で得られた一連の撮影画像Ｉｃに基づき、被検者の大腸の管腔を展開した大域的なパノラマ画像Ｉｐを生成する。なお、パノラマ画像生成部４３は、前回検査後から今回検査までの任意のタイミングにおいてステップＳ１０１のパノラマ画像生成処理を行い、生成したパノラマ画像Ｉｐをパノラマ画像記憶部２２に記憶してもよい。
　次に、取得部４１は、内視鏡スコープ３からリアルタイムで得られる撮影画像Ｉｃを取得し、取得した撮影画像Ｉｃを撮影画像記憶部２０に記憶する（ステップＳ１０２）。そして、被撮影位置特定部４４は、内視鏡スコープ３から得られる最新の撮影画像Ｉｃと、ステップＳ１０１で生成されたパノラマ画像Ｉｐとの照合を行うことで、パノラマ画像Ｉｐ上での現在の被撮影位置を特定する（ステップＳ１０３）。また、距離算出部４５は、管腔内の２点間の管腔に沿った距離を算出する距離算出処理を実行する（ステップＳ１０４）。これにより、距離算出部４５は、内視鏡スコープ３の挿入位置から被撮影位置までの距離、被撮影位置から注目箇所までの距離などを算出する。
　そして、表示制御部４６は、ステップＳ１０３及びステップＳ１０４での処理結果と、ステップＳ１０１で生成されたパノラマ画像Ｉｐとに基づき、現在の被撮影位置及び注目箇所等をパノラマ画像Ｉｐに対応付けて表示装置２に表示させる（ステップＳ１０５）。これにより、表示制御部４６は、現在の被撮影位置及び注目箇所の管腔全体における位置関係を、好適に検査者に認識させることができる。
　そして、表示制御部４６は、注目箇所に被撮影位置が所定距離以内に接近したか否か判定する（ステップＳ１０６）。そして、表示制御部４６は、注目箇所に被撮影位置が所定距離以内に接近したと判定した場合（ステップＳ１０６；Ｙｅｓ）、注目箇所に被撮影位置が接近している旨の警告を出力する（ステップＳ１０７）。この場合、表示制御部４６は、表示装置２により上記警告を表示してもよく、音出力部１６により上記警告を音声出力してもよい。
　そして、ステップＳ１０７を終了した場合、又は、注目箇所に被撮影位置が所定距離以内に接近していない場合（ステップＳ１０６；Ｎｏ）、画像処理装置１は、進行されていた内視鏡検査が終了したか否か判定する（ステップＳ１０８）。例えば、画像処理装置１は、入力部１４又は操作部３２への所定の入力等を検知した場合に、内視鏡検査が終了したと判定する。そして、画像処理装置１は、内視鏡検査が終了したと判定した場合（ステップＳ１０８；Ｙｅｓ）、フローチャートの処理を終了する。一方、画像処理装置１は、内視鏡検査が終了していないと判定した場合（ステップＳ１０８；Ｎｏ）、ステップＳ１０２へ処理を戻す。そして、画像処理装置１は、再びステップＳ１０２～ステップＳ１０７の処理を実行する。
　一方、ステップＳ１００において、同一の被検者に対する前回検査時の撮影画像Ｉｃが撮影画像記憶部２０に存在しない場合（ステップＳ１００；Ｎｏ）、取得部４１は、内視鏡スコープ３からリアルタイムに供給される撮影画像Ｉｃを取得し、取得した撮影画像Ｉｃを撮影画像記憶部２０に記憶する（ステップＳ１０９）。また、表示制御部４６は、取得部４１が取得した撮影画像Ｉｃを表示装置２に表示させる。
　そして、注目箇所情報生成部４２は、内視鏡スコープ３から取得部４１が取得する撮影画像Ｉｃに対する画像解析結果、又は、内視鏡スコープ３から供給される操作信号Ｓ１等に基づき、注目箇所が存在するか否か判定する（ステップＳ１１０）。そして、注目箇所情報生成部４２は、注目箇所が存在すると判定した場合（ステップＳ１１０；Ｙｅｓ）、当該注目箇所に対応する注目箇所情報を生成し、生成した注目箇所情報を注目箇所情報記憶部２１に記憶する（ステップＳ１１１）。
　そして、ステップＳ１１１の処理が終了した場合、又は、注目箇所が存在しない場合（ステップＳ１１０；Ｎｏ）、画像処理装置１は、進行している内視鏡検査が終了したか否か判定する（ステップＳ１１２）。例えば、画像処理装置１は、入力部１４又は操作部３２への所定の入力等を検知した場合に、内視鏡検査が終了したと判定する。そして、画像処理装置１は、内視鏡検査が終了したと判定した場合（ステップＳ１１２；Ｙｅｓ）、フローチャートの処理を終了する。一方、内視鏡検査が終了していない場合（ステップＳ１１２；Ｎｏ）、画像処理装置１は、引き続きステップＳ１０９～ステップＳ１１１の処理を実行する。
　（７）パノラマ画像生成処理
　次に、図８のステップＳ１０１においてパノラマ画像生成部４３が実行するパノラマ画像生成処理について具体的に説明する。
　図９は、パノラマ画像生成部４３が実行するパノラマ画像生成処理のフローチャートの一例である。パノラマ画像生成部４３は、図８のステップＳ１０１において図９のフローチャートの処理を実行する。
　例えば、パノラマ画像生成部４３は、前回検査時における撮影工程（即ち内視鏡スコープ３の挿入工程又は排出工程）において得られた一連の撮影画像Ｉｃを撮影画像記憶部２０から取得する（ステップＳ２００）。次に、パノラマ画像生成部４３は、パノラマ画像Ｉｐの生成に使用する画像を、ステップＳ２００で取得した撮影画像Ｉｃから選択する（ステップＳ２０１）。この場合、例えば、パノラマ画像生成部４３は、画像が入力された場合に当該画像にボケやブレなどが存在するか否かの推論結果を出力するように構成された推論器に、ステップＳ２００で取得した各撮影画像Ｉｃを入力する。そして、パノラマ画像生成部４３は、ボケやブレなどが存在しないと推論器により推論された画像を、パノラマ画像Ｉｐの生成に使用する画像として選択する。この場合、上述の推論器に必要なパラメータは、例えば、深層学習に基づく学習モデルの学習を行うことで予め生成され、メモリ１２等に記憶される。
　次に、パノラマ画像生成部４３は、ステップＳ２０１で選択した撮影画像Ｉｃの展開を行う（ステップＳ２０２）。例えば、パノラマ画像生成部４３は、撮影画像Ｉｃにおいて視点位置から最も離れた位置に相当する最遠点を検出し、当該最遠点を中心として極座標変換を行うことで、撮影画像Ｉｃを展開した画像（「展開画像」とも呼ぶ。）を生成する。
　次に、パノラマ画像生成部４３は、ステップＳ２０２で生成された各展開画像に対して特徴点の抽出処理を行う（ステップＳ２０３）。例えば、パノラマ画像生成部４３は、ＡＫＡＺＥ、ＳＩＦＴ、ＳＵＲＦ、ＢＲＩＳＫなどの任意の特徴抽出アルゴリズムを用いて、各展開画像中の特徴点を抽出する。
　そして、パノラマ画像生成部４３は、展開画像間の特徴点のマッチングを行う（ステップＳ２０４）。この場合、パノラマ画像生成部４３は、展開画像間において同じ特徴量を有する特徴点を検出し、これらの特徴点の組み合わせを同一点とみなすことで、展開画像間における特徴点の対応を認識する。この場合、パノラマ画像生成部４３は、例えば、ＲＡＮＳＡＣやＫ－Ｎｅａｒｅｓｔ　Ｎｅｇｈｂｏｒなどの種々の特徴点マッチング手法を用いて、展開画像間における特徴点のマッチングを行う。
　そして、パノラマ画像生成部４３は、ステップＳ２０４での特徴点のマッチング結果に基づき、ステップＳ２０２で生成した全ての展開画像を結合させることで、パノラマ画像Ｉｐを生成する（ステップＳ２０５）。この場合、パノラマ画像生成部４３は、マッチングした特徴点同士が重なるように、展開画像を非剛体変形することで、全ての展開画像を結合したパノラマ画像Ｉｐを生成する。
　なお、パノラマ画像生成部４３が実行すべきパノラマ画像生成処理は、図９に示す処理に限定されず、管腔臓器又はこれと同等の構造を有する筒状構造体の内部を撮影した環状画像をパノラマ画像に変換する処理であればよい。例えば、特開２０１３－８４１５６号公報には、環状画像をパノラマ画像に変換する処理が開示されている。
　（８）距離算出処理
　次に、図８のステップＳ１０１において距離算出部４５が実行する距離算出処理について具体的に説明する。
　図１０は、距離算出部４５が実行する距離算出処理のフローチャートの一例である。パノラマ画像生成部４３は、図８のステップＳ１０４において図１０のフローチャートの処理を実行する。
　まず、距離算出部４５は、距離を算出する２点間の撮影画像Ｉｃを、前回の内視鏡検査にて生成された一連の撮影画像Ｉｃを記憶する撮影画像記憶部２０から取得する（ステップＳ３００）。この場合、例えば、距離算出部４５は、距離を算出する対象となる２点の各点を夫々撮影範囲とする撮影画像Ｉｃと、これらの撮影画像Ｉｃの間において生成された他の撮影画像Ｉｃとを、撮影画像記憶部２０から取得する。
　例えば、内視鏡スコープ３の挿入位置から被撮影位置までの距離を算出する場合について考察する。この場合、距離算出部４５は、内視鏡スコープ３の挿入位置を撮影範囲とする撮影画像Ｉｃと、現在行われている内視鏡検査で得られる最新の撮影画像Ｉｃに対応する撮影画像Ｉｃとを、前回の内視鏡検査で生成された一連の撮影画像Ｉｃから夫々特定する。そして、距離算出部４５は、特定した２つの撮影画像Ｉｃ及びこれらの間に生成された撮影画像Ｉｃを、距離を算出する２点間の撮影画像Ｉｃとして、撮影画像記憶部２０から取得する。
　なお、距離算出部４５は、内視鏡スコープ３の挿入位置から被撮影位置までの距離を算出する場合、前回の内視鏡検査で生成された撮影画像Ｉｃを取得する代わりに、現在行われている内視鏡検査で生成された撮影画像Ｉｃを取得してもよい。この場合、距離算出部４５は、現在の内視鏡検査の開始から現在までに取得された撮影画像ＩｃをステップＳ３００において取得する。この場合であっても、距離算出部４５は、内視鏡スコープ３の挿入位置から被撮影位置までの距離を算出することができる。
　次に、距離算出部４５は、図９に示すパノラマ画像生成処理のステップＳ２０１～ステップＳ２０４と同一処理を、ステップＳ３００で取得した撮影画像Ｉｃに対して実行する。具体的には、距離算出部４５は、距離算出に使用する画像（即ちブレ等が生じていない画像）を、ステップＳ３００で取得した撮影画像Ｉｃから選択する（ステップＳ３０１）。次に、距離算出部４５は、ステップＳ３０１で選択した撮影画像Ｉｃの展開を行う（ステップＳ３０２）。そして、距離算出部４５は、ステップＳ３０２で生成された各展開画像に対して特徴点の抽出処理を行う（ステップＳ３０３）。そして、距離算出部４５は、展開画像間において同じ特徴量を有する特徴点を特徴点マッチング手法によりマッチングを行い、展開画像間における対応を認識する（ステップＳ３０４）。
　なお、例えば、パノラマ画像生成部４３は、パノラマ画像生成処理のステップＳ２０１～ステップＳ２０４での処理結果（例えば、展開画像、特徴点の情報及び特徴点のマッチング結果）を、撮影画像記憶部２０に記憶する各撮影画像Ｉｃと関連付けて記憶してもよい。この場合、距離算出部４５は、ステップＳ３０１～ステップＳ３０４の各処理を実行する代わりに、パノラマ画像生成部４３が撮影画像Ｉｃに関連付けて記憶した処理結果を参照することで、ステップＳ３０１～ステップＳ３０４の処理結果を得ることができる。
　次に、距離算出部４５は、ステップＳ３０３で抽出された特徴点に対して、近傍特徴点の探索及び接続を行う（ステップＳ３０５）。この場合、距離算出部４５は、各展開画像の特徴点について、近傍となる特徴点の探索を行い、近傍となる特徴点同士を接続するリンクを設ける。この処理の詳細については、図１１を参照して後述する。
　次に、距離算出部４５は、各特徴点の３次元空間上での撮影部からの距離を算出する（ステップＳ３０６）。この場合、距離算出部４５は、例えば機械学習を用いた深さ推定アルゴリズムに基づき、各特徴点の３次元空間上での撮影部からの距離を算出する。この処理の詳細については、図１２を参照して説明する。
　そして、距離算出部４５は、ステップＳ３０６で接続された特徴点間の３次元空間上での相対ベクトルを、ステップＳ３０２で取得した展開画像と、撮影部のパラメータと、ステップＳ３０６で算出した各特徴点の距離と、に基づき算出する（ステップＳ３０７）。この処理の詳細については、図１３及び図１４を参照して説明する。
　次に、距離算出部４５は、距離を算出する２点間の最短経路の探索を行う（ステップＳ３０８）。この場合、距離算出部４５は、距離を算出する２点間に存在する特徴点間のリンクを繋ぎ合わせることで、距離を算出する２点間の経路を形成し、経路を形成する各リンクに対応する相対ベクトル長の合計が最小となる経路を、最短経路として決定する。そして、距離算出部４５は、最短経路を形成する各リンクに対応する相対ベクトル長の合計値を、求めるべき２点間の距離として算出する（ステップＳ３０９）。ステップＳ３０８及びステップＳ３０９の処理の詳細については、図１５及び図１６を参照して説明する。
　ここで、ステップＳ３０５の近傍特徴点の探索及び接続について、図１１（Ａ）～（Ｃ）を参照して説明する。図１１（Ａ）は、あるパノラマ画像Ｉｐから生成した展開画像上において、ステップＳ３０３で抽出された特徴点「Ｐ１」～「Ｐ６」を明示した図である。図１１（Ｂ）は、特徴点Ｐ２の近傍を拡大した画像である。
　この場合、ステップＳ３０５では、距離算出部４５は、各特徴点Ｐ１～Ｐ６について、展開画像上において所定距離（所定画素）以内となる近傍特徴点の探索を行う。例えば、特徴点Ｐ２の近傍特徴点を探索する場合、図１１（Ｂ）に示すように、距離算出部４５は、特徴点Ｐ２を中心とした所定距離（矢印参照）を半径する円６８内に存在する特徴点を探索する。そして、この場合、距離算出部４５は、特徴点Ｐ１、Ｐ３、Ｐ４を、それぞれ特徴点Ｐ２の近傍特徴点とみなす。
　図１１（Ｃ）は、近傍特徴点となる特徴点間を線で結んだ展開画像を示す。図１１（Ｃ）に示すように、距離算出部４５は、近傍特徴点となる特徴点間においてリンクを設ける。例えば、特徴点Ｐ２は、特徴点Ｐ１、Ｐ３、Ｐ４が近傍特徴点となるため、特徴点Ｐ２と特徴点Ｐ１、Ｐ３、Ｐ４との間に夫々リンクが設けられる。そして、距離算出部４５は、図１１（Ａ）～（Ｃ）に示した処理を、ステップＳ３０２で生成した全ての展開画像に対して実行する。
　次に、ステップＳ３０６における、各特徴点の３次元空間上での撮影部からの距離の算出について説明する。図１２は、特徴点Ｐ１～Ｐ６の各々に対する３次元空間上での撮影部からの距離を明示した展開画像を示す。
　距離算出部４５は、例えば、入力された画像に対して各画素（サブピクセルであってもよい）での撮影部からの距離を推論する推論器に対し、対象の展開画像を入力する。そして、距離算出部４５は、各特徴点に対応する各画素に対する推論器の推論値を参照することで、各特徴点の３次元空間上での撮影部からの距離を取得する。この推論器は、入力された画像に対して各画素に対する撮影部からの距離を推論するように学習された学習モデルであり、例えば深層学習に基づく学習モデルである。このような学習モデルを学習する場合、例えば、内視鏡科医の訓練に用いられる大腸ファントムを複眼カメラで撮影して算出した距離を正解データ、当該大腸ファントムを撮影した内視鏡画像を入力画像とし、これらの組合せを学習データとして用いる。なお、撮影された画像の各画素の深さ（距離）を推定する機械学習の手法は、ＤＯＲＮ（Ｄｅｅｐ　Ｏｒｉｄｉｎａｌ　Ｒｅｇｒｅｓｓｉｏｎ　Ｎｅｔｗｏｒｋ　ｆｏｒ　Ｍｏｎｏｃｕｌａｒ　Ｄｅｐｔｈ　Ｅｓｔｉｍａｔｉｏｎ）などが存在する。
　次に、ステップＳ３０７における、特徴点間の３次元空間上での相対ベクトルの算出について、図１３及び図１４を参照して説明する。
　図１３は、撮影画像Ｉｃの横方向又は縦方向のいずれか一方のみを考慮した場合の、撮影画像Ｉｃにおける長さ（距離）と実際の長さ（距離）との対応関係を示す図である。ここでは、撮影部の撮影範囲内に存在する棒状物体８１の長さを「Ｌ」、撮影画像Ｉｃ上における棒状物体８１の像８１ａの長さ（ピクセル数）を「Ｌａ」、撮影画像Ｉｃの幅（画素数）を「Ｓ」とする。また、撮像部から棒状物体８１までの距離を「Ｄ」、撮像部のレンズ毎に一意に定まる撮像部のパラメータである視野角（即ちｆｏｖ値）を「ｆｖ」とする。この場合、棒状物体８１の長さＬは、図１３に示す幾何学的な関係に基づき、以下の式（１）により表される。
　　　　　　　Ｌ＝２Ｄ・ｔａｎ（ｆｖ／２）・（Ｌａ／Ｓ）　　　（１）
　なお、距離算出部４５は、撮像部の視野角ｆｖに代えて、撮像部の他のパラメータ（例えば焦点距離）を用いて、図１３に示す幾何学的関係に基づき、長さＬを同様に算出してもよい。
　図１４（Ａ）は、図１２に示す展開画像において、一部の領域を画素と対応付けて示した図である。ここでは、説明便宜上、展開画像に平行かつ夫々垂直な「ｘ軸」及び「ｙ軸」、ｘ軸及びｙ軸に垂直な「ｚ軸」を定める。以後では、一例として、特徴点Ｐ５と特徴点Ｐ６とを結ぶリンクの相対ベクトル「Ｔ５６＝（Ｔｘ、Ｔｙ、Ｔｚ）」のｘ方向、ｙ方向、ｚ方向の各成分「Ｔｘ」、「Ｔｙ」、「Ｔｚ」の算出方法について考察する。
　まず、相対ベクトルＴ５６のｚ方向成分Ｔｚは、以下の式（２）に示すように、相対ベクトルＴ５６の始点及び終点である特徴点Ｐ５及び特徴点Ｐ６の深さ方向の距離「Ａｚ」及び「Ｂｚ」の差として求められる。
　　　　　　　Ｔｚ＝Ｂｚ－Ａｚ　　（２）
　ここで、相対ベクトルＴ５６が通る画素「Ｐｘ１」に撮像された地点の、撮影部からの距離を「Ｄｐ」、相対ベクトルＴ５６が対象の画素Ｐｘ１を横切るｘ、ｙ方向の長さを夫々「Ｒｘ」、「Ｒｙ」（０＜Ｒｘ、Ｒｙ＜１）（単位はピクセル）とする。図１４（Ｂ）は、相対ベクトルＴ５６の長さＲｘ、Ｒｙを明示した画素Ｐｘ１の拡大図である。また、撮像部のｘ方向及びｙ方向のｆｏｖ値（視野角）を夫々「ｆｖｘ」、「ｆｖｙ」、撮像部のｘ方向及びｙ方向の幅（サイズ）を夫々「Ｓｘ」、「Ｓｙ」とする。
　この場合、対象の画素Ｐｘ１上の相対ベクトルＴ５６のｘ方向成分「Ｐｘ」及びｙ方向成分「Ｐｙ」は、夫々、式（１）に上記各記号を当てはめた以下の式（３）及び式（４）により表される。
　　　　　　　Ｐｘ＝２Ｄｐ・ｔａｎ（ｆｖｘ／２）・（１／Ｓｘ）・Ｒｘ　　（３）
　　　　　　　Ｐｙ＝２Ｄｐ・ｔａｎ（ｆｖｙ／２）・（１／Ｓｙ）・Ｒｙ　　（４）
　そして、距離算出部４５は、相対ベクトルＴ５６が横切る各画素に対してｘ方向成分Ｐｘ及びｙ方向成分Ｐｙを算出し、夫々足し合わせることにより、相対ベクトルＴ５６のｘ方向成分Ｔｘ及びｙ方向成分Ｔｙを算出する。即ち、距離算出部４５は、以下の式（５）及び式（６）に従い、相対ベクトルＴ５６のｘ方向成分Ｔｘ及びｙ方向成分Ｔｙを算出する。
　　　　　　　Ｔｘ＝ΣＰｘ　　（５）
　　　　　　　Ｔｙ＝ΣＰｙ　　（６）
　このように、距離算出部４５は、展開画像と、撮像部のパラメータと、各特徴点の撮影部からの距離とに基づき、特徴点間の相対ベクトルの各成分Ｔｘ、Ｔｙ、Ｔｚを好適に算出することができる。
　次に、ステップＳ３０８及びステップＳ３０９における最短経路の探索及び距離の算出について、図１５及び図１６を用いて説明する。
　距離算出部４５は、設定した特徴点間のリンクに基づき、距離を求める２点間の最短経路を探索する。この場合、距離算出部４５は、ステップＳ３０４でマッチングされた展開画像間の特徴点については、同一点（即ち距離０で結合している）とみなす。
　図１５は、挿入部６９から病変部位７０までの２点間の距離を算出する場合に使用する５枚の展開画像５４～５８の特徴点同士の対応関係を示した図である。図１５は、挿入部６９を被撮影対象とする展開画像５４と、挿入部６９から病変部位７０に至るまでの中間地点を被撮影対象とする展開画像５５～５７と、病変部位７０を被撮影対象とする展開画像５８とを夫々示している。
　ここで、展開画像５４上の枠７１Ａ内の各特徴点は、展開画像５５の枠７１Ｂ内の各特徴点とステップＳ３０４のマッチング処理においてマッチングしている。よって、この場合、距離算出部４５は、枠７１Ａ内の各特徴点と枠７１Ｂ内の各特徴点とを、夫々、同一点（即ち距離０で結合している）とみなす。同様に、距離算出部４５は、展開画像５５の枠７２Ａ内の各特徴点と展開画像５６の枠７２Ｂ内の各特徴点とを同一点とみなし、展開画像５６の枠７３Ａ内の各特徴点と展開画像５７の枠７３Ｂ内の特徴点とを同一点とみなし、展開画像５７の枠７４Ａと展開画像５８の枠７４Ｂ内の特徴点とを同一点とみなす。
　図１６（Ａ）は、挿入部６９から病変部位７０までの特徴点とこれらの特徴点間に設けられたリンクとを示す。距離算出部４５は、マッチングした特徴点を同一点とみなすことにより、図１６（Ａ）に示すように、挿入部６９から病変部位７０までの経路をグラフとして認識する。そして、距離算出部４５は、車両のナビゲーションなどにおいて用いられる任意の最短経路探索アルゴリズム（例えばダイクストラ法）を用いることで、挿入部６９から病変部位７０までの最短経路を算出する。この場合、例えば、距離算出部４５は、各リンクのコストを、対応する特徴点間の相対ベクトルのノルム（長さ）とみなし、２点間の経路を構成するリンクの合計コストが最小となる経路を、最短経路として探索する。
　図１６（Ｂ）は、図１６（Ａ）において距離算出部４５が探索した最短経路「ＬＴ」を明示した図である。図１６（Ｃ）は、最短経路ＬＴを構成する各相対ベクトルの長さ（ノルム）「ｔ１」～「ｔ１３」を明示した図である。距離算出部４５は、最短経路ＬＴを構成する各リンクに対応する相対ベクトル長ｔ１～ｔ１３を加算することで、最短経路ＬＴの経路長を算出する。そして、距離算出部４５は、算出した経路長（＝「ΣＮ＝１ １３（ｔＮ）」）を、挿入部６９から病変部位７０までの距離とする。
　このように、距離算出部４５は、特徴点間の相対ベクトルの算出後、これらの特徴点を結ぶことで形成した２点間の経路のうち当該経路を構成する特徴点間の相対ベクトルの長さの和が最小となる経路の経路長を、２点間の距離として算出する。これにより、距離算出部４５は、管腔に沿った管腔内の任意の２点間の長さを、的確に算出することができる。
　（９）変形例
　次に、上述した実施形態の変形例について説明する。以後の変形例は、組み合わせて上述の実施形態に適用してもよい。
　（変形例１）
　表示制御部４６は、内視鏡スコープ３の挿入工程で得られた撮影画像Ｉｃに基づき生成したパノラマ画像Ｉｐを、内視鏡スコープ３の排出工程において表示装置２に表示させてもよい。
　この場合、表示制御部４６は、排出工程において管腔内における処置を行う場合に、直前の挿入工程で得られた撮影画像Ｉｃに基づき、パノラマ画像Ｉｐを生成し、表示装置２に表示させる。この例では、過去の内視鏡検査において生成された撮影画像Ｉｃを用いずにパノラマ画像Ｉｐを生成するため、被検者に対する過去の内視鏡検査で得られた撮影画像Ｉｃを必要としない。従って、本変形例では、表示制御部４６は、被検者に対する最初の検査においても、排出工程において管腔内における処置を行う場合に、現在の被撮影位置及び病変部位等に関する情報を、パノラマ画像Ｉｐと対応付けて好適に表示することができる。
　（変形例２）
　撮影画像記憶部２０、注目箇所情報記憶部２１、及びパノラマ画像記憶部２２は、画像処理装置１とは別の記憶装置に記憶されてもよい。
　図１７は、変形例２における内視鏡検査システム１００Ａの概略構成図である。なお、図１７では、簡潔化のため、表示装置２及び内視鏡スコープ３等を図示していない。図１７に示す内視鏡検査システム１００Ａは、撮影画像記憶部２０、注目箇所情報記憶部２１、及びパノラマ画像記憶部２２を記憶するサーバ装置４を備える。また、内視鏡検査システム１００Ａは、サーバ装置４とネットワークを介してデータ通信が可能な複数の画像処理装置１（１Ａ、１Ｂ、…）を備える。
　この場合、各画像処理装置１は、ネットワークを介して撮影画像記憶部２０、注目箇所情報記憶部２１及びパノラマ画像記憶部２２の参照及び更新を行う。この場合、各画像処理装置１のインターフェース１３は、通信を行うためのネットワークアダプタなどの通信インターフェースを含む。この構成では、各画像処理装置１は、上述の実施形態と同様、撮影画像記憶部２０、注目箇所情報記憶部２１及びパノラマ画像記憶部２２の参照及び更新を好適に行うことができる。
　また、図１７に示す内視鏡検査システム１００Ａでは、各画像処理装置１は、撮影画像記憶部２０、注目箇所情報記憶部２１及びパノラマ画像記憶部２２に記憶した情報を共有する。よって、同一被検者に対する１回目の内視鏡検査と２回目の内視鏡検査とが別の画像処理装置１を用いて行われた場合であっても、２回目の内視鏡検査において使用される画像処理装置１は、図４～図７に示す各表示を行うことができる。この場合、１回目の検査を行った画像処理装置１がパノラマ画像Ｉｐを生成してパノラマ画像記憶部２２に記憶し、２回目の検査を行う画像処理装置１が当該パノラマ画像Ｉｐをパノラマ画像記憶部２２から取得して図４～図７に示す各表示を行うこともできる。
　（変形例３）
　表示装置２は、画像処理装置１の一部であってもよい。この場合、画像処理装置１のプロセッサ１１は、表示装置２に相当する表示部に対し、図４～図７に示す画面を表示するための表示信号を供給する。また、表示装置２は、ディスプレイに限らず映像を投影するプロジェクタなどであってもよい。
　（変形例４）
　注目箇所情報記憶部２１が記憶する注目箇所情報に相当する情報は、撮影画像記憶部２０に記憶されてもよい。
　例えば、撮影画像記憶部２０は、注目箇所に相当する撮影画像Ｉｃに対し、注目箇所である旨のフラグ情報を関連付けて記憶してもよい。この場合、注目箇所情報記憶部２１は存在しなくともよい。この態様であっても、プロセッサ１１は、撮影画像記憶部２０を参照することで、注目箇所の存在を好適に認識し、上述した実施形態と同様に表示装置２での表示等に反映することができる。
　また、図３において、パノラマ画像生成部４３は、生成したパノラマ画像Ｉｐをパノラマ画像記憶部２２に記憶する代わりに、生成したパノラマ画像Ｉｐを表示制御部４６へ供給してもよい。この態様では、パノラマ画像記憶部２２は存在しなくともよい。
　＜第２実施形態＞
　図１８は、第２実施形態における画像処理装置１Ｘのブロック図である。画像処理装置１Ｘは、パノラマ画像取得部４３Ｘと、表示制御部４６Ｘとを備える。
　パノラマ画像取得部４３Ｘは、第１撮影工程において内視鏡に設けられた撮影部により管腔を撮影した複数の撮影画像Ｉｃに基づき、管腔内の壁面を平面状に展開したパノラマ画像Ｉｐを取得する。パノラマ画像取得部４３Ｘは、例えば、パノラマ画像生成処理を行うことでパノラマ画像Ｉｐを生成する第１実施形態のパノラマ画像生成部４３とすることができる。他の例では、パノラマ画像取得部４３Ｘは、他の装置により生成されたパノラマ画像Ｉｐを、当該他の装置又はパノラマ画像Ｉｐを記憶する記憶装置から取得してもよい。
　表示制御部４６Ｘは、第２撮影工程における管腔の被撮影位置に関する被撮影位置情報を、パノラマ画像Ｉｐと対応付けて表示装置２に表示する。被撮影位置情報は、例えば、第１実施形態の第１被撮影位置情報Ｉｔｇ１又は第２被撮影位置情報Ｉｔｇ２若しくはこれらの両方とすることができる。
　第２実施形態によっても、画像処理装置１Ｘは、第２撮影工程における管腔の被撮影位置を好適に検査者に把握させることができる。
　その他、上記の各実施形態（変形例を含む、以下同じ）の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。
　［付記１］
　第１撮影工程において内視鏡に設けられた撮影部により管腔を撮影した複数の画像に基づき、前記管腔内の壁面を平面状に展開したパノラマ画像を取得するパノラマ画像取得部と、
　第２撮影工程における前記管腔の被撮影位置に関する被撮影位置情報を、前記パノラマ画像と対応付けて表示装置に表示する表示制御部と、
を有する画像処理装置。
　［付記２］
　前記表示制御部は、前記内視鏡の挿入位置から前記被撮影位置までの距離を示す情報を、前記被撮影位置情報として前記表示装置に表示する、付記１に記載の画像処理装置。
　［付記３］
　前記第２撮影工程において撮影される画像に基づき、前記被撮影位置を特定する被撮影位置特定部をさらに有し、
　前記表示制御部は、前記被撮影位置特定部が特定した被撮影位置を示すマークを、前記被撮影位置情報として前記パノラマ画像上に表示する、付記１または２に記載の画像処理装置。
　［付記４］
　前記撮影部のパラメータと、前記壁面における複数の特徴点の各々に対する前記撮影部からの距離と、に基づき、前記管腔内の２点間の距離を算出する距離算出部をさらに備える、付記１～３のいずれか一項に記載の画像処理装置。
　［付記５］
　前記距離算出部は、入力された画像に対して当該画像の被撮影対象の撮影部からの距離を出力するように学習された推論器に、前記特徴点を被撮影対象とする画像を入力することで、当該特徴点に対する前記撮影部からの距離を取得する、付記４に記載の画像処理装置。
　［付記６］
　　前記距離算出部は、
　前記撮影部のパラメータと、前記特徴点の各々に対する前記撮影部からの距離と、前記特徴点を被撮影対象とする画像と、に基づき、前記特徴点間の相対ベクトルを算出し、
　前記複数の特徴点を結ぶことで形成した前記２点間の経路のうち当該経路を構成する前記特徴点間の相対ベクトルの長さの和が最小となる経路の前記和を、前記２点間の距離として算出する、付記４または５に記載の画像処理装置。
　［付記７］
　前記距離算出部は、前記複数の特徴点を被撮影対象とする複数の画像間において同一箇所を表す特徴点の組み合わせを検出し、当該特徴点の組み合わせを同一の特徴点とみなす、付記６に記載の画像処理装置。
　［付記８］
　前記表示制御部は、前記パノラマ画像上における注目箇所を示すマークを、前記表示装置に表示する、付記１～７のいずれか一項に記載の画像処理装置。
　［付記９］
前記表示制御部は、前記被撮影位置から前記注目箇所までの距離、又は、前記内視鏡の挿入位置から前記注目箇所までの距離、の少なくとも一方を示す情報を、前記表示装置に表示する、付記８に記載の画像処理装置。
　［付記１０］
　前記注目箇所は、病変部位、又は、前記内視鏡の挿入時において前記内視鏡が接触した箇所である、付記８または９に記載の画像処理装置。
　［付記１１］
　前記表示制御部は、前記被撮影位置から前記注目箇所までの距離が所定距離以下となった場合に警告を出力する、付記８～１０のいずれか一項に記載の画像処理装置。
　［付記１２］
　前記パノラマ画像取得部は、前記内視鏡の排出工程において撮影した複数の画像に基づき、前記パノラマ画像を生成する、付記１～１１のいずれか一項に記載の画像処理装置。
　［付記１３］
　前記表示制御部は、前記撮影部の現在の向きを示す情報を、前記表示装置に表示する、付記１～１２のいずれか一項に記載の画像処理装置。
　［付記１４］
　前記表示制御部は、前記撮影部の向きの調整に関する指示情報を出力する、付記１～１３のいずれか一項に記載の画像処理装置。
　［付記１５］
　前記表示制御部は、前記第１撮影工程において撮影した複数の画像に基づく前記パノラマ画像と共に、前記第２撮影工程において撮影した複数の画像に基づく前記パノラマ画像を前記表示装置に表示する、付記１～１４のいずれか一項に記載の画像処理装置。
　［付記１６］
　画像処理装置が実行する制御方法であって、
　第１撮影工程において内視鏡に設けられた撮影部により管腔を撮影した複数の画像に基づき、前記管腔内の壁面を平面状に展開したパノラマ画像を取得し、
　第２撮影工程における前記管腔の被撮影位置に関する被撮影位置情報を、前記パノラマ画像と対応付けて表示装置に表示する、
制御方法。
　［付記１７］
　第１撮影工程において内視鏡に設けられた撮影部により管腔を撮影した複数の画像に基づき、前記管腔内の壁面を平面状に展開したパノラマ画像を取得するパノラマ画像取得部と、
　第２撮影工程における前記管腔の被撮影位置に関する被撮影位置情報を、前記パノラマ画像と対応付けて表示装置に表示する表示制御部
としてコンピュータを機能させるプログラムを格納した記憶媒体。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。
　１、１Ｘ　画像処理装置
　２　表示装置
　３　内視鏡スコープ
　１１　プロセッサ
　１２　メモリ
　１３　インターフェース
　１４　入力部
　１５　光源部
　１６　音出力部
　２０　撮影画像記憶部
　２１　注目箇所情報記憶部
　２２　パノラマ画像記憶部
　１００、１００Ａ　内視鏡検査システム

Claims (17)

  1. 　第１撮影工程において内視鏡に設けられた撮影部により管腔を撮影した複数の画像に基づき、前記管腔内の壁面を平面状に展開したパノラマ画像を取得するパノラマ画像取得部と、
    　第２撮影工程における前記管腔の被撮影位置に関する被撮影位置情報を、前記パノラマ画像と対応付けて表示装置に表示する表示制御部と、
    を有する画像処理装置。
  2. 　前記表示制御部は、前記内視鏡の挿入位置から前記被撮影位置までの距離を示す情報を、前記被撮影位置情報として前記表示装置に表示する、請求項１に記載の画像処理装置。
  3. 　前記第２撮影工程において撮影される画像に基づき、前記被撮影位置を特定する被撮影位置特定部をさらに有し、
    　前記表示制御部は、前記被撮影位置特定部が特定した被撮影位置を示すマークを、前記被撮影位置情報として前記パノラマ画像上に表示する、請求項１または２に記載の画像処理装置。
  4. 　前記撮影部のパラメータと、前記壁面における複数の特徴点の各々に対する前記撮影部からの距離と、に基づき、前記管腔内の２点間の距離を算出する距離算出部をさらに備える、請求項１～３のいずれか一項に記載の画像処理装置。
  5. 　前記距離算出部は、入力された画像に対して当該画像の被撮影対象の撮影部からの距離を出力するように学習された推論器に、前記特徴点を被撮影対象とする画像を入力することで、当該特徴点に対する前記撮影部からの距離を取得する、請求項４に記載の画像処理装置。
  6. 　　前記距離算出部は、
    　前記撮影部のパラメータと、前記特徴点の各々に対する前記撮影部からの距離と、前記特徴点を被撮影対象とする画像と、に基づき、前記特徴点間の相対ベクトルを算出し、
    　前記複数の特徴点を結ぶことで形成した前記２点間の経路のうち当該経路を構成する前記特徴点間の相対ベクトルの長さの和が最小となる経路の前記和を、前記２点間の距離として算出する、請求項４または５に記載の画像処理装置。
  7. 　前記距離算出部は、前記複数の特徴点を被撮影対象とする複数の画像間において同一箇所を表す特徴点の組み合わせを検出し、当該特徴点の組み合わせを同一の特徴点とみなす、請求項６に記載の画像処理装置。
  8. 　前記表示制御部は、前記パノラマ画像上における注目箇所を示すマークを、前記表示装置に表示する、請求項１～７のいずれか一項に記載の画像処理装置。
  9. 　前記表示制御部は、前記被撮影位置から前記注目箇所までの距離、又は、前記内視鏡の挿入位置から前記注目箇所までの距離、の少なくとも一方を示す情報を、前記表示装置に表示する、請求項８に記載の画像処理装置。
  10. 　前記注目箇所は、病変部位、又は、前記内視鏡の挿入時において前記内視鏡が接触した箇所である、請求項８または９に記載の画像処理装置。
  11. 　前記表示制御部は、前記被撮影位置から前記注目箇所までの距離が所定距離以下となった場合に警告を出力する、請求項８～１０のいずれか一項に記載の画像処理装置。
  12. 　前記パノラマ画像取得部は、前記内視鏡の排出工程において撮影した複数の画像に基づき、前記パノラマ画像を生成する、請求項１～１１のいずれか一項に記載の画像処理装置。
  13. 　前記表示制御部は、前記撮影部の現在の向きを示す情報を、前記表示装置に表示する、請求項１～１２のいずれか一項に記載の画像処理装置。
  14. 　前記表示制御部は、前記撮影部の向きの調整に関する指示情報を出力する、請求項１～１３のいずれか一項に記載の画像処理装置。
  15. 　前記表示制御部は、前記第１撮影工程において撮影した複数の画像に基づく前記パノラマ画像と共に、前記第２撮影工程において撮影した複数の画像に基づく前記パノラマ画像を前記表示装置に表示する、請求項１～１４のいずれか一項に記載の画像処理装置。
  16. 　画像処理装置が実行する制御方法であって、
    　第１撮影工程において内視鏡に設けられた撮影部により管腔を撮影した複数の画像に基づき、前記管腔内の壁面を平面状に展開したパノラマ画像を取得し、
    　第２撮影工程における前記管腔の被撮影位置に関する被撮影位置情報を、前記パノラマ画像と対応付けて表示装置に表示する、
    制御方法。
  17. 　第１撮影工程において内視鏡に設けられた撮影部により管腔を撮影した複数の画像に基づき、前記管腔内の壁面を平面状に展開したパノラマ画像を取得するパノラマ画像取得部と、
    　第２撮影工程における前記管腔の被撮影位置に関する被撮影位置情報を、前記パノラマ画像と対応付けて表示装置に表示する表示制御部
    としてコンピュータを機能させるプログラムを格納した記憶媒体。
PCT/JP2019/038778 2019-10-01 2019-10-01 画像処理装置、制御方法及び記憶媒体 WO2021064867A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021550817A JP7464060B2 (ja) 2019-10-01 2019-10-01 画像処理装置、制御方法及びプログラム
PCT/JP2019/038778 WO2021064867A1 (ja) 2019-10-01 2019-10-01 画像処理装置、制御方法及び記憶媒体
EP19947499.0A EP4040782A4 (en) 2019-10-01 2019-10-01 IMAGE PROCESSING DEVICE, CONTROL METHOD AND STORAGE MEDIA
US17/763,778 US20220337746A1 (en) 2019-10-01 2019-10-01 Image processing device, control method and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/038778 WO2021064867A1 (ja) 2019-10-01 2019-10-01 画像処理装置、制御方法及び記憶媒体

Publications (1)

Publication Number Publication Date
WO2021064867A1 true WO2021064867A1 (ja) 2021-04-08

Family

ID=75337891

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/038778 WO2021064867A1 (ja) 2019-10-01 2019-10-01 画像処理装置、制御方法及び記憶媒体

Country Status (4)

Country Link
US (1) US20220337746A1 (ja)
EP (1) EP4040782A4 (ja)
JP (1) JP7464060B2 (ja)
WO (1) WO2021064867A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782470A (zh) * 2022-06-22 2022-07-22 浙江鸿禾医疗科技有限责任公司 消化道的三维全景识别定位方法、存储介质和设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116761075B (zh) * 2023-05-09 2024-05-24 深圳显融医疗科技有限公司 基于内窥镜的图像处理方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10113333A (ja) * 1996-10-15 1998-05-06 Hitachi Ltd 内視鏡手術支援断層像撮影装置
JP2009226072A (ja) * 2008-03-24 2009-10-08 Fujifilm Corp 手術支援方法及び装置
JP2013078382A (ja) * 2011-09-30 2013-05-02 Chiba Univ パノラマ画像作製プログラム
JP2013084156A (ja) 2011-10-11 2013-05-09 Honda Motor Co Ltd 画像処理方法
JP2015106703A (ja) 2013-12-03 2015-06-08 富士フイルム株式会社 撮像装置およびカプセル型内視鏡
JP2015112431A (ja) * 2013-12-13 2015-06-22 オリンパスメディカルシステムズ株式会社 画像表示装置、画像表示方法、及び画像表示プログラム
WO2019087269A1 (ja) * 2017-10-31 2019-05-09 オリンパス株式会社 内視鏡システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005077253A1 (ja) * 2004-02-18 2005-08-25 Osaka University 内視鏡システム
JP2008545757A (ja) * 2005-06-01 2008-12-18 ザ リージェンツ オブ ザ ユニバーシティ オブ ミシガン 溶媒和されていないベンゾジアゼピン組成物および方法
US8064666B2 (en) * 2007-04-10 2011-11-22 Avantis Medical Systems, Inc. Method and device for examining or imaging an interior surface of a cavity
US7813538B2 (en) * 2007-04-17 2010-10-12 University Of Washington Shadowing pipe mosaicing algorithms with application to esophageal endoscopy
US20090074265A1 (en) * 2007-09-17 2009-03-19 Capsovision Inc. Imaging review and navigation workstation system
US8743118B2 (en) 2008-03-21 2014-06-03 Hitachi Medical Corporation Medical image display device and medical image display method
WO2010047324A1 (ja) 2008-10-20 2010-04-29 株式会社 日立メディコ 医用画像処理装置、及び医用画像処理方法
EP3136943A4 (en) * 2014-05-01 2017-12-27 EndoChoice, Inc. System and method of scanning a body cavity using a multiple viewing elements endoscope
WO2017160792A1 (en) * 2016-03-14 2017-09-21 Endochoice, Inc. System and method for guiding and tracking a region of interest using an endoscope
WO2019104329A1 (en) * 2017-11-27 2019-05-31 Optecks, Llc Medical three-dimensional (3d) scanning and mapping system
US10955657B2 (en) * 2018-12-20 2021-03-23 Acclarent, Inc. Endoscope with dual image sensors
WO2020174666A1 (ja) * 2019-02-28 2020-09-03 オリンパス株式会社 医療用システム
DE112021003948T5 (de) * 2020-07-24 2023-05-25 Gyrus Acmi, Inc. D/B/A Olympus Surgical Technologies America Bildrekonstruktion und endoskopische verfolgung

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10113333A (ja) * 1996-10-15 1998-05-06 Hitachi Ltd 内視鏡手術支援断層像撮影装置
JP2009226072A (ja) * 2008-03-24 2009-10-08 Fujifilm Corp 手術支援方法及び装置
JP2013078382A (ja) * 2011-09-30 2013-05-02 Chiba Univ パノラマ画像作製プログラム
JP2013084156A (ja) 2011-10-11 2013-05-09 Honda Motor Co Ltd 画像処理方法
JP2015106703A (ja) 2013-12-03 2015-06-08 富士フイルム株式会社 撮像装置およびカプセル型内視鏡
JP2015112431A (ja) * 2013-12-13 2015-06-22 オリンパスメディカルシステムズ株式会社 画像表示装置、画像表示方法、及び画像表示プログラム
WO2019087269A1 (ja) * 2017-10-31 2019-05-09 オリンパス株式会社 内視鏡システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4040782A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782470A (zh) * 2022-06-22 2022-07-22 浙江鸿禾医疗科技有限责任公司 消化道的三维全景识别定位方法、存储介质和设备

Also Published As

Publication number Publication date
US20220337746A1 (en) 2022-10-20
JPWO2021064867A1 (ja) 2021-04-08
EP4040782A1 (en) 2022-08-10
JP7464060B2 (ja) 2024-04-09
EP4040782A4 (en) 2022-08-31

Similar Documents

Publication Publication Date Title
JP6371729B2 (ja) 内視鏡検査支援装置、内視鏡検査支援装置の作動方法および内視鏡支援プログラム
US8558879B2 (en) Endoscope apparatus and measuring method
JP5137033B2 (ja) 手術支援情報表示装置、手術支援情報表示方法及び手術支援情報表示プログラム
EP2888991B1 (en) Endoscope system
US8913110B2 (en) Endoscope apparatus and measurement method
JP2015228954A (ja) 画像処理装置および画像処理方法
US20110187824A1 (en) Endoscope apparatus and measurement method
US8708890B2 (en) Endoscope apparatus and method of measuring subject
WO2021064867A1 (ja) 画像処理装置、制御方法及び記憶媒体
WO2012014438A1 (ja) 内視鏡観察を支援する装置および方法、並びに、プログラム
JP2017225700A (ja) 観察支援装置及び内視鏡システム
JP5231173B2 (ja) 計測用内視鏡装置およびプログラム
WO2020183936A1 (ja) 検査装置、検査方法及び記憶媒体
JP2018153346A (ja) 内視鏡位置特定装置、方法およびプログラム
JP5307407B2 (ja) 内視鏡装置およびプログラム
JP2006187470A (ja) 医療画像処理装置
JP2005338551A (ja) 工業用内視鏡装置
JP7133828B2 (ja) 内視鏡画像処理プログラム及び内視鏡システム
JP5554028B2 (ja) 医用画像処理装置、医用画像処理プログラム、及びｘ線ｃｔ装置
JP2006187385A (ja) 内視鏡装置及びその接触位置取得方法
US20180353053A1 (en) Image processing apparatus, image processing method, and endoscope
JP4464641B2 (ja) 工業用内視鏡システム
JP4464640B2 (ja) 工業用内視鏡装置
JP5513343B2 (ja) 撮像装置
WO2024028934A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19947499

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021550817

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019947499

Country of ref document: EP

Effective date: 20220502