WO2022107492A1 - プロセッサ装置、プロセッサ装置の作動方法、プロセッサ装置用プログラム、及び内視鏡システム - Google Patents

プロセッサ装置、プロセッサ装置の作動方法、プロセッサ装置用プログラム、及び内視鏡システム Download PDF

Info

Publication number
WO2022107492A1
WO2022107492A1 PCT/JP2021/037522 JP2021037522W WO2022107492A1 WO 2022107492 A1 WO2022107492 A1 WO 2022107492A1 JP 2021037522 W JP2021037522 W JP 2021037522W WO 2022107492 A1 WO2022107492 A1 WO 2022107492A1
Authority
WO
WIPO (PCT)
Prior art keywords
movement
endoscope
movement locus
route
display
Prior art date
Application number
PCT/JP2021/037522
Other languages
English (en)
French (fr)
Inventor
央奈 弓部
成利 石川
明美 小田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN202180077382.6A priority Critical patent/CN116507261A/zh
Priority to EP21894366.0A priority patent/EP4248832A4/en
Priority to JP2022563626A priority patent/JPWO2022107492A1/ja
Publication of WO2022107492A1 publication Critical patent/WO2022107492A1/ja
Priority to US18/317,089 priority patent/US20230277036A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/009—Flexible endoscopes with bending or curvature detection of the insertion part
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/062—Measuring instruments not otherwise provided for penetration depth
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Definitions

  • the present invention relates to a processor device, a method of operating the processor device, a program for the processor device, and an endoscope system when the tip of the endoscope moves inside the body.
  • an endoscope system equipped with a light source device, an endoscope, and a processor device is widespread.
  • the state inside the body can be grasped by displaying the endoscope image obtained by the endoscope on the display. Further, as shown in Patent Document 1, when the image of the current position is displayed on the display, the portion corresponding to the current position is also displayed by the progress bar indicating the insertion length. As a result, it is possible to grasp which position in the body the image displayed on the display is.
  • the tip of the endoscope when observing the digestive tract in the body such as the stomach and large intestine, the tip of the endoscope is reciprocated at the folded position.
  • the endoscope when observing the large intestine, the endoscope is inserted into the large intestine while straightening or convolving, and the large intestine is moved to the folded position.
  • the operation of removing the endoscope is performed. Therefore, the insertion length of the endoscope and the shape of the large intestine differ between when the endoscope is inserted and when it is removed.
  • the progress bar of Patent Document 1 does not consider the deformation of the large intestine at the time of insertion and removal, it is difficult to accurately display the current position.
  • the present invention relates to a processor device that can accurately display information about the current position when the tip of the endoscope reciprocates at a folded position in the body, a method of operating the processor device, a program for the processor device, and the inside.
  • the purpose is to provide a spectroscopic system.
  • the processor acquires the movement status of the endoscope moving in the body, and uses the movement status of the endoscope to obtain a movement trajectory indicating the trajectory of the movement of the endoscope.
  • the tip of the endoscope reciprocates at the folded position in the body, it is recognized from the endoscope image obtained by the endoscope that the tip has reached the folded position, and the movement trajectory. Recognizes whether the is corresponding to the outward route or the return route, and displays a movement trajectory display screen showing the movement trajectory separately for the outward route or the return route on the display.
  • the movement locus display screen displays a straight line for displaying the outward route indicating the movement locus of the outward route and a straight line for displaying the return route indicating the movement locus of the return route. It is preferable that the straight line for displaying the outward route and the straight line for displaying the return route are connected by a folded display mark indicating the folded position. It is preferable that the movement locus display screen displays a scale for displaying the insertion length indicating the insertion length of the endoscope with respect to the straight line for displaying the outward route or the straight line for displaying the return route. It is preferable that the movement locus display screen displays an outbound route display curve showing the outbound movement locus and a inbound route display curve showing the inbound movement locus.
  • the processor recognizes a plurality of parts including at least the first part and the second part between the insertion port of the endoscope and the folding position, and the movement locus is determined from the plurality of parts on the movement locus display screen. It is preferable to classify and display a plurality of sections. On the movement locus display screen, it is preferable to display the section where the tip is currently located by a message.
  • the processor recognizes the region of interest from the endoscopic image and displays the position of the region of interest on the movement locus on the movement locus display screen. It is preferable that the processor classifies the categories of the attention area and displays the position of the attention area on the movement locus in a display mode different depending on the classification result of the category on the movement locus display screen. On the movement locus display screen, it is preferable to display category information including the category of the region of interest for the movement locus.
  • the processor recognizes a plurality of parts including at least the first part and the second part between the insertion port of the endoscope and the folding position, and a plurality of sections are determined from the plurality of parts, and the movement locus is a section.
  • the movement locus display screen is composed of a plurality of separately provided movement loci for each section, and displays the movement locus display screen for each section, which displays the movement locus for each section.
  • the movement state is the amount of movement of the tip of the endoscope, and the amount of movement of the tip is preferably calculated based on at least the insertion length of the endoscope.
  • the processor acquires the movement status of the moving endoscope in the body, and uses the movement status of the endoscope to track the movement of the endoscope.
  • the endoscopic image obtained by the endoscope recognizes that the tip has reached the folded position.
  • it recognizes whether the movement locus corresponds to the outward route or the inbound route, and displays a movement locus display screen showing the movement locus separately for the outward route or the inbound route on the display.
  • the processor acquires the movement state of the moving endoscope in the body, and shows the trajectory of the movement of the endoscope by using the movement state of the endoscope.
  • the endoscopic image obtained by the endoscope recognizes that the tip has reached the folded position, and , Recognizes whether the movement locus corresponds to the outward route or the inbound route, and displays a movement locus display screen showing the movement locus separately for the outward route or the inbound route on the display.
  • the program for a processor device of the present invention has a function of acquiring the movement status of an endoscope moving in the body and a function of calculating a movement locus indicating a locus of movement of the endoscope by using the movement status of the endoscope. And, when the tip of the endoscope reciprocates at the folded position in the body, the recognition that the tip has reached the folded position from the endoscope image obtained by the endoscope, and the movement trajectory are The computer is made to execute a function of recognizing whether it corresponds to the outward route or the return route and a function of displaying a movement trajectory display screen showing the movement trajectory separately for the outward route or the return route on the display.
  • the tip of the endoscope reciprocates at a folded position in the body, information on the current position can be accurately displayed.
  • the endoscope system 10 includes an endoscope 12, a light source device 13, a processor device 14, a display 15, and a user interface 16.
  • the endoscope 12 is optically connected to the light source device 13 and electrically connected to the processor device 14.
  • the endoscope 12 has an insertion portion 12a to be inserted into the body to be observed, an operation portion 12b provided at the base end portion of the insertion portion 12a, and a curved portion 12c and a tip provided on the tip end side of the insertion portion 12a. It has a portion 12d.
  • the curved portion 12c bends by operating the operating portion 12b.
  • the tip portion 12d is directed in a desired direction by the bending motion of the bending portion 12c.
  • the operation unit 12b is provided with operation switches 18a and b used for various operations by the user. Operation commands for executing various operations via the user interface 16 are assigned to the operation switches 18a and b. Further, the operation unit 12b is provided with a zoom operation unit 19 used for enlarging or reducing the observation target.
  • the light source device 13 generates illumination light for illuminating the observation target, and supplies the generated illumination light to the endoscope 12.
  • the endoscope 12 irradiates the observation target with the illumination light from the light source device 13, and images the observation target illuminated by the illumination light.
  • the endoscope 12 transmits the endoscope image obtained by imaging the observation target to the processor device 14.
  • the processor device 14 is electrically connected to the display 15 and the user interface 16.
  • the processor device 14 performs various image processing such as color tone adjustment processing or structure enhancement processing on the image from the endoscope 12.
  • the image subjected to various image processing is transmitted to the display 15.
  • the display 15 outputs and displays an image to be observed, information incidental to the image to be observed, and the like.
  • the user interface 16 has a keyboard, a mouse, a touch pad, a microphone, and the like, and has a function of accepting input operations such as function settings.
  • An extended processor device for executing AI processing or the like for detecting a lesion portion by AI (Artificial Intelligence) may be connected to the processor device 14.
  • an extended display (not shown) separate from the display 15 may be connected to the extended processor device in order to display an image or the like processed by the extended processor device. Therefore, the "processor device” of the present invention corresponds to the extended processor device as well as the processor device 14. Similarly, the "display” of the present invention corresponds to an extended display as well as a display 15.
  • the processor device 14 includes a movement status acquisition unit 30, a movement locus calculation unit 31, a first recognition processing unit 32, a display control unit 33, and a second recognition processing unit 34. It is provided with a unit 35.
  • a program for the processor device for executing various processes is incorporated in a program memory (not shown).
  • the processor device 14 is provided with a central control unit (not shown) composed of a processor. When the central control unit executes the processor device program in the program memory, the above-mentioned movement status acquisition unit 30, movement locus calculation unit 31, first recognition processing unit 32, display control unit 33, and second recognition processing unit are executed.
  • the functions of 34 and the category classification unit 35 are realized.
  • the movement status acquisition unit 30 acquires the movement status of the endoscope that moves in the body. Specifically, it is preferable that the movement status acquisition unit 30 acquires the movement status based on the movement amount of the tip portion 12d of the endoscope. As shown in FIG. 3, the movement amount of the tip portion 12d includes the movement amount of the tip portion 12d in the vertical and horizontal directions (X-axis direction or Y-axis direction) with respect to the movement direction (Z-axis direction) of the tip portion 12d. It is preferably expressed by the amount of rotation of the tip portion 12d ( ⁇ (when the Z axis is the center of rotation)) (parameters of X, Y, Z, and ⁇ ).
  • the movement status acquisition unit 30 has an endoscope image of at least two frames (the endoscope of the Nth frame) having different acquisition timings with the endoscope. It is preferable to calculate the image P (N) and the endoscopic image P (N + 1) at the N + 1th frame from comparison. Comparing the endoscopic images P (N) and P (N + 1), the region X has moved by a specific distance. In order to calculate the amount of movement of the tip portion 12d using the endoscopic image, it is preferable to use the alignment process of the endoscopic image P (N) and the endoscopic image P (N + 1).
  • the alignment process includes a parallel movement process for moving the endoscope image P (N) or the endoscope image P (N + 1) in parallel, and an endoscope image P (N) or an endoscope image P (N + 1). It includes an enlargement / reduction process for enlarging or reducing.
  • the translation process the amount of movement of the tip portion 12d in the X-axis direction or the Y-axis direction and the amount of rotation ⁇ of the tip portion 12d about the Z-axis as the rotation center can be calculated. Further, by the enlargement / reduction process, the amount of movement of the tip portion 12d with respect to the movement direction Z at the time of insertion or removal can be calculated.
  • the movement status acquisition unit 30 may acquire the movement amount of the tip portion 12d based on the insertion length of the insertion portion 12a inserted into the body.
  • the insertion portion 12a provided with markers 40 such as magnets at regular intervals and the insertion port of the endoscope 12 (anus 44 (see FIG. 6 when the body is the large intestine). )
  • the marker detection sensor 41 that detects the marker, and based on the result that the marker detection sensor 41 detects the marker 40 by the movement of the insertion portion 12a (movement in the Z-axis direction)
  • the insertion portion 12a Calculate the insertion length.
  • the amount of movement of the tip portion 12d in the X-axis direction or the Y-axis direction is preferably calculated using the movement amount measurement sensor 42 provided in the operation unit 12b.
  • the movement amount measuring sensor 42 calculates the movement amount of the tip portion 12d in the X-axis direction or the Y-axis direction from the operation amount with respect to the curved portion 12c.
  • the amount of movement of the tip portion 12d of the endoscope may be measured by a magnetic sensor such as a coronavi.
  • the movement locus calculation unit 31 calculates a movement locus indicating the locus of movement of the endoscope 12 by using the movement status of the endoscope 12. Specifically, the movement locus can be calculated by accumulating the movement status of the endoscope 12.
  • the movement state of the endoscope 12 is represented by the movement amount (X, Y, Z, ⁇ ) of the tip portion 12d
  • the movement trajectory is obtained by using all four parameters (X, Y, Z, ⁇ ).
  • the movement locus can be represented by a straight line (see FIG. 7).
  • the tip portion 12d of the endoscope when the tip portion 12d of the endoscope reciprocates at the folded position in the body, the tip portion 12d reaches the folded position from the endoscope image obtained by the endoscope 12. It recognizes that the movement trajectory corresponds to the outward route or the return route. Specifically, as shown in FIG. 6, when the body is the large intestine, the folded position corresponds to the ileocecal portion 43.
  • the first recognition processing unit 32 performs a process of recognizing the ileocecal portion 43 from the endoscopic image. Therefore, until the first recognition processing unit 32 recognizes the ileocecal portion 43 (the ileocecal portion 43 is not recognized), the first recognition processing unit 32 recognizes that the movement locus corresponds to the outward path.
  • the first recognition processing unit 32 recognizes that the movement route corresponds to the return route.
  • the first recognition processing unit 32 is preferably a trained model that has been machine-learned using an endoscopic image as an input image and a correct answer (site, position, etc.).
  • the first recognition processing unit 32 recognizes a plurality of parts including at least the first part or the second part between the insertion port of the endoscope 12 and the folded position.
  • the insertion port of the endoscope 12 corresponds to the anus 44
  • the folded position corresponds to the ileocecal portion 43.
  • the first site on the anal side corresponds to the curved splenic portion 45
  • the second site on the ileocecal side corresponds to the curved liver portion 46.
  • the display control unit 33 displays on the display 15 a movement locus display screen that divides the movement locus into an outward route or a return route.
  • a movement locus display screen that divides the movement locus into an outward route or a return route.
  • the trajectory of the tip portion 12d is visualized by separating the insertion (outward route) or the removal (return route) of the endoscope 12, so that the influence of the shape change in the body can be reduced.
  • the movement locus is represented by a straight line in the display control unit 33, as shown in FIG. 7, the movement locus display screen 50 has an outbound route display straight line 51 representing the outbound movement locus and a return route.
  • a straight line 52 for displaying the return route which represents the movement locus of the above, is displayed.
  • outbound route display straight line 51 and the inbound route display straight line 52 are connected by a fold-back display mark 53 indicating the fold-back position.
  • the wrapping display mark is a semicircle, but may have other shapes (for example, a straight line (see FIG. 9A)).
  • the solid line portion LX represents the place where the tip portion 12d is currently located, and the dotted line portion LY has the tip portion 12d. Represents a part that has been moved or is scheduled to be moved.
  • the movement locus display screen 50 may display an insertion length display scale 54 indicating the insertion length of the endoscope 12 with respect to the outward route display straight line 51 or the return route display straight line 52.
  • the insertion length display scale 54 is arranged on the side of the outward route display straight line 51 or the return route display straight line 52 so as to be a scale corresponding to the actual insertion length according to the movement of the tip portion 12d of the endoscope.
  • the display of the insertion length display scale 54 is switched (scrolled display). For example, in the case of FIG. 7, since the tip portion 12d is near the folded position, the insertion length display scale 54 represents the insertion length (100 cm to 120 cm) near the folded position.
  • the insertion length display scale 54 indicates the insertion length (about 0 to 30 cm).
  • the movement locus display screen 50 has an outbound route display curve 56 indicating the outbound movement locus and a return route representing the inbound movement locus.
  • the display curve 57 is displayed.
  • the solid line portion LM represents the location where the tip portion 12d is currently located
  • the dotted line portion LN is the portion where the tip portion 12d has been moved or is moved from the tip portion 12d. Represents the part to be planned.
  • the movement locus may be classified into a plurality of sections defined from a plurality of parts and displayed.
  • the body is a large intestine, it is preferable to classify and display the three sections of the descending colon, the transverse colon, and the ascending colon, which are defined from the curved part of the spleen (first part) and the curved part of the liver (second part).
  • the movement locus is represented by the outward route display straight line 51 or the return route display straight line 52, as shown in FIG.
  • the first site display marker 58a representing the splenic curved portion 45
  • the second site display markers 59a and b representing the b and the hepatic curve 46
  • the descending colon section 47a the transverse colon section 48a, the ascending colon section 49a, and the descending colon section 47b on the inbound route
  • It represents the section 48b of the transverse colon and the section 49b of the ascending colon.
  • the sections 47a and b of the descending colon, the sections 48a and b of the transverse colon, and the sections 49a and b of the ascending colon are displayed in different colors.
  • the marker 58a for displaying the first site and the marker 59a for displaying the second site on the outward route, and the marker 58b for displaying the first site and the marker 58b for displaying the second site on the return route are used. It is displayed with a slight deviation from the marker 59b on a straight line.
  • the section 47a of the descending colon on the outward route without using the markers 58a and b for displaying the first site and the markers 59a and b for displaying the second site representing the liver curvature portion 46
  • the breaks 60a, b, c, d between each section can be seen as the section 48a of the transverse colon, the section 49a of the ascending colon, and the section 47b of the descending colon, the section 48b of the transverse colon, and the section 49b of the ascending colon on the return route. It is preferable to provide.
  • both the markers 58a and b for displaying the first part and the markers 59a and b for displaying the second part and the cuts 60a, b, c and d are used in the outward route.
  • the section 47a of the descending colon, the section 48a of the transverse colon, the section 49a of the ascending colon, and the section 47b of the descending colon, the section 48b of the transverse colon, and the section 49b of the ascending colon on the return route may be clearly displayed.
  • the place where the tip portion 12d of the endoscope is currently located is represented by the solid line portions LX and LM, and the portion where the tip portion 12d has been moved or is scheduled to be moved is represented by the dotted line portion LY.
  • LN it may be represented by other methods.
  • FIGS. 10A and 10B on the movement locus display screen 50, only the current position of the tip portion 12d and the moved portion are represented by a solid line LP, and the portion scheduled to be moved is not displayed. ..
  • the markers 58a and b for displaying the first part in order to display in which section the tip portion 12d is currently located, the markers 58a and b for displaying the first part, the markers 59a and b for displaying the second part, and the cuts 60a and b. , C, d so that each section 47a, b, 48a, b, 49a, b can be identified, and the section where the tip portion 12d is currently located is displayed by messages M1 and M2. May be good.
  • FIG. 10A shows the movement locus at time t, and the display of the message M1 indicates that the current position is in the “transverse colon”.
  • FIG. 10B shows a movement locus at time t + ⁇ after time t, and the display of the message M2 indicates that the current position is in the “ascending colon”.
  • the current position of the tip portion 12d of the endoscope is displayed at the tip portion position 61, which is the tip of the movement locus.
  • the tip position 61 is displayed with a part cut off when the tip portion 12d is located in the middle of each section, and is not cut out when the tip portion 12d is located at the boundary of each section. Is displayed.
  • the second recognition processing unit 34 recognizes the region of interest from the endoscopic image.
  • the areas of interest are, for example, lesions typified by cancer, traces of treatment, scars of surgery, bleeding sites, benign tumors, and inflamed areas (in addition to so-called inflammation, areas with changes such as bleeding or atrophy. Included), markings marked by ablation marks or coloring agents by heating, coloring with fluorescent agents, etc., or areas including biopsy-performing parts that have undergone biopsy (so-called biopsy). That is, because of the area containing the lesion, the area where there is a possibility of lesion, the area where some treatment such as biopsy was performed, the treatment tool such as a clip or kettle, or the dark area (behind the folds, the back of the lumen).
  • the second recognition processing unit 34 uses a region including at least one of a lesion portion, a treatment trace, a surgical trace, a bleeding site, a benign tumor portion, an inflamed portion, a marking portion, and a biopsy performing portion as a region of interest. To detect.
  • the second recognition processing unit 34 like the first recognition processing unit 32, is a trained model that has been machine-learned using an endoscopic image as an input image and a correct answer (presence or absence of a lesion, etc.). Is preferable.
  • the category classification unit 35 classifies the categories of the region of interest recognized by the second recognition processing unit 34.
  • the categories to be classified are any or a combination of the imaging site, the presence / absence and type of a lesion which is one of the areas of interest, the state of use of the treatment tool, the state of spraying the pigment agent, and the like.
  • the category of the region of interest includes "Hyper Plastic (hyperplasia)” or "Neo Plastic (tumor)".
  • the second recognition processing unit 34 recognizes the area of interest, it is preferable to display the position of the area of interest on the movement locus on the movement locus display screen 50.
  • the movement locus is represented by both a straight line and a curved line
  • attention is paid to the outward route display straight line 51, the return route display straight line 52, or the folded display mark 53, as shown in FIG.
  • the area of interest detection point BP is displayed at the position where the area is recognized.
  • the attention area detection point BP is displayed at the position where the attention area is recognized with respect to the outbound route display curve 56 or the return route display curve 57.
  • the position of the attention area may be displayed on the movement trajectory in a different display mode depending on the classification result of the category on the movement locus display screen 50.
  • the attention area of category A is recognized for the outward route display straight line 51 and the return route display straight line 52.
  • the attention area detection point BPA of category A is displayed at the position, and the attention area detection point BPB of category B is displayed at the position where the attention area of category B (different from category A) is recognized.
  • the color of the region of interest detection point BPA is yellow and the color of the region of interest detection point BPB is green.
  • category A is, for example, “Neo Plastic”
  • category B is, for example, “Hyper Plastic”. It should be noted that the movement locus of the curve is also displayed for the curve using the attention area detection points BPA and BPB having different display modes when the categories are different.
  • the movement locus display screen 50 may display the category information including the category of the attention area with respect to the movement locus. Specifically, on the outbound route display straight line 51 and the return route display straight line 52, the attention area detection point BPA of category A is displayed at the position where the attention area of category A is recognized, and the attention area detection point BPA of the category A is displayed. On the side, category information CA including the area of interest is category A and the size of the area of interest is displayed. Further, the attention area detection point BPB of the category B is displayed at the position where the attention area of the category B is recognized, and the attention area is the category B and the attention area is on the side of the attention area detection point BPB. Category information CB including size is displayed. The category information CA and CB may include the images GA and GB of the region of interest, respectively.
  • the movement locus display screen 50 displays all sections defined by a plurality of parts (for example, if the body is a large intestine, all sections of the descending colon, the transverse colon, and the ascending colon).
  • the movement locus is composed of a plurality of movement trajectories provided for each section, and the movement locus is displayed.
  • a section-specific movement locus display screen for displaying each section-specific movement locus may be displayed.
  • the movement trajectory of the section of the descending colon is classified by section.
  • the movement locus display screen 70 is displayed, the movement locus of the section of the transverse colon is displayed on the section-specific movement locus display screen 71, and the movement locus of the ascending colon section is displayed on the section-specific movement locus display screen 72.
  • the section-specific movement locus display screen 70 includes a straight line region portion 70a that represents the movement locus with a straight line, and a curved region portion 70b that represents the movement locus with a curve.
  • the linear region portion 70a it is preferable to display only the portion of the movement locus that recognizes the region of interest.
  • the section of the descending colon is represented by the solid line portion LS, and the other sections are represented by the dotted line portion LT.
  • the method of displaying the region of interest is the same as in the above case (see FIGS. 11 and 12).
  • the section-specific movement locus display screen 71 and the section-specific movement locus display screen 72 also have linear region portions 71a and 72a and curved section region portions 71b and 72b, respectively, as in the section-specific movement locus display screen 70.
  • the movement locus or the area of interest is displayed in the same manner as the section-specific movement locus display screen 70.
  • the movement status acquisition unit 30 provided in the processor device 14 acquires the movement status of the endoscope moving in the body.
  • the movement locus calculation unit 31 calculates a movement locus indicating the locus of movement of the endoscope by using the movement status of the endoscope.
  • the first recognition processing unit 32 recognizes whether or not the tip portion 12d has reached the folded position from the endoscope image obtained by the endoscope 12.
  • the first recognition processing unit 32 recognizes that the movement locus corresponds to the outward route.
  • the first recognition processing unit 32 recognizes that the movement locus corresponds to the return path.
  • the display control unit 33 displays on the display 15 a movement locus display screen 50 that divides the movement locus into an outward route or a return route.
  • a processing unit that executes various processes such as a movement status acquisition unit 30, a movement locus calculation unit 31, a first recognition processing unit 32, a display control unit 33, a second recognition processing unit 34, and a category classification unit 35
  • the hardware structure of the processing unit is various processors as shown below.
  • Various processors include CPU (Central Processing Unit), GPU (Graphical Processing Unit), FPGA (Field Programmable Gate Array), which are general-purpose processors that execute software (programs) and function as various processing units.
  • PLD Programmable Logic Device
  • a processing unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs, a combination of a CPU and an FPGA, or a CPU and a combination of two or more processors. It may be composed of a combination of GPUs, etc.). Further, a plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a client or a server, one processor is configured by a combination of one or more CPUs and software. There is a form in which this processor functions as a plurality of processing units.
  • SoC System On Chip
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
  • the hardware-like structure of these various processors is, more specifically, an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.
  • the hardware structure of the storage unit is a storage device such as an HDD (hard disk drive) or SSD (solid state drive).

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Endoscopes (AREA)

Abstract

本発明は、内視鏡の先端部が体内の折り返し位置で往復移動する場合において、現在位置に関する情報を正確に表示することができるプロセッサ装置、プロセッサ装置の作動方法、プロセッサ装置用プログラム、及び内視鏡システムを提供する。移動軌跡算出部３１は、内視鏡１２の移動状況を用いて、内視鏡１２が移動した軌跡を示す移動軌跡を算出する。第１認識処理部３２は、内視鏡１２によって得られた内視鏡画像から、内視鏡の先端部１２ｄが折り返し位置に到達したことの認識、及び、移動軌跡が往路又は復路のいずれに該当するかの認識を行う。表示制御部３３は、移動軌跡を往路又は復路に分けて表す移動軌跡表示画面５０をディスプレイ１５に表示する。

Description

プロセッサ装置、プロセッサ装置の作動方法、プロセッサ装置用プログラム、及び内視鏡システム
　本発明は、内視鏡の先端部が体内を移動する場合におけるプロセッサ装置、プロセッサ装置の作動方法、プロセッサ装置用プログラム、及び内視鏡システムに関する。
　現在の医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システが普及している。内視鏡システムでは、内視鏡によって得られる内視鏡画像をディスプレイに表示することで、体内の様子を把握することができる。また、特許文献１に示すように、現在位置の画像をディスプレイに表示する際に、挿入長を表すプログレスバーで現在位置に対応する部分を合わせて表示している。これにより、ディスプレイに表示中の画像が、体内のいずれの位置の画像か把握することができる。
特開２００３－９３３２６号公報
　内視鏡システムにおいて、胃、大腸などの体内の消化管を観察する場合には、内視鏡の先端部を折り返し位置で往復移動させることが行われている。例えば、大腸を観察する場合には、大腸に対して、直線化又は畳み込みを行いながら内視鏡を挿入して、折り返し位置まで移動させる。内視鏡の先端部が折り返し位置に到達した場合には、内視鏡を抜去する操作を行う。そのため、内視鏡の挿入時と抜去時で内視鏡の挿入長や大腸の形状が異なる。これに関して、特許文献１のプログレスバーは、挿入時と抜去時における大腸の変形等を考慮していないため、現在位置を正確に表示することが難しかった。
　本発明は、内視鏡の先端部が体内の折り返し位置で往復移動する場合において、現在位置に関する情報を正確に表示することができるプロセッサ装置、プロセッサ装置の作動方法、プロセッサ装置用プログラム、及び内視鏡システムを提供することを目的とする。
　本発明は、プロセッサを有するプロセッサ装置において、プロセッサは、体内において移動する内視鏡の移動状況を取得し、内視鏡の移動状況を用いて、内視鏡が移動した軌跡を示す移動軌跡を算出し、内視鏡の先端部が体内の折り返し位置で往復移動する場合において、内視鏡によって得られた内視鏡画像から、先端部が折り返し位置に到達したことの認識、及び、移動軌跡が往路又は復路のいずれに該当するかの認識を行い、移動軌跡を往路又は復路に分けて表す移動軌跡表示画面をディスプレイに表示する。
　移動軌跡表示画面には、往路の移動軌跡を表す往路表示用直線、及び、復路の移動軌跡を表す復路表示用直線が表示されることが好ましい。往路表示用直線と復路表示用直線とは、折り返し位置を表す折り返し表示用マークで連結されていることが好ましい。移動軌跡表示画面には、往路表示用直線又は復路表示用直線に対して、内視鏡の挿入長を表す挿入長表示用目盛りが表示されることが好ましい。移動軌跡表示画面には、往路の移動軌跡を表す往路表示用曲線、及び、復路の移動軌跡を表す復路表示用曲線が表示されることが好ましい。
　プロセッサは、内視鏡の挿入口と折り返し位置との間で、第１部位及び第２部位を少なくとも含む複数の部位を認識し、移動軌跡表示画面では、移動軌跡を、複数の部位から定められる複数の区間に分類して表示することが好ましい。移動軌跡表示画面では、先端部の現在位置する区間をメッセージで表示することが好ましい。
　プロセッサは、内視鏡画像から注目領域を認識し、移動軌跡表示画面では、移動軌跡上に注目領域の位置を表示することが好ましい。プロセッサは、注目領域のカテゴリを分類し、移動軌跡表示画面では、注目領域の位置を、カテゴリの分類結果によって異なる表示態様で移動軌跡上に表示することが好ましい。移動軌跡表示画面では、移動軌跡に対して、注目領域のカテゴリを含むカテゴリ情報を表示することが好ましい。
　プロセッサは、内視鏡の挿入口と折り返し位置との間で、第１部位及び第２部位を少なくとも含む複数の部位を認識し、複数の部位から複数の区間が定められ、移動軌跡は、区間別に設けられた複数の区間別移動軌跡から構成され、移動軌跡表示画面は、各区間別移動軌跡を表示する区間別移動軌跡表示画面をそれぞれ表示することが好ましい。移動状況は、内視鏡の先端部の移動量であり、先端部の移動量は、少なくとも内視鏡の挿入長に基づいて、算出することが好ましい。
　本発明は、プロセッサ及びディスプレイを備える内視鏡システムにおいて、プロセッサは、体内において移動する内視鏡の移動状況を取得し、内視鏡の移動状況を用いて、内視鏡が移動した軌跡を示す移動軌跡を算出し、内視鏡の先端部が体内の折り返し位置で往復移動する場合において、内視鏡によって得られた内視鏡画像から、先端部が折り返し位置に到達したことの認識、及び、移動軌跡が往路又は復路のいずれに該当するかの認識を行い、移動軌跡を往路又は復路に分けて表す移動軌跡表示画面をディスプレイに表示する。
　本発明は、プロセッサを有するプロセッサ装置の作動方法において、プロセッサが、体内において移動する内視鏡の移動状況を取得し、内視鏡の移動状況を用いて、内視鏡が移動した軌跡を示す移動軌跡を算出し、内視鏡の先端部が体内の折り返し位置で往復移動する場合において、内視鏡によって得られた内視鏡画像から、先端部が折り返し位置に到達したことの認識、及び、移動軌跡が往路又は復路のいずれに該当するかの認識を行い、移動軌跡を往路又は復路に分けて表す移動軌跡表示画面をディスプレイに表示する。
　本発明のプロセッサ装置用プログラムは、体内において移動する内視鏡の移動状況を取得する機能と、内視鏡の移動状況を用いて、内視鏡が移動した軌跡を示す移動軌跡を算出する機能と、内視鏡の先端部が体内の折り返し位置で往復移動する場合において、内視鏡によって得られた内視鏡画像から、先端部が折り返し位置に到達したことの認識、及び、移動軌跡が往路又は復路のいずれに該当するかの認識を行う機能と、移動軌跡を往路又は復路に分けて表す移動軌跡表示画面をディスプレイに表示する機能とをコンピュータに実行させる。
　本発明によれば、内視鏡の先端部が体内の折り返し位置で往復移動する場合において、現在位置に関する情報を正確に表示することができる。
内視鏡システムの概略図である。 プロセッサ装置の機能を示すブロック図である。 内視鏡の先端部の移動方向を表すための説明図である。 取得タイミングが異なる２フレームの内視鏡画像の画像図である。 内視鏡の挿入長を計測するためのマーカ及マーカ検出センサを示す説明図である。 大腸の模式図である。 移動軌跡を往路と復路で分けて直線で表示する移動軌跡表示画面の画像図である。 移動軌跡を往路と復路で分けて曲線で表示する移動軌跡表示画面の画像図である。 ３つの区間に分類して表示する移動軌跡（（Ａ）、（Ｂ）、（Ｃ））であって現在位置、移動済み、及び移動予定の移動軌跡を表す説明図である。 ３つの区間に分類して表示する移動軌跡（（Ａ）、（Ｂ）））であって現在位置及び移動済みの移動軌跡を表す説明図である。 移動軌跡を往路と復路で分けて直線で表示し、且つ、注目領域の位置を移動軌跡上で表示する移動軌跡表示画面の画像図である。 移動軌跡を往路と復路で分けて直線及び曲線で表示し、且つ、注目領域の位置を移動軌跡上で表示する移動軌跡表示画面の画像図である。 ３つの区間に対応する区間別移動軌跡表示画面を表す画像図である。 移動軌跡の表示方法の一連の流れを表すフローチャートである。
　図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１３と、プロセッサ装置１４と、ディスプレイ１５と、ユーザインターフェース１６とを有する。内視鏡１２は、光源装置１３と光学的に接続され、且つ、プロセッサ装置１４と電気的に接続される。内視鏡１２は、観察対象の体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられた湾曲部１２ｃ及び先端部１２ｄとを有している。湾曲部１２ｃは、操作部１２ｂを操作することにより湾曲動作する。先端部１２ｄは、湾曲部１２ｃの湾曲動作によって所望の方向に向けられる。
　操作部１２ｂには、ユーザによる各種操作に用いられる操作スイッチ１８ａ、ｂが設けられている。各操作スイッチ１８ａ、ｂには、ユーザインターフェース１６を介して各種操作を実行するための操作コマンドが割り当てられている。また、操作部１２ｂには、観察対象の拡大又は縮小に用いられるズーム操作部１９が設けられている。
　光源装置１３は、観察対象を照明するための照明光を生成し、生成した照明光を内視鏡１２に供給する。内視鏡１２は、光源装置１３からの照明光を観察対象に向けて照射し、照明光で照明された観察対象を撮像する。内視鏡１２は、観察対象を撮像することによって得られた内視鏡画像をプロセッサ装置１４に送信する。
　プロセッサ装置１４は、ディスプレイ１５及びユーザインターフェース１６と電気的に接続される。プロセッサ装置１４では、内視鏡１２からの画像に対して、色調調整処理又は構造強調処理などの各種の画像処理を施す。各種の画像処理が施された画像はディスプレイ１５に送信される。ディスプレイ１５は、観察対象の画像や、観察対象の画像に付帯する情報等を出力表示する。ユーザインターフェース１６は、キーボード、マウス、タッチパッド、マイク等を有し、機能設定等の入力操作を受け付ける機能を有する。
　なお、プロセッサ装置１４には、病変部をＡＩ（Artificial Intelligence）で検出するＡＩ処理などを実行するための拡張プロセッサ装置（図示しない）を接続してもよい。この場合、拡張プロセッサ装置で処理した画像等を表示するために、ディスプレイ１５とは別体の拡張ディスプレイ（図示しない）を拡張プロセッサ装置に接続してもよい。したがって、本発明の「プロセッサ装置」は、プロセッサ装置１４の他、拡張プロセッサ装置にも対応する。同様にして、本発明の「ディスプレイ」は、ディスプレイ１５の他、拡張ディスプレイにも対応する。
　図２に示すように、プロセッサ装置１４は、移動状況取得部３０と、移動軌跡算出部３１と、第１認識処理部３２と、表示制御部３３と、第２認識処理部３４と、カテゴリ分類部３５とを備えている。プロセッサ装置１４には、各種処理を実行するためのプロセッサ装置用プログラムがプログラム用メモリ（図示しない）に組み込まれている。プロセッサ装置１４には、プロセッサから構成される中央制御部（図示しない）が設けられている。中央制御部がプログラム用メモリ内のプロセッサ装置用プログラムを実行することによって、前述の移動状況取得部３０、移動軌跡算出部３１、第１認識処理部３２、表示制御部３３、第２認識処理部３４、及び、カテゴリ分類部３５の機能が実現する。
　移動状況取得部３０は、体内において移動する内視鏡の移動状況を取得する。具体的には、移動状況取得部３０は、内視鏡の先端部１２ｄの移動量に基づいて、移動状況を取得することが好ましい。先端部１２ｄの移動量としては、図３に示すように、先端部１２ｄの移動方向（Ｚ軸方向）に対する先端部１２ｄの上下左右方向（Ｘ軸方向又はＹ軸方向）の移動量、及び、先端部１２ｄの回転量（θ（Ｚ軸を回転中心とした場合））で表すこと（Ｘ、Ｙ、Ｚ、θのパラメータ）が好ましい。
　先端部１２ｄの移動量については、例えば、図４に示すように、移動状況取得部３０は、内視鏡での取得タイミングが異なる少なくとも２フレームの内視鏡画像（Ｎフレーム目の内視鏡画像Ｐ（Ｎ）、Ｎ＋１フレーム目の内視鏡画像Ｐ（Ｎ＋１））を比較から算出することが好ましい。内視鏡画像Ｐ（Ｎ）とＰ（Ｎ＋１）とを比較すると、領域Ｘが特定の距離だけ移動している。内視鏡画像を用いる先端部１２ｄの移動量の算出には、内視鏡画像Ｐ（Ｎ）と内視鏡画像Ｐ（Ｎ＋１）との位置合わせ処理を用いることが好ましい。
　位置合わせ処理には、内視鏡画像Ｐ（Ｎ）又は内視鏡画像Ｐ（Ｎ＋１）を平行移動させる平行移動処理と、内視鏡画像Ｐ（Ｎ）又は内視鏡画像Ｐ（Ｎ＋１）を拡大又は縮小する拡大縮小処理とが含まれる。平行移動処理によって、先端部１２ｄのＸ軸方向又はＹ軸方向の移動量、及び、Ｚ軸を回転中心とした先端部１２ｄの回転量θを算出することができる。また、拡大縮小処理によって、移動方向Ｚに対する先端部１２ｄの挿入時又は抜去時の移動量を算出することができる。
　また、移動状況取得部３０は、体内へ挿入している挿入部１２ａの挿入長に基づいて、先端部１２ｄの移動量を取得してもよい。この場合には、図５に示すように、一定の間隔等で磁石等のマーカ４０を設けた挿入部１２ａと、内視鏡１２の挿入口（体内が大腸の場合は肛門４４（図６参照））に対してマーカを検出するマーカ検出センサ４１とを用い、挿入部１２ａの移動（Ｚ軸方向への移動）によってマーカ検出センサ４１がマーカ４０を検出する結果に基づいて、挿入部１２ａの挿入長を算出する。なお、先端部１２ｄのＸ軸方向又はＹ軸方向の移動量については、操作部１２ｂに設けた移動量計測センサ４２を用いて算出することが好ましい。移動量計測センサ４２は、湾曲部１２ｃに対する操作量から、先端部１２ｄのＸ軸方向又はＹ軸方向の移動量を算出する。なお、コロナビなどの磁気センサで内視鏡の先端部１２ｄの移動量を計測してもよい。
　移動軌跡算出部３１は、内視鏡１２の移動状況を用いて、内視鏡１２が移動した軌跡を示す移動軌跡を算出する。具体的には、内視鏡１２の移動状況を累積することによって、移動軌跡を算出することができる。内視鏡１２の移動状況が先端部１２ｄの移動量（Ｘ、Ｙ、Ｚ、θ）で表される場合において、４つのパラメータ（Ｘ、Ｙ、Ｚ、θ）を全て用いることで、移動軌跡は３次元の曲線で表すことができる。また、３次元の曲線を射影処理することによって、移動軌跡を２次元の曲線として表すことも可能である（図８参照）。なお、４つパラメータ（Ｘ、Ｙ、Ｚ、θ）のうちＺのみを用いることで、移動軌跡を直線で表すことができる（図７参照）。
　第１認識処理部３２は、内視鏡の先端部１２ｄが体内の折り返し位置で往復運動する場合において、内視鏡１２によって得られた内視鏡画像から、先端部１２ｄが折り返し位置に到達したことの認識、及び、移動軌跡が往路又は復路のいずれに該当するかの認識を行う。具体的には、図６に示すように、体内が大腸である場合には、折り返し位置は回盲部４３に相当する。第１認識処理部３２は、内視鏡画像から、回盲部４３を認識する処理を行う。したがって、第１認識処理部３２が回盲部４３を認識するまでの間（回盲部４３を未認識）は、第１認識処理部３２は、移動軌跡は往路に該当すると認識する。一方、第１認識処理部３２が回盲部４３を認識した後（回盲部４３を認識済み）は、第１認識処理部３２は、移動経路が復路に該当すると認識する。なお、第１認識処理部３２は、入力画像となる内視鏡画像と、正解（部位、位置など）を利用して機械学習させた学習済みモデルであることが好ましい。
　また、第１認識処理部３２は、内視鏡１２の挿入口と折り返し位置との間において、第１部位又は第２部位を少なくとも含む複数の部位を認識する。具体的には、体内が大腸である場合には、内視鏡１２の挿入口は肛門４４に相当し、折り返し位置は回盲部４３に相当する。また、肛門側の第１部位は脾湾曲部４５に相当し、回盲部側の第２部位は肝湾曲部４６に相当する。このように複数の部位を認識することによって、複数の部位から定められる複数の区間を認識することが可能になる。体内が大腸の場合であれば、脾湾曲部４５と肝湾曲部４６を認識することによって、下行結腸４７、横行結腸４８、及び、上行結腸４９の３つの区間を認識することができる。
　脾湾曲部４５及び肝湾曲部４６のいずれも認識していない場合には、移動軌跡が往路の下行結腸４７の区間にあることを認識する。また、脾湾曲部４５を認識し、肝湾曲部４６を認識していない場合には、移動軌跡が往路の横行結腸４８の区間にあることを認識する。また、肝湾曲部４６を認識した場合には、移動軌跡が往路又は復路の上行結腸４９の区間にあることを認識する。また、肝湾曲部４６の認識後に、再度、肝湾曲部４６を認識した場合には、移動軌跡が復路の横行結腸４８にあることを認識する。また、肝湾曲部４６の認識後に脾湾曲部４５を認識した場合には、移動軌跡が復路の下行結腸４７にあることを認識する。
　表示制御部３３は、移動軌跡を往路又は復路に分けて表す移動軌跡表示画面をディスプレイ１５に表示する。これにより、内視鏡１２の挿入（往路）又は抜去（復路）を分けて先端部１２ｄの軌跡が可視化されるため、体内の形状変化の影響を軽減することができる。表示制御部３３では、具体的には、移動軌跡を直線で表す場合には、図７に示すように、移動軌跡表示画面５０には、往路の移動軌跡を表す往路表示用直線５１と、復路の移動軌跡を表す復路表示用直線５２とが表示される。
　また、往路表示用直線と５１と復路表示用直線５２とは折り返し位置を表す折り返し表示用マーク５３で連結されている。折り返し表示用マークは半円としているが、その他の形状であってもよい（例えば直線（図９（Ａ）等参照））。なお、往路表示用直線５１、復路表示用直線５２、及び折り返し表示用マーク５３のうち、実線部分ＬＸは、先端部１２ｄが現在位置する場所を表しており、点線部分ＬＹは、先端部１２ｄが移動済みの部分又はこれから移動する予定の部分を表している。
　また、移動軌跡表示画面５０には、往路表示用直線５１又は復路表示用直線５２に対して、内視鏡１２の挿入長を表す挿入長表示用目盛り５４を表示してもよい。挿入長表示用目盛り５４は、往路表示用直線５１又は復路表示用直線５２の側方に配置され、内視鏡の先端部１２ｄの移動に合わせて、実際の挿入長に対応する目盛りとなるように、挿入長表示用目盛り５４の表示が切り替わること（スクロール表示されること）が好ましい。例えば、図７の場合は先端部１２ｄが折り返し位置付近であるため、挿入長表示用目盛り５４は、折り返し位置付近の挿入長（１００ｃｍ～１２０ｃｍ）を表している。一方、挿入直後の下行結腸区間の場合であれば、挿入長表示用目盛り５４は、挿入長が（０～３０ｃｍ程度）を表す。
　また、移動軌跡を２次元の曲線で表す場合には、図８に示すように、移動軌跡表示画面５０には、往路の移動軌跡を表す往路表示用曲線５６と、復路の移動軌跡を表す復路表示用曲線５７とが表示される。なお、往路表示用曲線５６、復路表示用曲線５７のうち、実線部分ＬＭは、先端部１２ｄが現在位置する場所を表しており、点線部分ＬＮは、先端部１２ｄが移動済みの部分又はこれから移動する予定の部分を表している。
　また、移動軌跡表示画面５０では、移動軌跡を、複数の部位から定められる複数の区間に分類して表示してもよい。体内が大腸の場合であれば、脾湾曲部（第１部位）及び肝湾曲部（第２部位）から定められる下行結腸、横行結腸、上行結腸の３区間に分類して表示することが好ましい。具体的には、移動軌跡を往路表示用直線５１又は復路表示用直線５２で表した場合には、図９（Ａ）に示すように、脾湾曲部４５を表す第１部位表示用マーカ５８ａ、ｂと肝湾曲部４６を表す第２部位表示用マーカ５９ａ、ｂを用いて、往路における下行結腸の区間４７ａ、横行結腸の区間４８ａ、上行結腸の区間４９ａ、及び復路における下行結腸の区間４７ｂ、横行結腸の区間４８ｂ、上行結腸の区間４９ｂを表す。なお、以上の下行結腸の区間４７ａ、ｂ、横行結腸の区間４８ａ、ｂ、上行結腸の区間４９ａ、ｂは、それぞれ色を変えて表示することが好ましい。なお、往路と復路で大腸の形状は異なることから、往路側の第１部位表示用マーカ５８ａ及び第２部位表示用マーカ５９ａと、復路側の第１部位表示用マーカ５８ｂ及び第２部位表示用マーカ５９ｂとは直線上で多少ズレて表示されている。
　また、図９（Ｂ）に示すように、第１部位表示用マーカ５８ａ、ｂと肝湾曲部４６を表す第２部位表示用マーカ５９ａ、ｂを用いずに、往路における下行結腸の区間４７ａ、横行結腸の区間４８ａ、上行結腸の区間４９ａ、及び復路における下行結腸の区間４７ｂ、横行結腸の区間４８ｂ、上行結腸の区間４９ｂが分かるように、各区間の間に切れ目６０ａ、ｂ、ｃ、ｄを設けることが好ましい。
　また、図９（Ｃ）に示すように、第１部位表示用マーカ５８ａ、ｂ及び第２部位表示用マーカ５９ａ、ｂと、切れ目６０ａ、ｂ、ｃ、ｄとの両方を用いて、往路における下行結腸の区間４７ａ、横行結腸の区間４８ａ、上行結腸の区間４９ａ、及び復路における下行結腸の区間４７ｂ、横行結腸の区間４８ｂ、上行結腸の区間４９ｂが分かるように表示してもよい。
　なお、図７又は図８では、内視鏡の先端部１２ｄが現在位置する場所を実線部分ＬＸ、ＬＭで表し、先端部１２ｄが移動済みの部分又はこれから移動する予定の部分を点線部分ＬＹ、ＬＮで表しているが、その他の方法で表してもよい。例えば、図１０（Ａ）、（Ｂ）に示すように、移動軌跡表示画面５０において、先端部１２ｄの現在の位置及び移動済みの部分のみを実線ＬＰで表し、移動する予定の部分は表示しない。また、この場合には、先端部１２ｄが現在いずれの区間に位置するかを表示するために、第１部位表示用マーカ５８ａ、ｂ及び第２部位表示用マーカ５９ａ、ｂと、切れ目６０ａ、ｂ、ｃ、ｄとの少なくとも一方を用いて、各区間４７ａ、ｂ、４８ａ、ｂ、４９ａ、ｂが分かるようにし、併せて、先端部１２ｄが現在位置する区間をメッセージＭ１、Ｍ２で表示してもよい。
　例えば、図１０（Ａ）は、時刻ｔでの移動軌跡を表しており、メッセージＭ１の表示によって、現在位置が「横行結腸」にいることを表している。また、図１０（Ｂ）は、時刻ｔよりも後の時刻ｔ＋αでの移動軌跡を表しており、メッセージＭ２の表示によって、現在位置が「上行結腸」にいることを表している。なお、内視鏡の先端部１２ｄの現在位置は、移動軌跡の先端である先端部位置６１で表示される。先端部位置６１は、先端部１２ｄが各区間の途中に位置する場合には一部が切り欠かれて表示され、先端部１２ｄが各区間の境界に位置する場合には、切り欠かかれずに表示される。
　第２認識処理部３４は、内視鏡画像から注目領域を認識する。なお、注目領域は、例えば、がんに代表される病変部、処理の跡、手術の跡、出血箇所、良性腫瘍部、炎症部（いわゆる炎症の他、出血または萎縮等の変化がある部分を含む）、加熱による焼灼跡もしくは着色剤、蛍光薬剤等による着色によってマーキングしたマーキング部、または、生体検査（いわゆる生検）を実施した生検実施部を含む領域である。すなわち、病変を含む領域、病変の可能性がある領域、生検等の何らかの処置をした領域、クリップやかん子などの処置具、または、暗部領域（ヒダ（襞）の裏、管腔奥のため観察光が届きにくい領域）など病変の可能性にかかわらず詳細な観察が必要である領域等が注目領域になり得る。第２認識処理部３４は、病変部、処理の跡、手術の跡、出血箇所、良性腫瘍部、炎症部、マーキング部、または、生検実施部のうち少なくともいずれかを含む領域を注目領域として検出する。なお、第２認識処理部３４は、第１認識処理部３２と同様、入力画像である内視鏡画像と、正解（病変の有無など）を利用して機械学習された学習済みモデルであることが好ましい。
　カテゴリ分類部３５は、第２認識処理部３４で認識した注目領域のカテゴリを分類する。分類するカテゴリは撮影部位、注目領域の一つである病変の有無や種類、処置具の使用状態、色素剤の散布状態などのいずれかまたはそれらの組み合わせである。例えば、注目領域のカテゴリとしては、「Hyper Plastic（過形成）」又は「Neo Plastic（腫瘍）」などがある。
　以上のように、第２認識処理部３４で注目領域を認識した場合には、移動軌跡表示画面５０では、移動軌跡上に注目領域の位置を表示することが好ましい。具体的には、移動軌跡を直線と曲線の両方で表した場合には、図１１に示すように、往路表示用直線５１、復路表示用直線５２、又は折り返し表示用マーク５３に対して、注目領域を認識した位置に注目領域検出ポイントＢＰが表示される。また、往路表示用曲線５６、又は復路表示用曲線５７に対して、注目領域を認識した位置に注目領域検出ポイントＢＰが表示される。
　また、注目領域のカテゴリを分類した場合には、移動軌跡表示画面５０では、注目領域の位置を、カテゴリの分類結果によって異なる表示態様で移動軌跡上に表示してもよい。具体的には、移動軌跡を直線の曲線の両方で表した場合には、図１２に示すように、往路表示用直線５１、復路表示用直線５２に対して、カテゴリＡの注目領域を認識した位置にカテゴリＡの注目領域検出ポイントＢＰＡが表示され、カテゴリＢ（カテゴリＡと異なる）の注目領域を認識した位置にカテゴリＢの注目領域検出ポイントＢＰＢが表示される。例えば、注目領域検出ポイントＢＰＡの色を黄色、注目領域検出ポイントＢＰＢの色を緑とすることが好ましい。また、カテゴリＡは例えば「Neo Plastic」で、カテゴリＢは例えば「Hyper Plastic」である。なお、曲線の移動軌跡を曲線についても、カテゴリが異なる場合には表示態様が異なる注目領域検出ポイントＢＰＡ、ＢＰＢを用いて表示される。
　また、注目領域のカテゴリを分類した場合には、移動軌跡表示画面５０では、移動軌跡に対して、注目領域のカテゴリを含むカテゴリ情報を表示してもよい。具体的には、往路表示用直線５１、復路表示用直線５２において、カテゴリＡの注目領域を認識した位置には、カテゴリＡの注目領域検出ポイントＢＰＡが表示され、且つ、注目領域検出ポイントＢＰＡの側方に、注目領域がカテゴリＡであること及び注目領域のサイズを含むカテゴリ情報ＣＡが表示される。また、カテゴリＢの注目領域を認識した位置には、カテゴリＢの注目領域検出ポイントＢＰＢが表示され、且つ、注目領域検出ポイントＢＰＢの側方に、注目領域がカテゴリＢであること及び注目領域のサイズを含むカテゴリ情報ＣＢが表示される。なお、カテゴリ情報ＣＡ、ＣＢにはそれぞれ注目領域の画像ＧＡ、ＧＢを含めて表示してもよい。
　なお、移動軌跡表示画面５０では、複数の部位によって定められる全ての区間（例えば、体内が大腸の場合であれば、下行結腸、横行結腸、上行結腸の全ての区間）を表示しているが、内視鏡画像を用いてレポートを作成する場合など検査終了後に検査結果を表示する場合には、移動軌跡を、各区間別に設けられた複数の区間別移動軌跡から構成し、且つ、移動軌跡表示画面では、各区間別移動軌跡を表示する区間別移動軌跡表示画面をそれぞれ表示するようにしてもよい。
　例えば、体内が大腸で、脾湾曲部（第１部位）と肝湾曲部（第２部位）とを認識した場合には、図１３に示すように、下行結腸の区間の移動軌跡については区間別移動軌跡表示画面７０で表示し、横行結腸の区間の移動軌跡については区間別移動軌跡表示画面７１で表示し、上行結腸の区間の移動軌跡については区間別移動軌跡表示画面７２で表示する。このように3つの区間に分けて表示することで、１つの表示画面当たりの移動軌跡や注目領域の情報量が減るため、ユーザの見やすさが向上する。なお、全ての区間の情報を１つの画面で表示した場合には、注目領域の数が多いと、１つの移動軌跡に多くのマーク（注目領域検出ポイントＢＰＡ等）がついてユーザが見にくくなる場合がある。
　区間別移動軌跡表示画面７０は、移動軌跡を直線で表す直線領域部７０ａと、移動軌跡を曲線で表す曲線領域部７０ｂを備えている。直線領域部７０ａでは、移動軌跡のうち注目領域を認識した部分のみを表示することが好ましい。また、曲線領域部７０ｂにおいては、下行結腸の区間を実線部分ＬＳで表し、その他の区間を点線部分ＬＴで表している。その他については、注目領域の表示方法などは上記の場合（図１１、図１２参照）と同様である。
　なお、区間別移動軌跡表示画面７１、及び、区間別移動軌跡表示画面７２についても、区間別移動軌跡表示画面７０と同様に、それぞれ直線領域部７１ａ、７２ａと曲線領域部７１ｂ、７２ｂを備えており、また、区間別移動軌跡表示画面７０と同様の方法で、移動軌跡又は注目領域などを表示する。
　次に、移動軌跡の表示について、図１４のフローチャートに沿って説明する。プロセッサ装置１４に設けられた移動状況取得部３０は、体内において移動する内視鏡の移動状況を取得する。移動軌跡算出部３１は、内視鏡の移動状況を用いて、内視鏡が移動した軌跡を示す移動軌跡を算出する。第１認識処理部３２は、内視鏡１２によって得られた内視鏡画像から、先端部１２ｄが折り返し位置に到達したか否かを認識する。
　先端部１２ｄが折り返し位置に到達していないと認識している場合には、第１認識処理部３２は、移動軌跡が往路に該当すると認識する。一方、先端部１２ｄが折り返し位置に到達したと認識した場合には、第１認識処理部３２は、移動軌跡が復路に該当すると認識する。表示制御部３３は、移動軌跡を往路又は復路に分けて表す移動軌跡表示画面５０をディスプレイ１５に表示する。
　上記実施形態において、移動状況取得部３０、移動軌跡算出部３１、第１認識処理部３２、表示制御部３３、第２認識処理部３４、カテゴリ分類部３５といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＧＰＵ（Graphical Processing Unit）、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡ、ＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ等）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。また、記憶部のハードウェア的な構造はＨＤＤ（hard disc drive）やＳＳＤ（solid state drive）等の記憶装置である。
１０　内視鏡システム
１２　内視鏡
１２ａ　挿入部
１２ｂ　操作部
１２ｃ　湾曲部
１２ｄ　先端部
１３　光源装置
１４　プロセッサ装置
１５　ディスプレイ
１６　ユーザインターフェース
１８ａ、ｂ　操作スイッチ
１９　ズーム操作部
３０　移動状況取得部
３１　移動軌跡算出部
３２　第１認識処理部
３３　表示制御部
３４　第２認識処理部
３５　カテゴリ分類部
４０　マーカ
４１　マーカ検出センサ
４２　移動量計測センサ
４３　回盲部
４４　肛門
４５　脾湾曲部
４６　肝湾曲部
４７　下行結腸
４７ａ　往路における下行結腸の区間
４７ｂ　復路における下行結腸の区間
４８　横行結腸
４８ａ　往路における横行結腸の区間
４８ｂ　復路における横行結腸の区間
４９　上行結腸
４９ａ　往路における上行結腸の区間
４９ｂ　復路における上行結腸の区間
５０　移動軌跡表示画面
５１　往路表示用直線
５２　復路表示用曲線
５３　折り返し表示用マーク
５４　挿入長表示用目盛り
５６　往路表示用曲線
５７　復路表示用曲線
５８ａ、５８ｂ　第１部位表示用マーカ
５９ａ、５９ｂ　第２部位表示用マーカ
６０ａ、ｂ、ｃ、ｄ　切れ目
６１　先端部位置
７０、７１、７２　区間別移動軌跡表示画面
７０ａ、７１ａ、７２ａ　直線領域部
７０ｂ、７１ｂ、７２ｂ　曲線領域部
ＬＸ、ＬＭ、ＬＳ、ＬＰ　実線部分
ＬＹ、ＬＮ、ＬＴ　点線部分
Ｍ１、Ｍ２　メッセージ
ＢＰＡ、ＢＰＢ　注目領域検出ポイント
ＣＡ、ＣＢ　カテゴリ情報
Ｐ（Ｎ）、Ｐ（Ｎ＋１）　内視鏡画像
ＧＡ、ＧＢ　注目領域の画像

Claims (15)

  1. 　プロセッサを有するプロセッサ装置において、
    　前記プロセッサは、
    　体内において移動する内視鏡の移動状況を取得し、
    　前記内視鏡の移動状況を用いて、前記内視鏡が移動した軌跡を示す移動軌跡を算出し、
    　前記内視鏡の先端部が前記体内の折り返し位置で往復移動する場合において、前記内視鏡によって得られた内視鏡画像から、前記先端部が前記折り返し位置に到達したことの認識、及び、前記移動軌跡が往路又は復路のいずれに該当するかの認識を行い、
    　前記移動軌跡を前記往路又は前記復路に分けて表す移動軌跡表示画面をディスプレイに表示するプロセッサ装置。
  2. 　前記移動軌跡表示画面には、前記往路の移動軌跡を表す往路表示用直線、及び、前記復路の移動軌跡を表す復路表示用直線が表示される請求項１記載のプロセッサ装置。
  3. 　前記往路表示用直線と前記復路表示用直線とは、前記折り返し位置を表す折り返し表示用マークで連結されている請求項２記載のプロセッサ装置。
  4. 　前記移動軌跡表示画面には、前記往路表示用直線又は前記復路表示用直線に対して、前記内視鏡の挿入長を表す挿入長表示用目盛りが表示される請求項２または３記載のプロセッサ装置。
  5. 　前記移動軌跡表示画面には、前記往路の移動軌跡を表す往路表示用曲線、及び、前記復路の移動軌跡を表す復路表示用曲線が表示される請求項１記載のプロセッサ装置。
  6. 　前記プロセッサは、前記内視鏡の挿入口と前記折り返し位置との間で、第１部位及び第２部位を少なくとも含む複数の部位を認識し、
    　前記移動軌跡表示画面では、前記移動軌跡を、前記複数の部位から定められる複数の区間に分類して表示する請求項１ないし５いずれか１項記載のプロセッサ装置。
  7. 　前記移動軌跡表示画面では、前記先端部の現在位置する区間をメッセージで表示する請求項６記載のプロセッサ装置。
  8. 　前記プロセッサは、前記内視鏡画像から注目領域を認識し、
    　前記移動軌跡表示画面では、前記移動軌跡上に前記注目領域の位置を表示する請求項１ないし７いずれか１項記載のプロセッサ装置。
  9. 　前記プロセッサは、前記注目領域のカテゴリを分類し、
    　前記移動軌跡表示画面では、前記注目領域の位置を、前記カテゴリの分類結果によって異なる表示態様で前記移動軌跡上に表示する請求項８記載のプロセッサ装置。
  10. 　前記移動軌跡表示画面では、前記移動軌跡に対して、前記注目領域のカテゴリを含むカテゴリ情報を表示する請求項９記載のプロセッサ装置。
  11. 　前記プロセッサは、前記内視鏡の挿入口と前記折り返し位置との間で、第１部位及び第２部位を少なくとも含む複数の部位を認識し、
    　前記複数の部位から複数の区間が定められ、
    　前記移動軌跡は、前記区間別に設けられた複数の区間別移動軌跡から構成され、
    　前記移動軌跡表示画面は、各区間別移動軌跡を表示する区間別移動軌跡表示画面をそれぞれ表示する請求項１ないし５いずれか１項記載のプロセッサ装置。
  12. 　前記移動状況は、前記内視鏡の先端部の移動量であり、
    　前記先端部の移動量は、少なくとも前記内視鏡の挿入長に基づいて、算出する請求項１ないし１１いずれか１項記載のプロセッサ装置。
  13. 　プロセッサ及びディスプレイを備える内視鏡システムにおいて、
    　前記プロセッサは、
    　体内において移動する内視鏡の移動状況を取得し、
    　前記内視鏡の移動状況を用いて、前記内視鏡が移動した軌跡を示す移動軌跡を算出し、　前記内視鏡の先端部が前記体内の折り返し位置で往復移動する場合において、前記内視鏡によって得られた内視鏡画像から、前記先端部が前記折り返し位置に到達したことの認識、及び、前記移動軌跡が往路又は復路のいずれに該当するかの認識を行い、
    　前記移動軌跡を前記往路又は前記復路に分けて表す移動軌跡表示画面を前記ディスプレイに表示する内視鏡システム。
  14. 　プロセッサを有するプロセッサ装置の作動方法において、
    　プロセッサが、
    　体内において移動する内視鏡の移動状況を取得し、
    　前記内視鏡の移動状況を用いて、前記内視鏡が移動した軌跡を示す移動軌跡を算出し、　前記内視鏡の先端部が前記体内の折り返し位置で往復移動する場合において、前記内視鏡によって得られた内視鏡画像から、前記先端部が前記折り返し位置に到達したことの認識、及び、前記移動軌跡が往路又は復路のいずれに該当するかの認識を行い、
    　前記移動軌跡を前記往路又は前記復路に分けて表す移動軌跡表示画面をディスプレイに表示するプロセッサ装置の作動方法。
  15. 　体内において移動する内視鏡の移動状況を取得する機能と、
    　前記内視鏡の移動状況を用いて、前記内視鏡が移動した軌跡を示す移動軌跡を算出する機能と、
    　前記内視鏡の先端部が前記体内の折り返し位置で往復移動する場合において、前記内視鏡によって得られた内視鏡画像から、前記先端部が前記折り返し位置に到達したことの認識、及び、前記移動軌跡が往路又は復路のいずれに該当するかの認識を行う機能と、
    　前記移動軌跡を前記往路又は前記復路に分けて表す移動軌跡表示画面をディスプレイに表示する機能とをコンピュータに実行させるプロセッサ装置用プログラム。
PCT/JP2021/037522 2020-11-17 2021-10-11 プロセッサ装置、プロセッサ装置の作動方法、プロセッサ装置用プログラム、及び内視鏡システム WO2022107492A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202180077382.6A CN116507261A (zh) 2020-11-17 2021-10-11 处理器装置、处理器装置的工作方法、处理器装置用程序及内窥镜***
EP21894366.0A EP4248832A4 (en) 2020-11-17 2021-10-11 PROCESSOR DEVICE, OPERATING METHOD FOR PROCESSOR DEVICE, PROGRAM FOR PROCESSOR DEVICE AND ENDOSCOPE SYSTEM
JP2022563626A JPWO2022107492A1 (ja) 2020-11-17 2021-10-11
US18/317,089 US20230277036A1 (en) 2020-11-17 2023-05-14 Processor device, operation method of processor device, non-transitory computer readable medium, and endoscope system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-190900 2020-11-17
JP2020190900 2020-11-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/317,089 Continuation US20230277036A1 (en) 2020-11-17 2023-05-14 Processor device, operation method of processor device, non-transitory computer readable medium, and endoscope system

Publications (1)

Publication Number Publication Date
WO2022107492A1 true WO2022107492A1 (ja) 2022-05-27

Family

ID=81708891

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/037522 WO2022107492A1 (ja) 2020-11-17 2021-10-11 プロセッサ装置、プロセッサ装置の作動方法、プロセッサ装置用プログラム、及び内視鏡システム

Country Status (5)

Country Link
US (1) US20230277036A1 (ja)
EP (1) EP4248832A4 (ja)
JP (1) JPWO2022107492A1 (ja)
CN (1) CN116507261A (ja)
WO (1) WO2022107492A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024029504A1 (ja) * 2022-08-01 2024-02-08 日本電気株式会社 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003093326A (ja) 2001-09-25 2003-04-02 Pentax Corp 可撓性電子内視鏡装置
WO2013132880A1 (ja) * 2012-03-06 2013-09-12 オリンパスメディカルシステムズ株式会社 内視鏡システム
WO2017002184A1 (ja) * 2015-06-29 2017-01-05 オリンパス株式会社 画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラム
WO2017006404A1 (ja) * 2015-07-03 2017-01-12 オリンパス株式会社 内視鏡システム
US20190298458A1 (en) * 2018-03-28 2019-10-03 Auris Health, Inc. Systems and methods for registration of location sensors
WO2019220848A1 (ja) * 2018-05-17 2019-11-21 富士フイルム株式会社 内視鏡装置、内視鏡操作方法、及びプログラム
WO2020017212A1 (ja) * 2018-07-20 2020-01-23 富士フイルム株式会社 内視鏡システム
JP2020146202A (ja) * 2019-03-13 2020-09-17 富士フイルム株式会社 内視鏡画像処理装置、方法及びプログラム、内視鏡システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105979899B (zh) * 2013-12-09 2019-10-01 直观外科手术操作公司 用于设备感知柔性工具配准的***和方法
KR102420386B1 (ko) * 2016-06-30 2022-07-13 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 영상 안내식 시술 중에 복수의 모드에서 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스
JP6710284B2 (ja) * 2016-10-12 2020-06-17 オリンパス株式会社 挿入システム
WO2018116572A1 (ja) * 2016-12-22 2018-06-28 オリンパス株式会社 内視鏡挿入形状観測装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003093326A (ja) 2001-09-25 2003-04-02 Pentax Corp 可撓性電子内視鏡装置
WO2013132880A1 (ja) * 2012-03-06 2013-09-12 オリンパスメディカルシステムズ株式会社 内視鏡システム
WO2017002184A1 (ja) * 2015-06-29 2017-01-05 オリンパス株式会社 画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラム
WO2017006404A1 (ja) * 2015-07-03 2017-01-12 オリンパス株式会社 内視鏡システム
US20190298458A1 (en) * 2018-03-28 2019-10-03 Auris Health, Inc. Systems and methods for registration of location sensors
WO2019220848A1 (ja) * 2018-05-17 2019-11-21 富士フイルム株式会社 内視鏡装置、内視鏡操作方法、及びプログラム
WO2020017212A1 (ja) * 2018-07-20 2020-01-23 富士フイルム株式会社 内視鏡システム
JP2020146202A (ja) * 2019-03-13 2020-09-17 富士フイルム株式会社 内視鏡画像処理装置、方法及びプログラム、内視鏡システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4248832A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024029504A1 (ja) * 2022-08-01 2024-02-08 日本電気株式会社 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体

Also Published As

Publication number Publication date
JPWO2022107492A1 (ja) 2022-05-27
EP4248832A1 (en) 2023-09-27
EP4248832A4 (en) 2024-05-08
US20230277036A1 (en) 2023-09-07
CN116507261A (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
US20230346487A1 (en) Graphical user interface for monitoring an image-guided procedure
JP7341660B2 (ja) 医療手技におけるナビゲーションを補助するための拡張現実の使用
US20190340761A1 (en) Examining or Imaging an Interior Surface of a Cavity
JP4152402B2 (ja) 手術支援装置
JP7125479B2 (ja) 医療画像処理装置、医療画像処理装置の作動方法及び内視鏡システム
KR20140126473A (ko) 마커 및 이를 이용한 수술 도구 포즈 추정 방법
US20210307861A1 (en) Communication of detected tissue characterization in a surgical robotic platform
WO2022107492A1 (ja) プロセッサ装置、プロセッサ装置の作動方法、プロセッサ装置用プログラム、及び内視鏡システム
JPWO2020090731A1 (ja) 医療画像処理装置、医療画像処理方法及びプログラム、診断支援装置
WO2019087969A1 (ja) 内視鏡システム、報知方法、及びプログラム
JP7441934B2 (ja) 処理装置、内視鏡システム及び処理装置の作動方法
JP4785127B2 (ja) 内視鏡視野拡張システム、内視鏡視野拡張装置及び内視鏡視野拡張用プログラム
EP3881793A1 (en) Surgical instrument and computer-implemented method for determining the position and orientation of such surgical instrument
CN114830638A (zh) 用于具有空间记忆的远程图解的***和方法
WO2022191128A1 (ja) 内視鏡システム及びその作動方法
Safavian A novel endoscopic system for determining the size and location of polypoidal lesions in the upper gastrointestinal tract
US12029386B2 (en) Endoscopy service support device, endoscopy service support system, and method of operating endoscopy service support device
US20230190135A1 (en) Method and system for using tool width data to estimate measurements in a surgical site
US20230233272A1 (en) System and method for determining tool positioning, and fiducial marker therefore
WO2022191129A1 (ja) 内視鏡システム及びその作動方法
US20220000578A1 (en) Automatic tracking of target treatment sites within patient anatomy
CN118078443A (zh) 手术导航***的处理方法、软件***和手术导航***
WO2024081683A1 (en) Systems and methods for persistent markers
WO2023055723A1 (en) Navigation assistance for an instrument
CN118284380A (zh) 用于器械的导航辅助

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21894366

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022563626

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202180077382.6

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021894366

Country of ref document: EP

Effective date: 20230619