WO2021200139A1 - 医療用画像処理システム、画像処理方法、および医療用画像処理装置 - Google Patents
医療用画像処理システム、画像処理方法、および医療用画像処理装置 Download PDFInfo
- Publication number
- WO2021200139A1 WO2021200139A1 PCT/JP2021/010741 JP2021010741W WO2021200139A1 WO 2021200139 A1 WO2021200139 A1 WO 2021200139A1 JP 2021010741 W JP2021010741 W JP 2021010741W WO 2021200139 A1 WO2021200139 A1 WO 2021200139A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image processing
- image
- display
- camera
- endoscope
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 230000000007 visual effect Effects 0.000 claims abstract description 76
- 230000008859 change Effects 0.000 claims abstract description 67
- 238000001356 surgical procedure Methods 0.000 claims abstract description 14
- 230000003287 optical effect Effects 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 4
- 238000002674 endoscopic surgery Methods 0.000 abstract description 25
- 238000000034 method Methods 0.000 description 30
- 238000004891 communication Methods 0.000 description 21
- 238000003384 imaging method Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 14
- 238000001514 detection method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Definitions
- the present disclosure relates to a medical image processing system, an image processing method, and a medical image processing apparatus, and in particular, a medical image processing system and an image capable of providing a suitable image reflecting the intention of a surgeon.
- the present invention relates to a processing method and a medical image processing apparatus.
- a part of the image captured by the endoscope is cut out and enlarged and displayed on a monitor.
- Patent Document 1 discloses a technique for controlling the movement of the cutout position and the movement of the arm portion that supports the camera so that the position of the treatment tool in the captured image is maintained in the center of the cut out display image. Has been done.
- the surgeon who performs the surgery while observing the displayed image does not always intend that the position of the treatment tool is always kept in the center of the displayed image.
- This disclosure is made in view of such a situation, and makes it possible to provide a suitable image reflecting the intention of the surgeon.
- the medical image processing system of the present disclosure is an image processing unit that moves a cutout area for cutting out a display image from a field image of a camera that captures a surgical field in real time based on an operation of an operator who is a surgical participant.
- the image processing unit is a medical image processing system that changes the position of the cutout region so as to offset the change in the display image due to the change in the field image when the camera moves. ..
- the medical image processing system cuts out a display image from the field image of a camera that captures the surgical field in real time based on the operation of an operator who is a surgical participant.
- Image processing that changes the position of the cutout area for cutting out the display image from the field image so as to offset the change in the display image due to the change in the field image when the camera moves. The method.
- the medical image processing apparatus of the present disclosure is an image processing unit that moves a cutout area for cutting out a display image from a field image of a camera that captures a surgical field in real time based on an operation of an operator who is a surgical participant.
- the image processing unit is a cropping region for cutting out the display image from the field image so as to cancel the change of the display image accompanying the change of the field image when the camera moves. It is a medical image processing device that changes its position.
- the cutout area for cutting out the display image from the visual field image of the camera that captures the surgical field is moved in real time based on the operation of the operator who is a surgical participant, and the camera moves.
- the position of the cutout region for cutting out the display image from the field image is changed so as to cancel the change in the display image due to the change in the field image.
- endoscopic surgery using surgical robots has become widespread.
- surgical robots are expensive and not easy to introduce.
- endoscopic surgery using a surgical robot requires the same number of personnel as a scopist, such as a medical engineer who operates the surgical robot and an assistant who assists the progress of the surgical procedure around the patient, to solve the shortage of doctors. Does not reach.
- Patent Document 1 discloses a technique for controlling the movement of the cutout position and the movement of the arm portion that supports the camera so that the position of the treatment tool in the captured image is maintained in the center of the cut out display image. Has been done. However, the surgeon performing the surgery while observing the displayed image does not always intend that the position of the treatment tool is always kept in the center of the displayed image.
- FIG. 1 is a block diagram showing a functional configuration example of the endoscope device according to the first embodiment of the present disclosure.
- FIG. 1 shows an endoscopic device 110 and a display device 120 that constitute an endoscopic surgery system 100 as a medical image processing system to which the technique of the present disclosure is applied.
- the endoscope device 110 outputs an image of the surgical field captured by the endoscope 111 as a camera in the technique of the present disclosure to the display device 120.
- the display device 120 is configured as a monitor that displays an image output from the endoscope device 110. The image displayed on the display device 120 is observed by the surgeon.
- the endoscope device 110 includes an endoscope 111, an endoscope holder 112, an input unit 113, and a control unit 114.
- the endoscope 111 is configured to include a camera capable of capturing a high-definition image, and supplies a visual field image in which the observation visual field is captured to the control unit 114.
- the endoscope 111 may capture an image having a resolution such that an image obtained by cutting out a part of a field image from the captured visual field image is displayed on the display device 120 to the extent that it can be visually recognized.
- the camera may be configured to include only one image sensor, or may be configured to include a plurality of image sensors and synthesize a plurality of images. For example, the camera may have a configuration in which three images obtained by three image sensors are combined to generate one image.
- the number of pixels of the image sensor of the camera is preferably the number of pixels capable of generating an image having a resolution of 14 million pixels or more.
- the imaging element of a camera preferably has a pixel count of 4K (eg, 3840 or 4320) in the horizontal direction and a pixel count of 4K (eg, 3840 or 4320) in the vertical direction.
- the image sensor of the camera may be an image sensor having a number of pixels of 8K (for example, 7680) in the horizontal direction and a number of pixels of 4K (for example, 3840 or 4320) in the vertical direction.
- the endoscope holder 112 is configured as a support portion including an arm portion that supports the endoscope 111 (camera), and is driven under the control of the control unit 114 to move the endoscope 111 to a predetermined position. Let me.
- the input unit 113 includes an operation device such as a button, a switch, a mouse, a keyboard, and a touch panel, and a voice input device such as a microphone, and an operation signal representing an operation of an operator of the endoscope device 110, specifically, a surgeon. Is supplied to the control unit 114.
- the control unit 114 controls the imaging of the endoscope 111, the drive of the endoscope holder 112, and the display of the display device 120 based on the operation signal from the input unit 113.
- the control unit 114 includes an image processing unit 151, a display control unit 152, a drive control unit 153, and an operation reception unit 154.
- the image processing unit 151 cuts out a part of the field image of the endoscope 111 and supplies the cut out image to the display control unit 152 as a display image.
- the cutout area for cutting out the display image from the field of view image moves in real time on the field of view image based on the instruction information from the operation reception unit 154.
- the display control unit 152 outputs the display image from the image processing unit 151 to the display device 120, so that the display device 120 displays the image.
- the drive control unit 153 controls the drive of the endoscope holder 112 according to the movement of the cutout region on the field image.
- the operation reception unit 154 receives the operation of the operator (surgeon) who moves the cutout area in real time in the field image. Specifically, the operation reception unit 154 converts the operation signal from the input unit 113 into instruction information indicating an instruction to the image processing unit 151, and supplies the operation signal to the image processing unit 151.
- step S11 the operation reception unit 154 determines whether or not the operation of moving the cutout area by the surgeon has been accepted. Step S11 is repeated until the movement operation of the cutout area is accepted, and when the movement operation of the cutout area is accepted, the process proceeds to step S12.
- the operation of moving the cutout area by the surgeon may be accepted based on the utterance voice instructing the movement of the cutout area, or may be accepted by an operation device such as a mouse. Further, the operation of moving the cutout area by the surgeon may be accepted based on the result of the surgeon's line-of-sight detection.
- step S12 the image processing unit 151 starts moving the cutout area for cutting out the display image from the visual field image of the endoscope 111 based on the movement operation of the surgeon.
- step S13 the operation reception unit 154 determines whether or not the operation of moving the cutout area by the surgeon has been completed. Steps S12 and S13 are repeated until the operation of moving the cutout area is completed. During this time, the image processing unit 151 moves the cutout area in real time in accordance with the movement operation by the surgeon.
- the image processing unit 151 ends the movement of the cutout area in step S14.
- step S15 the drive control unit 153 controls the drive of the endoscope holder 112 so that the center of the cutout area and the center of the visual field image coincide with each other. That is, the endoscope 111 moves so that the center of the cutout region and the center of the visual field image coincide with each other.
- step S16 the image processing unit 151 changes the position of the cutout region so as to offset the change in the display area of the display image due to the change in the imaging range of the visual field image due to the movement of the endoscope 111. ..
- step S15 movement of the endoscope 111
- step S16 change of the position of the cutout region
- the endoscope device 110 When the movement of the endoscope 111 and the position change of the cutout area are completed, the endoscope device 110 is in a standby state for the operation of moving the cutout area by the surgeon, and returns to step S11.
- FIG. 3 shows the visual field image of the endoscope 111 and the cutout area CA moving on the visual field image
- the middle part of FIG. 3 shows the display image cut out from the visual field image by the cutout area CA. ..
- the movement operation of the operator (surgeon), the movement of the cutout area CA, and the movement of the camera (endoscope 111) are shown in chronological order. In this example, only the display image shown in the middle of FIG. 3 is displayed on the display device 120 observed by the surgeon.
- the cutout area CA in the visual field image starts moving in real time in accordance with the movement operation.
- the endoscope holder 112 drives the endoscope 111 to move.
- the imaging range of the field image begins to move to the right.
- the position of the cutout area CA is changed so as to offset the change in the display area of the display image due to the change in the imaging range of the visual field image due to the movement of the endoscope 111.
- the display area of the display image does not move to the right side with the movement of the endoscope 111, and the display state before the movement of the endoscope 111 is maintained. This allows the surgeon to continue the surgical procedure without feeling a change in the position of the cutout area CA.
- the image processing unit 151 corrects the distortion of the optical system of the endoscope 111 based on the change in the position of the cutout region.
- the display image The occurrence of distortion can be suppressed.
- a predetermined method can be applied, for example, a method using a Brown lens distortion model can be applied.
- the cutting area is immediately moved in response to the operation of moving the cutting area by the surgeon, so that the surgeon does not feel the latency. Further, by moving the endoscope 111 and changing the position of the cutout area after the movement of the cutout area is completed, the center of the cutout area and the center of the visual field image are made to coincide with each other, so that the movable range of the cutout area is the maximum. Can be maintained.
- the display area can be moved without latency by cutting out the display image.
- the movement of the endoscope 111 may be performed at a certain speed behind the movement of the display area, and the endoscope device can be realized with a small and inexpensive configuration.
- the endoscopic device of the present embodiment can be configured in the same manner as the endoscopic surgery system 100 of FIG.
- step S21 the operation reception unit 154 determines whether or not the surgeon has accepted the movement operation of the cutout area. Step S21 is repeated until the movement operation of the cutout area is accepted, and when the movement operation of the cutout area is accepted, the process proceeds to step S22.
- step S22 the image processing unit 151 starts moving the cutout area for cutting out the display image from the visual field image of the endoscope 111 based on the movement operation of the surgeon.
- step S23 the drive control unit 153 controls the drive of the endoscope holder 112 so that the center of the cutout area and the center of the visual field image coincide with each other. do. That is, the endoscope 111 moves so that the center of the moving cutout region coincides with the center of the visual field image.
- step S24 the image processing unit 151 cancels out the change in the display area of the display image due to the change in the imaging range of the visual field image due to the movement of the endoscope 111 by driving the endoscope holder 112. , Change the position of the cutout area.
- step S23 movement of the endoscope 111
- step S24 change of the position of the cutout region
- step S21 When the movement of the endoscope 111 and the position change of the cutout area are completed, the endoscope device 110 is in a standby state for the operation of moving the cutout area by the surgeon, and returns to step S21.
- step S21 it is determined in step S21 that the operation receiving unit 154 does not accept the operation of moving the cutting area by the surgeon, and the operation of step S23 or step S24 of the previous step is not completed, step S23 or step S23 or The operation of step S24 is maintained.
- step S23 or step S24 It is preferable to cancel the operation of step S23 or start the operation of step S23 or step S24 based on a new process (center of a new cutout region).
- the upper part of FIG. 5 shows the visual field image of the endoscope 111 and the cutout area CA moving on the visual field image
- the middle part of FIG. 5 shows the display image cut out from the visual field image by the cutout area CA. ..
- the movement operation of the operator (surgeon), the movement of the cutout area CA, and the movement of the camera (endoscope 111) are shown in chronological order. In this example, only the display image shown in the middle of FIG. 5 is displayed on the display device 120 observed by the surgeon.
- the surgeon first observes the display image shown on the left side of the middle row, which is cut out in a state where the center of the cutout region CA coincides with the center of the visual field image, as shown on the left side of the upper row. Suppose you are.
- the cutout area CA in the visual field image starts moving in real time in accordance with the movement operation.
- the movement of the endoscope 111 is started by the drive of the endoscope holder 112.
- the movement of the endoscope 111 is such that the center of the imaging range of the visual field image moves toward the center of the moving cutout area CA according to the direction and speed of movement of the cutout area CA in the visual field image. Will be done.
- the position of the cutout area CA is changed so as to offset the change in the display area of the display image due to the change in the imaging range of the visual field image due to the movement of the endoscope 111.
- the position of the cutout area CA so as to offset the change in the display area of the display image due to the change in the imaging range of the visual field image due to the movement of the endoscope 111 even after the surgeon finishes the movement operation. Changes will continue.
- the surgeon proceeds with the surgical procedure while observing the display image shown in the center of the middle row, which is cut out with the cutout area CA moved to the right end of the visual field image, as shown in the center of the upper row. become.
- the time from the end of the movement operation of the cutout area by the surgeon to the end of the movement of the endoscope 111 can be shortened as compared with the first embodiment.
- the time from the end of the operation of moving the cut-out area by the surgeon to the end of the movement of the endoscope 111 may be the same as that of the first embodiment.
- the driving force required to drive the endoscope holder 112 can be reduced, and the endoscope device can be realized with a smaller and cheaper configuration.
- the endoscopic surgery system to which the technique of the present disclosure is applied may adopt a configuration other than the configuration shown in FIG. ..
- FIG. 6 is a block diagram showing a functional configuration example of an endoscopic surgery system to which the technique of the present disclosure is applied.
- FIG. 6 shows an image processing device 210, a display device 220, an endoscope 230, an endoscope holder 240, and an input device 250 that constitute an endoscopic surgery system 200 to which the technique of the present disclosure is applied. ..
- the image processing device 210 is configured as a medical image processing device to which the technology of the present disclosure is applied, and is configured as, for example, a CCU (Camera Control Unit) including a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like. ..
- the image processing device 210 comprehensively controls the imaging of the endoscope 230, the drive of the endoscope holder 240, and the display of the display device 220 based on the operation signal from the input device 250.
- the image processing device 210 includes an image processing unit 151, a display control unit 152, a drive control unit 153, and an operation reception unit 154, similarly to the control unit 114 in FIG.
- the display device 220, the endoscope 230, the endoscope holder 240, and the input device 250 in FIG. 6 are attached to the display device 120, the endoscope 111, the endoscope holder 112, and the input unit 113 in FIG. 1, respectively. handle.
- each part included in the endoscope device 110 of FIG. 1 can be configured as an independent device.
- FIG. 7 is a block diagram showing a functional configuration example of the endoscope device according to the third embodiment of the present disclosure.
- FIG. 7 shows an endoscopic device 310, a first display device 320, and a second display device 330 that constitute an endoscopic surgery system 300 as a medical image processing system to which the technique of the present disclosure is applied. There is.
- the endoscope device 310 outputs an image captured by the endoscope 311 as a camera in the technique of the present disclosure to the first display device 320 and the second display device 330.
- the first display device 320 and the second display device 330 are configured as monitors that display images output from the endoscope device 310.
- the first display device 320 is configured as a monitor confirmed by the scopist, and the second display device 330 is configured as a monitor confirmed by the surgeon.
- the endoscope device 310 includes an endoscope 311, an input unit 312, and a control unit 313.
- the endoscope device 310 is not provided with an endoscope holder.
- the endoscope 311 is configured to include a camera capable of capturing a high-definition image, and supplies a visual field image in which the observation visual field is captured to the control unit 313.
- the endoscope 311 is moved to a predetermined position by being gripped by a scopist who is a gripper.
- the camera may be configured to include only one image sensor, or may be configured to include a plurality of image sensors and synthesize a plurality of images.
- the camera may have a configuration in which three images obtained by three image sensors are combined to generate one image.
- the number of pixels of the image sensor of the camera is preferably the number of pixels capable of generating an image having a resolution of 14 million pixels or more.
- the imaging element of a camera preferably has a pixel count of 4K (eg, 3840 or 4320) in the horizontal direction and a pixel count of 4K (eg, 3840 or 4320) in the vertical direction.
- the image sensor of the camera may be an image sensor having a number of pixels of 8K (for example, 7680) in the horizontal direction and a number of pixels of 4K (for example, 3840 or 4320) in the vertical direction.
- the endoscope 311 has a position detection unit 311a.
- the position detection unit 311a detects the position of the endoscope 311 moved by the scopist, and supplies the position information indicating the position to the control unit 313.
- the input unit 312 includes an operation device such as a button, a switch, a mouse, a keyboard, and a touch panel, and a voice input device such as a microphone, and an operation signal representing an operation of an operator of the endoscope device 310, specifically, a surgeon. Is supplied to the control unit 313.
- the control unit 313 controls the imaging of the endoscope 311 and the display of the first display device 320 and the second display device 330 based on the operation signal from the input unit 312.
- the control unit 313 includes an image processing unit 351, a first display control unit 352, a second display control unit 353, and an operation reception unit 354.
- the image processing unit 351 cuts out a part of the field image of the endoscope 311 and supplies the cut out image to the second display control unit 353 as a display image.
- the cutout area for cutting out the display image from the field of view image moves in real time on the field of view image based on the instruction information from the operation reception unit 354. Further, the image processing unit 351 supplies a field image showing the cutout region to the second display control unit 353.
- the first display control unit 352 outputs a field image from the image processing unit 351 showing the cutout area to the first display device 320, so that the first display device 320 displays the visual field image.
- the second display control unit 353 outputs the display image from the image processing unit 351 to the second display device 330 to display it on the second display device 330.
- the operation reception unit 354 receives the operation of the operator (surgeon) who moves the cutout area in real time in the field image. Specifically, the operation reception unit 354 converts the operation signal from the input unit 312 into instruction information indicating an instruction to the image processing unit 351 and supplies the operation signal to the image processing unit 351.
- step S31 the operation reception unit 354 determines whether or not the operation of moving the cutout area by the surgeon has been accepted. Step S31 is repeated until the movement operation of the cutout area is accepted, and when the movement operation of the cutout area is accepted, the process proceeds to step S32.
- step S32 the image processing unit 351 starts moving the cutout area for cutting out the display image from the visual field image of the endoscope 311 based on the movement operation of the surgeon.
- the scopist holding the endoscope 311 confirms the visual field image displayed on the first display device 320, and in accordance with the movement of the cutout region in the visual field image, the center of the cutout region and the visual field image are displayed. It is assumed that the endoscope 311 is moved so that the centers are aligned.
- the position detection unit 311a detects the position of the endoscope 311 (camera) and supplies the position information indicating the position to the image processing unit 351.
- the position detection unit 311a is configured as, for example, a gyro sensor, a position sensor, or the like, and supplies the direction, posture, and position of the camera as position information to the image processing unit 351.
- step S34 the image processing unit 351 accompanies a change in the imaging range of the field image due to the movement of the camera according to a change in the direction, posture, and position of the camera represented by the position information from the position detection unit 311a. , The position of the cutout area is changed so as to offset the change in the display area of the display image.
- step S33 camera position detection
- step S34 position change of the cutout area
- the endoscope device 310 When the position detection of the camera and the position change of the cutout area are completed, the endoscope device 310 enters the standby state of the operation of moving the cutout area by the surgeon, and returns to step S31.
- the upper part of FIG. 9 shows the visual field image of the endoscope 311 and the cutout area CA moving on the visual field image
- the middle part of FIG. 9 shows the display image cut out from the visual field image by the cutout area CA. ..
- the movement operation of the operator (surgeon), the movement of the cutout area CA, and the movement of the camera (endoscope 311) are shown in chronological order.
- the visual field image shown in the upper part of FIG. 9 is displayed on the first display device 320 observed by the scopist
- the display image shown in the middle part of FIG. 9 is displayed on the second display device 330 observed by the surgeon. Will be done.
- the surgeon first observes the display image shown on the left side of the middle row, which is cut out in a state where the center of the cutout region CA coincides with the center of the visual field image, as shown on the left side of the upper row. Suppose you are.
- the cutout area CA in the visual field image starts moving in real time in accordance with the movement operation.
- the scopist starts the movement of the endoscope 311.
- the movement of the endoscope 311 is such that the center of the imaging range of the visual field image moves toward the center of the moving cutout area CA according to the direction and speed of movement of the cutout area CA in the visual field image. , Scopist does.
- the position of the cutout area CA is changed so as to offset the change in the display area of the display image due to the change in the imaging range of the visual field image due to the movement of the endoscope 311.
- the position of the cutout area CA so as to offset the change in the display area of the display image due to the change in the imaging range of the visual field image due to the movement of the endoscope 311 even after the surgeon finishes the movement operation. Changes will continue.
- the surgeon proceeds with the surgical procedure while observing the display image shown in the center of the middle row, which is cut out with the cutout area CA moved to the right end of the visual field image, as shown in the center of the upper row. become.
- the surgeon can move the cutout area as intended even in the same endoscopic surgery as before. Further, since the scopist can recognize the position of the cutout region in the visual field image, he / she can grasp the intention of the surgeon and appropriately adjust the position of the endoscope 311.
- the endoscopic surgery system to which the technique of the present disclosure is applied may adopt a configuration other than the configuration shown in FIG.
- FIG. 10 is a block diagram showing a functional configuration example of an endoscopic surgery system to which the technique of the present disclosure is applied.
- FIG. 10 shows an image processing device 410, a first display device 420, a second display device 430, an endoscope 440, and an input device 450 that constitute an endoscopic surgery system 400 to which the technique of the present disclosure is applied. ing.
- the image processing device 410 is configured as a medical image processing device to which the technology of the present disclosure is applied, and is configured as, for example, a CCU including a CPU, a GPU, and the like.
- the image processing device 410 comprehensively controls the imaging of the endoscope 230 and the display of the first display device 420 and the second display device 430 based on the operation signal from the input device 450.
- the image processing device 410 includes an image processing unit 351, a first display control unit 352, a second display control unit 353, and an operation reception unit 354, similar to the control unit 313 of FIG.
- first display device 420, the second display device 430, the endoscope 440 and the position detection unit 440a, and the input device 450 in FIG. 10 are the first display device 320, the second display device 330, and the endoscope in FIG. It corresponds to the mirror 311 and the position detection unit 311a, and the input unit 312, respectively.
- each part included in the endoscope device 310 of FIG. 7 can be configured as an independent device.
- FIG. 11 is a block diagram showing an example of the hardware configuration of the image processing device 500 constituting the medical observation system according to the present embodiment.
- the image processing device 500 includes a CPU 501, a ROM 503, and a RAM 505. Further, the image processing device 500 includes a host bus 507, a bridge 509, an external bus 511, an interface 513, an input device 515, an output device 517, and a storage device 519.
- the image processing device 500 may include a drive 521, a connection port 523, and a communication device 525.
- the CPU 501 functions as an arithmetic processing device and a control device, and controls all or a part of the operation in the image processing device 500 according to various programs recorded in the ROM 503, RAM 505, storage device 519, or removable recording medium 527.
- ROM 503 stores programs, calculation parameters, etc. used by CPU 501.
- the RAM 505 primarily stores a program used by the CPU 501, parameters that change as appropriate in the execution of the program, and the like. These are connected to each other by a host bus 507 composed of an internal bus such as a CPU bus.
- a host bus 507 composed of an internal bus such as a CPU bus.
- Each configuration of the control unit 52 of the control device 18 described with reference to FIG. 2 is realized by, for example, the CPU 501.
- the host bus 507 is connected to an external bus 511 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 509.
- An input device 515, an output device 517, a storage device 519, a drive 521, a connection port 523, and a communication device 525 are connected to the external bus 511 via the interface 513.
- the input device 515 is an operating means operated by the user, such as a mouse, keyboard, touch panel, buttons, switches, levers, and pedals. Further, the input device 515 may be, for example, a remote control means (so-called remote controller) using infrared rays or other radio waves, or an externally connected device such as a mobile phone or PDA that supports the operation of the image processing device 500. It may be 529.
- a remote control means such as a mobile phone or PDA that supports the operation of the image processing device 500. It may be 529.
- the input device 515 is composed of, for example, an input control circuit that generates an input signal based on information input by the user using the above-mentioned operating means and outputs the input signal to the CPU 501.
- the user can input various data to the image processing device 500 and instruct the processing operation.
- the output device 517 is composed of a device capable of visually or audibly notifying the user of the acquired information.
- the output device 517 is configured as a CRT display device, a liquid crystal display device, a plasma display device, an EL display device, a display device such as a lamp, an audio output device such as a speaker and headphones, a printer device, and the like. ..
- the output device 517 outputs, for example, the results obtained by various processes performed by the image processing device 500.
- the display device displays the results obtained by various processes performed by the image processing device 500 as text or an image.
- the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs the signal.
- the storage device 519 is a data storage device configured as an example of the storage unit of the image processing device 500.
- the storage device 519 is composed of, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like.
- the storage device 519 stores a program executed by the CPU 501, various data, and the like.
- the drive 521 is a reader / writer for a recording medium, and is built in or externally attached to the image processing device 500.
- the drive 521 reads the information recorded on the removable recording medium 527 such as the mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 505.
- the drive 521 can also write a record to a removable recording medium 527 such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory.
- the removable recording medium 527 is, for example, DVD media, HD-DVD media, Blu-ray (registered trademark) media, or the like. Further, the removable recording medium 527 may be a compact flash (registered trademark), a flash memory, an SD (Secure Digital) memory card, or the like. Further, the removable recording medium 527 may be, for example, an IC (Integrated Circuit) card equipped with a non-contact IC chip, an electronic device, or the like.
- IC Integrated Circuit
- the connection port 523 is a port for directly connecting the external connection device 529 to the image processing device 500.
- Examples of the connection port 523 include a USB (Universal Serial Bus) port, an IEEE1394 port, and a SCSI (Small Computer System Interface) port.
- Another example of the connection port 523 is an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, and the like.
- the communication device 525 is, for example, a communication interface composed of a communication device for connecting to a communication network (network) 531.
- the communication device 525 is, for example, a communication card for a wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB).
- the communication device 525 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communications, or the like.
- the communication device 525 can transmit and receive signals to and from the Internet and other communication devices according to a predetermined protocol such as TCP / IP. Further, the communication network 531 connected to the communication device 525 may be configured by a network connected by wire or wirelessly.
- the communication network 531 may be, for example, the Internet or a home LAN, or may be a communication network on which infrared communication, radio wave communication, or satellite communication is performed.
- Each component of the image processing device 500 described above may be configured by using general-purpose members, or may be configured by hardware specialized for the function of each component. Therefore, it is possible to appropriately change the hardware configuration to be used according to the technical level at each time when the present embodiment is implemented.
- a computer program for realizing each function of the image processing device 500 constituting the medical image processing system according to the present embodiment and implement it on a personal computer or the like. It is also possible to provide a computer-readable recording medium in which such a computer program is stored.
- the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
- the computer program may be distributed via a network, for example, without using a recording medium.
- the present disclosure can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and jointly processed.
- each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
- one step includes a plurality of processes
- the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
- the present disclosure may have the following structure.
- (1) It is equipped with an image processing unit that moves the cutout area in real time to cut out the display image from the field image of the camera that captures the surgical field based on the operation of the operator who is a surgical participant.
- the image processing unit is a medical image processing system that changes the position of the cutout region so as to offset the change in the display image due to the change in the visual field image when the camera moves.
- (2) A drive control unit that controls the drive of the support unit that supports the camera is further provided.
- An operation reception unit that receives an operation of the operator who moves the cutout area in real time in the field image is further provided.
- the drive control unit controls the drive of the support unit so that the center of the cutout region coincides with the center of the visual field image.
- the drive control unit controls the drive of the support unit so that the center of the cutout region coincides with the center of the visual field image after the movement of the cutout region is completed. ..
- the drive control unit controls the drive of the support unit so that the center of the cutout region and the center of the visual field image coincide with each other after the start of movement of the cutout region and during the movement of the cutout region.
- the medical image processing unit according to (1) changes the position of the cutout region so as to offset the change in the display image due to the movement of the camera by the gripper holding the camera. system.
- An operation reception unit that receives an operation of the operator who moves the cutout area in real time in the field image, and an operation reception unit.
- a position detecting unit for detecting the position of the camera moved by the gripper is further provided.
- (11) The medical image processing system according to any one of (1) to (10) included in the endoscope.
- the cutout area for cutting out the display image from the field image of the camera that captures the surgical field is moved in real time.
- the image processing unit changes the position of the cutout region for cutting out the display image from the field image so as to offset the change in the display image due to the change in the field image when the camera moves.
- 100 Endoscopic surgery system 110 Endoscope device, 120 Display device, 111 Endoscope, 112 Endoscope holder, 113 Input unit, 114 Control unit, 151 Image processing unit, 152 Display control unit, 153 Drive control unit , 154 Operation reception, 200 Endoscopic surgery system, 210 Image processing device, 220 Display device, 230 Endoscope, 240 Endoscope holder, 250 Input device, 300 Endoscopic surgery system, 310 Endoscopic device, 320 1st display device, 330 2nd display device, 311 endoscope, 311a position detection unit, 312 input unit, 313 control unit, 351 image processing unit, 352 first display control unit, 353 second display control unit, 354 Operation reception unit, 400 endoscopic surgery system, 410 image processing device, 420 first display device, 430 second display device, 440 endoscope, 440a position detection unit, 450 input device
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Radiology & Medical Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Astronomy & Astrophysics (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
本開示は、執刀医の意図を反映した好適な画像を提供することができるようにする医療用画像処理システム、画像処理方法、および医療用画像処理装置に関する。 画像処理部は、手術参加者である操作者の操作に基づいて、術野を撮像するカメラの視野画像から表示用画像を切り出すための切り出し領域をリアルタイムに移動し、カメラが移動した場合、視野画像の変化に伴う表示用画像の変化を相殺するように、切り出し領域の位置を変更する。本開示は、例えば、内視鏡手術システムに適用することができる。
Description
本開示は、医療用画像処理システム、画像処理方法、および医療用画像処理装置に関し、特に、執刀医の意図を反映した好適な画像を提供することができるようにした医療用画像処理システム、画像処理方法、および医療用画像処理装置に関する。
内視鏡を用いた内視鏡手術システムにおいては、内視鏡の撮像画像の一部を切り出して、モニタに拡大表示することが行われている。
例えば、特許文献1には、撮像画像における処置具の位置が、切り出した表示画像の中央に保たれるように、切り出し位置の移動と、カメラを支持するアーム部の動きを制御する技術が開示されている。
しかしながら、表示画像を観察しながら手術を行う執刀医が、処置具の位置が表示画像の中央に常に保たれることを意図するとは限らない。
本開示は、このような状況に鑑みてなされたものであり、執刀医の意図を反映した好適な画像を提供することができるようにするものである。
本開示の医療用画像処理システムは、手術参加者である操作者の操作に基づいて、術野を撮像するカメラの視野画像から表示用画像を切り出すための切り出し領域をリアルタイムに移動する画像処理部を備え、前記画像処理部は、前記カメラが移動した場合、前記視野画像の変化に伴う前記表示用画像の変化を相殺するように、前記切り出し領域の位置を変更する医療用画像処理システムである。
本開示の画像処理方法は、医療用画像処理システムが、手術参加者である操作者の操作に基づいて、術野を撮像するカメラの視野画像から表示用画像を切り出すための切り出し領域をリアルタイムに移動し、前記カメラが移動した場合、前記視野画像の変化に伴う前記表示用画像の変化を相殺するように、前記視野画像から前記表示用画像を切り出すための切り出し領域の位置を変更する画像処理方法である。
本開示の医療用画像処理装置は、手術参加者である操作者の操作に基づいて、術野を撮像するカメラの視野画像から表示用画像を切り出すための切り出し領域をリアルタイムに移動する画像処理部を備え、前記画像処理部は、前記カメラが移動した場合、前記視野画像の変化に伴う前記表示用画像の変化を相殺するように、前記視野画像から前記表示用画像を切り出すための切り出し領域の位置を変更する医療用画像処理装置である。
本開示においては、手術参加者である操作者の操作に基づいて、術野を撮像するカメラの視野画像から表示用画像を切り出すための切り出し領域がリアルタイムに移動され、前記カメラが移動した場合、前記視野画像の変化に伴う前記表示用画像の変化を相殺するように、前記視野画像から前記表示用画像を切り出すための切り出し領域の位置が変更される。
以下、本開示を実施するための形態(以下、実施の形態とする)について説明する。なお、説明は以下の順序で行う。
1.従来技術とその課題
2.第1の実施の形態(切り出し領域の移動終了後に内視鏡ホルダを駆動する例)
3.第2の実施の形態(切り出し領域の移動中に内視鏡ホルダを駆動する例)
4.第3の実施の形態(スコピストがカメラを移動する例)
5.ハードウェア構成
2.第1の実施の形態(切り出し領域の移動終了後に内視鏡ホルダを駆動する例)
3.第2の実施の形態(切り出し領域の移動中に内視鏡ホルダを駆動する例)
4.第3の実施の形態(スコピストがカメラを移動する例)
5.ハードウェア構成
<1.従来技術とその課題>
従来、内視鏡手術においては、内視鏡を把持するスコピストが、手術手技の進行に合わせて、執刀医が意図した画像が表示されるように、カメラの位置を調整している。執刀医の意図が反映された画像が表示されるか否かは、スコピストの技術レベルや、執刀医とスコピストとの意思疎通の具合に左右される。しかしながら、スコピストが、カメラの位置を調整する技術を習得するには、一定期間の経験が必要となるのが現状である。
従来、内視鏡手術においては、内視鏡を把持するスコピストが、手術手技の進行に合わせて、執刀医が意図した画像が表示されるように、カメラの位置を調整している。執刀医の意図が反映された画像が表示されるか否かは、スコピストの技術レベルや、執刀医とスコピストとの意思疎通の具合に左右される。しかしながら、スコピストが、カメラの位置を調整する技術を習得するには、一定期間の経験が必要となるのが現状である。
一方で、医師不足が問題となっていることから、スコピストが経験を積む期間をより短くしたい、さらには、スコピストレスで手術を行いたい、という要求がある。
これに対して、近年、手術用ロボットによる内視鏡手術が普及しつつある。しかしながら、手術用ロボットは高価であるため、導入することは容易ではない。また、手術用ロボットによる内視鏡手術では、手術用ロボットを操作するメディカルエンジニアや、患者の周辺で手術手技の進行を補佐する助手など、スコピストと同等の人員が必要となり、医師不足の解消には至らない。
また、特許文献1には、撮像画像における処置具の位置が、切り出した表示画像の中央に保たれるように、切り出し位置の移動と、カメラを支持するアーム部の動きを制御する技術が開示されている。しかしながら、表示画像を観察しながら手術を行う執刀医が、処置具の位置が表示画像の中央に常に保たれることを意図するとは限らない。
そこで、以下においては、スコピストレスで、執刀医の意図を反映した好適な画像を提供する安価な内視鏡装置を実現する構成と、経験を積んだスコピストが携わった場合でも、執刀医の意図を反映した好適な画像を提供する内視鏡装置の構成について説明する。なお、以下において説明する構成は、執刀医に限らず、手術参加者の意図を反映した好適な画像を提供する構成であってもよい。
<2.第1の実施の形態>
(内視鏡装置の構成例)
図1は、本開示の第1の実施の形態に係る内視鏡装置の機能構成例を示すブロック図である。
(内視鏡装置の構成例)
図1は、本開示の第1の実施の形態に係る内視鏡装置の機能構成例を示すブロック図である。
図1には、本開示の技術を適用した医療用画像処理システムとしての内視鏡手術システム100を構成する内視鏡装置110と表示装置120が示されている。
内視鏡装置110は、本開示の技術におけるカメラとしての内視鏡111により術野が撮像された画像を、表示装置120に出力する。表示装置120は、内視鏡装置110から出力された画像を表示するモニタとして構成される。表示装置120に表示された画像は、執刀医により観察される。
内視鏡装置110は、内視鏡111、内視鏡ホルダ112、入力部113、および制御部114から構成される。
内視鏡111は、高精細な画像を撮像可能なカメラを含むように構成され、観察視野を撮像した視野画像を、制御部114に供給する。内視鏡111は、撮像した視野画像から一部の領域を切り出した画像が、視認可能な程度に表示装置120に表示されるような解像度の画像を撮像できればよい。なお、カメラは、1つの撮像素子のみを備える構成であってもよいし、複数の撮像素子を備えて複数の画像を合成する構成であってもよい。例えば、カメラは、3つの撮像素子により得られた3枚の画像を合成して1枚の画像を生成する構成であってもよい。また、カメラの撮像素子の画素数は、1400万画素以上の解像度の画像を生成できる画素数であることが好ましい。例えば、カメラの撮像素子は、水平方向に4K(例えば3840または4320)の画素数、垂直方向に4K(例えば3840または4320)の画素数を有することが好ましい。なお、カメラの撮像素子は、水平方向に8K(例えば7680)の画素数、垂直方向に4K(例えば3840または4320)の画素数を有する撮像素子であってもよい。
内視鏡ホルダ112は、内視鏡111(カメラ)を支持するアーム部を含む支持部として構成され、制御部114の制御に基づいて駆動することで、内視鏡111を所定の位置に移動させる。
入力部113は、ボタン、スイッチ、マウス、キーボード、タッチパネルなどの操作デバイスや、マイクロフォンなどの音声入力デバイスを含み、内視鏡装置110の操作者、具体的には執刀医の操作を表す操作信号を、制御部114に供給する。
制御部114は、入力部113からの操作信号に基づいて、内視鏡111の撮像、内視鏡ホルダ112の駆動、および、表示装置120の表示を制御する。制御部114は、画像処理部151、表示制御部152、駆動制御部153、および操作受付部154を備える。
画像処理部151は、内視鏡111の視野画像からその一部を切り出し、切り出した画像を表示用画像として表示制御部152に供給する。視野画像から表示用画像を切り出すための切り出し領域は、操作受付部154からの指示情報に基づいて、視野画像上でリアルタイムに移動する。
表示制御部152は、画像処理部151からの表示用画像を、表示装置120に出力することで、表示装置120に表示させる。
駆動制御部153は、視野画像上での切り出し領域の移動に応じて、内視鏡ホルダ112の駆動を制御する。
操作受付部154は、視野画像において切り出し領域をリアルタイムに移動する操作者(執刀医)の操作を受け付ける。具体的には、操作受付部154は、入力部113からの操作信号を、画像処理部151に対する指示を表す指示情報に変換して、画像処理部151に供給する。
(内視鏡装置の動作例)
次に、図2のフローチャートを参照して、内視鏡装置110の動作例について説明する。図2の処理は、表示装置120に、内視鏡111の視野画像から切り出された表示用画像が表示されている状態で実行される。
次に、図2のフローチャートを参照して、内視鏡装置110の動作例について説明する。図2の処理は、表示装置120に、内視鏡111の視野画像から切り出された表示用画像が表示されている状態で実行される。
ステップS11において、操作受付部154は、執刀医による切り出し領域の移動操作を受け付けたか否かを判定する。切り出し領域の移動操作を受け付けるまで、ステップS11は繰り返され、切り出し領域の移動操作を受け付けると、ステップS12に進む。
執刀医による切り出し領域の移動操作は、切り出し領域の移動を指示する発話音声に基づいて受け付けられてもよいし、マウスなどの操作デバイスにより受け付けられてもよい。また、執刀医による切り出し領域の移動操作は、執刀医の視線検出の結果に基づいて受け付けられてもよい。
ステップS12において、画像処理部151は、執刀医の移動操作に基づいて、内視鏡111の視野画像から表示用画像を切り出すための切り出し領域の移動を開始する。
ステップS13において、操作受付部154は、執刀医による切り出し領域の移動操作が終了したか否かを判定する。切り出し領域の移動操作が終了するまで、ステップS12,S13が繰り返される。この間、画像処理部151は、執刀医による移動操作に合わせて、切り出し領域をリアルタイムに移動する。
切り出し領域の移動操作が終了すると、ステップS14において、画像処理部151は、切り出し領域の移動を終了する。
切り出し領域の移動終了後、ステップS15において、駆動制御部153は、切り出し領域の中心と視野画像の中心が一致するように、内視鏡ホルダ112の駆動を制御する。すなわち、切り出し領域の中心と視野画像の中心が一致するように、内視鏡111が移動する。
ステップS16において、画像処理部151は、内視鏡111が移動したことによる視野画像の撮像範囲の変化に伴う、表示用画像の表示領域の変化を相殺するように、切り出し領域の位置を変更する。
なお、ステップS15(内視鏡111の移動)とステップS16(切り出し領域の位置変更)の処理は、並列して実行されることが好ましい。
内視鏡111の移動と切り出し領域の位置変更が終了すると、内視鏡装置110は、執刀医による切り出し領域の移動操作の待機状態となり、ステップS11に戻る。
図3を参照して、図2の動作の流れにおける、視野画像の切り出し位置と表示用画像の変化について説明する。
図3上段には、内視鏡111の視野画像と、視野画像上を移動する切り出し領域CAが示され、図3中段には、視野画像から切り出し領域CAにより切り出された表示用画像が示される。また、図3下段には、操作者(執刀医)の移動操作、切り出し領域CAの移動、および、カメラ(内視鏡111)の移動それぞれの状態が、時系列に示される。この例では、図3中段に示される表示用画像のみが、執刀医が観察する表示装置120に表示される。
まず、執刀医は、上段左側に示されるように、切り出し領域CAの中心が視野画像の中心と一致した状態で切り出された、中段左側に示される表示用画像を観察しているとする。
時刻t11において、執刀医が、表示用画像の表示領域より右側を観察するための移動操作を開始すると、その移動操作に合わせて、視野画像における切り出し領域CAがリアルタイムに移動を開始する。
時刻t12において、執刀医が移動操作を終了すると、視野画像における切り出し領域CAの移動も終了する。このとき、執刀医は、上段中央に示されるように、切り出し領域CAが視野画像の右端に移動した状態で切り出された、中段中央に示される表示用画像を観察しながら手術手技を進行することになる。
時刻t12の状態では、執刀医は、これ以上、表示用画像の表示領域より右側を観察することができなくなるため、時刻t13において、内視鏡ホルダ112の駆動により、内視鏡111の移動が開始されることで、視野画像の撮像範囲が右側へ移動し始める。
このとき、内視鏡111の移動による視野画像の撮像範囲の変化に伴う表示用画像の表示領域の変化を相殺するように、切り出し領域CAの位置の変更が開始される。
すなわち、表示用画像の表示領域は、内視鏡111の移動に伴って右側に移動することなく、内視鏡111の移動前の表示状態が維持されたままとなる。これにより、執刀医は、切り出し領域CAの位置の変更を感じることなく、手術手技を継続することができる。
その後、時刻t14において切り出し領域CAの中心と視野画像の中心が一致するまで、内視鏡111の移動と切り出し領域CAの位置変更が継続される。
ここで、切り出し領域の移動の際、一般的に、内視鏡の光学系においてはディストーション(歪曲収差)が発生する。さらには、切り出し領域が移動することで、そのディストーションの量も変化する。そこで、画像処理部151により、切り出し領域の位置の変更に基づいて、内視鏡111の光学系のディストーションが補正されるようにする。
これにより、内視鏡111の移動による視野画像の撮像範囲の変化に伴う表示用画像の表示領域の変化を相殺するように、切り出し領域CAの位置の変更が変更されても、表示用画像のディストーションの発生を抑えることができる。ディストーションの補正においては、所定の手法を適用することができ、例えば、ブラウンのレンズ歪みモデルを用いた手法を適用することができる。
以上の動作によれば、執刀医による切り出し領域の移動操作に応じて、即座に切り出し領域が移動されるので、執刀医がレイテンシを感じることがない。また、切り出し領域の移動終了後の内視鏡111の移動と切り出し領域の位置変更により、切り出し領域の中心と視野画像の中心が一致するようになされるので、切り出し領域の移動可能な範囲が最大となる状態を保つことができる。
通常、内視鏡111の移動を表示用画像の切り出しを行うことなくレイテンシなしで実現するためには、高速な応答制御が可能な内視鏡ホルダが必要となり、大型で高価な構成が必要となる。これに対して、本実施の形態の内視鏡装置によれば、表示用画像の切り出しによりその表示領域をレイテンシなく移動させることができる。内視鏡111の移動は、表示領域の移動から遅れてある程度のスピードで行われればよく、小型で安価な構成で内視鏡装置を実現することができる。
以上のように、本実施の形態によって、スコピストレスで、執刀医の意図を反映した好適な画像を提供する安価な内視鏡装置を実現することが可能となる。
<3.第2の実施の形態>
本実施の形態の内視鏡装置は、図1の内視鏡手術システム100と同様にして構成することができる。
本実施の形態の内視鏡装置は、図1の内視鏡手術システム100と同様にして構成することができる。
(内視鏡装置の動作例)
図4のフローチャートを参照して、本実施の形態の内視鏡装置110の動作例について説明する。図4の処理もまた、表示装置120に、内視鏡111の視野画像から切り出された表示用画像が表示されている状態で実行される。
図4のフローチャートを参照して、本実施の形態の内視鏡装置110の動作例について説明する。図4の処理もまた、表示装置120に、内視鏡111の視野画像から切り出された表示用画像が表示されている状態で実行される。
ステップS21において、操作受付部154は、執刀医による切り出し領域の移動操作を受け付けたか否かを判定する。切り出し領域の移動操作を受け付けるまで、ステップS21は繰り返され、切り出し領域の移動操作を受け付けると、ステップS22に進む。
ステップS22において、画像処理部151は、執刀医の移動操作に基づいて、内視鏡111の視野画像から表示用画像を切り出すための切り出し領域の移動を開始する。
切り出し領域の移動開始後で、かつ、切り出し領域の移動中、ステップS23において、駆動制御部153は、切り出し領域の中心と視野画像の中心が一致するように、内視鏡ホルダ112の駆動を制御する。すなわち、移動中の切り出し領域の中心と視野画像の中心が一致するように、内視鏡111が移動する。
ステップS24において、画像処理部151は、内視鏡ホルダ112の駆動により内視鏡111が移動したことによる視野画像の撮像範囲の変化に伴う、表示用画像の表示領域の変化を相殺するように、切り出し領域の位置を変更する。
なお、ステップS23(内視鏡111の移動)とステップS24(切り出し領域の位置変更)の処理は、並列して実行されることが好ましい。
内視鏡111の移動と切り出し領域の位置変更が終了すると、内視鏡装置110は、執刀医による切り出し領域の移動操作の待機状態となり、ステップS21に戻る。なお、操作受付部154は、ステップS21において執刀医による切り出し領域の移動操作を受け付けていないと判定された場合において、前工程のステップS23またはステップS24の動作が完了していないときには、ステップS23またはステップS24の動作を維持させる。また、操作受付部154は、ステップS21において執刀医による切り出し領域の移動操作を受け付けたと判定された場合において、前工程のステップS23またはステップS24の動作が完了していないときには、ステップS23またはステップS24の動作をキャンセルして、新しい処理(新しい切り出し領域の中心)に基づいたステップS23またはステップS24の動作を開始することが好ましい。
図5を参照して、図4の動作の流れにおける、視野画像の切り出し位置と表示用画像の変化について説明する。
図5上段には、内視鏡111の視野画像と、視野画像上を移動する切り出し領域CAが示され、図5中段には、視野画像から切り出し領域CAにより切り出された表示用画像が示される。また、図5下段には、操作者(執刀医)の移動操作、切り出し領域CAの移動、および、カメラ(内視鏡111)の移動それぞれの状態が、時系列に示される。この例では、図5中段に示される表示用画像のみが、執刀医が観察する表示装置120に表示される。
図3と同様、まず、執刀医は、上段左側に示されるように、切り出し領域CAの中心が視野画像の中心と一致した状態で切り出された、中段左側に示される表示用画像を観察しているとする。
時刻t21において、執刀医が、表示用画像の表示領域より右側を観察するための移動操作を開始すると、その移動操作に合わせて、視野画像における切り出し領域CAがリアルタイムに移動を開始する。
時刻t22において、執刀医が移動操作を行っている最中に、内視鏡ホルダ112の駆動により、内視鏡111の移動が開始される。内視鏡111の移動は、視野画像における切り出し領域CAの移動の向きと速さに合わせて、視野画像の撮像範囲の中心が、移動中の切り出し領域CAの中心に向かって移動するようにして行われる。
このとき、内視鏡111の移動による視野画像の撮像範囲の変化に伴う表示用画像の表示領域の変化を相殺するように、切り出し領域CAの位置の変更が開始される。
時刻t23において、執刀医が移動操作を終了した後も、内視鏡111の移動による視野画像の撮像範囲の変化に伴う表示用画像の表示領域の変化を相殺するように、切り出し領域CAの位置変更が継続される。このとき、執刀医は、上段中央に示されるように、切り出し領域CAが視野画像の右端に移動した状態で切り出された、中段中央に示される表示用画像を観察しながら手術手技を進行することになる。
その後、時刻t24において切り出し領域CAの中心と視野画像の中心が一致するまで、内視鏡111の移動と切り出し領域CAの位置変更が継続される。
以上の動作によれば、執刀医による切り出し領域の移動操作が終了してから、内視鏡111の移動が終了するまでの時間を、第1の実施の形態より短縮することができる。これにより、切り出し領域の移動可能な範囲が最大となる状態を短時間で実現することができ、執刀医が、切り出し領域の移動操作の後すぐに、次の切り出し領域の移動操作を行うような状況に対応することができる。
また、執刀医による切り出し領域の移動操作が終了してから、内視鏡111の移動が終了するまでの時間を、第1の実施の形態と同様にしてもよい。この場合、内視鏡ホルダ112の駆動に要する駆動力を低減することができ、より小型で安価な構成で内視鏡装置を実現することができる。
以上のように、本実施の形態によっても、スコピストレスで、執刀医の意図を反映した好適な画像を提供する安価な内視鏡装置を実現することが可能となる。
(内視鏡手術システムの構成例)
上述した実施の形態(第1の実施の形態と第2の実施の形態)において、本開示の技術を適用した内視鏡手術システムは、図1に示される構成以外の構成を採ることもできる。
上述した実施の形態(第1の実施の形態と第2の実施の形態)において、本開示の技術を適用した内視鏡手術システムは、図1に示される構成以外の構成を採ることもできる。
図6は、本開示の技術を適用した内視鏡手術システムの機能構成例を示すブロック図である。
図6には、本開示の技術を適用した内視鏡手術システム200を構成する画像処理装置210、表示装置220、内視鏡230、内視鏡ホルダ240、および入力装置250が示されている。
画像処理装置210は、本開示の技術を適用した医療用画像処理装置として構成され、例えば、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などを備えるCCU(Camera Control Unit)として構成される。画像処理装置210は、入力装置250からの操作信号に基づいて、内視鏡230の撮像、内視鏡ホルダ240の駆動、および、表示装置220の表示を統括的に制御する。
画像処理装置210は、図1の制御部114と同様、画像処理部151、表示制御部152、駆動制御部153、および操作受付部154を備える。
また、図6における表示装置220、内視鏡230、内視鏡ホルダ240、および入力装置250は、図1における表示装置120、内視鏡111、内視鏡ホルダ112、および入力部113にそれぞれ対応する。
このように、図1の内視鏡装置110が備える各部が、独立した装置として構成されるようにもできる。
<4.第3の実施の形態>
(内視鏡装置の構成例)
図7は、本開示の第3の実施の形態に係る内視鏡装置の機能構成例を示すブロック図である。
(内視鏡装置の構成例)
図7は、本開示の第3の実施の形態に係る内視鏡装置の機能構成例を示すブロック図である。
図7には、本開示の技術を適用した医療用画像処理システムとしての内視鏡手術システム300を構成する内視鏡装置310、第1表示装置320、および第2表示装置330が示されている。
内視鏡装置310は、本開示の技術におけるカメラとしての内視鏡311により撮像された画像を、第1表示装置320と第2表示装置330に出力する。第1表示装置320と第2表示装置330は、内視鏡装置310から出力された画像を表示するモニタとして構成される。第1表示装置320は、スコピストが確認するモニタとして構成され、第2表示装置330は、執刀医が確認するモニタとして構成される。
内視鏡装置310は、内視鏡311、入力部312、および制御部313から構成される。内視鏡装置310には、内視鏡ホルダは設けられない。
内視鏡311は、高精細な画像を撮像可能なカメラを含むように構成され、観察視野を撮像した視野画像を、制御部313に供給する。内視鏡311は、把持者であるスコピストに把持されることで、所定の位置に移動される。なお、カメラは、1つの撮像素子のみを備える構成であってもよいし、複数の撮像素子を備えて複数の画像を合成する構成であってもよい。例えば、カメラは、3つの撮像素子により得られた3枚の画像を合成して1枚の画像を生成する構成であってもよい。また、カメラの撮像素子の画素数は、1400万画素以上の解像度の画像を生成できる画素数であることが好ましい。例えば、カメラの撮像素子は、水平方向に4K(例えば3840または4320)の画素数、垂直方向に4K(例えば3840または4320)の画素数を有することが好ましい。なお、カメラの撮像素子は、水平方向に8K(例えば7680)の画素数、垂直方向に4K(例えば3840または4320)の画素数を有する撮像素子であってもよい。
内視鏡311は、位置検出部311aを有する。位置検出部311aは、スコピストにより移動された内視鏡311の位置を検出し、その位置を表す位置情報を、制御部313に供給する。
入力部312は、ボタン、スイッチ、マウス、キーボード、タッチパネルなどの操作デバイスや、マイクロフォンなどの音声入力デバイスを含み、内視鏡装置310の操作者、具体的には執刀医の操作を表す操作信号を、制御部313に供給する。
制御部313は、入力部312からの操作信号に基づいて、内視鏡311の撮像、および、第1表示装置320と第2表示装置330の表示を制御する。制御部313は、画像処理部351、第1表示制御部352、第2表示制御部353、および操作受付部354を備える。
画像処理部351は、内視鏡311の視野画像からその一部を切り出し、切り出した画像を表示用画像として第2表示制御部353に供給する。視野画像から表示用画像を切り出すための切り出し領域は、操作受付部354からの指示情報に基づいて、視野画像上でリアルタイムに移動する。また、画像処理部351は、その切り出し領域が示された視野画像を、第2表示制御部353に供給する。
第1表示制御部352は、画像処理部351からの、切り出し領域が示された視野画像を、第1表示装置320に出力することで、第1表示装置320に表示させる。
第2表示制御部353は、画像処理部351からの表示用画像を、第2表示装置330に出力することで、第2表示装置330に表示させる。
操作受付部354は、視野画像において切り出し領域をリアルタイムに移動する操作者(執刀医)の操作を受け付ける。具体的には、操作受付部354は、入力部312からの操作信号を、画像処理部351に対する指示を表す指示情報に変換して、画像処理部351に供給する。
(内視鏡装置の動作例)
次に、図8のフローチャートを参照して、内視鏡装置310の動作例について説明する。図8の処理は、第1表示装置320に、切り出し領域が示された視野画像が表示され、第2表示装置330に、内視鏡311の視野画像から切り出された表示用画像が表示されている状態で実行される。
次に、図8のフローチャートを参照して、内視鏡装置310の動作例について説明する。図8の処理は、第1表示装置320に、切り出し領域が示された視野画像が表示され、第2表示装置330に、内視鏡311の視野画像から切り出された表示用画像が表示されている状態で実行される。
ステップS31において、操作受付部354は、執刀医による切り出し領域の移動操作を受け付けたか否かを判定する。切り出し領域の移動操作を受け付けるまで、ステップS31は繰り返され、切り出し領域の移動操作を受け付けると、ステップS32に進む。
ステップS32において、画像処理部351は、執刀医の移動操作に基づいて、内視鏡311の視野画像から表示用画像を切り出すための切り出し領域の移動を開始する。
以降の処理は、内視鏡311を把持するスコピストが、第1表示装置320に表示された視野画像を確認しながら、視野画像における切り出し領域の移動に応じて、切り出し領域の中心と視野画像の中心が一致するように、内視鏡311を移動させることを前提とする。
ステップS33において、位置検出部311aは、内視鏡311(カメラ)の位置を検出し、その位置を表す位置情報を、画像処理部351に供給する。位置検出部311aは、例えば、ジャイロセンサや位置センサなどとして構成され、カメラの向きや姿勢、位置を位置情報として、画像処理部351に供給する。
ステップS34において、画像処理部351は、位置検出部311aからの位置情報で表されるカメラの向きや姿勢、位置の変化に応じて、カメラが移動したことによる視野画像の撮像範囲の変化に伴う、表示用画像の表示領域の変化を相殺するように、切り出し領域の位置を変更する。
なお、ステップS33(カメラの位置検出)とステップS34(切り出し領域の位置変更)の処理は、並列して実行されることが好ましい。
カメラの位置検出と切り出し領域の位置変更が終了すると、内視鏡装置310は、執刀医による切り出し領域の移動操作の待機状態となり、ステップS31に戻る。
図9を参照して、図8の動作の流れにおける、視野画像の切り出し位置と表示用画像の変化について説明する。
図9上段には、内視鏡311の視野画像と、視野画像上を移動する切り出し領域CAが示され、図9中段には、視野画像から切り出し領域CAにより切り出された表示用画像が示される。また、図9下段には、操作者(執刀医)の移動操作、切り出し領域CAの移動、および、カメラ(内視鏡311)の移動それぞれの状態が、時系列に示される。この例では、図9上段に示される視野画像が、スコピストが観察する第1表示装置320に表示され、図9中段に示される表示用画像が、執刀医が観察する第2表示装置330に表示される。
図3と同様、まず、執刀医は、上段左側に示されるように、切り出し領域CAの中心が視野画像の中心と一致した状態で切り出された、中段左側に示される表示用画像を観察しているとする。
時刻t31において、執刀医が、表示用画像の表示領域より右側を観察するための移動操作を開始すると、その移動操作に合わせて、視野画像における切り出し領域CAがリアルタイムに移動を開始する。
時刻t32において、執刀医が移動操作を行っている最中に、スコピストにより、内視鏡311の移動が開始される。内視鏡311の移動は、視野画像における切り出し領域CAの移動の向きと速さに合わせて、視野画像の撮像範囲の中心が、移動中の切り出し領域CAの中心に向かって移動するようにして、スコピストが行う。
このとき、内視鏡311の移動による視野画像の撮像範囲の変化に伴う表示用画像の表示領域の変化を相殺するように、切り出し領域CAの位置の変更が開始される。
時刻t33において、執刀医が移動操作を終了した後も、内視鏡311の移動による視野画像の撮像範囲の変化に伴う表示用画像の表示領域の変化を相殺するように、切り出し領域CAの位置変更が継続される。このとき、執刀医は、上段中央に示されるように、切り出し領域CAが視野画像の右端に移動した状態で切り出された、中段中央に示される表示用画像を観察しながら手術手技を進行することになる。
その後、時刻t34において切り出し領域CAの中心と視野画像の中心が一致するまで、内視鏡311の移動と切り出し領域CAの位置変更が継続される。
以上の動作によれば、従来と同様の内視鏡手術においても、執刀医は、意図した通りに切り出し領域を移動させることができる。また、スコピストは、視野画像における切り出し領域の位置を認知できるので、執刀医の意図を把握して、内視鏡311の位置を適切に調整することができる。
以上のように、本実施の形態によって、内視鏡手術に、経験を積んだスコピストが携わった場合においても、執刀医の意図を反映した好適な画像を提供することが可能となる。従来の内視鏡手術においては、経験を積んだスコピストであっても、執刀医の意図を完全に予測して視野移動を行うことは難しく、予測が外れたり、視野移動に遅れが発生したりしていた。これに対して、本実施の形態によれば、執刀医の意図をより反映した好適な画像を提供することが可能となる。
さらに、経験の浅いスコピストが、執刀医の意図する切り出し領域の移動の追従に遅れたとしても、執刀医の手術手技の進行に支障を及ぼすことはない。また、そのようなスコピストは、執刀医がどのような場面でどのような表示用画像を必要としているかを、切り出し領域が示された視野画像を観察しながら、学習することができる。すなわち、本実施の形態によれば、手術が安全かつ迅速に行われる状況を担保しつつ、スコピストの訓練を行うことが可能となる。
(内視鏡手術システムの構成例)
上述した実施の形態において、本開示の技術を適用した内視鏡手術システムは、図7に示される構成以外の構成を採ることもできる。
上述した実施の形態において、本開示の技術を適用した内視鏡手術システムは、図7に示される構成以外の構成を採ることもできる。
図10は、本開示の技術を適用した内視鏡手術システムの機能構成例を示すブロック図である。
図10には、本開示の技術を適用した内視鏡手術システム400を構成する画像処理装置410、第1表示装置420、第2表示装置430、内視鏡440、および入力装置450が示されている。
画像処理装置410は、本開示の技術を適用した医療用画像処理装置として構成され、例えば、CPUやGPUなどを含むCCUとして構成される。画像処理装置410は、入力装置450からの操作信号に基づいて、内視鏡230の撮像、および、第1表示装置420と第2表示装置430の表示を統括的に制御する。
画像処理装置410は、図7の制御部313と同様、画像処理部351、第1表示制御部352、第2表示制御部353、および操作受付部354を備える。
また、図10における第1表示装置420、第2表示装置430、内視鏡440と位置検出部440a、および入力装置450は、図7における第1表示装置320、第2表示装置330、内視鏡311と位置検出部311a、および入力部312にそれぞれ対応する。
このように、図7の内視鏡装置310が備える各部が、独立した装置として構成されるようにもできる。
<5.ハードウェア構成>
次に、図11を参照して、本実施の形態に係る医療用画像処理システムを構成する画像処理装置のハードウェア構成の一例について、詳細に説明する。
次に、図11を参照して、本実施の形態に係る医療用画像処理システムを構成する画像処理装置のハードウェア構成の一例について、詳細に説明する。
図11は、本実施の形態に係る医療用観察システムを構成する画像処理装置500のハードウェア構成の一例を示すブロック図である。
図11に示されるように、画像処理装置500は、CPU501,ROM503,およびRAM505を備えている。さらに、画像処理装置500は、ホストバス507、ブリッジ509、外部バス511、インタフェース513、入力装置515、出力装置517、およびストレージ装置519を備えている。なお、画像処理装置500は、ドライブ521、接続ポート523、通信装置525を備えてもよい。
CPU501は、演算処理装置および制御装置として機能し、ROM503,RAM505、ストレージ装置519、またはリムーバブル記録媒体527に記録された各種プログラムに従って、画像処理装置500内の動作全般またはその一部を制御する。
ROM503は、CPU501が使用するプログラムや演算パラメータなどを記憶する。RAM505は、CPU501が使用するプログラムや、プログラムの実行において適宜変化するパラメータなどを一次記憶する。これらは、CPUバスなどの内部バスにより構成されるホストバス507により相互に接続されている。なお、図2を参照して説明した制御装置18の制御部52の各構成は、例えばCPU501により実現される。
ホストバス507は、ブリッジ509を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス511に接続されている。外部バス511には、インタフェース513を介して、入力装置515、出力装置517、ストレージ装置519、ドライブ521、接続ポート523、および通信装置525が接続される。
入力装置515は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー、およびペダルなど、ユーザが操作する操作手段である。また、入力装置515は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよいし、画像処理装置500の操作に対応した携帯電話やPDAなどの外部接続機器529であってもよい。
入力装置515は、例えば、上述した操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU501に出力する入力制御回路などから構成されている。
ユーザは、入力装置515を操作することにより、画像処理装置500に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置517は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。具体的には、出力装置517は、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置、およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置、プリンタ装置などとして構成される。
出力装置517は、例えば、画像処理装置500が行った各種の処理により得られた結果を出力する。具体的には、表示装置は、画像処理装置500が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データなどからなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置519は、画像処理装置500の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置519は、例えば、HDD(Hard Disk Drive)などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置519は、CPU501が実行するプログラムや各種データなどを格納する。
ドライブ521は、記録媒体用リーダライタであり、画像処理装置500に内蔵されるか、または外付けされる。ドライブ521は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体527に記録されている情報を読み出して、RAM505に出力する。また、ドライブ521は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体527に記録を書き込むことも可能である。
リムーバブル記録媒体527は、例えば、DVDメディア、HD-DVDメディア、またはBlu-ray(登録商標)メディアなどである。また、リムーバブル記録媒体527は、コンパクトフラッシュ(登録商標)、フラッシュメモリ、またはSD(Secure Digital)メモリカードなどであってもよい。さらに、リムーバブル記録媒体527は、例えば、非接触型ICチップを搭載したIC(Integrated Circuit)カード、または電子機器などであってもよい。
接続ポート523は、外部接続機器529を画像処理装置500に直接接続するためのポートである。接続ポート523の一例としては、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどがある。接続ポート523の別の例としては、RS-232Cポート、光オーディオ端子、HDMI(登録商標)(High-Definition Multimedia Interface)ポートなどがある。接続ポート523に外部接続機器529を接続することで、画像処理装置500は、外部接続機器529から直接各種のデータを取得したり、外部接続機器529に各種のデータを提供したりする。
通信装置525は、例えば、通信網(ネットワーク)531に接続するための通信デバイスなどで構成された通信インタフェースである。通信装置525は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カードなどである。また、通信装置525は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または各種通信用のモデムなどであってもよい。
通信装置525は、例えば、インターネットや他の通信機器との間で、例えばTCP/IPなどの所定のプロトコルに則して信号を送受信することができる。また、通信装置525に接続される通信網531は、有線または無線によって接続されたネットワークなどにより構成されるようにしてもよい。通信網531は、例えば、インターネットや家庭内LANであってもよいし、赤外線通信、ラジオ波通信、または衛星通信が行われる通信網であってもよい。
上述した画像処理装置500の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。したがって、本実施の形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
さらに、本実施の形態に係る医療用画像処理システムを構成する画像処理装置500の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータなどに実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することも可能である。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、コンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本開示は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
また、本開示は以下のような構成をとることができる。
(1)
手術参加者である操作者の操作に基づいて、術野を撮像するカメラの視野画像から表示用画像を切り出すための切り出し領域をリアルタイムに移動する画像処理部
を備え、
前記画像処理部は、前記カメラが移動した場合、前記視野画像の変化に伴う前記表示用画像の変化を相殺するように、前記切り出し領域の位置を変更する
医療用画像処理システム。
(2)
前記カメラを支持する支持部の駆動を制御する駆動制御部をさらに備え、
前記画像処理部は、前記支持部の駆動に伴う前記表示用画像の変化を相殺するように、前記切り出し領域の位置を変更する
(1)に記載の医療用画像処理システム。
(3)
前記視野画像において前記切り出し領域をリアルタイムに移動する前記操作者の操作を受け付ける操作受付部をさらに備え、
前記駆動制御部は、前記視野画像における前記切り出し領域の移動に応じて、前記支持部の駆動を制御する
(2)に記載の医療用画像処理システム。
(4)
前記駆動制御部は、前記切り出し領域の中心と前記視野画像の中心が一致するように、前記支持部の駆動を制御する
(3)に記載の医療用画像処理システム。
(5)
前記駆動制御部は、前記切り出し領域の移動終了後に、前記切り出し領域の中心と前記視野画像の中心が一致するように、前記支持部の駆動を制御する
(4)に記載の医療用画像処理システム。
(6)
前記駆動制御部は、前記切り出し領域の移動開始後で、かつ、前記切り出し領域の移動中に、前記切り出し領域の中心と前記視野画像の中心が一致するように、前記支持部の駆動を制御する
(4)に記載の医療用画像処理システム。
(7)
前記画像処理部は、前記カメラを把持する把持者による前記カメラの移動に伴う前記表示用画像の変化を相殺するように、前記切り出し領域の位置を変更する
(1)に記載の医療用画像処理システム。
(8)
前記視野画像において前記切り出し領域をリアルタイムに移動する前記操作者の操作を受け付ける操作受付部と、
前記切り出し領域が示された前記視野画像を、前記把持者が確認するモニタに表示する表示制御部と、をさらに備える
(7)に記載の医療用画像処理システム。
(9)
前記把持者により移動された前記カメラの位置を検出する位置検出部をさらに備え、
前記画像処理部は、検出された前記カメラの位置の変化に応じて、前記切り出し領域の位置を変更する
(7)または(8)に記載の医療用画像処理システム。
(10)
前記画像処理部は、前記切り出し領域の位置の変更に基づいて、前記カメラの光学系のディストーションを補正する
(1)乃至(9)のいずれかに記載の医療用画像処理システム。
(11)
前記カメラは、内視鏡に含まれる
(1)乃至(10)のいずれかに記載の医療用画像処理システム。
(12)
前記視野画像は、1400万画素以上の画像である
(1)乃至(11)のいずれかに記載の医療用画像処理システム。
(13)
医療用画像処理システムが、
手術参加者である操作者の操作に基づいて、術野を撮像するカメラの視野画像から表示用画像を切り出すための切り出し領域をリアルタイムに移動し、
前記カメラが移動した場合、前記視野画像の変化に伴う前記表示用画像の変化を相殺するように、前記視野画像から前記表示用画像を切り出すための切り出し領域の位置を変更する
画像処理方法。
(14)
手術参加者である操作者の操作に基づいて、術野を撮像するカメラの視野画像から表示用画像を切り出すための切り出し領域をリアルタイムに移動する画像処理部を
備え、
前記画像処理部は、前記カメラが移動した場合、前記視野画像の変化に伴う前記表示用画像の変化を相殺するように、前記視野画像から前記表示用画像を切り出すための切り出し領域の位置を変更する
医療用画像処理装置。
(1)
手術参加者である操作者の操作に基づいて、術野を撮像するカメラの視野画像から表示用画像を切り出すための切り出し領域をリアルタイムに移動する画像処理部
を備え、
前記画像処理部は、前記カメラが移動した場合、前記視野画像の変化に伴う前記表示用画像の変化を相殺するように、前記切り出し領域の位置を変更する
医療用画像処理システム。
(2)
前記カメラを支持する支持部の駆動を制御する駆動制御部をさらに備え、
前記画像処理部は、前記支持部の駆動に伴う前記表示用画像の変化を相殺するように、前記切り出し領域の位置を変更する
(1)に記載の医療用画像処理システム。
(3)
前記視野画像において前記切り出し領域をリアルタイムに移動する前記操作者の操作を受け付ける操作受付部をさらに備え、
前記駆動制御部は、前記視野画像における前記切り出し領域の移動に応じて、前記支持部の駆動を制御する
(2)に記載の医療用画像処理システム。
(4)
前記駆動制御部は、前記切り出し領域の中心と前記視野画像の中心が一致するように、前記支持部の駆動を制御する
(3)に記載の医療用画像処理システム。
(5)
前記駆動制御部は、前記切り出し領域の移動終了後に、前記切り出し領域の中心と前記視野画像の中心が一致するように、前記支持部の駆動を制御する
(4)に記載の医療用画像処理システム。
(6)
前記駆動制御部は、前記切り出し領域の移動開始後で、かつ、前記切り出し領域の移動中に、前記切り出し領域の中心と前記視野画像の中心が一致するように、前記支持部の駆動を制御する
(4)に記載の医療用画像処理システム。
(7)
前記画像処理部は、前記カメラを把持する把持者による前記カメラの移動に伴う前記表示用画像の変化を相殺するように、前記切り出し領域の位置を変更する
(1)に記載の医療用画像処理システム。
(8)
前記視野画像において前記切り出し領域をリアルタイムに移動する前記操作者の操作を受け付ける操作受付部と、
前記切り出し領域が示された前記視野画像を、前記把持者が確認するモニタに表示する表示制御部と、をさらに備える
(7)に記載の医療用画像処理システム。
(9)
前記把持者により移動された前記カメラの位置を検出する位置検出部をさらに備え、
前記画像処理部は、検出された前記カメラの位置の変化に応じて、前記切り出し領域の位置を変更する
(7)または(8)に記載の医療用画像処理システム。
(10)
前記画像処理部は、前記切り出し領域の位置の変更に基づいて、前記カメラの光学系のディストーションを補正する
(1)乃至(9)のいずれかに記載の医療用画像処理システム。
(11)
前記カメラは、内視鏡に含まれる
(1)乃至(10)のいずれかに記載の医療用画像処理システム。
(12)
前記視野画像は、1400万画素以上の画像である
(1)乃至(11)のいずれかに記載の医療用画像処理システム。
(13)
医療用画像処理システムが、
手術参加者である操作者の操作に基づいて、術野を撮像するカメラの視野画像から表示用画像を切り出すための切り出し領域をリアルタイムに移動し、
前記カメラが移動した場合、前記視野画像の変化に伴う前記表示用画像の変化を相殺するように、前記視野画像から前記表示用画像を切り出すための切り出し領域の位置を変更する
画像処理方法。
(14)
手術参加者である操作者の操作に基づいて、術野を撮像するカメラの視野画像から表示用画像を切り出すための切り出し領域をリアルタイムに移動する画像処理部を
備え、
前記画像処理部は、前記カメラが移動した場合、前記視野画像の変化に伴う前記表示用画像の変化を相殺するように、前記視野画像から前記表示用画像を切り出すための切り出し領域の位置を変更する
医療用画像処理装置。
100 内視鏡手術システム, 110 内視鏡装置, 120 表示装置, 111 内視鏡, 112 内視鏡ホルダ, 113 入力部, 114 制御部, 151 画像処理部, 152 表示制御部, 153 駆動制御部, 154 操作受付部, 200 内視鏡手術システム, 210 画像処理装置, 220 表示装置, 230 内視鏡, 240 内視鏡ホルダ, 250 入力装置, 300 内視鏡手術システム, 310 内視鏡装置, 320 第1表示装置, 330 第2表示装置, 311 内視鏡, 311a 位置検出部, 312 入力部, 313 制御部, 351 画像処理部, 352 第1表示制御部, 353 第2表示制御部, 354 操作受付部, 400 内視鏡手術システム, 410 画像処理装置, 420 第1表示装置, 430 第2表示装置, 440 内視鏡, 440a 位置検出部, 450 入力装置
Claims (14)
- 手術参加者である操作者の操作に基づいて、術野を撮像するカメラの視野画像から表示用画像を切り出すための切り出し領域をリアルタイムに移動する画像処理部
を備え、
前記画像処理部は、前記カメラが移動した場合、前記視野画像の変化に伴う前記表示用画像の変化を相殺するように、前記切り出し領域の位置を変更する
医療用画像処理システム。 - 前記カメラを支持する支持部の駆動を制御する駆動制御部をさらに備え、
前記画像処理部は、前記支持部の駆動に伴う前記表示用画像の変化を相殺するように、前記切り出し領域の位置を変更する
請求項1に記載の医療用画像処理システム。 - 前記視野画像において前記切り出し領域をリアルタイムに移動する前記操作者の操作を受け付ける操作受付部をさらに備え、
前記駆動制御部は、前記視野画像における前記切り出し領域の移動に応じて、前記支持部の駆動を制御する
請求項2に記載の医療用画像処理システム。 - 前記駆動制御部は、前記切り出し領域の中心と前記視野画像の中心が一致するように、前記支持部の駆動を制御する
請求項3に記載の医療用画像処理システム。 - 前記駆動制御部は、前記切り出し領域の移動終了後に、前記切り出し領域の中心と前記視野画像の中心が一致するように、前記支持部の駆動を制御する
請求項4に記載の医療用画像処理システム。 - 前記駆動制御部は、前記切り出し領域の移動開始後で、かつ、前記切り出し領域の移動中に、前記切り出し領域の中心と前記視野画像の中心が一致するように、前記支持部の駆動を制御する
請求項4に記載の医療用画像処理システム。 - 前記画像処理部は、前記カメラを把持する把持者による前記カメラの移動に伴う前記表示用画像の変化を相殺するように、前記切り出し領域の位置を変更する
請求項1に記載の医療用画像処理システム。 - 前記視野画像において前記切り出し領域をリアルタイムに移動する前記操作者の操作を受け付ける操作受付部と、
前記切り出し領域が示された前記視野画像を、前記把持者が確認するモニタに表示する表示制御部と、をさらに備える
請求項7に記載の医療用画像処理システム。 - 前記把持者により移動された前記カメラの位置を検出する位置検出部をさらに備え、
前記画像処理部は、検出された前記カメラの位置の変化に応じて、前記切り出し領域の位置を変更する
請求項7に記載の医療用画像処理システム。 - 前記画像処理部は、前記切り出し領域の位置の変更に基づいて、前記カメラの光学系のディストーションを補正する
請求項1に記載の医療用画像処理システム。 - 前記カメラは、内視鏡に含まれる
請求項1に記載の医療用画像処理システム。 - 前記視野画像は、1400万画素以上の画像である
請求項1に記載の医療用画像処理システム。 - 医療用画像処理システムが、
手術参加者である操作者の操作に基づいて、術野を撮像するカメラの視野画像から表示用画像を切り出すための切り出し領域をリアルタイムに移動し、
前記カメラが移動した場合、前記視野画像の変化に伴う前記表示用画像の変化を相殺するように、前記視野画像から前記表示用画像を切り出すための切り出し領域の位置を変更する
画像処理方法。 - 手術参加者である操作者の操作に基づいて、術野を撮像するカメラの視野画像から表示用画像を切り出すための切り出し領域をリアルタイムに移動する画像処理部を
備え、
前記画像処理部は、前記カメラが移動した場合、前記視野画像の変化に伴う前記表示用画像の変化を相殺するように、前記視野画像から前記表示用画像を切り出すための切り出し領域の位置を変更する
医療用画像処理装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-063541 | 2020-03-31 | ||
JP2020063541 | 2020-03-31 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021200139A1 true WO2021200139A1 (ja) | 2021-10-07 |
Family
ID=77929174
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/010741 WO2021200139A1 (ja) | 2020-03-31 | 2021-03-17 | 医療用画像処理システム、画像処理方法、および医療用画像処理装置 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2021200139A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007201570A (ja) * | 2006-01-24 | 2007-08-09 | Seiko Epson Corp | 画像処理装置、撮影装置、画像処理方法、および、制御プログラム |
JP2015139646A (ja) * | 2014-01-30 | 2015-08-03 | ソニー株式会社 | 内視鏡システム、画像処理装置、画像処理方法、およびプログラム |
WO2018173681A1 (ja) * | 2017-03-24 | 2018-09-27 | ソニー株式会社 | 医療用システムの制御装置、医療用システムの制御方法及び医療用システム |
WO2019116592A1 (ja) * | 2017-12-14 | 2019-06-20 | オリンパス株式会社 | 内視鏡の表示画像の調整装置及び手術システム |
-
2021
- 2021-03-17 WO PCT/JP2021/010741 patent/WO2021200139A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007201570A (ja) * | 2006-01-24 | 2007-08-09 | Seiko Epson Corp | 画像処理装置、撮影装置、画像処理方法、および、制御プログラム |
JP2015139646A (ja) * | 2014-01-30 | 2015-08-03 | ソニー株式会社 | 内視鏡システム、画像処理装置、画像処理方法、およびプログラム |
WO2018173681A1 (ja) * | 2017-03-24 | 2018-09-27 | ソニー株式会社 | 医療用システムの制御装置、医療用システムの制御方法及び医療用システム |
WO2019116592A1 (ja) * | 2017-12-14 | 2019-06-20 | オリンパス株式会社 | 内視鏡の表示画像の調整装置及び手術システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210074423A1 (en) | Remote presence system including a cart that supports a robot face and an overhead camera | |
JP2022036255A (ja) | ロボット外科手術装置および視聴者適合型の立体視ディスプレイの態様を制御するためのシステム、方法、およびコンピュータ可読記憶媒体 | |
EP1965699B1 (en) | Medical robotic system providing three-dimensional telestration | |
AU2003234910B2 (en) | Medical cockpit system | |
JP2004181229A (ja) | 遠隔手術支援システム及び支援方法 | |
US20230181271A1 (en) | Method of remotely supporting surgery assistant robot and remote support system | |
JP2012523890A (ja) | ソフトウェアモジュール方式、プロジェクタ、及びレーザポインタを備えたテレプレゼンスロボットシステム | |
JP6485899B2 (ja) | 医療用立体観察装置、医療用立体観察方法、及びプログラム | |
WO2017061293A1 (ja) | 手術システム、並びに、手術用制御装置および手術用制御方法 | |
JP2012175136A (ja) | カメラシステムおよびその制御方法 | |
WO2018235608A1 (ja) | 手術システムおよび手術用撮像装置 | |
JP2013017513A (ja) | 医療用マスタスレーブマニピュレータ | |
US11883120B2 (en) | Medical observation system, medical signal processing device, and medical signal processing device driving method | |
WO2021200139A1 (ja) | 医療用画像処理システム、画像処理方法、および医療用画像処理装置 | |
JP7146735B2 (ja) | 制御装置、外部機器、医療用観察システム、制御方法、表示方法およびプログラム | |
CN110549328A (zh) | 作业辅助控制装置和方法、作业图像控制装置和显示方法 | |
JP7192792B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2019167555A1 (ja) | 映像信号処理装置、映像信号処理方法および撮像装置 | |
US20230410499A1 (en) | Visibility metrics in multi-view medical activity recognition systems and methods | |
WO2021010193A1 (ja) | 医療機器制御システム、制御装置、および制御方法 | |
WO2017145606A1 (ja) | 画像処理装置、画像処理方法及び内視鏡システム | |
JP4445598B2 (ja) | 内視鏡カメラ視野制御システム | |
WO2021261236A1 (ja) | 医療用観察システム、画像処理方法、およびプログラム | |
JP2007003844A (ja) | 遠隔地にある顕微鏡を操作する装置 | |
EP3648422A1 (en) | Communication system and control device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21781713 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21781713 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |