WO2018025484A1 - 撮影システム、撮影方法および制御装置 - Google Patents

撮影システム、撮影方法および制御装置 Download PDF

Info

Publication number
WO2018025484A1
WO2018025484A1 PCT/JP2017/020224 JP2017020224W WO2018025484A1 WO 2018025484 A1 WO2018025484 A1 WO 2018025484A1 JP 2017020224 W JP2017020224 W JP 2017020224W WO 2018025484 A1 WO2018025484 A1 WO 2018025484A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
image
control device
surgeon
display
Prior art date
Application number
PCT/JP2017/020224
Other languages
English (en)
French (fr)
Inventor
寺沼　修
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to US16/321,913 priority Critical patent/US20190159860A1/en
Publication of WO2018025484A1 publication Critical patent/WO2018025484A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/14—Special procedures for taking photographs; Apparatus therefor for taking photographs during medical operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis

Definitions

  • the following disclosure relates to a technique of an imaging system, an imaging method, and a control device that can be used for laparoscopic surgery or the like.
  • Patent Document 1 discloses a monitor device for laparoscopic surgery and a display method therefor. According to Patent Document 1, the monitor device for laparoscopic surgery is displayed by applying video images taken by one laparoscope unit, and the position, height, and right and left tilt angles are respectively applied by the arm from the ceiling or floor surface.
  • a drive motor that rotates the mirror monitor in a clockwise direction and a counterclockwise direction, a motor drive unit that rotates and drives the drive motor, and a drive control of the motor drive unit based on a rotation request from the screen rotation operation unit
  • a control unit that rotates each laparoscopic monitor by the required rotation angle, and an arc
  • a protective box covering the video screen of the laparoscopic monitor.
  • An aspect of the present invention is to provide an imaging system, an imaging method, and a control device that are more easily used by a therapist such as a surgeon than in the past.
  • an imaging system including a camera and a control device that can communicate with the camera.
  • the control device adjusts the shooting direction of the camera based on the direction of the camera and the direction of a predetermined object.
  • the photographing system further includes a display.
  • the control device rotates a captured image of the camera based on an angle on a plane between the direction of the camera and the direction of the predetermined object, and outputs the rotated image to the display.
  • control device accepts designation of the predetermined object for each user.
  • the step of acquiring the direction of the camera, the step of acquiring the direction of the predetermined object, and the photographing of the camera based on the direction of the camera and the direction of the predetermined object Adjusting the direction, and a photographing method is provided.
  • a control device including a communication interface for communicating with a camera and a processor is provided.
  • the processor adjusts the shooting direction of the camera based on the direction of the camera and the direction of a predetermined object via the communication interface.
  • an imaging system, an imaging method, and a control device that are easier for a therapist to use than conventional ones are provided.
  • 1 is a first image diagram illustrating an overall configuration and an outline of operation of a video output system 1 according to a first embodiment. It is a 2nd image figure which shows the whole structure and the operation
  • FIG. The shooting direction of the camera 200A after changing the shooting direction of the camera 200A in accordance with the direction of the object according to the fifth embodiment, the direction of the surgeon's body, the line of sight of the surgeon, and the direction of the display 300 It is an image figure which shows a relationship. It is a 1st flowchart which shows the 2nd information processing in the control apparatus 100 concerning 5th Embodiment. It is a 2nd flowchart which shows the 2nd information processing in the control apparatus 100 concerning 5th Embodiment.
  • FIG. 1 is a first image diagram showing an overall configuration and an operation outline of the video output system 1 according to the present embodiment.
  • FIG. 2 is a second image diagram showing an overall configuration and an operation outline of the video output system 1 according to the present embodiment.
  • the video output system 1 according to the present embodiment mainly includes a camera 200A such as a laparoscope, a display 300, and a control device 100 for controlling the camera 200A and the display 300.
  • a camera 200A such as a laparoscope
  • a display 300 for controlling the camera 200A and the display 300.
  • Control device 100 causes display 300 to display an image captured by camera 200A.
  • the control device 100 can be used by the camera 200A so that the surgeon as a therapist is easy to see, the positional relationship of the organ or treatment tool displayed by the surgeon is easy to grasp, or the surgeon is easy to perform an operation.
  • the shooting direction is changed and displayed on the display 300.
  • the tip of the camera 200A is similar to the surgeon's line-of-sight direction (y).
  • the patient's body is imaged while changing the direction (z), that is, the upper right direction in FIG.
  • the tip of the camera 200A is the same as the surgeon's line-of-sight direction (y).
  • the patient's body is imaged while changing the direction (z), that is, the upward direction in FIG.
  • FIG. 3 is a block diagram showing a hardware configuration of the video output system 1 according to the present embodiment.
  • the video output system 1 includes a camera 200 ⁇ / b> A for imaging a treatment site, an examination site, and the like, a camera control unit 200 ⁇ / b> B for controlling the camera 200 ⁇ / b> A, and a treatment site. , A display 300 for outputting an image of an examination site and the like, a control device 100 for controlling these devices, and a sensor unit for measuring the positions, postures, orientations, etc. of the surgeon, patient, and those devices 501, 502, 503, 504, 505 and the like.
  • the first sensor unit 501 is attached to the camera 200A, and uses the internal electronic compass or magnet to adjust the shooting direction and orientation of the camera 200A and the tilt of the captured image of the camera 200A from above. The indicated angle is provided to the control device 100. Note that the first sensor unit 501 may also acquire the position of the camera 200 ⁇ / b> A and transmit the position of the camera 200 ⁇ / b> A to the control device 100. The first sensor unit 501 may be included in the camera 200A or integrated with the camera 200A.
  • the second sensor unit 502 is attached to the surgeon's body or clothes, and provides the controller 100 with the orientation of the surgeon's body using an internal electronic compass or magnet. Note that the second sensor unit 502 may also acquire the position of the surgeon's body and transmit the position of the surgeon's body to the control device 100.
  • the third sensor unit 503 is attached to the surgeon's head, and provides the control device 100 with the gaze direction or face direction of the surgeon using an internal electronic compass or magnet. Note that the third sensor unit 503 may also acquire the position of the surgeon's head and transmit the position of the surgeon's head to the control device 100.
  • the fourth sensor unit 504 is attached to the display 300, and provides the control device 100 with the orientation of the display 300 using an internal electronic compass or magnet. Note that the fourth sensor unit 504 may also acquire the position of the display 300 and transmit the position of the display 300 to the control device 100. The fourth sensor unit 504 may be included in the display 300 or integrated with the display 300.
  • the fifth sensor unit 505 is attached to the treatment instrument 400, and provides the control apparatus 100 with the orientation of the treatment instrument 400 using an internal electronic compass or magnet. Note that the fifth sensor unit 505 may also acquire the position of the therapeutic instrument 400 and transmit the position of the therapeutic instrument 400 to the control device 100. Note that the fifth sensor unit 505 may be included in or integrated with the treatment instrument 400.
  • the first to fifth sensor units 501 to 505 correspond to the direction / posture / position of the camera 200A, the direction / posture / position of the surgeon's body, the direction / posture / position of the surgeon's head,
  • indoor GPS antennas, WiFi (registered trademark) routers, ultrasonic oscillators, etc. are installed at the four corners of the operating room. Also good.
  • FIG. 4 is a block diagram showing a hardware configuration of control device 100 according to the present embodiment.
  • control device 100 includes a CPU (Central Processing Unit) 110, a memory 120, an operation unit 140, and a communication interface 160 as main components.
  • CPU Central Processing Unit
  • the CPU 110 controls each unit of the control device 100 by executing a program stored in the memory 120. More specifically, the CPU 110 executes programs stored in the memory 120 and executes various processes described later by referring to various data.
  • the memory 120 is realized by various RAMs (Random Access Memory), various ROMs (Read-Only Memory), and the like.
  • the memory 120 stores a program executed by the CPU 110, data generated by the execution of the program by the CPU 110, input data, other databases, and the like.
  • the operation unit 140 receives a command from the user and inputs the command to the CPU 110.
  • the operation unit 140 may be a touch panel including a display.
  • the communication interface 160 receives data from devices such as the camera control unit 200B and the display 300 and passes the data to the CPU 110, and transmits data from the CPU 110 to devices such as the camera control unit 200B and the display 300.
  • the communication interface 160 may exchange data with other external devices such as a server via the Internet or a router.
  • FIG. 5 is an image diagram showing the configuration of the camera 200A according to the present embodiment.
  • camera 200A mainly includes image sensor 210, sensor horizontal direction changing unit 220, sensor vertical direction changing unit 230, sensor rotating unit 240, light 250, and communication interface 260. Including.
  • Image sensor 210 detects light and outputs a signal for representing an image. More specifically, the camera 200A emits light from the light 250, and the image sensor 210 detects the reflected light.
  • the communication interface 260 transmits an image captured by the image sensor 210 to the camera control unit 200B and the control device 100.
  • the sensor horizontal direction changing unit 220 includes a motor and an actuator, and changes the direction of the horizontal component captured by the image sensor 210 based on a command from the control device 100 input via the communication interface 260.
  • the sensor vertical direction changing unit 230 is configured with a motor and an actuator, and changes the direction of the vertical component captured by the image sensor 210 based on a command from the control device 100 input via the communication interface 260.
  • the sensor rotation unit 240 includes a motor and an actuator, and rotates the image sensor 210 around the shooting direction of the image sensor 210 based on a command from the control device 100 input via the communication interface 260. . ⁇ Information Processing in Control Device 100>
  • FIG. 6 is a flowchart showing the first information processing in the control device 100 according to the present embodiment.
  • CPU 110 of control device 100 periodically acquires vector data indicating the shooting direction (z) of camera 200A from first sensor unit 501 via communication interface 160 (step S102). ).
  • the CPU 110 acquires vector data indicating the line-of-sight direction (y) of the surgeon from the third sensor unit 503 via the communication interface 160 (step S104).
  • the CPU 110 directs the photographing direction (z) of camera 200A to the same direction as the surgeon's line-of-sight direction (y) (step S106). More specifically, the CPU 110 transmits a command for controlling the sensor horizontal direction changing unit 220 and the sensor vertical direction changing unit 230 of the camera 200A to the camera 200A via the communication interface 160, so that the camera 200A can be controlled.
  • the imaging direction (z) is directed to the surgeon's line-of-sight direction (y).
  • the CPU 110 transmits a command for controlling the sensor rotation unit 240 of the camera 200A to the camera 200A via the communication interface 160, so that the upper side of the captured image is closest to the actual vertical upper side.
  • the image sensor 210 at the tip of the 200A is rotated around the shooting direction.
  • the CPU 110 of the control device 100 acquires the image data from the camera 200 ⁇ / b> A via the communication interface 160. Then, the CPU 110 causes the display 300 to display an image captured from the camera 200 ⁇ / b> A in the line of sight of the surgeon via the communication interface 160.
  • the frequency of changing the shooting direction of the camera 200A may be adjustable (for example, 60 seconds, 10 seconds, 1 second, or timing determined by the surgeon through manual operation). Alternatively, it may be possible to “determine” the positional relationship between the devices before the operation and to select a setting that does not change the imaging direction of the camera 200A during the operation.
  • the direction of the image sensor 210 of the camera 200A is changed based on the direction of the line of sight of the surgeon. However, it is not limited to such a form. In the present embodiment, the direction of the image sensor 210 of the camera 200A is changed based on the orientation of the surgeon's body.
  • FIG. 7 is a first image diagram showing an overall configuration and an operation outline of the video output system 1 according to the present embodiment.
  • FIG. 8 is a second image diagram showing the overall configuration and operation overview of the video output system 1 according to the present embodiment.
  • the tip of the camera 200A when the surgeon's body faces the patient from the left side of the patient, the tip of the camera 200A is the same as the surgeon's body orientation (x).
  • the patient's body is imaged by changing the direction to the right direction in FIG.
  • the tip of the camera 200A when the surgeon is facing the patient from the right side of the patient, the tip of the camera 200A is in the same direction as the surgeon's body direction (x), that is, in FIG. Change the direction to the upper left direction and take a picture of the patient's body.
  • FIG. 9 is a flowchart showing first information processing in the control device 100 according to the present embodiment.
  • CPU 110 of control device 100 periodically acquires vector data indicating the shooting direction (z) of camera 200A from first sensor unit 501 via communication interface 160 (step S102). ).
  • the CPU 110 acquires vector data indicating the orientation (x) of the surgeon's body from the second sensor unit 502 via the communication interface 160 (step S204).
  • the CPU 110 causes the photographing direction (z) of the camera 200A to be directed to the surgeon's body direction (x) (step S206). More specifically, the CPU 110 transmits a command for controlling the sensor horizontal direction changing unit 220 and the sensor vertical direction changing unit 230 of the camera 200A to the camera 200A via the communication interface 160, so that the camera 200A can be controlled.
  • the imaging direction (z) is directed to the surgeon's body direction (x).
  • the CPU 110 transmits a command for controlling the sensor rotation unit 240 of the camera 200A to the camera 200A via the communication interface 160, so that the upper side of the captured image is closest to the actual vertical upper side.
  • the image sensor 210 at the tip of the 200A is rotated around the shooting direction.
  • the CPU 110 of the control device 100 acquires image data from the camera 200 ⁇ / b> A via the communication interface 160. Then, the CPU 110 causes the display 300 to display an image shot from the camera 200 ⁇ / b> A toward the surgeon's body via the communication interface 160. ⁇ Third Embodiment>
  • the direction of the image sensor 210 of the camera 200A is changed based on the direction of the line of sight of the surgeon. However, it is not limited to such a form. In the present embodiment, the direction of the image sensor 210 of the camera 200A is changed based on the direction of the treatment instrument 400.
  • FIG. 10 is a first image diagram showing an overall configuration and an operation outline of the video output system 1 according to the present embodiment.
  • FIG. 11 is a second image diagram showing an overall configuration and an operation outline of the video output system 1 according to the present embodiment.
  • the tip of the camera 200A is directed in the upper right direction in FIG. Change and shoot the patient's body. Then, as shown in FIG. 11, when the treatment instrument 400 currently used by the surgeon is directed from the left to the right of the patient, the tip of the camera 200A changes its direction to the right in FIG. Take a picture of your body.
  • FIG. 12 is a flowchart which shows the 1st information processing in the control apparatus 100 concerning this Embodiment.
  • CPU 110 of control device 100 periodically acquires vector data indicating the shooting direction (z) of camera 200A from first sensor unit 501 via communication interface 160 (step S102). ).
  • the CPU 110 acquires vector data indicating the orientation (v) of the therapeutic instrument 400 from the sensor unit 505 attached to the therapeutic instrument 400 via the communication interface 160 (step S304).
  • the CPU 110 directs the photographing direction of the camera 200A to the direction (v) of the treatment instrument 400 (step S306). More specifically, the CPU 110 transmits a command for controlling the sensor horizontal direction changing unit 220 and the sensor vertical direction changing unit 230 of the camera 200A to the camera 200A via the communication interface 160, so that the camera 200A can be controlled.
  • the imaging direction (z) is directed to the direction (v) of the treatment instrument 400.
  • the CPU 110 transmits a command for controlling the sensor rotation unit 240 of the camera 200A to the camera 200A via the communication interface 160, so that the upper side of the captured image is closest to the actual vertical upper side.
  • the image sensor 210 at the tip of the 200A is rotated around the shooting direction.
  • the CPU 110 of the control device 100 acquires image data from the camera 200 ⁇ / b> A via the communication interface 160. Then, the CPU 110 causes the display 300 to display an image captured from the camera 200 ⁇ / b> A in the same direction as the treatment instrument 400 via the communication interface 160.
  • the CPU 110 causes the display 300 to display an image captured from the camera 200 ⁇ / b> A in the same direction as the treatment instrument 400 via the communication interface 160.
  • the direction of the image sensor 210 of the camera 200A is changed based on the direction of the line of sight of the surgeon. However, it is not limited to such a form. In the present embodiment, the direction of the image sensor 210 of the camera 200 ⁇ / b> A is changed based on the orientation of the display 300.
  • FIG. 13 is a first image diagram showing an overall configuration and an operation outline of the video output system 1 according to the present embodiment.
  • FIG. 14 is a second image diagram illustrating an overall configuration and an operation outline of the video output system 1 according to the present embodiment.
  • the tip of the camera 200A changes its direction to the opposite direction of the display 300, that is, the upper right direction in FIG. Take a picture of the patient's body.
  • the tip of the camera 200A changes its direction to the opposite direction of the display 300, that is, upward in FIG. Take a picture.
  • FIG. 15 is a flowchart showing first information processing in the control device 100 according to the present embodiment.
  • CPU 110 of control device 100 periodically acquires vector data indicating the shooting direction (z) of camera 200 ⁇ / b> A from first sensor unit 501 via communication interface 160 (step S ⁇ b> 102). ).
  • CPU110 acquires the vector data which show direction (w) of a display from the sensor unit 504 attached to the display 300 via the communication interface 160 (step S404).
  • the CPU 110 directs the shooting direction (z) of camera 200A in the direction opposite to the direction (w) of display 300 (step S406). More specifically, the CPU 110 transmits a command for controlling the sensor horizontal direction changing unit 220 and the sensor vertical direction changing unit 230 of the camera 200A to the camera 200A via the communication interface 160, so that the camera 200A can be controlled.
  • the shooting direction (z) is set to be opposite to the direction (w) of the display 300.
  • the CPU 110 transmits a command for controlling the sensor rotation unit 240 of the camera 200A to the camera 200A via the communication interface 160, so that the upper side of the captured image is closest to the actual vertical upper side.
  • the image sensor 210 at the tip of the 200A is rotated around the shooting direction.
  • the CPU 110 of the control device 100 acquires image data from the camera 200 ⁇ / b> A via the communication interface 160. Then, the CPU 110 causes the display 300 to display an image captured from the camera 200 ⁇ / b> A in the direction opposite to the display 300 via the communication interface 160.
  • the direction of the image sensor 210 of the camera 200A is changed based on the orientation of the object.
  • the direction of the image sensor 210 of the camera 200A is made as close as possible to the direction of the object, and the portion that cannot be completely matched is rotated or displayed, or the image sensor 210 captures the image.
  • the image sensor 210 itself is rotated so that the upward direction of the image is shifted from the vertically upward direction.
  • FIG. 16 is a flowchart which shows the 1st information processing in the control apparatus 100 concerning this Embodiment.
  • FIG. 17 shows the orientation and positional relationship between the camera 200A, the surgeon's body, the surgeon's head, and the display 300 after the shooting direction of the camera 200A is changed in accordance with the orientation of the object according to the present embodiment.
  • FIG. FIG. 18 shows the shooting direction of the camera 200A, the direction of the surgeon's body, the line of sight of the surgeon, and the direction of the display 300 after changing the shooting direction of the camera 200A according to the direction of the object according to the present embodiment. It is an image figure which shows the relationship.
  • CPU 110 of control device 100 periodically acquires vector data indicating the shooting direction (z) of camera 200 ⁇ / b> A from first sensor unit 501 via communication interface 160. (Step S102).
  • the CPU 110 acquires vector data indicating the direction of the object from any of the sensor units 501 to 505 through the communication interface 160 (step S504).
  • the CPU 110 changes the shooting direction of the camera 200A based on the direction of the object (step S506). More specifically, the CPU 110 transmits a command for controlling the sensor horizontal direction changing unit 220 and the sensor vertical direction changing unit 230 of the camera 200A to the camera 200A via the communication interface 160, so that the camera 200A can be controlled. Orient the shooting direction as much as possible to the direction of the object. Then, the CPU 110 transmits a command for controlling the sensor rotation unit 240 of the camera 200A to the camera 200A via the communication interface 160, so that the upper side of the captured image is closest to the actual vertical upper side. The image sensor 210 at the tip of the 200A is rotated around the shooting direction.
  • CPU110 acquires the angle of the direction of the target object corresponding to the direction (z) of the camera after the direction change on a plane as the display correction angle Y for rotating and correcting the image (step S508).
  • FIG. 19 is a flowchart showing second information processing in the control device 100 according to the present embodiment.
  • CPU 110 of control device 100 acquires image data from camera 200A via communication interface 160 (step S152).
  • the CPU 110 further rotates the image by ⁇ Y ° based on the display correction angle Y (step S156).
  • CPU 110 causes display 300 to display the rotated image via communication interface 160.
  • the camera 200A cannot be rotated with the shooting direction as an axis so that the upper side of the shot image is closest to the actual vertical upper side, as shown in FIG. Is based on the posture of the camera 200A from the first sensor unit 501, that is, the angle of inclination of the shooting screen, and rotates the image so that the upward direction of the captured image is closest to the actual vertical direction. Also good.
  • FIG. 21 is an image diagram showing an actual operation of the video output system 1 according to the present embodiment.
  • FIG. 22 is an image diagram showing an actual operation result in the display 300 of the video output system 1 according to the present embodiment.
  • the direction of the object and the shooting direction of camera 200 after the direction change are set. Since the image is further rotated based on the image, the rotation angle of the displayed image is adjusted as the direction from the surgeon to the display 300 changes. This makes it easier for the surgeon to grasp the positional relationship between the parts than before, and as a result, makes surgery easier.
  • two therapeutic instruments 400 on the side of the surgeon among the four therapeutic instruments 400 in FIG. 21 are displayed.
  • the CPU 110 displays a screen obtained by rotating the image 90 ° counterclockwise on the display 300.
  • a user such as a surgeon can finely adjust the rotation angle of the image via the operation unit 140 of the control device 100.
  • the screen rotation information update may be performed in real time.
  • the frequency may be adjustable (for example, 60 seconds, 10 seconds, 1 second, or timing determined by the surgeon through manual operation).
  • control device 100 accepts and registers the designation of the factor that is the target of the shooting direction of the camera 200A for each user such as a surgeon or assistant.
  • the user can use the operation unit 140 of the control device 100 to determine factors that are targets of the shooting direction of the camera 200A, such as the surgeon's line-of-sight direction, the surgeon's body orientation, the treatment instrument 400 orientation, A designation such as the orientation of the display 300 is accepted.
  • the CPU 110 of the control device 100 stores a correspondence relationship between information for specifying the user and information for specifying a factor that is a target of the shooting direction of the camera 200 ⁇ / b> A in the memory 120.
  • the correspondence data may be stored in another device accessible by the control device 100.
  • FIG. 23 is a flowchart showing first information processing in the control device 100 according to the present embodiment. Note that the CPU 110 of the control device 100 receives a user ID and the like via the operation unit 140 in advance.
  • CPU 110 of control device 100 periodically acquires vector data indicating the shooting direction (z) of camera 200A from first sensor unit 501 via communication interface 160 (step S102). ).
  • CPU110 specifies the factor used as the target of the imaging direction of camera 200A based on the information for specifying the user currently in use (step S603).
  • the CPU 110 acquires vector data indicating the direction of the designated object from any of the sensor units 501 to 505 via the communication interface 160 (step S604).
  • the CPU 110 changes the shooting direction of the camera 200A based on the direction of the object (step S606). More specifically, the CPU 110 transmits a command for controlling the sensor horizontal direction changing unit 220 and the sensor vertical direction changing unit 230 of the camera 200A to the camera 200A via the communication interface 160, so that the camera 200A can be controlled. Orient the shooting direction as much as possible to the direction of the object. Then, the CPU 110 transmits a command for controlling the sensor rotation unit 240 of the camera 200A to the camera 200A via the communication interface 160, so that the upper side of the captured image is closest to the actual vertical upper side. The image sensor 210 at the tip of the 200A is rotated around the shooting direction.
  • the CPU 110 further corresponds to the camera orientation (z) after the direction change on the plane as the display correction angle Y for rotating and correcting the image. You may acquire the angle of the direction of the target object to perform (step S508 of FIG. 16).
  • the camera's shooting direction is adjusted based on factors such as the surgeon's line-of-sight direction, the surgeon's body orientation, the treatment instrument 400 orientation, and the display 300 orientation.
  • the present invention is not limited to this mode, and the shooting direction of the camera may be adjusted based on a plurality of these factors.
  • one aspect of the present invention can also be applied to a case where the object is achieved by supplying a program to a system or apparatus. Then, a storage medium (or memory) storing a program represented by software for achieving one embodiment of the present invention is supplied to the system or apparatus, and the computer (or CPU or MPU) of the system or apparatus stores it. The effect of one embodiment of the present invention can also be enjoyed by reading and executing the program code stored in the medium.
  • the program code itself read from the storage medium realizes the functions of the above-described embodiment, and the storage medium storing the program code constitutes one aspect of the present invention.
  • each block may be individually made into one chip by a semiconductor device such as an LSI, or may be made into one chip so as to include a part or all of them. May be.
  • LSI LSI
  • IC system LSI
  • super LSI ultra LSI depending on the degree of integration
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • each processing of the above-described embodiment may be realized by hardware, or may be realized by software (including a case where it is realized together with an OS (operating system), middleware, or a predetermined library). Good. Further, it may be realized by mixed processing of software and hardware. Needless to say, when the video output system and the control device according to the above-described embodiment are realized by hardware, it is necessary to adjust timing for performing each process. In the above embodiment, for convenience of explanation, details of timing adjustment of various signals generated in actual hardware design are omitted. ⁇ Summary>
  • the imaging system 1 including the camera 200A and the control device 100 that can communicate with the camera 200A is provided.
  • the control device 100 adjusts the shooting direction of the camera 200A based on the direction of the camera 200A and the direction of a predetermined object.
  • the imaging system 1 further includes a display 300.
  • the control device 100 rotates the captured image of the camera 200 ⁇ / b> A based on the angle on the plane between the direction of the camera 200 ⁇ / b> A and the direction of the predetermined object, and outputs the rotated image to the display 300.
  • control device 100 accepts designation of a predetermined object for each user.
  • the camera 200A is acquired based on the step of acquiring the direction of the camera 200A, the step of acquiring the direction of the predetermined object, the direction of the camera 200A, and the direction of the predetermined object. And a step of adjusting a photographing direction.
  • control device 100 including the communication interface 160 for communicating with the camera 200A and the processor 110 is provided.
  • the processor 110 adjusts the shooting direction of the camera 200A via the communication interface 160 based on the direction of the camera 200A and the direction of a predetermined object.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Astronomy & Astrophysics (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

カメラ（２００Ａ）と通信可能な制御装置（１００）とを備える撮影システム（１）が提供される。制御装置（１００）は、カメラ（２００Ａ）の向きと所定の対象物の向きとに基づいて、カメラ（２００Ａ）の撮影方向を調整する。あるいは、カメラ（２００Ａ）の向きを取得するステップと、所定の対象物の向きを取得するステップと、カメラ（２００Ａ）の向きと所定の対象物の向きとに基づいてカメラ（２００Ａ）の撮影方向を調整するステップと、を備える撮影方法が提供される。

Description

撮影システム、撮影方法および制御装置
　本出願は、２０１６年８月３日に出願された特願２０１６－１５２５０３に対して、優先権の利益を主張するものであり、それを参照することにより、その内容の全てを本書に含めるものである。
　以下の開示は、腹腔鏡手術などに利用できる撮影システム、撮影方法、および制御装置の技術に関する。
　従来から、腹腔鏡手術などに利用できる撮影システム、撮影方法、および制御装置に関する技術が知られている。たとえば、特許第４８６０６２９号明細書（特許文献１）には、腹腔鏡手術用モニター装置及びそのディスプレイ方法が開示されている。特許文献１によると、腹腔鏡手術用モニター装置は、一つの腹腔鏡部により撮影された映像画面がそれぞれ印加されて表示され、天井または床面からアームによりそれぞれ位置、高さ及び左右の傾斜角度を調整可能に支持される複数台のフラットパネル型の腹腔鏡用モニターと、これら腹腔鏡用モニターごとに設けられた画面回転操作部と、腹腔鏡用モニターごとに、その裏面に装着され、腹腔鏡用モニターを時計回り方向及び反時計回り方向に回転させる駆動モータと、駆動モータをそれぞれ回転駆動するモータ駆動部と、画面回転操作部からの回転要求に基づいてモータ駆動部を駆動制御することで、画面回転操作部を通じた施術者からの回転要求にしたがい、各腹腔鏡用モニターを、要求された回転角度だけ回転させる制御部と、アームの先端部から該先端部に対し回転不能に支持され、かつ、該アームに支持された腹腔鏡用モニターを収納しており、また、前面に円形状の開口窓が備えられて、該開口窓の周りで、該腹腔鏡用モニターの映像画面を覆う保護箱とを備えることを特徴とする。
特許第４８６０６２９号明細書
　本発明の一態様は、従来よりも執刀医などの治療者が利用しやすい撮影システム、撮影方法および制御装置を提供することにある。
　この発明のある態様に従うと、カメラと、前記カメラと通信可能な制御装置とを備える撮影システムが提供される。前記制御装置は、前記カメラの向きと所定の対象物の向きとに基づいて、前記カメラの撮影方向を調整する。
　好ましくは、撮影システムは、ディスプレイをさらに備える。前記制御装置は、前記カメラの向きと前記所定の対象物の向きとの平面上の角度に基づいて、前記カメラの撮影画像を回転させて前記ディスプレイに出力させる。
　好ましくは、前記制御装置は、ユーザ毎に、前記所定の対象物の指定を受付ける。
　この発明の別の局面に従うと、カメラの向きを取得するステップと、所定の対象物の向きを取得するステップと、前記カメラの向きと前記所定の対象物の向きとに基づいて前記カメラの撮影方向を調整するステップと、を備える撮影方法が提供される。
　この発明の別の局面に従うと、カメラと通信するための通信インターフェイスと、プロセッサとを備える制御装置が提供される。前記プロセッサは、前記通信インターフェイスを介して、前記カメラの向きと所定の対象物の向きとに基づいて、前記カメラの撮影方向を調整する。
　以上のように、本発明の一態様によれば、従来よりも治療者が利用しやすい撮影システム、撮影方法および制御装置が提供される。
第１の実施の形態にかかる映像出力システム１の全体構成と動作概要とを示す第１のイメージ図である。 第１の実施の形態にかかる映像出力システム１の全体構成と動作概要とを示す第２のイメージ図である。 第１の実施の形態にかかる映像出力システム１のハードウェア構成を表わすブロック図である。 第１の実施の形態にかかる制御装置１００のハードウェア構成を表わすブロック図である。 第１の実施の形態にかかるカメラ２００Ａの構成を示すイメージ図である。 第１の実施の形態にかかる制御装置１００における第１の情報処理を示すフローチャートである。 第２の実施の形態にかかる映像出力システム１の全体構成と動作概要とを示す第１のイメージ図である。 第２の実施の形態にかかる映像出力システム１の全体構成と動作概要とを示す第２のイメージ図である。 第２の実施の形態にかかる制御装置１００における第１の情報処理を示すフローチャートである。 第３の実施の形態にかかる映像出力システム１の全体構成と動作概要とを示す第１のイメージ図である。 第３の実施の形態にかかる映像出力システム１の全体構成と動作概要とを示す第２のイメージ図である。 第３の実施の形態にかかる制御装置１００における第１の情報処理を示すフローチャートである。 第４の実施の形態にかかる映像出力システム１の全体構成と動作概要とを示す第１のイメージ図である。 第４の実施の形態にかかる映像出力システム１の全体構成と動作概要とを示す第２のイメージ図である。 第４の実施の形態にかかる制御装置１００における第１の情報処理を示すフローチャートである。 第５の実施の形態にかかる制御装置１００における第１の情報処理を示すフローチャートである。 第５の実施の形態にかかる対象物の向きに合わせてカメラ２００Ａの撮影方向を変更した後のカメラ２００Ａと執刀医の体と執刀医の頭部とディスプレイ３００の向きの関係と位置関係とを示す平面図である。 第５の実施の形態にかかる対象物の向きに合わせてカメラ２００Ａの撮影方向を変更した後のカメラ２００Ａの撮影方向と執刀医の体の向きと執刀医の視線方向とディスプレイ３００の向きとの関係を示すイメージ図である。 第５の実施の形態にかかる制御装置１００における第２の情報処理を示す第１のフローチャートである。 第５の実施の形態にかかる制御装置１００における第２の情報処理を示す第２のフローチャートである。 第５の実施の形態にかかる映像出力システム１の実際の動作を示すイメージ図である。 第５の実施の形態にかかる映像出力システム１のディスプレイ３００における実際の動作結果を示すイメージ図である。 第６の実施の形態にかかる制御装置１００における第１の情報処理を示すフローチャートである。
　以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
　＜第１の実施の形態＞
　＜映像出力システムの全体構成と動作概要＞
　以下では、撮影システムのうち、ディスプレイを含む映像出力システムについて説明する。まず、図１および図２を参照して、本実施の形態にかかる映像出力システム１の全体構成と動作概要について説明する。なお、図１は、本実施の形態にかかる映像出力システム１の全体構成と動作概要とを示す第１のイメージ図である。図２は、本実施の形態にかかる映像出力システム１の全体構成と動作概要とを示す第２のイメージ図である。
　まず、本実施の形態にかかる映像出力システム１の全体構成について説明する。本実施の形態にかかる映像出力システム１は、主に、腹腔鏡などのカメラ２００Ａと、ディスプレイ３００と、カメラ２００Ａおよびディスプレイ３００を制御するための制御装置１００とを含む。以下では、本実施の形態にかかる映像出力システム１の動作概要について説明する。
　制御装置１００は、カメラ２００Ａで撮影した画像を、ディスプレイ３００に表示させる。特に、制御装置１００は、治療者としての執刀医が見やすい、あるいは執刀医が表示されている臓器や治療具などの位置関係が把握しやすい、あるいは執刀医が手術をしやすい、ようにカメラ２００Ａの撮影方向を変更してディスプレイ３００に表示させる。
　たとえば、図１に示すように、平面視において、執刀医が患者の左側から患者の右上のディスプレイ３００を見ている場合は、カメラ２００Ａの先端が、執刀医の視線方向（ｙ）と同様の方向（ｚ）、すなわち図１における右上方向、に向きを変えて、患者の体内を撮影する。そして、図２に示すように、平面視において、執刀医が患者の左側から患者の上側のディスプレイ３００を見ている場合は、カメラ２００Ａの先端が、執刀医の視線方向（ｙ）と同様の方向（ｚ）、すなわち図１における上方向、に向きを変えて、患者の体内を撮影する。
　以下、このような機能を実現するための映像出力システム１の具体的な構成について詳述する。
　＜映像出力システム１のハードウェア構成＞
　まず、本実施の形態にかかる映像出力システム１のハードウェア構成の一態様について説明する。なお、図３は、本実施の形態にかかる映像出力システム１のハードウェア構成を表わすブロック図である。
　図３を参照して、本実施の形態にかかる映像出力システム１は、治療部位や検査部位などを撮影するためのカメラ２００Ａと、当該カメラ２００Ａを制御するためのカメラ制御部２００Ｂと、治療部位や検査部位などの映像を出力するためのディスプレイ３００と、それらの装置を制御するための制御装置１００と、執刀医や患者やそれらの装置の位置や姿勢や向きなどを計測するためのセンサユニット５０１，５０２，５０３，５０４，５０５などを含む。
　本実施の形態にかかる第１のセンサユニット５０１は、カメラ２００Ａに取り付けられ、内部の電子コンパスまたは磁石を利用してカメラ２００Ａの撮影方向や姿勢やカメラ２００Ａの撮影画像の垂直上方からの傾きを示す角度を制御装置１００に提供する。なお、第１のセンサユニット５０１は、カメラ２００Ａの位置も取得して、カメラ２００Ａの位置を制御装置１００に送信するものであってもよい。そして、第１のセンサユニット５０１は、カメラ２００Ａに内包されたり、カメラ２００Ａと一体化されたりしているものであってもよい。
　本実施の形態にかかる第２のセンサユニット５０２は、執刀医の体または衣服に取り付けられ、内部の電子コンパスまたは磁石を利用して執刀医の体の向きを制御装置１００に提供する。なお、第２のセンサユニット５０２は、執刀医の体の位置も取得して、執刀医の体の位置を制御装置１００に送信するものであってもよい。
　本実施の形態にかかる第３のセンサユニット５０３は、執刀医の頭部に取り付けられ、内部の電子コンパスまたは磁石を利用して執刀医の視線方向または顔の向きを制御装置１００に提供する。なお、第３のセンサユニット５０３は、執刀医の頭部の位置も取得して、執刀医の頭部の位置を制御装置１００に送信するものであってもよい。
　本実施の形態にかかる第４のセンサユニット５０４は、ディスプレイ３００に取り付けられ、内部の電子コンパスまたは磁石を利用してディスプレイ３００の向きを制御装置１００に提供する。なお、第４のセンサユニット５０４は、ディスプレイ３００の位置も取得して、ディスプレイ３００の位置を制御装置１００に送信するものであってもよい。そして、第４のセンサユニット５０４は、ディスプレイ３００に内包されたり、ディスプレイ３００と一体化されたりしているものであってもよい。
　本実施の形態にかかる第５のセンサユニット５０５は、治療器具４００に取り付けられ、内部の電子コンパスまたは磁石を利用して治療器具４００の向きを制御装置１００に提供する。なお、第５のセンサユニット５０５は、治療器具４００の位置も取得して、治療器具４００の位置を制御装置１００に送信するものであってもよい。なお、第５のセンサユニット５０５は、治療器具４００に内包されたり、一体化されたりしているものであってもよい。
　なお、第１～第５のセンサユニット５０１～５０５が、カメラ２００Ａの方向・姿勢・位置、執刀医の体の方向・姿勢・位置、執刀医の頭部の方向・姿勢・位置、ディスプレイ３００の方向・姿勢・位置、治療器具４００の方向・姿勢・位置を正確に検知するために、手術室の４隅などに屋内ＧＰＳ用アンテナやＷｉＦｉ（登録商標）ルータや超音波発振器などを設置してもよい。
　ここで、本実施の形態にかかる制御装置１００のハードウェア構成の一態様について説明する。なお、図４は、本実施の形態にかかる制御装置１００のハードウェア構成を表わすブロック図である。
　図４を参照して、制御装置１００は、主たる構成要素として、ＣＰＵ（Central Processing Unit）１１０と、メモリ１２０と、操作部１４０と、通信インターフェイス１６０とを含む。
　ＣＰＵ１１０は、メモリ１２０に記憶されているプログラムを実行することによって、制御装置１００の各部を制御する。より詳細には、ＣＰＵ１１０は、メモリ１２０に格納されているプログラムを実行し、各種のデータを参照することによって、後述する各種の処理を実行する。
　メモリ１２０は、各種のＲＡＭ（Random　Access　Memory）、各種のＲＯＭ（Read-Only　Memory）などによって実現される。メモリ１２０は、ＣＰＵ１１０によって実行されるプログラムや、ＣＰＵ１１０によるプログラムの実行により生成されたデータ、入力されたデータ、その他のデータベースなどを記憶する。
　操作部１４０は、ユーザからの命令を受け付けて、当該命令をＣＰＵ１１０に入力する。なお、操作部１４０とは、ディスプレイを含むタッチパネルであってもよい。
　通信インターフェイス１６０は、カメラ制御部２００Ｂやディスプレイ３００などの装置からのデータを受信してＣＰＵ１１０に受け渡したり、ＣＰＵ１１０からのデータをカメラ制御部２００Ｂやディスプレイ３００などの装置に送信したりする。なお、通信インターフェイス１６０は、インターネット、ルータなどを介して、サーバなどの外部の他の機器とデータをやり取りしてもよい。
　次に、本実施の形態にかかるカメラ２００Ａのハードウェア構成の一態様について説明する。なお、図５は、本実施の形態にかかるカメラ２００Ａの構成を示すイメージ図である。本実施の形態においては、カメラ２００Ａは、主に、画像センサ２１０と、センサ水平方向変更部２２０と、センサ垂直方向変更部２３０と、センサ回転部２４０と、ライト２５０と、通信インターフェイス２６０とを含む。
　画像センサ２１０は、光を検知して画像を表すための信号を出力する。より詳細には、カメラ２００Ａは、ライト２５０から光を照射して、その反射光を画像センサ２１０が検知する。
　通信インターフェイス２６０は、画像センサ２１０で撮影された画像を、カメラ制御部２００Ｂや制御装置１００に送信する。
　センサ水平方向変更部２２０は、モータやアクチュエータから構成され、通信インターフェイス２６０を介して入力される制御装置１００からの指令に基づいて、画像センサ２１０で撮影される水平成分の方向を変更する。
　センサ垂直方向変更部２３０と、モータやアクチュエータから構成され、通信インターフェイス２６０を介して入力される制御装置１００からの指令に基づいて、画像センサ２１０で撮影される垂直成分の方向を変更する。
　センサ回転部２４０は、モータやアクチュエータから構成され、通信インターフェイス２６０を介して入力される制御装置１００からの指令に基づいて、画像センサ２１０を、画像センサ２１０の撮影方向を軸にして、回転させる。
　＜制御装置１００における情報処理＞
　次に、本実施の形態にかかる制御装置１００における第１の情報処理について説明する。なお、図６は、本実施の形態にかかる制御装置１００における第１の情報処理を示すフローチャートである。
　図６を参照して、制御装置１００のＣＰＵ１１０は、定期的に、通信インターフェイス１６０を介して第１のセンサユニット５０１から、カメラ２００Ａの撮影方向（ｚ）を示すベクトルデータを取得する（ステップＳ１０２）。
　ＣＰＵ１１０は、通信インターフェイス１６０を介して、第３のセンサユニット５０３から、執刀医の視線方向（ｙ）を示すベクトルデータを取得する（ステップＳ１０４）。
　ＣＰＵ１１０は、カメラ２００Ａの撮影方向（ｚ）を執刀医の視線方向（ｙ）と同じ向きに向けさせる（ステップＳ１０６）。より詳細には、ＣＰＵ１１０は、通信インターフェイス１６０を介して、カメラ２００Ａのセンサ水平方向変更部２２０とセンサ垂直方向変更部２３０とを制御するための指令をカメラ２００Ａに送信することによって、カメラ２００Ａの撮影方向（ｚ）を執刀医の視線方向（ｙ）に向けさせる。そして、ＣＰＵ１１０は、通信インターフェイス１６０を介して、カメラ２００Ａのセンサ回転部２４０を制御するための指令をカメラ２００Ａに送信することによって、撮影画像の上方が実際の垂直上方にもっとも近くなるようにカメラ２００Ａの先端の画像センサ２１０をその撮影方向を軸にして回転させる。
　これによって、制御装置１００のＣＰＵ１１０は、通信インターフェイス１６０を介してカメラ２００Ａからの画像データを取得する。そして、ＣＰＵ１１０は、通信インターフェイス１６０を介して、カメラ２００Ａから執刀医の視線方向に向けて撮影した映像をディスプレイ３００に表示させる。
　なお、カメラ２００Ａの撮影方向の変更の頻度は調整可能（例えば６０秒、１０秒、１秒、あるいはマニュアル操作で執刀医が判断したタイミング)であってもよい。あるいは、手術前に各装置の位置関係を『確定』させ、術中はカメラ２００Ａの撮影方向を変更しない設定を選択することができてもよい。
　＜第２の実施の形態＞
　第１の実施の形態においては、執刀医の視線の方向に基づいて、カメラ２００Ａの画像センサ２１０の方向を変更するものであった。しかしながら、そのような形態には限られない。本実施の形態においては、執刀医の体の向きに基づいて、カメラ２００Ａの画像センサ２１０の方向を変更するものである。
　図７および図８を参照して、本実施の形態にかかる映像出力システム１の動作概要について説明する。なお、図７は、本実施の形態にかかる映像出力システム１の全体構成と動作概要とを示す第１のイメージ図である。図８は、本実施の形態にかかる映像出力システム１の全体構成と動作概要とを示す第２のイメージ図である。
　なお、本実施の形態にかかる映像出力システム１の全体構成については、第１の実施の形態のそれと同様であるため、ここでは説明を繰り返さない。以下では、本実施の形態にかかる映像出力システム１の動作概要について説明する。
　本実施の形態においては、図７に示すように、執刀医の体が患者の左側から患者の方向を向いている場合は、カメラ２００Ａの先端が、執刀医の体の向き（ｘ）と同様の方向、すなわち図１における右方向、に向きを変えて、患者の体内を撮影する。そして、図８に示すように、執刀医が患者の右側から患者の方向を向いている場合は、カメラ２００Ａの先端が、執刀医の体の向き（ｘ）と同様の方向、すなわち図８における左上方向、に向きを変えて、患者の体内を撮影する。
　次に、本実施の形態にかかる制御装置１００における第１の情報処理について説明する。なお、図９は、本実施の形態にかかる制御装置１００における第１の情報処理を示すフローチャートである。
　図９を参照して、制御装置１００のＣＰＵ１１０は、定期的に、通信インターフェイス１６０を介して第１のセンサユニット５０１から、カメラ２００Ａの撮影方向（ｚ）を示すベクトルデータを取得する（ステップＳ１０２）。
　ＣＰＵ１１０は、通信インターフェイス１６０を介して、第２のセンサユニット５０２から、執刀医の体の向き（ｘ）を示すベクトルデータを取得する（ステップＳ２０４）。
　ＣＰＵ１１０は、カメラ２００Ａの撮影方向（ｚ）を執刀医の体の向き（ｘ）に向けさせる（ステップＳ２０６）。より詳細には、ＣＰＵ１１０は、通信インターフェイス１６０を介して、カメラ２００Ａのセンサ水平方向変更部２２０とセンサ垂直方向変更部２３０とを制御するための指令をカメラ２００Ａに送信することによって、カメラ２００Ａの撮影方向（ｚ）を執刀医の体の向き（ｘ）に向けさせる。そして、ＣＰＵ１１０は、通信インターフェイス１６０を介して、カメラ２００Ａのセンサ回転部２４０を制御するための指令をカメラ２００Ａに送信することによって、撮影画像の上方が実際の垂直上方にもっとも近くなるようにカメラ２００Ａの先端の画像センサ２１０をその撮影方向を軸にして回転させる。
　これによって、制御装置１００のＣＰＵ１１０は、通信インターフェイス１６０を介してカメラ２００Ａからの画像データを取得する。そして、ＣＰＵ１１０は、通信インターフェイス１６０を介して、カメラ２００Ａから執刀医の体の向きに向けて撮影した映像をディスプレイ３００に表示させる。
　＜第３の実施の形態＞
　第１の実施の形態においては、執刀医の視線の方向に基づいて、カメラ２００Ａの画像センサ２１０の方向を変更するものであった。しかしながら、そのような形態には限られない。本実施の形態においては、治療器具４００の方向に基づいて、カメラ２００Ａの画像センサ２１０の方向を変更するものである。
　図１０および図１１を参照して、本実施の形態にかかる映像出力システム１の動作概要について説明する。なお、図１０は、本実施の形態にかかる映像出力システム１の全体構成と動作概要とを示す第１のイメージ図である。図１１は、本実施の形態にかかる映像出力システム１の全体構成と動作概要とを示す第２のイメージ図である。
　なお、本実施の形態にかかる映像出力システム１の全体構成については、第１の実施の形態のそれと同様であるため、ここでは説明を繰り返さない。以下では、本実施の形態にかかる映像出力システム１の動作概要について説明する。
　本実施の形態においては、図１０に示すように、現在執刀医が使用している治療器具４００が患者の左下から右上に向いている場合、カメラ２００Ａの先端が図１０における右上方向に向きを変えて、患者の体内を撮影する。そして、図１１に示すように、現在執刀医が使用している治療器具４００が患者の左から右へ向いている場合は、カメラ２００Ａの先端が図１１における右方向に向きを変えて、患者の体内を撮影する。
　次に、本実施の形態にかかる制御装置１００における第１の情報処理について説明する。なお、図１２は、本実施の形態にかかる制御装置１００における第１の情報処理を示すフローチャートである。
　図１２を参照して、制御装置１００のＣＰＵ１１０は、定期的に、通信インターフェイス１６０を介して第１のセンサユニット５０１から、カメラ２００Ａの撮影方向（ｚ）を示すベクトルデータを取得する（ステップＳ１０２）。
　ＣＰＵ１１０は、通信インターフェイス１６０を介して、治療器具４００に取り付けられているセンサユニット５０５から、治療器具４００の向き（ｖ）を示すベクトルデータを取得する（ステップＳ３０４）。
　ＣＰＵ１１０は、カメラ２００Ａの撮影方向を治療器具４００の向き（ｖ）に向けさせる（ステップＳ３０６）。より詳細には、ＣＰＵ１１０は、通信インターフェイス１６０を介して、カメラ２００Ａのセンサ水平方向変更部２２０とセンサ垂直方向変更部２３０とを制御するための指令をカメラ２００Ａに送信することによって、カメラ２００Ａの撮影方向（ｚ）を治療器具４００の向き（ｖ）に向けさせる。そして、ＣＰＵ１１０は、通信インターフェイス１６０を介して、カメラ２００Ａのセンサ回転部２４０を制御するための指令をカメラ２００Ａに送信することによって、撮影画像の上方が実際の垂直上方にもっとも近くなるようにカメラ２００Ａの先端の画像センサ２１０をその撮影方向を軸にして回転させる。
　これによって、制御装置１００のＣＰＵ１１０は、通信インターフェイス１６０を介してカメラ２００Ａからの画像データを取得する。そして、ＣＰＵ１１０は、通信インターフェイス１６０を介して、カメラ２００Ａから治療器具４００と同じ向きに撮影した映像をディスプレイ３００に表示させる。
　＜第４の実施の形態＞
　第１の実施の形態においては、執刀医の視線の方向に基づいて、カメラ２００Ａの画像センサ２１０の方向を変更するものであった。しかしながら、そのような形態には限られない。本実施の形態においては、ディスプレイ３００の向きに基づいて、カメラ２００Ａの画像センサ２１０の方向を変更するものである。
　図１３および図１４を参照して、本実施の形態にかかる映像出力システム１の動作概要について説明する。なお、図１３は、本実施の形態にかかる映像出力システム１の全体構成と動作概要とを示す第１のイメージ図である。図１４は、本実施の形態にかかる映像出力システム１の全体構成と動作概要とを示す第２のイメージ図である。
　なお、本実施の形態にかかる映像出力システム１の全体構成については、第１の実施の形態のそれと同様であるため、ここでは説明を繰り返さない。以下では、本実施の形態にかかる映像出力システム１の動作概要について説明する。
　本実施の形態においては、図１３に示すように、ディスプレイ３００が左下方向に向いている場合、カメラ２００Ａの先端がディスプレイ３００の向きの逆方向、すなわち図１３における右上方向に向きを変えて、患者の体内を撮影する。そして、図１４に示すように、ディスプレイ３００が下方向へ向いている場合は、カメラ２００Ａの先端がディスプレイ３００の向きの逆方向、すなわち図１４における上方向に向きを変えて、患者の体内を撮影する。
　次に、本実施の形態にかかる制御装置１００における第１の情報処理について説明する。なお、図１５は、本実施の形態にかかる制御装置１００における第１の情報処理を示すフローチャートである。
　図１５を参照して、制御装置１００のＣＰＵ１１０は、定期的に、通信インターフェイス１６０を介して第１のセンサユニット５０１から、カメラ２００Ａの撮影方向（ｚ）を示すベクトルデータを取得する（ステップＳ１０２）。
　ＣＰＵ１１０は、通信インターフェイス１６０を介して、ディスプレイ３００に取り付けられているセンサユニット５０４から、ディスプレイの向き（ｗ）を示すベクトルデータを取得する（ステップＳ４０４）。
　ＣＰＵ１１０は、カメラ２００Ａの撮影方向（ｚ）をディスプレイ３００の向き（ｗ）の逆方向に向けさせる（ステップＳ４０６）。より詳細には、ＣＰＵ１１０は、通信インターフェイス１６０を介して、カメラ２００Ａのセンサ水平方向変更部２２０とセンサ垂直方向変更部２３０とを制御するための指令をカメラ２００Ａに送信することによって、カメラ２００Ａの撮影方向（ｚ）をディスプレイ３００の向き（ｗ）の逆向きに向けさせる。そして、ＣＰＵ１１０は、通信インターフェイス１６０を介して、カメラ２００Ａのセンサ回転部２４０を制御するための指令をカメラ２００Ａに送信することによって、撮影画像の上方が実際の垂直上方にもっとも近くなるようにカメラ２００Ａの先端の画像センサ２１０をその撮影方向を軸にして回転させる。
　これによって、制御装置１００のＣＰＵ１１０は、通信インターフェイス１６０を介してカメラ２００Ａからの画像データを取得する。そして、ＣＰＵ１１０は、通信インターフェイス１６０を介して、カメラ２００Ａからディスプレイ３００と逆方向の向きに撮影した映像をディスプレイ３００に表示させる。
　＜第５の実施の形態＞
　第１～第４の実施の形態においては、対象物の向きに基づいて、カメラ２００Ａの画像センサ２１０の方向を変更するものであった。しかしながら、カメラ２００Ａの先端の位置や対象物の向きなどよっては、画像センサ２１０の向きを、対象物の向きに合わせることが困難な場合がある。そのため、本実施の形態においては、できるだけカメラ２００Ａの画像センサ２１０の方向を対象物の向き近づけつつ、完全に一致させられない分を、撮影画像を回転させて表示させたり、画像センサ２１０の撮影画像の上方向を垂直上向きからずらすように画像センサ２１０自体を回転させたりする。
　本実施の形態にかかる制御装置１００における第１の情報処理について説明する。なお、図１６は、本実施の形態にかかる制御装置１００における第１の情報処理を示すフローチャートである。図１７は、本実施の形態にかかる対象物の向きに合わせてカメラ２００Ａの撮影方向を変更した後のカメラ２００Ａと執刀医の体と執刀医の頭部とディスプレイ３００の向きの関係と位置関係とを示す平面図である。図１８は、本実施の形態にかかる対象物の向きに合わせてカメラ２００Ａの撮影方向を変更した後のカメラ２００Ａの撮影方向と執刀医の体の向きと執刀医の視線方向とディスプレイ３００の向きとの関係を示すイメージ図である。
　図１６～図１８を参照して、制御装置１００のＣＰＵ１１０は、定期的に、通信インターフェイス１６０を介して第１のセンサユニット５０１から、カメラ２００Ａの撮影方向（ｚ）を示すベクトルデータを取得する（ステップＳ１０２）。
　ＣＰＵ１１０は、通信インターフェイス１６０を介して、いずれかのセンサユニット５０１～５０５から、対象物の向きを示すベクトルデータを取得する（ステップＳ５０４）。
　ＣＰＵ１１０は、対象物の向きに基づいてカメラ２００Ａの撮影方向に変更させる（ステップＳ５０６）。より詳細には、ＣＰＵ１１０は、通信インターフェイス１６０を介して、カメラ２００Ａのセンサ水平方向変更部２２０とセンサ垂直方向変更部２３０とを制御するための指令をカメラ２００Ａに送信することによって、カメラ２００Ａの撮影方向を「できるだけ」対象物の向きに向けさせる。そして、ＣＰＵ１１０は、通信インターフェイス１６０を介して、カメラ２００Ａのセンサ回転部２４０を制御するための指令をカメラ２００Ａに送信することによって、撮影画像の上方が実際の垂直上方にもっとも近くなるようにカメラ２００Ａの先端の画像センサ２１０をその撮影方向を軸にして回転させる。
　ＣＰＵ１１０は、画像を回転して補正するための表示補正角度Ｙとしての、平面上における方向変更後のカメラの向き（ｚ）に対応する対象物の向きの角度を取得する（ステップＳ５０８）。対象物が執刀医の視線の方向である場合、ＣＰＵ１１０は、下記の式に基づいて、表示補正角度Ｙを計算する。
　Ｙ＝ｙ－ｚ・・・（１）
　次に、本実施の形態にかかる制御装置１００における第２の情報処理について説明する。なお、図１９は、本実施の形態にかかる制御装置１００における第２の情報処理を示すフローチャートである。
　図１９を参照して、制御装置１００のＣＰＵ１１０は、通信インターフェイス１６０を介してカメラ２００Ａからの画像データを取得する（ステップＳ１５２）。
　ＣＰＵ１１０は、表示補正角度Ｙに基づいて、－Ｙ°さらに画像を回転する（ステップＳ１５６）。ＣＰＵ１１０は、通信インターフェイス１６０を介して、回転後の画像をディスプレイ３００に表示させる。
　なお、撮影画像の上方が実際の垂直上方にもっとも近くなるようにカメラ２００Ａを撮影方向を軸にして回転させられない場合は、図２０に示すように、ステップＳ１５２の後に、ステップＳ１５４として、ＣＰＵ１１０は、第１のセンサユニット５０１からのカメラ２００Ａの姿勢すなわち撮影画面の傾きの角度に基づいて、撮影された画像の上方向が実際の垂直上方向にもっとも近くなるように、画像を回転してもよい。
　図２１は、本実施の形態にかかる映像出力システム１の実際の動作を示すイメージ図である。図２２は、本実施の形態にかかる映像出力システム１のディスプレイ３００における実際の動作結果を示すイメージ図である。
　図２１および図２２を参照して、本実施の形態においては、カメラ２００Ａの撮影方向を「できるだけ」対象物の向きに向けた後、対象物の向きと方向変更後のカメラ２００の撮影方向とに基づいて、さらに画像が回転されて表示されるため、執刀医からディスプレイ３００への方向が変化するにつれて、表示される画像の回転角度が調整される。これによって、従来よりも執刀医が各部の位置関係を把握しやすくなり、その結果手術がしやすくなる。
　より詳細には、図２２のディスプレイ３００の画面には、図２１の４本の治療器具４００の内の、執刀医側の２本の治療器具４００が表示されている。
　そして、図２２のカメラ２００の向きを０°とした場合の執刀医の体の向きｘ＝１３５°および執刀医の視線の向きｙ＝１３５°の場合においては、補正角度Ｙ＝ｙ－ｚ＝１３５°となるため、ＣＰＵ１１０は、画像を反時計周りに１３５°回転させた画面をディスプレイ３００に表示する。
　そして、図２２のカメラ２００の向きを０°とした場合の執刀医の体の向きｘ＝１３５°および執刀医の視線の向きｙ＝９０°の場合においては、補正角度Ｙ＝ｙ－ｚ＝９０°となるため、ＣＰＵ１１０は、画像を反時計周りに９０°回転させた画面をディスプレイ３００に表示する。
　そして、図２２のカメラ２００の向きを０°とした場合の執刀医の体の向きｘ＝１３５°および執刀医の視線の向きｙ＝４５°の場合においては、補正角度Ｙ＝ｙ－ｚ＝４５°となるため、ＣＰＵ１１０は、画像を反時計周りに４５°回転させた画面をディスプレイ３００に表示する。このように、所定のルールに基づいて、撮影画像を回転させて表示することによって、執刀医が臓器や治療器具４００などの位置関係が解りやすくなる。
　なお、執刀医などのユーザは、制御装置１００の操作部１４０を介して、画像の回転角度の微調整をできることが好ましい。
　また、画面回転の情報更新はリアルタイムで行なってもよい。その頻度は調整可能（例えば６０秒、１０秒、１秒、あるいはマニュアル操作で執刀医が判断したタイミング)であってもよい。あるいは、手術前に各装置の位置関係や画像の回転角度を『確定』させ、術中は画像の回転角度を変更しない設定を選択することができてもよい。
　＜第６の実施の形態＞
　さらに、本実施の形態においては、制御装置１００が、執刀医や助手などのユーザ毎に、カメラ２００Ａの撮影方向の目標のもとになるファクターの指定を受け付けて登録する。
　たとえば、ユーザは、制御装置１００の操作部１４０を介して、カメラ２００Ａの撮影方向の目標のもとになるファクター、たとえば執刀医の視線方向、執刀医の体の向き、治療器具４００の向き、ディスプレイ３００の向きなど、の指定を受け付ける。制御装置１００のＣＰＵ１１０は、ユーザを特定するための情報と、カメラ２００Ａの撮影方向の目標のもとになるファクターを特定するための情報との対応関係をメモリ１２０に格納する。ただし、当該対応関係のデータは、制御装置１００がアクセス可能な他の装置に格納されてもよい。
　図２３は、本実施の形態にかかる制御装置１００における第１の情報処理を示すフローチャートである。なお、あらかじめ、制御装置１００のＣＰＵ１１０は、操作部１４０を介して、ユーザＩＤなどを受け付ける。
　図２３を参照して、制御装置１００のＣＰＵ１１０は、定期的に、通信インターフェイス１６０を介して第１のセンサユニット５０１から、カメラ２００Ａの撮影方向（ｚ）を示すベクトルデータを取得する（ステップＳ１０２）。
　ＣＰＵ１１０は、現在使用中のユーザを特定するための情報に基づいて、カメラ２００Ａの撮影方向の目標となるファクターを特定する（ステップＳ６０３）。
　ＣＰＵ１１０は、通信インターフェイス１６０を介して、いずれかのセンサユニット５０１～５０５から、指定された対象物の向きを示すベクトルデータを取得する（ステップＳ６０４）。
　ＣＰＵ１１０は、対象物の向きに基づいてカメラ２００Ａの撮影方向に変更させる（ステップＳ６０６）。より詳細には、ＣＰＵ１１０は、通信インターフェイス１６０を介して、カメラ２００Ａのセンサ水平方向変更部２２０とセンサ垂直方向変更部２３０とを制御するための指令をカメラ２００Ａに送信することによって、カメラ２００Ａの撮影方向を「できるだけ」対象物の向きに向けさせる。そして、ＣＰＵ１１０は、通信インターフェイス１６０を介して、カメラ２００Ａのセンサ回転部２４０を制御するための指令をカメラ２００Ａに送信することによって、撮影画像の上方が実際の垂直上方にもっとも近くなるようにカメラ２００Ａの先端の画像センサ２１０をその撮影方向を軸にして回転させる。
　なお、第５の実施の形態のように、この後さらに、ＣＰＵ１１０は、画像を回転して補正するための表示補正角度Ｙとしての、平面上における方向変更後のカメラの向き（ｚ）に対応する対象物の向きの角度を取得してもよい（図１６のステップＳ５０８）。
　＜第７の実施の形態＞
　なお、治療者としての執刀医が見やすい、あるいは執刀医が表示されている臓器や治療器具４００などの位置関係が把握しやすい、あるいは執刀医が手術をしやすい、ように調整できるファクターであればよく、第１～第６の実施の形態のような、執刀医の視線方向、執刀医の体の向き、治療器具４００の向き、ディスプレイ３００の向きなどのファクターに基づいてカメラの撮影方向を調整する形態には限られないし、これらのファクターのうちの複数のファクターに基づいてカメラの撮影方向を調整してもよい。
　なお、センサ等から取得したデータを蓄積することで、より最適な位置（回転角度）の関係を学習、導出することが可能である。また施術者の特徴（癖）をデータとして抽出することで施術者のスキルの向上にも寄与しうる。
　＜その他の応用例＞
　本発明の一態様は、システム或いは装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。そして、本発明の一態様を達成するためのソフトウェアによって表されるプログラムを格納した記憶媒体（あるいはメモリ）を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の一態様の効果を享受することが可能となる。
　この場合、記憶媒体から読出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明の一態様を構成することになる。
　また、コンピュータが読出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
　さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わる他の記憶媒体に書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
　また、上記の実施の形態で説明した映像出力システム、制御装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
　なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
　さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
　また、上記の実施の形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記の実施の形態に係る映像出力システム、制御装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記の実施の形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
　＜まとめ＞
　上記の第１～７の実施の形態においては、カメラ２００Ａ、カメラ２００Ａと通信可能な制御装置１００とを備える撮影システム１が提供される。制御装置１００は、カメラ２００Ａの向きと、所定の対象物の向きと、に基づいて、カメラ２００Ａの撮影方向を調整する。
　好ましくは、撮影システム１は、ディスプレイ３００をさらに備える。制御装置１００は、カメラ２００Ａの向きと所定の対象物の向きとの平面上の角度に基づいて、カメラ２００Ａの撮影画像を回転させてディスプレイ３００に出力させる。
　好ましくは、制御装置１００は、ユーザ毎に、所定の対象物の指定を受付ける。
　上記の実施の形態においては、カメラ２００Ａの向きを取得するステップと、所定の対象物の向きを取得するステップと、カメラ２００Ａの向きと、所定の対象物の向きと、に基づいてカメラ２００Ａの撮影方向を調整するステップと、を備える撮影方法が提供される。
　上記の実施の形態においては、カメラ２００Ａと通信するための通信インターフェイス１６０と、プロセッサ１１０とを備える制御装置１００が提供される。プロセッサ１１０は、通信インターフェイス１６０を介して、カメラ２００Ａの向きと、所定の対象物の向きと、に基づいて、カメラ２００Ａの撮影方向を調整する。
　今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
１　　　　　　　：撮影システム（映像出力システム）
１００　　　　　：制御装置
１１０　　　　　：プロセッサ（ＣＰＵ）
１２０　　　　　：メモリ
１４０　　　　　：操作部
１６０　　　　　：通信インターフェイス
２００Ａ　　　　：カメラ
２００Ｂ　　　　：カメラ制御部
２１０　　　　　：画像センサ
２２０　　　　　：センサ水平方向変更部
２３０　　　　　：センサ垂直方向変更部
２４０　　　　　：センサ回転部
２６０　　　　　：通信インターフェイス
３００　　　　　：ディスプレイ
４００　　　　　：治療器具
５０１－５０５　：センサユニット

Claims (5)

  1. 　カメラと、
    　前記カメラと通信可能な制御装置とを備え、
    　前記制御装置は、前記カメラの向きと所定の対象物の向きとに基づいて、前記カメラの撮影方向を調整する、撮影システム。
  2. 　ディスプレイをさらに備え、
    　前記制御装置は、前記カメラの向きと前記所定の対象物の向きとの角度に基づいて、前記カメラの撮影画像を回転させて前記ディスプレイに出力させる、請求項１に記載の撮影システム。
  3. 　前記制御装置は、ユーザ毎に、前記所定の対象物の指定を受付ける、請求項１または２に記載の撮影システム。
  4. 　カメラの向きを取得するステップと、
    　所定の対象物の向きを取得するステップと、
    　前記カメラの向きと前記所定の対象物の向きとに基づいて、前記カメラの撮影方向を調整するステップと、を備える撮影方法。
  5. 　カメラと通信するための通信インターフェイスと、
    　プロセッサとを備え、前記プロセッサは、前記通信インターフェイスを介して、前記カメラの向きと所定の対象物の向きとに基づいて、前記カメラの撮影方向を調整する、制御装置。
PCT/JP2017/020224 2016-08-03 2017-05-31 撮影システム、撮影方法および制御装置 WO2018025484A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/321,913 US20190159860A1 (en) 2016-08-03 2017-05-31 Photographing system, photographing method and control device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-152503 2016-08-03
JP2016152503A JP2019165271A (ja) 2016-08-03 2016-08-03 撮影システム、撮影方法および制御装置

Publications (1)

Publication Number Publication Date
WO2018025484A1 true WO2018025484A1 (ja) 2018-02-08

Family

ID=61074044

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/020224 WO2018025484A1 (ja) 2016-08-03 2017-05-31 撮影システム、撮影方法および制御装置

Country Status (3)

Country Link
US (1) US20190159860A1 (ja)
JP (1) JP2019165271A (ja)
WO (1) WO2018025484A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020510474A (ja) * 2017-03-07 2020-04-09 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 関節動作可能な遠位部分を持つツールを制御するためのシステム及び方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0928663A (ja) * 1995-05-15 1997-02-04 Olympus Optical Co Ltd 内視鏡装置
JP2005046200A (ja) * 2003-07-29 2005-02-24 Olympus Corp 内視鏡下手術システム
JP2012223363A (ja) * 2011-04-20 2012-11-15 Tokyo Institute Of Technology 手術用撮像システム及び手術用ロボット

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0928663A (ja) * 1995-05-15 1997-02-04 Olympus Optical Co Ltd 内視鏡装置
JP2005046200A (ja) * 2003-07-29 2005-02-24 Olympus Corp 内視鏡下手術システム
JP2012223363A (ja) * 2011-04-20 2012-11-15 Tokyo Institute Of Technology 手術用撮像システム及び手術用ロボット

Also Published As

Publication number Publication date
JP2019165271A (ja) 2019-09-26
US20190159860A1 (en) 2019-05-30

Similar Documents

Publication Publication Date Title
WO2018025483A1 (ja) 映像出力システム、映像出力方法および制御装置
JP6751456B2 (ja) ロボット外科手術システムで使用するための拡張現実ナビゲーションシステムおよびその使用方法
US20240090950A1 (en) System and method using augmented reality with shape alignment for medical device placement
US20160063707A1 (en) Image registration device, image registration method, and image registration program
US20200337789A1 (en) Guidance for positioning a patient and surgical robot
JP2016503676A (ja) ３次元トラッキングセンサを使用した位置決めおよびナビゲーション
JPH08542A (ja) 内視鏡位置検出装置
JP2007147422A (ja) 計測システム、画像処理装置及び方法
WO2006077665A1 (ja) 投影装置、投影装置の制御方法、複合投影システム、投影装置の制御プログラム、投影装置の制御プログラムが記録された記録媒体
AU2020316076B2 (en) Positioning a camera for perspective sharing of a surgical site
JP2023520602A (ja) 二次元医用画像ベースの脊椎手術計画装置及び方法
US20230180998A1 (en) Endoscope system, controller, control method, and recording medium
US20220215539A1 (en) Composite medical imaging systems and methods
JP2008146497A (ja) 画像処理装置、画像処理方法
WO2018025484A1 (ja) 撮影システム、撮影方法および制御装置
KR20100058031A (ko) 안면 영상 촬영장치
JP4222420B2 (ja) 映像表示装置、映像表示装置の映像歪み補正方法
US20220096164A1 (en) Systems and methods for facilitating optimization of an imaging device viewpoint during an operating session of a computer-assisted operation system
JP6461024B2 (ja) 画像位置合せ装置、方法およびプログラム
JP2008017348A (ja) 映像表示装置、映像信号の歪み補正処理方法
JP6392192B2 (ja) 画像位置合せ装置、画像位置合せ装置の作動方法およびプログラム
US10350010B2 (en) Method and system for verifying panoramic images of implants
US10049480B2 (en) Image alignment device, method, and program
US11510631B2 (en) Joint test data visualization
JP2008017347A (ja) 映像表示装置、映像信号の歪み補正処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17836591

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 17836591

Country of ref document: EP

Kind code of ref document: A1