WO2016132822A1 - 仮想オブジェクト表示装置、方法、プログラムおよびシステム - Google Patents

仮想オブジェクト表示装置、方法、プログラムおよびシステム Download PDF

Info

Publication number
WO2016132822A1
WO2016132822A1 PCT/JP2016/052039 JP2016052039W WO2016132822A1 WO 2016132822 A1 WO2016132822 A1 WO 2016132822A1 JP 2016052039 W JP2016052039 W JP 2016052039W WO 2016132822 A1 WO2016132822 A1 WO 2016132822A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual object
display
marker
information
display state
Prior art date
Application number
PCT/JP2016/052039
Other languages
English (en)
French (fr)
Inventor
潤 桝本
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2016132822A1 publication Critical patent/WO2016132822A1/ja
Priority to US15/654,098 priority Critical patent/US20170315364A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment

Definitions

  • the present invention relates to a virtual object display device, method, program, and system capable of changing the display state of a virtual object when, for example, the virtual object is displayed using augmented reality.
  • a virtual object is superimposed on a real-time background image acquired by photographing a real space and displayed on a display device such as a head-mounted display, so that the virtual object exists in the real space.
  • Display systems that use augmented reality to show have been proposed.
  • a marker that defines a position for displaying a virtual object is arranged in the real space.
  • a marker is detected from the background image
  • the position, size and orientation for displaying the virtual object are determined according to the detected marker position, size and orientation, and the virtual object is displayed on the display device according to the determined display position, size and orientation. Is displayed.
  • An image such as a two-dimensional barcode is used as the marker.
  • a method of using an LED (Light Emission Diode) or an operator's finger as a marker has been proposed.
  • augmented reality includes a method of operating a virtual object by including the operator's finger in the background video and moving the finger like a cursor (see Patent Document 2), and an operation interface for operating the virtual object. And a method of operating a virtual object using the displayed operation interface (see Patent Document 3) and the like.
  • a pre-operative conference is held to gather the attendees of the operation before the operation and explain the operation.
  • an operation is simulated by displaying a site to be operated using augmented reality.
  • a liver, portal vein, vein, artery, body surface, bone, and three-dimensional image obtained from a CT (Computed Tomography) image or MRI (magnetic Resonance image) tomographic image.
  • CT Computerputed Tomography
  • MRI Magnetic Resonance image
  • the virtual object is displayed at actual size, and the displayed virtual object is used to explain the explanation and procedure from the surgeon who is the representative of the preoperative conference to the conference attendees. Simulation is performed.
  • attendees of the conference can wear a conference while viewing a common virtual object by wearing a display device such as a head-mounted display.
  • a virtual object to be operated and a real object such as a medical instrument are superimposed on the head mounted display, and the virtual object is displayed according to an operator's instruction.
  • a method of switching between display and non-display and enlarging / reducing a virtual object according to the distance from the object has been proposed (see Patent Document 4).
  • a method has been proposed in which a virtual object is displayed on a head-mounted display worn by each person, an object such as a scalpel is detected, and the virtual object is enlarged and transparently displayed by operating the object (Patent Document 5). reference).
  • Patent Document 6 when displaying a virtual object on the basis of a marker, a method of changing the position, orientation, and inclination for each corresponding object by moving the marker has been proposed (see Patent Document 6).
  • the virtual object can be displayed in various display states by changing the display state such as the color, brightness and opacity of the virtual object displayed using augmented reality.
  • Patent Documents 1 and 2 operate by moving a video image such as a finger displayed on the screen toward the virtual object with respect to the virtual object displayed using augmented reality. Is to do. For this reason, if the position of the displayed virtual object changes due to the change in the orientation of the operator's face, the operation for moving the image such as a finger becomes difficult. Further, when the virtual object is displayed in a small size, the operation amount of the finger or the like for the operation becomes small, so that the operation for moving the image of the finger or the like becomes more difficult. In the method described in Patent Document 3, an operation interface is also displayed using augmented reality, so that an operation is performed on a space rather than an object.
  • Patent Documents 4 to 6 also enlarge or reduce the virtual object, or switch between display and non-display depending on the distance between the object or marker and the virtual object.
  • an operation for change becomes difficult.
  • the present invention has been made in view of the above circumstances, and an object thereof is to make it possible to accurately change the display state of a virtual object.
  • a virtual object display device includes a photographing means for acquiring a background video, Virtual object acquisition means for acquiring a virtual object; Display means for displaying virtual objects; Display information acquisition means for acquiring display information representing a position for displaying a virtual object from a background image; Display control means for displaying the virtual object on the display means based on the display information; Change information acquisition means for acquiring change information for changing the display state of the virtual object from the background video; Display state changing means for changing the display state of the virtual object according to the change information; It is characterized by comprising a set amount display control means for displaying information indicating the set amount of the display state of the virtual object on the display means.
  • Background image is a background image for displaying a virtual object, for example, a real space image.
  • the background video is a moving image acquired by sequentially capturing the background on which the virtual object is displayed at a predetermined sampling interval.
  • Display information refers to the background by photographing a virtual object display object that is placed in the real space in order to specify the position where the virtual object is displayed, and if necessary, at least one of size and orientation. Information included in the video.
  • the virtual object display object includes, for example, a two-dimensional bar code, a marker with a color or pattern, a marker such as an LED, some device, a part of the body such as an operator's finger, and an object included in the background image. Feature points such as edges or intersections of edges can be used.
  • the display information is acquired from the marker image representing the marker included in the background video.
  • “Change information” is information included in the background video by photographing the object for changing the display state of the virtual object placed in the real space where the operator is present in order to change the display state of the virtual object.
  • the object for changing the display state of the virtual object for example, a two-dimensional barcode, a marker provided with a color or a pattern, a marker such as an LED, some instrument, and a part of the body such as an operator's finger can be used. .
  • the change information is acquired from the marker image representing the marker included in the background video.
  • Changing the display state means changing the state of the virtual object that appeals to the visual sense of the viewer of the virtual object. For example, it means changing the color, brightness, contrast, opacity, sharpness, etc. of the virtual object.
  • the change of the form with the passage of time is also included in the change of the display state.
  • the display state may be changed for each object.
  • “Information indicating the set amount” is information by which the set amount of the display state of the virtual object being displayed can be recognized.
  • information that can represent a set amount such as a numerical value that represents the set amount, a pie chart, a bar graph, and a scale with a scale can be used as “information representing the set amount”.
  • the background video may be acquired by photographing a background corresponding to the user's visual field.
  • the display information may further include at least one of a size and an orientation when displaying the virtual object.
  • the display means may display the virtual object combined with the background video.
  • the display information acquisition unit is configured to capture from the first marker image representing the first marker included in the background video by photographing the first marker for displaying the virtual object. Display information may be acquired.
  • the change information acquisition unit represents the second marker included in the background video by photographing at least one second marker for changing the display state of the virtual object. Change information may be acquired from the second marker image.
  • the change information may be a change amount from the reference position of the second marker.
  • the set amount display control means may display information indicating the set amount in the vicinity of the second marker image.
  • Nearby means that the distance is such that both the second marker image and the information indicating the set amount can be observed without moving the line of sight. Note that the “neighborhood” includes both that the second marker image is in contact with the information representing the set amount and that the information is superimposed.
  • the second marker may be a polyhedron in which information for changing the display state is assigned to each surface.
  • the polyhedron may be a cube.
  • the virtual object includes a plurality of objects
  • the change information acquisition means acquires a plurality of object change information for changing the display states of the plurality of objects
  • the display state changing means changes the display state for each of the plurality of objects according to the object change information.
  • the set amount display means may display information representing the set amount of each of the plurality of objects on the display means for each of the plurality of objects.
  • the virtual object may be a three-dimensional image.
  • the 3D image may be a medical 3D image.
  • the display means may be a glasses-type display device.
  • Examples of the “glasses-type display device” include a head-mounted display and a display device of a glasses-type wearable terminal. Further, it may be either an immersive type that completely covers the eyes or a transmissive type that can see the surrounding situation.
  • the virtual object display system includes a plurality of virtual object display devices according to the present invention corresponding to each of a plurality of users,
  • the display state changing means in each of the plurality of virtual object display devices changes the display state of the virtual object in accordance with the change information acquired by the change information acquisition means of any one virtual object display device. To do.
  • Another virtual object display system includes a plurality of virtual object display devices according to the present invention corresponding to a plurality of users, respectively.
  • the display state changing means in each of the plurality of virtual object display devices changes the display state of the virtual object in accordance with the change information acquired by the change information acquisition means of each virtual object display device It is.
  • the virtual object display method obtains a background video, Get a virtual object, Get the display information indicating the position to display the virtual object from the background video, Based on the display information, the virtual object is displayed on the display means, Change information for changing the display state of the virtual object is obtained from the background video, Change the display state of the virtual object according to the change information, Information representing the set amount of the display state of the virtual object is displayed on the display means.
  • the virtual object is displayed based on the display information, and the display state of the virtual object is changed according to the change information. Then, information indicating the set amount of the display state of the virtual object is displayed. For this reason, if the information indicating the displayed set amount is viewed, the set value of the display state of the current virtual object can be recognized, whereby the display state of the virtual object can be accurately changed.
  • FIG. 1 is a hardware configuration diagram showing an overview of a virtual object display system to which a virtual object display device according to a first embodiment is applied.
  • the block diagram which shows schematic structure of the head mounted display which is a virtual object display apparatus Diagram showing examples of virtual objects
  • video The figure which shows typically the display state of the virtual object in the place where the preoperative conference is performed
  • the figure which shows the 2nd marker The figure for demonstrating the change of the inclination of a 2nd marker
  • the flowchart which shows the process performed in 1st Embodiment.
  • the figure shows the 1st Embodiment.
  • FIG. 1 is a diagram for explaining a usage situation of a virtual object display device according to the first embodiment of the present invention.
  • the virtual object display device according to the first embodiment is for displaying, as a virtual object, a three-dimensional image of a liver to be operated using augmented reality at a conference before surgery.
  • a three-dimensional image of the liver is generated as a virtual object from a three-dimensional image acquired by imaging the subject, and the attendees of the operation at a pre-operative conference are asked to perform a head-mounted display (Head Mount Display) Is used in a situation where a virtual object is displayed on the HMD and various explanations about the operation are received from the surgeon who is a representative of the pre-operative conference.
  • the virtual object display device according to the present invention is included in the HMD.
  • FIG. 2 is a hardware configuration diagram showing an outline of a virtual object display system to which the virtual object display device according to the first embodiment is applied.
  • a plurality of (four in the present embodiment) HMDs 1A to 1D, the three-dimensional image photographing device 2, and the image storage server including the virtual object display device according to the first embodiment. 3 are connected in a communicable state via the network 4.
  • Information can also be exchanged between the HMDs 1A to 1D via the network 4.
  • the HMDs 1A to 1D correspond to the virtual object display device of the present invention. In the following description, it is assumed that four HMDs 1A to 1D may be represented by HMD1.
  • the three-dimensional image capturing apparatus 2 is an apparatus that generates a three-dimensional image V0 representing a part by photographing a part to be operated on the subject. Specifically, a CT apparatus, an MRI apparatus, and PET (Positron Emission Tomography) apparatus or the like.
  • the three-dimensional image V0 generated by the three-dimensional image photographing device 2 is transmitted to the image storage server 3 and stored.
  • the target site for the operation of the subject is the liver
  • the three-dimensional image capturing device 2 is a CT device
  • a three-dimensional image V0 of the abdomen is generated.
  • the image storage server 3 is a computer that stores and manages various data, and includes a large-capacity external storage device and database management software.
  • the image storage server 3 communicates with other devices via a wired or wireless network 4 to transmit and receive image data and the like.
  • image data such as a three-dimensional image V0 generated by the three-dimensional image photographing device 2 is acquired via a network, and stored and managed in a recording medium such as a large-capacity external storage device.
  • the image data storage format and communication between devices via the network 4 are based on a protocol such as DICOM (Digital Imaging and Communication in Medicine).
  • HDM 1 includes a computer, and the virtual object display program of the present invention is installed in the computer.
  • the virtual object display program is installed in a memory included in the HMD 1. Alternatively, it is stored in a storage device of a server computer connected to a network or a network storage in a state accessible from the outside, and is downloaded to the HMD 1 and installed on demand.
  • FIG. 3 is a block diagram showing a schematic configuration of the HMD 1 which is a virtual object display device realized by installing a virtual object display program.
  • the HMD 1 includes a CPU (Central Processing Unit) 11, a memory 12, a storage 13, a camera 14, a display 15, and an input unit 16.
  • the gyro sensor 17 for detecting the movement of the head of the wearer of the HMD 1 is also provided.
  • the camera 14 corresponds to the photographing means of the present invention
  • the display 15 corresponds to the display means of the present invention.
  • the camera 14, the display 15, and the gyro sensor 17 may be provided in a portion where the head of the HMD 1 is attached, and the memory 12, the storage 13, and the input unit 16 may be provided separately from the attachment portion.
  • the storage 13 stores various types of information including images generated by processing with the three-dimensional images V0 and HMD1 acquired from the image storage server 3 via the network 4.
  • the camera 14 includes a lens, an imaging device such as a CCD (Charge Coupled Device), and an image processing unit that performs processing for improving the image quality of the acquired image.
  • the camera 14 is attached to the HMD 1 so as to be located at a portion corresponding to the center of both eyes of the attendees in the HMD 1.
  • the field of view of the wearer and the photographing range of the camera 14 coincide. Therefore, when the attendee wears the HMD 1, the camera 14 captures an image corresponding to the attendee's field of view, and obtains an image of the real space viewed by the attendee as the background image B0.
  • the background video B0 is a moving image having a predetermined frame rate.
  • the display 15 includes a liquid crystal panel for displaying the background video B0 and the virtual object S0.
  • the display 15 includes a display unit for the left eye and the right eye of the wearer of the HMD 1.
  • the input unit 16 includes, for example, buttons and is provided at a predetermined position on the exterior of the HMD 1.
  • the memory 12 stores a virtual object display program.
  • the virtual object display program is a process to be executed by the CPU 11, an image acquisition process of the 3D image V 0 acquired by the 3D image capturing device 2 and the background video B 0 acquired by the camera 14, a virtual object acquisition process of acquiring a virtual object, Display information acquisition processing for acquiring display information representing the position, size, and orientation for displaying a virtual object from the background video B0, the background video B0 is displayed on the display 15, and the virtual object is displayed on the display 15 based on the display information Display control processing, change information acquisition processing for acquiring change information for changing the display state of the virtual object from the background video B0, display state change processing for changing the display state of the virtual object according to the change information, and virtual object Information indicating the set amount of the display state of It defines a set amount display control processing for displaying the play 15.
  • the HMD 1 has an image acquisition unit 21, a virtual object acquisition unit 22 (virtual object acquisition unit), a display information acquisition unit 23 (display information acquisition unit), and a display control unit. 24 (display control unit), change information acquisition unit 25 (change information acquisition unit), display state change unit 26 (display state change unit), and set amount display control unit 27 (set amount display control unit).
  • the HMD 1 includes processing devices that respectively perform image acquisition processing, virtual object acquisition processing, display information acquisition processing, display control processing, change information acquisition processing, display state change processing, and set amount display control processing. Also good.
  • the image acquisition unit 21 acquires the three-dimensional image V0 and the background video B0 taken by the camera 14.
  • the image acquisition unit 21 may acquire the three-dimensional image V0 from the storage 13 when it is already stored in the storage 13.
  • the virtual object acquisition unit 22 generates a three-dimensional image of the liver that is the target site for surgery as a virtual object. For this reason, the virtual object acquisition unit 22 first extracts the liver, which is a target site for surgery, and the artery, vein, portal vein, and lesion included in the liver from the three-dimensional image V0. The virtual object acquisition unit 22 identifies whether each pixel in the three-dimensional image V0 is a pixel indicating the liver, an artery, a vein, a portal vein, and a lesion (hereinafter referred to as a liver) included in the liver. Equipped with a bowl.
  • the discriminator is acquired by machine learning of a plurality of sample images including the liver and the like using a technique such as an Adaboosting algorithm.
  • the virtual object acquisition unit 22 extracts a liver and the like from the three-dimensional image V0 using a discriminator.
  • the virtual object acquisition part 22 produces
  • a projection image obtained by projecting the extracted liver or the like on a projection plane determined by display information described later is generated as a virtual object S0.
  • a specific method of projection for example, a known volume rendering method or the like is used.
  • the virtual object S0 may be generated by defining different colors for the liver and arteries, veins, portal veins, and lesions included in the liver, or the virtual object S0 may be generated by defining different opacity.
  • the artery may be red, the vein blue, the portal vein green, and the lesion yellow.
  • the opacity of the liver may be 0.1
  • the opacity of arteries, veins and portal veins may be 0.5
  • the opacity of the lesion may be 0.8.
  • the virtual object S0 by defining different colors or opacity for the liver and the arteries, veins, portal veins and lesions included in the liver, the arteries, veins, portal veins and lesions included in the liver and liver are defined. Can be easily identified.
  • the virtual object S0 may be generated by defining both different colors and different opacity.
  • the generated virtual object S0 is stored in the storage 13.
  • a virtual object S0 may be generated from the three-dimensional image V0 and stored in the image storage server 3 by a virtual object generation device (not shown).
  • the virtual object acquisition unit 22 acquires the virtual object S0 from the image storage server 3.
  • the display information acquisition unit 23 acquires display information representing the position, size, and direction for displaying the virtual object S0 from the background video B0.
  • display information is acquired from a marker image representing the first marker included in the background video B0 by photographing the first marker for virtual object display.
  • FIG. 5 is a diagram showing the first marker.
  • the first marker 30 is configured by sticking a two-dimensional barcode on a flat plate.
  • the first marker 30 may be a two-dimensional barcode printed on paper.
  • the first marker 30 is placed at a place where a preoperative conference is performed. Four attendees 31A to 31D wear HMDs 1A to 1D, respectively.
  • the background video B0 photographed by the camera 14 is displayed on the display 15.
  • the attendant turns his / her line of sight toward the first marker 30 so that the background image B0 displayed on the display 15 includes the first marker image 31 which is the image of the first marker 30.
  • the display information acquisition unit 23 extracts the first marker image 31 representing the first marker 30 from the background video B0.
  • FIG. 7 is a diagram showing a first marker image extracted from the background video B0. Note that the first marker image shown in FIG. 7 is acquired by the HMD 1A of the attendee 31A.
  • the two-dimensional barcode of the first marker 30 includes three reference points 30a to 30c as shown in FIG.
  • the display information acquisition unit 23 detects the reference points 30a to 30c in the extracted first marker image 32. Then, the position, size, and orientation for displaying the virtual object S0 are determined from the detected positions of the reference points 30a to 30c and the interval between the reference points.
  • the position where the reference points 30a and 30b can be seen side by side is defined as the front position when the virtual object S0 is displayed. Therefore, by detecting the positions of the reference points 30a and 30b in the first marker image 32, the rotation of the virtual object S0 from the front position with respect to the axis orthogonal to the first marker 30 (hereinafter referred to as the z axis). The position can be determined, and the size at which the virtual object S0 is displayed can be determined based on the difference between the distance between the reference points 30a and 30b and a predetermined reference value.
  • the display information acquisition unit 23 outputs the determined position, size, and orientation of the virtual object S0 as display information.
  • the display control unit 24 defines a projection plane on which the virtual object S0 is projected using the display information, and projects the virtual object S0 on the projection plane.
  • the projected virtual object S0 is superimposed on the background video B0 and displayed on the display 15.
  • FIG. 8 is a diagram schematically showing the display state of the virtual object S0 at the place where the preoperative conference is performed. As shown in FIG. 8, each of the attendees 31A to 31D displays a three-dimensional image of the liver having a size and an orientation corresponding to the position where the attendee is present as the virtual object S0 on the first marker 30 in the real space. The display 15 can be observed on the display 15.
  • the display control unit 24 displays the virtual object S0 on the display unit for the left eye and the display unit for the right eye of the display 15 so as to have parallax. Thereby, the attendee can stereoscopically view the virtual object S0.
  • the orientation of the virtual object S0 displayed on the display 15 can be changed by rotating or tilting the first marker 30 with respect to the z axis.
  • the change information acquisition unit 25 acquires change information for changing the display state of the virtual object from the background video B0.
  • the display state the color, brightness, contrast, opacity, sharpness, etc. of the virtual object S0 can be defined. In the present embodiment, it is assumed that opacity is defined.
  • the change information is acquired from the marker image representing the second marker included in the background video B0 by photographing the second marker for changing the display state of the virtual object S0.
  • FIG. 9 is a diagram illustrating the second marker.
  • the 2nd marker 34 is comprised by affixing a two-dimensional barcode on each surface of a cube.
  • the second marker 34 may be a two-dimensional barcode printed on each surface of the cubic development view and assembled so as to form a cube.
  • the opacity is defined as the display state for the two-dimensional barcode to be pasted on all the surfaces.
  • a two-dimensional barcode in which a different display state is defined for each surface is pasted. May be.
  • a two-dimensional barcode that defines color, brightness, and sharpness in addition to opacity may be pasted on each surface of a cube.
  • the second marker 34 When performing a pre-operative conference, the second marker 34 is held by the surgeon explaining the operation. The surgeon has a second marker 34 so that the second marker 34 enters the imaging range of the camera 14 of his / her HMD1. Note that any one of the six surfaces of the second marker 34 may be reflected in the background video B0 from the front. Thereby, the marker image 35 of the second marker 34 is displayed on the display 15. In addition, when the second marker 34 pasted with a two-dimensional barcode defining a different display state for each surface is used, the surgeon displays the two-dimensional barcode defining the display state to be changed in the background image B0. What is necessary is just to make it have the 2nd marker 34 so that it may be included.
  • the change information acquisition unit 25 extracts a second marker image 35 representing the second marker 34 from the background video B0.
  • the surgeon changes the inclination of the background image B0 displayed on the display 15 with respect to the second image 34 with respect to the horizontal plane.
  • FIG. 10 is a diagram for explaining a change in the inclination of the second marker 34.
  • the display state of the virtual object S0 is changed by rotating the second marker 34 clockwise with respect to the background video B0. Thereby, the amount of change in the display state increases as the amount of clockwise rotation increases.
  • the change information acquisition unit 25 detects the reference points 34a and 34b in the extracted second marker image 35. Then, a straight line connecting the detected reference points 34a and 34b is defined, and the angle of the straight line with respect to the horizontal plane of the background image B0 is calculated.
  • the change information acquisition unit 25 of the HMD 1 worn by the surgeon obtains the change information, and transmits the obtained change information to the HMD 1 worn by other attendees via the network 4.
  • the change information acquisition unit 25 acquires the ratio of the calculated angle with respect to 360 degrees as change information. For example, when the angle is 0 degree, the change information is 0, and when the angle is 90 degrees, the change information is 0.25.
  • the HMD 1 is provided with a gyro sensor 17 for detecting the movement of the wearer. For this reason, the horizontal plane of the HMD 1 may be detected by the gyro sensor 17, and the angle of the straight line connecting the reference points 34a and 34b may be calculated using the horizontal plane detected by the gyro sensor 17 as a reference.
  • two second markers 36 and 37 may be prepared, the relative angles of the two markers 36 and 37 may be calculated, and change information may be acquired based on this. For example, as shown in FIG. 11, an angle ⁇ at which a straight line passing through the reference points 36a and 36b in one marker 36 and a straight line passing through the reference points 37a and 37b in the other marker 37 is calculated. You may make it acquire the ratio with respect to 360 degree
  • the first marker 30 is the same as the second marker 34, and a two-dimensional barcode is pasted on each surface of the cube, and the horizontal plane defined by the first marker image 31 and the second marker image 35.
  • Relative information may be calculated, and change information may be acquired based on the calculated angle. For example, as shown in FIG. 12, an angle ⁇ at which a straight line passing through the reference points 30a and 30b in the first marker image 31 and a straight line passing through the reference points 34a and 34b in the second marker image 35 intersect is calculated. You may make it acquire the ratio with respect to 360 degrees of the calculated angle as change information.
  • the second marker 34 may be held and operated by hand, but the second marker 34 may be placed on a table. In this case, since the second marker 34 rotates only in units of 90 degrees, the display state cannot be continuously changed, but it is not necessary to always hold the second marker 34 in the hand. .
  • the display state change unit 26 changes the display state of the virtual object S0 using the change information acquired by the change information acquisition unit 25. For example, when the opacity in the initial state of the virtual object S0 is 1.00 and the change information is 0.25, the opacity is changed to 0.75.
  • the set amount display control unit 27 displays information indicating the set amount of the display state of the virtual object S0 on the display 15.
  • a pie chart is used in the present embodiment.
  • the set amount display control unit 27 displays a pie chart 38 as information representing the set amount above the second marker image 35. 10 shows the pie chart 38 when the opacity is 1.00 as an initial state, but when the angle of the second marker 34 is changed to 90 degrees, the change information is 0.25. Therefore, as shown in FIG. 13, the pie chart 38 indicates that the opacity is 0.75.
  • a bar graph may be used instead of the pie graph, and a scale 39 with a scale as shown in FIG. 14 may be used. Further, it may be a numerical value representing a set amount.
  • the display position of the information representing the set amount is not limited to the upper side of the second marker image 35, and both the second marker image 35 and the information representing the set amount are recognized without moving the line of sight. If possible, it may be the left or right of the second marker image 35, or below. Information representing the set amount may be superimposed on the second marker image 35. Further, the information indicating the set amount may be displayed at an arbitrary position on the display 15.
  • FIG. 15 is a flowchart showing processing performed in the first embodiment. It is assumed that the first marker 30 is placed at a place where a pre-operative conference is performed, and the surgeon holds the second marker 34 in his / her hand.
  • the image acquisition unit 21 acquires the three-dimensional image V0 and the background video B0 (step ST1), and the virtual object acquisition unit 22 acquires the virtual object S0 from the three-dimensional image V0 (step ST2).
  • the display information acquisition unit 23 extracts the first marker image 31 representing the first marker 30 from the background video B0, and determines the position, size, and direction of displaying the virtual object S0 from the first marker image 31. Display information to be represented is acquired (step ST3).
  • the display control unit 24 superimposes the virtual object S0 on the background video B0 and displays it on the display 15 (step ST4). Thereby, the attendee of the preoperative conference wearing the HMD 1 can observe the state in which the virtual object S0 is displayed in the real space.
  • the virtual object S0 can be tilted or rotated by tilting the first marker 30 or rotating it around an axis (z axis) orthogonal to the two-dimensional barcode.
  • the set amount display control unit 27 displays information representing the set amount of the display state of the virtual object S0 on the display 15 (step ST5).
  • the change information acquisition unit 25 extracts the second marker image 35 representing the second marker 34 from the background video B0, calculates the angle of the second marker image 35 with respect to the horizontal plane of the background video B0, and calculates The display state change information of the virtual object S0 is acquired from the angle (step ST6). Then, the display state changing unit 26 changes the display state of the virtual object S0 using the change information (step ST7), and the set amount display control unit 27 changes the information indicating the set amount of the display state and displays it. 15 (step ST8), and returns to step ST6.
  • the display state of the virtual object S0 is changed according to the change information, and information indicating the set amount of the display state of the virtual object S0 is displayed. For this reason, if the information indicating the displayed set amount is viewed, the set value of the display state of the current virtual object S0 can be recognized, and thereby the display state of the virtual object S0 can be accurately changed. .
  • change information can be acquired by moving the 2nd marker 34 by acquiring change information from the 2nd marker image 35 showing the 2nd marker 34 contained in background image
  • the display state of the virtual object S0 can be changed corresponding to the actual operation.
  • the display state of the second marker image 35 can be easily associated with the information representing the set amount.
  • the display state of the virtual object S0 can be easily changed.
  • the second marker 34 by making the second marker 34 a cube with information for changing the display state on each surface, it is possible to easily display the virtual object S0 only by rotating or moving the legislature. The state can be changed.
  • each attendee may have a dedicated second marker 34.
  • the second marker 34 of each attendee can be identified by making the two-dimensional barcode pasted on the second marker 34 different for each attendee. Therefore, the second marker 34 is photographed by the camera 14 of his / her own HMD 1 for each attendee, and the second marker image 35 is registered in the attendee's HMD 1. Then, the change information acquisition unit 25 of each HMD 1 acquires the change information only when the angle of the straight line connecting the reference points of the registered second marker image 35 to the horizontal plane of the background video B0 is changed. To do.
  • the second marker 34 is photographed by the camera 14 so that the second marker image 35 is included in the background video B0 for each attendee.
  • the attendee desires to change the display state of the virtual object S0 displayed on his / her HMD 1
  • the attendee operates the second marker 34 that he / she owns to change the straight line connecting the reference points of the second marker image 35.
  • the angle of the background image B0 with respect to the horizontal plane is changed, and the change information acquisition unit 25 acquires the change information.
  • the display state changing unit 26 changes the display state of the virtual object S0. In this case, the display state of the virtual object S0 displayed to other attendees is not changed.
  • the set amount display control unit 27 displays information representing the set amount on the display 15, and the information representing the set amount is a straight background image B0 connecting the reference points of the registered second marker image 35. It corresponds to the amount of change of the angle with respect to the horizontal plane.
  • each attendee possesses the second marker 34, registers the second marker image 35, and changes the display state of the virtual object S0 for each attendee, thereby allowing the virtual objects of other attendees to be changed.
  • the display state of the virtual object S0 can be changed without affecting the display state of S0.
  • the second marker 34 is used to change the display state of the entire virtual object S0.
  • the virtual object S0 displayed in the first embodiment includes the liver and other objects such as an artery, vein, portal vein, and lesion included in the liver. For this reason, the display state may be changed for each object of the liver, artery, vein, portal vein, and lesion.
  • this will be described as a second embodiment.
  • FIG. 16 is a diagram showing a second marker used in the second embodiment.
  • the second embodiment in the second embodiment, five second markers 41A to 41E are used.
  • Each of the markers 41A to 41E describes the name of the object so that it can be understood which of the objects included in the virtual object S0 is to be changed. That is, the markers 41A to 41E are described as liver, artery, vein, portal vein and lesion, respectively. Note that it is difficult to hold and operate such a plurality of second markers 41A to 41E in hand, so that it is preferable to place them on a table (not shown).
  • a two-dimensional bar code defining a different display state for each surface of the second markers 41A to 41E is pasted, and the second markers 41A to 41E are rotated to be displayed on the display 15.
  • the display states of the objects constituting the virtual object S0 may be changed by changing the surfaces of the markers 41A to 41E.
  • the second markers 41A to 41E are provided so as not to see a surface other than the surface to which the two-dimensional bar code in which the display state desired to be set is defined is attached. If necessary, the second markers 41A to 41E can be taken out of the case 42 and the orientation of the second markers 41A to 41E can be changed so that a desired surface is photographed. preferable.
  • the second markers 41A to 41E for changing the display state are prepared for each object constituting the virtual object S0, and the objects included in the virtual object S0 are provided for each of the second markers 41A to 41E.
  • the change information object change information
  • the display state can be changed for each object included in the virtual object S0.
  • a desired object can be hidden in the virtual object S0 by using a two-dimensional barcode that defines non-display as a display state. Therefore, each object included in the virtual object S0 can be observed in a desired display state.
  • a simulation moving image of the progress of surgery is created in advance using the virtual object S0, and the change in the form of the virtual object S0 due to the progress of the surgery over time is set as the display state. It may be defined.
  • the display state of the virtual object S0 is changed so that the virtual object S0 is changed from the state shown in FIG. 4 to a state in which the liver is excised, for example, as shown in FIG. can do.
  • a plurality of plans may be prepared as surgery plans, and a simulation moving image of the progress of surgery may be created for each plan.
  • a simulation video of a different plan is associated with each two-dimensional barcode to be pasted for each surface of the second marker. Then, the display state of the virtual object S0 can be changed based on the simulation moving image of the operation of the plan by displaying on the display 15 the two-dimensional barcode of the surface in which the plan to be displayed is defined.
  • the 1st marker which affixed the two-dimensional barcode on the board replaces with a two-dimensional barcode and uses a predetermined symbol, a color, a figure, a character, etc. Also good. Further, it may be a predetermined object such as an LED or a pen and an operator's finger. Furthermore, a texture such as an intersection of straight lines included in the background video B0 or a shining object may be used as the first marker.
  • two markers 36 and 37 are used as shown in FIG. 11, two markers with different colors on each surface may be used instead of the two-dimensional barcode.
  • change information corresponding to a combination of two marker colors may be defined. For example, when a marker having six colors of red, blue, green, yellow, purple and pink is used on each surface, the combination of red and red is 1.00, and the combination of red and blue is 0.75. In this way, change information corresponding to the combination of the colors of the two markers may be defined.
  • two markers having different patterns on each surface may be used instead of colors. In this case, the change information corresponding to the combination of the two marker patterns may be defined. Note that the number of markers is not limited to two and may be three or more. In this case, change information corresponding to a combination of three or more colors or patterns may be defined.
  • a marker with numbers added to each surface may be used instead of the two-dimensional barcode.
  • numbers are defined as percentages, numbers such as 100, 75, and 50 are assigned to each surface of the second marker, and the number of the second marker included in the background video B0 is read to obtain the percentage. What is necessary is just to acquire the change information represented by these.
  • the 2nd marker which affixed the two-dimensional barcode to the cube is used, it is not limited to a cube, It is other polyhedrons, such as a tetrahedron or an octahedron, Also good.
  • a two-dimensional barcode defining different display states may be pasted on each surface of the polyhedron, or the same two-dimensional barcode may be pasted.
  • the present invention is not limited to a polyhedron, and a two-dimensional barcode attached to a plate as in the first marker 30 may be used as the second marker. Thereby, the display state of the virtual object can be changed more easily by rotating or moving the polyhedron.
  • the display state of virtual object S0 is changed by rotating the 2nd marker 34 on the surface of the display 15, it is rotated back and forth in the depth direction of the surface of the display 15.
  • the display state of the virtual object S0 may be changed.
  • change information may be acquired based on a change in the shape of the two-dimensional barcode attached to the second marker 34.
  • the display state of the virtual object S0 may be changed by moving the second marker 34 closer to or away from the camera 14.
  • the change information may be acquired based on the change in the size of the second marker image 35 displayed on the display 15.
  • two second markers 36 and 37 are used as shown in FIG.
  • a relative distance is calculated instead of the relative angle between the two markers 36 and 37, and the change information is based on this. May be obtained.
  • the relative distance is calculated instead of the relative angle between the first marker image 31 and the second marker image 35. And based on this, change information may be acquired.
  • the 2nd marker which affixed the two-dimensional barcode replaces with a two-dimensional barcode and a predetermined symbol, a color, a figure, a character, etc. may be used.
  • it may be a predetermined object such as an LED or a pen and an operator's finger. In this case, the amount of movement or the like from the initial position of the LED or the like may be detected and used as change information.
  • the camera 14 is provided in the HMD 1, but the camera 14 may be provided separately from the HMD 1. Even in this case, it is preferable that the camera is arranged so as to capture a range corresponding to the field of view of the wearer of the HMD 1.
  • the virtual object display device is applied to the HMD that is an immersive glasses-type display device, but may be applied to a transmission-type glasses-type terminal device.
  • the display 15 is a transmissive display
  • the virtual object S0 is displayed on the display 15, so that the wearer of the virtual object display device captures the background image B0 captured by the camera 14 and displayed on the display 15.
  • the virtual object S0 superimposed on the real space that the user actually sees can be observed.
  • the camera 14 shoots the first marker 30 for determining the position and size for displaying the virtual object S0 and the second marker 34 for changing the display state of the virtual object S0. Will be used.
  • the virtual object display device is applied to the eyeglass-type display device, but may be applied to a tablet terminal equipped with a camera.
  • attendees of the pre-operative conference own their own tablet terminals, and the background video B0 and the virtual object S0 are displayed on the display of the tablet terminal.
  • the first marker 30 is used to acquire the display position, size, and orientation of the virtual object S0 as display information, and the size and orientation according to the location of the attendee at the preoperative conference. Is displayed.
  • the virtual object S0 generated from the medical three-dimensional image is displayed, but the type of the virtual object S0 is not limited to medical use.
  • a game character or model may be used as the virtual object S0.
  • the virtual object can be displayed in the user's field of view by capturing the background image by capturing the background corresponding to the user's field of view, the virtual object can be easily observed.
  • the virtual object can be displayed so as to have an appropriate size and / or orientation.
  • the first marker is arranged by acquiring display information from the first marker image representing the first marker included in the background video by photographing the first marker for displaying the virtual object. Since the virtual object can be displayed at the position, the virtual object can be displayed at the position desired by the user in the real space.
  • the second marker is acquired by acquiring the change information from the second marker image representing the second marker included in the background video. Since the change information can be acquired by moving it or the like, the display state of the virtual object can be changed corresponding to the actual operation.
  • the display state of the virtual object can be easily changed by moving the second marker from the reference position.
  • the display state of the second marker image can be easily associated with the information representing the set amount.
  • the display state can be easily changed.
  • the display state of the virtual object can be more easily changed by rotating or moving the polyhedron. Can be changed.
  • the display device a glasses-type display device, it is possible to display a virtual object having parallax in correspondence with the left and right eyes, thereby enabling a stereoscopic view of the virtual object. Therefore, the virtual object can be observed in a more realistic manner.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

仮想オブジェクト表示装置、方法、プログラムおよびシステムにおいて、仮想オブジェクトの表示状態を精度よく変更できるようにする。カメラ１４が背景映像Ｂ０を取得し、仮想オブジェクト取得部２２が、仮想オブジェクトＳ０を取得する。表示情報取得部２３が背景映像Ｂ０から仮想オブジェクトＳ０を表示する位置を表す表示情報を取得し、表示制御部２４が表示情報に基づいて仮想オブジェクトＳ０をディスプレイ１５に表示する。変更情報取得部２５が、背景映像Ｂ０から、仮想オブジェクトＳ０の表示状態を変更するための変更情報を取得し、表示状態変更部２６が変更情報に応じて、仮想オブジェクトの表示状態を変更する。設定量表示制御部２７が、仮想オブジェクトＳ０の表示状態の設定量を表す情報をディスプレイ１５に表示する。

Description

仮想オブジェクト表示装置、方法、プログラムおよびシステム
　本発明は、例えば拡張現実感を用いて仮想オブジェクトを表示するに際し、仮想オブジェクトの表示状態を変更することが可能な仮想オブジェクト表示装置、方法、プログラムおよびシステムに関するものである。
　近年、現実の空間を撮影することにより取得したリアルタイムの背景映像に、仮想オブジェクトを重畳して、ヘッドマウントディスプレイ等の表示装置に表示することにより、現実空間に仮想オブジェクトが存在するかのように見せる拡張現実感を使用する表示システムが提案されている。このようなシステムにおいては、仮想オブジェクトを表示させる位置を規定するマーカを現実空間に配置する。そして、現実空間を撮影した背景映像からマーカを検出する。さらに、検出したマーカの位置、大きさおよび向きに応じて、仮想オブジェクトを表示する位置、大きさおよび表示する向きが決定され、決定された表示位置、大きさおよび向きにより表示装置に仮想オブジェクトが表示される。マーカとしては、２次元バーコード等の画像が用いられる。また、ＬＥＤ（Light Emission Diode）あるいは操作者の指をマーカとして用いる手法も提案されている。
　一方、表示された仮想オブジェクトに対して何らかの操作を行うことも可能となっている。例えば、様々なパターンが描かれたマーカを撮影し、拡張現実感を用いて表示されたマーカが仮想オブジェクトと接触した際に、パターンに関連づけられたイベントを発生させる手法が提案されている（特許文献１参照）。特許文献１に記載された手法においては、表示されている仮想オブジェクトを削除したり、他の仮想オブジェクトに置き換えたりするイベントを発生している。また、操作者の指を背景映像に含ませ、指をカーソルのように移動させて仮想オブジェクトを操作する手法（特許文献２参照）、および仮想オブジェクトを操作するための操作用インターフェースを拡張現実感を用いて表示し、表示された操作用インターフェースを用いて仮想オブジェクトの操作を行う手法（特許文献３参照）等が提案されている。
　また、医療分野においては、手術前に手術の出席者を集めて、手術の説明をするための手術前カンファレンスが行われている。このような手術前カンファレンスにおいて、近年、拡張現実感を使用して手術の対象となる部位を表示して、手術をシミュレーションすることが行われている。例えば、肝臓の部分切除の手術においては、ＣＴ（Computed Tomography）画像あるいはＭＲＩ（magnetic resonance imaging）画像の断層画像から得られる３次元画像から、肝臓、門脈、静脈、動脈、体表、骨および腫瘍といった組織を抽出し、これらを３次元画像として可視化して、肝臓の仮想オブジェクトを生成する。そして、拡張現実感を用いて仮想オブジェクトを実寸大となるように表示し、表示された仮想オブジェクトを用いて、手術前カンファレンスの代表者である執刀医からカンファレンスの出席者への説明および手技のシミュレーションが行われる。この際、カンファレンスの出席者はヘッドマウントディスプレイ等の表示装置を各自装着することにより、全員が共通の仮想オブジェクトを見ながらカンファレンスを行うことができる。
　このような拡張現実感を使用する表示システムの医療分野への応用において、ヘッドマウントディスプレイに手術対象の仮想オブジェクトと医療器具等の実際の物体とを重畳表示し、術者の指示により仮想オブジェクトの表示および非表示を切り替えたり、物体との距離に応じて仮想オブジェクトを拡大縮小する手法が提案されている（特許文献４参照）。また、仮想オブジェクトを各人物が装着するヘッドマウントディスプレイに表示し、メス等の物体を検出し、その物体の操作により仮想オブジェクトの拡大および透過表示等を切り替える手法も提案されている（特許文献５参照）。さらに、マーカを基準として仮想オブジェクトを表示する際に、マーカの移動により対応するオブジェクト毎に位置、向きおよび傾きを変更する手法が提案されている（特許文献６参照）。
特開２０１１－１９８１５０号公報 特開２０１３－１０５３３０号公報 特開２０１３－１７２４３２号公報 特開２０１４－１５５２０７号公報 国際公開第２０１２／０８１１９４号 特開２０１４－０１０６６４号公報
　ところで、拡張現実感を用いて表示された仮想オブジェクトの色、明るさおよび不透明度等の表示状態を変更することにより、仮想オブジェクトを様々な表示状態にて表示することができる。この場合、特許文献１～３に記載された手法により操作を行って、仮想オブジェクトの表示状態を変更することが考えられる。
　しかしながら、特許文献１，２に記載された手法は、拡張現実感を使用して表示された仮想オブジェクトに対して、さらに画面に映し出された指等の映像を仮想オブジェクトに向けて移動させて操作を行うものである。このため、操作者の顔の向きが変わる等して表示されている仮想オブジェクトの位置が変わると、指等の映像を移動するための操作がやりにくくなる。また、仮想オブジェクトが小さく表示されていると、操作のための指等の操作量が小さくなるため、指等の映像を移動するための操作がよりやりにくくなる。また、特許文献３に記載された手法は、操作用のインターフェースも拡張現実感を使用して表示されるため、操作は物ではなく空間に対して行われる。このため、ボタンを押す等の現実的な感触がなく、表示状態を微妙に変更するための操作を行うことが難しい。したがって、仮想オブジェクトの表示状態を変更するための入力装置等のハードウェアを用いることが考えられる。しかしながら、この場合、別途ハードウェアを用意する必要があり、さらにハードウェアを用いて仮想オブジェクトの表示状態を変更するための複雑なアプリケーションが必要となる。
　また、特許文献４～６に記載された手法も、物体あるいはマーカと仮想オブジェクトとの距離により、仮想オブジェクトを拡大縮小したり、表示および非表示を切り替えたりするものである。しかし、上記特許文献１，２に記載された手法と同様に、操作者の顔の向きが変わる等して表示されている仮想オブジェクトの位置が変わると、変更のための操作がやりにくくなる。また、仮想オブジェクトの表示状態を微妙に変更するための操作を行うことが難しい。
　本発明は上記事情に鑑みなされたものであり、仮想オブジェクトの表示状態を精度よく変更できるようにすることを目的とする。
　本発明による仮想オブジェクト表示装置は、背景映像を取得する撮影手段と、
　仮想オブジェクトを取得する仮想オブジェクト取得手段と、
　仮想オブジェクトを表示する表示手段と、
　仮想オブジェクトを表示する位置を表す表示情報を背景映像から取得する表示情報取得手段と、
　表示情報に基づいて、仮想オブジェクトを表示手段に表示する表示制御手段と、
　仮想オブジェクトの表示状態を変更するための変更情報を背景映像から取得する変更情報取得手段と、
　変更情報に応じて、仮想オブジェクトの表示状態を変更する表示状態変更手段と、
　仮想オブジェクトの表示状態の設定量を表す情報を、表示手段に表示する設定量表示制御手段とを備えたことを特徴とするものである。
　「背景映像」とは、仮想オブジェクトを表示する背景となる映像であり、例えば現実空間の映像となる。なお、背景映像は、所定のサンプリング間隔により、仮想オブジェクトを表示する背景を逐次撮影することにより取得される動画像となる。
　「表示情報」とは、仮想オブジェクトを表示する位置、さらに必要な場合には大きさおよび向きの少なくとも一方を特定するために現実空間に置かれる、仮想オブジェクト表示用の物体を撮影することにより背景映像に含まれる情報である。仮想オブジェクト表示用の物体としては、例えば２次元バーコード、色あるいは模様を付与したマーカ、ＬＥＤ等のマーカ、何らかの器具、操作者の指等の体の一部、並びに背景映像に含まれる物体のエッジあるいはエッジの交点等の特徴点を用いることができる。マーカを用いた場合、表示情報は背景映像に含まれるマーカを表すマーカ画像から取得されることとなる。
　「変更情報」とは、仮想オブジェクトの表示状態を変更するために、操作者がいる現実空間に置かれる仮想オブジェクトの表示状態変更用の物体を撮影することにより背景映像に含まれる情報である。仮想オブジェクトの表示状態変更用の物体としては、例えば２次元バーコード、色あるいは模様を付与したマーカ、ＬＥＤ等のマーカ、何らかの器具、および操作者の指等の体の一部を用いることができる。マーカを用いた場合、変更情報は背景映像に含まれるマーカを表すマーカ画像から取得されることとなる。
　「表示状態を変更する」とは、仮想オブジェクトを見る者の視覚に訴える、仮想オブジェクトの状態を変更することを意味する。例えば、仮想オブジェクトの色、明るさ、コントラスト、不透明度および鮮鋭度等を変更することを意味する。なお、仮想オブジェクトに手を加えることにより、時間の経過とともにその形態を変更するような仮想オブジェクトの場合、時間の経過による形態の変更も、表示状態の変更に含むものとする。また、仮想オブジェクトが複数のオブジェクトからなる場合、オブジェクト毎に表示状態を変更するものであってもよい。
　「設定量を表す情報」とは、それを見ることにより、表示中の仮想オブジェクトの表示状態の設定量を認識することができる情報である。例えば、設定量を表す数値、円グラフ，棒グラフおよび目盛り付きのスケール等の設定量を表すことが可能な情報を、「設定量を表す情報」として用いることができる。
　なお、本発明による仮想オブジェクト表示装置においては、背景映像は、ユーザの視野に対応する背景を撮影することにより取得されるものであってもよい。
　また、本発明による仮想オブジェクト表示装置においては、表示情報は、仮想オブジェクトを表示する際の大きさおよび向きの少なくとも一方をさらに含むものであってもよい。
　また、本発明による仮想オブジェクト表示装置においては、表示手段は、背景映像に仮想オブジェクトを合成して表示するものであってもよい。
　また、本発明による仮想オブジェクト表示装置においては、表示情報取得手段は、仮想オブジェクト表示用の第１のマーカを撮影することにより背景映像に含まれる、第１のマーカを表す第１のマーカ画像から表示情報を取得するものであってもよい。
　また、本発明による仮想オブジェクト表示装置においては、変更情報取得手段は、仮想オブジェクトの表示状態変更用の少なくとも１つの第２のマーカを撮影することにより背景映像に含まれる、第２のマーカを表す第２のマーカ画像から変更情報を取得するものであってもよい。
　また、本発明による仮想オブジェクト表示装置においては、変更情報は、第２のマーカの基準位置からの変更量であってもよい。
　また、本発明による仮想オブジェクト表示装置においては、設定量表示制御手段は、設定量を表す情報を第２のマーカ画像の近傍に表示するものであってもよい。
　「近傍」とは、視線を移動させることなく、第２のマーカ画像と設定量を表す情報との双方を観察することができる程度の距離であることを意味する。なお、「近傍」には、第２のマーカ画像と設定量を表す情報とが接していることおよび重畳していることの双方を含む。
　また、本発明による仮想オブジェクト表示装置においては、第２のマーカは、各面に表示状態を変更するための情報が付与されてなる多面体であってもよい。
　また、本発明による仮想オブジェクト表示装置においては、多面体は立方体であってもよい。
　また、本発明による仮想オブジェクト表示装置においては、仮想オブジェクトが複数のオブジェクトを含むものとし、
　変更情報取得手段は、複数のオブジェクトのそれぞれの表示状態を変更するための複数のオブジェクト用変更情報を取得するものであり、
　表示状態変更手段は、オブジェクト用変更情報に応じて、複数のオブジェクト毎に表示状態を変更するものであり、
　設定量表示手段は、複数のオブジェクトのそれぞれの設定量を表す情報を、複数のオブジェクト毎に表示手段に表示するものであってもよい。
　また、本発明による仮想オブジェクト表示装置においては、仮想オブジェクトは３次元画像であってもよい。
　とくに、３次元画像は医用３次元画像であってもよい。
　また、本発明による仮想オブジェクト表示装置においては、表示手段は眼鏡型表示装置であってもよい。
　「眼鏡型表示装置」としては、ヘッドマウントディスプレイ、および眼鏡型ウェアラブル端末の表示装置等を例として挙げることができる。また、目を完全に覆う没入型であっても、周りの状況を見ることができる透過型のいずれであってもよい。
　また、本発明による仮想オブジェクト表示システムは、複数のユーザのそれぞれに対応した、複数の本発明による仮想オブジェクト表示装置を備え、
　複数の仮想オブジェクト表示装置のそれぞれにおける表示状態変更手段は、いずれか１つの仮想オブジェクト表示装置の変更情報取得手段により取得された変更情報に応じて、仮想オブジェクトの表示状態を変更することを特徴とするものである。
　本発明による他の仮想オブジェクト表示システムは、複数のユーザのそれぞれに対応した、複数の本発明による仮想オブジェクト表示装置を備え、
　複数の仮想オブジェクト表示装置のそれぞれにおける表示状態変更手段は、それぞれの仮想オブジェクト表示装置の変更情報取得手段により取得された変更情報に応じて、仮想オブジェクトの表示状態を変更することを特徴とするものである。
　本発明による仮想オブジェクト表示方法は、背景映像を取得し、
　仮想オブジェクトを取得し、
　仮想オブジェクトを表示する位置を表す表示情報を背景映像から取得し、
　表示情報に基づいて、仮想オブジェクトを表示手段に表示し、
　仮想オブジェクトの表示状態を変更するための変更情報を背景映像から取得し、
　変更情報に応じて、仮想オブジェクトの表示状態を変更し、
　仮想オブジェクトの表示状態の設定量を表す情報を、表示手段に表示することを特徴とするものである。
　なお、本発明による仮想オブジェクト表示方法をコンピュータに実行させるためのプログラムとして提供してもよい。
　本発明によれば、表示情報に基づいて仮想オブジェクトが表示され、変更情報に応じて仮想オブジェクトの表示状態が変更される。そして、仮想オブジェクトの表示状態の設定量を表す情報が表示される。このため、表示された設定量を表す情報を見れば、現在の仮想オブジェクトの表示状態の設定値を認識することができ、これにより、仮想オブジェクトの表示状態を精度よく変更することができる。
本発明の第１の実施形態における仮想オブジェクト表示装置の使用状況を説明するための図 第１の実施形態による仮想オブジェクト表示装置を適用した仮想オブジェクト表示システムの概要を示すハードウェア構成図 仮想オブジェクト表示装置であるヘッドマウントディスプレイの概略構成を示すブロック図 仮想オブジェクトの例を示す図 第１のマーカを示す図 手術前カンファレンスを行う場所に置かれた第１のマーカを示す図 背景映像から抽出した第１のマーカ画像を示す図 手術前カンファレンスを行う場所における仮想オブジェクトの表示状態を模式的に示す図 第２のマーカを示す図 第２のマーカの傾きの変更を説明するための図 ２つの第２のマーカを用いての変更情報の取得を説明するための図 第１のマーカおよび第２のマーカを用いた変更情報の取得を説明するための図 設定量を表す情報の表示を説明するための図 設定量を表す情報の表示を説明するための図 第１の実施形態において行われる処理を示すフローチャート 第２の実施形態において使用される第２のマーカを示す図 第２の実施形態において使用される第２のマーカを示す図 肝臓を切除した状態となるようにするための、仮想オブジェクトの表示状態の変更を説明するための図
　以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態における仮想オブジェクト表示装置の使用状況を説明するための図である。第１の実施形態による仮想オブジェクト表示装置は、手術前のカンファレンスにおいて、拡張現実感を用いて，手術対象である肝臓の３次元画像を仮想オブジェクトとして表示するためのものである。具体的には、被検体を撮影することにより取得した３次元画像から、肝臓の３次元画像を仮想オブジェクトとして生成し、手術前カンファレンスにおいて、手術の出席者がヘッドマウントディスプレイ（Head Mount Display、以下ＨＭＤとする）を装着し、ＨＭＤに仮想オブジェクトを表示して、手術前カンファレンスの代表者である執刀医から手術に関する各種説明を受ける状況において使用される。なお、本発明による仮想オブジェクト表示装置はＨＭＤに内包されてなる。
　図２は第１の実施形態による仮想オブジェクト表示装置を適用した仮想オブジェクト表示システムの概要を示すハードウェア構成図である。図２に示すように、このシステムでは、第１の実施形態による仮想オブジェクト表示装置を内包した複数（本実施形態においては４つ）のＨＭＤ１Ａ～１Ｄ、３次元画像撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。また、ＨＭＤ１Ａ～１Ｄの間においても、ネットワーク４を経由して情報のやりとりが可能となっている。なお、ＨＭＤ１Ａ～１Ｄが本発明の仮想オブジェクト表示装置に対応する。また、以下の説明においては、４つのＨＭＤ１Ａ～１ＤをＨＭＤ１で代表させる場合があるものとする。
　３次元画像撮影装置２は、被検体の手術の対象となる部位を撮影することにより、その部位を表す３次元画像Ｖ０を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ(Positron Emission Tomography )装置等である。この３次元画像撮影装置２により生成された３次元画像Ｖ０は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、被検体の手術の対象部位は肝臓であり、３次元画像撮影装置２はＣＴ装置であり、腹部の３次元画像Ｖ０が生成されるものとする。
　画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２により生成された３次元画像Ｖ０等の画像データをネットワーク経由により取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式やネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and COmmunication in Medicine）等のプロトコルに基づいている。
　ＨＤＭ１は、コンピュータを備え、コンピュータに、本発明の仮想オブジェクト表示プログラムをインストールしたものである。仮想オブジェクト表示プログラムは、ＨＭＤ１が有するメモリにインストールされる。もしくは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてＨＭＤ１にダウンロードされ、インストールされる。
　図３は仮想オブジェクト表示プログラムをインストールすることにより実現された仮想オブジェクト表示装置であるＨＭＤ１の概略構成を示すブロック図である。図３に示すように、ＨＭＤ１は、ＣＰＵ（Central Processing Unit）１１、メモリ１２、ストレージ１３、カメラ１４、ディスプレイ１５、および入力部１６を備える。また、ＨＭＤ１の装着者の頭の動きを検出するためのジャイロセンサ１７も備える。なお、カメラ１４が本発明の撮影手段に、ディスプレイ１５が本発明の表示手段に対応する。また、カメラ１４、ディスプレイ１５およびジャイロセンサ１７をＨＭＤ１の頭への装着部分に設け、メモリ１２、ストレージ１３および入力部１６を装着部分とは別体として設けるようにしてもよい。
　ストレージ１３には、ネットワーク４を経由して画像保管サーバ３から取得した３次元画像Ｖ０およびＨＭＤ１での処理によって生成された画像を含む各種情報が記憶されている。
　カメラ１４は、レンズ、ＣＣＤ(Charge Coupled Device)等の撮像素子および取得した画像に画質を向上させるための処理を行う画像処理部等を備える。図２に示すように、カメラ１４は、ＨＭＤ１における出席者の両目の中央に対応する部分に位置するように、ＨＭＤ１に取り付けられている。これにより、手術前カンファレンスの出席者がＨＭＤ１を装着した際に、装着者の視野とカメラ１４の撮影範囲とが一致する。したがって、出席者がＨＭＤ１を装着すると、カメラ１４は出席者の視野に対応する画像を撮影し、出席者が見ている現実空間の映像を背景映像Ｂ０として取得する。背景映像Ｂ０は所定のフレームレートを有する動画像となる。
　ディスプレイ１５は、背景映像Ｂ０および仮想オブジェクトＳ０を表示するための液晶パネル等からなる。なお、ディスプレイ１５は、ＨＭＤ１の装着者の左目用および右目用の表示部を備える。
　入力部１６は、例えばボタン等からなり、ＨＭＤ１の外装の予め定められた位置に設けられる。
　また、メモリ１２には、仮想オブジェクト表示プログラムが記憶されている。仮想オブジェクト表示プログラムは、ＣＰＵ１１に実行させる処理として、３次元画像撮影装置２が取得した３次元画像Ｖ０およびカメラ１４が取得した背景映像Ｂ０の画像取得処理、仮想オブジェクトを取得する仮想オブジェクト取得処理、背景映像Ｂ０から仮想オブジェクトを表示する位置、大きさおよび向きを表す表示情報を取得する表示情報取得処理、背景映像Ｂ０をディスプレイ１５に表示し、かつ表示情報に基づいて仮想オブジェクトをディスプレイ１５に表示する表示制御処理、背景映像Ｂ０から仮想オブジェクトの表示状態を変更するための変更情報を取得する変更情報取得処理、変更情報に応じて仮想オブジェクトの表示状態を変更する表示状態変更処理、および仮想オブジェクトの表示状態の設定量を表す情報を、ディスプレイ１５に表示する設定量表示制御処理を規定している。
　そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することにより、ＨＭＤ１は、画像取得部２１、仮想オブジェクト取得部２２（仮想オブジェクト取得手段）、表示情報取得部２３（表示情報取得手段）、表示制御部２４（表示制御手段）、変更情報取得部２５（変更情報取得手段）、表示状態変更部２６（表示状態変更手段）、および設定量表示制御部２７（設定量表示制御手段）として機能する。なお、ＨＭＤ１は、画像取得処理、仮想オブジェクト取得処理、表示情報取得処理、表示制御処理、変更情報取得処理、表示状態変更処理、および設定量表示制御処理をそれぞれ行う処理装置を備えるものであってもよい。
　画像取得部２１は、３次元画像Ｖ０およびカメラ１４により撮影された背景映像Ｂ０を取得する。画像取得部２１は、３次元画像Ｖ０が既にストレージ１３に記憶されている場合には、ストレージ１３から取得するようにしてもよい。
　仮想オブジェクト取得部２２は、手術の対象部位である肝臓の３次元画像を仮想オブジェクトとして生成する。このため、仮想オブジェクト取得部２２は、まず３次元画像Ｖ０から手術の対象部位である肝臓並びに肝臓に含まれる動脈、静脈、門脈および病変を抽出する。仮想オブジェクト取得部２２は、３次元画像Ｖ０中の各画素が、肝臓並びに肝臓に含まれる動脈、静脈、門脈および病変（以下肝臓等とする）を示す画素であるか否かを識別する識別器を備える。識別器は、肝臓等を含む複数のサンプル画像を、例えばアダブースティングアルゴリズム等の手法を用いて機械学習することにより取得される。仮想オブジェクト取得部２２は、識別器を用いて３次元画像Ｖ０から肝臓等を抽出する。
　そして、仮想オブジェクト取得部２２は、肝臓等の３次元形状を表す画像を仮想オブジェクト表示Ｓ０として生成する。具体的には、後述する表示情報により定められる投影面に、抽出した肝臓等を投影した投影像を、仮想オブジェクトＳ０として生成する。ここで、投影の具体的な方法としては、例えば、公知のボリュームレンダリング手法等を用いる。
　この際、肝臓並びに肝臓に含まれる動脈、静脈、門脈および病変毎に異なる色を定義して仮想オブジェクトＳ０を生成してもよく、異なる不透明度を定義して仮想オブジェクトＳ０を生成してもよい。例えば、動脈を赤色、静脈を青色、門脈を緑色、病変を黄色としてもよい。また、肝臓の不透明度を０．１、動脈、静脈および門脈の不透明度を０．５、病変の不透明度を０．８としてもよい。これにより、図４に示すような仮想オブジェクトＳ０が生成される。このように、仮想オブジェクトＳ０において、肝臓並びに肝臓に含まれる動脈、静脈、門脈および病変毎に異なる色または不透明度を定義することにより、肝臓並びに肝臓に含まれる動脈、静脈、門脈および病変を容易に識別することができる。なお、異なる色および異なる不透明度の双方を定義して仮想オブジェクトＳ０を生成してもよい。生成された仮想オブジェクトＳ０はストレージ１３に保存される。
　また、不図示の仮想オブジェクト生成装置において３次元画像Ｖ０から仮想オブジェクトＳ０を生成して画像保管サーバ３に保管しておくようにしてもよい。この場合、仮想オブジェクト取得部２２は、画像保管サーバ３から仮想オブジェクトＳ０を取得するものとなる。
　表示情報取得部２３は、背景映像Ｂ０から、仮想オブジェクトＳ０を表示する位置、大きさおよび方向を表す表示情報を取得する。本実施形態においては、仮想オブジェクト表示用の第１のマーカを撮影することにより背景映像Ｂ０に含まれる、第１のマーカを表すマーカ画像から表示情報を取得する。図５は第１のマーカを示す図である。図５に示すように第１のマーカ３０は、２次元バーコードを平板に貼り付けることにより構成されている。なお、第１のマーカ３０は、２次元バーコードを紙に印刷したものであってもよい。図６に示すように第１のマーカ３０は手術前カンファレンスを行う場所に置かれる。４名の出席者３１Ａ～３１ＤはそれぞれＨＭＤ１Ａ～１Ｄを装着する。ＨＭＤ１Ａ～１Ｄにおいては、カメラ１４により撮影された背景映像Ｂ０がディスプレイ１５に表示される。出席者は、ディスプレイ１５に表示される背景映像Ｂ０に第１のマーカ３０の画像である第１のマーカ画像３１が含まれるように，視線を第１のマーカ３０の方向に向ける。
　表示情報取得部２３は、第１のマーカ３０を表す第１のマーカ画像３１を背景映像Ｂ０から抽出する。図７は背景映像Ｂ０から抽出した第１のマーカ画像を示す図である。なお、図７に示す第１のマーカ画像は、出席者３１ＡのＨＭＤ１Ａにより取得したものである。ここで、第１のマーカ３０の２次元バーコードは図５に示すように３つの基準点３０ａ～３０ｃを含む。表示情報取得部２３は、抽出した第１のマーカ画像３２において、基準点３０ａ～３０ｃを検出する。そして、検出した基準点３０ａ～３０ｃの位置および基準点間の間隔から、仮想オブジェクトＳ０を表示する際の位置、大きさおよび向きを決定する。
　ここで、本実施形態においては、基準点３０ａ，３０ｂが横に並んで見える位置を、仮想オブジェクトＳ０を表示する際の正面位置に定義する。このため、第１のマーカ画像３２において、基準点３０ａ，３０ｂの位置を検出することにより、仮想オブジェクトＳ０の第１のマーカ３０に直交する軸（以下ｚ軸とする）に関する正面位置からの回転位置を決定できる、また、基準点３０ａ，３０ｂ間の距離とあらかじめ定められた基準値との相違により、仮想オブジェクトＳ０を表示する際の大きさを決定できる。また、基準点３０ａ～３０ｃを頂点とする３角形の基準となる形状からの相違により、仮想オブジェクトＳ０のｚ軸に直交する２つの軸（以下ｘ軸およびｙ軸とする）に関する基準位置からの回転位置すなわち向きを決定できる。表示情報取得部２３は、決定した仮想オブジェクトＳ０の位置、大きさおよび向きを表示情報として出力する。
　表示制御部２４は、表示情報を用いて、仮想オブジェクトＳ０を投影する投影面を規定し、その投影面に仮想オブジェクトＳ０を投影する。そして投影された仮想オブジェクトＳ０を背景映像Ｂ０に重畳して、ディスプレイ１５に表示する。図８は手術前カンファレンスを行う場所における仮想オブジェクトＳ０の表示状態を模式的に示す図である。図８に示すように、出席者３１Ａ～３１Ｄは、現実空間における第１のマーカ３０上に、自身がいる位置に応じた大きさおよび向きを有する肝臓の３次元画像が仮想オブジェクトＳ０として表示されている状態をディスプレイ１５において観察することができる。
　なお、表示制御部２４は、視差を有するようにディスプレイ１５の左目用の表示部および右目用の表示部に、仮想オブジェクトＳ０を表示する。これにより、出席者は仮想オブジェクトＳ０を立体視することができる。
　また、この状態において，第１のマーカ３０をｚ軸に関して回転したり、傾けたりすることにより、ディスプレイ１５に表示される仮想オブジェクトＳ０の向きを変更することができる。
　変更情報取得部２５は、背景映像Ｂ０から、仮想オブジェクトの表示状態を変更するための変更情報を取得する。なお、表示状態としては、仮想オブジェクトＳ０の色、明るさ、コントラスト、不透明度および鮮鋭度等を定義することができる。本実施形態においては、不透明度が定義されているものとする。そして本実施形態においては、仮想オブジェクトＳ０の表示状態変更用の第２のマーカを撮影することにより背景映像Ｂ０に含まれる、第２のマーカを表すマーカ画像から変更情報を取得する。図９は第２のマーカを示す図である。図９に示すように第２のマーカ３４は、２次元バーコードを立方体の各面に貼り付けることにより構成されている。なお、第２のマーカ３４は、立方体の展開図の各面に２次元バーコードを印刷し、それを立方体となるように組み立てたものであってもよい。
　なお、本実施形態においては、全ての面に貼り付ける２次元バーコードに表示状態として不透明度を定義しているが、各面毎に異なる表示状態を定義した２次元バーコードを貼り付けるようにしてもよい。例えば、不透明度に加えて、色、明るさ、鮮鋭度のそれぞれを定義した２次元バーコードを立方体の各面に貼り付けるようにしてもよい。
　手術前カンファレンスを行う場合、第２のマーカ３４は手術の説明を行う執刀医が持つ。執刀医は自身のＨＭＤ１のカメラ１４の撮影範囲に第２のマーカ３４が入るように、第２のマーカ３４を持つ。なお、第２のマーカ３４の６つの面のうちのいずれかの面が正面から背景映像Ｂ０に映っていればよい。これにより、ディスプレイ１５に第２のマーカ３４のマーカ画像３５が映し出される。また、各面毎に異なる表示状態を定義した２次元バーコードを貼り付けた第２のマーカ３４を使用した場合、執刀医は、変更する表示状態を定義した２次元バーコードが背景映像Ｂ０に含まれるように、第２のマーカ３４を持つようにすればよい。
　変更情報取得部２５は、背景映像Ｂ０から第２のマーカ３４を表す第２のマーカ画像３５を抽出する。本実施形態においては、仮想オブジェクトＳ０の表示状態を変更するために、執刀医は第２のマーカ３４をディスプレイ１５に表示される背景映像Ｂ０の水平面に対する傾きを変更する。図１０は第２のマーカ３４の傾きの変更を説明するための図である。
　なお、本実施形態においては、背景映像Ｂ０に対して第２のマーカ３４を時計回りに回転することにより、仮想オブジェクトＳ０の表示状態を変更するものとする。これにより、時計回り方向の回転量が大きいほど表示状態の変更量が大きくなる。
　本実施形態においては、第２のマーカ３４に含まれる３つの基準点３４ａ～３４ｃのうち、基準点３４ａ，３４ｂを結ぶ直線の背景映像Ｂ０の水平面に対する角度に応じて仮想オブジェクトＳ０の表示状態の変更量を定義する。このため、変更情報取得部２５は、抽出した第２のマーカ画像３５において、基準点３４ａ，３４ｂを検出する。そして、検出した基準点３４ａ，３４ｂを結ぶ直線を定義し、背景映像Ｂ０の水平面に対するその直線の角度を算出する。
　ここで、本実施形態においては、執刀医が装着するＨＭＤ１の変更情報取得部２５のみが変更情報を取得し、取得した変更情報をネットワーク４経由により他の出席者が装着するＨＭＤ１に送信する。
　変更情報取得部２５は、算出した角度の３６０度に対する割合を変更情報として取得する。例えば、角度が０度の場合、変更情報は０であり、角度が９０度の場合、変更情報は０．２５となる。
　なお、ＨＭＤ１には装着者の動きを検出するためのジャイロセンサ１７が設けられている。このため、ジャイロセンサ１７によりＨＭＤ１の水平面を検出し、ジャイロセンサ１７が検出した水平面を基準として、基準点３４ａ，３４ｂを結ぶ直線の角度を算出するようにしてもよい。
　また、２つの第２のマーカ３６，３７を用意し、２つのマーカ３６，３７の相対的な角度を算出し、これに基づいて変更情報を取得してもよい。例えば、図１１に示すように、一方のマーカ３６における基準点３６ａ，３６ｂを通る直線と、他方のマーカ３７における基準点３７ａ，３７ｂを通る直線とが交わる角度αを算出し、算出した角度の３６０度に対する割合を変更情報として取得するようにしてもよい。なお、この場合、一方の第２のマーカを台の上等に置いておけば、他方の第２のマーカを片手により操作できるため、表示状態の変更の操作が容易となる。
　また、第１のマーカ３０を第２のマーカ３４と同様に立方体の各面に２次元バーコードを貼り付けたものとし、第１のマーカ画像３１により規定される水平面と第２のマーカ画像３５との相対的な角度を算出し、これに基づいて変更情報を取得してもよい。例えば、図１２に示すように、第１のマーカ画像３１における基準点３０ａ，３０ｂを通る直線と、第２のマーカ画像３５における基準点３４ａ，３４ｂを通る直線とが交わる角度αを算出し、算出した角度の３６０度に対する割合を変更情報として取得するようにしてもよい。
　なお、第１の実施形態においては、第２のマーカ３４は手により持って操作してもよいが、第２のマーカ３４を台の上に載せておくようにしてもよい。この場合、第２のマーカ３４は９０度単位でのみ回転することとなるため、表示状態を連続的に変更することはできなくなるが、第２のマーカ３４を常時手に持っておく必要が無くなる。
　表示状態変更部２６は、変更情報取得部２５が取得した変更情報を用いて、仮想オブジェクトＳ０の表示状態を変更する。例えば、仮想オブジェクトＳ０の初期状態での不透明度が１．００であり、変更情報が０．２５である場合、不透明度を０．７５に変更する。
　ここで、図１０に示すように、第２のマーカ３４の基準点３４ａ，３４ｂを結ぶ直線の背景映像Ｂ０の水平面に対する角度が０の場合、仮想オブジェクトＳ０の表示状態は初期状態から変更されない。そして、第２のマーカ３４を傾けて、基準点３４ａ，３４ｂを結ぶ直線の背景映像Ｂ０の水平面に対する角度が大きくなると、仮想オブジェクトＳ０の不透明度が小さくなる。
　設定量表示制御部２７は、仮想オブジェクトＳ０の表示状態の設定量を表す情報をディスプレイ１５に表示する。設定量を表す情報としては、本実施形態においては円グラフを用いる。設定量表示制御部２７は図１０に示すように、第２のマーカ画像３５の上方に設定量を表す情報として円グラフ３８を表示する。なお、図１０には初期状態として不透明度が１．００の場合の円グラフ３８を示しているが、第２のマーカ３４の角度を９０度に変更した場合、変更情報は０．２５となるため、図１３に示すように、円グラフ３８は不透明度が０．７５であることを示すものとなる。なお、円グラフに代えて棒グラフであってもよく、図１４に示すような目盛り付きのスケール３９であってもよい。また、設定量を表す数値であってもよい。また、設定量を表す情報の表示位置は、第２のマーカ画像３５の上方に限定されるものではなく、第２のマーカ画像３５および設定量を表す情報の双方を視線を移動させることなく認識することができれば、第２のマーカ画像３５の左または右、あるいは下方であってもよい。また、設定量を表す情報は、第２のマーカ画像３５に重畳していてもよい。また、設定量を表す情報はディスプレイ１５の任意の位置に表示されていればよい。
　次いで、第１の実施形態において行われる処理について説明する。図１５は第１の実施形態において行われる処理を示すフローチャートである。なお、第１のマーカ３０は手術前カンファレンスを行う場所に置かれており、執刀医は第２のマーカ３４を手に持っているものとする。
　まず、画像取得部２１が、３次元画像Ｖ０および背景映像Ｂ０を取得し（ステップＳＴ１）、仮想オブジェクト取得部２２が３次元画像Ｖ０から仮想オブジェクトＳ０を取得する（ステップＳＴ２）。また、表示情報取得部２３が、第１のマーカ３０を表す第１のマーカ画像３１を背景映像Ｂ０から抽出し、第１のマーカ画像３１から仮想オブジェクトＳ０を表示する位置、大きさおよび向きを表す表示情報を取得する（ステップＳＴ３）。そして、表示制御部２４が、表示情報を用いて、背景映像Ｂ０に仮想オブジェクトＳ０を重畳して、ディスプレイ１５に表示する（ステップＳＴ４）。これにより、ＨＭＤ１を装着している手術前カンファレンスの出席者は、現実空間に仮想オブジェクトＳ０が表示されている状態を観察することができる。なお、この状態で第１のマーカ３０を傾けたり、２次元バーコードに直交する軸（ｚ軸）の周りに回転させることにより、仮想オブジェクトＳ０を傾けたり回転させたりすることができる。また仮想オブジェクトＳ０が表示されると、設定量表示制御部２７が、仮想オブジェクトＳ０の表示状態の設定量を表す情報をディスプレイ１５に表示する（ステップＳＴ５）。
　次いで、変更情報取得部２５が、第２のマーカ３４を表す第２のマーカ画像３５を背景映像Ｂ０から抽出し、第２のマーカ画像３５の背景映像Ｂ０の水平面に対する角度を算出し、算出した角度から仮想オブジェクトＳ０の表示状態の変更情報を取得する（ステップＳＴ６）。そして、表示状態変更部２６が、変更情報を用いて仮想オブジェクトＳ０の表示状態を変更し（ステップＳＴ７）、さらに設定量表示制御部２７が、表示状態の設定量を表す情報を変更してディスプレイ１５に表示し（ステップＳＴ８）、ステップＳＴ６にリターンする。
　このように、本実施形態においては、変更情報に応じて仮想オブジェクトＳ０の表示状態を変更し、仮想オブジェクトＳ０の表示状態の設定量を表す情報を表示するようにしたものである。このため、表示された設定量を表す情報を見れば、現在の仮想オブジェクトＳ０の表示状態の設定値を認識することができ、これにより、仮想オブジェクトＳ０の表示状態を精度よく変更することができる。
　また、背景映像Ｂ０に含まれる第２のマーカ３４を表す第２のマーカ画像３５から変更情報を取得することにより、第２のマーカ３４を動かす等して変更情報を取得することができるため、実際の操作に対応して仮想オブジェクトＳ０の表示状態を変更することができる。
　また、設定量を表す情報を第２のマーカ画像３５の近傍に表示することにより、第２のマーカ画像３５の表示状態と設定量を表す情報との対応付けを容易に行うことができるため、仮想オブジェクトＳ０の表示状態の変更を容易に行うことができる。
　また、第２のマーカ３４を、各面に表示状態を変更するための情報が付与された立方体とすることにより、立法体を回転させたり移動させたりするのみで、容易に仮想オブジェクトＳ０の表示状態を変更することができる。
　なお、上記第１の実施形態においては、手術前カンファレンスの代表者である執刀医のみが第２のマーカ３４を持ち、執刀医の操作により出席者全員のＨＭＤ１に表示される仮想オブジェクトＳ０の表示状態を変更している。しかしながら、出席者のそれぞれが専用の第２のマーカ３４を持つようにしてもよい。この場合、第２のマーカ３４に貼り付ける２次元バーコードを出席者毎に異なるものとすることにより、各出席者の第２のマーカ３４を識別することができる。このため、各出席者毎に自身のＨＭＤ１のカメラ１４により第２のマーカ３４を撮影し、第２のマーカ画像３５を出席者のＨＭＤ１に登録する。そして、各ＨＭＤ１の変更情報取得部２５は、登録された第２のマーカ画像３５の基準点を結ぶ直線の背景映像Ｂ０の水平面に対する角度が変更された場合にのみ、変更情報を取得するようにする。
　そして、仮想オブジェクトＳ０が表示された後、出席者毎に背景映像Ｂ０に第２のマーカ画像３５が含まれるようにカメラ１４により第２のマーカ３４を撮影する。出席者は自身のＨＭＤ１に表示された仮想オブジェクトＳ０の表示状態の変更を所望する場合、自身が持つ第２のマーカ３４を操作することにより、第２のマーカ画像３５の基準点を結ぶ直線の背景映像Ｂ０の水平面に対する角度を変更し、変更情報取得部２５は変更情報を取得する。そして、表示状態変更部２６が仮想オブジェクトＳ０の表示状態を変更する。この場合、他の出席者に表示されている仮想オブジェクトＳ０の表示状態は変更されないこととなる。なお、設定量表示制御部２７は、設定量を表す情報をディスプレイ１５に表示するが、その設定量を表す情報は、登録された第２のマーカ画像３５の基準点を結ぶ直線の背景映像Ｂ０の水平面に対する角度の変更量に対応するものとなる。
　このように、出席者毎に第２のマーカ３４を所持し、第２のマーカ画像３５を登録し、出席者毎に仮想オブジェクトＳ０の表示状態を変更することにより、他の出席者の仮想オブジェクトＳ０の表示状態に影響を与えることなく、仮想オブジェクトＳ０の表示状態を変更することができる。
　また、上記実施形態においては、第２のマーカ３４を用いて、仮想オブジェクトＳ０全体の表示状態を変更している。しかしながら、上記第１の実施形態において表示する仮想オブジェクトＳ０は、肝臓並びに肝臓に含まれる動脈、静脈、門脈および病変という他のオブジェクトが含まれる。このため、肝臓、動脈、静脈、門脈および病変というオブジェクト毎に表示状態を変更できるようにしてもよい。以下、これを第２の実施形態として説明する。
　図１６は第２の実施形態において使用される第２のマーカを示す図である。図１６に示すように第２の実施形態においては、５つの第２のマーカ４１Ａ～４１Ｅが使用される。なお、各マーカ４１Ａ～４１Ｅには、それぞれ仮想オブジェクトＳ０に含まれるいずれのオブジェクトの表示状態を変更するものであるかが分かるように、オブジェクトの名称が記載されている。すなわち、マーカ４１Ａ～４１Ｅのそれぞれに、肝臓、動脈、静脈、門脈および病変と記載されている。なお、このような複数の第２のマーカ４１Ａ～４１Ｅを手に持って操作することは困難であるため、不図示の台に載せておくことが好ましい。また、第２のマーカ４１Ａ～４１Ｅの各面毎に異なる表示状態を定義した２次元バーコードを貼り付けておき、第２のマーカ４１Ａ～４１Ｅを回転して、ディスプレイ１５に表示される第２のマーカ４１Ａ～４１Ｅの面を変更することにより、仮想オブジェクトＳ０を構成する各オブジェクトの表示状態を変更するようにしてもよい。この場合、設定を所望する表示状態が定義された２次元バーコードが貼り付けられた面以外の面が見えないようにするために、図１７に示すように、第２のマーカ４１Ａ～４１Ｅをケース４２に入れておき、必要な場合、第２のマーカ４１Ａ～４１Ｅをケース４２から取り出して、所望とする面が撮影されるように、第２のマーカ４１Ａ～４１Ｅの向きを変更することが好ましい。
　このように、仮想オブジェクトＳ０を構成する各オブジェクト毎に表示状態を変更するための第２のマーカ４１Ａ～４１Ｅを用意し、第２のマーカ４１Ａ～４１Ｅ毎に、すなわち仮想オブジェクトＳ０に含まれるオブジェクト毎に変更情報（オブジェクト用変更情報）を取得することにより、仮想オブジェクトＳ０に含まれる各オブジェクト毎に異なる表示状態とすることができる。とくに、表示状態として非表示を定義した２次元バーコードを用いることにより、所望とするオブジェクトを仮想オブジェクトＳ０において非表示とすることができる。したがって、仮想オブジェクトＳ０に含まれる各オブジェクトを所望とする表示状態において観察することができる。
　また、上記実施形態において、仮想オブジェクトＳ０を用いて手術の進行のシミュレーション動画像を予め作成しておき、時間が経過して手術が進行することによる仮想オブジェクトＳ０の形態の変更を、表示状態として定義してもよい。この場合、第２のマーカ３４を操作することにより、仮想オブジェクトＳ０は図４に示す状態から、例えば図１８に示すように肝臓を切除した状態となるように、仮想オブジェクトＳ０の表示状態を変更することができる。
　また、手術のプランとして複数のプランを用意しておき、各プラン毎に手術の進行状態のシミュレーション動画像を作成しておくようにしてもよい。この場合、第２のマーカの面毎に貼り付ける２次元バーコード毎に異なるプランのシミュレーション動画像を対応付けておく。そして、表示したいプランが定義づけられた面の２次元バーコードをディスプレイ１５に表示することにより、そのプランの手術のシミュレーション動画像に基づいて、仮想オブジェクトＳ０の表示状態を変更することができる。
　また、上記実施形態においては、２次元バーコードを板に貼り付けた第１のマーカを用いているが、２次元バーコードに代えて予め定められた記号、色、図形あるいは文字等を用いてもよい。また、ＬＥＤあるいはペンおよび操作者の指等予め定められた物体であってもよい。さらに、背景映像Ｂ０に含まれる直線の交点あるいは光る物体等のテクスチャを第１のマーカとして用いてもよい。
　また、図１１に示すように２つのマーカ３６，３７を用いる場合において、２次元バーコードに代えて、各面に異なる色を付与した２つのマーカを用いるようにしてもよい。この場合、２つのマーカの色の組み合わせに応じた変更情報を定義すればよい。例えば、赤、青、緑、黄色、紫色、ピンク色の６色を各面に付与したマーカを用いた場合、赤と赤との組み合わせは１．００、赤と青との組み合わせは０．７５というように、２つのマーカの色の組み合わせに応じた変更情報を定義しておけばよい。また、色に変えて、各面に異なる模様を付与した２つのマーカを用いるようにしてもよい。この場合、２つのマーカの模様の組み合わせに応じた変更情報を定義すればよい。なお、マーカの数は２つに限定されるものではなく、３以上であってもよい。この場合、３以上の色または模様の組み合わせに応じた変更情報を定義しておけばよい。
　また、２次元バーコードに代えて各面に数字を付与したマーカを使用してもよい。この場合、数字を百分率により定義しておき、第２のマーカの各面に１００，７５，５０等の数字を付与しておき、背景映像Ｂ０に含まれる第２のマーカの数字を読み取って百分率により表される変更情報を取得するようにすればよい。
　また、上記実施形態においては、２次元バーコードを立方体に貼り付けた第２のマーカを用いているが、立方体に限定されるものではなく、四面体あるいは八面体等の他の多面体であってもよい。この場合、多面体の各面に異なる表示状態を定義した２次元バーコードを貼り付けてもよく、同一の２次元バーコードを貼り付けてもよい。また、多面体に限定されるものではなく、第１のマーカ３０と同様に板に２次元バーコードを貼り付けたものを第２のマーカとして用いてもよい。これにより、多面体を回転させたり移動させたりすることにより、より容易に仮想オブジェクトの表示状態を変更することができる。
　また、上記実施形態においては、第２のマーカ３４をディスプレイ１５の面上において回転することにより、仮想オブジェクトＳ０の表示状態を変更しているが、ディスプレイ１５の面の奥行き方向の前後に回転させることにより、仮想オブジェクトＳ０の表示状態を変更してもよい。この場合、第２のマーカ３４に貼り付けられた２次元バーコードの形状の変化に基づいて、変更情報を取得すればよい。また、第２のマーカ３４をカメラ１４に近づけたり遠ざけたりすることにより、仮想オブジェクトＳ０の表示状態を変更してもよい。この場合、ディスプレイ１５に表示される第２のマーカ画像３５の大きさの変化に基づいて、変更情報を取得すればよい。また、図１１に示すように２つの第２のマーカ３６，３７を用いた場合、２つのマーカ３６，３７の相対的な角度に代えて相対的な距離を算出し、これに基づいて変更情報を取得してもよい。また、図１２に示すように第１のマーカ画像３１との関係を用いた場合、第１のマーカ画像３１と第２のマーカ画像３５との相対的な角度に代えて相対的な距離を算出し、これに基づいて変更情報を取得してもよい。
　また、上記実施形態においては、２次元バーコードを貼り付けた第２のマーカを用いているが、２次元バーコードに代えて予め定められた記号、色、図形あるいは文字等を用いてもよい。また、ＬＥＤあるいはペンおよび操作者の指等予め定められた物体であってもよい。この場合、ＬＥＤ等の初期位置からの移動量等を検出し、これを変更情報として用いればよい。
　また、上記実施形態においては、ＨＭＤ１にカメラ１４を設けているが、カメラ１４をＨＭＤ１とは別体として設けてもよい。この場合においても、ＨＭＤ１の装着者の視野とに対応する範囲を撮影するように配置されることが好ましい。
　また、上記実施形態においては、本発明による仮想オブジェクト表示装置を、没入型の眼鏡型表示装置であるＨＭＤに適用しているが、透過型の眼鏡型端末装置に適用してもよい。この場合、ディスプレイ１５は透過型のディスプレイとなり、仮想オブジェクトＳ０をディスプレイ１５に表示することにより、仮想オブジェクト表示装置の装着者は、カメラ１４が撮影してディスプレイ１５に表示された背景映像Ｂ０ではなく、自身が実際に見ている現実空間に重畳された仮想オブジェクトＳ０を観察することができる。またこの場合、カメラ１４は、仮想オブジェクトＳ０を表示する位置および大きさを決定するための第１のマーカ３０、および仮想オブジェクトＳ０の表示状態を変更するための第２のマーカ３４を撮影するために用いられることとなる。
　また、上記実施形態においては、本発明による仮想オブジェクト表示装置を眼鏡型表示装置に適用しているが、カメラを搭載したタブレット端末に適用してもよい。この場合、手術前カンファレンスの出席者は各自タブレット端末を所持し、タブレット端末のディスプレイに背景映像Ｂ０および仮想オブジェクトＳ０が表示されることとなる。
　上記実施形態においては、第１のマーカ３０を用いて、仮想オブジェクトＳ０を表示する位置、大きさおよび向きを表示情報として取得し、手術前カンファレンスの出席者がいる位置に応じた大きさおよび向きを有する仮想オブジェクトＳ０を表示している。
　また、上記実施形態においては、医用３次元画像から生成した仮想オブジェクトＳ０を表示しているが、仮想オブジェクトＳ０の種類は医用に限定されない。例えば、ゲームのキャラクタあるいは模型等を仮想オブジェクトＳ０として用いてもよい。
　以下、本発明の作用効果について説明する。
　ユーザの視野に対応する背景を撮影して背景映像を取得することにより、ユーザの視野内に仮想オブジェクトを表示することができるため、仮想オブジェクトの観察を容易に行うことができる。
　また、仮想オブジェクトの表示する際の大きさおよび向きの少なくとも一方を表示情報に含めることにより、適切な大きさおよび／または向きとなるように仮想オブジェクトを表示することができる。
　また、背景映像に仮想オブジェクトを合成して表示することにより、とくに没入型の眼鏡型表示装置を用いて仮想オブジェクトの表示を行う際に有利である。
　また、仮想オブジェクト表示用の第１のマーカを撮影することにより背景映像に含まれる、第１のマーカを表す第１のマーカ画像から表示情報を取得することにより、第１のマーカが配置された位置に仮想オブジェクトを表示することができるため、現実空間におけるユーザの所望とする位置に仮想オブジェクトを表示することができる。
　また、仮想オブジェクトの表示状態変更用の第２のマーカを撮影することにより背景映像に含まれる、第２のマーカを表す第２のマーカ画像から変更情報を取得することにより、第２のマーカを動かす等して変更情報を取得することができるため、実際の操作に対応して仮想オブジェクトの表示状態を変更することができる。
　また、変更情報を第２のマーカの基準位置からの変更量とすることにより、第２のマーカを基準位置から動かす等することにより、容易に仮想オブジェクトの表示状態を変更することができる。
　また、設定量を表す情報を第２のマーカ画像の近傍に表示することにより、第２のマーカ画像の表示状態と設定量を表す情報との対応付けを容易に行うことができるため、仮想オブジェクトの表示状態の変更を容易に行うことができる。
　また、第２のマーカを、各面に表示状態を変更するための情報が付与された多面体とすることにより、多面体を回転させたり移動させたりすることにより、より容易に仮想オブジェクトの表示状態を変更することができる。
　また、表示装置を眼鏡型表示装置とすることにより、左右の目に対応させて視差を有する仮想オブジェクトを表示することができ、これにより、仮想オブジェクトを立体視することができる。したがって、より現実的な態様で仮想オブジェクトを観察することができる。
　　　１，１Ａ～１Ｄ　　ヘッドマウントディスプレイ（ＨＭＤ）
　　　２　　３次元画像撮影装置
　　　３　　画像保管サーバ
　　　４　　ネットワーク
　　　１１　　ＣＰＵ
　　　１２　　メモリ
　　　１３　　ストレージ
　　　１４　　カメラ
　　　１５　　ディスプレイ
　　　１６　　入力部
　　　１７　　ジャイロセンサ
　　　２１　　画像取得部
　　　２２　　仮想オブジェクト取得部
　　　２３　　表示情報取得部
　　　２４　　表示制御部
　　　２５　　変更情報取得部
　　　２６　　表示状態変更部
　　　２７　　設定量表示制御部
　　　３０　　第１のマーカ
　　　３４，３６，３７　　第２のマーカ

Claims (18)

  1. 　背景映像を取得する撮影手段と、
    　仮想オブジェクトを取得する仮想オブジェクト取得手段と、
    　前記仮想オブジェクトを表示する表示手段と、
    　前記仮想オブジェクトを表示する位置を表す表示情報を前記背景映像から取得する表示情報取得手段と、
    　前記表示情報に基づいて、前記仮想オブジェクトを前記表示手段に表示する表示制御手段と、
    　前記仮想オブジェクトの表示状態を変更するための変更情報を前記背景映像から取得する変更情報取得手段と、
    　前記変更情報に応じて、前記仮想オブジェクトの表示状態を変更する表示状態変更手段と、
    　前記仮想オブジェクトの表示状態の設定量を表す情報を、前記表示手段に表示する設定量表示制御手段とを備えたことを特徴とする仮想オブジェクト表示装置。
  2. 　前記背景映像は、ユーザの視野に対応する背景を撮影することにより取得される請求項１記載の仮想オブジェクト表示装置。
  3. 　前記表示情報は、前記仮想オブジェクトを表示する際の大きさおよび向きの少なくとも一方をさらに含む請求項１または２記載の仮想オブジェクト表示装置。
  4. 　前記表示手段は、前記背景映像に前記仮想オブジェクトを合成して表示する請求項１から３のいずれか１項記載の仮想オブジェクト表示装置。
  5. 　前記表示情報取得手段は、前記仮想オブジェクト表示用の第１のマーカを撮影することにより前記背景映像に含まれる、前記第１のマーカを表す第１のマーカ画像から前記表示情報を取得する請求項１から４のいずれか１項記載の仮想オブジェクト表示装置。
  6. 　前記変更情報取得手段は、前記仮想オブジェクトの表示状態変更用の少なくとも１つの第２のマーカを撮影することにより前記背景映像に含まれる、前記第２のマーカを表す第２のマーカ画像から前記変更情報を取得する請求項１から５のいずれか１項記載の仮想オブジェクト表示装置。
  7. 　前記変更情報は、前記第２のマーカの基準位置からの変更量である請求項６記載の仮想オブジェクト表示装置。
  8. 　前記設定量表示制御手段は、前記設定量を表す情報を前記第２のマーカ画像の近傍に表示する請求項６または７記載の仮想オブジェクト表示装置。
  9. 　前記第２のマーカは、各面に前記表示状態を変更するための情報が付与されてなる多面体である請求項８記載の仮想オブジェクト表示装置。
  10. 　前記多面体は立方体である請求項９記載の仮想オブジェクト表示装置。
  11. 　前記仮想オブジェクトが複数のオブジェクトを含み、
    　前記変更情報取得手段は、前記複数のオブジェクトのそれぞれの表示状態を変更するための複数のオブジェクト用変更情報を取得し、
    　前記表示状態変更手段は、前記オブジェクト用変更情報に応じて、前記複数のオブジェクト毎に表示状態を変更し、
    　前記設定量表示手段は、前記複数のオブジェクトのそれぞれの設定量を表す情報を、前記複数のオブジェクト毎に前記表示手段に表示する請求項１から１０のいずれか１項記載の仮想オブジェクト表示装置。
  12. 　前記仮想オブジェクトは３次元画像である請求項１から１１のいずれか１項記載の仮想オブジェクト表示装置。
  13. 　前記３次元画像は医用３次元画像である請求項１２記載の仮想オブジェクト表示装置。
  14. 　前記表示手段は眼鏡型表示装置である請求項１から１３のいずれか１項記載の仮想オブジェクト表示装置。
  15. 　複数のユーザのそれぞれに対応した、複数の請求項１から１４のいずれか１項記載の仮想オブジェクト表示装置を備え、
    　前記複数の仮想オブジェクト表示装置のそれぞれにおける前記表示状態変更手段は、いずれか１つの仮想オブジェクト表示装置の前記変更情報取得手段により取得された変更情報に応じて、前記仮想オブジェクトの表示状態を変更することを特徴とする仮想オブジェクト表示システム。
  16. 　複数のユーザのそれぞれに対応した、複数の請求項１から１４のいずれか１項記載の仮想オブジェクト表示装置を備え、
    　前記複数の仮想オブジェクト表示装置のそれぞれにおける前記表示状態変更手段は、それぞれの前記仮想オブジェクト表示装置の前記変更情報取得手段により取得された変更情報に応じて、前記仮想オブジェクトの表示状態を変更することを特徴とする仮想オブジェクト表示システム。
  17. 　背景映像を取得し、
    　仮想オブジェクトを取得し、
    　前記仮想オブジェクトを表示する位置を表す表示情報を前記背景映像から取得し、
    　前記表示情報に基づいて、前記仮想オブジェクトを表示手段に表示し、
    　前記仮想オブジェクトの表示状態を変更するための変更情報を前記背景映像から取得し、
    　前記変更情報に応じて、前記仮想オブジェクトの表示状態を変更し、
    　前記仮想オブジェクトの表示状態の設定量を表す情報を、前記表示手段に表示することを特徴とする仮想オブジェクト表示方法。
  18. 　背景映像を取得する手順と、
    　仮想オブジェクトを取得する手順と、
    　前記仮想オブジェクトを表示する位置を表す表示情報を前記背景映像から取得する手順と、
    　前記表示情報に基づいて、前記仮想オブジェクトを表示手段に表示する手順と、
    　前記仮想オブジェクトの表示状態を変更するための変更情報を前記背景映像から取得する手順と、
    　前記変更情報に応じて、前記仮想オブジェクトの表示状態を変更する手順と、
    　前記仮想オブジェクトの表示状態の設定量を表す情報を、前記表示手段に表示する手順とをコンピュータに実行させることを特徴とする仮想オブジェクト表示プログラム。
PCT/JP2016/052039 2015-02-16 2016-01-25 仮想オブジェクト表示装置、方法、プログラムおよびシステム WO2016132822A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/654,098 US20170315364A1 (en) 2015-02-16 2017-07-19 Virtual object display device, method, program, and system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-027389 2015-02-16
JP2015027389A JP6336929B2 (ja) 2015-02-16 2015-02-16 仮想オブジェクト表示装置、方法、プログラムおよびシステム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/654,098 Continuation US20170315364A1 (en) 2015-02-16 2017-07-19 Virtual object display device, method, program, and system

Publications (1)

Publication Number Publication Date
WO2016132822A1 true WO2016132822A1 (ja) 2016-08-25

Family

ID=56688799

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/052039 WO2016132822A1 (ja) 2015-02-16 2016-01-25 仮想オブジェクト表示装置、方法、プログラムおよびシステム

Country Status (3)

Country Link
US (1) US20170315364A1 (ja)
JP (1) JP6336929B2 (ja)
WO (1) WO2016132822A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019079806A1 (en) * 2017-10-20 2019-04-25 Google Llc MANAGING CONTENT DISPLAY PROPERTIES
CN110069125A (zh) * 2018-09-21 2019-07-30 北京微播视界科技有限公司 虚拟对象的控制方法和装置

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
BR112017018874A2 (pt) * 2015-03-01 2018-04-17 Aris Md Inc método de facilitamento de um procedimento em relação a um domínio morfológico, sistema, e, meio legível por máquina não transitório
CN105867855A (zh) * 2015-12-04 2016-08-17 乐视致新电子科技（天津）有限公司 虚拟设备图像的显示方法及设备
US10380758B2 (en) * 2016-04-27 2019-08-13 Mad Street Den, Inc. Method for tracking subject head position from monocular-source image sequence
JP6522572B2 (ja) * 2016-10-31 2019-05-29 株式会社コロプラ 仮想現実を提供するための方法、当該方法をコンピュータに実行させるためのプログラムおよび、情報処理装置
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US10885689B2 (en) * 2018-07-06 2021-01-05 General Electric Company System and method for augmented reality overlay
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1051711A (ja) * 1996-08-05 1998-02-20 Sony Corp ３次元仮想物体表示装置および方法
JP2006012042A (ja) * 2004-06-29 2006-01-12 Canon Inc 画像生成方法及び装置
JP2010026818A (ja) * 2008-07-18 2010-02-04 Geisha Tokyo Entertainment Inc 画像処理プログラム、画像処理装置及び画像処理方法
JP2011521318A (ja) * 2008-04-16 2011-07-21 バーチュアル プロテインズ ベー．フェー． インタラクティブな仮想現実画像生成システム
JP2014186507A (ja) * 2013-03-22 2014-10-02 Nintendo Co Ltd 画像処理用プログラム、情報処理装置、情報処理システム、および画像処理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4834606B2 (ja) * 2007-05-16 2011-12-14 キヤノン株式会社 画像処理方法及び画像処理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1051711A (ja) * 1996-08-05 1998-02-20 Sony Corp ３次元仮想物体表示装置および方法
JP2006012042A (ja) * 2004-06-29 2006-01-12 Canon Inc 画像生成方法及び装置
JP2011521318A (ja) * 2008-04-16 2011-07-21 バーチュアル プロテインズ ベー．フェー． インタラクティブな仮想現実画像生成システム
JP2010026818A (ja) * 2008-07-18 2010-02-04 Geisha Tokyo Entertainment Inc 画像処理プログラム、画像処理装置及び画像処理方法
JP2014186507A (ja) * 2013-03-22 2014-10-02 Nintendo Co Ltd 画像処理用プログラム、情報処理装置、情報処理システム、および画像処理方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019079806A1 (en) * 2017-10-20 2019-04-25 Google Llc MANAGING CONTENT DISPLAY PROPERTIES
CN111226189A (zh) * 2017-10-20 2020-06-02 谷歌有限责任公司 内容显示属性管理
US11043031B2 (en) 2017-10-20 2021-06-22 Google Llc Content display property management
CN111226189B (zh) * 2017-10-20 2024-03-29 谷歌有限责任公司 内容显示属性管理
CN110069125A (zh) * 2018-09-21 2019-07-30 北京微播视界科技有限公司 虚拟对象的控制方法和装置
CN110069125B (zh) * 2018-09-21 2023-12-22 北京微播视界科技有限公司 虚拟对象的控制方法和装置

Also Published As

Publication number Publication date
JP2016151791A (ja) 2016-08-22
US20170315364A1 (en) 2017-11-02
JP6336929B2 (ja) 2018-06-06

Similar Documents

Publication Publication Date Title
JP6336929B2 (ja) 仮想オブジェクト表示装置、方法、プログラムおよびシステム
JP6336930B2 (ja) 仮想オブジェクト表示装置、方法、プログラムおよびシステム
US11983830B2 (en) Systems and methods for generating and facilitating access to a personalized augmented rendering of a user
CA2997965C (en) Augmented reality surgical navigation
JP4739002B2 (ja) 画像処理方法、画像処理装置
US10386633B2 (en) Virtual object display system, and display control method and display control program for the same
CN111568548B (zh) 基于混合实境的手术导航图像成像方法
US8690581B2 (en) Opthalmoscope simulator
WO2019152619A1 (en) Blink-based calibration of an optical see-through head-mounted display
JPWO2012081194A1 (ja) 医療支援装置、医療支援方法および医療支援システム
CN107810634A (zh) 用于立体增强现实的显示器
JP2007034628A (ja) 画像処理方法及び装置
JP2023526716A (ja) 外科手術ナビゲーションシステムおよびそのアプリケーション
JP2006012042A (ja) 画像生成方法及び装置
Hua et al. A testbed for precise registration, natural occlusion and interaction in an augmented environment using a head-mounted projective display (HMPD)
CA3152809A1 (en) Method for analysing medical image data in a virtual multi-user collaboration, a computer program, a user interface and a system
JP6461024B2 (ja) 画像位置合せ装置、方法およびプログラム
TW202017368A (zh) 智慧眼鏡、系統及其使用方法
Bichlmeier et al. The tangible virtual mirror: New visualization paradigm for navigated surgery
WO2018173206A1 (ja) 情報処理装置
US20240206988A1 (en) Graphical user interface for a surgical navigation system
Gallo et al. User-friendly inspection of medical image data volumes in virtual environments
Aniket Augmented reality
Żuk et al. Quantitative evaluation of stereoscopic augmented reality visualization using an optical see-through head-mounted display.
CA3218037A1 (en) Augmented reality patient assessment module

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16752211

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16752211

Country of ref document: EP

Kind code of ref document: A1