JP6336930B2 - 仮想オブジェクト表示装置、方法、プログラムおよびシステム - Google Patents

仮想オブジェクト表示装置、方法、プログラムおよびシステム Download PDF

Info

Publication number
JP6336930B2
JP6336930B2 JP2015027390A JP2015027390A JP6336930B2 JP 6336930 B2 JP6336930 B2 JP 6336930B2 JP 2015027390 A JP2015027390 A JP 2015027390A JP 2015027390 A JP2015027390 A JP 2015027390A JP 6336930 B2 JP6336930 B2 JP 6336930B2
Authority
JP
Japan
Prior art keywords
virtual object
display
marker
changing
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015027390A
Other languages
English (en)
Other versions
JP2016151792A (ja
Inventor
潤 桝本
潤 桝本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2015027390A priority Critical patent/JP6336930B2/ja
Priority to PCT/JP2016/051871 priority patent/WO2016132817A1/ja
Publication of JP2016151792A publication Critical patent/JP2016151792A/ja
Priority to US15/670,472 priority patent/US10359916B2/en
Application granted granted Critical
Publication of JP6336930B2 publication Critical patent/JP6336930B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04802—3D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2024—Style variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Surgery (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Architecture (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Urology & Nephrology (AREA)
  • Optics & Photonics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、例えば拡張現実感を用いて仮想オブジェクトを表示するに際し、仮想オブジェクトの表示状態を変更することが可能な仮想オブジェクト表示装置、方法、プログラムおよびシステムに関するものである。
近年、現実の空間を撮影することにより取得したリアルタイムの背景映像に、仮想オブジェクトを重畳して、ヘッドマウントディスプレイ等の表示装置に表示することにより、現実空間に仮想オブジェクトが存在するかのように見せる拡張現実感を使用する表示システムが提案されている。このようなシステムにおいては、仮想オブジェクトを表示させる位置を規定するマーカを現実空間に配置する。そして、現実空間を撮影した背景映像からマーカを検出する。さらに、検出したマーカの位置、大きさおよび向きに応じて、仮想オブジェクトを表示する位置、大きさおよび表示する向きが決定され、決定された表示位置、大きさおよび向きにより表示装置に仮想オブジェクトが表示される。マーカとしては、２次元バーコード等の画像が用いられる。また、ＬＥＤ（Light Emission Diode）あるいは操作者の指をマーカとして用いる手法も提案されている。
一方、表示された仮想オブジェクトに対して何らかの操作を行うことも可能となっている。例えば、様々なパターンが描かれたマーカを撮影し、拡張現実感を用いて表示されたマーカが仮想オブジェクトと接触した際に、パターンに関連づけられたイベントを発生させる手法が提案されている（特許文献１参照）。特許文献１に記載された手法においては、表示されている仮想オブジェクトを削除したり、他の仮想オブジェクトに置き換えたりするイベントを発生している。また、操作者の指を背景映像に含ませ、指をカーソルのように移動させて仮想オブジェクトを操作する手法（特許文献２参照）、および仮想オブジェクトを操作するための操作用インターフェースを拡張現実感を用いて表示し、表示された操作用インターフェースを用いて仮想オブジェクトの操作を行う手法（特許文献３参照）等が提案されている。
また、医療分野においては、手術前に手術の出席者を集めて、手術の説明をするための手術前カンファレンスが行われている。このような手術前カンファレンスにおいて、近年、拡張現実感を使用して手術の対象となる部位を表示して、手術をシミュレーションすることが行われている。例えば、肝臓の部分切除の手術においては、ＣＴ（Computed Tomography）画像あるいはＭＲＩ（magnetic resonance imaging）画像の断層画像から得られる３次元画像から、肝臓、門脈、静脈、動脈、体表、骨および腫瘍といった組織を抽出し、これらを３次元画像として可視化して、肝臓の仮想オブジェクトを生成する。そして、拡張現実感を用いて仮想オブジェクトを実寸大となるように表示し、表示された仮想オブジェクトを用いて、手術前カンファレンスの代表者である執刀医からカンファレンスの出席者への説明および手技のシミュレーションが行われる。この際、カンファレンスの出席者はヘッドマウントディスプレイ等の表示装置を各自装着することにより、全員が共通の仮想オブジェクトを見ながらカンファレンスを行うことができる。
このような拡張現実感を使用する表示システムの医療分野への応用において、ヘッドマウントディスプレイに手術対象の仮想オブジェクトと医療器具等の実際の物体とを重畳表示し、術者の指示により仮想オブジェクトの表示および非表示を切り替えたり、物体との距離に応じて仮想オブジェクトを拡大縮小する手法が提案されている（特許文献４参照）。また、仮想オブジェクトを各人物が装着するヘッドマウントディスプレイに表示し、メス等の物体を検出し、その物体の操作により仮想オブジェクトの拡大および透過表示等を切り替える手法も提案されている（特許文献５参照）。さらに、マーカを基準として仮想オブジェクトを表示する際に、複数のマーカを表示し、マーカの移動により対応するオブジェクト毎に位置、向きおよび傾きを変更する手法が提案されている（特許文献６参照）。
特開２０１１−１９８１５０号公報 特開２０１３−１０５３３０号公報 特開２０１３−１７２４３２号公報 特開２０１４−１５５２０７号公報 国際公開第２０１２／０８１１９４号 特開２０１４−０１０６６４号公報
ところで、拡張現実感を用いて表示された仮想オブジェクトの色、明るさおよび不透明度等の表示状態を変更することにより、仮想オブジェクトを様々な表示状態にて表示することができる。この場合、特許文献１〜３に記載された手法により操作を行って、仮想オブジェクトの表示状態を変更することが考えられる。
しかしながら、特許文献１，２に記載された手法は、拡張現実感を使用して表示された仮想オブジェクトに対して、さらに画面に映し出された指等を仮想オブジェクトに向けて移動させて操作を行うものである。このため、操作者の顔の向きが変わる等して表示されている仮想オブジェクトの位置が変わると、指等の映像を移動するための操作がやりにくくなる。また、仮想オブジェクトが小さく表示されていると、操作のための指等の操作量が小さくなるため、指等を移動するための操作がよりやりにくくなる。また、特許文献３に記載された手法は、操作用のインターフェースも拡張現実感を使用して表示されるため、操作は物ではなく空間に対して行われる。このため、ボタンを押す等の現実的な感触がなく、表示状態を微妙に変更するための操作を行うことが難しい。したがって、仮想オブジェクトの表示状態を変更するための入力装置等のハードウェアを用いることが考えられる。しかしながら、この場合、別途ハードウェアを用意する必要があり、さらにハードウェアを用いて仮想オブジェクトの表示状態を変更するための複雑なアプリケーションが必要となる。
また、特許文献４〜６に記載された手法も、物体と仮想オブジェクトとの距離あるいは複数のマーカ間の距離により、仮想オブジェクトを拡大縮小したり、表示および非表示を切り替えたりするものであるが、上記特許文献１，２に記載された手法と同様に、操作者の顔の向きが変わる等して表示されている仮想オブジェクトの位置が変わると、変更のための操作がやりにくくなる。また、仮想オブジェクトの表示状態を微妙に変更するための操作を行うことが難しい。
本発明は上記事情に鑑みなされたものであり、仮想オブジェクトの表示状態を精度よく変更できるようにすることを目的とする。
本発明による仮想オブジェクト表示装置は、背景映像を取得する撮影手段と、
仮想オブジェクトを取得する仮想オブジェクト取得手段と、
仮想オブジェクトを表示する表示手段と、
仮想オブジェクトを表示する位置を表す表示情報を背景映像から取得する表示情報取得手段と、
表示情報に基づいて、仮想オブジェクトを表示手段に表示する表示制御手段と、
背景映像に含まれる、仮想オブジェクトの表示状態変更用の複数のマーカのそれぞれを表す複数のマーカ画像のうちの、基準となる基準マーカを表す基準マーカ画像と、基準マーカ以外の他のマーカを表す他のマーカ画像との相対関係に応じて、仮想オブジェクトの表示状態を変更するための変更情報を取得する変更情報取得手段と、
変更情報に応じて、仮想オブジェクトの表示状態を変更する表示状態変更手段とを備えたことを特徴とするものである。
「背景映像」とは、仮想オブジェクトを表示する背景となる映像であり、例えば現実空間の映像となる。なお、背景映像は、所定のサンプリング間隔で、仮想オブジェクトを表示する背景を逐次撮影することにより取得される動画像となる。
「表示情報」とは、仮想オブジェクトを表示する位置、さらに必要な場合には大きさおよび向きの少なくとも一方を特定するために現実空間に置かれる、仮想オブジェクト表示用の物体を撮影することにより背景映像に含まれる情報である。仮想オブジェクト表示用の物体としては、例えば２次元バーコード、色あるいは模様を付与したマーカ、ＬＥＤ等のマーカ、何らかの器具、操作者の指等の体の一部、並びに背景映像に含まれる物体のエッジあるいはエッジの交点等の特徴点を用いることができる。マーカを用いた場合、表示情報は背景映像に含まれるマーカを表すマーカ画像から取得されることとなる。
ここで、基準マーカと他のマーカとを並べ、他のマーカを回転させたり、移動させたり、撮影手段に近づけたり遠ざけたりすると、他のマーカ画像は基準マーカ画像に対して相対的に回転したり、移動したり、大きさが異なったりする。また、基準マーカにある色を付与し、他のマーカの色を変更すると、他のマーカ画像は基準マーカ画像に対して相対的に色が変化する。また、基準マーカにある模様を付与し、他のマーカの模様を変更すると、他のマーカ画像は基準マーカ画像に対して相対的に模様が変化する。「相対関係」とは、基準マーカ画像に対する他のマーカ画像の相対的な角度の変化、距離の変化、大きさの変化、色の変化および模様の変化等を意味する。
「表示状態を変更する」とは、仮想オブジェクトを見る者の視覚に訴える、仮想オブジェクトの状態を変更することを意味する。例えば、仮想オブジェクトの色、明るさ、コントラスト、不透明度および鮮鋭度等を変更することを意味する。なお、仮想オブジェクトに手を加えることにより、時間の経過とともにその形態を変更するような仮想オブジェクトの場合、時間の経過による形態の変更も、表示状態の変更に含むものとする。また、仮想オブジェクトが複数のオブジェクトからなる場合、オブジェクト毎に表示状態を変更するものであってもよい。
なお、本発明による仮想オブジェクト表示装置においては、背景映像は、ユーザの視野に対応する背景を撮影することにより取得されるものであってもよい。
また、本発明による仮想オブジェクト表示装置においては、表示情報は、仮想オブジェクトを表示する際の大きさおよび向きの少なくとも一方をさらに含むものであってもよい。
また、本発明による仮想オブジェクト表示装置においては、表示手段は、背景映像に仮想オブジェクトを合成して表示するものであってもよい。
また、本発明による仮想オブジェクト表示装置においては、表示情報取得手段は、仮想オブジェクト表示用のマーカを撮影することにより背景映像に含まれる、仮想オブジェクト表示用のマーカを表すマーカ画像から表示情報を取得するものであってもよい。
また、本発明による仮想オブジェクト表示装置においては、表示情報取得手段は、基準マーカを撮影することにより背景映像に含まれる、基準マーカ画像から表示情報を取得するものであってもよい。
また、本発明による仮想オブジェクト表示装置においては、仮想オブジェクトの表示状態の設定量を表す情報を、表示手段に表示する設定量表示制御手段をさらに備えるものとしてもよい。
「設定量を表す情報」とは、それを見ることにより、表示中の仮想オブジェクトの表示状態の設定量を認識することができる情報である。例えば、設定量を表す数値、円グラフ，棒グラフおよび目盛り付きのスケール等の設定量を表すことが可能な情報を、「設定量を表す情報」として用いることができる。
また、本発明による仮想オブジェクト表示装置においては、設定量表示制御手段は、設定量を表す情報を仮想オブジェクト表示状態変更用の複数のマーカを表す複数のマーカ画像の近傍に表示するものであってもよい。
「近傍」とは、視線を移動させることなく、複数のマーカ画像と設定量を表す情報との双方を観察することができる程度の距離であることを意味する。なお、「近傍」には、複数のマーカ画像と設定量を表す情報とが接していることおよび重畳していることの双方を含む。
また、本発明による仮想オブジェクト表示装置においては、仮想オブジェクト表示状態変更用のマーカは、各面に表示状態を変更するための情報が付与されてなる多面体であってもよい。
また、本発明による仮想オブジェクト表示装置においては、多面体は立方体であってもよい。
また、本発明による仮想オブジェクト表示装置においては、仮想オブジェクトが複数のオブジェクトを含むものとし、
変更情報取得手段は、複数のオブジェクトのそれぞれの表示状態を変更するための複数のオブジェクト用変更情報を取得するものであり、
表示状態変更手段は、オブジェクト用変更情報に応じて、複数のオブジェクト毎に表示状態を変更するものであり、
設定量表示手段は、複数のオブジェクトのそれぞれの設定量を表す情報を、複数のオブジェクト毎に表示手段に表示するものであってもよい。
また、本発明による仮想オブジェクト表示装置においては、仮想オブジェクトは３次元画像であってもよい。
とくに、３次元画像は医用３次元画像であってもよい。
また、本発明による仮想オブジェクト表示装置においては、表示手段は眼鏡型表示装置であってもよい。
「眼鏡型表示装置」としては、ヘッドマウントディスプレイ、および眼鏡型ウェアラブル端末の表示装置等を例として挙げることができる。また、目を完全に覆う没入型であっても、周りの状況を見ることができる透過型のいずれであってもよい。
また、本発明による仮想オブジェクト表示システムは、複数のユーザのそれぞれに対応した、複数の本発明による仮想オブジェクト表示装置を備え、
複数の仮想オブジェクト表示装置のそれぞれにおける表示状態変更手段は、いずれか１つの仮想オブジェクト表示装置の変更情報取得手段により取得された変更情報に応じて、仮想オブジェクトの表示状態を変更することを特徴とするものである。
本発明による他の仮想オブジェクト表示システムは、複数のユーザのそれぞれに対応した、複数の本発明による仮想オブジェクト表示装置を備え、
複数の仮想オブジェクト表示装置のそれぞれにおける表示状態変更手段は、それぞれの仮想オブジェクト表示装置の変更情報取得手段により取得された変更情報に応じて、仮想オブジェクトの表示状態を変更することを特徴とするものである。
本発明による仮想オブジェクト表示方法は、背景映像を取得し、
仮想オブジェクトを取得し、
仮想オブジェクトを表示する位置を表す表示情報を背景映像から取得し、
表示情報に基づいて、仮想オブジェクトを表示手段に表示し、
背景映像に含まれる、仮想オブジェクトの表示状態変更用の複数のマーカのそれぞれを表す複数のマーカ画像のうちの、基準となる基準マーカを表す基準マーカ画像と、基準マーカ以外の他のマーカを表す他のマーカ画像との相対関係に応じて、仮想オブジェクトの表示状態を変更するための変更情報を取得し、
変更情報に応じて、仮想オブジェクトの表示状態を変更し、
仮想オブジェクトの表示状態の設定量を表す情報を、表示手段に表示することを特徴とするものである。
なお、本発明による仮想オブジェクト表示方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本発明によれば、表示情報に基づいて仮想オブジェクトが表示され、背景映像に含まれる、仮想オブジェクトの表示状態変更用の複数のマーカのそれぞれを表す複数のマーカ画像のうちの、基準となる基準マーカを表す基準マーカ画像と、基準マーカ以外の他のマーカを表す他のマーカ画像との相対関係に応じて、仮想オブジェクトの表示状態を変更するための変更情報が取得される。そして、変更情報に応じて仮想オブジェクトの表示状態が変更される。このため、基準マーカと他のマーカとの相対関係を変更するのみで、仮想オブジェクトの表示状態を変更でき、これにより、実際の操作に応じて仮想オブジェクトの表示状態を精度よく変更することができる。
本発明の第１の実施形態における仮想オブジェクト表示装置の使用状況を説明するための図 第１の実施形態による仮想オブジェクト表示装置を適用した仮想オブジェクト表示システムの概要を示すハードウェア構成図 仮想オブジェクト表示装置であるヘッドマウントディスプレイの概略構成を示すブロック図 仮想オブジェクトの例を示す図 第１のマーカを示す図 手術前カンファレンスを行う場所に置かれた第１のマーカを示す図 背景映像から抽出した第１のマーカ画像を示す図 手術前カンファレンスを行う場所における仮想オブジェクトの表示状態を模式的に示す図 第２のマーカを示す図 第２のマーカの傾きの変更を説明するための図 ２つの第２のマーカを用いての変更情報の取得を説明するための図 第１のマーカおよび第２のマーカを用いた変更情報の取得を説明するための図 設定量を表す情報の表示を説明するための図 設定量を表す情報の表示を説明するための図 第１の実施形態において行われる処理を示すフローチャート 第２の実施形態において使用される第２のマーカを示す図 第２の実施形態において使用される第２のマーカを示す図 肝臓を切除した状態となるようにするための、仮想オブジェクトの表示状態の変更を説明するための図
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態における仮想オブジェクト表示装置の使用状況を説明するための図である。第１の実施形態による仮想オブジェクト表示装置は、手術前のカンファレンスにおいて、拡張現実感を用いて，手術対象である肝臓の３次元画像を仮想オブジェクトとして表示するためのものである。具体的には、被検体を撮影することにより取得した３次元画像から、肝臓の３次元画像を仮想オブジェクトとして生成し、手術前カンファレンスにおいて、手術の出席者がヘッドマウントディスプレイ（Head Mount Display、以下ＨＭＤとする）を装着し、ＨＭＤに仮想オブジェクトを表示して、手術前カンファレンスの代表者である執刀医から手術に関する各種説明を受ける状況において使用される。なお、本発明による仮想オブジェクト表示装置はＨＭＤに内包されてなる。
図２は第１の実施形態による仮想オブジェクト表示装置を適用した仮想オブジェクト表示システムの概要を示すハードウェア構成図である。図２に示すように、このシステムでは、第１の実施形態による仮想オブジェクト表示装置を内包した複数（本実施形態においては４つ）のＨＭＤ１Ａ〜１Ｄ、３次元画像撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。また、ＨＭＤ１Ａ〜１Ｄの間においても、ネットワーク４を経由して情報のやりとりが可能となっている。なお、ＨＭＤ１Ａ〜１Ｄが本発明の仮想オブジェクト表示装置に対応する。また、以下の説明においては、４つのＨＭＤ１Ａ〜１ＤをＨＭＤ１で代表させる場合があるものとする。
３次元画像撮影装置２は、被検体の手術の対象となる部位を撮影することにより、その部位を表す３次元画像Ｖ０を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ(Positron Emission Tomography )装置等である。この３次元画像撮影装置２により生成された３次元画像Ｖ０は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、被検体の手術の対象部位は肝臓であり、３次元画像撮影装置２はＣＴ装置であり、腹部の３次元画像Ｖ０が生成されるものとする。
画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された３次元画像Ｖ０等の画像データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式やネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and COmmunication in Medicine）等のプロトコルに基づいている。
ＨＤＭ１は、コンピュータを備え、コンピュータに、本発明の仮想オブジェクト表示プログラムをインストールしたものである。仮想オブジェクト表示プログラムは、ＨＭＤ１が有するメモリにインストールされる。もしくは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてＨＭＤ１にダウンロードされ、インストールされる。
図３は仮想オブジェクト表示プログラムをインストールすることにより実現された仮想オブジェクト表示装置であるＨＭＤ１の概略構成を示すブロック図である。図３に示すように、ＨＭＤ１は、ＣＰＵ（Central Processing Unit）１１、メモリ１２、ストレージ１３、カメラ１４、ディスプレイ１５、および入力部１６を備える。また、ＨＭＤ１の装着者の頭の動きを検出するためのジャイロセンサ１７も備える。なお、カメラ１４が本発明の撮影手段に、ディスプレイ１５が本発明の表示手段に対応する。また、カメラ１４、ディスプレイ１５およびジャイロセンサ１７をＨＭＤ１の頭への装着部分に設け、メモリ１２、ストレージ１３および入力部１６を装着部分とは別体として設けるようにしてもよい。
ストレージ１３には、ネットワーク４を経由して画像保管サーバ３から取得した３次元画像Ｖ０およびＨＭＤ１での処理によって生成された画像を含む各種情報が記憶されている。
カメラ１４は、レンズ、ＣＣＤ(Charge Coupled Device)等の撮像素子および取得した画像に画質を向上させるための処理を行う画像処理部等を備える。図２に示すように、カメラ１４は、ＨＭＤ１における出席者の両目の中央に対応する部分に位置するように、ＨＭＤ１に取り付けられている。これにより、手術前カンファレンスの出席者がＨＭＤ１を装着した際に、装着者の視野とカメラ１４の撮影範囲とが一致する。したがって、出席者がＨＭＤ１を装着すると、カメラ１４は出席者の視野に対応する画像を撮影し、出席者が見ている現実空間の映像を背景映像Ｂ０として取得する。背景映像Ｂ０は所定のフレームレートを有する動画像となる。
ディスプレイ１５は、背景映像Ｂ０および仮想オブジェクトＳ０を表示するための液晶パネル等からなる。なお、ディスプレイ１５は、ＨＭＤ１の装着者の左目用および右目用の表示部を備える。
入力部１６は、例えばボタン等からなり、ＨＭＤ１の外装の予め定められた位置に設けられる。
また、メモリ１２には、仮想オブジェクト表示プログラムが記憶されている。仮想オブジェクト表示プログラムは、ＣＰＵ１１に実行させる処理として、３次元画像撮影装置２が取得した３次元画像Ｖ０およびカメラ１４が取得した背景映像Ｂ０の画像取得処理、仮想オブジェクトを取得する仮想オブジェクト取得処理、背景映像Ｂ０から仮想オブジェクトを表示する位置、大きさおよび向きを表す表示情報を取得する表示情報取得処理、背景映像Ｂ０をディスプレイ１５に表示し、かつ表示情報に基づいて仮想オブジェクトをディスプレイ１５に表示する表示制御処理、背景映像Ｂ０から仮想オブジェクトの表示状態を変更するための変更情報を取得する変更情報取得処理、変更情報に応じて仮想オブジェクトの表示状態を変更する表示状態変更処理、および仮想オブジェクトの表示状態の設定量を表す情報を、ディスプレイ１５に表示する設定量表示制御処理を規定している。
そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、ＨＭＤ１は、画像取得部２１、仮想オブジェクト取得部２２、表示情報取得部２３、表示制御部２４、変更情報取得部２５、表示状態変更部２６、および設定量表示制御部２７として機能する。なお、ＨＭＤ１は、画像取得処理、仮想オブジェクト取得処理、表示情報取得処理、表示制御処理、変更情報取得処理、表示状態変更処理、および設定量表示制御処理をそれぞれ行う処理装置を備えるものであってもよい。
画像取得部２１は、３次元画像Ｖ０およびカメラ１４により撮影された背景映像Ｂ０を取得する。画像取得部２１は、３次元画像Ｖ０が既にストレージ１３に記憶されている場合には、ストレージ１３から取得するようにしてもよい。
仮想オブジェクト取得部２２は、手術の対象部位である肝臓の３次元画像を仮想オブジェクトとして生成する。このため、仮想オブジェクト取得部２２は、まず３次元画像Ｖ０から手術の対象部位である肝臓並びに肝臓に含まれる動脈、静脈、門脈および病変を抽出する。仮想オブジェクト取得部２２は、３次元画像Ｖ０中の各画素が、肝臓並びに肝臓に含まれる動脈、静脈、門脈および病変（以下肝臓等とする）を示す画素であるか否かを識別する識別器を備える。識別器は、肝臓等を含む複数のサンプル画像を、例えばアダブースティングアルゴリズム等の手法を用いて機械学習することにより取得される。仮想オブジェクト取得部２２は、識別器を用いて３次元画像Ｖ０から肝臓等を抽出する。
そして、仮想オブジェクト取得部２２は、肝臓等の３次元形状を表す画像を仮想オブジェクト表示Ｓ０として生成する。具体的には、後述する表示情報により定められる投影面に、抽出した肝臓等を投影した投影像を、仮想オブジェクトＳ０として生成する。ここで、投影の具体的な方法としては、例えば、公知のボリュームレンダリング手法等を用いる。
この際、肝臓並びに肝臓に含まれる動脈、静脈、門脈および病変毎に異なる色を定義して仮想オブジェクトＳ０を生成してもよく、異なる不透明度を定義して仮想オブジェクトＳ０を生成してもよい。例えば、動脈を赤色、静脈を青色、門脈を緑色、病変を黄色としてもよい。また、肝臓の不透明度を０．１、動脈、静脈および門脈の不透明度を０．５、病変の不透明度を０．８としてもよい。これにより、図４に示すような仮想オブジェクトＳ０が生成される。このように、仮想オブジェクトＳ０において、肝臓並びに肝臓に含まれる動脈、静脈、門脈および病変毎に異なる色または不透明度を定義することにより、肝臓並びに肝臓に含まれる動脈、静脈、門脈および病変を容易に識別することができる。なお、異なる色および異なる不透明度の双方を定義して仮想オブジェクトＳ０を生成してもよい。生成された仮想オブジェクトＳ０はストレージ１３に保存される。
また、不図示の仮想オブジェクト生成装置において３次元画像Ｖ０から仮想オブジェクトＳ０を生成して画像保管サーバ３に保管しておくようにしてもよい。この場合、仮想オブジェクト取得部２２は、画像保管サーバ３から仮想オブジェクトＳ０を取得するものとなる。
表示情報取得部２３は、背景映像Ｂ０から、仮想オブジェクトＳ０を表示する位置、大きさおよび方向を表す表示情報を取得する。本実施形態においては、仮想オブジェクト表示用のマーカである第１のマーカを撮影することにより背景映像Ｂ０に含まれる、第１のマーカを表すマーカ画像から表示情報を取得する。図５は第１のマーカを示す図である。図５に示すように第１のマーカ３０は、２次元バーコードを平板に貼り付けることにより構成されている。なお、第１のマーカ３０は、２次元バーコードを紙に印刷したものであってもよい。図６に示すように第１のマーカ３０は手術前カンファレンスを行う場所に置かれる。４名の出席者３１Ａ〜３１ＤはそれぞれＨＭＤ１Ａ〜１Ｄを装着する。ＨＭＤ１Ａ〜１Ｄにおいては、カメラ１４により撮影された背景映像Ｂ０がディスプレイ１５に表示される。出席者は、ディスプレイ１５に表示される背景映像Ｂ０に第１のマーカ３０の画像である第１のマーカ画像３１が含まれるように，視線を第１のマーカ３０の方向に向ける。
表示情報取得部２３は、第１のマーカ３０を表す第１のマーカ画像３１を背景映像Ｂ０から抽出する。図７は背景映像Ｂ０から抽出した第１のマーカ画像を示す図である。なお、図７に示す第１のマーカ画像は、出席者３１ＡのＨＭＤ１Ａにより取得したものである。ここで、第１のマーカ３０の２次元バーコードは図５に示すように３つの基準点３０ａ〜３０ｃを含む。表示情報取得部２３は、抽出した第１のマーカ画像３２において、基準点３０ａ〜３０ｃを検出する。そして、検出した基準点３０ａ〜３０ｃの位置および基準点間の間隔から、仮想オブジェクトＳ０を表示する際の位置、大きさおよび向きを決定する。
ここで、本実施形態においては、基準点３０ａ，３０ｂが横に並んで見える位置を、仮想オブジェクトＳ０を表示する際の正面位置に定義する。このため、第１のマーカ画像３２において、基準点３０ａ，３０ｂの位置を検出することにより、仮想オブジェクトＳ０の第１のマーカ３０に直交する軸（以下ｚ軸とする）に関する正面位置からの回転位置を決定できる、また、基準点３０ａ，３０ｂ間の距離と予め定められた基準値との相違により、仮想オブジェクトＳ０を表示する際の大きさを決定できる。また、基準点３０ａ〜３０ｃを頂点とする３角形の基準となる形状からの相違により、仮想オブジェクトＳ０のｚ軸に直交する２つの軸（以下ｘ軸およびｙ軸とする）に関する基準位置からの回転位置すなわち向きを決定できる。表示情報取得部２３は、決定した仮想オブジェクトＳ０の位置、大きさおよび向きを表示情報として出力する。
表示制御部２４は、表示情報を用いて、仮想オブジェクトＳ０を投影する投影面を規定し、その投影面に仮想オブジェクトＳ０を投影する。そして投影された仮想オブジェクトＳ０を背景映像Ｂ０に重畳して、ディスプレイ１５に表示する。図８は手術前カンファレンスを行う場所における仮想オブジェクトＳ０の表示状態を模式的に示す図である。図８に示すように、出席者３１Ａ〜３１Ｄは、現実空間における第１のマーカ３０上に、自身がいる位置に応じた大きさおよび向きを有する肝臓の３次元画像が仮想オブジェクトＳ０として表示されている状態をディスプレイ１５において観察することができる。
なお、表示制御部２４は、視差を有するようにディスプレイ１５の左目用の表示部および右目用の表示部に、仮想オブジェクトＳ０を表示する。これにより、出席者は仮想オブジェクトＳ０を立体視することができる。
また、この状態において，第１のマーカ３０をｚ軸に関して回転したり、傾けたりすることにより、ディスプレイ１５に表示される仮想オブジェクトＳ０の向きを変更することができる。
なお、全ての出席者３１Ａ〜３１Ｄにおいて、同一の大きさおよび向きを有するように、仮想オブジェクトＳ０を表示するようにしてもよい。この場合、入力部１６からの指示に応じて、全ての出席者３１Ａ〜３１Ｄに対して仮想オブジェクトＳ０を同一の大きさおよび向きを有するように表示するか、各出席者３１Ａ〜３１Ｄのいる位置に応じた大きさおよび向きを有するように表示するかを切り替えるようにしてもよい。
変更情報取得部２５は、背景映像Ｂ０から、仮想オブジェクトの表示状態を変更するための変更情報を取得する。なお、表示状態としては、仮想オブジェクトＳ０の色、明るさ、コントラスト、不透明度および鮮鋭度等を定義することができる。本実施形態においては、不透明度が定義されているものとする。そして本実施形態においては、仮想オブジェクトＳ０の表示状態変更用の複数の第２のマーカを撮影することにより背景映像Ｂ０に含まれる、複数の第２のマーカを表す複数のマーカ画像から変更情報を取得する。図９は第２のマーカの１つを示す図である。図９に示すように第２のマーカ３４は、２次元バーコードを立方体の各面に貼り付けることにより構成されている。なお、第２のマーカ３４は、立方体の展開図の各面に２次元バーコードを印刷し、それを立方体となるように組み立てたものであってもよい。ここで、本実施形態においては、２つの第２のマーカ３４，３５を用いるものとする。また、マーカ３４が基準マーカに、マーカ３５が基準マーカ以外の他のマーカに対応する。
なお、本実施形態においては、全ての面に貼り付ける２次元バーコードに表示状態として不透明度を定義しているが、各面毎に異なる表示状態を定義した２次元バーコードを貼り付けるようにしてもよい。例えば、不透明度に加えて、色、明るさ、鮮鋭度のそれぞれを定義した２次元バーコードを立方体の各面に貼り付けるようにしてもよい。
手術前カンファレンスを行う場合、第２のマーカ３４，３５は手術の説明を行う執刀医が持つ。執刀医は自身のＨＭＤ１のカメラ１４の撮影範囲に第２のマーカ３４，３５が入るように、第２のマーカ３４，３５を持つ。なお、第２のマーカ３４，３５の６つの面のうちのいずれかの面が正面から背景映像Ｂ０に映っていればよい。これにより、図１０に示すようにディスプレイ１５に第２のマーカ３４，３５のマーカ画像３６，３７が映し出される。なお、マーカ画像３６を基準マーカ画像、マーカ画像３７を他のマーカ画像とする。また、各面毎に異なる表示状態を定義した２次元バーコードを貼り付けた第２のマーカ３４，３５を使用した場合、執刀医は、変更する表示状態を定義した２次元バーコードが背景映像Ｂ０に含まれるように、第２のマーカ３４，３５を持つようにすればよい。
変更情報取得部２５は、背景映像Ｂ０から第２のマーカ３４，３５を表す第２のマーカ画像３６，３７を抽出する。本実施形態においては、仮想オブジェクトＳ０の表示状態を変更するために、執刀医は基準マーカ３４に対する他のマーカ３５の傾きを変更する。図１１は基準マーカ３４に対する他のマーカ３５の傾きの変更を説明するための図である。
なお、本実施形態においては、基準マーカ３４に対して他のマーカ３５を時計回りに回転することにより、仮想オブジェクトＳ０の表示状態を変更するものとする。これにより、時計回り方向の回転量が大きいほど表示状態の変更量が大きくなる。
本実施形態においては、基準マーカ３４に含まれる３つの基準点３４ａ〜３４ｃのうち、基準点３４ａ，３４ｂを結ぶ直線を基準線と定義し、他のマーカ３５に含まれる３つの基準点３５ａ〜３５ｃのうち、基準点３５ａ，３５ｂを結ぶ直線の基準線に対する角度に応じて仮想オブジェクトＳ０の表示状態の変更量を定義する。このため、変更情報取得部２５は、抽出した第２のマーカ画像３６，３７において、基準点３４ａ，３４ｂおよび基準点３５ａ，３５ｂを検出する。そして、検出した基準点３４ａ，３４ｂを結ぶ直線を基準線Ｌ１に定義し、かつ基準点３５ａ，３５ｂを結ぶ直線Ｌ２を定義する。そして、基準線Ｌ１に対する直線Ｌ２の角度αを算出する。
ここで、本実施形態においては、執刀医が装着するＨＭＤ１の変更情報取得部２５のみが変更情報を取得し、取得した変更情報をネットワーク４経由で他の出席者が装着するＨＭＤ１に送信する。
変更情報取得部２５は、算出した角度αの３６０度に対する割合を変更情報として取得する。例えば、角度αが０度の場合は変更情報は０であり、角度αが９０度の場合は変更情報は０．２５となる。
また、第１のマーカ３０を第２のマーカ３４，３５と同様に立方体の各面に２次元バーコードを貼り付けたものとし、第２のマーカとして１つのマーカ３５のみを用意し、第１のマーカ画像３１から求められる基準線Ｌ１に対する第２のマーカ画像３７から求められる直線Ｌ２との相対的な角度を算出し、これに基づいて変更情報を取得してもよい。例えば、図１２に示すように、第１のマーカ画像３１における基準点３０ａ，３０ｂを通る直線と、第２のマーカ画像３７における基準点３５ａ，３５ｂを通る直線とが交わる角度αを算出し、算出した角度の３６０度に対する割合を変更情報として取得するようにしてもよい。
なお、第１の実施形態においては、第２のマーカ３４，３５の双方を手で持って操作してもよいが、基準となる第２のマーカ３４を台の上等に置くようにしてもよい。これにより、他方の第２のマーカ３５を片手で操作できるため、表示状態の変更の操作が容易となる。また、第２のマーカ３４，３５の双方を台の上に載せておくようにしてもよい。この場合、第２のマーカ３５は９０度単位でのみ回転することとなるため、表示状態を連続的に変更することはできなくなるが、第２のマーカ３４，３５を常時手に持っておく必要が無くなる。
表示状態変更部２６は、変更情報取得部２５が取得した変更情報を用いて、仮想オブジェクトＳ０の表示状態を変更する。例えば、仮想オブジェクトＳ０の初期状態での不透明度が１．００であり、変更情報が０．２５である場合、不透明度を０．７５に変更する。
ここで、第２のマーカ３５についての直線Ｌ２の基準線Ｌ１に対する角度αが０の場合、仮想オブジェクトＳ０の表示状態は初期状態から変更されない。そして、第２のマーカ３５を傾けて、基準点３５ａ，３５ｂを結ぶ直線Ｌ２の基準線Ｌ１に対する角度αが大きくなると、仮想オブジェクトＳ０の不透明度が小さくなる。
設定量表示制御部２７は、仮想オブジェクトＳ０の表示状態の設定量を表す情報をディスプレイ１５に表示する。設定量を表す情報としては、本実施形態においては円グラフを用いる。設定量表示制御部２７は図１０に示すように、第２のマーカ画像３６，３７の上方に設定量を表す情報として円グラフ３８を表示する。なお、図１０には初期状態として不透明度が１．００の場合の円グラフ３８を示しているが、他のマーカ３５の角度を９０度に変更した場合、変更情報は０．２５となるため、図１３に示すように、円グラフ３８は不透明度が０．７５であることを示すものとなる。なお、円グラフに代えて棒グラフであってもよく、図１４に示すような目盛り付きのスケール３９であってもよい。また、設定量を表す数値であってもよい。また、設定量を表す情報の表示位置は、第２のマーカ画像３６，３７の上方に限定されるものではなく、第２のマーカ画像３６，３７および設定量を表す情報の双方を視線を移動させることなく認識することができれば、第２のマーカ画像３６，３７の左または右、あるいは下方であってもよい。また、設定量を表す情報は、第２のマーカ画像３６，３７に重畳していてもよい。また、設定量を表す情報はディスプレイ１５の任意の位置に表示されていればよい。
次いで、第１の実施形態において行われる処理について説明する。図１５は第１の実施形態において行われる処理を示すフローチャートである。なお、第１のマーカ３０は手術前カンファレンスを行う場所に置かれており、執刀医は第２のマーカ３４，３５を手に持っているものとする。
まず、画像取得部２１が、３次元画像Ｖ０および背景映像Ｂ０を取得し（ステップＳＴ１）、仮想オブジェクト取得部２２が３次元画像Ｖ０から仮想オブジェクトＳ０を取得する（ステップＳＴ２）。また、表示情報取得部２３が、第１のマーカ３０を表す第１のマーカ画像３１を背景映像Ｂ０から抽出し、第１のマーカ画像３１から仮想オブジェクトＳ０を表示する位置、大きさおよび向きを表す表示情報を取得する（ステップＳＴ３）。そして、表示制御部２４が、表示情報を用いて、背景映像Ｂ０に仮想オブジェクトＳ０を重畳して、ディスプレイ１５に表示する（ステップＳＴ４）。これにより、ＨＭＤ１を装着している手術前カンファレンスの出席者は、現実空間に仮想オブジェクトＳ０が表示されている状態を観察することができる。なお、この状態で第１のマーカ３０を傾けたり、２次元バーコードに直交する軸（ｚ軸）の周りに回転させることにより、仮想オブジェクトＳ０を傾けたり回転させたりすることができる。また仮想オブジェクトＳ０が表示されると、設定量表示制御部２７が、仮想オブジェクトＳ０の表示状態の設定量を表す情報をディスプレイ１５に表示する（ステップＳＴ５）。
次いで、変更情報取得部２５が、第２のマーカ３４，３５を表す第２のマーカ画像３６，３７を背景映像Ｂ０から抽出し、基準線Ｌ１に対する直線Ｌ２の角度αを算出し、算出した角度αから仮想オブジェクトＳ０の表示状態の変更情報を取得する（ステップＳＴ６）。そして、表示状態変更部２６が、変更情報を用いて仮想オブジェクトＳ０の表示状態を変更し（ステップＳＴ７）、さらに設定量表示制御部２７が、表示状態の設定量を表す情報を変更してディスプレイ１５に表示し（ステップＳＴ８）、ステップＳＴ６にリターンする。
このように、本実施形態においては、背景映像Ｂ０に含まれる、仮想オブジェクトＳ０の表示状態変更用の第２のマーカ３４，３５のそれぞれを表す複数のマーカ画像３６，３７のうちの、基準となるマーカ３４を表すマーカ画像３６と、基準となるマーカ３４以外の他のマーカ３５を表すマーカ画像３７との相対関係に応じて、仮想オブジェクトＳ０の表示状態を変更するための変更情報を取得する。そして、変更情報に応じて仮想オブジェクトＳ０の表示状態を変更するようにしたものである。このため、２つの第２のマーカ３４，３５の相対関係を変更するのみで、仮想オブジェクトＳ０の表示状態を変更でき、これにより、実際の操作に応じて仮想オブジェクトＳ０の表示状態を精度よく変更することができる。
また、設定量を表す情報を第２のマーカ画像３６，３７の近傍に表示することにより、第２のマーカ画像３６，３７の表示状態と設定量を表す情報との対応付けを容易に行うことができるため、仮想オブジェクトＳ０の表示状態の変更を容易に行うことができる。
また、第２のマーカ３４，３５を、各面に表示状態を変更するための情報が付与された立方体とすることにより、立法体を回転させたり移動させたりするのみで、容易に仮想オブジェクトＳ０の表示状態を変更することができる。
なお、上記第１の実施形態においては、手術前カンファレンスの代表者である執刀医のみが第２のマーカ３４，３５を持ち、執刀医の操作により出席者全員のＨＭＤ１に表示される仮想オブジェクトＳ０の表示状態を変更している。しかしながら、出席者のそれぞれが専用の第２のマーカ３４，３５を持つようにしてもよい。この場合、第２のマーカ３４，３５に貼り付ける２次元バーコードを出席者毎に異なるものとすることにより、各出席者の第２のマーカ３４，３５を識別することができる。このため、各出席者毎に自身のＨＭＤ１のカメラ１４により第２のマーカ３４，３５を撮影し、第２のマーカ画像３６，３７を出席者のＨＭＤ１に登録する。そして、各ＨＭＤ１の変更情報取得部２５は、登録された第２のマーカ画像３６，３７から取得される基準線Ｌ１に対する直線Ｌ２の角度αが変更された場合にのみ、変更情報を取得するようにする。
そして、仮想オブジェクトＳ０が表示された後、出席者毎に背景映像Ｂ０に第２のマーカ画像３６，３７が含まれるようにカメラ１４により第２のマーカ３４，３５を撮影する。出席者は自身のＨＭＤ１に表示された仮想オブジェクトＳ０の表示状態の変更を所望する場合、自身が持つ第２のマーカ３４，３５を操作することにより、上述した基準線Ｌ１に対する直線Ｌ２の角度を変更し、変更情報取得部２５は変更情報を取得する。そして、表示状態変更部２６が仮想オブジェクトＳ０の表示状態を変更する。この場合、他の出席者に表示されている仮想オブジェクトＳ０の表示状態は変更されないこととなる。なお、設定量表示制御部２７は、設定量を表す情報をディスプレイ１５に表示するが、その設定量を表す情報は、登録された第２のマーカ画像３６，３７から取得される基準線Ｌ１に対する直線Ｌ２の角度の変更量に対応するものとなる。
このように、出席者毎に第２のマーカ３４，３５を所持し、第２のマーカ画像３６，３７を登録し、出席者毎に仮想オブジェクトＳ０の表示状態を変更することにより、他の出席者の仮想オブジェクトＳ０の表示状態に影響を与えることなく、仮想オブジェクトＳ０の表示状態を変更することができる。
また、上記実施形態においては、第２のマーカ３４，３５を用いて、仮想オブジェクトＳ０全体の表示状態を変更している。しかしながら、上記第１の実施形態で表示する仮想オブジェクトＳ０は、肝臓並びに肝臓に含まれる動脈、静脈、門脈および病変という他のオブジェクトが含まれる。このため、肝臓、動脈、静脈、門脈および病変というオブジェクト毎に表示状態を変更できるようにしてもよい。以下、これを第２の実施形態として説明する。
図１６は第２の実施形態において使用される第２のマーカを示す図である。図１６に示すように第２の実施形態においては、６つの第２のマーカ４０，４１Ａ〜４１Ｅが使用される。６つの第２のマーカ４０，４１Ａ〜４１Ｅのうち、マーカ４０が基準マーカであり、マーカ４１Ａ〜４１Ｅが他のマーカである。各マーカ４１Ａ〜４１Ｅには、それぞれ仮想オブジェクトＳ０に含まれるいずれのオブジェクトの表示状態を変更するものであるかが分かるように、オブジェクトの名称が記載されている。すなわち、マーカ４１Ａ〜４１Ｅのそれぞれに、肝臓、動脈、静脈、門脈および病変と記載されている。また、マーカ４０には、基準マーカであることが分かるように基準と記載されている。なお、このような複数の第２のマーカ４０，４１Ａ〜４１Ｅを手に持って操作することは困難であるため、不図示の台に載せておくことが好ましい。また、第２の実施形態においては、第２のマーカ４１Ａ〜４１Ｅは９０度単位でのみ回転することとなる。なお、設定を所望する表示状態が定義された２次元バーコードが貼り付けられた面以外の面が見えないようにするために、図１７に示すように、第２のマーカ４０，４１Ａ〜４１Ｅをケース４２に入れておき、必要な場合、第２のマーカ４０，４１Ａ〜４１Ｅをケース４２から取り出して、所望とする面が撮影されるように、第２のマーカ４１Ａ〜４１Ｅの向きを変更することが好ましい。
このように、仮想オブジェクトＳ０を構成する各オブジェクト毎に表示状態を変更するための第２のマーカ４０，４１Ａ〜４１Ｅを用意し、第２のマーカ４１Ａ〜４１Ｅ毎に、すなわち仮想オブジェクトＳ０に含まれるオブジェクト毎に変更情報（オブジェクト用変更情報）を取得することにより、仮想オブジェクトＳ０に含まれる各オブジェクト毎に異なる表示状態とすることができる。とくに、表示状態として非表示を定義した２次元バーコードを用いることにより、所望とするオブジェクトを仮想オブジェクトＳ０において非表示とすることができる。したがって、仮想オブジェクトＳ０に含まれる各オブジェクトを所望とする表示状態で観察することができる。
また、上記実施形態において、仮想オブジェクトＳ０を用いて手術の進行のシミュレーション動画像を予め作成しておき、時間が経過して手術が進行することによる仮想オブジェクトＳ０の形態の変更を、表示状態として定義してもよい。この場合、第２のマーカ３５を操作することにより、仮想オブジェクトＳ０は図４に示す状態から、例えば図１８に示すように肝臓を切除した状態となるように、仮想オブジェクトＳ０の表示状態を変更することができる。
また、手術のプランとして複数のプランを用意しておき、各プラン毎に手術の進行状態のシミュレーション動画像を作成しておくようにしてもよい。この場合、第２のマーカ３４，３５の面毎に貼り付ける２次元バーコード毎に異なるプランのシミュレーション動画像を対応付けておく。そして、表示したいプランが定義づけられた面の２次元バーコードをディスプレイ１５に表示することにより、そのプランの手術のシミュレーション動画像に基づいて、仮想オブジェクトＳ０の表示状態を変更することができる。
また、上記実施形態においては、２次元バーコードを板に貼り付けた第１のマーカを用いているが、２次元バーコードに代えて予め定められた記号、色、図形あるいは文字等を用いてもよい。また、ＬＥＤあるいはペンおよび操作者の指等予め定められた物体であってもよい。さらに、背景映像Ｂ０に含まれる直線の交点あるいは光る物体等のテクスチャを第１のマーカとして用いてもよい。
また、上記実施形態においては、２次元バーコードを立方体に貼り付けた第２のマーカを用いているが、立方体に限定されるものではなく、四面体あるいは八面体等の他の多面体であってもよい。この場合、多面体の各面に異なる表示状態を定義した２次元バーコードを貼り付けてもよく、同一の２次元バーコードを貼り付けてもよい。また、多面体に限定されるものではなく、第１のマーカ３０と同様に板に２次元バーコードを貼り付けたものを第２のマーカとして用いてもよい。この場合、２つの第２のマーカのうち、一方のマーカを基準としてた方のマーカを回転させたり移動させたりすることにより、より容易に仮想オブジェクトの表示状態を変更することができる。
また、上記実施形態においては、他のマーカ３５をディスプレイ１５の面上において基準マーカ３４に対して回転することにより、仮想オブジェクトＳ０の表示状態を変更しているが、ディスプレイ１５の面の奥行き方向の前後に回転させることにより、仮想オブジェクトＳ０の表示状態を変更してもよい。この場合、基準マーカ３４を基準とした他のマーカ３５に貼り付けられた２次元バーコードの形状の変化に基づいて、変更情報を取得すればよい。また、他のマーカ３５をカメラ１４に近づけたり遠ざけたりすることにより、仮想オブジェクトＳ０の表示状態を変更してもよい。この場合、ディスプレイ１５に表示される基準マーカ画像３６を基準とした他のマーカ画像３７の大きさの変化に基づいて、変更情報を取得すればよい。また、基準マーカ画像３６と他のマーカ画像３７との相対的な距離を算出し、これに基づいて変更情報を取得してもよい。
また、上記実施形態においては、２次元バーコードを貼り付けた第２のマーカを用いているが、２次元バーコードに代えて、各面に異なる色を付与した２つのマーカを用いるようにしてもよい。この場合、２つのマーカのうち１つのマーカを基準として、２つのマーカの色の組み合わせに応じた変更情報を定義すればよい。例えば、赤、青、緑、黄色、紫色、ピンク色の６色を各面に付与したマーカを用いた場合、赤と赤との組み合わせは１．００、赤と青との組み合わせは０．７５というように、１つのマーカの色を基準として、他のマーカとの色の組み合わせに応じた変更情報を定義しておけばよい。また、色に変えて、各面に異なる模様を付与した２つのマーカを用いるようにしてもよい。この場合、１つのマーカの模様を基準として、他のマーカとの模様の組み合わせに応じた変更情報を定義すればよい。なお、マーカの数は２つに限定されるものではなく、３以上であってもよい。この場合、１つのマーカの色または模様を基準として、３以上の色または模様の組み合わせに応じた変更情報を定義しておけばよい。
また、２次元バーコードに代えて各面に数字を付与したマーカを使用してもよい。この場合、数字を百分率により定義しておき、２つの第２のマーカを組み合わせて１００，７５，５０等の数字を表示できるように、背景映像Ｂ０に含まれる第２のマーカの数字を読み取って百分率により表される変更情報を取得するようにすればよい。
また、上記実施形態においては、ＨＭＤ１にカメラ１４を設けているが、カメラ１４をＨＭＤ１とは別体として設けてもよい。この場合においても、ＨＭＤ１の装着者の視野とに対応する範囲を撮影するように配置されることが好ましい。
また、上記実施形態においては、本発明による仮想オブジェクト表示装置を、没入型の眼鏡型表示装置であるＨＭＤに適用しているが、透過型の眼鏡型端末装置に適用してもよい。この場合、ディスプレイ１５は透過型のディスプレイとなり、仮想オブジェクトＳ０をディスプレイ１５に表示することにより、仮想オブジェクト表示装置の装着者は、カメラ１４が撮影してディスプレイ１５に表示された背景映像Ｂ０ではなく、自身が実際に見ている現実空間に重畳された仮想オブジェクトＳ０を観察することができる。またこの場合、カメラ１４は、仮想オブジェクトＳ０を表示する位置および大きさを決定するための第１のマーカ３０、および仮想オブジェクトＳ０の表示状態を変更するための第２のマーカ３４，３５を撮影するために用いられることとなる。
また、上記実施形態においては、本発明による仮想オブジェクト表示装置を眼鏡型表示装置に適用しているが、カメラを搭載したタブレット端末に適用してもよい。この場合、手術前カンファレンスの出席者は各自タブレット端末を所持し、タブレット端末のディスプレイに背景映像Ｂ０および仮想オブジェクトＳ０が表示されることとなる。
また、上記実施形態においては、第１のマーカ３０を用いて、仮想オブジェクトＳ０を表示する位置、大きさおよび向きを表示情報として取得し、手術前カンファレンスの出席者がいる位置に応じた大きさおよび向きを有する仮想オブジェクトＳ０を表示しているが、仮想オブジェクトＳ０を表示する位置および大きさのみを表示情報として用いてもよい。この場合、手術前カンファレンスの出席者全員が同じ向きの仮想オブジェクトＳ０が観察されるように、仮想オブジェクトＳ０をディスプレイ１５に表示すればよい。また、仮想オブジェクトＳ０を表示する位置および向きのみを表示情報として用いてもよい。この場合、予め定められた大きさの仮想オブジェクトＳ０をディスプレイ１５に表示すればよい。さらには、仮想オブジェクトＳ０を表示する位置のみを表示情報として用いてもよい。この場合、手術前カンファレンスの出席者全員が同じ向きかつ同じ大きさの仮想オブジェクトＳ０が観察されるように、仮想オブジェクトＳ０をディスプレイ１５に表示すればよい。
また、上記実施形態においては、医用３次元画像から生成した仮想オブジェクトＳ０を表示しているが、仮想オブジェクトＳ０の種類は医用に限定されない。例えば、ゲームのキャラクタあるいは模型等を仮想オブジェクトＳ０として用いてもよい。
以下、本発明の作用効果について説明する。
ユーザの視野に対応する背景を撮影して背景映像を取得することにより、ユーザの視野内に仮想オブジェクトを表示することができるため、仮想オブジェクトの観察を容易に行うことができる。
また、仮想オブジェクトの表示する際の大きさおよび向きの少なくとも一方を表示情報に含めることにより、適切な大きさおよび／または向きとなるように仮想オブジェクトを表示することができる。
また、背景映像に仮想オブジェクトを合成して表示することにより、とくに没入型の眼鏡型表示装置を用いて仮想オブジェクトの表示を行う際に有利である。
また、仮想オブジェクト表示用のマーカを撮影することにより背景映像に含まれる、仮想オブジェクト表示用のマーカを表すマーカ画像から表示情報を取得することにより、仮想オブジェクト表示用のマーカが配置された位置に仮想オブジェクトを表示することができるため、現実空間におけるユーザの所望とする位置に仮想オブジェクトを表示することができる。
また、基準マーカを撮影することにより背景映像に含まれる、基準マーカ画像から表示情報を取得することにより、仮想オブジェクトを表示するためのマーカと、表示状態を変更するためのマーカとを兼用することができる。
また、仮想オブジェクトの表示状態の設定量を表す情報を表示することにより、表示された設定量を表す情報を見れば、現在の仮想オブジェクトの表示状態の設定値を認識することができ、これにより、仮想オブジェクトの表示状態を精度よく変更することができる。
また、設定量を表す情報を仮想オブジェクトの表示状態変更用の複数のマーカを表す複数のマーカ画像の近傍に表示することにより、複数のマーカ画像の表示状態と設定量を表す情報との対応付けを容易に行うことができるため、仮想オブジェクトの表示状態の変更を容易に行うことができる。
また、仮想オブジェクトの表示状態変更用のマーカを、各面に表示状態を変更するための情報が付与された多面体とすることにより、多面体を回転させたり移動させたりすることにより、より容易に仮想オブジェクトの表示状態を変更することができる。
また、表示装置を眼鏡型表示装置とすることにより、左右の目に対応させて視差を有する仮想オブジェクトを表示することができ、これにより、仮想オブジェクトを立体視することができる。したがって、より現実的な態様で仮想オブジェクトを観察することができる。
１，１Ａ〜１Ｄ ヘッドマウントディスプレイ（ＨＭＤ）
２ ３次元画像撮影装置
３ 画像保管サーバ
４ ネットワーク
１１ ＣＰＵ
１２ メモリ
１３ ストレージ
１４ カメラ
１５ ディスプレイ
１６ 入力部
１７ ジャイロセンサ
２１ 画像取得部
２２ 仮想オブジェクト取得部
２３ 表示情報取得部
２４ 表示制御部
２５ 変更情報取得部
２６ 表示状態変更部
２７ 設定量表示制御部
３０ 第１のマーカ
３４，３５ 第２のマーカ

Claims (17)

  1. 背景映像を取得する撮影手段と、
    複数のオブジェクトを含む仮想オブジェクトを取得する仮想オブジェクト取得手段と、
    前記仮想オブジェクトを表示する表示手段と、
    前記仮想オブジェクトを表示する位置を表す表示情報を前記背景映像から取得する表示情報取得手段と、
    前記表示情報に基づいて、前記仮想オブジェクトを前記表示手段に表示する表示制御手段と、
    前記背景映像に含まれる、前記複数のオブジェクトのそれぞれの表示状態変更用の複数のマーカのそれぞれを表す複数のマーカ画像と、基準となる基準マーカを表す基準マーカ画像との相対関係に応じて、前記複数のオブジェクトのそれぞれの表示状態を変更するための複数のオブジェクト用変更情報を取得する変更情報取得手段と、
    前記オブジェクト用変更情報に応じて、前記複数のオブジェクト毎に前記仮想オブジェクトの表示状態を変更する表示状態変更手段とを備えたことを特徴とする仮想オブジェクト表示装置。
  2. 前記背景映像は、ユーザの視野に対応する背景を撮影することにより取得される請求項１記載の仮想オブジェクト表示装置。
  3. 前記表示情報は、前記仮想オブジェクトを表示する際の大きさおよび向きの少なくとも一方をさらに含む請求項１または２記載の仮想オブジェクト表示装置。
  4. 前記表示手段は、前記背景映像に前記仮想オブジェクトを合成して表示する請求項１から３のいずれか１項記載の仮想オブジェクト表示装置。
  5. 前記表示情報取得手段は、前記仮想オブジェクト表示用のマーカを撮影することにより前記背景映像に含まれる、前記仮想オブジェクト表示用のマーカを表すマーカ画像から前記表示情報を取得する請求項１から４のいずれか１項記載の仮想オブジェクト表示装置。
  6. 前記表示情報取得手段は、前記基準マーカを撮影することにより前記背景映像に含まれる、前記基準マーカ画像から前記表示情報を取得する請求項１から４のいずれか１項記載の仮想オブジェクト表示装置。
  7. 前記複数のオブジェクトのそれぞれの設定量を表す情報を、前記複数のオブジェクト毎に前記表示手段に表示する設定量表示制御手段をさらに備えた請求項１から６のいずれか１項記載の仮想オブジェクト表示装置。
  8. 前記設定量表示制御手段は、前記設定量を表す情報を、前記複数のオブジェクトのそれぞれの表示状態変更用の前記複数のマーカ画像の近傍に表示する請求項７記載の仮想オブジェクト表示装置。
  9. 前記複数のオブジェクトのそれぞれの表示状態変更用のマーカは、各面に前記表示状態を変更するための情報が付与されてなる多面体である請求項８記載の仮想オブジェクト表示装置。
  10. 前記多面体は立方体である請求項９記載の仮想オブジェクト表示装置。
  11. 前記仮想オブジェクトは３次元画像である請求項１から１０のいずれか１項記載の仮想オブジェクト表示装置。
  12. 前記３次元画像は医用３次元画像である請求項１１記載の仮想オブジェクト表示装置。
  13. 前記表示手段は眼鏡型表示装置である請求項１から１２のいずれか１項記載の仮想オブジェクト表示装置。
  14. 複数のユーザのそれぞれに対応した、複数の請求項１から１３のいずれか１項記載の仮想オブジェクト表示装置を備え、
    前記複数の仮想オブジェクト表示装置のそれぞれにおける前記表示状態変更手段は、いずれか１つの仮想オブジェクト表示装置の前記変更情報取得手段により取得されたオブジェクト用変更情報に応じて、前記複数のオブジェクトのそれぞれの表示状態を変更することを特徴とする仮想オブジェクト表示システム。
  15. 複数のユーザのそれぞれに対応した、複数の請求項１から１３のいずれか１項記載の仮想オブジェクト表示装置を備え、
    前記複数の仮想オブジェクト表示装置のそれぞれにおける前記表示状態変更手段は、それぞれの前記仮想オブジェクト表示装置の前記変更情報取得手段により取得されたオブジェクト用変更情報に応じて、前記複数のオブジェクトのそれぞれの表示状態を変更することを特徴とする仮想オブジェクト表示システム。
  16. 背景映像を取得し、
    複数のオブジェクトを含む仮想オブジェクトを取得し、
    前記仮想オブジェクトを表示する位置を表す表示情報を前記背景映像から取得し、
    前記表示情報に基づいて、前記仮想オブジェクトを表示手段に表示し、
    前記背景映像に含まれる、前記複数のオブジェクトのそれぞれの表示状態変更用の複数のマーカのそれぞれを表す複数のマーカ画像と、基準となる基準マーカを表す基準マーカ画像との相対関係に応じて、前記複数のオブジェクトのそれぞれの表示状態を変更するための複数のオブジェクト用変更情報を取得し、
    前記オブジェクト用変更情報に応じて、前記複数のオブジェクト毎に前記仮想オブジェクトの表示状態を変更することを特徴とする仮想オブジェクト表示方法。
  17. 背景映像を取得する手順と、
    複数のオブジェクトを含む仮想オブジェクトを取得する手順と、
    前記仮想オブジェクトを表示する位置を表す表示情報を前記背景映像から取得する手順と、
    前記表示情報に基づいて、前記仮想オブジェクトを表示手段に表示する手順と、
    前記背景映像に含まれる、前記複数のオブジェクトのそれぞれの表示状態変更用の複数のマーカのそれぞれを表す複数のマーカ画像と、基準となる基準マーカを表す基準マーカ画像との相対関係に応じて、前記複数のオブジェクトのそれぞれの表示状態を変更するための複数のオブジェクト用変更情報を取得する手順と、
    前記オブジェクト用変更情報に応じて、前記複数のオブジェクト毎に前記仮想オブジェクトの表示状態を変更する手順とをコンピュータに実行させることを特徴とする仮想オブジェクト表示プログラム。
JP2015027390A 2015-02-16 2015-02-16 仮想オブジェクト表示装置、方法、プログラムおよびシステム Active JP6336930B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015027390A JP6336930B2 (ja) 2015-02-16 2015-02-16 仮想オブジェクト表示装置、方法、プログラムおよびシステム
PCT/JP2016/051871 WO2016132817A1 (ja) 2015-02-16 2016-01-22 仮想オブジェクト表示装置、方法、プログラムおよびシステム
US15/670,472 US10359916B2 (en) 2015-02-16 2017-08-07 Virtual object display device, method, program, and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015027390A JP6336930B2 (ja) 2015-02-16 2015-02-16 仮想オブジェクト表示装置、方法、プログラムおよびシステム

Publications (2)

Publication Number Publication Date
JP2016151792A JP2016151792A (ja) 2016-08-22
JP6336930B2 true JP6336930B2 (ja) 2018-06-06

Family

ID=56688754

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015027390A Active JP6336930B2 (ja) 2015-02-16 2015-02-16 仮想オブジェクト表示装置、方法、プログラムおよびシステム

Country Status (3)

Country Link
US (1) US10359916B2 (ja)
JP (1) JP6336930B2 (ja)
WO (1) WO2016132817A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US20170289533A1 (en) * 2016-03-30 2017-10-05 Seiko Epson Corporation Head mounted display, control method thereof, and computer program
JP6113897B1 (ja) * 2016-08-22 2017-04-12 株式会社コロプラ 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
KR102034548B1 (ko) * 2016-10-10 2019-10-21 삼성전자주식회사 전자 장치 및 이의 제어 방법
WO2018094284A1 (en) * 2016-11-18 2018-05-24 Child Mind Institute, Inc. Thermal sensor position detecting device
JP6811321B2 (ja) 2016-12-14 2021-01-13 サムスン エレクトロニクス カンパニー リミテッド ディスプレイ装置及びその制御方法
US11024064B2 (en) * 2017-02-24 2021-06-01 Masimo Corporation Augmented reality system for displaying patient data
JP7166264B2 (ja) 2017-02-24 2022-11-07 マシモ・コーポレイション 医療モニタリング・データを表示するシステム
US20180268614A1 (en) * 2017-03-16 2018-09-20 General Electric Company Systems and methods for aligning pmi object on a model
JP6737229B2 (ja) * 2017-05-02 2020-08-05 京セラドキュメントソリューションズ株式会社 表示装置
JP7159208B2 (ja) 2017-05-08 2022-10-24 マシモ・コーポレイション ドングルを使用することによって医療システムをネットワークコントローラとペアリングするためのシステム
US20190236847A1 (en) * 2018-01-31 2019-08-01 Red Crater Global Limited Method and system for aligning digital display of images on augmented reality glasses with physical surrounds
EP3790491A1 (en) * 2018-05-10 2021-03-17 Memorial Sloan Kettering Cancer Center Systems for augmented reality surgical and clinical visualization
KR102558290B1 (ko) 2018-08-30 2023-07-24 삼성전자주식회사 전자 장치 및 그 제어 방법
JP7056500B2 (ja) * 2018-10-04 2022-04-19 トヨタ自動車株式会社 画像生成装置、画像生成方法、およびプログラム
US11034092B2 (en) * 2019-06-17 2021-06-15 International Business Machines Corporation 3D-printed object with dynamic augmented-reality textures
US11557046B2 (en) 2020-09-30 2023-01-17 Argyle Inc. Single-moment alignment of imprecise overlapping digital spatial datasets, maximizing local precision

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3558104B2 (ja) * 1996-08-05 2004-08-25 ソニー株式会社 ３次元仮想物体表示装置および方法
JP2006012042A (ja) * 2004-06-29 2006-01-12 Canon Inc 画像生成方法及び装置
NL1035303C2 (nl) 2008-04-16 2009-10-19 Virtual Proteins B V Interactieve virtuele reality eenheid.
JP2010026818A (ja) * 2008-07-18 2010-02-04 Geisha Tokyo Entertainment Inc 画像処理プログラム、画像処理装置及び画像処理方法
JP5564300B2 (ja) 2010-03-19 2014-07-30 富士フイルム株式会社 ヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法
JPWO2012081194A1 (ja) 2010-12-17 2014-05-22 パナソニック株式会社 医療支援装置、医療支援方法および医療支援システム
JP5984235B2 (ja) * 2011-07-19 2016-09-06 東芝メディカルシステムズ株式会社 画像処理システム、装置、方法及び医用画像診断装置
JP5831151B2 (ja) 2011-11-14 2015-12-09 コニカミノルタ株式会社 制御処理プログラム、画像表示装置、および画像表示方法
JP2013172432A (ja) 2012-02-23 2013-09-02 Panasonic Corp 機器制御装置、機器制御方法、機器制御プログラム、及び集積回路
JP5891125B2 (ja) 2012-06-29 2016-03-22 株式会社ソニー・コンピュータエンタテインメント 映像処理装置、映像処理方法、および映像処理システム
JP6299067B2 (ja) 2013-02-14 2018-03-28 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6099448B2 (ja) 2013-03-22 2017-03-22 任天堂株式会社 画像処理用プログラム、情報処理装置、情報処理システム、および画像処理方法

Also Published As

Publication number Publication date
JP2016151792A (ja) 2016-08-22
US20170357397A1 (en) 2017-12-14
WO2016132817A1 (ja) 2016-08-25
US10359916B2 (en) 2019-07-23

Similar Documents

Publication Publication Date Title
JP6336929B2 (ja) 仮想オブジェクト表示装置、方法、プログラムおよびシステム
JP6336930B2 (ja) 仮想オブジェクト表示装置、方法、プログラムおよびシステム
CN104939925B (zh) 基于三角测量的深处和表面可视化
JP4739002B2 (ja) 画像処理方法、画像処理装置
US8933965B2 (en) Method for calculating light source information and generating images combining real and virtual images
WO2019152617A1 (en) Calibration system and method to align a 3d virtual scene and 3d real world for a stereoscopic head-mounted display
US10386633B2 (en) Virtual object display system, and display control method and display control program for the same
US8690581B2 (en) Opthalmoscope simulator
WO2019152619A1 (en) Blink-based calibration of an optical see-through head-mounted display
CN111568548B (zh) 基于混合实境的手术导航图像成像方法
CN107810634A (zh) 用于立体增强现实的显示器
JP2007034628A (ja) 画像処理方法及び装置
JP2023526716A (ja) 外科手術ナビゲーションシステムおよびそのアプリケーション
JP2006012042A (ja) 画像生成方法及び装置
CA3152809A1 (en) Method for analysing medical image data in a virtual multi-user collaboration, a computer program, a user interface and a system
JP6461024B2 (ja) 画像位置合せ装置、方法およびプログラム
JP2017063908A (ja) 画像位置合せ装置、方法およびプログラム
Bichlmeier et al. The tangible virtual mirror: New visualization paradigm for navigated surgery
Fischer Rendering methods for augmented reality
Ericsson et al. Interaction and rendering techniques for handheld phantograms
US20240206988A1 (en) Graphical user interface for a surgical navigation system
US20230230321A1 (en) Extended reality-based user interface add-on, system and method for reviewing 3d or 4d medical image data
Żuk et al. Quantitative evaluation of stereoscopic augmented reality visualization using an optical see-through head-mounted display.
Gallo et al. User-friendly inspection of medical image data volumes in virtual environments
Aniket Augmented reality

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170308

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170908

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180410

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180507

R150 Certificate of patent or registration of utility model

Ref document number: 6336930

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250