JP6328579B2 - 仮想オブジェクト表示システムおよびその表示制御方法並びに表示制御プログラム - Google Patents

仮想オブジェクト表示システムおよびその表示制御方法並びに表示制御プログラム Download PDF

Info

Publication number
JP6328579B2
JP6328579B2 JP2015050225A JP2015050225A JP6328579B2 JP 6328579 B2 JP6328579 B2 JP 6328579B2 JP 2015050225 A JP2015050225 A JP 2015050225A JP 2015050225 A JP2015050225 A JP 2015050225A JP 6328579 B2 JP6328579 B2 JP 6328579B2
Authority
JP
Japan
Prior art keywords
virtual object
display
information
display control
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015050225A
Other languages
English (en)
Other versions
JP2016170641A (ja
Inventor
悠 長谷川
悠 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2015050225A priority Critical patent/JP6328579B2/ja
Priority to PCT/JP2016/053950 priority patent/WO2016147765A1/ja
Publication of JP2016170641A publication Critical patent/JP2016170641A/ja
Priority to US15/702,108 priority patent/US10386633B2/en
Application granted granted Critical
Publication of JP6328579B2 publication Critical patent/JP6328579B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/462—Displaying means of special interest characterised by constructional features of the display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/037—Emission tomography
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Hardware Design (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Urology & Nephrology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、拡張現実感を用いて仮想オブジェクトを表示する仮想オブジェクト表示装置を複数備えた仮想オブジェクト表示システムおよびその表示制御方法並びに表示制御プログラムに関するものである。
近年、現実の空間を撮影することにより取得したリアルタイムの背景映像に、仮想オブジェクトを重畳して、ヘッドマウントディスプレイ等の表示装置に表示することにより、現実空間に仮想オブジェクトが存在するかのように見せる拡張現実感を使用する表示システムが提案されている。このようなシステムにおいては、仮想オブジェクトを表示させる位置を規定するマーカを現実空間に配置する。そして、現実空間を撮影した背景映像からマーカを検出する。さらに、検出したマーカの位置、大きさおよび向きなどに応じて、仮想オブジェクトを表示する位置、大きさおよび表示する向きが決定され、決定された表示位置、大きさおよび向きにより表示装置に仮想オブジェクトが表示される。マーカとしては、たとえば２次元バーコード等の画像が用いられる。また、ＬＥＤ（Light Emission Diode）あるいは操作者の指をマーカとして用いる手法も提案されている。
一方、医療分野においては、手術前に手術の参加者を集めて、手術の説明をするための手術前カンファレンスが行われている。このような手術前カンファレンスにおいて、近年、拡張現実感を使用して手術の対象となる部位を表示して、手術をシミュレーションすることが行われている。例えば、ＣＴ（Computed Tomography）画像またはＭＲＩ（magnetic resonance imaging）画像の断層画像から得られる３次元画像から手術対象の部位を抽出し、その３次元画像に基づいて仮想オブジェクトを生成する。そして、拡張現実感を用いて仮想オブジェクトを実寸大となるように表示し、表示された仮想オブジェクトを用いて、手術前カンファレンスの代表者である執刀医からカンファレンスの参加者への説明および手技のシミュレーションが行われる。この際、カンファレンスの参加者はヘッドマウントディスプレイ等の表示装置を各自装着することにより、全員が共通の仮想オブジェクトを見ながらカンファレンスを行うことができる。
特表２０１４−５２２００７号公報
しかしながら、上述したように共通の仮想オブジェクトを執刀医および参加者の複数で観察する場合、特定の方向から観察しなければ見づらい部位を見たい場合および助手が執刀医と同じ方向から見た視野で仮想オブジェクトを見たい場合などにおいては、各参加者が見やすい位置まで移動する必要がある。また、手術前カンファレンスの参加者が多い場合、全員が同じ角度から見ることは困難である。
なお、特許文献１には、共通の仮想オブジェクトを複数の人数で観察することが提案されているが、上記のような問題を解決する方法については何も提案されていない。
本発明は、上記事情に鑑み、共通の仮想オブジェクトを複数の人数で観察する際、各観察者が移動することなく、状況に応じて適切な方向から仮想オブジェクトを観察することができる仮想オブジェクト表示システムおよびその表示制御方法並びに表示制御プログラムを提供することを目的とするものである。
本発明の仮想オブジェクト表示システムは、仮想オブジェクトを取得する仮想オブジェクト取得部と、仮想オブジェクトを表示するための位置情報および仮想オブジェクトを表示するための向きの情報を含む表示情報を取得する表示情報取得部と、表示情報に基づいて、仮想オブジェクトを表示部に表示させる表示制御部とを有する仮想オブジェクト表示装置を複数備え、複数の仮想オブジェクト表示装置の各表示制御部が、複数の仮想オブジェクト表示装置のそれぞれの表示情報取得部によって取得された表示情報に基づいて仮想オブジェクトを表示させる第１の表示制御と、他の仮想オブジェクト表示装置の表示情報取得部によって取得された表示情報に基づいて表示された仮想オブジェクトと同じ向きの仮想オブジェクトを表示させる第２の表示制御とを切り替え可能であることを特徴とする。
また、上記本発明の仮想オブジェクト表示システムにおいて、複数の仮想オブジェクト表示装置の各表示制御部は、第２の表示制御に切り替えた後、他の仮想オブジェクト表示装置の表示情報取得部によって取得される表示情報が変更された場合には、その変更された表示情報に基づいて、仮想オブジェクトの表示を変更することができる。
また、上記本発明の仮想オブジェクト表示システムにおいて、表示情報は、仮想オブジェクトを表示するための大きさの情報も含むことができ、複数の仮想オブジェクト表示装置の各表示制御部は、第２の表示制御に切り替えた後、他の仮想オブジェクト表示装置の表示情報取得部によって取得される表示情報が変更された場合には、大きさの情報以外の変更された表示情報に基づいて、仮想オブジェクトの表示を変更することができる。
また、上記本発明の仮想オブジェクト表示システムにおいて、複数の仮想オブジェクト表示装置の各表示制御部は、第２の表示制御に切り替えた後、複数の仮想オブジェクト表示装置のそれぞれの表示情報取得部によって取得された表示情報の変更に応じて、仮想オブジェクトの表示を変更することができる。
また、上記本発明の仮想オブジェクト表示システムにおいて、複数の仮想オブジェクト表示装置は、背景映像を取得する撮影部をそれぞれ備えることができ、複数の仮想オブジェクト表示装置の各表示制御部は、第１の表示制御の場合には、複数の仮想オブジェクト表示装置のそれぞれの撮影部によって取得された背景映像と仮想オブジェクトとを重ねて表示させ、第２の表示制御の場合には、複数の仮想オブジェクト表示装置のそれぞれの撮影部によって取得された背景映像と同じ向きの仮想オブジェクトとを重ねて表示させる第３の表示制御と、他の仮想オブジェクト表示装置の撮影部によって取得された背景映像と同じ向きの仮想オブジェクトとを重ねて表示させる第４の表示制御とを切り替え可能にすることができる。
また、上記本発明の仮想オブジェクト表示システムにおいて、ユーザによって仮想オブジェクト表示装置に表示された仮想オブジェクト上の位置が指定された後、その指定された位置情報を取得する指定位置情報取得部を備えることができ、仮想オブジェクト上の位置を指定したユーザに対応する仮想オブジェクト表示装置以外の仮想オブジェクト表示装置の表示制御部は、指定位置情報取得部によって取得された位置情報に基づいて、仮想オブジェクト上に指定された位置を表す画像を表示させることができる。
また、上記本発明の仮想オブジェクト表示システムにおいて、第１の表示制御と第２の表示制御との切り替え指示を受け付ける切替指示受付装置を備えることができ、複数の仮想オブジェクト表示装置の各表示制御部は、切替指示受付装置によって受け付けられた切り替え指示に応じて、第１の表示制御と第２の表示制御とを切り替えることができる。
また、上記本発明の仮想オブジェクト表示システムにおいて、表示情報取得部は、仮想オブジェクト表示用のマーカを撮影したマーカ画像から表示情報を取得することができる。
また、仮想オブジェクトは３次元画像とすることができる。
また、３次元画像は医用３次元画像とすることができる。
また、表示部は、眼鏡型表示装置とすることができる。
本発明の仮想オブジェクト表示システムの制御方法は、仮想オブジェクトを取得し、仮想オブジェクトを表示するための位置情報および仮想オブジェクトを表示するための向きの情報を含む表示情報を取得し、表示情報に基づいて、仮想オブジェクトを表示部に表示させる仮想オブジェクト表示装置を複数備えた仮想オブジェクト表示システムの表示制御方法であって、複数の仮想オブジェクト表示装置が、複数の仮想オブジェクト表示装置のそれぞれで取得された表示情報に基づいて仮想オブジェクトを表示させる第１の表示制御と、他の仮想オブジェクト表示装置で取得された表示情報に基づいて表示された仮想オブジェクトと同じ向きの仮想オブジェクトを表示させる第２の表示制御とを切り替えることを特徴とする。
本発明の仮想オブジェクト表示システムの表示制御プログラムは、仮想オブジェクトを取得し、仮想オブジェクトを表示するための位置情報および仮想オブジェクトを表示するための向きの情報を含む表示情報を取得し、表示情報に基づいて、仮想オブジェクトを表示部に表示させる仮想オブジェクト表示装置を複数備えた仮想オブジェクト表示システムの表示制御プログラムであって、複数の仮想オブジェクト表示装置のそれぞれで取得された表示情報に基づいて仮想オブジェクトを表示させる第１の表示制御と、他の仮想オブジェクト表示装置で取得された表示情報に基づいて表示された仮想オブジェクトと同じ向きの仮想オブジェクトを表示させる第２の表示制御とを切り替える手順を複数の仮想オブジェクト表示装置に実行させることを特徴とする。
本発明の仮想オブジェクト表示システムおよびその表示制御方法並びに表示制御プログラムによれば、複数の仮想オブジェクト表示装置において共通の仮想オブジェクトを表示する際、複数の仮想オブジェクト表示装置のそれぞれで取得された表示情報に基づいて仮想オブジェクトを表示させる第１の表示制御と、他の仮想オブジェクト表示装置で取得された表示情報に基づいて表示された仮想オブジェクトと同じ向きの仮想オブジェクトを表示させる第２の表示制御とを切り替える。したがって、共通の仮想オブジェクトを各観察者がいる方向から観察可能な第１の表示制御と、たとえば執刀医などが見ている仮想オブジェクトと同じ方向の仮想オブジェクトをその他の観察者が観察可能な第２の表示制御とを切り替えることができるので、各観察者は、移動することなく、状況に応じて適切な方向から仮想オブジェクトを観察することができる。
本発明の仮想オブジェクト表示システムの一実施形態の使用状況を説明するための図 本発明の仮想オブジェクト表示システムの一実施形態の概要を示すハードウェア構成図 仮想オブジェクト表示装置であるヘッドマウントディスプレイの概略構成を示すブロック図 マーカの一例を示す図 背景映像から抽出したマーカ画像を示す図 通常モードにおける各ヘッドマウントディスプレイの仮想オブジェクトの表示状態を示す図 共有モードに切り替えた場合の座標軸の設定を説明するための図 共有モードにおける各ヘッドマウントディスプレイの仮想オブジェクトの表示状態を示す図 共有モードにおける仮想オブジェクトの連動表示を説明するための図 本発明の仮想オブジェクト表示システムの一実施形態の作用を説明するためのフローチャート 仮想オブジェクト表示装置であるヘッドマウントディスプレイのその他の実施形態を示すブロック部 共有モードにおいて、仮想オブジェクト上において指定された位置情報に基づいて、その位置を示す画像を仮想オブジェクトに表示させる例を説明するための図
以下、図面を参照して本発明の仮想オブジェクト表示システムの一実施形態について説明する。図１は、本実施形態の仮想オブジェクト表示システムの使用状況を説明するための図である。
仮想オブジェクト表示システムは、手術前のカンファレンスにおいて、拡張現実感を用いて、手術対象の３次元画像を仮想オブジェクトとして表示するためのものである。具体的には、被検体を撮影することにより取得した３次元画像から、手術対象の３次元画像を仮想オブジェクトとして生成し、手術前カンファレンスにおいて、手術の参加者がヘッドマウントディスプレイ（以下、ＨＭＤ（Head Mount Display）とする）１Ａ〜１Ｄを装着し、ＨＭＤ１Ａ〜１Ｄに仮想オブジェクトＳ０を表示して、手術前カンファレンスの代表者である執刀医から手術に関する各種説明を受ける状況において使用される。なお、ＨＭＤ１Ａ〜１Ｄが本発明の仮想オブジェクト表示装置に相当するものである。
本実施形態では、図１に示す３１Ａが執刀医であり、図１に示す３１Ｂ〜３１Ｄが執刀医以外の手術の参加者であるとする。そして、本実施形態では、執刀医３１Ａが、後述する通常モードと共有モードとを切り替える切替コントローラ５０を持つものとする。この切替コントローラ５０が、本発明の切替指示受付装置に相当するものである。
図２は、本実施形態の仮想オブジェクト表示システムの概要を示すハードウェア構成図である。図２に示すように、本実施形態の仮想オブジェクト表示システムは、４つのＨＭＤ１Ａ〜１Ｄ、３次元画像撮影装置２および画像保管サーバ３を備えている。４つのＨＭＤ１Ａ〜１Ｄ、３次元画像撮影装置２および画像保管サーバ３は、ネットワーク４を経由して通信可能な状態で接続されている。また、以下の説明においては、４つのＨＭＤ１Ａ〜１ＤをＨＭＤ１で代表させる場合があるものとする。
また、ＨＭＤ１Ａ〜１Ｄの間においても、ネットワーク４を経由して情報のやりとりが可能となっている。また、ＨＭＤ１Ａ〜１Ｄと切替コントローラ５０との間は無線通信可能に構成されており、切替コントローラ５０から出力されたモード切替信号は、無線通信を介してＨＭＤ１Ａ〜１Ｄによって受信される。
３次元画像撮影装置２は、被検体の手術対象となる部位を撮影することにより、その部位を表す３次元画像Ｖ０を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ(Positron Emission Tomography )装置等である。この３次元画像撮影装置２により生成された３次元画像Ｖ０は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、３次元画像撮影装置２としてＣＴ装置を用い、そのＣＴ装置によって手術対象である頭部を撮影し、頭部の３次元画像Ｖ０を生成するものとする。
画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された３次元画像Ｖ０等の画像データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式やネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。
ＨＤＭ１は、コンピュータを備え、コンピュータに、本発明の仮想オブジェクト表示プログラムをインストールしたものである。仮想オブジェクト表示プログラムは、ＨＭＤ１が有するメモリにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置もしくはネットワークストレージに外部からアクセス可能な状態で記憶され、要求に応じてＨＭＤ１にダウンロードされてインストールされる。
図３は仮想オブジェクト表示プログラムをインストールすることにより実現された仮想オブジェクト表示装置であるＨＭＤ１の概略構成を示すブロック図である。図３に示すように、ＨＭＤ１は、ＣＰＵ（Central Processing Unit）１１、メモリ１２、ストレージ１３、カメラ１４、ディスプレイ１５、および入力部１６を備える。なお、カメラ１４が、本発明の撮影部に相当し、ディスプレイ１５が、本発明の表示部に相当するものである。また、カメラ１４およびディスプレイ１５をＨＭＤ１の頭への装着部分に設け、メモリ１２、ストレージ１３および入力部１６を装着部分とは別体として設けるようにしてもよい。
ストレージ１３には、ネットワーク４を経由して画像保管サーバ３から取得した３次元画像Ｖ０およびＨＭＤ１での処理によって生成された画像を含む各種情報が記憶されている。
カメラ１４は、レンズ、ＣＣＤ(Charge Coupled Device)等の撮像素子および取得した画像に画質を向上させるための処理を行う画像処理部等を備える。図２に示すように、カメラ１４は、執刀医３１Ａおよび参加者３１Ｂ〜３１ＤがＨＭＤ１を装着した際に、装着者の視野とカメラ１４の撮影範囲とが一致するように、ＨＭＤ１における装着者の両目の中央に対応する部分に位置するように、ＨＭＤ１に取り付けられている。したがって、執刀医３１Ａおよび参加者３１Ｂ〜３１ＤがＨＭＤ１を装着すると、カメラ１４は装着者の視野に対応する画像を撮影する。これにより、装着者が見ている現実空間の映像が背景映像Ｂ０として取得される。背景映像Ｂ０は所定のフレームレートを有する動画像となる。
ディスプレイ１５は、背景映像Ｂ０および仮想オブジェクトＳ０を表示するための液晶パネル等からなる。なお、ディスプレイ１５は、ＨＭＤ１の装着者の左目用および右目用の表示部を備える。
入力部１６は、例えばボタン等からなり、ＨＭＤ１の外装の予め定められた位置に設けられる。
また、メモリ１２には、仮想オブジェクト表示プログラムが記憶されている。そして、仮想オブジェクト表示プログラムがＣＰＵ１１によって実行されることによって、図３に示す画像取得部２１、仮想オブジェクト取得部２２、表示情報取得部２３および表示制御部２４が機能する。
画像取得部２１は、３次元画像Ｖ０およびカメラ１４により撮影された背景映像Ｂ０を取得する。画像取得部２１は、３次元画像Ｖ０が既にストレージ１３に記憶されている場合には、ストレージ１３から取得するようにしてもよい。
仮想オブジェクト取得部２２は、手術の対象部位である頭部の３次元形状を表す画像を仮想オブジェクトＳ０として生成するものである。具体的には、後述する表示情報により定められる投影面に、頭部の３次元形状を表す画像を投影した投影像を、仮想オブジェクトＳ０として生成する。ここで、投影の具体的な方法としては、例えば、公知のボリュームレンダリング手法等を用いる。なお、仮想オブジェクトの生成方法としては、これに限らず、その他の公知な手法を用いることができる。
また、不図示の仮想オブジェクト生成装置において３次元画像Ｖ０から仮想オブジェクトＳ０を生成して画像保管サーバ３に保管しておくようにしてもよい。この場合、仮想オブジェクト取得部２２は、画像保管サーバ３から仮想オブジェクトＳ０を取得するものとなる。
表示情報取得部２３は、背景映像Ｂ０から、仮想オブジェクトＳ０を表示する位置、大きさおよび方向を表す表示情報を取得する。本実施形態においては、仮想オブジェクト表示用のマーカを撮影することにより背景映像Ｂ０に含まれる、マーカを表すマーカ画像から表示情報を取得する。図４は、本実施形態で用いるマーカを示す図である。図４に示すようにマーカ３０は、２次元バーコードを板に貼り付けることにより構成されている。なお、マーカ３０は、２次元バーコードを紙に印刷したものであってもよい。図１に示すようにマーカ３０は手術前カンファレンスを行う場所に置かれる。執刀医３１Ａおよび参加者３１Ｂ〜３１ＤはそれぞれＨＭＤ１Ａ〜１Ｄを装着する。ＨＭＤ１Ａ〜１Ｄにおいては、カメラ１４により撮影された背景映像Ｂ０がディスプレイ１５に表示される。参加者は、ディスプレイ１５に表示される背景映像Ｂ０にマーカ３０の画像であるマーカ画像が含まれるように，視線をマーカ３０の方向に向ける。
表示情報取得部２３は、マーカ３０を表すマーカ画像を背景映像Ｂ０から抽出する。図５は背景映像Ｂ０から抽出したマーカ画像３２を示す図である。なお、図５に示すマーカ画像３２は、執刀医３１ＡのＨＭＤ１Ａにより取得したものである。ここで、マーカ３０の２次元バーコードは図４に示すように３つの基準点３０ａ〜３０ｃを含む。表示情報取得部２３は、抽出したマーカ画像３２において、基準点３０ａ〜３０ｃを検出する。そして、検出した基準点３０ａ〜３０ｃの位置および基準点間の間隔から、仮想オブジェクトＳ０を表示する際の位置、大きさおよび向きを決定する。
ここで、本実施形態においては、通常モードでは、基準点３０ａ，３０ｂが横に並んで見える位置を、仮想オブジェクトＳ０を表示する際の正面位置に定義する。このため、マーカ画像３２において、基準点３０ａ，３０ｂの位置を検出することにより、仮想オブジェクトＳ０のマーカ３０に直交する軸（以下、ｚ軸とする）に関する正面位置からの回転位置を決定できる。また、基準点３０ａ，３０ｂ間の距離とあらかじめ定められた基準値との相違により、仮想オブジェクトＳ０を表示する際の大きさを決定できる。また、基準点３０ａ〜３０ｃを頂点とする３角形の基準となる形状からの相違により、仮想オブジェクトＳ０のｚ軸に直交する２つの軸（以下、ｘ軸およびｙ軸とする）に関する基準位置からの回転位置すなわち向きを決定できる。表示情報取得部２３は、決定した仮想オブジェクトＳ０の位置、大きさおよび向きを表示情報として出力する。
表示制御部２４は、表示情報を用いて、仮想オブジェクトＳ０を投影する投影面を規定し、その投影面に仮想オブジェクトＳ０を投影する。そして投影された仮想オブジェクトＳ０を背景映像Ｂ０に重畳して、ディスプレイ１５に表示する。図１では、手術前カンファレンスを行う場所における仮想オブジェクトＳ０の表示状態を模式的に示している。図１に示すように、執刀医３１Ａおよび参加者３１Ｂ〜３１Ｄは、現実空間におけるマーカ３０上に、自身がいる位置に応じた大きさおよび向きを有する頭部の３次元画像が仮想オブジェクトＳ０として表示されている状態をディスプレイ１５によって観察することができる。
なお、表示制御部２４は、視差を有するようにディスプレイ１５の左目用の表示部および右目用の表示部に、仮想オブジェクトＳ０を表示する。これにより、執刀医３１Ａおよび参加者３１Ｂ〜３１Ｄは仮想オブジェクトＳ０を立体視することができる。
また、この状態において，マーカ３０をｚ軸に関して回転したり、傾けたりすることにより、ディスプレイ１５に表示される仮想オブジェクトＳ０の向きを変更することができる。
ここで、図１に示すように、たとえば執刀医３１Ａが、仮想オブジェクトＳ０の正面位置に立ち、参加者３１Ｃが、執刀医３１Ａの向かい側に立ち、参加者３１Ｂが、執刀医３１Ａの右側に立ち、参加者３１Ｄが、執刀医３１Ａの左側に立っている状態では、参加者３１Ｃは、頭部の仮想オブジェクトＳ０の後ろ側を観察し、参加者３１Ｂは、頭部の仮想オブジェクトＳ０の左側を観察し、参加者３１Ｄは、頭部の仮想オブジェクトＳ０の左側を観察している状態となる。
図６の１０Ａは、執刀医３１ＡのＨＭＤ１Ａのディスプレイ１５に表示されている仮想オブジェクトＳ０の状態を示し、図６の１０Ｂは、参加者３１ＢのＨＭＤ１Ｂのディスプレイ１５に表示されている仮想オブジェクトＳ０の状態を示し、図６の１０Ｃは、参加者３１ＣのＨＭＤ１Ｃのディスプレイ１５に表示されている仮想オブジェクトＳ０の状態を示し、図６の１０Ｄは、参加者３１ＤのＨＭＤ１Ａのディスプレイ１５に表示されている仮想オブジェクトＳ０の状態を示している。
図６に示すように、執刀医３１Ａおよび参加者３１Ｂ〜３１Ｄのそれぞれのディスプレイ１５には、執刀医３１Ａおよび参加者３１Ｂ〜３１Ｄとマーカ３０（マーカ画像３２）とのそれぞれ位置関係に応じた向きの仮想オブジェクトＳ０が表示される。本実施形態では、このような仮想オブジェクトＳ０の表示状態を通常モードと呼ぶものとする。なお、この通常モードでは、図６に示すように、執刀医３１Ａおよび参加者３１Ｂ〜３１Ｄのそれぞれのディスプレイ１５の右上の隅に、現在通常モードに設定されていることを示す赤色の丸いマークが表示される。
ここで、上述したように手術前カンファレンスにおいては、特定の方向から観察しなければ見づらい部位を見たい場合や参加者３１Ｂ〜３１Ｄが執刀医３１Ａと同じ方向から見た視野で見たい場合などがあるが、マーカ３０を用いた上述した通常モードの表示状態では、各参加者３１Ｂ〜３１Ｄが見やすい位置まで移動する必要がある。また、手術前カンファレンスの参加者が多い場合、全員が同じ角度から見ることは困難である。
そこで、本実施形態は、執刀医３１Ａおよび参加者３１Ｂ〜３１Ｄの全員が、同じ向きの仮想オブジェクトＳ０を観察できるようにＨＭＤ１Ａ〜１Ｄのそれぞれのディスプレイ１５に同じ向きの仮想オブジェクトＳ０を表示させる共有モードへの切り替えが可能に構成されている。なお、上述した通常モードが、本発明の第１の表示制御に相当し、共有モードが、本発明の第２の表示制御に相当する。以下、通常モードから共有モードへの切り替えについて、詳細に説明する。
通常モードから共有モードへの切り替えは、図１に示す切替コントローラ５０によって行われる。具体的には、執刀医３１Ａが、切替コントローラ５０のモード切替ボタン５１を押下すると、切替コントローラ５０からＨＭＤ１Ａ〜１Ｄに対して、通常モードから共有モードへの切替指示信号が出力される。
ＨＭＤ１Ａ〜１Ｄのそれぞれの表示制御部２４は、共有モードへの切替指示信号を受信した場合には、現在、それぞれのＨＭＤ１Ａ〜１Ｄによって撮像されているマーカ３０の姿勢を初期状態として登録する。すなわち、各表示制御部２４は、現在撮像されているマーカ３０の基準点３０ａ，３０ｂ，３０ｃの位置関係を初期状態とし、図７に示すようにx方向、ｙ方向およびz方向の座標軸を新たに設定する。
そして、共有モードに切り替える直前に、執刀医３１ＡのＨＭＤ１Ａの表示情報取得部２３によって取得されていた表示情報が、参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄに出力される。そして、執刀医３１ＡのＨＭＤ１Ａから出力された表示情報は、参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄの表示情報取得部２３によって取得され、ＨＭＤ１Ｂ〜１Ｄの表示制御部２４は、その取得された表示情報に基づいて、仮想オブジェクトＳ０をディスプレイ１５に表示させる。すなわち、参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄにディスプレイ１５には、執刀医３１ＡのＨＭＤ１Ａのディスプレイ１５に表示された仮想オブジェクトＳ０と同じ向きの仮想オブジェクトＳ０が表示される。
なお、共有モードに切り替えた場合に、執刀医３１ＡのＨＭＤ１Ａから出力される表示情報としては、仮想オブジェクトＳ０を表示する大きさおよび方向を表す表示情報のうち、方向を表す情報のみとし、大きさを表す表示情報を含めないようにすることが望ましい。そして、参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄの表示制御部２４は、自身のＨＭＤ１Ｂ〜１Ｄの表示情報取得部２３によって取得された大きさを表す表示情報に基づいて、仮想オブジェクトＳ０を表示させることが望ましい。仮想オブジェクトＳ０の大きさについては、参加者３１Ｂ〜３１Ｄとマーカ３０との実際の位置関係に基づいて決定した方がより現実に近い表示をすることができるからである。
図８は、共有モードに切り替えられた後のＨＭＤ１Ａ〜１Ｄのディスプレイ１５にそれぞれ表示された仮想オブジェクトＳ０の状態を示すものである。図８に示すように、全てのＨＭＤ１Ａ〜１Ｄのディスプレイ１５に同じ向きの仮想オブジェクトＳ０を表示させることができる。また、共有モードでは、図８に示すように、執刀医３１Ａおよび参加者３１Ｂ〜３１Ｄのそれぞれのディスプレイ１５の右上の隅に、現在共有モードに設定されていることを示す緑色の丸いマークが表示される。なお、本実施形態においては、上述したように通常モードでは赤色の丸いマークを表示し、共有モードでは緑色の丸いマークを表示するようにしたが、これらのマーク表示に限らず、要するに、現在通常モードに設定されているのか、または共有モードに設定されているのかを示す表示であればその他の表示方法でもよい。
また、図８は、共有モードに切り替える直前に、執刀医３１ＡのＨＭＤ１Ａのディスプレイ１５に正面位置の仮想オブジェクトＳ０が表示されていた場合の表示例であるが、必ずしも正面位置でなくてもよく、たとえば共有モードに切り替える直前に、執刀医３１ＡのＨＭＤ１Ａのディスプレイ１５に、右斜め方向から見た仮想オブジェクトＳ０が表示されていた場合には、共有モードに切り替えられた後には、参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄのディスプレイ１５にも、右斜め方向から見た仮想オブジェクトＳ０が表示される。
さらに、共有モードに切り替えられた後、執刀医３１Ａが移動して執刀医３１Ａをマーカ３０との位置関係が変更され、執刀医３１ＡのＨＭＤ１Ａの表示情報取得部２３によって取得される表示情報が変更された場合には、その変更後の表示情報が、参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄに出力され、それぞれの表示情報取得部２３によって取得される。そして、参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄの表示制御部２４は、自身のＨＭＤ１Ｂ〜１Ｄの表示情報取得部２３によって取得された表示情報に基づいて、仮想オブジェクトＳ０を表示させる。これにより執刀医３１ＡのＨＭＤ１Ａの仮想オブジェクトＳ０の表示の変更に連動させて参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄの仮想オブジェクトＳ０の表示の変更することができる。図８は、執刀医３１Ａが参加者３１Ｂの位置まで移動した場合の、ＨＭＤ１Ａ〜１Ｄのディスプレイ１５に表示された仮想オブジェクトＳ０を表したものである。
なお、上述したように連動表示させる場合にも、執刀医３１ＡのＨＭＤ１Ａから出力される表示情報としては、仮想オブジェクトＳ０を表示する大きさおよび方向を表す表示情報のうち、方向を表す情報のみとし、大きさを表す表示情報を含めないようにすることが望ましい。
また、本実施形態では、上述したように執刀医３１ＡのＨＭＤ１Ａの仮想オブジェクトＳ０の表示の変更に連動させて参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄの仮想オブジェクトＳ０の表示の変更するようにしたが、このような連動表示を行わずに、各参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄの仮想オブジェクトＳ０の表示変更については、各ＨＭＤ１Ｂ〜１Ｄにおいて独立して行うようにしてもよい。すなわち、共有モードに切り替えられた後、参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄの表示制御部２４は、自身のＨＭＤ１Ｂ〜１Ｄの表示情報取得部２３によって取得された表示情報の変更に応じて、仮想オブジェクトＳ０の表示を変更させるようにしてもよい。
また、上述したような連動モードと連動させない独立モードとを切り替え可能に構成するようにしてもよい。連動モードと独立モードとの切り替えは、切替コントローラ５０によって行うようにしてもよいし、参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄの入力部１６を用いて行うようにしてもよい。
また、上述した共有モードにおいて、仮想オブジェクトＳ０だけでなく、背景映像Ｂ０についても共有するようにしてもよい。すなわち、共有モードに切り替えられた場合、執刀医３１ＡのＨＭＤ１Ａのカメラ１４によって撮影された背景映像Ｂ０を参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄに出力するようしてもよい。そして、参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄの表示制御部２４が、自身のＨＭＤ１Ｂ〜１Ｄのカメラによって撮影された背景映像Ｂ０ではなく、執刀医３１ＡのＨＭＤ１Ａのカメラ１４によって撮影された背景映像Ｂ０に対して仮想オブジェクトＳ０を重ね合わせてディスプレイ１５に表示させるようにしてもよい。
なお、背景映像Ｂ０を共有しない、すなわち参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄの表示制御部２４が、自身のＨＭＤ１Ｂ〜１Ｄのカメラによって撮影された背景映像Ｂ０に対して仮想オブジェクトＳ０を重ね合わせてディスプレイ１５に表示させる背景非共有モードと、上述した背景映像Ｂ０を共有する背景共有モードとを切り替え可能に構成するようにしてもよい。なお、背景非共有モードが、本発明の第３の表示制御に相当し、背景共有モードが、本発明の第４の表示制御に相当する。背景非共有モードと背景共有モードとの切り替えは、切替コントローラ５０によって行うようにしてもよいし、参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄの入力部１６を用いて行うようにしてもよい。
次に、本実施形態の仮想オブジェクト表示システムの作用について、図１０に示すフローチャートを参照しながら説明する。
まず、各ＨＭＤ１Ａ〜１Ｄの画像取得部２１が、３次元画像Ｖ０および背景映像Ｂ０を取得し（ステップＳＴ１０）、仮想オブジェクト取得部２２が３次元画像Ｖ０から仮想オブジェクトＳ０を取得する（ステップＳＴ１２）。また、各ＨＭＤ１Ａ〜１Ｄの表示情報取得部２３が、マーカ３０を表すマーカ画像３２を背景映像Ｂ０から抽出し、マーカ画像３２から仮想オブジェクトＳ０を表示する位置、大きさおよび向きを表す表示情報を取得する（ステップＳＴ１４）。そして、各ＨＭＤ１Ａ〜１Ｄの表示制御部２４が、表示情報を用いて、背景映像Ｂ０に仮想オブジェクトＳ０を重畳して、ディスプレイ１５に表示する（ステップＳＴ１６）。これにより、ＨＭＤ１を装着している手術前カンファレンスの執刀医３１Ａおよび参加者３１Ｂ〜３１Ｄは、現実空間に仮想オブジェクトＳ０が表示されている状態を観察することができる。
そして、上述した通常モードの状態において、執刀医３１Ａが切替コントローラ５０を用いて共有モードへの切り替え指示を行った場合には（ＳＴ１８，ＹＥＳ）、上述した共有モードに切り替えられ、参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄのディスプレイ１５には、執刀医３１ＡのＨＭＤ１Ａのディスプレイ１５に表示されている仮想オブジェクトＳ０と同じ向きの仮想オブジェクトＳ０が表示される（ＳＴ２０）。
次に、共有モードの状態において、執刀医３１Ａが切替コントローラ５０を用いて通常モードへの切り替え指示を行った場合には（ＳＴ２２，ＹＥＳ）、通常モードに切り替えられ、参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄのディスプレイ１５には、各参加者３１Ｂ〜３１Ｄとマーカ３０との位置関係に基づいた仮想オブジェクトＳ０、すなわち各参加者３１Ｂ〜３１Ｄの位置に応じた向きの仮想オブジェクトＳ０が表示される（ＳＴ２４）。
なお、ＳＴ１８において共有モードに切り替えず（ＮＯ）、処理を終了する指示がされた場合（ＳＴ２６，ＹＥＳ）、ＳＴ２２において通常モードに切り替えず（ＮＯ）、処理を終了する指示がされた場合（ＳＴ２８，ＹＥＳ）、通常モードに切り替えられた後、処理を終了する指示がされた場合（ＳＴ２６，ＹＥＳ）には、そのまま処理を終了する。
上記実施形態の仮想オブジェクト表示システムによれば、複数のＨＭＤ１において共通の仮想オブジェクトを表示する際、複数のＨＭＤ１のそれぞれで取得された表示情報に基づいて仮想オブジェクトを表示させる通常モードと、他のＨＭＤ１で取得された表示情報に基づいて表示された仮想オブジェクトと同じ向きの仮想オブジェクトを表示させる共有モードとを切り替える。したがって、共通の仮想オブジェクトを各観察者がいる方向から見ることができる通常モードと、たとえば執刀医などが見ている仮想オブジェクトと同じ方向の仮想オブジェクトをその他の観察者が観察可能な共有モードとを切り替えることができるので、各観察者は、移動することなく、状況に応じて適切な方向から仮想オブジェクトを観察することができる。
また、上記実施形態の仮想オブジェクト表示システムにおいて、図１１に示すように指定位置情報取得部１７をさらに設けるようにしてもよい。そして、共有モードにおいて、図１２に示すように、執刀医３１Ａによって仮想オブジェクトＳ０上の位置が指で指定された場合、その指定された位置情報を指定位置情報取得部１７によって取得し、参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄの表示制御部２４が、指定位置情報取得部１７によって取得された位置情報に基づいて、自身のディスプレイ１５に表示されている仮想オブジェクト上に、指定された位置を表す矢印の画像Ｍを表示させるようにしてもよい。このように執刀医３１Ａが指差している仮想オブジェクトＳ０上の位置を参加者３１Ｂ〜３１Ｄが把握できることによって、執刀医３１Ａが現在着目している箇所を参加者３１Ｂ〜３１Ｄが明確に知ることができる。なお、矢印の画像に限らず、その他のマークなどでもよい。
指定位置情報取得部１７としては、たとえば３次元位置センサなどを用いることができるが、背景映像Ｂ０に基づいて指の先端位置を検出し、その先端位置とマーカ画像３２の基準点３０ａ，３０ｂ，３０ｃとの位置関係に基づいて、指定位置情報を取得するようにしてもよい。
また、上記説明では、執刀医３１Ａが指で仮想オブジェクトＳ０上の位置を指定するようにしたが、指に限らず、その他のペンまたはポインタなどで位置の指定をするようにしてもよい。
また、上記実施形態においては、執刀医３１Ａが切替コントローラ５０を操作することによって通常モードと共有モードとを切り替えるようにしたが、執刀医３１Ａに限らず、その他の参加者３１Ｂ〜３１Ｄが切替コントローラ５０を操作するようにしてもよい。この場合、たとえば切替コントローラ５０が、切替コントローラ５０に最も近くに存在するＨＭＤ１を認識し、その最も近くに存在するＨＭＤ１に表示されている仮想オブジェクトＳ０と同じ向きの仮想オブジェクトＳ０を他のＨＭＤ１に表示させるようにしてもよい。
さらに、通常モードと共有モードとの切り替えは、ＨＭＤ１の入力部１６において受け付けるようにしてもよく、この場合、たとえば切替指示の入力を受けた入力部１６が属するＨＭＤ１に表示されている仮想オブジェクトＳ０と同じ向きの仮想オブジェクトＳ０を他のＨＭＤ１に表示させるようにしてもよい。
また、上記実施形態においては、２次元バーコードを板に貼り付けたマーカを用いているが、２次元バーコードに代えて予め定められた記号、色、図形あるいは文字等を用いてもよい。また、ＬＥＤ、ペンまたは操作者の指などの予め定められた物体であってもよい。さらに、背景映像Ｂ０に含まれる直線の交点あるいは光る物体等のテクスチャをマーカとして用いてもよい。
また、上記実施形態においては、ＨＭＤ１にカメラ１４を設けているが、カメラ１４をＨＭＤ１とは別体として設けてもよい。この場合においても、ＨＭＤ１の装着者の視野に対応する範囲を撮影するように配置されることが好ましい。
また、上記実施形態においては、本発明による仮想オブジェクト表示装置を、没入型の眼鏡型表示装置であるＨＭＤに適用しているが、透過型の眼鏡型端末装置に適用してもよい。この場合、ディスプレイ１５は透過型のディスプレイとなり、仮想オブジェクトＳ０をディスプレイ１５に表示することにより、仮想オブジェクト表示装置の装着者は、カメラ１４が撮影してディスプレイ１５に表示された背景映像Ｂ０ではなく、自身が実際に見ている現実空間に重畳された仮想オブジェクトＳ０を観察することができる。またこの場合、カメラ１４は、仮想オブジェクトＳ０を表示する位置および大きさを決定するためのマーカ３０を撮影するために用いられることとなる。
また、上記実施形態においては、本発明による仮想オブジェクト表示装置を眼鏡型表示装置に適用しているが、カメラを搭載したタブレット端末に適用してもよい。この場合、執刀医３１Ａおよび参加者３１Ｂ〜３１Ｄは各自タブレット端末を所持し、タブレット端末のディスプレイに背景映像Ｂ０および仮想オブジェクトＳ０が表示されることとなる。
また、上記実施形態においては、仮想オブジェクトＳ０を表示する位置および向きのみを表示情報として用いてもよい。この場合、予め定められた大きさの仮想オブジェクトＳ０をディスプレイ１５に表示すればよい。
また、上記実施形態においては、医用３次元画像から生成した仮想オブジェクトＳ０を表示しているが、仮想オブジェクトＳ０の種類は医用に限定されない。例えば、ゲームのキャラクタあるいは模型等を仮想オブジェクトＳ０として用いてもよい。
１ ヘッドマウントディスプレイ
２ ３次元画像撮影装置
３ 画像保管サーバ
４ ネットワーク
１２ メモリ
１３ ストレージ
１４ カメラ
１５ ディスプレイ
１６ 入力部
１７ 指定位置情報取得部
２１ 画像取得部
２２ 仮想オブジェクト取得部
２３ 表示情報取得部
２４ 表示制御部
３０ マーカ
３２ マーカ画像
５０ 切替コントローラ
５１ モード切替ボタン

Claims (11)

  1. ３次元の仮想オブジェクトを取得する仮想オブジェクト取得部と、前記仮想オブジェクトを表示するための位置情報および前記仮想オブジェクトを表示するための向きの情報を含む表示情報を取得する表示情報取得部と、前記表示情報に基づいて、前記仮想オブジェクトを表示部に表示させる表示制御部とを各々有する複数の仮想オブジェクト表示装置を備えた仮想オブジェクト表示システムであって、
    前記複数の仮想オブジェクト表示装置の前記表示情報取得部の各々が、前記仮想オブジェクトを投影する場所に置かれた面上に設けられ、かつ３つの基準点を備えた１つのマーカを、前記仮想オブジェクト表示装置の各々の位置から各々撮影して得られた画像における前記３つの基準点に基づいて、各々の前記表示情報を取得し、
    前記複数の仮想オブジェクト表示装置の表示制御部の各々が、前記複数の仮想オブジェクト表示装置の各々の前記表示情報取得部によって取得された表示情報に基づいて前記仮想オブジェクトを表示させる第１の表示制御と、他の前記仮想オブジェクト表示装置の前記表示情報取得部によって取得された表示情報に基づいて前記他の仮想オブジェクト表示装置の表示部に表示された前記仮想オブジェクトと同じ向きの前記仮想オブジェクトを前記複数の仮想オブジェクト表示装置の各々の表示部に表示させる第２の表示制御とを切り替え可能であることを特徴とする仮想オブジェクト表示システム。
  2. 前記複数の仮想オブジェクト表示装置の各々の表示制御部が、前記第２の表示制御に切り替えた後、前記他の仮想オブジェクト表示装置の前記表示情報取得部によって取得される表示情報が変更された場合には、該変更された表示情報に基づいて、前記仮想オブジェクトの表示を変更する請求項１に記載の仮想オブジェクト表示システム。
  3. 前記表示情報が、前記仮想オブジェクトを表示するための大きさの情報も含み、
    前記複数の仮想オブジェクト表示装置の各々の表示制御部が、前記第２の表示制御に切り替えた後、前記他の仮想オブジェクト表示装置の前記表示情報取得部によって取得される表示情報が変更された場合には、前記大きさの情報以外の変更された表示情報に基づいて、前記仮想オブジェクトの表示を変更する請求項２に記載の仮想オブジェクト表示システム。
  4. 前記複数の仮想オブジェクト表示装置の各々の表示制御部が、前記第２の表示制御に切り替えた後、前記複数の仮想オブジェクト表示装置の各々の前記表示情報取得部によって取得された表示情報の変更に応じて、前記仮想オブジェクトの表示を変更する請求項１に記載の仮想オブジェクト表示システム。
  5. 前記複数の仮想オブジェクト表示装置が、背景映像を取得する撮影部を各々備え、
    前記複数の仮想オブジェクト表示装置の各々の表示制御部が、
    前記第１の表示制御の場合には、前記複数の仮想オブジェクト表示装置の各々の前記撮影部によって取得された背景映像と前記仮想オブジェクトとを重ねて表示させ、
    前記第２の表示制御の場合には、前記複数の仮想オブジェクト表示装置の各々の前記撮影部によって取得された背景映像と前記同じ向きの仮想オブジェクトとを重ねて表示させる第３の表示制御と、前記他の仮想オブジェクト表示装置の前記撮影部によって取得された背景映像と前記同じ向きの仮想オブジェクトとを重ねて表示させる第４の表示制御とを切り替え可能である請求項１から４いずれか１項に記載の仮想オブジェクト表示システム。
  6. ユーザによって前記仮想オブジェクト表示装置に表示された仮想オブジェクト上の位置が指定された後、該指定された位置情報を取得する指定位置情報取得部を備え、
    前記仮想オブジェクト上の位置を指定したユーザに対応する仮想オブジェクト表示装置以外の仮想オブジェクト表示装置の表示制御部が、前記指定位置情報取得部によって取得された位置情報に基づいて、前記仮想オブジェクト上に前記指定された位置を表す画像を表示させる請求項１から５いずれか１項に記載の仮想オブジェクト表示システム。
  7. 前記第１の表示制御と前記第２の表示制御との切り替え指示を受け付ける切替指示受付装置を備え、
    前記複数の仮想オブジェクト表示装置の各表示制御部が、前記切替指示受付装置によって受け付けられた切り替え指示に応じて、前記第１の表示制御と前記第２の表示制御とを切り替える請求項１から６いずれか１項に記載の仮想オブジェクト表示システム。
  8. 前記３次元の仮想オブジェクトは医用３次元画像である請求項１から７のいずれか１項に記載の仮想オブジェクト表示システム。
  9. 前記表示部が、眼鏡型表示装置である請求項１から８のいずれか１項記載の仮想オブジェクト表示システム。
  10. ３次元の仮想オブジェクトを取得し、前記仮想オブジェクトを表示するための位置情報および前記仮想オブジェクトを表示するための向きの情報を含む表示情報を取得し、前記表示情報に基づいて、前記仮想オブジェクトを表示部に表示させる複数の仮想オブジェクト表示装置を備えた仮想オブジェクト表示システムの表示制御方法であって、
    前記複数の仮想オブジェクト表示装置の各々が、前記仮想オブジェクトを投影する場所に置かれた面上に設けられ、かつ３つの基準点を備えた１つのマーカを、前記仮想オブジェクト表示装置の各々の位置から各々撮影して得られた画像における前記３つの基準点に基づいて、各々の前記表示情報を取得し
    前記複数の仮想オブジェクト表示装置の各々が、前記複数の仮想オブジェクト表示装置の各々で取得された表示情報に基づいて前記仮想オブジェクトを表示させる第１の表示制御と、他の前記仮想オブジェクト表示装置で取得された表示情報に基づいて前記他の仮想オブジェクト表示装置で表示された前記仮想オブジェクトと同じ向きの前記仮想オブジェクトを前記複数の仮想オブジェクト表示装置の各々に表示させる第２の表示制御とを切り替えることを特徴とする仮想オブジェクト表示システムの表示制御方法。
  11. ３次元の仮想オブジェクトを取得し、前記仮想オブジェクトを表示するための位置情報および前記仮想オブジェクトを表示するための向きの情報を含む表示情報を取得し、前記表示情報に基づいて、前記仮想オブジェクトを表示部に表示させる複数の仮想オブジェクト表示装置を備えた仮想オブジェクト表示システムの表示制御プログラムであって、
    前記仮想オブジェクト表示装置の各々のコンピュータに、
    前記仮想オブジェクトを投影する場所に置かれた面上に設けられ、かつ３つの基準点を備えた１つのマーカを、前記仮想オブジェクト表示装置の各々の位置から各々撮影して得られた画像における前記３つの基準点に基づいて、各々の前記表示情報を取得する手順と、
    前記複数の仮想オブジェクト表示装置の各々で取得された表示情報に基づいて前記仮想オブジェクトを表示させる第１の表示制御と、他の前記仮想オブジェクト表示装置で取得された表示情報に基づいて前記他の仮想オブジェクト表示装置で表示された前記仮想オブジェクトと同じ向きの前記仮想オブジェクトを前記複数の仮想オブジェクト表示装置の各々に表示させる第２の表示制御とを切り替える手順を実行させることを特徴とする仮想オブジェクト表示システムの表示制御プログラム。
JP2015050225A 2015-03-13 2015-03-13 仮想オブジェクト表示システムおよびその表示制御方法並びに表示制御プログラム Active JP6328579B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015050225A JP6328579B2 (ja) 2015-03-13 2015-03-13 仮想オブジェクト表示システムおよびその表示制御方法並びに表示制御プログラム
PCT/JP2016/053950 WO2016147765A1 (ja) 2015-03-13 2016-02-10 仮想オブジェクト表示システムおよびその表示制御方法並びに表示制御プログラム
US15/702,108 US10386633B2 (en) 2015-03-13 2017-09-12 Virtual object display system, and display control method and display control program for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015050225A JP6328579B2 (ja) 2015-03-13 2015-03-13 仮想オブジェクト表示システムおよびその表示制御方法並びに表示制御プログラム

Publications (2)

Publication Number Publication Date
JP2016170641A JP2016170641A (ja) 2016-09-23
JP6328579B2 true JP6328579B2 (ja) 2018-05-23

Family

ID=56920163

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015050225A Active JP6328579B2 (ja) 2015-03-13 2015-03-13 仮想オブジェクト表示システムおよびその表示制御方法並びに表示制御プログラム

Country Status (3)

Country Link
US (1) US10386633B2 (ja)
JP (1) JP6328579B2 (ja)
WO (1) WO2016147765A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
ES2812851T3 (es) * 2016-11-01 2021-03-18 Previble AB Dispositivo de previsualización
EP3625649A1 (en) * 2017-05-16 2020-03-25 Koninklijke Philips N.V. Augmented reality for collaborative interventions
CA3101798A1 (en) * 2018-05-29 2019-12-05 SentiAR, Inc. Disposable sticker within augmented reality environment
EP3584692A1 (en) * 2018-06-19 2019-12-25 InterDigital CE Patent Holdings Sharing virtual content in a mixed reality scene
WO2020020102A1 (zh) * 2018-07-23 2020-01-30 广东虚拟现实科技有限公司 生成虚拟内容的方法、终端设备及存储介质
JP6884911B1 (ja) * 2020-07-14 2021-06-09 九電ビジネスソリューションズ株式会社 運用保守システム、運用保守方法および運用保守プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3558104B2 (ja) * 1996-08-05 2004-08-25 ソニー株式会社 ３次元仮想物体表示装置および方法
JP4738870B2 (ja) * 2005-04-08 2011-08-03 キヤノン株式会社 情報処理方法、情報処理装置および遠隔複合現実感共有装置
NL1035303C2 (nl) * 2008-04-16 2009-10-19 Virtual Proteins B V Interactieve virtuele reality eenheid.
JP4834116B2 (ja) * 2009-01-22 2011-12-14 株式会社コナミデジタルエンタテインメント 拡張現実表示装置、拡張現実表示方法、ならびに、プログラム
JP2011095964A (ja) * 2009-10-29 2011-05-12 Toppan Printing Co Ltd 携帯端末及び方法並びプログラム
JP5960796B2 (ja) * 2011-03-29 2016-08-02 クアルコム，インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
US8638986B2 (en) 2011-04-20 2014-01-28 Qualcomm Incorporated Online reference patch generation and pose estimation for augmented reality
US9008385B2 (en) * 2012-03-14 2015-04-14 Elwha Llc Systems, devices, and method for determining treatment compliance including tracking, registering, etc. of medical staff, patients, instrumentation, events, etc. according to a treatment staging plan
JP6232763B2 (ja) * 2013-06-12 2017-11-22 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
IL235073A (en) * 2014-10-07 2016-02-29 Elbit Systems Ltd Head-mounted view of enlarged images that are locked on an object of interest

Also Published As

Publication number Publication date
US20180011317A1 (en) 2018-01-11
WO2016147765A1 (ja) 2016-09-22
US10386633B2 (en) 2019-08-20
JP2016170641A (ja) 2016-09-23

Similar Documents

Publication Publication Date Title
JP6328579B2 (ja) 仮想オブジェクト表示システムおよびその表示制御方法並びに表示制御プログラム
JP6336929B2 (ja) 仮想オブジェクト表示装置、方法、プログラムおよびシステム
JP6336930B2 (ja) 仮想オブジェクト表示装置、方法、プログラムおよびシステム
US10622111B2 (en) System and method for image registration of multiple video streams
JP4933164B2 (ja) 情報処理装置、情報処理方法、プログラムおよび記憶媒体
WO2017179350A1 (ja) 画像表示制御装置および方法並びにプログラム
JP4757115B2 (ja) 画像処理装置、画像処理方法
CN111568548B (zh) 基于混合实境的手术导航图像成像方法
US20020163499A1 (en) Method and apparatus for augmented reality visualization
CN102811655A (zh) 内窥镜观察支持***、方法、设备和程序
JP2015219590A (ja) 情報処理装置、情報処理方法
JP2007034628A (ja) 画像処理方法及び装置
JP2013008324A (ja) 画像処理システム、端末装置及び方法
JP2007086716A5 (ja)
JP6730577B2 (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
JP2023526716A (ja) 外科手術ナビゲーションシステムおよびそのアプリケーション
JP2005312605A (ja) 注視点位置表示装置
JP5467683B2 (ja) 立体映像表示装置の立体ノギス像形成装置およびプログラム
CN104887314A (zh) 用于立体内窥镜手术导航的虚拟立体内窥镜显示方法及设备
US20120249533A1 (en) Stereoscopic display apparatus
JP2006340017A (ja) 立体映像表示装置及び立体映像表示方法
CN102769769B (zh) 医用图像处理装置
JP4125085B2 (ja) 画像処理装置、画像処理方法
US11445165B1 (en) Method, system and computer readable storage media for visualizing a magnified dental treatment site
JP2019121074A (ja) Ｖｒ空間における自撮り装置、方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170308

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170908

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180327

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180418

R150 Certificate of patent or registration of utility model

Ref document number: 6328579

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250