JP2019028772A - Information processing equipment, information processing system, control method thereof and program - Google Patents

Information processing equipment, information processing system, control method thereof and program Download PDF

Info

Publication number
JP2019028772A
JP2019028772A JP2017148063A JP2017148063A JP2019028772A JP 2019028772 A JP2019028772 A JP 2019028772A JP 2017148063 A JP2017148063 A JP 2017148063A JP 2017148063 A JP2017148063 A JP 2017148063A JP 2019028772 A JP2019028772 A JP 2019028772A
Authority
JP
Japan
Prior art keywords
virtual object
attribute
information processing
contact
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017148063A
Other languages
Japanese (ja)
Other versions
JP2019028772A5 (en
JP7111940B2 (en
Inventor
信裕 鈴木
Nobuhiro Suzuki
信裕 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Marketing Japan Inc
Canon IT Solutions Inc
Original Assignee
Canon Marketing Japan Inc
Canon IT Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Marketing Japan Inc, Canon IT Solutions Inc filed Critical Canon Marketing Japan Inc
Priority to JP2017148063A priority Critical patent/JP7111940B2/en
Publication of JP2019028772A publication Critical patent/JP2019028772A/en
Publication of JP2019028772A5 publication Critical patent/JP2019028772A5/ja
Application granted granted Critical
Publication of JP7111940B2 publication Critical patent/JP7111940B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

To provide a mechanism capable of determining conditions concerning contact with a virtual object according to attributes of the virtual object.SOLUTION: Information processing equipment with display means for displaying a virtual object by being superposed on reality to display a contact state of the virtual object is provided with: acquisition means for acquiring attributes of hardness of the virtual object; and determination means for determining conditions concerning contact with the virtual object of the attributes based on the attributes of hardness acquired by the acquisition means.SELECTED DRAWING: Figure 7

Description

本発明は、情報処理装置、情報処理システム、その制御方法及びプログラムに関する。   The present invention relates to an information processing apparatus, an information processing system, a control method thereof, and a program.

近年、複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ／以下、ＭＲと記載）の技術が普及している。複合現実の技術を用いて、ヘッドマウントディスプレイ（ＨＭＤ）を装着したユーザに対し、現実画像にＣＧモデル（仮想物体）を配置した複合現実画像を提供し、現実と仮想を複合した複合現実の世界を体験させることができる。複合現実画像を生成するにあたり、ＨＭＤの位置と仮想物体の位置とを、センサや二次元マーカを用いて特定する手法が取られている。   In recent years, mixed reality (hereinafter referred to as MR) technology has become widespread. Using a mixed reality technology, a mixed reality image in which a CG model (virtual object) is arranged on a real image is provided to a user wearing a head-mounted display (HMD), and a mixed reality world in which reality and virtual are combined Can be experienced. In generating a mixed reality image, a technique is adopted in which the position of the HMD and the position of the virtual object are specified using a sensor or a two-dimensional marker.

特許文献１には、ＨＭＤで撮像された画像の中に写る二次元マーカを用いてＨＭＤの位置姿勢を特定し、複合現実画像を提供する技術が記載されている。また、特許文献２には、磁気センサを用いてＨＭＤの位置姿勢を特定し、複合現実画像を提供する技術が記載されている。   Patent Document 1 describes a technique for specifying a position and orientation of an HMD using a two-dimensional marker that appears in an image captured by the HMD and providing a mixed reality image. Patent Document 2 describes a technique for specifying a position and orientation of an HMD using a magnetic sensor and providing a mixed reality image.

また、特許文献３には、工具の仮想物体と他の仮想物体の接触状態をユーザに通知できるように、他の仮想物体と接触している工具の仮想物体の色を変更することが記載されている。   Patent Document 3 describes changing the color of a virtual object of a tool that is in contact with another virtual object so that the user can be notified of the contact state between the virtual object of the tool and the other virtual object. ing.

特開２００３−３０８５１４号公報JP 2003-308514 A 特開２００３−２４０５３２号公報JP 2003-240532 A 特開２０１７−４９９５０号公報JP 2017-49950 A

設計物の仮想物体を複合現実画像として表示し、設計物に関する検証を行う業務がある。例えば、設計物におけるある部品とある部品の間に、工具や手が入るかを確認することで、当該工具や手によるメンテナンス作業が可能な設計となっているか検証する。   There is a task of displaying a virtual object of a design object as a mixed reality image and verifying the design object. For example, by checking whether a tool or a hand is inserted between a certain part and a certain part in a design, it is verified whether the design allows maintenance work by the tool or the hand.

部品と手、部品と工具の接触状態を色で識別表示すれば、部品の間に手や工具が入るか確認可能である。   If the contact state between a part and a hand, and the contact state between a part and a tool is identified and displayed in color, it can be confirmed whether a hand or a tool is inserted between the parts.

設計物の部品の中には、例えばコード等、かき分けれて変形させれば工具や手を入れるスペースを確保できる部品がある。   Among the parts of the design, for example, there is a part such as a cord that can secure a space for inserting a tool or a hand if it is deformed by being divided.

また、一見して部品同士の間に工具や手を入れるスペースが無いように見えても、当該部品が緩衝材等の柔らかい部品の場合、手を突っ込めば緩衝材が変形するため、部品の向こう側にある作業空間まで手を通すことが可能であり、部品と手、工具が接触していることを必ずしもユーザに報知する必要はない。ユーザが知りたいのは、あくまで手や工具が入るかどうか、だからである。   Also, even if it seems that there is no space for putting tools or hands between parts at first glance, if the part is a soft part such as cushioning material, the cushioning material will be deformed if the hand is pushed in. It is possible to pass the hand to the working space on the side, and it is not always necessary to notify the user that the part, the hand, and the tool are in contact. The user wants to know whether a hand or a tool can be inserted.

一方で、例えば放電している部品や発熱している部品のように危険度が高い部品の場合、危険度の低い部品に比べて、手や工具との距離を長めにとって設計をする必要がある。   On the other hand, in the case of a high-risk part such as a discharged part or a heat-generating part, it is necessary to design for a longer distance from the hand or tool compared to a low-risk part. .

本発明は、仮想物体の属性に応じて、当該仮想物体との接触にかかる条件を決定することが可能な仕組みを提供することを目的とする。   An object of the present invention is to provide a mechanism capable of determining a condition related to contact with a virtual object according to the attribute of the virtual object.

本発明は、仮想物体を現実に重畳して表示し、仮想物体の接触状態を表示する表示手段を備える情報処理装置であって、前記仮想物体の硬さの属性を取得する取得手段と、前記取得手段により取得された硬さの属性に基づいて、当該属性の仮想物体との接触にかかる条件を決定する決定手段と、を備えることを特徴とする。   The present invention is an information processing apparatus including a display unit that displays a virtual object in a superimposed manner and displays a contact state of the virtual object, the acquisition unit acquiring the hardness attribute of the virtual object, And determining means for determining a condition for contact with the virtual object having the attribute based on the attribute of hardness acquired by the acquiring means.

また、仮想物体を現実に重畳して表示し、仮想物体の接触状態を表示する表示手段を備える情報処理装置であって、前記仮想物体の危険度の属性を取得する取得手段と、前記取得手段により取得された危険度の属性に基づいて、当該属性の仮想物体との接触にかかる条件を決定する決定手段と、を備えることを特徴とする。   An information processing apparatus comprising display means for displaying a virtual object superimposed on reality and displaying a contact state of the virtual object, an acquisition means for acquiring a risk attribute of the virtual object, and the acquisition means And determining means for determining a condition related to contact with the virtual object having the attribute based on the attribute of the risk level obtained by the above.

本発明によれば、本発明は、仮想物体の属性に応じて、当該仮想物体との接触にかかる条件を決定することが可能な仕組みを提供することが可能となる。   ADVANTAGE OF THE INVENTION According to this invention, this invention can provide the mechanism which can determine the conditions concerning contact with the said virtual object according to the attribute of a virtual object.

本発明第１の実施形態における、情報処理システム構成図の一例を示す図である。It is a figure which shows an example of the information processing system block diagram in the 1st Embodiment of this invention. 本発明第１の実施形態における、各種装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions of various apparatuses in the 1st Embodiment of this invention. 本発明第１の実施形態における、各種装置の機能構成の一例を示す図である。It is a figure which shows an example of a function structure of the various apparatuses in the 1st Embodiment of this invention. 本発明第１の実施形態における、各種装置のモジュール構成の一例を示す処理図である。It is a processing figure which shows an example of the module structure of various apparatuses in the 1st Embodiment of this invention. 本発明第１の実施形態における、複合現実画像の生成及び表示処理の一例を示す処理図である。It is a processing figure showing an example of generation and display processing of a mixed reality image in a 1st embodiment of the present invention. 本発明第１の実施形態における、各種データ構成の一例を示す図である。It is a figure which shows an example of the various data structure in the 1st Embodiment of this invention. 本発明第１の実施形態における、仮想物体の硬さに応じた接触判定用物体の生成処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the production | generation process of the object for contact determination according to the hardness of a virtual object in the 1st Embodiment of this invention. 本発明第１の実施形態における、接触判定及び識別表示処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a contact determination and identification display process in the 1st Embodiment of this invention. 本発明第１の実施形態における、接触判定用物体の一例を示す図である。It is a figure which shows an example of the object for contact determination in the 1st Embodiment of this invention. 本発明第１の実施形態における、接触判定及び識別表示の一例を示す図である。It is a figure which shows an example of a contact determination and an identification display in the 1st Embodiment of this invention. 本発明第２の実施形態における、仮想物体の危険度に応じた接触判定用物体の生成処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the production | generation process of the object for contact determination according to the danger level of a virtual object in the 2nd Embodiment of this invention. 本発明第２の実施形態における、接触判定用物体の一例を示す図である。It is a figure which shows an example of the object for contact determination in the 2nd Embodiment of this invention. 本発明第２の実施形態における、接触判定及び識別表示の一例を示す図である。It is a figure which shows an example of a contact determination and an identification display in the 2nd Embodiment of this invention.

＜第１の実施形態＞
図１を参照して、本発明の実施形態における情報処理システムの構成の一例について説明する。 <First Embodiment>
With reference to FIG. 1, an example of a configuration of an information processing system according to an embodiment of the present invention will be described.

図１に示すように、本発明における情報処理システムの各種装置はネットワーク１５０を介して通信可能に接続されている。例えばＰＣ１００は、ＨＭＤ１０１（ＨＭＤ１０１Ａ〜ＨＭＤ１０１Ｃの総称）と通信可能に接続されている。   As shown in FIG. 1, various devices of the information processing system according to the present invention are communicably connected via a network 150. For example, the PC 100 is communicably connected to the HMD 101 (generic name for the HMD 101A to HMD 101C).

ＰＣ１００には、ＨＭＤ１０１により撮像される現実画像に重畳する３次元モデル（ＣＧモデル／仮想オブジェクト）が記憶されている。   The PC 100 stores a three-dimensional model (CG model / virtual object) to be superimposed on a real image captured by the HMD 101.

また、ＰＣ１００は、自機の管理するＨＭＤ１０１（図１におけるＨＭＤ１０１Ａ〜１０１Ｃ）より現実画像を取得して、記憶部に記憶する。   Further, the PC 100 acquires a real image from the HMD 101 (HMD 101A to 101C in FIG. 1) managed by the own device, and stores it in the storage unit.

また、ＰＣ１００はＨＭＤ１０１の位置姿勢を特定し、記憶する。ＨＭＤ１０１の位置姿勢の特定方法は、特許文献１に記載されている、ＨＭＤ１０１の撮像した現実画像中の二次元マーカを用いて特定可能である。   Further, the PC 100 specifies and stores the position and orientation of the HMD 101. The method for specifying the position and orientation of the HMD 101 can be specified using a two-dimensional marker in a real image captured by the HMD 101 described in Patent Document 1.

また、特許文献２に記載されている、センサ（図１における光学式センサ１０４）がＨＭＤ１０１に設置された光学式マーカの位置姿勢をＨＭＤ１０１の位置姿勢として検出し、それをＰＣ１００が取得することで特定可能である。   Further, the sensor (the optical sensor 104 in FIG. 1) described in Patent Document 2 detects the position and orientation of the optical marker installed on the HMD 101 as the position and orientation of the HMD 101, and the PC 100 acquires it. It can be specified.

本実施形態においては、特許文献２に記載されているように、センサ（図１における光学式センサ１０４）がＨＭＤ１０１に設置された光学式マーカの位置姿勢をＨＭＤ１０１の位置姿勢として検出する方法用いてＨＭＤ１０１の位置姿勢を特定するものとする。   In the present embodiment, as described in Patent Document 2, a method is used in which the sensor (the optical sensor 104 in FIG. 1) detects the position and orientation of the optical marker installed on the HMD 101 as the position and orientation of the HMD 101. The position and orientation of the HMD 101 are specified.

ＰＣ１００では、ＨＭＤ１０１の位置姿勢と、記憶部に記憶されている３次元モデル及び３次元モデルの位置姿勢の情報を用いて、現実画像に３次元モデルを重畳した複合現実画像を生成する。   The PC 100 uses the position and orientation of the HMD 101, the 3D model stored in the storage unit, and information on the position and orientation of the 3D model to generate a mixed reality image in which the 3D model is superimposed on the actual image.

そして、当該複合現実画像をＨＭＤ１０１のディスプレイに表示させるべく、ＨＭＤ１０１に送信する。ＨＭＤ１０１は受信した複合現実画像をディスプレイに表示する。以上が図１の説明である。   Then, the mixed reality image is transmitted to the HMD 101 so as to be displayed on the display of the HMD 101. The HMD 101 displays the received mixed reality image on the display. The above is the description of FIG.

次に図２を参照して、本発明の実施形態における、各種装置のハードウェア構成の一例について説明する。   Next, an example of the hardware configuration of various devices in the embodiment of the present invention will be described with reference to FIG.

ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。   The CPU 201 comprehensively controls each device and controller connected to the system bus 204.

また、ＲＯＭ２０２には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステム（ＯＳ）、その他各種装置の実行する機能を実現するために必要な各種プログラムが記憶されている。   The ROM 202 stores various programs necessary for realizing functions executed by various devices such as a BIOS (Basic Input / Output System), an operating system (OS), and the like, which are control programs of the CPU 201.

ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０３にロードして、プログラムを実行することで各種動作を実現するものである。   The RAM 203 functions as a main memory, work area, and the like for the CPU 201. The CPU 201 implements various operations by loading a program necessary for execution of processing into the RAM 203 and executing the program.

本発明のＰＣ１００が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。   Various programs used by the PC 100 of the present invention to execute various processes described later are recorded in the external memory 211 and are executed by the CPU 201 by being loaded into the RAM 203 as necessary.

さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ２１１に格納されている。   Furthermore, definition files and various information tables used by the program according to the present invention are stored in the external memory 211.

入力コントローラ（入力Ｃ）２０５は、キーボードやマウス等のポインティングデバイス（入力デバイス２０９）からの入力を制御する。   An input controller (input C) 205 controls input from a pointing device (input device 209) such as a keyboard and a mouse.

また、入力デバイス２０９がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができることとする。   In addition, when the input device 209 is a touch panel, various instructions can be performed when the user presses (touches with a finger or the like) according to an icon, a cursor, or a button displayed on the touch panel.

なお、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよいこととする。   Note that the touch panel may be a touch panel capable of detecting a position touched by a plurality of fingers, such as a multi-touch screen.

ビデオコントローラ（ＶＣ）２０６は、ＨＭＤ１０１が備える右目・左目ディスプレイ２２２等の表示器への表示を制御する。   A video controller (VC) 206 controls display on a display device such as the right eye / left eye display 222 provided in the HMD 101.

右目・左目ディスプレイ２２２に対しては、例えば外部出力端子（例えば、Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）を用いて出力される。   For example, an external output terminal (for example, Digital Visual Interface) is used for output to the right eye / left eye display 222.

また、右目・左目ディスプレイ２２２は、右目用のディスプレイと左目用のディスプレイとから構成されている。また、入力コントローラ（入力Ｃ）２０５は、ＰＣ１００の備えるディスプレイ２１０（ＣＲＴディスプレイ等）の表示器への表示を制御する。   The right-eye / left-eye display 222 includes a right-eye display and a left-eye display. An input controller (input C) 205 controls display on a display device of a display 210 (CRT display or the like) included in the PC 100.

なお、図２では、表示器はＣＲＴディスプレイだけでなく、液晶ディスプレイ等の他の表示器であってもよい。   In FIG. 2, the display device may be not only a CRT display but also other display devices such as a liquid crystal display.

メモリコントローラ（ＭＣ）２０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤ）やフレキシブルディスク（ＦＤ）或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ２１１へのアクセスを制御する。   The memory controller (MC) 207 is an adapter to a hard disk (HD), flexible disk (FD) or PCMCIA card slot for storing boot programs, browser software, various applications, font data, user files, editing files, various data, and the like. Controls access to an external memory 211 such as a card-type memory connected via the.

通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）２０８は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。   A communication I / F controller (communication I / FC) 208 is connected to and communicates with an external device via a network, and executes communication control processing in the network.

例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。また、通信Ｉ／Ｆコントローラ２０８は、ギガビットイーサネット（登録商標）等を通じて光学式センサ１０４との通信も制御する。   For example, Internet communication using TCP / IP is possible. The communication I / F controller 208 also controls communication with the optical sensor 104 through Gigabit Ethernet (registered trademark) or the like.

汎用バス２１２は、ＨＭＤ１０１の右目・左目ビデオカメラ２２１からの映像を取り込むために使用される。右目・左目ビデオカメラ２２１からは、外部入力端子（例えば、ＩＥＥＥ１３９４端子）を用いて入力される。   The general-purpose bus 212 is used for capturing video from the right-eye / left-eye video camera 221 of the HMD 101. Input from the right-eye / left-eye video camera 221 is performed using an external input terminal (for example, an IEEE 1394 terminal).

右目・左目ビデオカメラ２２１は、右目用のビデオカメラと左目用のビデオカメラとから構成されている。   The right-eye / left-eye video camera 221 includes a right-eye video camera and a left-eye video camera.

尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ上での表示を可能としている。   Note that the CPU 201 enables display on a display by executing outline font rasterization processing on a display information area in the RAM 203, for example.

また、ＣＰＵ２０１は、ディスプレイ上の不図示のマウスカーソル等でのユーザ指示を可能とする。以上が図２の説明である。   In addition, the CPU 201 allows a user instruction with a mouse cursor (not shown) on the display. The above is the description of FIG.

次に図３を参照して、本発明の実施形態における各種装置の機能構成の一例について説明する。   Next, with reference to FIG. 3, an example of a functional configuration of various apparatuses according to the embodiment of the present invention will be described.

撮像部３０１は、現実画像を撮像処理により取得する現実画像（撮像画像）の取得部である。   The imaging unit 301 is a real image (captured image) acquisition unit that acquires a real image by an imaging process.

現実画像送信部３０２は、撮像部３０１により取得された現実画像をＰＣ１００に送信（出力）する。   The real image transmission unit 302 transmits (outputs) the real image acquired by the imaging unit 301 to the PC 100.

ＭＲ画像受信部３０３は、ＰＣ１００からＭＲ画像（現実画像に仮想物体の画像を重畳した複合現実画像）を受信する受信部である。   The MR image receiving unit 303 is a receiving unit that receives an MR image (a mixed reality image obtained by superimposing a virtual object image on a real image) from the PC 100.

ＭＲ画像表示部３０４は、ＭＲ画像受信部３０３が受信したＭＲ画像を表示する表示部である。   The MR image display unit 304 is a display unit that displays the MR image received by the MR image receiving unit 303.

現実画像記憶部３１１は、現実画像送信部３０２により送信された現実画像を取得して記憶する記憶部である。   The real image storage unit 311 is a storage unit that acquires and stores the real image transmitted by the real image transmission unit 302.

仮想物体記憶部３１２は、仮想物体（例：３ＤＣＧモデル）を記憶する記憶部である。例えば図６のモデル情報６２０を記憶している。６２０の詳細は後述する。   The virtual object storage unit 312 is a storage unit that stores a virtual object (eg, 3DCG model). For example, the model information 620 of FIG. 6 is stored. Details of 620 will be described later.

属性取得部３１３は、仮想物体の属性を取得する取得部である。   The attribute acquisition unit 313 is an acquisition unit that acquires attributes of a virtual object.

接触判定用仮想物体生成部３１４は、属性取得部３１３で属性を取得した仮想物体の接触判定用の仮想物体（例：接触判定用仮想物体の大きさ、形状）を、当該属性に応じて決定し、生成する機能部である。   The contact determination virtual object generation unit 314 determines a contact determination virtual object (for example, the size and shape of the contact determination virtual object) of the virtual object acquired by the attribute acquisition unit 313 according to the attribute. And a functional unit to be generated.

位置決定部３１５は、接触判定用仮想物体の位置を決定する決定部である。   The position determination unit 315 is a determination unit that determines the position of the contact determination virtual object.

位置特定部部３１６は、ＨＭＤ１０１及びＨＭＤ１０１を装着しているユーザの手（身体の一部）の位置、仮想物体の位置を特定する機能部である。例えば所定時間ごとに位置を特定し、更新・記憶する。   The position specifying unit 316 is a functional unit that specifies the position of the hand (part of the body) of the user wearing the HMD 101 and the HMD 101 and the position of the virtual object. For example, the position is specified every predetermined time, and updated / stored.

接触判定部３１７は、接触判定用仮想物体の位置及び形状と、ユーザの身体の一部又は他の仮想物体の位置及び形状とに基づいて、接触判定用仮想物体とユーザの身体の一部又は他の仮想物体が接触しているか判定する。   The contact determination unit 317 determines whether the contact determination virtual object and the part of the user's body are based on the position and shape of the contact determination virtual object and the position and shape of the part of the user's body or another virtual object. It is determined whether another virtual object is in contact.

識別表示制御部３１８は、例えば、接触している接触判定用仮想物体に対応する仮想物体を識別表示すべく、当該仮想物体の色設定を変更する。つまり、接触前から色が変更された仮想物体が、ＭＲ画像表示部３０４で表示されるよう制御する。   For example, the identification display control unit 318 changes the color setting of the virtual object so as to identify and display the virtual object corresponding to the contact-determining virtual object. That is, control is performed so that a virtual object whose color has been changed from before contact is displayed on the MR image display unit 304.

ＭＲ画像生成部３１９は、仮想物体の画像と現実画像とを重畳した重畳画像であるＭＲ画像（複合現実画像）を生成する。   The MR image generation unit 319 generates an MR image (a mixed reality image) that is a superimposed image obtained by superimposing a virtual object image and a real image.

なお、仮想物体の色設定が変更されている場合、変更後の色設定に従って色を変更した仮想物体の画像を生成し、当該画像を現実画像と重畳してＭＲ画像を生成する。   When the color setting of the virtual object is changed, an image of the virtual object whose color is changed according to the changed color setting is generated, and the MR image is generated by superimposing the image on the real image.

ＭＲ画像送信部３２０は、ＭＲ画像をＨＭＤ１０１に表示させるべく、ＨＭＤ１０１に送信（出力）する。以上が図３の説明である。   The MR image transmission unit 320 transmits (outputs) the MR image to the HMD 101 in order to display the MR image on the HMD 101. The above is the description of FIG.

なお、本実施形態においては、３１１〜３２０の機能部をＰＣ１００が備えているが、例えばこれらの構成をＨＭＤ１０１が備えるよう構成してもよいものとする。   In this embodiment, the PC 100 includes the functional units 311 to 320. However, for example, the HMD 101 may be configured to include these components.

次に図４を参照して、本発明の実施形態における、各種装置のモジュール構成の一例について説明する。   Next, with reference to FIG. 4, an example of the module configuration of various apparatuses in the embodiment of the present invention will be described.

ＰＣ１００は、オペレーティングシステム４０１（ＯＳ）、グラフィックエンジン４０２、複合現実感プラットフォーム４０３（ＭＲプラットフォームともいう）、複合現実感アプリケーション４０４（ＭＲアプリケーションやビューアアプリケーションともいう）で構成され、ＣＰＵ２０１により制御されている。   The PC 100 includes an operating system 401 (OS), a graphic engine 402, a mixed reality platform 403 (also referred to as an MR platform), and a mixed reality application 404 (also referred to as an MR application or a viewer application), and is controlled by the CPU 201. .

オペレーティングシステム４０１は、ＨＭＤ１０１の入出力を制御しカメラ２２１から入力インターフェースを介して得られた現実画像を複合現実感プラットフォーム４０３へ受け渡す。   The operating system 401 controls input / output of the HMD 101 and delivers a real image obtained from the camera 221 via the input interface to the mixed reality platform 403.

またグラフィックエンジン４０２で描画された複合現実画像を、出力インターフェースを介して、ディスプレイ２２２へ出力する。   The mixed reality image drawn by the graphic engine 402 is output to the display 222 via the output interface.

グラフィックエンジン４０２は、外部メモリ２１１に記憶されている３次元モデル（仮想物体）から描画する画像を生成し、現実画像に重畳し、合成する。   The graphic engine 402 generates an image to be drawn from a three-dimensional model (virtual object) stored in the external memory 211, and superimposes and synthesizes the image on a real image.

描画に利用するエンジンは、例えば、ＯｐｅｎＧＬやＤｉｒｅｃｔＸなどの広く利用されているグラフィックエンジンでも、独自に開発したグラフィックエンジンでもよい。なお、本実施形態ではグラフィックライブラリとしてＯｐｅｎＧＬを利用するものとする。   The engine used for drawing may be, for example, a widely used graphic engine such as OpenGL or DirectX, or an independently developed graphic engine. In the present embodiment, OpenGL is used as the graphic library.

複合現実感プラットフォーム４０３は、センサ１０４からＨＭＤ１０１に設置されたマーカ１０３の位置姿勢を取得することで、当該位置姿勢をＨＭＤ１０１の位置姿勢を取得・特定し、現実空間と仮想空間の位置合わせを行う。   The mixed reality platform 403 acquires the position and orientation of the HMD 101 by acquiring the position and orientation of the marker 103 installed on the HMD 101 from the sensor 104, and aligns the real space and the virtual space. .

なお、位置姿勢や位置合わせの技術は、既知の技術として開示されている、特開２００２−３２７８４、特開２００６−０７２９０３、特開２００７−１６６４２７等を用いて実現することが可能である。   Note that the position / orientation and alignment technique can be realized by using JP-A-2002-32784, JP-A-2006-072903, JP-A-2007-166427, and the like disclosed as known techniques.

また、二次元マーカを使用せずに、ＨＭＤ１０１に位置センサを備え、この位置センサを用いて三角測量により計測された位置をもとに、ＨＭＤ１０１の位置や姿勢を特定して実現することも可能である。   It is also possible to provide the HMD 101 with a position sensor without using a two-dimensional marker, and specify the position and orientation of the HMD 101 based on the position measured by triangulation using this position sensor. It is.

複合現実感アプリケーション４０４は、複合現実感プラットフォーム４０３からＨＭＤ１０１の位置姿勢、３次元モデルの形状の情報、位置姿勢の情報を受け付け、グラフィックエンジン４０２に対して、３次元モデルの描画命令を発行する。   The mixed reality application 404 receives the position and orientation of the HMD 101 from the mixed reality platform 403, information on the shape of the three-dimensional model, and information on the position and orientation, and issues a drawing command for the three-dimensional model to the graphic engine 402.

この時、ＯｐｅｎＧＬのＡＰＩを用いて、描画する３次元モデルの識別情報、位置姿勢の情報を設定した命令を発行する。以上が図４の説明である。   At this time, using the OpenGL API, a command is set in which the identification information and the position and orientation information of the three-dimensional model to be drawn are set. The above is the description of FIG.

次に図５を参照して、本発明の実施形態における複合現実画像の生成及び表示処理について説明する。   Next, a mixed reality image generation and display process according to an embodiment of the present invention will be described with reference to FIG.

ＨＭＤ１０１は、ステップＳ５０１で起動後、カメラ２２１の機能を用いて現実画像の撮像を開始する（ステップＳ５０２）。   After being activated in step S501, the HMD 101 starts capturing a real image using the function of the camera 221 (step S502).

そして、撮像処理によって取得した現実画像をＰＣ１００に送信する（ステップＳ５０３）。   And the real image acquired by the imaging process is transmitted to PC100 (step S503).

ＰＣ１００のＣＰＵ２０１はＨＭＤ１０１より現実画像を受信し（ステップＳ５０４）、受信した現実画像を外部メモリ２１１に記憶する（ステップＳ５０５）。   The CPU 201 of the PC 100 receives a real image from the HMD 101 (step S504), and stores the received real image in the external memory 211 (step S505).

例えば、図６の現実画像テーブル６３０に示すように、現実画像の送信元のＨＭＤ１０１の識別情報であるＨＭＤ ＩＤ６３１と、現実画像６３２とを対応付けて記憶する。   For example, as shown in the real image table 630 of FIG. 6, the HMD ID 631 that is identification information of the HMD 101 that is the transmission source of the real image and the real image 632 are stored in association with each other.

ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１の位置姿勢を取得して（ステップＳ５０６）、外部メモリ２１１に記憶する（ステップＳ５０７）。   The CPU 201 of the PC 100 acquires the position and orientation of the HMD 101 (step S506) and stores it in the external memory 211 (step S507).

例えば、図６のＨＭＤ情報６１０に示すように、ＨＭＤ１０１の識別情報であるＨＭＤ ＩＤ６１１と、当該ＨＭＤの位置６１２（Ｘ，Ｙ，Ｚ座標）、姿勢６１３（Ｘ，Ｙ，Ｚ座標の値により表現されるＨＭＤ１０１の向いている方向及び傾き（角度））を記憶する。   For example, as shown in the HMD information 610 in FIG. 6, the HMD ID 611 that is identification information of the HMD 101, the position 612 (X, Y, Z coordinates) of the HMD, and the posture 613 (X, Y, Z coordinates) The direction in which the HMD 101 is directed and the inclination (angle) are stored.

姿勢６１３については、例えば、１つ前の位置姿勢のレコードと現在の位置姿勢のレコードそれぞれの3次元方向の外積から方向（回転方向）を、内積のａｒｃ ｃｏｓから角度（なす角）を得る。   For the posture 613, for example, the direction (rotation direction) is obtained from the outer product in the three-dimensional direction of each of the previous position / posture record and the current position / posture record, and the angle (the angle formed) from the arc cos of the inner product.

当該姿勢６１３の取得方法はあくまで一例であり、上記の方法に限定されるものではない。つまり、他の方法を用いてＨＭＤ１０１の姿勢を取得してもよい。   The method of acquiring the posture 613 is merely an example, and is not limited to the above method. That is, you may acquire the attitude | position of HMD101 using another method.

ＰＣ１００のＣＰＵ２０１は、外部メモリ２１１から３Ｄモデルの情報を取得し、ＨＭＤ１０１から受信した現実画像に重畳して複合現実画像を生成して（ステップＳ５０８）、ＨＭＤ１０１に送信する（ステップＳ５０９）。   The CPU 201 of the PC 100 acquires 3D model information from the external memory 211, generates a mixed reality image by superimposing the 3D model information received from the HMD 101 (step S508), and transmits the mixed reality image to the HMD 101 (step S509).

３Ｄモデル（仮想物体）の情報は、例えば図６のモデル情報６２０に示す情報である。モデル情報６２０は、予めＰＣ１００の外部メモリ２１１に記憶されている情報である。   The information on the 3D model (virtual object) is, for example, information shown in model information 620 in FIG. The model information 620 is information stored in the external memory 211 of the PC 100 in advance.

モデルＩＤ６２１は３Ｄモデルの識別情報である。モデル名６２２は、３Ｄモデルのファイル名である。   The model ID 621 is 3D model identification information. The model name 622 is a 3D model file name.

ファイルパス６２３は、ファイルが記憶されている場所を示す。位置６２４、姿勢６２５は３Ｄモデルの位置姿勢を示す。   A file path 623 indicates a location where the file is stored. A position 624 and a posture 625 indicate the position and posture of the 3D model.

属性６２６は、３Ｄモデル（仮想物体）の属性である。第１の実施形態においては、当該属性６２６には、仮想物体の材質の硬さを示す硬さ属性が記憶されている。硬さ属性には「硬い」と「柔らかい」の２つのレベルがある。   An attribute 626 is an attribute of the 3D model (virtual object). In the first embodiment, the attribute 626 stores a hardness attribute indicating the hardness of the material of the virtual object. There are two levels of hardness attributes: “hard” and “soft”.

色設定６２７は、３Ｄモデル（仮想物体）の色設定である。色設定６２７に色の識別情報が記憶されている場合は、当該仮想物体の描画データを、当該色設定６２７に記憶された色で生成する（生成した描画データの色を色設定６２７の色に変更する）。   The color setting 627 is a color setting of the 3D model (virtual object). When color identification information is stored in the color setting 627, the drawing data of the virtual object is generated with the color stored in the color setting 627 (the color of the generated drawing data is changed to the color of the color setting 627). change).

ＰＣ１００のＣＰＵ２０１は、ＨＭＤの位置６１２・姿勢６１３から、ＨＭＤ１０１と同じ画角を持つカメラが、位置６２４・姿勢６２５の３Ｄモデルを撮像した場合の、当該３Ｄモデルの画像を描画データ６４０として生成する。   The CPU 201 of the PC 100 generates an image of the 3D model as the drawing data 640 when the camera having the same angle of view as the HMD 101 captures the 3D model of the position 624 / posture 625 from the position 612 / posture 613 of the HMD. .

そして、当該描画データを現実画像と合成することで、図６のＭＲ画像テーブル６５０に示す複合現実画像（ＭＲ画像）を生成する。   Then, a composite reality image (MR image) shown in the MR image table 650 of FIG. 6 is generated by synthesizing the drawing data with the real image.

また、ＭＲ画像テーブル６５０の、複合現実画像を生成するために用いた現実画像の送信元のＨＭＤ（ＨＭＤ ＩＤ６５１）と対応付けて記憶する。その後、ＨＭＤ ＩＤ６５１の示すＨＭＤ１０１に、複合現実画像６５２を送信する。   Further, the MR image table 650 is stored in association with the HMD (HMD ID 651) of the transmission source of the real image used to generate the mixed reality image. Thereafter, the mixed reality image 652 is transmitted to the HMD 101 indicated by the HMD ID 651.

ＨＭＤ１０１は、ＰＣ１００から複合現実画像を受信し（ステップＳ５１０）、表示画面に表示する（ステップＳ５１１）。以上が図５の説明である。   The HMD 101 receives the mixed reality image from the PC 100 (step S510) and displays it on the display screen (step S511). The above is the description of FIG.

次に図７を参照して、本発明の実施形態における、仮想物体の硬さに応じた接触判定用物体の生成処理の流れについて説明する。   Next, with reference to FIG. 7, the flow of the process for generating the object for contact determination according to the hardness of the virtual object in the embodiment of the present invention will be described.

図７のフローチャートの各処理は、ＰＣ１００のＣＰＵ２０１が所定の制御プログラムを読み出して実行する処理である。   Each process of the flowchart of FIG. 7 is a process in which the CPU 201 of the PC 100 reads and executes a predetermined control program.

ＰＣ１００は、ＨＭＤ情報６１０から、ＨＭＤ１０１の最新の位置姿勢を読み出す（ステップＳ７０１）。   The PC 100 reads the latest position and orientation of the HMD 101 from the HMD information 610 (step S701).

ＰＣ１００は、仮想物体の位置情報の一覧を取得する（ステップＳ７０２）。そして、ＨＭＤ１０１の位置を基準として、ＨＭＤ１０１の位置から所定の距離内にある仮想物体を接触の候補として特定し、ＲＡＭ２０３にリスト化して記憶する（ステップＳ７０３）。   The PC 100 acquires a list of position information of the virtual object (step S702). Then, using the position of the HMD 101 as a reference, a virtual object within a predetermined distance from the position of the HMD 101 is specified as a contact candidate, and is listed and stored in the RAM 203 (step S703).

当該所定距離は、ＨＭＤ１０１の位置から半径２ｍの距離とする。当該所定距離の値は、ＰＣ１００の外部メモリ２１１に予め記憶されており、ユーザ操作により自由に設定変更可能である。   The predetermined distance is a distance having a radius of 2 m from the position of the HMD 101. The value of the predetermined distance is stored in advance in the external memory 211 of the PC 100, and can be freely set and changed by a user operation.

ＰＣ１００は、接触候補の仮想物体のリストから、未処理の仮想物体を１つ取得する。例えばＨＭＤ１０１との距離が最も近い、未処理の仮想物体を取得する（ステップＳ７０４）。   The PC 100 acquires one unprocessed virtual object from the list of contact candidate virtual objects. For example, an unprocessed virtual object having the closest distance to the HMD 101 is acquired (step S704).

ＰＣ１００は、当該仮想物体の属性６２６（硬さ属性）を特定し、取得する（ステップＳ７０５）。   The PC 100 specifies and acquires the attribute 626 (hardness attribute) of the virtual object (step S705).

そして、属性６２６に基づいて、当該仮想物体が硬いか柔らかいか判定する（ステップＳ７０６）。硬い場合は処理をステップＳ７０７に移行する。柔らかい場合は処理をステップＳ７０８に移行する。   Then, based on the attribute 626, it is determined whether the virtual object is hard or soft (step S706). If it is hard, the process proceeds to step S707. If it is soft, the process proceeds to step S708.

ステップＳ７０８で、ＰＣ１００は、実際の仮想物体よりも小さい仮想物体（３Ｄモデル）を生成する。ここで生成する仮想物体は、「柔らかい」属性を持つ仮想物体の接触判定用の仮想物体である。   In step S708, the PC 100 generates a virtual object (3D model) smaller than the actual virtual object. The virtual object generated here is a virtual object for contact determination of a virtual object having a “soft” attribute.

なお、ここでは当該「柔らかい」属性を持つ仮想物体（図９の９１０に例示）の８０％の容積量（８割の大きさ）を持つ３Ｄモデル（接触判定用仮想物体：図９の９２０に例示）を生成する。   Here, a 3D model (virtual object for contact determination: 920 in FIG. 9) having 80% volume (80% size) of the virtual object having the “soft” attribute (illustrated in 910 in FIG. 9). Example).

生成した仮想物体は、ＲＡＭ２０３上に生成した、接触判定用の仮想物体一覧（図６の接触判定用モデル情報６６０）に記憶する（ステップＳ７０９）。   The generated virtual object is stored in the virtual object list (contact determination model information 660 in FIG. 6) generated on the RAM 203 (step S709).

モデルＩＤ６６１は、接触判定用仮想物体（例：図９の９２０）の識別情報である。対応モデルＩＤ６６２は、当該接触判定用仮想物体によって他の物体との接触判定を行う仮想物体（例：図９の９１０）である。   The model ID 661 is identification information of a contact determination virtual object (for example, 920 in FIG. 9). The corresponding model ID 662 is a virtual object (for example, 910 in FIG. 9) that performs contact determination with another object using the contact determination virtual object.

接触判定用仮想物体（例：図９の９２０）は、設計物の仮想物体（例：図９の９１０）の表示を遮らないように、透明とし、ＭＲ画像には表示しないものとする。   The contact determination virtual object (eg, 920 in FIG. 9) is transparent so as not to block the display of the virtual object (eg, 910 in FIG. 9) of the design object, and is not displayed in the MR image.

６６３〜６６６の説明は、同図の６２２〜６２５の説明と同じであるため記載は省略する。   Description of 663 to 666 is the same as the description of 622 to 625 in FIG.

なお、位置６６５と姿勢６６６は、当該接触判定用仮想物体（例：図９の９２０）の基となった仮想物体（例：図９の９１０／対応モデルＩＤ６６２のモデル）の位置６２４と姿勢６２５と同じ値を決定し、挿入・記憶する（ステップＳ７１０）。   Note that the position 665 and the posture 666 are the position 624 and the posture 625 of the virtual object (eg, model of 910 / corresponding model ID 662 in FIG. 9) that is the basis of the virtual object for contact determination (eg, 920 in FIG. 9). The same value is determined, inserted and stored (step S710).

また、ステップＳ７０７で、ＰＣ１００は、「硬い」属性を持つ仮想物体自体（例：図９の９００）を、モデル情報６２０から取得・特定する。   In step S <b> 707, the PC 100 acquires and specifies the virtual object itself (e.g., 900 in FIG. 9) having the “hard” attribute from the model information 620.

そして、当該「硬い」属性を持つ仮想物体のモデル情報を、図６の接触判定用モデル情報６６０に記憶する（ステップＳ７０９）。モデルＩＤ６６１は新たなＩＤを付与する。   Then, the model information of the virtual object having the “hard” attribute is stored in the contact determination model information 660 of FIG. 6 (step S709). The model ID 661 gives a new ID.

位置６６５と姿勢６６６は、位置６２４と姿勢６２５と同じ値とする（ステップＳ７１０）。   The position 665 and the posture 666 are set to the same values as the position 624 and the posture 625 (step S710).

ＰＣ１００は、ステップＳ７０４〜Ｓ７１０の処理を、接触判定の候補である仮想物体一覧内の全仮想物体に対して実行し、図７の処理を終了する。以上が図７の説明である。   The PC 100 executes the processes of steps S704 to S710 for all virtual objects in the virtual object list that are candidates for contact determination, and ends the process of FIG. The above is the description of FIG.

次に図８を参照して、本発明の実施形態における、接触判定及び識別表示処理の流れについて説明する。   Next, a flow of contact determination and identification display processing in the embodiment of the present invention will be described with reference to FIG.

図８のフローチャートの各処理は、ＰＣ１００のＣＰＵ２０１が所定の制御プログラムを読み出して実行する処理である。   Each process of the flowchart of FIG. 8 is a process in which the CPU 201 of the PC 100 reads and executes a predetermined control program.

ＰＣ１００は図８の処理を、所定の時間間隔ごとに実行する。例えば０．５秒ごとに、複合現実アプリケーションが終了されるまで繰り返し実行する。   The PC 100 executes the process of FIG. 8 at predetermined time intervals. For example, it is repeatedly executed every 0.5 seconds until the mixed reality application is terminated.

ＰＣ１００は、接触判定用仮想物体の一覧（接触判定用モデル情報６６０）をＲＡＭ２０３から取得する（ステップＳ８０１）。   The PC 100 acquires a list of contact determination virtual objects (contact determination model information 660) from the RAM 203 (step S801).

ＰＣ１００は、ユーザの手の位置姿勢を取得する（ステップＳ８０２）。手の位置姿勢は、例えばユーザの装着している不図示の手袋の関節部に設置された光マーカとセンサ１０４により特定する。   The PC 100 acquires the position and orientation of the user's hand (step S802). The position and orientation of the hand is specified by, for example, a light marker and a sensor 104 installed at a joint part of a glove not shown that is worn by the user.

例えば、センサ１０４が手袋に設置された光マーカの位置姿勢を取得し、ＰＣ１００に出力する。ＰＣ１００は当該手の位置姿勢の値を、手の位置から最も近い位置にあるＨＭＤ１０１のユーザの手の位置姿勢として、当該ＨＭＤ１０１のＩＤと対応付けてＲＡＭ２０３に記憶する。   For example, the sensor 104 acquires the position and orientation of the optical marker installed on the glove and outputs it to the PC 100. The PC 100 stores the hand position / posture value in the RAM 203 in association with the ID of the HMD 101 as the hand position / posture of the user of the HMD 101 located closest to the hand position.

手の形状は、外部メモリ２１１に記憶されている手の仮想物体により特定可能である。ＰＣ１００は、手袋の関節部に設置された光マーカの位置をリアルタイムに記憶し、当該位置の変化に応じて、当該位置と同じ位置に仮想物体の手の関節がくるように、手の仮想物体の空間上の位置姿勢を決定する。   The shape of the hand can be specified by the virtual object of the hand stored in the external memory 211. The PC 100 stores the position of the optical marker installed at the joint of the glove in real time, and the virtual object of the hand so that the joint of the hand of the virtual object comes to the same position as the position according to the change of the position. Determine the position and orientation in the space.

つまり、現実空間上の手袋の位置姿勢、関節の曲がり具合に応じて、手の仮想物体の仮想空間上の位置姿勢、関節の曲がり具合を変化させる。手の仮想物体の一例を図９の９０１に示す。   That is, the position and orientation of the hand virtual object in the virtual space and the degree of bending of the joint are changed according to the position and orientation of the glove in the real space and the degree of bending of the joint. An example of the hand virtual object is shown at 901 in FIG.

ＰＣ１００は、当該手の形状、手の位置姿勢と、接触判定用仮想物体の形状、位置姿勢に基づいて、手と接触判定用仮想物体が接触しているか判定する（ステップＳ８０３）。   The PC 100 determines whether the hand and the contact determination virtual object are in contact with each other based on the shape of the hand, the position and orientation of the hand, and the shape and position and orientation of the contact determination virtual object (step S803).

接触している場合は処理をステップＳ８０４に移行し、接触していない場合は処理をステップＳ８０６に移行する。   If so, the process proceeds to step S804. If not, the process proceeds to step S806.

ステップＳ８０４で、ＰＣ１００は、接触していると判定された接触判定用仮想物体に対応する仮想物体（例：９２０に対応する９１０）を、対応モデルＩＤ６６２を参照して特定する（ステップＳ８０４）。   In step S804, the PC 100 identifies a virtual object (eg, 910 corresponding to 920) corresponding to the contact determination virtual object determined to be in contact with reference to the corresponding model ID 662 (step S804).

そして、当該特定した仮想物体の色設定６２７を、接触中を示す色に変更する（ステップＳ８０５）。例えば赤色に変更する。   Then, the color setting 627 of the specified virtual object is changed to a color indicating that contact is being made (step S805). For example, it is changed to red.

図５のステップＳ５０８において、ＰＣ１００は、当該仮想物体の描画データの色を赤色に変更して描画するため、当該仮想物体の接触判定用仮想物体と手の接触に応じて、当該仮想物体と手が接触しているようにユーザに報知することが可能となる。   In step S508 in FIG. 5, the PC 100 changes the drawing data color of the virtual object to red, and draws the virtual object. It is possible to notify the user as if they are touching.

図１０に、「硬い」属性の仮想物体９００と手１００１の接触報知の様子を示す。硬い仮想物体の場合は、オリジナルの仮想物体（オリジナルの仮想物体と同じ大きさ・形状の接触判定用仮想物体）と手が接触したことにより、接触したことを報知する仮想物体９００の色変更、描画が行われる。   FIG. 10 shows a state of contact notification between the virtual object 900 having the “hard” attribute and the hand 1001. In the case of a hard virtual object, a color change of the virtual object 900 that notifies that the original virtual object (contact determination virtual object having the same size and shape as the original virtual object) is in contact with the hand, Drawing is performed.

また、「柔らかい」属性の仮想物体９１０に対応する接触判定用仮想物体９２０と手１０１１の接触報知の様子を示す。   In addition, a state of contact notification between the contact determination virtual object 920 and the hand 1011 corresponding to the virtual object 910 having the “soft” attribute is shown.

柔らかい仮想物体の場合は、オリジナルの仮想物体９１０より小さい接触判定用仮想物体９２０と手が接触したことにより、仮想物体９１０の色変更、描画が行われる。   In the case of a soft virtual object, the color of the virtual object 910 is changed and drawn when the hand contacts the virtual object 920 for contact determination smaller than the original virtual object 910.

図８の処理によれば、仮想物体の属性に応じて、当該仮想物体との接触を報知可能な仕組みを提供することができる。   According to the process of FIG. 8, it is possible to provide a mechanism capable of notifying contact with the virtual object according to the attribute of the virtual object.

例えば柔らかい物体の場合には、硬い物体に比べて接触判定の条件を緩くすることで、不要な報知を減らしつつ、ユーザへの接触の報知をすることができる。   For example, in the case of a soft object, it is possible to notify the user of contact while reducing unnecessary notifications by loosening the contact determination condition compared to a hard object.

また、図７の処理によれば、仮想物体の属性に応じて、当該仮想物体との接触にかかる条件を決定することが可能な仕組みを提供することができる。   In addition, according to the processing of FIG. 7, it is possible to provide a mechanism that can determine the conditions for contact with the virtual object according to the attribute of the virtual object.

＜第２の実施形態＞
以下図１１〜図１３を参照して、本発明の第２の実施形態について説明する。第１の実施形態と共通する装置、データ、処理等については説明を割愛する。 <Second Embodiment>
Hereinafter, a second embodiment of the present invention will be described with reference to FIGS. A description of devices, data, processing, and the like common to the first embodiment will be omitted.

第２の実施形態においては、発熱・放熱、放電をしている等、手や工具を近づけると危険な仮想物体について、危険度の属性に応じて、当該仮想物体との接触にかかる条件を決定することが可能な仕組みを提供することを目的とする。   In the second embodiment, for a virtual object that is dangerous when a hand or a tool is brought close to it, such as heat generation, heat dissipation, or discharge, a condition for contact with the virtual object is determined according to a risk attribute. The purpose is to provide a mechanism that can do this.

図１１のステップＳ７０１〜Ｓ７０４の処理は、図７のステップＳ７０１〜Ｓ７０４と同じであるため説明は割愛する。   The processing in steps S701 to S704 in FIG. 11 is the same as that in steps S701 to S704 in FIG.

なお、第２の実施形態においては、図６の属性６２６に仮想物体の危険度のレベルを示す値（「高」又は「中」又は「低」）が記憶されているものとする。   In the second embodiment, it is assumed that a value (“high”, “medium”, or “low”) indicating the level of danger of the virtual object is stored in the attribute 626 of FIG.

ＰＣ１００は、ステップＳ７０４で取得した仮想物体の属性６２６（危険度属性）を特定し、取得する（ステップＳ１１０１）。   The PC 100 specifies and acquires the attribute 626 (risk level attribute) of the virtual object acquired in step S704 (step S1101).

そして、属性６２６に基づいて、当該仮想物体がどの程度危険か判定する（ステップＳ１１０２／危険度を特定する）。   Then, based on the attribute 626, it is determined how dangerous the virtual object is (step S1102 / identification of risk).

危険度＝高の場合は処理をステップＳ１１０３に移行する。危険度＝中の場合には処理をステップＳ７０７に移行する。危険度＝低の場合には処理をステップＳ７０８に移行する。   If the risk level is high, the process proceeds to step S1103. If the risk level is medium, the process proceeds to step S707. If the risk level is low, the process proceeds to step S708.

危険度＝高の仮想物体とは、例えばそれ自体が高温になる部品の仮想物体である。つまり、たとえ接触していなくても、手や工具を接近させてはいけない（例：接触する程度まで近づけたら手をやけどする／熱くて手を接触させることができない）部品の仮想物体であるものとする。   A virtual object having a high risk level is, for example, a virtual object of a component that itself becomes high temperature. In other words, even if you are not in contact, do not bring your hands or tools close to each other (for example, if you bring your hands close enough to touch them, you will burn your hands / because they are too hot to touch your hands) And

危険度＝中の仮想物体とは、例えばそれ自体が発熱・放熱しているものの、危険度＝高の部品ほど高温ではなく、部品と手が接触して初めてやけどをする、熱さを感じるような部品の仮想物体である。つまり、触れさえしなければ、安全な部品であるものとする。   For example, a virtual object with a hazard level of medium is heated or dissipated by itself. However, a component with a high hazard level is not as hot as it is. It is a virtual object of a part. In other words, if it is not touched, it is a safe part.

危険度＝低の仮想物体とは、例えば発熱・放熱はしておらず、手を押し付けたとしてもやけどすることがない／特段の熱さを感じることがない部品の仮想物体であるものとする。   A virtual object with a low risk level is, for example, a virtual object of a part that does not generate heat or dissipate heat and does not burn even when a hand is pressed / parts that do not feel any particular heat.

ステップＳ７０７では、ステップＳ７０４で取得した仮想物体の情報をモデル情報６２０から取得し、処理をステップＳ７０９に移行する。   In step S707, the virtual object information acquired in step S704 is acquired from the model information 620, and the process proceeds to step S709.

また、ステップＳ７０８では、ステップＳ７０４で取得した仮想物体を０．８倍に縮小した接触判定用仮想物体を生成し、処理をステップＳ７０９に移行する。   In step S708, a contact determination virtual object obtained by reducing the virtual object acquired in step S704 by a factor of 0.8 is generated, and the process proceeds to step S709.

ステップＳ１１０３で、ＰＣ１００は、属性が「危険度＝高」の仮想物体（例：図１２の１２００）を１．２倍に拡大・拡張した接触判定用仮想物体（例：図１２の１２１０）を生成し、処理をステップＳ７０９に移行する。   In step S1103, the PC 100 expands and expands the virtual object (eg, 1200 in FIG. 12) having the attribute “risk = high” by 1.2 times to the virtual object for contact determination (eg, 1210 in FIG. 12). The process proceeds to step S709.

つまり、危険度＝高の仮想物体の接触判定用の条件を、当該仮想物体より大きい仮想物体との接触することを決定する。   That is, it is determined that the contact determination condition for the virtual object having a high risk level = high is to contact a virtual object larger than the virtual object.

ステップＳ７０９及びステップＳ７１０の処理は図７の説明で前述したため説明は省略する。以上が図１１の説明である。   Since the processing in step S709 and step S710 has been described above with reference to FIG. The above is the description of FIG.

各危険度の仮想物体と、各危険度に応じた接触判定用仮想物体の一例を図１２に示す。また、接触時の識別表示の一例を図１３に示す。   FIG. 12 shows an example of a virtual object of each risk level and a virtual object for contact determination corresponding to each risk level. Moreover, an example of the identification display at the time of contact is shown in FIG.

１２００は、危険度＝高の仮想物体であり、１２１０は、危険度＝高の仮想物体に対応する接触判定用仮想物体である。ＰＣ１００は、１２１０と手１３０１が接触することで、仮想物体１２００の色設定を、接触していることを示す色に変更する。   1200 is a virtual object with a high risk level = 1210, and 1210 is a virtual object for contact determination corresponding to a virtual object with a high risk level = high. The PC 100 changes the color setting of the virtual object 1200 to a color indicating that the virtual object 1200 is in contact with the contact between the hand 1210 and the hand 1301.

９００は、危険度＝中の仮想物体であり、接触判定用仮想物体も当該仮想物体と同じ大きさである。ＰＣ１００は、９００と手が接触することで、仮想物体９００の色設定を、接触していることを示す色に変更する。   900 is a virtual object with a risk = medium, and the contact determination virtual object is also the same size as the virtual object. The PC 100 changes the color setting of the virtual object 900 to a color indicating that the virtual object 900 is in contact with the hand by contacting the 900 with the hand.

９１０は、危険度＝低の仮想物体であり、９２０は、危険度＝低の仮想物体に対応する接触判定用仮想物体である。ＰＣ１００は、９２０と手が接触することで、仮想物体９１０の色設定を、接触していることを示す色に変更する。   Reference numeral 910 denotes a virtual object with a risk level = low, and reference numeral 920 denotes a contact determination virtual object corresponding to the virtual object with a risk level = low. The PC 100 changes the color setting of the virtual object 910 to a color indicating that the virtual object 910 is in contact with the hand when the hand 920 contacts the 920.

図１１の処理によれば、発熱・放熱、放電をしている等、手や工具を近づけると危険な仮想物体について、危険度の属性に応じて、当該仮想物体との接触にかかる条件を決定することが可能な仕組みを提供することができる。   According to the processing of FIG. 11, for a virtual object that is dangerous when a hand or a tool is brought close to it, such as heat generation, heat dissipation, or discharge, a condition for contact with the virtual object is determined according to the attribute of the risk level. A mechanism that can do this can be provided.

以上説明したように、本発明によれば、仮想物体の属性に応じて、当該仮想物体との接触にかかる条件を決定することが可能な仕組みを提供することができる。   As described above, according to the present invention, it is possible to provide a mechanism that can determine the conditions for contact with a virtual object according to the attribute of the virtual object.

また、仮想物体の属性に応じて、当該仮想物体との接触にかかる報知をする仕組みを提供することができる。   Further, it is possible to provide a mechanism for notifying the contact with the virtual object according to the attribute of the virtual object.

なお、上述した実施形態においては、硬さや危険度のレベルに応じて、各レベルに応じた接触判定用仮想物体を生成するものとしたが、これ以外の方法を用いてもよい。   In the above-described embodiment, the virtual object for contact determination corresponding to each level is generated according to the level of hardness and risk, but other methods may be used.

例えば仮想物体の温度を属性情報として記憶しておき、当該温度が４０℃（人間が熱さを感じる温度の一例）を１℃超えるごとに１％ずつ接触判定用仮想物体を大きく生成するようにしてもよい。これにより、より細かな接触判定・接触判定の結果表示の調整が可能となる。   For example, the temperature of a virtual object is stored as attribute information, and a virtual object for contact determination is greatly generated by 1% each time the temperature exceeds 40 ° C. (an example of a temperature at which a human feels heat) by 1 ° C. Also good. As a result, finer contact determination and contact adjustment result display adjustment can be performed.

また、仮想物体の属性として当該仮想物体で表現される部品の材質を記憶しておき、当該材質に応じて接触判定用仮想物体を大きくしたり、小さくしたりするようにしてもよい。   Alternatively, the material of a part represented by the virtual object may be stored as an attribute of the virtual object, and the contact determination virtual object may be increased or decreased according to the material.

例えば、熱や電気を帯びやすい材質Ａの仮想物体は、危険度＝高の場合と同様に、接触判定用仮想物体を対仮想物体比１２０％の大きさとする。   For example, the virtual object of the material A that is easily tinged with heat or electricity has a contact determination virtual object having a size with respect to the virtual object ratio of 120%, as in the case of the risk = high.

また、表面がざらざらとしていて触れると危険な材質Ｂの仮想物体については危険度＝中の場合と同様に、接触判定用仮想物体を仮想物体と同じ大きさ（１００％の大きさ）とする。   Further, for a virtual object of material B that is rough when touched by a rough surface, the virtual object for contact determination is set to the same size (100% size) as the virtual object, as in the case of the risk = medium.

それ以外の材質Ｃの仮想物体については、接触判定用仮想物体を対仮想物体比８０％の（仮想物体より小さい）大きさとする。   For other virtual objects of material C, the size of the contact determination virtual object is 80% of the virtual object ratio (smaller than the virtual object).

材質ごとに接触の条件を決定することで、硬さや危険度で接触の条件を決定できない部品についても、接触の条件を容易に変更・設定できる。   By determining the contact condition for each material, the contact condition can be easily changed / set even for parts for which the contact condition cannot be determined by the hardness or the degree of danger.

また、仮想物体の属性に応じて接触判定用仮想物体の全体の大きさを変えるのではなく、接触判定用仮想物体の一部だけの大きさを変更したり、幅を変更したりするようにしてもよい。   Also, instead of changing the overall size of the virtual object for contact determination according to the attribute of the virtual object, only the size of the virtual object for contact determination is changed or the width is changed. May be.

例えばコードのような配線の仮想物体の場合、単純に配線の仮想物体全体の大きさを小さくした接触判定用仮想物体を配置すると、等倍の大きさであれば繋がっていた配線及と、配線の接続元及び接続先が分離してしまい、適切な接触判定を行いことが想定される。   For example, in the case of a virtual object such as a cord, if a virtual object for contact determination in which the size of the entire virtual object of the wiring is simply reduced is arranged, the connected wiring and wiring It is assumed that the connection source and the connection destination are separated and appropriate contact determination is performed.

よって、仮想物体の属性６２６に、当該仮想物体の硬さや危険度に加えて、当該仮想物体の中の特定の部品（例えばコード）の識別情報と、当該部品の何の長さ（高さ・幅・奥行）を対象として接触判定用仮想物体の大きさを決定するかを記憶しておくことで、当該硬さや危険度に応じて、当該特定の部品の、特定の長さの値だけを大きく、又は小さくした接触判定用仮想物体を生成するようにしてもよい（例：コードであれば、コードの太さ（幅）を変えるだけとし、コードを短くはしない等）。   Therefore, in addition to the hardness and risk of the virtual object, the virtual object attribute 626 includes identification information of a specific part (for example, a code) in the virtual object, and the length (height / height) of the part. By storing whether the size of the virtual object for contact determination is determined for (width / depth), only the value of the specific length of the specific part is determined according to the hardness and risk. You may make it produce | generate the virtual object for contact determination made large or small (for example, if it is a code | cord, only change the thickness (width | variety) of a code | cord | chord, a code | cord | chord is not shortened etc.).

また、上述した実施形態においては、手と接触判定用仮想物体との接触を判定し、接触状態を識別表示するものとしたが、例えば工具の仮想物体等、他の仮想物体との接触判定を行うようにしてもよい。   Further, in the above-described embodiment, the contact between the hand and the contact determination virtual object is determined and the contact state is identified and displayed. However, for example, the contact determination with another virtual object such as a virtual object of a tool is performed. You may make it perform.

また、上述した実施形態においては、手と接触した接触判定用仮想物体に仮想物体の色を変えるものとしたが、例えば、当該仮想物体の輪郭線を太くする等を行うことで、接触状態を識別可能としてもよい。   In the above-described embodiment, the color of the virtual object is changed to the contact determination virtual object that has come into contact with the hand. For example, by increasing the outline of the virtual object, the contact state can be changed. It may be identifiable.

また、当該仮想物体だけでなく、手と接触した接触判定用仮想物体のフレームの色を変える等して、どの接触判定用仮想物体と接触したか／どの接触判定用仮想物体と接触したことでどの仮想物体と接触したと報知されたかを識別可能に表示するようにしてもよい。   In addition to the virtual object, which contact determination virtual object is contacted by changing the color of the frame of the contact determination virtual object that is in contact with the hand, etc. You may make it display so that identification which virtual object was notified that it contacted is possible.

また、図７のステップＳ７０４においては、ＨＭＤ１０１との距離が近い順に仮想物体を取得するものとしたが、例えば、当該ＨＭＤ１０１のユーザの手（接触判定を行う物体）との距離が近い順に仮想物体を取得し、ステップＳ７０５以降の処理を行うようにしてもよい。   Further, in step S704 in FIG. 7, virtual objects are acquired in order of increasing distance from the HMD 101. For example, virtual objects are acquired in ascending order of distance from the user's hand (an object that performs contact determination) of the HMD 101. May be acquired, and the processing after step S705 may be performed.

また、ＨＭＤ１０１はシースルー型のディスプレイを備える端末であってもよい。この場合、ＭＲ画像は、現実画像に仮想物体の描画データを重畳した画像ではなく、ディスプレイの大きさと同じ透明な画像に仮想物体の描画データを重畳した画像とする。当該ＭＲ画像を表示することで、ディスプレイを通して透けて見える現実と仮想物体が重なって見えるＭＲの世界を体感可能となる。   Further, the HMD 101 may be a terminal including a see-through display. In this case, the MR image is not an image obtained by superimposing virtual object drawing data on a real image, but an image obtained by superimposing virtual object drawing data on a transparent image having the same size as the display. By displaying the MR image, it is possible to experience the world of MR in which the reality seen through the display overlaps with the virtual object.

以上、本発明の実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。   Although the embodiment of the present invention has been described above, the present invention can take an embodiment as a system, apparatus, method, program, recording medium, or the like. Specifically, the present invention may be applied to a system composed of a plurality of devices, or may be applied to an apparatus composed of a single device.

例えば、図２に示すＰＣ１００の構成を全て備えるＨＭＤ１０１が、自機の機能をＣＰＵ２０１で実行して、上述した実施形態においてＰＣ１００の実行するものとして説明した処理の全てを、実行するようにしてもよい。   For example, the HMD 101 having all the configurations of the PC 100 shown in FIG. 2 executes the functions of its own device by the CPU 201 and executes all the processes described as being executed by the PC 100 in the above-described embodiment. Good.

また、本発明におけるプログラムは、図に示す各フローチャートの各処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は各フローチャートの各ステップの処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは図１の各装置の処理方法ごとのプログラムであってもよい。   The program according to the present invention is a program that can execute each processing method of each flowchart shown in the figure, and the storage medium according to the present invention stores the processing method of each step of each flowchart as a program that can be executed by the computer. Has been. The program according to the present invention may be a program for each processing method of each apparatus in FIG.

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し実行することによっても、本発明の目的が達成されることは言うまでもない。   As described above, a recording medium that records a program that implements the functions of the above-described embodiments is supplied to a system or apparatus, and a computer (or CPU or MPU) of the system or apparatus stores the program stored in the recording medium. It goes without saying that the object of the present invention can also be achieved by executing reading.

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。   In this case, the program itself read from the recording medium realizes the novel function of the present invention, and the recording medium storing the program constitutes the present invention.

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク、ソリッドステートドライブ等を用いることができる。   As a recording medium for supplying the program, for example, a flexible disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD-R, DVD-ROM, magnetic tape, nonvolatile memory card, ROM, EEPROM, silicon A disk, solid state drive, or the like can be used.

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。   Further, by executing the program read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (operating system) operating on the computer based on an instruction of the program is actually It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the processing and the processing is included.

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。   Furthermore, after the program read from the recording medium is written to the memory provided in the function expansion board inserted into the computer or the function expansion unit connected to the computer, the function expansion board is based on the instructions of the program code. It goes without saying that the case where the CPU or the like provided in the function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.

また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適用できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。   Further, the present invention may be applied to a system composed of a plurality of devices or an apparatus composed of a single device. Needless to say, the present invention can also be applied to a case where the present invention is achieved by supplying a program to a system or apparatus. In this case, by reading a recording medium storing a program for achieving the present invention into the system or apparatus, the system or apparatus can enjoy the effects of the present invention.

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。   Furthermore, by downloading and reading a program for achieving the present invention from a server, database, etc. on a network using a communication program, the system or apparatus can enjoy the effects of the present invention.

なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。   In addition, all the structures which combined each embodiment mentioned above and its modification are also included in this invention.

１００ ＰＣ
１０１ ＨＭＤ
１０３ 光学式マーカ
１０４ 光学式センサ
１５０ ネットワーク 100 PC
101 HMD
103 Optical Marker 104 Optical Sensor 150 Network

Claims (15)

仮想物体を現実に重畳して表示し、仮想物体の接触状態を表示する表示手段を備える情報処理装置であって、
前記仮想物体の硬さの属性を取得する取得手段と、
前記取得手段により取得された硬さの属性に基づいて、当該属性の仮想物体との接触にかかる条件を決定する決定手段と、
を備えることを特徴とする情報処理装置。 An information processing apparatus comprising display means for displaying a virtual object superimposed on reality and displaying a contact state of the virtual object,
Obtaining means for obtaining an attribute of the hardness of the virtual object;
A determination unit that determines a condition for contact with the virtual object having the attribute based on the attribute of the hardness acquired by the acquisition unit;
An information processing apparatus comprising: 仮想物体を現実に重畳して表示し、仮想物体の接触状態を表示する表示手段を備える情報処理装置であって、
前記仮想物体の危険度の属性を取得する取得手段と、
前記取得手段により取得された危険度の属性に基づいて、当該属性の仮想物体との接触にかかる条件を決定する決定手段と、
を備えることを特徴とする情報処理装置。 An information processing apparatus comprising display means for displaying a virtual object superimposed on reality and displaying a contact state of the virtual object,
Obtaining means for obtaining a risk attribute of the virtual object;
A determination unit that determines a condition for contact with the virtual object having the attribute based on the attribute of the risk level acquired by the acquisition unit;
An information processing apparatus comprising: 前記決定手段は、前記取得手段により取得された属性に基づいて、当該属性を持つ仮想物体の接触の判定に用いる接触判定用の仮想物体を生成することを特徴とする請求項１又は２に記載の情報処理装置。   The said determination means produces | generates the virtual object for contact determination used for determination of the contact of the virtual object with the said attribute based on the attribute acquired by the said acquisition means. Information processing device. 前記決定手段により決定された条件に基づいて判定される接触状態に応じて、前記仮想物体の表示を変更して報知する報知手段と、
をを備えることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。 Informing means for changing and notifying the display of the virtual object according to the contact state determined based on the condition determined by the determining means;
The information processing apparatus according to claim 1, further comprising: 前記条件は、前記取得手段により取得された属性を持つ仮想物体にかかる接触に用いる仮想物体と、他の仮想物体又はユーザの身体の一部であることを特徴とする請求項４に記載の情報処理装置。   The information according to claim 4, wherein the condition is a virtual object used for contact with a virtual object having an attribute acquired by the acquiring unit, and another virtual object or a part of a user's body. Processing equipment. 仮想物体を現実に重畳して表示し、仮想物体の接触状態を表示する表示手段を備える情報処理装置の制御方法であって、
前記仮想物体の硬さの属性を取得する取得工程と、
前記取得工程により取得された硬さの属性に基づいて、当該属性の仮想物体との接触にかかる条件を決定する決定工程と、
を含む制御方法。 A method for controlling an information processing apparatus including display means for displaying a virtual object superimposed on reality and displaying a contact state of the virtual object,
An acquisition step of acquiring an attribute of the hardness of the virtual object;
Based on the hardness attribute acquired by the acquisition step, a determination step for determining a condition for contact with the virtual object of the attribute;
Control method. 仮想物体を現実に重畳して表示し、仮想物体の接触状態を表示する表示手段を備える情報処理装置を制御するプログラムであって、
前記情報処理装置を、
前記仮想物体の硬さの属性を取得する取得手段と、
前記取得手段により取得された硬さの属性に基づいて、当該属性の仮想物体との接触にかかる条件を決定する決定手段として機能させるためのプログラム。 A program for controlling an information processing apparatus including display means for displaying a virtual object superimposed on reality and displaying a contact state of the virtual object,
The information processing apparatus;
Obtaining means for obtaining an attribute of the hardness of the virtual object;
The program for functioning as a determination means which determines the conditions concerning contact with the virtual object of the said attribute based on the attribute of the hardness acquired by the said acquisition means. 仮想物体を現実に重畳して表示し仮想物体の接触状態を表示する表示装置と、情報処理装置と、を含む情報処理システムであって、
前記仮想物体の硬さの属性を取得する取得手段と、
前記取得手段により取得された硬さの属性に基づいて、当該属性の仮想物体との接触にかかる条件を決定する決定手段と、
を備えることを特徴とする情報処理システム。 An information processing system including a display device that superimposes a virtual object in reality and displays a contact state of the virtual object, and an information processing device,
Obtaining means for obtaining an attribute of the hardness of the virtual object;
A determination unit that determines a condition for contact with the virtual object having the attribute based on the attribute of the hardness acquired by the acquisition unit;
An information processing system comprising: 仮想物体を現実に重畳して表示し仮想物体の接触状態を表示する表示装置と、情報処理装置と、を含む情報処理システムの制御方法であって、
前記仮想物体の硬さの属性を取得する取得工程と、
前記取得工程により取得された硬さの属性に基づいて、当該属性の仮想物体との接触にかかる条件を決定する決定工程と、
含む制御方法。 A control method for an information processing system, comprising: a display device that displays a virtual object superimposed on reality and displays a contact state of the virtual object; and an information processing device,
An acquisition step of acquiring an attribute of the hardness of the virtual object;
Based on the hardness attribute acquired by the acquisition step, a determination step for determining a condition for contact with the virtual object of the attribute;
Control method including. 仮想物体を現実に重畳して表示し仮想物体の接触状態を表示する表示装置と、情報処理装置と、を含む情報処理システムを、
前記仮想物体の硬さの属性を取得する取得手段と、
前記取得手段により取得された硬さの属性に基づいて、当該属性の仮想物体との接触にかかる条件を決定する決定手段として機能させるためのプログラム。 An information processing system including a display device that superimposes a virtual object in reality and displays a contact state of the virtual object, and an information processing device,
Obtaining means for obtaining an attribute of the hardness of the virtual object;
The program for functioning as a determination means which determines the conditions concerning contact with the virtual object of the said attribute based on the attribute of the hardness acquired by the said acquisition means. 仮想物体を現実に重畳して表示し、仮想物体の接触状態を表示する表示手段を備える情報処理装置の制御方法であって、
前記仮想物体の危険度の属性を取得する取得工程と、
前記取得工程により取得された危険度の属性に基づいて、当該属性の仮想物体との接触にかかる条件を決定する決定工程と、
を含む制御方法。 A method for controlling an information processing apparatus including display means for displaying a virtual object superimposed on reality and displaying a contact state of the virtual object,
An acquisition step of acquiring a risk attribute of the virtual object;
A determination step of determining a condition related to contact with a virtual object having the attribute based on the risk attribute acquired by the acquisition step;
Control method. 仮想物体を現実に重畳して表示し、仮想物体の接触状態を表示する表示手段を備える情報処理装置を制御するプログラムであって、
前記情報処理装置を、
前記仮想物体の危険度の属性を取得する取得手段と、
前記取得手段により取得された危険度の属性に基づいて、当該属性の仮想物体との接触にかかる条件を決定する決定手段として機能させるためのプログラム。 A program for controlling an information processing apparatus including display means for displaying a virtual object superimposed on reality and displaying a contact state of the virtual object,
The information processing apparatus;
Obtaining means for obtaining a risk attribute of the virtual object;
A program for functioning as a determination unit that determines a condition related to contact with a virtual object having the attribute based on the risk level attribute acquired by the acquisition unit. 仮想物体を現実に重畳して表示し仮想物体の接触状態を表示する表示装置と、情報処理装置と、を含む情報処理システムであって、
前記仮想物体の危険度の属性を取得する取得手段と、
前記取得手段により取得された危険度の属性に基づいて、当該属性の仮想物体との接触にかかる条件を決定する決定手段と、
を備えることを特徴とする情報処理システム。 An information processing system including a display device that superimposes a virtual object in reality and displays a contact state of the virtual object, and an information processing device,
Obtaining means for obtaining a risk attribute of the virtual object;
A determination unit that determines a condition for contact with the virtual object having the attribute based on the attribute of the risk level acquired by the acquisition unit;
An information processing system comprising: 仮想物体を現実に重畳して表示し仮想物体の接触状態を表示する表示装置と、情報処理装置と、を含む情報処理システムの制御方法であって、
前記仮想物体の危険度の属性を取得する取得工程と、
前記取得工程により取得された危険度の属性に基づいて、当該属性の仮想物体との接触にかかる条件を決定する決定工程と、
を含む制御方法。 A control method for an information processing system, comprising: a display device that displays a virtual object superimposed on reality and displays a contact state of the virtual object; and an information processing device,
An acquisition step of acquiring a risk attribute of the virtual object;
A determination step of determining a condition related to contact with a virtual object having the attribute based on the risk attribute acquired by the acquisition step;
Control method. 仮想物体を現実に重畳して表示し仮想物体の接触状態を表示する表示装置と、情報処理装置と、を含む情報処理システムを、
前記仮想物体の危険度の属性を取得する取得手段と、
前記取得手段により取得された危険度の属性に基づいて、当該属性の仮想物体との接触にかかる条件を決定する決定手段として機能させるためのプログラム。 An information processing system including a display device that superimposes a virtual object in reality and displays a contact state of the virtual object, and an information processing device,
Obtaining means for obtaining a risk attribute of the virtual object;
A program for functioning as a determination unit that determines a condition related to contact with a virtual object having the attribute based on the risk level attribute acquired by the acquisition unit.
JP2017148063A 2017-07-31 2017-07-31 Information processing device, information processing system, control method thereof, and program Active JP7111940B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017148063A JP7111940B2 (en) 2017-07-31 2017-07-31 Information processing device, information processing system, control method thereof, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017148063A JP7111940B2 (en) 2017-07-31 2017-07-31 Information processing device, information processing system, control method thereof, and program

Publications (3)

Publication Number Publication Date
JP2019028772A true JP2019028772A (en) 2019-02-21
JP2019028772A5 JP2019028772A5 (en) 2020-09-10
JP7111940B2 JP7111940B2 (en) 2022-08-03

Family

ID=65478559

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017148063A Active JP7111940B2 (en) 2017-07-31 2017-07-31 Information processing device, information processing system, control method thereof, and program

Country Status (1)

Country Link
JP (1) JP7111940B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006075616A (en) * 1997-10-30 2006-03-23 Sega Corp Computer-readable storage medium, electronic device, and image display method
JP2006244046A (en) * 2005-03-02 2006-09-14 Nintendo Co Ltd Collision determining program and collision determining device
JP2007179483A (en) * 2005-12-28 2007-07-12 Canon Inc Unit and method for information processing
JP2007299075A (en) * 2006-04-27 2007-11-15 Sharp Corp Design support device and design support method
JP2011210019A (en) * 2010-03-30 2011-10-20 Namco Bandai Games Inc Program, information storage medium, and image generator

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006075616A (en) * 1997-10-30 2006-03-23 Sega Corp Computer-readable storage medium, electronic device, and image display method
JP2006244046A (en) * 2005-03-02 2006-09-14 Nintendo Co Ltd Collision determining program and collision determining device
JP2007179483A (en) * 2005-12-28 2007-07-12 Canon Inc Unit and method for information processing
JP2007299075A (en) * 2006-04-27 2007-11-15 Sharp Corp Design support device and design support method
JP2011210019A (en) * 2010-03-30 2011-10-20 Namco Bandai Games Inc Program, information storage medium, and image generator

Also Published As

Publication number Publication date
JP7111940B2 (en) 2022-08-03

Similar Documents

Publication Publication Date Title
JP7079231B2 (en) Information processing equipment, information processing system, control method, program
KR101453815B1 (en) Device and method for providing user interface which recognizes a user&#39;s motion considering the user&#39;s viewpoint
JP6978701B2 (en) Information processing system, its control method, and program, and information processing device, its control method, and program.
US10614590B2 (en) Apparatus for determination of interference between virtual objects, control method of the apparatus, and storage medium
Kharlamov et al. TickTockRay: smartwatch-based 3D pointing for smartphone-based virtual reality
JP6920057B2 (en) Image processing equipment, image processing method, computer program
JP2015125641A (en) Information processing device, control method therefor, and program
JP2005227876A (en) Method and apparatus for image processing
JP7060778B2 (en) Information processing system, information processing system control method and program
KR20150132527A (en) Segmentation of content delivery
JP2016122392A (en) Information processing apparatus, information processing system, control method and program of the same
JP6409861B2 (en) Information processing apparatus, information processing system, control method thereof, and program
JP2018063589A (en) Information processing apparatus, information processing system, method for controlling the same, and program for the same
JP7273325B2 (en) Information processing device, information processing system, information processing method and program
JP6152888B2 (en) Information processing apparatus, control method and program thereof, and information processing system, control method and program thereof
JP7111940B2 (en) Information processing device, information processing system, control method thereof, and program
JP6357412B2 (en) Information processing apparatus, information processing system, information processing method, and program
JP2021166091A (en) Image processing system, image processing method and computer program
JP6810342B2 (en) Information processing equipment, information processing system, its control method and program
JP2019012334A (en) Information processor, information processing system, method for control, and program
JP6734537B2 (en) Information processing apparatus, control method and program therefor, information processing system, control method therefor, and program
JP6164177B2 (en) Information processing apparatus, information processing system, control method thereof, and program
JP7116334B2 (en) Information processing device, information processing system, control method thereof, and program
JP6741939B2 (en) Information processing apparatus, information processing system, control method thereof, and program
JP6744543B2 (en) Information processing system, control method thereof, and program

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20180703

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20181031

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200728

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200728

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220704

R151 Written notification of patent or utility model registration

Ref document number: 7111940

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151