JP2019028772A - Information processing equipment, information processing system, control method thereof and program - Google Patents
Information processing equipment, information processing system, control method thereof and program Download PDFInfo
- Publication number
- JP2019028772A JP2019028772A JP2017148063A JP2017148063A JP2019028772A JP 2019028772 A JP2019028772 A JP 2019028772A JP 2017148063 A JP2017148063 A JP 2017148063A JP 2017148063 A JP2017148063 A JP 2017148063A JP 2019028772 A JP2019028772 A JP 2019028772A
- Authority
- JP
- Japan
- Prior art keywords
- virtual object
- attribute
- information processing
- contact
- acquired
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims description 49
- 238000012545 processing Methods 0.000 claims description 18
- 230000007246 mechanism Effects 0.000 abstract description 9
- 230000008569 process Effects 0.000 description 27
- 230000006870 function Effects 0.000 description 14
- 239000003550 marker Substances 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 10
- 239000000463 material Substances 0.000 description 9
- 238000013461 design Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000003672 processing method Methods 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000017525 heat dissipation Effects 0.000 description 2
- 230000020169 heat generation Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、情報処理装置、情報処理システム、その制御方法及びプログラムに関する。 The present invention relates to an information processing apparatus, an information processing system, a control method thereof, and a program.
近年、複合現実(Mixed Reality/以下、MRと記載)の技術が普及している。複合現実の技術を用いて、ヘッドマウントディスプレイ(HMD)を装着したユーザに対し、現実画像にCGモデル(仮想物体)を配置した複合現実画像を提供し、現実と仮想を複合した複合現実の世界を体験させることができる。複合現実画像を生成するにあたり、HMDの位置と仮想物体の位置とを、センサや二次元マーカを用いて特定する手法が取られている。 In recent years, mixed reality (hereinafter referred to as MR) technology has become widespread. Using a mixed reality technology, a mixed reality image in which a CG model (virtual object) is arranged on a real image is provided to a user wearing a head-mounted display (HMD), and a mixed reality world in which reality and virtual are combined Can be experienced. In generating a mixed reality image, a technique is adopted in which the position of the HMD and the position of the virtual object are specified using a sensor or a two-dimensional marker.
特許文献1には、HMDで撮像された画像の中に写る二次元マーカを用いてHMDの位置姿勢を特定し、複合現実画像を提供する技術が記載されている。また、特許文献2には、磁気センサを用いてHMDの位置姿勢を特定し、複合現実画像を提供する技術が記載されている。
また、特許文献3には、工具の仮想物体と他の仮想物体の接触状態をユーザに通知できるように、他の仮想物体と接触している工具の仮想物体の色を変更することが記載されている。 Patent Document 3 describes changing the color of a virtual object of a tool that is in contact with another virtual object so that the user can be notified of the contact state between the virtual object of the tool and the other virtual object. ing.
設計物の仮想物体を複合現実画像として表示し、設計物に関する検証を行う業務がある。例えば、設計物におけるある部品とある部品の間に、工具や手が入るかを確認することで、当該工具や手によるメンテナンス作業が可能な設計となっているか検証する。 There is a task of displaying a virtual object of a design object as a mixed reality image and verifying the design object. For example, by checking whether a tool or a hand is inserted between a certain part and a certain part in a design, it is verified whether the design allows maintenance work by the tool or the hand.
部品と手、部品と工具の接触状態を色で識別表示すれば、部品の間に手や工具が入るか確認可能である。 If the contact state between a part and a hand, and the contact state between a part and a tool is identified and displayed in color, it can be confirmed whether a hand or a tool is inserted between the parts.
設計物の部品の中には、例えばコード等、かき分けれて変形させれば工具や手を入れるスペースを確保できる部品がある。 Among the parts of the design, for example, there is a part such as a cord that can secure a space for inserting a tool or a hand if it is deformed by being divided.
また、一見して部品同士の間に工具や手を入れるスペースが無いように見えても、当該部品が緩衝材等の柔らかい部品の場合、手を突っ込めば緩衝材が変形するため、部品の向こう側にある作業空間まで手を通すことが可能であり、部品と手、工具が接触していることを必ずしもユーザに報知する必要はない。ユーザが知りたいのは、あくまで手や工具が入るかどうか、だからである。 Also, even if it seems that there is no space for putting tools or hands between parts at first glance, if the part is a soft part such as cushioning material, the cushioning material will be deformed if the hand is pushed in. It is possible to pass the hand to the working space on the side, and it is not always necessary to notify the user that the part, the hand, and the tool are in contact. The user wants to know whether a hand or a tool can be inserted.
一方で、例えば放電している部品や発熱している部品のように危険度が高い部品の場合、危険度の低い部品に比べて、手や工具との距離を長めにとって設計をする必要がある。 On the other hand, in the case of a high-risk part such as a discharged part or a heat-generating part, it is necessary to design for a longer distance from the hand or tool compared to a low-risk part. .
本発明は、仮想物体の属性に応じて、当該仮想物体との接触にかかる条件を決定することが可能な仕組みを提供することを目的とする。 An object of the present invention is to provide a mechanism capable of determining a condition related to contact with a virtual object according to the attribute of the virtual object.
本発明は、仮想物体を現実に重畳して表示し、仮想物体の接触状態を表示する表示手段を備える情報処理装置であって、前記仮想物体の硬さの属性を取得する取得手段と、前記取得手段により取得された硬さの属性に基づいて、当該属性の仮想物体との接触にかかる条件を決定する決定手段と、を備えることを特徴とする。 The present invention is an information processing apparatus including a display unit that displays a virtual object in a superimposed manner and displays a contact state of the virtual object, the acquisition unit acquiring the hardness attribute of the virtual object, And determining means for determining a condition for contact with the virtual object having the attribute based on the attribute of hardness acquired by the acquiring means.
また、仮想物体を現実に重畳して表示し、仮想物体の接触状態を表示する表示手段を備える情報処理装置であって、前記仮想物体の危険度の属性を取得する取得手段と、前記取得手段により取得された危険度の属性に基づいて、当該属性の仮想物体との接触にかかる条件を決定する決定手段と、を備えることを特徴とする。 An information processing apparatus comprising display means for displaying a virtual object superimposed on reality and displaying a contact state of the virtual object, an acquisition means for acquiring a risk attribute of the virtual object, and the acquisition means And determining means for determining a condition related to contact with the virtual object having the attribute based on the attribute of the risk level obtained by the above.
本発明によれば、本発明は、仮想物体の属性に応じて、当該仮想物体との接触にかかる条件を決定することが可能な仕組みを提供することが可能となる。 ADVANTAGE OF THE INVENTION According to this invention, this invention can provide the mechanism which can determine the conditions concerning contact with the said virtual object according to the attribute of a virtual object.
<第1の実施形態>
図1を参照して、本発明の実施形態における情報処理システムの構成の一例について説明する。
<First Embodiment>
With reference to FIG. 1, an example of a configuration of an information processing system according to an embodiment of the present invention will be described.
図1に示すように、本発明における情報処理システムの各種装置はネットワーク150を介して通信可能に接続されている。例えばPC100は、HMD101(HMD101A〜HMD101Cの総称)と通信可能に接続されている。 As shown in FIG. 1, various devices of the information processing system according to the present invention are communicably connected via a network 150. For example, the PC 100 is communicably connected to the HMD 101 (generic name for the HMD 101A to HMD 101C).
PC100には、HMD101により撮像される現実画像に重畳する3次元モデル(CGモデル/仮想オブジェクト)が記憶されている。 The PC 100 stores a three-dimensional model (CG model / virtual object) to be superimposed on a real image captured by the HMD 101.
また、PC100は、自機の管理するHMD101(図1におけるHMD101A〜101C)より現実画像を取得して、記憶部に記憶する。 Further, the PC 100 acquires a real image from the HMD 101 (HMD 101A to 101C in FIG. 1) managed by the own device, and stores it in the storage unit.
また、PC100はHMD101の位置姿勢を特定し、記憶する。HMD101の位置姿勢の特定方法は、特許文献1に記載されている、HMD101の撮像した現実画像中の二次元マーカを用いて特定可能である。
Further, the PC 100 specifies and stores the position and orientation of the HMD 101. The method for specifying the position and orientation of the
また、特許文献2に記載されている、センサ(図1における光学式センサ104)がHMD101に設置された光学式マーカの位置姿勢をHMD101の位置姿勢として検出し、それをPC100が取得することで特定可能である。
Further, the sensor (the
本実施形態においては、特許文献2に記載されているように、センサ(図1における光学式センサ104)がHMD101に設置された光学式マーカの位置姿勢をHMD101の位置姿勢として検出する方法用いてHMD101の位置姿勢を特定するものとする。
In the present embodiment, as described in Patent Document 2, a method is used in which the sensor (the
PC100では、HMD101の位置姿勢と、記憶部に記憶されている3次元モデル及び3次元モデルの位置姿勢の情報を用いて、現実画像に3次元モデルを重畳した複合現実画像を生成する。 The PC 100 uses the position and orientation of the HMD 101, the 3D model stored in the storage unit, and information on the position and orientation of the 3D model to generate a mixed reality image in which the 3D model is superimposed on the actual image.
そして、当該複合現実画像をHMD101のディスプレイに表示させるべく、HMD101に送信する。HMD101は受信した複合現実画像をディスプレイに表示する。以上が図1の説明である。 Then, the mixed reality image is transmitted to the HMD 101 so as to be displayed on the display of the HMD 101. The HMD 101 displays the received mixed reality image on the display. The above is the description of FIG.
次に図2を参照して、本発明の実施形態における、各種装置のハードウェア構成の一例について説明する。 Next, an example of the hardware configuration of various devices in the embodiment of the present invention will be described with reference to FIG.
CPU201は、システムバス204に接続される各デバイスやコントローラを統括的に制御する。
The
また、ROM202には、CPU201の制御プログラムであるBIOS(Basic Input / OutputSystem)やオペレーティングシステム(OS)、その他各種装置の実行する機能を実現するために必要な各種プログラムが記憶されている。
The
RAM203は、CPU201の主メモリ、ワークエリア等として機能する。CPU201は、処理の実行に際して必要なプログラム等をRAM203にロードして、プログラムを実行することで各種動作を実現するものである。
The
本発明のPC100が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ211に記録されており、必要に応じてRAM203にロードされることによりCPU201によって実行されるものである。
Various programs used by the PC 100 of the present invention to execute various processes described later are recorded in the
さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ211に格納されている。
Furthermore, definition files and various information tables used by the program according to the present invention are stored in the
入力コントローラ(入力C)205は、キーボードやマウス等のポインティングデバイス(入力デバイス209)からの入力を制御する。 An input controller (input C) 205 controls input from a pointing device (input device 209) such as a keyboard and a mouse.
また、入力デバイス209がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下(指等でタッチ)することにより、各種の指示を行うことができることとする。
In addition, when the
なお、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよいこととする。 Note that the touch panel may be a touch panel capable of detecting a position touched by a plurality of fingers, such as a multi-touch screen.
ビデオコントローラ(VC)206は、HMD101が備える右目・左目ディスプレイ222等の表示器への表示を制御する。
A video controller (VC) 206 controls display on a display device such as the right eye /
右目・左目ディスプレイ222に対しては、例えば外部出力端子(例えば、Digital Visual Interface)を用いて出力される。
For example, an external output terminal (for example, Digital Visual Interface) is used for output to the right eye /
また、右目・左目ディスプレイ222は、右目用のディスプレイと左目用のディスプレイとから構成されている。また、入力コントローラ(入力C)205は、PC100の備えるディスプレイ210(CRTディスプレイ等)の表示器への表示を制御する。
The right-eye / left-
なお、図2では、表示器はCRTディスプレイだけでなく、液晶ディスプレイ等の他の表示器であってもよい。 In FIG. 2, the display device may be not only a CRT display but also other display devices such as a liquid crystal display.
メモリコントローラ(MC)207は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク(HD)やフレキシブルディスク(FD)或いはPCMCIAカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ211へのアクセスを制御する。
The memory controller (MC) 207 is an adapter to a hard disk (HD), flexible disk (FD) or PCMCIA card slot for storing boot programs, browser software, various applications, font data, user files, editing files, various data, and the like. Controls access to an
通信I/Fコントローラ(通信I/FC)208は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。 A communication I / F controller (communication I / FC) 208 is connected to and communicates with an external device via a network, and executes communication control processing in the network.
例えば、TCP/IPを用いたインターネット通信等が可能である。また、通信I/Fコントローラ208は、ギガビットイーサネット(登録商標)等を通じて光学式センサ104との通信も制御する。
For example, Internet communication using TCP / IP is possible. The communication I /
汎用バス212は、HMD101の右目・左目ビデオカメラ221からの映像を取り込むために使用される。右目・左目ビデオカメラ221からは、外部入力端子(例えば、IEEE1394端子)を用いて入力される。
The general-
右目・左目ビデオカメラ221は、右目用のビデオカメラと左目用のビデオカメラとから構成されている。
The right-eye / left-
尚、CPU201は、例えばRAM203内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、ディスプレイ上での表示を可能としている。
Note that the
また、CPU201は、ディスプレイ上の不図示のマウスカーソル等でのユーザ指示を可能とする。以上が図2の説明である。
In addition, the
次に図3を参照して、本発明の実施形態における各種装置の機能構成の一例について説明する。 Next, with reference to FIG. 3, an example of a functional configuration of various apparatuses according to the embodiment of the present invention will be described.
撮像部301は、現実画像を撮像処理により取得する現実画像(撮像画像)の取得部である。
The
現実画像送信部302は、撮像部301により取得された現実画像をPC100に送信(出力)する。
The real
MR画像受信部303は、PC100からMR画像(現実画像に仮想物体の画像を重畳した複合現実画像)を受信する受信部である。
The MR
MR画像表示部304は、MR画像受信部303が受信したMR画像を表示する表示部である。
The MR
現実画像記憶部311は、現実画像送信部302により送信された現実画像を取得して記憶する記憶部である。
The real
仮想物体記憶部312は、仮想物体(例:3DCGモデル)を記憶する記憶部である。例えば図6のモデル情報620を記憶している。620の詳細は後述する。
The virtual
属性取得部313は、仮想物体の属性を取得する取得部である。
The
接触判定用仮想物体生成部314は、属性取得部313で属性を取得した仮想物体の接触判定用の仮想物体(例:接触判定用仮想物体の大きさ、形状)を、当該属性に応じて決定し、生成する機能部である。
The contact determination virtual
位置決定部315は、接触判定用仮想物体の位置を決定する決定部である。
The
位置特定部部316は、HMD101及びHMD101を装着しているユーザの手(身体の一部)の位置、仮想物体の位置を特定する機能部である。例えば所定時間ごとに位置を特定し、更新・記憶する。
The
接触判定部317は、接触判定用仮想物体の位置及び形状と、ユーザの身体の一部又は他の仮想物体の位置及び形状とに基づいて、接触判定用仮想物体とユーザの身体の一部又は他の仮想物体が接触しているか判定する。
The
識別表示制御部318は、例えば、接触している接触判定用仮想物体に対応する仮想物体を識別表示すべく、当該仮想物体の色設定を変更する。つまり、接触前から色が変更された仮想物体が、MR画像表示部304で表示されるよう制御する。
For example, the identification
MR画像生成部319は、仮想物体の画像と現実画像とを重畳した重畳画像であるMR画像(複合現実画像)を生成する。
The MR
なお、仮想物体の色設定が変更されている場合、変更後の色設定に従って色を変更した仮想物体の画像を生成し、当該画像を現実画像と重畳してMR画像を生成する。 When the color setting of the virtual object is changed, an image of the virtual object whose color is changed according to the changed color setting is generated, and the MR image is generated by superimposing the image on the real image.
MR画像送信部320は、MR画像をHMD101に表示させるべく、HMD101に送信(出力)する。以上が図3の説明である。
The MR
なお、本実施形態においては、311〜320の機能部をPC100が備えているが、例えばこれらの構成をHMD101が備えるよう構成してもよいものとする。
In this embodiment, the
次に図4を参照して、本発明の実施形態における、各種装置のモジュール構成の一例について説明する。 Next, with reference to FIG. 4, an example of the module configuration of various apparatuses in the embodiment of the present invention will be described.
PC100は、オペレーティングシステム401(OS)、グラフィックエンジン402、複合現実感プラットフォーム403(MRプラットフォームともいう)、複合現実感アプリケーション404(MRアプリケーションやビューアアプリケーションともいう)で構成され、CPU201により制御されている。
The
オペレーティングシステム401は、HMD101の入出力を制御しカメラ221から入力インターフェースを介して得られた現実画像を複合現実感プラットフォーム403へ受け渡す。
The operating system 401 controls input / output of the
またグラフィックエンジン402で描画された複合現実画像を、出力インターフェースを介して、ディスプレイ222へ出力する。
The mixed reality image drawn by the graphic engine 402 is output to the
グラフィックエンジン402は、外部メモリ211に記憶されている3次元モデル(仮想物体)から描画する画像を生成し、現実画像に重畳し、合成する。
The graphic engine 402 generates an image to be drawn from a three-dimensional model (virtual object) stored in the
描画に利用するエンジンは、例えば、OpenGLやDirectXなどの広く利用されているグラフィックエンジンでも、独自に開発したグラフィックエンジンでもよい。なお、本実施形態ではグラフィックライブラリとしてOpenGLを利用するものとする。 The engine used for drawing may be, for example, a widely used graphic engine such as OpenGL or DirectX, or an independently developed graphic engine. In the present embodiment, OpenGL is used as the graphic library.
複合現実感プラットフォーム403は、センサ104からHMD101に設置されたマーカ103の位置姿勢を取得することで、当該位置姿勢をHMD101の位置姿勢を取得・特定し、現実空間と仮想空間の位置合わせを行う。
The
なお、位置姿勢や位置合わせの技術は、既知の技術として開示されている、特開2002−32784、特開2006−072903、特開2007−166427等を用いて実現することが可能である。 Note that the position / orientation and alignment technique can be realized by using JP-A-2002-32784, JP-A-2006-072903, JP-A-2007-166427, and the like disclosed as known techniques.
また、二次元マーカを使用せずに、HMD101に位置センサを備え、この位置センサを用いて三角測量により計測された位置をもとに、HMD101の位置や姿勢を特定して実現することも可能である。
It is also possible to provide the
複合現実感アプリケーション404は、複合現実感プラットフォーム403からHMD101の位置姿勢、3次元モデルの形状の情報、位置姿勢の情報を受け付け、グラフィックエンジン402に対して、3次元モデルの描画命令を発行する。
The mixed reality application 404 receives the position and orientation of the
この時、OpenGLのAPIを用いて、描画する3次元モデルの識別情報、位置姿勢の情報を設定した命令を発行する。以上が図4の説明である。 At this time, using the OpenGL API, a command is set in which the identification information and the position and orientation information of the three-dimensional model to be drawn are set. The above is the description of FIG.
次に図5を参照して、本発明の実施形態における複合現実画像の生成及び表示処理について説明する。 Next, a mixed reality image generation and display process according to an embodiment of the present invention will be described with reference to FIG.
HMD101は、ステップS501で起動後、カメラ221の機能を用いて現実画像の撮像を開始する(ステップS502)。
After being activated in step S501, the
そして、撮像処理によって取得した現実画像をPC100に送信する(ステップS503)。 And the real image acquired by the imaging process is transmitted to PC100 (step S503).
PC100のCPU201はHMD101より現実画像を受信し(ステップS504)、受信した現実画像を外部メモリ211に記憶する(ステップS505)。
The
例えば、図6の現実画像テーブル630に示すように、現実画像の送信元のHMD101の識別情報であるHMD ID631と、現実画像632とを対応付けて記憶する。
For example, as shown in the real image table 630 of FIG. 6, the
PC100のCPU201は、HMD101の位置姿勢を取得して(ステップS506)、外部メモリ211に記憶する(ステップS507)。
The
例えば、図6のHMD情報610に示すように、HMD101の識別情報であるHMD ID611と、当該HMDの位置612(X,Y,Z座標)、姿勢613(X,Y,Z座標の値により表現されるHMD101の向いている方向及び傾き(角度))を記憶する。
For example, as shown in the HMD information 610 in FIG. 6, the
姿勢613については、例えば、1つ前の位置姿勢のレコードと現在の位置姿勢のレコードそれぞれの3次元方向の外積から方向(回転方向)を、内積のarc cosから角度(なす角)を得る。
For the
当該姿勢613の取得方法はあくまで一例であり、上記の方法に限定されるものではない。つまり、他の方法を用いてHMD101の姿勢を取得してもよい。
The method of acquiring the
PC100のCPU201は、外部メモリ211から3Dモデルの情報を取得し、HMD101から受信した現実画像に重畳して複合現実画像を生成して(ステップS508)、HMD101に送信する(ステップS509)。
The
3Dモデル(仮想物体)の情報は、例えば図6のモデル情報620に示す情報である。モデル情報620は、予めPC100の外部メモリ211に記憶されている情報である。
The information on the 3D model (virtual object) is, for example, information shown in model information 620 in FIG. The model information 620 is information stored in the
モデルID621は3Dモデルの識別情報である。モデル名622は、3Dモデルのファイル名である。
The
ファイルパス623は、ファイルが記憶されている場所を示す。位置624、姿勢625は3Dモデルの位置姿勢を示す。
A
属性626は、3Dモデル(仮想物体)の属性である。第1の実施形態においては、当該属性626には、仮想物体の材質の硬さを示す硬さ属性が記憶されている。硬さ属性には「硬い」と「柔らかい」の2つのレベルがある。
An
色設定627は、3Dモデル(仮想物体)の色設定である。色設定627に色の識別情報が記憶されている場合は、当該仮想物体の描画データを、当該色設定627に記憶された色で生成する(生成した描画データの色を色設定627の色に変更する)。 The color setting 627 is a color setting of the 3D model (virtual object). When color identification information is stored in the color setting 627, the drawing data of the virtual object is generated with the color stored in the color setting 627 (the color of the generated drawing data is changed to the color of the color setting 627). change).
PC100のCPU201は、HMDの位置612・姿勢613から、HMD101と同じ画角を持つカメラが、位置624・姿勢625の3Dモデルを撮像した場合の、当該3Dモデルの画像を描画データ640として生成する。
The
そして、当該描画データを現実画像と合成することで、図6のMR画像テーブル650に示す複合現実画像(MR画像)を生成する。 Then, a composite reality image (MR image) shown in the MR image table 650 of FIG. 6 is generated by synthesizing the drawing data with the real image.
また、MR画像テーブル650の、複合現実画像を生成するために用いた現実画像の送信元のHMD(HMD ID651)と対応付けて記憶する。その後、HMD ID651の示すHMD101に、複合現実画像652を送信する。
Further, the MR image table 650 is stored in association with the HMD (HMD ID 651) of the transmission source of the real image used to generate the mixed reality image. Thereafter, the
HMD101は、PC100から複合現実画像を受信し(ステップS510)、表示画面に表示する(ステップS511)。以上が図5の説明である。
The
次に図7を参照して、本発明の実施形態における、仮想物体の硬さに応じた接触判定用物体の生成処理の流れについて説明する。 Next, with reference to FIG. 7, the flow of the process for generating the object for contact determination according to the hardness of the virtual object in the embodiment of the present invention will be described.
図7のフローチャートの各処理は、PC100のCPU201が所定の制御プログラムを読み出して実行する処理である。
Each process of the flowchart of FIG. 7 is a process in which the
PC100は、HMD情報610から、HMD101の最新の位置姿勢を読み出す(ステップS701)。
The
PC100は、仮想物体の位置情報の一覧を取得する(ステップS702)。そして、HMD101の位置を基準として、HMD101の位置から所定の距離内にある仮想物体を接触の候補として特定し、RAM203にリスト化して記憶する(ステップS703)。
The
当該所定距離は、HMD101の位置から半径2mの距離とする。当該所定距離の値は、PC100の外部メモリ211に予め記憶されており、ユーザ操作により自由に設定変更可能である。
The predetermined distance is a distance having a radius of 2 m from the position of the
PC100は、接触候補の仮想物体のリストから、未処理の仮想物体を1つ取得する。例えばHMD101との距離が最も近い、未処理の仮想物体を取得する(ステップS704)。
The
PC100は、当該仮想物体の属性626(硬さ属性)を特定し、取得する(ステップS705)。
The
そして、属性626に基づいて、当該仮想物体が硬いか柔らかいか判定する(ステップS706)。硬い場合は処理をステップS707に移行する。柔らかい場合は処理をステップS708に移行する。
Then, based on the
ステップS708で、PC100は、実際の仮想物体よりも小さい仮想物体(3Dモデル)を生成する。ここで生成する仮想物体は、「柔らかい」属性を持つ仮想物体の接触判定用の仮想物体である。
In step S708, the
なお、ここでは当該「柔らかい」属性を持つ仮想物体(図9の910に例示)の80%の容積量(8割の大きさ)を持つ3Dモデル(接触判定用仮想物体:図9の920に例示)を生成する。 Here, a 3D model (virtual object for contact determination: 920 in FIG. 9) having 80% volume (80% size) of the virtual object having the “soft” attribute (illustrated in 910 in FIG. 9). Example).
生成した仮想物体は、RAM203上に生成した、接触判定用の仮想物体一覧(図6の接触判定用モデル情報660)に記憶する(ステップS709)。 The generated virtual object is stored in the virtual object list (contact determination model information 660 in FIG. 6) generated on the RAM 203 (step S709).
モデルID661は、接触判定用仮想物体(例:図9の920)の識別情報である。対応モデルID662は、当該接触判定用仮想物体によって他の物体との接触判定を行う仮想物体(例:図9の910)である。
The
接触判定用仮想物体(例:図9の920)は、設計物の仮想物体(例:図9の910)の表示を遮らないように、透明とし、MR画像には表示しないものとする。 The contact determination virtual object (eg, 920 in FIG. 9) is transparent so as not to block the display of the virtual object (eg, 910 in FIG. 9) of the design object, and is not displayed in the MR image.
663〜666の説明は、同図の622〜625の説明と同じであるため記載は省略する。 Description of 663 to 666 is the same as the description of 622 to 625 in FIG.
なお、位置665と姿勢666は、当該接触判定用仮想物体(例:図9の920)の基となった仮想物体(例:図9の910/対応モデルID662のモデル)の位置624と姿勢625と同じ値を決定し、挿入・記憶する(ステップS710)。
Note that the
また、ステップS707で、PC100は、「硬い」属性を持つ仮想物体自体(例:図9の900)を、モデル情報620から取得・特定する。
In step S <b> 707, the
そして、当該「硬い」属性を持つ仮想物体のモデル情報を、図6の接触判定用モデル情報660に記憶する(ステップS709)。モデルID661は新たなIDを付与する。
Then, the model information of the virtual object having the “hard” attribute is stored in the contact determination model information 660 of FIG. 6 (step S709). The
位置665と姿勢666は、位置624と姿勢625と同じ値とする(ステップS710)。
The
PC100は、ステップS704〜S710の処理を、接触判定の候補である仮想物体一覧内の全仮想物体に対して実行し、図7の処理を終了する。以上が図7の説明である。
The
次に図8を参照して、本発明の実施形態における、接触判定及び識別表示処理の流れについて説明する。 Next, a flow of contact determination and identification display processing in the embodiment of the present invention will be described with reference to FIG.
図8のフローチャートの各処理は、PC100のCPU201が所定の制御プログラムを読み出して実行する処理である。
Each process of the flowchart of FIG. 8 is a process in which the
PC100は図8の処理を、所定の時間間隔ごとに実行する。例えば0.5秒ごとに、複合現実アプリケーションが終了されるまで繰り返し実行する。
The
PC100は、接触判定用仮想物体の一覧(接触判定用モデル情報660)をRAM203から取得する(ステップS801)。
The
PC100は、ユーザの手の位置姿勢を取得する(ステップS802)。手の位置姿勢は、例えばユーザの装着している不図示の手袋の関節部に設置された光マーカとセンサ104により特定する。
The
例えば、センサ104が手袋に設置された光マーカの位置姿勢を取得し、PC100に出力する。PC100は当該手の位置姿勢の値を、手の位置から最も近い位置にあるHMD101のユーザの手の位置姿勢として、当該HMD101のIDと対応付けてRAM203に記憶する。
For example, the
手の形状は、外部メモリ211に記憶されている手の仮想物体により特定可能である。PC100は、手袋の関節部に設置された光マーカの位置をリアルタイムに記憶し、当該位置の変化に応じて、当該位置と同じ位置に仮想物体の手の関節がくるように、手の仮想物体の空間上の位置姿勢を決定する。
The shape of the hand can be specified by the virtual object of the hand stored in the
つまり、現実空間上の手袋の位置姿勢、関節の曲がり具合に応じて、手の仮想物体の仮想空間上の位置姿勢、関節の曲がり具合を変化させる。手の仮想物体の一例を図9の901に示す。 That is, the position and orientation of the hand virtual object in the virtual space and the degree of bending of the joint are changed according to the position and orientation of the glove in the real space and the degree of bending of the joint. An example of the hand virtual object is shown at 901 in FIG.
PC100は、当該手の形状、手の位置姿勢と、接触判定用仮想物体の形状、位置姿勢に基づいて、手と接触判定用仮想物体が接触しているか判定する(ステップS803)。
The
接触している場合は処理をステップS804に移行し、接触していない場合は処理をステップS806に移行する。 If so, the process proceeds to step S804. If not, the process proceeds to step S806.
ステップS804で、PC100は、接触していると判定された接触判定用仮想物体に対応する仮想物体(例:920に対応する910)を、対応モデルID662を参照して特定する(ステップS804)。
In step S804, the
そして、当該特定した仮想物体の色設定627を、接触中を示す色に変更する(ステップS805)。例えば赤色に変更する。 Then, the color setting 627 of the specified virtual object is changed to a color indicating that contact is being made (step S805). For example, it is changed to red.
図5のステップS508において、PC100は、当該仮想物体の描画データの色を赤色に変更して描画するため、当該仮想物体の接触判定用仮想物体と手の接触に応じて、当該仮想物体と手が接触しているようにユーザに報知することが可能となる。
In step S508 in FIG. 5, the
図10に、「硬い」属性の仮想物体900と手1001の接触報知の様子を示す。硬い仮想物体の場合は、オリジナルの仮想物体(オリジナルの仮想物体と同じ大きさ・形状の接触判定用仮想物体)と手が接触したことにより、接触したことを報知する仮想物体900の色変更、描画が行われる。
FIG. 10 shows a state of contact notification between the
また、「柔らかい」属性の仮想物体910に対応する接触判定用仮想物体920と手1011の接触報知の様子を示す。
In addition, a state of contact notification between the contact determination
柔らかい仮想物体の場合は、オリジナルの仮想物体910より小さい接触判定用仮想物体920と手が接触したことにより、仮想物体910の色変更、描画が行われる。
In the case of a soft virtual object, the color of the
図8の処理によれば、仮想物体の属性に応じて、当該仮想物体との接触を報知可能な仕組みを提供することができる。 According to the process of FIG. 8, it is possible to provide a mechanism capable of notifying contact with the virtual object according to the attribute of the virtual object.
例えば柔らかい物体の場合には、硬い物体に比べて接触判定の条件を緩くすることで、不要な報知を減らしつつ、ユーザへの接触の報知をすることができる。 For example, in the case of a soft object, it is possible to notify the user of contact while reducing unnecessary notifications by loosening the contact determination condition compared to a hard object.
また、図7の処理によれば、仮想物体の属性に応じて、当該仮想物体との接触にかかる条件を決定することが可能な仕組みを提供することができる。 In addition, according to the processing of FIG. 7, it is possible to provide a mechanism that can determine the conditions for contact with the virtual object according to the attribute of the virtual object.
<第2の実施形態>
以下図11〜図13を参照して、本発明の第2の実施形態について説明する。第1の実施形態と共通する装置、データ、処理等については説明を割愛する。
<Second Embodiment>
Hereinafter, a second embodiment of the present invention will be described with reference to FIGS. A description of devices, data, processing, and the like common to the first embodiment will be omitted.
第2の実施形態においては、発熱・放熱、放電をしている等、手や工具を近づけると危険な仮想物体について、危険度の属性に応じて、当該仮想物体との接触にかかる条件を決定することが可能な仕組みを提供することを目的とする。 In the second embodiment, for a virtual object that is dangerous when a hand or a tool is brought close to it, such as heat generation, heat dissipation, or discharge, a condition for contact with the virtual object is determined according to a risk attribute. The purpose is to provide a mechanism that can do this.
図11のステップS701〜S704の処理は、図7のステップS701〜S704と同じであるため説明は割愛する。 The processing in steps S701 to S704 in FIG. 11 is the same as that in steps S701 to S704 in FIG.
なお、第2の実施形態においては、図6の属性626に仮想物体の危険度のレベルを示す値(「高」又は「中」又は「低」)が記憶されているものとする。
In the second embodiment, it is assumed that a value (“high”, “medium”, or “low”) indicating the level of danger of the virtual object is stored in the
PC100は、ステップS704で取得した仮想物体の属性626(危険度属性)を特定し、取得する(ステップS1101)。
The
そして、属性626に基づいて、当該仮想物体がどの程度危険か判定する(ステップS1102/危険度を特定する)。
Then, based on the
危険度=高の場合は処理をステップS1103に移行する。危険度=中の場合には処理をステップS707に移行する。危険度=低の場合には処理をステップS708に移行する。 If the risk level is high, the process proceeds to step S1103. If the risk level is medium, the process proceeds to step S707. If the risk level is low, the process proceeds to step S708.
危険度=高の仮想物体とは、例えばそれ自体が高温になる部品の仮想物体である。つまり、たとえ接触していなくても、手や工具を接近させてはいけない(例:接触する程度まで近づけたら手をやけどする/熱くて手を接触させることができない)部品の仮想物体であるものとする。 A virtual object having a high risk level is, for example, a virtual object of a component that itself becomes high temperature. In other words, even if you are not in contact, do not bring your hands or tools close to each other (for example, if you bring your hands close enough to touch them, you will burn your hands / because they are too hot to touch your hands) And
危険度=中の仮想物体とは、例えばそれ自体が発熱・放熱しているものの、危険度=高の部品ほど高温ではなく、部品と手が接触して初めてやけどをする、熱さを感じるような部品の仮想物体である。つまり、触れさえしなければ、安全な部品であるものとする。 For example, a virtual object with a hazard level of medium is heated or dissipated by itself. However, a component with a high hazard level is not as hot as it is. It is a virtual object of a part. In other words, if it is not touched, it is a safe part.
危険度=低の仮想物体とは、例えば発熱・放熱はしておらず、手を押し付けたとしてもやけどすることがない/特段の熱さを感じることがない部品の仮想物体であるものとする。 A virtual object with a low risk level is, for example, a virtual object of a part that does not generate heat or dissipate heat and does not burn even when a hand is pressed / parts that do not feel any particular heat.
ステップS707では、ステップS704で取得した仮想物体の情報をモデル情報620から取得し、処理をステップS709に移行する。 In step S707, the virtual object information acquired in step S704 is acquired from the model information 620, and the process proceeds to step S709.
また、ステップS708では、ステップS704で取得した仮想物体を0.8倍に縮小した接触判定用仮想物体を生成し、処理をステップS709に移行する。 In step S708, a contact determination virtual object obtained by reducing the virtual object acquired in step S704 by a factor of 0.8 is generated, and the process proceeds to step S709.
ステップS1103で、PC100は、属性が「危険度=高」の仮想物体(例:図12の1200)を1.2倍に拡大・拡張した接触判定用仮想物体(例:図12の1210)を生成し、処理をステップS709に移行する。
In step S1103, the
つまり、危険度=高の仮想物体の接触判定用の条件を、当該仮想物体より大きい仮想物体との接触することを決定する。 That is, it is determined that the contact determination condition for the virtual object having a high risk level = high is to contact a virtual object larger than the virtual object.
ステップS709及びステップS710の処理は図7の説明で前述したため説明は省略する。以上が図11の説明である。 Since the processing in step S709 and step S710 has been described above with reference to FIG. The above is the description of FIG.
各危険度の仮想物体と、各危険度に応じた接触判定用仮想物体の一例を図12に示す。また、接触時の識別表示の一例を図13に示す。 FIG. 12 shows an example of a virtual object of each risk level and a virtual object for contact determination corresponding to each risk level. Moreover, an example of the identification display at the time of contact is shown in FIG.
1200は、危険度=高の仮想物体であり、1210は、危険度=高の仮想物体に対応する接触判定用仮想物体である。PC100は、1210と手1301が接触することで、仮想物体1200の色設定を、接触していることを示す色に変更する。
1200 is a virtual object with a high risk level = 1210, and 1210 is a virtual object for contact determination corresponding to a virtual object with a high risk level = high. The
900は、危険度=中の仮想物体であり、接触判定用仮想物体も当該仮想物体と同じ大きさである。PC100は、900と手が接触することで、仮想物体900の色設定を、接触していることを示す色に変更する。
900 is a virtual object with a risk = medium, and the contact determination virtual object is also the same size as the virtual object. The
910は、危険度=低の仮想物体であり、920は、危険度=低の仮想物体に対応する接触判定用仮想物体である。PC100は、920と手が接触することで、仮想物体910の色設定を、接触していることを示す色に変更する。
図11の処理によれば、発熱・放熱、放電をしている等、手や工具を近づけると危険な仮想物体について、危険度の属性に応じて、当該仮想物体との接触にかかる条件を決定することが可能な仕組みを提供することができる。 According to the processing of FIG. 11, for a virtual object that is dangerous when a hand or a tool is brought close to it, such as heat generation, heat dissipation, or discharge, a condition for contact with the virtual object is determined according to the attribute of the risk level. A mechanism that can do this can be provided.
以上説明したように、本発明によれば、仮想物体の属性に応じて、当該仮想物体との接触にかかる条件を決定することが可能な仕組みを提供することができる。 As described above, according to the present invention, it is possible to provide a mechanism that can determine the conditions for contact with a virtual object according to the attribute of the virtual object.
また、仮想物体の属性に応じて、当該仮想物体との接触にかかる報知をする仕組みを提供することができる。 Further, it is possible to provide a mechanism for notifying the contact with the virtual object according to the attribute of the virtual object.
なお、上述した実施形態においては、硬さや危険度のレベルに応じて、各レベルに応じた接触判定用仮想物体を生成するものとしたが、これ以外の方法を用いてもよい。 In the above-described embodiment, the virtual object for contact determination corresponding to each level is generated according to the level of hardness and risk, but other methods may be used.
例えば仮想物体の温度を属性情報として記憶しておき、当該温度が40℃(人間が熱さを感じる温度の一例)を1℃超えるごとに1%ずつ接触判定用仮想物体を大きく生成するようにしてもよい。これにより、より細かな接触判定・接触判定の結果表示の調整が可能となる。 For example, the temperature of a virtual object is stored as attribute information, and a virtual object for contact determination is greatly generated by 1% each time the temperature exceeds 40 ° C. (an example of a temperature at which a human feels heat) by 1 ° C. Also good. As a result, finer contact determination and contact adjustment result display adjustment can be performed.
また、仮想物体の属性として当該仮想物体で表現される部品の材質を記憶しておき、当該材質に応じて接触判定用仮想物体を大きくしたり、小さくしたりするようにしてもよい。 Alternatively, the material of a part represented by the virtual object may be stored as an attribute of the virtual object, and the contact determination virtual object may be increased or decreased according to the material.
例えば、熱や電気を帯びやすい材質Aの仮想物体は、危険度=高の場合と同様に、接触判定用仮想物体を対仮想物体比120%の大きさとする。 For example, the virtual object of the material A that is easily tinged with heat or electricity has a contact determination virtual object having a size with respect to the virtual object ratio of 120%, as in the case of the risk = high.
また、表面がざらざらとしていて触れると危険な材質Bの仮想物体については危険度=中の場合と同様に、接触判定用仮想物体を仮想物体と同じ大きさ(100%の大きさ)とする。 Further, for a virtual object of material B that is rough when touched by a rough surface, the virtual object for contact determination is set to the same size (100% size) as the virtual object, as in the case of the risk = medium.
それ以外の材質Cの仮想物体については、接触判定用仮想物体を対仮想物体比80%の(仮想物体より小さい)大きさとする。 For other virtual objects of material C, the size of the contact determination virtual object is 80% of the virtual object ratio (smaller than the virtual object).
材質ごとに接触の条件を決定することで、硬さや危険度で接触の条件を決定できない部品についても、接触の条件を容易に変更・設定できる。 By determining the contact condition for each material, the contact condition can be easily changed / set even for parts for which the contact condition cannot be determined by the hardness or the degree of danger.
また、仮想物体の属性に応じて接触判定用仮想物体の全体の大きさを変えるのではなく、接触判定用仮想物体の一部だけの大きさを変更したり、幅を変更したりするようにしてもよい。 Also, instead of changing the overall size of the virtual object for contact determination according to the attribute of the virtual object, only the size of the virtual object for contact determination is changed or the width is changed. May be.
例えばコードのような配線の仮想物体の場合、単純に配線の仮想物体全体の大きさを小さくした接触判定用仮想物体を配置すると、等倍の大きさであれば繋がっていた配線及と、配線の接続元及び接続先が分離してしまい、適切な接触判定を行いことが想定される。 For example, in the case of a virtual object such as a cord, if a virtual object for contact determination in which the size of the entire virtual object of the wiring is simply reduced is arranged, the connected wiring and wiring It is assumed that the connection source and the connection destination are separated and appropriate contact determination is performed.
よって、仮想物体の属性626に、当該仮想物体の硬さや危険度に加えて、当該仮想物体の中の特定の部品(例えばコード)の識別情報と、当該部品の何の長さ(高さ・幅・奥行)を対象として接触判定用仮想物体の大きさを決定するかを記憶しておくことで、当該硬さや危険度に応じて、当該特定の部品の、特定の長さの値だけを大きく、又は小さくした接触判定用仮想物体を生成するようにしてもよい(例:コードであれば、コードの太さ(幅)を変えるだけとし、コードを短くはしない等)。
Therefore, in addition to the hardness and risk of the virtual object, the
また、上述した実施形態においては、手と接触判定用仮想物体との接触を判定し、接触状態を識別表示するものとしたが、例えば工具の仮想物体等、他の仮想物体との接触判定を行うようにしてもよい。 Further, in the above-described embodiment, the contact between the hand and the contact determination virtual object is determined and the contact state is identified and displayed. However, for example, the contact determination with another virtual object such as a virtual object of a tool is performed. You may make it perform.
また、上述した実施形態においては、手と接触した接触判定用仮想物体に仮想物体の色を変えるものとしたが、例えば、当該仮想物体の輪郭線を太くする等を行うことで、接触状態を識別可能としてもよい。 In the above-described embodiment, the color of the virtual object is changed to the contact determination virtual object that has come into contact with the hand. For example, by increasing the outline of the virtual object, the contact state can be changed. It may be identifiable.
また、当該仮想物体だけでなく、手と接触した接触判定用仮想物体のフレームの色を変える等して、どの接触判定用仮想物体と接触したか/どの接触判定用仮想物体と接触したことでどの仮想物体と接触したと報知されたかを識別可能に表示するようにしてもよい。 In addition to the virtual object, which contact determination virtual object is contacted by changing the color of the frame of the contact determination virtual object that is in contact with the hand, etc. You may make it display so that identification which virtual object was notified that it contacted is possible.
また、図7のステップS704においては、HMD101との距離が近い順に仮想物体を取得するものとしたが、例えば、当該HMD101のユーザの手(接触判定を行う物体)との距離が近い順に仮想物体を取得し、ステップS705以降の処理を行うようにしてもよい。
Further, in step S704 in FIG. 7, virtual objects are acquired in order of increasing distance from the
また、HMD101はシースルー型のディスプレイを備える端末であってもよい。この場合、MR画像は、現実画像に仮想物体の描画データを重畳した画像ではなく、ディスプレイの大きさと同じ透明な画像に仮想物体の描画データを重畳した画像とする。当該MR画像を表示することで、ディスプレイを通して透けて見える現実と仮想物体が重なって見えるMRの世界を体感可能となる。
Further, the
以上、本発明の実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。 Although the embodiment of the present invention has been described above, the present invention can take an embodiment as a system, apparatus, method, program, recording medium, or the like. Specifically, the present invention may be applied to a system composed of a plurality of devices, or may be applied to an apparatus composed of a single device.
例えば、図2に示すPC100の構成を全て備えるHMD101が、自機の機能をCPU201で実行して、上述した実施形態においてPC100の実行するものとして説明した処理の全てを、実行するようにしてもよい。
For example, the
また、本発明におけるプログラムは、図に示す各フローチャートの各処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は各フローチャートの各ステップの処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは図1の各装置の処理方法ごとのプログラムであってもよい。 The program according to the present invention is a program that can execute each processing method of each flowchart shown in the figure, and the storage medium according to the present invention stores the processing method of each step of each flowchart as a program that can be executed by the computer. Has been. The program according to the present invention may be a program for each processing method of each apparatus in FIG.
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムを読み出し実行することによっても、本発明の目的が達成されることは言うまでもない。 As described above, a recording medium that records a program that implements the functions of the above-described embodiments is supplied to a system or apparatus, and a computer (or CPU or MPU) of the system or apparatus stores the program stored in the recording medium. It goes without saying that the object of the present invention can also be achieved by executing reading.
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。 In this case, the program itself read from the recording medium realizes the novel function of the present invention, and the recording medium storing the program constitutes the present invention.
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、DVD−ROM、磁気テープ、不揮発性のメモリカード、ROM、EEPROM、シリコンディスク、ソリッドステートドライブ等を用いることができる。 As a recording medium for supplying the program, for example, a flexible disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD-R, DVD-ROM, magnetic tape, nonvolatile memory card, ROM, EEPROM, silicon A disk, solid state drive, or the like can be used.
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, by executing the program read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (operating system) operating on the computer based on an instruction of the program is actually It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the processing and the processing is included.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Furthermore, after the program read from the recording medium is written to the memory provided in the function expansion board inserted into the computer or the function expansion unit connected to the computer, the function expansion board is based on the instructions of the program code. It goes without saying that the case where the CPU or the like provided in the function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.
また、本発明は、複数の機器から構成されるシステムに適用しても、1つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適用できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。 Further, the present invention may be applied to a system composed of a plurality of devices or an apparatus composed of a single device. Needless to say, the present invention can also be applied to a case where the present invention is achieved by supplying a program to a system or apparatus. In this case, by reading a recording medium storing a program for achieving the present invention into the system or apparatus, the system or apparatus can enjoy the effects of the present invention.
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。 Furthermore, by downloading and reading a program for achieving the present invention from a server, database, etc. on a network using a communication program, the system or apparatus can enjoy the effects of the present invention.
なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。 In addition, all the structures which combined each embodiment mentioned above and its modification are also included in this invention.
100 PC
101 HMD
103 光学式マーカ
104 光学式センサ
150 ネットワーク
100 PC
101 HMD
103
Claims (15)
前記仮想物体の硬さの属性を取得する取得手段と、
前記取得手段により取得された硬さの属性に基づいて、当該属性の仮想物体との接触にかかる条件を決定する決定手段と、
を備えることを特徴とする情報処理装置。 An information processing apparatus comprising display means for displaying a virtual object superimposed on reality and displaying a contact state of the virtual object,
Obtaining means for obtaining an attribute of the hardness of the virtual object;
A determination unit that determines a condition for contact with the virtual object having the attribute based on the attribute of the hardness acquired by the acquisition unit;
An information processing apparatus comprising:
前記仮想物体の危険度の属性を取得する取得手段と、
前記取得手段により取得された危険度の属性に基づいて、当該属性の仮想物体との接触にかかる条件を決定する決定手段と、
を備えることを特徴とする情報処理装置。 An information processing apparatus comprising display means for displaying a virtual object superimposed on reality and displaying a contact state of the virtual object,
Obtaining means for obtaining a risk attribute of the virtual object;
A determination unit that determines a condition for contact with the virtual object having the attribute based on the attribute of the risk level acquired by the acquisition unit;
An information processing apparatus comprising:
をを備えることを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。 Informing means for changing and notifying the display of the virtual object according to the contact state determined based on the condition determined by the determining means;
The information processing apparatus according to claim 1, further comprising:
前記仮想物体の硬さの属性を取得する取得工程と、
前記取得工程により取得された硬さの属性に基づいて、当該属性の仮想物体との接触にかかる条件を決定する決定工程と、
を含む制御方法。 A method for controlling an information processing apparatus including display means for displaying a virtual object superimposed on reality and displaying a contact state of the virtual object,
An acquisition step of acquiring an attribute of the hardness of the virtual object;
Based on the hardness attribute acquired by the acquisition step, a determination step for determining a condition for contact with the virtual object of the attribute;
Control method.
前記情報処理装置を、
前記仮想物体の硬さの属性を取得する取得手段と、
前記取得手段により取得された硬さの属性に基づいて、当該属性の仮想物体との接触にかかる条件を決定する決定手段として機能させるためのプログラム。 A program for controlling an information processing apparatus including display means for displaying a virtual object superimposed on reality and displaying a contact state of the virtual object,
The information processing apparatus;
Obtaining means for obtaining an attribute of the hardness of the virtual object;
The program for functioning as a determination means which determines the conditions concerning contact with the virtual object of the said attribute based on the attribute of the hardness acquired by the said acquisition means.
前記仮想物体の硬さの属性を取得する取得手段と、
前記取得手段により取得された硬さの属性に基づいて、当該属性の仮想物体との接触にかかる条件を決定する決定手段と、
を備えることを特徴とする情報処理システム。 An information processing system including a display device that superimposes a virtual object in reality and displays a contact state of the virtual object, and an information processing device,
Obtaining means for obtaining an attribute of the hardness of the virtual object;
A determination unit that determines a condition for contact with the virtual object having the attribute based on the attribute of the hardness acquired by the acquisition unit;
An information processing system comprising:
前記仮想物体の硬さの属性を取得する取得工程と、
前記取得工程により取得された硬さの属性に基づいて、当該属性の仮想物体との接触にかかる条件を決定する決定工程と、
含む制御方法。 A control method for an information processing system, comprising: a display device that displays a virtual object superimposed on reality and displays a contact state of the virtual object; and an information processing device,
An acquisition step of acquiring an attribute of the hardness of the virtual object;
Based on the hardness attribute acquired by the acquisition step, a determination step for determining a condition for contact with the virtual object of the attribute;
Control method including.
前記仮想物体の硬さの属性を取得する取得手段と、
前記取得手段により取得された硬さの属性に基づいて、当該属性の仮想物体との接触にかかる条件を決定する決定手段として機能させるためのプログラム。 An information processing system including a display device that superimposes a virtual object in reality and displays a contact state of the virtual object, and an information processing device,
Obtaining means for obtaining an attribute of the hardness of the virtual object;
The program for functioning as a determination means which determines the conditions concerning contact with the virtual object of the said attribute based on the attribute of the hardness acquired by the said acquisition means.
前記仮想物体の危険度の属性を取得する取得工程と、
前記取得工程により取得された危険度の属性に基づいて、当該属性の仮想物体との接触にかかる条件を決定する決定工程と、
を含む制御方法。 A method for controlling an information processing apparatus including display means for displaying a virtual object superimposed on reality and displaying a contact state of the virtual object,
An acquisition step of acquiring a risk attribute of the virtual object;
A determination step of determining a condition related to contact with a virtual object having the attribute based on the risk attribute acquired by the acquisition step;
Control method.
前記情報処理装置を、
前記仮想物体の危険度の属性を取得する取得手段と、
前記取得手段により取得された危険度の属性に基づいて、当該属性の仮想物体との接触にかかる条件を決定する決定手段として機能させるためのプログラム。 A program for controlling an information processing apparatus including display means for displaying a virtual object superimposed on reality and displaying a contact state of the virtual object,
The information processing apparatus;
Obtaining means for obtaining a risk attribute of the virtual object;
A program for functioning as a determination unit that determines a condition related to contact with a virtual object having the attribute based on the risk level attribute acquired by the acquisition unit.
前記仮想物体の危険度の属性を取得する取得手段と、
前記取得手段により取得された危険度の属性に基づいて、当該属性の仮想物体との接触にかかる条件を決定する決定手段と、
を備えることを特徴とする情報処理システム。 An information processing system including a display device that superimposes a virtual object in reality and displays a contact state of the virtual object, and an information processing device,
Obtaining means for obtaining a risk attribute of the virtual object;
A determination unit that determines a condition for contact with the virtual object having the attribute based on the attribute of the risk level acquired by the acquisition unit;
An information processing system comprising:
前記仮想物体の危険度の属性を取得する取得工程と、
前記取得工程により取得された危険度の属性に基づいて、当該属性の仮想物体との接触にかかる条件を決定する決定工程と、
を含む制御方法。 A control method for an information processing system, comprising: a display device that displays a virtual object superimposed on reality and displays a contact state of the virtual object; and an information processing device,
An acquisition step of acquiring a risk attribute of the virtual object;
A determination step of determining a condition related to contact with a virtual object having the attribute based on the risk attribute acquired by the acquisition step;
Control method.
前記仮想物体の危険度の属性を取得する取得手段と、
前記取得手段により取得された危険度の属性に基づいて、当該属性の仮想物体との接触にかかる条件を決定する決定手段として機能させるためのプログラム。 An information processing system including a display device that superimposes a virtual object in reality and displays a contact state of the virtual object, and an information processing device,
Obtaining means for obtaining a risk attribute of the virtual object;
A program for functioning as a determination unit that determines a condition related to contact with a virtual object having the attribute based on the risk level attribute acquired by the acquisition unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017148063A JP7111940B2 (en) | 2017-07-31 | 2017-07-31 | Information processing device, information processing system, control method thereof, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017148063A JP7111940B2 (en) | 2017-07-31 | 2017-07-31 | Information processing device, information processing system, control method thereof, and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019028772A true JP2019028772A (en) | 2019-02-21 |
JP2019028772A5 JP2019028772A5 (en) | 2020-09-10 |
JP7111940B2 JP7111940B2 (en) | 2022-08-03 |
Family
ID=65478559
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017148063A Active JP7111940B2 (en) | 2017-07-31 | 2017-07-31 | Information processing device, information processing system, control method thereof, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7111940B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006075616A (en) * | 1997-10-30 | 2006-03-23 | Sega Corp | Computer-readable storage medium, electronic device, and image display method |
JP2006244046A (en) * | 2005-03-02 | 2006-09-14 | Nintendo Co Ltd | Collision determining program and collision determining device |
JP2007179483A (en) * | 2005-12-28 | 2007-07-12 | Canon Inc | Unit and method for information processing |
JP2007299075A (en) * | 2006-04-27 | 2007-11-15 | Sharp Corp | Design support device and design support method |
JP2011210019A (en) * | 2010-03-30 | 2011-10-20 | Namco Bandai Games Inc | Program, information storage medium, and image generator |
-
2017
- 2017-07-31 JP JP2017148063A patent/JP7111940B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006075616A (en) * | 1997-10-30 | 2006-03-23 | Sega Corp | Computer-readable storage medium, electronic device, and image display method |
JP2006244046A (en) * | 2005-03-02 | 2006-09-14 | Nintendo Co Ltd | Collision determining program and collision determining device |
JP2007179483A (en) * | 2005-12-28 | 2007-07-12 | Canon Inc | Unit and method for information processing |
JP2007299075A (en) * | 2006-04-27 | 2007-11-15 | Sharp Corp | Design support device and design support method |
JP2011210019A (en) * | 2010-03-30 | 2011-10-20 | Namco Bandai Games Inc | Program, information storage medium, and image generator |
Also Published As
Publication number | Publication date |
---|---|
JP7111940B2 (en) | 2022-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7079231B2 (en) | Information processing equipment, information processing system, control method, program | |
KR101453815B1 (en) | Device and method for providing user interface which recognizes a user's motion considering the user's viewpoint | |
JP6978701B2 (en) | Information processing system, its control method, and program, and information processing device, its control method, and program. | |
US10614590B2 (en) | Apparatus for determination of interference between virtual objects, control method of the apparatus, and storage medium | |
Kharlamov et al. | TickTockRay: smartwatch-based 3D pointing for smartphone-based virtual reality | |
JP6920057B2 (en) | Image processing equipment, image processing method, computer program | |
JP2015125641A (en) | Information processing device, control method therefor, and program | |
JP2005227876A (en) | Method and apparatus for image processing | |
JP7060778B2 (en) | Information processing system, information processing system control method and program | |
KR20150132527A (en) | Segmentation of content delivery | |
JP2016122392A (en) | Information processing apparatus, information processing system, control method and program of the same | |
JP6409861B2 (en) | Information processing apparatus, information processing system, control method thereof, and program | |
JP2018063589A (en) | Information processing apparatus, information processing system, method for controlling the same, and program for the same | |
JP7273325B2 (en) | Information processing device, information processing system, information processing method and program | |
JP6152888B2 (en) | Information processing apparatus, control method and program thereof, and information processing system, control method and program thereof | |
JP7111940B2 (en) | Information processing device, information processing system, control method thereof, and program | |
JP6357412B2 (en) | Information processing apparatus, information processing system, information processing method, and program | |
JP2021166091A (en) | Image processing system, image processing method and computer program | |
JP6810342B2 (en) | Information processing equipment, information processing system, its control method and program | |
JP2019012334A (en) | Information processor, information processing system, method for control, and program | |
JP6734537B2 (en) | Information processing apparatus, control method and program therefor, information processing system, control method therefor, and program | |
JP6164177B2 (en) | Information processing apparatus, information processing system, control method thereof, and program | |
JP7116334B2 (en) | Information processing device, information processing system, control method thereof, and program | |
JP6741939B2 (en) | Information processing apparatus, information processing system, control method thereof, and program | |
JP6744543B2 (en) | Information processing system, control method thereof, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20180703 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20181031 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200728 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200728 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210412 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210420 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210617 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220621 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220704 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7111940 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |