JP7467293B2

JP7467293B2 - Simulation system and simulation method

Info

Publication number: JP7467293B2
Application number: JP2020154077A
Authority: JP
Inventors: 恒弥栗原; 正裕山崎
Original assignee: Hitachi Industrial Equipment Systems Co Ltd
Current assignee: Hitachi Industrial Equipment Systems Co Ltd
Priority date: 2020-09-14
Filing date: 2020-09-14
Publication date: 2024-04-15
Anticipated expiration: 2040-09-14
Also published as: JP2022047989A

Description

本発明はバーチャルリアリティ（ＶＲ）を利用したシミュレーションシステムとその方法に係り、詳しくは、ユーザに機材、器具、装置等の対象に対する操作を習熟させるための訓練用のシステムに関する。 The present invention relates to a simulation system and method using virtual reality (VR), and more specifically, to a training system for training users to operate objects such as equipment, tools, and devices.

近年、バーチャルリアリティ（ＶＲ）を利用した、様々なシミュレーションシステムが実現されている。この種のシステムの一例として、細胞培養工程における無菌操作トレーニング向けＶＲソリューションが存在する。これは、無菌室内の設備である安全キャビネットや細胞培養に使用する細胞培養用フラスコ、電動ピペッタといった専用の器具を用いた無菌操作環境を仮想空間内に仮想的に再現し、ユーザが製造時の遵守事項を、ＶＲを通して体感学習できるようにしたものである。 In recent years, various simulation systems using virtual reality (VR) have been realized. One example of this type of system is a VR solution for training on sterile operations in cell culture processes. This virtually reproduces a sterile operation environment in a virtual space using specialized equipment such as safety cabinets, cell culture flasks, and electric pipetters, which are equipment used in sterile rooms, and allows users to experience and learn the things that must be observed during manufacturing through VR.

しかしながら、安全キャビネットに於ける現実の操作は、ウィルスによる感染や、その漏洩に警戒しなければならないなど、多くの注意、警戒を必要とするものの、パッド、スティック型のコントローラを利用しただけの訓練は、リアルさ、臨場感に欠け、訓練としては不十分である。 However, while actual operation in a safety cabinet requires great care and vigilance, such as guarding against virus infection and leakage, training using only pad and stick-type controllers lacks realism and a sense of presence, and is insufficient as training.

そこで、下記の特許文献１，２に記載されているように、実際の器具を用いて、器具に対する操作をユーザに対してトレーニングできるＶＲシステムが提案されている。 Therefore, as described in Patent Documents 1 and 2 below, a VR system has been proposed that allows users to train how to operate an actual tool.

特開２００９－８７１６１号公報JP 2009-87161 A 特開２０１８－７７７３２号公報JP 2018-77732 A

ＶＲを利用したシミュレーションシステムは、ユーザが器具を現実的に取り扱えるようにしながら、器具とユーザ（手）夫々の位置姿勢をセンサによって検出し、検出値に基づいて、仮想空間内に、器具とユーザの３次元モデルを再現する。そして、システムは、ユーザの視点、視方向から仮想空間内の３次元モデルを撮影して得られた映像を、ユーザが眼前に装着したヘッドマウントディスプレイに再生することができる。したがって、ユーザは、現実的に安全キャビネット等に触ることなく、仮想空間内に再現された仮想環境において、実際の器具を用いたかのような訓練を体験することができる。 A simulation system that uses VR detects the position and orientation of the instrument and the user (hand) using sensors while allowing the user to handle the instrument realistically, and recreates a three-dimensional model of the instrument and user in a virtual space based on the detection values. The system can then capture an image of the three-dimensional model in the virtual space from the user's viewpoint and viewing direction, and play the resulting image on a head-mounted display worn in front of the user's eyes. Thus, the user can experience training as if they were using actual instrument in a virtual environment recreated in a virtual space, without actually touching a safety cabinet or the like.

しかしながら、既述の特許文献１，２に係るＶＲシステム等、従来のシミュレーションシステムは、器具の位置姿勢と、器具を操作する人体の位置姿勢とを、そもそも、精度が決して十分とは言えないセンサを介して、かつ、夫々別々に検出して、仮想空間に、複数のモデルを複合させていたため、複数のモデルの位置や姿勢が整合しきれない映像を再生してしまうことが頻繁にあった。既述の安全キャビネットでの器具の取扱いなど、ユーザの繊細な動作をシミュレートさせようとすると、例えば、複数のモデル間で僅かながらにもずれがある場合、ユーザに与える違和感は決して無視できないものになっていた。 However, conventional simulation systems, such as the VR systems in the above-mentioned Patent Documents 1 and 2, detect the position and orientation of the tool and the position and orientation of the human body operating the tool separately via sensors whose accuracy is by no means sufficient, and then combine multiple models in a virtual space. As a result, they often end up playing images in which the positions and orientations of the multiple models do not match. When attempting to simulate delicate user movements, such as the handling of tools in the above-mentioned safety cabinet, for example, if there is even a slight misalignment between the multiple models, the discomfort felt by the user can never be ignored.

そこで、本発明は、人が器具を取り扱う操作をＶＲに基づいてシミュレートする際、ユーザにとって違和感が無いように、ユーザ及び器具夫々の３次元モデルを仮想空間内で再現可能なシステム、方法を提供することを目的とする。 The present invention aims to provide a system and method that can reproduce three-dimensional models of a user and an appliance in a virtual space so that the user feels comfortable when simulating the operation of a person handling an appliance based on VR.

前記目的を達成するために、本発明は、コンピュータがバーチャルリアリティによって、ユーザによる対象の操作をシミュレートするシステムであって、前記コンピュータは、コントローラと、メモリと、を備え、前記コントローラは、前記メモリに記録されたバーチャルリアリティプログラムを実行して、前記対象を操作するユーザの情報を第１の装置から取り込み、当該ユーザの情報に基づいて前記ユーザのモデルを設定し、前記対象の情報を第２の装置から取り込み、当該対象の情報に基づいて前記対象のモデルを設定し、前記ユーザのモデルの特徴に基づいて、当該ユーザのモデルを仮想空間に配置し、前記対象のモデルの特徴に基づいて、当該対象のモデルを前記仮想空間に配置し、前記ユーザによる前記対象の操作を判定し、当該判定に基づいて、前記仮想空間に於ける、前記ユーザのモデルおよび前記対象のモデルの配置を調整し、前記仮想空間の前記ユーザのモデルと前記対象のモデルとを仮想視点から撮像した画像を表示装置に出力する、というものである。 To achieve the above object, the present invention is a system in which a computer uses virtual reality to simulate the operation of an object by a user, the computer comprising a controller and a memory, and the controller executes a virtual reality program recorded in the memory to retrieve information about a user who operates the object from a first device, set a model of the user based on the information about the user, retrieve information about the object from a second device, set a model of the object based on the information about the object, place the user model in a virtual space based on characteristics of the user model, place the object model in the virtual space based on characteristics of the object model, determine the operation of the object by the user, adjust the placement of the user model and the object model in the virtual space based on the determination, and output an image of the user model and the object model in the virtual space captured from a virtual viewpoint to a display device.

本発明によれば、人が器具を取り扱う操作をＶＲに基づいてシミュレートする際、ユーザにとって違和感が無いように、ユーザ及び器具夫々の３次元モデルを仮想空間内で再現可能なシステムとその方法を提供することができる。 The present invention provides a system and method capable of reproducing three-dimensional models of a user and an appliance in a virtual space so that the user feels comfortable when simulating the operation of a person handling an appliance based on VR.

本発明のシミュレーションシステムの実施形態に係るハードウェアブロック図である。FIG. 1 is a hardware block diagram of an embodiment of a simulation system of the present invention. 本発明の対象としてのピペットデバイスの斜視図である。1 is a perspective view of a pipette device as the subject of the present invention; ピペットデバイス（対象）のモデルとこれを把持するユーザ（手）のモデルとからなる複合モデルの斜視図である。FIG. 1 is a perspective view of a composite model consisting of a model of a pipette device (object) and a model of a user (hand) holding it. コンピュータのソフトウェア資源の機能ブロック図の一例である。FIG. 2 is an example of a functional block diagram of software resources of a computer. 複合モデルの他の斜視図である。FIG. 13 is another perspective view of the composite model. 把持判定モジュール（図４）の動作の詳細を示すフローチャートの一例である。5 is an example of a flowchart showing details of the operation of the grip determination module (FIG. 4). 手の指の関節位置を示すモデルである。This is a model showing the positions of the finger joints. 調整モジュール（図４）の動作の詳細を示すフローチャートの一例である。5 is an example of a flow chart detailing the operation of the adjustment module (FIG. 4); 複合モデルの他の斜視図である。FIG. 13 is another perspective view of the composite model.

本発明に係るシミュレーションシステムは、ユーザの操作対象の機材、器具等の実物に近い模型を利用して、ユーザに、器具の操作のための訓練を提供するというものである。実施形態は、ＶＲ環境下において、ユーザに、安全キャビネットに於ける細胞の取り扱い等、危険を伴う諸操作のための訓練シミュレーションを説明する。実施形態は、電動ピペッタの実物に近い模型をユーザが実際に操作、取り扱えるようにすることを説明する。 The simulation system according to the present invention provides a user with training in operating instruments by utilizing a model that closely resembles the actual equipment, instruments, etc. that the user will operate. The embodiment describes a training simulation for various operations that involve risk, such as handling cells in a safety cabinet, in a VR environment. The embodiment describes how the user can actually operate and handle a model that closely resembles the actual electric pipettor.

シミュレーションシステムは、ＶＲを実現するためのコンピュータを有する。コンピュータは、模型（ピペットデバイス）の位置姿勢とピペットデバイスを把持するユーザ（手）の位置姿勢とに基づいて、これらのモデルを仮想３次元空間に設定する。コンピュータは、所定の視点（仮想カメラ）から仮想空間を見た映像を、ユーザが頭部から眼前に被るヘッドマウントディスプレイ（表示装置）に、手のモデルがピペットデバイスのモデルを把持しながら操作する仮想モデルを再生する。 The simulation system has a computer for realizing VR. The computer sets these models in a virtual three-dimensional space based on the position and orientation of the model (pipette device) and the position and orientation of the user (hand) holding the pipette device. The computer plays an image of the virtual space viewed from a specific viewpoint (virtual camera) on a head-mounted display (display device) worn by the user on the head, and displays a virtual model in which the hand model holds and manipulates a model of a pipette device.

仮想カメラの位置(視点)と視方向はヘッドマウントディスプレイ内のセンサによって決定される。ピペットデバイスの位置と姿勢の情報は、ピペットデバイス内のセンサによって検出される。ピペットデバイスを掴んでいる手の位置と姿勢の情報は、ユーザが手に被せたグローブデバイスのセンサによって検出される。 The position (viewpoint) and viewing direction of the virtual camera are determined by sensors in the head-mounted display. Information on the position and orientation of the pipette device is detected by sensors in the pipette device. Information on the position and orientation of the hand holding the pipette device is detected by sensors in the glove device that the user wears on his or her hand.

ユーザは、手の位置と姿勢、各指の位置と姿勢とを調節しながらピペットデバイスを把持し、これを操作する。ところが、コンピュータは、グローブデバイスとピペットデバイスとからの情報を別々にセンシングしていることと、位置や姿勢をセンシングすることはそもそも容易ではないことから、ユーザはピペットデバイスを実際に把持しているのに、仮想空間内のモデルでは、手のモデルがピペットデバイスモデルを把持すべき位置や姿勢からずれ、これがそのまま映像となって、ユーザに視認されることが頻繁にあった。 A user grasps and operates the pipette device while adjusting the position and posture of their hand and the position and posture of each finger. However, because a computer senses information from the glove device and the pipette device separately, and because sensing position and posture is not easy in the first place, even though the user is actually holding the pipette device, in the model in the virtual space, the hand model is often shifted from the position and posture in which the pipette device model should be grasped, and this is displayed as an image and is visible to the user.

このとき、ユーザはピペットデバイスを把持しているにも拘らず、映像にずれがあると、これが強い違和感となって、ユーザの繊細であるべき操作に影響を与え、訓練に悪影響を及ぼす。安全キャビネット内での電動ピペッタの操作のように、注意を払いつつ、微細な動作が必要となるような環境のための訓練に与える、違和感の影響は決して小さいものではない。 At this time, even though the user is holding the pipette device, if there is a misalignment in the image, this creates a strong sense of discomfort, affecting the user's delicate operation and negatively impacting the training. The impact of discomfort on training in an environment that requires careful and delicate movements, such as operating an electric pipette inside a safety cabinet, is by no means small.

そこで、シミュレーションシステムは、ユーザが器具を操作可能になった際に、器具（電動ピペッタ）モデルとユーザ（手）のモデルとの間のずれを解消するようにしている。 Therefore, the simulation system is designed to eliminate the misalignment between the instrument (electric pipetter) model and the user (hand) model when the user is able to operate the instrument.

図１は、シミュレーションシステムのハードウェア構成図の一例である。シミュレーションシステム１は、コンピュータ１０と、ピペットデバイス（ユーザの操作対象）１２と、ユーザの左右何れかの手あるいは両手に装着するグローブデバイス１４と、ヘッドマウントディスプレイ（ＨＭＤ：表示装置）１６とを備える。コンピュータ１０は、コントローラ２０、メモリ２２、補助記憶装置２４を備える。ピペットデバイス１２、グローブデバイス１４、ヘッドマウントディスプレイ１６は、入力出力Ｉ/Ｆを介してコンピュータ１０に接続されている。コントローラ２０はＣＰＵ及びＧＰＵを備える。メモリ２２は、ＲＡＭおよびＲＯＭなどの記憶媒体から構成される。入力出力Ｉ/Ｆは、無線ＬＡＮ又は有線ＬＡＮに接続するためのＮＩＣとして構成される。コントローラ２０は、ピペットデバイス１２、そして、グローブデバイス１４からの情報を取り込み、センサデータ、モデルデータ等ＶＲ処理の過程で処理されるデータをメモリ２２に記録する。補助記憶装置２４はコンピュータ１０の外部装置として構成されてもよい。 Figure 1 is an example of a hardware configuration diagram of a simulation system. The simulation system 1 includes a computer 10, a pipette device (operation target of the user) 12, a glove device 14 worn on the user's left or right hand or both hands, and a head-mounted display (HMD: display device) 16. The computer 10 includes a controller 20, a memory 22, and an auxiliary storage device 24. The pipette device 12, the glove device 14, and the head-mounted display 16 are connected to the computer 10 via an input/output I/F. The controller 20 includes a CPU and a GPU. The memory 22 is composed of storage media such as RAM and ROM. The input/output I/F is configured as a NIC for connecting to a wireless LAN or a wired LAN. The controller 20 takes in information from the pipette device 12 and the glove device 14, and records data to be processed in the VR processing process, such as sensor data and model data, in the memory 22. The auxiliary storage device 24 may be configured as an external device of the computer 10.

ピペットデバイス１２は、図２に示す様に、電動ピペッタに似せた模型であり、ハンドル１２０と、ハンドルの上端から斜め上方に突出する本体１２２と、本体先端のヘッド１２４とを備える。ヘッド１２４から下方に短尺の疑似ノズル１２６が突出している。ユーザは、ハンドル１２０上端部から突出するボタンの端面に指を添えながら、ハンドルの上端部を握って、ピペットデバイスを支える。人差し指１３０が第１ボタンの端面に当接し、中指１３２が第２ボタンの端面に当接している。符号１４が、ユーザの手に被せた手袋型のグローブデバイスである。図２で示す手の形態が、ユーザがピペットデバイス１２を把持している典型的な姿勢である。手の姿勢は、手首の方向と、各指の方向、即ち、各指の複数の関節夫々の角度、位置によって特徴付けられる。 As shown in FIG. 2, the pipette device 12 is a model resembling an electric pipetter, and includes a handle 120, a body 122 that protrudes obliquely upward from the upper end of the handle, and a head 124 at the tip of the body. A short pseudo nozzle 126 protrudes downward from the head 124. The user supports the pipette device by gripping the upper end of the handle while placing their fingers on the end faces of the buttons protruding from the upper end of the handle 120. The index finger 130 abuts on the end face of the first button, and the middle finger 132 abuts on the end face of the second button. Reference numeral 14 denotes a glove-type glove device that is placed on the user's hand. The hand shape shown in FIG. 2 is a typical posture in which a user holds the pipette device 12. The posture of the hand is characterized by the direction of the wrist and the direction of each finger, i.e., the angle and position of each of the multiple joints of each finger.

ピペットデバイス１２とグローブデバイス１４の夫々には、センサが内蔵されている。センサは、例えば、高精度９自由度のＩＭＵセンサ（ジャイロスコープ、加速度計、磁力計搭載の慣性計測装置）でよい。グローブデバイス１４には、そのベース位置（手首の位置）と各指にセンサが設けられている。グローブデバイス１４は、５本の指夫々をトラッキングすることができる。 The pipette device 12 and the glove device 14 each have a built-in sensor. The sensor may be, for example, a high-precision nine-degree-of-freedom IMU sensor (an inertial measurement unit equipped with a gyroscope, accelerometer, and magnetometer). The glove device 14 has sensors at its base position (wrist position) and on each finger. The glove device 14 can track each of the five fingers.

コントローラ２０はＶＲプログムを実行することによって、センサの出力に基づいて、ピペットデバイス１２のモデルと手のモデル夫々の位置と姿勢を計算し、これらを仮想空間のグローバル座標にマッピングする。外部カメラを用いてピペットデバイス１２およびグローブデバイス１４の位置と姿勢を取得する方法を用いてもよい。図３は、仮想空間の３次元座標系にマッピングされた、ピペットデバイス１２のモデル１２Ａと手のモデル１４Ａとからなる複合モデルの斜視図である。図３は、手のモデル１４Ａがピペットデバイスモデル１２Ａを、図２と同じように把持していることを示している。両モデルの位置姿勢は、位置(x_p,y_p,z_p)，姿勢(a_p,b_p,c_p)で定義される。姿勢はオイラー角で表現してもよいし，四元数で表現してもよい。上記はオイラー角で表現されている。 The controller 20 executes the VR program to calculate the positions and orientations of the model of the pipette device 12 and the model of the hand based on the output of the sensor, and maps them to the global coordinates of the virtual space. A method of acquiring the positions and orientations of the pipette device 12 and the glove device 14 using an external camera may be used. FIG. 3 is a perspective view of a composite model consisting of the model 12A of the pipette device 12 and the model 14A of the hand, which are mapped to a three-dimensional coordinate system of the virtual space. FIG. 3 shows that the hand model 14A is holding the pipette device model 12A in the same manner as in FIG. 2. The positions and orientations of both models are defined by the position (x _p , y _p , z _p ) and the orientation (a _p , b _p , c _p ). The orientation may be expressed by Euler angles or quaternions. The above is expressed by Euler angles.

ピペットデバイス１２、グローブデバイス１４に、バイブレーション機能を搭載させて、コンピュータ１０は、ＶＲ体験中の各種情報を、触覚としてユーザにフィードバックさせてもよい。また、コンピュータ１０は、ＨＭＤ１６に、手のモデル１４Ａとピペットデバイスモデル１２Ａの他、ピペットデバイスの適正操作を促す等の操作支援情報を表示することもできる。コンピュータ１０は、ＶＲを利用したアプリケーションプログラムを実行して、センサからの信号に基づいて、仮想的な安全キャビネット内で手のモデル１４Ａがピペットデバイスモデルを把持している映像（図３）を、ＨＭＤ１６を介してユーザに再現する。ピペットデバイスモデル１２Ａのデフォルトデータ、そして、手のモデル１４Ａのデフォルトデータは、夫々のローカル座標に基づいて定義され、かつ、メモリ２２、又は、補助記憶装置２４に保存されている。コントローラ２０はセンサ情報とデフォルトデータに基づいて、モデルの特徴データ（位置、姿勢）を算出する。 The pipette device 12 and the glove device 14 may be equipped with a vibration function, and the computer 10 may provide the user with tactile feedback of various information during the VR experience. The computer 10 may also display on the HMD 16 the hand model 14A and the pipette device model 12A, as well as operation support information such as information to encourage proper operation of the pipette device. The computer 10 executes an application program using VR, and reproduces to the user via the HMD 16, based on a signal from the sensor, an image (FIG. 3) of the hand model 14A holding the pipette device model in a virtual safety cabinet. The default data of the pipette device model 12A and the default data of the hand model 14A are defined based on their respective local coordinates, and are stored in the memory 22 or the auxiliary storage device 24. The controller 20 calculates the feature data (position, posture) of the model based on the sensor information and the default data.

コンピュータ１０は、ユーザが対象を操作できる状態、換言すれば、ユーザが対象の操作準備状態になったことを判定して、ユーザモデルの操作対象モデルに対する配置を調整してユーザモデルと操作対象モデルとの間のずれを解消し、故に、ユーザの違和感の改善を図るようにしている。この実施形態において、コンピュータは、ユーザがピペットデバイス１２を操作できる状態を、ユーザがピペットデバイス１２を把持していることとして判定する。 The computer 10 determines that the user is in a state where he or she can operate the target, in other words, that the user is ready to operate the target, and adjusts the position of the user model relative to the target model to eliminate the misalignment between the user model and the target model, thereby improving the sense of discomfort felt by the user. In this embodiment, the computer determines that the user is in a state where he or she can operate the pipette device 12 as the user holding the pipette device 12.

図４は、コンピュータ１０のソフトウェア資源の機能ブロック図である。コンピュータ１０のソフトウェア資源は、ユーザモデル設定モジュール１０１、操作対象モデル設定モジュール１０２とを備える。モジュール１０１は、グローブデバイス１４からのセンサ情報に基づいて手モデル１４Ａの位置と姿勢とを計算して手モデル１４Ａを設定し、手モデル１４Ａを仮想３次元空間にマッピングする。 Figure 4 is a functional block diagram of the software resources of computer 10. The software resources of computer 10 include a user model setting module 101 and an operation target model setting module 102. Module 101 calculates the position and posture of hand model 14A based on sensor information from glove device 14, sets hand model 14A, and maps hand model 14A into a virtual three-dimensional space.

操作対象モデル設定モジュール１０２は、ピペットデバイス１２からのセンサ情報に基づいてピペットデバイスモデル１２Ａの位置と姿勢とを計算してピペットデバイスモデル１２Ａを設定し、これを仮想３次元空間にマッピングする。 The operation target model setting module 102 calculates the position and orientation of the pipette device model 12A based on the sensor information from the pipette device 12, sets the pipette device model 12A, and maps it into a virtual three-dimensional space.

さらに、コントローラ１０は把持判定モジュール１０３を備える。把持判定モジュール１０３は、ユーザがピペットデバイス１２を把持しているか否かを判定する。把持のための判定には、ピペットデバイス１２にタッチセンサを設ける態様が例えばある。あるいは、把持判定モジュール１０３は、メモリ２２に予め登録されている、把持のための典型的、或いは、最適な姿勢の手モデル（典型的モデル１０４：図３の形態の手モデル）のデータ（姿勢）を読み込み、グローブデバイス１４のセンサデータに基づいて設定した手モデル１４Ａのデータを、ピペットデバイス１２のセンサデータに基づいて設定したピペットデバイスモデル１２Ａのデータの相対座標系に変換した結果と、典型的モデル１０４のデータとを比較する。この比較については後述する。 The controller 10 further includes a grip determination module 103. The grip determination module 103 determines whether or not the user is gripping the pipette device 12. For example, the grip determination module 103 may provide a touch sensor on the pipette device 12. Alternatively, the grip determination module 103 reads data (posture) of a hand model (typical model 104: hand model in the form of FIG. 3) with a typical or optimal posture for gripping, which is preregistered in the memory 22, and compares the data of the hand model 14A set based on the sensor data of the glove device 14 with the data of the pipette device model 12A set based on the sensor data of the pipette device 12, converted into a relative coordinate system, with the data of the typical model 104. This comparison will be described later.

コンピュータ１０は、さらに、把持の有無の判定結果１０５と、ピペットデバイスモデル１２Ａと、手モデル１４Ａとに基づいて、ユーザモデル（手モデル）１４Ａが操作対象モデル（ピペットデバイスモデル）１２Ａを把持している複合モデルにおいて、ユーザモデル（手モデル）１４Ａの操作対象モデル（ピペットデバイスモデル）１２Ａに対する配置の調整を実行する調整モジュール１０８を備える。 The computer 10 further includes an adjustment module 108 that adjusts the position of the user model (hand model) 14A relative to the operation target model (pipette device model) 12A in a composite model in which the user model (hand model) 14A is gripping the operation target model (pipette device model) 12A, based on the grasping presence/absence determination result 105, the pipette device model 12A, and the hand model 14A.

さらにコンピュータ１０は調整モジュール１０８の結果を受けて、仮想空間の複合モデルに基づいてＶＲ処理を実行するＶＲモジュール１１１を備える。ＶＲモジュール１１１は、ＨＭＤ１６のセンサ情報（視点位置、視線方向）に基づいて、仮想空間の複合モデルを視点座標系に変換した後レンダリングを実行し、さらに、ＨＭＤ１６の表示パネル用のフレームバッファに画像情報をロードする。 The computer 10 further includes a VR module 111 that receives the results of the adjustment module 108 and executes VR processing based on the composite model of the virtual space. The VR module 111 converts the composite model of the virtual space into a viewpoint coordinate system based on the sensor information (viewpoint position, line of sight direction) of the HMD 16, and then performs rendering, and further loads image information into a frame buffer for the display panel of the HMD 16.

ＨＭＤは画像情報に基づいて、表示パネルにＶＲ映像１６Ａを表示する。既述の図３は手のモデルがピペットモデルを把持しているＶＲ映像の一例である。ＶＲモジュール１１１は、仮想空間内に複合モデルを含めたシミュレーション環境を再現し、所定の視点から仮想空間内の安全キャビネ内部構造と複合モデルとを撮影した動画像（ＶＲ映像１６Ａ）をユーザに提供する。 The HMD displays VR image 16A on the display panel based on the image information. Figure 3 mentioned above is an example of a VR image in which a hand model is holding a pipette model. The VR module 111 reproduces a simulation environment including a composite model in a virtual space, and provides the user with a moving image (VR image 16A) that captures the internal structure of the safety cabinet and the composite model in the virtual space from a specified viewpoint.

モジュールとは、コントローラがプログラムを実行することによって実現される機能の単位であって、手段、ユニット、処理、部、機能、エレメント等他の関連用語によって、言い換えられてもよい。モジュールの一部又は全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。プログラム、テーブル、ファイル等の情報は、ハードディスクドライブ、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣ（Integrated Circuit）カード、ＳＤ（Secure Digital）メモリカード、ＤＶＤ（Digital Versatile Disc）等の可搬型或いは非可搬型記録媒体に記録しておくことができる。補助記憶装置には、安全キャビネット等シミュレーション環境のための３次元データが予め記録されている。 A module is a unit of function that is realized by the controller executing a program, and may be referred to by other related terms such as means, unit, process, part, function, element, etc. A part or all of a module may be realized in hardware, for example, by designing it as an integrated circuit. Information such as programs, tables, files, etc. may be recorded in a recording device such as a hard disk drive or SSD (Solid State Drive), or in a portable or non-portable recording medium such as an IC (Integrated Circuit) card, SD (Secure Digital) memory card, or DVD (Digital Versatile Disc). Three-dimensional data for a simulation environment such as a safety cabinet is pre-recorded in the auxiliary storage device.

ユーザはシミュレーションを開始する際、頭部にＨＭＤ１６を装着し、そして、利き手にあるいは両手にグローブデバイス１４を装着する。次いで、ＨＭＤ１６は、ユーザに安全キャビネット内のピペットデバイス１２を持つことを促すメッセージを表示する。この時のメッセージは、図３のモデル図を表示しながら、“ピペットデバイスを表示しているように持ってください”といった類でよい。ユーザはＨＭＤ１６を介して、安全キャビネット内に置かれているピペットデバイスを認識することができる。ユーザがＨＭＤを被ったまま、ピペットデバイスを視認し易いように、ＨＭＤを透過型液晶タイプのものにしてもよい。なお、安全キャビネット内の試薬、検体、フラスコ、チューブ等の検体/試薬容器等の関連備品は、仮想環境によって疑似的にユーザに提供されるために、不要である。コントローラ２０は把持判定モジュール１０３と調整モジュール１０８とを動作させる。 When starting a simulation, the user wears the HMD 16 on his/her head and the glove device 14 on his/her dominant hand or both hands. Next, the HMD 16 displays a message encouraging the user to hold the pipette device 12 in the safety cabinet. The message may be something like "Please hold the pipette device as shown" while displaying the model diagram of FIG. 3. The user can recognize the pipette device placed in the safety cabinet through the HMD 16. The HMD may be a transparent liquid crystal type so that the user can easily view the pipette device while wearing the HMD. Note that related equipment such as reagents, specimens, flasks, tubes, and other specimen/reagent containers in the safety cabinet are not necessary because they are provided to the user in a simulated manner by the virtual environment. The controller 20 operates the grip determination module 103 and the adjustment module 108.

次に、把持判定モジュール１０３と調整モジュール１０８の動作の詳細について説明する。図５は、ユーザがピペットデバイスを実際には把持しているものの、センサ情報に基づいて仮想空間にマッピングされた複合モデルにおいては、手モデル１４Ａがピペットデバイスモデル１２Ａの下方にずれて(４００)、ピペットデバイスモデル１２Ａのボタンから指が離れてしまっていることを示している。ユーザにとっては、実際には、ピペットデバイス１２を把持している筈が、ＶＲ映像１６Ａではそのようになっていないことに、違和感を持たざるを得ない。コンピュータ１０は、この違和感を解消するために、複合モデルに於けるずれの解消を目的として、ピペットデバイスモデル１２Ａおよび手モデル１４Ａの配置を調整する。調整は、補正、変更、修正、そして、訂正を含む。 Next, the operation of the grip determination module 103 and the adjustment module 108 will be described in detail. FIG. 5 shows that, although the user is actually gripping the pipette device, in the composite model mapped to the virtual space based on the sensor information, the hand model 14A is shifted below the pipette device model 12A (400), and the fingers are removed from the button of the pipette device model 12A. The user cannot help but feel uncomfortable because, in reality, the pipette device 12 is supposed to be gripped, but this is not the case in the VR image 16A. In order to eliminate this sense of incongruity, the computer 10 adjusts the position of the pipette device model 12A and the hand model 14A to eliminate the misalignment in the composite model. Adjustment includes correction, modification, modification, and amendment.

図６は、把持判定モジュール１０３の動作の詳細を示すフローチャートである。このフローチャートは、ユーザがピペットデバイス１２を把持しているか否かを判定するためのものであり、コントローラ２０は、このフローチャートを所定時間毎に繰り返し実行する。既述のとおり、把持判定モジュール１０３は、センサデータに基づいて設定した手のモデル１４Ａの特徴（姿勢）を、センサデータに基づいて設定したピペットデバイスモデル１２Ａの相対座標系に変換し、その結果を、手の典型的モデル１４Ｂ（図７）の特徴と比較して、同じか、近い場合に、ユーザはピペットデバイス１２を正しく把持している、と決定する。 Figure 6 is a flowchart showing the details of the operation of the grip determination module 103. This flowchart is for determining whether or not the user is gripping the pipette device 12, and the controller 20 repeatedly executes this flowchart at predetermined time intervals. As described above, the grip determination module 103 converts the features (posture) of the hand model 14A set based on the sensor data into the relative coordinate system of the pipette device model 12A set based on the sensor data, compares the result with the features of the typical hand model 14B (Figure 7), and if they are the same or close, determines that the user is gripping the pipette device 12 correctly.

この比較は例えば次の様にして行われる。把持判定モジュール１０３は、センサからの実測値に基づいて設定した手のモデル１４Ａをピペットデバイスモデル１２Ａのローカル座標系に変換して、図７（１）に示す様に、手のモデル１４Ａがピペットデバイスモデル１２Ａを把持している姿勢位置に実測モデル（手のモデル）１４Ａを配置する。同様に、把持判定モジュール１０３は、図７（２）に示す様に、手の典型的モデル１４Ｂを典型的ピペットデバイスモデル１２Ａのローカル座標系に変換して、手の典型的モデル１４Ｂがピペットデバイスモデル１２Ａを把持している姿勢位置に典型的モデル１４Ｂを配置する。 This comparison is performed, for example, as follows. The grip determination module 103 converts the hand model 14A set based on actual measurements from the sensor into the local coordinate system of the pipette device model 12A, and places the actual measurement model (hand model) 14A in the posture position where the hand model 14A is gripping the pipette device model 12A, as shown in FIG. 7 (1). Similarly, the grip determination module 103 converts the typical hand model 14B into the local coordinate system of the typical pipette device model 12A, and places the typical hand model 14B in the posture position where the typical hand model 14B is gripping the pipette device model 12A, as shown in FIG. 7 (2).

把持判定モジュール１０３は、典型的モデル１４Ｂと実測モデル１４Ａとの間で、両者の姿勢距離を算出する（Ｓ６００）。姿勢距離の算出は、例えば、図７（３）に示す様に、二つのモデル間で対応する関節同士の距離（Ｌ）を算出し、そして、全ての関節の距離の二乗和を合計して総和を求めることによって行う。手の典型的なモデルにおける関節の座標をＰｊ（ｊ（１≦ｊ≦ｎ、ｎ：全関節数））とし、センサデータから計算した手のモデルにおいて、Ｐｊの関節に対応する、関節の座標をＱｊ（ｊ（１≦ｊ≦ｎ、ｎ：全関節数））とすると、既述の総和（姿勢距離：ｄ）は、
ｄ＝Σ^ｎ _ｊ｜Ｐｊ-Ｑｊ｜²
で定義される。なお、対応する関節間で、距離の算出に代えて角度の差分を算出してもよく、又は、両方を合わせてもよい。 The grip determination module 103 calculates the posture distance between the typical model 14B and the measured model 14A (S600). The posture distance is calculated, for example, as shown in FIG. 7(3), by calculating the distance (L) between corresponding joints between the two models and then adding up the squared sums of the distances of all the joints to obtain a total sum. If the coordinates of a joint in a typical hand model are Pj (j (1≦j≦n, n: total number of joints)), and the coordinates of a joint corresponding to the joint of Pj in the hand model calculated from the sensor data are Qj (j (1≦j≦n, n: total number of joints)), the above-mentioned total sum (posture distance: d) is expressed as follows:
d = Σ ⁿ _j |Pj-Qj| ²
It should be noted that between corresponding joints, the difference in angle may be calculated instead of the calculation of the distance, or both may be combined.

次いで、把持判定モジュール１０３は、姿勢距離の差分（ｄ）をａ、ｂ（ａ≦ｂ）と比較する（Ｓ６０２）。ａは、把持判定用閾値であって、差分（ｄ）がａ以下の場合には、実測モデル１２Ａの関節位置が典型的モデル１２Ｂの関節位置に近いために、両者のモデルの姿勢が実質的に同一であるといえ、これによって、把持判定モジュール１０３は、ユーザがピペットデバイス１２を実際に正しく把持していると判定する。 Next, the grip determination module 103 compares the difference (d) in the posture distance with a, b (a≦b) (S602). a is a threshold for grip determination, and if the difference (d) is equal to or less than a, the joint positions of the measured model 12A are close to the joint positions of the typical model 12B, so that the postures of the two models are substantially the same. As a result, the grip determination module 103 determines that the user is actually gripping the pipette device 12 correctly.

ｂは、非把持判定用閾値であって、差分（ｄ）が、ｂ以上の場合には、実測モデル（ピペットデバイス）１２Ａの関節位置が典型的モデル１２Ｂの関節位置から離れているため、把持判定モジュール１０３は、ユーザがピペットデバイス１２をまだ把持していない、あるいは、ユーザがピペットの把持をリリースしたと判定する。なお、ｂがａより大きいのは、ｂがａと同じであると、把持と非把持の切替えがＶＲ映像１６Ａにおいて過敏になり、これを防ぐためである。なお、ｂ＝ａであることを妨げない。 b is the threshold for non-grasping judgment, and if the difference (d) is greater than or equal to b, the joint position of the actual model (pipette device) 12A is far from the joint position of the typical model 12B, and the grasping judgment module 103 judges that the user is not yet grasping the pipette device 12, or that the user has released his/her grasp of the pipette. Note that b is greater than a because, if b is the same as a, the switching between grasping and non-grasping becomes too sensitive in the VR image 16A, and this is to prevent this. Note that there is no prohibition on b=a.

把持判定モジュール１０３が、ｄ≦ａを判定すると（Ｓ６０２）、把持フラグ（Ｆ１）の値に１を設定する（Ｓ６０４）。Ｆ１は、ユーザがピペットデバイス１２を把持しているか否かの制御情報であって、メモリ２２の所定領域に設定されている。“Ｆ１＝１”は把持を、“Ｆ１＝０”は非把持を示す。 When the grip determination module 103 determines that d≦a (S602), it sets the value of the grip flag (F1) to 1 (S604). F1 is control information indicating whether or not the user is gripping the pipette device 12, and is set in a predetermined area of the memory 22. "F1=1" indicates gripping, and "F1=0" indicates not gripping.

把持判定モジュール１０３がｄ≧ｂを判定すると（Ｓ６０６）、把持フラグ（Ｆ１）の値を０にリセットする（Ｓ６０８）。なお、ＶＲプログラムがスタートした時点では、Ｆ１は０（非把持）に設定されている。ａ＜ｄ＜ｂの場合には把持フラグ（Ｆ１）の値は変更されない。これにより、前述のように、把持と非把持の切り替えが過敏になることを防ぐことが可能である。 When the grasping determination module 103 determines that d≧b (S606), it resets the value of the grasping flag (F1) to 0 (S608). Note that when the VR program starts, F1 is set to 0 (non-grasping). If a<d<b, the value of the grasping flag (F1) is not changed. This makes it possible to prevent the switching between grasping and non-grasping from becoming too sensitive, as described above.

図８は、調整モジュール１０８の動作の詳細を示すフローチャートである。コンピュータ１０は、このフローチャートを所定時間毎に繰り返し実行する。図５は手モデル１４Ａとピペットデバイスモデル１２Ａとの間にずれが存在する斜視図を示している。調整モジュール１０８は、後述するようにこのずれを解消する。 Figure 8 is a flowchart showing the details of the operation of the adjustment module 108. The computer 10 repeatedly executes this flowchart at predetermined time intervals. Figure 5 shows a perspective view in which there is a misalignment between the hand model 14A and the pipette device model 12A. The adjustment module 108 eliminates this misalignment as described below.

コントローラ２０は、図６のフローチャートを実行することによって、対象の操作可能状態（把持）の判定フラグ（Ｆ１）を決定する。コントローラ２０は調整モジュール１０８を実行して、このフラグに基づいて、ずれを解消するための処理を実行する。 The controller 20 executes the flowchart of FIG. 6 to determine the judgment flag (F1) for the operable state (grasping) of the target. The controller 20 executes the adjustment module 108 and performs processing to eliminate the misalignment based on this flag.

調整モジュール１０８は、Ｆ１をチェックして、Ｆ１＝１を判定すると（Ｓ８００：Ｙ）、手モデル１４Ａの代表位置を算出する（Ｓ８０２）。代表位置とは、図９に示すように手モデル１４Ａとピペットデバイスモデル１２Ａとの接触に重要な点であり、コントローラ２０は、あらかじめ手モデル１４Ａに設定しておく。図９では、代表点Ｓ_１は中指の先端位置であり、代表点Ｓ_２は人差し指の先端位置、代表点Ｓ_３は手のひら上の点である。コントローラ２０は、手モデル１４Ａの画像を特徴分析して、これら代表点を認識する。 The adjustment module 108 checks F1 and, when it determines that F1=1 (S800: Y), calculates the representative position of the hand model 14A (S802). The representative position is an important point for contact between the hand model 14A and the pipette device model 12A as shown in Fig. 9, and the controller 20 sets it in advance on the hand model 14A. In Fig. 9, the representative point _S1 is the tip position of the middle finger, the representative point _S2 is the tip position of the index finger, and the representative point _S3 is a point on the palm. The controller 20 recognizes these representative points by analyzing the characteristics of the image of the hand model 14A.

次に調整モジュール１０８は拘束条件を算出する（Ｓ８０４）。図９に示すように代表点Ｓ_１は対応するピペットデバイスモデル１２Ａの第２ボタン位置Ｔ_１と一致する必要がある。同様に代表点Ｓ_２は対応するピペットデバイスモデル１２Ａの第１ボタン位置Ｔ_２と一致する必要がある。さらに、代表点Ｓ_３はピペットデバイスモデル１２Ａの表面上に位置する必要がある。以上がＳ８０４で算出された拘束条件である。 Next, the adjustment module 108 calculates the constraint conditions (S804). As shown in Fig. 9, the representative point _S1 must coincide with the second button position _T1 of the corresponding pipette device model 12A. Similarly, the representative point _S2 must coincide with the first button position _T2 of the corresponding pipette device model 12A. Furthermore, the representative point _S3 must be located on the surface of the pipette device model 12A. These are the constraint conditions calculated in S804.

次に、調整モジュール１０８は拘束条件の解法を行う（Ｓ８０６）。この解法は公知の逆運動学を用いて実行できる。すなわち、調整モジュール１０８は、Ｓ_１，Ｓ_２、Ｔ_１、Ｔ_２の位置拘束、Ｓ_３が表面上に存在するという位置拘束を満たす手モデル１４Ａの位置姿勢、手モデル１４Ａの関節角度、ピペットデバイスモデル１２Ａの位置姿勢を求める。 Next, the adjustment module 108 solves the constraint conditions (S806). This solution can be performed using known inverse kinematics. That is, the adjustment module 108 calculates the position and orientation of the hand model 14A, the joint angles of the hand model _14A , and the position and orientation of the pipette device model 12A that satisfy the position constraints of _S1 , _S2 , _T1 , and T2, and the position constraint that _S3 exists on the surface.

Ｓ８０６において、調整モジュール１０８は、手モデル１４Ａとピペットデバイスモデル１２Ａとの少なくとも一方の配置を調整する。ここで、手モデル１４Ａの位置姿勢、ピペットデバイスモデル１２Ａの位置姿勢については、どちらを優先的に変更するかを指定することが可能である。例えば、手モデル１４Ａの位置姿勢を優先的に変更する場合にはピペットデバイスモデル１２Ａの位置姿勢は変更しないで、手モデル１４Ａの位置姿勢を変更できる。逆に、手モデル１４Ａの位置姿勢を優先することも可能である。 In S806, the adjustment module 108 adjusts the position of at least one of the hand model 14A and the pipette device model 12A. Here, it is possible to specify which of the position and posture of the hand model 14A or the pipette device model 12A is to be changed with priority. For example, when changing the position and posture of the hand model 14A with priority, the position and posture of the hand model 14A can be changed without changing the position and posture of the pipette device model 12A. Conversely, it is also possible to give priority to the position and posture of the hand model 14A.

調整は、１フレームで完了される場合の他、複数のフレームを跨いでもよい。これは、１フレームで調整を完了させるとＨＭＤ１６に表示される手モデルやピペットデバイスモデルの位置が急激に変化するために、使用者に不自然な感覚を生じさせることを防ぐためである。調整モジュール１０８は複数のフレームの間、ずれが解消されるまで、調整を継続する。このためには、拘束条件の解法（Ｓ８０６）において、手モデル１４Ａの位置姿勢、手モデル１４Ａの関節角度、ピペットデバイスモデル１２Ａの位置姿勢の変化量があらかじめ設定された閾値よりも大きい場合には、その閾値に変化量を制限することで実現できる。 The adjustment may be completed in one frame or may span multiple frames. This is to prevent the user from feeling unnatural because completing the adjustment in one frame would cause the positions of the hand model and pipette device model displayed on the HMD 16 to change suddenly. The adjustment module 108 continues the adjustment over multiple frames until the deviation is eliminated. To achieve this, in solving the constraint conditions (S806), if the amount of change in the position and posture of the hand model 14A, the joint angles of the hand model 14A, and the position and posture of the pipette device model 12A is greater than a preset threshold, the amount of change can be limited to the threshold.

既述の実施形態は、ユーザが安全キャビネット内で電動ピペッタを操作することをシミュレートするコンピュータシステムであったが、これに限らず、ユーザが工場内で工作器具を操作するなど、器具の操作にユーザの経験やスキルを要する現場作業をシミュレートすることにも本発明を適用することができる。 The embodiment described above is a computer system that simulates a user operating an electric pipetter in a safety cabinet, but the present invention is not limited to this and can also be applied to simulating on-site work in which the user operates a tool in a factory, which requires the user's experience and skill to operate the tool.

既述の実施形態では、センサによって位置と姿勢を検出したが、これらをカメラによって検出してもよい。また、手の大きさをカメラ等によって検出し、手の大きさを手のモデルの姿勢、位置に反映させてもよい。 In the embodiment described above, the position and orientation are detected by a sensor, but they may also be detected by a camera. Also, the size of the hand may be detected by a camera or the like, and the size of the hand may be reflected in the orientation and position of the hand model.

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。 The present invention is not limited to the above-described embodiments, but includes various modified examples. For example, the above-described embodiments have been described in detail to clearly explain the present invention, and are not necessarily limited to those having all of the configurations described. It is also possible to replace part of the configuration of one embodiment with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of one embodiment. It is also possible to add, delete, or replace part of the configuration of each embodiment with other configurations.

１シミュレーションシステム
１０コンピュータ
１２ピペットデバイス（第１の装置）
１４グローブデバイス（第２の装置）
１６ＨＭＤ（表示装置）
２０コントローラ
２２メモリ 1 Simulation system 10 Computer 12 Pipette device (first device)
14 Glove device (second device)
16 HMD (Display Device)
20 Controller 22 Memory

Claims

コンピュータがバーチャルリアリティによって、ユーザによる対象の操作をシミュレートするシステムにおいて、
前記コンピュータは、
コントローラと、
メモリと、
を備え、
前記コントローラは、前記メモリに記録されたバーチャルリアリティプログラムを実行して、
前記対象を操作するユーザの情報を第１の装置から取り込み、当該ユーザの情報に基づいて前記ユーザのモデルを設定し、
前記対象の情報を第２の装置から取り込み、当該対象の情報に基づいて前記対象のモデルを設定し、
前記ユーザのモデルの特徴に基づいて、当該ユーザのモデルを仮想空間に配置し、
前記対象のモデルの特徴に基づいて、当該対象のモデルを前記仮想空間に配置し、
前記ユーザによる前記対象の操作を判定し、
当該判定に基づいて、前記仮想空間に於ける、前記ユーザのモデルおよび前記対象のモデルの配置を調整し、
前記仮想空間の前記ユーザのモデルと前記対象のモデルとを仮想視点から撮像した画像を表示装置に出力する、
シミュレーションシステムであって、
前記コントローラは、
前記ユーザが前記対象を把持したことに基づいて、当該ユーザによる当該対象の操作を判定し、
前記ユーザによる前記対象の把持を、前記ユーザのモデル及び前記対象のモデルと、典型的モデルとの比較に基づいて判定し、当該典型的モデルは、前記ユーザが前記対象を把持する当該ユーザのモデルであり、予め、前記メモリに記録され、
さらに、前記コントローラは、
前記ユーザのモデル及び前記対象のモデルと、前記典型的モデルとを、位置と姿勢の少なくとも一つにおいて比較し、
前記比較の結果、前記ユーザのモデル及び前記対象のモデルと、前記典型的モデルと、の特徴量の差分を求め、
当該差分に基づいて、前記ユーザが前記対象を把持していることを判定する、
シミュレーションシステム。 In a system in which a computer uses virtual reality to simulate the operation of an object by a user,
The computer includes:
A controller;
Memory,
Equipped with
The controller executes a virtual reality program stored in the memory,
acquiring information about a user who operates the object from a first device, and setting a model of the user based on the information about the user;
acquiring information of the object from a second device and establishing a model of the object based on the information of the object;
placing a model of the user in a virtual space based on features of the model of the user;
placing a model of the object in the virtual space based on the characteristics of the model of the object;
determining an operation of the object by the user;
adjusting a position of the model of the user and a model of the object in the virtual space based on the determination;
outputting, to a display device, an image of the user model and the target model in the virtual space captured from a virtual viewpoint;
1. A simulation system comprising:
The controller:
determining an operation of the target by the user based on the user's gripping of the target;
determining a grip of the object by the user based on a comparison of a model of the user and a model of the object with a typical model, the typical model being a model of the user gripping the object by the user, the typical model being previously stored in the memory;
Further, the controller
comparing the model of the user and the model of the object with the representative model in terms of at least one of position and pose ;
As a result of the comparison, differences in feature amounts between the user model and the target model and the typical model are obtained;
determining whether the user is gripping the object based on the difference;
Simulation system.

前記ユーザのモデルが当該ユーザの手のモデルであり、
前記対象のモデルが前記ユーザによって把持される器具のモデルであり、
前記コントローラは、
前記手のモデルが前記器具のモデルを操作可能な位置と姿勢で表示されるように、前記仮想空間に於ける、前記手のモデル及び前記器具のモデルの配置を調整する、
請求項１記載のシミュレーションシステム。 the model of the user is a model of the user's hand;
the model of the object is a model of an instrument held by the user;
The controller:
adjusting the placement of the hand model and the tool model in the virtual space so that the hand model is displayed at a position and posture capable of manipulating the tool model;
The simulation system according to claim 1 .

前記コントローラは、
前記仮想空間に於ける、前記手のモデルと前記器具のモデルとのずれが解消されるように、前記手のモデルおよび前記器具のモデルの配置を調整する、
請求項２記載のシミュレーションシステム。 The controller:
adjusting the positions of the hand model and the tool model in the virtual space so as to eliminate any misalignment between the hand model and the tool model;
The simulation system according to claim 2 .

前記ユーザのモデルが当該ユーザの手のモデルであり、
前記コントローラは、前記第１の装置から入力された情報に基づいて設定された手のモデルの指関節と前記典型的モデルである手のモデルの指関節との間の距離を、前記特徴量の差分とする、
請求項１記載のシミュレーションシステム。 the model of the user is a model of the user's hand;
the controller determines a distance between a finger joint of a hand model set based on information input from the first device and a finger joint of the hand model that is the representative model as a difference in the feature amount;
The simulation system according to claim 1 .

前記コントローラは、前記ユーザが前記対象を把持していることを判定すると、前記ユーザのモデルと前記対象のモデルとの間の拘束条件の解法を実行し、当該解法の結果に基づいて、前記ユーザのモデルと前記対象のモデルとのずれが解消されるように、両方のモデルの配置を調整する、
請求項１のシミュレーションシステム。 When the controller determines that the user is gripping the target, the controller executes a solution of a constraint condition between the model of the user and the model of the target, and adjusts the arrangement of both models based on a result of the solution so as to eliminate a deviation between the model of the user and the model of the target.
The simulation system of claim 1 .

コンピュータがバーチャルリアリティによって、ユーザによる対象の操作をシミュレートする方法であって、
前記コンピュータは、
メモリに記録されたバーチャルリアリティプログラムを実行して、
前記対象を操作するユーザの情報を第１の装置から取り込み、当該ユーザの情報に基づいて前記ユーザのモデルを設定し、
前記対象の情報を第２の装置から取り込み、当該対象の情報に基づいて前記対象のモデルを設定し、
前記ユーザのモデルの特徴に基づいて、当該ユーザのモデルを仮想空間に配置し、
前記対象のモデルの特徴に基づいて、当該対象のモデルを前記仮想空間に配置し、
前記ユーザによる前記対象の操作を判定し、
当該判定に基づいて、前記仮想空間に於ける、前記ユーザのモデルおよび前記対象のモデルの配置を調整し、
前記仮想空間の前記ユーザのモデルと前記対象のモデルとを仮想視点から撮像した画像を表示装置に出力する、
シミュレーション方法であって、
前記コンピュータは、
前記ユーザが前記対象を把持したことに基づいて、当該ユーザによる当該対象の操作を判定し、
前記ユーザによる前記対象の把持を、前記ユーザのモデル及び前記対象のモデルと、典型的モデルとの比較に基づいて判定し、当該典型的モデルは、前記ユーザが前記対象を把持する当該ユーザのモデルであり、予め、前記メモリに記録され、
さらに、前記コンピュータは、
前記ユーザのモデル及び前記対象のモデルと、前記典型的モデルとを、位置と姿勢の少なくとも一つにおいて比較し、
前記比較の結果、前記ユーザのモデル及び前記対象のモデルと、前記典型的モデルと、の特徴量の差分を求め、
当該差分に基づいて、前記ユーザが前記対象を把持していることを判定する、
シミュレーション方法。 1. A method for simulating manipulation of an object by a user in virtual reality by a computer, comprising:
The computer includes:
Execute the virtual reality program stored in the memory,
acquiring information about a user who operates the object from a first device, and setting a model of the user based on the information about the user;
acquiring information of the object from a second device and establishing a model of the object based on the information of the object;
placing a model of the user in a virtual space based on features of the model of the user;
placing a model of the object in the virtual space based on the characteristics of the model of the object;
determining an operation of the object by the user;
adjusting a position of the model of the user and a model of the object in the virtual space based on the determination;
outputting, to a display device, an image of the user model and the target model in the virtual space captured from a virtual viewpoint;
1. A simulation method , comprising:
The computer includes:
determining an operation of the target by the user based on the user's gripping of the target;
determining a grip of the object by the user based on a comparison of a model of the user and a model of the object with a typical model, the typical model being a model of the user gripping the object by the user, the typical model being previously stored in the memory;
Furthermore, the computer
comparing the model of the user and the model of the object with the representative model in terms of at least one of position and pose ;
As a result of the comparison, differences in feature amounts between the user model and the target model and the typical model are obtained;
determining whether the user is gripping the object based on the difference;
Simulation method.