JP2020135845A - Position data processor and program - Google Patents
Position data processor and program Download PDFInfo
- Publication number
- JP2020135845A JP2020135845A JP2019161986A JP2019161986A JP2020135845A JP 2020135845 A JP2020135845 A JP 2020135845A JP 2019161986 A JP2019161986 A JP 2019161986A JP 2019161986 A JP2019161986 A JP 2019161986A JP 2020135845 A JP2020135845 A JP 2020135845A
- Authority
- JP
- Japan
- Prior art keywords
- anchor
- virtual space
- position data
- data processing
- determined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、現実空間における位置データを仮想空間における位置データに変換する技術に関する。 The present invention relates to a technique for converting position data in real space into position data in virtual space.
近年、例えばＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を装着した演者の身体の動きから生成したＭＣ（Ｍｏｔｉｏｎ Ｃａｐｔｕｒｅ）データを利用して、演者に追従して動くオブジェクト、いわゆるアバターのアニメーションを生成し、観客の端末へインターネット経由で生配信することが知られている。このＭＣデータは、例えば、演者の身体に取り付けられたマーカーを複数のカメラにより撮影することで得られた複数の画像からマーカーの位置を検出することで生成されたり（光学式）、演者が装着するＨＭＤなどに搭載されたジャイロセンサおよび／または加速度センサなどの慣性センサの計測結果に基づいて、それぞれのセンサの位置姿勢を算出することで生成されたりする（慣性センサ式）。 In recent years, for example, using MC (Motion Capture) data generated from the movement of the body of a performer wearing an HMD (Head Mounted Display), an animation of an object that moves following the performer, a so-called avatar, is generated and a terminal of the audience. It is known to be delivered live via the Internet. This MC data is generated, for example, by detecting the position of the marker from a plurality of images obtained by photographing the marker attached to the performer's body with a plurality of cameras (optical type), or is worn by the performer. It is generated by calculating the position and orientation of each sensor based on the measurement results of an inertial sensor such as a gyro sensor and / or an acceleration sensor mounted on an HMD or the like (inertia sensor type).
しかしながら、演者の体格（特に、身体のプロポーション）と、そのアバターの体格とは必ずしも一致しない。例えば、アバターは、演者に比べて腕や脚が長かったり短かったり、頭部や胴部が大きかったり小さかったりすることがあり得る。このような場合に、ＭＣデータに忠実にアバターの姿勢を決定すると、例えば演者が手で顔を触る姿勢を取っている時に、アバターの手や前腕が頭部に埋没する、または逆に届いていない、というようにアバターの姿勢が演者の意図と異なるものとなることがある。故に、演者は従来、意図した姿勢をアバターに取らせるために、アバターをこまめに確認しながら、または感覚に頼って、自らの姿勢を調整する必要があった。 However, the physique of the performer (especially the proportions of the body) does not always match the physique of the avatar. For example, an avatar may have longer or shorter arms and legs, and a larger or smaller head or torso than the performer. In such a case, if the posture of the avatar is determined faithfully to the MC data, for example, when the performer is in the posture of touching the face with his hands, the hands and forearms of the avatar are buried in the head, or vice versa. The attitude of the avatar may be different from the performer's intention, such as no. Therefore, performers have traditionally had to adjust their posture while checking the avatar diligently or relying on their senses in order for the avatar to take the intended posture.
特許文献１には、「モーションキャプチャー装置によってアバターを動作させ、且つ、所定条件に該当する場合には生成動作でアバターを動作させ、より現実世界に合致した自然な動作を実現する」（要約書）と記載されている。具体例として、［００２９］には、「入力姿勢から、利用者が行っているしぐさが所定条件（例えば、歩きの身ぶり、走るの身ぶり、早歩きの身ぶり、泳ぐ、登る、飛ぶ、よける、しゃがむ、振り返る等の能動的動作）に該当することを判別したとき、適切な動作を生成し、生成動作に追従制御する」および「このとき、生成動作にアバターを完全に追従させるのではなく、入力姿勢への追従制御の比率を適切に制御することで、例えば、歩きながら手を振ったり等の、生成動作と利用者の動作を同時に実行させることができる」と記載されている。 Patent Document 1 states, "The avatar is operated by a motion capture device, and when a predetermined condition is met, the avatar is operated by a generation operation to realize a natural operation that more closely matches the real world" (Abstract). ) Is described. As a specific example, in [0029], "from the input posture, the gesture performed by the user is a predetermined condition (for example, walking gesture, running gesture, fast walking gesture, swimming, climbing, flying, avoiding," When it is determined that it corresponds to (active movements such as crouching and looking back), an appropriate movement is generated and the generated movement is controlled to follow. "And" At this time, the avatar is not completely followed by the generated movement. By appropriately controlling the ratio of the follow-up control to the input posture, it is possible to simultaneously execute the generation operation and the user's operation, such as waving a hand while walking. "
また、特許文献２には、「操作者のスケルトン情報を利用した多様な画像を生成する」（［０００６］）ための技法が提供されている。具体的には、［０００８］によれば、体格等が異なる多様な操作者に対応するために、操作者のスケルトン情報で表されるスケルトンの骨の位置情報について補正処理を行い、補正処理の結果に応じた画像を生成することが看取できる。例えば、大人のスケルトンが第１の状態（例えば、右手を上げるなどの姿勢状態）である時のオブジェクト（例えば右手オブジェクト）の表示位置と、子供が同じ姿勢状態である時のオブジェクトの表示位置とが同じ位置になるように補正処理が行われる（［００７４］）。さらに、操作者の位置（例えば肩）と所定部位（例えば手）に対応する関節との間の角度を用いて、オブジェクトの表示位置の補正処理を行うことも看取できる（［０１１８］）。 Further, Patent Document 2 provides a technique for "generating various images using the skeleton information of the operator" ([0006]). Specifically, according to [0008], in order to deal with various operators having different physiques and the like, correction processing is performed on the position information of the skeleton bone represented by the skeleton information of the operator, and the correction processing is performed. It can be seen that an image corresponding to the result is generated. For example, the display position of an object (for example, a right hand object) when the adult skeleton is in the first state (for example, a posture state such as raising the right hand) and the display position of the object when the child is in the same posture state. Is corrected so that the positions are the same ([0074]). Further, it can be seen that the correction processing of the display position of the object is performed by using the angle between the position of the operator (for example, the shoulder) and the joint corresponding to the predetermined part (for example, the hand) ([0118]).
特許文献１に記載の技法によれば、生成動作による追従制御を行うべき条件を逐一定義する必要があるが、演者の取り得るあらゆる姿勢について網羅的に条件を定義することは容易でない。加えて、生成動作と入力姿勢への追従制御との比率を適切に制御することは記載されているものの、入力姿勢への追従制御において演者およびアバターの体格のミスマッチは考慮されていないので、例えば歩きながら手を振る、という動作を実行させた場合に手が顔に埋没する／届かないなどの問題は依然として起こり得る。 According to the technique described in Patent Document 1, it is necessary to define the conditions for performing the follow-up control by the generation operation one by one, but it is not easy to comprehensively define the conditions for all possible postures of the performer. In addition, although it is described that the ratio between the generation motion and the control following the input posture is appropriately controlled, the mismatch between the physiques of the performer and the avatar is not taken into consideration in the control following the input posture. Problems such as the hands being buried / not reachable in the face can still occur when the action of waving while walking is performed.
また、特許文献２に記載の技法は、例えば手などのオブジェクトの表示位置を補正することで、操作者間の体格差によるゲームプレイの有利／不利が生まれるのを防止する（［０１０７］）という効果を奏する可能性はある。しかしながら、特許文献２においてその表示位置が補正されるのは、例えば図４（Ｂ）および図５（Ｂ）における左手オブジェクトＨＬおよび右手オブジェクトＨＲなどであって、アバターとなるキャラクタＣＨ１、ＣＨ２とは独立している。そして、特許文献２において、これらのキャラクタＣＨ１、ＣＨ２の姿勢の制御についての言及はない。 Further, the technique described in Patent Document 2 is said to prevent the advantage / disadvantage of game play due to the difference in body size between operators by correcting the display position of an object such as a hand ([0107]). It may be effective. However, in Patent Document 2, the display position is corrected, for example, the left-hand object HL and the right-hand object HR in FIGS. 4 (B) and 5 (B), and the characters CH1 and CH2 that are avatars are being independent. In Patent Document 2, there is no mention of controlling the attitudes of these characters CH1 and CH2.
本発明は、仮想空間内のオブジェクトに、その対応する現実空間内の対象体と同一または類似の印象を与える姿勢を取らせることを目的とする。 An object of the present invention is to make an object in a virtual space take a posture that gives an impression equal to or similar to an object in the corresponding real space.
本発明の一態様に係る位置データ処理装置は、データ取得部と、第１の位置決定部と、関係判定部と、第２の位置決定部とを含む。データ取得部は、第１の部位を有する対象体を含む１以上の物体の表面の現実空間における複数の位置データを取得する。第１の位置決定部は、複数の位置データに基づいて、第１の部位の位置と、現実空間に設定された１以上のアンカーの位置とを決定する。関係判定部は、第１の部位がアンカーの各々と所定の関係にあるか否かを第１の部位の位置およびアンカーの位置に基づいて判定する。第２の位置決定部は、第１の部位がアンカーのいずれかと所定の関係にあると判定された場合に、対象体に対応する仮想空間上の対象オブジェクトの有する第１の部位に対応する第２の部位の位置をアンカーの位置に対応する仮想空間内の位置に基づいて決定する。 The position data processing device according to one aspect of the present invention includes a data acquisition unit, a first position determination unit, a relationship determination unit, and a second position determination unit. The data acquisition unit acquires a plurality of position data in the real space on the surface of one or more objects including an object having a first portion. The first position determining unit determines the position of the first portion and the position of one or more anchors set in the real space based on the plurality of position data. The relationship determination unit determines whether or not the first portion has a predetermined relationship with each of the anchors based on the position of the first portion and the position of the anchor. The second positioning unit corresponds to the first part of the target object in the virtual space corresponding to the target body when it is determined that the first part has a predetermined relationship with any of the anchors. The position of the two parts is determined based on the position in the virtual space corresponding to the position of the anchor.
本発明によれば、仮想空間内のオブジェクトに、その対応する現実空間内の対象体と同一または類似の印象を与える姿勢を取らせることができる。 According to the present invention, it is possible to make an object in virtual space take a posture that gives the same or similar impression as the object in the corresponding real space.
以下、図面を参照しながら実施形態の説明を述べる。なお、以降、説明済みの要素と同一または類似の要素には同一または類似の符号を付し、重複する説明については基本的に省略する。例えば、複数の同一または類似の要素が存在する場合に、各要素を区別せずに説明するために共通の符号を用いることがあるし、各要素を区別して説明するために当該共通の符号に加えて枝番号を用いることもある。 Hereinafter, embodiments will be described with reference to the drawings. Hereinafter, elements that are the same as or similar to the elements described will be designated by the same or similar reference numerals, and duplicate explanations will be basically omitted. For example, when a plurality of the same or similar elements exist, a common code may be used to explain each element without distinction, and the common code may be used to explain each element separately. In addition, the branch number may be used.
（実施形態）
実施形態に係る位置データ処理装置は、現実空間における複数の位置データを含む第１の位置データセットを取得し、これに対してマッピング（変換）を行うことでアバター画像のレンダリングに必要とされる仮想空間における複数の位置データを含む第２の位置データセットを生成する。なお、位置データ処理装置は、姿勢制御装置、または姿勢制御支援装置、などと呼ぶこともできる。
(Embodiment)
The position data processing device according to the embodiment is required for rendering an avatar image by acquiring a first position data set including a plurality of position data in the real space and mapping (converting) the first position data set. Generate a second position data set containing a plurality of position data in the virtual space. The position data processing device can also be called an attitude control device, an attitude control support device, or the like.
具体的には、この位置データ処理装置は、例えば物体の表面の複数の部位（光学ＭＣデータの場合には、動体の複数の部位に取り付けられたマーカー）の現実空間内の位置を示す３次元位置データを有する第１の位置データセットを、仮想空間における第２の位置データセットへ変換する。ここで、物体の数は、１つであってもよいし複数であってもよい。また、物体は、演者などの動体に限らず非動体を含み得る。この位置データ処理装置は、種々の位置データセットを処理可能であるが、以降の説明では便宜的にＭＣデータを入力することを前提とする。また、この位置データ処理装置は、２次元などの３次元以外の位置データを要素とする位置データセットにも適用可能である。 Specifically, this position data processing device is, for example, three-dimensional indicating the positions of a plurality of parts on the surface of an object (in the case of optical MC data, markers attached to a plurality of parts of a moving body) in real space. The first position data set having the position data is converted into the second position data set in the virtual space. Here, the number of objects may be one or plural. Further, the object may include a non-moving body as well as a moving body such as a performer. This position data processing device can process various position data sets, but in the following description, it is assumed that MC data is input for convenience. Further, this position data processing device can also be applied to a position data set whose elements are position data other than three dimensions such as two dimensions.
ＭＣデータは、例えば、ＭＣスタジオにおいて本格的に生成されてもよいし（第１の例）、例えばコンテンツ共有システムによって共有されることになるコンテンツ、例えば動画、またはＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）などの仮想的コンテンツの演者（配信者）の自宅などで簡易に生成されてもよい（第２の例）。 The MC data may be generated in earnest in, for example, an MC studio (first example), for example, content that will be shared by a content sharing system, such as video, or VR (Virtual Reality), AR ( It may be easily generated at the home of a performer (distributor) of virtual content such as Augmented Reality (Augmented Reality) or MR (Mixed Reality) (second example).
第１の例では、演者はマーカー付きの全身タイツなどを装着することで、その身体の複数の部位の動きをマーカーを介して補足できるようにする。そして、スタジオ内に設置された複数のカメラが、異なるアングルから演者を撮影する。クライアント（例えば、スタジオ内に設置されたコンピュータ、または複数の画像データを収集可能にネットワーク、例えばインターネットに接続された遠隔コンピュータ）が、複数の画像からマーカーの３次元位置を検出することにより、ＭＣデータを生成する。 In the first example, the performer wears zentai with a marker or the like so that the movement of a plurality of parts of the body can be captured through the marker. Then, multiple cameras installed in the studio shoot the performer from different angles. A client (for example, a computer installed in a studio or a network capable of collecting multiple image data, for example, a remote computer connected to the Internet) detects the three-dimensional position of a marker from multiple images to perform MC. Generate data.
第２の例では、演者は、例えば慣性センサなどのセンサを内蔵したＨＭＤを頭部に装着し、および／またはセンサを内蔵したコントローラ（操作スティックとも呼ぶ）を把持する。そして、クライアントは、これらのセンサの計測結果であるセンシングデータを収集し、これらのセンシングデータに基づいて、演者の身体の複数の部位、例えば頭部および／または手の動きを計算することで、ＭＣデータを生成する。第２の例において、クライアントは、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、スマートフォンであってもよいし、または複数のセンシングデータを収集可能にネットワーク、例えばインターネットに接続された遠隔コンピュータであってもよい。 In the second example, the performer wears an HMD containing a sensor such as an inertial sensor on his head and / or grips a controller (also referred to as an operation stick) containing the sensor. Then, the client collects the sensing data which are the measurement results of these sensors, and based on these sensing data, calculates the movements of a plurality of parts of the performer's body, for example, the head and / or the hand. Generate MC data. In the second example, the client may be, for example, a PC (Personal Computer), a smartphone, or a remote computer connected to a network, for example, the Internet, capable of collecting a plurality of sensing data.
ＭＣデータを仮想空間における位置データに変換し、これに基づいてアバター画像を生成（レンダリング）することで、演者の挙動に合わせて身体を動かすアバターが登場する動画または仮想的コンテンツを作成することが可能となる。この場合に、ＭＣデータは、動画または仮想的コンテンツの１フレーム毎に生成され得る。かかる動画または仮想的コンテンツの共有を可能とするコンテンツ共有システムが図２に例示される。 By converting MC data into position data in virtual space and generating (rendering) an avatar image based on this, it is possible to create a video or virtual content in which an avatar that moves the body according to the behavior of the performer appears. It will be possible. In this case, MC data can be generated for each frame of moving image or virtual content. A content sharing system that enables sharing of such moving images or virtual contents is illustrated in FIG.
図２のシステムは、クライアント２００と、サーバ３００と、観客端末４００−１，４００−２，・・・とを含む。 The system of FIG. 2 includes a client 200, a server 300, and audience terminals 400-1, 400-2, ....
クライアント２００は、例えば演者の居るＭＣスタジオ、家庭内などにあるコンピュータであってもよいし、演者から得られた画像データ、センシングデータなどをネットワーク、例えばインターネット経由で収集する遠隔コンピュータであってもよい。クライアント２００は、演者から得られた画像データ、センシングデータなどに基づいて、ＭＣデータを生成する。ＭＣデータは、図３に例示されるように、演者の身体の複数の部位に取り付けられたマーカー（白丸）それぞれの３次元位置データを含み得る。クライアント２００は、典型的には、生の、または何らかの補正済みのＭＣデータをサーバ３００へ送信する。なお、クライアント２００および配信者端末が異なる場合には、ＭＣデータは、配信者端末経由でサーバ３００へ送信されてもよい。 The client 200 may be, for example, a computer in an MC studio or home where the performer is present, or may be a remote computer that collects image data, sensing data, etc. obtained from the performer via a network, for example, the Internet. Good. The client 200 generates MC data based on image data, sensing data, and the like obtained from the performer. The MC data may include three-dimensional position data of each marker (white circle) attached to a plurality of parts of the performer's body, as illustrated in FIG. The client 200 typically sends raw or some corrected MC data to the server 300. If the client 200 and the distributor terminal are different, the MC data may be transmitted to the server 300 via the distributor terminal.
なお、クライアント２００は、ＭＣデータそのものではなく、当該ＭＣデータを変換することで生成した仮想空間における位置データセット、これに基づくアバター画像、またはこれを含む動画もしくは仮想的コンテンツを生成し、サーバ３００へ送信してもよい。この場合には、実施形態に係る位置データ処理装置はクライアント２００に含まれることになる。 The client 200 does not generate the MC data itself, but generates a position data set in the virtual space generated by converting the MC data, an avatar image based on the data set, or a moving image or virtual content including the data set, and the server 300. You may send to. In this case, the position data processing device according to the embodiment is included in the client 200.
サーバ３００は、ネットワーク、例えばインターネットに接続されたコンピュータである。サーバ３００は、典型的には、クライアント２００からネットワーク経由でＭＣデータなどの現実空間における第１の位置データセットを受信する。サーバ３００は、受信した第１の位置データセットを仮想空間における第２の位置データセットへと変換し得る。すなわち、実施形態に係る位置データ処理装置は、サーバ３００に含まれることもあり得る。さらに、サーバ３００は、自ら生成した、またはクライアント２００から受信した仮想空間における位置データセットに基づいて、アバター画像、またはこれを含む動画もしくは仮想的コンテンツを生成し、観客端末４００（および）配信者端末に配信し得る。 The server 300 is a computer connected to a network, for example, the Internet. The server 300 typically receives a first position data set in real space, such as MC data, from the client 200 via the network. The server 300 can convert the received first position data set into a second position data set in virtual space. That is, the position data processing device according to the embodiment may be included in the server 300. Further, the server 300 generates an avatar image or a video or virtual content including the avatar image based on the position data set in the virtual space generated by itself or received from the client 200, and the audience terminal 400 (and) the distributor Can be delivered to the terminal.
なお、サーバ３００は、アバター画像、またはこれを含む動画もしくは仮想的コンテンツの代わりに、クライアント２００から受信した現実空間における第１の位置データセットを観客端末４００（および）配信者端末に配信してもよい。この場合には、かかるデータセットを受信した観客端末４００（および配信者端末）がマッピングを行う。すなわち、実施形態に係る位置データ処理装置は観客端末４００（および配信者端末）に含まれることもあり得る。或いは、サーバ３００は、自ら生成した、またはクライアント２００から受信した仮想空間における第２の位置データセットを観客端末４００（および配信者端末）に配信してもよい。 The server 300 distributes the first position data set in the real space received from the client 200 to the audience terminal 400 (and) the distributor terminal instead of the avatar image or the video or virtual content including the avatar image. May be good. In this case, the audience terminal 400 (and the distributor terminal) that has received the data set performs the mapping. That is, the position data processing device according to the embodiment may be included in the audience terminal 400 (and the distributor terminal). Alternatively, the server 300 may distribute the second position data set in the virtual space generated by itself or received from the client 200 to the audience terminal 400 (and the distributor terminal).
ここでは、１つのサーバ３００が位置データセットのマッピング（変換）、マッピング後のデータセットに基づくアバター画像、および／またはこれを含む動画または仮想的コンテンツの生成、ならびにアバター画像、動画または仮想的コンテンツの配信を行うこととしているが、これらは別個のサーバによって分担されてもよい。 Here, one server 300 maps (transforms) a location dataset, an avatar image based on the mapped dataset, and / or generates a video or virtual content that includes it, and an avatar image, video or virtual content. Although it is supposed to be distributed, these may be shared by separate servers.
前述のように、位置データセットのマッピングおよび／またはアバター画像の生成は、クライアント２００（または配信者端末）によってなされてもよいし、サーバ３００によってなされてもよいし、観客端末４００（および配信者端末）によってなされてもよい。 As mentioned above, the mapping of the location dataset and / or the generation of the avatar image may be done by the client 200 (or distributor terminal), by the server 300, or by the audience terminal 400 (and distributor terminal). It may be done by the terminal).
位置データセットのマッピングおよびこれに基づくアバター画像の生成をサーバ３００によって行えば、観客端末４００（および配信者端末）がこれらの処理をするための十分なマシンパワーを有していなかったとしても、観客（および配信者）が同一の動画または仮想的コンテンツを楽しむことができるという利点がある。他方、アバター画像を観客端末４００（およびクライアント２００または配信者端末）によって生成すれば、画像データに比べてサイズの小さな位置データセットが伝送されるので通信量を抑制することができる、サーバ３００の処理負荷を軽減できる、さらに観客（および配信者）が個別に好みの外観（キャラクタ、ファッション、など）のアバターを設定可能とすることで観客（および配信者）が挙動は同じだがアバターの外観は異なる動画または仮想的コンテンツを楽しむことができる、などの利点がある。 If the server 300 maps the location dataset and generates an avatar image based on it, even if the audience terminal 400 (and the distributor terminal) does not have sufficient machine power to perform these processes. The advantage is that the audience (and distributor) can enjoy the same video or virtual content. On the other hand, if the avatar image is generated by the audience terminal 400 (and the client 200 or the distributor terminal), a position data set smaller in size than the image data is transmitted, so that the amount of communication can be suppressed. By reducing the processing load and allowing the audience (and distributor) to individually set the avatar of their favorite appearance (character, fashion, etc.), the audience (and distributor) behaves the same, but the appearance of the avatar is There are advantages such as being able to enjoy different videos or virtual content.
なお、配信者端末は仮想空間における位置データセットまたはこれに基づくアバター画像の宛先から除外されてもよい。また、配信者端末およびクライアント２００は互いに別の装置であってもよいし、両者が同一の装置であってもよい。ここで、配信者端末は、例えば、ＰＣ、モバイル端末（例えば、タブレット、ファブレット、スマートフォン、ラップトップ、ウェアラブルデバイス、ポータブルゲーム機、など）、据え置き型ゲーム機、などのネットワーク、例えばインターネットに接続可能な電子デバイスであってよく、配信者がＨＭＤにより動画または仮想的コンテンツを体験する場合には配信者端末はこのＨＭＤの制御装置として機能し得る。 Note that the distributor terminal may be excluded from the destination of the position data set in the virtual space or the avatar image based on the data set. Further, the distributor terminal and the client 200 may be different devices from each other, or both may be the same device. Here, the distributor terminal is connected to a network such as a PC, a mobile terminal (for example, a tablet, a phablet, a smartphone, a laptop, a wearable device, a portable game machine, etc.), a stationary game machine, or the like, for example, the Internet. It may be a possible electronic device, and when the distributor experiences the moving image or virtual content by the HMD, the distributor terminal can function as a control device of the HMD.
観客端末４００は、図２のシステムによって共有されるコンテンツの受け手である観客にこのコンテンツを体験させる。観客端末４００は、配信者端末と同様にネットワーク、例えばインターネットに接続可能な電子デバイスであってよい。観客端末４００は、観客がＨＭＤにより動画または仮想的コンテンツを体験する場合には観客端末４００はこのＨＭＤの制御装置として機能し得る。観客端末４００は、サーバ３００からネットワーク経由で、位置データセット、これに基づくアバター画像、またはこれを含む動画もしくは仮想的コンテンツを受信する。観客端末４００は、受信した位置データセットに基づいてアバター画像を含む動画または仮想的コンテンツを生成、出力したり、受信したアバター画像に基づいて当該アバター画像を含む動画または仮想的コンテンツを生成、出力したり、受信した動画または仮想的コンテンツを出力したりする。動画または仮想的コンテンツは、観客端末４００に内蔵、外付けまたは無線接続された表示デバイス、例えば液晶ディスプレイ、有機ＥＬ（ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、ＨＭＤなどによって出力（表示）され得る。 The spectator terminal 400 allows the spectator, who is the receiver of the content shared by the system of FIG. 2, to experience this content. The audience terminal 400 may be an electronic device that can connect to a network, for example, the Internet, like the distributor terminal. The spectator terminal 400 can function as a control device for the HMD when the spectator experiences the moving image or virtual content by the HMD. The audience terminal 400 receives a location data set, an avatar image based on the location data set, or a moving image or virtual content including the location data set from the server 300 via a network. The audience terminal 400 generates and outputs a video or virtual content including an avatar image based on the received position data set, and generates and outputs a video or virtual content including the avatar image based on the received avatar image. Or output received video or virtual content. The moving image or virtual content can be output (displayed) by a display device built in the audience terminal 400, externally connected or wirelessly connected, for example, a liquid crystal display, an organic EL (electroluminescence) display, an HMD, or the like.
なお、図２のシステムでは、Ｃ／Ｓ（Ｃｌｉｅｎｔ ／ Ｓｅｒｖｅｒ）型のネットワーク経由でＭＣデータなどが伝送されているが、かかるデータはＰ２Ｐ（Ｐｅｅｒ ｔｏ Ｐｅｅｒ）型のネットワーク経由で、すなわちクライアント２００（または配信者端末）から観客端末４００へ直接伝送されてもよい。 In the system of FIG. 2, MC data and the like are transmitted via a C / S (Client / Server) type network, and such data is transmitted via a P2P (Peer to Peer) type network, that is, the client 200 (client 200). Alternatively, it may be transmitted directly from the distributor terminal) to the audience terminal 400.
次に、実施形態に係る位置データ処理装置を説明する。この位置データ処理装置は、位置データセットのマッピングなどの処理を行うプロセッサを含む。ここで、プロセッサは、典型的にはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であるが、マイコン、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、またはその他の汎用または専用のプロセッサなどであってもよい。 Next, the position data processing apparatus according to the embodiment will be described. This position data processing unit includes a processor that performs processing such as mapping of a position data set. Here, the processor is typically a CPU (Central Processing Unit) and / or a GPU (Graphics Processing Unit), but is a microcomputer, an FPGA (Field Programmable Gate Array), a DSP (Digital Signal Processor), or another. Alternatively, it may be a dedicated processor or the like.
また、位置データ処理装置は、かかる処理を実現するためにプロセッサによって実行されるプログラムおよび当該プロセッサによって使用されるデータ、例えば、現実空間における第１の位置データセット（例えば、ＭＣデータ）、仮想空間における第２の位置データセット、部位／アンカー定義データ、などを一時的に格納し得るメモリを含んでいる。メモリは、かかるプログラム／データが展開されるワークエリアを有するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含み得る。 In addition, the position data processing device is a program executed by a processor to realize such processing and data used by the processor, for example, a first position data set (for example, MC data) in a real space, a virtual space. Includes a memory that can temporarily store the second location data set, site / anchor definition data, etc. in. The memory may include a RAM (Random Access Memory) having a work area where such programs / data are deployed.
なお、位置データ処理装置は、全てのデータをオンメモリの状態で扱ってもよいし、一部のデータが補助記憶装置に退避されていてもよい。補助記憶装置は、例えば、位置データ処理装置に内蔵または外付けされたＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリなどであってもよいし、位置データ処理装置からアクセス可能なデータベースサーバであってもよい。 The position data processing device may handle all the data in the on-memory state, or some data may be saved in the auxiliary storage device. The auxiliary storage device may be, for example, an HDD (Hard Disk Drive), an SSD (Solid State Drive), a flash memory, or the like built in or external to the position data processing device, or can be accessed from the position data processing device. It may be a database server.
図１は、実施形態に係る位置データ処理装置を例示する。この位置データ処理装置は、データ取得部１０１と、現実空間位置決定部１０２と、部位／アンカー定義記憶部１０３と、位置関係判定部１０４と、仮想空間位置決定部１０５と、姿勢制御部１０６とを含む。 FIG. 1 illustrates a position data processing apparatus according to an embodiment. This position data processing device includes a data acquisition unit 101, a real space position determination unit 102, a part / anchor definition storage unit 103, a positional relationship determination unit 104, a virtual space position determination unit 105, and an attitude control unit 106. including.
データ取得部１０１は、例えば前述のプロセッサであり得る。データ取得部１０１は、現実空間における第１の位置データセット、例えばＭＣデータを取得する。ここで、前述のように、第１の位置データセットは、クライアント２００によって生成される。位置データ処理装置１００がクライアント２００に含まれる場合には、データ取得部１０１は当該クライアント２００において生成された第１の位置データセットを取得し得る。他方、位置データ処理装置１００がサーバ３００または観客端末４００に含まれる場合には、データ取得部１０１は当該サーバ３００または観客端末４００によってクライアント２００からネットワーク経由で受信された第１の位置データセットを取得し得る。 The data acquisition unit 101 may be, for example, the processor described above. The data acquisition unit 101 acquires a first position data set in the real space, for example, MC data. Here, as described above, the first position dataset is generated by the client 200. When the position data processing device 100 is included in the client 200, the data acquisition unit 101 can acquire the first position data set generated by the client 200. On the other hand, when the position data processing device 100 is included in the server 300 or the spectator terminal 400, the data acquisition unit 101 receives the first position data set received from the client 200 by the server 300 or the spectator terminal 400 via the network. Can be obtained.
現実空間における第１の位置データセットは、典型的には光学ＭＣデータであって、演者の身体の部位、または演者の周囲にある物体、すなわち動体または非動体の表面に取り付けられた複数のマーカーの現実空間における位置データを含み得る。動体は、演者などの人間であってもよいし、動物、または移動可能な機械であってもよい。他方、非動体は、例えば、家具（例えば、椅子、またはテーブルを含み得る）、道具（例えば、マイク、楽器、ラケット、またはボールを含み得る）、などであってもよい。データ取得部１０１は、取得した第１の位置データセットを現実空間位置決定部１０２へ送る。 The first position dataset in real space is typically optical MC data, which is a plurality of markers attached to a part of the performer's body or an object around the performer, i.e. a moving or non-moving body. Can include position data in real space. The moving body may be a human being such as a performer, an animal, or a movable machine. On the other hand, the immovable body may be, for example, furniture (which may include, for example, a chair or table), a tool (which may include, for example, a microphone, musical instrument, racket, or ball), and the like. The data acquisition unit 101 sends the acquired first position data set to the real space position determination unit 102.
現実空間位置決定部１０２は、例えば前述のプロセッサであり得る。現実空間位置決定部１０２は、データ取得部１０１から第１の位置データセットを受け取る。現実空間位置決定部１０２は、この第１の位置データセットに含まれる複数の位置データに基づいて、現実空間に存在する対象体の有する基準部位（第１の部位）の位置と、現実空間に設定された１以上のアンカーの位置とを決定する。現実空間位置決定部１０２は、基準部位の位置を示す基準部位データと、アンカーの位置を示すアンカーデータとを、第１の位置データセットとともに、位置関係判定部１０４へ送る。 The real space positioning unit 102 may be, for example, the processor described above. The real space positioning unit 102 receives the first position data set from the data acquisition unit 101. Based on a plurality of position data included in the first position data set, the real space positioning unit 102 sets the position of the reference part (first part) of the object existing in the real space and the position of the reference part (first part) in the real space. Determines the position of one or more anchors that have been set. The real space position determination unit 102 sends the reference part data indicating the position of the reference part and the anchor data indicating the position of the anchor to the positional relationship determination unit 104 together with the first position data set.
対象体は、現実空間に存在する１つの物体であってもよいし、複数の物体であってもよい。対象体は、典型的には、演者などの動体であり得る。なお、現実空間に複数の演者が存在する場合には、その一部または全員が対象体として取り扱われ得る。さらに、対象体は、動体に限られず非動体も含み得る。 The object may be one object existing in the real space, or may be a plurality of objects. The object can typically be a moving body such as a performer. If there are multiple performers in the real space, some or all of them can be treated as objects. Furthermore, the target body is not limited to a moving body, but may include a non-moving body.
基準部位は、対象体に対応する仮想空間上のアバターなどのオブジェクト（以降、対象オブジェクトと呼ぶ）の姿勢を制御するための基準となり得る部位である。基準部位は、典型的には手であるが、これに限らず足、頭部、などの末梢部位であってよい。なお、各対象体が有する基準部位の数は、１つに限らず複数であってもよい。例えば、各対象体の基準部位として左手および右手が定められてもよい。 The reference part is a part that can be a reference for controlling the posture of an object (hereinafter referred to as a target object) such as an avatar in a virtual space corresponding to the target body. The reference site is typically a hand, but is not limited to this, and may be a peripheral site such as a foot or a head. The number of reference sites possessed by each object is not limited to one, and may be plural. For example, the left hand and the right hand may be defined as reference sites for each object.
アンカーは、例えば、対象体の表面、または仮想空間上で対象オブジェクトとは異なるオブジェクト（アバターを含み得る）として表現される他の物体、すなわち動体または非動体の表面に設定され得る。アンカーは、例えば人間の頭、顔、目、鼻、口、肩、腰、などの部位、ドアノブ、ラケットやマイクのグリップ、などの基準部位が触れることが想定される部位に、演者または他の人間によって事前に手動で設定されてもよいし、画像解析の結果に基づいて自動的に設定されてもよい。 Anchors can be set, for example, on the surface of an object, or on the surface of another object (which may include an avatar) that is different from the object in virtual space, i.e. a moving or non-moving object. Anchors are performers or other parts that are expected to be touched by reference parts such as the human head, face, eyes, nose, mouth, shoulders, waist, doorknobs, racket or microphone grips, etc. It may be set manually in advance by a human, or it may be set automatically based on the result of image analysis.
具体的には、現実空間位置決定部１０２は、部位／アンカー定義記憶部１０３に保存されている部位／アンカー定義データに基づいて、基準部位およびアンカーの現実空間内の位置を決定し得る。この部位／アンカー定義データは、基準部位およびアンカーの位置が、第１の位置データセットにおいてその位置が記述される複数のポイント、典型的にはマーカー、の位置データを用いてどのように定義されるかを示し得る。 Specifically, the real space positioning unit 102 can determine the positions of the reference part and the anchor in the real space based on the part / anchor definition data stored in the part / anchor definition storage unit 103. This site / anchor definition data is how the reference site and anchor positions are defined using the position data of multiple points, typically markers, where the position is described in the first position dataset. Can indicate whether or not.
基準部位またはアンカーの位置がいずれかのポイント（例えば、マーカー）の位置と一致するように定義されている場合には、現実空間位置決定部１０２は、当該ポイントの位置に基づいて当該基準部位またはアンカーの位置を決定できる。例えば、現実空間位置決定部１０２は、第１の位置データセットの示すポイントの位置をそのまま当該ポイントに一致するように定義された基準部位またはアンカーの位置として決定してもよい。他方、基準部位またはアンカーがいずれのポイントの位置とも一致しないように定義されている場合には、現実空間位置決定部１０２は、第１の位置データセットに含まれる少なくとも一部のポイントの位置データに基づいて演算を行うことで、基準部位またはアンカーの位置を決定（推定）してもよい。 If the position of the reference site or anchor is defined to match the position of any point (eg, a marker), the real space positioning unit 102 may base the reference site or anchor position on the reference site or the position of the point. The position of the anchor can be determined. For example, the real space positioning unit 102 may determine the position of the point indicated by the first position data set as the position of the reference portion or the anchor defined so as to match the point as it is. On the other hand, if the reference site or anchor is defined so that it does not match the position of any point, the real space positioning unit 102 will position data for at least some of the points contained in the first position dataset. The position of the reference site or the anchor may be determined (estimated) by performing the calculation based on.
部位／アンカー定義記憶部１０３は、例えば前述のメモリであり得る。部位／アンカー定義記憶部１０３は、部位／アンカー定義データを保存する。部位／アンカー定義データは、現実空間位置決定部１０２によって部位／アンカー定義記憶部１０３から読み出される。 The part / anchor definition storage unit 103 can be, for example, the memory described above. The part / anchor definition storage unit 103 stores the part / anchor definition data. The part / anchor definition data is read from the part / anchor definition storage unit 103 by the real space positioning unit 102.
部位／アンカー定義データは、前述のように、基準部位およびアンカーの位置が、第１の位置データセットにおいてその位置が記述される複数のポイント、典型的にはマーカー、の位置データを用いてどのように定義されるかを示し得る。例えば、基準部位およびアンカーは、第１のポイント、第２のポイントおよび第３のポイントそれぞれからの距離の比が所定値となる位置として定義されたり、第４のポイントと同じ位置にあるとして定義されたり、第５のポイントおよび第６のポイントを結ぶ線分を所定の比率で外分する位置にあるとして定義されたりし得る。なお、部位／アンカー定義データは、基準部位の定義を示す部位定義データと、アンカーの定義を示すアンカー定義データとに分離されてもよい。 As described above, the site / anchor definition data uses the position data of the reference site and the position of the anchor at a plurality of points, typically markers, at which the position is described in the first position data set. Can indicate how it is defined. For example, the reference site and the anchor are defined as positions where the ratio of the distances from the first point, the second point, and the third point is a predetermined value, or are defined as being in the same position as the fourth point. Or it may be defined as being in a position to externally divide the line segment connecting the fifth point and the sixth point by a predetermined ratio. The site / anchor definition data may be separated into site definition data indicating the definition of the reference site and anchor definition data indicating the definition of the anchor.
位置関係判定部１０４は、例えば前述のプロセッサであり得る。位置関係判定部１０４は、現実空間位置決定部１０２から基準部位データおよびアンカーデータを受け取る。位置関係判定部１０４は、対象体の基準部位がアンカーの各々と所定の関係にあるか否かを、基準部位データおよびアンカーデータのそれぞれ示す基準部位およびアンカーの現実空間内の位置に基づいて判定する。そして、位置関係判定部１０４は、基準部位毎に、当該基準部位と所定の関係にあると判定されたアンカーを示すデータ（例えばアンカーＩＤ）を抽出する。位置関係判定部１０４は、この基準部位と所定の関係にあるアンカーを示すデータを、第１の位置データセット、基準部位データおよびアンカーデータとともに仮想空間位置決定部１０５へ送る。 The positional relationship determination unit 104 may be, for example, the above-mentioned processor. The positional relationship determination unit 104 receives reference site data and anchor data from the real space position determination unit 102. The positional relationship determination unit 104 determines whether or not the reference portion of the target body has a predetermined relationship with each of the anchors based on the reference portion data and the position of the reference portion and the anchor in the real space indicated by the anchor data, respectively. To do. Then, the positional relationship determination unit 104 extracts data (for example, an anchor ID) indicating an anchor determined to have a predetermined relationship with the reference portion for each reference portion. The positional relationship determination unit 104 sends data indicating an anchor having a predetermined relationship with the reference site to the virtual space positioning unit 105 together with the first position data set, the reference site data, and the anchor data.
所定の関係は、例えば、対象体の基準部位がアンカーと近接していること、であり得る。対象体の基準部位がアンカーと近接していることは、例えば、対象体の基準部位とアンカーとの距離が閾値未満であること、と定義され得る。ここで、閾値は、隣接アンカー間の間隔や、第１の位置データセットの測定誤差にも依存するが、例えば数ｃｍ程度に定められ得る。 The predetermined relationship can be, for example, that the reference site of the object is in close proximity to the anchor. The proximity of the reference site of the object to the anchor can be defined, for example, that the distance between the reference site of the object and the anchor is less than the threshold. Here, the threshold value can be set to, for example, about several cm, although it depends on the distance between adjacent anchors and the measurement error of the first position data set.
なお、複数のアンカーが対象体の基準部位と近接している場合には、位置関係判定部１０４は、対象体の基準部位からの距離が小さい順に１つまたは複数のアンカーを示すデータを抽出してもよいし、またはこれら複数のアンカーのうち優先度に基づいて１つまたは複数のアンカーを示すデータを抽出してもよい。優先度は、事前に定義されていてもよいし、例えば何らかのルールにより第１の位置データセットに基づいて評価されてもよい。後者の例として、周囲の位置データからみてアンカーの位置データが大きな誤差を含んでいるおそれがある、などの理由で信頼性が低いと判定できる場合には、当該アンカーには低い優先度が割り当てられてもよい。 When a plurality of anchors are close to the reference part of the target body, the positional relationship determination unit 104 extracts data indicating one or more anchors in ascending order of distance from the reference part of the target body. Alternatively, data indicating one or more anchors among these plurality of anchors may be extracted based on the priority. The priority may be predefined or may be evaluated based on the first position dataset, for example by some rule. As an example of the latter, if it can be judged that the reliability is low because the position data of the anchor may contain a large error from the viewpoint of the surrounding position data, a low priority is assigned to the anchor. May be done.
仮想空間位置決定部１０５は、例えば前述のプロセッサであり得る。仮想空間位置決定部１０５は、位置関係判定部１０４から、基準部位と所定の関係にあるアンカーを示すデータと、第１の位置データセットと、基準部位データと、アンカーデータとを受け取る。仮想空間位置決定部１０５は、現実空間内の位置（座標）を仮想空間内の位置（座標）にマッピング（変換）するための関数、ＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）、などを利用可能である。すなわち、仮想空間位置決定部１０５は、基準部位データ、アンカーデータおよび第１の位置データセットの示す現実空間内の位置から、その対応する仮想空間内の位置を導出できる。 The virtual space positioning unit 105 may be, for example, the processor described above. The virtual space position determination unit 105 receives from the positional relationship determination unit 104 data indicating an anchor having a predetermined relationship with the reference portion, a first position data set, reference portion data, and anchor data. The virtual space positioning unit 105 can use a function for mapping (converting) a position (coordinates) in the real space to a position (coordinate) in the virtual space, a LUT (Look Up Table), and the like. That is, the virtual space positioning unit 105 can derive the position in the corresponding virtual space from the position in the real space indicated by the reference site data, the anchor data, and the first position data set.
仮想空間位置決定部１０５は、対象体の基準部位がアンカーのいずれかと所定の関係にあると判定された場合に、対象オブジェクトの有する部位のうち対象体の基準部位（第１の部位）に対応する基準部位（第２の部位）の位置を当該アンカーの位置に対応する仮想空間内の位置、すなわちアンカーの位置のマッピング結果である仮想空間内の位置、に基づいて決定する。 The virtual space positioning unit 105 corresponds to the reference part (first part) of the target body among the parts possessed by the target object when it is determined that the reference part of the target body has a predetermined relationship with any of the anchors. The position of the reference part (second part) to be used is determined based on the position in the virtual space corresponding to the position of the anchor, that is, the position in the virtual space which is the mapping result of the position of the anchor.
具体的には、仮想空間位置決定部１０５は、第２の部位の位置を、第１の部位の位置に対応する仮想空間内の位置よりも、現実空間における（１つの）アンカーの位置に対応する仮想空間内の位置に近い位置に決定し得る。一例として、仮想空間位置決定部１０５は、仮想空間における第２の部位の位置を、現実空間におけるアンカーの位置に対応する仮想空間内の位置に一致するように決定し得る。これにより、例えば対象オブジェクトの基準部位は、当該対象オブジェクトの他の部位の表面、または他のオブジェクトの表面に接触することになる。 Specifically, the virtual space positioning unit 105 corresponds the position of the second part to the position of the (one) anchor in the real space rather than the position in the virtual space corresponding to the position of the first part. It can be determined to be a position close to the position in the virtual space. As an example, the virtual space positioning unit 105 may determine the position of the second portion in the virtual space to match the position in the virtual space corresponding to the position of the anchor in the real space. As a result, for example, the reference portion of the target object comes into contact with the surface of another portion of the target object or the surface of the other object.
他方、仮想空間位置決定部１０５は、第１の部位がアンカーのいずれとも所定の関係にないと判定された場合には、第２の部位の位置を第１の部位の位置に基づいて決定し得る。換言すれば、仮想空間位置決定部１０５は、対象体の基準部位の現実空間内の位置をマッピングし、その結果を対象オブジェクトの基準部位の仮想空間内の位置として決定し得る。 On the other hand, when it is determined that the first part does not have a predetermined relationship with any of the anchors, the virtual space positioning unit 105 determines the position of the second part based on the position of the first part. obtain. In other words, the virtual space positioning unit 105 can map the position of the reference part of the object in the real space and determine the result as the position of the reference part of the target object in the virtual space.
或いは、仮想空間位置決定部１０５は、第１の部位が複数のアンカーと所定の関係にあると判定された場合には、これらのアンカーの各々から当該第１の部位までの距離の比と、これら複数のアンカーに対応する仮想空間内の位置とに基づいて、第２の部位の位置を決定してもよい。例えば、仮想空間位置決定部１０５は、第１の部位が第１のアンカー、第２のアンカーおよび第３のアンカーと所定の関係にあると判定された場合に、第１のアンカー、第２のアンカーおよび第３のアンカーにそれぞれ対応する仮想空間内の位置から第２の部位までの距離ｄ１、距離ｄ２および距離ｄ３の比ｄ１：ｄ２：ｄ３が、第１のアンカー、第２のアンカーおよび第３のアンカーから第１の部位までの距離ｄ１’、距離ｄ２’および距離ｄ３’の比ｄ１’：ｄ２’：ｄ３’に一致または近似するように、第２の部位の位置を決定し得る。 Alternatively, when the virtual space positioning unit 105 determines that the first portion has a predetermined relationship with a plurality of anchors, the ratio of the distance from each of these anchors to the first portion is determined. The position of the second portion may be determined based on the position in the virtual space corresponding to these plurality of anchors. For example, when the virtual space positioning unit 105 determines that the first portion has a predetermined relationship with the first anchor, the second anchor, and the third anchor, the first anchor, the second anchor, and the second anchor The ratio d1: d2: d3 of the distance d1, the distance d2 and the distance d3 from the position in the virtual space corresponding to the anchor and the third anchor to the second part is the first anchor, the second anchor and the second anchor. The position of the second portion can be determined so as to match or approximate the ratio d1': d2': d3'of the distance d1', the distance d2'and the distance d3' from the anchor of 3 to the first portion.
仮想空間位置決定部１０５は、決定した対象オブジェクトの基準部位の仮想空間内の位置と、第１の位置データセットにおいてその位置が記述される複数のポイントに対応する仮想空間内の複数のポイントの位置とを示す第２の位置データセットを生成する。仮想空間位置決定部１０５は、第２の位置データセットを姿勢制御部１０６へ送る。 The virtual space positioning unit 105 determines the position of the determined target object in the virtual space and a plurality of points in the virtual space corresponding to the plurality of points in which the position is described in the first position data set. Generate a second position dataset that indicates the position. The virtual space positioning unit 105 sends the second position data set to the attitude control unit 106.
姿勢制御部１０６は、例えば前述のプロセッサであり得る。姿勢制御部１０６は、仮想空間位置決定部１０５から、第２の位置データセットを受け取る。姿勢制御部１０６は、第２の位置データセットによって示される、対象オブジェクトの基準部位の仮想空間内の位置を基準に、例えばＩＫ（Ｉｎｖｅｒｓｅ Ｋｉｎｅｍａｔｉｃｓ）処理を行って当該対象オブジェクトの姿勢を決定する。例えば、姿勢制御部１０６は、この対象オブジェクトの基準部位の仮想空間内の位置を、当該基準部位の目標位置としてＩＫ処理を行うことができる。これにより、決定された対象オブジェクトの基準部位の位置を維持したまま、当該対象オブジェクトの基準部位を含む各部位の姿勢を物理的に不自然に見えないように、例えば関節の角度が対象オブジェクトにとって正常な範囲に収まるように、制御することができる。 The attitude control unit 106 may be, for example, the processor described above. The attitude control unit 106 receives a second position data set from the virtual space position determination unit 105. The attitude control unit 106 determines the posture of the target object by performing, for example, IK (Inverse Kinematics) processing based on the position of the reference portion of the target object in the virtual space indicated by the second position data set. For example, the attitude control unit 106 can perform IK processing using the position of the reference portion of the target object in the virtual space as the target position of the reference portion. As a result, for example, the angle of the joint is set for the target object so that the posture of each part including the reference part of the target object does not look physically unnatural while maintaining the position of the reference part of the determined target object. It can be controlled so that it falls within the normal range.
なお、かかる姿勢制御は、位置データ処理装置１００によって実行されてもよいし、されなくてもよい。後者の場合には、位置データ処理装置１００は、姿勢制御部１０６を含まなくてもよい。そして、位置データ処理装置１００を含んでいる装置、例えば、クライアント２００またはサーバ３００、が姿勢制御を実行してもよいし、この装置から仮想空間における位置データを受信したサーバ３００または観客端末４００が姿勢制御を実行してもよい。 The attitude control may or may not be executed by the position data processing device 100. In the latter case, the position data processing device 100 does not have to include the attitude control unit 106. Then, the device including the position data processing device 100, for example, the client 200 or the server 300 may execute the attitude control, and the server 300 or the audience terminal 400 receiving the position data in the virtual space from this device may execute the attitude control. Attitude control may be performed.
例えば図４に示されるように、現実空間において、対象体（演者）が、基準部位としての右手を右の額に当て、基準部位としての左手を左腰に当てる姿勢を取っていたとする。なお、図４において、アンカーＡ１，Ａ２，・・・，Ａ１４がそれぞれ三角形のシンボルとして描かれている。この対象体を、仮想空間において、より頭部が小さく、胴が短く、腕および脚が長い体型を有する対象オブジェクト（アバター）として表現するとする。 For example, as shown in FIG. 4, it is assumed that the object (performer) is in a posture in which the right hand as the reference part is placed on the right forehead and the left hand as the reference part is placed on the left hip in the real space. In FIG. 4, anchors A1, A2, ..., A14 are drawn as triangular symbols, respectively. This object is represented in virtual space as an object (avatar) having a smaller head, a shorter torso, and longer arms and legs.
図５は、図４の対象体の姿勢に基づいて、アンカーを利用せずに生成した対象オブジェクトを例示する。図５の例では、対象体の左手および右手の位置にそれぞれ対応する仮想空間内の位置に、対象オブジェクトの左手および右手の位置がそれぞれ決定されている。対象オブジェクトは前述の体型を有しているので、対象オブジェクトの右手はその頭部よりも上に位置しており、その左手は腰よりも下に位置しており、対象体の現実の姿勢とは異なる印象を与える。故に、かかる姿勢制御の下で、対象オブジェクトに、図４における対象体の姿勢と同一または類似の印象を与える姿勢を取らせるためには、対象体は右手を下げて、左手を上げることが求められる。 FIG. 5 illustrates an object object generated without using an anchor based on the posture of the object body of FIG. In the example of FIG. 5, the positions of the left and right hands of the target object are determined at the positions in the virtual space corresponding to the positions of the left and right hands of the target body, respectively. Since the target object has the above-mentioned body shape, the right hand of the target object is located above its head and its left hand is located below the waist, which is the actual posture of the target object. Gives a different impression. Therefore, under such attitude control, in order for the target object to take a posture that gives the same or similar impression as the posture of the target body in FIG. 4, the target body is required to lower the right hand and raise the left hand. Be done.
次に、図６は、図４の対象体の姿勢に基づいて、アンカーを利用して生成した対象オブジェクトを例示する。図６において、図４のアンカーＡ１，Ａ２，・・・，Ａ１４の位置に対応する仮想空間内の位置がそれぞれ符号Ｂ１，Ｂ２，・・・，Ｂ１４付きの三角形のシンボルとして描かれている。図４において、対象体の右手はアンカーＡ１の近くに位置し、対象体の左手はアンカーＡ１０の近くに位置しているので、位置関係判定部１０４は、当該右手および左手はそれぞれアンカーＡ１およびアンカーＡ１０と所定の関係にあると判定し得る。そして、仮想空間位置決定部１０５は、対象オブジェクトの右手の位置をアンカーＡ１に対応する仮想空間内の位置（Ｂ１）に一致するように決定し、対象オブジェクトの左手の位置をアンカーＡ１０に対応する仮想空間内の位置（Ｂ１０）に一致するように決定し得る。これにより、対象オブジェクトに対象体の姿勢と同一または類似の印象を与える姿勢、すなわち右手を右の額に当て、左手を左腰に当てる姿勢を取らせることができる。 Next, FIG. 6 illustrates an object object generated by using an anchor based on the posture of the object body of FIG. In FIG. 6, the positions in the virtual space corresponding to the positions of the anchors A1, A2, ..., A14 in FIG. 4 are drawn as triangular symbols with the symbols B1, B2, ..., B14, respectively. In FIG. 4, since the right hand of the target body is located near the anchor A1 and the left hand of the target body is located near the anchor A10, the positional relationship determination unit 104 indicates that the right hand and the left hand are the anchor A1 and the anchor, respectively. It can be determined that it has a predetermined relationship with A10. Then, the virtual space position determination unit 105 determines the position of the right hand of the target object to match the position (B1) in the virtual space corresponding to the anchor A1, and the position of the left hand of the target object corresponds to the anchor A10. It can be determined to match the position (B10) in the virtual space. As a result, the target object can be made to take a posture that gives the same or similar impression as the posture of the target body, that is, a posture in which the right hand is placed on the right forehead and the left hand is placed on the left hip.
また、例えば図７に示されるように、現実空間において、１人目の対象体（演者）が、基準部位としての右手を挙げ、基準部位としての左手を２人目の対象体（演者）の右肩に添える姿勢を取っていて、２人目の対象体が基準部位としての両手を共に挙げる姿勢を取っていたとする。なお、図７において、アンカーＡ２１，Ａ２２，・・・，Ａ３４，Ａ４１，Ａ４２，・・・，Ａ５４がそれぞれ三角形のシンボルとして描かれている。これらの対象体を、仮想空間において、より頭部が小さく、胴が短く、腕および脚が長い体型を有する対象オブジェクト（アバター）として表現するとする。なお、２人目の対象体のアバターは、１人目の対象体のアバターに比べて身長が低いこととする。 Further, for example, as shown in FIG. 7, in the real space, the first object (performer) raises the right hand as the reference part, and the left hand as the reference part is the right shoulder of the second object (performer). It is assumed that the second object is in a posture of raising both hands as a reference part. In FIG. 7, anchors A21, A22, ..., A34, A41, A42, ..., A54 are drawn as triangular symbols, respectively. It is assumed that these objects are represented in virtual space as object objects (avatars) having a smaller head, a shorter torso, and longer arms and legs. It is assumed that the avatar of the second target body is shorter than the avatar of the first target body.
図８は、図７の２人の対象体の姿勢に基づいて、アンカーを利用せずに生成した２人の対象オブジェクトを例示する。図８の例では、１人目および２人目の対象体の左手および右手の位置にそれぞれ対応する仮想空間内の位置に、１人目および２人目の対象オブジェクトの左手および右手の位置がそれぞれ決定されている。対象オブジェクトは前述の体型を有しているので、１人目の対象オブジェクトの左手は２人目の対象オブジェクトの右肩よりも上、右上腕のあたりに位置しており、２人の対象体の現実の姿勢とは異なる印象を与える。故に、かかる姿勢制御の下で、２人の対象オブジェクトに、図７における２人の対象体の姿勢と同一または類似の印象を与える姿勢を取らせるためには、当該１人目の対象体は左手を下げることが求められる。 FIG. 8 illustrates two target objects generated without using an anchor based on the postures of the two target objects of FIG. 7. In the example of FIG. 8, the positions of the left and right hands of the first and second target objects are determined at the positions in the virtual space corresponding to the positions of the left and right hands of the first and second target objects, respectively. There is. Since the target object has the above-mentioned body shape, the left hand of the first target object is located above the right shoulder of the second target object and around the upper right arm, and the reality of the two target objects. Gives an impression different from the attitude of. Therefore, in order to make the two object objects take a posture that gives the same or similar impression as the postures of the two objects in FIG. 7 under such posture control, the first object is the left hand. Is required to be lowered.
次に、図９は、図７の２人の対象体の姿勢に基づいて、アンカーを利用して生成した２人の対象オブジェクトを例示する。図９において、図７のアンカーＡ２１，Ａ２２，・・・，Ａ３４，Ａ４１，Ａ４２，・・・，Ａ５４の位置に対応する仮想空間内の位置がそれぞれ符号Ｂ２１，Ｂ２２，・・・，Ｂ３４，Ｂ４１，Ｂ４２，・・・，Ｂ５４付きの三角形のシンボルとして描かれている。図７において、１人目の対象体の右手、ならびに２人目の対象体の左手および右手はいずれのアンカーからも離れており、１人目の対象体の左手はアンカーＡ４５の近くに位置しているので、位置関係判定部１０４は、１人目の対象体の右手、ならびに２人目の対象体の左手および右手はいずれのアンカーとも所定の関係にないと判定し、１人目の対象体の左手はアンカーＡ４５と所定の関係にあると判定し得る。そして、仮想空間位置決定部１０５は、１人目の対象オブジェクトの右手、ならびに２人目の対象オブジェクトの左手および右手の位置を図８の例と同様に決定し、１人目の対象オブジェクトの左手の位置をアンカーＡ４５に対応する仮想空間内の位置（Ｂ４５）に一致するように決定し得る。これにより、２人の対象オブジェクトに２人の対象体の姿勢と同一または類似の印象を与える姿勢、すなわちその１人目の対象オブジェクトに右手を挙げて左手を２人目の対象オブジェクトの右肩に添える姿勢、２人目の対象オブジェクトに両手を挙げる姿勢を取らせることができる。 Next, FIG. 9 illustrates two target objects generated by using anchors based on the postures of the two target objects of FIG. 7. In FIG. 9, the positions in the virtual space corresponding to the positions of the anchors A21, A22, ..., A34, A41, A42, ..., A54 in FIG. 7 are the symbols B21, B22, ..., B34, respectively. It is drawn as a triangular symbol with B41, B42, ..., B54. In FIG. 7, the right hand of the first object and the left and right hands of the second object are separated from each anchor, and the left hand of the first object is located near the anchor A45. , The positional relationship determination unit 104 determines that the right hand of the first target body and the left and right hands of the second target body do not have a predetermined relationship with any of the anchors, and the left hand of the first target body is the anchor A45. Can be determined to have a predetermined relationship with. Then, the virtual space positioning unit 105 determines the positions of the right hand of the first target object and the left and right hands of the second target object in the same manner as in the example of FIG. 8, and the position of the left hand of the first target object. Can be determined to match the position (B45) in the virtual space corresponding to the anchor A45. As a result, the posture that gives the two target objects the same or similar impression as the posture of the two target objects, that is, the right hand is raised to the first target object and the left hand is attached to the right shoulder of the second target object. Posture The second target object can be made to raise both hands.
以下、図１０を用いて、位置データ処理装置１００の動作を説明する。図１０の動作は、アバター画像、またはこれを含む動画もしくは仮想的コンテンツの１フレーム毎に行われ得る。 Hereinafter, the operation of the position data processing device 100 will be described with reference to FIG. The operation of FIG. 10 may be performed for each frame of the avatar image or the moving image or virtual content including the avatar image.
まず、データ取得部１０１は、クライアント２００、サーバ３００、または観客端末４００などから、現実空間における複数の位置データを含む第１の位置データセットを取得する（ステップＳ５０１）。 First, the data acquisition unit 101 acquires a first position data set including a plurality of position data in the real space from the client 200, the server 300, the audience terminal 400, or the like (step S501).
次に、現実空間位置決定部１０２は、ステップＳ５０１において取得された第１の位置データセットに基づいて、現実空間における少なくとも１つの対象体の少なくとも１つの基準部位の各々の位置と、現実空間に設定された１以上のアンカーの各々の位置とを決定する（ステップＳ５０２）。 Next, the real space positioning unit 102 sets each position of at least one reference portion of at least one object in the real space and the real space based on the first position data set acquired in step S501. Each position of one or more anchors set is determined (step S502).
次に、位置関係判定部１０４は、ステップＳ５０２において決定された基準部位およびアンカーの位置に基づいて、各基準部位がいずれかのアンカーと所定の関係にあるか否かを判定する。そして、位置関係判定部１０４は、基準部位毎に、当該基準部位と所定の関係にあると判定されたアンカーを示すデータ（例えばアンカーＩＤ）を抽出する（ステップＳ５０３）。ステップＳ５０３の終了後に、処理はステップＳ５０４へ進む。 Next, the positional relationship determination unit 104 determines whether or not each reference portion has a predetermined relationship with any of the anchors based on the positions of the reference portion and the anchor determined in step S502. Then, the positional relationship determination unit 104 extracts data (for example, an anchor ID) indicating an anchor determined to have a predetermined relationship with the reference portion for each reference portion (step S503). After the end of step S503, the process proceeds to step S504.
ステップＳ５０４において、仮想空間位置決定部１０５は、少なくとも１つの対象体の少なくとも１つの基準部位のうち未選択の１つを選択する。そして、仮想空間位置決定部１０５は、ステップＳ５０３において抽出されたデータを参照し、ステップＳ５０４において選択された基準部位と所定の関係にあると判定されたアンカーが存在するか否かを確認する（ステップＳ５０５）。ステップＳ５０４において選択された基準部位と所定の関係にあると判定されたアンカーが存在しなければ処理はステップＳ５０６へ進み、当該基準部位と所定の関係にあると判定されたアンカーが存在すれば処理はステップＳ５０７へ進む。 In step S504, the virtual space positioning unit 105 selects an unselected one of at least one reference site of at least one object. Then, the virtual space positioning unit 105 refers to the data extracted in step S503, and confirms whether or not there is an anchor determined to have a predetermined relationship with the reference site selected in step S504 (). Step S505). If there is no anchor determined to have a predetermined relationship with the reference site selected in step S504, the process proceeds to step S506, and if there is an anchor determined to have a predetermined relationship with the reference site, the process proceeds. Proceeds to step S507.
ステップＳ５０６において、仮想空間位置決定部１０５は、ステップＳ５０４において選択された対象体の基準部位（第１の部位）の位置に対応する仮想空間内の位置（これは、ステップＳ５０２において決定済みである）を、仮想空間において当該対象体に対応する対象オブジェクトの当該基準部位に対応する基準部位（第２の部位）の位置として決定する。ステップＳ５０６の後に、処理はステップＳ５０８へ進む。 In step S506, the virtual space positioning unit 105 has determined the position in the virtual space corresponding to the position of the reference part (first part) of the target body selected in step S504 (this has been determined in step S502). ) Is determined as the position of the reference part (second part) corresponding to the reference part of the target object corresponding to the object in the virtual space. After step S506, the process proceeds to step S508.
ステップＳ５０７において、仮想空間位置決定部１０５は、ステップＳ５０４において選択された対象体の基準部位（第１の部位）と所定の関係にあると判定されたアンカー（これは、ステップＳ５０３において抽出されたデータによって示される）の位置に対応する仮想空間内の位置（これは、ステップＳ５０２において決定済みである）に基づいて、仮想空間において当該対象体に対応する対象オブジェクトの当該基準部位に対応する基準部位（第２の部位）の位置を決定する。ステップＳ５０７の後に、処理はステップＳ５０８へ進む。 In step S507, the virtual space positioning unit 105 is an anchor determined to have a predetermined relationship with the reference part (first part) of the object selected in step S504 (this was extracted in step S503). Based on the position in the virtual space (which has been determined in step S502) corresponding to the position (indicated by the data), the reference corresponding to the reference part of the target object corresponding to the object in the virtual space. Determine the position of the site (second site). After step S507, the process proceeds to step S508.
ステップＳ５０８において、仮想空間位置決定部１０５は、未選択の基準部位が残存するか否かを判定する。未選択の基準部位が残存すると判定されれば処理はステップＳ５０４に戻り、未選択の基準部位が残存しないと判定されれば処理はステップ５０９へ進む。 In step S508, the virtual space positioning unit 105 determines whether or not the unselected reference portion remains. If it is determined that the unselected reference site remains, the process returns to step S504, and if it is determined that no unselected reference site remains, the process proceeds to step 509.
ステップＳ５０９において、姿勢制御部１０６は、ステップＳ５０４乃至ステップＳ５０８のループを通じて決定された、各対象オブジェクトの各基準部位の仮想空間内の位置を基準に例えばＩＫ処理を行って、当該対象オブジェクトの姿勢を制御する。 In step S509, the attitude control unit 106 performs, for example, IK processing based on the position of each reference portion of each target object in the virtual space determined through the loop of steps S504 to S508, and the posture of the target object. To control.
以上説明したように、実施形態に係る位置データ処理装置は、現実空間に存在する対象体の基準部位（例えば演者の手）に対応する仮想空間上の対象オブジェクト（例えばアバター）の基準部位の位置を、現実空間における当該基準部位の位置と現実空間（例えば、演者自身または他の物体の表面）に設定されたアンカーの位置との関係に基づいて決定する。具体的には、この位置データ処理装置は、現実空間において対象体の基準部位の位置がアンカーの位置と近接していると判定した場合には、現実空間におけるアンカーの位置に対応する仮想空間内の位置に基づいて対象オブジェクトの基準部位の仮想空間内の位置を決定する。このように決定された対象オブジェクトの基準部位の位置は、対象オブジェクトの姿勢制御に利用することができる。例えば対象オブジェクトの基準部位の位置を基準に例えばＩＫ処理を行って、対象オブジェクト全体の姿勢を決定することができる。これにより、例えば、演者の手が演者自身の頭部に設定されたアンカーに近接している場合にこの演者とそのアバターとの体格のミスマッチがあったとしても当該アバターに手で頭部を触る姿勢を取らせること、第１の演者の手が第２の演者の肩に設定されたアンカーに近接している場合にこれらの演者とそのアバターとの体格のミスマッチがあったとしても第１の演者のアバターに第２の演者のアバターの肩に手を添える姿勢を取らせること、などが可能となる。 As described above, the position data processing device according to the embodiment is the position of the reference part of the target object (for example, an avatar) in the virtual space corresponding to the reference part (for example, the performer's hand) of the object existing in the real space. Is determined based on the relationship between the position of the reference portion in the real space and the position of the anchor set in the real space (for example, the surface of the performer himself or another object). Specifically, when the position data processing device determines that the position of the reference portion of the object is close to the position of the anchor in the real space, the position data processing device is in the virtual space corresponding to the position of the anchor in the real space. The position of the reference part of the target object in the virtual space is determined based on the position of. The position of the reference portion of the target object determined in this way can be used for the attitude control of the target object. For example, the posture of the entire target object can be determined by performing, for example, IK processing based on the position of the reference portion of the target object. As a result, for example, when the performer's hand is close to the anchor set on the performer's own head, even if there is a physique mismatch between the performer and the avatar, the avatar is touched by the hand. Being in a position, the first, even if there is a physique mismatch between these performers and their avatars, when the hands of the first performer are close to the anchors set on the shoulders of the second performer. It is possible to make the performer's avatar take a posture of putting his hand on the shoulder of the second performer's avatar.
上述の実施形態は、本発明の概念の理解を助けるための具体例を示しているに過ぎず、本発明の範囲を限定することを意図されていない。実施形態は、本発明の要旨を逸脱しない範囲で、様々な構成要素の付加、削除または転換をすることができる。 The above embodiments are merely specific examples to aid in understanding the concepts of the invention and are not intended to limit the scope of the invention. In the embodiment, various components can be added, deleted or converted without departing from the gist of the present invention.
上述の実施形態では、いくつかの機能部を説明したが、これらは各機能部の実装の一例に過ぎない。例えば、１つの装置に実装されると説明された複数の機能部が複数の別々の装置に亘って実装されることもあり得るし、逆に複数の別々の装置に亘って実装されると説明された機能部が１つの装置に実装されることもあり得る。 In the above-described embodiment, some functional parts have been described, but these are only examples of implementation of each functional part. For example, it is possible that a plurality of functional parts described as being mounted on one device may be mounted on a plurality of separate devices, and conversely, it is described as being mounted on a plurality of separate devices. It is also possible that the functional unit is mounted on one device.
上記各実施形態において説明された種々の機能部は、回路を用いることで実現されてもよい。回路は、特定の機能を実現する専用回路であってもよいし、プロセッサのような汎用回路であってもよい。 The various functional parts described in each of the above embodiments may be realized by using a circuit. The circuit may be a dedicated circuit that realizes a specific function, or may be a general-purpose circuit such as a processor.
上記各実施形態の処理の少なくとも一部は、例えば汎用のコンピュータに搭載されたプロセッサを基本ハードウェアとして用いることでも実現可能である。上記処理を実現するプログラムは、コンピュータで読み取り可能な記録媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記録媒体に記憶される。記録媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなどである。記録媒体は、プログラムを記憶でき、かつ、コンピュータが読み取り可能であれば、何れであってもよい。また、上記処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。 At least a part of the processing of each of the above embodiments can be realized by using, for example, a processor mounted on a general-purpose computer as basic hardware. The program that realizes the above processing may be provided by storing it in a computer-readable recording medium. The program is stored on the recording medium as a file in an installable format or a file in an executable format. Examples of the recording medium include magnetic disks, optical disks (CD-ROM, CD-R, DVD, etc.), magneto-optical disks (MO, etc.), semiconductor memories, and the like. The recording medium may be any medium as long as it can store the program and can be read by a computer. Further, the program that realizes the above processing may be stored on a computer (server) connected to a network such as the Internet and downloaded to the computer (client) via the network.
１００・・・位置データ処理装置
１０１・・・データ取得部
１０２・・・現実空間位置決定部
１０３・・・部位／アンカー定義記憶部
１０４・・・位置関係判定部
１０５・・・仮想空間位置決定部
１０６・・・姿勢制御部
２００・・・クライアント
３００・・・サーバ
４００・・・観客端末
100 ... Position data processing device 101 ... Data acquisition unit 102 ... Real space position determination unit 103 ... Part / anchor definition storage unit 104 ... Positional relationship determination unit 105 ... Virtual space position determination Unit 106: Attitude control unit 200: Client 300: Server 400: Audience terminal
Claims (11)
前記複数の位置データに基づいて、前記第１の部位の位置と、前記現実空間に設定された１以上のアンカーの位置とを決定する第１の位置決定部と、
前記第１の部位が前記アンカーの各々と所定の関係にあるか否かを当該第１の部位の位置および当該アンカーの位置に基づいて判定する関係判定部と、
前記第１の部位が前記アンカーのいずれかと前記所定の関係にあると判定された場合に、前記対象体に対応する仮想空間上の対象オブジェクトの有する前記第１の部位に対応する第２の部位の位置を当該アンカーの位置に対応する仮想空間内の位置に基づいて決定する第２の位置決定部と
を具備する、位置データ処理装置。 A data acquisition unit that acquires a plurality of position data in real space on the surface of one or more objects including an object having a first portion, and a data acquisition unit.
A first position determining unit that determines the position of the first portion and the position of one or more anchors set in the real space based on the plurality of position data.
A relationship determination unit that determines whether or not the first portion has a predetermined relationship with each of the anchors based on the position of the first portion and the position of the anchor.
When it is determined that the first part has the predetermined relationship with any of the anchors, the second part corresponding to the first part of the target object in the virtual space corresponding to the target body. A position data processing device including a second position determining unit that determines the position of the anchor based on the position in the virtual space corresponding to the position of the anchor.
第１の部位を有する対象体を含む１以上の物体の表面の現実空間における複数の位置データを取得する手段、
前記複数の位置データに基づいて、前記第１の部位の位置と、前記現実空間に設定された１以上のアンカーの位置とを決定する手段、
前記第１の部位が前記アンカーの各々と所定の関係にあるか否かを当該第１の部位の位置および当該アンカーの位置に基づいて判定する手段、
前記第１の部位が前記アンカーのいずれかと前記所定の関係にあると判定された場合に、前記対象体に対応する仮想空間上の対象オブジェクトの有する前記第１の部位に対応する第２の部位の位置を当該アンカーの位置に対応する仮想空間内の位置に基づいて決定する手段
として機能させる、位置データ処理プログラム。 A means for a computer to acquire a plurality of position data in real space on the surface of one or more objects including an object having a first part.
A means for determining the position of the first portion and the position of one or more anchors set in the real space based on the plurality of position data.
A means for determining whether or not the first portion has a predetermined relationship with each of the anchors based on the position of the first portion and the position of the anchor.
When it is determined that the first part has the predetermined relationship with any of the anchors, the second part corresponding to the first part of the target object in the virtual space corresponding to the target body. A position data processing program that functions as a means to determine the position of an anchor based on the position in the virtual space corresponding to the position of the anchor.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019161986A JP2020135845A (en) | 2019-09-05 | 2019-09-05 | Position data processor and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019161986A JP2020135845A (en) | 2019-09-05 | 2019-09-05 | Position data processor and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019028181A Division JP6585866B1 (en) | 2019-02-20 | 2019-02-20 | POSITION DATA PROCESSING DEVICE AND PROGRAM |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020135845A true JP2020135845A (en) | 2020-08-31 |
Family
ID=72263413
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019161986A Pending JP2020135845A (en) | 2019-09-05 | 2019-09-05 | Position data processor and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2020135845A (en) |
-
2019
- 2019-09-05 JP JP2019161986A patent/JP2020135845A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7095073B2 (en) | Robot as a personal trainer | |
| US9947139B2 (en) | Method and apparatus for providing hybrid reality environment | |
| CN107533230B (en) | Tracking system for head-mounted display | |
| JP6515813B2 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM | |
| Fern'ndez-Baena et al. | Biomechanical validation of upper-body and lower-body joint movements of kinect motion capture data for rehabilitation treatments | |
| US20190111327A1 (en) | Information processing apparatus, information processing method, and storage medium | |
| US20150070274A1 (en) | Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements | |
| JP2018512643A (en) | Magnetic tracking of glove fingertips with peripheral devices | |
| JP2024045724A (en) | Ambient electromagnetic distortion correction for electromagnetic tracking | |
| US20110305398A1 (en) | Image generation system, shape recognition method, and information storage medium | |
| JP6489726B1 (en) | 3D data system and 3D data processing method | |
| US11307677B2 (en) | Method and device for object pointing in virtual reality (VR) scene using a gamepad, and VR apparatus | |
| WO2019087564A1 (en) | Information processing device, information processing method, and program | |
| JP6585866B1 (en) | POSITION DATA PROCESSING DEVICE AND PROGRAM | |
| US20220026981A1 (en) | Information processing apparatus, method for processing information, and program | |
| US11531401B2 (en) | Data replacement apparatus, computing device, and program for user and avatar coordination | |
| US11880502B2 (en) | Information processing device, information processing method, and non-transitory computer readable storage medium storing an information processing program | |
| CN112973110A (en) | Cloud game control method and device, network television and computer readable storage medium | |
| Xiang et al. | Comparing real-time human motion capture system using inertial sensors with microsoft kinect | |
| JP2020135845A (en) | Position data processor and program | |
| Chow | Low-cost multiple degrees-of-freedom optical tracking for 3D interaction in head-mounted display virtual reality | |
| JP6684336B1 (en) | Data correction device and program | |
| JP7370198B2 (en) | Processing system, information processing device, program and processing method | |
| US20220138982A1 (en) | Information processing apparatus, information processing method, and program | |
| TW202135009A (en) | Location determination and mapping with 3d line junctions |