JP7486180B2

JP7486180B2 - Information processing system, information processing device, information processing method, and program

Info

Publication number: JP7486180B2
Application number: JP2020162850A
Authority: JP
Inventors: 俊亨森本
Original assignee: Graffity Inc
Current assignee: Graffity Inc
Priority date: 2020-07-04
Filing date: 2020-09-29
Publication date: 2024-05-17
Anticipated expiration: 2040-07-04
Also published as: WO2022009723A1; JP2022013547A

Description

本開示は、情報処理システム、情報処理装置、情報処理方法、及びプログラムに関する。 This disclosure relates to an information processing system, an information processing device, an information processing method, and a program.

従来、携帯端末等の情報処理装置において、拡張現実（ＡＲ；Augmented Reality）を利用したゲーム等の各種情報処理の実行が可能となっている（例えば特許文献１参照）。 Conventionally, information processing devices such as mobile terminals have been capable of executing various types of information processing, such as games that utilize augmented reality (AR) (see, for example, Patent Document 1).

特許６４１７４６７号公報Patent No. 6417467

しかしながら、近年、複数人が複数の携帯端末のそれぞれを用いて、ＡＲを利用したゲームの実行等をしたいという要求がなされているが、特許文献１を含め従来の技術では、このような要望に十分に応えることができない状況である。 However, in recent years, there has been a demand for multiple people to use multiple mobile devices to play games that utilize AR, but conventional technologies, including those described in Patent Document 1, are unable to adequately meet this demand.

本開示は上記問題点に鑑みてなされたものであり、その目的は、複数の情報処理装置がＡＲを利用したゲーム等の各種情報処理を適切に実行できるようにすることが可能な情報処理システム、情報処理装置、情報処理方法、及びプログラムを提供することである。 The present disclosure has been made in consideration of the above problems, and its purpose is to provide an information processing system, information processing device, information processing method, and program that enable multiple information processing devices to appropriately execute various types of information processing, such as games that use AR.

本開示によれば、第１の情報処理装置と、前記第１の情報処理装置と通信可能に接続される第２の情報処理装置とを備え、
前記第１の情報処理装置は、
第１の仮想空間に第１の座標系を設定する座標系設定手段と、
前記第１の座標系における前記第１の情報処理装置の第１の位置を決定する自分位置決定手段と、
前記第１の位置を前記第２の情報処理装置に送信する送信手段と、
前記第２の情報処理装置から第２の位置を受信する受信手段と、
前記第１の座標系上での前記第２の位置を前記第２の情報処理装置の位置として決定する相手位置決定手段と、を有し、
前記第２の情報処理装置は、
第２の仮想空間に第２の座標系を設定するとともに、前記第２の座標系の原点から離れた位置に第３の座標系の原点が位置するように前記第３の座標系を設定する座標系設定手段と、
前記第３の座標系における前記第２の情報処理装置の第３の位置を決定する自分位置決定手段と、
前記第３の位置を前記第２の位置として前記第１の情報処理装置に送信する送信手段と、
前記第１の情報処理装置から前記第１の位置を受信する受信手段と、
前記第３の座標系上での前記第１の位置を前記第１の情報処理装置の位置として決定する相手位置決定手段と、を有することを特徴とする情報処理システムが提供される。 According to the present disclosure, a first information processing device and a second information processing device communicably connected to the first information processing device are provided,
The first information processing device,
a coordinate system setting means for setting a first coordinate system in a first virtual space;
a self-position determining means for determining a first position of the first information processing device in the first coordinate system;
a transmitting means for transmitting the first location to the second information processing device;
receiving means for receiving a second position from the second information processing device;
a counterpart position determining means for determining the second position on the first coordinate system as a position of the second information processing device,
The second information processing device is
a coordinate system setting means for setting a second coordinate system in a second virtual space and setting a third coordinate system so that the origin of the third coordinate system is located at a position away from the origin of the second coordinate system;
a self-position determining means for determining a third position of the second information processing device in the third coordinate system;
a transmitting means for transmitting the third location as the second location to the first information processing device;
a receiving means for receiving the first position from the first information processing device;
and a partner position determining means for determining the first position on the third coordinate system as the position of the first information processing device.

また、本開示によれば、他情報処理装置との間で情報の授受を行う情報処理装置であって、
所定空間に主座標系を設定するとともに、該主座標系の原点から離れた位置に副座標系の原点が位置するように前記所定空間に該副座標系を設定する座標系設定手段と、
前記他情報処理装置から受け取った前記他情報処理装置の位置を示す位置情報に基づいて、前記所定空間における前記副座標系上での前記他情報処理装置の位置を決定する相手位置決定手段と、を備える情報処理装置が提供される。 According to the present disclosure, there is also provided an information processing device that transmits and receives information to and from another information processing device,
a coordinate system setting means for setting a main coordinate system in a predetermined space and setting a secondary coordinate system in the predetermined space so that the origin of the secondary coordinate system is located at a position away from the origin of the main coordinate system;
An information processing device is provided that includes a partner position determination means that determines the position of the other information processing device on the sub-coordinate system in the specified space based on position information indicating the position of the other information processing device received from the other information processing device.

また、本開示によれば、他情報処理装置との間で情報の授受を行う情報処理装置であって、
所定空間に主座標系を設定するとともに、該主座標系の原点から離れた位置に副座標系の原点が位置するように前記所定空間に該副座標系を設定する座標系設定手段と、
前記所定空間における前記副座標系上の前記情報処理装置の位置を取得する自分位置決定手段と、
前記副座標系上の位置を前記情報処理装置の位置として前記他情報処理装置に送信する送信手段と、を備える情報処理装置が提供される。 According to the present disclosure, there is also provided an information processing device that transmits and receives information to and from another information processing device,
a coordinate system setting means for setting a main coordinate system in a predetermined space and setting a secondary coordinate system in the predetermined space so that the origin of the secondary coordinate system is located at a position away from the origin of the main coordinate system;
a self-position determining means for acquiring a position of the information processing device on the sub-coordinate system in the predetermined space;
There is provided an information processing device comprising: a transmitting means for transmitting the position on the sub coordinate system to the other information processing device as the position of the information processing device.

また、本開示によれば、他情報処理装置との間で情報の授受を行う情報処理装置が実行する情報処理方法において、
所定空間に主座標系を設定するとともに、該主座標系の原点から離れた位置に副座標系の原点が位置するように前記所定空間に該副座標系を設定する座標系設定ステップと、
前記他情報処理装置から受け取った前記他情報処理装置の位置を示す位置情報に基づいて、前記所定空間における前記副座標系上での前記他情報処理装置の位置を決定する相手位置決定ステップと、を含む情報処理方法が提供される。 According to the present disclosure, there is also provided an information processing method executed by an information processing device that transmits and receives information to and from another information processing device, comprising:
a coordinate system setting step of setting a main coordinate system in a predetermined space and setting a secondary coordinate system in the predetermined space such that the origin of the secondary coordinate system is located at a position away from the origin of the main coordinate system;
An information processing method is provided that includes a partner position determination step of determining the position of the other information processing device on the sub-coordinate system in the specified space based on position information indicating the position of the other information processing device received from the other information processing device.

また、本開示によれば、他情報処理装置との間で情報の授受を行う情報処理装置を制御するコンピュータに、
所定空間に主座標系を設定するとともに、該主座標系の原点から離れた位置に副座標系の原点が位置するように前記所定空間に該副座標系を設定する座標系設定ステップと、
前記他情報処理装置から受け取った前記他情報処理装置の位置を示す位置情報に基づいて、前記所定空間における前記副座標系上での前記他情報処理装置の位置を決定する相手位置決定ステップと、を含む制御処理を実行させるプログラムが提供される。 According to the present disclosure, a computer that controls an information processing device that transmits and receives information to and from another information processing device includes:
a coordinate system setting step of setting a main coordinate system in a predetermined space and setting a secondary coordinate system in the predetermined space such that the origin of the secondary coordinate system is located at a position away from the origin of the main coordinate system;
A program is provided for executing a control process including a partner position determination step for determining the position of the other information processing device on the sub-coordinate system in the specified space based on position information indicating the position of the other information processing device received from the other information processing device.

本開示によれば、複数の情報処理装置がＡＲを利用したゲーム等の各種情報処理を適切に実行できるようになる。 This disclosure enables multiple information processing devices to appropriately execute various types of information processing, such as games that use AR.

本開示の一実施形態に係るハードウェア構成の一例を示すブロック図である。FIG. 2 is a block diagram illustrating an example of a hardware configuration according to an embodiment of the present disclosure. それぞれ別の実空間に位置する２台の情報処理装置を示す平面図である。FIG. 2 is a plan view showing two information processing devices located in different real spaces. 図２の２台の情報処理装置が各ＡＲ空間で座標系を設定する手法の一例を説明する平面図である。3 is a plan view illustrating an example of a method in which the two information processing devices in FIG. 2 set coordinate systems in their respective AR spaces. ２台の情報処理装置の機能的構成のうち、各ＡＲ空間で座標系を設定し、相手装置の位置を決定するまでの一連の処理が実行される際の機能的構成の一例を示す機能ブロック図である。FIG. 11 is a functional block diagram showing an example of a functional configuration of two information processing devices when a series of processes is executed from setting a coordinate system in each AR space to determining the position of the other device. 図４の機能的構成を有する２台の情報処理装置の間で実行される処理の一例を説明するアローチャートである。5 is an arrow chart illustrating an example of a process executed between two information processing devices having the functional configuration of FIG. 4; 一実施形態において４台の情報処理装置がＡＲ空間で座標系を設定する手法の一例を説明する平面図である。11 is a plan view illustrating an example of a method in which four information processing devices set a coordinate system in an AR space in an embodiment. FIG. 一実施形態において４台の情報処理装置がＡＲ空間で座標系を設定する手法の他の例を説明する平面図である。13 is a plan view illustrating another example of a method in which four information processing devices set a coordinate system in an AR space in an embodiment. FIG. 他の実施形態における２台の情報処理装置が各ＡＲ空間で座標系を設定する手法の一例を説明する平面図である。13 is a plan view illustrating an example of a method in which two information processing devices set coordinate systems in each AR space in another embodiment. FIG. 他の実施形態における２台の情報処理装置の間で実行される処理の一例を説明するアローチャートである。13 is an arrow chart illustrating an example of a process executed between two information processing devices according to another embodiment. 他の実施形態において４台の情報処理装置がＡＲ空間で座標系を設定する手法の一例を説明する平面図である。13 is a plan view illustrating an example of a method in which four information processing devices set a coordinate system in an AR space in another embodiment. FIG. 他の実施形態において４台の情報処理装置がＡＲ空間で座標系を設定する手法の他の例を説明する平面図である。13 is a plan view illustrating another example of a method in which four information processing devices set a coordinate system in an AR space in another embodiment. FIG.

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 A preferred embodiment of the present disclosure will be described in detail below with reference to the attached drawings. Note that in this specification and drawings, components having substantially the same functional configuration are designated by the same reference numerals to avoid redundant description.

図１は、本開示の情報処理装置１に係る一実施形態のハードウェア構成を示すブロック図である。 Figure 1 is a block diagram showing the hardware configuration of one embodiment of the information processing device 1 of the present disclosure.

情報処理装置１は、例えば通信機能及び撮影機能を備えるスマートフォン等の携帯端末とすることができる。情報処理装置１は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）２１と、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）２２と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）２３と、バス２４と、入出力インターフェース２５と、タッチ操作入力部２６と、表示部２７と、撮像部２８と、記憶部２９と、通信部３０と、ドライブ３１と、を備えている。 The information processing device 1 can be, for example, a mobile terminal such as a smartphone equipped with a communication function and an image capturing function. The information processing device 1 includes a CPU (Central Processing Unit) 21, a ROM (Read Only Memory) 22, a RAM (Random Access Memory) 23, a bus 24, an input/output interface 25, a touch operation input unit 26, a display unit 27, an image capturing unit 28, a storage unit 29, a communication unit 30, and a drive 31.

ＣＰＵ２１は、ＲＯＭ２２に記録されているプログラム、又は、記憶部２９からＲＡＭ２３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ２３は、ＣＰＵ２１が各種の処理を実行する上において必要なデータ等を適宜記憶することができる。 The CPU 21 executes various processes according to a program recorded in the ROM 22 or a program loaded from the storage unit 29 to the RAM 23. The RAM 23 can store data and the like required for the CPU 21 to execute various processes as appropriate.

ＣＰＵ２１、ＲＯＭ２２及びＲＡＭ２３は、バス２４を介して相互に接続されている。また、バス２４には入出力インターフェース２５も接続されている。入出力インターフェース２５は、タッチ操作入力部２６、表示部２７、撮像部２８、記憶部２９、通信部３０及びドライブ３１に接続されている。 The CPU 21, ROM 22, and RAM 23 are interconnected via a bus 24. An input/output interface 25 is also connected to the bus 24. The input/output interface 25 is connected to a touch operation input unit 26, a display unit 27, an imaging unit 28, a memory unit 29, a communication unit 30, and a drive 31.

タッチ操作入力部２６は、例えば表示部２７に積層される静電容量式又は抵抗膜式（感圧式）の位置入力センサにより構成され、タッチ操作がなされた位置の座標を検出する。 The touch operation input unit 26 is composed of, for example, a capacitive or resistive film (pressure-sensitive) position input sensor that is layered on the display unit 27, and detects the coordinates of the position where a touch operation is performed.

ここで、タッチ操作とは、タッチ操作入力部２６に対する物体の接触又は近接の操作をいう。タッチ操作入力部２６に対して接触又は近接する物体は、例えばプレイヤーの指やタッチペン等である。 Here, a touch operation refers to an operation of bringing an object into contact with or into proximity with the touch operation input unit 26. An object that comes into contact with or into proximity with the touch operation input unit 26 is, for example, the player's finger or a touch pen.

表示部２７は、液晶等のディスプレイ（表示装置）により構成され、ゲームに関する画像等、各種画像を表示する。上記のように、本実施形態では、タッチ操作入力部２６と表示部２７とにより、タッチパネルが構成されている。 The display unit 27 is configured with a display (display device) such as a liquid crystal display, and displays various images, such as images related to the game. As described above, in this embodiment, the touch operation input unit 26 and the display unit 27 form a touch panel.

撮像部２８は、プレイヤーの指示操作に応じて被写体を撮像し、その結果得られる撮像画像のデータを出力する。 The imaging unit 28 captures an image of the subject in response to the player's instructions and outputs the resulting captured image data.

記憶部２９は、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等で構成され、各種データを記憶する。 The memory unit 29 is composed of a DRAM (Dynamic Random Access Memory) etc., and stores various data.

通信部３０は、インターネットを含むネットワーク（図示省略）を介して、他の装置（図示せぬサーバや図示せぬ他のプレイヤー端末（他情報処理装置）等）との間で行う通信（情報の送受信）を制御する。 The communication unit 30 controls communication (transmission and reception of information) between other devices (such as a server (not shown) or other player terminals (other information processing devices) (not shown)) via a network (not shown) including the Internet.

ドライブ３１は、必要に応じて設けられる。ドライブ３１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３２が適宜装着される。ドライブ３１によってリムーバブルメディア３２から読み出されたプログラムは、必要に応じて記憶部２９にインストールされる。また、リムーバブルメディア３２は、記憶部２９に記憶されている各種データも、記憶部２９と同様に記憶することができる。 The drive 31 is provided as necessary. Removable media 32, which may be a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, is appropriately attached to the drive 31. Programs read from the removable media 32 by the drive 31 are installed in the storage unit 29 as necessary. The removable media 32 can also store various data stored in the storage unit 29 in the same way as the storage unit 29.

このような図１の情報処理装置１の各種ハードウェアと各種ソフトウェアとの協働により、２台以上の情報処理装置１の間でＡＲを利用したオンラインでのゲーム等の各種情報処理の実行が可能になる。これにより、２台以上の情報処理装置１間で（ネットワークを介する等して）情報の授受が可能な環境であれば、距離の離れた遠隔地であっても、２台以上の情報処理装置１間でＡＲを利用したオンラインでのゲーム等が可能になる。 The cooperation of the various hardware and software of the information processing device 1 in FIG. 1 makes it possible to execute various information processing, such as online games using AR, between two or more information processing devices 1. As a result, if there is an environment in which information can be exchanged between two or more information processing devices 1 (via a network, for example), online games using AR can be played between two or more information processing devices 1 even in remote locations far away from each other.

このように、本開示の一実施形態に係る複数の情報処理装置１を備える拡張現実システムは、実空間を撮影した現実画像に、仮想空間の画像を重畳させた拡張現実（ＡＲ；Augmented Reality）を提供する。これにより、本開示の一実施形態に係る複数の情報処理装置１を備える拡張現実システムによれば、ＡＲを利用したオンラインでのゲーム等の各種情報処理の実行が可能になる。なお、仮想空間に現実画像を反映させた複合現実（ＭＲ；Mixed Reality）や仮想空間の画像のみの仮想現実（ＶＲ；Virtual Reality）を提供するようにしてもよい。 In this way, the augmented reality system including multiple information processing devices 1 according to an embodiment of the present disclosure provides augmented reality (AR) in which an image of a virtual space is superimposed on a real image captured of a real space. As a result, the augmented reality system including multiple information processing devices 1 according to an embodiment of the present disclosure makes it possible to execute various information processes, such as online games, using AR. Note that it may also be possible to provide mixed reality (MR) in which a real image is reflected in a virtual space, or virtual reality (VR) that contains only an image of a virtual space.

ここで、２台以上の情報処理装置１が、ＡＲを利用したゲーム等の各種情報処理を実行するに際し、各情報処理装置１は撮像された画像に基づいて情報処理装置１内で仮想的にＡＲ空間を構築する。ＡＲ空間とは、情報処理装置１において処理される空間であって、実空間に対してオブジェクトの配置等何らかの情報が付加される空間をいう。 When two or more information processing devices 1 execute various information processes such as games using AR, each information processing device 1 constructs a virtual AR space within the information processing device 1 based on captured images. The AR space is a space that is processed in the information processing device 1, and is a space in which some information, such as the placement of objects, is added to the real space.

ＡＲ空間内でのオブジェクト等の位置や姿勢は、情報処理装置１によって認識されたＡＲ空間内で用いられる座標系に基づいて規定される。座標系は、例えば３次元の直交座標系であり、直行する３本の座標軸（ｘ軸、ｙ軸、ｚ軸）と、３本の座標軸が交わる原点を有する。 The positions and orientations of objects, etc. in the AR space are defined based on a coordinate system used in the AR space recognized by the information processing device 1. The coordinate system is, for example, a three-dimensional Cartesian coordinate system, and has three orthogonal coordinate axes (x-axis, y-axis, z-axis) and an origin where the three coordinate axes intersect.

以下に、それぞれ別の実空間に位置する２台の情報処理装置１（例えば図２、３の第１装置１Ａ及び第２装置１Ｂ）の間で情報の授受を行い、ＡＲを利用したゲーム等の各種情報処理を実行する場合について説明する。なお、２台の情報処理装置１が「別の実空間に位置する」とは、例えば２台の情報処理装置１がそれぞれ別の建物に位置する場合、または、同一の建物の別の部屋に位置する場合等を含む。なお、２台の情報処理装置１が同一空間（例えば同一建物の同一の部屋）にあった場合でも、本例と同様の情報処理を行うことで、複数の情報処理装置１がＡＲを利用したゲーム等の各種情報処理を適切に実行可能である。つまり、複数の情報処理装置１が同一の実空間にあるか否かに関わらず、また、実空間で他情報処理装置１が視認できるか否かに関わらず、本開示によれば、複数の情報処理装置１間での各種情報処理が可能となる。 Below, a case will be described in which information is exchanged between two information processing devices 1 (for example, the first device 1A and the second device 1B in Figs. 2 and 3) located in different real spaces, and various information processing such as games using AR is performed. Note that the two information processing devices 1 are "located in different real spaces" includes, for example, the two information processing devices 1 being located in different buildings, or in different rooms in the same building. Note that even if the two information processing devices 1 are in the same space (for example, the same room in the same building), the multiple information processing devices 1 can appropriately perform various information processing such as games using AR by performing information processing similar to this example. In other words, according to the present disclosure, various information processing is possible between multiple information processing devices 1, regardless of whether the multiple information processing devices 1 are in the same real space or whether the other information processing devices 1 are visible in the real space.

ここで、例えば親機と子機からなる２台の情報処理装置１が、ＡＲを利用したゲーム等の各種情報処理を実行するに際し、情報処理装置１のそれぞれは、各自のＡＲ空間内に主座標系を設定する。 Here, when two information processing devices 1, for example a parent device and a child device, execute various information processes such as games using AR, each information processing device 1 sets a main coordinate system within its own AR space.

図２に示すように、親機としての第１装置１Ａは実空間である部屋等の第１空間Ｒ１に位置し、子機としての第２装置１Ｂは、実空間である他の部屋等の第２空間Ｒ２に位置する。なお、第１空間Ｒ１における第１装置１Ａの位置及び向き（姿勢）は図示例に限定されず、同様に第２空間Ｒ２における第２装置１Ｂの位置及び向き（姿勢）は図示例に限定されない。なお、本例では第１装置１Ａを親機とし、第２装置１Ｂを子機としているが、これに限られるものではなく、第２装置１Ｂを親機とし、第１装置１Ａを子機としてもよい。 As shown in FIG. 2, the first device 1A as a parent device is located in a first space R1 such as a room, which is a real space, and the second device 1B as a child device is located in a second space R2 such as another room, which is a real space. Note that the position and orientation (posture) of the first device 1A in the first space R1 are not limited to the illustrated example, and similarly, the position and orientation (posture) of the second device 1B in the second space R2 are not limited to the illustrated example. Note that in this example, the first device 1A is the parent device and the second device 1B is the child device, but this is not limited thereto, and the second device 1B may be the parent device and the first device 1A may be the child device.

第１装置１Ａ（第１の情報処理装置）は、座標系設定手段と、自分位置決定手段と、送信手段と、受信手段と、相手位置決定手段と、を有する。 The first device 1A (first information processing device) has a coordinate system setting means, a self-position determining means, a transmitting means, a receiving means, and a partner position determining means.

座標系設定手段は、第１の仮想空間（ＡＲ空間ＳＰ１）に第１の座標系（座標系ａｘ１）を設定する。座標系設定手段は、例えば後述する座標系設定部５１とすることができる。座標系の設定は、例えばＳＬＡＭ（ＳｉｍｕｌｔａｎｅｏｕｓＬｏｃａｌｉｚａｔｉｏｎａｎｄＭａｐｐｉｎｇ）を動かす等して、空間を認識することによって行うことができるが、これに限られない。 The coordinate system setting means sets a first coordinate system (coordinate system ax1) in the first virtual space (AR space SP1). The coordinate system setting means can be, for example, a coordinate system setting unit 51 described later. The coordinate system can be set by, for example, moving SLAM (Simultaneous Localization and Mapping) to recognize the space, but is not limited to this.

自分位置決定手段は、第１の座標系（座標系ａｘ１）における第１の情報処理装置の第１の位置を決定する。自分位置決定手段は、例えば後述する位置決定部５２とすることができる。 The self-position determining means determines a first position of the first information processing device in the first coordinate system (coordinate system ax1). The self-position determining means can be, for example, the position determining unit 52 described below.

送信手段は、第１の位置を前記第２の情報処理装置（第２装置１Ｂ）に送信する。送信手段は、例えば後述する通信部３０とすることができる。 The transmission means transmits the first position to the second information processing device (second device 1B). The transmission means may be, for example, a communication unit 30 described below.

受信手段は、第２の情報処理装置（第２装置１Ｂ）から第２の位置を受信する。受信手段は、例えば後述する通信部３０とすることができる。なお、本例では送信手段と受信手段との両方の機能を有する通信部３０を設けているが、これに限られるものではない。例えば、送信手段としての機能を有する送信部と受信手段としての機能を有する受信部とを別々に設けてもよい。 The receiving means receives the second position from the second information processing device (second device 1B). The receiving means can be, for example, a communication unit 30 described below. Note that in this example, a communication unit 30 having the functions of both a transmitting means and a receiving means is provided, but this is not limited to this. For example, a transmitting unit having the function as a transmitting means and a receiving unit having the function as a receiving means may be provided separately.

相手位置決定手段は、第１の座標系（座標系ａｘ１）上での第２の位置を第２の情報処理装置（第２装置１Ｂ）の位置として決定する。相手位置決定手段は、例えば後述する位置決定部５２とすることができる。なお、本例では自分位置決定手段と相手位置決定手段との両方の機能を有する位置決定部５２を設けているが、これに限られるものではない。例えば、送信手段としての機能を有する送信部と受信手段としての機能を有する受信部とを別々に設けてもよい。 The other party position determination means determines the second position on the first coordinate system (coordinate system ax1) as the position of the second information processing device (second device 1B). The other party position determination means can be, for example, the position determination unit 52 described below. Note that in this example, a position determination unit 52 having the functions of both the self position determination means and the other party position determination means is provided, but this is not limited to this. For example, a transmitting unit having the function as a transmitting means and a receiving unit having the function as a receiving means may be provided separately.

第２装置１Ｂ（第２の情報処理装置）は、座標系設定手段と、自分位置決定手段と、送信手段と、受信手段と、相手位置決定手段と、を有する。座標系設定手段は、例えば後述する座標系設定部５１とすることができる。自分位置決定手段及び相手位置決定手段は、例えば後述する位置決定部５２とすることができる。送信手段及び受信手段は、例えば後述する通信部３０とすることができる。 The second device 1B (second information processing device) has a coordinate system setting means, a self-position determining means, a transmission means, a reception means, and a partner position determining means. The coordinate system setting means may be, for example, a coordinate system setting unit 51 described later. The self-position determining means and the partner position determining means may be, for example, a position determining unit 52 described later. The transmission means and the reception means may be, for example, a communication unit 30 described later.

座標系設定手段は、第２の仮想空間（ＡＲ空間ＳＰ２）に第２の座標系（座標系ａｘ２）を設定するとともに、第２の座標系（座標系ａｘ２）の原点から離れた位置に第３の座標系（座標系ａｘ３）の原点が位置するように第３の座標系（座標系ａｘ３）を設定する。 The coordinate system setting means sets a second coordinate system (coordinate system ax2) in the second virtual space (AR space SP2), and also sets a third coordinate system (coordinate system ax3) so that the origin of the third coordinate system (coordinate system ax3) is located at a position away from the origin of the second coordinate system (coordinate system ax2).

自分位置決定手段は、第３の座標系（座標系ａｘ３）における第２の情報処理装置の第３の位置を決定する。自分位置決定手段が第３の座標系（後述する副座標系）における第２の情報処理装置の第３の位置を決定する方法としては、特に限定されないが、例えば、第２の座標系（後述する主座標系）上の位置を取得して、それを座標変換することにより、第３の座標系における第２の情報処理装置の第３の位置を決定することができる。あるいは、ＳＬＡＭの環境マップ（点群）に基づいて位置を計算する場合に、所定距離Ｌの移動（シフト）及び向き変更（回転）が考慮されるように予めパラメータ設定（キャリブレーション）するようにしてもよい（例えば、ｉＯＳ（登録商標）のＡＲＫｉｔ（登録商標）で提供されているsetWorldOrigin関数を用いることにより実現することができる。）。 The self-position determining means determines the third position of the second information processing device in the third coordinate system (coordinate system ax3). There is no particular limitation on the method by which the self-position determining means determines the third position of the second information processing device in the third coordinate system (sub-coordinate system described later), but for example, the third position of the second information processing device in the third coordinate system can be determined by acquiring a position on the second coordinate system (main coordinate system described later) and converting the coordinates of the acquired position. Alternatively, when calculating the position based on the SLAM environment map (point cloud), parameters may be set (calibrated) in advance so that a movement (shift) of a predetermined distance L and a change in orientation (rotation) are taken into account (for example, this can be achieved by using the setWorldOrigin function provided in ARKit (registered trademark) of iOS (registered trademark).).

送信手段は、第３の位置（座標系ａｘ３上での第２装置１Ｂの位置）を第２の位置として第１の情報処理装置（第１装置１Ａ）に送信する。 The transmitting means transmits the third position (the position of the second device 1B on the coordinate system ax3) as the second position to the first information processing device (first device 1A).

受信手段は、第１の情報処理装置（第１装置１Ａ）から第１の位置を受信する。 The receiving means receives the first position from the first information processing device (first device 1A).

相手位置決定手段は、第３の座標系（座標系ａｘ３）上での第１の位置を第１の情報処理装置（第１装置１Ａ）の位置として決定する。 The other party position determination means determines the first position on the third coordinate system (coordinate system ax3) as the position of the first information processing device (first device 1A).

上記のように、子機としての第２装置１Ｂは、親機としての第１装置１Ａ（他情報処理装置）との間で情報の授受を行う情報処理装置であって、
ＡＲ空間ＳＰ２（所定空間）に座標系ａｘ２（主座標系、第２の座標系）を設定するとともに、座標系ａｘ２の原点Ｏ２から離れた位置に座標系ａｘ３（副座標系、第３の座標系）の原点Ｏ３が位置するようにＡＲ空間ＳＰ２に座標系ａｘ３を設定する座標系設定手段と、
第１装置１Ａから受け取った座標系ａｘ２上での第１装置１Ａの位置を示す位置情報に基づいて、ＡＲ空間ＳＰ２での他情報処理装置の位置を決定する相手位置決定手段と、を備える。 As described above, the second device 1B as a child device is an information processing device that transmits and receives information to and from the first device 1A (another information processing device) as a parent device,
a coordinate system setting means for setting a coordinate system ax2 (primary coordinate system, second coordinate system) in the AR space SP2 (predetermined space) and setting a coordinate system ax3 (secondary coordinate system, third coordinate system) in the AR space SP2 such that an origin O3 of the coordinate system ax3 is located at a position away from an origin O2 of the coordinate system ax2;
and a partner position determination means for determining the position of the other information processing device in the AR space SP2 based on position information indicating the position of the first device 1A on the coordinate system ax2 received from the first device 1A.

上記のように、子機としての第２装置１Ｂは、座標系ａｘ３（副座標系）上の位置を第２装置１Ｂの位置として第１装置１Ａに送信する送信手段と、を備える。 As described above, the second device 1B acting as a child device has a transmission means for transmitting the position on the coordinate system ax3 (sub-coordinate system) to the first device 1A as the position of the second device 1B.

上記の通り、第１装置１Ａと第２装置１Ｂのそれぞれは、各自のＡＲ空間において自分の位置と相手の位置を決定することができる。 As described above, each of the first device 1A and the second device 1B can determine its own position and the other person's position in their own AR space.

また、第１装置１Ａと第２装置１Ｂのそれぞれは、相手装置から受信した情報に基づき、相手装置の向き（姿勢）を決定することも可能である。各情報処理装置の向き（姿勢）は、例えばカメラ等の撮像部２８が指向する向きとすることができる。この場合、第１装置１Ａと第２装置１Ｂのそれぞれは、自分の向きを示す情報を、位置情報（座標）とともに、または位置情報とは別に相手装置に送信することができる。なお、各座標系におけるｚ軸（及びｘ軸）は水平方向に延在し、ｙ軸が鉛直方向に延在していることが好ましい。 Each of the first device 1A and the second device 1B can also determine the orientation (posture) of the other device based on the information received from the other device. The orientation (posture) of each information processing device can be, for example, the orientation of an imaging unit 28 such as a camera. In this case, each of the first device 1A and the second device 1B can transmit information indicating its own orientation to the other device together with the position information (coordinates) or separately from the position information. Note that it is preferable that the z axis (and x axis) in each coordinate system extend horizontally and the y axis extend vertically.

また、第２装置１ＢがＡＲ空間ＳＰ２において座標系ａｘ３を設定する際には、例えば、座標系ａｘ２の原点Ｏ２から、座標系ａｘ２のｚ軸の正方向に、所定の距離Ｌだけ離れた位置に座標系ａｘ３の原点Ｏ３を設定（配置）することができる。このように、ＡＲ空間ＳＰ２において座標系ａｘ２とは異なる位置に座標系ａｘ３を設定し、座標系ａｘ３に基づき自分（第２装置１Ｂ）の位置を決定することで、ＡＲ空間ＳＰ２上で自分の位置と相手装置の位置とを最初から離れた状態に配置し易くなる。その結果、例えばゲームの開始時から相手装置を示すオブジェクトが離れた位置に設定されるので、当該相手装置のオブジェクトの位置を視認（確認）し易くなる。 Furthermore, when the second device 1B sets the coordinate system ax3 in the AR space SP2, it can set (place) the origin O3 of the coordinate system ax3 at a position a predetermined distance L away from the origin O2 of the coordinate system ax2 in the positive direction of the z axis of the coordinate system ax2. In this way, by setting the coordinate system ax3 at a position different from the coordinate system ax2 in the AR space SP2 and determining the position of the player (second device 1B) based on the coordinate system ax3, it becomes easier to position the player's position and the position of the opponent's device apart from each other in the AR space SP2 from the start. As a result, for example, an object representing the opponent's device is set at a distant position from the start of the game, making it easier to visually confirm (confirm) the position of the object of the opponent's device.

また、第２装置１ＢがＡＲ空間ＳＰ２において座標系ａｘ３を設定する際には、例えばｙ軸を中心（回転軸）としてｘ軸とｚ軸とが反転（１８０度回転）するように座標系ａｘ２を設定することができる。この場合、ＡＲ空間ＳＰ２において、座標系ａｘ２と座標系ａｘ３とが（特に、ｚ軸正方向同士が）互いに向かい合うこととなる。その結果、例えばＡＲ空間ＳＰ２において各座標系ａｘ２、ａｘ３の原点Ｏ２，Ｏ３にそれぞれ位置する相手装置を最初の段階から容易に確認することができる。同様に、ＡＲ空間ＳＰ１においても相手装置を最初の段階から容易に確認することができる。そのため、例えば第１装置１Ａと第２装置１ＢとがＡＲ空間で互いに向かい合って対戦するゲーム等に適している。ＡＲ空間ＳＰ２での座標系ａｘ２と座標系ａｘ３の原点同士の距離Ｌ、及び相対的な向きは、ＡＲ空間ＳＰ２及びＡＲ空間ＳＰ１での初期状態における第１装置１Ａと第２装置１Ｂとの距離及び相対的な向きに対応する。なお、ＡＲ空間ＳＰ２での座標系ａｘ２と座標系ａｘ３の原点同士の距離Ｌ、及び相対的な向きは特に限定されず、適宜変更可能である。ＡＲ空間ＳＰ２での座標系ａｘ２と座標系ａｘ３の原点同士の距離Ｌ、及び相対的な向きは、予め設定された規定値であってもよいし、例えば２台以上の情報処理装置１間で情報の授受が開始された（セッションが開始された）時、またはその後の所定のタイミングに決定されるようにしてもよいし、情報処理装置１によって適宜選択可能なものとしてもよい。 When the second device 1B sets the coordinate system ax3 in the AR space SP2, the coordinate system ax2 can be set so that the x-axis and z-axis are inverted (rotated 180 degrees) around the y-axis (rotation axis). In this case, the coordinate systems ax2 and ax3 (especially the z-axis positive directions) face each other in the AR space SP2. As a result, for example, the opponent devices located at the origins O2 and O3 of the coordinate systems ax2 and ax3 in the AR space SP2 can be easily confirmed from the beginning. Similarly, the opponent devices can be easily confirmed from the beginning in the AR space SP1. Therefore, for example, it is suitable for games in which the first device 1A and the second device 1B face each other in the AR space and play against each other. The distance L between the origins of the coordinate systems ax2 and ax3 in the AR space SP2 and the relative orientation of the coordinate systems ax2 and ax3 in the AR space SP2 correspond to the distance and the relative orientation of the first device 1A and the second device 1B in the initial state in the AR space SP2 and the AR space SP1. The distance L between the origins of the coordinate systems ax2 and ax3 in the AR space SP2 and the relative orientation of the coordinate systems ax2 and ax3 in the AR space SP2 are not particularly limited and can be changed as appropriate. The distance L between the origins of the coordinate systems ax2 and ax3 in the AR space SP2 and the relative orientation of the coordinate systems ax2 and ax3 may be a preset value, or may be determined, for example, when information exchange between two or more information processing devices 1 starts (a session starts) or at a predetermined timing thereafter, or may be appropriately selectable by the information processing device 1.

第１装置１Ａは、上記のように自分のＡＲ空間ＳＰ１に自分の座標系ａｘ１を設定した後、第２装置１Ｂから、座標系ａｘ３上での第２装置１Ｂの位置を示す位置情報（例えば座標(Ｘｂ', Ｙｂ', Ｚｂ')）及び必要に応じて第２装置１Ｂの向きを示す情報を受け取る。第１装置１Ａは、この位置情報に基づいて、ＡＲ空間ＳＰ１上での第２装置１Ｂの位置を決定する。第１装置１Ａは、座標系ａｘ１に座標系ａｘ３を重ねて配置した（原点位置と向きを一致させた）場合の第２装置１Ｂの位置を、ＡＲ空間ＳＰ１における第２装置１Ｂの位置と決定する。また、第１装置１Ａは、例えば第２装置１Ｂから所定の時間間隔で繰返し位置情報を受け取り続けることで、ＡＲ空間ＳＰ１における第２装置１Ｂの位置を把握し続けることができる。これにより、第１装置１Ａは、例えば、ＡＲ空間ＳＰ１に第２装置１Ｂを示すオブジェクトを配置することができる。そして、第１装置１Ａは、撮像した実空間の画像に、上記第２装置１Ｂを示すオブジェクトの画像を重畳表示させることができる。なお、オブジェクトの形状は特に限定されず、任意の形状を採用可能である。 After setting its own coordinate system ax1 in its AR space SP1 as described above, the first device 1A receives from the second device 1B position information (e.g., coordinates (Xb', Yb', Zb')) indicating the position of the second device 1B on the coordinate system ax3 and, if necessary, information indicating the orientation of the second device 1B. The first device 1A determines the position of the second device 1B on the AR space SP1 based on this position information. The first device 1A determines the position of the second device 1B in the AR space SP1 as the position of the second device 1B when the coordinate system ax3 is superimposed on the coordinate system ax1 (the origin position and orientation are matched). In addition, the first device 1A can continue to grasp the position of the second device 1B in the AR space SP1 by repeatedly receiving position information from the second device 1B at a predetermined time interval, for example. This allows the first device 1A to place an object indicating the second device 1B in the AR space SP1, for example. The first device 1A can then superimpose an image of the object representing the second device 1B on the captured image of the real space. Note that the shape of the object is not particularly limited, and any shape can be used.

また、第１装置１Ａは、座標系ａｘ３上での第２装置１Ｂの向きを示す情報を受け取り、当該情報に基づいて、ＡＲ空間ＳＰ１上での第２装置１Ｂの向きを決定することも可能である。 The first device 1A can also receive information indicating the orientation of the second device 1B on the coordinate system ax3 and determine the orientation of the second device 1B in the AR space SP1 based on that information.

第２装置１Ｂは、第１装置１Ａ（他情報処理装置）から受け取った座標系ａｘ１上での第１装置１Ａの位置を示す位置情報（例えば座標(Ｘｂ, Ｙｂ, Ｚｂ)）に基づいて、ＡＲ空間ＳＰ２における座標系ａｘ３上での第１装置１Ａの位置を決定することができる。第２装置１Ｂは、座標系ａｘ３に座標系ａｘ１を重ねて配置した（原点位置と向きを一致させた）場合の第１装置１Ａの位置を、ＡＲ空間ＳＰ２における第１装置１Ａの位置と決定する。第２装置１Ｂは、例えば第１装置１Ａから所定の時間間隔で繰返し位置情報を受け取り続けることで、ＡＲ空間ＳＰ２における第１装置１Ａの位置を把握し続けることができる。これにより、第２装置１Ｂは、例えば、ＡＲ空間ＳＰ２に第１装置１Ａを示すオブジェクトを配置することができる。そして、第２装置１Ｂは、撮像した実空間の画像に、上記第１装置１Ａを示すオブジェクトの画像を重畳表示させることができる。 The second device 1B can determine the position of the first device 1A on the coordinate system ax3 in the AR space SP2 based on position information (e.g., coordinates (Xb, Yb, Zb)) indicating the position of the first device 1A on the coordinate system ax1 received from the first device 1A (another information processing device). The second device 1B determines the position of the first device 1A in the AR space SP2 as the position of the first device 1A when the coordinate system ax1 is superimposed on the coordinate system ax3 (the origin position and orientation are matched). The second device 1B can continue to grasp the position of the first device 1A in the AR space SP2 by repeatedly receiving position information from the first device 1A at a predetermined time interval, for example. This allows the second device 1B to place an object indicating the first device 1A in the AR space SP2, for example. The second device 1B can then superimpose an image of the object indicating the first device 1A on the captured image of the real space.

また、第２装置１Ｂは、座標系ａｘ１上での第１装置１Ａの向きを示す情報を受け取り、当該情報に基づいて、ＡＲ空間ＳＰ２上での第１装置１Ａの向きを決定することも可能である。 The second device 1B can also receive information indicating the orientation of the first device 1A on the coordinate system ax1, and determine the orientation of the first device 1A in the AR space SP2 based on that information.

第１装置１Ａと第２装置１Ｂとは、上記のようにして、各自のＡＲ空間ＳＰ１、ＳＰ２に仮想的に相手を配置する（相手の位置（及び向き）を決定する）ことができる。即ち、第１装置１Ａは、最初に設定したＡＲ空間ＳＰ１における座標系ａｘ１を用いて、各種情報を処理する。一方、第２装置１Ｂは、最初に設定したＡＲ空間ＳＰ２における座標系ａｘ２と座標系ａｘ３を用いて、各種情報を処理する。 The first device 1A and the second device 1B can virtually place the other person in their respective AR spaces SP1 and SP2 (determine the other person's position (and orientation)) in this manner. That is, the first device 1A processes various information using the coordinate system ax1 in the initially set AR space SP1. Meanwhile, the second device 1B processes various information using the coordinate systems ax2 and ax3 in the initially set AR space SP2.

第１装置１Ａと第２装置１Ｂとは、互いの位置情報等の各種情報を、Ｐ２Ｐ（ｐｅｅｒ－ｔｏ－ｐｅｅｒ）で相互に授受する。 The first device 1A and the second device 1B exchange various information, such as each other's location information, in a peer-to-peer (P2P) manner.

以上説明した第１装置１Ａと第２装置１Ｂとにおける一連の処理は、第１装置１Ａと第２装置１Ｂとのそれぞれにおけるハードウェアとソフトウェアの協働により実現される。この場合、第１装置１Ａと第２装置１Ｂとは、例えば図４に示す機能的構成を有することができる。図４は、第１装置１Ａと第２装置１Ｂとのそれぞれにおける機能的構成のうち、上記座標系の設定と、位置決定とを含む一連の処理が実行される際の機能的構成の一例を示す機能ブロック図である。 The series of processes in the first device 1A and the second device 1B described above is realized by cooperation between the hardware and software in each of the first device 1A and the second device 1B. In this case, the first device 1A and the second device 1B can have the functional configuration shown in FIG. 4, for example. FIG. 4 is a functional block diagram showing an example of the functional configuration of each of the first device 1A and the second device 1B when a series of processes including setting the coordinate system and determining the position are executed.

図４に示すように、第１装置１ＡのＣＰＵ２１においては、座標系設定部５１（座標系設定手段）と、位置決定部５２（位置決定手段）と、通信制御部５３（通信制御手段）とが機能する。同様に、第２装置１ＢのＣＰＵ２１においても、座標系設定部５１（座標系設定手段）と、位置決定部５２（位置決定手段）と、通信制御部５３（通信制御手段）とが機能する。なお、第１装置１Ａ及び／又は第２装置１ＢのＣＰＵ２１には、例えばマーカ画像を生成するマーカ画像生成部、及びマーカ画像を表示部に表示させるマーカ画像表示制御部等が設けられていてもよい。 As shown in FIG. 4, in the CPU 21 of the first device 1A, a coordinate system setting unit 51 (coordinate system setting means), a position determination unit 52 (position determination means), and a communication control unit 53 (communication control means) function. Similarly, in the CPU 21 of the second device 1B, a coordinate system setting unit 51 (coordinate system setting means), a position determination unit 52 (position determination means), and a communication control unit 53 (communication control means) function. Note that the CPU 21 of the first device 1A and/or the second device 1B may be provided with, for example, a marker image generation unit that generates a marker image, and a marker image display control unit that displays the marker image on the display unit.

以下、図５を適宜参照しつつ、第１装置１Ａと第２装置１Ｂの各機能ブロックの詳細について説明する。 The following describes in detail each of the functional blocks of the first device 1A and the second device 1B, with reference to FIG. 5 as appropriate.

図５は、図４の機能的構成を有する第１装置１Ａと第２装置１Ｂとの間で実行される一連の処理の一例を説明するアローチャートである。 Figure 5 is an arrow chart illustrating an example of a series of processes executed between a first device 1A and a second device 1B having the functional configuration of Figure 4.

ステップＳ１１において、第１装置１Ａの座標系設定部５１は、撮像部２８により撮像された実空間の撮像画像のデータに基づいて空間認識を行い、構築したＡＲ空間ＳＰ１に座標系ａｘ１（図２）を設定する。次いでステップＳ１２において、第１装置１Ａの位置決定部５２は、ＡＲ空間ＳＰ１における座標系ａｘ１に基づく自分の位置を決定する。位置決定部５２は、例えば、初期状態において座標系ａｘ１の原点Ｏ１を自分の位置として決定する。 In step S11, the coordinate system setting unit 51 of the first device 1A performs spatial recognition based on the data of the image of the real space captured by the imaging unit 28, and sets a coordinate system ax1 (FIG. 2) in the constructed AR space SP1. Next, in step S12, the position determination unit 52 of the first device 1A determines its own position based on the coordinate system ax1 in the AR space SP1. For example, in the initial state, the position determination unit 52 determines the origin O1 of the coordinate system ax1 as its own position.

上記ステップＳ１１と同様に、ステップＳ２１において、第２装置１Ｂの座標系設定部５１は、撮像部２８により撮像された実空間の撮像画像のデータに基づいて空間認識を行い、構築したＡＲ空間ＳＰ２に座標系ａｘ２（図２）を設定する。次いでステップＳ２２において、第２装置１Ｂの座標系設定部５１は、ＡＲ空間ＳＰ２における座標系ａｘ２から所定距離Ｌだけ離れた位置にの原点Ｏ３が位置するように座標系ａｘ３（図３）を設定する。この時、座標系ａｘ３の向きは、座標系ａｘ２の向きに対してｙ軸を中心として反転した向きに設定することができる。次いでステップＳ２３において、第２装置１Ｂの位置決定部５２は、ＡＲ空間ＳＰ２における座標系ａｘ３に基づく自分の位置を決定する。位置決定部５２は、例えば、初期状態において座標系ａｘ２の原点Ｏ２を自分の位置として決定する。つまり、座標系ａｘ３の原点Ｏ３から距離Ｌだけ離れた位置を、自分の位置をＡＲ空間ＳＰ２における自分の位置と決定する。本例においてステップＳ１１、Ｓ２１、Ｓ２２は座標系設定ステップを構成し、ステップＳ１２、Ｓ２３は、自分位置決定ステップを構成する。 In the same manner as in step S11, in step S21, the coordinate system setting unit 51 of the second device 1B performs space recognition based on the data of the captured image of the real space captured by the imaging unit 28, and sets the coordinate system ax2 (FIG. 2) in the constructed AR space SP2. Next, in step S22, the coordinate system setting unit 51 of the second device 1B sets the coordinate system ax3 (FIG. 3) so that the origin O3 is located at a position a predetermined distance L away from the coordinate system ax2 in the AR space SP2. At this time, the orientation of the coordinate system ax3 can be set to an orientation inverted around the y-axis with respect to the orientation of the coordinate system ax2. Next, in step S23, the position determination unit 52 of the second device 1B determines its own position based on the coordinate system ax3 in the AR space SP2. For example, in the initial state, the position determination unit 52 determines the origin O2 of the coordinate system ax2 as its own position. In other words, the position that is a distance L away from the origin O3 of the coordinate system ax3 is determined to be the user's position in the AR space SP2. In this example, steps S11, S21, and S22 constitute a coordinate system setting step, and steps S12 and S23 constitute a user's position determination step.

ステップＳ１３、Ｓ２４において、第１装置１Ａ及び第２装置１Ｂは、互いに情報の授受を行う。具体的に、ステップＳ１３において、第１装置１Ａの通信制御部５３は、座標系ａｘ１における第１装置１Ａの位置情報（及び必要に応じて向きの情報等）を、通信部３０を介して第２装置１Ｂに送信し、第２装置１Ｂは通信部３０を介して当該情報を受信する。同様に、第２装置１Ｂは、ステップＳ２４において、座標系ａｘ３における第２装置１Ｂの位置情報等を、通信部３０を介して第１装置１Ａに送信し、第１装置１Ａは通信部３０を介して当該情報を受信する。なお、ステップＳ１３とステップＳ２４は同時であってもよいし、互いに異なるタイミングであってもよい。互いに異なるタイミングである場合、ステップＳ１３とステップＳ２４はどちらが先でもよい。 In steps S13 and S24, the first device 1A and the second device 1B exchange information with each other. Specifically, in step S13, the communication control unit 53 of the first device 1A transmits the position information (and orientation information, etc., if necessary) of the first device 1A in the coordinate system ax1 to the second device 1B via the communication unit 30, and the second device 1B receives the information via the communication unit 30. Similarly, in step S24, the second device 1B transmits the position information, etc. of the second device 1B in the coordinate system ax3 to the first device 1A via the communication unit 30, and the first device 1A receives the information via the communication unit 30. Note that steps S13 and S24 may be performed simultaneously or at different times. If they are performed at different times, either step S13 or step S24 may be performed first.

ステップＳ１４において、第１装置１Ａは、ステップＳ１３（Ｓ２４）において第２装置１Ｂから受け取った座標系ａｘ３上での第２装置１Ｂの位置を示す位置情報に基づいて、ＡＲ空間ＳＰ１での第２装置１Ｂの位置を決定する。 In step S14, the first device 1A determines the position of the second device 1B in the AR space SP1 based on the position information indicating the position of the second device 1B on the coordinate system ax3 received from the second device 1B in step S13 (S24).

ステップＳ２５において、第２装置１Ｂは、ステップＳ２４（Ｓ１３）において第１装置１Ａから受け取った座標系ａｘ１上での第１装置１Ａの位置を示す位置情報に基づいて、ＡＲ空間ＳＰ２での第１装置１Ａの位置を決定する。本例においてステップＳ１３、Ｓ２４及びステップＳ１４、Ｓ２５は相手位置決定ステップを構成する。 In step S25, the second device 1B determines the position of the first device 1A in the AR space SP2 based on the position information indicating the position of the first device 1A on the coordinate system ax1 received from the first device 1A in step S24 (S13). In this example, steps S13, S24, and steps S14, S25 constitute a partner position determination step.

ステップＳ１２～Ｓ１４及びステップＳ２３～Ｓ２５は、例えばゲームが終了するまで、継続的に繰り返し行われる。これにより、第１装置１Ａ及び第２装置１Ｂはそれぞれ、各自のＡＲ空間ＳＰ１、ＳＰ２での自分の位置（及び向き）と相手の位置（及び向き）を、例えばゲームが終了するまで把握し続けることができる。 Steps S12 to S14 and steps S23 to S25 are continuously repeated until, for example, the game ends. This allows the first device 1A and the second device 1B to continue to grasp their own position (and orientation) and the opponent's position (and orientation) in their respective AR spaces SP1 and SP2, respectively, until, for example, the game ends.

上記のように、第１装置１Ａと第２装置１Ｂのそれぞれは、各自の実空間に基づくＡＲ空間に、仮想的に相手装置（他情報処理装置）を配置することができる（図３参照）。 As described above, each of the first device 1A and the second device 1B can virtually place a partner device (another information processing device) in an AR space based on their respective real spaces (see FIG. 3).

また、複数の情報処理装置が各自のＡＲ空間において互いに離れた位置から、ＡＲを用いたゲーム等を開始することができる。その結果、ゲーム開始時に各自が相手の位置を確認し易くなる。 In addition, multiple information processing devices can start a game using AR from positions distant from each other in their own AR spaces. As a result, it becomes easier for each person to confirm the position of the other person when starting the game.

上記の通り、複数の情報処理装置がＡＲを利用したゲーム等の各種情報処理を適切に実行できるようになる。 As described above, multiple information processing devices will be able to appropriately execute various types of information processing, such as games that use AR.

なお、各情報処理装置１のＡＲ空間における各座標系の位置と向きは、情報処理装置１間での情報の授受を開始した時（セッション開始時）の各情報処理装置１の位置（初期位置）と向き（初期方向）に基づいて設定することができる。また、上記の座標系設定の処理（座標系設定ステップ）は、初期設定として、ゲームの開始前に行われることが好ましいが、座標系設定ステップのタイミングはこれに限られるものではない。 The position and orientation of each coordinate system in the AR space of each information processing device 1 can be set based on the position (initial position) and orientation (initial direction) of each information processing device 1 when the exchange of information between the information processing devices 1 begins (when the session begins). Furthermore, the above-mentioned coordinate system setting process (coordinate system setting step) is preferably performed before the start of the game as an initial setting, but the timing of the coordinate system setting step is not limited to this.

また、本実施形態にあっては、ＡＲ空間ＳＰ２において、座標系ａｘ２と座標系ａｘ３とを異なる向きに設定することが好ましい。これによれば、座標系ａｘ２と座標系ａｘ３とを同一の向きに設定した場合に比べて、他情報処理装置の座標系の原点を視認し易くなる。つまり、初期設定としてゲーム開始前に座標系設定ステップを行う場合、ゲーム開始時からＡＲ空間において相手オブジェクトを視認（確認）し易くなる。また、ＡＲ空間ＳＰ１、ＳＰ２での座標系ａｘ１の原点Ｏ１と座標系ａｘ２の原点Ｏ２との距離Ｌは、例えば０．５ｍ以上５ｍ以下とすることができ、好適には１ｍ以上４ｍ以下とすることができるが、これに限定されない。またＡＲ空間ＳＰ２において、必ずしも異なる向きとなるように座標系ａｘ２と座標系ａｘ３とを設定する必要はなく、座標系ａｘ２と座標系ａｘ３とが同じ向きとなるように設定してもよい。 In addition, in this embodiment, it is preferable to set the coordinate system ax2 and the coordinate system ax3 in the AR space SP2 in different directions. This makes it easier to visually recognize the origin of the coordinate system of the other information processing device compared to when the coordinate system ax2 and the coordinate system ax3 are set in the same direction. In other words, when the coordinate system setting step is performed as the initial setting before the start of the game, it becomes easier to visually recognize (confirm) the opponent object in the AR space from the start of the game. In addition, the distance L between the origin O1 of the coordinate system ax1 and the origin O2 of the coordinate system ax2 in the AR space SP1 and SP2 can be, for example, 0.5 m or more and 5 m or less, and preferably 1 m or more and 4 m or less, but is not limited thereto. In addition, in the AR space SP2, it is not necessary to set the coordinate system ax2 and the coordinate system ax3 to be in different directions, and the coordinate system ax2 and the coordinate system ax3 may be set to be in the same direction.

上記のように子機としての情報処理装置１が各自のＡＲ空間において主座標系から離れた位置に副座標系を設定する際、例えば座標変換を利用することができる。座標変換は、例えば主座標系の原点位置及び向きを基準に座標変換行列Ｔを用いた演算処理を行うことで実現される。これにより、各自のＡＲ空間において主座標系の原点から副座標系の原点を所定の距離だけ離間させることができ、また必要に応じて副座標系の向きを主座標系から所定角度回転させた向きに設定することができる。 As described above, when the information processing device 1 as a child device sets a sub-coordinate system at a position away from the main coordinate system in each AR space, it can use coordinate transformation, for example. The coordinate transformation is realized, for example, by performing calculation processing using a coordinate transformation matrix T based on the origin position and orientation of the main coordinate system. This makes it possible to separate the origin of the sub-coordinate system from the origin of the main coordinate system by a predetermined distance in each AR space, and also makes it possible to set the orientation of the sub-coordinate system to an orientation rotated a predetermined angle from the main coordinate system as necessary.

ここで、例えば、子機としての情報処理装置１がＡＲ空間において副座標系を設定せずに、自分の装置の位置、及び他の装置の位置を決定しようとした場合には、座標変換行列Ｔを用いて自分の装置の位置（Ｘｂ，Ｙｂ，Ｚｂ）を相手のＡＲ空間に対応するように座標変換した、Ｔ＊（Ｘｂ，Ｙｂ，Ｚｂ）のような変換位置情報を相手に送り続けなければならない。そのため、各情報処理装置（特に親機）における情報処理量が膨大となる虞がある。 For example, if the information processing device 1 acting as a child device attempts to determine the position of its own device and the position of another device without setting a sub-coordinate system in the AR space, it must continue to send to the other device transformed position information such as T*(Xb, Yb, Zb), which is the coordinate transformation matrix T used to transform the position of its own device (Xb, Yb, Zb) so that it corresponds to the other device's AR space. This could result in an enormous amount of information processing in each information processing device (particularly the parent device).

これに対して、本例のように、副座標系を子機のＡＲ空間に設定する場合には、副座標系上での子機の位置（例えば、(Ｘｂ', Ｙｂ', Ｚｂ')等）をそのまま相手装置（親機等）に送るだけで、相手装置は相手装置のＡＲ空間での子機の位置を決定することができる。同様に、相手装置の座標系に基づく位置情報を相手装置から受け取るだけで、自分のＡＲ空間における相手装置の位置を把握することができる。そのため、各情報処理装置１における情報処理量が上記の場合（子機のＡＲ空間において副座標系を設定しない場合）に比べて格段に小さくなり、各情報処理装置１の処理負荷を軽減することができる。 In contrast, when a secondary coordinate system is set in the AR space of the child device as in this example, the child device can determine the position of the child device in the AR space of the child device by simply sending the child device's position on the secondary coordinate system (e.g., (Xb', Yb', Zb', etc.) to the other device (parent device, etc.). Similarly, the position of the other device in one's AR space can be ascertained by simply receiving position information based on the other device's coordinate system from the other device. Therefore, the amount of information processing in each information processing device 1 is significantly smaller than in the above case (when a secondary coordinate system is not set in the AR space of the child device), and the processing load of each information processing device 1 can be reduced.

以上本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。 Although one embodiment of the present invention has been described above, the present invention is not limited to the above-mentioned embodiment, and modifications and improvements that can achieve the object of the present invention are included in the present invention.

例えば、３台以上の情報処理装置１間でＡＲを利用したゲーム等の各種情報処理を実行することも可能である。３台の情報処理装置１間でＡＲを利用したゲーム等の各種情報処理を実行する場合、例えば１台を親機とし、他の全て（２台）を子機とすることができる。例えば、ＡＲ空間において、正三角形等の仮想の三角形の各頂点となる位置に各情報処理装置１が配置され、当該三角形の中心に向けて各情報処理装置１が向くように設定することができる。あるいは、仮想の円の輪郭線上に、等間隔で各情報処理装置１が配置され、当該仮想の円の中心に向けて各情報処理装置１が向くように設定することができる。このような構成により、各情報処理装置１の各ＡＲ空間においてバランスよく各座標系を設定することができる。 For example, it is also possible to execute various information processing such as games using AR between three or more information processing devices 1. When executing various information processing such as games using AR between three information processing devices 1, for example, one device can be a parent device and all the others (two devices) can be child devices. For example, in the AR space, each information processing device 1 can be placed at the positions that are the vertices of a virtual triangle such as an equilateral triangle, and each information processing device 1 can be set to face toward the center of the triangle. Alternatively, each information processing device 1 can be placed at equal intervals on the contour line of a virtual circle, and each information processing device 1 can be set to face toward the center of the virtual circle. With this configuration, each coordinate system can be set in a balanced manner in each AR space of each information processing device 1.

図６は、第１装置１Ａ、第２装置１Ｂ、第３装置１Ｃ及び第４装置１Ｄからなる４台の情報処理装置１間でＡＲを利用したゲーム等の各種情報処理を実行する場合における座標系の設定方法の一例を示している。本例において、第１装置１Ａ、第２装置１Ｂ、第３装置１Ｃ及び第４装置１Ｄはそれぞれ別の実空間に位置しているものとしている。 Figure 6 shows an example of a method for setting a coordinate system when various information processes, such as games using AR, are executed between four information processing devices 1 consisting of a first device 1A, a second device 1B, a third device 1C, and a fourth device 1D. In this example, the first device 1A, the second device 1B, the third device 1C, and the fourth device 1D are each assumed to be located in a different real space.

図６に示すように、親機としての第１装置１Ａは実空間である部屋等の第１空間Ｒ１に位置している。第１装置１Ａは、上述の例と同様に、第１空間Ｒ１に基づいて第１装置１Ａ内で構築されるＡＲ空間ＳＰ１において、まず座標系ａｘ１を設定し、また、ＡＲ空間ＳＰ１における自分の位置を決定する。初期状態での自分の位置は、例えば座標系ａｘ１の原点Ｏ１とすることができる。 As shown in FIG. 6, the first device 1A acting as a parent device is located in a first space R1, such as a room, which is a real space. As in the above example, the first device 1A first sets a coordinate system ax1 in an AR space SP1 constructed within the first device 1A based on the first space R1, and also determines its own position in the AR space SP1. The first device's own position in the initial state can be, for example, the origin O1 of the coordinate system ax1.

また、子機としての第２装置１Ｂ、第３装置１Ｃ、及び第４装置１Ｄは、それぞれの実空間に基づいて各装置内で構築される各ＡＲ空間において、主座標系と、（主座標系とは異なる位置にある）副座標系を設定し、また、各ＡＲ空間における副座標系上での自分の位置を決定する。この時、各ＡＲ空間上で子機同士の初期位置が重ならないように、第２装置１Ｂ、第３装置１Ｃ、及び第４装置１Ｄは、主座標系に対する副座標系の位置をそれぞれ別の位置に設定することが好ましい。 The second device 1B, third device 1C, and fourth device 1D acting as child devices set a primary coordinate system and a secondary coordinate system (located at a different position from the primary coordinate system) in each AR space constructed within each device based on the respective real spaces, and determine their own positions on the secondary coordinate system in each AR space. At this time, it is preferable that the second device 1B, third device 1C, and fourth device 1D set the positions of the secondary coordinate systems relative to the primary coordinate system to different positions so that the initial positions of the child devices do not overlap in each AR space.

そして、第１装置１Ａ、第２装置１Ｂ、第３装置１Ｃ及び第４装置１Ｄ間で情報の授受を行うことにより、各ＡＲ空間上に自分と他の３台の装置の位置（及び必要に応じて向き）を決定することができる。親機としての第１装置１Ａは、ＡＲ空間ＳＰ１の座標系ａｘ１上での自分の位置を示す位置情報を他の３台の子機に送信し、３台の子機は、それぞれの副座標系上での自分の位置を示す位置情報を親機及び他の２台の子機に送信する。 The first device 1A, second device 1B, third device 1C, and fourth device 1D can then exchange information among themselves to determine the position (and orientation, if necessary) of themselves and the other three devices in each AR space. The first device 1A acting as the parent device transmits position information indicating its own position on the coordinate system ax1 of the AR space SP1 to the other three child devices, and the three child devices transmit position information indicating their own positions on their respective sub-coordinate systems to the parent device and the other two child devices.

例えば図６に示すように、第１装置１ＡのＡＲ空間ＳＰ１における第２装置１Ｂの仮想の位置は、座標系ａｘ１の原点Ｏ１からｚ軸の正方向にＬ１だけ離れた位置に設定される。また、ＡＲ空間ＳＰ１における第３装置１Ｃの位置は、座標系ａｘ１の原点Ｏ１からｘ軸の正方向にＬ２だけ離れた位置に設定される。また、ＡＲ空間ＳＰ１における第４装置１Ｄの位置は、座標系ａｘ１の原点Ｏ１からｚ軸の正方向にＬ１だけ離れ、且つ、ｘ軸の正方向にＬ２だけ離れた位置に設定される。ＡＲ空間ＳＰ１における第２装置１Ｂ、第３装置１Ｃ及び第４装置１Ｄの位置は、各装置が設定したそれぞれの主座標系に対する副座標系の位置に対応している。第２装置１Ｂ、第３装置１Ｃ及び第４装置１Ｄのそれぞれも、各自のＡＲ空間において各自の副座標系における自分の装置の位置と、他の３台の装置の位置とをそれぞれ設定する。 For example, as shown in FIG. 6, the virtual position of the second device 1B in the AR space SP1 of the first device 1A is set to a position L1 away from the origin O1 of the coordinate system ax1 in the positive direction of the z axis. The position of the third device 1C in the AR space SP1 is set to a position L2 away from the origin O1 of the coordinate system ax1 in the positive direction of the x axis. The position of the fourth device 1D in the AR space SP1 is set to a position L1 away from the origin O1 of the coordinate system ax1 in the positive direction of the z axis and L2 away from the origin O1 of the coordinate system ax1 in the positive direction of the x axis. The positions of the second device 1B, the third device 1C, and the fourth device 1D in the AR space SP1 correspond to the positions of the sub-coordinate systems for the main coordinate systems set by each device. Each of the second device 1B, the third device 1C, and the fourth device 1D also sets the position of their own device and the positions of the other three devices in their own sub-coordinate systems in their own AR spaces.

図６に示す例では、第２装置１Ｂは第１装置１Ａと向かい合うように設定され、第３装置１Ｃは第４装置１Ｄと向かい合うように設定される。また、第１装置１Ａと第３装置１Ｃとは同一の方向を向いており（平行であり）、第２装置１Ｂと第４装置１Ｄとは同一の方向を向いている（平行である）。 In the example shown in FIG. 6, the second device 1B is set to face the first device 1A, and the third device 1C is set to face the fourth device 1D. In addition, the first device 1A and the third device 1C face in the same direction (are parallel), and the second device 1B and the fourth device 1D face in the same direction (are parallel).

このような構成とした場合、例えばＡＲ空間ＳＰ１において同一の方向を向く第１装置１Ａと第３装置１Ｃとを第１のチームとし、第２装置１Ｂと第４装置１Ｄとを第２のチームとして、チーム同士で対戦することが容易となる。 With this configuration, for example, the first device 1A and the third device 1C facing the same direction in the AR space SP1 can be made into a first team, and the second device 1B and the fourth device 1D can be made into a second team, making it easy for the teams to compete against each other.

図７は、３台以上の情報処理装置１のうちの、何れかの2台以上の情報処理装置１が同一の実空間にある場合の一例を示している。より具体的に、図７は、４台の情報処理装置１間でＡＲを利用したゲーム等の各種情報処理を実行する場合であって、同一の実空間に２台の情報処理装置１が位置する場合の一例を示している。図７に示すように、第１装置１Ａと第３装置１Ｃとが、同一の実空間（第１空間Ｒ１）に位置しており、第２装置１Ｂ及び第４装置１Ｄはそれぞれ（または共に）別の実空間に位置している。 Figure 7 shows an example of a case where two or more of three or more information processing devices 1 are in the same real space. More specifically, Figure 7 shows an example of a case where various information processes such as games using AR are executed between four information processing devices 1, and two information processing devices 1 are located in the same real space. As shown in Figure 7, a first device 1A and a third device 1C are located in the same real space (first space R1), and a second device 1B and a fourth device 1D are each (or both) located in different real spaces.

このような場合には、同一の実空間（第１空間Ｒ１）に位置する第１装置１Ａと第３装置１Ｃとが、例えばＡＲ空間ＳＰ１を共有することができる。例えば、第１装置１Ａと第３装置１Ｃとは、第１装置１Ａの座標系ａｘ１に第３装置１Ｃの座標系ａｘ３を一致させる（原点の位置と3本の軸の向きを一致させる）ことで、ＡＲ空間ＳＰ１の共有を図ることができる。同一の実空間（第１空間Ｒ１）に位置する第１装置１Ａと第３装置１Ｃとの座標系を一致させる際には、例えば第１装置１Ａの表示部に表示させたマーカ画像等のマーカを第３装置１Ｃの撮像部で読み取ること等により行うことができる。 In such a case, the first device 1A and the third device 1C located in the same real space (first space R1) can share the AR space SP1, for example. For example, the first device 1A and the third device 1C can share the AR space SP1 by matching the coordinate system ax3 of the third device 1C with the coordinate system ax1 of the first device 1A (matching the position of the origin and the orientation of the three axes). Matching the coordinate systems of the first device 1A and the third device 1C located in the same real space (first space R1) can be done, for example, by reading a marker such as a marker image displayed on the display unit of the first device 1A with the imaging unit of the third device 1C.

また、図７に示す場合、第１装置１Ａは、先の実施例と同様に、ＡＲ空間ＳＰ１において座標系ａｘ１を設定するとともに、自分の位置を決定する。また、第１装置１Ａは、第２装置１Ｂ及び第４装置１Ｄからそれぞれ受け取った位置情報に基づいて、ＡＲ空間ＳＰ１における第２装置１Ｂ及び第４装置１Ｄのそれぞれの位置を決定する。第３装置１Ｃは、ＡＲ空間ＳＰ１における自分の位置を決定する。また、第３装置１Ｃは、第２装置１Ｂ及び第４装置１Ｄからそれぞれ受け取った位置情報に基づいて、ＡＲ空間ＳＰ１における第２装置１Ｂ及び第４装置１Ｄのそれぞれの位置を決定する。第２装置１Ｂ及び第４装置１Ｄはそれぞれ、各自のＡＲ空間に主座標系と副座標系とを設定し、副座標系上での各自の位置を決定するとともに、他装置から受け取った位置情報に基づいて、各副座標系での他の３台の装置の位置を決定する。 In the case shown in FIG. 7, the first device 1A sets a coordinate system ax1 in the AR space SP1 and determines its own position, as in the previous embodiment. The first device 1A also determines the positions of the second device 1B and the fourth device 1D in the AR space SP1 based on the position information received from the second device 1B and the fourth device 1D, respectively. The third device 1C determines its own position in the AR space SP1. The third device 1C also determines the positions of the second device 1B and the fourth device 1D in the AR space SP1 based on the position information received from the second device 1B and the fourth device 1D, respectively. The second device 1B and the fourth device 1D each set a primary coordinate system and a secondary coordinate system in their own AR space, determine their own positions on the secondary coordinate system, and determine the positions of the other three devices in each secondary coordinate system based on the position information received from the other devices.

これにより、図７に示すように、ＡＲ空間ＳＰ１において４台の情報処理装置１を図６と同様に仮想的に配置することができる。よって、例えばＡＲ空間ＳＰ１において同一の方向を向く第１装置１Ａと第３装置１Ｃとを第１のチームとし、第２装置１Ｂと第４装置１Ｄとを第２のチームとして、チーム同士で対戦することも容易となる。 As a result, as shown in FIG. 7, four information processing devices 1 can be virtually arranged in the AR space SP1 in the same manner as in FIG. 6. Therefore, for example, it is easy to have the first device 1A and the third device 1C facing the same direction in the AR space SP1 form a first team, and the second device 1B and the fourth device 1D form a second team, and have the teams compete against each other.

また、図７に示す場合において、第３装置１Ｃが、自分の位置情報を他情報処理装置（第２装置１Ｂと第４装置１Ｄ）に送信する際には、ＡＲ空間ＳＰ１における座標系ａｘ１上での位置を利用することができる。このように、同一の実空間（第１空間Ｒ１）に位置する第１装置１Ａと第３装置１Ｃとは、共通のＡＲ空間ＳＰ１及び共通の座標系ａｘ１を用いることができる。なお、本例では、第１装置１Ａを親機として第２装置１Ｂ、第３装置１Ｃ及び第４装置１Ｄを子機としていたが、これに限られない。また、親機を決定する方法としては、例えば、共有される座標系ａｘ１を最初に設定した情報処理装置１（図７の例では第１装置１Ａ）を親機とし、親機以外の情報処理装置１（図７の例では第２装置１Ｂ、第３装置１Ｃ及び第４装置１Ｄ）を子機とすることができる。 In the case shown in FIG. 7, when the third device 1C transmits its position information to other information processing devices (the second device 1B and the fourth device 1D), it can use its position on the coordinate system ax1 in the AR space SP1. In this way, the first device 1A and the third device 1C located in the same real space (the first space R1) can use the common AR space SP1 and the common coordinate system ax1. In this example, the first device 1A is the parent device and the second device 1B, the third device 1C, and the fourth device 1D are the child devices, but this is not limited to this. In addition, as a method of determining the parent device, for example, the information processing device 1 (the first device 1A in the example of FIG. 7) that first sets the shared coordinate system ax1 can be the parent device, and the information processing devices 1 other than the parent device (the second device 1B, the third device 1C, and the fourth device 1D in the example of FIG. 7) can be the child devices.

なお、以下のような構成も本開示の技術的範囲に属する。
（項目１）
第１の情報処理装置と、前記第１の情報処理装置と通信可能に接続される第２の情報処理装置とを備え、
前記第１の情報処理装置は、
第１の仮想空間に第１の座標系を設定する座標系設定手段と、
前記第１の座標系における前記第１の情報処理装置の第１の位置を決定する自分位置決定手段と、
前記第１の位置を前記第２の情報処理装置に送信する送信手段と、
前記第２の情報処理装置から第２の位置を受信する受信手段と、
前記第１の座標系上での前記第２の位置を前記第２の情報処理装置の位置として決定する相手位置決定手段と、を有し、
前記第２の情報処理装置は、
第２の仮想空間に第２の座標系を設定するとともに、前記第２の座標系の原点から離れた位置に第３の座標系の原点が位置するように前記第３の座標系を設定する座標系設定手段と、
前記第３の座標系における前記第２の情報処理装置の第３の位置を決定する自分位置決定手段と、
前記第３の位置を前記第２の位置として前記第１の情報処理装置に送信する送信手段と、
前記第１の情報処理装置から前記第１の位置を受信する受信手段と、
前記第３の座標系上での前記第１の位置を前記第１の情報処理装置の位置として決定する相手位置決定手段と、を有することを特徴とする情報処理システム。
（項目２）
他情報処理装置との間で情報の授受を行う情報処理装置であって、
所定空間に主座標系を設定するとともに、該主座標系の原点から離れた位置に副座標系の原点が位置するように前記所定空間に該副座標系を設定する座標系設定手段と、
前記他情報処理装置から受け取った前記他情報処理装置の位置を示す位置情報に基づいて、前記所定空間における前記副座標系上での前記他情報処理装置の位置を決定する相手位置決定手段と、を備える情報処理装置。
（項目３）
他情報処理装置との間で情報の授受を行う情報処理装置であって、
所定空間に主座標系を設定するとともに、該主座標系の原点から離れた位置に副座標系の原点が位置するように前記所定空間に該副座標系を設定する座標系設定手段と、
前記所定空間における前記副座標系上の前記情報処理装置の位置を取得する自分位置決定手段と、
前記副座標系上の位置を前記情報処理装置の位置として前記他情報処理装置に送信する送信手段と、を備える情報処理装置。
（項目４）
前記座標系設定手段は、前記所定空間において、前記副座標系の向きを前記主座標系とは異なる向きに設定する、項目２又は３に記載の情報処理装置。
（項目５）
実空間を撮影した現実画像に前記他情報処理装置からの前記位置情報に基づく付加画像を重畳表示させた拡張現実画像を生成する画像生成手段をさらに備える、項目２～４の何れか一項に記載の情報処理装置。
（項目６）
他情報処理装置との間で情報の授受を行う情報処理装置が実行する情報処理方法において、
所定空間に主座標系を設定するとともに、該主座標系の原点から離れた位置に副座標系の原点が位置するように前記所定空間に該副座標系を設定する座標系設定ステップと、
前記他情報処理装置から受け取った前記他情報処理装置の位置を示す位置情報に基づいて、前記所定空間における前記副座標系上での前記他情報処理装置の位置を決定する相手位置決定ステップと、を含む情報処理方法。
（項目７）
他情報処理装置との間で情報の授受を行う情報処理装置を制御するコンピュータに、
所定空間に主座標系を設定するとともに、該主座標系の原点から離れた位置に副座標系の原点が位置するように前記所定空間に該副座標系を設定する座標系設定ステップと、
前記他情報処理装置から受け取った前記他情報処理装置の位置を示す位置情報に基づいて、前記所定空間における前記副座標系上での前記他情報処理装置の位置を決定する相手位置決定ステップと、を含む制御処理を実行させるプログラム。 Note that the following configurations also fall within the technical scope of the present disclosure.
(Item 1)
A first information processing device and a second information processing device communicably connected to the first information processing device,
The first information processing device,
a coordinate system setting means for setting a first coordinate system in a first virtual space;
a self-position determining means for determining a first position of the first information processing device in the first coordinate system;
a transmitting means for transmitting the first location to the second information processing device;
receiving means for receiving a second position from the second information processing device;
a counterpart position determining means for determining the second position on the first coordinate system as a position of the second information processing device,
The second information processing device is
a coordinate system setting means for setting a second coordinate system in a second virtual space and setting a third coordinate system so that the origin of the third coordinate system is located at a position away from the origin of the second coordinate system;
a self-position determining means for determining a third position of the second information processing device in the third coordinate system;
a transmitting means for transmitting the third location as the second location to the first information processing device;
a receiving means for receiving the first position from the first information processing device;
and a partner position determining means for determining the first position on the third coordinate system as the position of the first information processing device.
(Item 2)
An information processing device that transmits and receives information to and from another information processing device,
a coordinate system setting means for setting a main coordinate system in a predetermined space and setting a secondary coordinate system in the predetermined space so that the origin of the secondary coordinate system is located at a position away from the origin of the main coordinate system;
an other position determining means for determining a position of the other information processing device on the sub coordinate system in the specified space based on position information indicating a position of the other information processing device received from the other information processing device.
(Item 3)
An information processing device that transmits and receives information to and from another information processing device,
a coordinate system setting means for setting a main coordinate system in a predetermined space and setting a secondary coordinate system in the predetermined space so that the origin of the secondary coordinate system is located at a position away from the origin of the main coordinate system;
a self-position determining means for acquiring a position of the information processing device on the sub-coordinate system in the predetermined space;
a transmitting means for transmitting the position on the secondary coordinate system as the position of the information processing device to the other information processing device.
(Item 4)
4. The information processing device according to item 2 or 3, wherein the coordinate system setting means sets an orientation of the sub coordinate system in a different orientation from that of the main coordinate system in the specified space.
(Item 5)
The information processing device according to any one of items 2 to 4, further comprising an image generating means for generating an augmented reality image in which an additional image based on the position information from the other information processing device is superimposed on a real image captured in a real space.
(Item 6)
An information processing method executed by an information processing device that transmits and receives information to and from another information processing device,
a coordinate system setting step of setting a main coordinate system in a predetermined space and setting a secondary coordinate system in the predetermined space such that the origin of the secondary coordinate system is located at a position away from the origin of the main coordinate system;
and a partner position determination step of determining a position of the other information processing device on the sub coordinate system in the specified space based on position information indicating the position of the other information processing device received from the other information processing device.
(Item 7)
A computer that controls an information processing device that transmits and receives information to and from another information processing device,
a coordinate system setting step of setting a main coordinate system in a predetermined space and setting a secondary coordinate system in the predetermined space such that the origin of the secondary coordinate system is located at a position away from the origin of the main coordinate system;
A program for executing a control process including a partner position determination step for determining the position of the other information processing device on the sub-coordinate system in the specified space based on position information indicating the position of the other information processing device received from the other information processing device.

以下に、他の実施形態について説明する。なお、先の実施形態と共通する構成については適宜説明を省略する。他の実施形態において、２台以上の情報処理装置１が、ＡＲを利用したゲーム等の各種情報処理を実行するに際し、情報処理装置１のそれぞれは、各自のＡＲ空間内に各自の情報処理装置１の座標系（第１座標系）と他情報処理装置１の座標系（第２座標系）とを設定する。これにより、２台以上の情報処理装置１間で仮想的にＡＲ空間を互いに共有することができる。 Other embodiments are described below. Note that descriptions of configurations common to the previous embodiment are omitted as appropriate. In other embodiments, when two or more information processing devices 1 execute various information processes such as games using AR, each information processing device 1 sets a coordinate system (first coordinate system) of its own information processing device 1 and a coordinate system (second coordinate system) of the other information processing device 1 within its own AR space. This allows two or more information processing devices 1 to virtually share the AR space with each other.

なお、２台以上の情報処理装置１の何れか１台の情報処理装置１を親機として、他の情報処理装置１を全て子機と設定するようにしてもよい。この場合、例えば、子機となる１台または２台以上の情報処理装置１をゲーム等に招待した情報処理装置１を親機と設定することができる。 In addition, one of the two or more information processing devices 1 may be set as a parent device, and the other information processing devices 1 may all be set as child devices. In this case, for example, the information processing device 1 that has invited one or more child information processing devices 1 to play a game or the like may be set as the parent device.

図２に示すように、第１装置１Ａは実空間である部屋等の第１空間Ｒ１に位置し、第２装置１Ｂは、実空間である他の部屋等の第２空間Ｒ２に位置する。なお、第１空間Ｒ１における第１装置１Ａの位置及び向き（姿勢）は図示例に限定されず、同様に第２空間Ｒ２における第２装置１Ｂの位置及び向き（姿勢）は図示例に限定されない。 As shown in FIG. 2, the first device 1A is located in a first space R1, such as a room, which is a real space, and the second device 1B is located in a second space R2, such as another room, which is a real space. Note that the position and orientation (posture) of the first device 1A in the first space R1 are not limited to the illustrated example, and similarly, the position and orientation (posture) of the second device 1B in the second space R2 are not limited to the illustrated example.

第１装置１Ａ及び第２装置１Ｂのそれぞれは、それぞれのＡＲ空間（所定空間）において各自の第１座標系を設定するとともに、相手（他情報処理装置）の第２座標系を設定する。 Each of the first device 1A and the second device 1B sets its own first coordinate system in its respective AR space (predetermined space) and sets a second coordinate system for the other device (other information processing device).

具体的に、第１空間Ｒ１に位置する第１装置１Ａは、第１装置１ＡのＡＲ空間ＳＰ１において自分（第１装置１Ａ）の座標系ａｘ１（第１座標系）を設定する。また第１装置１Ａは、ＡＲ空間ＳＰ１において、座標系ａｘ１とは原点が離れた位置となるように第２装置１Ｂに利用される座標系ａｘ２（第２座標系）を設定する。このような座標系の設定は、例えばＳＬＡＭ（ＳｉｍｕｌｔａｎｅｏｕｓＬｏｃａｌｉｚａｔｉｏｎａｎｄＭａｐｐｉｎｇ）を動かす等して、空間を認識することによって行うことができるが、これに限られない。 Specifically, the first device 1A located in the first space R1 sets its own (first device 1A) coordinate system ax1 (first coordinate system) in the AR space SP1 of the first device 1A. The first device 1A also sets a coordinate system ax2 (second coordinate system) used by the second device 1B in the AR space SP1 such that the origin is located away from the coordinate system ax1. Setting such a coordinate system can be performed by, for example, recognizing the space by moving SLAM (Simultaneous Localization and Mapping), but is not limited to this.

これにより、図８に示すように第１装置１Ａは、第１装置１Ａの座標系ａｘ１から見た第２装置１Ｂの座標系ａｘ２の位置及び向き（姿勢）を設定することができる。この時、所定空間における第１装置１Ａの位置を座標系ａｘ１の原点Ｏ１とすることができ、第１装置１Ａの向き（例えばカメラ等の撮像部が指向する向き）を座標系ａｘ１におけるｚ軸の正方向の向き（原点Ｏ１を始点とするｚ軸の正方向ベクトル）とすることができる。この場合、座標系ａｘ１におけるｚ軸（及びｘ軸）は水平方向に延在し、ｙ軸が鉛直方向に延在していることが好ましい。 As a result, as shown in FIG. 8, the first device 1A can set the position and orientation (posture) of the coordinate system ax2 of the second device 1B as viewed from the coordinate system ax1 of the first device 1A. At this time, the position of the first device 1A in a specified space can be set as the origin O1 of the coordinate system ax1, and the orientation of the first device 1A (for example, the direction in which an imaging unit such as a camera is pointed) can be set as the positive direction of the z axis in the coordinate system ax1 (the positive z axis vector starting from the origin O1). In this case, it is preferable that the z axis (and the x axis) in the coordinate system ax1 extend horizontally and the y axis extend vertically.

また、第１装置１ＡがＡＲ空間ＳＰ１において第２装置１Ｂの座標系ａｘ２を設定する際、例えば座標系ａｘ１の原点Ｏ１から、座標系ａｘ１のｚ軸の正方向に、所定の距離Ｌだけ離れた位置に座標系ａｘ２の原点Ｏ２を設定（配置）することができる。このように、ＡＲ空間ＳＰ１において座標系ａｘ１とは異なる位置に座標系ａｘ２を配置することで、座標系ａｘ１の原点Ｏ１から座標系ａｘ２の原点Ｏ２が視認（確認）し易くなる。 In addition, when the first device 1A sets the coordinate system ax2 of the second device 1B in the AR space SP1, it can set (place) the origin O2 of the coordinate system ax2 at a position a predetermined distance L away from the origin O1 of the coordinate system ax1 in the positive direction of the z axis of the coordinate system ax1. In this way, by placing the coordinate system ax2 at a position different from the coordinate system ax1 in the AR space SP1, it becomes easier to see (confirm) the origin O2 of the coordinate system ax2 from the origin O1 of the coordinate system ax1.

また、第１装置１ＡがＡＲ空間ＳＰ１において第２装置１Ｂの座標系ａｘ２を設定する際、例えばｙ軸を中心（回転軸）としてｘ軸とｚ軸とが反転（１８０度回転）するように座標系ａｘ２を設定することができる。この場合、ＡＲ空間ＳＰ１（ＳＰ２）において、座標系ａｘ１と座標系ａｘ２とが（特に、ｚ軸同士が）互いに向かい合うこととなり、各座標系ａｘ１、ａｘ２の原点Ｏ１，Ｏ２にそれぞれ位置する相手装置を最初の段階から容易に確認することができる。そのため、例えば第１装置１Ａと第２装置１ＢとがＡＲ空間で互いに向かい合って対戦するゲーム等に適している。なお、ＡＲ空間ＳＰ１での座標系ａｘ１と座標系ａｘ２の原点同士の距離Ｌ、及び相対的な向きは特に限定されず、適宜変更可能である。ＡＲ空間ＳＰ１での座標系ａｘ１と座標系ａｘ２の原点同士の距離Ｌ、及び相対的な向きは、予め設定された規定値であってもよいし、例えば２台以上の情報処理装置１間で情報の授受が開始された（セッションが開始された）時、またはその後の所定のタイミングに決定されるようにしてもよいし、情報処理装置１によって適宜選択可能なものとしてもよい。 In addition, when the first device 1A sets the coordinate system ax2 of the second device 1B in the AR space SP1, the coordinate system ax2 can be set so that the x-axis and z-axis are inverted (rotated 180 degrees) around the y-axis (rotation axis). In this case, the coordinate system ax1 and the coordinate system ax2 (especially the z-axis) face each other in the AR space SP1 (SP2), and the opponent device located at the origin O1, O2 of each coordinate system ax1, ax2 can be easily confirmed from the first stage. Therefore, for example, it is suitable for a game in which the first device 1A and the second device 1B face each other in the AR space and compete against each other. Note that the distance L between the origins of the coordinate system ax1 and the coordinate system ax2 in the AR space SP1 and the relative orientation are not particularly limited and can be changed as appropriate. The distance L between the origins of the coordinate systems ax1 and ax2 in the AR space SP1 and the relative orientation may be a preset value, or may be determined, for example, when the exchange of information between two or more information processing devices 1 begins (a session begins) or at a specified timing thereafter, or may be selectable as appropriate by the information processing device 1.

上記第１装置１Ａの処理と同様に、第２空間Ｒ２に位置する第２装置１Ｂは、第２装置１Ｂが位置する実空間（第２空間Ｒ２）に基づく独自のＡＲ空間ＳＰ２において自分（第２装置１Ｂ）の座標系ａｘ２（第１座標系）を設定する。また、第２装置１ＢはＡＲ空間ＳＰ２において第１装置１Ａの座標系ａｘ１（第２座標系）を設定する。ＡＲ空間ＳＰ２での座標系ａｘ２の原点Ｏ２と座標系ａｘ１の原点Ｏ１との距離Ｌ、及び座標系ａｘ２に対する座標系ａｘ１の相対的な向きは、ＡＲ空間ＳＰ１での座標系ａｘ１と座標系ａｘ２の原点同士の距離Ｌ、及び座標系ａｘ１に対する座標系ａｘ２の相対的な向きに少なくとも対応しており、好ましくは一致している。 Similar to the processing of the first device 1A described above, the second device 1B located in the second space R2 sets its own (second device 1B) coordinate system ax2 (first coordinate system) in its own AR space SP2 based on the real space (second space R2) in which the second device 1B is located. The second device 1B also sets a coordinate system ax1 (second coordinate system) for the first device 1A in the AR space SP2. The distance L between the origin O2 of the coordinate system ax2 and the origin O1 of the coordinate system ax1 in the AR space SP2, and the relative orientation of the coordinate system ax1 with respect to the coordinate system ax2, at least correspond to, and preferably match, the distance L between the origins of the coordinate systems ax1 and ax2 in the AR space SP1, and the relative orientation of the coordinate system ax2 with respect to the coordinate system ax1.

このように、第１装置１Ａと第２装置１Ｂのそれぞれは、それぞれが位置する実空間に基づくそれぞれの仮想空間に、自分の座標系と相手の座標系とを設定する。これにより、第１装置１Ａと第２装置１Ｂのそれぞれは、図８に示すように、各自のＡＲ空間に仮想的に相手装置（他情報処理装置）を配置することができる。 In this way, each of the first device 1A and the second device 1B sets its own coordinate system and the other's coordinate system in its own virtual space based on the real space in which it is located. This allows each of the first device 1A and the second device 1B to virtually place the other device (other information processing device) in its own AR space, as shown in FIG. 8.

各ＡＲ空間ＳＰ１、ＳＰ２において、座標系ａｘ１と座標系ａｘ２とを異なる向きに設定することが好ましい。これによれば、座標系ａｘ１と座標系ａｘ２とを同一の向きに設定した場合に比べて、他情報処理装置の座標系の原点を視認し易くなる。つまり、初期設定としてゲーム開始前に座標系設定ステップを行う場合、ゲーム開始時からＡＲ空間において相手オブジェクトを視認（確認）し易くなる。また、ＡＲ空間ＳＰ１、ＳＰ２での座標系ａｘ１の原点Ｏ１と座標系ａｘ２の原点Ｏ２との距離Ｌは、例えば０．５ｍ以上５ｍ以下とすることができ、好適には１ｍ以上４ｍ以下とすることができるが、これに限定されない。また各ＡＲ空間ＳＰ１、ＳＰ２において、必ずしも異なる向きとなるように座標系ａｘ１と座標系ａｘ２とを設定する必要はなく、座標系ａｘ１と座標系ａｘ２とが同じ向きとなるように設定してもよい。 In each of the AR spaces SP1 and SP2, it is preferable to set the coordinate system ax1 and the coordinate system ax2 in different directions. This makes it easier to visually recognize the origin of the coordinate system of the other information processing device compared to when the coordinate system ax1 and the coordinate system ax2 are set in the same direction. In other words, when a coordinate system setting step is performed as an initial setting before the start of the game, it becomes easier to visually recognize (confirm) the opponent object in the AR space from the start of the game. In addition, the distance L between the origin O1 of the coordinate system ax1 and the origin O2 of the coordinate system ax2 in the AR spaces SP1 and SP2 can be, for example, 0.5 m or more and 5 m or less, and preferably 1 m or more and 4 m or less, but is not limited thereto. In addition, in each of the AR spaces SP1 and SP2, it is not necessary to set the coordinate system ax1 and the coordinate system ax2 to have different directions, and the coordinate system ax1 and the coordinate system ax2 may be set to have the same direction.

このような構成により、例えばＡＲ空間において互いに離れた位置から、ＡＲを用いたゲーム等を開始することができる。その結果、ゲーム開始時に各自が相手の位置を確認し易くなる。 With this configuration, for example, players can start a game using AR from positions far apart in the AR space. As a result, it becomes easier for each player to confirm the other player's position when the game starts.

上記のように各情報処理装置が各自のＡＲ空間において第１座標系から離れた位置に第２座標系を設定する際、例えば座標変換を利用することができる。座標変換は、例えば第１座標系の原点位置及び向きを基準に座標変換行列Ｔを用いた演算処理を行うことで実現される。これにより、各自のＡＲ空間において第１座標系の原点から第２座標系の原点を所定の距離だけ離間させることができ、また必要に応じて第２座標系の向きを第１座標系から所定角度回転させた向きに設定することができる。その結果、各自のＡＲ空間に第１座標系と第２座標系とをそれぞれ設定することができる。 As described above, when each information processing device sets the second coordinate system at a position away from the first coordinate system in its own AR space, it can use coordinate transformation, for example. The coordinate transformation is realized, for example, by performing calculation processing using a coordinate transformation matrix T based on the origin position and orientation of the first coordinate system. This makes it possible to separate the origin of the second coordinate system from the origin of the first coordinate system by a predetermined distance in each AR space, and also makes it possible to set the orientation of the second coordinate system to an orientation rotated a predetermined angle from the first coordinate system, if necessary. As a result, the first coordinate system and the second coordinate system can be set in each AR space.

ここで、例えば、各自のＡＲ空間において相手装置（他情報処理装置）の第２座標系を設定せずに、（各自のＡＲ空間における）相手装置の位置を決定しようとした場合には、座標変換行列Ｔを用いて自分の装置の位置（Ｘｂ，Ｙｂ，Ｚｂ）を相手のＡＲ空間に対応するように座標変換した、Ｔ＊（Ｘｂ，Ｙｂ，Ｚｂ）のような変換位置情報を相手に送り続けなければならない。そのため、各情報処理装置における情報処理量が膨大となる虞がある。 Here, for example, if one tries to determine the position of a partner device (in their own AR space) without setting a second coordinate system for the partner device (other information processing device) in their own AR space, it is necessary to continuously send to the partner transformed position information such as T*(Xb, Yb, Zb), which is the coordinate transformation matrix T used to transform the position (Xb, Yb, Zb) of one's own device so that it corresponds to the partner's AR space. This could result in an enormous amount of information processing on each information processing device.

これに対して、本例のように、相手装置（他情報処理装置）が利用する第２座標系を各自のＡＲ空間に設定する場合には、第２座標系における位置（例えば、(Ｘｂ', Ｙｂ', Ｚｂ')等）をそのまま相手装置から受け取るだけで、自分のＡＲ空間における相手装置の位置を決定することができる。同様に自分の座標系に基づく位置情報を相手装置に送るだけで、相手のＡＲ空間における自分の装置の位置を伝え、把握させることができる。そのため、各情報処理装置１における情報処理量が上記の場合（各自のＡＲ空間において相手装置の第２座標系を設定しない場合）に比べて格段に小さくなり、各情報処理装置１の処理負荷を軽減することができる。 In contrast, in this example, when the second coordinate system used by the other device (other information processing device) is set in each device's AR space, the position of the other device in one's AR space can be determined simply by receiving the position in the second coordinate system (e.g., (Xb', Yb', Zb', etc.) directly from the other device. Similarly, the position of one's device in the other device's AR space can be communicated and understood simply by sending position information based on one's coordinate system to the other device. Therefore, the amount of information processing in each information processing device 1 is significantly smaller than in the above case (when the second coordinate system of the other device is not set in each device's AR space), and the processing load of each information processing device 1 can be reduced.

上記の通り、第１装置１Ａと第２装置１Ｂのそれぞれは、各自のＡＲ空間（所定空間）に第１座標系を設定するとともに、他情報処理装置により利用される第２座標系の原点が第１座標系の原点から離れた位置となるように所定空間に第２座標系を設定することができる。 As described above, each of the first device 1A and the second device 1B can set a first coordinate system in its own AR space (specified space), and can also set a second coordinate system in the specified space so that the origin of the second coordinate system used by the other information processing device is located away from the origin of the first coordinate system.

また、第１装置１Ａと第２装置１Ｂのそれぞれは、他情報処理装置から受け取った第２座標系上での他情報処理装置の位置を示す位置情報に基づいて、所定空間での他情報処理装置の位置を決定することができる。 Furthermore, each of the first device 1A and the second device 1B can determine the position of the other information processing device in a specified space based on position information indicating the position of the other information processing device on the second coordinate system received from the other information processing device.

第１装置１Ａは、上記のように自分のＡＲ空間ＳＰ１に２つの座標系を設定した後、第２装置１Ｂ（他情報処理装置）から、座標系ａｘ２（第２座標系）上での第２装置１Ｂの位置を示す位置情報（例えば座標(Ｘｂ', Ｙｂ', Ｚｂ')）を受け取る。第１装置１Ａは、この位置情報に基づいて、ＡＲ空間ＳＰ１上での第２装置１Ｂの位置を決定する。第１装置１Ａは、例えば第２装置１Ｂから所定の時間間隔で繰返し位置情報を受け取り続けることで、ＡＲ空間ＳＰ１における第２装置１Ｂの位置を把握し続けることができる。これにより、第１装置１Ａは、例えば、ＡＲ空間ＳＰ１に第２装置１Ｂを示すオブジェクトを配置することができる。そして、第１装置１Ａは、撮像した実空間の画像に、上記第２装置１Ｂを示すオブジェクトの画像を重畳表示させることができる。なお、オブジェクトの形状は特に限定されず、任意の形状を採用可能である。 After setting two coordinate systems in its own AR space SP1 as described above, the first device 1A receives position information (e.g., coordinates (Xb', Yb', Zb')) indicating the position of the second device 1B on the coordinate system ax2 (second coordinate system) from the second device 1B (another information processing device). The first device 1A determines the position of the second device 1B in the AR space SP1 based on this position information. The first device 1A can continue to grasp the position of the second device 1B in the AR space SP1 by repeatedly receiving position information from the second device 1B at a predetermined time interval, for example. This allows the first device 1A to place an object representing the second device 1B in the AR space SP1, for example. Then, the first device 1A can superimpose an image of the object representing the second device 1B on the captured image of the real space. The shape of the object is not particularly limited, and any shape can be adopted.

同様に、第２装置１Ｂは、第１装置１Ａ（他情報処理装置）から受け取った座標系ａｘ１（第２座標系）上での第１装置１Ａの位置を示す位置情報（例えば座標(Ｘｂ'', Ｙｂ'', Ｚｂ'')）に基づいて、ＡＲ空間ＳＰ２上での第１装置１Ａの位置を決定することができる。第２装置１Ｂは、例えば第１装置１Ａから所定の時間間隔で繰返し位置情報を受け取り続けることで、ＡＲ空間ＳＰ２における第１装置１Ａの位置を把握し続けることができる。これにより、第２装置１Ｂは、例えば、ＡＲ空間ＳＰ２に第１装置１Ａを示すオブジェクトを配置することができる。そして、第２装置１Ｂは、撮像した実空間の画像に、上記第１装置１Ａを示すオブジェクトの画像を重畳表示させることができる。 Similarly, the second device 1B can determine the position of the first device 1A in the AR space SP2 based on position information (e.g., coordinates (Xb'', Yb'', Zb'')) indicating the position of the first device 1A in the coordinate system ax1 (second coordinate system) received from the first device 1A (another information processing device). The second device 1B can continue to grasp the position of the first device 1A in the AR space SP2, for example, by repeatedly continuing to receive position information from the first device 1A at a predetermined time interval. This allows the second device 1B to place, for example, an object representing the first device 1A in the AR space SP2. The second device 1B can then superimpose an image of the object representing the first device 1A on the captured image of real space.

第１装置１Ａと第２装置１Ｂとは、上記のようにして、各自のＡＲ空間ＳＰ１、ＳＰ２に自分の座標系と相手の座標系を設定することができ、また、各自のＡＲ空間ＳＰ１、ＳＰ２に仮想的に相手を配置する（相手の位置を決定する）ことができる。即ち、第１装置１Ａは、最初に設定したＡＲ空間ＳＰ１における座標系ａｘ１と座標系ａｘ２を用いて、各種情報を処理する。一方、第２装置１Ｂは、最初に設定したＡＲ空間ＳＰ２における座標系ａｘ２と座標系ａｘ１を用いて、各種情報を処理する。 The first device 1A and the second device 1B can set their own coordinate system and the other's coordinate system in their respective AR spaces SP1 and SP2 as described above, and can also virtually place the other person (determine the other person's position) in their respective AR spaces SP1 and SP2. That is, the first device 1A processes various information using the coordinate system ax1 and the coordinate system ax2 in the AR space SP1 that was initially set. Meanwhile, the second device 1B processes various information using the coordinate system ax2 and the coordinate system ax1 in the AR space SP2 that was initially set.

以下、図９を適宜参照しつつ、第１装置１Ａと第２装置１Ｂの各機能ブロックの詳細について説明する。 The following describes in detail each of the functional blocks of the first device 1A and the second device 1B, with reference to FIG. 9 as appropriate.

図９は、図４の機能的構成を有する第１装置１Ａと第２装置１Ｂとの間で実行される一連の処理の一例を説明するアローチャートである。 Figure 9 is an arrow chart illustrating an example of a series of processes executed between a first device 1A and a second device 1B having the functional configuration of Figure 4.

ステップＳ１１１において、第１装置１Ａの座標系設定部５１は、撮像部２８により撮像された実空間の撮像画像のデータに基づいて空間認識を行い、構築したＡＲ空間ＳＰ１に座標系ａｘ１（図２）を設定する。次いでステップＳ１１２において、第１装置１Ａの座標系設定部５１は、ＡＲ空間ＳＰ１における座標系ａｘ１から所定距離Ｌだけ離れた位置に座標系ａｘ２（図８）を設定する。 In step S111, the coordinate system setting unit 51 of the first device 1A performs space recognition based on the data of the captured image of the real space captured by the imaging unit 28, and sets the coordinate system ax1 (FIG. 2) in the constructed AR space SP1. Next, in step S112, the coordinate system setting unit 51 of the first device 1A sets the coordinate system ax2 (FIG. 8) at a position a predetermined distance L away from the coordinate system ax1 in the AR space SP1.

上記ステップＳ１１１と同様に、ステップＳ１２１において、第２装置１Ｂの座標系設定部５１は、撮像部２８により撮像された実空間の撮像画像のデータに基づいて空間認識を行い、構築したＡＲ空間ＳＰ２に座標系ａｘ２（図２）を設定する。次いでステップＳ１２２において、上記ステップＳ１１２と同様に、第２装置１Ｂの座標系設定部５１は、ＡＲ空間ＳＰ２における座標系ａｘ２から所定距離Ｌだけ離れた位置に座標系ａｘ１（図８）を設定する。これにより、第１装置１Ａと第２装置１ＢとはそれぞれのＡＲ空間ＳＰ１、ＳＰ２に、仮想的に相手装置を（離れた位置に）配置することができる。本例においてステップＳ１１１、Ｓ１１２、Ｓ１２１、Ｓ１２２は座標系設定ステップを構成する。 As in step S111 above, in step S121, the coordinate system setting unit 51 of the second device 1B performs space recognition based on the data of the captured image of the real space captured by the imaging unit 28, and sets the coordinate system ax2 (FIG. 2) in the constructed AR space SP2. Next, in step S122, as in step S112 above, the coordinate system setting unit 51 of the second device 1B sets the coordinate system ax1 (FIG. 8) at a position a predetermined distance L away from the coordinate system ax2 in the AR space SP2. This allows the first device 1A and the second device 1B to virtually place the other device (at a distant position) in their respective AR spaces SP1 and SP2. In this example, steps S111, S112, S121, and S122 constitute a coordinate system setting step.

ステップＳ１１３、Ｓ１２３において、第１装置１Ａ及び第２装置１Ｂは、互いに情報の授受を行う。具体的に、ステップＳ１１３において、第１装置１Ａの通信制御部５３は、座標系ａｘ１における第１装置１Ａの位置情報（座標）等を、通信部３０を介して第２装置１Ｂに送信し、第２装置１Ｂは通信部３０を介して当該情報を受信する。同様に、第２装置１Ｂは、ステップＳ１２３において、座標系ａｘ２における第２装置１Ｂの位置情報（座標）等を、通信部３０を介して第１装置１Ａに送信し、第１装置１Ａは通信部３０を介して当該情報を受信する。なお、ステップＳ１１３とステップＳ１２３は同時であってもよいし、互いに異なるタイミングであってもよい。互いに異なるタイミングである場合、ステップＳ１１３とステップＳ１２３はどちらが先でもよい。 In steps S113 and S123, the first device 1A and the second device 1B exchange information with each other. Specifically, in step S113, the communication control unit 53 of the first device 1A transmits the position information (coordinates) of the first device 1A in the coordinate system ax1 to the second device 1B via the communication unit 30, and the second device 1B receives the information via the communication unit 30. Similarly, in step S123, the second device 1B transmits the position information (coordinates) of the second device 1B in the coordinate system ax2 to the first device 1A via the communication unit 30, and the first device 1A receives the information via the communication unit 30. Note that steps S113 and S123 may be performed simultaneously or at different times. If they are performed at different times, either step S113 or step S123 may be performed first.

ステップＳ１１４において、第１装置１Ａは、ステップＳ１２３において第２装置１Ｂから受け取った座標系ａｘ２上での第２装置１Ｂの位置を示す位置情報に基づいて、ＡＲ空間ＳＰ１での第２装置１Ｂの位置を決定する。 In step S114, the first device 1A determines the position of the second device 1B in the AR space SP1 based on the position information indicating the position of the second device 1B on the coordinate system ax2 received from the second device 1B in step S123.

ステップＳ１２４において、第２装置１Ｂは、ステップＳ１１３において第１装置１Ａから受け取った座標系ａｘ１上での第１装置１Ａの位置を示す位置情報に基づいて、ＡＲ空間ＳＰ２での第１装置１Ａの位置を決定する。 In step S124, the second device 1B determines the position of the first device 1A in the AR space SP2 based on the position information indicating the position of the first device 1A on the coordinate system ax1 received from the first device 1A in step S113.

ステップＳ１１３、Ｓ１２３及びステップＳ１１４、Ｓ１２４は、例えばゲームが終了するまで、継続的に繰り返し行われる。これにより、第１装置１Ａ及び第２装置１Ｂはそれぞれ、各自のＡＲ空間ＳＰ１、ＳＰ２での相手の位置を（例えばゲームが終了するまで）把握し続けることができる。本例においてステップＳ１１３、Ｓ１２３及びステップＳ１１４、Ｓ１２４は位置決定ステップを構成する。 Steps S113, S123 and steps S114, S124 are continuously repeated until, for example, the game ends. This allows the first device 1A and the second device 1B to continue to grasp the other party's position in their respective AR spaces SP1, SP2 (for example, until the game ends). In this example, steps S113, S123 and steps S114, S124 constitute a position determination step.

例えば、３台以上の情報処理装置１間でＡＲを利用したゲーム等の各種情報処理を実行することも可能である。３台の情報処理装置１間でＡＲを利用したゲーム等の各種情報処理を実行する場合、情報処理装置１のそれぞれは、各自のＡＲ空間内に各自の情報処理装置１の座標系（第１座標系）を設定し、また各自のＡＲ空間内に、他の２台の情報処理装置１の座標系（第２座標系）をそれぞれ設定する。この場合、例えば、正三角形等の仮想の三角形の各頂点となる位置に各座標系の原点を配置し、当該三角形の中心に向けて各座標系のｚ軸の正方向が向かうように設定することができる。あるいは、３台以上の情報処理装置１間でＡＲを利用したゲーム等の各種情報処理を実行する場合、仮想の円の輪郭線上に、等間隔で各座標系の原点を配置し、当該円の中心に向けて各座標系のｚ軸の正方向が向かうように設定することも可能である。このような構成により、各情報処理装置１の各ＡＲ空間においてバランスよく各座標系を設定することができる。 For example, it is also possible to execute various information processing such as games using AR between three or more information processing devices 1. When executing various information processing such as games using AR between three information processing devices 1, each information processing device 1 sets the coordinate system (first coordinate system) of its own information processing device 1 in its own AR space, and also sets the coordinate systems (second coordinate systems) of the other two information processing devices 1 in its own AR space. In this case, for example, the origin of each coordinate system can be placed at the positions that are the vertices of a virtual triangle such as an equilateral triangle, and the positive direction of the z axis of each coordinate system can be set to face the center of the triangle. Alternatively, when executing various information processing such as games using AR between three or more information processing devices 1, it is also possible to place the origin of each coordinate system at equal intervals on the contour line of a virtual circle, and set the positive direction of the z axis of each coordinate system to face the center of the circle. With this configuration, each coordinate system can be set in a well-balanced manner in each AR space of each information processing device 1.

図１０は、第１装置１Ａ、第２装置１Ｂ、第３装置１Ｃ及び第４装置１Ｄからなる４台の情報処理装置１間でＡＲを利用したゲーム等の各種情報処理を実行する場合における座標系の設定方法の一例を示している。本例において、第１装置１Ａ、第２装置１Ｂ、第３装置１Ｃ及び第４装置１Ｄはそれぞれ別の実空間に位置しているものとしている。 Figure 10 shows an example of a method for setting a coordinate system when various information processes, such as games using AR, are executed between four information processing devices 1 consisting of a first device 1A, a second device 1B, a third device 1C, and a fourth device 1D. In this example, the first device 1A, the second device 1B, the third device 1C, and the fourth device 1D are each assumed to be located in a different real space.

図１０に示すように、第１装置１Ａは実空間である部屋等の第１空間Ｒ１に位置している。第１装置１Ａは、第１空間Ｒ１に基づいて第１装置１Ａ内で構築されるＡＲ空間ＳＰ１において、まず座標系ａｘ１を設定し、次いで第２装置１Ｂに利用される座標系ａｘ２、第３装置１Ｃに利用される座標系ａｘ３及び第４装置１Ｄに利用される座標系ａｘ４を設定する。座標系ａｘ２の原点Ｏ２は、座標系ａｘ１の原点Ｏ１からｚ軸の正方向にＬ１だけ離れた位置に設定される。座標系ａｘ３の原点Ｏ３は、座標系ａｘ１の原点Ｏ１からｘ軸の正方向にＬ２だけ離れた位置に設定される。また、座標系ａｘ４の原点Ｏ４は、座標系ａｘ１の原点Ｏ１からｚ軸の正方向にＬ１だけ離れ、且つ、ｘ軸の正方向にＬ２だけ離れた位置に設定される。なお、第２装置１Ｂ、第３装置１Ｃ及び第４装置１Ｄのそれぞれも、各自のＡＲ空間において自分の座標系と、他の３台に対応する３つの座標系とをそれぞれ設定する。 As shown in FIG. 10, the first device 1A is located in a first space R1, such as a room, which is a real space. In the AR space SP1 constructed within the first device 1A based on the first space R1, the first device 1A first sets a coordinate system ax1, then sets a coordinate system ax2 used by the second device 1B, a coordinate system ax3 used by the third device 1C, and a coordinate system ax4 used by the fourth device 1D. The origin O2 of the coordinate system ax2 is set at a position L1 away from the origin O1 of the coordinate system ax1 in the positive direction of the z axis. The origin O3 of the coordinate system ax3 is set at a position L2 away from the origin O1 of the coordinate system ax1 in the positive direction of the x axis. The origin O4 of the coordinate system ax4 is set at a position L1 away from the origin O1 of the coordinate system ax1 in the positive direction of the z axis and L2 away from the origin O1 of the coordinate system ax1 in the positive direction of the x axis. Additionally, the second device 1B, the third device 1C, and the fourth device 1D each set their own coordinate system in their own AR space, as well as three coordinate systems corresponding to the other three devices.

図１０に示す例では、座標系ａｘ２は座標系ａｘ１と向かい合うように設定され、座標系ａｘ３は座標系ａｘ４と向かい合うように設定される。また、座標系ａｘ１と座標系ａｘ３とは同一の方向を向いており、座標系ａｘ２と座標系ａｘ４とは同一の方向を向いている。 In the example shown in FIG. 10, coordinate system ax2 is set to face coordinate system ax1, and coordinate system ax3 is set to face coordinate system ax4. Furthermore, coordinate systems ax1 and ax3 face in the same direction, and coordinate systems ax2 and ax4 face in the same direction.

このような構成とした場合、例えばＡＲ空間ＳＰ１において同一の方向を向く第１装置１Ａ（座標系ａｘ１）と第３装置１Ｃ（座標系ａｘ３）とを第１のチームとし、第２装置１Ｂ（座標系ａｘ２）と第４装置１Ｄ（座標系ａｘ４）とを第２のチームとして、チーム同士で対戦することが容易となる。 With this configuration, for example, the first device 1A (coordinate system ax1) and the third device 1C (coordinate system ax3) facing the same direction in the AR space SP1 can be made into a first team, and the second device 1B (coordinate system ax2) and the fourth device 1D (coordinate system ax4) can be made into a second team, making it easy for the teams to compete against each other.

図１１は、３台以上の情報処理装置１のうちの、何れかの2台以上の情報処理装置１が同一の実空間にある場合の一例を示している。より具体的に、図１１は、４台の情報処理装置１間でＡＲを利用したゲーム等の各種情報処理を実行する場合であって、同一実空間に２台の情報処理装置１が位置する場合の一例を示している。図１１に示すように、第１装置１Ａと第３装置１Ｃとが、同一の実空間（第１空間Ｒ１）に位置しており、第２装置１Ｂ及び第４装置１Ｄはそれぞれ別の実空間に位置している。 Figure 11 shows an example of a case where two or more of three or more information processing devices 1 are in the same real space. More specifically, Figure 11 shows an example of a case where various information processes such as games using AR are executed between four information processing devices 1, and two information processing devices 1 are located in the same real space. As shown in Figure 11, a first device 1A and a third device 1C are located in the same real space (first space R1), and a second device 1B and a fourth device 1D are located in different real spaces.

このような場合には、同一の実空間（第１空間Ｒ１）に位置する第１装置１Ａと第３装置１Ｃとが、例えばＡＲ空間ＳＰ１を共有することができる。例えば、第１装置１Ａと第３装置１Ｃとは、第１装置１Ａの座標系ａｘ１に第３装置１Ｃの座標系ａｘ３を一致させる（原点の位置と3本の軸の向きを一致させる）ことで、ＡＲ空間ＳＰ１の共有を図ることができる。同一の実空間（第１空間Ｒ１）に位置する第１装置１Ａと第３装置１Ｃとの座標系を一致させる際には、例えば第１装置１Ａの表示部に表示させたマーカ画像等のマーカを第３装置１Ｃの撮像部で読み取ること等により行うことができる。 In such a case, the first device 1A and the third device 1C located in the same real space (first space R1) can share the AR space SP1, for example. For example, the first device 1A and the third device 1C can share the AR space SP1 by matching the coordinate system ax3 of the third device 1C with the coordinate system ax1 of the first device 1A (matching the position of the origin and the orientation of the three axes). When matching the coordinate systems of the first device 1A and the third device 1C located in the same real space (first space R1), this can be done, for example, by reading a marker such as a marker image displayed on the display unit of the first device 1A with the imaging unit of the third device 1C.

また、図１１に示す場合、第１装置１Ａは、先の実施例と同様に、ＡＲ空間ＳＰ１において座標系ａｘ１を設定するとともに、第２装置１Ｂに利用される座標系ａｘ２、及び第４装置１Ｄに利用される座標系ａｘ４を設定する。第２装置１Ｂは、自分のＡＲ空間に座標系ａｘ２を設定し、また、第１装置１Ａ及び第３装置１Ｃに利用される座標系ａｘ１、及び第４装置１Ｄに利用される座標系ａｘ４を設定する。同様に、第４装置１Ｄは、自分のＡＲ空間に座標系ａｘ４を設定し、また、第１装置１Ａ及び第３装置１Ｃに利用される座標系ａｘ１、及び第２装置１Ｂに利用される座標系ａｘ２を設定する。これにより、図１１に示すように、ＡＲ空間ＳＰ１において４台の情報処理装置１を図１０と同様に仮想的に配置することができる。よって、例えばＡＲ空間ＳＰ１において同一の方向を向く第１装置１Ａと第３装置１Ｃとを第１のチームとし、第２装置１Ｂと第４装置１Ｄとを第２のチームとして、チーム同士で対戦することが容易となる。 11, the first device 1A sets a coordinate system ax1 in the AR space SP1, as in the previous embodiment, and also sets a coordinate system ax2 used by the second device 1B and a coordinate system ax4 used by the fourth device 1D. The second device 1B sets a coordinate system ax2 in its own AR space, and also sets a coordinate system ax1 used by the first device 1A and the third device 1C, and a coordinate system ax4 used by the fourth device 1D. Similarly, the fourth device 1D sets a coordinate system ax4 in its own AR space, and also sets a coordinate system ax1 used by the first device 1A and the third device 1C, and a coordinate system ax2 used by the second device 1B. As a result, as shown in FIG. 11, four information processing devices 1 can be virtually arranged in the AR space SP1 in the same manner as in FIG. 10. Therefore, for example, the first device 1A and the third device 1C, which face the same direction in the AR space SP1, can be made into a first team, and the second device 1B and the fourth device 1D can be made into a second team, making it easy for the teams to compete against each other.

また、図１１に示す場合において、第３装置１Ｃが、自分の位置情報を他情報処理装置（第２装置１Ｂと第４装置１Ｄ）に送信する際には、ＡＲ空間ＳＰ１における座標系ａｘ１上での位置を利用することができる。このように、同一の実空間（第１空間Ｒ１）に位置する第１装置１Ａと第３装置１Ｃとは、共通のＡＲ空間ＳＰ１及び共通の座標系ａｘ１を使用することができる。なお、この場合、第１装置１Ａ及び第３装置１Ｃの何れか一方を親機、他方を子機とすることができる。親機は共有される座標系ａｘ１を最初に設定した情報処理装置１（図１１の例では第１装置１Ａ）とすることができ、子機は親機以外の情報処理装置１（図１１の例では第３装置１Ｃ）とすることができる。 In the case shown in FIG. 11, when the third device 1C transmits its position information to other information processing devices (the second device 1B and the fourth device 1D), it can use its position on the coordinate system ax1 in the AR space SP1. In this way, the first device 1A and the third device 1C located in the same real space (the first space R1) can use a common AR space SP1 and a common coordinate system ax1. In this case, either the first device 1A or the third device 1C can be the parent device, and the other can be the child device. The parent device can be the information processing device 1 that initially set the shared coordinate system ax1 (the first device 1A in the example of FIG. 11), and the child device can be an information processing device 1 other than the parent device (the third device 1C in the example of FIG. 11).

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。 Although the preferred embodiment of the present disclosure has been described in detail above with reference to the attached drawings, the technical scope of the present disclosure is not limited to such examples. It is clear that a person with ordinary knowledge in the technical field of the present disclosure can conceive of various modified or revised examples within the scope of the technical ideas described in the claims, and it is understood that these also naturally fall within the technical scope of the present disclosure.

本明細書において説明した装置は、単独の装置として実現されてもよく、一部または全部がネットワークで接続された複数の装置（例えばクラウドサーバ）等により実現されてもよい。 The devices described in this specification may be implemented as standalone devices, or may be implemented as multiple devices (e.g., cloud servers) some or all of which are connected via a network.

また、本開示に係る拡張現実システムは、座標系においてユーザの向いている方向を取得する方向取得部を備えることができる。また拡張現実システムは、情報処理装置１の位置及び姿勢を取得する検知部を備えることができる。検知部は、例えば、ＧＰＳ情報や３軸加速度センサなどのデータに基づいてコンピュータの位置及び姿勢を把握することができる。 The augmented reality system according to the present disclosure may also include a direction acquisition unit that acquires the direction in which the user is facing in a coordinate system. The augmented reality system may also include a detection unit that acquires the position and orientation of the information processing device 1. The detection unit may ascertain the position and orientation of the computer based on data from, for example, GPS information or a three-axis acceleration sensor.

本明細書において説明した装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。本実施形態に係る情報処理装置１の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。 The series of processes performed by the device described in this specification may be realized using software, hardware, or a combination of software and hardware. A computer program for realizing each function of the information processing device 1 according to this embodiment can be created and implemented in a PC or the like. A computer-readable recording medium on which such a computer program is stored can also be provided. Examples of the recording medium include a magnetic disk, an optical disk, a magneto-optical disk, and a flash memory. The above computer program may also be distributed, for example, via a network, without using a recording medium.

また、本明細書においてフローチャート図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。 In addition, the processes described in this specification using flowchart diagrams do not necessarily have to be performed in the order shown. Some processing steps may be performed in parallel. Also, additional processing steps may be employed, and some processing steps may be omitted.

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。 Furthermore, the effects described in this specification are merely descriptive or exemplary and are not limiting. In other words, the technology disclosed herein may achieve other effects that are apparent to a person skilled in the art from the description in this specification, in addition to or in place of the above effects.

なお、以下のような構成も本開示の技術的範囲に属する。
（項目１）
他情報処理装置との間で情報の授受を行う情報処理装置において、
所定空間に第１座標系を設定するとともに、前記他情報処理装置により利用される第２座標系の原点が前記第１座標系の原点から離れた位置となるように前記所定空間に前記第２座標系を設定する座標系設定手段と、
前記他情報処理装置から受け取った前記第２座標系上での前記他情報処理装置の位置を示す位置情報に基づいて、前記所定空間での前記他情報処理装置の位置を決定する位置決定手段と、を備える情報処理装置。
（項目２）
前記座標系設定手段は、前記所定空間において、前記第２座標系の向きを前記第１座標系とは異なる向きに設定する、項目１に記載の情報処理装置。
（項目３）
実空間を撮影した現実画像に前記他情報処理装置からの前記位置情報に基づく付加画像を重畳表示させた拡張現実画像を生成する画像生成手段をさらに備える、項目１又は２に記載の情報処理装置。
（項目４）
他情報処理装置との間で情報の授受を行う情報処理装置が実行する情報処理方法において、
所定空間に第１座標系を設定するとともに、前記他情報処理装置により利用される第２座標系の原点が前記第１座標系の原点から離れた位置となるように前記所定空間に前記第２座標系を設定する座標系設定ステップと、
前記他情報処理装置から受け取った前記第２座標系上での前記他情報処理装置の位置を示す位置情報に基づいて、前記所定空間での前記他情報処理装置の位置を決定する位置決定ステップと、を含む情報処理方法。
（項目５）
他情報処理装置との間で情報の授受を行う情報処理装置を制御するコンピュータに、
所定空間に第１座標系を設定するとともに、前記他情報処理装置により利用される第２座標系の原点が前記第１座標系の原点から離れた位置となるように前記所定空間に前記第２座標系を設定する座標系設定ステップと、
前記他情報処理装置から受け取った前記第２座標系上での前記他情報処理装置の位置を示す位置情報に基づいて、前記所定空間での前記他情報処理装置の位置を決定する位置決定ステップと、を含む制御処理を実行させるプログラム。 Note that the following configurations also fall within the technical scope of the present disclosure.
(Item 1)
In an information processing device which transmits and receives information to and from another information processing device,
a coordinate system setting means for setting a first coordinate system in a predetermined space, and for setting a second coordinate system in the predetermined space so that the origin of the second coordinate system used by the other information processing device is located at a position away from the origin of the first coordinate system;
and a position determination means for determining a position of the other information processing device in the specified space based on position information indicating a position of the other information processing device on the second coordinate system received from the other information processing device.
(Item 2)
2. The information processing device according to item 1, wherein the coordinate system setting means sets an orientation of the second coordinate system in the predetermined space to an orientation different from that of the first coordinate system.
(Item 3)
3. The information processing device according to item 1 or 2, further comprising an image generating means for generating an augmented reality image in which an additional image based on the position information from the other information processing device is superimposed on a real image captured in a real space.
(Item 4)
An information processing method executed by an information processing device that transmits and receives information to and from another information processing device,
a coordinate system setting step of setting a first coordinate system in a predetermined space and setting a second coordinate system in the predetermined space so that the origin of the second coordinate system used by the other information processing device is located at a position away from the origin of the first coordinate system;
and a position determination step of determining a position of the other information processing device in the specified space based on position information indicating the position of the other information processing device on the second coordinate system received from the other information processing device.
(Item 5)
A computer that controls an information processing device that transmits and receives information to and from another information processing device,
a coordinate system setting step of setting a first coordinate system in a predetermined space and setting a second coordinate system in the predetermined space so that the origin of the second coordinate system used by the other information processing device is located at a position away from the origin of the first coordinate system;
and a position determination step of determining a position of the other information processing device in the specified space based on position information indicating the position of the other information processing device on the second coordinate system received from the other information processing device.

１情報処理装置
２１ＣＰＵ
５１座標系設定部（座標系設定手段）
５２位置決定部（位置決定手段）
５３通信制御部

1 Information processing device 21 CPU
51 Coordinate system setting unit (coordinate system setting means)
52 Position determination unit (position determination means)
53 Communication control unit

Claims

第１の情報処理装置と、前記第１の情報処理装置と通信可能に接続される第２の情報処理装置とを備え、
前記第１の情報処理装置は、
第１の仮想空間に第１の座標系を設定する座標系設定手段と、
前記第１の座標系における前記第１の情報処理装置の第１の位置を決定する自分位置決定手段と、
前記第１の位置を前記第２の情報処理装置に送信する送信手段と、
前記第２の情報処理装置から第２の位置を受信する受信手段と、
前記第１の座標系上での前記第２の位置を前記第２の情報処理装置の位置として決定する相手位置決定手段と、を有し、
前記第２の情報処理装置は、
前記第１の情報処理装置との間で情報の授受を開始したセッション開始時の該第２の情報処理装置の位置と方向に基づいて、第２の仮想空間に第２の座標系を設定するとともに、前記第２の座標系の原点から離れた位置に第３の座標系の原点が位置するように前記第３の座標系を設定する座標系設定手段と、
前記第３の座標系における前記第２の情報処理装置の第３の位置を決定する自分位置決定手段と、
前記第３の位置を前記第２の位置として前記第１の情報処理装置に送信する送信手段と、
前記第１の情報処理装置から前記第１の位置を受信する受信手段と、
前記第３の座標系上での前記第１の位置を前記第１の情報処理装置の位置として決定する相手位置決定手段と、を有することを特徴とする情報処理システム。 A first information processing device and a second information processing device communicably connected to the first information processing device,
The first information processing device,
a coordinate system setting means for setting a first coordinate system in a first virtual space;
a self-position determining means for determining a first position of the first information processing device in the first coordinate system;
a transmitting means for transmitting the first location to the second information processing device;
receiving means for receiving a second position from the second information processing device;
a counterpart position determining means for determining the second position on the first coordinate system as a position of the second information processing device,
The second information processing device is
a coordinate system setting means for setting a second coordinate system in a second virtual space based on a position and a direction of the second information processing device at the start of a session in which information is exchanged between the second information processing device and the first information processing device, and for setting the third coordinate system so that the origin of the third coordinate system is located at a position away from the origin of the second coordinate system;
a self-position determining means for determining a third position of the second information processing device in the third coordinate system;
a transmitting means for transmitting the third location as the second location to the first information processing device;
a receiving means for receiving the first position from the first information processing device;
and a partner position determining means for determining the first position on the third coordinate system as the position of the first information processing device.

他情報処理装置との間で情報の授受を行う情報処理装置であって、
前記他情報処理装置との間で情報の授受を開始したセッション開始時の該情報処理装置の位置と方向に基づいて、所定空間に主座標系を設定するとともに、該主座標系の原点から離れた位置に副座標系の原点が位置するように前記所定空間に該副座標系を設定する座標系設定手段と、
前記他情報処理装置から受け取った前記他情報処理装置の位置を示す位置情報に基づいて、前記所定空間における前記副座標系上での前記他情報処理装置の位置を決定する相手位置決定手段と、を備える情報処理装置。 An information processing device that transmits and receives information to and from another information processing device,
a coordinate system setting means for setting a main coordinate system in a predetermined space based on a position and a direction of the information processing device at the start of a session in which information is exchanged between the information processing device and the other information processing device, and for setting a sub-coordinate system in the predetermined space so that the origin of the sub-coordinate system is located at a position away from the origin of the main coordinate system;
an other position determining means for determining a position of the other information processing device on the sub coordinate system in the specified space based on position information indicating a position of the other information processing device received from the other information processing device.

他情報処理装置との間で情報の授受を行う情報処理装置であって、
前記他情報処理装置との間で情報の授受を開始したセッション開始時の該情報処理装置の位置と方向に基づいて、所定空間に主座標系を設定するとともに、該主座標系の原点から離れた位置に副座標系の原点が位置するように前記所定空間に該副座標系を設定する座標系設定手段と、
前記所定空間における前記副座標系上の前記情報処理装置の位置を取得する自分位置決定手段と、
前記副座標系上の位置を前記情報処理装置の位置として前記他情報処理装置に送信する送信手段と、を備える情報処理装置。 An information processing device that transmits and receives information to and from another information processing device,
a coordinate system setting means for setting a main coordinate system in a predetermined space based on a position and a direction of the information processing device at the start of a session in which information is exchanged between the information processing device and the other information processing device, and for setting a sub-coordinate system in the predetermined space so that the origin of the sub-coordinate system is located at a position away from the origin of the main coordinate system;
a self-position determining means for acquiring a position of the information processing device on the sub-coordinate system in the predetermined space;
a transmitting means for transmitting the position on the secondary coordinate system as the position of the information processing device to the other information processing device.

前記座標系設定手段は、前記所定空間において、前記副座標系の向きを前記主座標系とは異なる向きに設定する、請求項２又は３に記載の情報処理装置。 The information processing device according to claim 2 or 3, wherein the coordinate system setting means sets the orientation of the secondary coordinate system in the specified space to an orientation different from that of the primary coordinate system.

実空間を撮影した現実画像に前記他情報処理装置から受け取った前記他情報処理装置の位置を示す位置情報に基づく付加画像を重畳表示させた拡張現実画像を生成する画像生成手段をさらに備える、請求項２～４の何れか一項に記載の情報処理装置。 The information processing device according to any one of claims 2 to 4, further comprising an image generating means for generating an augmented reality image in which an additional image based on position information indicating the position of the other information processing device received from the other information processing device is superimposed on a real image captured in real space.

他情報処理装置との間で情報の授受を行う情報処理装置が実行する情報処理方法において、
前記他情報処理装置との間で情報の授受を開始したセッション開始時の該情報処理装置の位置と方向に基づいて、所定空間に主座標系を設定するとともに、該主座標系の原点から離れた位置に副座標系の原点が位置するように前記所定空間に該副座標系を設定する座標系設定ステップと、
前記他情報処理装置から受け取った前記他情報処理装置の位置を示す位置情報に基づいて、前記所定空間における前記副座標系上での前記他情報処理装置の位置を決定する相手位置決定ステップと、を含む情報処理方法。 An information processing method executed by an information processing device that transmits and receives information to and from another information processing device,
a coordinate system setting step of setting a main coordinate system in a predetermined space based on a position and a direction of the information processing device at the start of a session in which information is exchanged between the information processing device and the other information processing device, and setting a secondary coordinate system in the predetermined space so that the origin of the secondary coordinate system is located at a position away from the origin of the main coordinate system;
and a partner position determination step of determining a position of the other information processing device on the sub coordinate system in the specified space based on position information indicating the position of the other information processing device received from the other information processing device.

他情報処理装置との間で情報の授受を行う情報処理装置を制御するコンピュータに、
前記他情報処理装置との間で情報の授受を開始したセッション開始時の該情報処理装置の位置と方向に基づいて、所定空間に主座標系を設定するとともに、該主座標系の原点から離れた位置に副座標系の原点が位置するように前記所定空間に該副座標系を設定する座標系設定ステップと、
前記他情報処理装置から受け取った前記他情報処理装置の位置を示す位置情報に基づいて、前記所定空間における前記副座標系上での前記他情報処理装置の位置を決定する相手位置決定ステップと、を含む制御処理を実行させるプログラム。

A computer that controls an information processing device that transmits and receives information to and from another information processing device,
a coordinate system setting step of setting a main coordinate system in a predetermined space based on a position and a direction of the information processing device at the start of a session in which information is exchanged between the information processing device and the other information processing device, and setting a sub-coordinate system in the predetermined space so that the origin of the sub-coordinate system is located at a position away from the origin of the main coordinate system;
A program for executing a control process including a partner position determination step for determining the position of the other information processing device on the sub-coordinate system in the specified space based on position information indicating the position of the other information processing device received from the other information processing device.