WO2022239638A1 - 副端末と同一の仮想空間へ参入する主端末、プログラム及びシステム - Google Patents

副端末と同一の仮想空間へ参入する主端末、プログラム及びシステム Download PDF

Info

Publication number
WO2022239638A1
WO2022239638A1 PCT/JP2022/018851 JP2022018851W WO2022239638A1 WO 2022239638 A1 WO2022239638 A1 WO 2022239638A1 JP 2022018851 W JP2022018851 W JP 2022018851W WO 2022239638 A1 WO2022239638 A1 WO 2022239638A1
Authority
WO
WIPO (PCT)
Prior art keywords
terminal
sub
attitude
main
coordinate system
Prior art date
Application number
PCT/JP2022/018851
Other languages
English (en)
French (fr)
Inventor
英悟 池谷
Original Assignee
有限会社池谷製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2021082689A external-priority patent/JP7015081B1/ja
Application filed by 有限会社池谷製作所 filed Critical 有限会社池谷製作所
Priority to US18/289,195 priority Critical patent/US20240220183A1/en
Publication of WO2022239638A1 publication Critical patent/WO2022239638A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/303—Terminal profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Definitions

  • the present invention relates to virtual reality, augmented reality, or mixed reality technology.
  • Virtual reality refers to technology that displays a three-dimensional virtual space in the user's field of vision by attaching an HMD (Head Mount Display) terminal to the user's head.
  • HMD Head Mount Display
  • Augmented reality is a technology that displays CG (Computer Graphics) images in the real space that is visible to the user.
  • the real space is expanded by superimposing CG on a see-through display or on an image of the real space photographed by a camera.
  • Mixed reality is a technology that fuses a virtual space artificially created by CG with a real space. Objects in the real space are integrated with the virtual space, and the user's movements affect each other in the real space and the virtual space.
  • the HMD terminal, AR terminal, and MR terminal detect the movement of the user using the attitude sensor, and acquire and display virtual space information by accessing the virtual space server.
  • Patent Document 1 there is technology for an experience sharing system among multiple users (see Patent Document 1, for example).
  • smart glasses that wirelessly transmit images captured by a camera
  • VR equipment that receives images from the smart glasses and displays virtual reality images to the user.
  • Patent Document 2 There are also technologies that provide services via an augmented reality space (or virtual reality space) (see Patent Document 2, for example).
  • This technology uses an IoT device to which an identification code is attached, and an AR device or a VR device that captures an image of the identification code.
  • the AR device displays the augmented reality space as its reference point to the user, and the IoT device cooperates with the augmented reality space to provide the user with services.
  • Fig. 1 is a system configuration diagram in which multiple sub-terminals exist in the real space visible to the operator. According to the figure, the operator visually recognizes a plurality of users a to c existing in the physical space. A plurality of users a to c each wear a sub-terminal 2 such as an HMD terminal on their head, and each HMD terminal accesses the virtual space server 3 . As a result, each subterminal 2 can reproduce the virtual space desired by the user.
  • a sub-terminal 2 such as an HMD terminal on their head
  • FIG. 1 it is assumed that a physically handicapped person (user) requiring care wears an HMD terminal (sub-terminal 2) and experiences a virtual space.
  • the care recipient can personally immerse himself in the virtual space, but the caregiver (operator) cannot recognize the virtual space that the care recipient visually recognizes through the HMD terminal.
  • the caregiver cannot assist the care recipient in operating the virtual space.
  • Such problems are not limited to nursing care situations. For example, a similar problem arises between a vocational trainee wearing an HMD terminal and an instructor who instructs training in a virtual space.
  • the inventor of the present application believes that it is not enough if the operator can enter the same virtual space as the sub-terminal 2 through the see-through display by wearing the main terminal (for example, AR terminal) on the head. I thought.
  • a main terminal, a program, a system, and a method are provided that allow entry into the same virtual space as a sub-terminal existing in a visible position in the real space. intended to
  • the main terminal 1 worn by the operator can communicate with a plurality of HMD terminals (sub-terminals 2) worn by the user.
  • HMD terminals sub-terminals 2
  • an AR terminal for example, an operator may be able to select an HMD terminal by pointing an object of the HMD terminal to be viewed by the operator with the operator's finger. However, it could only be selected as an object in the video seen from the camera of the operator's AR terminal.
  • the address (terminal ID) for communicating with the HMD terminal desired by the operator cannot be specified.
  • An address is, for example, an IP address, a MAC (Media Access Control) address, or a terminal ID such as a beacon ID.
  • the inventor of the present application proposed that when a user selects a subterminal to be a desired communication partner from among a plurality of subterminals existing in a visible position in the real space, the address of the subterminal I knew if it would be possible to identify the
  • the present invention provides a main terminal capable of selecting a sub-terminal that exists in a visible position in the real space and communicating with the sub-terminal, and a program. , to provide a system and method.
  • a first invention for solving the first problem and a second invention for solving the second problem are disclosed.
  • a first invention of the present application relates to a main terminal, a program, a system and a method for entering the same virtual space as a sub terminal.
  • a main terminal capable of communicating with a plurality of sub-terminals existing in positions visible in real space, Sub-terminal detection means for acquiring a terminal identifier from each sub-terminal; Subterminal selection means for selecting one of the subterminals by an operator's operation; a sub-terminal communication means for obtaining, from the selected sub-terminal, the server address of the virtual space server to which the sub-terminal is logged in; There is provided a main terminal characterized by having server access means for logging into a virtual space server associated with a server address obtained from a sub terminal, and entering into the same virtual space as the sub terminal.
  • Server access means to the virtual space server located on the external network via wide area communication, to a locally located virtual space server via short-range communication, or It is also preferable to access the virtual space server installed in the sub-terminal via short-range communication.
  • the main terminal has a camera and an attitude sensor
  • the main terminal further a sub-terminal attitude receiving means for receiving a sub-terminal attitude T H2 in the sub-terminal coordinate system H from each of the sub-terminals whose terminal identifiers have been acquired by the sub-terminal detecting means; object recognition means for recognizing a plurality of sub-terminals in real space from images captured by a camera; object attitude detection means for detecting, from images captured by a camera at predetermined time intervals, a sub terminal attitude T A2 in a main terminal coordinate system A related to an attitude sensor of the main terminal for each sub terminal; Attitude displacement detection means for detecting displacement ⁇ T H2 of sub terminal attitude T H2 in sub terminal coordinate system H and displacement ⁇ T A2 of sub terminal attitude T A2 in main terminal coordinate system A for each sub terminal at predetermined time intervals.
  • a sub-terminal identifying means for associating the terminal identifier of the terminal with the sub-terminal recognized from the video; It is also preferable that the sub-terminal selection means causes an operator to select an object of one sub-terminal among a plurality of sub-terminals in the real space reflected in the image captured by the camera.
  • the sub-terminal has an orientation sensor
  • the sub-terminal attitude T A2 in the main terminal coordinate system A is derived from the position v and the inclination r of the sub-terminal reflected in the image with respect to the front for the user, It is also preferable that the sub-terminal attitude T H2 in the sub-terminal coordinate system H is detected by the attitude sensor of the sub-terminal.
  • the front of the sub-terminal reflected in the image for the user is located on the sub-terminal. It is also preferred that it is identified based on the position of a predetermined marker.
  • the sub-terminal attitude receiving means receives the position v and the tilt r in the sub-terminal coordinate system H, and converts the attitude matrix consisting of the rotation matrix R based on the tilt r and the position v into the sub-terminal attitude in the sub-terminal coordinate system H.
  • T H2 be
  • the object attitude detection means detects the position v and the tilt r in the main terminal coordinate system A for each of the sub terminals from the image captured by the camera, and calculates the attitude matrix consisting of the rotation matrix R based on the tilt r and the position v. is also preferable to be the sub terminal attitude T A2 in the main terminal coordinate system A.
  • the main terminal is an eyeglass-type, contact-lens-type, or head-mounted terminal equipped with a display. It is also preferable to have the terminal visible to the operator.
  • a computer-readable non-uniform terminal in which a program executed by a computer installed in a main terminal capable of communicating with a plurality of sub-terminals existing in visible positions in real space is recorded.
  • a permanent recording medium the program comprising: Sub-terminal detection means for acquiring a terminal identifier from each sub-terminal; Subterminal selection means for selecting one of the subterminals by an operator's operation; a sub-terminal communication means for obtaining, from the selected sub-terminal, the server address of the virtual space server to which the sub-terminal is logged in;
  • a recording medium is provided that causes a computer to function as server access means for logging into a virtual space server associated with a server address obtained from a subterminal.
  • a system having a main terminal and a plurality of sub-terminals existing in positions visible in real space from the main terminal,
  • the main terminal Sub-terminal detection means for acquiring a terminal identifier from each sub-terminal;
  • Subterminal selection means for selecting one of the subterminals by an operator's operation;
  • a sub-terminal communication means for obtaining, from the selected sub-terminal, the server address of the virtual space server to which the sub-terminal is logged in;
  • a server access means for logging into the virtual space server associated with the server address obtained from the sub-terminal;
  • a system is provided in which the sub-terminal responds with a terminal identifier and a server address in response to a request from the main terminal.
  • a virtual space server connection method in a main terminal capable of communicating with a plurality of sub-terminals existing in visible positions in real space, comprising: The main terminal a first step of obtaining a terminal identifier from each of the subterminals; a second step of selecting one of the sub-terminals by an operator operation; a third step of acquiring, from the selected subterminal, the server address of the virtual space server to which the subterminal is logged in; and a fourth step of logging into the virtual space server associated with the server address obtained from the sub-terminal.
  • a second invention of the present application relates to a main terminal, a program, a system and a method for identifying a sub-terminal selected by a user in a real space captured by a camera.
  • a main terminal equipped with a camera and an orientation sensor and capable of communicating with a plurality of sub terminals existing in visible positions in the real space
  • Sub-terminal detection means for acquiring a terminal identifier from each sub-terminal
  • a sub-terminal attitude receiving means for receiving a sub-terminal attitude T H2 in the sub-terminal coordinate system H from each sub-terminal at predetermined time intervals
  • object recognition means for recognizing a plurality of sub-terminals in real space from images captured by a camera
  • object attitude detection means for detecting, from images captured by a camera at predetermined time intervals, a sub terminal attitude T A2 in a main terminal coordinate system A related to an attitude sensor of the main terminal for each sub terminal
  • Attitude displacement detection means for detecting displacement ⁇ T H2 of sub terminal attitude T H2 in sub terminal coordinate system H and displacement ⁇ T A2 of sub terminal attitude T A2 in main terminal coordinate system A for each sub terminal at predetermined time intervals.
  • a main terminal having sub-terminal identification means for associating a terminal identifier of the terminal with a sub-terminal recognized from the video.
  • the main terminal a sub-terminal selecting means for causing an operator to select an object of one sub-terminal from among a plurality of sub-terminals in the real space reflected in the image captured by the camera, and specifying the terminal identifier of the sub-terminal; It is also preferable to further have sub-terminal communication means for communicating with the sub-terminal corresponding to the specified terminal identifier.
  • the sub-terminal communication means acquires from the sub-terminal the server address of the virtual space server to which the sub-terminal is logged in; It is also preferable that the main terminal further has server access means for logging into the virtual space server associated with the server address obtained from the sub-terminal, and participates in the same virtual space as the sub-terminal.
  • Server access means Log in to a virtual space server located outside via a network, or It is also preferable to log in to the virtual space server installed in the sub-terminal via short-range communication.
  • the sub-terminal has an orientation sensor
  • the main terminal coordinate system A is the coordinate system of the main terminal
  • the sub-terminal attitude T A2 in the main terminal coordinate system A is derived from the tilt vector with respect to the front for the user of the sub-terminal reflected in the video
  • the sub-terminal coordinate system H is the coordinate system of the sub-terminal
  • the sub-terminal attitude T H2 in the sub-terminal coordinate system H is detected by the attitude sensor of the sub-terminal.
  • the front for the user of the sub-terminal reflected in the image is the predetermined marker arranged on the sub-terminal.
  • Location-based identification is also preferred.
  • the sub-terminal attitude receiving means receives the position v and the tilt r in the sub-terminal coordinate system H, and converts the attitude matrix consisting of the rotation matrix R based on the tilt r and the position v into the sub-terminal attitude in the sub-terminal coordinate system H.
  • T H2 be
  • the object attitude detection means detects the position v and the tilt r in the main terminal coordinate system A for each of the sub terminals from the image captured by the camera, and calculates the attitude matrix consisting of the rotation matrix R based on the tilt r and the position v. is also preferable to be the sub terminal attitude T A2 in the main terminal coordinate system A.
  • the main terminal is an eyeglass-type, contact-lens-type, or head-mounted terminal equipped with a display. It is also preferable to have the terminal visible to the operator.
  • a computer installed in a main terminal equipped with a camera and an orientation sensor and capable of communicating with a plurality of sub-terminals existing in visible positions in the real space
  • a computer-readable non-transitory recording medium recording a program to be executed, wherein the program is
  • Sub-terminal detection means for acquiring a terminal identifier from each sub-terminal;
  • a sub-terminal attitude receiving means for receiving a sub-terminal attitude T H2 in the sub-terminal coordinate system H from each sub-terminal at predetermined time intervals;
  • object recognition means for recognizing a plurality of sub-terminals in real space from images captured by a camera;
  • object attitude detection means for detecting, from images captured by a camera at predetermined time intervals, a sub terminal attitude T A2 in a main terminal coordinate system A related to an attitude sensor of the main terminal for each sub terminal;
  • Attitude displacement detection means for detecting displacement ⁇ T H2 of sub terminal attitude T H2 in sub terminal coordinate system H and displacement ⁇ T A2 of
  • a recording medium causes a computer to function as sub-terminal specifying means for associating a terminal identifier of a terminal with a sub-terminal recognized from a video.
  • a system comprising a main terminal equipped with a camera and an orientation sensor, and a plurality of sub-terminals present at positions visible in real space from the main terminal, wherein
  • the main terminal Sub-terminal detection means for acquiring a terminal identifier from each sub-terminal; a sub-terminal attitude receiving means for receiving a sub-terminal attitude T H2 in the sub-terminal coordinate system H from each sub-terminal at predetermined time intervals; object recognition means for recognizing a plurality of sub-terminals in real space from images captured by a camera; object attitude detection means for detecting, from images captured by a camera at predetermined time intervals, a sub terminal attitude T A2 in a main terminal coordinate system A related to an attitude sensor of the main terminal for each sub terminal; Attitude displacement detection means for detecting displacement ⁇ T H2 of sub terminal attitude T H2 in sub terminal coordinate system H and displacement ⁇ T A2 of sub terminal attitude T A2 in main terminal coordinate system A for each sub terminal at predetermined time
  • a sub-terminal identifying means for associating the terminal identifier of the terminal with the sub-terminal recognized from the video;
  • a secondary terminal is a sub-terminal identifier response means for responding with a terminal identifier in response to a request from the main terminal; and sub-terminal attitude transmitting means for transmitting the sub-terminal attitude T H2 in the sub-terminal coordinate system H at predetermined time intervals.
  • a sub-terminal specifying method in a main terminal equipped with a camera and an orientation sensor and capable of communicating with a plurality of sub-terminals existing in visible positions in the real space There is The main terminal a first step of obtaining a terminal identifier from each of the subterminals; a second step of receiving a sub-terminal attitude T H2 in the sub-terminal coordinate system H from each sub-terminal at predetermined time intervals; a third step of recognizing a plurality of sub-terminals in the real space from the images captured by the camera; a fourth step of detecting a sub terminal attitude T A2 in the main terminal coordinate system A related to the attitude sensor of the main terminal for each sub terminal from images captured by a camera at predetermined time intervals; A fifth step of detecting a displacement ⁇ T H2 of the sub terminal attitude T H2 in the sub terminal coordinate system H and a displacement ⁇ T A2 of the sub terminal attitude T A2 in the main terminal coordinate system A for each sub
  • main terminal program, system and method of the first invention of the present application, it is possible to enter the same virtual space as a sub-terminal existing in a visible position in the real space. Also, according to the main terminal, program, system and method of the second invention of the present application, it is possible to select a sub-terminal that exists in a visible position in the real space and communicate with that sub-terminal.
  • FIG. 1 is a system configuration diagram in which a plurality of subterminals exist in a physical space visible to an operator;
  • FIG. 1 is a system configuration diagram in the present invention;
  • FIG. 3 is a functional configuration diagram of a main terminal in the first invention;
  • FIG. 4 is an explanatory diagram showing the processing flow of the main terminal in the first invention; It is a system block diagram in 2nd invention.
  • FIG. 9 is a functional configuration diagram of a main terminal in the second invention; 9 is a flow chart of the main terminal in the second invention; It is an explanatory diagram showing the relationship between the main terminal coordinate system and the sub-terminal coordinate system in the second invention.
  • FIG. 11 is an explanatory diagram showing the relationship between the real space and the virtual space in the second invention;
  • FIG. 2 is a system configuration diagram in the present invention.
  • virtual space servers generally allow multiple users staying in remote locations to exist in the same virtual space.
  • the main terminal 1 carried by the operator and the sub-terminal 2 carried by the user are located at positions visible in the real space. That is, the present invention is particularly applicable when terminals are close to each other in real space.
  • the main terminal 1 is, for example, a glasses-type AR (Augmented Reality) terminal, and can display CG of virtual space on a see-through display. An operator wears the main terminal 1 and can see a plurality of users ac through the see-through display.
  • the subterminal 2 is, for example, an HMD (Head Mount Display) terminal, and can access the virtual space server 3 . Assume that users a to c wear HMDs and experience a virtual space.
  • the main terminal 1 is an AR terminal, but it may be an MR (Mixed Reality) terminal, and is not limited to these.
  • the main terminal 1 may be of a contact lens type, or may be an HMD terminal with a camera that reproduces images of the outside world. The operator can see the plurality of sub-terminals 2 existing in the physical space through a see-through display or through a display that displays images captured by a camera.
  • the sub-terminal 2 is also an HMD terminal, it may of course be an AR terminal or an MR terminal, and is not limited to this.
  • the main terminal 1 and the sub-terminal 2 may be terminals equipped with a camera and a display, such as smartphones, or may be tablets or personal computers.
  • the main terminal 1 communicates with a plurality of subterminals 2 by short range communication.
  • the "short range communication" may be wireless or wired.
  • short-range wireless communication such as Bluetooth (registered trademark) or Zigbee (registered trademark), or a short-range wireless network such as wireless LAN, is preferable.
  • BLE Bluetooth Low Energy
  • BLE Bluetooth Low Energy
  • the subterminal 2 constantly transmits an advertising packet as a tag device. Publicity packets are transmitted periodically, for example, at intervals of 100ms.
  • the subterminal 2 functions as an "advertiser", and the advertisement packet includes a "beacon ID" as a terminal ID.
  • the main terminal 1 can also access the virtual space server 3 .
  • the locations where the virtual space servers 3 are arranged are classified into, for example, the following three patterns.
  • Virtual Space Server Dedicated Server
  • Internet External network
  • Dedicated Server Locally placed virtual space server
  • Listen Server Virtual space server
  • the main terminal 1 connects to the Internet by wide area communication.
  • the wide area communication that serves as the interface may be wireless or wired.
  • the main terminal 1 can communicate via short-range communication.
  • each subterminal 2 communicates with the main terminal 1 using its own terminal ID. Also, as a feature of the present invention, the sub terminal 2 can respond to the main terminal 1 with the address of the virtual space server 3 that the user is experiencing in response to a request from the main terminal 1 .
  • FIG. 3 is a functional block diagram of the main terminal in the first invention.
  • FIG. 4 is an explanatory diagram showing the processing flow of the main terminal in the first invention.
  • the main terminal 1 has at least a display 101 and a short range communication unit 102 as hardware. Depending on the location of the virtual space server 3 to be accessed, the wide area communication unit 103 is also required. According to FIG. 3 , the main terminal 1 has a subterminal detection unit 11 , a subterminal selection unit 12 , a subterminal communication unit 13 and a server access unit 14 . These functional components are regarded as functions realized by executing an embodiment of the program according to the present invention stored in the processor memory (arithmetic processing system with memory function) installed in the main terminal 1. can be done. Further, the flow of processing in which the functional components of the main terminal 1 are connected by arrows in FIG. 3 can also be understood as an embodiment of the virtual space entry method according to the present invention.
  • the subterminal detection unit 11 acquires a terminal ID from each subterminal 2 .
  • the terminal ID may be, for example, a beacon ID, an IP address, or a MAC (Media Access Control) address.
  • the sub-terminal 2 periodically transmits a terminal ID, and the sub-terminal detector 11 of the main terminal 1 can receive the terminal ID.
  • the sub-terminal detector 11 of the main terminal 1 can receive the terminal ID from the sub-terminal 2 by distributing the inquiry request by multicast.
  • the acquired terminal ID is output to the subterminal selection unit 12 .
  • the subterminal selection unit 12 selects one of the subterminals 2 according to the operator's operation.
  • the terminal ID of the selected subterminal 2 is output to subterminal communication section 13 .
  • the sub-terminal selection unit 12 may, for example, display a plurality of terminal IDs acquired from the surroundings on the display 101 and allow the operator to select one. Each terminal ID may be associated with a preset user identification name and displayed on the display 101 to facilitate selection by the operator. According to FIG. 4, beacon IDs acquired from a plurality of subterminals 2 are displayed, and the operator can select one himself. As for the selection function of the sub terminal 2, by using the second invention of the present application, it is possible to associate the object of the camera image visually recognized by the operator with the obtained terminal ID.
  • the sub-terminal communication unit 13 acquires from the sub-terminal 2 selected by the sub-terminal selection unit 12 the server address of the virtual space server 3 that the sub-terminal 2 is logging into. The acquired server address is output to the server access unit 14 .
  • main terminal 1 sends a server address request to sub terminal 2.
  • the sub terminal 2 returns the server address of the virtual space server 3 being accessed to the main terminal 1 .
  • the server address includes a URL (Uniform Resource Locator), IP address, port number, and other information required to access the virtual space server.
  • URL Uniform Resource Locator
  • the server access unit 14 logs in to the virtual space server 3 associated with the server address acquired from the subterminal 2 by the subterminal communication unit 13 .
  • the first invention of the present application it is possible to enter the same virtual space as a sub-terminal that exists in a position visible in the real space as seen from the main terminal.
  • a main terminal, a program, a system and a method as a second invention of the present application can select a sub-terminal that exists in a position visible in the real space from the main terminal, and can communicate with the sub-terminal.
  • FIG. 5 is a system configuration diagram in the second invention.
  • the main terminal 1 further comprises a camera 104 compared to FIG. [Camera 104]
  • Camera 104 may be a general 2D camera or a 3D camera.
  • LIDAR light detection and ranging
  • a UWB Ultra Wide Band
  • the main terminal 1 and the subterminal 2 each further have attitude sensors 105 and 205 in addition to the configuration shown in FIG. [Attitude sensors 105 and 205]
  • the attitude sensors 105 and 205 always detect the "position v" and "inclination r", which are their own attitudes (transformation matrix, Transform) during activation.
  • T A1 Main terminal attitude in main terminal coordinate system A
  • T H2 Sub terminal attitude in sub terminal coordinate system H
  • the main terminal coordinate system A is the reference coordinate system set when the equipment is started.
  • the sub-terminal coordinate system H is also assumed to be the reference coordinate system set when the device is started.
  • the orientation sensors 105 and 205 are equipped with an IMU (Inertial Measurement Unit) to detect the "inclination r". This is the same as what is installed in a general smart phone. Also, the orientation sensors 105 and 205 are equipped with a tracking device mounted on a head-mounted display, such as Lighthouse (registered trademark) of SteamVR (registered trademark), in order to detect "position v" (for example, non-tracking device). See Patent Document 1). It can track the position v of the main terminal 1 and the subterminal 2 within a predetermined range by communicating with an anchor (base station) installed in the physical space.
  • IMU Inertial Measurement Unit
  • the attitude sensors 105 and 205 can simultaneously track the self-position v and the inclination r using SLAM (Simultaneous Localization And Mapping) by installing the above-described IMU and camera (for example, Non-Patent Document 5 reference).
  • SLAM Simultaneous Localization And Mapping
  • the "attitude” As the “attitude” according to the present invention, the "position v” (3 ⁇ 1 matrix) in the real space (three-dimensional space) and the “rotation matrix R" (3 ⁇ 3 matrix), the “posture T” (4 ⁇ 4 matrix) is defined as follows (see Non-Patent Document 2, for example).
  • the orientation T can be derived from the position v and the inclination r, and conversely, the position v and the inclination r can be derived from the orientation T.
  • FIG. 6 is a functional block diagram of the main terminal in the second invention.
  • FIG. 7 is a flow chart of the main terminal in the second invention.
  • FIG. 6 in addition to the configuration shown in FIG. It further has a sub terminal identification unit 115 .
  • These functional components are regarded as functions realized by executing an embodiment of the program according to the present invention stored in the processor memory (arithmetic processing system with memory function) installed in the main terminal 1. can be done. Further, the flow of processing in which the functional components of the main terminal 1 are connected by arrows in FIG. 6 can also be understood as an embodiment of the terminal specifying method according to the present invention.
  • the sub-terminal attitude receiving section 111 acquires the sub-terminal attitude T H2 (position v and tilt r).
  • the sub terminal attitude T H2 in the sub terminal coordinate system H is detected by the attitude sensor 205 of the sub terminal 2 .
  • T H2 Sub-terminal attitude in the sub-terminal coordinate system H
  • the sub-terminal attitude T H2 in the sub-terminal coordinate system H of each sub-terminal 2 is output to the attitude displacement detection section 114 at predetermined time intervals.
  • the object recognition unit 112 recognizes a plurality of subterminals 2 in the physical space as objects from the images captured by the camera 104 .
  • the object of the sub-terminal 2 may be recognized using an object recognition engine that has previously learned the appearance of the sub-terminal 2 (for example, the appearance of the HMD terminal).
  • object recognition engine that has previously learned the appearance of the sub-terminal 2 (for example, the appearance of the HMD terminal).
  • SIFT Scale-Invariant Feature Transform
  • deep neural network class classification techniques Such feature extraction techniques can be applied to both 2D images and 3D images (or point clouds).
  • the object recognition unit 112 may recognize a marker attached to the sub terminal 2 itself, for example.
  • the marker may be, for example, a two-dimensional QR code (registered trademark).
  • the object attitude detection unit 113 detects the sub terminal attitude T A2 in the main terminal coordinate system A related to the attitude sensor 105 of the main terminal 1 for each (object of) the sub terminal 2 every time a predetermined time ( ⁇ t) elapses. .
  • T A2 Sub-terminal orientation in main terminal coordinate system A
  • Object orientation detection unit 113 detects each object of sub-terminal 2 recognized by object recognition unit 112 in main terminal coordinate system A from the image captured by the camera. Detect position v and tilt r. Then, an attitude matrix consisting of the rotation matrix R based on the inclination r and the position v is detected as the sub terminal attitude T A2 in the main terminal coordinate system A.
  • the sub terminal attitude T A2 in the main terminal coordinate system A is the position v and the slope r.
  • the front surface for the user is specified based on the position of a predetermined marker arranged on the subterminal 2 .
  • an object for example, a marker
  • the posture can be detected from the shape of the image of the object reflected in the video (see Non-Patent Document 3, for example). Specifically, a position vector indicating the center position of the marker and a rotational axis vector such that the x-axis and y-axis are parallel to the sides of the marker and the z-axis is perpendicular to them are detected.
  • a rotation axis vector is a vector that expresses the axis direction as the "orientation” and the rotation angle as the "norm” when rotating an object to an arbitrary inclination according to Rodriguez's rotation formula.
  • the orientation may be detected using a marker detection function called aruco of OpenCV (registered trademark) (see Non-Patent Document 4, for example).
  • the sub terminal attitude T A2 in the main terminal coordinate system A is greatly affected by the object detection location (for example, the marker installation position), it is preferably corrected by the attitude correction matrix.
  • T A2 T A1 T 1s T S2 T c
  • T A1 Main terminal attitude in main terminal coordinate system A
  • T 1s Attitude of camera (sensor) coordinate system in main terminal attitude coordinate system
  • T S2 Attitude of sub terminal whose image is recognized in camera (sensor) coordinate system
  • T c Attitude Correction Matrix
  • the main terminal attitude coordinate system is a coordinate system with the main terminal attitude in the main terminal coordinate system A as a reference. In this way, it is actually necessary to convert the sub terminal attitude from the sensor coordinate system to the main terminal coordinate system.
  • Attitude displacement detection section 114 receives sub terminal attitude T H2 in sub terminal coordinate system H for each sub terminal from sub terminal attitude reception section 111 every time a predetermined time ( ⁇ t) elapses. From 113, the sub terminal attitude T A2 in the main terminal coordinate system A is input.
  • the posture displacement detection unit 114 detects a displacement ⁇ T H2 of the sub terminal posture T H2 in the sub terminal coordinate system H and a displacement ⁇ T A2 of the sub terminal posture T A2 in the main terminal coordinate system A.
  • Displacement of the sub-terminal attitude T H21 in the sub-terminal coordinate system H of the sub-terminal 21: ⁇ T H21 (T H21 (t)) ⁇ 1 T H21 (t+ ⁇ t)
  • Displacement of the sub-terminal attitude T H22 in the sub-terminal coordinate system H of the sub-terminal 22: ⁇ T H22 (T H22 (t)) ⁇ 1 T H22 (t+ ⁇ t)
  • Displacement of the sub-terminal attitude T H23 in the sub-terminal coordinate system H of the sub-terminal 23: ⁇ T H23 (T H23 (t)) ⁇ 1 T H23 (t+ ⁇ t) Displacement of sub-terminal attitude T A2a of image-recognized object a in main
  • FIG. 8 is an explanatory diagram showing the relationship between the main terminal coordinate system and the sub terminal coordinate system in the second invention.
  • FIG. 9 is an explanatory diagram showing the relationship between the real space and the virtual space in the second invention.
  • T A1 Main terminal attitude in main terminal coordinate system A
  • T A2 Sub terminal attitude in main terminal coordinate system A
  • T H2 Sub terminal attitude in sub terminal coordinate system H
  • T AH Sub terminal coordinate system H with respect to main terminal coordinate system A
  • Relative attitude T HA Relative attitude of main terminal coordinate system A with respect to sub terminal coordinate system H
  • the main terminal attitude T A1 in the main terminal coordinate system A is detected by the attitude sensor 105 mounted on the main terminal 1 .
  • the sub terminal attitude T H2 in the sub terminal coordinate system H is also detected by the attitude sensor 205 mounted on the sub terminal 2 .
  • the main terminal 1 receives the sub terminal attitude T H2 in the sub terminal coordinate system H from the sub terminal 2 .
  • the sub terminal attitude T A2 in the main terminal coordinate system A is detected by the object attitude detection unit 114 from the object appearing in the image captured by the camera 104 of the main terminal 1 .
  • the relative attitude in the physical space is calculated from the sub terminal attitude T A2 in the main terminal coordinate system A and the sub terminal attitude T H2 in the sub terminal coordinate system H.
  • the relation between the real space and the virtual space is the relative attitude T AH of the sub terminal coordinate system H with respect to the main terminal coordinate system A, and the relative attitude T HA of the main terminal coordinate system A with respect to the sub terminal coordinate system H.
  • T AH Relative attitude of sub terminal coordinate system H with respect to main terminal coordinate system A
  • T HA Relative attitude of main terminal coordinate system A with respect to sub terminal coordinate system H
  • T AH T HA -1
  • Sub-terminal identification unit 115 For each subterminal, the subterminal identification unit 115 identifies the subterminal associated with the subterminal attitude displacement ⁇ T A2 in the main terminal coordinate system A that is closest to the displacement ⁇ T H2 of the subterminal attitude T H2 in the subterminal coordinate system H. and associates the terminal identifier of the sub-terminal with the sub-terminal recognized from the video.
  • Terminal ID of sub-terminal (Image-recognized object) Sub-terminal 21 ⁇ -> Sub-terminal a sub-terminal 22 ⁇ -> sub-terminal c Sub-terminal 23 ⁇ -> Sub-terminal b
  • Subterminal identifying section 115 may use a “matrix norm” that is the sum of the absolute values of the differences between the elements in each ⁇ T A and each ⁇ T H in order to associate the subterminals with the smallest displacements. Another method is to find the vector difference between the position v or the gradient r extracted from each ⁇ T A and the position v or the gradient r extracted from each ⁇ T H , and use the magnitude of the difference as the "vector norm". Alternatively, a rotation axis vector may be calculated from the gradient r extracted from each ⁇ T A and the gradient r extracted from each ⁇ T H and its norm may be used. Subterminals whose norms are equal to or less than the threshold and are the smallest are associated with each other.
  • the sub-terminal selection unit 12 in FIG. 6 described above allows the operator to select (perform a selection operation) an object of one sub-terminal among a plurality of sub-terminals in the real space that are reflected in the video captured by the camera 104. ).
  • the sub-terminal selection unit 12 can identify the object pointed by the finger and select the sub-terminal 2 on the image (for example, see Non-Patent Documents 6 and 7). Specifically, collision between an object in the image recognized as the sub-terminal 2 and an object in the image recognized as the finger is determined.
  • the second invention of the present application it is possible to select a sub-terminal that exists in a position visible in the real space as viewed from the main terminal, and to communicate with that sub-terminal.
  • the first invention of the present application it is possible to enter the same virtual space as a sub-terminal that exists in a position visible in the real space as seen from the main terminal.
  • a second invention of the present application it is possible to select a sub-terminal that exists in a position visible in the real space as seen from the main terminal, and to communicate with that sub-terminal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

主端末からみて現実空間で視認可能な位置に存在する副端末と同一の仮想空間へ参入することができる主端末を提供する。本主端末は、副端末それぞれから、端末識別子を取得する副端末検出手段と、オペレータ操作によって、いずれかの副端末を選択する副端末選択手段と、選択された副端末から、当該副端末がログイン中の仮想空間サーバのサーバアドレスを取得する副端末通信手段と、副端末から取得したサーバアドレスに係る仮想空間サーバへログインするサーバアクセス手段とを有し、副端末と同一の仮想空間へ参入する。サーバアクセス手段は、広域通信を介して外部ネットワークに配置された仮想空間サーバへ、狭域通信を介してローカルに配置された仮想空間サーバへ、又は、狭域通信を介して副端末に搭載された仮想空間サーバへアクセスすることも好ましい。

Description

副端末と同一の仮想空間へ参入する主端末、プログラム及びシステム
　本発明は、仮想現実(Virtual Reality)、拡張現実(Augmented Reality)又は複合現実(Mixed Reality)の技術に関する。
　本出願は、パリ条約の下、２０２１年５月１４日に出願された日本国特許出願ＪＰ２０２１－０８２６８９及び２０２２年１月１４日に出願された日本国特許出願ＪＰ２０２２－００４０２８についての優先権の利益を主張しており、それらの日本国特許出願は、ＰＣＴ規則第２０．６の規定によって、引用によりその全体が本明細書に組み込まれる。
　仮想現実とは、ユーザの頭部にＨＭＤ(Head Mount Display)端末を装着し、ユーザの視界に３次元の仮想空間を表示する技術をいう。ユーザは、自ら動きながら仮想空間への没入感を得ることができる。拡張現実とは、ユーザの視界に映る現実空間に、ＣＧ(Computer Graphics)映像を表示する技術をいう。例えばシースルーのディスプレイ上に、又は、現実空間をカメラで撮影した映像上に、ＣＧを重畳的に表示することによって、現実空間を拡張する。複合現実とは、ＣＧで人工的に作られた仮想空間を、現実空間と融合させる技術をいう。現実空間の物体が仮想空間と一体化しており、ユーザは、自らの動きが、現実空間且つ仮想空間として相互に影響する。これら技術によれば、ＨＭＤ端末、ＡＲ端末やＭＲ端末は、姿勢センサによってユーザの動きを検知すると共に、仮想空間サーバにアクセスすることによって仮想空間情報を取得して表示する。
　従来、複数のユーザ間における体験共有システムの技術がある（例えば特許文献１参照）。この技術によれば、カメラによって撮影された映像を無線で送信する「スマートめがね」と、そのスマートめがねから映像を受信し、ユーザに仮想現実映像を表示する「ＶＲ機器」とを有する。
　また、拡張現実空間（又は仮想現実空間）を介したサービスを提供する技術もある（例えば特許文献２参照）。この技術においては、識別コードが貼り付けられたＩｏＴ機器と、識別コードを撮影するＡＲ機器やＶＲ機器とが用いられる。ＡＲ機器は、識別コードを読み取ることによって、その基準点となる拡張現実空間をユーザに表示すると共に、ＩｏＴ機器は、拡張現実空間と連携してユーザにサービスを提供する。
特表２０２０－５０６５６５号公報 特許第６４１７４６７号公報
SteamVR・lighthouse、[online]、［令和３年５月１日検索］、インターネット＜URL:https://www.moguravr.com/terms/index-r/lighthouse/#:~:text=Lighthouse%E3%81%A8%E3%81%AF%E3%80%81PC%E5%90%91%E3%81%91,%E3%81%99%E3%82%8B%E3%81%93%E3%81%A8%E3%81%8C%E5%8F%AF%E8%83%BD%E3%81%A7%E3%81%99%E3%80%82＞ 回転行列、[online]、［令和３年５月１日検索］、インターネット＜URL:https://ja.wikipedia.org/wiki/%E5%9B%9E%E8%BB%A2%E8%A1%8C%E5%88%97＞ ARToolkit Overview、[online]、［令和２年５月１日検索］、インターネット＜URL:https://im-lab.net/artoolkit-overview/＞ OpenCV Detection of ArUco Markers、[online]、［令和３年５月１日検索］、インターネット＜URL:https://docs.opencv.org/master/d5/dae/tutorial_aruco_detection.html＞ ＳＬＡＭ、[online]、［令和３年５月１日検索］、インターネット＜URL:https://ja.wikipedia.org/wiki/SLAM＞ 指さし行動の理解支援に向けたＡＲ図示システムの提案、[online]、［令和３年５月１日検索］、インターネット＜URL:http://www.res.kutc.kansai-u.ac.jp/~yone/research/pdf_graduate_thesis/201703g_UENO_Kaede.pdf＞ コリジョンの概要、[online]、［令和３年５月１日検索］、インターネット＜URL:https://docs.unrealengine.com/ja/InteractiveExperiences/Physics/Collision/Overview/index.html＞
　図１は、オペレータが視認可能な現実空間に複数の副端末が存在するシステム構成図である。同図によれば、オペレータが、現実空間に存在する複数のユーザａ～ｃを視認している。複数のユーザａ～ｃはそれぞれ、ＨＭＤ端末のような副端末２を頭部に装着し、各ＨＭＤ端末は、仮想空間サーバ３にアクセスしている。これによって、副端末２はそれぞれ、ユーザ所望の仮想空間を再生することができる。
　しかしながら、以下のような２つの課題がある。
［第１の課題］
　ＨＭＤ端末によって再生中の仮想空間は、そのＨＭＤ端末を装着したユーザ主導で体験するものである。勿論、仮想空間の映像を、他のディスプレイに表示することは既存技術でもできる。しかしながら、あくまで、この仮想空間に干渉できるのは、ＨＭＤ端末を装着したユーザのみであり、その結果、この仮想空間での体験は極めて個人的なものになってしまっている。
　図１によれば、例えば、身体が不自由な要介護者（ユーザ）に、ＨＭＤ端末（副端末２）を装着させ、仮想空間を体験してもらうことを想定する。このとき、要介護者は、個人的に仮想空間に没頭することができるが、介護者（オペレータ）は、その要介護者がＨＭＤ端末によって視認している仮想空間を認識することができない。当然、介護者は、要介護者の仮想空間に対する操作を補助することもできない。このような課題は、介護の場面に限らない。例えばＨＭＤ端末を装着した職業訓練者と、仮想空間における訓練を指導する指導者との間で同様の課題が生じてしまう。
　これに対し、本願の発明者は、オペレータも例えば主端末（例えばＡＲ端末）を頭部に装着することによって、シースルーディスプレイを通して副端末２と同一の仮想空間へ参入することができればよいのではないか、と考えた。
　そこで、第１の課題を解決する本願の第１の発明として、現実空間で視認可能な位置に存在する副端末と同一の仮想空間へ参入することができる主端末、プログラム、システム及び方法を提供することを目的とする。
［第２の課題］
　オペレータが装着した主端末１は、ユーザが装着した複数のＨＭＤ端末（副端末２）と通信することは可能である。しかしながら、オペレータが、現実空間で視認可能な複数のＨＭＤ端末の中で、所望のＨＭＤ端末を選択することは難しい。ＡＲ端末であれば、例えばオペレータの視認先となるＨＭＤ端末のオブジェクトを、オペレータの指で指し示すことによって、そのＨＭＤ端末を選択できるかもしれない。しかしながら、オペレータのＡＲ端末のカメラから見える映像内のオブジェクトとして選択できたに過ぎない。このとき、オペレータ所望のＨＭＤ端末と通信するためのアドレス（端末ＩＤ）を特定することはできない。アドレスとは、例えばＩＰアドレスやＭＡＣ(Media Access Control)アドレス、ビーコンＩＤのような端末ＩＤである。結局、オペレータの主端末１は、ユーザの副端末２を任意に選択し、直接的な通信をすることができない。
　これに対し、本願の発明者は、ユーザが、現実空間で視認可能な位置に存在する複数の副端末の中から、所望の通信相手となる副端末を選択した際に、その副端末のアドレスを特定することができないか、と考えた。
　そこで、本発明は、第２の課題を解決する本願の第２の発明として、現実空間で視認可能な位置に存在する副端末を選択でき、その副端末と通信することができる主端末、プログラム、システム及び方法を提供することを目的とする。
　本発明によれば、第１の課題を解決する第１の発明と、第２の課題を解決する第２の発明とを開示する。
＜第１の発明＞
　本願の第１の発明は、副端末と同一の仮想空間へ参入する主端末、プログラム、システム及び方法に関する。
　本願の第１の発明によれば、現実空間で視認可能な位置に存在する複数の副端末と通信可能な主端末であって、
　副端末それぞれから、端末識別子を取得する副端末検出手段と、
　オペレータ操作によって、いずれかの副端末を選択する副端末選択手段と、
　選択された副端末から、当該副端末がログイン中の仮想空間サーバのサーバアドレスを取得する副端末通信手段と、
　副端末から取得したサーバアドレスに係る仮想空間サーバへログインするサーバアクセス手段と
を有し、副端末と同一の仮想空間へ参入することを特徴とする主端末が提供される。
　本願の第１の発明の主端末における他の実施形態によれば、
　サーバアクセス手段は、
　広域通信を介して外部ネットワークに配置された仮想空間サーバへ、
　狭域通信を介してローカルに配置された仮想空間サーバへ、又は、
　狭域通信を介して副端末に搭載された仮想空間サーバへ
アクセスすることも好ましい。
　本願の第１の発明の主端末における他の実施形態によれば、
　主端末は、カメラと姿勢センサとを備え、
　主端末は、さらに、
　副端末検出手段によって端末識別子が取得された副端末それぞれから、所定時間毎に、副端末座標系Ｈにおける副端末姿勢ＴH2を受信する副端末姿勢受信手段と、
　カメラによって撮影された映像から、現実空間の複数の副端末を認識する物体認識手段と、
　所定時間毎に、カメラによって撮影された映像から、副端末それぞれについて、主端末の姿勢センサに係る主端末座標系Ａにおける副端末姿勢ＴA2を検出する物体姿勢検出手段と、
　所定時間毎に、副端末それぞれについて、副端末座標系Ｈにおける副端末姿勢ＴH2の変位ΔＴH2と、主端末座標系Ａにおける副端末姿勢ＴA2の変位ΔＴA2とを検出する姿勢変位検出手段と、
　副端末それぞれについて、副端末座標系Ｈにおける副端末姿勢ＴH2の変位ΔＴH2と最も近い変位となる主端末座標系Ａにおける副端末姿勢ＴA2の変位ΔＴA2の副端末を特定し、当該副端末の端末識別子を、映像から認識された副端末に対応付ける副端末特定手段と
を有し、
　副端末選択手段は、カメラによって撮影された映像に映り込む現実空間の複数の副端末の中で、１つの副端末のオブジェクトをオペレータ操作によって選択させる
ことも好ましい。
　本願の第１の発明の主端末における他の実施形態によれば、
　副端末は、姿勢センサを有し、
　主端末座標系Ａにおける副端末姿勢ＴA2は、映像に映り込む副端末におけるユーザにとっての前面に対する位置ｖ及び傾きｒから導出されたものであり、
　副端末座標系Ｈにおける副端末姿勢ＴH2は、当該副端末の姿勢センサによって検知されたものであることも好ましい。
　本願の第１の発明の主端末における他の実施形態によれば、主端末座標系Ａにおける副端末姿勢ＴA2について、映像に映り込む副端末におけるユーザにとっての前面は、副端末に配置された所定マーカの位置に基づいて特定されることも好ましい。
　本願の第１の発明の主端末における他の実施形態によれば、
　副端末姿勢受信手段は、当該副端末座標系Ｈでの位置ｖ及び傾きｒを受信し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、副端末座標系Ｈにおける副端末姿勢ＴH2とし、
　物体姿勢検出手段は、カメラによって撮影された映像から、副端末それぞれについて、主端末座標系Ａでの位置ｖ及び傾きｒを検出し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、主端末座標系Ａにおける副端末姿勢ＴA2とする
ことも好ましい。
　本願の第１の発明の主端末における他の実施形態によれば、
　主端末は、ディスプレイを搭載した眼鏡型、コンタクトレンズ型、又は、ヘッドマウント型の端末であり、シースルーによって、又は、カメラによって撮影された映像を表示するディスプレイによって、現実空間に存在する複数の副端末をオペレータに視認させる
ことも好ましい。
　本願の第１の発明によれば、現実空間で視認可能な位置に存在する複数の副端末と通信可能な主端末に搭載されたコンピュータによって実行されるプログラムを記録した、コンピュータ読み取り可能な非一過性の記録媒体であって、前記プログラムは、
　副端末それぞれから、端末識別子を取得する副端末検出手段と、
　オペレータ操作によって、いずれかの副端末を選択する副端末選択手段と、
　選択された副端末から、当該副端末がログイン中の仮想空間サーバのサーバアドレスを取得する副端末通信手段と、
　副端末から取得したサーバアドレスに係る仮想空間サーバへログインするサーバアクセス手段と
してコンピュータを機能させることを特徴とする記録媒体が提供される。
　本願の第１の発明によれば、主端末と、当該主端末からみて現実空間で視認可能な位置に存在する複数の副端末とを有するシステムであって、
　主端末は、
　副端末それぞれから、端末識別子を取得する副端末検出手段と、
　オペレータ操作によって、いずれかの副端末を選択する副端末選択手段と、
　選択された副端末から、当該副端末がログイン中の仮想空間サーバのサーバアドレスを取得する副端末通信手段と、
　副端末から取得したサーバアドレスに係る仮想空間サーバへログインするサーバアクセス手段と
を有し、
　副端末は、主端末からの要求に応じて、端末識別子及びサーバアドレスを応答する
ことを特徴とするシステムが提供される。
　本願の第１の発明によれば、現実空間で視認可能な位置に存在する複数の副端末と通信可能な主端末における仮想空間サーバ接続方法であって、
　主端末は、
　副端末それぞれから、端末識別子を取得する第１のステップと、
　オペレータ操作によって、いずれかの副端末を選択する第２のステップと、
　選択された副端末から、当該副端末がログイン中の仮想空間サーバのサーバアドレスを取得する第３のステップと、
　副端末から取得したサーバアドレスに係る仮想空間サーバへログインする第４のステップと
を実行することを特徴とする仮想空間サーバ接続方法が提供される。
＜第２の発明＞
　本願の第２の発明は、カメラに映り込む現実空間でユーザによって選択された副端末を特定する主端末、プログラム、システム及び方法に関する。
　本願の第２の発明によれば、カメラ及び姿勢センサを搭載しており、当該現実空間で視認可能な位置に存在する複数の副端末と通信可能な主端末であって、
　副端末それぞれから、端末識別子を取得する副端末検出手段と、
　所定時間毎に、副端末それぞれから、副端末座標系Ｈにおける副端末姿勢ＴH2を受信する副端末姿勢受信手段と、
　カメラによって撮影された映像から、現実空間の複数の副端末を認識する物体認識手段と、
　所定時間毎に、カメラによって撮影された映像から、副端末それぞれについて、主端末の姿勢センサに係る主端末座標系Ａにおける副端末姿勢ＴA2を検出する物体姿勢検出手段と、
　所定時間毎に、副端末それぞれについて、副端末座標系Ｈにおける副端末姿勢ＴH2の変位ΔＴH2と、主端末座標系Ａにおける副端末姿勢ＴA2の変位ΔＴA2とを検出する姿勢変位検出手段と、
　副端末それぞれについて、副端末座標系Ｈにおける副端末姿勢ＴH2の変位ΔＴH2と最も近い変位となる主端末座標系Ａにおける副端末姿勢ＴA2の変位ΔＴA2の副端末を特定し、当該副端末の端末識別子を、映像から認識された副端末に対応付ける副端末特定手段と
を有する主端末が提供される。
　本願の第２の発明における他の実施形態によれば、主端末は、
　カメラによって撮影された映像に映り込む現実空間の複数の副端末の中で、１つの副端末のオブジェクトをオペレータ操作によって選択させ、当該副端末の端末識別子を特定する副端末選択手段と、
　特定された端末識別子に対応する副端末と通信する副端末通信手段と
を更に有することも好ましい。
　本願の第２の発明における他の実施形態によれば、
　副端末通信手段は、副端末から、当該副端末がログイン中の仮想空間サーバのサーバアドレスを取得し、
　主端末は、副端末から取得したサーバアドレスに係る仮想空間サーバへログインするサーバアクセス手段を更に有し、副端末と同一の仮想空間へ参入する
ことも好ましい。
　本願の第２の発明における他の実施形態によれば、
　サーバアクセス手段は、
　外部に配置された仮想空間サーバへ、ネットワークを介してログインするか、又は、
　副端末に搭載された仮想空間サーバへ、狭域通信を介してログインする
ことも好ましい。
　本願の第２の発明における他の実施形態によれば、
　副端末は、姿勢センサを有し、
　主端末座標系Ａは、主端末の座標系であり、
　主端末座標系Ａにおける副端末姿勢ＴA2は、映像に映り込む副端末におけるユーザにとっての前面に対する傾きベクトルから導出されたものであり、
　副端末座標系Ｈは、副端末の座標系であり、
　副端末座標系Ｈにおける副端末姿勢ＴH2は、当該副端末の姿勢センサによって検知されたものである
ことも好ましい。
　本願の第２の発明における他の実施形態によれば、主端末座標系Ａにおける副端末姿勢ＴA2について、映像に映り込む副端末におけるユーザにとっての前面は、副端末に配置された所定マーカの位置に基づいて特定されることも好ましい。
　本願の第２の発明における他の実施形態によれば、
　副端末姿勢受信手段は、当該副端末座標系Ｈでの位置ｖ及び傾きｒを受信し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、副端末座標系Ｈにおける副端末姿勢ＴH2とし、
　物体姿勢検出手段は、カメラによって撮影された映像から、副端末それぞれについて、主端末座標系Ａでの位置ｖ及び傾きｒを検出し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、主端末座標系Ａにおける副端末姿勢ＴA2とする
ことも好ましい。
　本願の第２の発明における他の実施形態によれば、
　主端末は、ディスプレイを搭載した眼鏡型、コンタクトレンズ型、又は、ヘッドマウント型の端末であり、シースルーによって、又は、カメラによって撮影された映像を表示するディスプレイによって、現実空間に存在する複数の副端末をオペレータに視認させる
ことも好ましい。
　本願の第２の発明によれば、カメラ及び姿勢センサを搭載した主端末であって、当該現実空間で視認可能な位置に存在する複数の副端末と通信可能な主端末に搭載されたコンピュータによって実行されるプログラムを記録した、コンピュータ読み取り可能な非一過性の記録媒体であって、前記プログラムは、
　副端末それぞれから、端末識別子を取得する副端末検出手段と、
　所定時間毎に、副端末それぞれから、副端末座標系Ｈにおける副端末姿勢ＴH2を受信する副端末姿勢受信手段と、
　カメラによって撮影された映像から、現実空間の複数の副端末を認識する物体認識手段と、
　所定時間毎に、カメラによって撮影された映像から、副端末それぞれについて、主端末の姿勢センサに係る主端末座標系Ａにおける副端末姿勢ＴA2を検出する物体姿勢検出手段と、
　所定時間毎に、副端末それぞれについて、副端末座標系Ｈにおける副端末姿勢ＴH2の変位ΔＴH2と、主端末座標系Ａにおける副端末姿勢ＴA2の変位ΔＴA2とを検出する姿勢変位検出手段と、
　副端末それぞれについて、副端末座標系Ｈにおける副端末姿勢ＴH2の変位ΔＴH2と最も近い変位となる主端末座標系Ａにおける副端末姿勢ＴA2の変位ΔＴA2の副端末を特定し、当該副端末の端末識別子を、映像から認識された副端末に対応付ける副端末特定手段と
してコンピュータを機能させることを特徴とする記録媒体が提供される。
　本願の第２の発明によれば、カメラ及び姿勢センサを搭載した主端末と、当該主端末からみて現実空間で視認可能な位置に存在する複数の副端末とを有するシステムであって、
　主端末は、
　副端末それぞれから、端末識別子を取得する副端末検出手段と、
　所定時間毎に、副端末それぞれから、副端末座標系Ｈにおける副端末姿勢ＴH2を受信する副端末姿勢受信手段と、
　カメラによって撮影された映像から、現実空間の複数の副端末を認識する物体認識手段と、
　所定時間毎に、カメラによって撮影された映像から、副端末それぞれについて、主端末の姿勢センサに係る主端末座標系Ａにおける副端末姿勢ＴA2を検出する物体姿勢検出手段と、
　所定時間毎に、副端末それぞれについて、副端末座標系Ｈにおける副端末姿勢ＴH2の変位ΔＴH2と、主端末座標系Ａにおける副端末姿勢ＴA2の変位ΔＴA2とを検出する姿勢変位検出手段と、
　副端末それぞれについて、副端末座標系Ｈにおける副端末姿勢ＴH2の変位ΔＴH2と最も近い変位となる主端末座標系Ａにおける副端末姿勢ＴA2の変位ΔＴA2の副端末を特定し、当該副端末の端末識別子を、映像から認識された副端末に対応付ける副端末特定手段と
を有し、
　副端末は、
　主端末からの要求に応じて、端末識別子を応答する副端末識別子応答手段と、
　所定時間毎に、当該副端末座標系Ｈにおける副端末姿勢ＴH2を送信する副端末姿勢送信手段と
を有することを特徴とするシステムが提供される。
　本願の第２の発明によれば、カメラ及び姿勢センサを搭載した主端末であって、当該現実空間で視認可能な位置に存在する複数の副端末と通信可能な主端末における副端末特定方法であって、
　主端末は、
　副端末それぞれから、端末識別子を取得する第１のステップと、
　所定時間毎に、副端末それぞれから、副端末座標系Ｈにおける副端末姿勢ＴH2を受信する第２のステップと、
　カメラによって撮影された映像から、現実空間の複数の副端末を認識する第３のステップと、
　所定時間毎に、カメラによって撮影された映像から、副端末それぞれについて、主端末の姿勢センサに係る主端末座標系Ａにおける副端末姿勢ＴA2を検出する第４のステップと、
　所定時間毎に、副端末それぞれについて、副端末座標系Ｈにおける副端末姿勢ＴH2の変位ΔＴH2と、主端末座標系Ａにおける副端末姿勢ＴA2の変位ΔＴA2とを検出する第５のステップと、
　副端末それぞれについて、副端末座標系Ｈにおける副端末姿勢ＴH2の変位ΔＴH2と最も近い変位となる主端末座標系Ａにおける副端末姿勢ＴA2の変位ΔＴA2の副端末を特定し、当該副端末の端末識別子を、映像から認識された副端末に対応付ける第６のステップと
を実行することを特徴とする副端末特定方法が提供される。
　本願の第１の発明における主端末、プログラム、システム及び方法によれば、現実空間で視認可能な位置に存在する副端末と同一の仮想空間へ参入することができる。また、本願の第２の発明における主端末、プログラム、システム及び方法によれば、現実空間で視認可能な位置に存在する副端末を選択でき、その副端末と通信することができる。
オペレータが視認可能な現実空間に複数の副端末が存在するシステム構成図である。 本発明におけるシステム構成図である。 第１の発明における主端末の機能構成図である。 第１の発明における主端末の処理フローを表す説明図である。 第２の発明におけるシステム構成図である。 第２の発明における主端末の機能構成図である。 第２の発明における主端末のフローチャートである。 第２の発明における主端末座標系と副端末座標系との関係を表す説明図である。 第２の発明における現実空間と仮想空間との関係を表す説明図である。
　以下では、図面を用いて、本発明を実施するための形態について詳細に説明する。
　図２は、本発明におけるシステム構成図である。
　従来、仮想空間サーバは一般的に、遠隔地に滞在する複数のユーザ同士を、同じ仮想空間に存在できるようにするものである。これに対し、本発明においては、オペレータが所持する主端末１と、ユーザが所持する副端末２とは、互いに、現実空間で視認可能な位置に存在している。即ち、本発明は特に、現実空間において端末同士が互いに近い距離にある場合に適用される。
　主端末１は、例えば眼鏡型のＡＲ(Augmented Reality)端末であり、シースルーディスプレイに仮想空間のＣＧを表示することができる。オペレータは、主端末１を装着し、シースルーディスプレイを通して複数のユーザａ～ｃを視認することができる。一方で、副端末２は、例えばＨＭＤ(Head Mount Display)端末であり、仮想空間サーバ３へアクセスすることができる。ユーザａ～ｃは、ＨＭＤを装着し、仮想空間を体験しているとする。
　図２によれば、主端末１はＡＲ端末であるが、ＭＲ(Mixed Reality)端末であってもよいし、これらに限られるものではない。主端末１は、コンタクトレンズ型であってもよいし、カメラ付きで外界の映像も再生するＨＭＤ端末であってもよい。オペレータは、シースルーによって、又は、カメラによって撮影された映像を表示するディスプレイによって、現実空間に存在する複数の副端末２を視認することができる。一方で、副端末２もＨＭＤ端末であるとしているが、勿論、ＡＲ端末又はＭＲ端末であってよいし、これに限られるものでもない。主端末１及び副端末２は、例えばスマートフォンのような、カメラとディスプレイとを搭載した端末であってもよいし、タブレットやパーソナルコンピュータであってもよい。
　図２によれば、主端末１は、狭域通信によって、複数の副端末２と通信する。「狭域通信」としては、無線であってもよいし、又は、有線であってもよい。特に、例えばBluetooth（登録商標）やZigbee（登録商標）のような近距離無線通信や、無線ＬＡＮのような狭域無線ネットワークであることが好ましい。例えばBluetoothの場合、特に電波の到達範囲が狭いＢＬＥ(Bluetooth Low Energy)が適する。ＢＬＥは、低消費電力版Bluetoothとして１／３程度の電力で動作するために、主端末１及び副端末２の電力消費を低く抑えることができる。例えば副端末２は、タグデバイスとして広報パケット(Advertising Packet)を常時発信する。広報パケットは、例えば100msの間隔で、周期的に送信される。ＢＬＥ規格によれば、副端末２を「advertiser」として機能させ、広報パケットには、端末ＩＤとして「ビーコンＩＤ」が含められる。
　図２によれば、主端末１も、仮想空間サーバ３にアクセスすることができる。仮想空間サーバ３は、その配置される場所について、例えば以下の３つのパターンに分類される。
　（１）外部ネットワーク（インターネット）に配置された仮想空間サーバ(Dedicated Server)
　（２）ローカルに配置された仮想空間サーバ(Dedicated Server)
　（３）副端末に搭載された仮想空間サーバ(Listen Server)
　ここで、仮想空間サーバ３がインターネットに配置されている場合、主端末１は、広域通信によってインターネットに接続する。そのインタフェースとなる広域通信も、無線であってもよいし、又は、有線であってもよい。一方で、仮想空間サーバ３がローカルや副端末自体に配置されている場合、主端末１は、狭域通信を介して通信することができる。
　図２によれば、副端末２はそれぞれ、自らの端末ＩＤを用いて主端末１と通信する。また、本発明の特徴として、副端末２は、主端末１からの要求に応じて、ユーザが体験中の仮想空間サーバ３のアドレスを、主端末１へ応答することができる。
＜第１の発明＞
　本願の第１の発明としての主端末、プログラム、システム及び方法によれば、主端末からみて現実空間で視認可能な位置に存在する副端末と同一の仮想空間へ参入することができる。
　図３は、第１の発明における主端末の機能構成図である。
　図４は、第１の発明における主端末の処理フローを表す説明図である。
　図３によれば、主端末１は、ハードウェアとして少なくとも、ディスプレイ１０１と、狭域通信部１０２とを有する。アクセスすべき仮想空間サーバ３の場所によっては、広域通信部１０３も必要とする。図３によれば、主端末１は、副端末検出部１１と、副端末選択部１２と、副端末通信部１３と、サーバアクセス部１４とを有する。これらの機能構成部は、主端末１に搭載されたプロセッサ・メモリ（メモリ機能を備えた演算処理系）に保存された本発明によるプログラムの一実施形態を実行することによって具現する機能と捉えることができる。また、図３における主端末１の機能構成部間を矢印で接続して示した処理の流れは、本発明による仮想空間参入方法の一実施形態としても理解される。
［副端末検出部１１］
　副端末検出部１１は、副端末２それぞれから、端末ＩＤを取得する。端末ＩＤとしては、例えばビーコンＩＤやＩＰアドレス、ＭＡＣ(Media Access Control)アドレスであってもよい。例えば狭域通信がＢＬＥである場合、副端末２は定期的に端末ＩＤを発信しており、主端末１の副端末検出部１１は、その端末ＩＤを受信することができる。例えば狭域通信が無線ＬＡＮである場合、主端末１の副端末検出部１１は、マルチキャストで問い合わせ要求を配信することによって、副端末２から端末ＩＤを受信することができる。取得された端末ＩＤは、副端末選択部１２へ出力される。
［副端末選択部１２］
　副端末選択部１２は、オペレータの操作によって、いずれかの副端末２を選択する。選択された副端末２の端末ＩＤは、副端末通信部１３へ出力される。
　副端末選択部１２は、例えば周辺から取得した複数の端末ＩＤを、ディスプレイ１０１に表示し、オペレータに選択させるものであってもよい。各端末ＩＤに、予め設定されたユーザ識別名を対応付けてディスプレイ１０１に表示することによって、オペレータが選択しやすくしたものであってもよい。図４によれば、複数の副端末２から取得したビーコンＩＤが表示されており、オペレータ自ら選択することができる。尚、副端末２の選択機能については、本願の第２の発明を用いることによって、オペレータから視認するカメラの映像のオブジェクトと、取得した端末ＩＤとを対応付けることができる。
［副端末通信部１３］
　副端末通信部１３は、副端末選択部１２によって選択された副端末２から、当該副端末２がログイン中の仮想空間サーバ３のサーバアドレスを取得する。取得されたサーバアドレスは、サーバアクセス部１４へ出力される。
　例えば主端末１が、サーバアドレス要求を副端末２へ送信する。これに対し、副端末２は、アクセス中の仮想空間サーバ３のサーバアドレスを、主端末１へ返信する。サーバアドレスには、ＵＲＬ(Uniform Resource Locator)や、ＩＰアドレス、ポート番号、その他の仮想空間サーバにアクセスするために必要な情報が該当する。
［サーバアクセス部１４］
　サーバアクセス部１４は、副端末通信部１３によって副端末２から取得されたサーバアドレスに係る仮想空間サーバ３へログインする。
　これによって、本願の第１の発明として、主端末からみて現実空間で視認可能な位置に存在する副端末と同一の仮想空間へ参入することができる。
＜第２の発明＞
　本願の第２の発明としての主端末、プログラム、システム及び方法は、主端末からみて現実空間で視認可能な位置に存在する副端末を選択でき、その副端末と通信することができる。
　図５は、第２の発明におけるシステム構成図である。
　図５によれば、主端末１は、図２と比較して、カメラ１０４を更に有する。
［カメラ１０４］
　カメラ１０４は、一般的な２Ｄカメラであってもよいし、３Ｄカメラであってもよい。例えば、レーザーを利用するＬＩＤＡＲ(light detection and ranging)であってもよい。尚、カメラに代えて、ＵＷＢ(Ultra Wide Band)センサであってもよい。
　また、図５によれば、主端末１及び副端末２はそれぞれ、図２に示した構成に加えて、姿勢センサ１０５及び２０５を更に有する。
［姿勢センサ１０５及び２０５］
　姿勢センサ１０５及び２０５は、起動中は常時、自らの姿勢(変換行列，Transform)となる「位置ｖ」及び「傾きｒ」を検知するものである。
　図５によれば、以下のような姿勢が表されている。
　　　ＴA1：主端末座標系Ａにおける主端末姿勢
　　　ＴH2：副端末座標系Ｈにおける副端末姿勢
　尚、主端末座標系Ａは、機器起動時に設定される基準座標系とする。同様に、副端末座標系Ｈも、機器起動時に設定される基準座標系とする。
　姿勢センサ１０５及び２０５は、「傾きｒ」を検知するために、ＩＭＵ(Inertial Measurement Unit)を搭載している。これは、一般的なスマートフォンなどに搭載されたものと同じものである。また、姿勢センサ１０５及び２０５は、「位置ｖ」を検知するために、例えばSteamVR（登録商標）のLighthouse（登録商標）のような、ヘッドマウントディスプレイに搭載されたトラッキングデバイスを搭載する（例えば非特許文献１参照）。これは、現実空間に設置されたアンカー（ベースステーション）と通信することによって、所定範囲内における主端末１及び副端末２の位置ｖを追跡することができる。又は、姿勢センサ１０５及び２０５は、前述したＩＭＵやカメラを搭載することによって、ＳＬＡＭ(Simultaneous Localization And Mapping)を用いて、自己位置ｖ及び傾きｒを同時に追跡することができる（例えば非特許文献５参照）。
　本発明に係る「姿勢」として、現実空間（３次元空間）における「位置ｖ」（３×１行列）と、傾きｒ（３×１行列）から算出された「回転行列Ｒ」（３×３行列）とから、以下のように「姿勢Ｔ」（４×４行列）を定義する（例えば非特許文献２参照）。
Figure JPOXMLDOC01-appb-M000001
 　これによって、位置ｖ及び傾きｒから姿勢Ｔを導出することができると共に、逆に、姿勢Ｔから位置ｖ及び傾きｒを導出することもできる。
　図６は、第２の発明における主端末の機能構成図である。
　図７は、第２の発明における主端末のフローチャートである。
　図６によれば、主端末１は、図２に示された構成に加えて、副端末姿勢受信部１１１と、物体認識部１１２と、物体姿勢検出部１１３と、姿勢変位検出部１１４と、副端末特定部１１５とを更に有する。これらの機能構成部は、主端末１に搭載されたプロセッサ・メモリ（メモリ機能を備えた演算処理系）に保存された本発明によるプログラムの一実施形態を実行することによって具現する機能と捉えることができる。また、図６における主端末１の機能構成部間を矢印で接続して示した処理の流れは、本発明による端末特定方法の一実施形態としても理解される。
［副端末姿勢受信部１１１］
　副端末姿勢受信部１１１は、所定時間（Δt）の経過毎に、副端末検出部１１によって既に検出された副端末２それぞれから、副端末座標系Ｈにおける副端末姿勢ＴH2（位置ｖ及び傾きｒ）を受信する。副端末座標系Ｈにおける副端末姿勢ＴH2は、副端末２の姿勢センサ２０５によって検知されたものである。
　　　ＴH2：副端末座標系Ｈにおける副端末姿勢
　副端末２それぞれにおける所定時間毎の副端末座標系Ｈにおける副端末姿勢ＴH2は、姿勢変位検出部１１４へ出力される。
［物体認識部１１２］
　物体認識部１１２は、カメラ１０４によって撮影された映像から、現実空間の複数の副端末２を、オブジェクトとして認識する。
　副端末２は、現実空間では同一物体であっても、視点によって多様な形状で映像に映り込む。そのように形状が変化しても、同一物体として検出できるようにロバストな特徴抽出技術が用いられる。例えば副端末２の外観（例えばＨＭＤ端末の外観）を予め学習した物体認識エンジンを用いて、副端末２のオブジェクトを認識するものであってもよい。一般的には、例えばＳＩＦＴ(Scale-Invariant Feature Transform)や深層ニューラルネットワークのクラス分類技術がある。このような特徴抽出技術は、２Ｄ画像に対しても、３Ｄ画像（又はポイントクラウド）に対しても適用可能となる。最も簡易な２Ｄ画像のケースとして、物体認識部１１２は、例えば副端末２自体に貼り付けられたマーカを認識するものであってもよい。マーカは、例えば２次元的なＱＲコード（登録商標）であってもよい。
［物体姿勢検出部１１３］
　物体姿勢検出部１１３は、所定時間（Δt）の経過毎に、副端末２（のオブジェクト）それぞれについて、主端末１の姿勢センサ１０５に係る主端末座標系Ａにおける副端末姿勢ＴA2を検出する。
　　　ＴA2：主端末座標系Ａにおける副端末姿勢
　物体姿勢検出部１１３は、カメラによって撮影された映像から、物体認識部１１２によって認識された副端末２のオブジェクトそれぞれについて、主端末座標系Ａでの位置ｖ及び傾きｒを検出する。そして、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、主端末座標系Ａにおける副端末姿勢ＴA2として検出する。前述した図５によれば、主端末座標系Ａにおける副端末姿勢ＴA2は、映像に映り込む副端末２（ＨＭＤ端末）を装着したユーザにとっての前面（ユーザが向いている前面）に対する位置ｖ及び傾きｒから導出されたものである。ユーザにとっての前面は、副端末２に配置された所定マーカの位置に基づいて特定される。
　カメラ１０４によって撮影された２Ｄ画像に、物体（例えばマーカ）が映り込む場合、そのオブジェクトは、カメラの向きに応じて異なる角度から映る。映像に映り込むオブジェクトの画像の形状から、その姿勢（位置ｖ及び傾きｒ）を検出することができる（例えば非特許文献３参照）。具体的には、マーカの中心位置を示す位置ベクトルと、ｘ軸及びｙ軸がマーカの辺に平行で、z軸がそれらに垂直になるような回転軸ベクトルが検出される。
　回転軸ベクトルとは、ロドリゲスの回転公式に従って、物体を任意の傾きにするべく回転させる際の軸方向を「向き」とし、回転角度を「ノルム」として表すベクトルのことである。具体的には、OpenCV（登録商標）のarucoというマーカ検出機能を用いて、その姿勢（位置ｖ及び傾きｒ）を検出してもよい（例えば非特許文献４参照）。
　尚、主端末座標系Ａにおける副端末姿勢ＴA2は、物体検知場所（例えばマーカ設置位置）に大きな影響を受けるので、姿勢補正行列によって補正されたものであることが好ましい。
　　　ＴA2＝ＴA1Ｔ1sＴS2Ｔc
　　　　　　ＴA1：主端末座標系Ａにおける主端末姿勢
　　　　　　Ｔ1s：主端末姿勢座標系におけるカメラ（センサ）座標系の姿勢
　　　　　　ＴS2：カメラ（センサ）座標系における映像認識された副端末の姿勢
　　　　　　Ｔc：姿勢補正行列
　ここで、主端末姿勢座標系とは、主端末座標系Ａにおける主端末姿勢を基準とする座標系である。このように実際には、副端末姿勢に対しセンサ座標系から主端末座標系への変換処理が必要となる。
［姿勢変位検出部１１４］
　姿勢変位検出部１１４は、所定時間（Δt）の経過毎に、副端末姿勢受信部１１１から、副端末それぞれについて、副端末座標系Ｈにおける副端末姿勢ＴH2を入力すると共に、物体姿勢検出部１１３から主端末座標系Ａにおける副端末姿勢ＴA2を入力する。
　（時刻t）
　　　副端末２１の副端末座標系Ｈにおける副端末姿勢ＴH21(t)
　　　副端末２２の副端末座標系Ｈにおける副端末姿勢ＴH22(t)
　　　副端末２３の副端末座標系Ｈにおける副端末姿勢ＴH23(t)
　　　映像認識されたオブジェクトａの主端末座標系Ａにおける副端末姿勢ＴA2a(t)
　　　映像認識されたオブジェクトｂの主端末座標系Ａにおける副端末姿勢ＴA2b(t)
　　　映像認識されたオブジェクトｃの主端末座標系Ａにおける副端末姿勢ＴA2c(t)
　（時刻t+Δt）
　　　副端末２１の副端末座標系Ｈにおける副端末姿勢ＴH21(t+Δt)
　　　副端末２２の副端末座標系Ｈにおける副端末姿勢ＴH22(t+Δt)
　　　副端末２３の副端末座標系Ｈにおける副端末姿勢ＴH23(t+Δt)
　　　映像認識されたオブジェクトａの主端末座標系Ａにおける副端末姿勢ＴA2a(t+Δt)
　　　映像認識されたオブジェクトｂの主端末座標系Ａにおける副端末姿勢ＴA2b(t+Δt)
　　　映像認識されたオブジェクトｃの主端末座標系Ａにおける副端末姿勢ＴA2c(t+Δt)
　そして、姿勢変位検出部１１４は、副端末座標系Ｈにおける副端末姿勢ＴH2の変位ΔＴH2と、主端末座標系Ａにおける副端末姿勢ＴA2の変位ΔＴA2とを検出する。
　　　副端末２１の副端末座標系Ｈにおける副端末姿勢ＴH21の変位：
　　　　　　　ΔＴH21＝（ＴH21(t)）-1ＴH21(t+Δt)
　　　副端末２２の副端末座標系Ｈにおける副端末姿勢ＴH22の変位：
　　　　　　　ΔＴH22＝（ＴH22(t)）-1ＴH22(t+Δt)
　　　副端末２３の副端末座標系Ｈにおける副端末姿勢ＴH23の変位：
　　　　　　　ΔＴH23＝（ＴH23(t)）-1ＴH23(t+Δt)
　　　映像認識されたオブジェクトａの主端末座標系Ａにおける副端末姿勢ＴA2aの変位：
　　　　　　　ΔＴA2a＝（ＴA2a(t)）-1ＴA2a(t+Δt)
　　　映像認識されたオブジェクトｂの主端末座標系Ａにおける副端末姿勢ＴA2bの変位：
　　　　　　　ΔＴA2b＝（ＴA2b(t)）-1ＴA2b(t+Δt)
　　　映像認識されたオブジェクトｃの主端末座標系Ａにおける副端末姿勢ＴA2cの変位：
　　　　　　　ΔＴA2c＝（ＴA2c(t)）-1ＴA2c(t+Δt)
　図８は、第２の発明における主端末座標系と副端末座標系との関係を表す説明図である。図９は、第２の発明における現実空間と仮想空間との関係を表す説明図である。
　図８によれば、１つの物体としての副端末であっても、基準とする座標系が異なれば、姿勢も異なる。また、副端末座標系Ｈも、異なる主端末座標系Ａを基準とすることによって異なる姿勢を持つ。
　　　ＴA1：主端末座標系Ａにおける主端末姿勢
　　　ＴA2：主端末座標系Ａにおける副端末姿勢
　　　ＴH2：副端末座標系Ｈにおける副端末姿勢
　　　ＴAH：主端末座標系Ａに対する副端末座標系Ｈの相対姿勢
　　　ＴHA：副端末座標系Ｈに対する主端末座標系Ａの相対姿勢
　主端末座標系Ａにおける主端末姿勢ＴA1は、主端末１に搭載された姿勢センサ１０５によって検知されたものである。副端末座標系Ｈにおける副端末姿勢ＴH2も、副端末２に搭載された姿勢センサ２０５によって検知されたものである。主端末１は、副端末２から、その副端末座標系Ｈにおける副端末姿勢ＴH2を受信する。主端末座標系Ａにおける副端末姿勢ＴA2は、主端末１のカメラ１０４によって撮影された映像に映り込むオブジェクトから、物体姿勢検出部１１４によって検出されたものである。
　現実空間における相対姿勢は、主端末座標系Ａにおける副端末姿勢ＴA2と、副端末座標系Ｈにおける副端末姿勢ＴH2とから算出した、例えば主端末座標系Ａに対する副端末座標系Ｈの相対姿勢ＴAHとすることができる。これは、以下のように算出される。
　　　ＴAH＝ＴA2ＴH2 -1
　　　ＴA2：主端末座標系Ａにおける副端末姿勢
　　　ＴH2 -1：副端末座標系Ｈにおける副端末姿勢ＴH2の逆行列
　図９によれば、現実空間と仮想空間との関係として、主端末座標系Ａに対する副端末座標系Ｈの相対姿勢ＴAHと、副端末座標系Ｈに対する主端末座標系Ａの相対姿勢ＴHAとは、互いに相手の逆行列（逆変換）となるようにすることができる。
　　　ＴAH：主端末座標系Ａに対する副端末座標系Ｈの相対姿勢
　　　ＴHA：副端末座標系Ｈに対する主端末座標系Ａの相対姿勢
　　　ＴAH＝ＴHA -1
［副端末特定部１１５］
　副端末特定部１１５は、副端末それぞれについて、副端末座標系Ｈにおける副端末姿勢ＴH2の変位ΔＴH2と最も近い変位となる主端末座標系Ａにおける副端末姿勢変位ΔＴA2に係る副端末を特定し、当該副端末の端末識別子を、映像から認識された副端末に対応付ける。
　　（副端末の端末ＩＤ）　　（映像認識されたオブジェクト）
　　　副端末２１　　　　　<->　　副端末ａ
　　　副端末２２　　　　　<->　　副端末ｃ
　　　副端末２３　　　　　<->　　副端末ｂ
　副端末特定部１１５は、変位が最小となる副端末同士を対応付けるために、各ΔＴAと各ΔＴHにおける各要素の差の絶対値の和である「行列ノルム」を用いてもよい。他の方法としては、各ΔＴAから抽出した位置ｖ又は傾きｒと、各ΔＴHから抽出した位置ｖ又は傾きｒにおいて、ベクトル差を求め、その大きさである「ベクトルノルム」を用いてもよいし、各ΔＴAから抽出した傾きrと各ΔＴHから抽出した傾きrから回転軸ベクトルを算出し、そのノルムを用いてもよい。これらのノルムが閾値以下であって且つ最も小さい副端末同士を対応付ける。
（副端末選択部１２）
　前述した図６における副端末選択部１２は、カメラ１０４によって撮影された映像に映り込む現実空間の複数の副端末の中で、１つの副端末のオブジェクトをオペレータに選択させる（選択操作を行わせる）。
　図７によれば、副端末選択部１２は、カメラ１０４にオペレータの指が映り込んだ場合に、その指が指し示したオブジェクトを特定して、映像上の副端末２を選択することができる（例えば非特許文献６及び７参照）。具体的には、副端末２と認識された映像内のオブジェクトと、指と認識された映像内のオブジェクトとのコリジョンを判定する。
　これによって、本願の第２の発明として、主端末からみて現実空間で視認可能な位置に存在する副端末を選択でき、その副端末と通信することができる。
　以上、詳細に説明したように、本願の第１の発明として、主端末からみて現実空間で視認可能な位置に存在する副端末と同一の仮想空間へ参入することができる。また、本願の第２の発明として、主端末からみて現実空間で視認可能な位置に存在する副端末を選択でき、その副端末と通信することができる。
　以上に述べた実施形態は全て、本発明を例示的に示すものであって限定的に示すものではなく、本発明は、他の種々の変形態様及び変更態様で実施することができる。従って、本発明の範囲は、特許請求の範囲及びその均等範囲によってのみ規定されるものである。
　１　主端末
　１０１　ディスプレイ
　１０２　狭域通信部
　１０３　広域通信部
　１０４　カメラ
　１０５　姿勢センサ
　１１　副端末検出部
　１２　副端末選択部
　１３　副端末通信部
　１４　サーバアクセス部
　１１１　副端末姿勢受信部
　１１２　物体認識部
　１１３　物体姿勢検出部
　１１４　姿勢変位検出部
　１１５　副端末特定部
　２　副端末
　３　仮想空間サーバ

 

Claims (9)

  1. 　現実空間で視認可能な位置に存在する複数の副端末と通信可能な主端末であって、
    　副端末それぞれから、端末識別子を取得する副端末検出手段と、
    　オペレータ操作によって、いずれかの副端末を選択する副端末選択手段と、
    　選択された副端末から、当該副端末がログイン中の仮想空間サーバのサーバアドレスを取得する副端末通信手段と、
    　副端末から取得したサーバアドレスに係る仮想空間サーバへログインするサーバアクセス手段と
    を有し、副端末と同一の仮想空間へ参入することを特徴とする主端末。
  2. 　サーバアクセス手段は、
    　広域通信を介して外部ネットワークに配置された仮想空間サーバへ、
    　狭域通信を介してローカルに配置された仮想空間サーバへ、又は、
    　狭域通信を介して副端末に搭載された仮想空間サーバへ
    アクセスすることを特徴とする請求項１に記載の主端末。
  3. 　主端末は、カメラと姿勢センサとを備え、
    　主端末は、さらに、
    　副端末検出手段によって端末識別子が取得された副端末それぞれから、所定時間毎に、副端末座標系Ｈにおける副端末姿勢ＴH2を受信する副端末姿勢受信手段と、
    　カメラによって撮影された映像から、現実空間の複数の副端末を認識する物体認識手段と、
    　所定時間毎に、カメラによって撮影された映像から、副端末それぞれについて、主端末の姿勢センサに係る主端末座標系Ａにおける副端末姿勢ＴA2を検出する物体姿勢検出手段と、
    　所定時間毎に、副端末それぞれについて、副端末座標系Ｈにおける副端末姿勢ＴH2の変位ΔＴH2と、主端末座標系Ａにおける副端末姿勢ＴA2の変位ΔＴA2とを検出する姿勢変位検出手段と、
    　副端末それぞれについて、副端末座標系Ｈにおける副端末姿勢ＴH2の変位ΔＴH2と最も近い変位となる主端末座標系Ａにおける副端末姿勢ＴA2の変位ΔＴA2の副端末を特定し、当該副端末の端末識別子を、映像から認識された副端末に対応付ける副端末特定手段と
    を有し、
    　副端末選択手段は、カメラによって撮影された映像に映り込む現実空間の複数の副端末の中で、１つの副端末のオブジェクトをオペレータ操作によって選択させる
    ことを特徴とする請求項１に記載の主端末。
  4. 　副端末は、姿勢センサを有し、
    　主端末座標系Ａにおける副端末姿勢ＴA2は、映像に映り込む副端末におけるユーザにとっての前面に対する位置ｖ及び傾きｒから導出されたものであり、
    　副端末座標系Ｈにおける副端末姿勢ＴH2は、当該副端末の姿勢センサによって検知されたものである
    ことを特徴とする請求項３に記載の主端末。
  5. 　主端末座標系Ａにおける副端末姿勢ＴA2について、映像に映り込む副端末におけるユーザにとっての前面は、副端末に配置された所定マーカの位置に基づいて特定されることを特徴とする請求項４に記載の主端末。
  6. 　副端末姿勢受信手段は、当該副端末座標系Ｈでの位置ｖ及び傾きｒを受信し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、副端末座標系Ｈにおける副端末姿勢ＴH2とし、
    　物体姿勢検出手段は、カメラによって撮影された映像から、副端末それぞれについて、主端末座標系Ａでの位置ｖ及び傾きｒを検出し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、主端末座標系Ａにおける副端末姿勢ＴA2とする
    ことを特徴とする請求項３に記載の主端末。
  7. 　主端末は、ディスプレイを搭載した眼鏡型、コンタクトレンズ型、又は、ヘッドマウント型の端末であり、シースルーによって、又は、カメラによって撮影された映像を表示するディスプレイによって、現実空間に存在する複数の副端末をオペレータに視認させることを特徴とする請求項１に記載の主端末。
  8. 　現実空間で視認可能な位置に存在する複数の副端末と通信可能な主端末に搭載されたコンピュータによって実行されるプログラムを記録した、コンピュータ読み取り可能な非一過性の記録媒体であって、前記プログラムは、
    　副端末それぞれから、端末識別子を取得する副端末検出手段と、
    　オペレータ操作によって、いずれかの副端末を選択する副端末選択手段と、
    　選択された副端末から、当該副端末がログイン中の仮想空間サーバのサーバアドレスを取得する副端末通信手段と、
    　副端末から取得したサーバアドレスに係る仮想空間サーバへログインするサーバアクセス手段と
    してコンピュータを機能させることを特徴とする記録媒体。
  9. 　主端末と、当該主端末からみて現実空間で視認可能な位置に存在する複数の副端末とを有するシステムであって、
    　主端末は、
    　副端末それぞれから、端末識別子を取得する副端末検出手段と、
    　オペレータ操作によって、いずれかの副端末を選択する副端末選択手段と、
    　選択された副端末から、当該副端末がログイン中の仮想空間サーバのサーバアドレスを取得する副端末通信手段と、
    　副端末から取得したサーバアドレスに係る仮想空間サーバへログインするサーバアクセス手段と
    を有し、
    　副端末は、主端末からの要求に応じて、端末識別子及びサーバアドレスを応答する
    ことを特徴とするシステム。

     
PCT/JP2022/018851 2021-05-14 2022-04-26 副端末と同一の仮想空間へ参入する主端末、プログラム及びシステム WO2022239638A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/289,195 US20240220183A1 (en) 2021-05-14 2022-04-26 Main terminal for entering same virtual space as sub terminal, program, and system

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2021-082689 2021-05-14
JP2021082689A JP7015081B1 (ja) 2021-05-14 2021-05-14 副端末と同一の仮想空間へ参入する主端末、プログラム、システム及び方法
JP2022-004028 2022-01-14
JP2022004028A JP7266329B2 (ja) 2021-05-14 2022-01-14 現実空間で視認可能な位置に存在する副端末を特定する主端末、プログラム、システム及び方法

Publications (1)

Publication Number Publication Date
WO2022239638A1 true WO2022239638A1 (ja) 2022-11-17

Family

ID=84029581

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/018851 WO2022239638A1 (ja) 2021-05-14 2022-04-26 副端末と同一の仮想空間へ参入する主端末、プログラム及びシステム

Country Status (3)

Country Link
US (1) US20240220183A1 (ja)
JP (2) JP7266329B2 (ja)
WO (1) WO2022239638A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110216002A1 (en) * 2010-03-05 2011-09-08 Sony Computer Entertainment America Llc Calibration of Portable Devices in a Shared Virtual Space
JP2015192436A (ja) * 2014-03-28 2015-11-02 キヤノン株式会社 送信端末、受信端末、送受信システム、およびそのプログラム
WO2021053805A1 (ja) * 2019-09-20 2021-03-25 マクセル株式会社 情報端末装置および位置認識共有方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6993282B2 (ja) 2018-04-12 2022-01-13 Kddi株式会社 情報端末装置、プログラム及び方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110216002A1 (en) * 2010-03-05 2011-09-08 Sony Computer Entertainment America Llc Calibration of Portable Devices in a Shared Virtual Space
JP2015192436A (ja) * 2014-03-28 2015-11-02 キヤノン株式会社 送信端末、受信端末、送受信システム、およびそのプログラム
WO2021053805A1 (ja) * 2019-09-20 2021-03-25 マクセル株式会社 情報端末装置および位置認識共有方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NAOKAZU YOKOYA: "Mixed Reality: Merging Real and Virtual Worlds : V Examples of Augmented Reality", SYSTEMS, CONTROL AND INFORMATION, vol. 50, no. 8, 15 August 2006 (2006-08-15), pages 321 - 326, XP093003500, ISSN: 0916-1600, DOI: 10.11509/isciesci.50.8_321 *

Also Published As

Publication number Publication date
JP7266329B2 (ja) 2023-04-28
US20240220183A1 (en) 2024-07-04
JP2022176060A (ja) 2022-11-25
JP2023083378A (ja) 2023-06-15

Similar Documents

Publication Publication Date Title
US10726264B2 (en) Object-based localization
US11127210B2 (en) Touch and social cues as inputs into a computer
EP3340177B1 (en) Method and system for creating virtual message onto a moving object and searching the same
US10007349B2 (en) Multiple sensor gesture recognition
US20130174213A1 (en) Implicit sharing and privacy control through physical behaviors using sensor-rich devices
WO2014016986A1 (ja) ３次元環境共有システム及び３次元環境共有方法
CN105391970A (zh) 提供由车辆的场景相机捕获的至少一个图像的方法和***
CN104903775A (zh) 头戴式显示器及其控制方法
Irfan et al. Crowd analysis using visual and non-visual sensors, a survey
US10606886B2 (en) Method and system for remote management of virtual message for a moving object
CN112528699B (zh) 用于获得场景中的设备或其用户的标识信息的方法和***
WO2022239638A1 (ja) 副端末と同一の仮想空間へ参入する主端末、プログラム及びシステム
JP7015081B1 (ja) 副端末と同一の仮想空間へ参入する主端末、プログラム、システム及び方法
JP7285586B2 (ja) 副端末と同一の仮想空間へ主端末を参入させる方法、システム、主端末、副端末及びプログラム
WO2022239639A1 (ja) 現実空間における副端末との相対位置姿勢を仮想空間内で維持する主端末、プログラム及びシステム
JP2023056195A (ja) 副端末と同一の仮想空間へ参入する主端末、システム、プログラム及び方法
CN112581630B (zh) 一种用户交互方法和***
WO2023074852A1 (ja) 情報処理装置
TW202223749A (zh) 用於獲得場景中的設備或其使用者的標識資訊的方法和系統
Ching et al. Mobile indoor positioning using Wi-Fi localization and image processing
TOKARCHUK et al. Crowd Analysis using visual and non-visual sensors, a survey
CN117441343A (zh) 曝光和iso的动态调整的相关应用
KR20220162033A (ko) 덴탈 캐드 장치 및 그를 이용하는 제어방법
JP2024073077A (ja) 情報処理装置および情報処理方法
WO2022246382A1 (en) Bending estimation as a biometric signal

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22807340

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18289195

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22807340

Country of ref document: EP

Kind code of ref document: A1