WO2023238265A1 - 携帯情報端末、無線接続可能な外部デバイス、及びそれらに用いる情報処理方法 - Google Patents

携帯情報端末、無線接続可能な外部デバイス、及びそれらに用いる情報処理方法 Download PDF

Info

Publication number
WO2023238265A1
WO2023238265A1 PCT/JP2022/023036 JP2022023036W WO2023238265A1 WO 2023238265 A1 WO2023238265 A1 WO 2023238265A1 JP 2022023036 W JP2022023036 W JP 2022023036W WO 2023238265 A1 WO2023238265 A1 WO 2023238265A1
Authority
WO
WIPO (PCT)
Prior art keywords
external device
information terminal
communication function
uwb
video
Prior art date
Application number
PCT/JP2022/023036
Other languages
English (en)
French (fr)
Inventor
仁 秋山
保 伊藤
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to PCT/JP2022/023036 priority Critical patent/WO2023238265A1/ja
Publication of WO2023238265A1 publication Critical patent/WO2023238265A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces

Definitions

  • the present invention relates to a mobile information terminal that provides an external device selection support method for selecting an external device to which the mobile information terminal can wirelessly connect.
  • wireless communication based on the Bluetooth (registered trademark) standard is being applied not only to information terminals such as personal computers and smartphones but also to external devices such as speakers and earphones.
  • searching for a wirelessly connectable external device by broadcast communication is generally used.
  • a wirelessly connectable external device can be detected, it is difficult to accurately identify its location, that is, both its direction and distance.
  • UWB Ultra Wide Band
  • Patent Document 1 discloses that an external wireless terminal having a Bluetooth communication function adds location information of the external wireless terminal to device name information transmitted in a scan process and transmits the information.
  • Patent Document 1 requires processing for acquiring location information of the external wireless terminal on the external wireless terminal side, and the location information is based on GPS (Global Positioning System), so it cannot be applied in places where GPS radio waves cannot be received, such as indoors. There were other problems. Further, in Patent Document 1, an example is shown in which the relative position of an external wireless terminal is displayed on a screen, but it is difficult to determine whether the external wireless terminal displayed on the screen matches the actually existing external wireless terminal. It is necessary for the user to decide. Therefore, the operation of selecting the external wireless terminal to which the user wants to connect is not intuitive, and there is a risk that the user may select the external wireless terminal incorrectly.
  • GPS Global Positioning System
  • an object of the present invention is to grasp the positions of a plurality of external devices having a Bluetooth communication function, and to establish a connection based on the grasped position of the external device from among the plurality of external devices having a Bluetooth communication function. It is an object of the present invention to provide a mobile information terminal that can intuitively specify a desired external device, an external device that can be wirelessly connected, and an information processing method used therefor.
  • the present invention provides a mobile information terminal capable of wirelessly connecting to an external device, which includes a first communication function and a second communication function capable of wirelessly connecting to the external device, and a mobile information terminal capable of wirelessly connecting to an external device.
  • a camera that photographs the surroundings, a video processing unit that processes the video captured by the camera, a display that displays the video processed by the video processing unit, and first identification information of an external device used in the first communication function.
  • the video processing unit After calculating the position, the video processing unit generates a superimposed video in which the first identification information is superimposed on the calculated relative position of the external device in the video, and displays the superimposed video on the display.
  • external device identification information is superimposed and displayed on an external device image extracted from a photographed image, and the appearance of the external device and its identification information can be easily identified and matched. This allows the user to intuitively select the external device he or she wants to connect.
  • FIG. 1 is a schematic diagram for explaining an overview of the entire system in Example 1.
  • FIG. 3 is an external view of the HMD in Example 1.
  • FIG. 2 is a block diagram of the hardware configuration of the HMD in Example 1.
  • FIG. 2 is a functional configuration block diagram of an HMD in Example 1.
  • FIG. 7 is a flowchart of external device selection support processing in the first embodiment.
  • 5 is a flowchart of advertising scan processing of the HMD in Example 1.
  • FIG. 5 is a flowchart of UWB connection processing of the HMD in the first embodiment.
  • FIG. 2 is a block diagram of the main hardware configuration of an external device that conforms to the first embodiment.
  • 3 is a flowchart of advertising scan processing of an external device that conforms to the first embodiment.
  • FIG. 3 is a flowchart of UWB connection processing of an external device that conforms to the first embodiment.
  • 3 is an external device information table storing external device information in the first embodiment.
  • FIG. 3 is a schematic diagram for explaining the principle of calculating an external device position in Example 1.
  • FIG. 5 is a schematic diagram showing an example of displaying external device names in Example 1.
  • FIG. 7 is a schematic diagram showing a display example of external device names in Example 2.
  • FIG. 7 is a schematic diagram showing a display example of external device names in Example 2.
  • FIG. 7 is a schematic diagram showing a display example of external device names in Example 2.
  • FIG. 7 is a schematic diagram showing a display example of external device names in Example 2.
  • FIG. 7 is a schematic diagram showing a display example of external device names in Example 2.
  • FIG. 7 is a schematic diagram showing a display example of the position of an external device and the device name in Example 3.
  • FIG. 7 is a schematic diagram showing a display example of the position of an external device and the device name in Example 3.
  • FIG. 12 is a schematic diagram showing an example of displaying external device names in Example 4.
  • FIG. 12 is a schematic diagram showing an example of displaying external device names in Example 5.
  • FIG. 7 is a schematic diagram for explaining an overview of the entire system in Example 6.
  • FIG. FIG. 7 is an external view of a portable information terminal in Example 6.
  • 12 is a flowchart of external device selection support processing in Example 7.
  • 7 is an external device information table storing external device information in Example 7.
  • FIG. 1 is a schematic diagram for explaining an overview of the entire system in this embodiment.
  • a user 10 wears a glasses-shaped transparent HMD (Head Mounted Display) 1, which is a portable information terminal, and an external device capable of Bluetooth communication with the HMD 1 that the user 10 is wearing is within the field of view of the HMD 1. It shows how it is being searched to see if it exists. Although details of the search procedure will be described later, the HMD 1 searches whether the desktop PC 301 within its field of view is capable of Bluetooth communication as an external device. Furthermore, the HMD 1 is connected via an access point 15 to a network 17 to which a network server 16 is connected.
  • the network server 16 includes a network server that performs various calculation processes, a network server that stores various data, and the like, which the HMD 1 can utilize as needed.
  • FIG. 2 is an external view of the HMD in this example.
  • the HMD 1 has a display screen 75 at the left and right lens positions of the glasses, and a right camera 711 is arranged at the right end of the right lens position of the glasses, and a left camera 712 is arranged at the left end of the left lens of the glasses.
  • the HMD 1 can visually recognize the real space through the transmissive display screen 75. Further, on the display screen 75, an augmented reality (AR) object can be displayed. Therefore, the user 10 wearing the HMD 1 can simultaneously view both the augmented reality AR object displayed on the display screen 75 and the real space situation. Further, as for the speakers, a right speaker 821 and a left speaker 822 are arranged at a portion corresponding to the temple of the glasses.
  • AR augmented reality
  • the HMD 1 has a UWB communication function, and can measure a distance to a connected device that has a UWB communication function.
  • a right UWB antenna 641 is arranged at the lower right end of the HMD 1
  • a left UWB antenna 642 is arranged at the lower left end of the HMD 1
  • a center UWB antenna 643 is arranged at the center position of the HMD 1.
  • FIG. 3 is a block diagram of the hardware configuration of the HMD in this embodiment.
  • the HMD 1 includes a main control section 2, a system bus 3, a storage section 4, a sensor section 5, a communication processing section 6, a video processing section 7, an audio processing section 8, and an operation input section 9.
  • the main control unit 2 is a microprocessor unit that controls the entire HMD 1 according to a predetermined operating program.
  • the system bus 3 is a data communication path for transmitting and receiving various commands and data between the main control unit 2 and each component block within the HMD 1.
  • the storage unit 4 stores various data such as a program unit 41 that stores programs for controlling the operation of the HMD 1, etc., and library information downloaded from objects and libraries including operation setting values, detected values from the sensor unit, and contents. It is comprised of a rewritable program function section 43 such as a various data section 42 and a work area used for various program operations. Furthermore, the storage unit 4 can store operational programs downloaded from the network, various data created by the operational programs, and the like. Furthermore, content such as videos, still images, and audio downloaded from the network can also be stored. It is also possible to store data such as moving images and still images taken with the camera. Further, the storage unit 4 can store necessary information (setting values such as threshold values, image data, etc.) in advance.
  • a program unit 41 that stores programs for controlling the operation of the HMD 1, etc.
  • library information downloaded from objects and libraries including operation setting values, detected values from the sensor unit, and contents. It is comprised of a rewritable program function section 43 such as a various data section 42 and
  • the storage unit 4 needs to retain stored information even when the HMD 1 is powered off, and uses devices such as semiconductor element memories such as flash ROM and SSD (Solid State Drive), and magnetic disk drives. Note that each operating program stored in the storage unit 4 can be updated and functionally expanded by download processing from each server device on the network.
  • the sensor unit 5 is a group of various sensors for detecting the state of the HMD 1 and its surroundings.
  • the sensor unit 5 includes a GPS receiving unit 51, a geomagnetic sensor 52, an acceleration sensor 53, a gyro sensor 54, and a distance sensor 55. These sensor groups make it possible to detect the position, inclination, direction, movement, etc. of the HMD 1.
  • the HMD 1 may further include other sensors such as an illuminance sensor and an altitude sensor.
  • the communication processing unit 6 includes a LAN (Local Area Network) communication unit 61, a telephone network communication unit 62, a Bluetooth communication unit 63, and a UWB communication unit 64.
  • the LAN communication unit 61 is connected to a network 17 such as the Internet via an access point 15 or the like, and sends and receives data to and from each network server 16 on the network 17. Connection with the access point 15 and the like is performed by wireless connection such as Wi-Fi (registered trademark).
  • the telephone network communication unit 62 performs telephone communication (calls) and transmits and receives data by wireless communication with a base station of a mobile telephone communication network. Communication with base stations, etc.
  • the Bluetooth communication unit 63 performs Bluetooth communication such as advertising scan processing and data communication, which will be described later, with an external device having a Bluetooth communication function.
  • the UWB communication unit 64 performs UWB communication such as UWB connection processing and UWB data communication with an external device having a UWB communication function.
  • the LAN communication section 61, the telephone network communication section 62, the Bluetooth communication section 63, and the UWB communication section 64 each include an encoding circuit, a decoding circuit, an antenna, and the like.
  • the UWB antenna in the UWB communication section is an important part related to positioning, and the three UWB antennas are arranged in consideration of positioning.
  • the communication processing unit 6 may further include other communication units such as an infrared communication unit.
  • the video processing section 7 is composed of an imaging section 71 and a display section 72.
  • the imaging unit 71 is a camera that acquires image data of surroundings and objects by converting light input from a lens into electrical signals using an electronic device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) sensor. It is. In this embodiment, it is composed of a right camera 711 and a left camera 712.
  • the display unit 72 is a transmissive display device using, for example, a translucent liquid crystal, and constitutes a display screen 75, and displays AR objects, supplementary information, and the like to the user 10 of the HMD 1.
  • the audio processing section 8 is composed of an audio input section 81 and an audio output section 82.
  • the audio input unit 81 is a microphone that converts real space sounds, user's voice, etc. into audio data and acquires it. For example, microphones are placed near the right camera 711 and left camera 712, respectively.
  • the audio output unit 82 is a speaker that outputs audio information and the like necessary for the user. Of course, earphones and headphones may also be connectable, and may be used depending on the purpose.
  • the operation input unit 9 is an operation input unit for inputting operation instructions and the like to the HMD 1.
  • the hardware configuration example of the HMD 1 shown in FIG. 3 includes many configurations that are not essential to this embodiment, but even if these are not included, the effects of this embodiment will not be impaired. do not have. Further, configurations not shown may be further added, such as an electronic money payment function.
  • FIG. 4 is a functional configuration block diagram of the HMD in this embodiment.
  • control 21 is a function that controls the entire HMD 1, and is mainly processed by the main control unit 2, and the program unit 41 and program function unit 43 of the storage unit 4.
  • the Bluetooth connection process 22 is a function that uses the Bluetooth communication unit 63 of the communication processing unit 6 to perform advertising scan processing with an external device having a Bluetooth communication function.
  • the Bluetooth device information storage 23 is a function that stores device information of an external device obtained through the advertising scan process in the Bluetooth connection process 22 in the various data sections 42 of the storage section 4 .
  • the UWB connection processing 24 is a function that uses the UWB communication unit 64 of the communication processing unit 6 to perform polling response message processing with an external UWB device having a UWB communication function.
  • the UWB device information storage 25 is a function that stores the device information of the external UWB device obtained through the polling response message processing in the UWB connection processing 24 in the various data sections 42 of the storage section 4 .
  • the device position calculation process 26 is a function that performs transmission and reception between the HMD 1 and an external UWB device having a UWB communication function by the UWB connection process 24, and calculates the distance from the elapsed time of transmission and reception.
  • the device position information storage 27 is a function that stores the relative position information between the HMD 1 and the external device calculated by the device position calculation process 26 in the various data sections 42 of the storage section 4.
  • the photographed data acquisition 28 is a function of photographing the vicinity of the relative position between the HMD 1 and the external device stored by the device position information storage 27 using the imaging section 71 of the video processing section 7, and acquiring the photographed data.
  • the device video extraction 29 is a function that analyzes the photographic data acquired in the photographic data acquisition 28 and extracts a video of an external device.
  • the device name superimposition output 30 is a function that superimposes and displays the device name in the device information of the external device stored by the Bluetooth device information storage 23 on the display unit 72 of the video processing unit 7 using an AR object. Specifically, the device name in the device information of the external device stored by the Bluetooth device information storage 23 is superimposed and displayed by the AR object near the relative position between the HMD 1 and the external device stored by the device location information storage 27. .
  • the external device selection process 31 is a function in which the user 10 selects an external device to be connected by operating the operation input unit 9 from the external device names superimposed and displayed by the device name superimposition output 30.
  • FIG. 8 is a block diagram of the main hardware configuration of an external device 901 suitable for this embodiment.
  • the storage unit 904 includes a program unit 941, various data units 942, and program function unit 943
  • the communication processing unit 906 includes a LAN communication unit 961, a telephone network communication unit 962, a Bluetooth communication unit 963, and a UWB communication unit 964. It consists of The explanation regarding each block is the same as that in FIG. 1, and the explanation here will be omitted. Note that FIG. 8 shows only the configuration necessary to implement this embodiment, and other configurations for realizing other functions may be added.
  • FIG. 5 is a flowchart showing the procedure of the external device selection support process (S400) in this embodiment. The processing procedure of FIG. 5 will be described below with reference to the functional block diagram of FIG. 4.
  • the advertisement scan process is a process whose purpose is to obtain device information of an external device by the Bluetooth connection process 22.
  • FIG. 6 is a flowchart showing the processing procedure of advertising scan processing (S420). The processing procedure in FIG. 6 will be described below with reference to the functional block diagram in FIG. 4.
  • Advertising is a phase in which an external device having a Bluetooth communication function transmits advertising data to the outside through broadcast communication.
  • the advertisement data includes the device name of the external device.
  • S422 If it is determined in S422 that the new advertisement data could not be received, the process moves to S423. In S423, a timeout determination is made, and if it is determined that the predetermined time has not been reached, the process moves to S422 again. If the predetermined time has elapsed in S423, the process in S420 ends (S431).
  • the process moves to scan request issuing process (S424).
  • the HMD 1 selects the new advertisement data detected first during the polling search for an external device, and executes the process of S424.
  • the scan request transmission process (S424), the HMD 1 transmits a scan request to the external device that is transmitting the new advertisement data determined in the determination process of S422.
  • the HMD 1 determines whether there is a scan response from the target external device (S425). If it is determined in S425 that there is no scan response from the target external device, the process moves to S426. In S426, a timeout determination is made, and if the predetermined time has not been reached, the process moves to S425 again. If the predetermined time has elapsed in S426, the process in S420 ends (S431). If it is determined in S425 that a scan response has been received from the target external device, the Bluetooth device information storage 23 stores the device information of the external device including the device name (S427).
  • the UWB device ID is included in the received information from the external device (S428). If it is determined in S428 that the UWB device ID is included in the received information from the external device, the UWB device ID is stored in a table by the UWB device information storage 25 (S429), and the process proceeds to S430. . Details of the table will be described later. If it is determined in S428 that the UWB device ID is not included in the received information from the external device, the process moves to S430.
  • S430 it is determined whether new advertising data has been received. If it is determined in S430 that the new advertisement data has been received, the process returns to the scan request issuing process in S424. If it is determined in S430 that the new advertisement data could not be received, this means that there is no new external device, and S420 is ended (S431). The above is the process of S420 (advertise scan process), which is the subroutine shown in FIG.
  • FIG. 7 is a flowchart showing the processing procedure of the UWB connection processing (S440).
  • S443 is a process of determining whether the acquired UWB device ID of the external device is new. If it is determined in S443 that the acquired UWB device ID of the external device is not new, the process moves to S451. If it is determined in S443 that the obtained UWB device ID of the external device is new, the process moves to S444.
  • S444 is a process in which the UWB device information storage 25 stores the acquired UWB device information in a table.
  • the UWB device ID acquired from the received UWB polling signal of the external device and the reception time when the UWB polling signal was received are stored in a table by the UWB device information storage 25.
  • UWB response transmission processing (S445) is performed to transmit a UWB response to the UWB external device. Subsequently, the UWB response transmission time, which is the transmission time of the response transmitted to the external UWB device, is stored in a table by the UWB device information storage 25 (S446).
  • S447 it is determined whether the UWB message signal from the external device has been received (S447). If it is determined in S447 that the UWB message signal from the external device could not be received, the process moves to S448.
  • S448 is a timeout determination process, and if it is determined that the predetermined time has not been reached, the process moves to S447 again. If it is determined in S448 that the predetermined time has elapsed, the process moves to S451.
  • S448 is a process of simply waiting for the reception of a UWB message, but is necessary to avoid system deadlock. If it is determined in S447 that the UWB message signal from the external device has been received, the process moves to S449.
  • S449 is a UWB device information storage process, and the UWB device information storage 25 stores the reception time when the UWB message was received in the HMD 1, the UWB device information acquired by the UWB message signal (UWB polling transmission time, UWB response reception time, UWB message transmission time). This process saves the time) in a table.
  • the relative distance to the external device is calculated, and the calculated relative distance is stored in a table by the device position information storage 27 (S450). Detailed processing of distance calculation will be described later.
  • S451 is a timeout determination process, and if it is determined that the timeout has not occurred, the process returns to S442. If it is determined in S451 that the timeout has occurred, the process in S440 is ended (S452). In the timeout determination process of S451, a time sufficiently longer than the generation cycle of the UWB polling signal is set. Further, the user 10 can also terminate the process arbitrarily.
  • S440 UWB connection process
  • FIG. 9 is an example of a flowchart illustrating the processing procedure of advertising scan processing in an external device that is compatible with this embodiment.
  • the UWB device ID is added to the scan response, and in S527, the scan response with the UWB device ID added is sent to the HMD 1, and the process ends (S528).
  • FIG. 10 is an example of a flowchart showing a procedure for UWB connection processing in an external device that is compatible with this embodiment.
  • the process moves to a process for determining the presence or absence of a termination instruction (S550). If it is determined in S550 that there is no termination instruction, the process returns to S542. In S550, if there is a termination instruction, the UWB connection process in this external device is terminated (S551).
  • the UWB device ID is added to the scan response.
  • a device name is added to the UWB message information.
  • An external device that is compatible with this embodiment may employ at least one of the following processes: adding a UWB device ID to a scan response, and adding a device name to UWB message information. That is, the HMD side only needs to acquire the device name or UWB device ID from the external device in response to the processing of either one of the external devices. Note that which process to adopt may be determined based on the specifications of the external device.
  • FIG. 11 is an example of the external device information table T800.
  • the external device information table T800 is configured with Bluetooth-related information and UWB-related information associated with each other for each external device.
  • the external device number is a number assigned by the HMD 1 to identify each external device.
  • the Bluetooth-related information includes a device name indicating a device name, a service UUID (Universally Unique Identifier) indicating a function, a company identifier, a device address unique to the device, and the like.
  • UWB related information includes UWB device ID, polling reception time Trp, response transmission time Tsr, message reception time Trf, polling transmission time Tsp, UWB response reception time Trr, UWB message transmission time Tsf, and distance Da for each antenna to the external device. , Db, Dc, etc.
  • the distance to the external device is calculated based on the UWB signal arrival time.
  • the UWB signal arrival time T can be calculated, the distance D to the external device can be calculated using the following equation (2) since the transmission speed of the UWB signal is the speed of light c.
  • the distance D to this external device is a relative distance from the UWB antenna possessed by the HMD 1. Therefore, when the HMD 1 has three UWB antennas (right UWB antenna 641, left UWB antenna 642, and center UWB antenna 643), the right UWB antenna 641 is used for distance Da, the left UWB antenna 642 is used for distance Db, and the center Each distance Dc is calculated using the UWB antenna 643 and stored in the table T800.
  • FIG. 12 is a schematic diagram showing the calculation principle for calculating the relative position between the HMD 1 and the UWB device.
  • the HMD 1 includes three UWB antennas: a right UWB antenna 641, a center UWB antenna 643, and a left UWB antenna 642.
  • the intersection point 745 with the circle 732 is the desired location of the external UWB device. Specifically, the position is a distance 742 to the left from the position of the central UWB antenna 643 and a distance 743 to the front of the HMD 1.
  • angle 744 from the central UWB antenna 643 position can be calculated using the following equation (3).
  • Angle 744 arctan (distance 743/distance 742)...(3)
  • the relative position of the UWB device with respect to the HMD 1 can be calculated.
  • the obtained information on the relative position of the UWB device with respect to the HMD 1 is stored by the device position information storage 27.
  • the protocol related to UWB is not limited to the protocol described in this embodiment, and may be any other protocol.
  • the process moves to an external device selection process (S402) for selecting a connectable external device.
  • the external device selection process S402
  • the external device obtained in the advertising scan process S420
  • external devices are selected in the order of device numbers in the external device information table T800.
  • the process moves to S409. If it is determined in S403 that the relative position of the selected external device is within the field of view of the HMD 1, a photograph is taken using the photographing data acquisition 28 (S404). At this time, enlarged photography may be performed only in the vicinity of the relative position of the external device.
  • the purpose of the photographing process in S404 is to photograph a video including an external device.
  • the device image extraction 29 performs extraction processing of an external device image from the photographed screen photographed in S404 (S405).
  • an object existing at a relative position of an external device may be extracted using image recognition technology.
  • external device appearance information may be obtained from a server connected via a network. In this case, by transmitting the Bluetooth device name and service UUID stored by the Bluetooth device information storage 23 to the server, it becomes possible to search the external device appearance information on the server.
  • S407 it is determined whether the position of the extracted external device video matches the relative position of the external device detected in the UWB connection process (S440). If it is determined in S407 that the position of the external device image and the relative position match, the process moves to S408. Since the extracted external device image has a certain area, it is only necessary to determine whether the relative position is included within that area. Further, it is also possible to perform a process of expanding the region for determining a match, taking into account errors in the detected relative position information. Furthermore, the distance of the area corresponding to the extracted external device image may be measured using the distance sensor 55, and it may be determined whether the distance also matches. If it is determined in S407 that there is no match, the process moves to S409.
  • S408 is a process in which a video in which a device name, which is Bluetooth device information, is superimposed on the external device position on the captured video is generated by the device name superimposition output 30, and is displayed by the video processing unit 7.
  • FIG. 13 shows a screen that the user 10 wearing the HMD 1 is viewing via the transmissive display screen 75.
  • a desktop PC 301 and an HMD 302 exist within the field of view of the HMD 1 as external devices.
  • a balloon display frame 303 will be superimposed at the position of the desktop PC 301, and the external device name "PC MX" will be shown therein.
  • the HMD 302 is an external device compatible with this embodiment, a balloon display frame 304 is superimposed at the position of the HMD 302, and the external device name "HMD-100" is shown therein.
  • the user 10 can intuitively identify connectable devices.
  • S410 is a process in which the user 10 selects an external device that he or she wants to connect by using the external device selection process 31. Specifically, as shown in FIG. 13, this is achieved by displaying a connection cursor 305, moving the cursor position to the balloon display frame line 303 or 304, and issuing a selection instruction.
  • the connection cursor may be moved, for example, by detecting the user's 10 gesture or line of sight.
  • the selection may be made by voice.
  • the voice input from the voice input unit 81 of the voice processing unit 8 is voice recognized, and the voice recognition result is used to select. For example, when the user 10 utters "PCMX", the external device is determined to be the same as the external device within the balloon display frame 303, and the desktop PC 301 is selected.
  • connection process after the external device is selected is a connection process using general Bluetooth communication, so a description thereof will be omitted.
  • the relative distance to an external device is calculated using the UWB communication function, and the positions of a plurality of external devices having the Bluetooth communication function are grasped. Then, the external device identification information is superimposed and displayed on the external device image extracted from the captured image, and more specifically, the device name of the external device is superimposed and displayed at the position of the external device.
  • the external device identification information is superimposed and displayed on the external device image extracted from the captured image, and more specifically, the device name of the external device is superimposed and displayed at the position of the external device.
  • the device names of connectable external devices are displayed in a superimposed manner within the balloon display frame 303, but in this embodiment, a different method of superimposed display will be described. Note that the basic hardware and software configuration of this embodiment is the same as that of the first embodiment. Therefore, in this embodiment, the differences from the first embodiment will be mainly explained, and the explanation of the common parts will be omitted.
  • FIG. 14A is a schematic diagram showing a display example of the external device name in this embodiment, and is a schematic diagram in which a part of the image shown in FIG. 13 is extracted.
  • components that are the same as those in FIG. 13 are designated by the same reference numerals, and their descriptions will be omitted.
  • the device name of the desktop PC 301 which is a connectable external device, is placed inside the balloon display frame 303, and the external shape of the desktop PC 301 is further extracted, and the desktop PC 301 is placed so that the extracted external device can be identified.
  • the PC 301 is surrounded by a frame 324 and highlighted.
  • the displayed frame line 324 can also be further highlighted using a colored frame line, a blinking frame line, or the like.
  • the entire external device or its outline can be emphasized, for example, by blinking or coloring.
  • the relative position of the external device may not be clearly determined. Specifically, this is a case where the intersection of straight distance circles from the UWB antenna does not become one point, like the intersection 745 in FIG. 12 .
  • the relative position of the external device may be set to the center of the intersection of the three points of the straight distance circle from the UWB antenna.
  • the display may be changed to indicate that the positional accuracy is low.
  • a cloud-shaped speech bubble frame line 333 can be used.
  • other identification displays can also be used.
  • the display of the frame line 324 may be changed depending on the accuracy of extraction of the external shape of the external device described above.
  • the external device closest to the HMD 1 is displayed at the forefront, and the external device is displayed at the rear to clearly indicate that it exists.
  • the balloon display frame line 306 of the external device that is farther away may be placed behind the balloon display frame line 303 of the external device that is closer.
  • a speech bubble 343 indicating that a plurality of external devices are present can be used as shown in FIG. 14D.
  • the presence of a plurality of external devices is indicated by a double-dotted chain line balloon frame 343, with the external device being closer to the first shaded area 344 and the one being closer to the second shaded area 345. Indicates the presence of a distant external device.
  • the second shaded area 345 is selected, the device name can be confirmed.
  • other identification displays can also be used. This makes it possible to display a display that allows a plurality of external devices to be distinguished.
  • the video of an external device existing within the field of view of the user 10 wearing the HMD 1 can be extracted, but in this embodiment, a response will be described in the case where the video of the external device cannot be extracted.
  • the basic hardware and software configuration of this embodiment is the same as that of the first embodiment. Therefore, in this embodiment, the differences from the first embodiment will be mainly explained, and the explanation of the common parts will be omitted.
  • FIG. 15A is a schematic diagram showing a state in which a smartphone 351 capable of UWB connection is present in the cardboard box 35 in this embodiment. Since UWB uses a very wide frequency band, it has the characteristic that it is not easily affected by obstacles. Therefore, it is possible to make a UWB connection from outside the cardboard box 35 to the smartphone 351 that is present in the cardboard box 35 and is capable of UWB connection.
  • the external device selection support process in this embodiment is the same as that in FIG. 5 in the first embodiment. However, the judgment of image extraction from the external device in S406 and the process of judging whether the extracted image matches the position in S407 are omitted. By omitting S406 and S407, the external device name will be displayed superimposed on the relative position of the external device detected by UWB communication.
  • the smartphone 351 is not directly visible, the relative position of the smartphone 351 is suggested by the dashed frame line balloon display 353 on which the device name is superimposed. Therefore, the user 10 can recognize that the smartphone 351 is present in the cardboard box 35. Further, in this embodiment, a solid frame line speech bubble is displayed for an external device that can be viewed directly, and a broken line frame line speech bubble is displayed for an external device that cannot be viewed directly, but the display method is not limited to this. Note that the user 10 may be able to set whether or not to omit the processing in S406 and S407.
  • the presence of another object in front of the relative position of the detected external device is detected by the distance sensor 55, etc., and the processing in S406 and S407 is omitted only when it is certain that the other object exists. You can do it like this. For example, if the distance to the smartphone 351 is detected to be 2 m and the distance to the surface of the cardboard box 35 is detected to be 1.5 m, it is determined that the smartphone 351 is hidden by the cardboard box 35, and S406 and S407 You can process it so that it is omitted.
  • the device name of the external device is displayed in a superimposed manner even when the external device is inside or hidden by another object. Therefore, the correspondence between the invisible external device and its device name visually matches, and it is possible to intuitively select an external device that can be connected.
  • FIG. 15B is a schematic diagram showing an example of a balloon display when the relative position of the detected external device is outside the field of view of the HMD 1 in this embodiment.
  • the external device name inside a balloon display 366, the external device name, the distance to the external device, and the direction of the external device are shown.
  • the direction of the external device may be indicated, for example, with the front of the HMD 1 as 0 degrees. Further, by aligning the balloon direction of the balloon display 366 with the direction of the external device, the display becomes more intuitive. Note that the user 10 may be able to set whether or not the process of S408 is always performed.
  • the user 10 can know the relative position and direction of a connectable external device by the balloon display 366 even when the relative position of the external device is not within the front field of view of the HMD 1. Once the direction toward the external device is known, the user 10 wearing the HMD 1 can position the relative position of the external device within the front field of view of the HMD 1 by changing the direction of the face toward the external device.
  • FIG. 16 is a schematic diagram showing a display example when there is an external device whose relative position cannot be detected in this embodiment.
  • the same components as those in FIG. 13 are denoted by the same reference numerals, and the explanation thereof will be omitted.
  • the desktop PC 301 is capable of position detection using UWB, and the device name is superimposed and displayed within the balloon display frame 303 according to the position of the desktop PC 301 by the processing shown in the first embodiment. There is.
  • a smartphone outside the display area of the HMD 302 and the display screen 75 or outside the field of view is an external device that does not have UWB.
  • a conventional connection text menu can be prepared for selecting an external device to be connected from a list of external devices. At this time, if an external device whose position can be detected is selected from the list, it is also possible to automatically switch from the conventional text menu screen to the superimposed screen display of this embodiment.
  • FIG. 17 is a schematic diagram showing the presence of a person 38 wearing an HMD 381 within the field of view of the HMD 1 in this embodiment.
  • the device name of the HMD 381 is superimposed on the display screen 75 as a balloon 383.
  • the HMD 1 when the HMD 1 detects a connection, it displays the device name and information indicating that a connection request has been received, so that the external device (HMD 381) that is the connection source can be identified. To this end, the balloon display 383 is filled in and the font color of the device name is changed. Furthermore, by adding the display of "connection request", the user 10 can easily recognize that the HMD 381 is the connection source external device. Of course, other display methods such as blinking the balloon display 383 may also be used.
  • connection source external device As described above, according to this embodiment, the correspondence between the connection source external device and its device name visually matches, and the connection source external device can be intuitively recognized.
  • Examples 1 to 5 an HMD was used as an example of a portable information terminal, but in this embodiment, a smartphone is used as an example of a portable information terminal. Note that the basic hardware and software configuration of this embodiment is the same as that of the first embodiment. Therefore, in this embodiment, the differences from the first embodiment will be mainly explained, and the explanation of the common parts will be omitted.
  • FIG. 18 is a schematic diagram for explaining an overview of the entire system in this embodiment. 18 shows a user 10 holding a smartphone 18 instead of the HMD 1 in FIG. 1 and searching for an external device capable of Bluetooth communication with the smartphone 18.
  • FIG. 19 is an external view showing an example of a smartphone 18 that is a mobile information terminal.
  • the smartphone 18 has a display screen 181 configured with a touch panel and a front camera 182 on the front, and a rear camera 184 on the back.
  • a right UWB antenna 644 is arranged at the right end of the front
  • a left UWB antenna 645 is arranged at the left end of the front
  • a center UWB antenna 646 is arranged at the upper center of the front, like the HMD 1 in the above-mentioned embodiment. .
  • the user 10 points the smartphone 18 at the assumed external device and uses the rear camera 184 to take a picture.
  • the captured video is displayed on the display screen 181 of the smartphone 18, and the external device name is superimposed and displayed in a balloon display, similar to the above-described embodiment.
  • the embodiment of the HMD 1 is characterized by superimposed display on a real space video that can be seen through, but in this embodiment, it is superimposed on a photographed video.
  • the operations and processing algorithms after the superimposed display are the same as those in the previous embodiment, and the effects of the previous embodiment can be applied as they are.
  • the external device selection support process can be performed even on a smartphone.
  • the distance when detecting the distance of an external device, the distance can be estimated to some extent by measuring the signal attenuation using the received signal strength indicator (RSSI) value in the Bluetooth communication unit 63.
  • RSSI received signal strength indicator
  • the unit of TxPower and RSSI is dBm, and the calculation formula is based on the assumption that the mobile information terminal and the external device exist in free space, that is, in an ideal space without obstacles.
  • the AoA method is a method in which a transmitter having a single antenna transmits a direction detection signal, and a receiver having multiple antennas detects the direction of the transmitter by using a phase difference between the antennas. It takes advantage of the fact that the received signal phase changes for each receiving antenna due to the difference in the distance between the transmitting and receiving antennas.
  • the AoD method is a method in which a transmitter having multiple antennas transmits a direction detection signal, acquires phase information of the received signal from an IQ signal received by an antenna of a receiving device, and thereby detects the direction. In the AoD method, the receiving device only needs one antenna. In this embodiment, either the AoA or AoD method may be used.
  • the block diagram of the hardware configuration of the HMD which is a portable information terminal in this embodiment, is the same as that shown in FIG. 3, but since the distance and direction of an external device is detected using Bluetooth, the UWB communication unit 64 may be omitted.
  • the functional configuration block diagram of this embodiment is equivalent to FIG. 4.
  • the device position calculation process 26 is replaced by a function that performs transmission and reception between the HMD 1 and an external Bluetooth device having a Bluetooth communication function by the Bluetooth connection process 22, and calculates the distance from the RSSI information. Further, if the UWB communication section 64 in FIG. 3 is omitted, the UWB connection processing 24 and the UWB device information storage 25 are also omitted.
  • the flowchart of the external device selection support process in this embodiment is the same as that in FIG. 5. However, if the UWB communication unit 64 in FIG. 3 is omitted, the UWB connection process S440 is omitted. Furthermore, external device distance calculation and storage processing are performed in advertising scan processing S420.
  • FIG. 20 shows a flowchart of advertising scan processing S420 in this embodiment.
  • FIG. 20 is basically the same as FIG. 6, but the UWB-related processes S428 and S429 are omitted. Instead, when the scan response reception determination S425 is determined as Yes, an external device distance calculation/storage step S432 is added. In S432, the distance to the external device is calculated from the RSSI information as described above. Further, the direction of the external device is calculated using the AoA or AoD method, and the calculated distance and direction information are stored in the external device information table T800.
  • FIG. 21 is an example of the external device information table T800 when the UWB communication section 64 in FIG. 3 is omitted.
  • the distance D1 to the external device, the horizontal angle Ph1 of the external device, and the vertical angle Pv1 of the external device calculated in S432 are stored.
  • external device selection support processing can be performed using only Bluetooth as the wireless function.
  • the present invention is not limited to the above-described embodiments, and includes various modifications.
  • the present invention can be applied to portable information terminals other than HMDs and smartphones, such as personal computer devices including tablets and notebook computers, as long as the portable information terminal has the same functions as those in the embodiments.
  • the external device selection support process is applied to an external device having a Bluetooth connection function, but it can also be applied to an external device having a wireless LAN connection function (specifically, an access point).
  • an external device having a Bluetooth connection function selection is made using the device name, but in an external device having a wireless LAN connection function, selection is made using an SSID (Service Set Identifier), which is a service set identifier.
  • SSID Service Set Identifier
  • the functions of the present invention described above may be partially or entirely realized by hardware, for example, by designing an integrated circuit. Further, hardware and software may be used together.
  • the software may be stored in advance in the program section 41 of the HMD 1 or the smartphone 18 at the time of product shipment. The information may be obtained from various server devices on the Internet after the product is shipped. Alternatively, the software may be acquired from a memory card, an optical disk, or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

無線接続可能な外部デバイスの位置を特定し、使用者が接続したい外部デバイスを直感的に選択することが可能になる携帯情報端末、無線接続可能な外部デバイス、及びそれらに用いる情報処理方法を提供する。　そのために、外部デバイスと無線接続が可能な携帯情報端末であって、外部デバイスと無線接続可能な第一の通信機能と第二の通信機能と、携帯情報端末の周囲を撮影するカメラと、カメラで撮影した映像に対し処理を行う映像処理部と、映像処理部で処理した映像を表示するディスプレイと、第一の通信機能で用いる外部デバイスの第一識別情報と、第二の通信機能で用いる外部デバイスの第二識別情報を記憶する記憶部と、制御部を有し、制御部は、第二の通信機能を利用して、携帯情報端末に対する外部デバイスの相対位置を算出し、映像処理部は、映像において算出した外部デバイスの相対位置に第一識別情報を重畳した重畳映像を生成し、ディスプレイに表示する。

Description

携帯情報端末、無線接続可能な外部デバイス、及びそれらに用いる情報処理方法
　本発明は、携帯情報端末が無線接続可能な外部デバイスを選択するための、外部デバイス選択支援手法を提供する携帯情報端末に関する。
　近年、近距離のデジタルデバイスを無線（ワイヤレス）でデータ通信を行うことが、一般的になっている。特に、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格の無線通信に関しては、パソコンやスマートフォンなどの情報端末以外にもスピーカやイヤホンなどを含めた外部デバイスにもその適用が拡大されている。ここで、無線接続可能な外部デバイスをブロードキャスト通信により探索することは、一般に用いられている。しかしながら、無線接続可能な外部デバイスを検出することができても、その位置、すなわち方向と距離の両方を正確に特定することは困難であった。
　一方、超広帯域無線通信であるＵＷＢ（Ultra Wide Band）通信機能を搭載した携帯情報端末が出現し始めている。このＵＷＢ通信機能を利用することにより、高い精度で位置検出をすることができる。一般的に、Ｂｌｕｅｔｏｏｔｈ通信機能による位置精度はメートル単位であり、ＵＷＢ通信機能による位置精度はセンチメートル単位と称されている。
　本技術分野における背景技術として特許文献１がある。特許文献１では、Ｂｌｕｅｔｏｏｔｈ通信機能を有する外部無線端末が、スキャン処理において発信するデバイスネーム情報に外部無線端末の位置情報を付加して発信することが開示されている。
特開２０１３－２４７４２８号公報
　特許文献１は、外部無線端末側に、外部無線端末の位置情報取得処理が必要になることや、位置情報がＧＰＳ（Global Positioning System）による情報なので、屋内等ＧＰＳ電波が受信できない場所では適用できないなどの問題があった。また、特許文献１において、外部無線端末の相対位置を画面表示する例を示しているが、画面に表示された外部無線端末と実際に存在している外部無線端末とが一致するかどうかは、使用者が判断する必要がある。このため、使用者が接続したい外部無線端末を選択する動作は直感的ではなく、外部無線端末の選択を間違える恐れがあった。
　本発明の目的は、上記課題を考慮し、Ｂｌｕｅｔｏｏｔｈ通信機能を有する複数の外部デバイスの位置を把握し、複数のＢｌｕｅｔｏｏｔｈ通信機能を有する外部デバイスの中から、把握した外部デバイスの位置に基づき、接続したい外部デバイスを直感的に特定することができる携帯情報端末、無線接続可能な外部デバイス、及びそれらに用いる情報処理方法を提供することにある。
 本発明は、その一例を挙げるならば、外部デバイスと無線接続が可能な携帯情報端末であって、外部デバイスと無線接続可能な第一の通信機能と第二の通信機能と、携帯情報端末の周囲を撮影するカメラと、カメラで撮影した映像に対し処理を行う映像処理部と、映像処理部で処理した映像を表示するディスプレイと、第一の通信機能で用いる外部デバイスの第一識別情報と、第二の通信機能で用いる外部デバイスの第二識別情報を記憶する記憶部と、制御部を有し、制御部は、第二の通信機能を利用して、携帯情報端末に対する外部デバイスの相対位置を算出し、映像処理部は、映像において算出した外部デバイスの相対位置に第一識別情報を重畳した重畳映像を生成し、ディスプレイに表示する。
　本発明によれば、撮影画像から抽出した外部デバイス画像に外部デバイス識別情報を重畳して表示し、外部デバイスの外観とその識別情報を容易に特定、一致させることができる。これにより、使用者が接続したい外部デバイスを直感的に選択することが可能になる。
実施例１におけるシステム全体の概要を説明するための模式図である。 実施例１におけるＨＭＤの外観図である。 実施例１におけるＨＭＤのハード構成ブロック図である。 実施例１におけるＨＭＤの機能構成ブロック図である。 実施例１における外部デバイス選択支援処理のフローチャートである。 実施例１におけるＨＭＤのアドバタイズ・スキャン処理のフローチャートである。 実施例１におけるＨＭＤのＵＷＢ接続処理のフローチャートである。 実施例１に適合する外部デバイスの主要ハード構成ブロック図である。 実施例１に適合する外部デバイスのアドバタイズ・スキャン処理のフローチャートである。 実施例１に適合する外部デバイスのＵＷＢ接続処理のフローチャートである。 実施例１における外部デバイス情報を格納した外部デバイス情報テーブルである。 実施例１における外部デバイス位置の算出原理を説明するための模式図である。 実施例１における外部デバイス名の表示例を示す模式図である。 実施例２における外部デバイス名の表示例を示す模式図である。 実施例２における外部デバイス名の表示例を示す模式図である。 実施例２における外部デバイス名の表示例を示す模式図である。 実施例２における外部デバイス名の表示例を示す模式図である。 実施例３における外部デバイスの位置とデバイス名の表示例を示す模式図である。 実施例３における外部デバイスの位置とデバイス名の表示例を示す模式図である。 実施例４における外部デバイス名の表示例を示す模式図である。 実施例５における外部デバイス名の表示例を示す模式図である。 実施例６におけるシステム全体の概要を説明するための模式図である。 実施例６における携帯情報端末の外観図である。 実施例７における外部デバイス選択支援処理のフローチャートである。 実施例７における外部デバイス情報を格納した外部デバイス情報テーブルである。
　以下、本発明の実施例について図面を用いて説明する。
　図１は、本実施例におけるシステム全体の概要を説明するための模式図である。図１において、ユーザ１０は携帯情報端末である眼鏡形状の透過型ＨＭＤ（Head Mounted Display）１を装着し、ユーザ１０が、装着しているＨＭＤ１とＢｌｕｅｔｏｏｔｈ通信可能な外部デバイスがＨＭＤ１の視界内に存在しているかどうかを探索している様子を示している。探索手順の詳細については後述するが、ＨＭＤ１は、視界内のデスクトップＰＣ３０１が外部デバイスとしてＢｌｕｅｔｏｏｔｈ通信可能かどうかを探索している。また、ＨＭＤ１は、アクセスポイント１５を介して、ネットワークサーバ１６が接続されたネットワーク網１７に接続している。ネットワークサーバ１６には、各種演算処理を行うネットワークサーバや、各種データを保存するネットワークサーバなどがあり、必要に応じてＨＭＤ１が活用できる。
　図２は、本実施例におけるＨＭＤの外観図である。図２において、ＨＭＤ１は、眼鏡の左右レンズ位置に表示画面７５を有し、眼鏡の右レンズ位置の右端に右カメラ７１１と、眼鏡の左レンズの左端に左カメラ７１２を配置している。ＨＭＤ１は、透過型表示画面７５を介して、実空間を視認することができる。また、表示画面７５には、拡張現実のＡＲ（Augmented Reality）オブジェクトを表示することができる。従って、ＨＭＤ１を装着しているユーザ１０は、表示画面７５に表示された拡張現実のＡＲオブジェクトと、実空間の状況との両者を同時に視認することができる。また、スピーカは、眼鏡の蔓にあたる部分に、右スピーカ８２１と左スピーカ８２２を配置している。
　また、ＨＭＤ１は、ＵＷＢ通信機能を有しており、ＵＷＢ通信機能を有する接続デバイスとの距離測定を行うことができる。ＵＷＢ通信用の送受信アンテナは、ＨＭＤ１の最右端下部に右ＵＷＢアンテナ６４１、ＨＭＤ１の最左端下部に左ＵＷＢアンテナ６４２、及びＨＭＤ１の中央位置に中央ＵＷＢアンテナ６４３がそれぞれ配置されている。
　以下、本実施例における具体的構成及び手法について説明する。尚、本実施例及び図面において、同一機能については同一符号を付して説明する。
　図３は、本実施例におけるＨＭＤのハード構成ブロック図である。図３において、ＨＭＤ１は、主制御部２、システムバス３、記憶部４、センサ部５、通信処理部６、映像処理部７、音声処理部８、操作入力部９を有する。
　主制御部２は、所定の動作プログラムに従ってＨＭＤ１全体を制御するマイクロプロセッサユニットである。システムバス３は、主制御部２とＨＭＤ１内の各構成ブロックとの間で各種コマンドやデータなどの送受信を行うためのデータ通信路である。
　記憶部４は、ＨＭＤ１の動作を制御するためのプログラムなどを記憶するプログラム部４１、動作設定値やセンサ部からの検出値やコンテンツを含むオブジェクトやライブラリからダウンロードしたライブラリ情報などの各種データを記憶する各種データ部４２、各種プログラム動作で使用するワークエリアなどの書き替え可能なプログラム機能部４３から構成される。また、記憶部４は、ネットワーク上からダウンロードした動作プログラムや、動作プログラムで作成した各種データ等を記憶可能である。さらに、ネットワーク上からダウンロードした動画や静止画や音声等のコンテンツも記憶可能である。また、カメラで撮影した動画や静止画等のデータを記憶可能である。また、記憶部４は、必要な情報（閾値等の設定値や画像データ等）を予め記憶しておくことが可能である。記憶部４は、ＨＭＤ１の電源が切れている状態でも記憶情報を保持する必要があり、フラッシュＲＯＭやＳＳＤ（Solid State Drive）などの半導体素子メモリ、磁気ディスクドライブ等のデバイスが用いられる。尚、記憶部４に記憶された各動作プログラムは、ネットワーク上の各サーバ装置からのダウンロード処理により更新及び機能拡張することが可能である。
　センサ部５は、ＨＭＤ１および周囲の状態を検出するための各種センサ群である。センサ部５は、ＧＰＳ受信部５１、地磁気センサ５２、加速度センサ５３、ジャイロセンサ５４、距離センサ５５で構成される。これらのセンサ群により、ＨＭＤ１の位置、傾き、方角、動き等を検出することが可能となる。更に、ＨＭＤ１が、照度センサ、高度センサ等、他のセンサを更に備えていても良い。
　通信処理部６は、ＬＡＮ（Local Area Network）通信部６１、電話網通信部６２、Ｂｌｕｅｔｏｏｔｈ通信部６３、ＵＷＢ通信部６４とで構成される。ＬＡＮ通信部６１は、アクセスポイント１５等を介してインターネット等のネットワーク網１７と接続され、ネットワーク網１７上の各ネットワークサーバ１６とデータの送受信を行う。アクセスポイント１５等との接続は、Ｗｉ－Ｆｉ（登録商標）等の無線接続で行われている。電話網通信部６２は、移動体電話通信網の基地局等との無線通信により、電話通信（通話）及びデータの送受信を行う。基地局等との通信は、ＬＴＥ（Long Term Evolution）方式、５Ｇ方式（高速大容量、低遅延、多数同時接続を目指した第５世代移動通信システム）、或いはその他の通信方式によって行われて良い。Ｂｌｕｅｔｏｏｔｈ通信部６３は、Ｂｌｕｅｔｏｏｔｈ通信機能を有する外部デバイスと、後述するアドバタイズ・スキャン処理やデータ通信等のＢｌｕｅｔｏｏｔｈ通信を行う。ＵＷＢ通信部６４は、ＵＷＢ通信機能を有する外部デバイスとＵＷＢ接続処理やＵＷＢデータ通信等のＵＷＢ通信を行う。ＬＡＮ通信部６１、電話網通信部６２、Ｂｌｕｅｔｏｏｔｈ通信部６３、ＵＷＢ通信部６４は、それぞれ符号化回路や復号回路やアンテナ等を備える。特に、ＵＷＢ通信部におけるＵＷＢアンテナは、測位に係わる重要なパーツであり、３個のＵＷＢアンテナの配置は、測位に考慮した配置となっている。更に、通信処理部６が、赤外線通信部など、他の通信部を更に備えていても良い。
　映像処理部７は、撮像部７１、表示部７２で構成される。撮像部７１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の電子デバイスでレンズから入力した光を電気信号に変換することにより、周囲や対象物の画像データを取得するカメラである。本実施例では、右カメラ７１１と左カメラ７１２で構成される。表示部７２は、例えば半透明の液晶による透過型ディスプレイの表示デバイスであり、表示画面７５を構成し、ＡＲオブジェクトや付帯情報等をＨＭＤ１のユーザ１０に表示する。
　音声処理部８は、音声入力部８１、音声出力部８２とで構成される。音声入力部８１は、実空間の音やユーザの音声などを音声データに変換して取得するマイクである。例えば、右カメラ７１１と左カメラ７１２の近傍にそれぞれマイクが配置される。音声出力部８２は、ユーザに必要な音声情報等を出力するスピーカである。勿論、イヤホンやヘッドホンも接続可能としてよく、用途により使い分ければよい。操作入力部９は、ＨＭＤ１に対する操作指示等の入力を行う操作入力部である。
　なお、図３に示したＨＭＤ１のハードウェア構成例は、本実施例に必須ではない構成も多数含んでいるが、これらが備えられていない構成であっても本実施例の効果を損なうことはない。また、電子マネー決済機能等、図示していない構成が更に加えられていても良い。
　図４は、本実施例におけるＨＭＤの機能構成ブロック図である。図４において、制御２１は、ＨＭＤ１の全体を制御する機能であり、主に、主制御部２と、記憶部４のプログラム部４１及びプログラム機能部４３で処理される。
　Ｂｌｕｅｔｏｏｔｈ接続処理２２は、通信処理部６のＢｌｕｅｔｏｏｔｈ通信部６３を用いて、Ｂｌｕｅｔｏｏｔｈ通信機能を有する外部のデバイスと、アドバタイズ・スキャン処理を行う機能である。Ｂｌｕｅｔｏｏｔｈデバイス情報保存２３は、Ｂｌｕｅｔｏｏｔｈ接続処理２２におけるアドバタイズ・スキャン処理で入手した外部デバイスのデバイス情報を、記憶部４の各種データ部４２に保存する機能である。
　ＵＷＢ接続処理２４は、通信処理部６のＵＷＢ通信部６４を用いて、ＵＷＢ通信機能を有する外部ＵＷＢデバイスとポーリング・レスポンス・メッセージ処理を行う機能である。ＵＷＢデバイス情報保存２５は、ＵＷＢ接続処理２４におけるポーリング・レスポンス・メッセージ処理で入手した外部ＵＷＢデバイのデバイス情報を、記憶部４の各種データ部４２に保存する機能である。デバイス位置算出処理２６は、ＵＷＢ接続処理２４により、ＨＭＤ１とＵＷＢ通信機能を有する外部ＵＷＢデバイス間で送受信を行い、その送受信経過時間から距離を算出する機能である。具体的手法は後述するが、右ＵＷＢアンテナ６４１、左ＵＷＢアンテナ６４２、中央ＵＷＢアンテナ６４３それぞれから外部デバイスまでの距離を算出し、ＨＭＤ１と外部ＵＷＢデバイスとの相対位置を算出している。デバイス位置情報保存２７は、デバイス位置算出処理２６により算出されたＨＭＤ１と外部デバイスとの相対位置情報を、記憶部４の各種データ部４２に保存する機能である。
　撮影データ取得２８は、デバイス位置情報保存２７により保存されたＨＭＤ１と外部デバイスとの相対位置付近を、映像処理部７の撮像部７１により撮影し、その撮影データを取得する機能である。デバイス映像抽出２９は、撮影データ取得２８で取得した撮影データを解析し、外部デバイスの映像を抽出する機能である。
　デバイス名重畳出力３０は、Ｂｌｕｅｔｏｏｔｈデバイス情報保存２３により保存された外部デバイスのデバイス情報にあるデバイス名を、映像処理部７の表示部７２にＡＲオブジェクトにより重畳表示する機能である。具体的には、デバイス位置情報保存２７により保存されたＨＭＤ１と外部デバイスとの相対位置付近に、Ｂｌｕｅｔｏｏｔｈデバイス情報保存２３により保存された外部デバイスのデバイス情報にあるデバイス名をＡＲオブジェクトにより重畳表示する。
　外部デバイス選択処理３１は、デバイス名重畳出力３０により重畳表示された外部デバイス名から、ユーザ１０が操作入力部９の操作により接続する外部デバイスを選択する機能である。
　本実施例においては、ＨＭＤ１と通信する外部デバイスによって特徴となる機能が実現される。外部デバイスとしては、例えば図１に示したデスクトップＰＣ３０１が挙げられる。図８は、本実施例に適合する外部デバイス９０１の主要ハード構成ブロック図である。図８において、基本構成は図３に示した本実施例のＨＭＤ１と同じであり、主制御部９０２、システムバス９０３、記憶部９０４、通信処理部９０６を、本実施例に適合するための基本構成としている。記憶部９０４は、プログラム部９４１、各種データ部９４２、プログラム機能部９４３から構成されており、通信処理部９０６は、ＬＡＮ通信部９６１、電話網通信部９６２、Ｂｌｕｅｔｏｏｔｈ通信部９６３、ＵＷＢ通信部９６４から構成されている。個々のブロックに関する説明は、図１での説明と同じであり、ここでの説明は省略する。なお、図８は本実施例を実施するために必要な構成のみを示しており、その他機能を実現するためのその他構成が追加されていてもよい。
　図５は、本実施例における外部デバイス選択支援処理（Ｓ４００）の手順を示すフローチャートである。以下、図５の処理手順を図４の機能ブロック図を参照して説明する。
　図５において、Ｓ４００が開始（Ｓ４０１）されると、先ずサブルーチンであるアドバタイズ・スキャン処理（Ｓ４２０）を実行する。アドバタイズ・スキャン処理は、Ｂｌｕｅｔｏｏｔｈ接続処理２２により、外部デバイスのデバイス情報を取得することを目的とする処理である。
　ここで、サブルーチンであるアドバタイズ・スキャン処理（Ｓ４２０）の処理について説明する。図６は、アドバタイズ・スキャン処理（Ｓ４２０）の処理手順を示すフローチャートである。以下、図６の処理手順について、図４の機能ブロック図を参照して説明する。
　図６において、Ｓ４２０の処理が開始（Ｓ４２１）されると、先ず、新規アドバタイズデータが受信できたかどうかを判断する（Ｓ４２２）。アドバタイズは、Ｂｌｕｅｔｏｏｔｈ通信機能を有する外部デバイスが、ブロードキャスト通信により、外部にアドバタイズデータを発信するフェィズである。アドバタイズデータには、外部デバイスのデバイス名が含まれている。
　Ｓ４２２において、新規アドバタイズデータが受信できなかったと判断した場合は、Ｓ４２３に移行する。Ｓ４２３ではタイムアウト判断を行っており、所定の時間に達していないと判断した場合は、再度Ｓ４２２に移行する。Ｓ４２３において、所定の時間に達した場合は、このＳ４２０の処理を終了する（Ｓ４３１）。
　Ｓ４２２の判断処理で、新規アドバタイズデータが受信できたと判断した場合は、スキャン要求発信処理（Ｓ４２４）に移行する。なお、複数の新規アドバタイズデータが受信できる場合、ＨＭＤ１は外部デバイスをポーリング探索中に最初に検出した新規アドバタイズデータを選択しＳ４２４の処理を実行する。スキャン要求発信処理（Ｓ４２４）では、Ｓ４２２の判断処理で確定した新規アドバタイズデータを発信している外部デバイスに対して、ＨＭＤ１からスキャン要求を発信する。
　続いて、ＨＭＤ１は、対象である外部デバイスからスキャン応答があったかどうかを判断する（Ｓ４２５）。Ｓ４２５において、対象である外部デバイスからスキャン応答が無かったと判断した場合は、Ｓ４２６に移行する。Ｓ４２６ではタイムアウト判断を行っており、所定の時間に達していない場合は、再度Ｓ４２５に移行する。Ｓ４２６において、所定の時間に達した場合は、Ｓ４２０の処理を終了する（Ｓ４３１）。Ｓ４２５において、対象である外部デバイスからスキャン応答を受信できたと判断した場合は、Ｂｌｕｅｔｏｏｔｈデバイス情報保存２３により、デバイス名を含む外部デバイスのデバイス情報を保存する（Ｓ４２７）。
　次に、受信した外部デバイスからの情報の中にＵＷＢデバイスＩＤが含まれているかどうかを判断する（Ｓ４２８）。Ｓ４２８で、受信した外部デバイスからの情報の中にＵＷＢデバイスＩＤが含まれていると判断した場合は、ＵＷＢデバイスＩＤをＵＷＢデバイス情報保存２５により、テーブルに保存（Ｓ４２９）し、Ｓ４３０に移行する。テーブルの詳細については後述する。Ｓ４２８で、受信した外部デバイスからの情報の中にＵＷＢデバイスＩＤが含まれていないと判断した場合は、Ｓ４３０に移行する。
　Ｓ４３０では、新規アドバタイズデータが受信できたかどうかを判断する。Ｓ４３０において、新規アドバタイズデータが受信できたと判断した場合は、再度Ｓ４２４のスキャン要求発信処理に戻る。Ｓ４３０において、新規アドバタイズデータが受信できなかったと判断した場合は、新規の外部デバイスが存在しないということであり、Ｓ４２０を終了する（Ｓ４３１）。以上が、図６に示したサブルーチンであるＳ４２０（アドバタイズ・スキャン処理）の処理である。
　ここで、図５の処理に戻る。図５において、サブルーチンであるアドバタイズ・スキャン処理（Ｓ４２０）が終了すると、サブルーチンであるＵＷＢ接続処理（Ｓ４４０）に移行する。
　次に、ＵＷＢ接続処理（Ｓ４４０）の処理について説明する。図７は、ＵＷＢ接続処理（Ｓ４４０）の処理手順を示すフローチャートである。
　図７において、Ｓ４４０の処理が開始（Ｓ４４１）されると、先ず、ＵＷＢ外部デバイスからのＵＷＢポーリング信号が受信できたかどうかを判断する（Ｓ４４２）。Ｓ４４２において、ＵＷＢ外部デバイスからのＵＷＢポーリング信号が受信できなかったと判断した場合は、Ｓ４５１に移行する。Ｓ４４２において、ＵＷＢ外部デバイスからのＵＷＢポーリング信号が受信できたと判断した場合は、Ｓ４４３に移行する。外部デバイスからのＵＷＢポーリング信号には、外部デバイスのＵＷＢデバイスＩＤが含まれており、ＨＭＤ１は、外部デバイスのＵＷＢデバイスＩＤ情報を取得することができる。
　Ｓ４４３は、取得した外部デバイスのＵＷＢデバイスＩＤが新規かどうかを判断する処理である。Ｓ４４３において、取得した外部デバイスのＵＷＢデバイスＩＤが新規でないと判断した場合は、Ｓ４５１に移行する。Ｓ４４３において、取得した外部デバイスのＵＷＢデバイスＩＤが新規であると判断した場合は、Ｓ４４４に移行する。
　Ｓ４４４は、ＵＷＢデバイス情報保存２５により、取得したＵＷＢデバイス情報をテーブル保存する処理である。Ｓ４４４において、受信した外部デバイスのＵＷＢポーリング信号から取得したＵＷＢデバイスＩＤと、ＵＷＢポーリング信号を受信した受信時刻を、ＵＷＢデバイス情報保存２５によりテーブルに保存する。
　次に、ＵＷＢ外部デバイスに対して、ＵＷＢレスポンスを発信するＵＷＢレスポンス発信処理（Ｓ４４５）を行う。続いて、外部ＵＷＢデバイスに発信したレスポンスの発信時刻であるＵＷＢレスポンス発信時刻を、ＵＷＢデバイス情報保存２５によりテーブルに保存する（Ｓ４４６）。
　続いて、外部デバイスからのＵＷＢメッセージ信号が受信できたかどうかを判断する（Ｓ４４７）。Ｓ４４７において、外部デバイスからのＵＷＢメッセージ信号が受信できなかったと判断した場合は、Ｓ４４８に移行する。Ｓ４４８はタイムアウト判断処理であり、所定の時間に達していないと判断した場合は、再度Ｓ４４７に移行する。Ｓ４４８において、所定の時間に達したと判断した場合は、Ｓ４５１に移行する。Ｓ４４８はＵＷＢメッセージの受信を待つだけの処理であるが、システムのデッドロックを回避するために必要である。Ｓ４４７において、外部デバイスからのＵＷＢメッセージ信号が受信できたと判断した場合は、Ｓ４４９に移行する。
　Ｓ４４９はＵＷＢデバイス情報保存処理であり、ＵＷＢデバイス情報保存２５により、ＨＭＤ１におけるＵＷＢメッセージを受信した受信時刻、ＵＷＢメッセージ信号で取得したＵＷＢデバイス情報（ＵＷＢポーリング発信時刻、ＵＷＢレスポンス受信時刻、ＵＷＢメッセージ発信時刻）をテーブルに保存する処理である。
　次に、外部デバイスまでの相対距離を算出し、算出した相対距離をデバイス位置情報保存２７により、テーブルに保存する（Ｓ４５０）。距離算出の詳細な処理は後述する。
　次に、Ｓ４５１に移行する。Ｓ４５１はタイムアウト判断処理であり、タイムアウトでないと判断した場合は、Ｓ４４２に戻る。Ｓ４５１において、タイムアウトであると判断した場合は、Ｓ４４０の処理を終了する（Ｓ４５２）。Ｓ４５１のタイムアウト判断処理においては、ＵＷＢポーリング信号の発生周期より十分長い時間を設定する。また、ユーザ１０が、任意に終了させることもできる。以上が、図７に示したサブルーチンであるＳ４４０（ＵＷＢ接続処理）の処理である。
　本実施例のＨＭＤ１がその機能を実現するには、本実施例に適合する外部デバイスとの接続が必要である。そこで、本実施例に適合する外部デバイスの処理、特にアドバタイズ・スキャン処理について説明する。図９は、本実施例に適合する外部デバイスにおけるアドバタイズ・スキャン処理の処理手順を示すフローチャートの一例である。
　図９において、処理が開始（Ｓ５２１）されると、アドバタイズデータを、ブロードキャスト通信にて発信する（Ｓ５２２）。次に、スキャン要求を受信したかどうかを判断する（Ｓ５２３）。Ｓ５２３において、スキャン要求が受信できなかったと判断した場合、Ｓ５２４に移行する。Ｓ５２４はタイムアウト判断処理であり、所定の時間に達していない場合は、再度Ｓ５２２に移行する。Ｓ５２４において、所定の時間に達したと判断した場合は処理を終了する（Ｓ５２８）。Ｓ５２３において、スキャン要求が受信できたと判断した場合はＳ５２６に移行する。
　Ｓ５２６では、スキャン応答にＵＷＢデバイスＩＤを付加し、Ｓ５２７ではＵＷＢデバイスＩＤが付加されたスキャン応答をＨＭＤ１に対して発信し、処理を終了する（Ｓ５２８）。
　ここで、本実施例で想定している外部デバイスにおけるＵＷＢ接続処理について説明する。図１０は、本実施例に適合する外部デバイスにおけるＵＷＢ接続処理の処理手順を示すフローチャートの一例である。
　図１０において、処理が開始（Ｓ５４１）されると、ＵＷＢポーリング信号を、ブロードキャスト通信にて発信する（Ｓ５４２）。その際、ＵＷＢポーリング信号を発信する時刻も保存する（Ｓ５４３）。
　次に、ＨＭＤ１からのＵＷＢレスポンス信号が受信できたかどうかを判断する（Ｓ５４４）。Ｓ５４４において、ＨＭＤ１からのＵＷＢレスポンス信号が受信できなかったと判断した場合は、Ｓ５５０に移行する。Ｓ５４４において、ＨＭＤ１からのＵＷＢレスポンス信号が受信できたと判断した場合は、ＵＷＢレスポンス信号を受信した時刻を保存する（Ｓ５４５）。
　次に、Ｓ５４７において、ＵＷＢメッセージ情報にデバイス名を付加する。次に、Ｓ５４８ではＵＷＢメッセージ信号を発信する時刻を保存する。Ｓ５４９では、Ｓ５４８で保存したＵＷＢメッセージ保存時刻を付加したＵＷＢメッセージ信号を発信する。
　次に、終了指示有無の判断処理（Ｓ５５０）に移行する。Ｓ５５０において、終了指示が無いと判断した場合は、Ｓ５４２に戻る。Ｓ５５０において、終了指示が有る場合は、この外部デバイスにおけるＵＷＢ接続処理を終了する（Ｓ５５１）。
　以上説明したように、図９のアドバタイズ・スキャン処理において、スキャン応答にＵＷＢデバイスＩＤを付加している。同様に、図１０のＵＷＢ接続処理において、ＵＷＢメッセージ情報にデバイス名を付加している。本実施例に適合する外部デバイスは、スキャン応答にＵＷＢデバイスＩＤを付加する処理と、ＵＷＢメッセージ情報にデバイス名を付加する処理の、少なくとも何れか一方の処理を採用すればよい。すなわち、外部デバイスの何れか一方の処理に対応して、ＨＭＤ側が外部デバイスからデバイス名かＵＷＢデバイスＩＤを取得すればよいからである。なお、どちらの処理を採用するかは、外部デバイスの仕様に基づき決定すればよい。
　ここで、Ｂｌｕｅｔｏｏｔｈデバイス情報保存２３およびＵＷＢデバイス情報保存２５で情報を保存する外部デバイス情報テーブルについて説明する。図１１は、外部デバイス情報テーブルＴ８００の一例である。
　外部デバイス情報テーブルＴ８００は、外部デバイス毎に、Ｂｌｕｅｔｏｏｔｈ関連情報とＵＷＢ関連情報が対応付けて構成される。外部デバイス番号は、ＨＭＤ１が各外部デバイスを識別するために割り振った番号である。
　Ｂｌｕｔｏｏｔｈ関連情報は、デバイス名称を示すデバイス名、機能を表すサービスＵＵＩＤ（Universally Unique Identifier）、企業識別子、デバイス固有のデバイスアドレス等で構成される。ＵＷＢ関連情報は、ＵＷＢデバイスＩＤ、ポーリング受信時刻Ｔｒｐ、レスポンス発信時刻Ｔｓｒ、メッセージ受信時刻Ｔｒｆ、ポーリング発信時刻Ｔｓｐ、ＵＷＢレスポンス受信時刻Ｔｒｒ、ＵＷＢメッセージ発信時刻Ｔｓｆ、外部デバイスまでのアンテナ毎の距離Ｄａ、Ｄｂ、Ｄｃ等で構成される。
　ここで、外部デバイスまでの距離を算出する手法について説明する。外部デバイスまでの距離は、ＵＷＢ信号到達時間により算出する。ＵＷＢ信号到達時間Ｔは、ＨＭＤ１の時刻系と外部デバイスの時刻系が同期していない（同一の時刻系でない）ことを考慮して、以下の式（１）で求めることができる。
Ｔ＝｛（Ｔｒｒ－Ｔｓｐ）－（Ｔｓｒ－Ｔｒｐ）＋
　　　（Ｔｒｆ－Ｔｓｒ）－（Ｔｓｆ－Ｔｒｒ）｝／４　…（１）
　また、ＵＷＢ信号到達時間Ｔが算出できれば、ＵＷＢ信号の伝達速度が光速ｃなので、以下の式（２）で、外部デバイスまでの距離Ｄを算出することができる。
Ｄ＝Ｔ×ｃ　…（２）
　この外部デバイスまでの距離Ｄは、ＨＭＤ１が保有するＵＷＢアンテナからの相対距離である。したがって、ＨＭＤ１には３個のＵＷＢアンテナ（右ＵＷＢアンテナ６４１、左ＵＷＢアンテナ６４２、中央ＵＷＢアンテナ６４３）が存在する場合、右ＵＷＢアンテナ６４１を用い距離Ｄａ、左ＵＷＢアンテナ６４２を用い距離Ｄｂ、中央ＵＷＢアンテナ６４３を用い距離Ｄｃ、のそれぞれが算出され、テーブルＴ８００に記憶される。
　ここで、各ＵＷＢアンテナから外部デバイスまでの距離Ｄから、ＨＭＤ１に対する外部デバイスの相対位置を算出する算出原理について説明する。図１２は、ＨＭＤ１とＵＷＢデバイスとの相対位置を算出するための算出原理を示した模式図である。ＨＭＤ１は、右ＵＷＢアンテナ６４１、中央ＵＷＢアンテナ６４３、左ＵＷＢアンテナ６４２の３個のＵＷＢアンテナを備えている。
　右ＵＷＢアンテナ６４１から外部ＵＷＢデバイスまでの直線距離７２１の円７３１と、中央ＵＷＢアンテナ６４３から外部ＵＷＢデバイスまでの直線距離７２３の円７３３と、左ＵＷＢアンテナ６４２から外部ＵＳＢデバイスまでの直線距離７２２の円７３２との交点７４５が、求める外部ＵＷＢデバイスの位置である。具体的には、中央ＵＷＢアンテナ６４３の位置から左方向に距離７４２、ＨＭＤ１の前方向に距離７４３の位置である。
　なお、中央ＵＷＢアンテナ６４３位置からの角度７４４は、以下の式（３）にて算出できる。
角度７４４＝ａｒｃｔａｎ（距離７４３／距離７４２)　…（３）
以上の算出原理により、ＨＭＤ１に対するＵＷＢデバイスとの相対位置を算出することができる。
　得られたＨＭＤ１に対するＵＷＢデバイスとの相対位置の情報は、デバイス位置情報保存２７により保存される。尚、ＵＷＢに関するプロトコルは、本実施例で説明したプロトコルに限定されず他のプロトコルでもよい。
　ここで、図５に戻り説明を継続する。サブルーチンであるＵＷＢ接続処理（Ｓ４４０）が終了すると、接続可能な外部デバイスを選択する外部デバイス選択処理（Ｓ４０２）に移行する。外部デバイス選択処理（Ｓ４０２）では、アドバタイズ・スキャン処理（Ｓ４２０）で得られた外部デバイスを選択する。具体的には、外部デバイス情報テーブルＴ８００のデバイス番号順に外部デバイスを選択する。
　次に、選択した外部デバイスの相対位置が、ＨＭＤ１の視界内に存在しているかどうかを判断する（Ｓ４０３）。具体的には、ＨＭＤ１における中央ＵＷＢアンテナ６４３の位置を起点として、左右方向の距離と前方距離、もしくは、外部デバイスまでの直線距離とその方向（前方角度）から一義的に決定している。Ｓ４０３において、選択した外部デバイスの相対位置が、ＨＭＤ１の視界内に存在していないと判断した場合は、Ｓ４０９に移行する。Ｓ４０３において、選択した外部デバイスの相対位置が、ＨＭＤ１の視界内に存在していると判断した場合は、撮影データ取得２８により撮影をする（Ｓ４０４）。このとき、外部デバイスの相対位置付近に限定して拡大撮影を行っても良い。Ｓ４０４の撮影処理は、外部デバイスを含んだ映像を撮影することを目的としている。
　次に、Ｓ４０４で撮影した撮影画面から、デバイス映像抽出２９により、外部デバイス映像の抽出処理を行う（Ｓ４０５）。一例として、外部デバイスの相対位置に存在する物体を、画像認識技術を用いて抽出すればよい。もしくは、ネットワーク経由で接続されたサーバから外部デバイスの外観情報を得てもよい。この場合は、Ｂｌｕｅｔｏｏｔｈデバイス情報保存２３により保存されたＢｌｕｅｔｏｏｔｈデバイス名やサービスＵＵＩＤをサーバに送信することで、サーバで外部デバイスの外観情報を検索することが可能となる。
　次に、外部デバイスの映像が抽出できたかどうかを判断する（Ｓ４０６）。Ｓ４０６において、外部デバイスの映像が抽出できなかったと判断した場合は、Ｓ４０９に移行する。Ｓ４０６において、外部デバイスの映像が抽出できたと判断した場合は、Ｓ４０７に移行する。
　Ｓ４０７では、抽出した外部デバイス映像の位置が、ＵＷＢ接続処理（Ｓ４４０）で検出した外部デバイスの相対位置と一致しているかどうかを判断する。Ｓ４０７において、外部デバイス映像の位置と相対位置が一致したと判断した場合は、Ｓ４０８に移行する。抽出外部デバイス映像はある程度の面積を持っているので、その範囲内に相対位置が含まれるかを判断すればよい。また、検出した相対位置情報の誤差を考慮して、一致判断する領域を広げる処理とすることも可能である。さらに、抽出した外部デバイス映像に相当する領域の距離を、距離センサ５５を用いて測定し、距離についても一致するかを判断してもよい。Ｓ４０７において、一致しなかったと判断した場合は、Ｓ４０９に移行する。
　Ｓ４０８は、撮影映像上の外部デバイス位置にＢｌｕｅｔｏｏｔｈデバイス情報であるデバイス名を重畳した映像をデバイス名重畳出力３０により生成し、映像処理部７で表示する処理である。
　ここで、外部デバイス名重畳表示の表示例を図１３に示す。図１３は、ＨＭＤ１を装着したユーザ１０が、透過型表示画面７５を介して視認している画面を示している。図１３では、外部デバイスとしてデスクトップＰＣ３０１とＨＭＤ３０２がＨＭＤ１の視界内に存在している。このときデスクトップＰＣ３０１が本実施例に適合した外部デバイスであれば、デスクトップＰＣ３０１の位置に吹き出し表示枠線３０３が重畳され、その中に外部デバイス名である「ＰＣ　ＭＸ」が示されることになる。同様に、ＨＭＤ３０２が本実施例に適合した外部デバイスであれば、ＨＭＤ３０２の位置に吹き出し表示枠線３０４が重畳され、その中に外部デバイス名である「ＨＭＤ－１００」が示される。このように、視界内の外部デバイスの位置にデバイス名が重畳表示されることにより、ユーザ１０は接続可能なデバイスを直感的に判別することができる。
　ここで、図５に戻り説明を継続する。Ｓ４０８で外部デバイス名重畳表示処理を行ったら、検出した全ての外部デバイスに対して、処理が終了したかどうかを判断する（Ｓ４０９）。Ｓ４０９において、検出した全ての外部デバイスに対しての処理が終了していないと判断した場合は、Ｓ４０２に戻る。Ｓ４０９において、検出した全ての外部デバイスに対し処理が終了したと判断した場合は、Ｓ４１０に移行する。
　Ｓ４１０は、外部デバイス選択処理３１により、ユーザ１０が接続したい外部デバイスを選択する処理である。具体的には、図１３に示すように、接続カーソル３０５を表示させ、そのカーソル位置を吹き出し表示枠線３０３もしくは３０４に移動し、選択指示を行うことにより実現する。接続カーソルの移動は、例えばユーザ１０のジェスチャ検出や、視線検出で行えばよい。また、音声による選択としてもよい。具体的には、音声処理部８の音声入力部８１から入力された音声を音声認識し、音声認識した結果を用いて選択する。例えば、ユーザ１０が音声にて「ピーシー　エムエックス」と発声すると、吹き出し表示枠線３０３内の外部デバイスと同じであることを判断し、デスクトップＰＣ３０１を選択する。
　以上で、外部デバイス選択支援処理（Ｓ４００）を終了する（Ｓ４１１）。尚、外部デバイスが選択された以降の接続処理は、一般的な通常のＢｌｕｅｔｏｏｔｈ通信による接続処理であるので、説明を省略する。
　以上説明したように、本実施例によれば、ＵＷＢ通信機能を利用し外部デバイスまでの相対距離を算出し、Ｂｌｕｅｔｏｏｔｈ通信機能を有する複数の外部デバイスの位置を把握する。そして、撮影画像から抽出した外部デバイス画像に外部デバイス識別情報を重畳して表示し、より具体的には、外部デバイスの位置にその外部デバイスのデバイス名を重畳表示する。これにより、複数のＢｌｕｅｔｏｏｔｈ通信機能を有する外部デバイスの中から、把握した外部デバイスの位置に基づき、接続したい外部デバイスの外観と識別情報を容易に特定、一致させることができる。その結果、ユーザは接続可能な外部デバイスを直感的に認識することができる。また、複数の外部デバイスが存在する場合でも、接続したい外部デバイスを簡単かつ間違えることなく選択することが可能となる。さらに、複数の外部デバイスが同一デバイス名を有する場合でも、外部デバイスの相対位置が異なっていれば、接続すべき外部デバイスを特定することができる。
　実施例１においては、接続可能な外部デバイスのデバイス名を吹き出し表示枠線３０３内に重畳表示していたが、本実施例では、重畳表示の異なる手法について説明する。なお、本実施例の基本的なハードウェア及びソフトウェア構成は実施例１と同様である。よって、本実施例では実施例１との相違点に関して主に説明し、共通する部分は説明を省略する。
　図１４Ａは、本実施例における外部デバイス名の表示例を示す模式図であり、図１３に示した画像の一部を抽出した模式図である。図１４Ａにおいて、図１３と同じ構成は同じ符号を付し、その説明は省略する。図１４Ａでは、接続可能な外部デバイスであるデスクトップＰＣ３０１のデバイス名を吹き出し表示枠線３０３の内側に配置した上、さらにデスクトップＰＣ３０１の外形を抽出し、抽出した外部デバイスが判別可能となるようにデスクトップＰＣ３０１の周囲を枠線３２４で囲み強調表示している。表示する枠線３２４は、色付き枠線やブリンク枠線などでさらに強調表示することもできる。また、図示しないが、外部デバイス全体もしくは輪郭を強調、例えば点滅やカラー化等したりすることもできる。
　また、外部デバイスの相対位置が明確に判定できない場合がある。具体的には、ＵＷＢアンテナからの直線距離円の交点が、図１２における交点７４５のように１点にならない場合である。その場合は、ＵＷＢアンテナからの直線距離円の三点の交点の中心を、外部デバイスの相対位置とすればよい。ただし、その場合は外部デバイスの相対位置の精度が低いということになるので、位置精度が低いことを示す表示に変化させてもよい。例えば、図１４Ｂに示すように、雲形吹き出し枠線３３３とすることができる。勿論、その他の識別表示でも実現できることは言うまでもない。また、前述した外部デバイスの外形の抽出精度に応じて枠線３２４の表示を変化させてもよい。
　また、複数の外部デバイスが存在し、それら外部デバイスの相対位置方向が一致してしまう場合が考えられる。その場合、ＨＭＤ１に近い外部デバイスを最前面に表示し、後方に外部デバイスが存在していることを明示するように表示する。例えば、図１４Ｃに示すように、距離の近い方の外部デバイスの吹き出し表示枠線３０３の後方に距離の遠い外部デバイスの吹き出し表示枠線３０６を配置すればよい。
　また、異なる表示手法として、図１４Ｄに示すように複数の外部デバイスが存在していることを示す吹き出し３４３とすることもできる。図１４Ｄでは、２点鎖線の吹き出し枠線３４３で複数の外部デバイスが存在することを示し、第１の網掛け領域３４４に距離の近い方の外部デバイス、第２の網掛け領域３４５に距離の遠い外部デバイスが存在することを示している。この表示手法では、第２の網掛け領域３４５を選択するとそのデバイス名を確認することができる。勿論、その他の識別表示でも実現できることは言うまでもない。これにより、複数の外部デバイスの区別が可能な表示とすることができる。
　このように、本実施例によれば、接続可能な外部デバイスの強調表示や、位置精度が低いことを示す表示、さらには、複数の外部デバイスが存在している場合の表示方法を工夫することにより、ユーザは接続可能な外部デバイスをより直感的に認識することができ、接続したい外部デバイスをより簡単に、かつ間違えることなく選択することが可能となる。
　実施例１では、ＨＭＤ１を装着したユーザ１０の視界内に存在する外部デバイスの映像が抽出できることを前提としていたが、本実施例では、外部デバイスの映像が抽出できない場合の対応について説明する。なお、本実施例の基本的なハードウェア及びソフトウェア構成は実施例１と同様である。よって、本実施例では実施例１との相違点に関して主に説明し、共通する部分は説明を省略する。
　外部デバイスの映像が抽出できない状況として、例えば外部デバイスが何らかの物体の内部に存在している場合や、他の物体に隠されている場合等の、視認できない場合が考えられる。図１５Ａは、本実施例における段ボール箱３５の中にＵＷＢ接続可能なスマートフォン３５１が存在している状態を示した模式図である。ＵＷＢは非常に広い周波数帯域を使用するので、障害物の影響を受けにくい特徴を有している。そのため、段ボール箱３５の中に存在するＵＷＢ接続可能なスマートフォン３５１に対して、段ボール箱３５の外部よりＵＷＢ接続することが可能となっている。
　本実施例における外部デバイス選択支援処理は、実施例１における図５と同様である。ただし、Ｓ４０６の外部デバイスの映像抽出判断およびＳ４０７の抽出映像と位置の一致判断処理を省略する。Ｓ４０６とＳ４０７を省略することにより、ＵＷＢ通信で検出した外部デバイスの相対位置に外部デバイス名を重畳表示することになる。
　例えば図１５Ａでは、スマートフォン３５１は直接目視できないが、デバイス名が重畳表示された破線枠線吹き出し表示３５３により、スマートフォン３５１の相対位置を示唆している。従って、ユーザ１０は、段ボール箱３５の中にスマートフォン３５１が存在していることを認識することができる。また、本実施例では、直視できる外部デバイスの場合は実線枠線吹き出し表示とし、直視できない外部デバイスの場合は破線枠線吹き出し表示としたが、この表示方法に限定するものではない。なお、Ｓ４０６とＳ４０７の処理を省略するか否かをユーザ１０が設定可能としておいてもよい。もしくは、検出した外部デバイスの相対位置より手前側に他の物体が存在することを距離センサ５５等によって検出し、他の物体が存在することが確実な場合のみにＳ４０６とＳ４０７の処理を省力するようにしてもよい。例えば、スマートフォン３５１までの距離が２ｍと検出され、段ボール箱３５の表面までの距離が１．５ｍと検出されたならば、段ボール箱３５によってスマートフォン３５１が隠されていると判断し、Ｓ４０６とＳ４０７を省略するように処理すればよい。
　以上説明したように、本実施例では、外部デバイスが他の物体の内部に存在している場合や他の物体に隠されている場合においても、外部デバイスのデバイス名を重畳表示する。よって、目視できない外部デバイスとそのデバイス名との対応が視覚的に一致し、直観的に接続可能な外部デバイスを選択することができる。
　また、外部デバイスの映像が抽出できない別の例として、ユーザ１０の視界外に外部デバイスが存在している場合が考えられる。以下、視界外に外部デバイスがある場合について説明する。
　視界外に外部デバイスがある場合の外部デバイス選択支援処理は、実施例１における図５と同様である。ただし、Ｓ４０３の外部デバイス位置の視界範囲内判断において範囲外と判断した場合も、Ｓ４０８の外部デバイス名重畳を行う。図１５Ｂは、本実施例における検出した外部デバイスの相対位置がＨＭＤ１の視界外である場合の吹き出し表示例を示す模式図である。図１５Ｂにおいて、吹き出し表示３６６の内部に外部デバイス名と、外部デバイスまでの距離と、外部デバイスの方向を示している。外部デバイスの方向は、例えばＨＭＤ１の正面を０度として示せばよい。また、吹き出し表示３６６の吹き出し方向を外部デバイスの方向に合わせると、より直感的な表示となる。なお、Ｓ４０８の処理を必ず実施するか否かをユーザ１０が設定可能としておいてもよい。
　ユーザ１０は、吹き出し表示３６６により、外部デバイスの相対位置がＨＭＤ１の前方視界内に存在しない場合においても、接続可能な外部デバイスの相対位置と方向を知ることができる。外部デバイスへの方向が分かれば、ＨＭＤ１を装着したユーザ１０は、顔の向きを外部デバイスの方向に変えることにより、外部デバイスの相対位置をＨＭＤ１の前方視界内に配置することができる。
　以上のように、本実施例によれば、外部デバイスの映像が抽出できない場合でも、外部デバイスの相対位置が把握でき、直観的に接続可能な外部デバイスを選択することができる。
　実施例１では、外部デバイスの相対値が検出できることを前提としていたが、本実施例では、相対値が検出できない外部デバイスが存在する場合の対応について説明する。なお、本実施例の基本的なハードウェア及びソフトウェア構成は実施例１と同様である。よって、本実施例では実施例１との相違点に関して主に説明し、共通する部分は説明を省略する。
　図１６は、本実施例における相対位置が検出できない外部デバイスが存在する場合の表示例を示す模式図である。図１６において、図１３と同じ構成は同じ符号を付し、その説明は省略する。図１６において、デスクトップＰＣ３０１はＵＷＢを用いた位置検出が可能であり、実施例１で示した処理によって、そのデバイス名が吹き出し表示枠線３０３内に、デスクトップＰＣ３０１の位置に合わせて重畳表示されている。一方、ＨＭＤ３０２および表示画面７５の表示領域外もしくは視界外のスマートフォンはＵＷＢを搭載していない外部デバイスである。この場合、ＨＭＤ３０２および視界外のスマートフォンは位置検出が不可能なため、それらの位置に合わせた重畳表示はできない。しかしながら、ユーザ１０がそれらの外部デバイスと接続したいという要求は考えられる。そのため、位置検出不可能な外部デバイスも、３７３および３７４のようにリスト表示を行えばよい。なお、位置検出不可能な外部デバイスの位置は不明なため、吹き出し表示枠線３０３のような位置を示唆する表示ではなく、３７３および３７４のように単なる角丸四角形のように形状に差異をつけ、表示を変更すればよい。ユーザは、外部デバイス名の表示が、吹き出し表示か単なる角丸四角形なのかで、外部デバイスの相対位置が検出できたかどうかを判断することができる。
　なお、ＨＭＤ１において、外部デバイスの一覧リストから接続したい外部デバイスを選択する、従来通りの接続用テキストメニューを準備することができる。このとき、一覧リストから位置検出が可能な外部デバイスを選択した場合は、自動で従来のテキストメニュー画面から本実施例の重畳画面表示に切り替えることも可能である。
　以上、本実施例によれば、位置検出が不可能な外部デバイスが存在する場合でも、統一したユーザインタフェースでユーザが接続したい外部デバイスを選択することができる。尚、前述の実施例と本実施例を組み合わせて実施できることは言うまでもない。
　実施例１から４では、ＨＭＤにおいてユーザが接続したい外部デバイスを選択することを前提としていたが、本実施例では、外部デバイスからＨＭＤが選択され接続される場合について説明する。なお、本実施例の基本的なハードウェア及びソフトウェア構成は実施例１と同様である。よって、本実施例では実施例１との相違点に関して主に説明し、共通する部分は説明を省略する。
　図１７は、本実施例におけるＨＭＤ１の視界内にＨＭＤ３８１を装着した人物３８が存在している様子を示した模式図である。表示画面７５に、ＨＭＤ３８１のデバイス名が吹き出し３８３として重畳表示されている。本実施例では、ユーザ１０が外部デバイスを選択するより先に、ＨＭＤ３８１を装着した人物３８が、ユーザ１０が装着しているＨＭＤ１を選択した場合を想定している。
　本実施例では、接続されたことをＨＭＤ１が検出すると、デバイス名と接続要求を受信したことを示す情報を表示し、接続元の外部デバイス（ＨＭＤ３８１）を識別できるようにする。そのために、吹き出し表示３８３を塗りつぶし表示とし、デバイス名の文字色を変更している。また、「接続要求」の表示も追加することにより、ユーザ１０は、ＨＭＤ３８１が接続元外部デバイスであることを容易に認識することができる。勿論、吹き出し表示３８３を点滅させるなど、その他の表示手法を用いてもよい。
　以上、本実施例によれば、接続元外部デバイスとそのデバイス名との対応が視覚的に一致し、直観的に接続元外部デバイスを認識することができる。
　実施例１から５では、携帯情報端末としてＨＭＤを例にして説明したが、本実施例では携帯情報端末としてスマートフォンを例にして説明する。なお、本実施例の基本的なハードウェア及びソフトウェア構成は実施例１と同様である。よって、本実施例では実施例１との相違点に関して主に説明し、共通する部分は説明を省略する。
　図１８は、本実施例におけるシステム全体の概要を説明するための模式図である。図１８において、図１におけるＨＭＤ１の代わりに、ユーザ１０がスマートフォン１８を保持し、スマートフォン１８とＢｌｕｅｔｏｏｔｈ通信が可能な外部デバイスが存在しているかどうかを探索している様子を示している。
　図１９は、携帯情報端末であるスマートフォン１８の一例を示す外観図である。図１９において、上側の図が前面、下側の図が背面を示している。スマートフォン１８は、前面にタッチパネルで構成された表示画面１８１、フロントカメラ１８２を有し、背面にリアカメラ１８４を有する。また、本実施例のスマートフォン１８には、前述の実施例におけるＨＭＤ１と同様に、正面右端に右ＵＷＢアンテナ６４４、正面左端に左ＵＷＢアンテナ６４５、正面中央上端に中央ＵＷＢアンテナ６４６を配置している。
　ユーザ１０は、スマートフォン１８を想定される外部デバイスに向け、リアカメラ１８４を用いて撮影する。撮影した映像は、スマートフォン１８の表示画面１８１に表示され、前述の実施例と同様に、外部デバイス名を吹き出し表示で重畳表示する。ＨＭＤ１での実施例では透過して見える実空間映像に重畳表示することを特徴としているが、本実施例では、撮影映像に重畳表示する。しかしながら、重畳表示後の操作及び処理アルゴリズムは、前述の実施例と同じであり、前述の実施例における効果がそのまま適用できる。
　以上、本実施例によれば、スマートフォンにおいても、外部デバイス選択支援処理を行うことができる。
　前述の実施例では、ＵＷＢを用いて外部デバイスの方向と距離を検出していたが、本実施例では、携帯情報端末がBluetoothを用いて外部デバイスの距離と方向を検出する場合について説明する。なお、本実施例の基本的なハードウェア及びソフトウェア構成は実施例１と同様である。よって、本実施例では実施例１との相違点に関して主に説明し、共通する部分は説明を省略する。
　まず外部デバイスの距離検出は、Bluetooth通信部６３における受信信号強度 (RSSI：Received Signal Strength Indicator) 値を使用して、信号減衰を計測することで、距離をある程度推定することができる。例として、Bluetoothの出力強さを示す値（TxPower）を外部デバイスから取得すれば、以下の式（４）で外部デバイスまでの距離Ｄを算出できる。
Ｄ＝10 ^ ((TxPower-RSSI)/20)　　…（４）
ここでTxPowerとRSSIの単位はdBmで、携帯情報端末と外部デバイスが自由空間、すなわち、障害物のない理想空間上に存在すると仮定した場合の計算式である。
　外部デバイスの方向検出は、Bluetoothの到来角 (ＡｏＡ：Angle of Arival）や発射角（ＡｏＤ：Angle of Departure）情報を用いることで可能になる。ＡｏＡによる手法は、単一アンテナを有する送信装置が方向検出信号を送信し、複数アンテナを有する受信装置でアンテナ間の位相差を利用して送信機の方向を検出する方法である。発信側と受信側のアンテナ間距離の違いによって受信側アンテナ毎の受信信号位相が変化することを利用する。ＡｏＤによる手法は、複数アンテナを有する送信機が方向検出信号を送信し、受信装置のアンテナで受信したＩＱ信号から受信信号の位相情報を取得し、それにより方向を検出する方法である。ＡｏＤによる手法では受信装置のアンテナは一つでよい。本実施例においては、ＡｏＡおよびＡｏＤのどちらの手法を用いてもよい。
　本実施例における携帯情報端末であるＨＭＤのハード構成ブロック図は図３と同様であるが、Bluetoothを用いて外部デバイスの距離と方向を検出するため、ＵＷＢ通信部６４を省略してもよい。さらに、本実施例の機能構成ブロック図は図４と同等である。ただし、デバイス位置算出処理２６は、Bluetooth接続処理２２によりＨＭＤ１とBluetooth通信機能を有する外部Bluetoothデバイス間で送受信を行い、そのRSSI情報から距離を算出する機能に置き換えられる。また、図３のＵＷＢ通信部６４が省略された場合は、ＵＷＢ接続処理２４およびＵＷＢデバイス情報保存２５も省略される。
　また、本実施例における外部デバイス選択支援処理のフローチャートは図５と同等である。ただし、図３のＵＷＢ通信部６４が省略された場合は、ＵＷＢ接続処理Ｓ４４０が省略される。さらに、アドバタイズ・スキャン処理Ｓ４２０において外部デバイス距離算出と保存処理が行われる。
　本実施例におけるアドバタイズ・スキャン処理Ｓ４２０のフローチャートを図２０に示す。図２０は図６と基本的に同様であるが、ＵＷＢに関する処理Ｓ４２８およびＳ４２９が省略されている。代わりに、スキャン応答受信判断Ｓ４２５でＹｅｓと判定された場合に、外部デバイス距離算出・保存Ｓ４３２が追加されている。Ｓ４３２において、前述したようにRSSI情報から外部デバイスまでの距離を算出する。さらに、ＡｏＡまたはＡｏＤによる手法を用いて外部デバイスの方向を算出し、算出した距離および方向情報を外部デバイス情報テーブルＴ８００に保存する。
　図２１は、図３のＵＷＢ通信部６４が省略された場合の外部デバイス情報テーブルＴ８００の一例である。図２１において、例えば外部デバイス番号１のデバイスは、Ｓ４３２において算出した外部デバイスまでの距離Ｄ１、外部デバイスの水平方向角度Ｐｈ１，外部デバイスの垂直方向角度Ｐｖ１が保存されている。このように外部デバイスの位置を特定できる情報を外部デバイス名と関連付けて保存しておくことで、外部デバイスの位置と一致した抽出映像に外部デバイス名を重畳表示することが可能となる。
　以上のように、本実施例によれば、無線機能としてBluetoothのみを用い、外部デバイス選択支援処理を行うことができる。
　以上、本発明による実施例を示したが、本発明は、外部デバイスの直感的かつ確実な選択を可能にすることにより、国連の提唱する持続可能な開発目標（ＳＤＧｓ：Sustainable Development Goals）の9：産業と技術革新の基盤をつくろうに貢献する。
　また、本発明は、上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、携帯情報端末として、実施例と同様な機能があれば、ＨＭＤやスマートフォン以外の携帯情報端末、例えば、タブレット、ノートパソコンを含むパソコン機器等においても、本発明が適用できる。
　また、前記実施例では、外部デバイス選択支援処理の対象として、Ｂｌｕｅｔｏｏｔｈ接続機能を有する外部デバイスを対象としていたが、無線ＬＡＮ接続機能を有する外部デバイス（具体的には、アクセスポイント）にも適用できる。Ｂｌｕｅｔｏｏｔｈ接続機能を有する外部デバイスにおいては、デバイス名を利用して選択するが、無線ＬＡＮ接続機能を有する外部デバイスにおいては、サービスセット識別子であるＳＳＩＤ（Service Set Identifier）を利用して選択する。尚、他の接続系における外部デバイスの選択においても、本発明が適用できる。
　また、ある実施例の構成の一部を他の実施例の構成と置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。これらは全て本発明の範疇に属するものである。また、文中や図中に現れる数値やメッセージ等もあくまでも一例であり、異なるものを用いても本発明の効果を損なうことはない。また、前述した本発明の機能等は、説明したソフトウェア処理に変えて、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現しても良い。また、ハードウェアとソフトウェアを併用しても良い。前記ソフトウェアは、製品出荷の時点で、予めＨＭＤ１やスマートフォン１８のプログラム部４１等に格納された状態であっても良い。製品出荷後に、インターネット上の各種サーバ装置等から取得するものであっても良い。また、メモリカードや光ディスク等で提供されるソフトウェアを取得するものであっても良い。
１：ＨＭＤ、２、９０２：主制御部、４、９０４：記憶部、５：センサ部、６、９０６：通信処理部、７：映像処理部、８：音声処理部、９：操作入力部、１６：ネットワークサーバ、１８：スマートフォン、４２：各種データ部、５１：ＧＰＳ受信部、６３：Ｂｌｕｅｔｏｏｔｈ通信部、６４、９６４：ＵＷＢ通信部、７１：撮像部、７２：表示部、７５：表示画面、１８４：リアカメラ、３０１：デスクトップＰＣ、３０３：表示枠線、６４１、６４４：右ＵＷＢアンテナ、６４２、６４５：左ＵＷＢアンテナ、６４３、６４６：中央ＵＷＢアンテナ、７１１：右カメラ、７１２：左カメラ。

Claims (17)

  1. 　外部デバイスと無線接続が可能な携帯情報端末であって、
    　前記外部デバイスと無線接続可能な第一の通信機能と第二の通信機能と、
    　前記携帯情報端末の周囲を撮影するカメラと、
    　前記カメラで撮影した映像に対し処理を行う映像処理部と、
    　前記映像処理部で処理した映像を表示するディスプレイと、
    　前記第一の通信機能で用いる前記外部デバイスの第一識別情報と、前記第二の通信機能で用いる前記外部デバイスの第二識別情報を記憶する記憶部と、
    　制御部を有し、
    　前記制御部は、前記第二の通信機能を利用して、前記携帯情報端末に対する前記外部デバイスの相対位置を算出し、
    　前記映像処理部は、前記映像において前記算出した前記外部デバイスの相対位置に前記第一識別情報を重畳した重畳映像を生成し、前記ディスプレイに表示することを特徴とする携帯情報端末。
  2. 　請求項１に記載の携帯情報端末であって、
    　前記制御部は、前記第一識別情報を前記第二の通信機能を用いても取得可能である、もしくは、前記第二識別情報を前記第一の通信機能を用いても取得可能であることを特徴とする携帯情報端末。
  3. 　請求項２に記載の携帯情報端末であって、
    　前記記憶部は、前記外部デバイス毎に前記第一識別情報と前記第二識別情報を対応付けて記憶することを特徴とする携帯情報端末。
  4. 　請求項１に記載の携帯情報端末であって、
    　前記制御部は、前記カメラで撮影した映像から前記外部デバイスの相対位置に存在する外部デバイスの外形を抽出し、
    　前記映像処理部は、前記抽出した外部デバイスが判別可能となる映像処理を行うことを特徴とする携帯情報端末。
  5. 　請求項１に記載の携帯情報端末であって、
    　前記第一の通信機能がＢｌｕｅｔｏｏｔｈ通信機能であり、前記第二の通信機能がＵＷＢ通信機能であり、
    　前記第一識別情報は、前記外部デバイスのデバイス名であることを特徴とする携帯情報端末。
  6. 　請求項１に記載の携帯情報端末であって、
    　前記映像処理部は、前記算出した外部デバイスの相対位置の精度に応じて、前記重畳映像の表示を変更することを特徴とする携帯情報端末。
  7. 　請求項４に記載の携帯情報端末であって、
    　前記映像処理部は、前記抽出した外部デバイスの外形の抽出精度に応じて、前記重畳映像の表示を変更することを特徴とする携帯情報端末。
  8. 　請求項１に記載の携帯情報端末であって、
    　前記映像処理部は、前記算出した外部デバイスの相対位置が一定領域内に複数存在する場合、複数の外部デバイスの区別が可能となるように前記重畳映像の表示を変更することを特徴とする携帯情報端末。
  9. 　請求項１に記載の携帯情報端末であって、
    　前記映像処理部は、前記算出した外部デバイスの相対位置が前記ディスプレイの表示領域外である場合、表示領域内である場合に対して前記重畳映像の表示を変更することを特徴とする携帯情報端末。
  10. 　請求項９に記載の携帯情報端末であって、
    　前記映像処理部は、前記第一識別情報と前記算出した前記外部デバイスの相対位置方向を示す重畳映像を生成することを特徴とする携帯情報端末。
  11. 　請求項１に記載の携帯情報端末であって、
    　前記映像処理部は、前記外部デバイスから接続要求を受信した場合、前記第一識別情報と前記接続要求を受信したことを示す情報を、前記外部デバイスの相対位置に重畳した重畳映像を生成することを特徴とする携帯情報端末。
  12. 　請求項１に記載の携帯情報端末であって、
    　前記外部デバイスを選択する選択部を有し、
    　前記選択部は、前記重畳された前記第一識別情報を選択する第一の選択手法と、前記無線接続可能な外部デバイスの一覧リストを表示して選択する第二の選択手法の二つの手法を処理可能であり、
    　前記制御部は、前記第二の選択手法によって選択された外部デバイスが相対位置算出可能である場合には、前記第一の選択手法に切り替えることを特徴とする携帯情報端末。
  13. 　携帯情報端末と無線接続が可能な外部デバイスであって、
    　前記携帯情報端末と無線接続可能な第一の通信機能と第二の通信機能と、
    　前記第一の通信機能で用いる第一識別情報と、前記第二の通信機能で用いる第二識別情報を記憶する記憶部を有し、
    　前記第一の通信機能により前記第一識別情報を発信し、
    　前記第二の通信機能により前記第二識別情報を発信することに加えて、
    　前記第一の通信機能により前記第二識別情報も発信することを特徴とする外部デバイス。
  14. 　請求項１３に記載の外部デバイスにおいて、
    　前記第一の通信機能と前記第二の通信機能が、それぞれＢｌｕｅｔｏｏｔｈ通信機能とＵＷＢ通信機能であるか、またはＵＷＢ通信機能とＢｌｕｅｔｏｏｔｈ通信機能であることを特徴とする外部デバイス。
  15. 　外部デバイスと無線接続が可能な携帯情報端末の情報処理方法であって、
    　前記外部デバイスと無線接続可能な第二の通信機能を利用して、前記携帯情報端末に対する前記外部デバイスの相対位置を算出し、
    　前記携帯情報端末の周囲を撮影した映像において、前記算出した前記外部デバイスの相対位置に前記外部デバイスと無線接続可能な第一の通信機能で用いる前記外部デバイスの第一識別情報を重畳した重畳映像を生成し表示することを特徴とする情報処理方法。
  16. 　携帯情報端末と無線接続が可能な外部デバイスの情報処理方法であって、
    　前記携帯情報端末と無線接続可能な第一の通信機能により該第一の通信機能で用いる第一識別情報を発信し、
    　前記携帯情報端末と無線接続可能な第二の通信機能により該第二の通信機能で用いる第二識別情報を発信することに加えて、
    　前記第一の通信機能により前記第二識別情報も発信することを特徴とする外部デバイス。
  17. 　外部デバイスと無線接続が可能な携帯情報端末であって、
    　前記外部デバイスと無線接続可能なＢｌｕｅｔｏｏｔｈ通信機能と、
    　前記携帯情報端末の周囲を撮影するカメラと、
    　前記カメラで撮影した映像に対し処理を行う映像処理部と、
    　前記映像処理部で処理した映像を表示するディスプレイと、
    　前記Ｂｌｕｅｔｏｏｔｈ通信機能で用いる前記外部デバイスのデバイス名を記憶する記憶部と、
    　制御部を有し、
    　前記制御部は、前記Ｂｌｕｅｔｏｏｔｈ通信機能を利用して、前記携帯情報端末に対する前記外部デバイスの相対位置を算出し、
    　前記映像処理部は、前記映像において前記算出した前記外部デバイスの相対位置に前記デバイス名を重畳した重畳映像を生成し、前記ディスプレイに表示することを特徴とする携帯情報端末。
PCT/JP2022/023036 2022-06-08 2022-06-08 携帯情報端末、無線接続可能な外部デバイス、及びそれらに用いる情報処理方法 WO2023238265A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/023036 WO2023238265A1 (ja) 2022-06-08 2022-06-08 携帯情報端末、無線接続可能な外部デバイス、及びそれらに用いる情報処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/023036 WO2023238265A1 (ja) 2022-06-08 2022-06-08 携帯情報端末、無線接続可能な外部デバイス、及びそれらに用いる情報処理方法

Publications (1)

Publication Number Publication Date
WO2023238265A1 true WO2023238265A1 (ja) 2023-12-14

Family

ID=89117718

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/023036 WO2023238265A1 (ja) 2022-06-08 2022-06-08 携帯情報端末、無線接続可能な外部デバイス、及びそれらに用いる情報処理方法

Country Status (1)

Country Link
WO (1) WO2023238265A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019018387A (ja) * 2017-07-12 2019-02-07 キヤノン株式会社 印刷装置、その制御方法、及びプログラム
JP2019164558A (ja) * 2018-03-19 2019-09-26 株式会社リコー 情報処理装置、プログラム、情報処理方法および情報処理システム
EP3595277A1 (en) * 2018-07-11 2020-01-15 Samsung Electronics Co., Ltd. Method of controlling electronic apparatus and computer-readable recording medium
KR20220063576A (ko) * 2020-11-10 2022-05-17 삼성전자주식회사 전자 장치 및 그 동작 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019018387A (ja) * 2017-07-12 2019-02-07 キヤノン株式会社 印刷装置、その制御方法、及びプログラム
JP2019164558A (ja) * 2018-03-19 2019-09-26 株式会社リコー 情報処理装置、プログラム、情報処理方法および情報処理システム
EP3595277A1 (en) * 2018-07-11 2020-01-15 Samsung Electronics Co., Ltd. Method of controlling electronic apparatus and computer-readable recording medium
KR20220063576A (ko) * 2020-11-10 2022-05-17 삼성전자주식회사 전자 장치 및 그 동작 방법

Similar Documents

Publication Publication Date Title
CN110463165B (zh) 信息处理装置、信息处理方法和记录介质
CN110537165B (zh) 一种显示方法及装置
EP2912514B1 (en) Head mounted display and method of outputting audio signal using the same
KR101330805B1 (ko) 증강 현실 제공 장치 및 방법
US20220405733A1 (en) Payment Method and Electronic Device
US10447841B2 (en) Wireless pairing and control using spatial location and indication to aid pairing
KR20210030180A (ko) Uwb 신호를 이용한 측위 방법 및 그 전자 장치
KR102583682B1 (ko) 전자 장치 및 증강 현실 기반의 공유 정보 표시 방법
EP2661605A1 (en) Camera enabled headset for navigation
CN108769893B (zh) 一种终端检测方法及终端
US20230284000A1 (en) Mobile information terminal, information presentation system and information presentation method
CN112134995A (zh) 一种查找应用对象的方法、终端及计算机可读存储介质
US11570745B2 (en) Positioning method and apparatus
CN110349527B (zh) 虚拟现实显示方法、装置及***、存储介质
EP4273830A1 (en) Method and apparatus for monitoring vehicle driving information
CN111399792A (zh) 一种内容共享方法及电子设备
CN111221602A (zh) 一种界面显示方法及电子设备
CN110874699B (zh) 记录物品的物流信息方法、装置及***
WO2023238265A1 (ja) 携帯情報端末、無線接続可能な外部デバイス、及びそれらに用いる情報処理方法
US20230319724A1 (en) Electronic device and operation method therefor
CN112991439B (zh) 定位目标物体的方法、装置、电子设备及介质
CN111754564B (zh) 视频展示方法、装置、设备及存储介质
KR101549027B1 (ko) 이동 단말기 및 이동 단말기의 제어방법
JP2006308493A (ja) 携帯端末装置、応答通信装置並びに被探索対象表示システム及び方法
CN108763182B (zh) 渲染歌词的方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22945772

Country of ref document: EP

Kind code of ref document: A1