WO2021181604A1 - 情報端末装置、及びそのアプリケーション動作モード制御方法 - Google Patents
情報端末装置、及びそのアプリケーション動作モード制御方法 Download PDFInfo
- Publication number
- WO2021181604A1 WO2021181604A1 PCT/JP2020/010801 JP2020010801W WO2021181604A1 WO 2021181604 A1 WO2021181604 A1 WO 2021181604A1 JP 2020010801 W JP2020010801 W JP 2020010801W WO 2021181604 A1 WO2021181604 A1 WO 2021181604A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- information terminal
- terminal device
- application
- operation mode
- linked
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
Definitions
- the present invention relates to an information terminal device and an application operation mode control method thereof.
- HMD Head Mount Display
- applications that operate on these information terminal devices include an independent operation mode that operates by one information terminal device alone and a cooperative operation mode that operates in cooperation with a plurality of information terminal devices. be.
- Patent Document 1 is a background technology in this technical field.
- Patent Document 1 has an object of providing an information processing system capable of transmitting information to a cooperation destination without deteriorating security, and a terminal device and a cooperation processing device are connected to transmit electronic data to the cooperation destination.
- An information processing system that executes cooperation processing, and transmits electronic data based on the cooperation destination management means that manages information for identifying a reliable cooperation destination and the information for identifying the reliable cooperation destination.
- An information processing system provided with a cooperation means for confirming whether the cooperation destination is a reliable cooperation destination and transmitting electronic data managed by the cooperation processing device to the cooperation destination when the cooperation destination is reliable is disclosed. There is.
- Patent Document 1 does not describe and do not consider the point of easily controlling the operation mode when the application has a mode that operates independently and a mode that operates in cooperation with the application.
- an object of the present invention is to improve usability in operation mode control of an application that performs cooperative operation with a plurality of information terminal devices.
- the present invention is, for example, an information terminal device that executes an application, and is configured to switch between an independent operation mode and a cooperative operation mode to start the application depending on the mode of the application start instruction.
- an information terminal device that can improve usability in the operation mode control of an application that performs a cooperative operation, and an application operation mode control method thereof.
- FIG. 5 is a schematic configuration diagram of an information processing system that performs a cooperative operation with a plurality of information terminal devices according to the first embodiment. It is a block diagram which shows the hardware configuration of the information terminal apparatus in Example 1. FIG. It is a functional block diagram of the information terminal apparatus in Example 1. FIG. It is explanatory drawing which shows the processing outline of the operation mode selection in Example 1. FIG. It is a processing flowchart of operation mode selection in Example 1. FIG. This is a display example of the application icon in the first embodiment. This is an error display example in the first embodiment. It is explanatory drawing which shows the processing outline of the operation mode selection in Example 3. FIG. It is a processing flowchart of operation mode selection in Example 3. It is a processing flowchart of operation mode selection in Example 4. It is a processing flowchart of operation mode selection in Example 4.
- FIG. 1 is a schematic configuration diagram of an information processing system that performs a cooperative operation with a plurality of information terminal devices in this embodiment.
- the information processing system that performs cooperative operation has a smartphone (hereinafter referred to as a smartphone) 1 (A), an HMD 1 (B), and a smart watch 1 (C) as a plurality of information terminal devices.
- a smartphone hereinafter referred to as a smartphone 1 (A)
- HMD 1 HMD 1
- C smart watch 1
- These information terminal devices are connected by communication such as Wi-Fi (registered trademark) and Bluetooth (registered trademark), and the information terminal devices necessary for cooperation are selected and linked.
- Wi-Fi registered trademark
- Bluetooth registered trademark
- FIG. 2 is a block diagram showing the hardware configuration of the information terminal device 1 in this embodiment.
- the information terminal device 1 includes a processor (controller) 101, a memory 102, a sensor device 4, a camera 6, a distance measuring sensor 7, a display device 50, a communication device 80, a voice input device 81, a voice output device 82, and an operation. It is composed of an input device 83 and a battery 84.
- the processor 101 is a controller that controls the entire information terminal device 1 according to a predetermined operation program. That is, each function is realized by software by the processor interpreting and executing an operation program that realizes each function.
- the memory 102 stores a control program 31, an application program 32, an application management information 33, a coordinate system information 34, and a display information 35 for controlling the operation of the information terminal device 1.
- the sensor device 4 is a group of sensors for detecting the position and orientation of the information terminal device 1.
- the sensor device 4 is composed of, for example, a GPS (Global Positioning System) receiving unit, a geomagnetic sensor unit, an acceleration sensor unit, a gyro sensor unit, and the like. With these sensor groups, it is possible to detect the position, tilt, direction, movement, etc. of the information terminal device 1. Further, the information terminal device 1 may further include other sensors such as an illuminance sensor, an altitude sensor, and a proximity sensor.
- the camera 6 inputs image data of the surroundings and an object by converting the light input from the lens into an electric signal using an electronic device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) sensor. It is a camera unit.
- an electronic device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) sensor. It is a camera unit.
- the distance measuring sensor 7 is a sensor capable of grasping the distance to each point of the object.
- the object is irradiated with a plurality of modulated laser beams. , Measure the distance to the object by the phase difference of the returning diffuse reflection component.
- the display device 50 is a display that provides image data to the user of the information terminal device 1, and is a display device of a liquid crystal display device or a transmissive display using, for example, a laser projector and a half mirror.
- the communication device 80 is a communication unit including a LAN (Wi-Fi) communication unit, a mobile communication unit, a Bluetooth communication unit, and the like.
- the voice input device 81 is a microphone, which converts a user's voice or the like into voice data and inputs it.
- the voice output device 82 is a speaker or earphone, and outputs voice information or the like necessary for the user.
- the operation input device 83 is an instruction input unit which is a user operation interface for inputting operation instructions to the information terminal device 1, and includes operation keys such as SWs, a power key, and a volume key, and a touch sensor such as a touch pad. Have. In addition, other operation devices may be further provided.
- FIG. 3 is a functional configuration diagram of the information terminal device in this embodiment.
- the processor 101 describes the functions executed by the expanded operation program for each function. That is, the display control unit 101A that controls the display of the display device 50 using the display information 35 on the memory 102, the data processing unit 101B that performs data processing using the coordinate system information 34 on the memory 102, and the memory 102. Data for acquiring data from the application control unit 101C that controls the application, the communication control unit 101D that controls the communication device 80, the sensor device 4, the camera 6, and the distance measuring sensor 7 using the application management information 33 of the above. It has an acquisition unit 101E and an input operation acquisition unit 101F for acquiring data from the operation input device 83.
- the application is started by switching between the independent operation mode and the cooperative operation mode according to the mode of the application start instruction.
- the mode of the application start instruction it is divided into a single start instruction and a linked start instruction depending on whether the start instruction is in the state where the information terminal device to be linked is selected.
- FIG. 4 is an explanatory diagram showing an outline of the operation mode selection process in this embodiment.
- FIG. 4 is a display screen 51 of the HMD and shows the field of view of the HMD.
- an image in real space and an image (AR object) generated by augmented reality (AR) by a computer are superimposed and displayed.
- the image in the real space is the smartphone 1 (A), and the AR object is the HMD application icons 52 and 53.
- FIG. 4 (A) shows the selection of the cooperative operation mode between the HMD and the smartphone as the operation mode of the application
- FIG. 4 (B) shows the selection of the HMD independent operation mode.
- the cross shape is the pointer 54 of the HMD, and when the application icon 52 is selected by the pointer 54 while the image of the smartphone 1 (A) and the application icon 52 are overlapped with each other, the application corresponding to the application icon 52 is selected. Is selected as the linked operation mode with the smartphone.
- the dotted line 55 around the application icon 52 is an AR object indicating a state in which the pointer 54 is aligned with the application icon 52, and the color of the application icon 52 may be changed instead of the dotted line.
- the dotted line 56 around the smartphone 1 (A) is an AR object indicating that the application icon 52 overlaps with the image of the smartphone 1 (A).
- P and W shown in the upper right indicate information terminal devices to be linked with the application corresponding to the application icons 52 and 53.
- P57 indicates a smartphone
- W58 indicates a smart watch.
- the position of the smartphone is detected by image recognition of the camera image of the HMD.
- FIG. 5 is a processing flowchart for selecting an operation mode in this embodiment.
- FIG. 5 is a processing flowchart corresponding to FIG. 4, in which the information terminal device 1X is an HMD and the information terminal device 1Y is a smartphone.
- steps S1A and S1B communication between information terminal devices to be linked is established by communication such as Bluetooth. That is, communication between the HMD and the smartphone is established.
- the application icon is displayed. That is, as shown in FIG. 6, the application icon 52 described in FIG. 4 is displayed, and P57 indicating a smartphone, which is an information terminal device to be linked with an application corresponding to the application icon 52, and W58 indicating a smart watch are displayed. indicate.
- W58 the cases where communication cannot be established due to reasons such as when the power is turned off or not at hand are indicated by diagonal lines. The color may be changed or a double line may be drawn instead of the diagonal line.
- S6A it is determined whether the information terminal device selected as the cooperation target can cooperate. For example, as shown in FIG. 6, when the smart watch W58 whose communication cannot be established is selected as the cooperation target, that is, when the application icon 52 is selected with the smart watch image and the application icon 52 superimposed, the cooperation is performed. Since it is impossible, the process proceeds to S7A and an error is displayed.
- FIG. 7 is an example of an error display, and confirms whether to execute in the independent operation mode together with a message that cannot be linked.
- S8A if the single operation mode is instructed, the process proceeds to S5A and the independent operation mode is executed. Also, if it is not an independent operation mode instruction, it ends. If you select to perform cooperation with an information terminal device that cannot be linked, you may start it independently without displaying an error, or you can display an error indicating that cooperation is not possible and stand alone without checking. You may start it. Further, a plurality of processing methods when cooperation execution is selected when cooperation is not possible may be prepared, and which processing method to be performed may be set in the information terminal device in advance by user setting.
- S9A requests the information terminal device 1Y of the cooperation destination for the cooperation mode operation, and the information terminal device 1Y side accepts the request in S2B and the information terminal device.
- the operation of the cooperative operation mode is executed by S10A of 1X and S3B of the information terminal device 1Y, respectively.
- the information terminal device to be linked is superimposed on the application icon on the display, so that the information terminal device to be linked is selected and the application activation instruction is given.
- the application activation instruction is given.
- the mode of the application start instruction depending on whether or not the application icon is selected in the state where the image of the information terminal device to be linked and the application icon overlap, it is a start instruction by itself or a start instruction by cooperation. Was carved.
- the application may be started in the independent operation mode. An example of distinguishing whether to start in the linked operation mode will be described.
- the smartphone in the case of a single tap, the smartphone is in the independent operation mode, and in the case of the double tap, the operation mode is in cooperation with the HMD.
- a triple tap may be used as a linked operation mode with the smart watch, and four consecutive taps may be used as a linked operation mode with both the HMD and the smart watch.
- the operation flow chart for selecting the operation mode in this embodiment may be the same as that in FIG. Separate between single operation mode and cooperative operation mode.
- the mode is divided into a single operation mode and a cooperative operation mode according to the number of taps.
- FIG. 8 is an explanatory diagram showing an outline of the operation mode selection process in this embodiment.
- the display screen 51 of the HMD is shown as in FIG. 4, and the same configuration as in FIG. 4 is designated by the same reference numerals, and the description thereof will be omitted.
- the difference from FIG. 4 is that the application icon 60 is a smartphone application icon displayed on the smartphone.
- the smartphone application icon 60 when the smartphone application icon 60 is selected by the HMD pointer 54, the application corresponding to the application icon 60 is selected as a cooperation candidate with the HMD.
- the dotted line 59 around the application icon 60 is an HMD AR object indicating that the application icon 60 is a selection candidate by the pointer 54.
- H and W shown in the upper right indicate information terminal devices to be linked with the application corresponding to the application icon 60.
- H61 indicates an HMD and W62 indicates a smart watch. Further, regarding W62, it is indicated by a diagonal line that it is in a state where it is not possible to cooperate with the smart watch, such as when communication cannot be established. The color may be changed or a double line may be drawn instead of the diagonal line.
- the application icon on the smartphone is specified by image recognition by the HMD.
- FIG. 9 is a processing flowchart for selecting an operation mode in this embodiment.
- FIG. 9 is a processing flowchart corresponding to FIG. 8, in which the information terminal device 1X is a smartphone and the information terminal device 1Y is an HMD.
- the same steps as in FIG. 5 are designated by the same reference numerals, and the description thereof will be omitted.
- the difference from FIG. 5 is that the information terminal device 1X is a smartphone and the information terminal device 1Y is an HMD, and the cooperation candidate instruction recognition S10B, the cooperation candidate instruction recognition S10A, and the application activation instruction recognition S11A are different. It is a point.
- the user's activation instruction is given to the smartphone. That is, in the information terminal device 1Y (HMD), when the pointer 54 is superimposed on the application icon 60 on the smartphone by the user operation in step S10B, the application corresponding to the application icon 60 is a cooperation candidate by image recognition. Recognize. Next, the information terminal device 1Y notifies the information terminal device 1X (smartphone) of the information of the application to be linked, and the information terminal device 1X indicates that the application corresponding to the application icon 60 is a cooperation candidate in step S10A. recognize. Next, in step S11A, the information terminal device 1X recognizes the application activation instruction by tapping the application icon or the like.
- the control of the information terminal device 1X branches from step S4A to S6A when the application for which the start instruction is given is a cooperation candidate with the information terminal device 1Y, and is a step if it is not a cooperation candidate. Branch from S4A to S5A. The following is the same as the flow in FIG.
- the icons are small, so when multiple icons are displayed, there is a problem that the target icons are hidden and difficult to select.
- the candidate icon is selected in advance using the HMD pointer as in this embodiment, if the deviation of the tap position is within the predetermined allowable range, the HMD By interpreting it as a start instruction to the application selected by the pointer, the icon selection on the information terminal device 1X becomes easy. In this case, even if this method is used for independent operation, the effect of improving operability can be similarly obtained.
- the target application is the target of cooperation
- the selection on the information terminal device 1X is a finger tap
- it is independent if it is a single tap, it is independent. If it is a double tap at the start, it may be started in cooperation.
- the start instruction in the cooperation operation mode is based on the fact that the application icon is selected as the cooperation candidate application from the information terminal device to be linked. I do. As a result, it is possible to control the operation mode simply and intuitively, and it is possible to improve the usability in the startup operation of the application.
- the cooperation mode operation request of the application corresponding to the application icon ( The smartphone was doing S9A).
- the cooperation mode operation request of the application is performed by the HMD.
- FIG. 10 is a processing flowchart for selecting an operation mode in this embodiment.
- the same steps as in FIG. 5 are designated by the same reference numerals, and the description thereof will be omitted.
- the difference from FIG. 5 is that the icon display setting S11B and the application start instruction recognition S12A are different.
- the information terminal device 1X is an HMD
- the information terminal device 1Y is a smartphone.
- the smartphone displays the application icon.
- the HMD activates the same application on the HMD by selecting the application icon displayed on the smartphone on the image with the pointer 54 of the HMD.
- the activation mode may be the HMD independent operation or the HMD and smartphone cooperative operation. Switching between single and cooperative is the same as in the second embodiment.
- the icons are small, so when multiple icons are displayed, there is a problem that the icons are hidden by the finger and difficult to select.
- the icon is selected on the HMD side as in this embodiment, the icon can be easily selected.
- the information terminal device that gives the application start instruction operates in cooperation. Start the app in mode.
- simple and intuitive operation mode control can be realized, and usability can be improved in the application startup operation.
- the application is started by switching between the independent operation mode and the cooperative operation mode according to the mode of the application start instruction.
- an example of shifting to the cooperation operation mode with the information terminal device by selecting the information terminal device to be linked after the application is started will be described.
- FIG. 11 is an explanatory diagram showing an outline of the operation mode transition process in this embodiment.
- the display screen 51 of the HMD is shown as in FIG. 4, and the same configuration as in FIG. 4 is designated by the same reference numerals, and the description thereof will be omitted.
- the difference from FIG. 4 is that the application on the HMD has already been started.
- the started application is set as the cooperation operation mode with the smartphone. Be selected.
- the dotted line 56 around the smartphone 1 (A) is an HMD AR object indicating that the smartphone 1 (A) is a selection candidate.
- the operation in the HMD independent operation mode is sufficient, but the AR object
- FIG. 12 is a processing flowchart for selecting an operation mode in this embodiment.
- the same steps as in FIG. 5 are designated by the same reference numerals, and the description thereof will be omitted.
- the difference from FIG. 5 is that the application independent activation instruction recognition S21A, the independent mode operation execution S22A, and the application cooperation activation instruction recognition S23A are different.
- the information terminal device 1X is an HMD
- S21A recognizes the application independent start instruction
- S22A executes the independent mode operation.
- the application cooperation activation instruction recognition S23A when the pointer 54 of the HMD is superimposed on the image of the smartphone 1 (A), it is recognized that the smartphone 1 (A) is selected, and the cooperation operation mode instruction between the HMD and the smartphone 1 (A) is instructed. Recognize that and proceed to S6A.
- the mode is set to the linked operation mode in the overlapping state of the information terminal devices to be linked with the HMD pointer.
- this embodiment an example of shifting to the cooperative operation mode by detecting the overlap of the information terminal device to be linked with the AR object displayed by the HMD instead of the pointer will be described.
- FIG. 13 is an explanatory diagram showing an outline of the operation mode transition process in this embodiment.
- the same configurations as those in FIG. 11 are designated by the same reference numerals, and the description thereof will be omitted.
- the difference from FIG. 11 is that when the AR object 63 displayed by the HMD is superimposed on the image of the smartphone 1 (A) instead of the pointer 54 of the HMD, the started application cooperates with the smartphone. This is the point selected as the operation mode.
- the information terminal device to be linked can be started as the linked operation mode for the application displaying the AR object, and the linked operation can be executed. Therefore, for example, when it is desired to process an AR object, as in this embodiment, when the smartphone is started in the cooperative operation mode by detecting the overlap of the information terminal devices to be linked with the AR object, the processing operation is performed on the smartphone. Since the AR object to be performed has been specified, there is an effect that processing on the AR object can be started immediately.
- the cooperative operation mode may not be activated by one superposition, but the cooperative operation mode may be activated by two consecutive superpositions.
- This embodiment first describes the case where the application is started in the independent operation mode on the smartphone.
- FIG. 14 is an explanatory diagram showing an outline of the operation mode transition process in this embodiment.
- the same configurations as those in FIG. 11 are designated by the same reference numerals, and the description thereof will be omitted.
- FIG. 14 (A) when the map application is running on the smartphone 1 (A), the user operates the smartphone with the HMD attached, and taps the building "E", the HMD recognizes it with the camera. , The application in the HMD starts in the linked operation mode.
- the operation in the HMD is, for example, as shown in FIG. 14 (B), an operation in which the building "E" in the outside world is enlarged and displayed, and the AR object 65 is superimposed.
- the dotted line 56 around the smartphone 1 (A) is an AR object indicating that the HMD detects the line of sight and recognizes and selects the information terminal device to be linked if there is one.
- the operation of starting the HMD application in the cooperative operation mode when the cooperation is possible may be limited. For example, scrolling may not start the HMD application, or single tap may start the HMD application by double tapping while the smartphone application remains operating independently.
- the application in the HMD can be started and executed in the cooperative operation mode by shooting the operation of the smartphone with the HMD attached.
- This embodiment describes a case where an information terminal device other than the information terminal device that independently executes the application gives a cooperative operation instruction.
- FIG. 15 is an explanatory diagram showing an outline of the operation mode transition process in this embodiment.
- the same configurations as those in FIG. 11 are designated by the same reference numerals, and the description thereof will be omitted.
- the map application is being executed on the smartphone 1 (A) and the HMD pointer 54 is aligned with the building “E” to issue a cooperation operation instruction, the cooperation operation with the smartphone is started, which is the same as in the seventh embodiment. Do the action.
- FIG. 16 is a processing flowchart for selecting an operation mode in this embodiment.
- the same steps as in FIG. 12 are designated by the same reference numerals, and the description thereof will be omitted.
- the difference from FIG. 12 is that the information terminal device 1X is a smartphone and the information terminal device 1Y is an HMD. Is different in the processing after the application cooperation activation instruction recognition S31B.
- step S32B the HMD recognizes the application cooperation start instruction by moving the pointer to the application screen of the smartphone, and the cooperation mode is in S32B.
- the operation request is sent to the smartphone of the information terminal device 1X, and the process proceeds to S33B.
- the smartphone accepts the request at S31A and proceeds to S32A.
- S32A if the cooperative operation cannot be performed because the application is not capable of the cooperative operation, the process proceeds to S34A and the independent mode operation on the smartphone is continued. If the cooperative operation mode is accepted in S32A, the process proceeds to S33A to execute the operation in the cooperative operation mode.
- the HMD proceeds to S35B and displays an error. If the cooperation operation mode acceptance is OK in S33B, the process proceeds to S34B to execute the operation in the cooperation operation mode.
- an information terminal device other than the information terminal device that executes the application independently can give a cooperative operation instruction.
- This embodiment describes a specific example in which a certain information terminal device is executing an application independently and the cooperative operation mode is activated later.
- FIG. 17 is a schematic diagram illustrating the transition to the cooperative operation mode in this embodiment.
- FIG. 17 shows an example of performing QR code (registered trademark) settlement with the HMD
- FIG. 17A is the display screen 51 of the HMD and shows the field of view of the HMD.
- the characters "Payment completed” and the key code that proves the completion of payment are displayed.
- the smartwatch 1 (C) is placed in the HMD's field of view and the selection operation is performed on the HMD or the smartwatch is tapped, the same application will be displayed on the smartwatch.
- the key code is also displayed on the smart watch.
- the key code can be presented to the clerk by the smart watch by this cooperative operation.
- the dotted line 56 around the smartwatch 1 (C) is an AR object indicating that the HMD has recognized and selected the smartwatch to be linked.
- the position of the smartwatch in the field of view of the HMD is superimposed on the position of the key code which is the information to be displayed on the watch, but the information to be displayed on the smartwatch is displayed in the execution scene of the application. If so, the position of the smartwatch can be anywhere within the HMD's field of view. On the contrary, when there is a plurality of information to be displayed on the smart watch, the position of the smart watch may be aligned with the position where the information is displayed and the selection operation may be performed as shown in FIG. 17 (A).
- This embodiment describes an example in which the application to be linked may be a display-specialized application on one of the information terminal devices in the ninth embodiment.
- the application started on the smartwatch side is an application for displaying the display contents of the HMD on the smartwatch, and may be able to cooperate with various types of HMD side applications.
- FIG. 17A when the smartwatch appearance is overlapped with the portion of the information displayed on the HMD that is desired to be displayed on the smartwatch and the selection operation is performed, the information is displayed in FIG. It is displayed on the smart watch as shown in (B).
- an index of information is displayed on the HMD, the appearance of the smartwatch is superimposed on that part, the smartwatch application is started in the linked operation mode, and the corresponding information (QR code in this case) is displayed.
- FIG. 19 is a schematic diagram illustrating the transition to the cooperative operation mode in this embodiment.
- the same configurations as those in FIG. 17 are designated by the same reference numerals, and the description thereof will be omitted.
- FIG. 19 shows an example in which the smart watch 1 (C) functions as an NFC (Near Field Communication) built-in card.
- the smartwatch-side linked application is activated by performing the selection operation so that the appearance of the smartwatch overlaps with the card name position shown on the display screen of the HMD.
- the selection operation may be on the HMD side or the smart watch side.
- the dotted frame 69 superimposed on the card name is an AR object indicating that the card is a selection candidate.
- the smart watch activates the linked application corresponding to the card B in FIG. 19 (A), and uses the smart watch to communicate with, for example, the card reader 90 and make a payment. Can be done.
- FIG. 20 is a schematic configuration diagram of an information processing system in this embodiment in which a server 1000 is added to FIG.
- direct communication is performed between the information terminal devices of the smartphone 1 (A), the HMD1 (B), and the smartwatch 1 (C).
- An information processing system that not only performs cooperation control but also sends / receives information or performs cooperation control via the server 1000.
- each information terminal device may appropriately acquire and use the application, file, and data stored on the server 1000 by communication.
- the server 1000 may execute the application on the server 1000 and provide the execution information to the information terminal device. That is, the server 1000 mediates communication between a plurality of information terminal devices or executes an application on behalf of the server 1000.
- the server 1000 may be connected to each information terminal device via communication to control cooperative operations and execute applications.
- a local server for example, a local server, a cloud server, an edge server, a net service, or the like.
- the form does not matter.
- 1 Information terminal device
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
複数の情報端末装置との連携動作を行うアプリケーションの動作モード制御において使い勝手を向上させる情報端末装置、及びそのアプリケーション動作モード制御方法を提供することを目的とする。 そのために、アプリケーションを実行する情報端末装置であって、アプリケーションの起動指示の態様により、単独動作モードと連携動作モードを切り替えてアプリケーションを起動させるように構成する。
Description
本発明は、情報端末装置、及びそのアプリケーション動作モード制御方法に関する。
近年、スマートフォンやスマートウォッチなどを代表とする情報端末装置には種々の製品が市販されており、それを利用する機会が増加している。また、情報端末装置の一つである、頭部に装着して情報を視聴するヘッドマウントディスプレイ装置(以下、HMD:Head Mount Display、と称す)は、ゲーム用途や作業支援の分野での利用が広がりつつある。
これらの情報端末装置で動作するアプリケーション(以降アプリと称する)には、1つの情報端末装置単独で動作する単独動作モードと、複数の情報端末装置と連携して動作する連携動作モードを有するものがある。
本技術分野の背景技術として特許文献1がある。特許文献1は、セキュリティを低下させることなく連携先に情報を送信することができる情報処理システムを提供することを課題として、端末装置と連携処理装置とが接続され、電子データを連携先に送信する連携処理を実行する情報処理システムであって、信頼できる連携先を特定するための情報を管理する連携先管理手段と、前記信頼できる連携先を特定するための情報に基づき、電子データを送信する連携先が信頼できる連携先であるか確認し、信頼できる連携先であるときに前記連携処理装置が管理する電子データを前記連携先に送信する連携手段を備えた情報処理システムが開示されている。
特許文献1では、アプリが単独で動作するモードと連携で動作するモードを持つ場合に、簡便に動作モードを制御する点について記載がなく、考慮されていない。
本発明は、上記課題に鑑み、複数の情報端末装置との連携動作を行うアプリの動作モード制御において使い勝手を向上させることを目的とする。
本発明は、その一例を挙げるならば、アプリケーションを実行する情報端末装置であって、アプリケーションの起動指示の態様により、単独動作モードと連携動作モードを切り替えてアプリケーションを起動させるように構成する。
本発明によれば、連携動作を行うアプリの動作モード制御において使い勝手を向上できる情報端末装置、及びそのアプリケーション動作モード制御方法を提供できる。
以下、図面を用いて本発明の実施例について説明する。
図1は、本実施例における複数の情報端末装置との連携動作を行う情報処理システムの構成模式図である。図1において、連携動作を行う情報処理システムは、複数の情報端末装置として、スマートフォン(以降スマホと称す)1(A)とHMD1(B)とスマートウォッチ1(C)を有している。これらの情報端末装置は、Wi-Fi(登録商標)やBlueTooth(登録商標)などの通信により接続され、連携に必要な情報端末装置が選択されて連携される。
図2は、本実施例における情報端末装置1のハードウェア構成を示すブロック図である。図2において、情報端末装置1は、プロセッサ(コントローラ)101、メモリ102、センサ装置4、カメラ6、測距センサ7、表示デバイス50、通信デバイス80、音声入力装置81、音声出力装置82、操作入力装置83、バッテリ84で構成される。
プロセッサ101は、所定の動作プログラムに従って情報端末装置1全体を制御するコントローラである。すなわち、プロセッサがそれぞれの機能を実現する動作プログラムを解釈して実行することによりそれぞれの機能をソフトウェアで実現する。
メモリ102は、情報端末装置1の動作を制御するための制御プログラム31、アプリケーションプログラム32、アプリ管理情報33、座標系情報34、表示情報35を記憶している。
センサ装置4は、情報端末装置1の位置や姿勢を検出するためのセンサ群である。センサ装置4は、例えばGPS(Global Positioning System)受信部、地磁気センサ部、加速度センサ部、ジャイロセンサ部等で構成される。これらのセンサ群により、情報端末装置1の位置、傾き、方角、動き、等を検出することが可能となる。また、情報端末装置1が、照度センサ、高度センサ、近接センサ等、他のセンサを更に備えていても良い。
カメラ6は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)センサ等の電子デバイスを用いてレンズから入力した光を電気信号に変換することにより、周囲や対象物の画像データを入力するカメラユニットである。
測距センサ7は、対象物の各ポイントまでの距離を把握することができるセンサであって、例えば、位相差方式(フェィズシフト方式)であれば、変調した複数のレーザ光を対象物に照射し、帰ってくる拡散反射成分の位相差で対象物との距離を測定する。
表示デバイス50は、画像データを情報端末装置1のユーザに提供するディスプレイであって、液晶表示装置や、例えばレーザープロジェクターとハーフミラー等を使った透過型ディスプレイの表示デバイスである。
通信デバイス80は、LAN(Wi-Fi)通信部やモバイル通信部、BlueTooth通信部等からなる通信部である。
音声入力装置81は、マイクであり、ユーザの声などを音声データに変換して入力する。音声出力装置82は、スピーカやイヤホンであり、ユーザに必要な音声情報等を出力する。
操作入力装置83は、情報端末装置1に対する操作指示の入力を行う、ユーザ操作インタフェースである指示入力部であり、SW類や電源キーや音量キー等の操作キーや、タッチパッドなどのタッチセンサを有する。なお、その他の操作デバイスを更に備えても良い。
図3は、本実施例における情報端末装置の機能構成図である。図3において、プロセッサ101には、展開される動作プログラムで実行する機能を機能別に記載している。すなわち、メモリ102上の表示情報35を用いて表示デバイス50の表示制御を行う表示制御部101Aと、メモリ102上の座標系情報34を用いてデータ処理を行うデータ処理部101Bと、メモリ102上のアプリ管理情報33を用いて、アプリ制御を行うアプリ制御部101Cと、通信デバイス80の制御を行う通信制御部101Dと、センサ装置4、カメラ6、測距センサ7からのデータを取得するデータ取得部101Eと、操作入力装置83からのデータを取得する入力操作取得部101Fを有する。
本実施例では、アプリを実行する情報端末装置において、アプリの起動指示の態様により、単独動作モードと連携動作モードを切り替えてアプリを起動させるようにする。具体的には、アプリ起動指示の態様として、連携対象の情報端末装置を選択した状態での起動指示かどうかで、単独での起動指示か、連携での起動指示かを切り分ける。
図4は、本実施例における動作モード選択の処理概要を示す説明図である。図4は、HMDの表示画面51でありHMDの視野を示している。表示画面51上には、実空間の映像と、コンピュータによる拡張現実(AR:Augmented Reality)の生成画像(ARオブジェクト)とを重畳させて表示している。実空間の映像は、スマホ1(A)であり、ARオブジェクトは、HMDのアプリアイコン52、53である。
図4(A)は、アプリの動作モードはHMDとスマホの連携動作モードの選択を示し、図4(B)は、HMD単独動作モードの選択を示している。
図4(A)において、十字形はHMDのポインタ54であり、スマホ1(A)の画像とアプリアイコン52が重なった状態でポインタ54によりアプリアイコン52を選択すると、アプリアイコン52に対応したアプリがスマホとの連携動作モードとして選択される。なお、アプリアイコン52の周りの点線55は、アプリアイコン52にポインタ54が合っている状態を示すARオブジェクトであり、点線ではなく例えばアプリアイコン52の色を変えてもよい。また、同様に、スマホ1(A)の周りの点線56は、アプリアイコン52がスマホ1(A)の画像と重なっていることを示すARオブジェクトである。
なお、アプリアイコン52、53において、右上に示すPやWは、アプリアイコン52、53に対応したアプリの連携対象となる情報端末装置を示している。P57はスマートフォン、W58はスマートウォッチを示している。また、スマホの位置は、HMDのカメラ画像の画像認識によって検出する。
図4(B)においては、スマホ1(A)の画像とアプリアイコン52が重なっていない状態でポインタ54によりアプリアイコン52を選択しているので、アプリアイコン52に対応したアプリはHMD単独動作モードとなる。
図5は、本実施例における動作モード選択の処理フローチャートである。図5は、図4に対応した処理フローチャートであり、情報端末装置1XはHMDであり、情報端末装置1Yはスマホである。
図5において、まずステップS1AとS1Bで、BlueTooth等の通信により連携対象となる情報端末装置どうしの通信を確立する。すなわち、HMDとスマホ間での通信を確立する。次に、S2Aで、アプリアイコンを表示する。すなわち、図6に示すように、図4で説明したアプリアイコン52を表示し、アプリアイコン52に対応したアプリの連携対象となる情報端末装置であるスマートフォンを示すP57と、スマートウォッチを示すW58を表示する。ここで、W58については、電源がOFFの場合や手元にないなどの理由で通信の確立が出来ない場合を斜線で示している。なお、斜線の代わりに色を変えたり、2重線を引いたりしてもよい。
そして、S3Aで、アプリ起動指示の認識として、ポインタ54によりアプリアイコン52を選択する際に、スマホの画像とアプリアイコン52が重なった状態であったかを認識し、S4Aで、重なった状態でなければ、S5Aに進み、単独動作モードとしてアプリアイコン52に対応したアプリを実行する。
一方、S4Aで、重なった状態であれば連携動作モードであるとして、S6Aに進む。S6Aでは連携対象として選択された情報端末装置が連携可能かを判断する。例えば、図6に示すように、通信確立が出来ないスマートウォッチW58を連携対象として選択した場合、すなわち、スマートウォッチの画像とアプリアイコン52を重ねた状態でアプリアイコン52を選択した場合、連携は不可能であるので、S7Aに進み、エラー表示を行なう。図7はエラー表示の例であり、連携不可であるメッセージとともに、単独動作モードで実行するかの確認を行う。そして、S8Aで、単独動作モード指示であればS5Aに進み単独動作モードを実行する。また、単独動作モード指示でなければ終了とする。なお、連携不可の情報端末装置との連携実行を選択した場合は、エラー表示することなく単独起動にしてもよいし、連携不可であることを表示するエラー表示をして確認を行うことなく単独起動にしてもよい。さらに、連携不可の場合に連携実行を選択した場合の処理方法を複数準備し、どの処理方法を行うか、予め、ユーザ設定により、情報端末装置に設定できるようにしておいてもよい。
そして、S6Aで連携可能である場合は、S9Aに進み、S9Aで連携先の情報端末装置1Yに連携モード動作の要求を行ない、情報端末装置1Y側は、S2Bでその要求を受け入れ、情報端末装置1XのS10A、及び、情報端末装置1YのS3Bでそれぞれ連携動作モードの動作を実行する。
以上のように、本実施例では、アプリを実行する情報端末装置において、連携対象の情報端末装置をアプリアイコンと表示上で重ねることで連携対象の情報端末装置を選択した状態としてアプリの起動指示を行ったかどうかで、単独での起動指示か、連携での起動指示かを切り分ける。これにより、簡便で直感的な動作モードの制御を実現でき、アプリの起動動作において使い勝手を向上させることが可能となる。
実施例1では、アプリ起動指示の態様として、連携対象の情報端末装置の画像とアプリアイコンが重なった状態でアプリアイコンを選択するかどうかで、単独での起動指示か、連携での起動指示かを切り分けた。これに対して、本実施例では、アプリ起動指示の態様として、アプリ起動時のアプリアイコンの所定時間間隔以下で連続する選択動作の回数(クリックやタップ等)により、単独動作モードによる起動か、連携動作モードによる起動かを切り分ける例について説明する。
本実施例では、例えば、スマートフォン上のアプリアイコンにおいて、シングルタップの場合は、スマートフォンの単独動作モードであり、ダブルタップの場合は、HMDとの連携動作モードとする。さらにトリプルタップで、スマートウォッチとの連携動作モードとし、4回の連続タップでHMD、スマートウォッチの両者との連携動作モードとしてもよい。
本実施例における動作モード選択の処理フローチャートは、図5と同様でよく、図5における、ステップS3Aで、アプリ起動指示の認識として、ポインタによりアプリアイコンを選択する際に、クリックする選択回数により、単独動作モードか連携動作モードかを切り分ける。なお、ポインタの変わりに、指のタップ(親指と人差し指)で選択する場合は、タップ数に応じて単独動作モードか連携動作モードかを切り分ける。
以上のように、本実施例では、アプリを実行する情報端末装置において、アプリ起動時のアプリアイコンの連続する選択回数により、単独での起動指示か、連携での起動指示かを切り分ける。これにより、簡便で直感的な動作モードの制御を実現でき、アプリの起動動作において使い勝手を向上させることが可能となる。
実施例1では、アプリを実行する情報端末装置であるHMD側のアプリアイコンを選択することで、単独か連携かの起動指示を行った。これに対して、本実施例では、連携対象の情報端末装置に表示されるアプリアイコンを選択することにより、連携動作モードでの起動指示を行う例について説明する。
図8は本実施例における動作モード選択の処理概要を示す説明図である。図8においては、図4と同様にHMDの表示画面51を示しており、図4と同じ構成は同じ符号を付し、その説明は省略する。図8において、図4と異なる点は、アプリアイコン60がスマホ上に表示されたスマホのアプリアイコンである点である。
図8において、スマホのアプリアイコン60をHMDのポインタ54により選択すると、アプリアイコン60に対応したアプリがHMDとの連携候補として選択される。なお、アプリアイコン60の周りの点線59は、アプリアイコン60がポインタ54により選択候補になっていることを示すHMDのARオブジェクトである。
なお、アプリアイコン60において、右上に示すHやWは、アプリアイコン60に対応したアプリの連携対象となる情報端末装置を示している。H61はHMD、W62はスマートウォッチを示している。また、W62については、通信の確立が出来ない場合等スマートウォッチとの連携動作ができない状態であることを斜線で示している。なお、斜線の代わりに色を変えたり、2重線を引いたりしてもよい。また、スマホ上のアプリアイコンは、HMDにより画像認識にて特定する。
図9は、本実施例における動作モード選択の処理フローチャートである。図9は、図8に対応した処理フローチャートであり、情報端末装置1Xはスマホであり、情報端末装置1YはHMDである。図9において、図5と同じステップは同じ符号を付し、その説明は省略する。図9において、図5と異なる点は、情報端末装置1Xはスマホであり、情報端末装置1YはHMDである点と、連携候補指示認識S10B、連携候補指示認識S10A、アプリ起動指示認識S11Aが異なる点である。
図9において、ユーザの起動指示はスマホに対して行う。すなわち、情報端末装置1Y(HMD)は、ステップS10Bにおいて、ユーザ操作によりポインタ54がスマホ上のアプリアイコン60に重ねられると、画像認識によりアプリアイコン60に対応するアプリが連携候補になっていることを認識する。次に情報端末装置1Yは連携対象アプリの情報を情報端末装置1X(スマホ)に通知し、情報端末装置1Xは、ステップS10Aにおいて、アプリアイコン60に対応するアプリが連携候補となっていることを認識する。次に情報端末装置1Xは、ステップS11Aにおいて、アプリアイコンに対するタップ等によりアプリの起動指示を認識する。起動指示認識後、情報端末装置1Xの制御は、起動指示のあったアプリが、情報端末装置1Yとの連携候補になっている場合は、ステップS4AからS6Aに分岐し、連携候補でない場合はステップS4AからS5Aに分岐する。以下は図5での流れと同様である。
また、情報端末装置1Xがスマートウォッチの場合は、アイコンが小さくなるので、複数のアイコンを表示した場合に、対象となるアイコンが隠れて選択がし難いという問題がある。それに対して、本実施例のようにHMDのポインタを使用して、候補となるアイコンを予め選択しておけば、タップ位置のずれが、予め定めておいた許容範囲内であれば、HMDのポインタで選択したアプリへの起動指示である、と解釈することにより、情報端末装置1Xでのアイコン選択が容易になる。この場合、単独動作のためにこの方法を用いても、操作性改善の効果が同様に得られる。
また、単独起動指示か、連携起動指示かは、対象とするアプリが連携対象となっていることの他、例えば情報端末装置1Xでの選択が指のタップである場合、シングルタップならば、単独起動で、ダブルタップならば、連携起動、というように行なってもよい。
以上のように、本実施例では、アプリの起動指示を行う情報端末装置において、連携対象の情報端末装置から、アプリアイコンが連携候補アプリとして選択されていることに基づき連携動作モードでの起動指示を行う。これにより、簡便で直感的は動作モードの制御を実現でき、アプリの起動動作において使い勝手を向上させることが可能となる。
実施例3では、アプリの起動指示を行う情報端末装置において、連携対象の情報端末装置(スマホ)に表示されるアプリアイコンを選択することにより、そのアプリアイコンに対応するアプリの連携モード動作要求(S9A)をスマホが行っていた。これに対して、本実施例では、アプリの連携モード動作要求をHMDで行う例について説明する。
図10は、本実施例における動作モード選択の処理フローチャートである。図10において、図5と同じステップは同じ符号を付し、その説明は省略する。図10において、図5と異なる点は、アイコン表示設定S11Bと、アプリ起動指示認識S12Aが異なる点である。
図10において、情報端末装置1XはHMDであり、情報端末装置1Yはスマホである。
S11Bでスマホはアプリアイコンを表示する。S12Aでは、HMDはスマホ上に表示されたアプリアイコンをHMDのポインタ54により画像上で選択することにより、HMD上の同じアプリを起動する。
起動のモードはHMD単独動作であっても、HMDとスマホの連携動作であってもよい。単独と連携の切替えは実施例2と同じである。
また、情報端末装置1Yがスマートウォッチの場合は、アイコンが小さくなるので、複数のアイコンを表示した場合に、指でアイコンが隠れて選択がし難いという問題がある。それに対して、本実施例のようにHMD側でアイコンを選択すると、アイコンの選択が容易になる。
以上のように、本実施例では、アプリの起動指示を行う情報端末装置において連携対象の情報端末装置に表示されるアプリアイコンを選択することにより、アプリの起動指示を行う情報端末装置において連携動作モードでのアプリ起動を行う。これにより、簡便で直感的な動作モードの制御を実現でき、アプリの起動動作において使い勝手を向上させることが可能となる。
以上説明した実施例1乃至4では、アプリ起動指示の態様により、単独動作モードと連携動作モードを切り替えてアプリを起動させるようにした。本実施例では、アプリ起動後に、連携対象としたい情報端末装置を選択することにより、その情報端末装置との連携動作モードに移行する例について説明する。
図11は本実施例における動作モード移行の処理概要を示す説明図である。図11においては、図4と同様にHMDの表示画面51を示しており、図4と同じ構成は同じ符号を付し、その説明は省略する。図11において、図4と異なる点は、HMD上でのアプリが起動済みである点である。
図11において、アプリ起動後に、連携対象としたい情報端末装置を選択するために、HMDのポインタ54をスマホ1(A)の画像と重ねると、起動済みのアプリが、スマホとの連携動作モードとして選択される。なお、スマホ1(A)の周りの点線56は、スマホ1(A)が選択候補になっていることを示すHMDのARオブジェクトである。
本実施例の利用例としては、例えば、HMDにおいて、あるARオブジェクトを表示し、その位置を調整する等の簡単な処理であればHMD単独動作モードでの動作で十分であるが、ARオブジェクトの変形を行いたい場合等、高度な編集を行う場合は、入力機能の高いスマホにおいてアプリを連携動作モードで起動してスマホを利用して入力操作を行うことで操作がやりやすくなるという場合が考えられる。
図12は、本実施例における動作モード選択の処理フローチャートである。図12において、図5と同じステップは同じ符号を付し、その説明は省略する。図12において、図5と異なる点は、アプリ単独起動指示認識S21A、単独モード動作実行S22A、アプリ連携起動指示認識S23Aが異なる点である。
図12において、情報端末装置1XはHMDであり、S21Aでアプリ単独起動指示を認識し、S22Aで単独モード動作を実行している。そして、アプリ連携起動指示認識S23Aでは、HMDのポインタ54をスマホ1(A)の画像に重ねると、スマホ1(A)を選択したと認識し、HMDとスマホ1(A)の連携動作モード指示と認識してS6Aへ進む。
以上のように、本実施例では、アプリ起動後に、連携対象としたい情報端末装置を選択することにより、その情報端末装置との連携動作モードに移行することが出来、簡便で直感的な動作モードの制御を実現でき、使い勝手を向上させることが可能となる。
実施例5では、HMDのポインタと連携したい情報端末装置の重なり状態で、連携動作モードに移行するようにした。これに対して、本実施例では、ポインタの代わりにHMDで表示しているARオブジェクトと連携したい情報端末装置の重なりを検知することで連携動作モードに移行する例について説明する。
図13は本実施例における動作モード移行の処理概要を示す説明図である。図13においては、図11と同じ構成は同じ符号を付し、その説明は省略する。図13において、図11と異なる点は、HMDのポインタ54の代わりに、HMDで表示しているARオブジェクト63をスマホ1(A)の画像と重ねると、起動済みのアプリが、スマホとの連携動作モードとして選択される点である。
本実施例によれば、HMDのポインタの位置によらず、そのARオブジェクトを表示しているアプリに対して、連携したい情報端末装置を連携動作モードとして起動し連携動作を実行できる。よって、例えば、ARオブジェクトの加工を行いたい場合、本実施例のように、ARオブジェクトと連携したい情報端末装置の重なりを検知することで連携動作モードによりスマホを起動した場合、スマホで加工操作を行いたいARオブジェクトが特定できているので、すぐにARオブジェクトに対する加工を開始できるという効果がある。
なお、1回の重ね合わせでは連携動作モードの起動はせず、2回連続の重ね合わせで連携動作モードの起動としてもよい。
本実施例は、先にスマホでアプリが単独動作モードで起動している場合について説明する。
図14は本実施例における動作モード移行の処理概要を示す説明図である。図14において、図11と同じ構成は同じ符号を付し、その説明は省略する。図14(A)において、スマホ1(A)で地図アプリが起動していて、ユーザがHMDを装着した状態でスマホを操作し、「E」という建物をタップすると、HMDはカメラで認識して、HMD内のアプリが連携動作モードで起動する。HMDでの動作は、例えば、図14(B)に示すように、外界の「E」という建物を拡大表示してARオブジェクト65を重畳させるような動作である。
なお、スマホ1(A)の周りの点線56は、HMDが視線検出して連携対象の情報端末装置があれば認識、選択されたことを示すARオブジェクトである。
また、スマホアプリでの操作において、連携可能な時にHMDアプリを連携動作モードで起動する操作を限定してもよい。例えば、スクロールではHMDアプリを起動させないとしてもよいし、シングルタップでは、スマホアプリの単独動作のままで、ダブルタップで、HMDアプリの起動を行うとしてもよい。
本実施例によれば、スマホでアプリが単独動作モードで起動している場合に、HMDを装着した状態でスマホの操作を撮影することで、HMD内のアプリが連携動作モードで起動実行できる。
本実施例は、アプリの単独実行をしている情報端末装置以外の情報端末装置が、連携動作指示を行う場合について説明する。
図15は本実施例における動作モード移行の処理概要を示す説明図である。図15において、図11と同じ構成は同じ符号を付し、その説明は省略する。図15において、スマホ1(A)で地図アプリを実行中に、HMDのポインタ54を建物「E」に合わせて連携動作指示を出すと、スマホと連携動作を開始し、実施例7と同様の動作を行う。
図16は、本実施例における動作モード選択の処理フローチャートである。図16において、図12と同じステップは同じ符号を付し、その説明は省略する。図16において、図12と異なる点は、情報端末装置1Xはスマホであり、情報端末装置1YはHMDである点と、情報端末装置1Xにおいては連携要求対応S31A以降の処理、情報端末装置1Yにおいてはアプリ連携起動指示認識S31B以降の処理が異なる点である。
図16において、ステップS22Aでスマホが単独モード動作を実行している前提であって、ステップS31Bで、HMDがスマホのアプリ画面にポインタを合わせる等によりアプリ連携起動指示を認識し、S32Bで連携モード動作要求を情報端末装置1Xのスマホに行ない、S33Bに進む。スマホは、S31Aでその要求を受け入れ、S32Aに進む。S32Aでは、連携動作ができるアプリではない等の理由で連携動作ができない場合は、S34Aに進みスマホでの単独モード動作を継続する。S32Aで、連携動作モード受入れOKの場合は、S33Aに進み連携動作モードの動作を実行する。
また、HMDは、S33Bで、S32Aと同様に連携動作ができるアプリではない等の理由で連携動作ができない場合は、S35Bに進み、エラー表示を行う。S33Bで、連携動作モード受入れOKの場合は、S34Bに進み連携動作モードの動作を実行する。
本実施例によれば、アプリが単独動作モードで起動している場合に、アプリの単独実行をしている情報端末装置以外の情報端末装置が、連携動作指示を行うことが出来る。
本実施例は、ある情報端末装置が単独でアプリの実行をしていて、後から連携動作モードを起動する場合の具体例について説明する。
図17は本実施例における連携動作モード移行を説明する概略図である。図17は、HMDでQRコード(登録商標)決済を行う例を示しており、図17(A)は、HMDの表示画面51でありHMDの視野を示している。また、支払いを終了した時点であり、”支払い完了”の文字と決済終了の証拠となるキーコードが表示されている。この状態で、スマートウォッチ1(C)がHMDの視野に入るようにして、HMDで選択動作を行うか、スマートウォッチをタップする等、スマートウォッチで選択動作を行うと、スマートウォッチでも同じアプリが連携動作モードで起動し、図17(B)に示すように、スマートウォッチにもキーコードを表示する。本実施例では、外部に情報を提示できないHMDの場合、この連携動作により、スマートウォッチで店員にキーコードを提示することができる。
なお、スマートウォッチ1(C)の周りの点線56は、HMDが連携対象のスマートウォッチを認識、選択されたことを示すARオブジェクトである。
また、図17(A)では、HMDの視野内におけるスマートウォッチの位置を、ウォッチに表示したい情報であるキーコードの位置で重ねたが、そのアプリの実行場面において、スマートウォッチに表示する情報が決まっている場合には、スマートウォッチの位置はHMDの視野内に入っていればどこでもよい。逆に、スマートウォッチで表示したい情報が複数ある場合は、図17(A)のように、その情報が表示されている位置にスマートウォッチの位置を合わせて選択動作を行えばよい。
本実施例は、実施例9において、連携するアプリが、一方の情報端末装置において、表示専門のアプリでもよい例について説明する。
図17において、スマートウォッチ側で起動するアプリがHMDの表示内容をスマートウォッチで表示するためのアプリであり、色々な種類のHMD側のアプリと連携できるものでもよい。
この場合、図17(A)のように、HMDに表示されている情報の中で、スマートウォッチに表示したい部分にスマートウォッチ外観が重なるようにして、選択動作を行うと、その情報が図17(B)のようにスマートウォッチに表示される。
一方、図18のように、HMDに情報のインデックスを表示し、その部分にスマートウォッチ外観を重ねてスマートウォッチのアプリを連携動作モードで起動して対応する情報(ここではQRコード)を表示してもよい。ここではスマートウォッチに店舗側にスキャンをしてもらうQRコードを表示する例である。
本実施例は、実施例9において、連携動作の機能が表示以外の機能でもよい例について説明する。
図19は本実施例における連携動作モード移行を説明する概略図である。図19において、図17と同じ構成は同じ符号を付し、その説明は省略する。
図19は、スマートウォッチ1(C)がNFC(Near Field Communication)内蔵カードとして機能する例を示している。図19(A)に示すように、HMDの表示画面中に示されたカード名位置に、スマートウォッチ外観が重なるようにして選択動作をすることにより、スマートウォッチ側の連携アプリが起動する。選択動作は、HMD側でもスマートウォッチ側でもよい。カード名に重畳された点線の枠69はそのカードが選択候補になっていることを示すARオブジェクトである。
スマートウォッチ外観に、HMDの表示項目が複数重なる場合は、スマートウォッチ外観の所定位置(例えば中心位置)により近い表示項目を選択しているものとする。
図19(B)に示すように、スマートウォッチは図19(A)でカードBに対応した連携アプリを起動し、そのスマートウォッチを用いて例えばカードリーダ90とのやり取りを行い、支払いを行うことが出来る。
図20は、図1に対してサーバ1000を追加した、本実施例における情報処理システムの構成模式図である。
本実施例は、図20に示すように、前述した全実施例において、スマートフォン1(A)、HMD1(B)、スマートウォッチ1(C)の各々の情報端末装置の間において、直接の通信で連携制御を行うのみならず、サーバ1000経由により情報の送受信または連携制御を行う情報処理システムとする。また、各情報端末装置は、サーバ1000上に格納されたアプリおよびファイル、データを、適宜通信により取得して使用してもよい。また、前述した各実施例によりアプリの実行を選択した情報端末装置に代わり、サーバ1000がサーバ1000上でアプリを実行し、実行情報を情報端末装置に提供してもよい。すなわち、サーバ1000は、複数の情報端末装置間の通信の媒介、またはアプリの代行実行を行う。
なお、サーバ1000は、各情報端末装置と通信を介して接続して連携動作の制御や、アプリの実行が出来ればよく、例えば、ローカルサーバ、クラウドサーバ、エッジサーバ、ネットサービス等であり、その形態は問わない。
以上実施例について説明したが、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
1:情報端末装置、1(A):スマートフォン(スマホ)、1(B):HMD(ヘッドマウントディスプレイ装置)、1(C):スマートウォッチ、101:プロセッサ(コントローラ)、102:メモリ、4:センサ装置、6:カメラ、7:測距センサ、50:表示デバイス、80:通信デバイス、51:HMDの表示画面、52、53:HMDのアプリアイコン、54:HMDのポインタ、60:スマホのアプリアイコン、63、65:ARオブジェクト、83:操作入力装置、90:カードリーダ、1000:サーバ
Claims (15)
- アプリケーションを実行する情報端末装置であって、
前記アプリケーションの起動指示の態様により、単独動作モードと連携動作モードを切り替えて前記アプリケーションを起動させることを特徴とする情報端末装置。 - 請求項1に記載の情報端末装置であって、
前記起動指示の態様による制御は、前記アプリケーションの起動制御が、ユーザの視線方向において前記情報端末装置の表示内容と連携対象の第2の情報端末装置の外観が重なるかどうかを判別して行われることを特徴とする情報端末装置。 - 請求項1に記載の情報端末装置であって、
前記起動指示の態様は、前記アプリケーションの起動指示がアプリアイコンの選択であり、所定時間間隔以下で連続する選択動作の回数であることを特徴とする情報端末装置。 - 請求項1に記載の情報端末装置であって、
前記アプリケーションの起動指示と同時に、連携対象とする第2の情報端末装置の選択指示を行うことにより、連携動作モードにて前記アプリケーションを起動させることを特徴とする情報端末装置。 - 請求項2に記載の情報端末装置であって、
前記情報端末装置の表示内容はアプリアイコンであって、該アプリアイコンが、連携対象となる第2の情報端末装置の表記と、該第2の情報端末装置が連携可能状態であるかどうかの表記を含んでいることを特徴とする情報端末装置。 - アプリケーションを実行する情報端末装置であって、
該情報端末装置に表示されるアプリアイコンを連携対象の第2の情報端末装置によって選択されることで連携動作モードにて前記アプリケーションを起動させることを特徴とする情報端末装置。 - アプリケーションを実行する情報端末装置であって、
連携対象の第2の情報端末装置に表示されるアプリアイコンを選択することで連携動作モードにより前記アプリケーションを起動させることを特徴とする情報端末装置。 - アプリケーションを実行する情報端末装置であって、
前記アプリケーションの起動後、連携対象とする第2の情報端末装置の選択指示を行うことにより、該第2の情報端末装置との連携動作モードを開始することを特徴とする情報端末装置。 - 請求項8に記載の情報端末装置であって、
前記選択指示は、ユーザの視線方向において前記情報端末装置のポインタと前記第2の情報端末装置の外観が重なるかどうかを判別して行われることを特徴とする情報端末装置。 - 請求項8に記載の情報端末装置であって、
前記選択指示は、ユーザの視線方向において前記情報端末装置の表示内容と前記第2の情報端末装置の外観が重なるかどうかを判別して行われることを特徴とする情報端末装置。 - 情報端末装置のアプリケーション動作モード制御方法であって、
アプリケーションの起動指示の態様により、単独動作モードと連携動作モードを切り替えて前記アプリケーションを起動させることを特徴とする情報端末装置のアプリケーション動作モード制御方法。 - 請求項11に記載の情報端末装置のアプリケーション動作モード制御方法であって、
前記起動指示の態様による制御は、前記アプリケーションの起動制御が、ユーザの視線方向において前記情報端末装置の表示内容と連携対象の第2の情報端末装置の外観が重なるかどうかを判別して行われることを特徴とする情報端末装置のアプリケーション動作モード制御方法。 - 請求項11に記載の情報端末装置のアプリケーション動作モード制御方法であって、
前記起動指示の態様は、前記アプリケーションの起動指示がアプリアイコンの選択であり、所定時間間隔以下で連続する選択動作の回数であることを特徴とする情報端末装置のアプリケーション動作モード制御方法。 - アプリケーションの実行機能を有する複数の情報端末装置と、前記複数の情報端末装置間の連携を制御する機能を有するサーバを備え、
前記情報端末装置は、前記アプリケーションの起動指示の態様により、サーバを経由して単独動作モードと連携動作モードを切り替えて前記アプリケーションを起動させることを特徴とする情報処理システム。 - アプリケーションの実行機能を有する複数の情報端末装置と、前記複数の情報端末装置間の連携を制御する機能を有するサーバを備える情報処理システムにおける前記サーバであって、
前記情報端末装置が、前記アプリケーションの起動指示の態様により、単独動作モードと連携動作モードを切り替えて前記アプリケーションの起動を制御する際に、前記複数の情報端末装置間の通信の媒介、またはアプリケーションの代行実行を行うことを特徴とするサーバ。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/910,445 US20230124173A1 (en) | 2020-03-12 | 2020-03-12 | Information terminal device and application operation mode control method of same |
JP2022507112A JPWO2021181604A1 (ja) | 2020-03-12 | 2020-03-12 | |
CN202080098363.7A CN115280282A (zh) | 2020-03-12 | 2020-03-12 | 信息终端装置及其应用动作模式控制方法 |
PCT/JP2020/010801 WO2021181604A1 (ja) | 2020-03-12 | 2020-03-12 | 情報端末装置、及びそのアプリケーション動作モード制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/010801 WO2021181604A1 (ja) | 2020-03-12 | 2020-03-12 | 情報端末装置、及びそのアプリケーション動作モード制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021181604A1 true WO2021181604A1 (ja) | 2021-09-16 |
Family
ID=77671462
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/010801 WO2021181604A1 (ja) | 2020-03-12 | 2020-03-12 | 情報端末装置、及びそのアプリケーション動作モード制御方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230124173A1 (ja) |
JP (1) | JPWO2021181604A1 (ja) |
CN (1) | CN115280282A (ja) |
WO (1) | WO2021181604A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023119528A1 (ja) * | 2021-12-22 | 2023-06-29 | マクセル株式会社 | ヘッドマウントディスプレイ装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4339873A4 (en) * | 2021-11-09 | 2024-05-01 | Samsung Electronics Co., Ltd. | METHOD AND APPARATUS FOR PROVIDING CONTENT RELATED TO AN AUGMENTED REALITY SERVICE BETWEEN AN ELECTRONIC DEVICE AND A PORTABLE ELECTRONIC DEVICE |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013003742A (ja) * | 2011-06-14 | 2013-01-07 | Sharp Corp | データ送信操作機器、および、データ送信制御方法 |
JP2013021632A (ja) * | 2011-07-14 | 2013-01-31 | Denso Corp | 車両用通信システム、携帯通信端末、および、車両用機器 |
WO2014006758A1 (ja) * | 2012-07-06 | 2014-01-09 | パイオニア株式会社 | 情報処理方法 |
WO2014162762A1 (ja) * | 2013-04-02 | 2014-10-09 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2015022457A (ja) * | 2013-07-18 | 2015-02-02 | 日本電信電話株式会社 | アプリケーション実行制御装置、アプリケーション実行制御方法およびアプリケーション実行制御プログラム |
JP2015099978A (ja) * | 2013-11-18 | 2015-05-28 | コニカミノルタ株式会社 | 携帯情報端末およびアプリケーション |
JP2015126467A (ja) * | 2013-12-27 | 2015-07-06 | 日立マクセル株式会社 | 携帯情報端末、放送受信装置、及びシステム |
US20150319364A1 (en) * | 2012-05-22 | 2015-11-05 | Zte Corporation | Method and device for switching between double cameras |
JP2016126687A (ja) * | 2015-01-08 | 2016-07-11 | セイコーエプソン株式会社 | ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム |
US20190391716A1 (en) * | 2018-06-25 | 2019-12-26 | Google Llc | Identifying and controlling smart devices |
WO2020003361A1 (ja) * | 2018-06-25 | 2020-01-02 | マクセル株式会社 | ヘッドマウントディスプレイ、ヘッドマウントディスプレイ連携システム及びその方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11032532B2 (en) * | 2018-10-04 | 2021-06-08 | Samsung Electronics Co., Ltd. | Electronic device and method for providing virtual device via at least portion of content |
-
2020
- 2020-03-12 WO PCT/JP2020/010801 patent/WO2021181604A1/ja active Application Filing
- 2020-03-12 US US17/910,445 patent/US20230124173A1/en active Pending
- 2020-03-12 CN CN202080098363.7A patent/CN115280282A/zh active Pending
- 2020-03-12 JP JP2022507112A patent/JPWO2021181604A1/ja active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013003742A (ja) * | 2011-06-14 | 2013-01-07 | Sharp Corp | データ送信操作機器、および、データ送信制御方法 |
JP2013021632A (ja) * | 2011-07-14 | 2013-01-31 | Denso Corp | 車両用通信システム、携帯通信端末、および、車両用機器 |
US20150319364A1 (en) * | 2012-05-22 | 2015-11-05 | Zte Corporation | Method and device for switching between double cameras |
WO2014006758A1 (ja) * | 2012-07-06 | 2014-01-09 | パイオニア株式会社 | 情報処理方法 |
WO2014162762A1 (ja) * | 2013-04-02 | 2014-10-09 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2015022457A (ja) * | 2013-07-18 | 2015-02-02 | 日本電信電話株式会社 | アプリケーション実行制御装置、アプリケーション実行制御方法およびアプリケーション実行制御プログラム |
JP2015099978A (ja) * | 2013-11-18 | 2015-05-28 | コニカミノルタ株式会社 | 携帯情報端末およびアプリケーション |
JP2015126467A (ja) * | 2013-12-27 | 2015-07-06 | 日立マクセル株式会社 | 携帯情報端末、放送受信装置、及びシステム |
JP2016126687A (ja) * | 2015-01-08 | 2016-07-11 | セイコーエプソン株式会社 | ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム |
US20190391716A1 (en) * | 2018-06-25 | 2019-12-26 | Google Llc | Identifying and controlling smart devices |
WO2020003361A1 (ja) * | 2018-06-25 | 2020-01-02 | マクセル株式会社 | ヘッドマウントディスプレイ、ヘッドマウントディスプレイ連携システム及びその方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023119528A1 (ja) * | 2021-12-22 | 2023-06-29 | マクセル株式会社 | ヘッドマウントディスプレイ装置 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2021181604A1 (ja) | 2021-09-16 |
US20230124173A1 (en) | 2023-04-20 |
CN115280282A (zh) | 2022-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102521734B1 (ko) | 복수의 어플리케이션들을 실행하는 웨어러블 장치와 이의 동작 방법 | |
US20170010780A1 (en) | Programmable touchscreen zone for mobile devices | |
EP3695591B1 (en) | Electronic device for controlling a plurality of applications | |
US20140187148A1 (en) | Near field communication method and apparatus using sensor context | |
WO2021181604A1 (ja) | 情報端末装置、及びそのアプリケーション動作モード制御方法 | |
US10713488B2 (en) | Inspection spot output apparatus, control method, and storage medium | |
RU2008104856A (ru) | Способ и устройство пользовательского ввода в терминале мобильной связи | |
KR20090016044A (ko) | 휴대용 단말기의 멀티태스킹 방법 및 장치 | |
CN113064823B (zh) | 汽车的零部件功能测试方法、装置及计算机存储介质 | |
JP2009301166A (ja) | 電子機器制御装置 | |
CN106341530B (zh) | 一种支付页面的切换方法及移动终端 | |
US20240184403A1 (en) | Personal digital assistant | |
JP6191519B2 (ja) | 取引システム及び取引装置 | |
WO2017130504A1 (ja) | 画像投影装置 | |
US11429200B2 (en) | Glasses-type terminal | |
US10591986B2 (en) | Remote work supporting system, remote work supporting method, and program | |
EP3712746A1 (en) | Device and method for providing vibration | |
JP2022137622A (ja) | ウェアラブル端末、その制御方法及びプログラム | |
CN114217754A (zh) | 投屏控制方法、装置、电子设备及存储介质 | |
KR20110032224A (ko) | 제스처에 의한 사용자 인터페이스 제공 시스템 및 방법과 이를 위한 제스처신호 발생장치 및 단말기 | |
JP7247239B2 (ja) | iOSを搭載する移動機端末のポインタを操作する自動設定プログラム | |
KR20190088237A (ko) | 전자 장치 및 그의 동작 방법 | |
JP2014149721A (ja) | 情報入力装置 | |
JP6193180B2 (ja) | プレゼンテーション用端末及びプレゼンテーション方法 | |
JP2011221221A (ja) | 表示装置及びその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20924398 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2022507112 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20924398 Country of ref document: EP Kind code of ref document: A1 |