WO2021181604A1 - 情報端末装置、及びそのアプリケーション動作モード制御方法 - Google Patents

情報端末装置、及びそのアプリケーション動作モード制御方法 Download PDF

Info

Publication number
WO2021181604A1
WO2021181604A1 PCT/JP2020/010801 JP2020010801W WO2021181604A1 WO 2021181604 A1 WO2021181604 A1 WO 2021181604A1 JP 2020010801 W JP2020010801 W JP 2020010801W WO 2021181604 A1 WO2021181604 A1 WO 2021181604A1
Authority
WO
WIPO (PCT)
Prior art keywords
information terminal
terminal device
application
operation mode
linked
Prior art date
Application number
PCT/JP2020/010801
Other languages
English (en)
French (fr)
Inventor
橋本　康宣
吉澤　和彦
尚久 高見澤
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to US17/910,445 priority Critical patent/US20230124173A1/en
Priority to JP2022507112A priority patent/JPWO2021181604A1/ja
Priority to CN202080098363.7A priority patent/CN115280282A/zh
Priority to PCT/JP2020/010801 priority patent/WO2021181604A1/ja
Publication of WO2021181604A1 publication Critical patent/WO2021181604A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating

Definitions

  • the present invention relates to an information terminal device and an application operation mode control method thereof.
  • HMD Head Mount Display
  • applications that operate on these information terminal devices include an independent operation mode that operates by one information terminal device alone and a cooperative operation mode that operates in cooperation with a plurality of information terminal devices. be.
  • Patent Document 1 is a background technology in this technical field.
  • Patent Document 1 has an object of providing an information processing system capable of transmitting information to a cooperation destination without deteriorating security, and a terminal device and a cooperation processing device are connected to transmit electronic data to the cooperation destination.
  • An information processing system that executes cooperation processing, and transmits electronic data based on the cooperation destination management means that manages information for identifying a reliable cooperation destination and the information for identifying the reliable cooperation destination.
  • An information processing system provided with a cooperation means for confirming whether the cooperation destination is a reliable cooperation destination and transmitting electronic data managed by the cooperation processing device to the cooperation destination when the cooperation destination is reliable is disclosed. There is.
  • Patent Document 1 does not describe and do not consider the point of easily controlling the operation mode when the application has a mode that operates independently and a mode that operates in cooperation with the application.
  • an object of the present invention is to improve usability in operation mode control of an application that performs cooperative operation with a plurality of information terminal devices.
  • the present invention is, for example, an information terminal device that executes an application, and is configured to switch between an independent operation mode and a cooperative operation mode to start the application depending on the mode of the application start instruction.
  • an information terminal device that can improve usability in the operation mode control of an application that performs a cooperative operation, and an application operation mode control method thereof.
  • FIG. 5 is a schematic configuration diagram of an information processing system that performs a cooperative operation with a plurality of information terminal devices according to the first embodiment. It is a block diagram which shows the hardware configuration of the information terminal apparatus in Example 1. FIG. It is a functional block diagram of the information terminal apparatus in Example 1. FIG. It is explanatory drawing which shows the processing outline of the operation mode selection in Example 1. FIG. It is a processing flowchart of operation mode selection in Example 1. FIG. This is a display example of the application icon in the first embodiment. This is an error display example in the first embodiment. It is explanatory drawing which shows the processing outline of the operation mode selection in Example 3. FIG. It is a processing flowchart of operation mode selection in Example 3. It is a processing flowchart of operation mode selection in Example 4. It is a processing flowchart of operation mode selection in Example 4.
  • FIG. 1 is a schematic configuration diagram of an information processing system that performs a cooperative operation with a plurality of information terminal devices in this embodiment.
  • the information processing system that performs cooperative operation has a smartphone (hereinafter referred to as a smartphone) 1 (A), an HMD 1 (B), and a smart watch 1 (C) as a plurality of information terminal devices.
  • a smartphone hereinafter referred to as a smartphone 1 (A)
  • HMD 1 HMD 1
  • C smart watch 1
  • These information terminal devices are connected by communication such as Wi-Fi (registered trademark) and Bluetooth (registered trademark), and the information terminal devices necessary for cooperation are selected and linked.
  • Wi-Fi registered trademark
  • Bluetooth registered trademark
  • FIG. 2 is a block diagram showing the hardware configuration of the information terminal device 1 in this embodiment.
  • the information terminal device 1 includes a processor (controller) 101, a memory 102, a sensor device 4, a camera 6, a distance measuring sensor 7, a display device 50, a communication device 80, a voice input device 81, a voice output device 82, and an operation. It is composed of an input device 83 and a battery 84.
  • the processor 101 is a controller that controls the entire information terminal device 1 according to a predetermined operation program. That is, each function is realized by software by the processor interpreting and executing an operation program that realizes each function.
  • the memory 102 stores a control program 31, an application program 32, an application management information 33, a coordinate system information 34, and a display information 35 for controlling the operation of the information terminal device 1.
  • the sensor device 4 is a group of sensors for detecting the position and orientation of the information terminal device 1.
  • the sensor device 4 is composed of, for example, a GPS (Global Positioning System) receiving unit, a geomagnetic sensor unit, an acceleration sensor unit, a gyro sensor unit, and the like. With these sensor groups, it is possible to detect the position, tilt, direction, movement, etc. of the information terminal device 1. Further, the information terminal device 1 may further include other sensors such as an illuminance sensor, an altitude sensor, and a proximity sensor.
  • the camera 6 inputs image data of the surroundings and an object by converting the light input from the lens into an electric signal using an electronic device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) sensor. It is a camera unit.
  • an electronic device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) sensor. It is a camera unit.
  • the distance measuring sensor 7 is a sensor capable of grasping the distance to each point of the object.
  • the object is irradiated with a plurality of modulated laser beams. , Measure the distance to the object by the phase difference of the returning diffuse reflection component.
  • the display device 50 is a display that provides image data to the user of the information terminal device 1, and is a display device of a liquid crystal display device or a transmissive display using, for example, a laser projector and a half mirror.
  • the communication device 80 is a communication unit including a LAN (Wi-Fi) communication unit, a mobile communication unit, a Bluetooth communication unit, and the like.
  • the voice input device 81 is a microphone, which converts a user's voice or the like into voice data and inputs it.
  • the voice output device 82 is a speaker or earphone, and outputs voice information or the like necessary for the user.
  • the operation input device 83 is an instruction input unit which is a user operation interface for inputting operation instructions to the information terminal device 1, and includes operation keys such as SWs, a power key, and a volume key, and a touch sensor such as a touch pad. Have. In addition, other operation devices may be further provided.
  • FIG. 3 is a functional configuration diagram of the information terminal device in this embodiment.
  • the processor 101 describes the functions executed by the expanded operation program for each function. That is, the display control unit 101A that controls the display of the display device 50 using the display information 35 on the memory 102, the data processing unit 101B that performs data processing using the coordinate system information 34 on the memory 102, and the memory 102. Data for acquiring data from the application control unit 101C that controls the application, the communication control unit 101D that controls the communication device 80, the sensor device 4, the camera 6, and the distance measuring sensor 7 using the application management information 33 of the above. It has an acquisition unit 101E and an input operation acquisition unit 101F for acquiring data from the operation input device 83.
  • the application is started by switching between the independent operation mode and the cooperative operation mode according to the mode of the application start instruction.
  • the mode of the application start instruction it is divided into a single start instruction and a linked start instruction depending on whether the start instruction is in the state where the information terminal device to be linked is selected.
  • FIG. 4 is an explanatory diagram showing an outline of the operation mode selection process in this embodiment.
  • FIG. 4 is a display screen 51 of the HMD and shows the field of view of the HMD.
  • an image in real space and an image (AR object) generated by augmented reality (AR) by a computer are superimposed and displayed.
  • the image in the real space is the smartphone 1 (A), and the AR object is the HMD application icons 52 and 53.
  • FIG. 4 (A) shows the selection of the cooperative operation mode between the HMD and the smartphone as the operation mode of the application
  • FIG. 4 (B) shows the selection of the HMD independent operation mode.
  • the cross shape is the pointer 54 of the HMD, and when the application icon 52 is selected by the pointer 54 while the image of the smartphone 1 (A) and the application icon 52 are overlapped with each other, the application corresponding to the application icon 52 is selected. Is selected as the linked operation mode with the smartphone.
  • the dotted line 55 around the application icon 52 is an AR object indicating a state in which the pointer 54 is aligned with the application icon 52, and the color of the application icon 52 may be changed instead of the dotted line.
  • the dotted line 56 around the smartphone 1 (A) is an AR object indicating that the application icon 52 overlaps with the image of the smartphone 1 (A).
  • P and W shown in the upper right indicate information terminal devices to be linked with the application corresponding to the application icons 52 and 53.
  • P57 indicates a smartphone
  • W58 indicates a smart watch.
  • the position of the smartphone is detected by image recognition of the camera image of the HMD.
  • FIG. 5 is a processing flowchart for selecting an operation mode in this embodiment.
  • FIG. 5 is a processing flowchart corresponding to FIG. 4, in which the information terminal device 1X is an HMD and the information terminal device 1Y is a smartphone.
  • steps S1A and S1B communication between information terminal devices to be linked is established by communication such as Bluetooth. That is, communication between the HMD and the smartphone is established.
  • the application icon is displayed. That is, as shown in FIG. 6, the application icon 52 described in FIG. 4 is displayed, and P57 indicating a smartphone, which is an information terminal device to be linked with an application corresponding to the application icon 52, and W58 indicating a smart watch are displayed. indicate.
  • W58 the cases where communication cannot be established due to reasons such as when the power is turned off or not at hand are indicated by diagonal lines. The color may be changed or a double line may be drawn instead of the diagonal line.
  • S6A it is determined whether the information terminal device selected as the cooperation target can cooperate. For example, as shown in FIG. 6, when the smart watch W58 whose communication cannot be established is selected as the cooperation target, that is, when the application icon 52 is selected with the smart watch image and the application icon 52 superimposed, the cooperation is performed. Since it is impossible, the process proceeds to S7A and an error is displayed.
  • FIG. 7 is an example of an error display, and confirms whether to execute in the independent operation mode together with a message that cannot be linked.
  • S8A if the single operation mode is instructed, the process proceeds to S5A and the independent operation mode is executed. Also, if it is not an independent operation mode instruction, it ends. If you select to perform cooperation with an information terminal device that cannot be linked, you may start it independently without displaying an error, or you can display an error indicating that cooperation is not possible and stand alone without checking. You may start it. Further, a plurality of processing methods when cooperation execution is selected when cooperation is not possible may be prepared, and which processing method to be performed may be set in the information terminal device in advance by user setting.
  • S9A requests the information terminal device 1Y of the cooperation destination for the cooperation mode operation, and the information terminal device 1Y side accepts the request in S2B and the information terminal device.
  • the operation of the cooperative operation mode is executed by S10A of 1X and S3B of the information terminal device 1Y, respectively.
  • the information terminal device to be linked is superimposed on the application icon on the display, so that the information terminal device to be linked is selected and the application activation instruction is given.
  • the application activation instruction is given.
  • the mode of the application start instruction depending on whether or not the application icon is selected in the state where the image of the information terminal device to be linked and the application icon overlap, it is a start instruction by itself or a start instruction by cooperation. Was carved.
  • the application may be started in the independent operation mode. An example of distinguishing whether to start in the linked operation mode will be described.
  • the smartphone in the case of a single tap, the smartphone is in the independent operation mode, and in the case of the double tap, the operation mode is in cooperation with the HMD.
  • a triple tap may be used as a linked operation mode with the smart watch, and four consecutive taps may be used as a linked operation mode with both the HMD and the smart watch.
  • the operation flow chart for selecting the operation mode in this embodiment may be the same as that in FIG. Separate between single operation mode and cooperative operation mode.
  • the mode is divided into a single operation mode and a cooperative operation mode according to the number of taps.
  • FIG. 8 is an explanatory diagram showing an outline of the operation mode selection process in this embodiment.
  • the display screen 51 of the HMD is shown as in FIG. 4, and the same configuration as in FIG. 4 is designated by the same reference numerals, and the description thereof will be omitted.
  • the difference from FIG. 4 is that the application icon 60 is a smartphone application icon displayed on the smartphone.
  • the smartphone application icon 60 when the smartphone application icon 60 is selected by the HMD pointer 54, the application corresponding to the application icon 60 is selected as a cooperation candidate with the HMD.
  • the dotted line 59 around the application icon 60 is an HMD AR object indicating that the application icon 60 is a selection candidate by the pointer 54.
  • H and W shown in the upper right indicate information terminal devices to be linked with the application corresponding to the application icon 60.
  • H61 indicates an HMD and W62 indicates a smart watch. Further, regarding W62, it is indicated by a diagonal line that it is in a state where it is not possible to cooperate with the smart watch, such as when communication cannot be established. The color may be changed or a double line may be drawn instead of the diagonal line.
  • the application icon on the smartphone is specified by image recognition by the HMD.
  • FIG. 9 is a processing flowchart for selecting an operation mode in this embodiment.
  • FIG. 9 is a processing flowchart corresponding to FIG. 8, in which the information terminal device 1X is a smartphone and the information terminal device 1Y is an HMD.
  • the same steps as in FIG. 5 are designated by the same reference numerals, and the description thereof will be omitted.
  • the difference from FIG. 5 is that the information terminal device 1X is a smartphone and the information terminal device 1Y is an HMD, and the cooperation candidate instruction recognition S10B, the cooperation candidate instruction recognition S10A, and the application activation instruction recognition S11A are different. It is a point.
  • the user's activation instruction is given to the smartphone. That is, in the information terminal device 1Y (HMD), when the pointer 54 is superimposed on the application icon 60 on the smartphone by the user operation in step S10B, the application corresponding to the application icon 60 is a cooperation candidate by image recognition. Recognize. Next, the information terminal device 1Y notifies the information terminal device 1X (smartphone) of the information of the application to be linked, and the information terminal device 1X indicates that the application corresponding to the application icon 60 is a cooperation candidate in step S10A. recognize. Next, in step S11A, the information terminal device 1X recognizes the application activation instruction by tapping the application icon or the like.
  • the control of the information terminal device 1X branches from step S4A to S6A when the application for which the start instruction is given is a cooperation candidate with the information terminal device 1Y, and is a step if it is not a cooperation candidate. Branch from S4A to S5A. The following is the same as the flow in FIG.
  • the icons are small, so when multiple icons are displayed, there is a problem that the target icons are hidden and difficult to select.
  • the candidate icon is selected in advance using the HMD pointer as in this embodiment, if the deviation of the tap position is within the predetermined allowable range, the HMD By interpreting it as a start instruction to the application selected by the pointer, the icon selection on the information terminal device 1X becomes easy. In this case, even if this method is used for independent operation, the effect of improving operability can be similarly obtained.
  • the target application is the target of cooperation
  • the selection on the information terminal device 1X is a finger tap
  • it is independent if it is a single tap, it is independent. If it is a double tap at the start, it may be started in cooperation.
  • the start instruction in the cooperation operation mode is based on the fact that the application icon is selected as the cooperation candidate application from the information terminal device to be linked. I do. As a result, it is possible to control the operation mode simply and intuitively, and it is possible to improve the usability in the startup operation of the application.
  • the cooperation mode operation request of the application corresponding to the application icon ( The smartphone was doing S9A).
  • the cooperation mode operation request of the application is performed by the HMD.
  • FIG. 10 is a processing flowchart for selecting an operation mode in this embodiment.
  • the same steps as in FIG. 5 are designated by the same reference numerals, and the description thereof will be omitted.
  • the difference from FIG. 5 is that the icon display setting S11B and the application start instruction recognition S12A are different.
  • the information terminal device 1X is an HMD
  • the information terminal device 1Y is a smartphone.
  • the smartphone displays the application icon.
  • the HMD activates the same application on the HMD by selecting the application icon displayed on the smartphone on the image with the pointer 54 of the HMD.
  • the activation mode may be the HMD independent operation or the HMD and smartphone cooperative operation. Switching between single and cooperative is the same as in the second embodiment.
  • the icons are small, so when multiple icons are displayed, there is a problem that the icons are hidden by the finger and difficult to select.
  • the icon is selected on the HMD side as in this embodiment, the icon can be easily selected.
  • the information terminal device that gives the application start instruction operates in cooperation. Start the app in mode.
  • simple and intuitive operation mode control can be realized, and usability can be improved in the application startup operation.
  • the application is started by switching between the independent operation mode and the cooperative operation mode according to the mode of the application start instruction.
  • an example of shifting to the cooperation operation mode with the information terminal device by selecting the information terminal device to be linked after the application is started will be described.
  • FIG. 11 is an explanatory diagram showing an outline of the operation mode transition process in this embodiment.
  • the display screen 51 of the HMD is shown as in FIG. 4, and the same configuration as in FIG. 4 is designated by the same reference numerals, and the description thereof will be omitted.
  • the difference from FIG. 4 is that the application on the HMD has already been started.
  • the started application is set as the cooperation operation mode with the smartphone. Be selected.
  • the dotted line 56 around the smartphone 1 (A) is an HMD AR object indicating that the smartphone 1 (A) is a selection candidate.
  • the operation in the HMD independent operation mode is sufficient, but the AR object
  • FIG. 12 is a processing flowchart for selecting an operation mode in this embodiment.
  • the same steps as in FIG. 5 are designated by the same reference numerals, and the description thereof will be omitted.
  • the difference from FIG. 5 is that the application independent activation instruction recognition S21A, the independent mode operation execution S22A, and the application cooperation activation instruction recognition S23A are different.
  • the information terminal device 1X is an HMD
  • S21A recognizes the application independent start instruction
  • S22A executes the independent mode operation.
  • the application cooperation activation instruction recognition S23A when the pointer 54 of the HMD is superimposed on the image of the smartphone 1 (A), it is recognized that the smartphone 1 (A) is selected, and the cooperation operation mode instruction between the HMD and the smartphone 1 (A) is instructed. Recognize that and proceed to S6A.
  • the mode is set to the linked operation mode in the overlapping state of the information terminal devices to be linked with the HMD pointer.
  • this embodiment an example of shifting to the cooperative operation mode by detecting the overlap of the information terminal device to be linked with the AR object displayed by the HMD instead of the pointer will be described.
  • FIG. 13 is an explanatory diagram showing an outline of the operation mode transition process in this embodiment.
  • the same configurations as those in FIG. 11 are designated by the same reference numerals, and the description thereof will be omitted.
  • the difference from FIG. 11 is that when the AR object 63 displayed by the HMD is superimposed on the image of the smartphone 1 (A) instead of the pointer 54 of the HMD, the started application cooperates with the smartphone. This is the point selected as the operation mode.
  • the information terminal device to be linked can be started as the linked operation mode for the application displaying the AR object, and the linked operation can be executed. Therefore, for example, when it is desired to process an AR object, as in this embodiment, when the smartphone is started in the cooperative operation mode by detecting the overlap of the information terminal devices to be linked with the AR object, the processing operation is performed on the smartphone. Since the AR object to be performed has been specified, there is an effect that processing on the AR object can be started immediately.
  • the cooperative operation mode may not be activated by one superposition, but the cooperative operation mode may be activated by two consecutive superpositions.
  • This embodiment first describes the case where the application is started in the independent operation mode on the smartphone.
  • FIG. 14 is an explanatory diagram showing an outline of the operation mode transition process in this embodiment.
  • the same configurations as those in FIG. 11 are designated by the same reference numerals, and the description thereof will be omitted.
  • FIG. 14 (A) when the map application is running on the smartphone 1 (A), the user operates the smartphone with the HMD attached, and taps the building "E", the HMD recognizes it with the camera. , The application in the HMD starts in the linked operation mode.
  • the operation in the HMD is, for example, as shown in FIG. 14 (B), an operation in which the building "E" in the outside world is enlarged and displayed, and the AR object 65 is superimposed.
  • the dotted line 56 around the smartphone 1 (A) is an AR object indicating that the HMD detects the line of sight and recognizes and selects the information terminal device to be linked if there is one.
  • the operation of starting the HMD application in the cooperative operation mode when the cooperation is possible may be limited. For example, scrolling may not start the HMD application, or single tap may start the HMD application by double tapping while the smartphone application remains operating independently.
  • the application in the HMD can be started and executed in the cooperative operation mode by shooting the operation of the smartphone with the HMD attached.
  • This embodiment describes a case where an information terminal device other than the information terminal device that independently executes the application gives a cooperative operation instruction.
  • FIG. 15 is an explanatory diagram showing an outline of the operation mode transition process in this embodiment.
  • the same configurations as those in FIG. 11 are designated by the same reference numerals, and the description thereof will be omitted.
  • the map application is being executed on the smartphone 1 (A) and the HMD pointer 54 is aligned with the building “E” to issue a cooperation operation instruction, the cooperation operation with the smartphone is started, which is the same as in the seventh embodiment. Do the action.
  • FIG. 16 is a processing flowchart for selecting an operation mode in this embodiment.
  • the same steps as in FIG. 12 are designated by the same reference numerals, and the description thereof will be omitted.
  • the difference from FIG. 12 is that the information terminal device 1X is a smartphone and the information terminal device 1Y is an HMD. Is different in the processing after the application cooperation activation instruction recognition S31B.
  • step S32B the HMD recognizes the application cooperation start instruction by moving the pointer to the application screen of the smartphone, and the cooperation mode is in S32B.
  • the operation request is sent to the smartphone of the information terminal device 1X, and the process proceeds to S33B.
  • the smartphone accepts the request at S31A and proceeds to S32A.
  • S32A if the cooperative operation cannot be performed because the application is not capable of the cooperative operation, the process proceeds to S34A and the independent mode operation on the smartphone is continued. If the cooperative operation mode is accepted in S32A, the process proceeds to S33A to execute the operation in the cooperative operation mode.
  • the HMD proceeds to S35B and displays an error. If the cooperation operation mode acceptance is OK in S33B, the process proceeds to S34B to execute the operation in the cooperation operation mode.
  • an information terminal device other than the information terminal device that executes the application independently can give a cooperative operation instruction.
  • This embodiment describes a specific example in which a certain information terminal device is executing an application independently and the cooperative operation mode is activated later.
  • FIG. 17 is a schematic diagram illustrating the transition to the cooperative operation mode in this embodiment.
  • FIG. 17 shows an example of performing QR code (registered trademark) settlement with the HMD
  • FIG. 17A is the display screen 51 of the HMD and shows the field of view of the HMD.
  • the characters "Payment completed” and the key code that proves the completion of payment are displayed.
  • the smartwatch 1 (C) is placed in the HMD's field of view and the selection operation is performed on the HMD or the smartwatch is tapped, the same application will be displayed on the smartwatch.
  • the key code is also displayed on the smart watch.
  • the key code can be presented to the clerk by the smart watch by this cooperative operation.
  • the dotted line 56 around the smartwatch 1 (C) is an AR object indicating that the HMD has recognized and selected the smartwatch to be linked.
  • the position of the smartwatch in the field of view of the HMD is superimposed on the position of the key code which is the information to be displayed on the watch, but the information to be displayed on the smartwatch is displayed in the execution scene of the application. If so, the position of the smartwatch can be anywhere within the HMD's field of view. On the contrary, when there is a plurality of information to be displayed on the smart watch, the position of the smart watch may be aligned with the position where the information is displayed and the selection operation may be performed as shown in FIG. 17 (A).
  • This embodiment describes an example in which the application to be linked may be a display-specialized application on one of the information terminal devices in the ninth embodiment.
  • the application started on the smartwatch side is an application for displaying the display contents of the HMD on the smartwatch, and may be able to cooperate with various types of HMD side applications.
  • FIG. 17A when the smartwatch appearance is overlapped with the portion of the information displayed on the HMD that is desired to be displayed on the smartwatch and the selection operation is performed, the information is displayed in FIG. It is displayed on the smart watch as shown in (B).
  • an index of information is displayed on the HMD, the appearance of the smartwatch is superimposed on that part, the smartwatch application is started in the linked operation mode, and the corresponding information (QR code in this case) is displayed.
  • FIG. 19 is a schematic diagram illustrating the transition to the cooperative operation mode in this embodiment.
  • the same configurations as those in FIG. 17 are designated by the same reference numerals, and the description thereof will be omitted.
  • FIG. 19 shows an example in which the smart watch 1 (C) functions as an NFC (Near Field Communication) built-in card.
  • the smartwatch-side linked application is activated by performing the selection operation so that the appearance of the smartwatch overlaps with the card name position shown on the display screen of the HMD.
  • the selection operation may be on the HMD side or the smart watch side.
  • the dotted frame 69 superimposed on the card name is an AR object indicating that the card is a selection candidate.
  • the smart watch activates the linked application corresponding to the card B in FIG. 19 (A), and uses the smart watch to communicate with, for example, the card reader 90 and make a payment. Can be done.
  • FIG. 20 is a schematic configuration diagram of an information processing system in this embodiment in which a server 1000 is added to FIG.
  • direct communication is performed between the information terminal devices of the smartphone 1 (A), the HMD1 (B), and the smartwatch 1 (C).
  • An information processing system that not only performs cooperation control but also sends / receives information or performs cooperation control via the server 1000.
  • each information terminal device may appropriately acquire and use the application, file, and data stored on the server 1000 by communication.
  • the server 1000 may execute the application on the server 1000 and provide the execution information to the information terminal device. That is, the server 1000 mediates communication between a plurality of information terminal devices or executes an application on behalf of the server 1000.
  • the server 1000 may be connected to each information terminal device via communication to control cooperative operations and execute applications.
  • a local server for example, a local server, a cloud server, an edge server, a net service, or the like.
  • the form does not matter.
  • 1 Information terminal device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

複数の情報端末装置との連携動作を行うアプリケーションの動作モード制御において使い勝手を向上させる情報端末装置、及びそのアプリケーション動作モード制御方法を提供することを目的とする。　そのために、アプリケーションを実行する情報端末装置であって、アプリケーションの起動指示の態様により、単独動作モードと連携動作モードを切り替えてアプリケーションを起動させるように構成する。

Description

情報端末装置、及びそのアプリケーション動作モード制御方法
　本発明は、情報端末装置、及びそのアプリケーション動作モード制御方法に関する。
　近年、スマートフォンやスマートウォッチなどを代表とする情報端末装置には種々の製品が市販されており、それを利用する機会が増加している。また、情報端末装置の一つである、頭部に装着して情報を視聴するヘッドマウントディスプレイ装置（以下、ＨＭＤ:Head Mount Display、と称す）は、ゲーム用途や作業支援の分野での利用が広がりつつある。
　これらの情報端末装置で動作するアプリケーション（以降アプリと称する）には、１つの情報端末装置単独で動作する単独動作モードと、複数の情報端末装置と連携して動作する連携動作モードを有するものがある。
　本技術分野の背景技術として特許文献１がある。特許文献１は、セキュリティを低下させることなく連携先に情報を送信することができる情報処理システムを提供することを課題として、端末装置と連携処理装置とが接続され、電子データを連携先に送信する連携処理を実行する情報処理システムであって、信頼できる連携先を特定するための情報を管理する連携先管理手段と、前記信頼できる連携先を特定するための情報に基づき、電子データを送信する連携先が信頼できる連携先であるか確認し、信頼できる連携先であるときに前記連携処理装置が管理する電子データを前記連携先に送信する連携手段を備えた情報処理システムが開示されている。
特開２０１４－１７８８９４号公報
　特許文献１では、アプリが単独で動作するモードと連携で動作するモードを持つ場合に、簡便に動作モードを制御する点について記載がなく、考慮されていない。
　本発明は、上記課題に鑑み、複数の情報端末装置との連携動作を行うアプリの動作モード制御において使い勝手を向上させることを目的とする。
　本発明は、その一例を挙げるならば、アプリケーションを実行する情報端末装置であって、アプリケーションの起動指示の態様により、単独動作モードと連携動作モードを切り替えてアプリケーションを起動させるように構成する。
　本発明によれば、連携動作を行うアプリの動作モード制御において使い勝手を向上できる情報端末装置、及びそのアプリケーション動作モード制御方法を提供できる。
実施例１における複数の情報端末装置との連携動作を行う情報処理システムの構成模式図である。 実施例１における情報端末装置のハードウェア構成を示すブロック図である。 実施例１における情報端末装置の機能構成図である。 実施例１における動作モード選択の処理概要を示す説明図である。 実施例１における動作モード選択の処理フローチャートである。 実施例１におけるアプリアイコンの表示例である。 実施例１におけるエラー表示例である。 実施例３における動作モード選択の処理概要を示す説明図である。 実施例３における動作モード選択の処理フローチャートである。 実施例４における動作モード選択の処理フローチャートである。 実施例５における動作モード移行の処理概要を示す説明図である。 実施例５における動作モード選択の処理フローチャートである。 実施例６における動作モード移行の処理概要を示す説明図である。 実施例７における動作モード移行の処理概要を示す説明図である。 実施例８における動作モード移行の処理概要を示す説明図である。 実施例８における動作モード選択の処理フローチャートである。 実施例９における連携動作モード移行を説明する概略図である。 実施例１０における連携動作モード移行を説明する概略図である。 実施例１１における連携動作モード移行を説明する概略図である。 実施例１２における情報処理システムの構成模式図である。
　以下、図面を用いて本発明の実施例について説明する。
　図１は、本実施例における複数の情報端末装置との連携動作を行う情報処理システムの構成模式図である。図１において、連携動作を行う情報処理システムは、複数の情報端末装置として、スマートフォン（以降スマホと称す）１（Ａ）とＨＭＤ１（Ｂ）とスマートウォッチ１（Ｃ）を有している。これらの情報端末装置は、Ｗｉ－Ｆｉ（登録商標）やＢｌｕｅＴｏｏｔｈ（登録商標）などの通信により接続され、連携に必要な情報端末装置が選択されて連携される。
　図２は、本実施例における情報端末装置１のハードウェア構成を示すブロック図である。図２において、情報端末装置１は、プロセッサ（コントローラ）１０１、メモリ１０２、センサ装置４、カメラ６、測距センサ７、表示デバイス５０、通信デバイス８０、音声入力装置８１、音声出力装置８２、操作入力装置８３、バッテリ８４で構成される。
　プロセッサ１０１は、所定の動作プログラムに従って情報端末装置１全体を制御するコントローラである。すなわち、プロセッサがそれぞれの機能を実現する動作プログラムを解釈して実行することによりそれぞれの機能をソフトウェアで実現する。
　メモリ１０２は、情報端末装置１の動作を制御するための制御プログラム３１、アプリケーションプログラム３２、アプリ管理情報３３、座標系情報３４、表示情報３５を記憶している。
　センサ装置４は、情報端末装置１の位置や姿勢を検出するためのセンサ群である。センサ装置４は、例えばＧＰＳ（Global Positioning System）受信部、地磁気センサ部、加速度センサ部、ジャイロセンサ部等で構成される。これらのセンサ群により、情報端末装置１の位置、傾き、方角、動き、等を検出することが可能となる。また、情報端末装置１が、照度センサ、高度センサ、近接センサ等、他のセンサを更に備えていても良い。
　カメラ６は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の電子デバイスを用いてレンズから入力した光を電気信号に変換することにより、周囲や対象物の画像データを入力するカメラユニットである。
　測距センサ７は、対象物の各ポイントまでの距離を把握することができるセンサであって、例えば、位相差方式（フェィズシフト方式）であれば、変調した複数のレーザ光を対象物に照射し、帰ってくる拡散反射成分の位相差で対象物との距離を測定する。
　表示デバイス５０は、画像データを情報端末装置１のユーザに提供するディスプレイであって、液晶表示装置や、例えばレーザープロジェクターとハーフミラー等を使った透過型ディスプレイの表示デバイスである。
　通信デバイス８０は、ＬＡＮ（Ｗｉ－Ｆｉ）通信部やモバイル通信部、ＢｌｕｅＴｏｏｔｈ通信部等からなる通信部である。
　音声入力装置８１は、マイクであり、ユーザの声などを音声データに変換して入力する。音声出力装置８２は、スピーカやイヤホンであり、ユーザに必要な音声情報等を出力する。
　操作入力装置８３は、情報端末装置１に対する操作指示の入力を行う、ユーザ操作インタフェースである指示入力部であり、ＳＷ類や電源キーや音量キー等の操作キーや、タッチパッドなどのタッチセンサを有する。なお、その他の操作デバイスを更に備えても良い。
　図３は、本実施例における情報端末装置の機能構成図である。図３において、プロセッサ１０１には、展開される動作プログラムで実行する機能を機能別に記載している。すなわち、メモリ１０２上の表示情報３５を用いて表示デバイス５０の表示制御を行う表示制御部１０１Ａと、メモリ１０２上の座標系情報３４を用いてデータ処理を行うデータ処理部１０１Ｂと、メモリ１０２上のアプリ管理情報３３を用いて、アプリ制御を行うアプリ制御部１０１Ｃと、通信デバイス８０の制御を行う通信制御部１０１Ｄと、センサ装置４、カメラ６、測距センサ７からのデータを取得するデータ取得部１０１Ｅと、操作入力装置８３からのデータを取得する入力操作取得部１０１Ｆを有する。
　本実施例では、アプリを実行する情報端末装置において、アプリの起動指示の態様により、単独動作モードと連携動作モードを切り替えてアプリを起動させるようにする。具体的には、アプリ起動指示の態様として、連携対象の情報端末装置を選択した状態での起動指示かどうかで、単独での起動指示か、連携での起動指示かを切り分ける。
　図４は、本実施例における動作モード選択の処理概要を示す説明図である。図４は、ＨＭＤの表示画面５１でありＨＭＤの視野を示している。表示画面５１上には、実空間の映像と、コンピュータによる拡張現実（ＡＲ：Augmented Reality）の生成画像（ＡＲオブジェクト）とを重畳させて表示している。実空間の映像は、スマホ１（Ａ）であり、ＡＲオブジェクトは、ＨＭＤのアプリアイコン５２、５３である。
　図４（Ａ）は、アプリの動作モードはＨＭＤとスマホの連携動作モードの選択を示し、図４（Ｂ）は、ＨＭＤ単独動作モードの選択を示している。
　図４（Ａ）において、十字形はＨＭＤのポインタ５４であり、スマホ１（Ａ）の画像とアプリアイコン５２が重なった状態でポインタ５４によりアプリアイコン５２を選択すると、アプリアイコン５２に対応したアプリがスマホとの連携動作モードとして選択される。なお、アプリアイコン５２の周りの点線５５は、アプリアイコン５２にポインタ５４が合っている状態を示すＡＲオブジェクトであり、点線ではなく例えばアプリアイコン５２の色を変えてもよい。また、同様に、スマホ１（Ａ）の周りの点線５６は、アプリアイコン５２がスマホ１（Ａ）の画像と重なっていることを示すＡＲオブジェクトである。
　なお、アプリアイコン５２、５３において、右上に示すＰやＷは、アプリアイコン５２、５３に対応したアプリの連携対象となる情報端末装置を示している。Ｐ５７はスマートフォン、Ｗ５８はスマートウォッチを示している。また、スマホの位置は、ＨＭＤのカメラ画像の画像認識によって検出する。
　図４（Ｂ）においては、スマホ１（Ａ）の画像とアプリアイコン５２が重なっていない状態でポインタ５４によりアプリアイコン５２を選択しているので、アプリアイコン５２に対応したアプリはＨＭＤ単独動作モードとなる。
　図５は、本実施例における動作モード選択の処理フローチャートである。図５は、図４に対応した処理フローチャートであり、情報端末装置１ＸはＨＭＤであり、情報端末装置１Ｙはスマホである。
　図５において、まずステップＳ１ＡとＳ１Ｂで、ＢｌｕｅＴｏｏｔｈ等の通信により連携対象となる情報端末装置どうしの通信を確立する。すなわち、ＨＭＤとスマホ間での通信を確立する。次に、Ｓ２Ａで、アプリアイコンを表示する。すなわち、図６に示すように、図４で説明したアプリアイコン５２を表示し、アプリアイコン５２に対応したアプリの連携対象となる情報端末装置であるスマートフォンを示すＰ５７と、スマートウォッチを示すＷ５８を表示する。ここで、Ｗ５８については、電源がＯＦＦの場合や手元にないなどの理由で通信の確立が出来ない場合を斜線で示している。なお、斜線の代わりに色を変えたり、２重線を引いたりしてもよい。
　そして、Ｓ３Ａで、アプリ起動指示の認識として、ポインタ５４によりアプリアイコン５２を選択する際に、スマホの画像とアプリアイコン５２が重なった状態であったかを認識し、Ｓ４Ａで、重なった状態でなければ、Ｓ５Ａに進み、単独動作モードとしてアプリアイコン５２に対応したアプリを実行する。
　一方、Ｓ４Ａで、重なった状態であれば連携動作モードであるとして、Ｓ６Ａに進む。Ｓ６Ａでは連携対象として選択された情報端末装置が連携可能かを判断する。例えば、図６に示すように、通信確立が出来ないスマートウォッチＷ５８を連携対象として選択した場合、すなわち、スマートウォッチの画像とアプリアイコン５２を重ねた状態でアプリアイコン５２を選択した場合、連携は不可能であるので、Ｓ７Ａに進み、エラー表示を行なう。図７はエラー表示の例であり、連携不可であるメッセージとともに、単独動作モードで実行するかの確認を行う。そして、Ｓ８Ａで、単独動作モード指示であればＳ５Ａに進み単独動作モードを実行する。また、単独動作モード指示でなければ終了とする。なお、連携不可の情報端末装置との連携実行を選択した場合は、エラー表示することなく単独起動にしてもよいし、連携不可であることを表示するエラー表示をして確認を行うことなく単独起動にしてもよい。さらに、連携不可の場合に連携実行を選択した場合の処理方法を複数準備し、どの処理方法を行うか、予め、ユーザ設定により、情報端末装置に設定できるようにしておいてもよい。
　そして、Ｓ６Ａで連携可能である場合は、Ｓ９Ａに進み、Ｓ９Ａで連携先の情報端末装置１Ｙに連携モード動作の要求を行ない、情報端末装置１Ｙ側は、Ｓ２Ｂでその要求を受け入れ、情報端末装置１ＸのＳ１０Ａ、及び、情報端末装置１ＹのＳ３Ｂでそれぞれ連携動作モードの動作を実行する。
　以上のように、本実施例では、アプリを実行する情報端末装置において、連携対象の情報端末装置をアプリアイコンと表示上で重ねることで連携対象の情報端末装置を選択した状態としてアプリの起動指示を行ったかどうかで、単独での起動指示か、連携での起動指示かを切り分ける。これにより、簡便で直感的な動作モードの制御を実現でき、アプリの起動動作において使い勝手を向上させることが可能となる。
　実施例１では、アプリ起動指示の態様として、連携対象の情報端末装置の画像とアプリアイコンが重なった状態でアプリアイコンを選択するかどうかで、単独での起動指示か、連携での起動指示かを切り分けた。これに対して、本実施例では、アプリ起動指示の態様として、アプリ起動時のアプリアイコンの所定時間間隔以下で連続する選択動作の回数（クリックやタップ等）により、単独動作モードによる起動か、連携動作モードによる起動かを切り分ける例について説明する。
　本実施例では、例えば、スマートフォン上のアプリアイコンにおいて、シングルタップの場合は、スマートフォンの単独動作モードであり、ダブルタップの場合は、ＨＭＤとの連携動作モードとする。さらにトリプルタップで、スマートウォッチとの連携動作モードとし、４回の連続タップでＨＭＤ、スマートウォッチの両者との連携動作モードとしてもよい。
　本実施例における動作モード選択の処理フローチャートは、図５と同様でよく、図５における、ステップＳ３Ａで、アプリ起動指示の認識として、ポインタによりアプリアイコンを選択する際に、クリックする選択回数により、単独動作モードか連携動作モードかを切り分ける。なお、ポインタの変わりに、指のタップ（親指と人差し指）で選択する場合は、タップ数に応じて単独動作モードか連携動作モードかを切り分ける。
　以上のように、本実施例では、アプリを実行する情報端末装置において、アプリ起動時のアプリアイコンの連続する選択回数により、単独での起動指示か、連携での起動指示かを切り分ける。これにより、簡便で直感的な動作モードの制御を実現でき、アプリの起動動作において使い勝手を向上させることが可能となる。
　実施例１では、アプリを実行する情報端末装置であるＨＭＤ側のアプリアイコンを選択することで、単独か連携かの起動指示を行った。これに対して、本実施例では、連携対象の情報端末装置に表示されるアプリアイコンを選択することにより、連携動作モードでの起動指示を行う例について説明する。
　図８は本実施例における動作モード選択の処理概要を示す説明図である。図８においては、図４と同様にＨＭＤの表示画面５１を示しており、図４と同じ構成は同じ符号を付し、その説明は省略する。図８において、図４と異なる点は、アプリアイコン６０がスマホ上に表示されたスマホのアプリアイコンである点である。
　図８において、スマホのアプリアイコン６０をＨＭＤのポインタ５４により選択すると、アプリアイコン６０に対応したアプリがＨＭＤとの連携候補として選択される。なお、アプリアイコン６０の周りの点線５９は、アプリアイコン６０がポインタ５４により選択候補になっていることを示すＨＭＤのＡＲオブジェクトである。
　なお、アプリアイコン６０において、右上に示すＨやＷは、アプリアイコン６０に対応したアプリの連携対象となる情報端末装置を示している。Ｈ６１はＨＭＤ、Ｗ６２はスマートウォッチを示している。また、Ｗ６２については、通信の確立が出来ない場合等スマートウォッチとの連携動作ができない状態であることを斜線で示している。なお、斜線の代わりに色を変えたり、２重線を引いたりしてもよい。また、スマホ上のアプリアイコンは、ＨＭＤにより画像認識にて特定する。
　図９は、本実施例における動作モード選択の処理フローチャートである。図９は、図８に対応した処理フローチャートであり、情報端末装置１Ｘはスマホであり、情報端末装置１ＹはＨＭＤである。図９において、図５と同じステップは同じ符号を付し、その説明は省略する。図９において、図５と異なる点は、情報端末装置１Ｘはスマホであり、情報端末装置１ＹはＨＭＤである点と、連携候補指示認識Ｓ１０Ｂ、連携候補指示認識Ｓ１０Ａ、アプリ起動指示認識Ｓ１１Ａが異なる点である。
　図９において、ユーザの起動指示はスマホに対して行う。すなわち、情報端末装置１Ｙ（ＨＭＤ）は、ステップＳ１０Ｂにおいて、ユーザ操作によりポインタ５４がスマホ上のアプリアイコン６０に重ねられると、画像認識によりアプリアイコン６０に対応するアプリが連携候補になっていることを認識する。次に情報端末装置１Ｙは連携対象アプリの情報を情報端末装置１Ｘ（スマホ）に通知し、情報端末装置１Ｘは、ステップＳ１０Ａにおいて、アプリアイコン６０に対応するアプリが連携候補となっていることを認識する。次に情報端末装置１Ｘは、ステップＳ１１Ａにおいて、アプリアイコンに対するタップ等によりアプリの起動指示を認識する。起動指示認識後、情報端末装置１Ｘの制御は、起動指示のあったアプリが、情報端末装置１Ｙとの連携候補になっている場合は、ステップＳ４ＡからＳ６Ａに分岐し、連携候補でない場合はステップＳ４ＡからＳ５Ａに分岐する。以下は図５での流れと同様である。
　また、情報端末装置１Ｘがスマートウォッチの場合は、アイコンが小さくなるので、複数のアイコンを表示した場合に、対象となるアイコンが隠れて選択がし難いという問題がある。それに対して、本実施例のようにＨＭＤのポインタを使用して、候補となるアイコンを予め選択しておけば、タップ位置のずれが、予め定めておいた許容範囲内であれば、ＨＭＤのポインタで選択したアプリへの起動指示である、と解釈することにより、情報端末装置１Ｘでのアイコン選択が容易になる。この場合、単独動作のためにこの方法を用いても、操作性改善の効果が同様に得られる。
　また、単独起動指示か、連携起動指示かは、対象とするアプリが連携対象となっていることの他、例えば情報端末装置１Ｘでの選択が指のタップである場合、シングルタップならば、単独起動で、ダブルタップならば、連携起動、というように行なってもよい。
　以上のように、本実施例では、アプリの起動指示を行う情報端末装置において、連携対象の情報端末装置から、アプリアイコンが連携候補アプリとして選択されていることに基づき連携動作モードでの起動指示を行う。これにより、簡便で直感的は動作モードの制御を実現でき、アプリの起動動作において使い勝手を向上させることが可能となる。
　実施例３では、アプリの起動指示を行う情報端末装置において、連携対象の情報端末装置（スマホ）に表示されるアプリアイコンを選択することにより、そのアプリアイコンに対応するアプリの連携モード動作要求（Ｓ９Ａ）をスマホが行っていた。これに対して、本実施例では、アプリの連携モード動作要求をＨＭＤで行う例について説明する。
　図１０は、本実施例における動作モード選択の処理フローチャートである。図１０において、図５と同じステップは同じ符号を付し、その説明は省略する。図１０において、図５と異なる点は、アイコン表示設定Ｓ１１Ｂと、アプリ起動指示認識Ｓ１２Ａが異なる点である。
　図１０において、情報端末装置１ＸはＨＭＤであり、情報端末装置１Ｙはスマホである。
　Ｓ１１Ｂでスマホはアプリアイコンを表示する。Ｓ１２Ａでは、ＨＭＤはスマホ上に表示されたアプリアイコンをＨＭＤのポインタ５４により画像上で選択することにより、ＨＭＤ上の同じアプリを起動する。
　起動のモードはＨＭＤ単独動作であっても、ＨＭＤとスマホの連携動作であってもよい。単独と連携の切替えは実施例２と同じである。
　また、情報端末装置１Ｙがスマートウォッチの場合は、アイコンが小さくなるので、複数のアイコンを表示した場合に、指でアイコンが隠れて選択がし難いという問題がある。それに対して、本実施例のようにＨＭＤ側でアイコンを選択すると、アイコンの選択が容易になる。
　以上のように、本実施例では、アプリの起動指示を行う情報端末装置において連携対象の情報端末装置に表示されるアプリアイコンを選択することにより、アプリの起動指示を行う情報端末装置において連携動作モードでのアプリ起動を行う。これにより、簡便で直感的な動作モードの制御を実現でき、アプリの起動動作において使い勝手を向上させることが可能となる。
　以上説明した実施例１乃至４では、アプリ起動指示の態様により、単独動作モードと連携動作モードを切り替えてアプリを起動させるようにした。本実施例では、アプリ起動後に、連携対象としたい情報端末装置を選択することにより、その情報端末装置との連携動作モードに移行する例について説明する。
　図１１は本実施例における動作モード移行の処理概要を示す説明図である。図１１においては、図４と同様にＨＭＤの表示画面５１を示しており、図４と同じ構成は同じ符号を付し、その説明は省略する。図１１において、図４と異なる点は、ＨＭＤ上でのアプリが起動済みである点である。
　図１１において、アプリ起動後に、連携対象としたい情報端末装置を選択するために、ＨＭＤのポインタ５４をスマホ１（Ａ）の画像と重ねると、起動済みのアプリが、スマホとの連携動作モードとして選択される。なお、スマホ１（Ａ）の周りの点線５６は、スマホ１（Ａ）が選択候補になっていることを示すＨＭＤのＡＲオブジェクトである。
　本実施例の利用例としては、例えば、ＨＭＤにおいて、あるＡＲオブジェクトを表示し、その位置を調整する等の簡単な処理であればＨＭＤ単独動作モードでの動作で十分であるが、ＡＲオブジェクトの変形を行いたい場合等、高度な編集を行う場合は、入力機能の高いスマホにおいてアプリを連携動作モードで起動してスマホを利用して入力操作を行うことで操作がやりやすくなるという場合が考えられる。
　図１２は、本実施例における動作モード選択の処理フローチャートである。図１２において、図５と同じステップは同じ符号を付し、その説明は省略する。図１２において、図５と異なる点は、アプリ単独起動指示認識Ｓ２１Ａ、単独モード動作実行Ｓ２２Ａ、アプリ連携起動指示認識Ｓ２３Ａが異なる点である。
　図１２において、情報端末装置１ＸはＨＭＤであり、Ｓ２１Ａでアプリ単独起動指示を認識し、Ｓ２２Ａで単独モード動作を実行している。そして、アプリ連携起動指示認識Ｓ２３Ａでは、ＨＭＤのポインタ５４をスマホ１（Ａ）の画像に重ねると、スマホ１（Ａ）を選択したと認識し、ＨＭＤとスマホ１（Ａ）の連携動作モード指示と認識してＳ６Ａへ進む。
　以上のように、本実施例では、アプリ起動後に、連携対象としたい情報端末装置を選択することにより、その情報端末装置との連携動作モードに移行することが出来、簡便で直感的な動作モードの制御を実現でき、使い勝手を向上させることが可能となる。
　実施例５では、ＨＭＤのポインタと連携したい情報端末装置の重なり状態で、連携動作モードに移行するようにした。これに対して、本実施例では、ポインタの代わりにＨＭＤで表示しているＡＲオブジェクトと連携したい情報端末装置の重なりを検知することで連携動作モードに移行する例について説明する。
　図１３は本実施例における動作モード移行の処理概要を示す説明図である。図１３においては、図１１と同じ構成は同じ符号を付し、その説明は省略する。図１３において、図１１と異なる点は、ＨＭＤのポインタ５４の代わりに、ＨＭＤで表示しているＡＲオブジェクト６３をスマホ１（Ａ）の画像と重ねると、起動済みのアプリが、スマホとの連携動作モードとして選択される点である。
　本実施例によれば、ＨＭＤのポインタの位置によらず、そのＡＲオブジェクトを表示しているアプリに対して、連携したい情報端末装置を連携動作モードとして起動し連携動作を実行できる。よって、例えば、ＡＲオブジェクトの加工を行いたい場合、本実施例のように、ＡＲオブジェクトと連携したい情報端末装置の重なりを検知することで連携動作モードによりスマホを起動した場合、スマホで加工操作を行いたいＡＲオブジェクトが特定できているので、すぐにＡＲオブジェクトに対する加工を開始できるという効果がある。
　なお、１回の重ね合わせでは連携動作モードの起動はせず、２回連続の重ね合わせで連携動作モードの起動としてもよい。
　本実施例は、先にスマホでアプリが単独動作モードで起動している場合について説明する。
　図１４は本実施例における動作モード移行の処理概要を示す説明図である。図１４において、図１１と同じ構成は同じ符号を付し、その説明は省略する。図１４（Ａ）において、スマホ１（Ａ）で地図アプリが起動していて、ユーザがＨＭＤを装着した状態でスマホを操作し、「Ｅ」という建物をタップすると、ＨＭＤはカメラで認識して、ＨＭＤ内のアプリが連携動作モードで起動する。ＨＭＤでの動作は、例えば、図１４（Ｂ）に示すように、外界の「Ｅ」という建物を拡大表示してＡＲオブジェクト６５を重畳させるような動作である。
　なお、スマホ１（Ａ）の周りの点線５６は、ＨＭＤが視線検出して連携対象の情報端末装置があれば認識、選択されたことを示すＡＲオブジェクトである。
　また、スマホアプリでの操作において、連携可能な時にＨＭＤアプリを連携動作モードで起動する操作を限定してもよい。例えば、スクロールではＨＭＤアプリを起動させないとしてもよいし、シングルタップでは、スマホアプリの単独動作のままで、ダブルタップで、ＨＭＤアプリの起動を行うとしてもよい。
　本実施例によれば、スマホでアプリが単独動作モードで起動している場合に、ＨＭＤを装着した状態でスマホの操作を撮影することで、ＨＭＤ内のアプリが連携動作モードで起動実行できる。
　本実施例は、アプリの単独実行をしている情報端末装置以外の情報端末装置が、連携動作指示を行う場合について説明する。
　図１５は本実施例における動作モード移行の処理概要を示す説明図である。図１５において、図１１と同じ構成は同じ符号を付し、その説明は省略する。図１５において、スマホ１（Ａ）で地図アプリを実行中に、ＨＭＤのポインタ５４を建物「Ｅ」に合わせて連携動作指示を出すと、スマホと連携動作を開始し、実施例７と同様の動作を行う。
　図１６は、本実施例における動作モード選択の処理フローチャートである。図１６において、図１２と同じステップは同じ符号を付し、その説明は省略する。図１６において、図１２と異なる点は、情報端末装置１Ｘはスマホであり、情報端末装置１ＹはＨＭＤである点と、情報端末装置１Ｘにおいては連携要求対応Ｓ３１Ａ以降の処理、情報端末装置１Ｙにおいてはアプリ連携起動指示認識Ｓ３１Ｂ以降の処理が異なる点である。
　図１６において、ステップＳ２２Ａでスマホが単独モード動作を実行している前提であって、ステップＳ３１Ｂで、ＨＭＤがスマホのアプリ画面にポインタを合わせる等によりアプリ連携起動指示を認識し、Ｓ３２Ｂで連携モード動作要求を情報端末装置１Ｘのスマホに行ない、Ｓ３３Ｂに進む。スマホは、Ｓ３１Ａでその要求を受け入れ、Ｓ３２Ａに進む。Ｓ３２Ａでは、連携動作ができるアプリではない等の理由で連携動作ができない場合は、Ｓ３４Ａに進みスマホでの単独モード動作を継続する。Ｓ３２Ａで、連携動作モード受入れＯＫの場合は、Ｓ３３Ａに進み連携動作モードの動作を実行する。
　また、ＨＭＤは、Ｓ３３Ｂで、Ｓ３２Ａと同様に連携動作ができるアプリではない等の理由で連携動作ができない場合は、Ｓ３５Ｂに進み、エラー表示を行う。Ｓ３３Ｂで、連携動作モード受入れＯＫの場合は、Ｓ３４Ｂに進み連携動作モードの動作を実行する。
　本実施例によれば、アプリが単独動作モードで起動している場合に、アプリの単独実行をしている情報端末装置以外の情報端末装置が、連携動作指示を行うことが出来る。
　本実施例は、ある情報端末装置が単独でアプリの実行をしていて、後から連携動作モードを起動する場合の具体例について説明する。
　図１７は本実施例における連携動作モード移行を説明する概略図である。図１７は、ＨＭＤでＱＲコード（登録商標）決済を行う例を示しており、図１７（Ａ）は、ＨＭＤの表示画面５１でありＨＭＤの視野を示している。また、支払いを終了した時点であり、”支払い完了”の文字と決済終了の証拠となるキーコードが表示されている。この状態で、スマートウォッチ１（Ｃ）がＨＭＤの視野に入るようにして、ＨＭＤで選択動作を行うか、スマートウォッチをタップする等、スマートウォッチで選択動作を行うと、スマートウォッチでも同じアプリが連携動作モードで起動し、図１７（Ｂ）に示すように、スマートウォッチにもキーコードを表示する。本実施例では、外部に情報を提示できないＨＭＤの場合、この連携動作により、スマートウォッチで店員にキーコードを提示することができる。
　なお、スマートウォッチ１（Ｃ）の周りの点線５６は、ＨＭＤが連携対象のスマートウォッチを認識、選択されたことを示すＡＲオブジェクトである。
　また、図１７（Ａ）では、ＨＭＤの視野内におけるスマートウォッチの位置を、ウォッチに表示したい情報であるキーコードの位置で重ねたが、そのアプリの実行場面において、スマートウォッチに表示する情報が決まっている場合には、スマートウォッチの位置はＨＭＤの視野内に入っていればどこでもよい。逆に、スマートウォッチで表示したい情報が複数ある場合は、図１７（Ａ）のように、その情報が表示されている位置にスマートウォッチの位置を合わせて選択動作を行えばよい。
　本実施例は、実施例９において、連携するアプリが、一方の情報端末装置において、表示専門のアプリでもよい例について説明する。
　図１７において、スマートウォッチ側で起動するアプリがＨＭＤの表示内容をスマートウォッチで表示するためのアプリであり、色々な種類のＨＭＤ側のアプリと連携できるものでもよい。
　この場合、図１７（Ａ）のように、ＨＭＤに表示されている情報の中で、スマートウォッチに表示したい部分にスマートウォッチ外観が重なるようにして、選択動作を行うと、その情報が図１７（Ｂ）のようにスマートウォッチに表示される。
　一方、図１８のように、ＨＭＤに情報のインデックスを表示し、その部分にスマートウォッチ外観を重ねてスマートウォッチのアプリを連携動作モードで起動して対応する情報（ここではＱＲコード）を表示してもよい。ここではスマートウォッチに店舗側にスキャンをしてもらうＱＲコードを表示する例である。
　本実施例は、実施例９において、連携動作の機能が表示以外の機能でもよい例について説明する。
　図１９は本実施例における連携動作モード移行を説明する概略図である。図１９において、図１７と同じ構成は同じ符号を付し、その説明は省略する。
　図１９は、スマートウォッチ１（Ｃ）がＮＦＣ（Near Field Communication）内蔵カードとして機能する例を示している。図１９（Ａ）に示すように、ＨＭＤの表示画面中に示されたカード名位置に、スマートウォッチ外観が重なるようにして選択動作をすることにより、スマートウォッチ側の連携アプリが起動する。選択動作は、ＨＭＤ側でもスマートウォッチ側でもよい。カード名に重畳された点線の枠６９はそのカードが選択候補になっていることを示すＡＲオブジェクトである。
　スマートウォッチ外観に、ＨＭＤの表示項目が複数重なる場合は、スマートウォッチ外観の所定位置（例えば中心位置）により近い表示項目を選択しているものとする。
　図１９（Ｂ）に示すように、スマートウォッチは図１９（Ａ）でカードＢに対応した連携アプリを起動し、そのスマートウォッチを用いて例えばカードリーダ９０とのやり取りを行い、支払いを行うことが出来る。
　図２０は、図１に対してサーバ１０００を追加した、本実施例における情報処理システムの構成模式図である。
　本実施例は、図２０に示すように、前述した全実施例において、スマートフォン１（Ａ）、ＨＭＤ１（Ｂ）、スマートウォッチ１（Ｃ）の各々の情報端末装置の間において、直接の通信で連携制御を行うのみならず、サーバ１０００経由により情報の送受信または連携制御を行う情報処理システムとする。また、各情報端末装置は、サーバ１０００上に格納されたアプリおよびファイル、データを、適宜通信により取得して使用してもよい。また、前述した各実施例によりアプリの実行を選択した情報端末装置に代わり、サーバ１０００がサーバ１０００上でアプリを実行し、実行情報を情報端末装置に提供してもよい。すなわち、サーバ１０００は、複数の情報端末装置間の通信の媒介、またはアプリの代行実行を行う。
　なお、サーバ１０００は、各情報端末装置と通信を介して接続して連携動作の制御や、アプリの実行が出来ればよく、例えば、ローカルサーバ、クラウドサーバ、エッジサーバ、ネットサービス等であり、その形態は問わない。
　以上実施例について説明したが、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　１：情報端末装置、１（Ａ）：スマートフォン（スマホ）、１（Ｂ）：ＨＭＤ（ヘッドマウントディスプレイ装置）、１（Ｃ）：スマートウォッチ、１０１：プロセッサ（コントローラ）、１０２：メモリ、４：センサ装置、６：カメラ、７：測距センサ、５０：表示デバイス、８０：通信デバイス、５１：ＨＭＤの表示画面、５２、５３：ＨＭＤのアプリアイコン、５４：ＨＭＤのポインタ、６０：スマホのアプリアイコン、６３、６５：ＡＲオブジェクト、８３：操作入力装置、９０：カードリーダ、１０００：サーバ

Claims (15)

  1. 　アプリケーションを実行する情報端末装置であって、
    　前記アプリケーションの起動指示の態様により、単独動作モードと連携動作モードを切り替えて前記アプリケーションを起動させることを特徴とする情報端末装置。
  2. 　請求項１に記載の情報端末装置であって、
    　前記起動指示の態様による制御は、前記アプリケーションの起動制御が、ユーザの視線方向において前記情報端末装置の表示内容と連携対象の第２の情報端末装置の外観が重なるかどうかを判別して行われることを特徴とする情報端末装置。
  3. 　請求項１に記載の情報端末装置であって、
    　前記起動指示の態様は、前記アプリケーションの起動指示がアプリアイコンの選択であり、所定時間間隔以下で連続する選択動作の回数であることを特徴とする情報端末装置。
  4. 　請求項１に記載の情報端末装置であって、
    　前記アプリケーションの起動指示と同時に、連携対象とする第２の情報端末装置の選択指示を行うことにより、連携動作モードにて前記アプリケーションを起動させることを特徴とする情報端末装置。
  5. 　請求項２に記載の情報端末装置であって、
    　前記情報端末装置の表示内容はアプリアイコンであって、該アプリアイコンが、連携対象となる第２の情報端末装置の表記と、該第２の情報端末装置が連携可能状態であるかどうかの表記を含んでいることを特徴とする情報端末装置。
  6. 　アプリケーションを実行する情報端末装置であって、
    該情報端末装置に表示されるアプリアイコンを連携対象の第２の情報端末装置によって選択されることで連携動作モードにて前記アプリケーションを起動させることを特徴とする情報端末装置。
  7. 　アプリケーションを実行する情報端末装置であって、
    　連携対象の第２の情報端末装置に表示されるアプリアイコンを選択することで連携動作モードにより前記アプリケーションを起動させることを特徴とする情報端末装置。
  8. 　アプリケーションを実行する情報端末装置であって、
    　前記アプリケーションの起動後、連携対象とする第２の情報端末装置の選択指示を行うことにより、該第２の情報端末装置との連携動作モードを開始することを特徴とする情報端末装置。
  9. 　請求項８に記載の情報端末装置であって、
    　前記選択指示は、ユーザの視線方向において前記情報端末装置のポインタと前記第２の情報端末装置の外観が重なるかどうかを判別して行われることを特徴とする情報端末装置。
  10. 　請求項８に記載の情報端末装置であって、
    　前記選択指示は、ユーザの視線方向において前記情報端末装置の表示内容と前記第２の情報端末装置の外観が重なるかどうかを判別して行われることを特徴とする情報端末装置。
  11. 　情報端末装置のアプリケーション動作モード制御方法であって、
    　アプリケーションの起動指示の態様により、単独動作モードと連携動作モードを切り替えて前記アプリケーションを起動させることを特徴とする情報端末装置のアプリケーション動作モード制御方法。
  12. 　請求項１１に記載の情報端末装置のアプリケーション動作モード制御方法であって、
    　前記起動指示の態様による制御は、前記アプリケーションの起動制御が、ユーザの視線方向において前記情報端末装置の表示内容と連携対象の第２の情報端末装置の外観が重なるかどうかを判別して行われることを特徴とする情報端末装置のアプリケーション動作モード制御方法。
  13. 　請求項１１に記載の情報端末装置のアプリケーション動作モード制御方法であって、
    　前記起動指示の態様は、前記アプリケーションの起動指示がアプリアイコンの選択であり、所定時間間隔以下で連続する選択動作の回数であることを特徴とする情報端末装置のアプリケーション動作モード制御方法。
  14. 　アプリケーションの実行機能を有する複数の情報端末装置と、前記複数の情報端末装置間の連携を制御する機能を有するサーバを備え、
    　前記情報端末装置は、前記アプリケーションの起動指示の態様により、サーバを経由して単独動作モードと連携動作モードを切り替えて前記アプリケーションを起動させることを特徴とする情報処理システム。
  15. 　アプリケーションの実行機能を有する複数の情報端末装置と、前記複数の情報端末装置間の連携を制御する機能を有するサーバを備える情報処理システムにおける前記サーバであって、
    　前記情報端末装置が、前記アプリケーションの起動指示の態様により、単独動作モードと連携動作モードを切り替えて前記アプリケーションの起動を制御する際に、前記複数の情報端末装置間の通信の媒介、またはアプリケーションの代行実行を行うことを特徴とするサーバ。
PCT/JP2020/010801 2020-03-12 2020-03-12 情報端末装置、及びそのアプリケーション動作モード制御方法 WO2021181604A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/910,445 US20230124173A1 (en) 2020-03-12 2020-03-12 Information terminal device and application operation mode control method of same
JP2022507112A JPWO2021181604A1 (ja) 2020-03-12 2020-03-12
CN202080098363.7A CN115280282A (zh) 2020-03-12 2020-03-12 信息终端装置及其应用动作模式控制方法
PCT/JP2020/010801 WO2021181604A1 (ja) 2020-03-12 2020-03-12 情報端末装置、及びそのアプリケーション動作モード制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/010801 WO2021181604A1 (ja) 2020-03-12 2020-03-12 情報端末装置、及びそのアプリケーション動作モード制御方法

Publications (1)

Publication Number Publication Date
WO2021181604A1 true WO2021181604A1 (ja) 2021-09-16

Family

ID=77671462

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/010801 WO2021181604A1 (ja) 2020-03-12 2020-03-12 情報端末装置、及びそのアプリケーション動作モード制御方法

Country Status (4)

Country Link
US (1) US20230124173A1 (ja)
JP (1) JPWO2021181604A1 (ja)
CN (1) CN115280282A (ja)
WO (1) WO2021181604A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023119528A1 (ja) * 2021-12-22 2023-06-29 マクセル株式会社 ヘッドマウントディスプレイ装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4339873A4 (en) * 2021-11-09 2024-05-01 Samsung Electronics Co., Ltd. METHOD AND APPARATUS FOR PROVIDING CONTENT RELATED TO AN AUGMENTED REALITY SERVICE BETWEEN AN ELECTRONIC DEVICE AND A PORTABLE ELECTRONIC DEVICE

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013003742A (ja) * 2011-06-14 2013-01-07 Sharp Corp データ送信操作機器、および、データ送信制御方法
JP2013021632A (ja) * 2011-07-14 2013-01-31 Denso Corp 車両用通信システム、携帯通信端末、および、車両用機器
WO2014006758A1 (ja) * 2012-07-06 2014-01-09 パイオニア株式会社 情報処理方法
WO2014162762A1 (ja) * 2013-04-02 2014-10-09 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2015022457A (ja) * 2013-07-18 2015-02-02 日本電信電話株式会社 アプリケーション実行制御装置、アプリケーション実行制御方法およびアプリケーション実行制御プログラム
JP2015099978A (ja) * 2013-11-18 2015-05-28 コニカミノルタ株式会社 携帯情報端末およびアプリケーション
JP2015126467A (ja) * 2013-12-27 2015-07-06 日立マクセル株式会社 携帯情報端末、放送受信装置、及びシステム
US20150319364A1 (en) * 2012-05-22 2015-11-05 Zte Corporation Method and device for switching between double cameras
JP2016126687A (ja) * 2015-01-08 2016-07-11 セイコーエプソン株式会社 ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム
US20190391716A1 (en) * 2018-06-25 2019-12-26 Google Llc Identifying and controlling smart devices
WO2020003361A1 (ja) * 2018-06-25 2020-01-02 マクセル株式会社 ヘッドマウントディスプレイ、ヘッドマウントディスプレイ連携システム及びその方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11032532B2 (en) * 2018-10-04 2021-06-08 Samsung Electronics Co., Ltd. Electronic device and method for providing virtual device via at least portion of content

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013003742A (ja) * 2011-06-14 2013-01-07 Sharp Corp データ送信操作機器、および、データ送信制御方法
JP2013021632A (ja) * 2011-07-14 2013-01-31 Denso Corp 車両用通信システム、携帯通信端末、および、車両用機器
US20150319364A1 (en) * 2012-05-22 2015-11-05 Zte Corporation Method and device for switching between double cameras
WO2014006758A1 (ja) * 2012-07-06 2014-01-09 パイオニア株式会社 情報処理方法
WO2014162762A1 (ja) * 2013-04-02 2014-10-09 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2015022457A (ja) * 2013-07-18 2015-02-02 日本電信電話株式会社 アプリケーション実行制御装置、アプリケーション実行制御方法およびアプリケーション実行制御プログラム
JP2015099978A (ja) * 2013-11-18 2015-05-28 コニカミノルタ株式会社 携帯情報端末およびアプリケーション
JP2015126467A (ja) * 2013-12-27 2015-07-06 日立マクセル株式会社 携帯情報端末、放送受信装置、及びシステム
JP2016126687A (ja) * 2015-01-08 2016-07-11 セイコーエプソン株式会社 ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム
US20190391716A1 (en) * 2018-06-25 2019-12-26 Google Llc Identifying and controlling smart devices
WO2020003361A1 (ja) * 2018-06-25 2020-01-02 マクセル株式会社 ヘッドマウントディスプレイ、ヘッドマウントディスプレイ連携システム及びその方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023119528A1 (ja) * 2021-12-22 2023-06-29 マクセル株式会社 ヘッドマウントディスプレイ装置

Also Published As

Publication number Publication date
JPWO2021181604A1 (ja) 2021-09-16
US20230124173A1 (en) 2023-04-20
CN115280282A (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
KR102521734B1 (ko) 복수의 어플리케이션들을 실행하는 웨어러블 장치와 이의 동작 방법
US20170010780A1 (en) Programmable touchscreen zone for mobile devices
EP3695591B1 (en) Electronic device for controlling a plurality of applications
US20140187148A1 (en) Near field communication method and apparatus using sensor context
WO2021181604A1 (ja) 情報端末装置、及びそのアプリケーション動作モード制御方法
US10713488B2 (en) Inspection spot output apparatus, control method, and storage medium
RU2008104856A (ru) Способ и устройство пользовательского ввода в терминале мобильной связи
KR20090016044A (ko) 휴대용 단말기의 멀티태스킹 방법 및 장치
CN113064823B (zh) 汽车的零部件功能测试方法、装置及计算机存储介质
JP2009301166A (ja) 電子機器制御装置
CN106341530B (zh) 一种支付页面的切换方法及移动终端
US20240184403A1 (en) Personal digital assistant
JP6191519B2 (ja) 取引システム及び取引装置
WO2017130504A1 (ja) 画像投影装置
US11429200B2 (en) Glasses-type terminal
US10591986B2 (en) Remote work supporting system, remote work supporting method, and program
EP3712746A1 (en) Device and method for providing vibration
JP2022137622A (ja) ウェアラブル端末、その制御方法及びプログラム
CN114217754A (zh) 投屏控制方法、装置、电子设备及存储介质
KR20110032224A (ko) 제스처에 의한 사용자 인터페이스 제공 시스템 및 방법과 이를 위한 제스처신호 발생장치 및 단말기
JP7247239B2 (ja) ｉＯＳを搭載する移動機端末のポインタを操作する自動設定プログラム
KR20190088237A (ko) 전자 장치 및 그의 동작 방법
JP2014149721A (ja) 情報入力装置
JP6193180B2 (ja) プレゼンテーション用端末及びプレゼンテーション方法
JP2011221221A (ja) 表示装置及びその制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20924398

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022507112

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20924398

Country of ref document: EP

Kind code of ref document: A1