WO2021130937A1 - 情報処理装置、プログラム、および方法 - Google Patents

情報処理装置、プログラム、および方法 Download PDF

Info

Publication number
WO2021130937A1
WO2021130937A1 PCT/JP2019/050993 JP2019050993W WO2021130937A1 WO 2021130937 A1 WO2021130937 A1 WO 2021130937A1 JP 2019050993 W JP2019050993 W JP 2019050993W WO 2021130937 A1 WO2021130937 A1 WO 2021130937A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
processing device
user
display unit
gyro
Prior art date
Application number
PCT/JP2019/050993
Other languages
English (en)
French (fr)
Inventor
紘明 栗山
圭一 赤尾
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to EP19957396.5A priority Critical patent/EP4083751B1/en
Priority to US17/757,652 priority patent/US20230009352A1/en
Priority to PCT/JP2019/050993 priority patent/WO2021130937A1/ja
Publication of WO2021130937A1 publication Critical patent/WO2021130937A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Definitions

  • This disclosure relates to information processing devices, programs, and methods.
  • One-handed operation is routinely performed on information processing devices equipped with a touch panel display, such as smartphones.
  • a touch panel display such as smartphones.
  • it has become difficult to operate with one hand for example, when touching the upper right or lower right of the screen while holding the device with the left hand).
  • Patent Document 1 when a user performs a touch operation (for example, a swipe operation from the upper left to the lower right) so as to pull the screen with a finger, the entire screen or a part of the screen is moved so as to be pulled away from the finger. It has been shown to be easier to manipulate the position. Further, Patent Document 2 discloses that when the user tilts the device, a part of the screen is enlarged or reduced in order to enlarge or reduce the screen by one-handed operation.
  • a touch operation for example, a swipe operation from the upper left to the lower right
  • the present disclosure proposes an information processing device, a program, and a method capable of determining a position on the screen of the information processing device at which the user intends to perform an operation without impairing usability.
  • the information processing device includes an acceleration sensor unit for detecting the inclination of the information processing device, a display unit, a gyro sensor unit for measuring the angular velocity of the information processing device, and a first information processing device.
  • the first gyro waveform obtained by the angular velocity and the second gyro waveform or the second gyro waveform of each operation position with respect to the information processing device measured in advance are generated as teacher data.
  • An information processing device is provided that includes a determination unit that determines a position on the display unit that the user intends to perform an operation based on the learning model.
  • the information processing apparatus detects the inclination of the information processing apparatus, measures the angular velocity of the information processing apparatus, and responds to the detection of the first inclination of the information processing apparatus by the angular velocity. Based on the obtained first gyro waveform and the learning model generated using the second gyro waveform or the second gyro waveform of each operation position with respect to the information processing apparatus measured in advance as training data, the information processing apparatus A program is provided that executes a process of determining a position where a user intends to perform an operation on the provided display unit.
  • the information processing apparatus detects the tilt of the information processing apparatus, measures the angular velocity of the information processing apparatus, and responds to the detection of the first inclination of the information processing apparatus by the angular velocity. Based on the obtained first gyro waveform and the learning model generated using the second gyro waveform or the second gyro waveform of each operation position with respect to the information processing apparatus measured in advance as training data, the information processing apparatus Provided is a method of executing a process of determining a position where a user intends to perform an operation on the provided display unit.
  • the information processing device 10 is a device capable of operating the touch panel display with one hand, and may be, for example, a mobile terminal such as a smartphone or a tablet PC (Personal Computer), or a digital camera or the like.
  • the information processing device 10 includes a display unit 110 such as a touch panel display. Further, the information processing device 10 may include a photographing unit 170 such as an in-camera.
  • FIG. 2 is a block diagram showing a functional configuration example of the information processing device 10 according to the present embodiment.
  • the information processing apparatus 10 includes a display unit 110, an operation unit 120, a storage unit 130, an acceleration sensor unit 140, a gyro sensor unit 150, a determination unit 160, an imaging unit 170, and a control unit. 200 is provided.
  • the display unit 110 displays various visual information based on the control by the control unit 200.
  • the display unit 110 may display, for example, an image or characters related to the application.
  • the display unit 110 according to the present embodiment includes various display devices such as a liquid crystal display (LCD: Liquid Crystal Display) device and an OLED (Organic Light Emitting Monitor) display device. Further, the display unit 110 adjusts and displays the screen so that the user can easily operate the screen when the user operates the screen with one hand.
  • LCD Liquid Crystal Display
  • OLED Organic Light Emitting Monitor
  • the operation unit 120 detects various operations by the user, such as device operations for applications.
  • the above-mentioned device operation includes, for example, a touch operation.
  • the touch operation refers to various contact operations with respect to the display unit 110, such as tapping, double tapping, swiping, and pinching. Further, the touch operation includes an operation of bringing an object such as a finger closer to the display unit 110.
  • the operation unit 120 according to the present embodiment includes, for example, a touch panel, buttons, a keyboard, a mouse, a proximity sensor, and the like.
  • the operation unit 120 according to the present embodiment inputs information related to the detected user operation to the control unit 200.
  • the storage unit 130 is a storage area for temporarily or permanently storing various programs and data.
  • the storage unit 130 may store programs and data for the information processing device 10 to execute various functions.
  • the storage unit 130 may store a program for executing various applications, management data for managing various settings, and the like.
  • the above is only an example, and the type of data stored in the storage unit 130 is not particularly limited.
  • the acceleration sensor unit 140 measures the acceleration (speed per unit time) of the information processing device 10.
  • FIG. 3 is a diagram showing an example of acceleration and angular velocity according to the present embodiment. As shown in FIG. 3, for example, the acceleration sensor unit 140 measures x, y, z-axis (three axial) directions of the acceleration (a x, a y, a z) a. Since the acceleration sensor unit 140 captures gravity as acceleration in the direction of gravity, it is possible to detect the inclination of the information processing device 10 and the like.
  • the gyro sensor unit 150 measures the angular velocity (the amount of change in the angle per unit time) of the information processing device 10. As shown in FIG. 3, for example, the gyro sensor unit 150 measures the angular velocity ( ⁇ x , ⁇ y , ⁇ z) when each of the x, y, and z axes is the center.
  • the determination unit 160 obtains the angular velocity measured by the gyro sensor unit 150 in response to the detection of the inclination (corresponding to the first inclination) of the information processing device 10 by the acceleration sensor unit 140. Based on the gyro waveform to be obtained and the gyro waveform of each operation position with respect to the information processing device 10 measured in advance, the position where the user intends to perform the operation is determined on the display unit 110. Alternatively, the determination unit 160 is trying to perform an operation from the gyro waveform obtained by the angular velocity measured by the gyro sensor unit 150 using a learning model generated using the gyro waveform for each operation position as teacher data.
  • FIG. 4 is a diagram showing an example of a gyro waveform for each operation position according to the present embodiment.
  • the horizontal axis is time and the vertical axis is the angular velocity measured by the gyro sensor unit 150.
  • three gyro waveforms with respect to the x, y, and z axes are shown in each graph.
  • Graphs 302, 303, and 305 show gyro waveforms when the user operates the operation positions "2", “3", and "5" of the display unit 110 with one hand, respectively.
  • the tilting method and the speed of the information processing device 10 are different at each operation position, so that each characteristic appears in the gyro waveform (angular velocity).
  • the information processing apparatus 10 measures the gyro waveform (angular velocity) at each operating position in advance, and features the characteristics of each gyro waveform (intensity of angular velocity, amount of change over time (how the waveform rises), ⁇ x , ⁇ y , Extract and store the ratio of ⁇ z, etc.). Then, the determination unit 160 can determine to which position the user is trying to operate by analyzing the characteristics of the gyro waveform when the user actually tries to operate.
  • the determination unit 160 can also use machine learning at this time. For example, about 100 gyro waveforms at each operation position can be prepared in advance, and machine learning can be performed using these as teacher data. As a result, a trained model for estimating the operation position of the user is generated. The trained model outputs the corresponding operation position when the gyro waveform is input. By storing the trained model in the information processing device 10, it is possible to estimate which operation position the gyro waveform corresponds to when the user actually operates the model. As machine learning, for example, deep learning such as CNN (Convolutional Neural Network) is used.
  • CNN Convolutional Neural Network
  • the gyro waveforms of graphs 310 and 311 show that the information processing apparatus 10 is violently shaken or slowly and greatly moved.
  • the determination unit 160 can determine that the user has not operated any position of the display unit 110 (in this case, in FIG. 4, it is classified into "other" indicating other operations. doing).
  • the gyro waveform at each operation position is different for each user even at the same operation position (for example, even at the same operation position, depending on the user, the gyro waveform may be operated by tilting it toward the front or tilting it toward the back. Is). Therefore, in order to optimize for each user, a measurement mode is prepared in the information processing device 10, the gyro waveform for each user is measured for each operation position, and the measured gyro waveform is relearned as teacher data. This makes it possible to generate a new trained model. As a result, it is possible to improve the determination accuracy for each user.
  • the gyro waveform at each operation position differs depending on which hand the user operates even at the same operation position. Therefore, if there is a possibility of operating with each hand, measure and store both the gyro waveform when operating with the right hand and the gyro waveform when operating with the left hand for each operation position in advance. Can be done. As a result, even if there is a user who uses both the right hand and the left hand in the case of one-handed operation, it is possible to improve the determination accuracy by properly using the gyro waveforms for the right hand and the left hand.
  • the determination unit 160 determines the rotation direction of the information processing device 10 based on the angular velocity measured by the gyro sensor unit 150 (from the angular velocity, the direction in which the information processing device 10 is tilted, that is, the rotation direction can be known. ). Then, the determination unit 160 determines the position on the display unit 110 where the user intends to perform an operation based on the rotation speed.
  • the user responds to the detection of the second inclination different from the first inclination by the user. Is determined by the second inclination to return to the original state (that is, the original angle) before the detection of the first inclination.
  • the determination unit 160 determines the direction of the information processing device 10 based on the inclination of the information processing device 10 measured and detected by the acceleration sensor unit 140 and the direction of gravity with respect to the information processing device 10. Details will be described later.
  • the determination unit 160 determines whether the user holds the information processing device 10 with his / her right hand or his / her left hand based on the position and locus of the swipe operation performed on the display unit 110. For example, when swiping from left to right on the display unit 110, generally, when holding with the right hand, operate by drawing an arc from left to right, and when holding with the left hand, from the right. It will be operated by drawing an arc to the left.
  • the information processing device 10 also causes the user to operate the right-hand operation portion and the left-hand operation portion for each user in advance and stores the position and locus of such a swipe operation, so that the information processing apparatus 10 can utilize the position and locus for the determination by the determination unit 160. be able to.
  • the determination unit 160 determines the position on the display unit 110 where the user intends to perform an operation, and the determination unit 160 is a gyro for the right hand and the left hand. Waveforms can be used properly.
  • the determination unit 160 determines the correctness of the position determination that the user intends to perform based on the actual operation of the user after determining the position where the user intends to perform the operation on the display unit 110. As a result, machine learning can be performed using the correct / negative determination result as learning data, and the result can be utilized for subsequent determination by the determination unit 160.
  • the photographing unit 170 according to the present embodiment photographs, for example, the face of a user who operates the information processing device 10 based on the control by the control unit 200.
  • the photographing unit 170 according to the present embodiment includes an image sensor.
  • a smartphone which is an example of the information processing device 10, has an in-camera (front camera) for photographing a user's face or the like on the display unit 110 side and a landscape or the like on the back side opposite to the display unit 110. Equipped with a main camera.
  • Control unit 200 The control unit 200 according to the present embodiment is a processing unit that controls the entire information processing device 10, and controls each configuration included in the information processing device 10. Details of the functions of the control unit 200 according to this embodiment will be described later.
  • the functional configuration example of the information processing device 10 according to the present embodiment has been described above.
  • the above-mentioned functional configuration described with reference to FIG. 2 is merely an example, and the functional configuration of the information processing apparatus 10 according to the present embodiment is not limited to such an example.
  • the information processing device 10 does not necessarily have all of the configurations shown in FIG. 2, and the configuration of the storage unit 130 and the like can be provided in another device different from the information processing device 10.
  • the functional configuration of the information processing apparatus 10 according to the present embodiment can be flexibly modified according to specifications and operations.
  • each component is controlled from a storage medium such as a ROM (Read Only Memory) or a RAM (Random Access Memory) that stores a control program in which a computing device such as a CPU describes a processing procedure for realizing these functions. This may be done by reading the program, interpreting and executing the program. Therefore, it is possible to appropriately change the configuration to be used according to the technical level at each time when the present embodiment is implemented.
  • a storage medium such as a ROM (Read Only Memory) or a RAM (Random Access Memory) that stores a control program in which a computing device such as a CPU describes a processing procedure for realizing these functions. This may be done by reading the program, interpreting and executing the program. Therefore, it is possible to appropriately change the configuration to be used according to the technical level at each time when the present embodiment is implemented.
  • An example of the hardware configuration of the information processing device 10 will be described later.
  • the control unit 200 of the information processing device 10 uses the acceleration and the angular velocity measured by the acceleration sensor unit 140 and the gyro sensor unit 150, respectively, at a position where the user intends to operate on the display unit 110 without impairing usability. (Hereinafter, referred to as "user operation position determination"). Further, when the user is operating with one hand and the position on the display unit 110 that the user intends to operate is a position that is difficult to operate, the control unit 200 controls the display unit 110 and the user operates the display unit 110. Adjust the screen to make it easier (hereinafter referred to as "user operation support").
  • the position that is difficult to operate is, for example, a position other than the operation position “3” in FIG. 4 when the user holds the information processing device 10 with his / her left hand. Similarly, when holding it with the right hand, for example, it is other than the operation position "4".
  • user operation support may not be required depending on the usage state of the user. In such a case, the screen adjustment by the user operation support may rather hinder the user operation. Further, when the user operation support is not required, the user operation position determination for determining the necessity of the user operation support is also unnecessary. In this case, the function of the gyro sensor unit 150 used for determining the user operation position can be stopped, whereby the current consumption of the information processing device 10 can be suppressed. Therefore, in the present embodiment, the operation of each function is controlled by three operation modes.
  • FIG. 5 is a diagram showing an example of an operation mode according to the present embodiment. As shown in FIG. 5, there are three operation modes according to the present embodiment, and the operation mode is switched to "out of operation range (mode)" or "one-handed mode” centering on “inside operation range (mode)". "Out of operating range” is a state in which user operation support is not required. In this case, the function of the gyro sensor unit 150 can be stopped. “Within the operating range” is a state in which the user operation position is determined in order to determine the necessity of user operation support, or is waiting to be performed. Therefore, in this case, the function of the gyro sensor unit 150 is activated.
  • the "one-handed mode” is a state in which user operation support is required and user operation support is provided by screen adjustment or the like. In this case as well, the function of the gyro sensor unit 150 remains activated. In the present embodiment, the state in which the user's face is approximately facing the information processing device 10 is within the operating range (the state in which the user will be looking at the screen).
  • the operation mode is switched by determining in what direction the user is operating the information processing device 10 by using the acceleration and the angular velocity measured by the acceleration sensor unit 140 and the gyro sensor unit 150, respectively. ..
  • FIG. 6 is a diagram showing an example of the operating range and the direction of gravity according to the present embodiment.
  • FIG. 6 shows a user who operates the information processing device 10 by holding it vertically with one hand.
  • the operation mode is switched to "within the operation range".
  • the direction of gravity captured by the acceleration sensor unit 140 is within the operating range, it is determined to be within the operating range.
  • the operating range can have a certain width.
  • the operating range in FIG. 6 is shown in a planar range such as a fan shape, but since it is actually a space, it will be a three-dimensional range such as a cone.
  • FIG. 7 is a diagram showing another example of the operating range and the direction of gravity according to the present embodiment.
  • FIG. 7 shows a user who operates the information processing device 10 by holding it sideways with both hands.
  • the control unit 200 can switch the operation mode to "out of the operation range". Specifically, as shown in FIG. 7, when the direction of gravity is outside the operating range, it is determined to be out of the operating range.
  • the operating range in FIG. 7 and the operating range in FIG. 6 are the same. That is, since the operating range is a fixed range with respect to the information processing device 10, the orientation of the information processing device 10 can be determined based on the inclination of the information processing device 10 and the direction of gravity with respect to the information processing device 10. it can.
  • FIG. 8 is a diagram showing still another example of the operating range and the direction of gravity according to the present embodiment.
  • FIG. 8 shows a user who lays down and operates the information processing device 10. Even when the user is operating the information processing device 10 in such an orientation, the control unit 200 can switch the operation mode to "out of the operation range".
  • the orientation of the information processing apparatus 10 is determined based on the inclination of the information processing apparatus 10 and the direction of gravity with respect to the information processing apparatus 10, and the operation modes "within the operating range” and “out of the operating range” are determined. Make a switch.
  • FIG. 9 is a diagram showing an example of the one-handed mode according to the present embodiment.
  • the left side of FIG. 9 shows a state in which the user holds the information processing device 10 vertically with his / her left hand (the operation mode is “within the operation range”) and tries to operate the vicinity of the operation position “4” of the display unit 110 with his / her thumb. There is.
  • the left side of FIG. 9 shows that the information processing device 10 is operated so as to be tilted to the far right, but this is just an example, and the actual movement differs depending on the user.
  • the determination unit 160 of the information processing device 10 detects the inclination of the information processing device 10, the gyro waveform obtained by the angular velocity measured by the gyro sensor unit 150 and each operation position with respect to the information processing device 10 measured in advance. It is assumed that the user is trying to operate the operation position "4" based on the gyro waveform of the above or the learning model generated by using the gyro waveform as the teacher data.
  • the operation mode is switched to the "one-handed mode” because the operation position "4" is a difficult position to operate.
  • the right side of FIG. 9 shows a state in which the operation mode is switched to the "one-handed mode” and the screen is reduced. As a result, the operation position "4" is moved closer to the center from the right end of the display unit 110, and the user can easily operate the vicinity of the operation position "4".
  • the determination unit 160 determines that the tilt of the information processing device 10 is due to the second tilt. It is determined whether or not the original state (the state on the left side of FIG. 9) has been restored. When it is determined that the tilt of the information processing device 10 has returned to the original state, the screen is reduced and enlarged to return to the original size (returns to the state on the left side of FIG. 9).
  • FIG. 10 is a diagram showing another example of the one-handed mode according to the present embodiment.
  • the left side of FIG. 10 is the same as the left side of FIG.
  • the right side of FIG. 10 shows a state in which the operation mode is switched to the "one-handed mode" and the entire screen is moved to the left.
  • the operation position "4" is moved closer to the center from the right end of the display unit 110, and the user can easily operate the vicinity of the operation position "4".
  • the determination unit 160 returns the tilt of the information processing device 10 to the original state (the state on the left side of FIG. 10). Determine if it is.
  • the screen is moved to the right by the amount moved to the left and returned to the original position.
  • FIG. 11 is a flowchart showing the flow of the user operation position determination process according to the present embodiment. This process uses the detection of the tilt by the information processing device 10 as a trigger to determine whether or not the operation mode is "within the operation range", and if it is "within the operation range", the user operation position is determined. It is what you do.
  • the acceleration sensor unit 140 of the information processing device 10 determines whether or not the direction of gravity captured by the acceleration sensor unit 140 is within a predetermined operating range (step S101).
  • step S102 When the direction of gravity is out of the predetermined operating range (step S102: No), when the operating mode is not "out of the operating range", the control unit 200 switches the operating mode to "out of the operating range", and the function of the gyro sensor unit 150 Is stopped (step S111). After step S111, this process ends (strictly speaking, it returns to the start of this process and waits for the gravity direction to be within the operating range again).
  • step S101: Yes when the operating mode is not "within the operating range", the control unit 200 switches the operating mode to "within the operating range", and the gyro sensor unit 150 (Step S102) is activated, and the measurement of the angular velocity of the information processing apparatus 10 is started.
  • the acceleration sensor unit 140 determines whether or not some first inclination is detected (step S103). If the first inclination is not detected (step S103: No), this process ends and returns to the start.
  • the determination unit 160 includes a gyro waveform obtained by the angular velocity for which measurement is started in step S102, and each operation position measured and stored in advance. Based on the gyro waveform of the above, the position where the user intends to perform the operation is determined (step S104).
  • the determination unit 160 is trying to perform an operation from the gyro waveform obtained by the angular velocity at which the measurement is started in step S102, using the learning model generated using the gyro waveform for each operation position as the teacher data. Estimate (determine) the position.
  • the determination unit 160 determines whether or not the operation for the position where the user is going to perform the operation requires the one-handed mode (step S105). Whether or not the operation requires the one-handed mode depends on whether or not the position on the display unit 110 where the user intends to perform the operation is a difficult position to operate and the user operation support is required.
  • step S105 No If the one-handed mode is not a necessary operation (step S105: No), this process ends and returns to the start.
  • step S105 when the one-handed mode is a necessary operation (step S105: Yes), the control unit 200 switches the operation mode to the "one-handed mode", and the display unit 110 adjusts the screen so that the user can easily operate the screen. (Step S106).
  • the screen that is easy for the user to operate is, for example, as shown in FIGS. 9 and 10, the user can reduce the size of the screen or move the entire screen so that the user can easily operate the screen. This is a screen in which the position where the operation is to be performed is moved toward the user's thumb.
  • step S107 the acceleration sensor unit 140 and the gyro sensor unit 150 determine whether or not some second inclination has been detected.
  • step S107: No the acceleration sensor unit 140 and the gyro sensor unit 150 wait for the second inclination to be detected.
  • step S107: Yes it is determined whether or not the user intends to return the inclination of the information processing device 10 to the original angle (step S108). ).
  • step S109 If the user has not returned the tilt of the information processing device 10 to the original angle (step S109: No), it is determined that the "one-handed mode" is still required, and the acceleration sensor unit 140 further tilts the second. Waits for detection (returning to step S107). Although the tilt of the information processing device 10 has not returned to the original angle, another user operation support may be required. For example, this is a case where the operation position “4” as shown in FIG. 4 is operated and then the operation positions “2” and “6” are continuously operated. In such a case, the process proceeds to step S106, and the display unit 110 can adjust the screen so that the user can easily operate the operation positions “2” and “6”.
  • step S109 Yes
  • the control unit 200 sets the operation mode to the "operation range”.
  • the display unit 110 adjusts the screen again by switching to "inside” (step S110).
  • the screen adjustment here is to return the screen adjusted as shown on the right side of FIG. 9 or the right side of FIG. 10 in step S106 to the state of the left side of FIG. 9 or the left side of FIG. After step S110, this process ends and returns to the start.
  • FIG. 12 is a diagram showing an example of an in-camera image for each operation position according to the present embodiment. As shown in FIG. 12, since the inclination of the information processing device 10 differs depending on the position on the display unit 110 that the user is trying to operate, the position of the user reflected in the in-camera image also differs. Therefore, it is possible to determine which position on the display unit 110 the user intends to perform the operation based on the position of the user reflected in the in-camera image.
  • the information processing device 10 captures and stores the in-camera image of each operation position in advance, and compares it with the in-camera image when the user actually tries to operate, so that the user operates at which position. You can determine if you are trying.
  • the in-camera image does not need to be displayed on the display unit 110, and the photograph taken by the photographing unit 170 is internally converted into digital data.
  • the position of the user reflected in the in-camera image differs for each user even at the same operation position. Further, even if the user is the same user, it differs depending on which hand the user operates the information processing device 10. Therefore, for each user, both the in-camera image when the operation is performed with the right hand and the in-camera image when the operation is performed with the left hand can be captured and stored in advance for each operation position.
  • the determination unit 160 can determine the position where the user intends to perform the operation by using the determination based on the gyro waveform (angular velocity) described above and the determination based on the in-camera image in combination. As a result, the determination accuracy of the determination unit 160 can be further improved.
  • FIG. 13 is a diagram showing an example of the extended function of the one-handed mode according to the present embodiment.
  • the control unit 200 has an arbitrary user interface (for example, volume and screen brightness adjustment, various types, etc.) in the empty space of the display unit 110 when the screen is reduced as shown on the right side of FIG. It can also be controlled to display (ON / OFF) of the function.
  • the icon 350 is a software button (toggle switch) that maintains the one-handed mode. By pressing the icon 350, for example, even if the user returns the tilt of the information processing device 10 to the original angle, the state of the one-handed mode can be maintained until the icon 350 is pressed again.
  • FIG. 14 is a diagram showing another example of the extended function of the one-handed mode according to the present embodiment. Similar to FIG. 13, the control unit 200 can also control FIG. 14 to display an arbitrary user interface in the empty space of the display unit 110 when the entire screen is moved as shown on the right side of FIG. In this way, usability can be further improved by the control as shown in FIGS. 13 and 14.
  • control unit 200 switches the content displayed on the display unit 110 to another content and displays the content displayed on the display unit 110 according to the position determined by the determination unit 160 that the user is trying to operate. Can be controlled to.
  • control unit 200 can control the login user of the information processing apparatus 10 to be switched to another login user according to the position determined by the determination unit 160 that the user is trying to operate. ..
  • control unit 200 can control the SIM of the information processing device 10 to be switched to another SIM according to the position determined by the determination unit 160 that the user is going to operate.
  • control unit 200 can be controlled to switch the shooting mode of the shooting unit 170 according to the position determined by the determination unit 160 that the user is going to operate.
  • FIG. 15 is a block diagram showing a hardware configuration example of the information processing apparatus 10 according to the embodiment of the present disclosure.
  • the information processing device 10 includes, for example, a processor 871, a ROM 872, a RAM 873, a host bus 874, a bridge 875, an external bus 876, an interface 877, an input device 878, and an output device 879. It has a storage 880, a drive 881, a connection port 882, and a communication device 883.
  • the hardware configuration shown here is an example, and some of the components may be omitted. Further, components other than the components shown here may be further included.
  • the processor 871 functions as, for example, an arithmetic processing unit or a control device, and controls all or a part of the operation of each component based on various programs recorded in the ROM 872, the RAM 873, the storage 880, or the removable recording medium 901. ..
  • the processor 871 may be composed of a plurality of processors.
  • the ROM 872 is a means for storing programs read into the processor 871 and data used for calculations.
  • the RAM 873 temporarily or permanently stores, for example, a program read into the processor 871 and various parameters that change as appropriate when the program is executed.
  • the processors 871, ROM 872, and RAM 873 are connected to each other via, for example, a host bus 874 capable of high-speed data transmission.
  • the host bus 874 is connected to the external bus 876, which has a relatively low data transmission speed, via, for example, the bridge 875.
  • the external bus 876 is connected to various components via the interface 877.
  • Input device 8708 For the input device 878, for example, a mouse, a keyboard, a touch panel, buttons, switches, levers, and the like are used. Further, as the input device 878, a remote controller (hereinafter referred to as a remote controller) capable of transmitting a control signal using infrared rays or other radio waves may be used. Further, the input device 878 includes a voice input device such as a microphone and a sensor device such as an acceleration sensor and a gyro sensor.
  • the output device 879 sends the acquired information to the user, for example, a display device such as a CRT (Cathode Ray Tube), an LCD, or an organic EL, an audio output device such as a speaker or a headphone, a printer, a mobile phone, or a facsimile. It is a device that can notify visually or audibly. Further, the output device 879 according to the present disclosure includes various vibration devices capable of outputting a tactile stimulus.
  • the storage 880 is a device for storing various types of data.
  • a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like is used.
  • the drive 881 is a device that reads information recorded on a removable recording medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, or writes information to the removable recording medium 901.
  • a removable recording medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory
  • the removable recording medium 901 is, for example, a DVD media, a Blu-ray (registered trademark) media, an HD DVD media, various semiconductor storage media, and the like.
  • the removable recording medium 901 may be, for example, an IC card equipped with a non-contact type IC chip, an electronic device, or the like.
  • connection port 882 is a port for connecting an external connection device 902 such as a USB (Universal Serial Bus) port, an IEEE1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal. is there.
  • an external connection device 902 such as a USB (Universal Serial Bus) port, an IEEE1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal. is there.
  • the externally connected device 902 is, for example, a printer, a portable music player, a digital camera, a digital video camera, an IC recorder, or the like.
  • the communication device 883 is a communication device for connecting to a network, and is, for example, a communication card for wired or wireless LAN, Bluetooth (registered trademark), or WUSB (Wireless USB), a router for optical communication, and ADSL (Asymmetric Digital). A router for Subscriber Line), a modem for various communications, and the like.
  • the information processing device (10) is the first of the display unit (110), the gyro sensor unit (150) for measuring the angular velocity of the information processing device (10), and the information processing device (10).
  • the first gyro waveform obtained by the angular velocity and the second gyro waveform or the second gyro waveform at each operating position with respect to the pre-measured information processing device (10) are used as training data.
  • the display unit (110) includes a determination unit (160) for determining a position where the user intends to perform an operation.
  • the present technology can also have the following configurations.
  • An information processing device including a determination unit that determines a position on the display unit where a user intends to perform an operation based on a learning model generated using a second gyro waveform as teacher data.
  • the determination unit further Based on the angular velocity, the rotation direction of the information processing device is determined.
  • the information processing device determines a position on the display unit where the user intends to perform an operation based on the rotation direction.
  • the determination unit In response to the detection of the second inclination of the information processing device, the determination unit further detects the inclination of the information processing device by the user by detecting the inclination of the first inclination.
  • the display unit further enlarges and displays the screen by a predetermined amount when it is determined that the user has returned the tilt of the information processing device to the original angle.
  • the display unit further moves the screen displayed on the display unit by a predetermined amount in a predetermined direction according to the determined position.
  • Information processing device In response to the detection of the second inclination of the information processing device, the determination unit further causes the user to determine the inclination of the information processing device according to the second inclination of the first inclination.
  • the display unit moves the screen in the direction opposite to the predetermined direction by the predetermined amount and displays the screen (5). ).
  • the information processing device (7) The information processing apparatus according to (6), wherein the second inclination used by the determination unit is detected by the acceleration sensor unit and the gyro sensor unit. (8) The acceleration sensor unit further detects the direction of gravity with respect to the information processing device. The determination unit further determines the orientation of the information processing device based on the inclination of the information processing device and the direction of gravity.
  • the information processing device according to any one of (1) to (7) above, further comprising a control unit that stops the function of the gyro sensor unit when the direction of the information processing device is a predetermined direction. (9) The measurement of the first angular velocity by the gyro sensor unit is performed. The determination of the position where the user is going to operate is determined by the determination unit. When the user holds the information processing device with his / her right hand, the first gyro waveform and the third gyro waveform of each operation position with respect to the information processing device measured in advance by the touch operation of the right hand or the first gyro waveform.
  • the position where the user intends to perform the operation is determined on the display unit.
  • (1) to (8) which includes determining a position on the display unit where the user intends to perform an operation, based on a third learning model generated using the gyro waveform of 4 as training data.
  • the information processing device according to any one of.
  • the determination unit further determines whether the user holds the information processing device with his / her right hand or his / her left hand, based on the position and locus of the swipe operation performed on the display unit. , The information processing apparatus according to any one of (1) to (9) above. (11) The determination unit further Based on the operation of the user after determining the position where the user intends to perform the operation, the correctness of the position determination which the user intends to perform the operation is determined. The information processing device according to any one of (1) to (10) above, wherein machine learning is performed using the correctness determination result as learning data.
  • the determination unit further describes any of (1) to (11) above, wherein the determination unit determines a position on the display unit where the user intends to perform an operation based on how the user is photographed by the in-camera.
  • Information processing equipment (13) The information processing device according to (3) above, wherein the display unit further displays the user interface in an empty space of the screen as a result of reducing the screen by a predetermined amount and displaying the screen.
  • the display unit further displays the user interface in an empty space of the screen as a result of moving the screen in a predetermined direction by a predetermined amount and displaying the screen.
  • the information processing apparatus according to any one of (1) to (17), further comprising a control unit for switching the photographing mode of the photographing unit according to the determined position.
  • Detecting the tilt of the information processing device Measure the angular velocity of the information processing device and In response to the detection of the first tilt of the information processing device, the first gyro waveform obtained by the angular velocity and the second gyro waveform of each operating position with respect to the information processing device measured in advance or the said.
  • the information processing device Detecting the tilt of the information processing device, Measure the angular velocity of the information processing device and In response to the detection of the first tilt of the information processing device, the first gyro waveform obtained by the angular velocity and the second gyro waveform of each operating position with respect to the information processing device measured in advance or the said.
  • Information processing device 110 Display unit 120 Operation unit 130 Storage unit 140 Accelerometer unit 150 Gyro sensor unit 160 Judgment unit 170 Imaging unit 200 Control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

ユーザビリティを損なうことなく、情報処理装置の画面においてユーザが操作を行おうとしている位置を判定することができる情報処理装置が求められている。そこで、情報処理装置であって、情報処理装置の傾きを検出する加速度センサ部と、表示部と、情報処理装置の角速度を測定するジャイロセンサ部と、情報処理装置の第１の傾きを検出したことに応答して、角速度により得られる第１のジャイロ波形と、予め測定された情報処理装置に対する各操作位置の第２のジャイロ波形または第２のジャイロ波形を教師データとして生成された学習モデルとに基づいて、表示部においてユーザが操作を行おうとしている位置を判定する判定部とを備えた、情報処理装置を提案する。また、表示部はさらに、判定された位置に応じて、表示部に表示された画面を、所定量縮小して、または、所定の方向に所定量移動して、表示する。

Description

情報処理装置、プログラム、および方法
　本開示は、情報処理装置、プログラム、および方法に関する。
　スマートフォンなど、タッチパネルディスプレイを備えた情報処理装置に対して片手での操作は日常的に行われる。一方で、タッチパネルディスプレイの高解像度化および大型化が進み、片手での操作が難しい場合も出てきた（例えば、装置を左手で持ちながら、画面の右上や右下に対してタッチ操作を行う場合）。
　特許文献１には、ユーザが画面を指で引き寄せるようにタッチ操作（例えば、左上から右下へのスワイプ操作）をすると、画面全体または一部も引き寄せられるように動いて、指から離れていた位置を操作し易くなることが示されている。また、特許文献２には、片手操作で画面の拡大または縮小表示をするために、ユーザが装置を傾けると画面の一部を拡大または縮小表示することが示されている。
米国特許出願公開第２０１６／００３４１３１号明細書 特開２０１３－１４０４６９号公報
　しかしながら、従来の技術では、指から離れていた位置を操作し易くするためにもタッチ操作が必要であり、また、装置を傾けて画面を拡大または縮小表示しても、ユーザが操作を行おうとしている位置が適切に表示されるとは限らず、ユーザビリティに欠ける。
　そこで、本開示では、ユーザビリティを損なうことなく、情報処理装置の画面においてユーザが操作を行おうとしている位置を判定することができる情報処理装置、プログラム、および方法を提案する。
　本開示によれば、情報処理装置であって、情報処理装置の傾きを検出する加速度センサ部と、表示部と、情報処理装置の角速度を測定するジャイロセンサ部と、情報処理装置の第１の傾きを検出したことに応答して、角速度により得られる第１のジャイロ波形と、予め測定された情報処理装置に対する各操作位置の第２のジャイロ波形または第２のジャイロ波形を教師データとして生成された学習モデルとに基づいて、表示部においてユーザが操作を行おうとしている位置を判定する判定部とを備えた、情報処理装置が提供される。
　また、本開示によれば、情報処理装置に、情報処理装置の傾きを検出し、情報処理装置の角速度を測定し、情報処理装置の第１の傾きを検出したことに応答して、角速度により得られる第１のジャイロ波形と、予め測定された情報処理装置に対する各操作位置の第２のジャイロ波形または第２のジャイロ波形を教師データとして生成された学習モデルとに基づいて、情報処理装置が備えた表示部においてユーザが操作を行おうとしている位置を判定する処理を実行させる、プログラムが提供される。
　また、本開示によれば、情報処理装置が、情報処理装置の傾きを検出し、情報処理装置の角速度を測定し、情報処理装置の第１の傾きを検出したことに応答して、角速度により得られる第１のジャイロ波形と、予め測定された情報処理装置に対する各操作位置の第２のジャイロ波形または第２のジャイロ波形を教師データとして生成された学習モデルとに基づいて、情報処理装置が備えた表示部においてユーザが操作を行おうとしている位置を判定する処理を実行する、方法が提供される。
本実施形態に係る情報処理装置１０の一例を示す図である。 同実施形態に係る情報処理装置１０の機能構成例を示すブロック図である。 同実施形態に係る加速度および角速度の一例を示す図である。 同実施形態に係る操作位置ごとのジャイロ波形の一例を示す図である。 同実施形態に係る動作モードの一例を示す図である。 同実施形態に係る動作範囲および重力方向の一例を示す図である。 同実施形態に係る動作範囲および重力方向の別の例を示す図である。 同実施形態に係る動作範囲および重力方向のさらに別の例を示す図である。 同実施形態に係る片手モードの一例を示す図である。 同実施形態に係る片手モードの別の例を示す図である。 同実施形態に係るユーザ操作位置判定処理の流れを示すフローチャートである。 同実施形態に係る操作位置ごとのインカメラ画像の一例を示す図である。 同実施形態に係る片手モードの拡張機能の一例を示す図である。 同実施形態に係る片手モードの拡張機能の別の例を示す図である。 同実施形態に係る情報処理装置１０のハードウェア構成例を示すブロック図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、本明細書および図面において、実質的に同一の部位には、同一の符号を付することにより重複する説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．実施形態
　　１．１．機能構成例
　　１．２．機能の詳細
　　１．３．機能の流れ
　２．実施形態の変形例
　　２．１．変形例１
　　２．２．変形例２
　　２．３．その他の変形例
　３．ハードウェア構成例
　４．まとめ
＜１．実施形態＞
＜＜１．１．機能構成例＞＞
　まず、本実施形態に係る情報処理装置１０について説明する。情報処理装置１０は、片手でタッチパネルディスプレイを操作することができる装置であり、例えば、スマートフォンやタブレットＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）などのモバイル端末であってもよいし、デジタルカメラなどであってもよい。情報処理装置１０は、タッチパネルディスプレイなどである表示部１１０を備えている。また、情報処理装置１０は、インカメラなどである撮影部１７０を備えてもよい。
　図２は、本実施形態に係る情報処理装置１０の機能構成例を示すブロック図である。図２に示すように、本実施形態に係る情報処理装置１０は、表示部１１０、操作部１２０、記憶部１３０、加速度センサ部１４０、ジャイロセンサ部１５０、判定部１６０、撮影部１７０、制御部２００を備える。
（表示部１１０）
　本実施形態に係る表示部１１０は、制御部２００による制御に基づいて各種の視覚情報を表示する。表示部１１０は、例えば、アプリケーションに係る画像や文字などを表示してよい。このために、本実施形態に係る表示部１１０は、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）ディスプレイ装置など、各種のディスプレイ装置を備える。また、表示部１１０は、ユーザが片手で操作する場合に操作し易くなるように画面を調整して表示する。
（操作部１２０）
　本実施形態に係る操作部１２０は、アプリケーションに対する機器操作など、ユーザによる各種の操作を検出する。上記の機器操作は、例えば、タッチ操作などが含まれる。ここでタッチ操作とは、表示部１１０に対する種々の接触動作、例えばタップ、ダブルタップ、スワイプ、ピンチなどをいう。また、タッチ操作には、表示部１１０に対し、例えば指などの物体を近づける動作を含む。本実施形態に係る操作部１２０は、例えば、タッチパネル、ボタン、キーボード、マウス、近接センサなどを備える。本実施形態に係る操作部１２０は、検出したユーザの操作に係る情報を制御部２００に入力する。
（記憶部１３０）
　本実施形態に係る記憶部１３０は、各種プログラムやデータを一時的または恒常的に記憶するための記憶領域である。例えば、記憶部１３０には、情報処理装置１０が各種機能を実行するためのプログラムやデータが記憶されてもよい。具体的な一例として、記憶部１３０には、各種アプリケーションを実行するためのプログラムや、各種設定などを管理するための管理データなどが記憶されてよい。もちろん、上記はあくまで一例であり、記憶部１３０に記憶されるデータの種別は特に限定されない。
（加速度センサ部１４０）
　本実施形態に係る加速度センサ部１４０は、情報処理装置１０の加速度（単位時間当たりの速度）を測定する。図３は、本実施形態に係る加速度および角速度の一例を示す図である。図３に示すように、例えば、加速度センサ部１４０は、ｘ、ｙ、ｚ軸（３軸）方向それぞれの加速度（ａｘ，ａｙ，ａｚ）を測定する。加速度センサ部１４０は、重力を重力方向の加速度として捉えるため、これにより、情報処理装置１０の傾きなどを検出することができる。
（ジャイロセンサ部１５０）
　本実施形態に係るジャイロセンサ部１５０は、情報処理装置１０の角速度（単位時間当たりの角度の変化量）を測定する。図３に示すように、例えば、ジャイロセンサ部１５０は、ｘ、ｙ、ｚ軸それぞれを中心とした場合の角速度（ωｘ，ωｙ，ωｚ）を測定する。
（判定部１６０）
　本実施形態に係る判定部１６０は、加速度センサ部１４０によって情報処理装置１０の傾き（第１の傾きに相当）が検出されたことに応答して、ジャイロセンサ部１５０によって測定された角速度により得られるジャイロ波形と、予め測定された情報処理装置１０に対する各操作位置のジャイロ波形に基づいて、表示部１１０においてユーザが操作を行おうとしている位置を判定する。または、判定部１６０は、各操作位置に対するジャイロ波形を教師データとして生成された学習モデルを用いて、ジャイロセンサ部１５０によって測定された角速度により得られるジャイロ波形から、ユーザが操作を行おうとしている位置を推定（判定）する。図４は、本実施形態に係る操作位置ごとのジャイロ波形の一例を示す図である。グラフ３０２～３１１は、横軸を時間、縦軸をジャイロセンサ部１５０によって測定された角速度とするものである。図４では、それぞれのグラフにおいて、ｘ、ｙ、ｚ軸に対する３本のジャイロ波形が示されている。
　グラフ３０２、３０３、３０５は、それぞれ、表示部１１０の操作位置“２”、“３”、“５”をユーザが片手で操作した場合のジャイロ波形を示す。表示部１１０の各操作位置をユーザが片手で操作する際、各操作位置で、情報処理装置１０の傾かせ方とその速度が異なるため、ジャイロ波形（角速度）にそれぞれの特徴が現れる。そのため、情報処理装置１０は、各操作位置のジャイロ波形（角速度）を予め測定し、それぞれのジャイロ波形の特徴（角速度の強度、時間的変化量（波形の立ち上がり方）、ωｘ，ωｙ，ωｚの割合など）を抽出して記憶する。そして、判定部１６０は、実際にユーザが操作をしようとした場合のジャイロ波形の特徴を分析することにより、ユーザがどの位置に対して操作しようとしているかを判定することができる。
　また、判定部１６０は、この際、機械学習を用いることもできる。例えば、各操作位置のジャイロ波形を１００個程度、予め準備し、これらを教師データとした機械学習を行うことができる。これにより、ユーザの操作位置を推定するための学習済みモデルを生成する。当該学習済みモデルは、ジャイロ波形が入力された場合に、対応する操作位置を出力する。当該学習済みモデルを情報処理装置１０に記憶しておくことで、実際にユーザが操作する際のジャイロ波形がどの操作位置に対応するものであるかを推定することができる。なお、機械学習として、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）などの深層学習が用いられる。
　また、グラフ３１０および３１１のジャイロ波形は、情報処理装置１０が激しく揺れたり、ゆっくりと大きく動いたりしている様子を示している。これらは、例えば、ユーザが情報処理装置１０をカバンに入れたまま、または手に持ったまま移動している場合（すなわち、操作していない状態）などのジャイロ波形（角速度）である。このようなジャイロ波形の場合、判定部１６０は、ユーザは表示部１１０のどの位置も操作していないと判定することができる（この場合、図４では、その他の操作を示す“他”に分類している）。
　なお、各操作位置のジャイロ波形は、同じ操作位置でもユーザごとに異なる（例えば、同じ操作位置でも、ユーザによって、手前に引き寄せるように傾けて操作したり、奥に倒すように操作したり、様々である）。そのため、各ユーザに最適化するために、情報処理装置１０に測定モードを用意するなどして、各操作位置に対するユーザごとのジャイロ波形を測定し、測定されたジャイロ波形を教師データとして再学習することで新たな学習済みモデルを生成することができる。これにより、各ユーザに対する判定精度の向上を図ることができる。
　また、各操作位置のジャイロ波形は、同じ操作位置でもユーザがどちらの手で操作するかによっても異なる。そのため、それぞれの手で操作する可能性がある場合は、各操作位置に対して右手で操作した場合のジャイロ波形と、左手で操作した場合のジャイロ波形の両方を予め測定および記憶しておくことができる。これにより、片手操作の場合に右手も左手も使うユーザがいても、右手および左手用のジャイロ波形を使い分け、判定精度の向上を図ることができる。
　また、判定部１６０は、ジャイロセンサ部１５０によって測定される角速度に基づいて、情報処理装置１０の回転方向を決定する（角速度から、どの方向に情報処理装置１０を傾けたか、すなわち回転方向がわかる）。そして、判定部１６０は、当該回転速度に基づいて、表示部１１０においてユーザが操作を行おうとしている位置を判定する。
　また、判定部１６０は、情報処理装置１０に対する第１の傾きを検出した後、第１の傾きとは別の第２の傾きを検出したことに応答して、ユーザが情報処理装置１０の傾きを第２の傾きによって第１の傾きの検出前の元の状態（すなわち、元の角度）に戻そうとしているか否かを判定する。
　また、判定部１６０は、加速度センサ部１４０により測定および検出される、情報処理装置１０の傾きと、情報処理装置１０に対する重力方向とに基づいて、情報処理装置１０の向きを判定する。詳しくは後述する。
　また、判定部１６０は、表示部１１０に対して行われたスワイプ操作の位置および軌跡に基づいて、ユーザが情報処理装置１０を右手で持っているか、左手で持っているかを判定する。例えば、表示部１１０に対して左から右にスワイプ操作する場合、一般的に、右手で持っている場合は、左から右に弧を描いて操作し、左手で持っている場合は、右から左に弧を描いて操作するであろう。このようなスワイプ操作の位置および軌跡も、情報処理装置１０は、ユーザごとに右手操作分と左手操作分とを予めユーザに操作させ、記憶しておくことで、判定部１６０による判定に活用することができる。
　このような、情報処理装置１０をどちらの手で持っているかの判定結果により、判定部１６０は、表示部１１０においてユーザが操作を行おうとしている位置を判定する際、右手および左手用のジャイロ波形を使い分けることができる。
　また、判定部１６０は、表示部１１０においてユーザが操作を行おうとしている位置を判定した後のユーザの実際の操作に基づいて、ユーザが操作を行おうとしている位置判定の正否を判定する。これにより、正否の判定結果を学習データとして機械学習を行い、以降の判定部１６０による判定に活用することができる。
（撮影部１７０）
　本実施形態に係る撮影部１７０は、制御部２００による制御に基づいて、例えば、情報処理装置１０を操作するユーザの顔などを撮影する。このために、本実施形態に係る撮影部１７０は、撮像素子を備える。情報処理装置１０の一例であるスマートフォンは、表示部１１０側にユーザの顔などを撮影するためのインカメラ（フロントカメラ）を、表示部１１０と反対側の背面側に風景などを撮影するためのメインカメラを備える。
（制御部２００）
　本実施形態に係る制御部２００は、情報処理装置１０全体を司る処理部であり、情報処理装置１０が備える各構成を制御する。本実施形態に係る制御部２００が有する機能の詳細については後述される。
　以上、本実施形態に係る情報処理装置１０の機能構成例について説明した。なお、図２を用いて説明した上記の機能構成はあくまで一例であり、本実施形態に係る情報処理装置１０の機能構成は係る例に限定されない。例えば、情報処理装置１０は、必ずしも図２に示す構成のすべてを備えなくてもよいし、記憶部１３０などの構成を情報処理装置１０とは異なる別の装置に備えることも可能である。本実施形態に係る情報処理装置１０の機能構成は、仕様や運用に応じて柔軟に変形可能である。
　また、各構成要素の機能を、ＣＰＵなどの演算装置がこれらの機能を実現する処理手順を記述した制御プログラムを記憶したＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などの記憶媒体から制御プログラムを読み出し、そのプログラムを解釈して実行することにより行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜利用する構成を変更することが可能である。また情報処理装置１０のハードウェア構成の一例については後述される。
＜＜１．２．機能の詳細＞＞
　次に、本実施形態に係る情報処理装置１０が有する機能について詳細に説明する。情報処理装置１０の制御部２００は、加速度センサ部１４０およびジャイロセンサ部１５０によりそれぞれ測定される加速度および角速度を用いて、ユーザビリティを損なうことなく、表示部１１０においてユーザが操作を行おうとしている位置を判定する（以下、「ユーザ操作位置判定」という）。さらに、ユーザが片手で操作しており、表示部１１０においてユーザが操作を行おうとしている位置が操作しづらい位置である場合、制御部２００は、表示部１１０を制御して、ユーザが操作し易くなるように画面を調整する（以下、「ユーザ操作支援」という）。なお、操作しづらい位置とは、ユーザが情報処理装置１０を左手で持っている場合、例えば、図４で言うところの操作位置“３”以外である。同様に、右手で持っている場合は、例えば、操作位置“４”以外である。
　なお、例えば、ユーザが情報処理装置１０を横向きに持って操作している場合など、ユーザの使用状態によってユーザ操作支援が不要である場合がある。このような場合、ユーザ操作支援による画面調整は却ってユーザ操作を阻害してしまうこともある。また、ユーザ操作支援が不要である場合、ユーザ操作支援の要否を判断するためのユーザ操作位置判定も不要になる。この場合、ユーザ操作位置判定に用いるジャイロセンサ部１５０の機能を停止することができ、これにより、情報処理装置１０の消費電流を抑えることができる。そこで、本実施形態では、３つの動作モードにより各機能の動作を制御する。
　図５は、本実施形態に係る動作モードの一例を示す図である。図５に示すように、本実施形態に係る動作モードは３つあり、「動作範囲内（モード）」を中心として「動作範囲外（モード）」や「片手モード」に切り替わる。「動作範囲外」は、ユーザ操作支援の必要がない状態である。この場合、ジャイロセンサ部１５０の機能を停止することができる。「動作範囲内」は、ユーザ操作支援の要否を判断するためユーザ操作位置判定を行なっている、または行うために待機している状態である。そのため、この場合は、ジャイロセンサ部１５０の機能を起動する。「片手モード」は、ユーザ操作支援の必要があり、画面調整などによってユーザ操作支援を行っている状態である。この場合も、ジャイロセンサ部１５０の機能は起動したままである。なお、本実施形態では、ユーザの顔が情報処理装置１０とおおよそ正対している状態を動作範囲内（ユーザが画面を見ているであろう状態）としている。
　動作モードの切り替えは、加速度センサ部１４０およびジャイロセンサ部１５０によりそれぞれ測定される加速度および角速度を用いて、ユーザが情報処理装置１０をどのような向きで操作しているかを判定することにより行われる。
　図６は、本実施形態に係る動作範囲および重力方向の一例を示す図である。図６は、情報処理装置１０を片手で縦に持って操作するユーザを示している。ユーザがこのような向きで情報処理装置１０を操作している場合、動作モードは「動作範囲内」に切り替わる。具体的には、図６に示すように、加速度センサ部１４０によって捉えられる重力方向が、動作範囲の内にある向きの場合に、動作範囲内であると判定される。図６に示すように、動作範囲はある程度の幅を持たせることができる。また、図６における動作範囲は、扇形のような平面的な範囲で示されているが、実際は空間であるため円錐のような立体的な範囲になるであろう。
　図７は、本実施形態に係る動作範囲および重力方向の別の例を示す図である。図７は、情報処理装置１０を両手で横持ちし操作するユーザを示している。ユーザがこのような向きで情報処理装置１０を操作している場合、制御部２００は、動作モードを「動作範囲外」に切り替えることができる。具体的には、図７に示すように、重力方向が、動作範囲の外にある向きの場合に、動作範囲外であると判定される。なお、図７における動作範囲と、図６における動作範囲は同一である。すなわち、動作範囲は、情報処理装置１０に対し固定の範囲であるため、情報処理装置１０の傾きと、情報処理装置１０に対する重力方向とに基づいて、情報処理装置１０の向きを判定することができる。
　図８は、本実施形態に係る動作範囲および重力方向のさらに別の例を示す図である。図８は、情報処理装置１０を寝転がって操作するユーザを示している。ユーザがこのような向きで情報処理装置１０を操作している場合も、制御部２００は、動作モードを「動作範囲外」に切り替えることができる。
　以上説明したように、情報処理装置１０の傾きと、情報処理装置１０に対する重力方向とに基づいて、情報処理装置１０の向きを判定し、動作モード「動作範囲内」および「動作範囲外」の切り替えを行う。
　動作モード「動作範囲内」および「片手モード」の切り替え、ならびに「片手モード」時のユーザ操作支援について説明する。図９は、本実施形態に係る片手モードの一例を示す図である。図９の左側は、ユーザが情報処理装置１０を左手で縦持ちし（動作モードは「動作範囲内」）、表示部１１０の操作位置“４”付近を親指で操作しようとしている状態を示している。なお、図９の左側は、情報処理装置１０を右奥に倒すように操作するように示しているが、これはあくまでも一例であり、実際の動きはユーザによって異なる。
　例えば、情報処理装置１０の判定部１６０が、情報処理装置１０の傾きを検出すると、ジャイロセンサ部１５０によって測定された角速度により得られるジャイロ波形と、予め測定された情報処理装置１０に対する各操作位置のジャイロ波形または当該ジャイロ波形を教師データとして生成された学習モデルとに基づいて、ユーザが操作位置“４”を操作しようとしていると判定したとする。
　情報処理装置１０を左手で持っている場合、操作位置“４”は操作しづらい位置であるため、動作モードは「片手モード」に切り替わる。図９の右側は、動作モードが「片手モード」に切り替わり、画面が縮小されている状態を示している。これにより、操作位置“４”が表示部１１０の右端から中央付近に寄り、ユーザは操作位置“４”付近を操作し易くなる。
　図９の右側に示すように画面縮小した後、情報処理装置１０のさらなる傾き（第２の傾きに相当）を検出すると、判定部１６０は、情報処理装置１０の傾きが、第２の傾きによって元の状態（図９の左側の状態）に戻ったか否かを判定する。情報処理装置１０の傾きが元の状態に戻ったと判定された場合、画面を縮小した分、拡大して元のサイズに戻す（図９の左側の状態に戻る）。
　図１０は、本実施形態に係る片手モードの別の例を示す図である。図１０の左側は、図９の左側と同様である。図１０の右側は、動作モードが「片手モード」に切り替わり、画面全体が左に移動している状態を示している。これにより、操作位置“４”が表示部１１０の右端から中央付近に寄り、ユーザは操作位置“４”付近を操作し易くなる。
　図１０の場合も図９同様、画面移動した後、情報処理装置１０のさらなる傾きを検出すると、判定部１６０は、情報処理装置１０の傾きが元の状態（図１０の左側の状態）に戻ったか否かを判定する。情報処理装置１０の傾きが元の状態に戻ったと判定された場合、画面を左に移動した分、右に移動し元の位置に戻す。
＜＜１．３．機能の流れ＞＞
　次に、図１１を用いて、本実施形態に係るユーザ操作位置判定処理の手順について説明する。図１１は、本実施形態に係るユーザ操作位置判定処理の流れを示すフローチャートである。本処理は、情報処理装置１０が傾きを検出したことをトリガーとして、動作モードが「動作範囲内」であるか否かを判定し、「動作範囲内」である場合に、ユーザ操作位置判定を行うものである。
　図１１に示すように、まず、情報処理装置１０の加速度センサ部１４０は、加速度センサ部１４０によって捉えられる重力方向が所定の動作範囲内か否かを判定する（ステップＳ１０１）。
　重力方向が所定の動作範囲外の場合（ステップＳ１０２：Ｎｏ）、動作モードが「動作範囲外」でない場合、制御部２００は、動作モードを「動作範囲外」に切り替え、ジャイロセンサ部１５０の機能を停止する（ステップＳ１１１）。ステップＳ１１１の後、本処理は終了する（厳密には、本処理のスタートに戻り、再度、重力方向が動作範囲内になるのを待つ）。
　一方、重力方向が所定の動作範囲内の場合（ステップＳ１０１：Ｙｅｓ）、動作モードが「動作範囲内」でない場合、制御部２００は、動作モードを「動作範囲内」に切り替え、ジャイロセンサ部１５０の機能を起動し（ステップＳ１０２）、情報処理装置１０の角速度の測定を開始する。
　次に、加速度センサ部１４０は、何らかの第１の傾きを検出したか否かを判定する（ステップＳ１０３）。第１の傾きを検出していない場合（ステップＳ１０３：Ｎｏ）、本処理は終了し、スタートに戻る。加速度センサ部１４０が第１の傾きを検出した場合（ステップＳ１０３：Ｙｅｓ）、判定部１６０は、ステップＳ１０２で測定が開始された角速度により得られるジャイロ波形と、予め測定および記憶された各操作位置のジャイロ波形とに基づいて、ユーザが操作を行おうとしている位置を判定する（ステップＳ１０４）。または、判定部１６０は、各操作位置に対するジャイロ波形を教師データとして生成された学習モデルを用いて、ステップＳ１０２で測定が開始された角速度により得られるジャイロ波形から、ユーザが操作を行おうとしている位置を推定（判定）する。
　次に、判定部１６０は、ユーザが操作を行おうとしている位置に対する操作が、片手モードが必要な操作か否かを判定する（ステップＳ１０５）。片手モードが必要な操作か否かは、上述したように、表示部１１０においてユーザが操作を行おうとしている位置が操作しづらい位置であり、ユーザ操作支援が必要であるか否かによる。
　片手モードが必要な操作でない場合（ステップＳ１０５：Ｎｏ）、本処理は終了し、スタートに戻る。
　一方、片手モードが必要な操作である場合（ステップＳ１０５：Ｙｅｓ）、制御部２００は、動作モードを「片手モード」に切り替え、表示部１１０は、ユーザが操作し易くなるように画面を調整する（ステップＳ１０６）。また、ユーザが操作し易くなるような画面とは、例えば、図９や図１０に示されるように、画面のサイズを縮小したり、画面全体を移動したりして、表示部１１０においてユーザが操作を行おうとしている位置をユーザの親指の方に寄せた画面である。
　次に、加速度センサ部１４０およびジャイロセンサ部１５０は、何らかの第２の傾きを検出したか否かを判定する（ステップＳ１０７）。第２の傾きを検出していない場合（ステップＳ１０７：Ｎｏ）、加速度センサ部１４０およびジャイロセンサ部１５０は、第２の傾きが検出されるのを待つ。加速度センサ部１４０およびジャイロセンサ部１５０が第２の傾きを検出した場合（ステップＳ１０７：Ｙｅｓ）、ユーザが情報処理装置１０の傾きを元の角度に戻そうとしているか否かを判定する（ステップＳ１０８）。
　ユーザが情報処理装置１０の傾きを元の角度に戻していない場合（ステップＳ１０９：Ｎｏ）、まだ「片手モード」が必要な状態であると判断し、加速度センサ部１４０は、さらなる第２の傾きが検出されるのを待つ（ステップＳ１０７に戻る）。なお、情報処理装置１０の傾きは元の角度に戻ってはいないが、別のユーザ操作支援が必要な場合もある。例えば、図４で言うところの操作位置“４”を操作してから、続けて操作位置“２”や“６”を操作する場合である。このような場合は、ステップＳ１０６に進み、表示部１１０は、ユーザが操作位置“２”や“６”を操作しやすいように画面を調整することができる。
　一方、ユーザが情報処理装置１０の傾きを元の角度に戻した場合（ステップＳ１０９：Ｙｅｓ）、「片手モード」が不要な状態になったと判断し、制御部２００は、動作モードを「動作範囲内」に切り替え、表示部１１０は、再度、画面を調整する（ステップＳ１１０）。ここでの画面調整は、ステップＳ１０６で図９の右側や図１０の右側のように調整された画面を、図９の左側や図１０の左側の状態に戻すものである。ステップＳ１１０の後、本処理は終了し、スタートに戻る。
＜２．実施形態の変形例＞
　次に、本実施形態の変形例を説明する。なお、情報処理装置１０に対し、以下に示す変形例を、上述した実施形態に代えて実装してもよいし、上述した実施形態と組み合わせて実装してもよい。
＜＜２．１．変形例１＞＞
　図１２は、本実施形態に係る操作位置ごとのインカメラ画像の一例を示す図である。図１２に示すように、情報処理装置１０の傾きはユーザが操作を行おうとしている、表示部１１０における位置によって異なるため、インカメラ画像に写り込むユーザの位置も異なってくる。そのため、インカメラ画像に写り込むユーザの位置によって、ユーザが表示部１１０におけるどの位置に対して操作を行おうとしているかを判定することができる。
　そこで、情報処理装置１０は、各操作位置のインカメラ画像を予め撮影および記憶し、実際にユーザが操作をしようとした場合のインカメラ画像と比較することにより、ユーザがどの位置に対して操作しようとしているかを判定することができる。なお、インカメラ画像は、表示部１１０に表示される必要はなく、撮影部１７０によって撮影される写真を内部的にデジタルデータに変換したものである。
　また、ジャイロ波形同様、インカメラ画像に写り込むユーザの位置は、同じ操作位置でもユーザごとに異なる。また、同一ユーザであっても、ユーザが情報処理装置１０をどちらの手で操作しているかで異なる。そのため、ユーザごとに、各操作位置に対して右手で操作した場合のインカメラ画像と、左手で操作した場合のインカメラ画像の両方を予め撮影および記憶しておくことができる。
　なお、１つの操作位置に対して、ユーザごとに１つの操作位置に対して複数のインカメラ画像を予め撮影および記憶しておくことができる。また、判定部１６０は、上述したジャイロ波形（角速度）による判定、およびインカメラ画像による判定を併用して、ユーザが操作を行おうとしている位置を判定することができる。これらによって、判定部１６０による判定精度の向上をより図ることができる。
＜＜２．２．変形例２＞＞
　図１３は、本実施形態に係る片手モードの拡張機能の一例を示す図である。図１３に示すように、制御部２００は、図９の右側のように画面が縮小された際の表示部１１０の空きスペースに、任意のユーザインタフェース（例えば、音量や画面の明るさ調整、各種機能のＯＮ／ＯＦＦ）を表示するように制御することもできる。特に、アイコン３５０は、片手モードを維持するソフトウェアボタン（トグルスイッチ）である。ユーザがアイコン３５０を押下することで、例えば、ユーザが情報処理装置１０の傾きを元の角度に戻しても、アイコン３５０が再度押下されるまでは片手モードの状態を維持することができる。　　　
　また、図１４は、本実施形態に係る片手モードの拡張機能の別の例を示す図である。図１４も図１３同様、制御部２００は、図１０の右側のように画面全体が移動された際の表示部１１０の空きスペースに、任意のユーザインタフェースを表示するように制御することもできる。このように、図１３および１４に示すような制御によって、ユーザビリティの向上をより図ることができる。
＜＜２．３．その他の変形例＞＞
　その他の変形例として、制御部２００は、判定部１６０によって判定された、ユーザが操作を行おうとしている位置に応じて、表示部１１０に表示されたコンテンツを別のコンテンツに切り替えて表示するように制御することができる。
　また、制御部２００は、判定部１６０によって判定された、ユーザが操作を行おうとしている位置に応じて、情報処理装置１０のログインユーザを、別のログインユーザに切り替えるように制御することができる。
　また、制御部２００は、判定部１６０によって判定された、ユーザが操作を行おうとしている位置に応じて、情報処理装置１０のＳＩＭを、別のＳＩＭに切り替えるように制御することができる。
　また、制御部２００は、判定部１６０によって判定された、ユーザが操作を行おうとしている位置に応じて、撮影部１７０の撮影モードを切り替えるように制御することができる。
　このように、その他の変形例に示すような制御によって、ユーザビリティの向上をより図ることができる。
＜３．ハードウェア構成例＞
　次に、本開示の一実施形態に係る情報処理装置１０のハードウェア構成例について説明する。図１５は、本開示の一実施形態に係る情報処理装置１０のハードウェア構成例を示すブロック図である。図１５を参照すると、情報処理装置１０は、例えば、プロセッサ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
（プロセッサ８７１）
　プロセッサ８７１は、例えば、演算処理装置または制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、またはリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般またはその一部を制御する。プロセッサ８７１は、当然ながら複数のプロセッサで構成されてもよい。
（ＲＯＭ８７２、ＲＡＭ８７３）
　ＲＯＭ８７２は、プロセッサ８７１に読み込まれるプログラムや演算に用いるデータなどを格納する手段である。ＲＡＭ８７３には、例えば、プロセッサ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータなどが一時的または永続的に格納される。
（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
　プロセッサ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。
（入力装置８７８）
　入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、およびレバーなどが用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、入力装置８７８には、マイクロフォンなどの音声入力装置や、加速度センサおよびジャイロセンサなどのセンサ装置が含まれる。
（出力装置８７９）
　出力装置８７９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）、ＬＣＤ、または有機ＥＬなどのディスプレイ装置、スピーカ、ヘッドホンなどのオーディオ出力装置、プリンタ、携帯電話、またはファクシミリなど、取得した情報を利用者に対して視覚的または聴覚的に通知することが可能な装置である。また、本開示に係る出力装置８７９は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
（ストレージ８８０）
　ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）などの磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどが用いられる。
（ドライブ８８１）
　ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９０１に記録された情報を読み出し、またはリムーバブル記録媒体９０１に情報を書き込む装置である。
（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、ＨＤ　ＤＶＤメディア、各種の半導体記憶メディアなどである。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、または電子機器などであってもよい。
（接続ポート８８２）
　接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）、ＲＳ－２３２Ｃポート、または光オーディオ端子などのような外部接続機器９０２を接続するためのポートである。
（外部接続機器９０２）
　外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、またはＩＣレコーダなどである。
（通信装置８８３）
　通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線または無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、または各種通信用のモデムなどである。
　＜４．まとめ＞
　以上説明したように、情報処理装置（１０）は、表示部（１１０）と、情報処理装置（１０）の角速度を測定するジャイロセンサ部（１５０）と、情報処理装置（１０）の第１の傾きを検出したことに応答して、角速度により得られる第１のジャイロ波形と、予め測定された情報処理装置（１０）に対する各操作位置の第２のジャイロ波形または第２のジャイロ波形を教師データとして生成された学習モデルとに基づいて、表示部（１１０）においてユーザが操作を行おうとしている位置を判定する判定部（１６０）とを備える。
　これにより、ユーザビリティを損なうことなく、情報処理装置の画面においてユーザが操作を行おうとしている位置を判定することができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）情報処理装置であって、
　表示部と、
　前記情報処理装置の傾きを検出する加速度センサ部と、
　前記情報処理装置の角速度を測定するジャイロセンサ部と、
　前記情報処理装置の第１の傾きを検出したことに応答して、前記角速度により得られる第１のジャイロ波形と、予め測定された前記情報処理装置に対する各操作位置の第２のジャイロ波形または前記第２のジャイロ波形を教師データとして生成された学習モデルとに基づいて、前記表示部においてユーザが操作を行おうとしている位置を判定する判定部と
　を備えた、情報処理装置。
（２）前記判定部はさらに、
　前記角速度に基づいて、前記情報処理装置の回転方向を決定し、
　前記回転方向に基づいて、前記表示部において前記ユーザが操作を行おうとしている位置を判定する、前記（１）に記載の情報処理装置。
（３）前記表示部はさらに、前記判定された位置に応じて、前記表示部に表示された画面を所定量縮小して表示する、前記（１）または（２）に記載の情報処理装置。
（４）前記判定部はさらに、前記情報処理装置の第２の傾きを検出したことに応答して、前記ユーザが前記情報処理装置の傾きを前記第２の傾きによって前記第１の傾きの検出前の元の角度に戻そうとしているか否かを判定し、
　前記表示部はさらに、前記ユーザが前記情報処理装置の傾きを元の角度に戻したと判定された場合、前記画面を前記所定量拡大して表示する、前記（３）に記載の情報処理装置。
（５）前記表示部はさらに、前記判定された位置に応じて、前記表示部に表示された画面を所定の方向に所定量移動して表示する、前記（１）または（２）に記載の情報処理装置。
（６）前記判定部はさらに、前記情報処理装置の第２の傾きを検出したことに応答して、前記ユーザが前記情報処理装置の傾きが、前記第２の傾きによって前記第１の傾きの検出前の元の角度に戻そうとしているか否かを判定し、
　前記表示部はさらに、前記ユーザが前記情報処理装置の傾きを元の角度に戻したと判定された場合、前記画面を前記所定の方向と反対方向に前記所定量移動して表示する、前記（５）に記載の情報処理装置。
（７）前記判定部によって用いられる前記第２の傾きは、前記加速度センサ部および前記ジャイロセンサ部によって検出される、前記（６）に記載の情報処理装置。
（８）前記加速度センサ部はさらに、前記情報処理装置に対する重力方向を検出し、
　前記判定部はさらに、前記情報処理装置の傾きと、前記重力方向とに基づいて、前記情報処理装置の向きを判定し、
　前記情報処理装置の向きが所定の向きである場合、前記ジャイロセンサ部の機能を停止する制御部をさらに備えた、前記（１）～（７）のいずれかに記載の情報処理装置。
（９）前記ジャイロセンサ部による前記第１の角速度の測定は、
　前記判定部による前記ユーザが操作を行おうとしている位置の判定は、
　前記ユーザが前記情報処理装置を右手で持っている場合は、前記第１のジャイロ波形と、右手のタッチ操作により予め測定された前記情報処理装置に対する各操作位置の第３のジャイロ波形または前記第３のジャイロ波形を教師データとして生成された第２の学習モデルとに基づいて、前記表示部において前記ユーザが操作を行おうとしている位置を判定し、
　前記ユーザが前記情報処理装置を左手で持っている場合は、前記第１のジャイロ波形と、左手のタッチ操作により予め測定された前記情報処理装置に対する各操作位置の第４のジャイロ波形または前記第４のジャイロ波形を教師データとして生成された第３の学習モデルとに基づいて、前記表示部において前記ユーザが操作を行おうとしている位置を判定する
　ことを含む、前記（１）～（８）のいずれかに記載の情報処理装置。
（１０）前記判定部はさらに、前記表示部に対して行われたスワイプ操作の位置および軌跡に基づいて、前記ユーザが前記情報処理装置を右手で持っているか、左手で持っているかを判定する、前記（１）～（９）のいずれかに記載の情報処理装置。
（１１）前記判定部はさらに、
　前記ユーザが操作を行おうとしている位置を判定した後の前記ユーザの操作に基づいて、前記ユーザが操作を行おうとしている位置判定の正否を判定し、
　前記正否の判定結果を学習データとして機械学習を行う、前記（１）～（１０）のいずれかに記載の情報処理装置。
（１２）インカメラを備えた撮影部をさらに備え、
　前記判定部はさらに、前記インカメラによる前記ユーザの写り方に基づいて、前記表示部において前記ユーザが操作を行おうとしている位置を判定する、前記（１）～（１１）のいずれかに記載の情報処理装置。
（１３）前記表示部はさらに、前記画面を所定量縮小して表示した結果、前記画面の空いたスペースに、ユーザインタフェースを表示する、前記（３）に記載の情報処理装置。
（１４）前記表示部はさらに、前記画面を所定の方向に所定量移動して表示した結果、前記画面の空いたスペースに、ユーザインタフェースを表示する、前記（５）に記載の情報処理装置。
（１５）前記表示部はさらに、前記判定された位置に応じて、前記表示部に表示されたコンテンツを別のコンテンツに切り替えて表示する、前記（１）～（１４）のいずれかに記載の情報処理装置。
（１６）前記判定された位置に応じて、前記情報処理装置のログインユーザを、別のログインユーザに切り替える制御部をさらに備えた、前記（１）～（１５）のいずれかに記載の情報処理装置。
（１７）前記判定された位置に応じて、前記情報処理装置のＳＩＭを、別のＳＩＭに切り替える制御部をさらに備えた、前記（１）～（１６）のいずれかに記載の情報処理装置。
（１８）メインカメラおよび／またはインカメラを備えた撮影部をさらに備え、
　前記判定された位置に応じて、前記撮影部の撮影モードを切り替える制御部をさらに備えた、前記（１）～（１７）のいずれかに記載の情報処理装置。
（１９）情報処理装置に、
　前記情報処理装置の傾きを検出し、
　前記情報処理装置の角速度を測定し、
　前記情報処理装置の第１の傾きを検出したことに応答して、前記角速度により得られる第１のジャイロ波形と、予め測定された前記情報処理装置に対する各操作位置の第２のジャイロ波形または前記第２のジャイロ波形を教師データとして生成された学習モデルとに基づいて、前記表示部においてユーザが操作を行おうとしている位置を判定する
　処理を実行させる、プログラム。
（２０）情報処理装置が、
　前記情報処理装置の傾きを検出し、
　前記情報処理装置の角速度を測定し、
　前記情報処理装置の第１の傾きを検出したことに応答して、前記角速度により得られる第１のジャイロ波形と、予め測定された前記情報処理装置に対する各操作位置の第２のジャイロ波形または前記第２のジャイロ波形を教師データとして生成された学習モデルとに基づいて、前記表示部においてユーザが操作を行おうとしている位置を判定する
　処理を実行する、方法。
　１０　　情報処理装置
　１１０　表示部
　１２０　操作部
　１３０　記憶部
　１４０　加速度センサ部
　１５０　ジャイロセンサ部
　１６０　判定部
　１７０　撮影部
　２００　制御部

Claims (20)

  1. 　情報処理装置であって、
    　表示部と、
    　前記情報処理装置の傾きを検出する加速度センサ部と、
    　前記情報処理装置の角速度を測定するジャイロセンサ部と、
    　前記情報処理装置の第１の傾きを検出したことに応答して、前記角速度により得られる第１のジャイロ波形と、予め測定された前記情報処理装置に対する各操作位置の第２のジャイロ波形または前記第２のジャイロ波形を教師データとして生成された学習モデルとに基づいて、前記表示部においてユーザが操作を行おうとしている位置を判定する判定部と
    　を備えた、情報処理装置。
  2. 　前記判定部はさらに、
    　前記角速度に基づいて、前記情報処理装置の回転方向を決定し、
    　前記回転方向に基づいて、前記表示部において前記ユーザが操作を行おうとしている位置を判定する、請求項１に記載の情報処理装置。
  3. 　前記表示部はさらに、前記判定された位置に応じて、前記表示部に表示された画面を所定量縮小して表示する、請求項１に記載の情報処理装置。
  4. 　前記判定部はさらに、前記情報処理装置の第２の傾きを検出したことに応答して、前記ユーザが前記情報処理装置の傾きを前記第２の傾きによって前記第１の傾きの検出前の元の角度に戻そうとしているか否かを判定し、
    　前記表示部はさらに、前記ユーザが前記情報処理装置の傾きを元の角度に戻したと判定された場合、前記画面を前記所定量拡大して表示する、請求項３に記載の情報処理装置。
  5. 　前記表示部はさらに、前記判定された位置に応じて、前記表示部に表示された画面を所定の方向に所定量移動して表示する、請求項１に記載の情報処理装置。
  6. 　前記判定部はさらに、前記情報処理装置の第２の傾きを検出したことに応答して、前記ユーザが前記情報処理装置の傾きを前記第２の傾きによって前記第１の傾きの検出前の元の角度に戻そうとしているか否かを判定し、
    　前記表示部はさらに、前記ユーザが前記情報処理装置の傾きを元の角度に戻したと判定された場合、前記画面を前記所定の方向と反対方向に前記所定量移動して表示する、請求項５に記載の情報処理装置。
  7. 　前記判定部によって用いられる前記第２の傾きは、前記加速度センサ部および前記ジャイロセンサ部によって検出される、請求項６に記載の情報処理装置。
  8. 　前記加速度センサ部はさらに、前記情報処理装置に対する重力方向を検出し、
    　前記判定部はさらに、前記情報処理装置の傾きと、前記重力方向とに基づいて、前記情報処理装置の向きを判定し、
    　前記情報処理装置の向きが所定の向きである場合、前記ジャイロセンサ部の機能を停止する制御部をさらに備えた、請求項１に記載の情報処理装置。
  9. 　前記判定部による前記ユーザが操作を行おうとしている位置の判定は、
    　前記ユーザが前記情報処理装置を右手で持っている場合は、前記第１のジャイロ波形と、右手のタッチ操作により予め測定された前記情報処理装置に対する各操作位置の第３のジャイロ波形または前記第３のジャイロ波形を教師データとして生成された第２の学習モデルとに基づいて、前記表示部において前記ユーザが操作を行おうとしている位置を判定し、
    　前記ユーザが前記情報処理装置を左手で持っている場合は、前記第１のジャイロ波形と、左手のタッチ操作により予め測定された前記情報処理装置に対する各操作位置の第４のジャイロ波形または前記第４のジャイロ波形を教師データとして生成された第３の学習モデルとに基づいて、前記表示部において前記ユーザが操作を行おうとしている位置を判定する
    　ことを含む、請求項１に記載の情報処理装置。
  10. 　前記判定部はさらに、前記表示部に対して行われたスワイプ操作の位置および軌跡に基づいて、前記ユーザが前記情報処理装置を右手で持っているか、左手で持っているかを判定する、請求項１に記載の情報処理装置。
  11. 　前記判定部はさらに、
    　前記ユーザが操作を行おうとしている位置を判定した後の前記ユーザの操作に基づいて、前記ユーザが操作を行おうとしている位置判定の正否を判定し、
    　前記正否の判定結果を学習データとして機械学習を行う、請求項１に記載の情報処理装置。
  12. 　インカメラを備えた撮影部をさらに備え、
    　前記判定部はさらに、前記インカメラによる前記ユーザの写り方に基づいて、前記表示部において前記ユーザが操作を行おうとしている位置を判定する、請求項１に記載の情報処理装置。
  13. 　前記表示部はさらに、前記画面を所定量縮小して表示した結果、前記画面の空いたスペースに、ユーザインタフェースを表示する、請求項３に記載の情報処理装置。
  14. 　前記表示部はさらに、前記画面を所定の方向に所定量移動して表示した結果、前記画面の空いたスペースに、ユーザインタフェースを表示する、請求項５に記載の情報処理装置。
  15. 　前記表示部はさらに、前記判定された位置に応じて、前記表示部に表示されたコンテンツを別のコンテンツに切り替えて表示する、請求項１に記載の情報処理装置。
  16. 　前記判定された位置に応じて、前記情報処理装置のログインユーザを、別のログインユーザに切り替える制御部をさらに備えた、請求項１に記載の情報処理装置。
  17. 　前記判定された位置に応じて、前記情報処理装置のＳＩＭを、別のＳＩＭに切り替える制御部をさらに備えた、請求項１に記載の情報処理装置。
  18. 　メインカメラおよび／またはインカメラを備えた撮影部をさらに備え、
    　前記判定された位置に応じて、前記撮影部の撮影モードを切り替える制御部をさらに備えた、請求項１に記載の情報処理装置。
  19. 　情報処理装置に、
    　前記情報処理装置の傾きを検出し、
    　前記情報処理装置の角速度を測定し、
    　前記情報処理装置の第１の傾きを検出したことに応答して、前記角速度により得られる第１のジャイロ波形と、予め測定された前記情報処理装置に対する各操作位置の第２のジャイロ波形または前記第２のジャイロ波形を教師データとして生成された学習モデルとに基づいて、前記情報処理装置の表示部においてユーザが操作を行おうとしている位置を判定する
    　処理を実行させる、プログラム。
  20. 　情報処理装置が、
    　前記情報処理装置の傾きを検出し、
    　前記情報処理装置の角速度を測定し、
    　前記情報処理装置の第１の傾きを検出したことに応答して、前記角速度により得られる第１のジャイロ波形と、予め測定された前記情報処理装置に対する各操作位置の第２のジャイロ波形または前記第２のジャイロ波形を教師データとして生成された学習モデルとに基づいて、前記情報処理装置の表示部においてユーザが操作を行おうとしている位置を判定する
    　処理を実行する、方法。
PCT/JP2019/050993 2019-12-25 2019-12-25 情報処理装置、プログラム、および方法 WO2021130937A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19957396.5A EP4083751B1 (en) 2019-12-25 2019-12-25 Information processing device, program, and method
US17/757,652 US20230009352A1 (en) 2019-12-25 2019-12-25 Information processing device, program, and method
PCT/JP2019/050993 WO2021130937A1 (ja) 2019-12-25 2019-12-25 情報処理装置、プログラム、および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/050993 WO2021130937A1 (ja) 2019-12-25 2019-12-25 情報処理装置、プログラム、および方法

Publications (1)

Publication Number Publication Date
WO2021130937A1 true WO2021130937A1 (ja) 2021-07-01

Family

ID=76573767

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/050993 WO2021130937A1 (ja) 2019-12-25 2019-12-25 情報処理装置、プログラム、および方法

Country Status (3)

Country Link
US (1) US20230009352A1 (ja)
EP (1) EP4083751B1 (ja)
WO (1) WO2021130937A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114356119A (zh) * 2021-11-16 2022-04-15 北京乐我无限科技有限责任公司 应用操作界面的控制方法、装置、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012191445A (ja) * 2011-03-10 2012-10-04 Kddi Corp 携帯端末装置および制御プログラム
JP2013140469A (ja) 2012-01-04 2013-07-18 Fujitsu Frontech Ltd 表示装置および表示プログラム
WO2013111590A1 (ja) * 2012-01-27 2013-08-01 パナソニック株式会社 電子機器
JP2015005173A (ja) * 2013-06-21 2015-01-08 レノボ・シンガポール・プライベート・リミテッド タッチ・スクリーンを備える携帯式情報端末および入力方法
JP2015011675A (ja) * 2013-07-02 2015-01-19 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 端末及びそれが備えるタッチパネル上の入力ボタン表示方法
JP2015141700A (ja) * 2014-01-30 2015-08-03 京セラ株式会社 表示装置及び表示方法
US20160034131A1 (en) 2014-07-31 2016-02-04 Sony Corporation Methods and systems of a graphical user interface shift
WO2016079828A1 (ja) * 2014-11-19 2016-05-26 ニャフーン・ゲームス・ピーティーイー・エルティーディー 打撃操作のためのユーザーインターフェースシステムと操作信号解析方法及びプログラム
JP2017084086A (ja) * 2015-10-28 2017-05-18 京セラ株式会社 携帯電子機器および携帯電子機器の表示方法
WO2017104227A1 (ja) * 2015-12-18 2017-06-22 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8942764B2 (en) * 2007-10-01 2015-01-27 Apple Inc. Personal media device controlled via user initiated movements utilizing movement based interfaces
US8150102B2 (en) * 2008-08-27 2012-04-03 Samsung Electronics Co., Ltd. System and method for interacting with a media device using faces and palms of video display viewers
US8971928B2 (en) * 2012-04-10 2015-03-03 Here Global B.V. Method and system for changing geographic information displayed on a mobile device
CN115048007B (zh) * 2014-12-31 2024-05-07 创新先进技术有限公司 调整界面操作图标分布范围的装置、方法及触摸屏设备
US11568095B2 (en) * 2020-05-11 2023-01-31 Micron Technology, Inc. Device deactivation based on behavior patterns

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012191445A (ja) * 2011-03-10 2012-10-04 Kddi Corp 携帯端末装置および制御プログラム
JP2013140469A (ja) 2012-01-04 2013-07-18 Fujitsu Frontech Ltd 表示装置および表示プログラム
WO2013111590A1 (ja) * 2012-01-27 2013-08-01 パナソニック株式会社 電子機器
JP2015005173A (ja) * 2013-06-21 2015-01-08 レノボ・シンガポール・プライベート・リミテッド タッチ・スクリーンを備える携帯式情報端末および入力方法
JP2015011675A (ja) * 2013-07-02 2015-01-19 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 端末及びそれが備えるタッチパネル上の入力ボタン表示方法
JP2015141700A (ja) * 2014-01-30 2015-08-03 京セラ株式会社 表示装置及び表示方法
US20160034131A1 (en) 2014-07-31 2016-02-04 Sony Corporation Methods and systems of a graphical user interface shift
WO2016079828A1 (ja) * 2014-11-19 2016-05-26 ニャフーン・ゲームス・ピーティーイー・エルティーディー 打撃操作のためのユーザーインターフェースシステムと操作信号解析方法及びプログラム
JP2017084086A (ja) * 2015-10-28 2017-05-18 京セラ株式会社 携帯電子機器および携帯電子機器の表示方法
WO2017104227A1 (ja) * 2015-12-18 2017-06-22 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4083751A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114356119A (zh) * 2021-11-16 2022-04-15 北京乐我无限科技有限责任公司 应用操作界面的控制方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
EP4083751A1 (en) 2022-11-02
US20230009352A1 (en) 2023-01-12
EP4083751B1 (en) 2024-04-17
EP4083751A4 (en) 2022-12-21

Similar Documents

Publication Publication Date Title
US11816330B2 (en) Display device, display controlling method, and computer program
US10397649B2 (en) Method of zooming video images and mobile display terminal
WO2017101787A1 (zh) 悬浮窗口的处理方法及装置
US10346027B2 (en) Information processing apparatus, information processing method, and program
US9250791B2 (en) Display control device, display control method, and computer program
US9176578B2 (en) Control apparatus, control method, program, input signal receiving apparatus, operation input apparatus, and input system for performing processing with input units on different surfaces
CN203241978U (zh) 信息处理装置
JP2012123564A (ja) 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
JP2010176332A (ja) 情報処理装置、情報処理方法およびプログラム
WO2019184947A1 (zh) 图像查看方法及移动终端
JP5671318B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
US11567725B2 (en) Data processing method and mobile device
WO2015131630A1 (zh) 桌面图标的置换方法及装置
US20210185162A1 (en) Information processing device and information processing method
WO2021130937A1 (ja) 情報処理装置、プログラム、および方法
CN108696638B (zh) 一种移动终端的控制方法及移动终端
WO2019190772A1 (en) Adaptive user interface based on detection of user positions
US20170068514A1 (en) Electronic device and method for controlling the same
JP2017062712A (ja) 電子機器
WO2022059707A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP5997388B2 (ja) エミュレーション装置、エミュレーション方法、プログラム及び情報記憶媒体
JP2014021893A (ja) 情報処理装置、操作信号生成方法、およびプログラム
CN112235637A (zh) Gif生成方法、装置、存储介质及移动终端

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19957396

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019957396

Country of ref document: EP

Effective date: 20220725

NENP Non-entry into the national phase

Ref country code: JP