WO2015174316A1 - 端末、及び端末制御方法 - Google Patents
端末、及び端末制御方法 Download PDFInfo
- Publication number
- WO2015174316A1 WO2015174316A1 PCT/JP2015/063186 JP2015063186W WO2015174316A1 WO 2015174316 A1 WO2015174316 A1 WO 2015174316A1 JP 2015063186 W JP2015063186 W JP 2015063186W WO 2015174316 A1 WO2015174316 A1 WO 2015174316A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- unit
- display unit
- terminal
- thumb
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
- G06F3/04186—Touch location disambiguation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
Definitions
- the present invention relates to a terminal and a terminal control method.
- This application claims priority on May 16, 2014 based on Japanese Patent Application No. 2014-102521 for which it applied to Japan, and uses the content for it here.
- a relatively large screen size of, for example, 5 inches is realized.
- the icon displayed on the screen may not reach even if the finger is fully extended. For this reason, based on the image detected by the sensor built in the display panel, the direction of the user's finger approaching or touching the display panel is detected, and the icon of the display object at the detected fingertip is selected. And it is proposed that the user switches the icon to be selected by sliding the finger in the direction of the icon with respect to the icon displayed in the area where the user's finger cannot reach (for example, Patent Documents). 1).
- the enlargement operation area is a reduced area that is set within a range that can be reached by the user's finger in the entire touch panel, so that it is difficult to perform a fine drag operation or a tap operation.
- this area is specially arranged, it is necessary to superimpose it on an existing user interface or to secure a special area to modify the existing screen configuration.
- the techniques described in Patent Document 1 and Patent Document 2 have a problem in that operability is poor in a terminal having a large screen that a finger cannot reach when held with one hand.
- One embodiment of the present invention has been made in view of the above-described problems, and can improve operability with one hand even on a large screen where a finger cannot reach when held with one hand. It is an object to provide a terminal and a terminal control method.
- a terminal detects that a part of a finger is in contact with a predetermined portion of a display unit of the terminal and holds the finger over the display unit.
- a detection unit that detects the shape of the image, and an image control unit that translates an image displayed on the display unit based on a detection result detected by the detection unit.
- the terminal can improve the operability with one hand even if the terminal has a large screen that the finger cannot reach when held with one hand.
- FIG. 1 is a perspective view showing an example of the appearance of the terminal 1 according to the present embodiment.
- the terminal 1 has a flat rectangular shape, and the touch panel 10 occupies most of one main surface.
- a speaker 11, a camera 12, and a power switch 14 are provided at the upper end of the terminal 1, and a microphone 13 is provided at the lower end.
- the terminal 1 is provided with a CPU, a storage device for storing computer programs, various interfaces, an antenna, and the like.
- FIG. 2 is a block diagram illustrating a schematic configuration of the terminal 1 according to the present embodiment.
- the terminal 1 mainly includes a touch panel 10, a detection unit 20, a display unit 30, a determination unit 40, a notification unit 50, a touch information processing unit 60, an image control unit 70, a storage unit 80, and a sensor 90. It is prepared as a thing.
- the determination unit 40 includes a press determination unit 41, a position determination unit 42, and a contact determination unit 43.
- the touch information processing unit 60 includes a touch information conversion unit 61 (conversion unit) and a touch information reflection unit 62.
- the terminal 1 is a device having a touch panel, such as a mobile phone, a tablet terminal, a music playback device, a portable car navigation, a wireless communication terminal having a portable router function, and a portable game machine.
- the touch panel 10 receives a user's touch operation and outputs touch operation information indicating the received touch operation to the detection unit 20.
- the touch panel 10 detects a contact on the screen of the display unit 30 and receives an operation input from the user.
- the detection method of both the touch operation of the touch panel 10 and the floating touch operation is, for example, a projection capacitive method.
- the touch operation and the floating touch operation can be identified by the degree of capacitance change in the projected capacitive method.
- the detection unit 20 detects that a touch operation has been performed. For example, when the touch panel is a capacitance type, the detection unit 20 acquires the amount of change in capacitance detected by the touch panel 10 in response to a touch operation on the touch panel 10, and based on the acquired amount of change in capacitance. To detect that a touch operation has been performed. In the following description, the amount of change in capacitance detected by the touch panel 10 is referred to as “touch detection amount”. In addition, the detected pressure value input from the pressure sensor is input to the detection unit 20. Note that the touch detection amount and the pressure detection value include information indicating the touched position. Here, the position information is, for example, coordinates defined on the touch panel 10. The detection unit 20 outputs the detected touch detection amount and the detected pressure value to the determination unit 40 as detection results.
- the display unit 30 includes, for example, a liquid crystal panel or an organic EL display panel, and displays an image including an icon and the like output from the image control unit 70.
- the icon is an image (symbol notation) indicating an application installed (or incorporated) in the storage unit 80 of the terminal 1.
- the icons displayed on the display unit 30 may be automatically laid out by the image control unit 70 or may be laid out by the user.
- the touch panel 10 and the display unit 30 are thin and substantially rectangular members, and are configured to be integrated with each other. Further, the touch panel 10 and the display unit 30 may be configured integrally.
- the sensor 90 detects whether the terminal 1 is held vertically or horizontally by the user. The detected result is output to the image control unit 70.
- the press determination unit 41 determines whether or not the touch panel 10 is pressed depending on whether or not the press detection value input from the detection unit 20 is equal to or greater than a predetermined value.
- the press determination unit 41 outputs the determination result to the contact determination unit 43.
- the press determination part 41 may detect a press by a pressure sensor (not shown) arranged around the touch panel 10 or the like.
- the press determination unit 41 may detect the pressure by detecting a resistance value that varies depending on the resistance film.
- the position determination unit 42 detects a position on the touch panel 10 that is determined to be pressed by the press determination unit 41.
- the position determination unit 42 detects a position on the touch panel 10 that is determined to be touched by the contact determination unit 43.
- the position determination unit 42 outputs the determination result to the contact determination unit 43.
- the contact determination unit 43 determines whether or not the base of the thumb (thumb ball) is in contact with a predetermined peripheral part (frame) of the touch panel 10. The contact determination unit 43 determines whether or not a finger has touched (touched) the touch panel 10. The contact determination unit 43 determines whether the base of the user's thumb is in contact with the frame of the touch panel 10 and the thumb is held over the touch panel 10 without being in contact (hovering state). When the thumb is in the hovering state and the condition that the thumb is extended is satisfied, the contact determination unit 43 detects the coordinate of the position of the fingertip of the thumb by hover detection.
- the contact determination unit 43 detects that the touch panel 10 has been touched with a thumb after the image on the display unit 30 has been moved, and the touched position is used as the determination result of the contact determination unit 43. Detect based on. Hovering and hover detection will be described later.
- the contact determination unit 43 includes information indicating the coordinates of the position of the base of the thumb, information indicating the position of the fingertip of the thumb, trigger information indicating that the thumb is stretched on the touch panel 10, and the detection unit 20. Is output to the notification unit 50. This trigger information becomes a trigger for starting the movement of the image in the display unit 30.
- the contact determination unit 43 Based on the determination result of the position determination unit 42, the contact determination unit 43 has a predetermined area when the position touched on the touch panel 10 is a frame of the touch panel 10 and the touched positions are grouped by a known method. When it has, it is determined that the base of the thumb is in contact with the frame of the touch panel 10.
- the contact determination unit 43 is a case where the position determined to be pressed by the press determination unit 41 is a frame of the touch panel 10 and has a predetermined area when the pressed positions are grouped by a known method. It is determined that the base of the thumb is in contact with the frame of the touch panel 10.
- the contact determination part 43 determines with it being an erroneous touch, when the pressed area
- An erroneous touch is when the touch panel 10 is touched unintentionally by the user, for example, when the user holds the terminal 1 so that the touch panel 10 contacts the palm.
- the contact determination unit 43 determines whether or not the thumb is hovering on the touch panel 10 and whether or not the thumb is extended. Is determined by hover detection. Note that the determination of the position of the fingertip, the determination of the hovering state, and the determination of the state where the thumb is stretched may be performed using an image captured by the camera 12.
- the information indicating the coordinates of the base of the thumb, the information indicating the position of the fingertip of the thumb, the trigger information, and the touch detection amount are input to the notification unit 50 from the determination unit 40.
- the notification unit 50 When the trigger information is input, the notification unit 50 generates movement start information indicating the start of movement of the image in the display unit 30, information indicating the coordinates of the position of the base of the thumb, and information indicating the position of the fingertip of the thumb , And the generated movement start information is output to the image control unit 70.
- the notification unit 50 generates movement end information indicating the end of movement of the image in the display unit 30 when predetermined processing ends after the trigger information is input as described later, and the generated movement end information is displayed as an image. Output to the control unit 70. Further, the notification unit 50 outputs the movement start information and the touch detection amount to the touch information processing unit 60.
- the touch information conversion unit 61 When the movement start information is not input from the notification unit 50, the touch information conversion unit 61 outputs the coordinates included in the input touch detection amount to the touch information reflection unit 62 without converting the coordinates.
- the touch information conversion unit 61 converts the coordinates included in the input touch detection amount, and outputs the converted coordinates to the touch information reflection unit 62.
- the touch information reflection unit 62 performs processing on the image in the display unit 30 based on the coordinates input from the touch information conversion unit 61.
- the touch information reflecting unit 62 determines that a tap operation has been performed on the display unit 30, and performs processing that is performed when the tapping is performed.
- the touch information reflection unit 62 determines that the finger has been slid when different coordinates are continuously input within a predetermined time, and performs a slide process on the image.
- the touch information reflecting unit 62 determines that the display unit 30 has been pressed for a long time, and displays a menu or a selection screen corresponding to the coordinates.
- the image control unit 70 displays an image on the display unit 30 according to the detection result input from the sensor 90.
- the image control unit 70 controls the detection of coordinates, the calculation of a vector V for moving the image, and the movement of the image according to the result input from the sensor 90.
- the image control unit 70 is based on the information indicating the position of the base of the thumb input from the notification unit 50 and the information indicating the position of the fingertip of the thumb. Then, the image displayed on the display unit 30 is moved to a predetermined position.
- the predetermined position is an area on the display unit 30 where the thumb of the user holding the terminal 1 can reach.
- the image control unit 70 calculates the predetermined position based on the detected position of the base of the thumb and the position information of the fingertip of the thumb. When the movement end information is input from the notification unit 50, the image control unit 70 returns the image moved to a predetermined position to the original position.
- the storage unit 80 stores a detection area set for the frame of the touch panel 10, information indicating the shape of the thumb, and the like.
- FIG. 3 is a diagram illustrating a state where the user holds the terminal 1 with one hand.
- the terminal 1 in the present embodiment has a vertical and horizontal length shorter than twice the length of the user's thumb, for example.
- the terminal 1 is, for example, a smartphone whose display unit 30 is 5 inches or the like. In the following, an example in which the terminal 1 is operated with the right hand so that the display unit 30 is vertically long will be described.
- FIG. 3 is a view of the state where the fingertip of the thumb is not in contact with the touch panel 10 as viewed from above the touch panel. In FIG.
- the longitudinal direction of the display unit 30 is the x axis
- the short direction of the display unit 30 is the y axis direction
- the thickness direction of the terminal 1 is the z axis.
- FIG. 3 shows a case where one icon is displayed on the display unit 30 for the sake of simplicity.
- the image indicated by the symbol d is an image showing the thumb of the user's right hand.
- the image indicated by the symbol dj is an image showing the base of the thumb of the user's right hand (thumb ball).
- the image indicated by the symbol I is an image indicating an icon displayed on the display unit 30.
- An area indicated by reference numeral 301 indicates an area that can be operated with the thumb of the right hand, and an area indicated by reference numeral 302 indicates an area that cannot be operated with the thumb of the right hand.
- FIG. 4 is a diagram for explaining an example of a region preset in the frame of the touch panel 10 according to the present embodiment.
- the longitudinal direction of the display unit 30 is the x axis
- the short direction of the display unit 30 is the y axis direction.
- FIG. 5 is a diagram for explaining hovering.
- FIG. 5 is a view of the state where the fingertip of the thumb is not in contact with the touch panel 10 as viewed from the side of the touch panel.
- the short direction of the display unit 30 is a y-axis
- the thickness direction of the terminal 1 is a z-axis.
- a state in which the finger is not in contact with the touch panel 10 at a distance L11 is referred to as a hovering state, and detecting this state is also referred to as hover detection.
- the hover detection when the touch panel 10 is a capacitance type, for example, whether the finger is touched on the touch panel 10 or hovered based on a predetermined capacitance threshold value. Then, it is detected whether or not there is a finger on the touch panel 10.
- FIG. 6 is a diagram illustrating a predetermined position and coordinates on the display unit 30 in the present embodiment.
- the longitudinal direction of the display unit 30 is the x-axis
- the short direction of the display unit 30 is the y-axis direction.
- the number of pixels of the display unit 30 is y1 ⁇ x1 dots
- the upper left coordinate of the display unit 30 is the origin of (0, 0)
- the upper right coordinate is (0, y1)
- the lower left coordinate is (x1 , 0)
- the lower right coordinate is (x1, y1).
- an area indicated by reference numeral 311 is an area where an image displayed on the display unit 30 is moved and displayed
- an area indicated by reference numeral 312 is another area.
- the area displayed by moving the image displayed on the display unit 30 includes points (x2, y2), (x2, y1), (x1, y2), and (x1, y1). ).
- the coordinates of the base of the thumb are detected as (x1, y1)
- the coordinates of the fingertip of the thumb are detected as (x2, y2)
- an extension line of these two coordinates and the touch panel 10 An example in which the contact point with the frame is at coordinates (0, 0) is shown.
- the display unit 30 is displayed on the display unit 30 as shown by an arrow 321 in FIG.
- the displayed image is moved by the image control unit 70 so that the upper left of the displayed image is positioned from the point (0, 0) to the point (x2, y2).
- the center coordinates of the icon I displayed in the other area are moved from (x3, y3) to (x4, y4) as the image moves.
- FIG. 7 is a flowchart of a processing procedure according to this embodiment.
- Step S ⁇ b> 1 The contact determination unit 43 and the position determination unit 42 determine whether or not the base of the user's thumb is in contact with a predetermined area of the touch panel 10 frame. When it is determined that the base of the thumb has touched the predetermined area of the touch panel 10 frame, the position determination unit 42 detects the coordinates (pA) of the base of the thumb that is in contact with the touch panel 10.
- Step S2 The contact determination unit 43 determines whether or not the user's thumb is in a hovering state.
- the position determination unit 42 detects the coordinate (pB) of the tip of the thumb (step S2; YES), generates a trigger signal, and generates the generated trigger signal. Output to the notification unit 50.
- the notification unit 50 outputs movement start information to the image control unit 70 according to the input trigger signal, and advances the process to step S3. If it is determined that the user's thumb is not in the hovering state (step S2; NO), the contact determination unit 43 proceeds to step S10.
- Step S ⁇ b> 3 The image control unit 70 determines that the display unit 30 of the terminal 1 is held so as to be vertically long according to the result input from the sensor 90, and processing in the case where it is held vertically Switch to. Next, the image control unit 70 calculates the coordinate (pC) of the intersection of the extension line from the coordinate pA to the coordinate pB and the touch panel 10 frame. (Step S4) The image control unit 70 calculates a vector V from the coordinate (pC) calculated in step S3 to the coordinate (pB). (Step S5) The image control unit 70 translates the image on the display unit 30 by the calculated vector V with reference to the corner of the touch panel 10 located diagonally from the coordinate (pA).
- Step S ⁇ b> 6 The contact determination unit 43 determines whether an operation on the touch panel 10 has been performed. When it is determined that the operation on the touch panel 10 has been performed (step S6; YES), the contact determination unit 43 proceeds to step S8 and when it is determined that the operation on the touch panel 10 has not been performed (step S6; NO). The process proceeds to step S7. (Step S ⁇ b> 7) The contact determination unit 43 determines whether or not a predetermined time (fixed time) has elapsed. If the contact determination unit 43 determines that the predetermined time has elapsed (step S7; YES), the process proceeds to step S9.
- a predetermined time fixed time
- step S7 If the contact determination unit 43 determines that the predetermined time has not elapsed (step S7; NO), the process returns to step S6.
- Step S8 The touch panel information conversion unit 61 converts the coordinates when the coordinates detected by the operation performed in Step S6 are coordinates within a predetermined area, and the detected coordinates are coordinates outside the predetermined area. Do not convert coordinates if.
- the touch information reflection unit 62 performs a predetermined process based on the coordinates input from the touch panel information conversion unit 71.
- Step S9 The touch information processing unit 60 outputs to the notification unit 50 information indicating that the processing is completed after the predetermined processing in Step S8 is completed or after a predetermined time has elapsed in Step S7.
- Step S10 When it is determined that the user's thumb is not in the hovering state, the contact determination unit 43 determines whether or not a predetermined time (a predetermined time) has elapsed. Note that this fixed time may be the same as or different from the fixed time in step S7. If the contact determination unit 43 determines that the predetermined time has elapsed (step S10; YES), the process proceeds to step S11.
- a predetermined time a predetermined time
- step S10 determines that the predetermined time has not elapsed (step S10; NO)
- the process returns to step S2.
- Step S11 The contact determination unit 43 ignores the contact with the coordinate (pA) detected in step S1, and ends the process.
- FIGS. 8A to 8F are diagrams for explaining an example of processing according to the present embodiment.
- 8A to 8F similarly to FIGS. 3 to 6, the longitudinal direction of the display unit 30 is defined as the x-axis direction, and the short direction is defined as the y-axis direction.
- the icon I corresponds to an application.
- FIGS. 8A to 8F a case where the user activates an application corresponding to the symbol I is described.
- FIG. 8A is a diagram illustrating an area 401 that can be operated with the thumb of the right hand and a maximum vector 405 that can move the image.
- Reference numerals 403 and 404 are diagonal lines on the touch panel 10.
- the range that can be held with one hand and that can be operated with the thumb is larger than the vertical width and the horizontal width of the touch panel 10.
- the user wants to perform an operation on the image displayed in this area 401, he / she touches the position to be operated.
- the user wants to perform an operation on the image displayed in the area 402 outside the area 401, the user performs the thumb hovering state for a certain period of time.
- the image displayed on the display unit 30 is translated by the vector V. Since the maximum vector V that can be moved is set to be the intersection of the diagonal lines 403 and 404, it is possible to cover all the regions with a single movement.
- FIG. 8B is a diagram for explaining the coordinates (pA) of the base of the thumb and the coordinates (pB) of the fingertip of the thumb. Since the user holds the terminal 1 with the right hand, the base of the finger of the right hand is in contact with the region set in the frame of the touch panel 10. Then, the user directs the tip of the thumb toward the icon I where the thumb does not reach, and continues the hovering state for a certain period of time.
- the determination unit 40 detects the coordinate (pA) of the base of the thumb and the coordinate (pB) of the fingertip of the thumb.
- FIG. 8C is a diagram for explaining the coordinates (pC) of the intersection between the extension line from the coordinate pA to the coordinate pB and the touch panel 10 frame.
- the image control unit 70 calculates the coordinate (pC) of the intersection between the detected line of the thumb base (pA) to the thumb fingertip coordinate (pB) and the touch panel 10 frame.
- the image control unit 70 calculates a vector 420 from the coordinates (pC) to the coordinates (pB). Note that the determination unit 40 may perform the calculation of the coordinate pC and the vector v.
- FIG. 8D is a diagram illustrating a vector 430 for movement.
- the image control unit 70 converts the calculated vector 420 into the vector 430 with reference to the position of the handle and the diagonal corner. Thereby, the coordinate (pC) is converted into (pC ′), and the coordinate (pB) is converted into (pB ′). Then, the image control unit 70 translates the image displayed on the display unit 30 by a vector 430 from the coordinates (pC ′) to (pB ′). As a result, the upper left coordinate (pC ′) of the image displayed on the display unit 30 moves to the coordinate (pB ′).
- FIG. 8E is a diagram illustrating that the icon I has been tapped by the user. After the image is moved as shown in FIG. 8D, the user moves the fingertip of the thumb to select the icon I to be used, and taps the icon I.
- FIG. 8F is a diagram for explaining that the icon I is selected and the application is activated.
- the touch information processing unit 60 activates the application corresponding to the selected icon I, and after the activation, the image control unit 70 translates the vector by 430 minutes. Return the image to its original position. As a result, the image after the application is activated is displayed on the display unit 30.
- the image control unit 70 moves the translated image by the vector 430 minutes to the original position.
- FIG. 8A to 8F illustrate an example in which the user selects the icon I displayed on the display unit 30, but the present invention is not limited to this.
- the touch information processing unit 60 performs a process according to the performed operation.
- the example in which the terminal 1 is held with the right hand and the thumb of the right hand is operated has been described. However, the same processing as in FIG. it can.
- the finger shape and hover detection are performed in a diplomacy that does not include a signal including reflected light from the light source and reflected light from the finger. Detection may be performed using a backlight subtraction method that sequentially detects signals based only on signals.
- the finger pressure may be detected by analyzing the contact area of the touched finger. Further, by analyzing the image of the touched finger, it may be detected whether the touched finger is a thumb and whether the thumb is in an extended state. Alternatively, the height of the finger may be detected to detect hover by analyzing the intensity of the signal light detected by the backlight subtraction method.
- the terminal has a large screen such that a finger does not reach when held with one hand
- a predetermined operation can be performed with a minimum fingertip operation of the one hand while holding it with one hand. Since it can be performed, operability can be improved.
- this embodiment demonstrated the case where the display part 30 was hold
- FIG. 9 is a flowchart of a processing procedure according to the present embodiment. (Steps S101 and S102) The terminal 1 performs the processing of steps S101 to S102 in the same manner as steps S1 and S2 (FIG. 7).
- Step S103 The image control unit 70 determines that the display unit 30 of the terminal 1 is held in landscape orientation according to the result input from the sensor 90. Switch to. Next, the image control unit 70 calculates a vector V from the coordinate (pB) to the coordinate (pA). (Step S104) The image processing unit 70 translates the image on the display unit 30 by the calculated vector V with reference to the corner of the touch panel 10 located diagonally from the coordinate (pA). (Step S105) The contact determination unit 43 determines whether or not an operation on the touch panel 10 has been performed.
- step S105 When it is determined that the operation on the touch panel 10 has been performed (step S105; YES), the contact determination unit 43 proceeds to step S110, and when it is determined that the operation on the touch panel 10 has not been performed (step S105; NO). The process proceeds to step S106.
- Step S106 The image control unit 70 translates the vector V by the amount of vector V in Step S104, and then the coordinate (for example, the coordinate K1 in FIG. 10D) that can be operated with the user's thumb (for example, the coordinate K1 in FIG. 10D). It is determined whether or not the area 501) is in FIG. 10D.
- standard of translation is a coordinate on the upper left in the image moved in parallel, when a user hold
- the image control unit 70 determines whether or not the thumb hovering state is maintained and whether the thumb is continuously extended or not. It may be determined whether or not an image that is a reference for movement is in an area that can be operated with the thumb of the user. If the image control unit 70 determines that the coordinate (pA) of the base of the thumb of the user and the coordinate (pB) of the fingertip of the thumb have not changed (step S107; YES), the image control unit 70 proceeds to step S108, If it is determined that the base coordinate (pA) of the thumb and the coordinate (pB) of the fingertip of the thumb have changed (step S107; NO), the process proceeds to step S109.
- Step S105 If it is not detected that the touch panel 10 has been operated in step S105 even after repeating steps S105 to S108 a plurality of times, it is possible that the image has not been properly moved because the user has turned the thumb in the wrong direction. is assumed. In this case, the image may be returned to the original position after the movement of the image is continued until the image disappears from the position diagonal from the coordinate (pA).
- Step S108 The image control unit 70 further translates the screen by the vector V from the position where the image was moved last time. The image control unit 70 returns the process to step S105.
- Step S109 The contact determination unit 43 determines whether or not a predetermined time (predetermined time) has elapsed.
- step S109 When the contact determination unit 43 determines that the predetermined time has elapsed (step S109; YES), the process proceeds to step S111.
- step S109; NO When the contact determination unit 43 determines that the predetermined time has not elapsed (step S109; NO), the process returns to step S105. In addition, this fixed time may be the same as that of step S112, or may differ.
- Steps S110 and S111 The touch information processing unit 60 performs the processes of steps S110 and S111 in the same manner as steps S8 and S9. The touch information processing unit 60 ends the process after step S111 ends.
- Steps S112 and S113 The determination unit 40 performs the processes of steps S112 and S113 in the same manner as steps S10 and S11. The touch information processing unit 60 ends the process after step S113 ends.
- FIGS. 10A to 10D and FIGS. 11A to 11D are diagrams illustrating an example of processing according to the present embodiment.
- the longitudinal direction of the display unit 30 is the x-axis direction
- the short direction is the y-axis direction.
- FIG. 10A is a diagram illustrating an area 501 that can be operated with a thumb. In the examples shown in FIGS. 10A to 10D and FIGS.
- FIG. 10B is a diagram illustrating the coordinates (pA) of the base of the thumb and the coordinates (pB) of the fingertip of the thumb.
- the user holds the terminal 1 with the right hand, so that the base of the finger of the right hand is in contact with the area set in the frame of the touch panel 10.
- the user keeps the hovering state for a certain time with the fingertip of the thumb pointing at the icon I where the thumb does not reach.
- the determination unit 40 detects the base coordinate (pA) of the thumb and the coordinate (pB) of the fingertip of the thumb.
- FIG. 10C is a diagram illustrating a vector 520 from the coordinate pB to the coordinate pA.
- the image control unit 70 calculates a vector 520 from the coordinates (pB) to the coordinates (pA).
- FIG. 10D is a diagram illustrating a vector 530 for movement.
- the image control unit 70 converts the calculated vector 520 into a vector 530 with reference to the position of the handle and the diagonal corner. Then, the image control unit 70 translates the image displayed on the display unit 30 by the vector 530. As a result, the image displayed on the display unit 30 moves.
- the coordinates serving as a reference for the parallel movement at the upper left of the display unit 30 are moved to the coordinate K1.
- the coordinate K1 is outside the region 501.
- FIG. 11A is a diagram for explaining a second image movement.
- the reference coordinate K1 In the first translation for the vector 530 minutes, the reference coordinate K1 is outside the area 501, and the icon I has not reached the area that can be operated with the thumb. Therefore, the image control unit 70 again displays the image for the vector 530 minutes.
- Translate. The base point of the vector 530 is the same as the end point K1 of the previous vector 530.
- the coordinate K1 that is the reference for the parallel movement is moved to the coordinate K2.
- the coordinate K2 is outside the region 501.
- FIG. 11B is a diagram for explaining the third image movement.
- FIG. 11C is a diagram illustrating that the icon I is selected and the application is activated.
- FIG. 11D is a diagram illustrating an example of a state where the icon I is not selected. When the state of the user's finger is changed from the state shown in FIG.
- the image control unit 70 returns the moved image to the original position.
- a predetermined fingertip operation with a minimum of one hand while holding it with one hand is used. Since the operation can be performed, the operability can be improved.
- the user can hold the terminal 1 with one hand and then automatically maintain the thumb hovering state toward the image to be used. It is possible to draw an image including an icon or the like to be used within the reach of the finger. As a result, according to the first and second embodiments, the operability with one hand can be improved even on a large screen where the finger does not reach when held with one hand.
- a pressure detection sensor (not shown) may be used.
- the terminal 1 performs the process described in the first embodiment when the display unit 30 is held in a portrait orientation according to the result input from the sensor 90, and when the display unit 30 is kept in a landscape orientation.
- the processing described in the second embodiment may be performed.
- the determination unit 40 uses the vertical and horizontal lengths of the terminal based on the coordinates pA and the coordinates pB described above and the size of the display unit 30 stored in the storage unit 80 in advance. It may be determined whether or not the length of the person's thumb is longer than twice, and the process of the first embodiment or the process of the second embodiment may be selected based on the determined result.
- a program for realizing the function of the terminal 1 of FIG. 1 of the first and second embodiments is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system.
- the processing of each unit may be performed by executing.
- the “computer system” includes an OS and hardware such as peripheral devices. Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
- the “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM or a CD-ROM, and a hard disk incorporated in a computer system.
- the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line.
- a volatile memory in a computer system serving as a server or a client in that case and a program that holds a program for a certain period of time are also included.
- the program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.
- One embodiment of the present invention can be applied to a terminal, a terminal control method, and the like that need to improve operability with one hand even when the screen is large so that a finger cannot reach when held with one hand. .
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本願は、2014年5月16日に、日本に出願された特願2014-102521号に基づき優先権を主張し、その内容をここに援用する。
また、端末をグリップしている手の親指が届く範囲を拡大操作エリアに設定し、拡大操作エリア内で現実のタッチ入力がタッチパネル全域への仮想的なタッチ入力となるように、タッチ点の座標を変換する。なお、拡大操作エリア上の操作と、その他の通常操作エリア上の操作とでモードを切り替えて、通常操作エリア上の操作ではタッチ点の変換を行わないことが提案されている(例えば、特許文献2参照)。
また、特許文献2に記載の技術では、拡大操作エリア上の操作において、このエリアから指がはみ出さないように気をつけて操作する必要があった。拡大操作エリアは、タッチパネル全体の内、利用者の指が届く範囲に設定される縮小されたエリアであるため、細かいドラッグ操作やタップ操作等が困難であった。特許文献2に記載の技術では、特別にこの領域を配置するため、既存のユーザーインターフェース上に重ねたり、特殊な領域を確保して既存の画面構成を修正する必要があった。
このように、特許文献1及び特許文献2に記載の技術では、片手で保持したときに指が届かないような大きな画面を有する端末において操作性が悪いという課題があった。
図1は、本実施形態に係る端末1の外観の一例を示す斜視図である。端末1は、扁平な矩形状の形状を有し、その一方の主要な面の大部分をタッチパネル10が占有する。例えば、端末1の上端部にはスピーカー11、カメラ12、電源スイッチ14が設けられ、下端部にはマイクロホン13が設けられる。端末1の内部には、CPU、コンピュータプログラムなどを格納する記憶装置、各種インターフェース、アンテナなどが設けられている。
図2に示すように、端末1は、タッチパネル10、検出部20、表示部30、判定部40、通知部50、タッチ情報処理部60、画像制御部70、記憶部80、及びセンサ90を主要なものとして備えている。また、判定部40は、押圧判定部41、位置判定部42、及び、接触判定部43及びを備えている。タッチ情報処理部60は、タッチ情報変換部61(変換部)及びタッチ情報反映部62を備えている。端末1は、タッチパネルを有する機器であり、例えば携帯電話、タブレット端末、音楽再生装置、携帯型のカーナビゲーション、携帯型のルータ機能を有する無線通信端末、携帯型ゲーム機等である。
センサ90は、端末1が利用者により縦長に保持されているか、横長に保持されているかを検出し。検出した結果を画像制御部70に出力する。
位置判定部42は、押圧判定部41によって押下されていると判定されたタッチパネル10上における位置を検出する。位置判定部42は、接触判定部43によってタッチされていると判定したタッチパネル10上における位置を検出する。位置判定部42は、判定結果を接触判定部43に出力する。
接触判定部43は、位置判定部42の判定結果に基づいて、タッチパネル10上でタッチされている位置がタッチパネル10の枠であり、かつタッチされた位置を周知の手法でグルーピングしたとき所定の面積を有する場合に、タッチパネル10の枠に親指の付け根が接触していると判定する。または、接触判定部43は、押圧判定部41によって押下されていると判定された位置がタッチパネル10の枠であり、かつ押下された位置を周知の手法でグルーピングしたとき所定の面積を有する場合に、タッチパネル10の枠に親指の付け根が接触していると判定する。なお、接触判定部43は、押圧判定部41によって検出された押圧された領域が所定の面積より大きい場合、また検出された押圧が所定の値より小さい場合、誤タッチであると判定する。誤タッチとは、利用者によってタッチパネル10が意図されずにタッチされた場合であり、例えば、タッチパネル10が掌に接するように利用者が端末1を保持した場合などの状態である。
接触判定部43は、例えば記憶部80に記憶されている親指の形状を示す情報に基づいて、タッチパネル10上で親指がホバリング状態であるか否か、及び親指が伸ばされた状態であるか否かをホバー検出により判定する。
なお、指先の位置の判定、ホバリング状態の判定、及び親指が伸ばされている状態の判定は、カメラ12によって撮像された画像を用いて行うようにしてもよい。
記憶部80には、タッチパネル10の枠に対して設定されている検出領域、親指の形状を示す情報等が記憶されている。
図3は、利用者が端末1を片手で保持している状態を説明する図である。図3に示すように、本実施形態における端末1は、縦横の長さが、例えば利用者の親指の長さの2倍より短い。端末1は、例えば表示部30が5インチ等のスマートフォンである。なお、以下では、右手で端末1を表示部30が縦長になるように持って操作する場合の例について説明する。また、図3は、親指の指先がタッチパネル10に接していない状態をタッチパネルの上から見た図である。図3において、表示部30の長手方向をx軸、表示部30の短手方向をy軸方向、端末1の厚み方向をz軸とする。なお、図3では、説明を簡単にするために、表示部30上にアイコンが1つ表示されている場合を示している。
図4は、本実施形態に係るタッチパネル10の枠に予め設定されている領域の一例を説明する図である。図4において、表示部30の長手方向をx軸、表示部30の短手方向をy軸方向とする。図4に示すように、タッチパネル10の枠に端末1の端面からx軸方向に幅L1、y軸方向に幅L2で囲まれる領域が、予め親指の付け根が接しているか否かの判定を行う位置として設定されている。この領域の情報は、記憶部80または位置判定部42に記憶されている。
また、図6において、符号311が示す領域は、表示部30上に表示されている画像を移動させて表示させる領域であり、符号312が示す領域は、その他の領域である。図6に示すように、表示部30上に表示されている画像を移動させて表示させる領域は、点(x2、y2)、(x2、y1)、(x1,y2)、及び(x1,y1)に囲まれた領域である。なお、図6に示す例では、親指の付け根の座標が(x1,y1)として検出され、親指の指先の座標が(x2,y2)として検出され、この2つの座標の延長線とタッチパネル10の枠との接点が座標(0,0)であった例を示している。
ここで、図3のように利用者がタッチパネル10の枠に親指の付け根を接触させ、親指をホバリング状態にして伸ばした状態にした場合、図6の矢印321に示すように表示部30上に表示されている画像の左上が点(0,0)から点(x2,y2)の位置になるように画像制御部70によって移動させられる。この結果、その他の領域に表示されていたアイコンIは、画像の移動に伴って、中心の座標が(x3,y3)から(x4,y4)に移動させられる。
(ステップS1)接触判定部43と位置判定部42とは、利用者の親指の付け根がタッチパネル10枠の所定の領域で接触したか否かを判定する。親指の付け根がタッチパネル10枠の所定の領域で接触したと判定された場合、位置判定部42は、タッチパネル10に接触している親指の付け根の座標(pA)を検出する。
(ステップS2)接触判定部43は、利用者の親指がホバリング状態であるか否かを判定する。利用者の親指がホバリング状態であると判定された場合、位置判定部42は、親指の先端の座標(pB)を検出し(ステップS2;YES)、トリガー信号を生成し、生成したトリガー信号を通知部50に出力する。次に、通知部50は、入力されたトリガー信号に応じて移動開始情報を画像制御部70に出力し、処理をステップS3に進める。接触判定部43は、利用者の親指がホバリング状態ではないと判定した場合(ステップS2;NO)、ステップS10に進む。
(ステップS3)画像制御部70は、センサ90から入力された結果に応じて、端末1の表示部30が縦長になるように保持されていると判別し、縦長に保持されている場合の処理に切り換える。次に、画像制御部70は、座標pAから座標pBへの延長線と、タッチパネル10枠との交点の座標(pC)を算出する。
(ステップS4)画像制御部70は、ステップS3で算出した座標(pC)から座標(pB)へのベクトルVを計算する。
(ステップS5)画像制御部70は、座標(pA)から対角の位置にあるタッチパネル10の角を基準として、算出したベクトルV分、表示部30上の画像を平行移動させる。
(ステップS6)接触判定部43は、タッチパネル10への操作が行われたか否かを判定する。接触判定部43は、タッチパネル10への操作が行われたと判定した場合(ステップS6;YES)、ステップS8に進み、タッチパネル10への操作が行われていないと判定した場合(ステップS6;NO)、ステップS7に進む。
(ステップS7)接触判定部43は、予め定められている時間(一定時間)が経過したか否かを判定する。接触判定部43は、一定時間が経過したと判定した場合(ステップS7;YES)、ステップS9に進み、一定時間が経過していないと判定した場合(ステップS7;NO)、ステップS6に戻る。
(ステップS8)タッチパネル情報変換部61は、ステップS6で行われた操作によって検出された座標が所定の領域内の座標である場合に座標を変換し、検出された座標が所定の領域外の座標である場合に座標を変換しない。次に、タッチ情報反映部62は、タッチパネル情報変換部71から入力された座標に基づいて、所定の処理を行う。
(ステップS9)タッチ情報処理部60は、ステップS8の所定の処理終了後、またはステップS7で一定時間が経過後、処理が終了したことを示す情報を通知部50に出力する。次に、通知部50は、入力された処理が終了したことを示す情報に応じて、移動終了情報を生成し、生成した移動終了情報を画像制御部70に出力する。次に、画像制御部70は、入力された移動終了情報に応じて、ステップS5で平行移動させた画像を元の位置に戻し、処理を終了する。
(ステップS10)利用者の親指がホバリング状態ではないと判定された場合、接触判定部43は、予め定められている時間(一定時間)が経過したか否かを判定する。なお、この一定時間は、ステップS7における一定時間と同じであっても異なっていてもよい。接触判定部43は、一定時間が経過したと判定した場合(ステップS10;YES)、ステップS11に進み、一定時間が経過していないと判定した場合(ステップS10;NO)、ステップS2に戻る。
(ステップS11)接触判定部43は、ステップS1で検出された座標(pA)への接触を無視し、処理を終了する。
図8A~図8Fは、本実施形態に係る処理の一例を説明する図である。図8A~図8Fにおいて、図3~図6と同様に、表示部30の長手方向をx軸方向、短手方向をy軸方向とする。また、アイコンIは、アプリケーションに対応している。図8A~図8Fに示した例では、利用者は、符号Iに対応するアプリケーションを起動する場合を説明する図である。
図8Aは、右手の親指で操作可能な領域401、画像を移動可能な最大ベクトル405を説明する図である。符号403及び404は、タッチパネル10における対角線である。端末1では、片手で保持し、親指で操作可能な範囲がタッチパネル10の縦幅と横幅より大きい領域を有している。利用者は、この領域401内に表示されている画像に対する操作を行いたいとき、操作したい箇所をタッチする。一方、利用者は、領域401外の領域402に表示されている画像に対する操作を行いたいとき、親指のホバリング状態を一定時間行う。この操作に応じて表示部30上に表示されている画像が、ベクトルV分、平行移動される。移動可能な最大ベクトルVが、対角線403と404との交点であるように設定されているので、一回の移動で全ての領域をカバーすることができる。この結果、親指が届かない領域の画像を一回の操作で引き寄せることができる。また、移動前に指が届かなかった範囲の画像が、画像の移動後に画面外に移動してしまうことがない。
図8Bは、親指の付け根の座標(pA)、親指の指先の座標(pB)を説明する図である。利用者は、端末1を右手で保持するので、右手の指の付け根をタッチパネル10の枠に設定されている領域に接触されている。そして、利用者は、親指が届かないアイコンIに親指の指先を向けて、ホバリング状態を一定時間継続する。この結果、判定部40は、親指の付け根の座標(pA)と、親指の指先の座標(pB)を検出する。
図8Cは、座標pAから座標pBへの延長線と、タッチパネル10枠との交点の座標(pC)を説明する図である。画像制御部70は、検出された親指の付け根の座標(pA)から親指の指先の座標(pB)への延長線406と、タッチパネル10枠との交点の座標(pC)を計算する。次に、画像制御部70は、座標(pC)から座標(pB)へのベクトル420を計算する。なお、座標pC及びベクトルvの算出は、判定部40が行ってもよい。また、検出する座標は、所定の領域の重心等の座標であってもよい。
図8Dは、移動させるためのベクトル430を説明する図である。画像制御部70は、持ち手の位置と対角線上の角を基準として、計算したベクトル420をベクトル430に変換する。これにより、座標(pC)が(pC’)に変換され、座標(pB)が(pB’)に変換される。そして、画像制御部70は、座標(pC’)から(pB’)へのベクトル430分、表示部30に表示されている画像を平行移動させる。この結果、表示部30に表示されていた画像の左上の座標(pC’)が座標(pB’)に移動する。また、この移動に応じて、アイコンIが親指の届く領域に移動する。
図8Eは、利用者によってアイコンIがタップされたことを説明する図である。図8Dに示すように画像が移動された後、利用者は利用したいアイコンIを選択するために親指の指先を移動させて、アイコンIをタップする。
図8Fは、アイコンIが選択されアプリケーションが起動したことを説明する図である。図8Eに示したようにアイコンIが選択された場合、タッチ情報処理部60は、選択されたアイコンIに対応するアプリケーションを起動し、起動後に画像制御部70がベクトル430分、平行移動させた画像を元の位置に戻す。この結果、表示部30には、アプリケーション起動後の画像が表示される。一方、図8Dに示したように画像を移動させた後、一定時間経過後もタッチパネル10上がタッチされなかった場合、画像制御部70は、ベクトル430分、平行移動させた画像を元の位置に戻す。
なお、図8A~図8Fでは、利用者が表示部30上に表示されているアイコンIを選択する例を説明したが、これに限られない。例えば、利用者が移動後の画像に対してスワイプ、ダブルタップ等の操作を行った場合、タッチ情報処理部60は行われた操作に応じた処理を行う。
また、本実施形態では、右手で端末1を保持して右手の親指で操作する例を説明したが、左手で保持して左手の親指で操作する場合も図7と同様の処理を行うことができる。
なお、タッチパネル10と表示部30とが一体型で赤外線光源が内蔵されている場合、指の形状及びホバー検出は、この光源からの反射光を含む信号と、指からの反射光を含まない外交のみによる信号を順に検出するバックライト差分法を用いて検出を行うようにしてもよい。この場合、タッチされた指の接触面積を解析することで、指の圧力を検出するようにしてもよい。また、タッチした指の画像解析を行うことで、タッチした指が親指であるか否か、また親指が伸びた状態であるかを検出するようにしてもよい。また、バックライト差分法によって検出されたシグナル光の強度を解析することで、指の高さを検出してホバー検出するようにしてもよい。
本発明の第1実施形態によれば、片手で保持したときに指が届かないような大きな画面の端末であっても、片手で把持しつつその片手の最小限の指先操作により所定の操作を行うことができるので、操作性を向上させることができる。なお、本実施形態では、表示部30が縦長に保持された場合を説明したが、これに限られない。表示部30の横の長さが、例えば利用者の親指の長さの2倍より短い端末1であれば、端末1が横長に保持した場合であっても、同様の処理を行うようにしてもよい。
本実施形態では、端末の縦横の長さが利用者の親指の長さの2倍より長い例を説明する。このため、本実施形態では、表示部30が横長になるように片手で保持して操作する例を説明する。なお、端末1の構成は、第1実施形態の図1で説明した構成と同様である。
本実施形態における端末1は、例えば表示部30が10インチ等のタブレット端末である。
図9は、本実施形態に係る処理手順のフローチャートである。
(ステップS101、S102)端末1は、ステップS101~S102の処理をステップS1、S2(図7)と同様に行う。
(ステップS103)画像制御部70は、センサ90から入力された結果に応じて、端末1の表示部30が横長になるように保持されていると判別し、横長に保持されている場合の処理に切り換える。次に、画像制御部70は、座標(pB)から座標(pA)へのベクトルVを計算する。
(ステップS104)画像処理部70は、座標(pA)から対角の位置にあるタッチパネル10の角を基準として、算出したベクトルV分、表示部30上の画像を平行移動させる。
(ステップS105)接触判定部43は、タッチパネル10への操作が行われたか否かを判定する。接触判定部43は、タッチパネル10への操作が行われたと判定した場合(ステップS105;YES)、ステップS110に進み、タッチパネル10への操作が行われていないと判定した場合(ステップS105;NO)、ステップS106に進む。
(ステップS106)画像制御部70は、ステップS104でベクトルV分、平行移動させた後、平行移動の基準となる座標(例えば図10Dの座標K1)が利用者の親指で操作可能な領域(例えば図10Dの領域501)に入っているか否かを判別する。なお、平行移動の基準となる座標とは、利用者が端末1を右手で保持した場合、平行移動させた画像における左上の座標である。画像制御部70は、平行移動の基準となる座標が利用者の親指で操作可能な領域に入っていると判別した場合(ステップS106;YES)、ステップS109に進み、平行移動の基準となる座標が利用者の親指で操作可能な領域に入っていないと判別した場合(ステップS106;NO)、ステップS107に進む。
(ステップS107)画像制御部70は、利用者の親指の付け根の座標(pA)及び親指の指先の座標(pB)が変化していないか否かを判別する。なお、画像制御部70は、座標(pA)と座標(pB)に加えて、親指のホバリング状態が保持されているか否か、親指が伸びた状態が継続しているか否かに基づいて、平行移動の基準となる画像が利用者の親指で操作可能な領域に入っているか否かを判別するようにしてもよい。画像制御部70は、利用者の親指の付け根の座標(pA)及び親指の指先の座標(pB)が変化していないと判別した場合(ステップS107;YES)、ステップS108に進み、利用者の親指の付け根の座標(pA)及び親指の指先の座標(pB)が変化していると判別した場合(ステップS107;NO)、ステップS109に進む。なお、ステップS105~S108を複数回繰り返しても、タッチパネル10がステップS105で操作されたことが検出されない場合、利用者が親指を向ける向きを誤っていたため、画像の移動が適切ではなかったことが想定される。この場合、座標(pA)から対角線にある位置から画像が消失するまで、画像の移動を継続させた後に、画像を元の位置に戻すようにしてもよい。
(ステップS108)画像制御部70は、前回、画像を移動させた位置から、さらにベクトルV分、画面を平行移動させる。画像制御部70は、処理をステップS105に戻す。
(ステップS109)接触判定部43は、予め定められている時間(一定時間)が経過したか否かを判定する。接触判定部43は、一定時間が経過したと判定した場合(ステップS109;YES)、ステップS111に進み、一定時間が経過していないと判定した場合(ステップS109;NO)、ステップS105に戻る。なお、この一定時間は、ステップS112と同じであっても異なっていてもよい。
(ステップS110、S111)タッチ情報処理部60は、ステップS110及びS111の処理を、ステップS8及びS9と同様に処理を行う。タッチ情報処理部60は、ステップS111終了後、処理を終了する。
(ステップS112、S113)判定部40は、ステップS112及びS113の処理を、ステップS10及びS11と同様に処理を行う。タッチ情報処理部60は、ステップS113終了後、処理を終了する。
図10A~図10D及び図11A~図11Dは、本実施形態に係る処理の一例を説明する図である。図10A~図10D及び図11A~図11Dにおいて、表示部30の長手方向をx軸方向、短手方向をy軸方向とする。
図10Aは、親指で操作可能な領域501を説明する図である。図10A~図10D及び図11A~図11Dに示す例では、片手で保持された場合、端末1は、親指で操作可能な範囲がタッチパネル10の縦幅と横幅より2倍以上大きい領域を有している。
図10Bは、親指の付け根の座標(pA)、親指の指先の座標(pB)を説明する図である。図10Bに示すように、利用者は、端末1を右手で保持するので、右手の指の付け根をタッチパネル10の枠に設定されている領域に接触されている。利用者は、親指が届かないアイコンIに親指の指先を向けて、ホバリング状態を一定時間継続する。
判定部40は、親指の付け根の座標(pA)と、親指の指先の座標(pB)を検出する。
図10Cは、座標pBから座標pAへのベクトル520を説明する図である。画像制御部70は、座標(pB)から座標(pA)へのベクトル520を計算する。
図10Dは、移動させるためのベクトル530を説明する図である。画像制御部70は、持ち手の位置と対角線上の角を基準として、計算したベクトル520をベクトル530に変換する。そして、画像制御部70は、ベクトル530分、表示部30に表示されている画像を平行移動させる。この結果、表示部30に表示されていた画像が移動する。
この平行移動により、表示部30の左上の平行移動の基準となる座標が座標K1に移動する。図10Dに示す例では、座標K1は、領域501外である。
図11Bは、三回目の画像の移動を説明する図である。二回目のベクトル530分の平行移動でも基準となる座標K2が領域501外であり、アイコンIが親指で操作できる領域に達していなかったため、画像制御部70は、再度、ベクトル530分、画像を平行移動させる。ベクトル530の基点は、前回のベクトル530の終点K2と同じである。画像制御部70は、ベクトル530分の画像の平行移動を繰り返す。この平行移動により、平行移動の基準となる座標K3が領域501内に移動する。
図11Cは、アイコンIが選択されアプリケーションが起動したことを説明する図である。アイコンIが選択された場合、タッチ情報処理部60は、選択されたアイコンIに対応するアプリケーションを起動し、起動後に画像制御部70がベクトル530分、複数回、平行移動させた画像を元の位置に戻す。この結果、表示部30には、アプリケーション起動後の画像が表示される。一方、画像を移動させた後、一定時間経過後もタッチパネル10上がタッチされなかった場合、画像制御部70は、ベクトル530分、平行移動させた画像を元の位置に戻す。
図11Dは、アイコンIが選択されない状態の一例を説明する図である。図11Bに示す状態から利用者の指の状態が変えられ、タッチパネル10に対する操作が行われずに一定時間が経過した場合、画像制御部70は、移動させた画像を元の位置に戻す。
本発明の第2実施形態によれば、片手で保持したときに指が届かないような大きな横長の画面の端末であっても、片手で把持しつつその片手の最小限の指先操作により所定の操作を行うことができるので、操作性を向上させることができる。
この結果、第1及び第2実施形態によれば、片手で保持したときに指が届かないような大きな画面であっても、片手による操作性を向上させることができる。なお、親指の付け根がタッチパネル10の所定の領域に接触していることを検出する例を説明したが、端末1が保持されていることを検出すればよく、検出は端末1の側面に取り付けられた不図示の圧力検出センサ等で行ってもよい。また、端末1は、センサ90から入力された結果に応じて、表示部30が縦長に保持された場合に第1実施形態で説明した処理を行い、表示部30が横長に保持された場合に第2実施形態で説明した処理を行うようにしてもよい。この場合、判定部40は、親指がホバリング状態のとき、上述した座標pA及び座標pBと、予め記憶部80に記憶されている表示部30の大きさとに基づいて端末の縦横の長さが利用者の親指の長さの2倍より長いか否かを判定し、判定した結果に基づいて第1実施形態の処理または第2実施形態の処理を行うように選択するようにしてもよい。
Claims (5)
- 端末の表示部の所定の箇所に指の一部が接触していることを検出し、そして前記表示部上にかざされる前記指の形状を検出する検出部と、
前記検出部によって検出された検出結果に基づいて、前記表示部上に表示されている画像を平行移動させる画像制御部と、
を備える端末。 - 前記画像を移動させた後の表示部上の座標を変換する変換部、を備え、
前記画像制御部は、前記変換部によって変換された座標に基づいて、前記表示部上で選択された画像に対する処理を行う請求項1に記載の端末。 - 前記表示部の姿勢を検出するセンサ、を備え、
前記画像制御部は、前記センサによって検出された結果に応じて、前記画像を移動させる量を決定する請求項1または請求項2に記載の端末。 - 前記画像制御部は、
前記表示部が縦長の場合、前記指の付け根の位置から前記指の指先の位置に延長した線と、前記表示部との交点を算出し、前記算出した交点から前記指の指先の位置へのベクトルに基づいて、前記画像を移動するように制御し、
前記表示部が横長の場合、前記指の指先の位置から前記指の付け根の位置へのベクトルに基づいて、前記画像を移動するように制御する請求項1から請求項3のいずれか1項に記載の端末。 - 検出部が、端末の表示部の所定の箇所に指の一部が接触していることを検出し、そして前記表示部上にかざされる前記指の形状を検出する検出手順と、
画像制御部が、前記検出手順によって検出された検出結果に基づいて、前記表示部上に表示されている画像を平行移動させる画像制御手順と、
を含む端末制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/310,494 US20170075453A1 (en) | 2014-05-16 | 2015-05-07 | Terminal and terminal control method |
JP2016519222A JP6183820B2 (ja) | 2014-05-16 | 2015-05-07 | 端末、及び端末制御方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014-102521 | 2014-05-16 | ||
JP2014102521 | 2014-05-16 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2015174316A1 true WO2015174316A1 (ja) | 2015-11-19 |
Family
ID=54479857
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2015/063186 WO2015174316A1 (ja) | 2014-05-16 | 2015-05-07 | 端末、及び端末制御方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20170075453A1 (ja) |
JP (1) | JP6183820B2 (ja) |
WO (1) | WO2015174316A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017157079A (ja) * | 2016-03-03 | 2017-09-07 | 富士通株式会社 | 情報処理装置、表示制御方法、及び表示制御プログラム |
CN108206963A (zh) * | 2016-12-20 | 2018-06-26 | 三星电子株式会社 | 用于调整指示对象的透明度的显示设备和显示方法 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10592717B2 (en) * | 2016-01-29 | 2020-03-17 | Synaptics Incorporated | Biometric imaging with hover detection |
US11487425B2 (en) * | 2019-01-17 | 2022-11-01 | International Business Machines Corporation | Single-hand wide-screen smart device management |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012058883A (ja) * | 2010-09-07 | 2012-03-22 | Sony Corp | 情報処理装置、情報処理方法およびコンピュータプログラム |
JP2013214164A (ja) * | 2012-03-30 | 2013-10-17 | Fujitsu Ltd | 携帯電子機器、スクロール処理方法及びスクロール処理プログラム |
JP2014002710A (ja) * | 2012-05-22 | 2014-01-09 | Panasonic Corp | 入出力装置 |
JP2014021827A (ja) * | 2012-07-20 | 2014-02-03 | Nec Casio Mobile Communications Ltd | 情報機器とその表示制御方法、および、プログラム |
JP2014081733A (ja) * | 2012-10-15 | 2014-05-08 | Ntt Docomo Inc | 携帯電子機器 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010244302A (ja) * | 2009-04-06 | 2010-10-28 | Sony Corp | 入力装置および入力処理方法 |
US20120256959A1 (en) * | 2009-12-30 | 2012-10-11 | Cywee Group Limited | Method of controlling mobile device with touch-sensitive display and motion sensor, and mobile device |
US8971572B1 (en) * | 2011-08-12 | 2015-03-03 | The Research Foundation For The State University Of New York | Hand pointing estimation for human computer interaction |
US20130342452A1 (en) * | 2012-06-21 | 2013-12-26 | Research In Motion Limited | Electronic device including touch-sensitive display and method of controlling a position indicator |
US20140137036A1 (en) * | 2012-11-15 | 2014-05-15 | Weishan Han | Operation Window for Portable Devices with Touchscreen Displays |
US9448588B2 (en) * | 2012-12-12 | 2016-09-20 | Brandon Barnard | Electronic device holder |
JP2015133021A (ja) * | 2014-01-14 | 2015-07-23 | シャープ株式会社 | 端末、及び端末制御方法 |
-
2015
- 2015-05-07 WO PCT/JP2015/063186 patent/WO2015174316A1/ja active Application Filing
- 2015-05-07 US US15/310,494 patent/US20170075453A1/en not_active Abandoned
- 2015-05-07 JP JP2016519222A patent/JP6183820B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012058883A (ja) * | 2010-09-07 | 2012-03-22 | Sony Corp | 情報処理装置、情報処理方法およびコンピュータプログラム |
JP2013214164A (ja) * | 2012-03-30 | 2013-10-17 | Fujitsu Ltd | 携帯電子機器、スクロール処理方法及びスクロール処理プログラム |
JP2014002710A (ja) * | 2012-05-22 | 2014-01-09 | Panasonic Corp | 入出力装置 |
JP2014021827A (ja) * | 2012-07-20 | 2014-02-03 | Nec Casio Mobile Communications Ltd | 情報機器とその表示制御方法、および、プログラム |
JP2014081733A (ja) * | 2012-10-15 | 2014-05-08 | Ntt Docomo Inc | 携帯電子機器 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017157079A (ja) * | 2016-03-03 | 2017-09-07 | 富士通株式会社 | 情報処理装置、表示制御方法、及び表示制御プログラム |
CN108206963A (zh) * | 2016-12-20 | 2018-06-26 | 三星电子株式会社 | 用于调整指示对象的透明度的显示设备和显示方法 |
EP3340015B1 (en) * | 2016-12-20 | 2020-09-23 | Samsung Electronics Co., Ltd. | Display device for adjusting transparency of indicated object and display method for the same |
Also Published As
Publication number | Publication date |
---|---|
JP6183820B2 (ja) | 2017-08-23 |
US20170075453A1 (en) | 2017-03-16 |
JPWO2015174316A1 (ja) | 2017-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5759660B2 (ja) | タッチ・スクリーンを備える携帯式情報端末および入力方法 | |
KR200450989Y1 (ko) | 양면 터치스크린을 구비한 플랫 패널 형상의 모바일 장치 | |
JP5816834B2 (ja) | 入力装置、および入力方法 | |
JP5507494B2 (ja) | タッチ・スクリーンを備える携帯式電子機器および制御方法 | |
KR101872426B1 (ko) | 깊이 기반 사용자 인터페이스 제스처 제어 | |
JP5718042B2 (ja) | タッチ入力処理装置、情報処理装置およびタッチ入力制御方法 | |
JP4979600B2 (ja) | 携帯端末装置、及び表示制御方法 | |
TW201329835A (zh) | 顯示控制裝置、顯示控制方法及電腦程式 | |
JP2014203183A (ja) | 情報処理装置及びプログラム | |
JP2010140321A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2013546110A (ja) | コンピューティング装置の動きを利用するコンピューティング装置と相互作用するときに発生する入力イベントの解釈の強化 | |
JP2009151718A (ja) | 情報処理装置および表示制御方法 | |
US10671269B2 (en) | Electronic device with large-size display screen, system and method for controlling display screen | |
JP6183820B2 (ja) | 端末、及び端末制御方法 | |
JP2012003404A (ja) | 情報表示装置 | |
JP2012008666A (ja) | 情報処理装置および操作入力方法 | |
US20170192465A1 (en) | Apparatus and method for disambiguating information input to a portable electronic device | |
CN104423687A (zh) | 电子装置、屏幕的控制方法及其程序存储介质 | |
KR20160019762A (ko) | 터치 스크린 한손 제어 방법 | |
JP2014016743A (ja) | 情報処理装置、情報処理装置の制御方法、および情報処理装置の制御プログラム | |
JPWO2012111227A1 (ja) | タッチ式入力装置、電子機器および入力方法 | |
JP2016126363A (ja) | タッチスクリーンに入力する方法、携帯式電子機器およびコンピュータ・プログラム | |
WO2013080425A1 (ja) | 入力装置、情報端末、入力制御方法、および入力制御プログラム | |
JP2013114645A (ja) | 小型情報機器 | |
JP2012063976A (ja) | 電子機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15793556 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2016519222 Country of ref document: JP Kind code of ref document: A |
|
WWE | Wipo information: entry into national phase |
Ref document number: 15310494 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 15793556 Country of ref document: EP Kind code of ref document: A1 |