WO2013018480A1 - タッチ入力が可能な画面内に原画像を縮小表示するタッチパッドを有するユーザインタフェース装置、入力処理方法及びプログラム - Google Patents

タッチ入力が可能な画面内に原画像を縮小表示するタッチパッドを有するユーザインタフェース装置、入力処理方法及びプログラム Download PDF

Info

Publication number
WO2013018480A1
WO2013018480A1 PCT/JP2012/066736 JP2012066736W WO2013018480A1 WO 2013018480 A1 WO2013018480 A1 WO 2013018480A1 JP 2012066736 W JP2012066736 W JP 2012066736W WO 2013018480 A1 WO2013018480 A1 WO 2013018480A1
Authority
WO
WIPO (PCT)
Prior art keywords
screen
finger
user
pad
image
Prior art date
Application number
PCT/JP2012/066736
Other languages
English (en)
French (fr)
Inventor
松木　友明
Original Assignee
Kddi株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kddi株式会社 filed Critical Kddi株式会社
Priority to US14/233,518 priority Critical patent/US9244544B2/en
Publication of WO2013018480A1 publication Critical patent/WO2013018480A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position

Definitions

  • the present invention relates to a technique related to a user interface device that displays an image on a screen and allows a user to input by operating the operation surface with a finger in association with the displayed image.
  • a touch panel is installed or not, portable information devices need to be downsized to improve portability. For this reason, when the portable information device employs a plurality of physical input keys or buttons as a user interface, the size of these input keys themselves must be reduced. As a result, the operation of the portable information device There is concern about the decline of sex. On the other hand, when the portable information device employs a touch panel having virtual buttons instead of physical buttons as the user interface, the size of the virtual buttons is appropriately set according to the function of the corresponding application. Thus, the operability of the portable information device can be improved.
  • a finger In the input to the touch panel, a finger is brought into contact with the touch panel, and a pointing operation for pointing to a predetermined position on the touch panel is performed by the finger.
  • a pointing operation for pointing to a predetermined position on the touch panel is performed by the finger.
  • it is very important to reliably point to the target area on the screen in order to reliably activate a desired process or function by a computer or the like connected to the touch panel.
  • the pointing operation is difficult because the target area on the screen is small, for example, among the images displayed on the screen, it is included in the position near the area near the screen frame or in the displayed image Even when it is necessary to point the position of a fine pattern (pattern) to be pointed with a finger, it is required to point to such a target area with a finger.
  • Patent Document 1 discloses a technique for designating cursor designated coordinates only with a finger.
  • this technique by moving the touch position of a finger, a cursor figure drawn on the opposite side of the touch position with a fixed fulcrum in between is moved, and the cursor designated coordinates are designated.
  • a portable information communication device having a track pad on the surface opposite to the surface on which the display means is provided has been proposed (see Patent Document 2).
  • the casing is held with one hand, and the finger of the same hand is brought into contact with the trackpad of the apparatus for operation.
  • the device can be operated with a finger of one hand and a predetermined position can be designated.
  • the display screen In particular, in recent years, in order to display various and large-capacity information in an easy-to-see manner, the display screen often occupies almost the entire front surface of the device. When holding such a device with one hand and trying to operate the device with a finger of the same hand, it is easy to move freely because it does not contribute to holding the device among the fingers of the same hand The finger is actually a thumb.
  • the thumb is generally shorter than other fingers, and therefore, among images displayed on a wide screen, out of a pair of edge areas (right edge area and left edge area) facing each other in the width direction. It is difficult for the thumb to reach the edge area on the opposite side to the side where the thumb of one hand holding the image is located or the vicinity of the edge area in the same image.
  • Patent Document 1 This problem is difficult to solve even if the conventional techniques as disclosed in Patent Documents 1 and 2 are applied.
  • the technology disclosed in Patent Document 1 is based on a premise of a stationary information device such as a car navigation device, and a usage form in which the information device is held with one hand and operated with a finger of the same hand is considered. Not. Therefore, it is assumed that a complicated operation such as displaying a fixed fulcrum figure and moving the cursor figure from the touch position on the opposite side based on the position of the fixed fulcrum is performed. It is difficult to realize.
  • Patent Document 2 certainly intends to hold the apparatus with one hand and operate the apparatus with the fingers of the same hand.
  • this finger is a finger other than the thumb, such as the middle finger and the ring finger that contributes to the holding of the device. It cannot be denied that it is a finger that is difficult to move freely.
  • An object of the present invention is to provide a user interface device, an input processing method, and a program that can be easily specified.
  • each aspect is divided into sections, each section is numbered, and is described in the form of quoting the section numbers of other sections as necessary. In this way, each section is referred to the section number of the other section.
  • the technical features described in each section can be appropriately made independent according to the properties.
  • a user interface device having a display function for displaying an image on a screen and a touch panel function for sequentially outputting a contact position where the user touches the operation surface with a finger as time passes, A reference image, which is the same as the original image displayed on the screen, reduced, and a screen pad controller that displays the reference image as a screen pad in the same screen; A contact determination unit that determines whether or not the finger touches the screen pad; When the contact determination unit determines that the finger has touched the screen pad, a pointer indicating the position corresponding to the contact position of the finger on the screen pad on the screen is displayed on the original image.
  • Pointer display section to A user interface device including: an operation control unit that activates an operation according to a position indicated by the pointer.
  • the operation control unit temporarily assumes that the user touches the finger at an initial position indicated by the pointer and follows the subsequent change in the position indicated by the pointer with the finger.
  • the user interface device according to item (1) wherein if the part displaying the image is traced, the same operation as that which would occur in the user interface device is activated.
  • the screen pad is configured such that when the user holds the user interface device with one hand of the screen and tries to operate the user interface device with the same hand, the user uses the finger of the same hand as the screen.
  • the contact determination unit determines whether or not a holding time in which the contact position is held at substantially the same position after the finger contacts the screen pad is a predetermined time or more, When the contact determination unit determines that the holding time is equal to or longer than the predetermined time, the operation control unit fixes the finger on the screen pad in a state where the image is fixed without being moved on the screen.
  • the user interface device according to any one of (1) to (3), wherein a “touch focus” mode for monitoring a contact position is operated.
  • the operation control unit selects the object when the pointer points to the display area of the object that is the operation target included in the original image.
  • the user interface device according to (4), wherein it is determined that a “focus” operation has been performed, and an action corresponding to the object is activated.
  • a pressing force detection unit that detects a pressing force with which the finger presses the touch panel
  • a pressing force determination unit that determines whether or not the detected pressing force is equal to or greater than a predetermined threshold
  • the operation control unit when operating in the “touch focus” mode, when the pointer indicates a display area of an object that is an operation target included in the original image, and the pressing force is equal to or greater than the predetermined threshold value
  • the user interface device according to (4) or (5), wherein it is determined that a “click” operation for activating a function pre-assigned to the object is performed by a user, and an action corresponding to the object is activated.
  • a tactile response mechanism that gives a tactile response to the finger that has touched the touch panel;
  • a pressing force detection unit that detects a pressing force with which the finger presses the touch panel
  • a pressing force determination unit that determines whether or not the detected pressing force is equal to or greater than a predetermined threshold
  • the operation control unit moves while the finger is in contact with the screen pad before a predetermined time elapses after the finger contacts the screen pad, and then the finger stops.
  • the first operation for moving the image in response to the movement of the finger, and after the drag operation the image is further moved at a speed corresponding to the magnitude of the pressing force.
  • the user interface device according to any one of (1) to (3), wherein it is determined that a “drag click” operation is performed continuously with a second operation for causing the second operation to be performed, and a corresponding operation is activated.
  • a method of processing a user input in a user interface device having a display function for displaying an image on a screen and a touch panel function for sequentially outputting a contact position where the user touches the operation surface with a finger as time elapses.
  • a method of processing a user input in a user interface device that allows a user input by displaying an image on a screen and touching the operation surface with a finger in association with the displayed image Because A first step of displaying an original image on the screen; A reference image that is the same as the displayed original image is faithfully or simplified and reduced, and the original image is displayed on the same screen in a translucent state or an invisible state where the original image can be seen through. A second step of constructing a screen pad which means an in-screen touchpad by overlaying And a third step of detecting an operation position when the user operates the screen pad with the finger and performing user input based on the detected operation position.
  • the user interface device when the user holds the device with one hand and operates the device with a finger of the same hand, the user can select an arbitrary screen in the screen of the device.
  • the position can be easily specified regardless of the position.
  • FIG. 1A is a front view of a portable information device according to an exemplary embodiment of the present invention on which a screen pad is displayed
  • FIG. 1B is the portable information device. It is the schematic which shows the geometrical correspondence between operation with the user's finger
  • 2A is a front view showing the portable information device shown in FIG. 1 together with an example of a series of finger movements during the “focus” operation
  • FIG. 2B is shown in FIG.
  • FIG. 2B is shown in FIG.
  • It is a front view which shows a portable information device with an example of a series of finger movements during a “click” operation.
  • FIGS. 3A to 3C are front views showing the portable information device shown in FIG.
  • FIG. 4 is a perspective view schematically showing the configuration of the portable information device shown in FIG. 1, and a flowchart schematically showing an embodiment of an input processing method using the screen pad shown in FIG.
  • FIG. 5 is a functional block diagram showing an embodiment of the portable information device shown in FIG.
  • the user interface device targeted by the present invention displays a reference image in which the same image as the original image is reduced together with the original image on a screen that allows the user to input a position with a finger in association with the image.
  • a screen pad for displaying a reference screen is formed in a screen for displaying an original image.
  • first touch screen the portion of the same screen that displays the reference screen (that is, the screen pad is configured).
  • second touch screen the portion corresponding to the reduced version of the first touch screen.
  • this portion is referred to as the original image.
  • touch pad configured in a screen capable of displaying and touch input, it is referred to as a “screen pad” as described above.
  • a user touches the screen pad with a finger while observing a reference image displayed on the screen pad, whereby the user displays the same finger on the display.
  • the reference image is an image that is referred to by the user mainly to support the user's input operation, and usually displays the same image as the original image at a smaller magnification than the original image.
  • the “original image” is a portion including an operation target by a finger in the entire image that is the entire information that is an object displayed on the display screen.
  • the portion to be operated can be an image displayed on the screen.
  • a partial image representing a region where a plurality of icons are arranged in the displayed image corresponds to a portion including the operation target.
  • the term “original image” can be defined so that the time display area, the function display areas such as the battery meter and the radio wave intensity indicator are not included in the “original image”. It is.
  • FIG. 1 is a front view of the portable information device 1 according to the present embodiment, on which the screen pad 105 is displayed, and a schematic diagram of an operation by the user's finger on the portable information device 1.
  • FIG. 1A shows a portable information device 1 in which a screen pad 105 (x axis is a horizontal axis, y axis) on a screen of a display 101 (X axis is a horizontal axis, Y axis is a vertical axis). (Vertical axis) shows an overlay display.
  • the portable information device 1 includes a display 101 for displaying an image and a touch panel 100 arranged on the screen of the display 101.
  • the display 101 and the touch panel 100 are laminated as a plurality of layers independent of each other.
  • the display 101 and the touch panel 1005 also have a position input function. Can be configured as a single part.
  • Each icon 104 is a target (an example of a visual object) that is operated by the user to activate the corresponding application.
  • the user can select the target icon 104 by directly touching one of the icons 104 with the finger, and can activate the corresponding application.
  • the screen pad 105 has both a display function and a position input function.
  • the display function is realized by a portion of the display 101 where the screen pad 105 is overlaid
  • the position input function is realized by a portion of the touch panel 100 where the screen pad 105 is overlaid.
  • the screen pad 105 is constituted by both the display 101 and the touch panel 100.
  • the screen pad 105 is displayed on a part of the screen of the display 101, and is an image area in which an original image displayed on the screen is reduced and displayed.
  • the image (reference image) displayed on the screen pad 105 may be a similar shape having a similarity ratio of less than 1 with respect to the original image displayed on the screen. That is, the reduction ratio at which the original image is reduced to generate the reference image is between the horizontal axis (x axis and X axis) direction and the vertical axis (y axis and Y axis) direction of the portable information device 1. Although they may coincide with each other, the reduction ratios may be different between the two directions.
  • the original image and the screen pad 105 are displayed on the same screen so that the screen pad 105 is overlaid above the original image.
  • a portion of the original image that is overlaid with the screen pad 105 can be displayed so as to be seen through the screen pad 105 or hidden by the screen pad 105 so as not to be seen. It is.
  • the outer shape of the screen pad 105 there are various shapes such as a rectangle, a rhombus, other polygons, or any of these shapes with rounded corners, an ellipse, or a circle. It can be adopted.
  • the screen pad 105 has a plurality of icon mini-images corresponding to each of the plurality of icons 104 (for example, an image obtained by reducing the figure of the icon 104 as it is. , 104a may be simplified) is displayed.
  • the user holds the portable information device 1 with one hand (in the example shown in FIG. 1A, the right hand), and the thumb of the same hand is displayed on the screen pad 105 (the screen pad 105 of the touch panel 100 is displayed). Area). Since the thumb does not contribute to the holding of the portable information device 1, it is easy for the user to move freely from other fingers and is suitable for the operation of the portable information device 1. For example, when the thumb touches any one of the icon mini-images 104a displayed in the screen pad 105, a pointer 106 pointing to the icon 104 corresponding to the touched icon mini-image 104a is displayed on the screen (touch pad). 100 is displayed in the area outside the area where the screen pad 105 is displayed.
  • the thumb touches one of the icon mini-images 104a the same action as that which would occur if the same thumb touched the icon 104 pointed to by the inter 106 is activated.
  • this is equivalent to the “focus” operation described in detail later, which is performed to select the icon 104 corresponding to the icon mini-image 104a. It is determined that the operation has been performed, and the selection operation is activated.
  • this selection operation for example, there may be an emphasis display such that the corresponding icon 104 appears to float or appears to shine more than the other icons 104.
  • the position where the screen pad 105 is displayed on the screen can be changed by the user, but the screen pad 105 is the same hand as the one holding the portable information device 1 on the screen. It is preferable that the screen is displayed at a position where the user can touch any position on the screen pad 105 with his / her thumb. Thus, for example, even when the thumb does not reach the target icon 104 and cannot be directly touched, the user makes the thumb contact the corresponding icon mini-image 104a instead of the target icon 104, Thus, an operation equivalent to the direct contact with the target icon 104 can be activated.
  • the reference image (including a plurality of icon mini-images 104a) displayed on the screen pad 105 is translucent.
  • the portion of the original image displayed on the display 101 that is superimposed on the screen pad 105 can be seen through the screen pad 105.
  • the original image is displayed. Can be visually recognized by the user as a whole.
  • display or non-display of the screen pad 105 can be selected by the user.
  • the screen pad 105 is not displayed, the entire original image displayed on the screen can be viewed without being blocked. In this case, the function of the screen pad 105 is stopped, and the user performs an operation by directly touching the original image with a finger.
  • the display of the screen pad 105 is performed, for example, when the user activates a predetermined icon with a finger or presses a physical button attached to the portable information device 1.
  • the non-display of the screen pad 105 is performed, for example, when the user activates a predetermined icon mini-image 104a displayed in the screen pad 105 with a finger.
  • the entire original image can be dragged within the frame of the screen, and the entire screen pad 105 is dragged to move relative to the original image within the frame of the screen. It is possible. Further, it is possible to drag the entire display image (reference image) in the screen pad 105 to move with respect to the frame of the screen pad 105 while keeping the position of the screen pad 105 as it is. In this case, the original image moves in the same manner as the reference image moves.
  • the position on the screen where the screen pad 105 is displayed can be changed by the user. Specifically, the screen pad 105 moves on the screen (on the original image) when a drag operation is performed on the screen pad 105 (distinguishable from the drag operation for the icon mini-image 104a in the screen pad 105). The screen pad 105 can be moved to an arbitrary position in the screen.
  • the user can select from any edge area of the reference image of the screen pad 105 or a predetermined area inside the reference image of the screen pad 105 (for example, from any icon mini-image 104a).
  • the screen pad 105 is dragged (dragged) by moving the finger while keeping the finger in contact with the removed area.
  • the user can change the reduction ratio for reducing the original image displayed on the screen. Further, the user sets the reduction rate ⁇ in the horizontal axis (x-axis and X-axis) direction of the portable information device 1 and the reduction rate ⁇ in the vertical axis (y-axis and Y-axis) direction of the portable information device 1, respectively. It is also preferable that they can be changed independently of each other.
  • the adjustment of the reduction ratio is performed by, for example, a marker (for example, at least one of four corners of the screen pad 105 or at least one of a pair of opposing edges of the screen pad 105) displayed on the screen pad 105. This is performed by moving the finger while keeping the finger in contact with a predetermined position (for example, a marker displayed at the midpoint of the corresponding edge in the length direction).
  • a marker for example, at least one of four corners of the screen pad 105 or at least one of a pair of opposing edges of the screen pad 105
  • an action that should occur if the finger touches the contact position of the finger For example, when the user's finger touches any of the icons 104 positioned outside the range of the screen pad 105, it is assumed that a “focus” operation, which will be described in detail later, is performed, and the selection operation of any of the icons 104 is performed. Triggered.
  • FIG. 1B shows a geometric correspondence between the contact position of the thumb and the position indicated by the pointer 106.
  • the thumb moves while being in contact, and the contact position changes from the point S 1 to the point S 2 in the screen pad 105.
  • the pointer 106 also moves, and specifically, the position pointed to by the pointer 106 also changes from the point P 1 to the point P 2 in the screen of the display 101.
  • the screen pad 105 is assigned the first quadrant of the xy coordinate system (the origin is in the lower left corner and the vertical axis and the horizontal axis take positive values).
  • the first quadrant of the XY coordinate system has a scale of the same scale as the xy coordinate system (scale, ratio between dimensions in the real world and dimensions on the coordinate system) on the screen of the display 101. Assigned by
  • ⁇ is a reduction ratio (a numerical value greater than 1) when the original image displayed on the screen is reduced in the horizontal axis (x-axis and X-axis) directions in order to generate a reference image of the screen pad 105. ).
  • ⁇ is a reduction ratio (a numerical value greater than 1) when the original image displayed on the screen is reduced in the direction of the vertical axis (y-axis and Y-axis) in order to generate a reference image of the screen pad 105. ).
  • ⁇ ⁇ 1 which is the reciprocal of the reduction rate ⁇ is the enlargement rate of the reference image necessary for restoring the original image
  • ⁇ ⁇ 1 which is the reciprocal of the reduction rate ⁇ is for restoring the original image.
  • This is the required reference image magnification.
  • thumb immediately after contacting the point S 1, remain in contact has moved to point S 2. This is a so-called drag operation within the screen pad 105.
  • the screen pad 105 an image containing a mini image 104a for multiple icons also in the direction from the point S 1 to the point S 2, the distance from the point S 1 to point S 2 moves To do.
  • pointer 106 moves from point P 1 to point P 2.
  • the entire original image also comprising a plurality of icons 104, in the direction from point P 1 to point P 2, moved by the distance from point P 1 to point P 2.
  • This corresponds to the operation by the drag operation of moving while contacting the finger from point P 1 to point P 2.
  • a drag operation is performed on the screen pad 105, a drag operation is also performed on the original image at the same time.
  • the screen pad 105 it is assumed that the user touches the initial position indicated by the pointer 106 with the finger and follows the subsequent change in the position indicated by the pointer 106. If the part displaying the original image is traced (the same operation as that which will occur can be activated).
  • “Focus” operation User operation for selecting one of objects such as a plurality of icons
  • “Click” operation User for invoking a function pre-assigned to the selected object Operation
  • “Drag click” operation User operation for further scrolling the entire image by pushing the same finger as the finger that performed the drag operation into the touch panel 100 without releasing it from the touch panel 100 after the end of the drag operation.
  • the portable information device 1 can be designed so that conventional operations other than those described above, for example, a flick operation, a pinch-in operation, a pinch-out operation, and the like can be performed via the screen pad 105.
  • FIG. 2 is a front view of the portable information device 1 for explaining the above-described “focus” operation and “click” operation performed during the operation in the “touch focus” mode.
  • FIG. 2A shows the portable information device 1 together with an example of a series of finger movements during a “focus” operation.
  • the “touch focus” mode in which the “focus” operation is performed will be described with reference to FIG.
  • the user's finger contacts the screen pad 105 (the portion of the touch panel 100 that constitutes the screen pad 105), and then the user touches the finger contact position for a predetermined time or more. Then, the user moves (slides) his / her finger so as to trace on the screen pad 105 while maintaining contact.
  • the mode shifts to the “touch focus” mode.
  • the original image including the plurality of icons 104 also has a plurality of icon mini-images 104 a corresponding to the icons 104.
  • the reference image in the screen pad 105 including the screen does not move and is fixed in spite of the subsequent movement of the finger.
  • the user can move the finger while keeping the finger in contact and sequentially touch the plurality of icon mini-images 104a that can be continuously displayed at the same position in the screen pad 105.
  • the pointer 106 also moves within the screen, and sequentially points to the plurality of icons 104 that can be continuously displayed at the same position.
  • the contact determination unit 122 (FIG. 5), which will be described later, determines whether or not the finger contact position and the display area position range of any one of the icon mini-images 104a are overlapped even while the finger is moving. .
  • the mode of monitoring the contact position of the finger that moves while touching in a state where the entire image (original image and reference image) displayed on the screen is fixed without being moved is the above-mentioned “touch focus”. Mode.
  • the user can trace the desired icon 104 while visually checking whether or not the desired icon 104 exists in the displayed image while tracing the screen pad 105 with a finger. This is suitable for a case where the finger is surely advanced to the display area of the icon mini-image 104a corresponding to.
  • the user moves his / her finger while tracing the screen pad 105 during the operation in the “touch focus” mode. Thereafter, when the user finds a desired icon 104, the user advances his / her finger into the display area of the icon mini-image 104a corresponding to the icon 104.
  • an operation of superimposing the finger contact position on the display area of the desired icon mini-image 104a (operation of superimposing the position indicated by the pointer 106 on the display area of the icon 104) is performed.
  • a “focus” operation it will be referred to as a “focus” operation.
  • the “focus” operation is an operation performed for the user to select a desired icon 104 indirectly through the screen pad 105 instead of directly in the present embodiment. It plays a role as a preparatory operation for reliably performing an operation for activating the function of the icon 104.
  • the tactile response mechanism unit 102 (FIG. 4) described later physically replaces the finger with a virtual button.
  • a vibration that gives a feeling as if the user had actually pressed the push button can be given.
  • the user can tactilely confirm that the “focus” operation has been accepted, and can obtain a stable and reliable operational feeling.
  • each icon 104 has a height (thickness in a direction perpendicular to the screen). Then, after the finger reaches the display area of the icon 104 and enters the area, the finger is given a vibration having an intensity corresponding to the magnitude of the gradient calculated from the height information. This gives the finger a feel similar to that obtained when tracing a protruding physical push button.
  • FIG. 2 (B) shows the portable information device 1 together with an example of finger movement during the “click” operation.
  • the finger advances to the position of the desired icon mini-image 104a, and as a result, the contact position of the finger is the display area of the desired icon mini-image 104a. And superimpose. Along with this, the position indicated by the pointer 106 is also superimposed on the display area of the desired icon 104. From this state, when the user presses a finger into the screen pad 105, a function assigned in advance to the desired icon 104 is activated.
  • the operation of pressing the desired icon mini-image 104a (touch panel 100) with a finger to activate the function of the desired icon 104 in this way is hereinafter referred to as a “click” operation.
  • the pressing force p C being equal to or greater than the predetermined threshold value p TH is a condition for determining the “click” operation.
  • the pressing force threshold value p TH can be set to a value in the range of 0.5 N (Newton) to 2.0 N, for example.
  • the tactile response mechanism 102 (FIG. 4), which will be described later, can also give the finger a vibration that gives a feeling as if the physical press button was actually pressed. That is, when the user performs a “focus” operation, the user feels the presence of a physical push button by receiving vibration, and performs the “click” operation with certainty based on this feeling. At that time, by receiving another type of vibration, it is as if the physical push button is pushed when the desired icon mini-image 104a configured as a virtual push button is actually pushed. To get a good feeling. As a result, the user can virtually obtain a stable and reliable operational feeling that the user has actually operated the physical push button in spite of the operation on the screen pad 105.
  • the screen pad 105 is used to display on the screen with the finger of the same hand as the one hand holding the portable information device 1. It is possible to easily specify an arbitrary position in the original image.
  • a “click” operation that activates a pre-assigned function can be easily performed. Specifically, even if an object that is an operation target and is displayed on the screen is displayed at a position where the finger does not reach, another object that represents the object is used instead of the object.
  • the above-described “focus” operation and “click” operation can be performed by bringing a finger into contact with an object that is displayed in the screen pad 105 present at a position where the finger can easily reach.
  • the “touch focus” mode enables a very easy operation of tracing with a finger.
  • the “touch focus” mode even if a finger operation is performed on the screen pad 105 having a display area narrower than the screen, the user can easily perform a correct input operation, and thus the portable information A desired operation is surely activated by the device 1.
  • FIG. 3 is a front view showing the portable information device 1 together with an example of a series of finger movements during a “drag click” operation.
  • FIGS. 3A to 3C show a series of finger movements during the “drag click” operation in time series.
  • a user designates a certain condition on the screen of the display 101, and a plurality of results obtained by performing a search using a search engine that is the basis of the condition are displayed.
  • An image including a search result entry 107 representing the search result is displayed.
  • the 50 search result entries 107 only the first to fifth search result entries 107 are displayed on the screen.
  • the same thing as the search result entries 107 is reduced on the screen pad 105, and the first to fifth cases are reduced. It is displayed as a search result entry mini-image 107a.
  • the reference images representing the plurality of search result entry mini-images 107a in the screen pad 105 are also scrolled upward in accordance with the movement of the finger.
  • the fourth to eighth search result entry mini-images 107a are displayed.
  • the original image representing the plurality of search result entries 107 is also scrolled upward.
  • the search result entries 107 from the fourth case to the eighth case among all the search result entries 107 are displayed on the screen.
  • the user pushes the finger into the screen pad 105 (the part of the touch panel 100 that constitutes the screen pad 105) at the position of the finger contact when the drag operation is completed.
  • a series of operations such as these drag operations and subsequent pressing with a finger is a “drag click” operation.
  • the image representing the search result entry mini-image 107a and the original image representing the search result entry 107 in the screen pad 105 are continuously scrolled by the drag operation. Further scrolling is performed at a speed corresponding to the pushing of the finger.
  • the user can adjust the scrolling speed while adjusting the strength of pushing the finger.
  • the “touch focus” mode does not work even if a “drag click” operation is performed. Therefore, the pressing operation after the drag operation is not determined to be the “click” operation described with reference to FIG.
  • the scroll direction after the drag operation is preferably matched with the scroll direction performed in accordance with the drag operation. Thereby, the user can further continue scrolling in the same direction as the intended scroll direction by the drag operation.
  • the pushing of the finger after the drag operation exerts a pressing force p C on the touch panel 100.
  • the scroll speed after the drag operation is determined. For example, when the pressing force p C is equal to or greater than the pressing force threshold value p TH0 , the operation control unit 125 determines the scroll speed so that the scroll speed increases in proportion to the value of (p C ⁇ p TH0 ). It is also possible. In this case, the more the finger is pushed after the drag operation, the faster the entire image is scrolled in proportion to the magnitude of the pushing force.
  • a tactile response mechanism 102 (FIG. 4), which will be described later, can give a finger a tactile response corresponding to the scrolling speed. For example, the higher the scroll speed, the stronger vibration is applied to the finger. Thereby, the user can experience the high scroll speed from the strength of vibration added to the finger, and can obtain a realistic operation feeling.
  • the screen pad 105 is used to display on the screen with the finger of the same hand as the one hand holding the portable information device 1. It is possible to easily specify an arbitrary position in the original image, regardless of the position.
  • a “drag click” operation that enables scrolling at a controlled speed can be performed with the finger of the same hand as the one holding the portable information device 1.
  • the finger is moved on the screen instead of the screen pad 105 by moving the finger within a short distance within the screen pad 105.
  • the same effect as a drag operation that would require a long distance movement of the finger to a position where the finger cannot reach can be realized.
  • the user can easily scroll the desired moving distance without repeatedly performing a drag operation by simply pressing the position within the screen pad 105 where the finger reaches. Can be done in time.
  • the “drag click” operation is a very easy operation that is performed while the user keeps the finger in contact. As a result, even if this operation is performed on the screen pad 105 which is a relatively narrow area, a desired operation by the portable information device 1 is surely activated without deteriorating the operability of the portable information device 1.
  • FIG. 4 is a perspective view schematically showing the configuration of the portable information device 1, and a flowchart showing an embodiment of an input processing method using the screen pad 105 adopted by the portable information device 1.
  • FIG. 5 is a functional block diagram showing an embodiment of the portable information device 1.
  • the portable information device 1 includes a touch panel 100, a display 101, a tactile response mechanism unit 102, a pressing force detection unit 103, and a processor memory.
  • the processor memory realizes its function by executing a program for executing the input processing method.
  • the processor and the memory cooperate with each other to constitute a computer.
  • a program for executing the input operation determination method is stored in advance in the memory.
  • the memory is an example of a recording medium that records the program in a computer-readable and non-transient manner.
  • Display 101 displays an image on the screen.
  • the touch panel 100 is arrange
  • a projected capacitive touch panel, a surface capacitive touch panel, a resistive touch panel, an ultrasonic surface acoustic wave touch panel, an infrared scanning touch panel, or the like can be employed.
  • the tactile response mechanism unit 102 vibrates the touch panel 100 to give a tactile response to a finger touching the touch panel 100 as a response to a specific operation. For example, when the above-described “focus” operation, “click” operation, and / or “drag click” operation is performed, the haptic response mechanism unit 102 responds to the type and intensity according to the operation content. Give the finger a vibration.
  • the tactile response mechanism 102 can be a piezoelectric actuator formed using a piezoelectric material such as PZT (lead zirconate titanate).
  • the pressing force detection unit 103 detects a pressing force p C applied to the touch panel 100 by a finger.
  • the pressing force detection unit 103 is installed, for example, under the four corners of the touch panel 100, and the total of four force components for pressing the pressing force detection unit 103 by the touch panel 100 that is bent by pressing a finger at these four locations. The value is detected as a pressing force p C.
  • the pressing force signal output from the pressing force detection unit 103 is input to a pressing force determination unit 124 described later.
  • the pressing force detection unit 103 can be, for example, a piezoelectric sensor formed using a piezoelectric material such as PZT. Further, instead of providing the tactile response mechanism unit 102 formed of a piezoelectric actuator, or at the same time, the pressing force detection unit 103 can be used as a tactile response mechanism unit.
  • the pressing force p C at which the finger presses the operation surface of the touch panel 100 is an example of a physical quantity that represents the degree of contact of the finger with the operation surface.
  • the degree of contact is expressed by the area where the finger contacts the operation surface instead of the pressing force p C , or expressed by the amount of change in the electrical characteristics generated when the finger contacts the operation surface, It can be expressed by the amount of change in temperature generated by contacting the operation surface. Therefore, the present embodiment, by substituting a different physical quantity pressing force p C equivalently, can be implemented by changing.
  • the processor memory inputs a finger contact position signal output from the touch panel 100 and a pressing force signal output from the pressing force detection unit 103, and determines the type of operation by the user's finger based on these signals. Identify and activate actions according to the type of operation.
  • the processor memory inputs a contact position signal and a pressing force signal generated when a user's finger touches the screen pad 105, and points to a position corresponding to the finger touch position on the screen. Is displayed.
  • the processor memory activates an operation corresponding to the initial position pointed to by the pointer 106 and the locus drawn by the position pointed to by the pointer 106 thereafter.
  • the functional configuration of the processor memory will be described with reference to FIG.
  • the processor memory includes a screen pad control unit 121, a contact determination unit 122, a pointer display unit 123, a pressing force determination unit 124, an operation control unit 125, and a tactile response control unit 126.
  • the display control unit 111 and the application processing unit 112 are included.
  • the screen pad control unit 121 instructs the display control unit 111 to display on the screen the screen pad 105 that reduces the entire original image displayed on the screen of the display 101 and displays the overlay.
  • the activation of the screen pad 105 is performed by, for example, activating a predetermined icon with a finger or pressing a physical button attached to the portable information device 1 as described above. This is performed by the user transmitting instruction information for instructing the screen pad control unit 121 to display the screen pad 105.
  • the screen pad control unit 121 determines a position where the screen pad 105 is to be displayed on the screen, and instructs the display control unit 111 to display the screen pad 105 at the determined position.
  • the screen pad 105 is moved by moving the finger while keeping the finger in contact with any edge area or a predetermined area of the screen pad 105 as described above. This is done by dragging (dragging).
  • the screen pad control unit 121 inputs such operation information, and determines the display position of the screen pad 105 on the screen and its movement.
  • the screen pad control unit 121 determines a reduction ratio of the entire original image necessary for generating the reference image of the screen pad 105 from the original image data, and displays the display at the determined reduction ratio. To instruct.
  • the reduction rate of the screen pad 105 is determined by, for example, the user moving the finger while touching the marker displayed at the corner of the screen pad 105 or at the midpoint of the linear edge area as described above. It is adjusted by.
  • the screen pad control unit 121 inputs such operation information and determines a reduction ratio.
  • the contact determination unit 122 inputs a finger contact position signal output from the touch panel 100 and position information of the screen pad 105 output from the screen pad control unit 121, and the finger is applied to the displayed screen pad 105. It is determined whether or not contact has been made. Further, this determination result is output to the operation control unit 123. In addition, during the operation in the “touch focus” mode described above, the contact determination unit 122 superimposes the contact position of the finger in the screen pad 105 and the display area of one of the icon mini-images 104 a in the screen pad 105. It is preferable to output the determination result to the operation control unit 123.
  • the pointer display unit 123 receives the determination result output from the contact determination unit 122 and the finger contact position information, and displays the pointer 106 indicating the position corresponding to the finger contact position on the screen of the display 101. Instructs the display control unit 111.
  • the pressing force determination unit 124 receives the pressing force signal from the pressing force detection unit 103 and determines whether or not the pressing force p C by the finger is equal to or greater than a predetermined pressing force threshold value p TH (or p TH0 ). Further, the pressing force determination unit 124 outputs the determination result to the operation control unit 125.
  • the operation control unit 125 inputs a determination result and finger contact position information from the contact determination unit 122. Based on this input information, the motion control unit 125 temporarily touches the initial position indicated by the pointer 106 with the finger so that the user follows the subsequent change in the position indicated by the pointer 106. The same action as that which would occur if the part displaying the original image was traced is activated.
  • the operation control unit 125 instructs the display control unit 111 to display an image corresponding to this operation. Further, when it is determined by the contact determination unit 122 that the finger has touched the screen pad 105 and the contact position has not changed for a predetermined time t TH or longer, the operation control unit 125 performs the above-described “touch focus”. It is preferable to operate the mode.
  • the operation control unit 125 When the pointer 106 points to a position in the display area of any object (for example, any icon 104) during the operation in the “touch focus” mode, the operation control unit 125 performs the above “focus” operation. It is preferable to determine that it has been performed. Further, when the pointer 106 points to a position in the display area of any object and the pressing force p C is equal to or greater than the predetermined threshold value p TH, it is determined that the above-described “click” operation has been performed by the motion control unit 125. It is preferred that The operation control unit 125 activates operations corresponding to these operations.
  • the tactile response control unit 126 inputs operation instruction information from the operation control unit 125. Next, the tactile response control unit 126 controls the tactile response mechanism unit 102 to give a tactile response to the finger touching the screen pad 105 based on the information.
  • the display control unit 111 inputs application processing information from the application processing unit 112 and causes the display 101 to display an image corresponding to execution of the corresponding application. Further, the display control unit 111 inputs the operation instruction information output from the operation control unit 125 and causes the display 101 to display an image corresponding to the instructed operation.
  • the screen pad control unit 121 overlays the screen pad 105 on which the entire original image displayed on the screen of the display 101 is reduced with respect to the original image. It is displayed (step S401).
  • the touch panel 100 detects a finger contact (step S402).
  • the contact determination unit 122 determines whether or not a finger has touched the screen pad 105 (step S403).
  • the pointer display unit 123 displays the pointer 106 indicating the position corresponding to the finger contact position on the screen. It is displayed (step S404). Thereafter, the operation control unit 125 temporarily displays the original image of the screen with the finger so that the user touches the initial position indicated by the pointer 106 and follows the subsequent change in the position indicated by the pointer 106. The same operation as that which would occur if the part being traced was traced is activated (step S405). For example, an operation corresponding to the above-described “touch focus” mode or an operation corresponding to a “focus” operation, a “click” operation, or a “drag click” operation is activated in accordance with the type of finger operation of the user.
  • the portable information device 1 is held with one hand and the touch panel 100 is operated with the finger of the same hand.
  • the user can operate the touch panel 100 while observing the finger 106 in contact with the screen pad 105 and pointing the pointer 106 to a desired position in the screen.
  • the user accurately points to an arbitrary position in the screen with the finger of one hand holding the portable information device 1 when the position is to be directly pointed by the user with the finger. Even if this is difficult, it is possible to specify easily.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

画面上に画像を表示するとともに、その表示された画像に関連付けてユーザが指で操作面に接触することにより、ユーザの入力を可能とするユーザインタフェース装置においてユーザの入力を処理する方法であって、前記画面に原画像を表示する第１のステップと、その表示される原画像と同じものが忠実にまたは簡略化されて縮小された参照画像を、同じ画面内に、前記原画像が透けて見える半透明状態または見えない不透過状態で、前記原画像に対してオーバレイ表示することにより、画面内タッチパッドを意味するスクリーンパッドを構成する第２のステップと、ユーザが前記指で前記スクリーンパッドを操作すると、その操作位置を検出し、その検出された操作位置に基づき、ユーザの入力を行う第３のステップとを含むものが開示される。

Description

タッチ入力が可能な画面内に原画像を縮小表示するタッチパッドを有するユーザインタフェース装置、入力処理方法及びプログラム
　本発明は、画面上に画像を表示するとともに、その表示された画像に関連付けてユーザが指で操作面を操作することにより、ユーザの入力を可能とするユーザインタフェース装置に関連する技術に関する。
　従来から、ユーザが画面を指、スタイラス等で操作することによって入力操作を行うことが可能なユーザインタフェース装置が広く普及している。特に、近年、スマートフォン、タブレット型コンピュータ、電子書籍、ＰＤＡ(Personal Digital Assistant)などによって代表される携帯型情報機器では、指による操作を受け入れるユーザインタフェースとしてタッチパネルが積極的に採用されている。
　タッチパネルの搭載の有無を問わず、携帯型情報機器は、携帯性を高めるべく小型化を必要とする。このため、携帯型情報機器がユーザインタフェースとして複数の物理的な入力キーまたはボタンを採用した場合には、これら入力キー自体のサイズを小さくしなければならず、その結果、携帯型情報機器の操作性の低下が懸念される。これに対し、携帯型情報機器がユーザインタフェースとして、物理的なボタンに代えて仮想的なボタンを有するタッチパネルを採用した場合、仮想的なボタンのサイズを、それに対応するアプリケーションの機能に応じて適切に変更することができ、携帯型情報機器の操作性の向上を図ることができる。
　このタッチパネルへの入力では、タッチパネルに指を接触させて、その指により、タッチパネル上の所定の位置を指し示すポインティング動作が行われる。このポインティング動作については、画面上の目標エリアを確実に指し示すことが、タッチパネルに接続されたコンピュータなどにより、所望の処理または機能を確実に発動させる上で非常に重要となる。
　そのため、例えば、画面上の目標エリアが狭いためにポインティング動作が困難である場合、例えば、画面に表示されている画像のうち、画面の枠に近い領域近傍の位置や、表示される画像に含まれる細かい模様（パターン）の位置を指で指し示すことが必要である場合であっても、そのような目標エリアを指で正確に指し示すことが要求される。
　この要求に対処するため、例えば、特許文献１では、指だけでカーソル指定座標を指定する技術が開示されている。この技術では、指のタッチ位置を移動させることにより、不動支点を間に挟んで上記タッチ位置の反対側に描かれたカーソル図形を移動させ、カーソル指定座標を指定している。
　また、表示手段が設けられた面とは反対側の面にトラックパッドを設けた携帯型情報通信装置も提案されている（特許文献２参照）。この装置では、それの筐体を片手で保持し、それと同じ手の指を当該装置のトラックパッドに接触させて操作を行う。これにより、片手の指で当該装置を操作し、所定の位置を指定することが可能になるとしている。
特開２０１０－２１１３５２号公報 特開平９－１９８３５２号公報
　しかしながら、それら従来技術を採用しても、依然として、携帯型情報機器を保持する片手と同じ手の指で、画面内の任意の位置を容易に指定することは困難である。
　特に、近年、多様且つ大容量の情報を見易く表示するため、ディスプレイの画面は、機器の前面のほぼ全域を占める場合が多い。このような機器を片手で保持し、それと同じ手のうちのある指でその機器を操作しようとする場合、その同じ手の複数の指のうち、機器の保持に寄与しないために自由に動かし易い指は、実際のところ、親指となる。
　しかしながら、親指は、一般に、他の指に比べて短く、そのため、広い画面に表示される画像のうち、幅方向に互いに対向する一対のエッジエリア（右側エッジエリアおよび左側エッジエリア）のうち、機器を保持する片手の親指が位置する側とは反対側のエッジエリアや、同じ画像のうち、そのエッジエリアの近傍には、親指が到達し難い。
　この問題は、特許文献１及び２に開示されたような従来技術を適用しても解決し難い。例えば、特許文献１に開示された技術では、カーナビゲーション装置等の設置型の情報機器が前提となっており、情報機器を片手で保持し、それと同じ手の指で操作する利用形態は考慮されていない。また、それ故に、不動支点の図形を表示させ、この不動支点の位置に基づいて反対側のタッチ位置からカーソル図形を移動させる、といった複雑な動作が想定されており、そのような動作は親指では実現し難い。
　一方、特許文献２に開示された技術では、確かに、装置を片手で保持し、それと同じ手の指でその装置を操作することが意図されている。しかしながら、装置の裏面に設けられたトラックパッドに指を接触させる以上、この指は、装置の保持に寄与している中指、薬指等のように、親指以外の指であり、ユーザが親指ほどに自由に動かし難い指であることは否めない。
　そこで、本発明は、ユーザが機器を片手で保持し、それと同じ手の指で前記機器を操作する場合に、ユーザが、その機器の画面内の任意の位置を、その位置の如何を問わず、容易に指定することができるユーザインタフェース装置、入力処理方法及びプログラムを提供することを目的とする。
　本発明によって下記の各態様が得られる。各態様は、項に区分し、各項には番号を付し、必要に応じて他の項の番号を引用する形式で記載するが、このように、各項を他の項の番号を引用する形式で記載することにより、各項に記載の技術的特徴をその性質に応じて適宜独立させることが可能となる。
（１）　画面に画像を表示するディスプレイ機能と、ユーザが指で操作面に接触する接触位置を時間経過につれて逐次出力するタッチパネル機能とを備えたユーザインタフェース装置であって、
　前記画面に表示される原画像と同じものが縮小された参照画像を、同じ画面内に、スクリーンパッドとして表示するスクリーンパッド制御部と、
　前記指が前記スクリーンパッドに接触したか否かを判定する接触判定部と、
　その接触判定部が前記指が前記スクリーンパッドに接触したと判定した場合に、前記画面のうち、前記スクリーンパッド上における前記指の接触位置に対応した位置を指し示すポインタを、前記原画像上に表示するポインタ表示部と、
　前記ポインタの指し示す位置に応じた動作を発動させる動作制御部と
　を含むユーザインタフェース装置。
（２）　前記動作制御部は、仮に、ユーザが、前記ポインタの指し示す初期位置に前記指を接触させ、そのポインタの指し示す位置のその後の変化に追従するように前記指で前記画面のうち前記原画像を表示している部分をなぞったならば当該ユーザインタフェース装置に起こるであろう動作と同じものを発動させる（１）項に記載のユーザインタフェース装置。
（３）　前記スクリーンパッドは、前記画面のうち、ユーザが当該ユーザインタフェース装置を片手で保持し、それと同じ手で当該ユーザインタフェース装置を操作しようとする場合にユーザが前記同じ手の指で前記スクリーンパッド上のいずれの位置にも接触することができる位置に表示される（１）又は（２）項に記載のユーザインタフェース装置。
（４）　前記接触判定部は、前記指が前記スクリーンパッドに接触した後、その接触位置が実質的に同じ位置に保持される保持時間が所定時間以上であるか否かを判定し、
前記動作制御部は、前記接触判定部が前記保持時間が前記所定時間以上であると判定した場合に、前記画面上において前記画像を移動させることなく固定した状態で、前記スクリーンパッド上における前記指の接触位置をモニタする「タッチフォーカス」モードを動作させる（１）乃至（３）項のいずれかに記載のユーザインタフェース装置。
（５）　前記動作制御部は、前記「タッチフォーカス」モードの動作中、前記ポインタが、前記原画像に含まれる操作対象であるオブジェクトの表示領域を指し示す場合に、ユーザが前記該オブジェクトを選択するための「フォーカス」操作が行われたと判定して、そのオブジェクトに対応する動作を発動させる（４）項に記載のユーザインタフェース装置。
（６）　前記指が前記タッチパネルを押圧する押圧力を検出する押圧力検出部と、
　その検出された押圧力が所定閾値以上であるか否かを判定する押圧力判定部と
　を更に含み、
　前記動作制御部は、前記「タッチフォーカス」モードの動作中、前記ポインタが前記原画像に含まれる操作対象であるオブジェクトの表示領域を指し示し、且つ、前記押圧力が前記所定閾値以上である場合に、前記オブジェクトに予め割り当てられた機能を発動させる「クリック」操作がユーザによって行われたと判定して、前記オブジェクトに対応する動作を発動させる（４）又は（５）項に記載のユーザインタフェース装置。
（７）　前記タッチパネルに接触した前記指に対して触覚応答を与える触覚応答機構部と、
　前記「クリック」操作が行われた場合、前記指に前記タッチパネルを介して前記触覚応答を与えるべく前記触覚応答機構部を制御する触覚応答制御部と
　を更に含む（６）項に記載のユーザインタフェース装置。
（８）　前記指が前記タッチパネルを押圧する押圧力を検出する押圧力検出部と、
　その検出された押圧力が所定閾値以上であるか否かを判定する押圧力判定部と
　を更に含み、
　前記動作制御部は、前記接触判定部が、前記指が前記スクリーンパッドに接触してから所定時間が経過しないうちに前記指が前記スクリーンパッドに接触したまま移動し、その後、前記指が停止したと判定された場合に、前記指の移動に応じて前記画像を移動させるための第１の操作と、そのドラッグ操作の終了後、前記押圧力の大きさに応じた速度で前記画像を更に移動させるための第２の操作とが連続した「ドラッグクリック」操作が行われたと判定して、それに対応する動作を発動させる（１）乃至（３）項のいずれかに記載のユーザインタフェース装置。
（９）　前記動作制御部は、ユーザが前記指で、前記画面のうち、前記スクリーンパッドが表示されている領域の外側の領域に接触した場合に、前記画面に前記スクリーンパッドが表示されていない場合に同じ位置に前記指が接触していたならば当該ユーザインタフェース装置に起こるであろう動作と同じものを発動させる（１）乃至（８）項のいずれかに記載のユーザインタフェース装置。
(１０)　画面に画像を表示するディスプレイ機能と、ユーザが指で操作面に接触する接触位置を時間経過につれて逐次出力するタッチパネル機能とを備えたユーザインタフェース装置においてユーザの入力を処理する方法であって、
　前記画面に表示される原画像と同じものが縮小された参照画像を、同じ画面内に、スクリーンパッドとして表示する第１のステップと、
　前記指が前記スクリーンパッドに接触したか否かを判定する第２のステップと、
　前記指が前記スクリーンパッドに接触したと判定された場合に、前記画面のうち、前記スクリーンパッド上における前記指の接触位置に対応した位置を指し示すポインタを、前記原画像上に表示する第３のステップと、
　前記ポインタの指し示す位置に応じた動作を発動させる第４のステップと
　を含む方法。
（１１）　画面上に画像を表示するとともに、その表示された画像に関連付けてユーザが指で操作面に接触することにより、ユーザの入力を可能とするユーザインタフェース装置においてユーザの入力を処理する方法であって、
　前記画面に原画像を表示する第１のステップと、
　その表示される原画像と同じものが忠実にまたは簡略化されて縮小された参照画像を、同じ画面内に、前記原画像が透けて見える半透明状態または見えない不透過状態で、前記原画像に対してオーバレイ表示することにより、画面内タッチパッドを意味するスクリーンパッドを構成する第２のステップと、
　ユーザが前記指で前記スクリーンパッドを操作すると、その操作位置を検出し、その検出された操作位置に基づき、ユーザの入力を行う第３のステップと
　を含む方法。
(１２)　(１０)又は（１１）項に記載の方法を実施するためにコンピュータによって実行されるプログラム。
　本発明のユーザインタフェース装置、入力処理方法及びプログラムによれば、ユーザが機器を片手で保持し、それと同じ手の指で前記機器を操作する場合に、ユーザが、その機器の画面内の任意の位置を、その位置の如何を問わず、容易に指定することができる。
図１（Ａ）は、本発明の例示的な一実施形態に従う携帯型情報機器であってスクリーンパッドが表示されたものの前面図であり、また、図１（Ｂ）は、その携帯型情報機器に対するユーザの指による操作と、指の接触位置とポインタの指し示す位置との間における幾何学的な対応関係を示す概略図である。 図２（Ａ）は、図１に示す携帯型情報機器を、「フォーカス」操作中における一連の指の動きの一例と共に示す前面図であり、また、図２（Ｂ）は、図１に示す携帯型情報機器を、「クリック」操作中における一連の指の動きの一例と共に示す前面図である。 図３（Ａ）乃至図３（Ｃ）は、図１に示す携帯型情報機器を、「ドラッグクリック」操作中における一連の指の動きの一例と共に示す前面図である。 図４は、図１に示す携帯型情報機器の構成を概略的に示す斜視図、及び図１に示すスクリーンパッドを用いた入力処理方法の一実施形態を概略的に示すフローチャートである。 図５は、図１に示す携帯型情報機器の一実施形態を示す機能ブロック図である。
　以下、図面を参照することにより、本発明の例示的ないくつかの実施形態を詳細に説明する。
　本発明が対象とするユーザインタフェース装置は、画像に関連付けてユーザが指で位置を入力することが可能な画面に、原画像と共に、その原画像と同じものが縮小された参照画像を表示することにより、原画像を表示する画面内に、参照画面を表示するスクリーンパッドを構成する点に特徴を有する。
　ここに、「原画像を表示するとともにタッチ入力が可能な画面」を「第１のタッチスクリーン」と称すれば、同じ画面のうち、前記参照画面を表示する部分（すなわち、前記スクリーンパッドを構成する部分）であって、第１のタッチスクリーンの縮小版に該当するものは、「第２のタッチスクリーン」と称することも可能であるが、本明細書においては、その部分を、原画像を表示するとともにタッチ入力が可能な画面内に構成されたタッチパッドという意味において、上述のように、「スクリーンパッド」と称する。
　本発明の一実施形態によれば、ユーザは、そのスクリーンパッドに表示される参照画像を観察しながら、指でそのスクリーンパッドに接触することによって、ユーザが同じ指をディスプレイに表示された原画像に直接接触するのと同等の操作が可能となる。参照画像は、主としてユーザの入力操作を支援するためにユーザによって参照される画像であり、通常、原画像と同じ画像を、原画像より小さい倍率で表示する。
　ここで、「原画像」とは、ディスプレイの画面に表示される対象である全体情報である全体画像のうち、指による操作対象を含む部分である。当然に、その操作対象となる部分は、画面に表示された画像であり得る。例えば、表示された画像のうち、複数のアイコンが配列された領域を表す部分画像は、この操作対象を含む部分に該当する。また、表示される画像のうち、時刻表示領域や、バッテリメータ、電波強度インジケータ等の機能表示領域は、「原画像」に含まれないというように「原画像」という用語を定義することが可能である。
　なお、本発明が対象とするユーザインタフェース装置では、そのユーザインタフェース装置を片手で保持し、それと同じ手の指でスクリーンパッドに接触することによって情報が入力される。このため、この種のユーザインタフェース装置の多くは、片手で保持して操作することが可能なスマートフォンやタブレット型コンピュータのような携帯型情報機器である。従って、以下、本発明の一実施形態を、本発明を携帯型情報機器に搭載されたユーザインタフェース装置に適用する場合を例にとり、説明する。
　図１は、本実施形態に従う携帯型情報機器１であってスクリーンパッド１０５が表示されたものの前面図、及びその携帯型情報機器１に対するユーザの指による操作の概略図である。
　具体的には、図１（Ａ）は、携帯型情報機器１を、ディスプレイ１０１の画面（Ｘ軸が横軸、Ｙ軸が縦軸）内にスクリーンパッド１０５（ｘ軸が横軸、ｙ軸が縦軸）がオーバレイ表示された状態で示している。この図によれば、携帯型情報機器１は、画像を表示するディスプレイ１０１と、ディスプレイ１０１の画面上に配置されたタッチパネル１００とを備えている。
　なお、本実施形態においては、ディスプレイ１０１とタッチパネル１００とが、互いに独立した複数の層としてラミネートされているが、例えば、ディスプレイ１０１が位置入力機能をも兼ね備えるなどして、それらディスプレイ１０１とタッチパネル１００５とを単一部品として構成することが可能である。
　また、ディスプレイ１０１に表示される原画像に、複数のアイコン１０４が含まれている。各アイコン１０４は、それに対応するアプリケーションを起動させるためにユーザによって操作される対象（視覚的オブジェクトの一例）である。ユーザは、指を直接、いずれかのアイコン１０４に接触させることによって、目標のアイコン１０４を選択し、それに対応するアプリケーションを起動させることができる。
　スクリーンパッド１０５は、タッチパネル１００と同様に、表示機能と位置入力機能とを併せ持っている。それらのうち、表示機能は、ディスプレイ１０１のうち、スクリーンパッド１０５がオーバレイされる部分によって実現される一方、位置入力機能は、タッチパネル１００のうち、スクリーンパッド１０５がオーバレイされる部分によって実現される。いずれにしても、スクリーンパッド１０５は、ディスプレイ１０１とタッチパネル１００との双方によって構成されるのである。
＜ディスプレイ１０１に表示される原画像とスクリーンパッド１０５に表示される参照画像との関係＞
　スクリーンパッド１０５は、ディスプレイ１０１の画面の一部に表示されており、画面に表示される原画像が縮小されて表示された画像領域である。スクリーンパッド１０５に表示される画像（参照画像）は、画面に表示される原画像に対し、相似比が１未満の相似形であってもよい。すなわち、参照画像を生成するために原画像が縮小される縮小率は、携帯型情報機器１の横軸（ｘ軸およびＸ軸）方向と縦軸（ｙ軸およびＹ軸）方向との間で、互いに一致してもよいのであるが、それら２つの方向の間で縮小率が互いに異なるようにしてもよい。
　図１（Ａ）に示すように、原画像とスクリーンパッド１０５（参照画像）とは、同じ画面に、スクリーンパッド１０５が原画像の上方にオーバレイされるように表示される。この際、原画像のうち、スクリーンパッド１０５とオーバレイされる部分は、そのスクリーンパッド１０５を透過して透けて見えるように表示したり、スクリーンパッド１０５によって隠れて見えないように表示することが可能である。
　さらに、スクリーンパッド１０５の外形形状として、矩形、菱形、その他の多角形、若しくはこれらの形状のうちのいずれかであって角が丸められたもの、又は楕円形、若しくは円形等、種々の形状が採用可能である。
　いずれにしても、スクリーンパッド１０５には、複数のアイコン１０４のそれぞれに対応した複数のアイコン用ミニイメージ（例えば、アイコン１０４の図形をそのまま縮小した画像であるが、アイコン１０４の図形をデフォルメしたり、単純化してもよい）１０４ａが表示される。
　ユーザは、携帯型情報機器１を片手（図１（Ａ）に示す例では、右手）で保持し、それと同じ手の親指をスクリーンパッド１０５（タッチパネル１００のうち、スクリーンパッド１０５が表示されている領域）に接触させる。親指は、携帯型情報機器１の保持に寄与しないため、他の指よりユーザが自由に動かし易く、携帯型情報機器１の操作に適している。この親指が、例えば、スクリーンパッド１０５内に表示されたいずれかのアイコン用ミニイメージ１０４ａに接触すると、その接触されたアイコン用ミニイメージ１０４ａに対応したアイコン１０４を指し示すポインタ１０６が、画面（タッチパッド１００のうち、スクリーンパッド１０５が表示されている領域の外側）内に表示される。
　親指がいずれかのアイコン用ミニイメージ１０４ａに接触すると、仮に同じ親指がインタ１０６の指し示すアイコン１０４に接触していたならば起こるであろう動作と同じものが発動される。具体的には、例えば、いずれかのアイコン用ミニイメージ１０４ａに指が接触すると、そのアイコン用ミニイメージ１０４ａに対応するアイコン１０４を選択するために行われる後に詳述する「フォーカス」操作と等価な操作が行われたと判定されて、選択動作が発動される。この選択動作としては、例えば、その対応するアイコン１０４が浮き上がって見えたり、他のアイコン１０４より光って見えるような強調表示があり得る。
＜画面のうち、スクリーンパッド１０５が表示される位置の決定＞
　本実施形態においては、画面のうち、スクリーンパッド１０５が表示される位置がユーザによって変更可能であるが、スクリーンパッド１０５は、画面のうち、ユーザが携帯型情報機器１を保持する片手と同じ手の親指でスクリーンパッド１０５上のいずれの位置にも接触することができるような位置に表示されることが好ましい。これにより、例えば、親指が目標のアイコン１０４に届かず、直接接触し得ない場合でも、ユーザは、その目標のアイコン１０４の代わりに、それに対応するアイコン用ミニイメージ１０４ａに親指を接触させ、それにより、目標のアイコン１０４に直接接触したのと同等の動作を発動させることができるのである。
　なお、前述のように、スクリーンパッド１０５に表示される参照画像（複数のアイコン用ミニイメージ１０４ａを含む）は、半透明であることが好ましい。これにより、ディスプレイ１０１に表示された原画像のうち、スクリーンパッド１０５と重畳した部分が、スクリーンパッド１０５を透過して視認可能となり、その結果、クリーンパッド１０５が存在しない場合と同様に、原画像が全体的にユーザによって視認されることが可能となる。
　また、スクリーンパッド１０５の表示又は非表示がユーザによって選択可能であることが好ましい。スクリーンパッド１０５を非表示にすると、画面に表示された原画像の全体が、遮るもの無く視認可能となる。この場合、スクリーンパッド１０５の機能は停止しており、ユーザは指で直接、原画像に接触して操作を行う。
＜ユーザによるスクリーンパッド１０５の起動方法＞
　スクリーンパッド１０５の表示は、例えば、ユーザが、指によって所定のアイコンを発動させることによるか、又は携帯型情報機器１に装着された物理的なボタンを押下することによって行われる。一方、スクリーンパッド１０５の非表示は、例えば、ユーザが、指によって、スクリーンパッド１０５内に表示された所定のアイコン用ミニイメージ１０４ａを発動させることによって行われる。
＜種々のドラッグ操作＞
　本実施形態においては、画像のドラッグ操作を種々のモードで行うことが可能である。具体的には、原画像の全体を画面の枠内でドラッグすることが可能であり、また、スクリーンパッド１０５の全体を、画面の枠内で、原画像に対して移動させるために、ドラッグすることが可能である。また、スクリーンパッド１０５の位置をそのままにして、そのスクリーンパッド１０５内の表示画像（参照画像）の全体を、スクリーンパッド１０５の枠に対して移動させるために、ドラッグすることが可能である。この場合、その参照画像の移動に合わせて原画像も同様に移動する。
＜スクリーンパッド１０５に対するドラッグ操作＞
　上述のように、本実施形態においては、画面のうち、スクリーンパッド１０５が表示される位置がユーザによって変更可能である。具体的には、スクリーンパッド１０５は、それに対してドラッグ操作が行われる（スクリーンパッド１０５内のアイコン用ミニイメージ１０４ａに対するドラッグ操作とは区別される）と、画面内で（原画像上で）移動することができ、スクリーンパッド１０５を画面内の任意の位置に移動可能である。
　この移動のために、例えば、ユーザは、スクリーンパッド１０５の参照画像のうちのいずれかのエッジエリア、又はスクリーンパッド１０５の参照画像内部の所定の領域（例えば、いずれのアイコン用ミニイメージ１０４ａからも外れた領域）に指を接触させたまま、指を動かすことにより、スクリーンパッド１０５をドラッグする（引きずる）。
＜スクリーンパッド１０５の参照画像の生成＞
　スクリーンパッド１０５の参照画像を生成するために、画面に表示される原画像を縮小する縮小率をユーザが変更可能であることが好ましい。さらに、ユーザが、携帯型情報機器１の横軸（ｘ軸およびＸ軸）方向での縮小率α及び携帯型情報機器１の縦軸（ｙ軸およびＹ軸）方向での縮小率βをそれぞれ互いに独立に変更可能であることも好ましい。
　この縮小率の調整は、例えば、スクリーンパッド１０５に表示されるマーカ（例えば、スクリーンパッド１０５の４隅のうちの少なくとも一つに、又はスクリーンパッド１０５の、相対向する一対のエッジのうちの少なくとも一つのうちの所定の位置（例えば、該当するエッジの、長さ方向における中点）に表示されるマーカ）に指を接触させたままその指を動かすことにより行われる。
　さらに、ユーザの指が、ディスプレイ１０１の画面のうち、スクリーンパッド１０５の表示領域の外側の領域に接触した場合、この指の接触位置に、指が接触するならば本来起こるべき動作が発動する。例えば、ユーザの指が、スクリーンパッド１０５の範囲外に位置するいずれかのアイコン１０４に接触した場合、後に詳述する「フォーカス」操作が行われたとして、そのいずれかのアイコン１０４の選択動作が発動される。
＜スクリーンパッド１０５に対する指の接触位置の変化と原画像上におけるポインタ１０６の位置の変化との関係＞
　図１（Ｂ）は、親指の接触位置とポインタ１０６の指し示す位置との間における幾何学的な対応関係を示している。図１(Ｂ)に示す例においては、親指は接触しつつ移動し、その接触位置は、スクリーンパッド１０５内において、点Ｓ１から点Ｓ２まで変化する。これに伴い、ポインタ１０６も移動し、ポインタ１０６の指し示す位置も、具体的には、ディスプレイ１０１の画面内において、点Ｐ１から点Ｐ２まで変化する。
　図１（Ｂ）に示す例においては、スクリーンパッド１０５に、ｘｙ座標系の第１象限（左下隅に原点があり、縦軸も横軸も正の値を取る）が割り当てられる。また、同様に、ディスプレイ１０１の画面に、ＸＹ座標系の第１象限が、ｘｙ座標系と同縮尺（スケール、現実世界における寸法と、それら座標系上における寸法との比率）の目盛を有する状態で割り当てられる。
　その結果、上述のいくつかの点は、次のような２次元座標値で表される。
　　（ａ）　点Ｓ１：（ｘ１，ｙ１）、　点Ｓ２：（ｘ２，ｙ２）
　　（ｂ）　点Ｐ１：（Ｘ１，Ｙ１）、　点Ｐ２：（Ｘ２，Ｙ２）
　この場合、それら座標値の間には、次の関係が存在する。
　　（ｃ）　Ｘ１＝α－１・ｘ１、　Ｙ１＝β－１・ｙ１
　　（ｄ）　Ｘ２＝α－１・ｘ２、　Ｙ２＝β－１・ｙ２
　ここで、「α」は、スクリーンパッド１０５の参照画像を生成するために、画面に表示される原画像を横軸（ｘ軸およびＸ軸）方向に縮小する際の縮小率（１より大きい数値）である。また、「β」は、スクリーンパッド１０５の参照画像を生成するために、画面に表示される原画像を、縦軸（ｙ軸およびＹ軸）方向に縮小する際の縮小率（１より大きい数値）である。縮小率αの逆数であるα－１は、原画像を復元するために必要な参照画像の拡大率であり、また、縮小率βの逆数であるβ－１は、原画像を復元するために必要な参照画像の拡大率である。例えば、スクリーンパッド１０５が相似比１／３の相似形である場合、α－１＝β－１＝３となる。
　同じく図１（Ｂ）に示す例においては、親指は、点Ｓ１に接触した直後に、接触したまま、点Ｓ２まで移動している。これは、スクリーンパッド１０５内でのいわゆるドラッグ操作である。このドラッグ操作が行われると、スクリーンパッド１０５内において、複数のアイコン用ミニイメージ１０４ａを含む画像も、点Ｓ１から点Ｓ２への向きに、点Ｓ１から点Ｓ２までの距離だけ移動する。
　このような親指の接触位置の移動につれて、ポインタ１０６（正確には、ポインタ１０６の指し示す位置）は、点Ｐ１から点Ｐ２まで移動する。その結果、複数のアイコン１０４を含む原画像全体も、点Ｐ１から点Ｐ２への向きに、点Ｐ１から点Ｐ２までの距離だけ移動する。これは、指を点Ｐ１から点Ｐ２まで接触させながら移動させるドラッグ操作による動作に相当する。このように、スクリーンパッド１０５に対してドラッグ操作を行うと、同時に、原画像に対するドラッグ操作も行われたことになる。
　具体的には、スクリーンパッド１０５を用いることによって、仮に、ユーザが、ポインタ１０６の指し示す初期位置に指を接触させ、そのポインタ１０６の指し示す位置のその後の変化に追従するように指で画面のうち原画像を表示している部分をなぞったならば（起こるであろう動作と同じものを発動させることが可能となる。
＜スクリーンパッド１０５に対してユーザが行い得る操作のバリエーション＞
　以下、スクリーンパッド１０５を介して行うことができる操作の他のバリエーションを説明する。他のバリエーションとして、例えば、次のものがある。
　（１）　「フォーカス」操作：複数のアイコン等のオブジェクトのうちのいずれかを選択するためのユーザ操作
　（２）　「クリック」操作：選択されたオブジェクトに予め割り当てられた機能を発動させるためのユーザ操作
　（３）　「ドラッグクリック」操作：ドラッグ操作の終了後、そのドラッグ操作を行った指と同じ指をタッチパネル１００から離すことなくタッチパネル１００に押し込んで画像全体を更にスクロールさせるためのユーザ操作
　ここで、（１）「フォーカス」操作及び（２）「クリック」操作は、後に詳述する「タッチフォーカス」モードの動作中に実施可能である。
　なお、当然に、上記以外の従来の操作、例えばフリック操作、ピンチイン操作、ピンチアウト操作等も、スクリーンパッド１０５を介して行うことができるように携帯型情報機器１を設計することができる。
＜「タッチフォーカス」モードの説明＞
　図２は、「タッチフォーカス」モードの動作中に実施される上述の「フォーカス」操作及び「クリック」操作を説明するための、携帯型情報機器１の前面図である。
　具体的には、図２（Ａ）は、携帯型情報機器１を、「フォーカス」操作中における一連の指の動きの一例と共に示している。最初に、この図を用いて「フォーカス」操作が行われる「タッチフォーカス」モードを説明する。
　図２（Ａ）に示す例においては、ユーザの指が、スクリーンパッド１０５（タッチパネル１００のうち、スクリーンパッド１０５を構成する部分）に接触し、その後、ユーザは、所定時間以上、指の接触位置を維持し、続いて、ユーザは、接触を保ちながらスクリーンパッド１０５上をなぞるように指を移動（スライド）させる。指の接触位置が所定時間以上、維持されると、「タッチフォーカス」モードに移行し、その結果、複数のアイコン１０４を含む原画像も、それらアイコン１０４に対応する複数のアイコン用ミニイメージ１０４ａを含むスクリーンパッド１０５内の参照画像も、その後の指の移動にもかかわらず、移動せず、固定された状態となっている。
　従って、ユーザは、指を接触させたまま指を移動させ、スクリーンパッド１０５内において、同じ位置に表示し続けられる複数のアイコン用ミニイメージ１０４ａに順次触れていくことができる。その指移動に伴い、ポインタ１０６も画面内を移動し、同じ位置に表示し続けられる複数のアイコン１０４を順次指し示していく。また、後述する接触判定部１２２（図５）が、指の移動中も、指の接触位置といずれかのアイコン用ミニイメージ１０４ａの表示領域位置範囲とが重畳したか否かを判定している。このように、画面に表示された画像（原画像および参照画像）の全体を移動させることなく固定した状態で、接触しつつ移動する指の接触位置をモニタするモードが、上述の「タッチフォーカス」モードである。
　この「タッチフォーカス」モードは、例えば、ユーザが、指でスクリーンパッド１０５をなぞりつつ、表示された画像内に所望のアイコン１０４が存在するか否かを視覚的に確かめながら、その所望のアイコン１０４に対応するアイコン用ミニイメージ１０４ａの表示領域まで指を確実に進めたい場合に適している。
　ここで、「タッチフォーカス」モードが動作する条件を説明する。最初に、指がスクリーンパッド１０５に接触する。この時刻をｔ０とする（ｔ＝ｔ０）。次いで、指は、接触位置を変化させずに停止した状態を経て、同じく接触したまま移動を開始する。この移動を開始する時刻をｔＳ２とする（ｔ＝ｔＳ２）。この場合、指の接触位置は、時間（ｔＳ２－ｔ０）だけ継続して変化しなかったことになる。この保持時間（ｔＳ２－ｔ０）が所定時間ｔＴＨ以上の場合に（（ｔＳ２－ｔ０）≧ｔＴＨ）、後述する動作制御部１２５（図５）が、「タッチフォーカス」モードを動作させる。なお、所定時間ｔＴＨは、例えば２００ｍｓｅｃに設定可能である。
　同じく図２（Ａ）に示す例においては、「タッチフォーカス」モードの動作中、ユーザは、スクリーンパッド１０５をなぞりながら、指を移動させる。その後、ユーザは、所望のアイコン１０４を探し出すと、それに対応するアイコン用ミニイメージ１０４ａの表示領域内に指を進める。このように、「タッチフォーカス」モードの動作中、指の接触位置を所望のアイコン用ミニイメージ１０４ａの表示領域に重畳させる操作（ポインタ１０６の指し示す位置をアイコン１０４の表示領域に重畳させる操作）を、以後、「フォーカス」操作と称する。
　「フォーカス」操作は、ユーザが所望のアイコン１０４を、本実施形態においては、直接にではなく、スクリーンパッド１０５を介して間接的に選択するために行われる操作であり、その後の、その選択されたアイコン１０４の機能を発動させる操作を確実に行うための準備動作としての役割を果たす。
　なお、指の接触位置がいずれかのアイコン用ミニイメージ１０４ａの表示領域に重畳した場合には、後述する触覚応答機構部１０２（図４）が、指に、仮想的なボタンに代えて物理的な押下ボタンを実際に押下したかのような感覚を付与する振動を与えることができる。これにより、ユーザは、「フォーカス」操作が受け入れられたことを触覚的に確認でき、安定した確実な操作感を得ることができる。
　ここで、物理的な押下ボタンを実際に押下したかのような感覚を付与する振動の例として、以下のものが挙げられる。最初に、各アイコン１０４があたかも高さ（画面に垂直な方向の厚み）を有するかのように、各アイコン１０４の表示領域内の各点に高さ情報を付与する。その後、指がアイコン１０４の表示領域に差し掛かりその領域内に入って以降、この高さ情報から算出された勾配の大きさに応じた強度の振動を指に与える。これにより、指は、突出した物理的な押下ボタンをなぞったときに得られるのと同じような感触を受ける。
　図２（Ｂ）は、携帯型情報機器１を、「クリック」操作中における指の動きの一例と共に示している。この図に示す例においては、「タッチフォーカス」モードの動作中、指が、所望のアイコン用ミニイメージ１０４ａの位置まで進み、その結果、指の接触位置が所望のアイコン用ミニイメージ１０４ａの表示領域と重畳する。これに伴い、ポインタ１０６の指し示す位置も、所望のアイコン１０４の表示領域に重畳する。この状態から、ユーザが指をスクリーンパッド１０５に押し込むと、所望のアイコン１０４に予め割り当てられた機能が発動する。このように、所望のアイコン１０４の機能を発動させるために指で所望のアイコン用ミニイメージ１０４ａ（タッチパネル１００）を押圧する操作を、以後、「クリック」操作と称する。
　ここで、「クリック」操作と判定される条件を説明する。「タッチフォーカス」モードの動作中、まず、指の接触位置が、所望のアイコン用ミニイメージ１０４ａの表示領域と重畳する。すなわち、「フォーカス」操作が行われる。次いで、この状態から、ユーザが指を強く押し込み、指による押圧力ｐＣが所定の押圧力閾値ｐＴＨ以上となる場合（ｐＣ≧ｐＴＨ）、後述する動作制御部１２５（図５）で、「クリック」操作が行われたと判定され、ユーザによって選択された所望のアイコン１０４の機能が発動する。このように、押圧力ｐＣが所定閾値ｐＴＨ以上であることが、「クリック」操作と判定される条件となる。なお、押圧力閾値ｐＴＨは、例えば、０.５Ｎ（ニュートン）乃至２.０Ｎの範囲内の値に設定可能である。
　この際、後述する触覚応答機構部１０２（図４）が、指に、物理的な押下ボタンを実際に押下したかのような感覚を付与する振動を与えることもできる。すなわち、ユーザは、「フォーカス」操作を行った際に、振動を受けて物理的な押下ボタンの存在を感じ、この感覚に基づき確信をもって「クリック」操作を行う。その際、さらに別種の振動を受けることにより、実際にはこの仮想的な押下ボタンとして構成される所望のアイコン用ミニイメージ１０４ａを押したときに、あたかも物理的な押下ボタンを押下したかのような感覚を得る。その結果、ユーザは、スクリーンパッド１０５上の操作であるにもかかわらず、物理的な押下ボタンを実際に操作した、との安定した確実な操作感を擬似的に得ることができる。
　以上、図２を用いて説明したことから明らかなように、本実施形態によれば、スクリーンパッド１０５を用いることによって、携帯型情報機器１を保持する片手と同じ手の指で、画面に表示された原画像内の任意の位置を容易に指定することができる。
　さらに、それ故に、携帯型情報機器１を保持する片手と同じ手の指で、いずれかのオブジェクト（例えば、いずれかのアイコン１０４）を選択する「フォーカス」操作、及び、その選択されたオブジェクトに予め割り当てられた機能を発動させる「クリック」操作を容易に行うことができる。具体的には、操作目標であるオブジェクトであって画面に表示されているものが、前記指の届かない位置に表示されていてもても、そのオブジェクトに代えて、そのオブジェクトを代理する別のオブジェクトであって、前記指が届き易い位置に存在するスクリーンパッド１０５内に表示されているものに指を接触させることによって、上述の「フォーカス」操作および「クリック」操作が可能となる。
　また、「タッチフォーカス」モードは、指でなぞるという非常に容易な動作を可能とする。その結果、この「タッチフォーカス」モードの動作中、画面より的狭い表示領域を有するスクリーンパッド１０５上で指操作が行われても、ユーザを正しい入力操作を容易に行い得、よって、携帯型情報機器１によって所望の動作が確実に発動される。
　すなわち、画面に対してではなく、スクリーンパッド１０５に対して指操作を行う場合には、画面上の任意の位置を指し示し易いという利点がある反面、スクリーンパッド１０５が画面より狭いために操作性が低下するという欠点がありそうであるが、その欠点は、上述の「タッチフォーカス」モードの採用により、完全であるか部分的であるかを問わず、解消され得る。
＜「ドラッグクリック」操作の説明＞
　図３は、携帯型情報機器１を、「ドラッグクリック」操作中における一連の指の動きの一例と共に示す前面図である。
　具体的には、図３（Ａ）乃至図３（Ｃ）は、「ドラッグクリック」操作中における一連の指の動きを時系列的に示している。最初に、図３（Ａ）に示す例においては、ディスプレイ１０１の画面に、ユーザがある条件を指定し、その条件のもとである検索エンジンを用いて検索を行った結果得られた複数の検索結果を表す検索結果エントリ１０７を含む画像が表示されている。本実施形態では、５０件の検索結果エントリ１０７のうち、第１件目から第５件目までの検索結果エントリ１０７のみが画面に表示されている。また、第１件目から第５件目までの検索結果エントリ１０７の表示に対応し、スクリーンパッド１０５には、それら検索結果エントリ１０７と同じものが縮小されて、第１件目から第５件目までの検索結果エントリ用ミニイメージ１０７ａとして表示されている。
　ユーザは、指を、スクリーンパッド１０５に接触させて直ちに、接触を保ったまま上側に移動（スライド）させる。すなわち、いわゆるドラッグ操作を行う。これにより、図３（Ｂ）に示したように、スクリーンパッド１０５内の、複数の検索結果エントリ用ミニイメージ１０７ａを表す参照画像も、この指の移動に合わせて上側にスクロールされる。その結果、例えば、すべての検索結果エントリ用ミニイメージ１０７ａのうち、第４件目から第８件目までの検索結果エントリ用ミニイメージ１０７ａが表示される。また、これに対応して、複数の検索結果エントリ１０７を表す原画像も、上側にスクロールされる。その結果、画面には、例えば、すべての検索結果エントリ１０７のうち、第４件目から第８件目までの検索結果エントリ１０７が表示される。
　このドラッグ操作の直後、ユーザは、ドラッグ操作が終了したときの指の接触位置で、指をスクリーンパッド１０５（タッチパネル１００のうち、スクリーンパッド１０５を構成する部分）に押し込む。これらドラッグ操作とその後の指による押し込みという一連の操作が、「ドラッグクリック」操作である。この操作によって、図３（Ｃ）に示したように、スクリーンパッド１０５内の、検索結果エントリ用ミニイメージ１０７ａを表す画像も、検索結果エントリ１０７を表す原画像も、ドラッグ操作によるスクロールに引き続き、指の押し込みに対応した速度で、更にスクロールされる。
　ここで、ユーザは、指の押し込みの強さを加減しながらスクロールの速度を調整することができる。その結果、例えば、すべての検索結果エントリ１０７のうち、画面に表示されていない、画面から遠い位置に存在する第４２件目から第４６件目までの検索結果エントリ１０７が、画面に向かって移動して、短時間でその画面に表示される。その後、ユーザは、例えば、第４５件目の検索結果エントリ１０７を、ユーザにとって最適の検索結果（複数の検索結果エントリ１０７のうち所望の部分）として見つけ出して選択し、それを起動させることができる。
　なお、「ドラッグクリック」操作を行っても、「タッチフォーカス」モードは動作しない。従って、ドラッグ操作後の押圧動作が、図２（Ｂ）を用いて説明した「クリック」操作と判定されることはない。また、ドラッグ操作後のスクロールの向きは、ドラッグ操作に伴って行われたスクロールの向きに一致させることが好ましい。これにより、ユーザは、ドラッグ操作によって意図したスクロールの向きと同じ向きのスクロールを、更に継続して行うことができる。
　ドラッグ操作後の指の押し込みは、タッチパネル１００に対して押圧力ｐＣを及ぼす。この押圧力ｐＣの大きさに応じて、後述する動作制御部１２５（図５）で、ドラッグ操作後のスクロールの速度が決定される。動作制御部１２５は、例えば、押圧力ｐＣが押圧力閾値ｐＴＨ０以上である場合に、（ｐＣ－ｐＴＨ０）の値に比例してスクロール速度が増加するように、スクロール速度を決定することも可能である。この場合、ドラッグ操作後に指を押し込めば押し込むほど、その押圧力の大きさに比例して、より速く画像全体がスクロールされることになる。
　なお、後述する触覚応答機構部１０２（図４）が、指に、スクロールの速度に応じた触覚応答を与えることができる。例えば、スクロールの速度がより高くなるほど、より強い振動が指に与えられる。これにより、ユーザは、スクロールの速度の高さを、指にくわえられる振動の強さから体感でき、リアルな操作感を得ることができる。
　以上、図３を用いて説明したことから明らかなように、本実施形態によれば、スクリーンパッド１０５を用いることによって、携帯型情報機器１を保持する片手と同じ手の指で、画面に表示された原画像内の任意の位置を、その位置の如何を問わず、容易に指定することができる。
　さらに、それ故に、携帯型情報機器１を保持する片手と同じ手の指で、制御された速度でのスクロールが可能な「ドラッグクリック」操作を行うことができる。この際、最初のドラッグ操作においては、スクリーンパッド１０５内での指の短い距離の移動により、指の移動をスクリーンパッド１０５に対してではなく画面に対して行うことを仮定すると、画面に表示される原画像のうち、指の届かない位置までの、指の長い距離の移動を必要とするであろうドラッグ操作と同じ効果を実現することができる。また、次いで行われる指の押圧動作においては、指が届くスクリーンパッド１０５内の位置を押し込むという容易な動作だけで、何度も続けてドラッグ操作を行うことなく、所望の移動距離のスクロールを短時間で行うことができる。
　また、「ドラッグクリック」操作は、ユーザが指を接触させたままで行う非常に容易な操作である。その結果、この操作が比較的狭い領域であるスクリーンパッド１０５上で行われても、携帯型情報機器１の操作性を悪化させることなく、携帯型情報機器１による所望の動作が確実に発動される。
　図４は、携帯型情報機器１の構成を概略的に示す斜視図、及びその携帯型情報機器１が採用するスクリーンパッド１０５を用いた入力処理方法の一実施形態を示すフローチャートである。また、図５は、携帯型情報機器１の一実施形態を示す機能ブロック図である。
　図４によれば、携帯型情報機器１は、タッチパネル１００と、ディスプレイ１０１と、触覚応答機構部１０２と、押圧力検出部１０３と、プロセッサ・メモリとを有する。ここで、そのプロセッサ・メモリは、前記入力処理方法を実行するためのプログラムを実行することによってその機能を実現させる。
　前記プロセッサ・メモリにおいては、よく知られているように、プロセッサとメモリとが互いに共同してコンピュータを構成する。そのうちのメモリに、前記入力操作判定方法を実行するためのプログラムが予め記憶される。そのメモリは、そのプログラムをコンピュータ読み取り可能に、かつ、非過渡的に記録する記録媒体の一例である。
　ディスプレイ１０１は、画面に画像を表示する。また、タッチパネル１００は、ディスプレイ１００の画面上に配置されており、ユーザの指の接触位置を時間経過につれて逐次出力する。このタッチパネル１００として、投影型静電容量方式タッチパネル、表面型静電容量方式タッチパネル、抵抗膜方式タッチパネル、超音波表面弾性波方式タッチパネル、又は赤外線走査方式タッチパネル等を採用することができる。
　触覚応答機構部１０２は、タッチパネル１００を振動させることにより、タッチパネル１００に接触した指に、特定の操作に対する応答として触覚応答を与える。触覚応答機構部１０２は、例えば、上述した「フォーカス」操作時、「クリック」操作時、及び／又は「ドラッグクリック」操作が行われると、それに応答して、その操作内容に応じた種類及び強度の振動を指に与える。触覚応答機構部１０２は、例えば、ＰＺＴ（チタン酸ジルコン酸鉛）等の圧電材料を用いて形成された圧電アクチュエータとすることができる。
　押圧力検出部１０３は、指によってタッチパネル１００に与えられる押圧力ｐＣを検出する。押圧力検出部１０３は、例えば、タッチパネル１００の四隅下に設置されており、それら４箇所において、指を押し付けられて撓んだタッチパネル１００が押圧力検出部１０３を押圧する４つの力成分の合計値を、押圧力ｐＣとして検出する。この押圧力検出部１０３が出力する押圧力信号は、後述する押圧力判定部１２４に入力される。押圧力検出部１０３は、例えば、ＰＺＴ等の圧電材料を用いて形成された圧電センサとすることができる。また、圧電アクチュエータで構成された触覚応答機構部１０２を設ける代わりに又は設けると共に、押圧力検出部１０３を触覚応答機構部として利用することも可能である。
　指がタッチパネル１００の操作面を押圧する押圧力ｐＣは、操作面に対する指の接触度合いを表現する物理量の一例である。その接触度合いは、押圧力ｐＣの代わりに、指が操作面に接触する面積によって表現したり、指が操作面に接触することによって発生する電気的特性の変化量によって表現したり、指が操作面に接触することによって発生する温度の変化量によって表現することが可能である。よって、本実施形態を、押圧力ｐＣを等価的に別の物理量に置換することにより、変更して実施することが可能である。
　前記プロセッサ・メモリは、タッチパネル１００から出力される指の接触位置信号と、押圧力検出部１０３から出力される押圧力信号とを入力し、これらの信号に基づいてユーザの指による操作の種類を識別し、その操作の種類に応じた動作を発動させる。特に、前記プロセッサ・メモリは、ユーザの指がスクリーンパッド１０５に接触した時に発生する接触位置信号と押圧力信号とを入力して、画面のうち、指の接触位置に対応した位置を指し示すポインタ１０６を表示させる。次いで、前記プロセッサ・メモリは、そのポインタ１０６の指し示す初期位置及びそのポインタ１０６の指し示す位置がその後に描く軌跡に対応した動作を発動させる。ここで、図５を用いて、このプロセッサ・メモリの機能構成を説明する。
　図５によれば、前記プロセッサ・メモリは、スクリーンパッド制御部１２１と、接触判定部１２２と、ポインタ表示部１２３と、押圧力判定部１２４と、動作制御部１２５と、触覚応答制御部１２６と、表示制御部１１１と、アプリケーション処理部１１２とを有する。
　スクリーンパッド制御部１２１は、ディスプレイ１０１の画面に表示される原画像全体を縮小してオーバレイ表示するスクリーンパッド１０５を、この画面内に表示するように表示制御部１１１に指示する。
　なお、スクリーンパッド１０５の起動（表示動作への移行）は、例えば、前述のように、指による所定のアイコンの発動、又は携帯型情報機器１に装着された物理的なボタンの押下等によって、ユーザがスクリーンパッド制御部１２１に、スクリーンパッド１０５を表示することを指示するための指示情報を送信することにより行われる。
　また、スクリーンパッド制御部１２１は、画面にスクリーンパッド１０５を表示すべき位置を決定し、その決定された位置でのスクリーンパッド１０５表示を表示制御部１１１に指示する。
　なお、スクリーンパッド１０５の（表示位置の）移動は、例えば、前述のように、スクリーンパッド１０５のいずれかのエッジエリア、又は所定の領域に指を接触させたまま指を動かして、スクリーンパッド１０５をドラッグする（引きずる）ことにより行われる。スクリーンパッド制御部１２１は、このような操作の情報を入力し、画面上におけるスクリーンパッド１０５の表示位置及びその移動を決定する。
　さらに、スクリーンパッド制御部１２１は、スクリーンパッド１０５の参照画像を原画像データから生成するために必要な原画像全体の縮小率を決定し、その決定された縮小率での表示を表示制御部１１１に指示する。
　なお、スクリーンパッド１０５の縮小率は、例えば、前述のように、ユーザが、スクリーンパッド１０５の角に、又は直線状のエッジエリアの中点に表示されるマーカに指を接触させたまま動かすことにより調整される。スクリーンパッド制御部１２１は、このような操作の情報を入力し、縮小率を決定する。
　接触判定部１２２は、タッチパネル１００から出力される指の接触位置信号と、スクリーンパッド制御部１２１から出力されるスクリーンパッド１０５の位置情報とを入力し、指が、表示されているスクリーンパッド１０５に接触したか否かを判定する。さらに、この判定結果を動作制御部１２３に出力する。また、接触判定部１２２は、上述した「タッチフォーカス」モードの動作中、スクリーンパッド１０５内の指の接触位置と、スクリーンパッド１０５内のいずれかのアイコン用ミニイメージ１０４ａの表示領域とが重畳したか否かを判定し、この判定結果を動作制御部１２３に出力することが好ましい。
　ポインタ表示部１２３は、接触判定部１２２から出力される判定結果及び指の接触位置情報を入力し、ディスプレイ１０１の画面内に、指の接触位置に対応した位置を指し示すポインタ１０６を表示するように表示制御部１１１に指示する。
　押圧力判定部１２４は、押圧力検出部１０３からの押圧力信号を入力し、指による押圧力ｐＣが所定の押圧力閾値ｐＴＨ（又はｐＴＨ０）以上であるか否かを判定する。さらに、押圧力判定部１２４は、この判定結果を、動作制御部１２５へ出力する。
　動作制御部１２５は、接触判定部１２２から判定結果及び指の接触位置情報を入力する。動作制御部１２５は、この入力情報を基に、仮に、ユーザが、ポインタ１０６の指し示す初期位置に指を接触させ、そのポインタ１０６の指し示す位置のその後の変化に追従するように指で画面のうち原画像を表示している部分をなぞったならば起こるであろう動作と同じものを発動させる。
　また、動作制御部１２５は、この動作に応じた画像を表示するように表示制御部１１１に指示する。さらに、接触判定部１２２によって、指がスクリーンパッド１０５に接触し且つこの接触位置が所定時間ｔＴＨ以上継続して変化しなかったと判定された場合、動作制御部１２５は、上述した「タッチフォーカス」モードを動作させることが好ましい。
　また、「タッチフォーカス」モードの動作中、ポインタ１０６がいずれかのオブジェクト（例えば、いずれかのアイコン１０４）の表示領域内の位置を指し示す場合、動作制御部１２５によって、上述した「フォーカス」操作が行われたと判定されることが好ましい。さらに、ポインタ１０６がいずれかのオブジェクトの表示領域内の位置を指し示し且つ押圧力ｐＣが所定の閾値ｐＴＨ以上である場合、動作制御部１２５によって、上述した「クリック」操作が行われたと判定されることが好ましい。動作制御部１２５は、これらの操作に対応する動作を発動させる。
　触覚応答制御部１２６は、動作制御部１２５から動作指示情報を入力する。次いで、触覚応答制御部１２６は、その情報に基づいて、スクリーンパッド１０５に接触した指に対して触覚応答を与えるべく、触覚応答機構部１０２を制御する。
　表示制御部１１１は、アプリケーション処理部１１２からアプリケーション処理情報を入力して、それに対応するアプリケーションの実行に応じた画像をディスプレイ１０１に表示させる。また、表示制御部１１１は、動作制御部１２５から出力される動作指示情報を入力し、指示された動作に応じた画像をディスプレイ１０１に表示させる。
　次いで、図４に示されたフローチャートを用いて、前記プロセッサ・メモリで実施される、スクリーンパッド１０５を用いた前記入力処理方法の一実施形態を説明する。
　図４によれば、最初に、スクリーンパッド制御部１２１が、ディスプレイ１０１の画面に表示された原画像全体が縮小されたスクリーンパッド１０５を、この画面内に、原画像に対してオーバレイする状態で表示させる（ステップＳ４０１）。次いで、タッチパネル１００が、指の接触を検知する（ステップＳ４０２）。次いで、接触判定部１２２が、スクリーンパッド１０５に指が接触したか否かを判定する（ステップＳ４０３）。
　次いで、接触判定部１２２が指がスクリーンパッド１０５に接触したとの判定を行った場合には、ポインタ表示部１２３が、画面のうち、指の接触位置に対応した位置を指し示すポインタ１０６を画面に表示させる（ステップＳ４０４）。その後、動作制御部１２５は、仮に、ユーザが、ポインタ１０６の指し示す初期位置に指を接触させ、そのポインタ１０６の指し示す位置のその後の変化に追従するように指で画面のうち原画像を表示している部分をなぞったならば起こるであろう動作と同じものを発動させる（ステップＳ４０５）。例えば、ユーザの指操作の種類に応じ、上述した「タッチフォーカス」モードに応じた動作、又は「フォーカス」操作、「クリック」操作、若しくは「ドラッグクリック」操作に応じた動作を発動させる。
　以上、詳細に説明したことから明らかなように、本実施形態に従うユーザインタフェース装置、入力処理方法及びプログラムでは、携帯型情報機器１を片手で保持し、それと同じ手の指でタッチパネル１００を操作する場合に、ユーザは、指をスクリーンパッド１０５に接触させて、ポインタ１０６が画面内の所望の位置を指し示すように観察しながら、タッチパネル１００を操作することができる。
　その結果、ユーザは、携帯型情報機器１を保持する片手と同じ手の指で、画面内の任意の位置を、その位置が、ユーザが指で直接指し示そうとする場合には正確に指し示すことが困難である場合でも、容易に指定することが可能となるのである。
　以上、本発明の例示的な一実施形態を図面に基づいて詳細に説明したが、これらは例示であり、前記［発明の概要］の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

Claims (12)

  1. 　画面に画像を表示するディスプレイ機能と、ユーザが指で操作面に接触する接触位置を時間経過につれて逐次出力するタッチパネル機能とを備えたユーザインタフェース装置であって、
    　前記画面に表示される原画像と同じものが縮小された参照画像を、同じ画面内に、スクリーンパッドとして表示するスクリーンパッド制御部と、
    　前記指が前記スクリーンパッドに接触したか否かを判定する接触判定部と、
    　その接触判定部が前記指が前記スクリーンパッドに接触したと判定した場合に、前記画面のうち、前記スクリーンパッド上における前記指の接触位置に対応した位置を指し示すポインタを、前記原画像上に表示するポインタ表示部と、
    　前記ポインタの指し示す位置に応じた動作を発動させる動作制御部と
    　を含むユーザインタフェース装置。
  2. 　前記動作制御部は、仮に、ユーザが、前記ポインタの指し示す初期位置に前記指を接触させ、そのポインタの指し示す位置のその後の変化に追従するように前記指で前記画面のうち前記原画像を表示している部分をなぞったならば当該ユーザインタフェース装置に起こるであろう動作と同じものを発動させる請求項１に記載のユーザインタフェース装置。
  3. 　前記スクリーンパッドは、前記画面のうち、ユーザが当該ユーザインタフェース装置を片手で保持し、それと同じ手で当該ユーザインタフェース装置を操作しようとする場合にユーザが前記同じ手の指で前記スクリーンパッド上のいずれの位置にも接触することができる位置に表示される請求項１に記載のユーザインタフェース装置。
  4. 　前記接触判定部は、前記指が前記スクリーンパッドに接触した後、その接触位置が実質的に同じ位置に保持される保持時間が所定時間以上であるか否かを判定し、
    前記動作制御部は、前記接触判定部が前記保持時間が前記所定時間以上であると判定した場合に、前記画面上において前記画像を移動させることなく固定した状態で、前記スクリーンパッド上における前記指の接触位置をモニタする「タッチフォーカス」モードを動作させる請求項１に記載のユーザインタフェース装置。
  5. 　前記動作制御部は、前記「タッチフォーカス」モードの動作中、前記ポインタが、前記原画像に含まれる操作対象であるオブジェクトの表示領域を指し示す場合に、ユーザが前記該オブジェクトを選択するための「フォーカス」操作が行われたと判定して、そのオブジェクトに対応する動作を発動させる請求項４に記載のユーザインタフェース装置。
  6. 　前記指が前記タッチパネルを押圧する押圧力を検出する押圧力検出部と、
    　その検出された押圧力が所定閾値以上であるか否かを判定する押圧力判定部と
    　を更に含み、
    　前記動作制御部は、前記「タッチフォーカス」モードの動作中、前記ポインタが前記原画像に含まれる操作対象であるオブジェクトの表示領域を指し示し、且つ、前記押圧力が前記所定閾値以上である場合に、前記オブジェクトに予め割り当てられた機能を発動させる「クリック」操作がユーザによって行われたと判定して、前記オブジェクトに対応する動作を発動させる請求項４に記載のユーザインタフェース装置。
  7. 　前記タッチパネルに接触した前記指に対して触覚応答を与える触覚応答機構部と、
    　前記「クリック」操作が行われた場合、前記指に前記タッチパネルを介して前記触覚応答を与えるべく前記触覚応答機構部を制御する触覚応答制御部と
    　を更に含む請求項６に記載のユーザインタフェース装置。
  8. 　前記指が前記タッチパネルを押圧する押圧力を検出する押圧力検出部と、
    　その検出された押圧力が所定閾値以上であるか否かを判定する押圧力判定部と
    　を更に含み、
    　前記動作制御部は、前記接触判定部が、前記指が前記スクリーンパッドに接触してから所定時間が経過しないうちに前記指が前記スクリーンパッドに接触したまま移動し、その後、前記指が停止したと判定された場合に、前記指の移動に応じて前記画像を移動させるための第１の操作と、そのドラッグ操作の終了後、前記押圧力の大きさに応じた速度で前記画像を更に移動させるための第２の操作とが連続した「ドラッグクリック」操作が行われたと判定して、それに対応する動作を発動させる請求項１に記載のユーザインタフェース装置。
  9. 　前記動作制御部は、ユーザが前記指で、前記画面のうち、前記スクリーンパッドが表示されている領域の外側の領域に接触した場合に、前記画面に前記スクリーンパッドが表示されていない場合に同じ位置に前記指が接触していたならば当該ユーザインタフェース装置に起こるであろう動作と同じものを発動させる請求項１に記載のユーザインタフェース装置。
  10. 　画面に画像を表示するディスプレイ機能と、ユーザが指で操作面に接触する接触位置を時間経過につれて逐次出力するタッチパネル機能とを備えたユーザインタフェース装置においてユーザの入力を処理する方法であって、
    　前記画面に表示される原画像と同じものが縮小された参照画像を、同じ画面内に、スクリーンパッドとして表示する第１のステップと、
    　前記指が前記スクリーンパッドに接触したか否かを判定する第２のステップと、
    　前記指が前記スクリーンパッドに接触したと判定された場合に、前記画面のうち、前記スクリーンパッド上における前記指の接触位置に対応した位置を指し示すポインタを、前記原画像上に表示する第３のステップと、
    　前記ポインタの指し示す位置に応じた動作を発動させる第４のステップと
    　を含む方法。
  11. 　画面上に画像を表示するとともに、その表示された画像に関連付けてユーザが指で操作面に接触することにより、ユーザの入力を可能とするユーザインタフェース装置においてユーザの入力を処理する方法であって、
    　前記画面に原画像を表示する第１のステップと、
    　その表示される原画像と同じものが忠実にまたは簡略化されて縮小された参照画像を、同じ画面内に、前記原画像が透けて見える半透明状態または見えない不透過状態で、前記原画像に対してオーバレイ表示することにより、画面内タッチパッドを意味するスクリーンパッドを構成する第２のステップと、
    　ユーザが前記指で前記スクリーンパッドを操作すると、その操作位置を検出し、その検出された操作位置に基づき、ユーザの入力を行う第３のステップと
    　を含む方法。
  12. 　請求項１０に記載の方法を実施するためにコンピュータによって実行されるプログラム。
PCT/JP2012/066736 2011-07-29 2012-06-29 タッチ入力が可能な画面内に原画像を縮小表示するタッチパッドを有するユーザインタフェース装置、入力処理方法及びプログラム WO2013018480A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/233,518 US9244544B2 (en) 2011-07-29 2012-06-29 User interface device with touch pad enabling original image to be displayed in reduction within touch-input screen, and input-action processing method and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-166608 2011-07-29
JP2011166608A JP5295328B2 (ja) 2011-07-29 2011-07-29 スクリーンパッドによる入力が可能なユーザインタフェース装置、入力処理方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2013018480A1 true WO2013018480A1 (ja) 2013-02-07

Family

ID=47629013

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/066736 WO2013018480A1 (ja) 2011-07-29 2012-06-29 タッチ入力が可能な画面内に原画像を縮小表示するタッチパッドを有するユーザインタフェース装置、入力処理方法及びプログラム

Country Status (3)

Country Link
US (1) US9244544B2 (ja)
JP (1) JP5295328B2 (ja)
WO (1) WO2013018480A1 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2799971A2 (en) * 2013-05-03 2014-11-05 Samsung Electronics Co., Ltd. Method of operating touch screen and electronic device thereof
EP2806339A1 (en) * 2013-05-24 2014-11-26 Samsung Electronics Co., Ltd Method and apparatus for displaying a picture on a portable device
WO2014189612A1 (en) * 2013-03-30 2014-11-27 Prasad Roy Varada A method of single-handed software operation of large form factor mobile electronic devices
WO2014208691A1 (ja) * 2013-06-26 2014-12-31 京セラ株式会社 携帯機器、携帯機器の制御方法
JP2015011386A (ja) * 2013-06-26 2015-01-19 京セラ株式会社 携帯機器、携帯機器の制御方法およびプログラム
JP2015011387A (ja) * 2013-06-26 2015-01-19 京セラ株式会社 携帯機器、携帯機器の制御方法およびプログラム
CN104932809A (zh) * 2014-03-19 2015-09-23 索尼公司 用于控制显示面板的装置和方法
EP2977865A4 (en) * 2013-03-19 2016-04-06 Ntt Docomo Inc INFORMATION TERMINAL, METHOD FOR CONTROLLING USER REGIONS, AND CONTROL PROGRAM FOR USE REGIONS
EP3079340A4 (en) * 2013-12-03 2016-11-30 Huawei Tech Co Ltd PROCESSING METHOD AND APPARATUS, AND TERMINAL
JP2018088054A (ja) * 2016-11-28 2018-06-07 シャープ株式会社 電子機器および表示制御方法
CN108182016A (zh) * 2016-12-08 2018-06-19 Lg电子株式会社 移动终端及其控制方法
WO2018180553A1 (ja) * 2017-03-27 2018-10-04 株式会社コナミデジタルエンタテインメント ゲームシステム、ゲーム制御装置、及びプログラム
AU2020202870B2 (en) * 2013-05-24 2021-06-10 Samsung Electronics Co., Ltd. Method and apparatus for displaying picture on portable device
EP3557399B1 (en) * 2011-08-10 2023-05-03 Samsung Electronics Co., Ltd. Input and output method in touch screen terminal and apparatus therefor

Families Citing this family (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9542091B2 (en) 2010-06-04 2017-01-10 Apple Inc. Device, method, and graphical user interface for navigating through a user interface using a dynamic object selection indicator
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
KR101496512B1 (ko) 2012-03-08 2015-02-26 엘지전자 주식회사 이동 단말기 및 그 제어방법
WO2013169846A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying additional information in response to a user contact
CN106201316B (zh) 2012-05-09 2020-09-29 苹果公司 用于选择用户界面对象的设备、方法和图形用户界面
CN104471521B (zh) 2012-05-09 2018-10-23 苹果公司 用于针对改变用户界面对象的激活状态来提供反馈的设备、方法和图形用户界面
CN104487928B (zh) 2012-05-09 2018-07-06 苹果公司 用于响应于手势而在显示状态之间进行过渡的设备、方法和图形用户界面
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
AU2013259613B2 (en) 2012-05-09 2016-07-21 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
AU2013259642A1 (en) 2012-05-09 2014-12-04 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
KR20140017429A (ko) * 2012-08-01 2014-02-11 삼성전자주식회사 화면 동작 방법 및 그 전자 장치
JP5798532B2 (ja) * 2012-08-23 2015-10-21 株式会社Ｎｔｔドコモ ユーザインタフェース装置、ユーザインタフェース方法及びプログラム
EP3182262A1 (en) 2012-09-17 2017-06-21 Huawei Device Co., Ltd. Touch operation processing method and terminal device
US10289204B2 (en) * 2012-11-15 2019-05-14 Quantum Interface, Llc Apparatuses for controlling electrical devices and software programs and methods for making and using same
KR102047689B1 (ko) * 2012-12-17 2019-11-22 엘지전자 주식회사 택타일 사용자 인터페이스의 미니-맵을 제공하는 터치 센서티브 디바이스 및 제어 방법
JP2014120091A (ja) * 2012-12-19 2014-06-30 Riso Kagaku Corp 電子機器
CN109375853A (zh) 2012-12-29 2019-02-22 苹果公司 对用户界面分级结构导航的设备、方法和图形用户界面
EP2939095B1 (en) 2012-12-29 2018-10-03 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
KR101958582B1 (ko) 2012-12-29 2019-07-04 애플 인크. 터치 입력에서 디스플레이 출력으로의 관계들 사이에서 전환하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
EP2912542B1 (en) 2012-12-29 2022-07-13 Apple Inc. Device and method for forgoing generation of tactile output for a multi-contact gesture
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
KR101812329B1 (ko) 2012-12-29 2017-12-26 애플 인크. 콘텐츠를 스크롤할지 선택할지 결정하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
JP6137453B2 (ja) * 2013-02-08 2017-05-31 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 制御装置及び制御プログラム
JP6221293B2 (ja) * 2013-03-27 2017-11-01 富士通株式会社 情報処理装置，情報処理方法，プログラム
JP6297787B2 (ja) * 2013-04-25 2018-03-20 京セラ株式会社 携帯電子機器
JP2015032019A (ja) * 2013-07-31 2015-02-16 株式会社ニコン 電子機器、および電子機器の制御プログラム
KR20150016695A (ko) * 2013-08-05 2015-02-13 삼성전자주식회사 디스플레이장치 및 그 제어방법
CN104423548B (zh) * 2013-08-28 2018-08-10 联想(北京)有限公司 一种控制方法及装置
US9696882B2 (en) * 2013-08-28 2017-07-04 Lenovo (Beijing) Co., Ltd. Operation processing method, operation processing device, and control method
CN104516618B (zh) * 2013-09-27 2020-01-14 中兴通讯股份有限公司 界面功能解析显示方法及装置
KR20150037014A (ko) * 2013-09-30 2015-04-08 삼성전자주식회사 전자장치 및 전자장치의 사용자 인터페이스 제공방법
JP6015866B2 (ja) * 2013-10-25 2016-10-26 株式会社村田製作所 携帯端末用表示装置
JP2015099526A (ja) * 2013-11-20 2015-05-28 富士通株式会社 情報処理装置および情報処理プログラム
JP6031080B2 (ja) 2013-11-29 2016-11-24 株式会社 ハイディープＨｉＤｅｅｐ Ｉｎｃ． 仮想タッチパッド操作方法及びこれを行う端末機
KR101692848B1 (ko) * 2013-11-29 2017-01-05 주식회사 하이딥 호버링을 이용하는 가상 터치패드 조작방법 및 이를 수행하는 단말기
US20150186011A1 (en) * 2013-12-30 2015-07-02 Samsung Electronics Co., Ltd. Apparatus and method for interacting with items on a portable terminal
US20150193096A1 (en) * 2014-01-07 2015-07-09 Samsung Electronics Co., Ltd. Electronic device and method for operating the electronic device
US20150212610A1 (en) * 2014-01-30 2015-07-30 Samsung Display Co., Ltd. Touch-in-touch display apparatus
KR20150099297A (ko) * 2014-02-21 2015-08-31 삼성전자주식회사 전자장치의 화면 표시 방법
CN105518605B (zh) * 2014-05-26 2019-04-26 华为技术有限公司 一种终端的触摸操作方法及装置
US9898162B2 (en) 2014-05-30 2018-02-20 Apple Inc. Swiping functions for messaging applications
US9971500B2 (en) 2014-06-01 2018-05-15 Apple Inc. Displaying options, assigning notification, ignoring messages, and simultaneous user interface displays in a messaging application
JP5656307B1 (ja) * 2014-06-20 2015-01-21 パナソニック株式会社 電子機器
WO2016060501A1 (en) * 2014-10-15 2016-04-21 Samsung Electronics Co., Ltd. Method and apparatus for providing user interface
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US10152208B2 (en) 2015-04-01 2018-12-11 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
JP6492910B2 (ja) * 2015-04-13 2019-04-03 ブラザー工業株式会社 携帯端末
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
DK179116B1 (en) * 2015-06-07 2017-11-06 Apple Inc Devices and Methods for Navigating Between User Interfaces
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
AU2016231472B1 (en) * 2015-06-07 2016-11-10 Apple Inc. Devices and methods for navigating between user interfaces
US20170024086A1 (en) * 2015-06-23 2017-01-26 Jamdeo Canada Ltd. System and methods for detection and handling of focus elements
CN106371688B (zh) * 2015-07-22 2019-10-01 小米科技有限责任公司 全屏幕单手操作方法及装置
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
CN105117056B (zh) * 2015-08-17 2019-02-01 青岛海信移动通信技术股份有限公司 一种操作触摸屏的方法和设备
WO2017054847A1 (en) * 2015-09-29 2017-04-06 Telefonaktiebolaget Lm Ericsson (Publ) Touchscreen device and method thereof
KR20170085419A (ko) * 2016-01-14 2017-07-24 삼성전자주식회사 터치 입력에 기반한 동작 방법 및 그 전자 장치
CN105487273A (zh) * 2016-01-15 2016-04-13 京东方科技集团股份有限公司 显示面板及其驱动方法和制作方法、显示装置
JP6213581B2 (ja) * 2016-01-20 2017-10-18 コニカミノルタ株式会社 情報処理装置及び情報処理装置の制御プログラム
DE102016001369B4 (de) * 2016-02-06 2018-03-29 Audi Ag Verfahren zur automatischen Benutzeranpassung der Reizcharakteristik eines aktiven Bedienelementes eines Fahrzeugs
JP2017157079A (ja) 2016-03-03 2017-09-07 富士通株式会社 情報処理装置、表示制御方法、及び表示制御プログラム
KR102526860B1 (ko) * 2016-03-18 2023-05-02 삼성전자주식회사 전자 장치 및 전자 장치 제어 방법
KR101976605B1 (ko) * 2016-05-20 2019-05-09 이탁건 전자기기 및 그 동작 방법
JP6762770B2 (ja) * 2016-06-06 2020-09-30 株式会社デンソーテン タッチパネル装置及びタッチパネルの制御方法
CN106354418B (zh) * 2016-11-16 2019-07-09 腾讯科技（深圳）有限公司 一种基于触摸屏的操控方法和装置
US11301124B2 (en) 2017-08-18 2022-04-12 Microsoft Technology Licensing, Llc User interface modification using preview panel
US10417991B2 (en) 2017-08-18 2019-09-17 Microsoft Technology Licensing, Llc Multi-display device user interface modification
US20190056857A1 (en) * 2017-08-18 2019-02-21 Microsoft Technology Licensing, Llc Resizing an active region of a user interface
US11237699B2 (en) 2017-08-18 2022-02-01 Microsoft Technology Licensing, Llc Proximal menu generation
EP4163778A1 (en) * 2017-11-07 2023-04-12 Huawei Technologies Co., Ltd. Touch control method and apparatus
CN108363508B (zh) * 2018-01-13 2021-03-23 江南大学 一种手机触控屏Mark定位非接触式视觉检测方法
EP3647927B1 (en) 2018-02-08 2023-03-29 Rakuten Group, Inc. Selection device, selection method, program, and non-transitory computer-readable information recording medium
US11467712B1 (en) * 2019-04-03 2022-10-11 David Graham Boyers Method and graphical user interface for positioning a preselection and selecting on a smart-watch with a touch-sensitive display
US11409279B1 (en) * 2019-09-26 2022-08-09 Amazon Technologies, Inc. Autonomously motile device with remote control
US11731037B2 (en) * 2020-09-11 2023-08-22 Riot Games, Inc. Rapid target selection with priority zones
US20220155948A1 (en) * 2020-11-13 2022-05-19 Adobe Inc. Offset touch screen editing
CN114546145B (zh) * 2020-11-24 2024-03-01 明基智能科技（上海）有限公司 游标控制方法及应用其的触控显示装置
CN112558699B (zh) * 2020-12-23 2024-04-26 联想(北京)有限公司 一种触控方法、装置、设备及计算机可读存储介质
CN113849093A (zh) * 2021-09-28 2021-12-28 联想(北京)有限公司 一种控制方法、装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05330289A (ja) * 1992-05-29 1993-12-14 Hitachi Software Eng Co Ltd 電子黒板装置
JPH10293644A (ja) * 1997-04-18 1998-11-04 Idec Izumi Corp タッチパネル付表示装置
JP2000105671A (ja) * 1998-05-11 2000-04-11 Ricoh Co Ltd 座標入力／検出装置および電子黒板システム
JP2004151987A (ja) * 2002-10-30 2004-05-27 Casio Comput Co Ltd 情報処理装置、及び情報処理方法、並びにプログラム
JP2007122459A (ja) * 2005-10-28 2007-05-17 Alps Electric Co Ltd パッド型入力装置及びこれを用いたスクロール制御方法
WO2012077273A1 (ja) * 2010-12-07 2012-06-14 パナソニック株式会社 電子機器

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09198352A (ja) 1996-01-18 1997-07-31 Mitsubishi Electric Corp 携帯型情報通信装置
US6118435A (en) 1997-04-10 2000-09-12 Idec Izumi Corporation Display unit with touch panel
US7499040B2 (en) * 2003-08-18 2009-03-03 Apple Inc. Movable touch pad with added functionality
JP2008257374A (ja) * 2007-04-03 2008-10-23 Sharp Corp 携帯情報端末及び携帯電話機
US8315672B2 (en) * 2008-12-01 2012-11-20 Research In Motion Limited Portable electronic device and method of controlling same
JP5157968B2 (ja) 2009-03-09 2013-03-06 株式会社Ｊｖｃケンウッド タッチパネル座標指定方法およびタッチパネル座標指定装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05330289A (ja) * 1992-05-29 1993-12-14 Hitachi Software Eng Co Ltd 電子黒板装置
JPH10293644A (ja) * 1997-04-18 1998-11-04 Idec Izumi Corp タッチパネル付表示装置
JP2000105671A (ja) * 1998-05-11 2000-04-11 Ricoh Co Ltd 座標入力／検出装置および電子黒板システム
JP2004151987A (ja) * 2002-10-30 2004-05-27 Casio Comput Co Ltd 情報処理装置、及び情報処理方法、並びにプログラム
JP2007122459A (ja) * 2005-10-28 2007-05-17 Alps Electric Co Ltd パッド型入力装置及びこれを用いたスクロール制御方法
WO2012077273A1 (ja) * 2010-12-07 2012-06-14 パナソニック株式会社 電子機器

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3557399B1 (en) * 2011-08-10 2023-05-03 Samsung Electronics Co., Ltd. Input and output method in touch screen terminal and apparatus therefor
EP2977865A4 (en) * 2013-03-19 2016-04-06 Ntt Docomo Inc INFORMATION TERMINAL, METHOD FOR CONTROLLING USER REGIONS, AND CONTROL PROGRAM FOR USE REGIONS
WO2014189612A1 (en) * 2013-03-30 2014-11-27 Prasad Roy Varada A method of single-handed software operation of large form factor mobile electronic devices
EP2799971A3 (en) * 2013-05-03 2014-11-12 Samsung Electronics Co., Ltd. Method of operating touch screen and electronic device thereof
EP2799971A2 (en) * 2013-05-03 2014-11-05 Samsung Electronics Co., Ltd. Method of operating touch screen and electronic device thereof
US9652056B2 (en) 2013-05-03 2017-05-16 Samsung Electronics Co., Ltd. Touch-enable cursor control method and electronic device thereof
EP2806339A1 (en) * 2013-05-24 2014-11-26 Samsung Electronics Co., Ltd Method and apparatus for displaying a picture on a portable device
US10691291B2 (en) 2013-05-24 2020-06-23 Samsung Electronics Co., Ltd. Method and apparatus for displaying picture on portable device
AU2020202870B2 (en) * 2013-05-24 2021-06-10 Samsung Electronics Co., Ltd. Method and apparatus for displaying picture on portable device
WO2014208691A1 (ja) * 2013-06-26 2014-12-31 京セラ株式会社 携帯機器、携帯機器の制御方法
JP2015011387A (ja) * 2013-06-26 2015-01-19 京セラ株式会社 携帯機器、携帯機器の制御方法およびプログラム
US10007375B2 (en) 2013-06-26 2018-06-26 Kyocera Corporation Portable apparatus and method for controlling cursor position on a display of a portable apparatus
JP2015011386A (ja) * 2013-06-26 2015-01-19 京セラ株式会社 携帯機器、携帯機器の制御方法およびプログラム
EP3079340A4 (en) * 2013-12-03 2016-11-30 Huawei Tech Co Ltd PROCESSING METHOD AND APPARATUS, AND TERMINAL
US10073613B2 (en) 2013-12-03 2018-09-11 Huawei Technologies Co., Ltd. Processing method and apparatus, and terminal
EP2921947A1 (en) * 2014-03-19 2015-09-23 Sony Corporation Device and method for controlling a display panel
CN104932809A (zh) * 2014-03-19 2015-09-23 索尼公司 用于控制显示面板的装置和方法
US10073493B2 (en) 2014-03-19 2018-09-11 Sony Corporation Device and method for controlling a display panel
JP2018088054A (ja) * 2016-11-28 2018-06-07 シャープ株式会社 電子機器および表示制御方法
CN108182016B (zh) * 2016-12-08 2023-03-21 Lg电子株式会社 移动终端及其控制方法
CN108182016A (zh) * 2016-12-08 2018-06-19 Lg电子株式会社 移动终端及其控制方法
KR20190120311A (ko) * 2017-03-27 2019-10-23 가부시키가이샤 코나미 데지타루 엔타테인멘토 게임 시스템, 게임 제어 장치 및 컴퓨터 판독가능 기록 매체
JP2018161447A (ja) * 2017-03-27 2018-10-18 株式会社コナミデジタルエンタテインメント ゲームシステム、ゲーム制御装置、及びプログラム
WO2018180553A1 (ja) * 2017-03-27 2018-10-04 株式会社コナミデジタルエンタテインメント ゲームシステム、ゲーム制御装置、及びプログラム
KR102358390B1 (ko) * 2017-03-27 2022-02-07 가부시키가이샤 코나미 데지타루 엔타테인멘토 게임 시스템, 게임 제어 장치 및 컴퓨터 판독가능 기록 매체
US11266904B2 (en) 2017-03-27 2022-03-08 Konami Digital Entertainment Co., Ltd. Game system, game control device, and information storage medium

Also Published As

Publication number Publication date
JP2013030050A (ja) 2013-02-07
US20140160073A1 (en) 2014-06-12
JP5295328B2 (ja) 2013-09-18
US9244544B2 (en) 2016-01-26

Similar Documents

Publication Publication Date Title
WO2013018480A1 (ja) タッチ入力が可能な画面内に原画像を縮小表示するタッチパッドを有するユーザインタフェース装置、入力処理方法及びプログラム
JP5750875B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP4557058B2 (ja) 情報表示端末、情報表示方法、およびプログラム
JP4734435B2 (ja) タッチパネル式ディスプレイを持った携帯型ゲーム装置
TWI382739B (zh) 用以提供資訊的卷軸運動之方法、電腦程式產品、電子裝置及卷軸多功能鍵模組
EP2733591B1 (en) User interface device capable of execution of input by finger contact in plurality of modes, input operation assessment method, and program
KR101544364B1 (ko) 듀얼 터치 스크린을 구비한 휴대 단말기 및 그 컨텐츠 제어방법
JP6132644B2 (ja) 情報処理装置、表示制御方法、コンピュータプログラム、及び記憶媒体
JP4650559B2 (ja) 情報処理装置、情報処理方法、情報処理システムおよび情報処理用プログラム
US20110060986A1 (en) Method for Controlling the Display of a Touch Screen, User Interface of the Touch Screen, and an Electronic Device using The Same
JP5640486B2 (ja) 情報表示装置
JP2013089202A (ja) 入力制御装置、入力制御方法、及び入力制御プログラム
JP5848732B2 (ja) 情報処理装置
JP2013089200A (ja) 入力制御装置、入力制御方法、及び入力制御プログラム
JP2011034169A (ja) 情報入力装置および情報入力方法
WO2012169189A1 (ja) タッチパネル入力装置
JP5713400B2 (ja) ポインタを用いた指による操作が可能なユーザインタフェース装置、動作発動方法及びプログラム
JP5993072B1 (ja) 電子機器のユーザ・インターフェース、入力の処理方法および電子機器
JP2011081447A (ja) 情報処理方法及び情報処理装置
JP2002236550A (ja) 画面位置入力方法および装置
JP2013196465A (ja) オブジェクト選択時に触覚応答が付与されるユーザインタフェース装置、触覚応答付与方法及びプログラム
WO2018123320A1 (ja) ユーザーインターフェイス装置及び電子機器
JP2018023792A (ja) ゲーム装置及びプログラム
JP5269154B2 (ja) 指を接触させたままで種々の操作が実行可能なユーザインタフェース装置、入力操作判定方法及びプログラム
JP2016012376A (ja) 押圧の度合いに応じて異なる触覚応答を付与可能なユーザインタフェース装置、触覚応答付与方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12819842

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14233518

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12819842

Country of ref document: EP

Kind code of ref document: A1