WO2014061098A1 - 情報表示装置および表示情報操作方法 - Google Patents

情報表示装置および表示情報操作方法 Download PDF

Info

Publication number
WO2014061098A1
WO2014061098A1 PCT/JP2012/076680 JP2012076680W WO2014061098A1 WO 2014061098 A1 WO2014061098 A1 WO 2014061098A1 JP 2012076680 W JP2012076680 W JP 2012076680W WO 2014061098 A1 WO2014061098 A1 WO 2014061098A1
Authority
WO
WIPO (PCT)
Prior art keywords
icon
display
gesture
information
composite icon
Prior art date
Application number
PCT/JP2012/076680
Other languages
English (en)
French (fr)
Inventor
英一 有田
下谷　光生
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to CN201280076431.5A priority Critical patent/CN104737221B/zh
Priority to JP2014541847A priority patent/JP5738495B2/ja
Priority to DE112012007167.0T priority patent/DE112012007167T5/de
Priority to PCT/JP2012/076680 priority patent/WO2014061098A1/ja
Priority to US14/426,092 priority patent/US20150234572A1/en
Publication of WO2014061098A1 publication Critical patent/WO2014061098A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G01C21/367—Details, e.g. road map scale, orientation, zooming, illumination, level of detail, scrolling of road map or positioning of current position marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Definitions

  • the present invention relates to an information display device and a display information operation method.
  • Patent Documents 1 and 2 disclose devices using a touch panel.
  • a smooth scroll operation icon for performing continuous smooth scroll processing of a map image is displayed. Specifically, this icon is displayed in the lower right part or the lower left part on the map image in accordance with the position of the driver's seat.
  • the navigation map image moves at a high speed in the direction of the arrow for the duration of the touch.
  • an area for executing smooth scroll processing that is, an icon for smooth scroll operation
  • an area for executing touch scroll processing and drag scroll processing that is, smooth scroll. Area other than the operation icon).
  • the navigation device of Patent Document 2 has poor operability when the smooth scroll operation and the touch scroll operation are very similar (for example, when the difference between the two operations is only the difference in the time of touching the screen). It has been proposed to solve this problem. Since the timing for performing the scroll operation depends on the intention of the user, the smooth scroll operation icon must always be displayed so that it can be used at any time.
  • each arrow portion indicating the map moving direction needs to be large enough to be touched with a finger. If an arrow portion for eight directions is provided in the icon as described in Patent Document 2, the icon for smooth scroll operation becomes large.
  • An object of the present invention is to provide an information display device and a display information operation method having high convenience.
  • An information display device includes a display unit having a display surface, an input unit that receives a user operation, and a control unit.
  • the user operation is a gesture operation associated with a screen movement deformation type function that controls display information on the display surface in a control direction set according to the gesture direction
  • the control unit displays the composite icon on the display surface. Display.
  • the composite icon is a composite of a plurality of icons that are all associated with the screen movement deformation type function but have different control direction assignments.
  • the control unit executes the screen movement deformation type function in the control direction assigned to the icon for which the execution instruction operation has been performed.
  • the composite icon is called on the display surface by the gesture operation, and the screen movement deformable function associated with the gesture operation can be executed in various control directions using the composite icon. .
  • the control direction can be selected as appropriate. Thereby, high convenience can be provided.
  • a composite icon is displayed simply by performing a gesture operation associated with the function to be executed. That is, a composite icon corresponding to the function intended by the user is automatically displayed. For this reason, high convenience can be provided.
  • the composite icon is not called, so the display information is not hidden by the composite icon.
  • FIG. 1 It is a figure which illustrates a scroll compound icon. It is a conceptual diagram of a scroll compound icon. It is a figure which illustrates a display size change compound icon. It is a figure which illustrates a rotation compound icon. It is a block diagram which illustrates a control part. It is a flowchart which illustrates the process until a composite icon is displayed. It is a conceptual diagram of end point conditions. It is a conceptual diagram of composite icon call operation. It is a figure explaining the 1st example of the display position of a composite icon. It is a figure explaining the 2nd example of the display position of a composite icon. It is a figure explaining the 3rd example of the display position of a composite icon.
  • FIG. 1 illustrates a block diagram of an information display device 10 according to an embodiment.
  • the information display device 10 includes a display unit 12, an input unit 14, a control unit 16, and a storage unit 18.
  • Display unit 12 displays various information.
  • the display unit 12 drives each pixel based on, for example, a display surface configured by arranging a plurality of pixels in a matrix and image data acquired from the control unit 16 (in other words, each pixel's Driving device for controlling the display state).
  • the image displayed on the display unit 12 may be a still image, a moving image, or a combination of a still image and a moving image.
  • the display unit 12 can be configured by a liquid crystal display device, for example.
  • a display area of a display panel corresponds to the display surface
  • a drive circuit externally attached to the display panel corresponds to the drive device.
  • a part of the driver circuit may be incorporated in the display panel.
  • the display unit 12 can be configured by an electroluminescence (EL) display device, a plasma display device, or the like.
  • EL electroluminescence
  • the input unit 14 receives various information from the user.
  • the input unit 14 includes, for example, a detection unit that detects an indicator used by the user for input, and a detection signal output unit that outputs a result detected by the detection unit to the control unit 16 as a detection signal. .
  • the input unit 14 is configured by a so-called contact-type touch panel
  • the input unit 14 may be referred to as a “touch panel 14” below.
  • the touch panel may be referred to as a “touch pad” or the like.
  • indication used for an input is a user's finger
  • the detection unit of the touch panel 14 provides an input surface on which a user places a fingertip, and detects the presence of a finger on the input surface by a sensor group provided for the input surface.
  • a sensor group provided for the input surface.
  • an area where a finger can be detected by the sensor group corresponds to an input area where a user input can be received.
  • the input area corresponds to an input surface of a two-dimensional area.
  • the sensor group may be any of electrical, optical, mechanical, etc., or a combination thereof.
  • Various position detection methods have been developed, and any of them may be adopted for the touch panel 14.
  • a configuration capable of detecting the pressing force of the finger on the input surface may be employed.
  • the position of the fingertip on the input surface can be specified from the combination of the output signals of each sensor.
  • the identified position is expressed by coordinate data on coordinates set on the input surface, for example.
  • the coordinate data indicating the finger position changes, so that the movement of the finger can be detected by a series of coordinate data acquired continuously.
  • the finger position may be expressed by a method other than coordinates. That is, the coordinate data is an example of finger position data for expressing the position of the finger.
  • the detection signal output unit of the touch panel 14 generates coordinate data indicating the finger position from the output signals of the sensors, and transmits the coordinate data to the control unit 16 as a detection signal.
  • the conversion to coordinate data may be performed by the control unit 16.
  • the detection signal output unit converts the output signal of each sensor into a signal in a format that can be acquired by the control unit 16, and transmits the obtained signal to the control unit 16 as a detection signal.
  • the input surface 34 of the touch panel 14 (see FIG. 1) and the display surface 32 of the display unit 12 (see FIG. 1) are overlapped, in other words, the input surface 34.
  • a structure in which the display surface 32 is integrated is illustrated. With such an integrated structure, the input / display unit 20 (see FIG. 1), more specifically, the touch screen 20 is provided.
  • the input surface 34 and the display surface 32 are identified to the user, giving the user the feeling of performing an input operation on the display surface 32. For this reason, an intuitive operation environment is provided.
  • the expression “the user operates the display surface 32” may be used.
  • the control unit 16 performs various processes and controls in the information display device 10. For example, the control unit 16 analyzes information input from the touch panel 14, generates image data according to the analysis result, and outputs the image data to the display unit 12.
  • control unit 16 includes a central processing unit (for example, configured with one or a plurality of microprocessors) and a main storage unit (for example, one or a plurality of storage devices such as ROM, RAM, flash memory, etc.). ).
  • a central processing unit for example, configured with one or a plurality of microprocessors
  • main storage unit for example, one or a plurality of storage devices such as ROM, RAM, flash memory, etc.
  • main storage unit for example, one or a plurality of storage devices such as ROM, RAM, flash memory, etc.
  • Various programs may be stored in the main storage unit of the control unit 16 in advance, or may be read from the storage unit 18 during execution and stored in the main storage unit.
  • the main storage unit is used not only for storing programs but also for storing various data.
  • the main storage unit provides a work area when the central processing unit executes the program.
  • the main storage unit provides an image holding unit for writing an image to be displayed on the display unit 12.
  • the image holding unit may be referred to as “video memory”, “graphic memory”, or the like.
  • control unit 16 may be configured as hardware (for example, an arithmetic circuit configured to perform a specific calculation).
  • the storage unit 18 stores various information.
  • the storage unit 18 is provided as an auxiliary storage unit used by the control unit 16.
  • the storage unit 18 can be configured using one or more storage devices such as a hard disk device, an optical disk, a rewritable and nonvolatile semiconductor memory, and the like.
  • touch operation is an operation in which at least one fingertip is brought into contact with the input surface of the touch panel and the contacted finger is moved away from the input surface without being moved on the input surface.
  • gesture operation is an operation in which at least one fingertip is brought into contact with the input surface, and the contacted finger is moved on the input surface (in other words, slid), and then released from the input surface. .
  • the coordinate data detected by the touch operation (in other words, finger position data) is basically static and static.
  • the coordinate data detected by the gesture operation changes with time and is dynamic. According to such a series of changing coordinate data, the point where the finger starts moving and the point on the input surface, the locus from the moving start point to the moving end point, the moving direction, the moving amount, the moving speed, the moving acceleration, Etc. can be acquired.
  • FIG. 3 is a conceptual diagram illustrating a one-point touch operation (also simply referred to as “one-point touch”) as a first example of the touch operation.
  • a top view of the input surface 34 is shown in the upper stage, and a side view or a sectional view of the input surface 34 is shown in the lower stage.
  • touch points in other words, finger detection points
  • black circles Such an illustration technique is also used in the drawings described later.
  • a black circle may be actually displayed on the display surface.
  • One-point touch can be classified into single tap, multi-tap and long press operations, for example.
  • Single tap is an operation of tapping the input surface 34 once with a fingertip.
  • a single tap is sometimes simply referred to as a “tap”.
  • Multi-tap is an operation of repeating a tap a plurality of times.
  • a double tap is a typical multi-tap.
  • the long press is an operation for maintaining the point contact of the fingertip.
  • FIG. 4 is a conceptual diagram illustrating a two-point touch operation (also simply referred to as “two-point touch”) as a second example of the touch operation.
  • the two-point touch is basically the same as the one-point touch except that two fingers are used. For this reason, it is possible to perform each operation of tap, multi-tap, and long press, for example, by two-point touch.
  • two fingers of one hand may be used, or one finger of the right hand and one finger of the left hand may be used.
  • the positional relationship between the two fingers is not limited to the example in FIG.
  • FIG. 5 is a conceptual diagram illustrating a drag operation (also simply referred to as “drag”) as a first example of the gesture operation.
  • Dragging is an operation of shifting the fingertip while it is placed on the input surface 34.
  • the moving direction and moving distance of the finger are not limited to the example in FIG.
  • the movement start point of the finger is schematically shown by a black circle
  • the movement end point of the finger is schematically shown by a black triangle
  • the direction of movement of the finger is expressed by the direction of the triangle
  • the black circle The trajectory is represented by a line connecting the triangle and the black triangle.
  • Such an illustration technique is also used in the drawings described later. Note that the black circle, the black triangle, and the locus may be actually displayed on the display surface.
  • FIG. 6 is a conceptual diagram illustrating a flick operation (also simply referred to as “flick”) as a second example of the gesture operation.
  • the flick is an operation for quickly paying the fingertip on the input surface 34.
  • the moving direction and moving distance of the finger are not limited to the example in FIG.
  • flicking unlike dragging, the finger leaves the input surface 34 while moving.
  • the touch panel 14 is a contact type, the finger movement after leaving the input surface 34 is not detected in principle.
  • a flick can be identified when the moving speed is equal to or higher than a predetermined threshold (referred to as “drag / flick identification threshold”).
  • the point where the finger finally arrives after it leaves the input surface 34 (more specifically, the point is defined as the input surface 34).
  • this estimation process can be interpreted as a process of converting a flick into a virtual drag.
  • the information display apparatus 10 treats the estimated point as the end point of finger movement.
  • the estimation process may be executed by the touch panel 14 or may be executed by the control unit 16.
  • the information display device 10 may be modified so that a point away from the input surface 34 is handled as an end point of finger movement.
  • FIG. 7 is a conceptual diagram illustrating a pinch out operation (also simply referred to as “pinch out”) as a third example of the gesture operation.
  • Pinch out is an operation of moving two fingertips away on the input surface 34.
  • Pinch out is also called “pinch open”.
  • FIG. 7 illustrates the case where both two fingers are dragged.
  • one fingertip is fixed on the input surface 34 (in other words, one fingertip maintains a touch state), and only the other fingertip is held. It is also possible to pinch out by dragging. 7 and 8 are referred to as “two-point movement type”, and the method in FIG. 8 is referred to as “one-point movement type”.
  • FIG. 9 is a conceptual diagram illustrating a pinch-in operation (also simply referred to as “pinch-in”) as a fifth example of the gesture operation.
  • Pinch-in is an operation of bringing two fingertips closer on the input surface 34.
  • Pinch-in is also referred to as “pinch close”.
  • FIG. 9 illustrates a two-point movement type pinch-in
  • FIG. 10 illustrates a one-point movement type pinch-in as a sixth example of the gesture operation.
  • pinch-out and pinch-in are collectively referred to as “pinch operation” or “pinch”, and the direction of finger movement is referred to as “pinch direction”.
  • the pinch operation is particularly referred to as pinch out.
  • the pinch operation is particularly called pinch-in.
  • pinch-out and pinch-in two fingers of one hand may be used, or one finger of the right hand and one finger of the left hand may be used. Further, the positional relationship, the moving direction, and the moving distance of the two fingers are not limited to the examples in FIGS. Further, in the one-point movement type pinch-out and pinch-in, the finger to be dragged is not limited to the examples of FIGS. 8 and 10. It is also possible to pinch out and pinch in using flicks instead of dragging.
  • Each user operation is associated with a specific function. Specifically, when a user operation is detected, a process associated with the user operation is executed by the control unit 16, thereby realizing a corresponding function. In view of this point, user operations can be classified based on functions to be realized.
  • a double tap performed on an icon on the display surface 32 is associated with a function for executing a program or command associated with the icon.
  • the double tap functions as an execution instruction operation.
  • dragging performed on display information (a map image is illustrated in FIG. 11) is associated with a scroll function for scrolling the display information.
  • the drag operation functions as a scroll operation. Note that it is also possible to perform scrolling by flicking instead of dragging.
  • pinch out and the pinch in performed on the display information changes the size (in other words, the scale) of the information display.
  • pinch-out and pinch-in function as a display size change operation (may be referred to as a “display scale change operation”). More specifically, in the example of FIG. 12, pinch out corresponds to an enlargement operation, and pinch in corresponds to a reduction operation.
  • the drag is associated with a function that rotates the information display.
  • the two-point movement type rotary drag functions as a rotation operation.
  • the function of associating may be changed according to the number of fingers to be rotated and dragged.
  • a double tap may be assigned to a folder opening operation for opening a folder associated with an icon in addition to the above execution instruction operation.
  • the drag may be assigned to a scroll function and a drawing function.
  • the execution instruction function for the icon may be associated with double tap, long press, and flick.
  • a program or the like associated with the icon can be executed by any of double tap, long press and flick.
  • the scroll function may be associated with both dragging and flicking.
  • the rotation function may be associated with both the two-point movement type rotation drag and the one-point movement type rotation drag.
  • a gesture operation associated with a screen movement deformation type function may be expressed as “a screen movement deformation type function gesture operation”.
  • the screen movement deformation type function associated with the gesture operation is a function of controlling (in other words, manipulating) display information on the display surface in a control direction set according to the gesture direction.
  • the screen movement deformation type function includes, for example, a slide function, a display size change function, a rotation function, and a bird's eye view display function (more specifically, an elevation angle and depression angle change function).
  • the slide function can be classified as a screen movement function. Further, if the rotation function is viewed from the viewpoint of angle movement, the rotation function can be classified as a screen movement function. Further, the display size changing function and the bird's eye view display function can be classified into screen deformation functions.
  • the scroll direction (that is, the control direction) is set according to the gesture direction (for example, the drag direction or the flick direction), and the display information is scrolled in the scroll direction.
  • the control direction when the gesture direction (for example, pinch direction) is the enlargement direction, the control direction is set to the enlargement direction, and when the gesture direction is the reduction direction, the control direction is set to the reduction direction. Then, the display information size is changed in the set control direction.
  • the gesture direction for example, pinch direction
  • the control direction when the gesture direction is the reduction direction, the control direction is set to the reduction direction. Then, the display information size is changed in the set control direction.
  • control direction is set to the right rotation direction when the gesture direction (for example, the rotation direction in the rotation drag) is the right rotation direction, and the control direction is set to the left rotation direction when the gesture direction is the left rotation direction.
  • the counter is set to the left rotation direction, and the display information is rotated in the set control direction.
  • the screen movement / deformation function may control the display information by using not only the gesture direction but also the gesture amount (for example, the length of the gesture trajectory).
  • the control amount for example, the scroll amount, the display size change amount, and the rotation amount
  • the control amount may be set larger as the gesture amount is larger.
  • the screen movement deformation type function may control the display information using the gesture speed in addition to or instead of the gesture amount.
  • the display information control speed eg, scroll speed, display size change speed, and rotation speed
  • the display information control speed may be set higher as the gesture speed is higher.
  • the non-moving deformation type function does not use the gesture direction for realizing the function even if it is associated with the gesture operation. For example, even if a flick to an icon is associated with an execution instruction function of a specific program, the function belongs to the non-moving deformation type. For example, when dragging is used for the drawing function and the handwritten character input function, only the trajectory corresponding to the dragging is displayed, and the display information is not controlled according to the dragging direction.
  • a composite icon is a composite of a plurality of icons.
  • the composite icon is displayed on the display surface when a gesture operation of the screen movement deformation type function is performed.
  • the screen associated with the gesture operation related to the appearance of the composite icon in other words, the opportunity to display the composite icon
  • a moving deformation type function is executed.
  • any icon in the composite icon is associated with the screen movement deformation type function associated with the gesture operation related to the appearance of the composite icon.
  • different control directions are assigned to the icons in the composite icon. For this reason, when an execution instruction operation is performed on any one of the composite icons, the screen movement deformation type function is executed with the control direction assigned to the icon.
  • One point touch operation is exemplified as the execution instruction operation for the composite icon.
  • the screen movement deformation type function associated with the composite icon may be continuously executed while the state of touching any one of the composite icons continues.
  • the control amount (for example, the scroll amount) in the screen movement deformation type function is increased by the long press operation rather than the tap operation.
  • the screen movement deformation type function may be continuously executed while tapping is continuously performed.
  • FIG. 14 shows a scroll composite icon 72 as an example of the composite icon.
  • the scroll composite icon 72 has eight icons 72a to 72h. All of the icons 72a to 72h are associated with the scroll function, but different scroll directions are assigned to the icons 72a to 72h. Specifically, the icon 72a is assigned to scroll in the upward direction, the icon 72b is assigned to scroll in the upper right 45 ° direction, and the icon 72c is assigned to scroll in the right direction.
  • the scroll directions of the icons 72d, 72e, 72f, 72g, and 72h are respectively assigned to the lower right 45 ° direction, the lower direction, the lower left 45 ° direction, the left direction, and the upper left 45 ° direction. In view of this point, in the example of FIG.
  • the icons 72a to 72h are drawn with a design in which the vertices of the vertically long triangles face the scroll direction.
  • the design of the scroll composite icon 72 is not limited to the illustrated example.
  • the icons 72a to 72h may also be referred to as scroll icons 72a to 72h.
  • FIG. 15 shows a conceptual diagram of the scroll composite icon.
  • a drag 70 that is an example of a gesture operation is associated with a scroll function that is an example of a screen movement deformation type function.
  • a scroll composite icon 72 capable of executing a scroll function that is a function associated with the drag 70 is displayed.
  • each of the icons 72a to 72h receives an instruction to execute the scroll function and executes the scroll function in the scroll direction set as described above.
  • the slide direction of the map image is the same right direction as the drag direction.
  • the scroll direction of the map image is generally expressed as the left direction. That is, in the scroll function and the slide function, the scroll direction and the slide direction, which are control directions, differ by 180 °.
  • both the scroll function and the slide function are common in that the control direction is set according to the gesture direction (drag direction in the example of FIG. 15) or the direction designated by the scroll icons 72a to 72h.
  • FIG. 15 illustrates an example in which the left scroll icon 72g (see FIG. 14) is touched.
  • icons 72a to 72f and 72h in other scroll directions, It is also possible to scroll in the direction of.
  • the display size change composite icon 80 includes two display size change icons 80a and 80b.
  • the two display size change icons 80a and 80b may be referred to as an enlarged icon 80a and a reduced icon 80b, respectively, depending on the display size change direction (that is, the control direction).
  • the rotation composite icon 84 includes two rotation icons 84 a and 84 b.
  • the two rotation icons 84a and 84b may be referred to as a right rotation icon 84a and a left rotation icon 84b, respectively, depending on the rotation direction (that is, the control direction).
  • the design of the composite icons 80 and 84 is not limited to the illustrated example.
  • a composite icon is called on the display surface by a gesture operation, and the screen movement deformable function associated with the gesture operation can be executed in various directions using the composite icon. For this reason, if a composite icon is used, the number of repeated gesture operations can be reduced to reduce the operation burden. If a composite icon is used, the control direction of the display image can be selected as appropriate.
  • a composite icon is displayed simply by performing a gesture operation associated with the function to be executed. That is, a composite icon corresponding to the function intended by the user is automatically displayed.
  • the composite icon is not called, so the display information is not hidden by the composite icon.
  • FIG. 18 illustrates a block diagram of the control unit 16.
  • the display unit 12, the input unit 14, and the storage unit 18 are also illustrated for explanation.
  • the control unit 16 includes an input analysis unit 40, an overall control unit 42, a first image forming unit 44, a first image holding unit 46, a second image forming unit 48, A two-image holding unit 50, an image composition unit 52, a composite image holding unit 54, and a composite icon management unit 56 are included.
  • the input analysis unit 40 analyzes the user operation detected by the input unit 14 and identifies the user operation. Specifically, the input analysis unit 40 acquires coordinate data detected along with a user operation from the input unit 14, and acquires user operation information from the coordinate data.
  • the user operation information is, for example, information such as the type of user operation, the start and end points of finger movement, the trajectory from the start point to the end point, the moving direction, the moving amount, the moving speed, and the moving acceleration.
  • the difference between the start point and the end point can be distinguished from a predetermined threshold value (referred to as a “touch / gesture identification threshold value”) to identify the touch operation and the gesture operation. It is. Further, as described above, the drag and the flick can be identified from the finger moving speed at the end of the trajectory.
  • pinch out and pinch in can be identified from the moving direction.
  • the two drags draw a circle while maintaining a distance, it is possible to identify that the rotation drag has been performed.
  • a drag and a one-point touch are identified at the same time, it can be identified that the pinch-out, the pinch-in, and the rotational drag are one-point moving types.
  • the overall control unit 42 performs various processes in the control unit 16. For example, the overall control unit 42 associates a position on the input surface of the input unit 14 with a position on the display surface of the display unit 12. According to this, the touch position in the touch operation, the gesture locus in the gesture operation, and the like are associated on the display surface. With such association, it is possible to identify the position on the display surface where the user operation is intended. Such association can be realized by a so-called graphical user interface (GUI) technique.
  • GUI graphical user interface
  • the overall control unit 42 identifies a function desired by the user, that is, a user instruction based on, for example, user operation information and function identification information.
  • the function identification information is, for example, information in which an association between a user operation and a function to be executed is defined through the operation status information.
  • the operation status information includes, for example, the usage status of the information display device 10 (in other words, the usage mode), the operation target on which the user operation has been performed, the type of user operation that can be accepted according to the usage status and the operation target, etc. Information.
  • the drag is identified as instructing the execution of the scroll function.
  • the tap is identified as instructing execution of the display size enlargement function. For example, if no function is associated with the flick for the enlarged icon, it is determined that the flick is an invalid operation.
  • the overall control unit 42 controls the display information on the display surface by controlling the first image forming unit 44, the second image forming unit 48, and the image composition unit 52.
  • the display information may be changed based on the identification result of the user instruction, or may be based on an instruction on program execution irrespective of the identification result of the user instruction.
  • the overall control unit 42 performs general control on the other functional units 40, 44, 46, 48, 50, 52, 54, and 56, for example, adjustment of execution timing.
  • the first image forming unit 44 reads the first information 60 according to the instruction from the overall control unit 42 from the storage unit 18, forms the first image from the first information 60, and converts the first image into the first image holding unit 46.
  • the second image forming unit 48 reads the second information 62 according to the instruction from the overall control unit 42 from the storage unit 18, forms a second image from the second information 62, and converts the second image into the second image. Store in the holding unit 50.
  • the image composition unit 52 reads the first image from the first image holding unit 46, reads the second image from the second image holding unit 50, and combines the first image and the second image.
  • the synthesized image is stored in the synthesized image holding unit 54.
  • the image composition is performed so that the first image and the second image are displayed in an overlapping manner.
  • first image is the lower image (in other words, the lower layer) and the second image is the upper image (in other words, the upper layer) is illustrated.
  • up and down means up and down in the normal direction of the display surface, and the side closer to the user viewing the display surface is expressed as “up”.
  • image data is superimposed based on such a concept.
  • the lower image is displayed in the transparent portion of the upper image.
  • the drawing portion of the upper image hides the lower image.
  • a composite image in which the lower image is transparent can be formed.
  • the setting of which of the first image and the second image is the upper image may be unchangeable or may be changeable.
  • the composite image stored in the composite image holding unit 54 is transferred to the display unit 12 and displayed on the display unit 12.
  • the display screen changes when the composite image is updated, that is, when at least one of the first image and the second image is updated.
  • the composite icon management unit 56 manages display of composite icons under the control of the overall control unit 42. Specifically, the composite icon management unit 56 manages information such as the display position, size, orientation, and display attribute, and controls the second image forming unit 48 and the image composition unit 52 based on the management information. To manage the display of composite icons.
  • the composite icon management unit 56 reads the composite icon image data from the storage unit 18 with respect to the second image forming unit 48 and forms a composite icon image with a size corresponding to the size of the display surface. And instructing that the formed composite icon image is drawn on the transparent plane according to the display position and orientation and stored in the second image holding unit 50. Further, regarding the deletion of the composite icon, the composite icon management unit 56 causes the second image forming unit 48 to store an image that does not have the composite icon image in the second image holding unit 50, for example. Further, the composite icon management unit 56 instructs the image composition unit 52 to compose the images in the image holding units 46 and 50.
  • FIG. 19 illustrates a processing flow S10 until a composite icon is displayed.
  • the input unit 14 receives a user operation in step S11, and the control unit 16 identifies the input user operation in step S12.
  • the control unit 16 executes a function associated with the user operation based on the identification result in step S12.
  • step S14 the control unit 16 refers to the user operation received in step S11 as a condition (“composite icon display start condition” or “display start condition”) set in advance for displaying the composite icon. Judgment) is satisfied. If it is determined that the display start condition is not satisfied, the processing of the information display device 10 returns to step S11. On the other hand, when determining that the display start condition is satisfied, the control unit 16 performs a process of displaying the composite icon in step S15. After the composite icon is displayed, the processing flow S10 in FIG. 19 ends.
  • a composite icon display start condition a composite icon is displayed when a gesture operation of the screen movement deformation type function (in other words, a gesture operation that triggers display of the composite icon) is performed once. It is possible to adopt a condition (referred to as “one-time operation condition”). According to the one-time operation condition, the composite icon can be used immediately. Therefore, the operation burden of repeating the same gesture operation many times can be reduced.
  • operation time threshold value a predetermined threshold value
  • operation time condition may be added to the operation condition once.
  • a condition that a composite icon is displayed when a single operation speed of the gesture operation of the screen movement deformation type function is equal to or higher than a predetermined threshold (referred to as “operation speed threshold”) ( (Referred to as “operation speed condition”) may be added to the operation condition once. That the gesture operation is performed quickly means, for example, a situation where the user wants to see the display information after the operation quickly. For this reason, it is considered that the gesture operation is likely to be repeated further. Therefore, according to the operation speed condition, it is possible to display the composite icon while more accurately identifying the user's intention.
  • the display timing may be specified in the operation speed condition. That is, the operation speed condition is such that when the single operation speed of the gesture operation of the screen movement deformation type function is equal to or higher than the operation speed threshold, the composite icon is displayed at a timing earlier than a predetermined icon display timing. You may deform
  • gesture amount threshold a predetermined threshold
  • a condition of displaying referred to as “gesture amount condition” may be added to the one-time operation condition.
  • the fact that the gesture operation is performed largely means, for example, a situation where the user desires a large control amount for the display information. For this reason, it is considered that the gesture operation is likely to be repeated further. Therefore, according to the gesture amount condition, it is possible to display the composite icon while more accurately identifying the user's intention.
  • end point condition a condition that a composite icon is displayed (hereinafter referred to as “end point condition”). ) May be added to the operation condition once.
  • the predetermined region on the display surface is, for example, a peripheral region 32b of the display surface 32 as shown in FIG. 20, the peripheral area 32b of the display surface 32 corresponds to the peripheral area 34b of the input surface 34, and the end point 70b of the drag 70 exists in the peripheral areas 32b and 34b.
  • region is not limited to the peripheral area
  • the drag illustrated in FIG. 20 may be, for example, one drag during a two-point movement type pinch out.
  • a condition that a composite icon is displayed when a composite icon call operation is performed following a gesture operation of the screen movement deformation type function (hereinafter referred to as a “call operation condition”) is set as a one-time operation condition. May be added.
  • the condition of “following” includes a condition that the gesture operation and the composite icon call operation are performed within a predetermined operation time interval, and a condition that no other operation is performed during the operation. Including.
  • the composite icon call operation is, for example, a touch operation.
  • an operation of touching an arbitrary point on the input surface with another finger without releasing the dragged finger as the gesture operation from the end point is called a composite icon call It can be used as an operation.
  • a tap may be adopted as such a touch operation, or a double tap or a long press may be adopted.
  • Such a touch operation can also be performed when the gesture operation is a pinch-out using a plurality of fingers.
  • an operation of touching the end point of the drag performed as the gesture operation or the vicinity thereof can be used as the composite icon calling operation.
  • a tap may be employed as such a touch operation, or a double tap may be employed.
  • a touch operation can also be performed when the gesture operation is a flick and when the gesture operation is a pinch out using a plurality of fingers or the like.
  • a long press may be employed as the touch operation after dragging. In this case, the finger used for dragging is not released from the input surface, and a long press is performed as it is.
  • Such a composite icon calling operation by long pressing can be performed even when the gesture operation is a pinch out using a plurality of fingers or the like.
  • a flick operation may be adopted instead of the touch operation. Specifically, as illustrated in FIG. 21, flicking is performed so as to trace the drag locus.
  • the composite icon call operation can suppress the accidental display of the composite icon.
  • no-operation progress condition a condition that a composite icon is displayed when a non-operation state continues for a predetermined time (time length) or more after a gesture operation of the screen movement deformation type function (“no-operation progress condition”) May be added to the operation condition once. According to the no operation progress condition, the composite icon is not displayed immediately. For this reason, it contributes to operation mistake prevention.
  • a composite icon display start condition a condition that a composite icon is displayed when a gesture operation of the screen movement deformation type function is continuously repeated a predetermined number of times (referred to as “repeated operation condition”).
  • the condition “continuously” includes a condition that the gesture operation is repeated within a predetermined operation time interval and a condition that no other operation is performed during the repetition.
  • the gesture directions may be the same or different.
  • the drag may be repeated in the same direction or the drag may be performed in various directions. In view of this point, in any case, when the scroll composite icon appears, high convenience is obtained.
  • the “same gesture direction” is not only the case where the gesture direction of each time is exactly the same, but also the case where the gesture direction of each time is substantially the same (for example, variation in the gesture direction of each time is a predetermined tolerance) In the case)
  • the repetition operation condition can detect the repetition of the same gesture operation by monitoring, for example, the type of gesture operation, the gesture direction, the number of repetitions of the loop processing of steps S11 to S14, etc. in step S14 (see FIG. 19). is there.
  • repetition total time threshold value a condition that a composite icon is displayed
  • total repetition time a condition that a composite icon is displayed
  • the repetition of the gesture operation takes a certain amount of time, for example, in a situation where the user wants to see the display information that follows continuously. For this reason, it is considered that the gesture operation is likely to be repeated further. Therefore, according to the repeated total time condition, it is possible to display the composite icon while more accurately identifying the user's intention.
  • repetition speed threshold value a condition that the composite icon is displayed
  • repetition speed a condition that the composite icon is displayed
  • the repetition speed is defined as the number of gesture operations per unit time, for example. That the gesture operation is repeated quickly means, for example, a situation in which the user wants to see the subsequent display information quickly. For this reason, it is considered that the gesture operation is likely to be repeated further. Therefore, according to the repetition speed condition, it is possible to display the composite icon while more accurately identifying the user's intention.
  • the display timing may be specified in the repetition speed condition. That is, the repetition speed condition is such that the composite icon is displayed at a timing earlier than a predetermined icon display timing when the repetition speed of the gesture operation of the screen movement deformation type function is equal to or higher than the repetition speed threshold. It may be deformed. According to this, a composite icon can be provided quickly.
  • the gesture amount (for example, drag distance) is integrated according to the repetition of the gesture operation of the screen movement deformation type function, and the integrated value reaches a predetermined threshold (referred to as “gesture total amount threshold”).
  • a condition that a composite icon is displayed (referred to as “gesture total amount condition”) may be added to the repeated operation condition.
  • the fact that the integrated value of the gesture amount becomes large means that, for example, the user desires a large control amount for the display information. For this reason, it is considered that the gesture operation is likely to be repeated further. Therefore, according to the gesture total amount condition, it is possible to display the composite icon while more accurately identifying the user's intention.
  • one or more of the above conditions such as the operation time condition exemplified in connection with the one time operation condition may be added to the repeated operation condition.
  • one or more of the above conditions such as an operation time condition are applied to each gesture operation.
  • one or more of the above conditions such as an operation time condition may be applied to a predetermined number of gesture operations (for example, the last gesture operation). According to such a condition addition, it is possible to improve the accuracy of identifying the user intention.
  • the display position of the composite icon is basically arbitrary.
  • the scroll composite icon 72 exists in the vicinity of the end point 70 b of the drag 70, the finger used for the drag 70 is moved onto the scroll composite icon 72 with a small amount of movement. Can be made.
  • the composite icon 72 is arranged on the right side of the drag end point 70b.
  • the composite icon 72 may be arranged on another side of the end point 70b or directly above the end point 70b.
  • end point region a region 70c including the end point 70b
  • the size and shape of the end point area 70c may be a variable value according to the operation situation (the detected finger size, finger movement speed, etc.), or a fixed value that does not depend on the operation situation. It may be. Further, the center of the end point region 70c does not necessarily coincide with the end point 70b.
  • the end point area 70c can be obtained in the coordinate system of the display surface after associating the end point 70b of the drag 70 on the display surface.
  • the end point region 70c may be obtained in the coordinate system of the input surface, and the obtained end point region 70c may be associated with the coordinate system of the display surface.
  • the average end point position is obtained for all gesture operations or a part of the gesture operations that are the determination target of the repeated operation condition, and the obtained The end point area 70c may be set from the end point position.
  • the end point region 70c for a predetermined number of gesture operations for example, the last gesture operation may be set.
  • the composite icon 72 may be arranged on the extension line 70d of the locus of the drag 70. According to this, since the composite icon 72 can be reached by moving the finger used for the drag 70 in the same direction as it is, the movement of the finger is smooth.
  • a composite icon 72 may be displayed at a position where the extension line 70d passes in the end point region 70c.
  • a composite icon 72 may be displayed at a position where the extension line 70d passes in the peripheral area 32b of the display surface 32. According to this, it is possible to avoid the display information at the center of the display surface that is considered to have a high degree of user attention from being hidden by the composite icon 72.
  • the setting range of the peripheral area 32b is the same as the above-described FIG. 20 (related to the end point condition among the composite icon display start conditions) is illustrated here, it is not limited to this example.
  • FIG. 26 to FIG. 28 illustrate curved drag trajectories
  • the following description also applies to linear drag trajectories.
  • the extension line 70d is determined as a straight line connecting two points in the drag trajectory.
  • FIG. 26 illustrates the case where the two points in the locus are the start point 70a and the end point 70b of the drag 70, but the present invention is not limited to this example.
  • the end point 70b of the drag 70 and points other than the end point 70b may be used.
  • the extension line 70d is determined as a straight line that contacts one point in the drag locus.
  • FIG. 28 illustrates a case where one point in the locus is the end point 70b of the drag 70, but is not limited to this example.
  • the extension line 70d can be easily obtained.
  • the drag trajectory is divided into two parts: a start point side portion 70e including a trajectory start point 70a and an end point side portion 70f including a trajectory end point 70f.
  • the user's intention is considered to be clearer in the end point side portion 70f than in the start point side portion 70e.
  • the trajectories in FIGS. 27 and 28 have changed direction during dragging.
  • the composite icon 72 can be displayed at a position reflecting the user's intention by using the end point side portion 70f.
  • the extension line 70d can be obtained in the coordinate system of the display surface after associating the locus of the drag 70 on the display surface.
  • the extension line 70d may be obtained in the coordinate system of the input surface, and the obtained extension line 70d may be associated with the coordinate system of the display surface.
  • an average extension line is obtained for all the gesture operations that are the target of the repeated operation condition determination, or a part of the gesture operations.
  • the extended line may be used as the extended line 70d.
  • an extension line 70d for a predetermined number of gesture operations for example, the last gesture operation may be used.
  • a composite icon (display size change composite icon 80 in FIG. 29) is displayed for each drag. May be provided). In this example, it is assumed that the user only needs to selectively operate one of the two composite icons 80.
  • the composite icon may be displayed with a display attribute different from other icons (in other words, a display method).
  • the composite icon is displayed by display attributes such as blinking, stereoscopic display, animation display, and translucency, or by a combination of a plurality of display attributes. According to this, the visibility of the composite icon is improved, which contributes to prevention of an operation error.
  • FIG. 30 illustrates a processing flow S30 during display of the composite icon.
  • steps S31 and S32 are the same as steps S11 and S12 of FIG. That is, in step S31, the input unit 14 receives a user operation, and in step S32, the control unit 16 identifies the input user operation.
  • step S33 the control unit 16 determines whether or not the user operation received in step S31 is an execution instruction for any icon in the composite icon. Specifically, it is determined whether or not the input position of the user operation corresponds to the display position of any icon in the composite icon, and the user operation is a predetermined operation as an execution instruction operation for the composite icon ( Here, it is determined whether or not the one-point touch is exemplified as described above.
  • step S33 If it is determined in step S33 that the user operation is an execution instruction for any icon in the composite icon, the control unit 16 determines in step S34 that the screen movement deformation type function associated with the composite icon, Execute the screen movement deformation function associated with the gesture operation involved in the appearance of the composite icon. At this time, the screen movement deformation type function is executed in the control direction assigned to the icon given the execution instruction. Thereafter, the processing of the information display device 10 returns to step S31.
  • step S33 determines whether the user operation is an execution instruction for any icon in the composite icon. If it is determined in step S33 that the user operation is not an execution instruction for any icon in the composite icon, the control unit 16 performs a function associated with the user operation received in step S31 in step S35. Execute. Thereafter, the processing of the information display device 10 returns to step S31.
  • step S31 the drag associated with the scroll function is accepted in step S31, and the scroll is executed in step S33. According to this, even when the scroll composite icon is displayed, it is possible to finely adjust the display information by dragging and the like. The same applies to composite icons other than the scroll composite icon.
  • step S34 for example, when a composite icon is tapped (more specifically, when any icon in the composite icon is tapped), a predetermined control amount and a predetermined control speed are set.
  • the screen movement deformation type function associated with the composite icon is executed.
  • the control amount of the display information is determined according to the long press time.
  • the control speed of the display information may be a predetermined constant value or may be gradually increased.
  • the gesture amount or gesture speed of the gesture operation related to the appearance of the composite icon may be reflected in the control amount of the display information when the execution instruction operation is performed on the composite icon.
  • the gesture amount or the gesture speed may be reflected on the control speed of the display information when the execution instruction operation is performed on the composite icon.
  • the control amount or the control speed of the display information is set to be larger as the gesture amount or the gesture speed is larger. More specifically, the scroll amount is set larger as the drag distance is longer. Alternatively, the scroll speed is set larger as the drag distance is longer. Alternatively, the scroll amount is set larger as the drag speed is higher. Alternatively, the scroll speed is set higher as the drag speed is higher. As the drag speed, for example, an average speed or a maximum speed can be used. However, it is not limited to the linear relationship shown in FIG.
  • the unit is intermittently displayed for each unit.
  • Display information may be controlled. For example, as shown in FIG. 32, when the scroll composite icon is tapped once, the display information is scrolled by the one unit, and when the scroll composite icon is pressed for a long time, the scroll for the one unit is interrupted. Do it. According to this, it becomes easy to confirm the change of display information.
  • a change in gesture speed of the gesture operation may be reflected in the control speed of the display information when the execution instruction operation is performed on the composite icon.
  • the speed history of the gesture operation is reproduced once, and when the scroll composite icon is pressed for a long time, the speed history of the gesture operation is Repeat during long press. Since the gesture speed generally decreases at the beginning and end of the gesture operation, a situation similar to the above-described intermittent scroll is provided. For this reason, it becomes easy to confirm the change of display information.
  • any of the above examples can be applied to gesture operations other than dragging and screen movement deformation type functions other than scrolling.
  • control information amount and the control speed may be set larger as the pressing force with respect to the composite icon increases.
  • step S35 when it is determined in step S33 that the user operation is a display size change operation performed on the composite icon, the control unit 16 sets the display size of the composite icon itself in step S35. change.
  • the display size changing operation is, for example, pinch out and pinch in as shown in FIG.
  • the pinch operation may be a two-point movement type (see FIGS. 7 and 9) or a one-point movement type (see FIGS. 8 and 10).
  • FIG. 35 illustrates a processing flow S50 related to erasure of composite icons (that is, display end).
  • the control unit 16 satisfies a predetermined condition (hereinafter referred to as “composite icon deletion condition” or “deletion condition”) for deleting the composite icon. Judge whether or not.
  • control unit 16 performs a process of erasing the composite icon from the display surface in step S52. Thereafter, the processing of the information display device 10 returns to the processing flow S10 (see FIG. 19) until the composite icon is displayed. On the other hand, if it is determined that the erasure condition is not satisfied, the processing of the information display device 10 returns to step S51.
  • the process flow S50 is executed in parallel with the process flow S30 displaying the composite icon. Specifically, step S51 is repeated until the composite icon deletion condition is satisfied, and step S52 is executed as an interrupt process when the composite icon deletion condition is satisfied.
  • operation waiting condition a condition that the composite icon is erased from the display surface when the execution instruction operation for the composite icon is not input. If the composite icon is not used for a certain period of time, the user is likely not to use the composite icon for a while. Therefore, according to the deletion waiting time condition, it is possible to provide high convenience in that the composite icon is deleted after the user's intention is more accurately identified.
  • the length of the waiting time until the composite icon is deleted for example, a predetermined constant value can be adopted.
  • the length of the waiting time may be set based on the gesture speed of the gesture operation involved in the appearance of the composite icon. For example, if the gesture operation is performed quickly, it is considered that there is a high possibility that the gesture operation is repeated as described above. That is, it is considered that there is a high possibility that a composite icon is used. For this reason, when the gesture speed is high, it is preferable to set the erasure waiting time longer.
  • a composite icon erasing condition when the user operation is a predetermined composite icon erasing operation, a condition that the composite icon is erased from the display surface (hereinafter referred to as “erase instruction condition”) is adopted. May be. An operation different from the execution instruction operation for the composite icon (for example, flick for the composite icon) is assigned to the composite icon deletion operation. According to the delete instruction condition, the user can delete the composite icon at any time.
  • both the operation waiting condition and the erasure instruction condition may be adopted, which further improves convenience.
  • a composite icon may be configured by combining icons associated with different types of screen movement deformation type functions.
  • the composite icon 88 shown in FIG. 36 includes scroll icons 72a to 72h and display size change icons 80a and 80b.
  • the scrolling, enlargement, and reduction functions can be operated at one place, so that a favorable operation environment can be provided.
  • scrolling, enlargement, and reduction can be performed independently or in combination. For example, if the two-point touch targeting the upward scroll icon 72a and the enlargement icon 84a is identified, the control unit 16 executes the upward scroll and enlargement simultaneously. Note that the combination of icons is not limited to the example of FIG.
  • the various effects described above can be obtained, and as a result, high convenience can be provided.
  • the gesture operation is a drag and the screen movement deformation type function associated with the drag is mainly exemplified as a scroll, but other gesture operations and other screen movement deformation type functions are also exemplified. Similar effects can be obtained.
  • the display information displayed on the display unit 12 is a map image
  • the use of composite icons is not limited to map images.
  • the composite icon can be used for a list of titles such as books and music and a slide for a list of web search results. Further, for example, the composite icon can be used for turning pages of an electronic book or the like and selecting content such as an electronic album.
  • the display information to be controlled by the gesture operation and the composite icon may be displayed on the entire display surface or may be displayed on a part of the display surface.
  • the display information displayed on a part of the display surface is, for example, display information in a window provided on the part.
  • a part of the display surface may be one-dimensional as illustrated in FIG. That is, in the example of FIG. 37, the elements A, B, C, D, E, F, G, H, and I forming the display information form a row on the zigzag path (in other words, connected to each other). ) Move and the movement is controlled by drag or flick.
  • a contact type touch panel is exemplified as the input unit 14.
  • a non-contact type also referred to as a three-dimensional (3D) type
  • 3D three-dimensional
  • a detectable region of the sensor group (in other words, an input region that can accept user input) is provided as a three-dimensional space on the input surface, and a finger in the three-dimensional space is placed on the input surface. The position projected on is detected.
  • Some non-contact types can detect the distance from the input surface to the finger. According to this method, the finger position can be detected as a three-dimensional position, and further, the approach and retreat of the finger can also be detected.
  • Various systems have been developed as non-contact type touch panels. For example, a projection capacity system which is one of electrostatic capacity systems is known.
  • the finger is exemplified as the indicator used by the user for input.
  • a part other than the finger can be used as the indicator.
  • a tool such as a touch pen (also referred to as a stylus pen) may be used as an indicator.
  • a so-called motion sensing technology may be used for the input unit 14.
  • Various methods have been developed as motion sensing technology. For example, a method is known in which a user's movement is detected by a user holding or wearing a controller equipped with an acceleration sensor or the like.
  • a method of extracting a feature point such as a finger from a captured image of a camera and detecting a user's movement from the extraction result is known.
  • An intuitive operation environment is also provided by the input unit 14 using the motion sensing technology.
  • the input / display unit 20 is illustrated above, the display unit 12 and the input unit 14 may be arranged separately. Even in this case, an intuitive operation environment is provided by configuring the input unit 14 with a touch panel or the like.
  • the information display device 10 may further include elements other than the above elements 12, 14, 16, and 18.
  • an audio output unit that outputs auditory information
  • a communication unit that performs wired or wireless communication with various devices
  • the current position of the information display device 10 conform to, for example, a GPS (Global Positioning System) system.
  • GPS Global Positioning System
  • One or more of the current position detection units to be detected may be added.
  • the voice output unit can output, for example, operation sounds, sound effects, guidance sounds, and the like.
  • a notification sound can be output at each timing of appearance, use, and deletion of a composite icon.
  • the communication unit can be used for, for example, new acquisition and update of information stored in the storage unit 18. Further, the current position detection unit can be used for a navigation function, for example.
  • the information display device 10 may be a portable or desktop information device.
  • the information display device 10 may be applied to a navigation device or an audio / visual device mounted on a moving body such as an automobile.
  • 10 information display device 12 display unit, 14 input unit, 16 control unit, 18 storage unit, 20 input / display unit, 32 display surface, 32b peripheral region, 34 input surface (input region), 34b peripheral region, 70 drag, 70a start point, 70b end point, 70c end point area, 70d extension line, 70e start point side part, 70f end point side part, 72 scroll composite icon, 72a to 72h scroll icon, 80 display size change composite icon, 80a enlarge icon (display size change icon ), 80b reduction icon (display size change icon), 84 rotation composite icon, 84a right rotation icon (rotation icon), 84b left rotation icon (rotation icon), 88 composite icon S10, S30, S50 processing flow.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　情報表示装置は、表示面を有する表示部と、ユーザ操作を受け付ける入力部と、制御部を含む。制御部は、ユーザ操作が、表示面上の表示情報を、ジェスチャ方向に応じて設定される制御方向に制御する画面移動変形型機能に関連付けられたジェスチャ操作である場合、複合アイコンを表示面に表示させる。複合アイコンは、いずれも画面移動変形型機能に関連付けられているが制御方向の割り当てが異なっている複数のアイコンの複合体である。制御部は、ユーザ操作が複合アイコン中のいずれかのアイコンに対する実行指示操作である場合、実行指示操作が行われたアイコンに割り当てられている制御方向で以て画面移動変形型機能を実行する。これにより、高い利便性が提供される。

Description

情報表示装置および表示情報操作方法
　本発明は、情報表示装置および表示情報操作方法に関する。
　下記特許文献１，２には、タッチパネルを利用した機器が開示されている。
　特許文献１の携帯情報機器では、地図画像が表示されている画面上で指を動かすと、指の移動方向にその移動距離だけ地図画像が移動して表示される。これによれば、指の動作履歴によって、スクロール操作の実行指示およびスクロール量が同時に入力される。また、２本の指を遠ざけると、その動作履歴によって、地図画像の拡大指示および拡大量が入力される。また、２本の指を近づけると、その動作履歴によって、地図画像の縮小指示および縮小量が入力される。また、１本の指を軸に他の１本の指を回転させると、その動作履歴によって、地図画像の回転指示および回転量が入力される。
　特許文献２のナビゲーション装置では、地図画像の連続的なスムーススクロール処理を行うためのスムーススクロール操作用アイコンが表示される。具体的には、このアイコンは、運転席の位置に合わせて、地図画像上の右下部分又は左下部分に表示される。このアイコンの所定方向を示す矢印部分が指でタッチされると、タッチされ続けている時間だけ、その矢印方向へナビゲーション地図画像が高速に移動する。
　また、特許文献２のナビゲーション装置では、上記スムーススクロール操作用アイコン以外の領域がタッチされると、当該地点を画面中心に移動させるタッチスクロール処理が実行される。また、上記スムーススクロール操作用アイコン以外の領域をタッチし、タッチしている指を画面上で移動させると、指の軌跡に合わせて地図を順次移動させるドラッグスクロール処理が実行される。
　このように、特許文献２のナビゲーション装置では、スムーススクロール処理を実行させるための領域（すなわち、スムーススクロール操作用アイコン）と、タッチスクロール処理およびドラッグスクロール処理を実行させるための領域（すなわち、スムーススクロール操作用アイコン以外の領域）とが、区分けされる。これにより、スムーススクロール操作とタッチスクロール操作が非常に似通っている場合（例えば、両操作の違いが、画面に触れ続けている時間の差だけである場合）に比べて、ユーザが意図する種類のスクロール処理を正確に指示できる、としている。
特開２０００－１６３０３１号公報 特開２０１０－３２５４６号公報
　特許文献１の携帯情報機器では、例えば長い距離をスクロールさせる場合、同じ指移動を何回も繰り返さなければならない。スクロール以外の操作についても同様である。
　特許文献２のナビゲーション装置は、スムーススクロール操作とタッチスクロール操作が非常に似通っている場合（例えば、両操作の違いが、画面に触れ続けている時間の差だけである場合）における操作性の悪さを解消することを目的として、提案されている。スクロール操作を行うタイミングはユーザの意思に拠るので、スムーススクロール操作用アイコンはいつでも利用できるように常に表示されている必要がある。
　また、スムーススクロール操作用アイコンにおいて、地図移動方向を示す各矢印部分は、指でタッチできる程度の大きさが必要である。特許文献２に記載されているように８方向分の矢印部分をアイコン中に設けると、スムーススクロール操作用アイコンが大きくなってしまう。
　大きなアイコンが常に表示されていることは、地図の視認に支障を来す状況が想像される。そのような場合、スムーススクロール操作用アイコンの採用が却って、利便性を低下させる可能性がある。
　本発明は、高い利便性等を有した情報表示装置および表示情報操作方法を提供することを目的とする。
　本発明の一形態に係る情報表示装置は、表示面を有する表示部と、ユーザ操作を受け付ける入力部と、制御部を含む。制御部は、ユーザ操作が、表示面上の表示情報を、ジェスチャ方向に応じて設定される制御方向に制御する画面移動変形型機能に関連付けられたジェスチャ操作である場合、複合アイコンを表示面に表示させる。複合アイコンは、いずれも画面移動変形型機能に関連付けられているが制御方向の割り当てが異なっている複数のアイコンの複合体である。制御部は、ユーザ操作が複合アイコン中のいずれかのアイコンに対する実行指示操作である場合、実行指示操作が行われたアイコンに割り当てられている制御方向で以て画面移動変形型機能を実行する。
　上記一形態によれば、ジェスチャ操作によって複合アイコンが表示面上に呼び出され、その複合アイコンを使って、上記ジェスチャ操作に関連付けられている画面移動変形型機能を様々な制御方向に実行可能である。このため、複合アイコンを使えば、ジェスチャ操作の繰り返し回数を減らして、操作負担を軽減できる。また、複合アイコンを使えば、制御方向を適宜、選択可能である。これにより、高い利便性を提供できる。
　また、実行させたい機能に関連付けられているジェスチャ操作を行うだけで、複合アイコンが表示される。すなわち、ユーザが意図している機能に応じた複合アイコンが、自動的に表示される。このため、高い利便性を提供できる。
　また、例えばユーザが操作を行わずに表示情報を見続けている状況下では、複合アイコンは呼び出されないので、表示情報が複合アイコンで隠されることがない。
　本発明の目的、特徴および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
情報表示装置を例示するブロック図である。 入力兼表示部を例示する斜視図である。 １点タッチ操作の概念図である。 ２点タッチ操作の概念図である。 ドラッグ操作の概念図である。 フリック操作の概念図である。 ピンチアウト操作（２点移動型）の概念図である。 ピンチアウト操作（１点移動型）の概念図である。 ピンチイン操作（２点移動型）の概念図である。 ピンチイン操作（１点移動型）の概念図である。 スクロール操作の概念図である。 表示サイズ変更操作（拡大操作および縮小操作）の概念図である。 回転操作の概念図である。 スクロール複合アイコンを例示する図である。 スクロール複合アイコンの概念図である。 表示サイズ変更複合アイコンを例示する図である。 回転複合アイコンを例示する図である。 制御部を例示するブロック図である。 複合アイコンが表示されるまでの処理を例示するフローチャートである。 終点条件の概念図である。 複合アイコン呼び出し操作の概念図である。 複合アイコンの表示位置の第１例を説明する図である。 複合アイコンの表示位置の第２例を説明する図である。 複合アイコンの表示位置の第３例を説明する図である。 複合アイコンの表示位置の第４例を説明する図である。 ジェスチャ軌跡の延長線の求め方の第１例を説明する図である。 ジェスチャ軌跡の延長線の求め方の第２例を説明する図である。 ジェスチャ軌跡の延長線の求め方の第３例を説明する図である。 複合アイコンの表示位置の第５例を説明する図である。 複合アイコンが表示された後の処理を例示するフローチャートである。 ジェスチャ量またはジェスチャ速度と、表示情報の制御量または制御速度との関係を示す概念図である。 表示情報の制御量を例示する図である。 表示情報の制御速度を例示する図である。 複合アイコンのサイズ変更を例示する図である。 複合アイコンの消去に関する処理を例示するフローチャートである。 スクロールアイコンと表示サイズ変更アイコンとを組み合わせた複合アイコンを例示する図である。 要素連結表示形式の概念図である。
　＜全体構成の概略＞
　図１に実施の形態に係る情報表示装置１０のブロック図を例示する。図１の例によれば、情報表示装置１０は、表示部１２と、入力部１４と、制御部１６と、記憶部１８とを含んでいる。
　表示部１２は、各種情報を表示する。表示部１２は、例えば、複数の画素がマトリクス状に配置されることによって構成された表示面と、制御部１６から取得した画像データに基づいて各画素を駆動する（換言すれば、各画素の表示状態を制御する）駆動装置と、を含んでいる。なお、表示部１２で表示する画像は、静止画像の場合もあるし、動画像の場合もあるし、さらには静止画像と動画像の組み合わせの場合もある。
　表示部１２は、例えば液晶表示装置によって構成可能である。この例によれば、表示パネル（ここでは液晶パネル）の表示領域が上記表示面に対応し、表示パネルに外付けされた駆動回路が上記駆動装置に対応する。なお、駆動回路の一部が表示パネルに内蔵される場合もある。液晶表示装置の他に、エレクトロルミネセンス（ＥＬ）表示装置、プラズマディスプレイ装置、等によって、表示部１２を構成することも可能である。
　入力部１４は、ユーザから各種情報を受け付ける。入力部１４は、例えば、ユーザが入力のために用いる指示物を検出する検出部と、検出部によって検出された結果を検出信号として制御部１６へ出力する検出信号出力部と、を含んでいる。
　ここでは、入力部１４がいわゆる接触型のタッチパネルで構成される場合を例示し、以下では入力部１４を「タッチパネル１４」と称する場合もある。なお、タッチパネルは「タッチパッド」等と称される場合もある。また、入力に用いる上記指示物が、ユーザの指（より具体的には、指先）である場合を例示する。
　タッチパネル１４の上記検出部は、ユーザが指先を載せる入力面を提供し、当該入力面に対して設けられたセンサ群によって、入力面上の指の存在を検出する。換言すれば、センサ群によって指を検出可能な領域が、ユーザ入力を受け付け可能な入力領域に対応し、接触型タッチパネルの場合、入力領域は２次元領域の入力面に対応する。
　センサ群は電気式、光学式、機械式、等のいずれでもよいし、あるいは、それらの組み合わせでもよい。また、各種の位置検出方式が開発されており、それらのうちのいずれをタッチパネル１４に採用しても構わない。また、指の位置の検出だけでなく、入力面に対する指の押圧力を検出可能な構成を採用してもよい。
　各センサの出力信号の組み合わせから、入力面上における指先の位置を特定可能である。特定された位置は例えば、入力面に設定された座標上の座標データによって表現される。この場合、入力面上で指を移動させると指位置を示す座標データが変化するので、連続的に取得される一連の座標データによって指の移動を検出可能である。
　なお、座標以外の手法によって指位置を表現してもよい。すなわち、座標データは、指の位置を表現するための指位置データの一例である。
　ここでは、タッチパネル１４の上記検出信号出力部が、各センサの出力信号から、指位置を示す座標データを生成し、その座標データを検出信号として制御部１６へ送信する例を挙げる。但し、例えば、座標データへの変換を、制御部１６に行わせてもよい。そのような例では、検出信号出力部は、各センサの出力信号を、制御部１６が取得可能な形式の信号に変換し、得られた信号を検出信号として制御部１６へ送信する。
　また、図２の斜視図に示すように、タッチパネル１４（図１参照）の入力面３４と表示部１２（図１参照）の表示面３２とが重ねられた構造、換言すれば入力面３４と表示面３２とが一体化した構造を例示する。そのような一体構造によって、入力兼表示部２０（図１参照）、より具体的にはタッチスクリーン２０が提供される。
　入力面３４と表示面３２との一体構造によれば、入力面３４と表示面３２とはユーザにとって同一視され、あたかも表示面３２に対して入力操作を行っている感覚をユーザに与える。このため、直感的な操作環境が提供される。なお、かかる点に鑑み、例えば「ユーザが表示面３２を操作する」といった表現を用いる場合もある。
　制御部１６は、情報表示装置１０における各種の処理および制御を行う。例えば、制御部１６は、タッチパネル１４から入力された情報を解析し、その解析結果に応じた画像データを生成し、その画像データを表示部１２へ出力する。
　ここでは、制御部１６が中央演算処理部（例えば１つまたは複数のマイクロプロセッサで構成される）と主記憶部（例えばＲＯＭ、ＲＡＭ、フラッシュメモリ等の１つまたは複数の記憶装置で構成される）とによって構成される場合を例示する。この例によれば、主記憶部に格納された各種プログラムを中央演算処理部が実行することによって（換言すれば、ソフトウェアによって）、各種機能が実現される。各種機能は並列的に実現させることも可能である。
　各種プログラムは、予め制御部１６の主記憶部に格納されていてもよいし、あるいは、実行時に記憶部１８から読み出されて主記憶部に格納されてもよい。主記憶部は、プログラムだけでなく各種データの格納にも利用される。また、主記憶部は、中央演算処理部がプログラムを実行する際の作業領域を提供する。また、主記憶部は、表示部１２に表示する画像を書き込むため画像保持部を提供する。画像保持部は「ビデオメモリ」、「グラフィックメモリ」等と称される場合もある。
　なお、制御部１６が行う処理および制御の全部又は一部を、ハードウェア（例えば、特定の演算を行うように構成された演算回路等）として構成されていてもよい。
　記憶部１８は、各種情報を格納する。ここでは、記憶部１８は、制御部１６が利用する補助記憶部として設けられている。記憶部１８は、例えば、ハードディスク装置、光ディスク、書き換え可能かつ不揮発性の半導体メモリ、等の記憶装置の１つ以上を利用して構成可能である。
　＜ユーザ操作とその機能＞
　情報表示装置１０のより具体的な構成および処理を説明する前に、タッチパネル１４に対するユーザ操作について説明する。
　ユーザ操作は、指の動きから、タッチ操作とジェスチャ操作とに大別される。なお、以下では、タッチ操作とジェスチャ操作を「タッチ」および「ジェスチャ」とそれぞれ称する場合もある。タッチ操作は、少なくとも１本の指先をタッチパネルの入力面に接触させ、接触させた指を、入力面上で移動させることなく、入力面から離す操作である。これに対し、ジェスチャ操作は、少なくとも１本の指先を入力面に接触させ、接触させた指を入力面上で移動させた（換言すれば、スライドさせた）後に、入力面から離す操作である。
　タッチ操作によって検出される座標データ（換言すれば、指位置データ）は、基本的には変化が無く、静的である。これに対し、ジェスチャ操作によって検出される座標データは、時間経過と共に変化し、動的である。そのような変化する一連の座標データによれば、入力面上で指が移動を開始した地点および終了した地点、移動始点から移動終点に至る軌跡、移動方向、移動量、移動速度、移動加速度、等の情報を取得可能である。
　図３に、タッチ操作の第１例として、１点タッチ操作（単に「１点タッチ」とも称する）を説明する概念図を示す。なお、図３および後述の図４～図１０では、上段に入力面３４の平面図を示し、下段に入力面３４の側面図または断面図を示している。
　図３に示すように、１点タッチでは、ユーザは１本の指を入力面３４に点接触させる。図３ではタッチ地点（換言すれば、指の検出地点）を黒塗り丸印で模式的に示している。かかる図示手法は後述の図面でも用いることにする。なお、黒塗り丸印を実際に表示面に表示させてもよい。
　１点タッチは例えば、シングルタップ、マルチタップおよび長押しの各操作に分類可能である。シングルタップとは、指先で入力面３４を１回、軽く叩く操作である。シングルタップは単に「タップ」と称される場合もある。マルチタップとは、タップを複数回繰り返す操作である。マルチタップとして、ダブルタップが代表的である。長押しとは、指先の点接触を維持する操作である。これらの操作は、例えば指の接触（換言すれば、指の検出）の継続時間および回数によって、識別可能である。
　図４は、タッチ操作の第２例として、２点タッチ操作（単に「２点タッチ」とも称する）を説明する概念図である。２点タッチは、指を２本使う点を除いて、基本的に１点タッチと同じである。このため、２点タッチによっても、例えば、タップ、マルチタップおよび長押しの各操作を行うことが可能である。２点タッチでは、片手のうちの２本の指を使ってもよいし、あるいは、右手の１本の指と左手の１本の指とを使ってもよい。なお、２本の指の位置関係は図４の例に限定されるものではない。
　なお、３本以上の指でタッチ操作を行うことも可能である。
　図５は、ジェスチャ操作の第１例として、ドラッグ操作（単に「ドラッグ」とも称する）を説明する概念図である。ドラッグとは、指先を入力面３４上に置いたままでずらす操作である。なお、指の移動方向および移動距離は、図５の例に限定されるものではない。
　図５において、指の移動始点を黒塗り丸印で模式的に示し、指の移動終点を黒塗り三角形で模式的に示し、その三角形の向きで指の移動方向を表現し、黒塗り丸印と黒塗り三角形を結ぶ線によって軌跡を表現している。かかる図示手法は後述の図面でも用いることにする。なお、黒塗り丸印と黒塗り三角形と軌跡とを実際に表示面に表示させてもよい。
　図６は、ジェスチャ操作の第２例として、フリック操作（単に「フリック」とも称する）を説明する概念図である。フリックとは、指先を入力面３４上で素早く払う操作である。なお、指の移動方向および移動距離は図６の例に限定されるものではない。
　フリックでは、ドラッグと異なり、指が移動途中で入力面３４から離れる。ここではタッチパネル１４が接触型であるので、入力面３４から離れた後の指移動は原理的には検出されない。しかし、例えば、指が入力面３４上を移動する間に得られた一連の座標データの変化から、検出された最終地点における指の移動速度を算出することが可能である。その移動速度が、予め定められた閾値（「ドラッグ／フリック識別閾値」と称することにする）以上であることを以て、フリックを識別可能である。
　また、例えば、検出された最終地点における指の移動方向、移動速度および移動加速度から、指が入力面３４から離れた後に最終的に到達する地点（より具体的には、その地点を入力面３４に投影した地点）を推定可能である。なお、かかる推定処理は、フリックを仮想的なドラッグに変換する処理として解釈することが可能である。
　そこで、情報表示装置１０では、そのように推定された地点を指移動の終点として扱うことにする。この例において上記推定処理は、タッチパネル１４によって実行してもよいし、あるいは制御部１６によって実行してもよい。
　但し、そのような推定は行わず、入力面３４から離れた地点を指移動の終点として扱うように、情報表示装置１０を変形しても構わない。
　図７は、ジェスチャ操作の第３例として、ピンチアウト操作（単に「ピンチアウト」とも称する）を説明する概念図である。ピンチアウトとは、入力面３４上で２本の指先を遠ざける操作である。ピンチアウトは「ピンチオープン」とも称される。
　図７では、２本の指の両方をドラッグする場合を例示した。これに対し、図８にジェスチャ操作の第４例として示すように、一方の指先を入力面３４上に固定し（換言すれば、一方の指先はタッチ状態を維持し）、他方の指先のみをドラッグすることによって、ピンチアウトを行うことも可能である。なお、図７および図８のやり方を区別する場合、図７のやり方を「２点移動型」と称し、図８のやり方を「１点移動型」と称することにする。
　図９は、ジェスチャ操作の第５例として、ピンチイン操作（単に「ピンチイン」とも称する）を説明する概念図である。ピンチインとは、入力面３４上で２本の指先を近づける操作である。ピンチインは「ピンチクローズ」とも称される。図９には２点移動型のピンチインを例示しているが、図１０にジェスチャ操作の第６例として、１点移動型のピンチインを例示する。
　ここで、ピンチアウトとピンチインを「ピンチ操作」または「ピンチ」と総称し、指の移動方向を「ピンチ方向」と称することにする。この場合、ピンチ方向が、指の間隔が拡大する方向である場合、そのピンチ操作は特にピンチアウトと称される。逆に、ピンチ方向が、指の間隔が縮小する方向である場合、そのピンチ操作は特にピンチインと称される。
　なお、ピンチアウトおよびピンチインでは、片手のうちの２本の指を使ってもよいし、あるいは、右手の１本の指と左手の１本の指とを使ってもよい。また、２本の指の位置関係、移動方向および移動距離は、図７～図１０の例に限定されるものではない。また、１点移動型のピンチアウトおよびピンチインにおいて、ドラッグさせる方の指は、図８および図１０の例に限定されるものではない。また、ドラッグの代わりにフリックを使って、ピンチアウトおよびピンチインを行うことも可能である。
　各ユーザ操作は、特定の機能に関連付けられている。具体的には、ユーザ操作が検出されると、そのユーザ操作に関連付けられた処理が制御部１６によって実行され、それにより、対応する機能が実現される。かかる点に鑑みると、ユーザ操作は、実現される機能から、分類することも可能である。
　例えば、表示面３２上のアイコンに対して行うダブルタップは、アイコンに関連付けられているプログラムまたはコマンドを実行させる機能に関連付けられる。この場合、ダブルタップは、実行指示操作として機能する。
　また、図１１に例示するように、表示情報（図１１には地図画像が例示されている）に対して行うドラッグは、その表示情報をスクロールさせるスクロール機能に関連付けられる。この場合、ドラッグ操作は、スクロール操作として機能する。なお、ドラッグの代わりにフリックによって、スクロールを行わせることも可能である。
　また、図１２に例示するように、表示情報（図１２には地図画像が例示されている）に対して行うピンチアウトおよびピンチインは、その情報表示のサイズ（換言すれば、スケール）を変更する機能に関連付けられる。この場合、ピンチアウトおよびピンチインは、表示サイズ変更操作（「表示スケール変更操作」と称してもよい）として機能する。より具体的には、図１２の例では、ピンチアウトが拡大操作に対応し、ピンチインが縮小操作に対応する。
　また、図１３に例示するように、表示情報（図１３には地図画像が例示されている）に対して、２本の指を、距離を保ったまま円を描くように、ドラッグさせる場合、そのドラッグは、その情報表示を回転させる機能に関連付けられる。この場合の２点移動型の回転ドラッグは、回転操作として機能する。なお、３本以上の指で行う回転ドラッグを採用してもよい。また、回転ドラッグを行う指の本数に応じて、関連付ける機能を違えてもよい。
　ここで、１つのユーザ操作に複数種類の機能を割り当てることも可能である。例えば、ダブルタップを、上記の実行指示操作の他に、アイコンに関連付けられたフォルダを開くフォルダ開操作に割り当ててもよい。また、ドラッグを、スクロール機能と、描画機能とに割り当ててもよい。１つのユーザ操作に複数種類の機能を割り当てられている場合、操作対象、使用状況（換言すれば、使用モード）等に応じて、各機能が切り換えられる。
　また、１つの機能に複数種類のユーザ操作を割り当てることも可能である。例えば、アイコンに対する実行指示機能を、ダブルタップと長押しとフリックに関連付けてもよい。この場合、ダブルタップと長押しとフリックのいずれによっても、アイコンに関連付けられたプログラム等を実行可能である。また、例えば、スクロール機能を、ドラッグとフリックとの両方に関連付けてもよい。また、例えば、回転機能を、２点移動型の回転ドラッグと１点移動型の回転ドラッグの両方に関連付けてもよい。
　ここで、ユーザ操作に関連付けられている機能を、画面の移動および変形の観点から、画面移動変形型と非移動変形型とに大別する。なお、以下では、例えば、画面移動変形型機能に関連付けられているジェスチャ操作を、「画面移動変形型機能のジェスチャ操作」と表現する場合もある。
　ジェスチャ操作に関連付けられている画面移動変形型機能は、表示面上の表示情報を、ジェスチャ方向に応じて設定される制御方向に、制御する（換言すれば、操る）機能である。画面移動変形型機能には例えば、スライド機能と、表示サイズ変更機能と、回転機能と、鳥瞰図表示機能（より具体的には、仰角および俯角の変更機能）とが含まれる。なお、スライド機能は画面移動機能に分類可能である。また、回転機能を角度の移動という観点から捉えれば、回転機能を画面移動機能に分類可能である。また、表示サイズ変更機能および鳥瞰図表示機能は、画面変形機能に分類可能である。
　より具体的には、スクロール機能では、ジェスチャ方向（例えば、ドラッグ方向またはフリック方向）に応じてスクロール方向（すなわち、制御方向）を設定し、そのスクロール方向に表示情報をスクロールする。
　また、表示サイズ変更機能では、ジェスチャ方向（例えば、ピンチ方向）が拡大方向である場合には制御方向を拡大方向に設定し、ジェスチャ方向が縮小方向である場合には制御方向を縮小方向に設定し、その設定した制御方向に、表示情報のサイズを変更する。
　また、回転機能では、ジェスチャ方向（例えば、回転ドラッグにおける回転方向）が右回転方向である場合には制御方向を右回転方向に設定し、ジェスチャ方向が左回転方向である場合には制御方向を左回転方向に設定し、その設定した制御方向に、表示情報を回転する。
　なお、画面移動変形型機能は、ジェスチャ方向だけでなく、更にジェスチャ量（例えば、ジェスチャ軌跡の長さ）も利用して、表示情報を制御してもよい。具体的には、ジェスチャ量が大きいほど、表示情報の制御量（例えば、スクロール量、表示サイズ変更量および回転量）を大きく設定してもよい。
　また、画面移動変形型機能は、ジェスチャ量に加えてまたは代えて、ジェスチャ速度を利用して表示情報を制御してもよい。具体的には、ジェスチャ速度が大きいほど、表示情報の制御速度（例えば、スクロール速度、表示サイズ変更速度および回転速度）を大きく設定してもよい。
　他方、非移動変形型機能は、ジェスチャ操作に関連付けられていても、機能の実現にジェスチャ方向を利用しない。例えば、アイコンに対するフリックが、特定のプログラムの実行指示機能に関連付けられていても、当該機能は非移動変形型に属する。また、例えばドラッグを描画機能および手書き文字入力機能で利用する場合も、そのドラッグに応じた軌跡が表示されるだけであり、表示情報がドラッグ方向に応じて制御されるわけでない。
　なお、ユーザ操作およびそれによって実現される機能は、上記の各種例示に限定されるものではない。
　＜複合アイコン＞
　情報表示装置１０では、複合アイコンという特徴的な操作手法を採用している。複合アイコンは複数のアイコンの複合体である。複合アイコンは、画面移動変形型機能のジェスチャ操作が行われた場合に、表示面に表示される。そして、複合アイコン中の各アイコンに対して実行指示操作を行うと、当該複合アイコンの出現に関与した（換言すれば、当該複合アイコンを表示させるきっかけになった）ジェスチャ操作に関連付けられている画面移動変形型機能が実行される。換言すれば、複合アイコン中のいずれのアイコンも、当該複合アイコンの出現に関与したジェスチャ操作に関連付けられている画面移動変形型機能に、関連付けられている。但し、複合アイコン中のアイコンには、互いに異なる制御方向が割り当てられている。このため、複合アイコン中のいずれかのアイコンに対して実行指示操作を行うと、そのアイコンに割り当てられている制御方向で以て、画面移動変形型機能が実行される。
　複合アイコンに対する実行指示操作として、１点タッチ操作が例示される。例えば、複合アイコンのいずれかのアイコンにタッチした状態が持続している間、複合アイコンに関連付けられた画面移動変形型機能が実行され続けるようにしてもよい。この場合、タップ操作よりも長押し操作によって、画面移動変形型機能における制御量（例えば、スクロール量）が大きくなる。但し、この例に限定されるものではない。例えば、タップが連続的に行われている間、画面移動変形型機能が実行され続けるようにしてもよい。
　図１４に、複合アイコンの一例として、スクロール複合アイコン７２を示す。図１４の例によれば、スクロール複合アイコン７２は、８つのアイコン７２ａ～７２ｈを有している。アイコン７２ａ～７２ｈのいずれもスクロール機能に関連付けられているが、各アイコン７２ａ～７２ｈには異なるスクロール方向が割り当てられている。具体的には、アイコン７２ａは上方向のスクロールに割り当てられ、アイコン７２ｂは右上４５°方向のスクロールに割り当てられ、アイコン７２ｃは右方向のスクロールに割り当てられている。また、アイコン７２ｄ，７２ｅ，７２ｆ，７２ｇ，７２ｈのスクロール方向は、右下４５°方向、下方向、左下４５°方向、左方向、左上４５°方向にそれぞれ割り当てられている。かかる点に鑑み、図１４の例では、各アイコン７２ａ～７２ｈが、縦長三角形の頂点をスクロール方向に向けたデザインで描かれている。但し、スクロール複合アイコン７２のデザインは図示の例に限定されるものではない。なお、アイコン７２ａ～７２ｈを、スクロールアイコン７２ａ～７２ｈとも称する場合もある。
　図１５に、スクロール複合アイコンの概念図を示す。ここでは、ジェスチャ操作の一例であるドラッグ７０が、画面移動変形型機能の一例であるスクロール機能に関連付けられている。ドラッグ７０が任意の方向（図１５の例では右方向）に行われることによって、ドラッグ７０に関連付けられている機能であるスクロール機能を実行可能なスクロール複合アイコン７２が表示される。当該スクロール複合アイコン７２によれば、その中の各アイコン７２ａ～７２ｈ（図１４参照）が、スクロール機能の実行指示を受け付け、上記のように設定された自身のスクロール方向にスクロール機能を実行する。
　ここで、図１５の例では、右方向へドラッグを行うことによって、地図画像が右方向にスライドし、表示面の左側から、続きの地図画像が出現する。この場合、地図画像のスライド方向はドラッグ方向と同じ右方向である。これに対し、地図画像のスクロール方向は一般的には左方向と表現される。つまり、スクロール機能とスライド機能では、制御方向であるスクロール方向およびスライド方向が１８０°異なる。但し、スクロール機能とスライド機能のいずれについても、制御方向が、ジェスチャ方向（図１５の例ではドラッグ方向）またはスクロールアイコン７２ａ～７２ｈによって指示された方向に応じて、設定される点で共通する。
　図１５には左スクロール用のアイコン７２ｇ（図１４参照）をタッチする例を図示しているが、他のスクロール方向のアイコン７２ａ～７２ｆ，７２ｈ（図１４参照）をタッチすることにより、当該他の方向にスクロールすることも可能である。
　なお、画面移動変形型機能の他の例である表示サイズ変更機能および回転機能を受け付ける複合アイコンを、「表示サイズ変更複合アイコン」および「回転複合アイコン」とそれぞれ称することにする。より具体的には、図１６に例示するように、表示サイズ変更複合アイコン８０は２つの表示サイズ変更アイコン８０ａ，８０ｂで構成されている。当該２つの表示サイズ変更アイコン８０ａ，８０ｂを、その表示サイズ変更方向（すなわち、制御方向）に応じて、拡大アイコン８０ａおよび縮小アイコン８０ｂとそれぞれ称する場合もある。また、図１７に例示するように、回転複合アイコン８４は２つの回転アイコン８４ａ，８４ｂで構成されている。当該２つの回転アイコン８４ａ，８４ｂを、その回転方向（すなわち、制御方向）に応じて、右回転アイコン８４ａおよび左回転アイコン８４ｂとそれぞれ称する場合もある。なお、複合アイコン８０，８４のデザインは図示の例に限定されるものではない。
　情報表示装置１０によれば、ジェスチャ操作によって複合アイコンを表示面上に呼び出し、その複合アイコンを使って、上記ジェスチャ操作に関連付けられている画面移動変形型機能を様々な方向に実行可能である。このため、複合アイコンを使えば、ジェスチャ操作の繰り返し回数を減らして、操作負担を軽減できる。また、複合アイコンを使えば、表示画像の制御方向を適宜、選択可能である。
　また、実行させたい機能に関連付けられているジェスチャ操作を行うだけで、複合アイコンが表示される。すなわち、ユーザが意図している機能に応じた複合アイコンが、自動的に表示される。
　また、例えばユーザが操作を行わずに表示情報を見続けている状況下では、複合アイコンは呼び出されないので、表示情報が複合アイコンで隠されることがない。
　＜制御部１６の構成例＞
　図１８に制御部１６のブロック図を例示する。なお、図１８には説明のため、表示部１２と入力部１４と記憶部１８も記載している。図１８の例によれば、制御部１６は、入力解析部４０と、全体制御部４２と、第１画像形成部４４と、第１画像保持部４６と、第２画像形成部４８と、第２画像保持部５０と、画像合成部５２と、合成画像保持部５４と、複合アイコン管理部５６とを含んでいる。
　入力解析部４０は、入力部１４によって検出されたユーザ操作を解析し、ユーザ操作を識別する。具体的には、入力解析部４０は、ユーザ操作に伴って検出された座標データを入力部１４から取得し、当該座標データからユーザ操作情報を取得する。ユーザ操作情報は、例えば、ユーザ操作の種類、指移動の始点および終点、始点から終点に至る軌跡、移動方向、移動量、移動速度、移動加速度、等の情報である。
　ユーザ操作の種類の識別について、例えば始点と終点の差を、予め定められた閾値（「タッチ／ジェスチャ識別閾値」と称することにする）と比較することによって、タッチ操作とジェスチャ操作とを識別可能である。また、上記のように軌跡の最後における指移動速度から、ドラッグとフリックを識別可能である。
　また、例えば２つのドラッグが同時に識別された場合、移動方向からピンチアウトとピンチインを識別可能である。また、２つのドラッグが距離を保ったまま円を描いている場合、回転ドラッグが行われたことを識別可能である。また、ドラッグと１点タッチが同時に識別された場合、ピンチアウト、ピンチインおよび回転ドラッグが１点移動型であることを識別可能である。
　全体制御部４２は、制御部１６における各種処理を行う。例えば、全体制御部４２は、入力部１４の入力面上の位置と、表示部１２の表示面上の位置との対応付けを行う。これによれば、タッチ操作におけるタッチ位置、ジェスチャ操作におけるジェスチャ軌跡、等が表示面上に対応付けられる。そのような対応付けにより、ユーザ操作が表示面のどの位置を意図して行われたのかを識別可能である。かかる対応付けは、いわゆるグラフィカル・ユーザ・インターフェース（ＧＵＩ）技術によって実現可能である。
　また、全体制御部４２は、例えば、ユーザ操作情報と機能識別情報とに基づいて、ユーザが所望している機能、すなわちユーザ指示を識別する。機能識別情報は、例えば、ユーザ操作と、実行する機能との関連付けが、操作状況情報を介して規定された情報である。操作状況情報は、例えば、情報表示装置１０の使用状況（換言すれば、使用モード）、ユーザ操作が行われた操作対象、使用状況および操作対象に応じて受け付け可能なユーザ操作の種類、等の情報である。
　より具体的に、例えば、地図閲覧ソフトウェアが使用されている状況下でその地図画像を操作対象としてドラッグが行われた場合、そのドラッグはスクロール機能の実行を指示していると識別される。また、例えば、地図画像上の拡大アイコンを操作対象としてタップが行われた場合、そのタップは表示サイズ拡大機能の実行を指示していると識別される。また、例えば、拡大アイコンに対するフリックに何ら機能が関連付けられていない場合、そのフリックは無効な操作であると判断される。
　また、全体制御部４２は、第１画像形成部４４と第２画像形成部４８と画像合成部５２とを制御することによって、表示面上の表示情報を制御する。なお、表示情報の変更は、ユーザ指示の識別結果に基づく場合もあるし、あるいは、ユーザ指示の識別結果とは関係なく、プログラム実行上の指示に基づく場合もある。
　また、全体制御部４２は、他の機能部４０，４４，４６，４８，５０，５２，５４，５６に対する全般的な制御、例えば実行タイミングの調整を行う。
　第１画像形成部４４は、全体制御部４２の指示に応じた第１情報６０を記憶部１８から読み出し、第１情報６０から第１画像を形成し、第１画像を第１画像保持部４６に格納する。同様に、第２画像形成部４８は、全体制御部４２の指示に応じた第２情報６２を記憶部１８から読み出し、第２情報６２から第２画像を形成し、第２画像を第２画像保持部５０に格納する。
　画像合成部５２は、全体制御部４２の指示の下、第１画像保持部４６から第１画像を読み出し、第２画像保持部５０から第２画像を読み出し、第１画像と第２画像とを合成し、合成した画像を合成画像保持部５４に格納する。
　画像の合成は、第１画像と第２画像とが重なって表示されるように、行われる。ここでは、第１画像が下の画像（換言すれば、下のレイヤ）であり、第２画像が上の画像（換言すれば、上のレイヤ）である場合を例示する。なお、ここでいう「上下」は、表示面の法線方向における上下のことであり、表示面を見ているユーザに近い側を「上」と表現している。実際には、そのような概念に基づいて、画像データが重ねられる。
　合成画像、すなわち表示画面では、上の画像のうちの透明部分には下の画像が表示される。換言すれば、上の画像のうちの描画部分は下の画像を隠すことになる。但し、上の画像の描画部分に透明度を設定することによって、下の画像が透けた状態の合成画像も形成可能である。
　第１画像と第２画像のいずれを上の画像にするかの設定は、変更不可であってもよいし、あるいは、変更可能であってもよい。
　ここでは、第１画像および第２画像による２つのレイヤを合成する例を挙げるが、更に多くのレイヤを合成可能な構成を採用してもよい。また、他の合成手法を採用してもよい。
　合成画像保持部５４に格納された合成画像は、表示部１２へ転送され、表示部１２において表示される。合成画像が更新されることによって、すなわち第１画像と第２画像の少なくとも一方が更新されることによって、表示画面が変化する。
　複合アイコン管理部５６は、全体制御部４２の制御下、複合アイコンの表示を管理する。具体的には、複合アイコン管理部５６は、表示位置、大きさ、向き、表示属性等の情報を管理し、当該管理情報に基づいて第２画像形成部４８および画像合成部５２を制御することによって複合アイコンの表示を管理する。
　例えば、複合アイコン管理部５６は、第２画像形成部４８に対して、記憶部１８から複合アイコンの画像データを読み出すこと、表示面の大きさ等に応じた大きさで複合アイコンの画像を形成すること、形成した複合アイコン画像を表示位置および向きに応じて透明プレーン上に描画して第２画像保持部５０に格納すること、を指示する。また、複合アイコンの消去に関して、複合アイコン管理部５６は、例えば、第２画像形成部４８に対して、複合アイコン画像を有さない画像を第２画像保持部５０に格納させる。また、複合アイコン管理部５６は、画像合成部５２に対して、画像保持部４６，５０内の画像の合成を指示する。
　＜情報表示装置１０の処理例＞
　以下に、複合アイコンに関連した、情報表示装置１０による処理（換言すれば、表示情報操作方法）を例示する。
　＜複合アイコンの表示＞
　図１９に、複合アイコンが表示されるまでの処理フローＳ１０を例示する。図１９の例によれば、ステップＳ１１において入力部１４がユーザ操作を受け付け、ステップＳ１２において制御部１６が、入力されたユーザ操作を識別する。そして、ステップＳ１３において、制御部１６がステップＳ１２の識別結果に基づいて、ユーザ操作に関連付けられている機能を実行する。
　その後、ステップＳ１４において、制御部１６は、ステップＳ１１で受け付けたユーザ操作について、複合アイコンを表示するために予め定められた条件（「複合アイコン表示開始条件」または「表示開始条件」と称することにする）を満たすか否かを判断する。表示開始条件が満たされていないと判断した場合、情報表示装置１０の処理は上記ステップＳ１１に戻る。他方、表示開始条件が満たされていると判断した場合、制御部１６はステップＳ１５において、複合アイコンを表示させる処理を行う。複合アイコンの表示後、図１９の処理フローＳ１０は終了する。
　＜複合アイコン表示開始条件＞
　上記ステップＳ１４に関し、複合アイコン表示開始条件として、画面移動変形型機能のジェスチャ操作（換言すれば、複合アイコンを表示させるきっかけになるジェスチャ操作）が１回、行われた場合に、複合アイコンを表示させる、という条件（「１回操作条件」と称することにする）を採用可能である。１回操作条件によれば、複合アイコンを即座に利用することができる。したがって、何回も同じジェスチャ操作を繰り返すという操作負担を軽減できる。
　ここで、画面移動変形型機能のジェスチャ操作の１回の操作時間の長さが、予め定められた閾値（「操作時間閾値」と称することにする）に達した場合に、複合アイコンを表示させる、という条件（「操作時間条件」と称することにする）を、１回操作条件に付加してもよい。１回のジェスチャ操作がある程度の時間が及ぶということは、例えば、ユーザが表示情報を注視しつつそのジェスチャ操作を行っている状況が想定される。このため、そのジェスチャ操作が更に繰り返される可能性が高いと考えられる。したがって、操作時間条件によれば、ユーザの意図をより正確に識別した上で、複合アイコンを表示することができる。
　また、画面移動変形型機能のジェスチャ操作の１回の操作速度が、予め定められた閾値（「操作速度閾値」と称することにする）以上である場合に、複合アイコンを表示させる、という条件（「操作速度条件」と称することにする）を、１回操作条件に付加してもよい。ジェスチャ操作が素早く行われるということは、例えば、ユーザは、操作後の表示情報を早く見たいと欲している状況が想定される。このため、そのジェスチャ操作が更に繰り返される可能性が高いと考えられる。したがって、操作速度条件によれば、ユーザの意図をより正確に識別した上で、複合アイコンを表示することができる。
　なお、操作速度条件において、表示タイミングを規定してもよい。すなわち、操作速度条件を、画面移動変形型機能のジェスチャ操作の１回の操作速度が、操作速度閾値以上である場合、予め定められたアイコン表示タイミングよりも早いタイミングで、複合アイコンを表示させる、という条件に変形してもよい。これによれば、複合アイコンを素早く提供できる。
　また、画面移動変形型機能のジェスチャ操作の１回のジェスチャ量（例えば、ドラッグ距離）が、予め定められた閾値（「ジェスチャ量閾値」と称することにする）以上である場合に、複合アイコンを表示させる、という条件（「ジェスチャ量条件」と称することにする）を、１回操作条件に付加してもよい。ジェスチャ操作が大きく行われるということは、例えば、ユーザは、表示情報に対して大きな制御量を望んでいる状況が想定される。このため、そのジェスチャ操作が更に繰り返される可能性が高いと考えられる。したがって、ジェスチャ量条件によれば、ユーザの意図をより正確に識別した上で、複合アイコンを表示することができる。
　また、画面移動変形型機能のジェスチャ操作の終点が、表示面上の予め定められた領域内の地点に対応する場合に、複合アイコンを表示させる、という条件（「終点条件」と称することにする）を、１回操作条件に付加してもよい。上記の表示面上の予め定められた領域とは、例えば、図２０に示すように、表示面３２の周縁領域３２ｂである。図２０の例によれば、表示面３２の周縁領域３２ｂは、入力面３４の周縁領域３４ｂに対応し、当該周縁領域３２ｂ，３４ｂ内にドラッグ７０の終点７０ｂが存在する。そのような状況が形成されることよって、複合アイコン（例えば、スクロール複合アイコン）が表示されることになる。例えば、ユーザは、もっと長いドラッグを行いたかったが、周縁領域３２ｂ，３４ｂに到達してしまった、という状況が想定される。また、例えば、ユーザは、複合アイコンを表示させるために、この終点条件を意図的に利用することが可能である。このため、終点条件によれば、ユーザの意図をより正確に識別した上で、複合アイコンを表示することができる。なお、上記の予め定められた領域は周縁領域３２ｂ，３４ｂに限定されるものではない。また、図２０で例示のドラッグは、例えば２点移動型ピンチアウト中の一方のドラッグであってもよい。
　また、画面移動変形型機能のジェスチャ操作に引き続いて複合アイコン呼び出し操作が行われた場合に、複合アイコンを表示させる、という条件（「呼び出し操作条件」と称することにする）を、１回操作条件に付加してもよい。なお、「引き続いて」という条件は、ジェスチャ操作と複合アイコン呼び出し操作とが、予め定められた操作時間間隔以下で行われるという条件と、その途中に他の操作が行われないという条件と、を含む。
　複合アイコン呼び出し操作は、例えば、タッチ操作である。
　より具体的には、図２１に例示するように、上記ジェスチャ操作としてドラッグを行った指を終点から離さずに、他の指で入力面の任意の別地点をタッチする操作を、複合アイコン呼び出し操作として利用可能である。かかるタッチ操作としてタップを採用してもよいし、あるいは、ダブルタップまたは長押しを採用してもよい。なお、かかるタッチ操作は、上記ジェスチャ操作が複数の指を使うピンチアウト等である場合にも、行うことが可能である。
　あるいは、図２１に例示するように、上記ジェスチャ操作として行ったドラッグの終点またはその近傍をタッチする操作を、複合アイコン呼び出し操作として利用可能である。かかるタッチ操作としてタップを採用してもよいし、あるいは、ダブルタップを採用してもよい。なお、かかるタッチ操作は、上記ジェスチャ操作がフリックである場合、および、上記ジェスチャ操作が複数の指を使うピンチアウト等である場合にも、行うことが可能である。また、ドラッグ後のタッチ操作として、長押しを採用してもよい。この場合、ドラッグに使った指を入力面から離さず、そのまま長押しに移行する。かかる長押しによる複合アイコン呼び出し操作は、上記ジェスチャ操作が複数の指を使うピンチアウト等である場合にも、行うことが可能である。
　また、複合アイコン呼び出し操作として、タッチ操作に代えて、フリック操作を採用してもよい。具体的には、図２１に例示するように、ドラッグの軌跡をなぞるようにフリックを行う。
　複合アイコン呼び出し操作によれば、複合アイコンが偶発的に表示されるのを抑制できる。
　また、画面移動変形型機能のジェスチャ操作の後に、無操作状態が、予め定められた時間（時間長さ）以上、続いた場合に、複合アイコンを表示させる、という条件（「無操作経過条件」と称することにする）を、１回操作条件に付加してもよい。無操作経過条件によれば、複合アイコンをすぐに表示しない。このため、操作ミス防止に資する。
　なお、操作時間条件等の上記条件を種々に組み合わせてもよい。
　一方、複合アイコン表示開始条件として、画面移動変形型機能のジェスチャ操作が、予め定められた回数、連続して繰り返された場合に、複合アイコンを表示させる、という条件（「繰り返し操作条件」と称することにする）を採用可能である。ここで、「連続して」という条件は、予め定められた操作時間間隔以下でジェスチャ操作が繰り返されるという条件と、繰り返し途中に他の操作が行われないという条件と、を含む。
　なお、上記の繰り返し操作条件では、ジェスチャ操作の繰り返しにおいてジェスチャ方向が同じであることまでは要求していない。すなわち、ジェスチャ方向は、同じであってもよいし、異なっていてもよい。例えば、表示情報中の或る項目（地図上の或る地点、等）を探す際、同じ方向にドラッグを繰り返す場合もあれば、様々な方向にドラッグを行う場合もある。かかる点に鑑みると、いずれの場合にも、スクロール複合アイコンが出現すると、高い利便性が得られる。
　但し、ジェスチャ操作は同じジェスチャ方向に繰り返されること、という条件を上記の繰り返し操作条件に付加することも可能である。なお、「同じジェスチャ方向」とは、各回のジェスチャ方向が全く同じ場合だけでなく、各回のジェスチャ方向が実質的に同じである場合（例えば、各回のジェスチャ方向のばらつきが、予め定められた許容範囲内に収まる場合）を含む。
　なお、繰り返し操作条件に、類似のジェスチャ操作（例えばドラッグとフリック）を同じジェスチャ操作として扱うという条件を付加してもよい。
　繰り返し操作条件は、例えば、ステップＳ１４（図１９参照）においてジェスチャ操作の種類、ジェスチャ方向、ステップＳ１１～Ｓ１４のループ処理の繰り返し回数、等を監視することによって、同じジェスチャ操作の繰り返しを検出可能である。
　ユーザがジェスチャ操作を繰り返すということは、そのジェスチャ操作が更に繰り返される可能性が高いと考えられる。このため、繰り返し条件によれば、ユーザの意図をより正確に識別した上で、複合アイコンを表示することができる。
　ここで、ジェスチャ操作の繰り返し時間の長さが、予め定められた閾値（「繰り返し総時間閾値」と称することにする）に達した場合に、複合アイコンを表示させる、という条件（「繰り返し総時間条件」と称することにする）を、繰り返し操作条件に付加してもよい。ジェスチャ操作の繰り返しがある程度の時間に及ぶということは、例えば、ユーザが、続きの表示情報を早く見たいと欲している状況が想定される。このため、そのジェスチャ操作が更に繰り返される可能性が高いと考えられる。したがって、繰り返し総時間条件によれば、ユーザの意図をより正確に識別した上で、複合アイコンを表示することができる。
　また、画面移動変形型機能のジェスチャ操作の繰り返し速度が、予め定められた閾値（「繰り返し速度閾値」と称することにする）以上である場合に、複合アイコンを表示させる、という条件（「繰り返し速度条件」と称することにする）を、繰り返し操作条件に付加してもよい。繰り返し速度は、例えば、単位時間当たりのジェスチャ操作の回数として定義される。ジェスチャ操作が素早く繰り返されるということは、例えば、ユーザが、続きの表示情報を早く見たいと欲している状況が想定される。このため、そのジェスチャ操作が更に繰り返される可能性が高いと考えられる。したがって、繰り返し速度条件によれば、ユーザの意図をより正確に識別した上で、複合アイコンを表示することができる。
　なお、繰り返し速度条件において、表示タイミングを規定してもよい。すなわち、繰り返し速度条件を、画面移動変形型機能のジェスチャ操作の繰り返し速度が、繰り返し速度閾値以上である場合、予め定められたアイコン表示タイミングよりも早いタイミングで、複合アイコンを表示させる、という条件に変形してもよい。これによれば、複合アイコンを素早く提供できる。
　また、画面移動変形型機能のジェスチャ操作の繰り返しに従ってジェスチャ量（例えば、ドラッグ距離）を積算し、その積算値が、予め定められた閾値（「ジェスチャ総量閾値」と称することにする）に達した場合に、複合アイコンを表示させる、という条件（「ジェスチャ総量条件」と称することにする）を、繰り返し操作条件に付加してもよい。ジェスチャ量の積算値が大きくなるということは、例えば、ユーザは、表示情報に対して大きな制御量を望んでいる状況が想定される。このため、そのジェスチャ操作が更に繰り返される可能性が高いと考えられる。したがって、ジェスチャ総量条件によれば、ユーザの意図をより正確に識別した上で、複合アイコンを表示することができる。
　なお、繰り返し総時間条件等の上記条件を種々に組み合わせてもよい。
　また、１回操作条件に関連して例示した操作時間条件等の上記条件のうちの１つ以上を、繰り返し操作条件に付加してもよい。具体的には、各回のジェスチャ操作を対象にして、操作時間条件等の上記条件のうちの１つ以上を適用するのである。あるいは、予め定められた回のジェスチャ操作（例えば、最後のジェスチャ操作）を対象にして、操作時間条件等の上記条件のうちの１つ以上を適用してもよい。このような条件付加によれば、ユーザ意図の識別精度を向上させることができる。
　＜複合アイコンの表示位置＞
　上記ステップＳ１５（図１９参照）に関し、複合アイコンの表示位置は、基本的には任意である。これに対し、図２２に例示するように、ドラッグ７０の終点７０ｂの近傍に、スクロール複合アイコン７２が存在すれば、ドラッグ７０に用いた指を、少ない移動量で、スクロール複合アイコン７２上に移動させることができる。
　ここで、図２２の例では、ドラッグ終点７０ｂの右側に複合アイコン７２が配置されている。これに対し、終点７０ｂの別の側、または、終点７０ｂの直上に、複合アイコン７２を配置してもよい。これらに鑑みると、図２２に示すように、終点７０ｂを含んで定められた領域（「終点領域」と称することにする）７０ｃ内に複合アイコン７２が存在すれば、上記効果が得られる。
　終点領域７０ｃの大きさおよび形状は、操作状況（検出される指の大きさ、指の移動速度、等）に応じた可変値であってもよいし、あるいは、操作状況に拠らない固定値であってもよい。また、終点領域７０ｃの中心は必ずしも終点７０ｂに一致していなくてもよい。
　なお、終点領域７０ｃは、ドラッグ７０の終点７０ｂを表示面上に対応付けた後に、表示面の座標系において求めることが可能である。あるいは、ドラッグ７０の終点７０ｂを表示面上に対応付ける前に、入力面の座標系において終点領域７０ｃを求め、得られた終点領域７０ｃを表示面の座標系に対応付けてもよい。
　また、上記繰り返し操作条件が適用される場合、例えば、繰り返し操作条件の判定対象になった全てのジェスチャ操作、または、そのうちの一部のジェスチャ操作について、平均的な終点の位置を求め、当該得られた終点位置から終点領域７０ｃを設定してもよい。あるいは、予め定められた回のジェスチャ操作（例えば、最後のジェスチャ操作）についての終点領域７０ｃを設定してもよい。
　あるいは、図２３に例示すように、ドラッグ７０の軌跡の延長線７０ｄ上に、複合アイコン７２を配置してもよい。これによれば、ドラッグ７０に用いた指をそのまま同じ方向に移動させれば複合アイコン７２に到達できるので、指の移動がスムーズである。
　あるいは、図２４に例示すように、上記終点領域７０ｃ内で延長線７０ｄが通る位置に、複合アイコン７２を表示してもよい。
　あるいは、図２５に例示すように、表示面３２の周縁領域３２ｂ内で上記延長線７０ｄが通る位置に、複合アイコン７２を表示してもよい。これによれば、ユーザの注目度が高いと考えられる表示面中央の表示情報が、複合アイコン７２で隠されるのを避けることができる。なお、ここでは周縁領域３２ｂの設定範囲が上記図２０（複合アイコン表示開始条件のうちの終点条件に関する）と同じ場合を例示したが、この例に限定されるものではない。
　ここで、上記延長線７０ｄの求め方の例を、図２６～図２８を参照して、説明する。図２６～図２８では湾曲したドラッグ軌跡を例示しているが、以下の説明は直線状のドラッグ軌跡にも当てはまる。
　図２６の例によれば、ドラッグ軌跡中の２点を結ぶ直線として、延長線７０ｄが決定される。図２６では軌跡中の２点がドラッグ７０の始点７０ａおよび終点７０ｂである場合を例示しているが、この例に限定されるものではない。例えば、図２７に示すように、ドラッグ７０の終点７０ｂと、当該終点７０ｂ以外の地点とを利用してもよい。
　他方、図２８の例によれば、ドラッグ軌跡中の１点に接する直線として、延長線７０ｄが決定される。図２８では軌跡中の１点がドラッグ７０の終点７０ｂである場合を例示しているが、この例に限定されるものではない。
　これらの手法によれば、延長線７０ｄを簡便に求めることができる。
　ここで、延長線７０ｄは、図２７および図２８の例のように、ドラッグ軌跡の終点側部分７０ｆを使って、換言すればドラッグ軌跡の始点側部分７０ｅを除いて、設定するのが好ましい。図２７および図２８の例では、ドラッグ軌跡が、軌跡始点７０ａを含む始点側部分７０ｅと、軌跡終点７０ｆを含む終点側部分７０ｆとに２分割されている。
　ユーザの意図は、始点側部分７０ｅに比べて終点側部分７０ｆにおいて、より明確になると考えられる。例えば、図２７および図２８の軌跡はドラッグ途中で方向転換したことが想像される。このため、終点側部分７０ｆを利用することによって、ユーザの意図を反映した位置に複合アイコン７２を表示することができる。
　終点側部分７０ｆのうちで終点７０ｂ以外の部分を利用することも可能である。但し、ユーザの意図の明確さに鑑みれば、終点７０ｂと終点側部分中の他の１点とを通る直線（図２７参照）、または、終点７０ｂにおける接線（図２８参照）を、延長線７０ｄに設定することは、より好ましい。
　また、終点側部分７０ｆの方が始点側部分７０ｅに比べて小さいほど、ユーザの意図をより強く反映すると考えられる。
　なお、延長線７０ｄは、ドラッグ７０の軌跡を表示面上に対応付けた後に、表示面の座標系において求めることが可能である。あるいは、ドラッグ７０の軌跡を表示面上に対応付ける前に、入力面の座標系において延長線７０ｄを求め、得られた延長線７０ｄを表示面の座標系に対応付けてもよい。
　また、上記繰り返し操作条件が適用される場合、例えば、繰り返し操作条件の判定対象になった全てのジェスチャ操作、または、そのうちの一部のジェスチャ操作について、平均的な延長線を求め、当該得られた延長線を上記延長線７０ｄとして利用すればよい。あるいは、予め定められた回のジェスチャ操作（例えば、最後のジェスチャ操作）についての延長線７０ｄを、利用してもよい。
　複合アイコンの表示位置に関する上記各種事項は、フリックについても適用可能である。また、ピンチアウト等もドラッグを含むので、上記各種事項を適用可能である。
　なお、図２９に例示するように、２点移動型のジェスチャ操作（図２９にはピンチアウトが例示される）では、それぞれのドラッグに対して、複合アイコン（図２９では表示サイズ変更複合アイコン８０が例示される）を設けてもよい。この例の場合、ユーザは、２つの複合アイコン８０のいずれかを選択的に操作すればよいものとする。
　＜複合アイコンの表示属性＞
　複合アイコンは、他のアイコンとは異なる表示属性（換言すれば、表示手法）によって表示してもよい。例えば、複合アイコンを、点滅、立体的表示、アニメーション表示、半透過、等の表示属性によって、または、複数の表示属性の組み合わせによって、表示する。これによれば、複合アイコンの視認性が上がり、操作ミス防止に資する。
　＜複合アイコンの利用＞
　図３０に、複合アイコンを表示中の処理フローＳ３０を例示する。図３０の例において、ステップＳ３１，Ｓ３２は、図１９のステップＳ１１，Ｓ１２と同様である。すなわち、ステップＳ３１において入力部１４がユーザ操作を受け付け、ステップＳ３２において制御部１６が、入力されたユーザ操作を識別する。
　そして、ステップＳ３３において、制御部１６は、ステップＳ３１で受け付けたユーザ操作が、複合アイコン中のいずれかのアイコンに対する実行指示であるか否かを判断する。具体的には、ユーザ操作の入力位置が複合アイコン中のいずれかのアイコンの表示位置に対応するか否かを判断すると共に、ユーザ操作が、複合アイコンに対する実行指示操作として予め定められた操作（ここでは上記のように１点タッチが例示される）であるか否かを判断する。
　ステップＳ３３において、ユーザ操作が複合アイコン中のいずれかのアイコンに対する実行指示であると判断した場合、制御部１６は、ステップＳ３４において、複合アイコンに関連付けられている画面移動変形型機能、すなわち、当該複合アイコンの出現に関与したジェスチャ操作に関連付けられている画面移動変形型機能を実行する。この際、実行指示が与えられたアイコンに割り当てられている制御方向に、画面移動変形型機能を実行する。その後、情報表示装置１０の処理は上記ステップＳ３１に戻る。
　他方、ステップＳ３３において、ユーザ操作が複合アイコン中のいずれかのアイコンに対する実行指示ではないと判断した場合、制御部１６は、ステップＳ３５において、ステップＳ３１で受け付けたユーザ操作に関連付けられている機能を実行する。その後、情報表示装置１０の処理は上記ステップＳ３１に戻る。
　なお、例えばスクロール複合アイコンの表示中であっても、スクロール機能に関連付けられているドラッグは上記ステップＳ３１において受け付けられ、上記ステップＳ３３においてスクロールが実行されるものとする。これによれば、スクロール複合アイコンが表示されている状態においても、ドラッグで表示情報を微調整すること、等を行うことが可能である。スクロール複合アイコン以外の複合アイコンについても同様である。
　＜制御量および制御速度＞
　上記ステップＳ３４（図３０参照）に関し、例えば、複合アイコンをタップすると（より具体的には、複合アイコン中のいずれかのアイコンをタップすると）、予め定められた制御量および予め定められた制御速度で、複合アイコンに関連付けられた画面移動変形型機能が、実行される。また、例えば、複合アイコンを長押している間、複合アイコンに関連付けられた画面移動変形型機能が、連続的に実行される。この場合、表示情報の制御量は長押しの時間に応じて決まる。また、表示情報の制御速度は、予め定められた一定値であってもよいし、あるいは、次第に増加させてもよい。
　これに対し、複合アイコンの出現に関与したジェスチャ操作のジェスチャ量またはジェスチャ速度を、複合アイコンに対して実行指示操作が行われた場合における表示情報の制御量に、反映させてもよい。同様に、ジェスチャ量またはジェスチャ速度を、複合アイコンに対して実行指示操作が行われた場合における表示情報の制御速度に、反映させてもよい。
　図３１の例では、ジェスチャ量またはジェスチャ速度が大きくなるほど、表示情報の制御量または制御速度が大きく設定される。より具体的には、ドラッグ距離が長いほど、スクロール量を大きく設定する。あるいは、ドラッグ距離が長いほど、スクロール速度を大きく設定する。あるいは、ドラッグ速度が大きいほど、スクロール量を大きく設定する。あるいは、ドラッグ速度が大きいほど、スクロール速度を大きく設定する。なお、ドラッグ速度として、例えば平均速度または最高速度を利用可能である。但し、図３１に示す線形の関係に限定されるものではない。
　あるいは、複合アイコンの出現に関与したジェスチャ操作のジェスチャ量を表示情報の制御量の１単位に設定し、複合アイコンに対して実行指示操作が行われた場合に、当該１単位ごとに断続的に表示情報を制御してもよい。例えば、図３２に示すように、スクロール複合アイコンが１回、タップされた場合、上記１単位分だけ表示情報をスクロールし、スクロール複合アイコンが長押しされた場合、上記１単位分のスクロールを断続的に行う。これによれば、表示情報の変化を確認しやすくなる。
　あるいは、ジェスチャ操作のジェスチャ速度の変化（換言すれば、ジェスチャ操作の加速度）を、複合アイコンに対して実行指示操作が行われた場合における表示情報の制御速度に、反映させてもよい。例えば、図３３に示すように、スクロール複合アイコンが１回、タップされた場合、ジェスチャ操作の速度履歴を１回、再現し、スクロール複合アイコンが長押しされた場合、ジェスチャ操作の速度履歴を、長押しの間、繰り返す。一般的にジェスチャ操作の始まりおよび終わりはジェスチャ速度が小さくなるので、上記の断続的なスクロールと同様の状況が提供される。このため、表示情報の変化を確認しやすくなる。
　なお、制御量および制御速度に関し、上記のいずれの例も、ドラッグ以外のジェスチャ操作およびスクロール以外の画面移動変形型機能に適用可能である。
　また、タッチパネル１４が、入力面に対する指の押圧力を検出可能な構成である場合、複合アイコンに対する押圧力が大きいほど、表示情報の制御量と制御速度の少なくとも一方を大きく設定してもよい。
　＜複合アイコンのサイズ変更＞
　上記ステップＳ３５（図３０参照）に関し、ステップＳ３３においてユーザ操作が、複合アイコンに対して行われる表示サイズ変更操作であると判断した場合、制御部１６はステップＳ３５において、複合アイコン自体の表示サイズを変更する。表示サイズ変更操作は例えば、図３４に示すように、ピンチアウトおよびピンチインである。なお、ピンチ操作は２点移動型（図７および図９参照）であってもよいし、１点移動型（図８および図１０参照）であってもよい。ユーザが複合アイコンを好みのサイズに変更することによって、操作性が向上する。
　＜複合アイコンの消去＞
　図３５に、複合アイコンの消去（すなわち表示の終了）に関する処理フローＳ５０を例示する。図３５の例によれば、ステップＳ５１において、制御部１６は、複合アイコンを消去するために予め定められた条件（「複合アイコン消去条件」または「消去条件」と称することにする）を満たすか否かを判断する。
　消去条件が満たされていると判断した場合、制御部１６はステップＳ５２において、複合アイコンを表示面から消去する処理を行う。その後、情報表示装置１０の処理は、複合アイコンが表示されるまでの上記処理フローＳ１０（図１９参照）に戻る。他方、消去条件が満たされていないと判断した場合、情報表示装置１０の処理は上記ステップＳ５１に戻る。
　当該処理フローＳ５０は、複合アイコンを表示中の処理フローＳ３０と並列的に実行される。具体的には、複合アイコン消去条件が成立するまでステップＳ５１が繰り返され、複合アイコン消去条件が成立することによってステップＳ５２が割り込み処理として実行される。
　＜複合アイコン消去条件＞
　複合アイコン消去条件として、複合アイコンに対する実行指示操作が入力されない状態が続いた場合、複合アイコンを表示面から消去する、という条件（「操作待ち条件」と称することにする）を採用可能である。複合アイコンがある程度の時間、利用されないということは、ユーザはしばらく複合アイコンを利用しない可能性が高いと考えられる。したがって、消去待ち時間条件によれば、ユーザの意図をより正確に識別した上で複合アイコンを消去する点において、高い利便性を提供できる。
　複合アイコンの消去までの待ち時間の長さとして、例えば、予め定められた一定値を採用可能である。あるいは、複合アイコンの出現に関与したジェスチャ操作のジェスチャ速度等に基づいて、待ち時間の長さを設定してもよい。例えば、ジェスチャ操作が素早く行われるということは、上記のように、そのジェスチャ操作が更に繰り返される可能性が高いと考えられる。すなわち、複合アイコンが利用される可能性が高いと考えられる。このため、ジェスチャ速度が大きい場合は、消去待ち時間を長く設定するのが好ましい。
　あるいは、複合アイコン消去条件として、ユーザ操作が、予め定められた複合アイコン消去操作である場合、複合アイコンを表示面から消去する、という条件（「消去指示条件」と称することにする）を採用してもよい。複合アイコン消去操作には、複合アイコンに対する実行指示操作とは異なる操作（例えば、複合アイコンに対するフリック）が割り当てられる。消去指示条件によれば、ユーザは好きな時に複合アイコンを消去できる。
　あるいは、操作待ち条件と消去指示条件との両方を採用してもよく、それによれば利便性が更に向上する。
　＜複合アイコンの個数＞
　複数の複合アイコンを同時に表示させることも可能である。例えば、スクロール複合アイコンと表示サイズ変更複合アイコンと回転複合アイコンとを表示させてもよい。この場合、それぞれの複合アイコンについて、上記処理フローＳ１０，Ｓ３０，Ｓ５０が並列に管理される。また、同時に表示する複合アイコンの個数に制限を設けてもよい。
　＜アイコンの組み合わせ＞
　異なる種類の画面移動変形型機能に関連付けられているアイコンを組み合わせて、複合アイコンを構成してもよい。例えば、図３６に示す複合アイコン８８は、スクロールアイコン７２ａ～７２ｈと表示サイズ変更アイコン８０ａ，８０ｂとによって構成されている。複合アイコン８８によれば、スクロールと拡大と縮小の各機能を１箇所で操作できるので、良好な操作環境を提供できる。なお、スクロールと拡大と縮小は、それぞれ独立に実行可能であるし、あるいは、組み合わせて実行することも可能である。例えば、制御部１６は、上方向スクロールアイコン７２ａと拡大アイコン８４ａとを対象にした２点タッチを識別したならば、上方向スクロールと拡大とを同時に実行する。なお、アイコンの組み合わせは図３６の例に限定されるものではない。
　＜効果＞
　情報表示装置１０によれば、上記の各種効果が得られ、更にその結果、高い利便性を提供できる。なお、上記では、ジェスチャ操作がドラッグであり、ドラッグに関連付けられている画面移動変形型機能がスクロールである場合を主に例示したが、他のジェスチャ操作および他の画面移動変形型機能についても、同様の効果が得られる。
　＜変形例＞
　上記では、表示部１２に表示される表示情報が地図画像である場合を主に例示した。しかし、複合アイコンの利用は、地図画像に限定されるものではない。例えば、書籍、楽曲等のタイトルのリスト、および、ウェブ検索結果のリストに対するスライド等にも、複合アイコンを利用可能である。また、例えば、電子書籍等のページめくり、および、電子アルバム等のコンテンツ選択にも複合アイコンを利用可能である。
　また、ジェスチャ操作および複合アイコンの制御対象となる表示情報は、表示面全体に表示されていてもよいし、表示面の一部に表示されていてもよい。表示面の一部に表示されている表示情報とは、例えば、当該一部に設けられたウィンドウ内の表示情報である。また、表示面の一部は、図３７に例示するように、１次元的であってもよい。すなわち、図３７の例では、表示情報を形成する要素Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉがジグザグの経路上を、列をなして（換言すれば、連結されて）移動し、その移動がドラッグまたはフリックによって制御される。
　また、上記では入力部１４として接触型のタッチパネルを例示した。これに対し、非接触型（３次元（３Ｄ）型とも称される）タッチパネルを入力部１４に採用することも可能である。
　非接触型によれば、センサ群の検出可能領域（換言すれば、ユーザ入力を受け付け可能な入力領域）が入力面上に３次元空間として提供され、その３次元空間内の指を入力面上に投影した位置が検出される。また、非接触型の中には入力面から指までの距離を検出可能な方式もある。その方式によれば、指位置を３次元位置として検出可能であるし、更には指の接近および後退も検出可能である。非接触型タッチパネルとして種々の方式が開発されているが、例えば、静電容量方式の一つである投影容量方式が知られている。
　なお、上記ではユーザが入力に用いる指示物として指を例示したが、例えば指以外の部位を指示物として利用することも可能である。また、例えばタッチペン（スタイラスペンとも称される）等の道具を指示物として利用してもよい。
　また、入力部１４に、いわゆるモーションセンシング技術を利用してもよい。モーションセンシング技術として種々の方式が開発されている。例えば、加速度センサ等を搭載したコントローラをユーザが把持または装着することによって、ユーザの動きを検出する方式が知られている。また、例えば、カメラの撮像画像から指等の特徴点を抽出し、その抽出結果からユーザの動きを検出する方式が知られている。モーションセンシング技術を利用した入力部１４によっても、直感的な操作環境が提供される。
　また、上記では入力兼表示部２０を例示したが、表示部１２と入力部１４とが別々に配置されても構わない。この場合でも、入力部１４がタッチパネル等で構成されることによって、直感的な操作環境が提供される。
　また、情報表示装置１０は、上記要素１２，１４，１６，１８以外の要素を、更に含んでもよい。例えば、聴覚的情報を出力する音声出力部と、各種機器との間で有線通信または無線通信を行う通信部と、情報表示装置１０の現在位置を例えばＧＰＳ（Global Positioning System）方式に準拠して検出する現在位置検出部と、のうちの１つ以上が追加されてもよい。
　音声出力部によれば、例えば、操作音、効果音、ガイダンス音声、等を出力可能である。例えば、複合アイコンの出現、利用および消去の各タイミングで、通知音を出力可能である。また、通信部は、例えば、記憶部１８に格納する情報の新規取得および更新に利用可能である。また、現在位置検出部は、例えばナビゲーション機能に利用可能である。
　情報表示装置１０の用途は特に限定されるものではない。例えば、情報表示装置１０は携帯型またはデスクトップ型の情報機器であってもよい。あるいは、自動車等の移動体に搭載される、ナビゲーション装置またはオーディオ・ビジュアル装置に、情報表示装置１０が応用されてもよい。
　また、本発明は、その発明の範囲内において、実施の形態を適宜、変形、省略することが可能である。
　１０　情報表示装置、１２　表示部、１４　入力部、１６　制御部、１８　記憶部、２０　入力兼表示部、３２　表示面、３２ｂ　周縁領域、３４　入力面（入力領域）、３４ｂ　周縁領域、７０　ドラッグ、７０ａ　始点、７０ｂ　終点、７０ｃ　終点領域、７０ｄ　延長線、７０ｅ　始点側部分、７０ｆ　終点側部分、７２　スクロール複合アイコン、７２ａ～７２ｈ　スクロールアイコン、８０　表示サイズ変更複合アイコン、８０ａ　拡大アイコン（表示サイズ変更アイコン）、８０ｂ　縮小アイコン（表示サイズ変更アイコン）、８４　回転複合アイコン、８４ａ　右回転アイコン（回転アイコン）、８４ｂ　左回転アイコン（回転アイコン）、８８　複合アイコン　Ｓ１０，Ｓ３０，Ｓ５０　処理フロー。

Claims (30)

  1. 　表示面を有する表示部と、
    　ユーザ操作を受け付ける入力部と、
    　前記ユーザ操作が、前記表示面上の表示情報を、ジェスチャ方向に応じて設定される制御方向に制御する画面移動変形型機能に関連付けられたジェスチャ操作である場合、いずれも前記画面移動変形型機能に関連付けられているが前記制御方向の割り当てが異なっている複数のアイコンの複合体である複合アイコンを前記表示面に表示させ、前記ユーザ操作が前記複合アイコン中のいずれかのアイコンに対する実行指示操作である場合、前記実行指示操作が行われたアイコンに割り当てられている前記制御方向で以て前記画面移動変形型機能を実行する、制御部と
    を備える情報表示装置。
  2. 　前記制御部は、前記ジェスチャ操作が予め定められた回数、連続して繰り返された場合に、前記複合アイコンを表示させる、請求項１に記載の情報表示装置。
  3. 　前記制御部は、前記ジェスチャ操作の繰り返し時間の長さが、予め定められた閾値に達した場合に、前記複合アイコンを表示させる、請求項２に記載の情報表示装置。
  4. 　前記制御部は、前記ジェスチャ操作の１回の操作時間の長さが、予め定められた閾値に達した場合に、前記複合アイコンを表示させる、請求項１に記載の情報表示装置。
  5. 　前記制御部は、前記ジェスチャ操作の繰り返し速度が、予め定められた閾値以上である場合に、前記複合アイコンを表示させる、請求項２に記載の情報表示装置。
  6. 　前記制御部は、前記ジェスチャ操作の前記繰り返し速度が前記予め定められた閾値以上である場合、予め定められたアイコン表示タイミングよりも早いタイミングで、前記複合アイコンを表示させる、請求項５に記載の情報表示装置。
  7. 　前記制御部は、前記ジェスチャ操作の１回の操作速度が、予め定められた閾値以上である場合に、前記複合アイコンを表示させる、請求項１に記載の情報表示装置。
  8. 　前記制御部は、前記ジェスチャ操作の前記１回の操作速度が前記予め定められた閾値以上である場合、予め定められたアイコン表示タイミングよりも早いタイミングで、前記複合アイコンを表示させる、請求項７に記載の情報表示装置。
  9. 　前記制御部は、前記ジェスチャ操作の繰り返しに従ってジェスチャ量を積算し、その積算値が、予め定められた閾値に達した場合に、前記複合アイコンを表示させる、請求項２に記載の情報表示装置。
  10. 　前記制御部は、前記ジェスチャ操作の１回のジェスチャ量が、予め定められた閾値に達した場合に、前記複合アイコンを表示させる、請求項１に記載の情報表示装置。
  11. 　前記制御部は、前記ジェスチャ操作の終点が、前記表示面上の予め定められた領域内の地点に対応する場合に、前記複合アイコンを表示させる、請求項１に記載の情報表示装置。
  12. 　前記制御部は、前記ジェスチャ操作に引き続いて複合アイコン呼び出し操作が行われた場合に、前記複合アイコンを表示させる、請求項１に記載の情報表示装置。
  13. 　前記制御部は、前記ジェスチャ操作の後に無操作状態が、予め定められた時間、続いた場合に、前記複合アイコンを表示させる、請求項１に記載の情報表示装置。
  14. 　前記制御部は、前記ジェスチャ操作のジェスチャ量またはジェスチャ速度を、前記複合アイコンに対して前記実行指示操作が行われた場合における前記表示情報の制御量または制御速度に、反映させる、請求項１に記載の情報表示装置。
  15. 　前記制御部は、前記ジェスチャ操作のジェスチャ量を前記表示情報の制御量の１単位に設定し、前記複合アイコンに対して前記実行指示操作が行われた場合、前記１単位ごとに断続的に前記表示情報を制御する、請求項１４に記載の情報表示装置。
  16. 　前記制御部は、前記ジェスチャ操作のジェスチャ速度の変化を、前記複合アイコンに対して前記実行指示操作が行われた場合における前記表示情報の制御速度の変化に、反映させる、請求項１４に記載の情報表示装置。
  17. 　前記制御部は、前記ジェスチャ操作の終点または前記終点を含んで定められた終点領域を前記表示面上に対応付け、前記表示面上で前記終点領域内に前記複合アイコンを表示させる、請求項１に記載の情報表示装置。
  18. 　前記制御部は、前記ジェスチャ操作のジェスチャ軌跡または前記ジェスチャ軌跡の延長線を前記表示面上に対応付け、前記表示面上で前記延長線上に前記複合アイコンを表示させる、請求項１に記載の情報表示装置。
  19. 　前記制御部は、前記表示面の周縁領域内で前記延長線が通る位置に、前記複合アイコンを表示させる、請求項１８に記載の情報表示装置。
  20. 　前記制御部は、前記ジェスチャ軌跡の一部分であり且つ前記ジェスチャ軌跡の終点を含む終点側部分を使って、前記延長線を設定する、請求項１８に記載の情報表示装置。
  21. 　前記延長線は、前記ジェスチャ軌跡の前記終点における接線、または、前記ジェスチャ軌跡の前記終点と前記終点側部分中の他の１点とを通る直線である、請求項２０に記載の情報表示装置。
  22. 　前記複合アイコンは他のアイコンとは異なる表示属性によって表示される、請求項１に記載の情報表示装置。
  23. 　前記制御部は、前記複合アイコンに対する前記実行指示操作が入力されない状態が続いた場合、前記複合アイコンを前記表示面から消去する、請求項１に記載の情報表示装置。
  24. 　前記制御部は、前記ユーザ操作が複合アイコン消去操作である場合、前記複合アイコンを前記表示面から消去する、請求項１に記載の情報表示装置。
  25. 　前記画面移動変形型機能は、前記表示情報を前記制御方向にスクロールさせるスクロール機能であり、
    　前記制御方向は、前記表示情報のスクロール方向であり、
    　前記複合アイコンは、前記複数のアイコンのいずれも前記スクロール機能に関連付けられているが各アイコンによる前記スクロール方向が異なる、スクロール複合アイコンである、
    請求項１に記載の情報表示装置。
  26. 　前記スクロール複合アイコンは、
    　　前記表示情報の表示サイズを拡大する機能に関連付けられた拡大アイコンと、
    　　前記表示情報の表示サイズを縮小する機能に関連付けられた縮小アイコンと
    を更に有する、請求項２５に記載の情報表示装置。
  27. 　前記画面移動変形型機能は、前記表示情報の表示サイズを変更する表示サイズ変更機能であり、
    　前記制御方向は、前記表示情報の表示サイズ変更方向であり、
    　前記複合アイコンは、前記複数のアイコンのいずれも前記表示サイズ変更機能に関連付けられているが各アイコンによる前記表示サイズ変更方向が異なる、表示サイズ変更複合アイコンである、
    請求項１に記載の情報表示装置。
  28. 　前記画面移動変形型機能は、前記表示情報を回転させる回転機能であり、
    　前記制御方向は、前記表示情報の回転方向であり、
    　前記複合アイコンは、前記複数のアイコンのいずれも前記回転機能に関連付けられているが各アイコンによる前記回転方向が異なる、回転複合アイコンである、
    請求項１に記載の情報表示装置。
  29. 　前記制御部は、前記ユーザ操作が、前記複合アイコンに対して行われる表示サイズ変更操作である場合、前記複合アイコンの表示サイズを変更する、請求項１に記載の情報表示装置。
  30. 　（ａ）ユーザ操作を受け付けるステップと、
    　（ｂ）前記ユーザ操作を識別するステップと、
    　（ｃ）前記ユーザ操作が、表示面上の表示情報を、ジェスチャ方向に応じて設定される制御方向に制御する画面移動変形型機能に関連付けられたジェスチャ操作である場合、いずれも前記画面移動変形型機能に関連付けられているが前記制御方向の割り当てが異なっている複数のアイコンの複合体である複合アイコンを前記表示面に表示させるステップと、
    　（ｄ）前記ユーザ操作が前記複合アイコン中のいずれかのアイコンに対する実行指示操作である場合、前記実行指示操作が行われたアイコンに割り当てられている前記制御方向で以て前記画面移動変形型機能を実行するステップと
    を備える表示情報操作方法。
PCT/JP2012/076680 2012-10-16 2012-10-16 情報表示装置および表示情報操作方法 WO2014061098A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201280076431.5A CN104737221B (zh) 2012-10-16 2012-10-16 信息显示装置及显示信息操作方法
JP2014541847A JP5738495B2 (ja) 2012-10-16 2012-10-16 情報表示装置および表示情報操作方法
DE112012007167.0T DE112012007167T5 (de) 2012-10-16 2012-10-16 Informations-Anzeigevorrichtung, Anzeigeinformations-Operationsverfahren
PCT/JP2012/076680 WO2014061098A1 (ja) 2012-10-16 2012-10-16 情報表示装置および表示情報操作方法
US14/426,092 US20150234572A1 (en) 2012-10-16 2012-10-16 Information display device and display information operation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/076680 WO2014061098A1 (ja) 2012-10-16 2012-10-16 情報表示装置および表示情報操作方法

Publications (1)

Publication Number Publication Date
WO2014061098A1 true WO2014061098A1 (ja) 2014-04-24

Family

ID=50487687

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/076680 WO2014061098A1 (ja) 2012-10-16 2012-10-16 情報表示装置および表示情報操作方法

Country Status (5)

Country Link
US (1) US20150234572A1 (ja)
JP (1) JP5738495B2 (ja)
CN (1) CN104737221B (ja)
DE (1) DE112012007167T5 (ja)
WO (1) WO2014061098A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017021869A (ja) * 2016-11-04 2017-01-26 ヤフー株式会社 表示プログラム、端末装置、表示方法及び配信装置
JPWO2018167813A1 (ja) * 2017-03-13 2019-06-27 三菱電機株式会社 タッチパッド操作検出装置およびタッチパッド操作検出方法
JP2019185149A (ja) * 2018-04-03 2019-10-24 株式会社ミクシィ 情報処理装置、機能表示方法及び機能表示プログラム
JP2020204961A (ja) * 2019-06-18 2020-12-24 京セラドキュメントソリューションズ株式会社 情報処理装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9924907B2 (en) * 2011-09-30 2018-03-27 Google Technology Holdings LLC Method and system for identifying location of a touched body part
JP2014211701A (ja) * 2013-04-17 2014-11-13 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
USD773479S1 (en) * 2013-09-06 2016-12-06 Microsoft Corporation Display screen with icon group
US10628027B2 (en) 2014-02-21 2020-04-21 Groupon, Inc. Method and system for a predefined suite of consumer interactions for initiating execution of commands
CN105204629B (zh) * 2015-09-02 2018-11-13 成都上生活网络科技有限公司 一种3d手势识别方法
CN105892844A (zh) * 2015-12-15 2016-08-24 乐视移动智能信息技术（北京）有限公司 滑屏处理方法和***
US20190095068A1 (en) * 2016-04-19 2019-03-28 Maxell, Ltd. Portable terminal device
JP6727921B2 (ja) 2016-05-18 2020-07-22 ソニーモバイルコミュニケーションズ株式会社 情報処理装置、情報処理システム、情報処理方法
USD800144S1 (en) * 2016-06-29 2017-10-17 Naturalmotion Ltd. Display screen or portion thereof with graphical user interface
USD874516S1 (en) * 2017-12-05 2020-02-04 Koninklijke Philips N.V. Display device with icon
CN108460725B (zh) * 2018-03-22 2019-06-18 腾讯科技（深圳）有限公司 地图显示方法、装置、设备及存储介质
DE102020104789A1 (de) * 2019-02-26 2020-08-27 Makita Corporation Suchvorrichtung für ein eingebettetes objekt
US11409411B1 (en) 2021-03-12 2022-08-09 Topgolf International, Inc. Single finger user interface camera control

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009518758A (ja) * 2005-12-08 2009-05-07 アップル インコーポレイテッド インデックス記号のリスト上の移動接触に応答したリストスクロール
JP2010086230A (ja) * 2008-09-30 2010-04-15 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2011242820A (ja) * 2010-05-13 2011-12-01 Panasonic Corp 電子機器、表示方法、及びプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007501973A (ja) * 2003-08-08 2007-02-01 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 文書スクロール方法
JP4645179B2 (ja) * 2004-12-02 2011-03-09 株式会社デンソー 車両用ナビゲーション装置
JP4678534B2 (ja) * 2007-06-07 2011-04-27 ソニー株式会社 ナビゲーション装置及び地図スクロール処理方法
US9933937B2 (en) * 2007-06-20 2018-04-03 Apple Inc. Portable multifunction device, method, and graphical user interface for playing online videos
KR101467881B1 (ko) * 2008-08-18 2014-12-02 엘지전자 주식회사 적어도 2개의 디스플레이 영역을 가지는 휴대 단말기 및 그제어방법
JP5228755B2 (ja) * 2008-09-29 2013-07-03 富士通株式会社 携帯端末装置、表示制御方法および表示制御プログラム
US8881013B2 (en) * 2009-04-30 2014-11-04 Apple Inc. Tool for tracking versions of media sections in a composite presentation
JP2011028635A (ja) * 2009-07-28 2011-02-10 Sony Corp 表示制御装置、表示制御方法およびコンピュータプログラム
KR101113906B1 (ko) * 2009-09-04 2012-02-29 노상기 전자기기 단말기용 사용자 인터페이스 화면 구성 방법 및 이를 수행하기 위한 전자기기 단말기
CN102023788A (zh) * 2009-09-15 2011-04-20 宏碁股份有限公司 触控屏幕显示画面控制方法
CN102073439A (zh) * 2009-11-20 2011-05-25 英业达股份有限公司 电子装置及其触控屏幕的提示方法
CN102156605B (zh) * 2010-02-12 2013-01-09 宏碁股份有限公司 物件移动方法、物件移动***及电子装置
JP5494337B2 (ja) * 2010-07-30 2014-05-14 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US9569066B2 (en) * 2011-10-03 2017-02-14 Google Inc. Interface for navigating imagery

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009518758A (ja) * 2005-12-08 2009-05-07 アップル インコーポレイテッド インデックス記号のリスト上の移動接触に応答したリストスクロール
JP2010086230A (ja) * 2008-09-30 2010-04-15 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2011242820A (ja) * 2010-05-13 2011-12-01 Panasonic Corp 電子機器、表示方法、及びプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017021869A (ja) * 2016-11-04 2017-01-26 ヤフー株式会社 表示プログラム、端末装置、表示方法及び配信装置
JPWO2018167813A1 (ja) * 2017-03-13 2019-06-27 三菱電機株式会社 タッチパッド操作検出装置およびタッチパッド操作検出方法
JP2019185149A (ja) * 2018-04-03 2019-10-24 株式会社ミクシィ 情報処理装置、機能表示方法及び機能表示プログラム
JP7078845B2 (ja) 2018-04-03 2022-06-01 株式会社ミクシィ 情報処理装置、機能表示方法及び機能表示プログラム
JP2020204961A (ja) * 2019-06-18 2020-12-24 京セラドキュメントソリューションズ株式会社 情報処理装置
JP7259581B2 (ja) 2019-06-18 2023-04-18 京セラドキュメントソリューションズ株式会社 情報処理装置

Also Published As

Publication number Publication date
JP5738495B2 (ja) 2015-06-24
DE112012007167T5 (de) 2015-07-30
CN104737221A (zh) 2015-06-24
CN104737221B (zh) 2016-10-12
US20150234572A1 (en) 2015-08-20
JPWO2014061098A1 (ja) 2016-09-05

Similar Documents

Publication Publication Date Title
JP5738494B2 (ja) 情報表示装置および表示情報操作方法
JP5738495B2 (ja) 情報表示装置および表示情報操作方法
US11003304B2 (en) Information display terminal, information display method and program
US10318146B2 (en) Control area for a touch screen
US8499255B2 (en) Organizational tools on a multi-touch display device
JP4557058B2 (ja) 情報表示端末、情報表示方法、およびプログラム
US20100295806A1 (en) Display control apparatus, display control method, and computer program
KR101586559B1 (ko) 정보 처리 장치 및 정보 처리 방법
KR20130099186A (ko) 표시 장치, 유저 인터페이스 방법, 및 프로그램
US9557907B2 (en) Display device capturing digital content and method of controlling therefor
KR102161061B1 (ko) 복수의 페이지 표시 방법 및 이를 위한 단말
JP5921703B2 (ja) 情報表示装置および情報表示装置における操作制御方法
JP5875262B2 (ja) 表示制御装置
KR20160010993A (ko) 객체 편집 방법 및 이를 이용한 화상 표시 장치
US10915240B2 (en) Method of selection and manipulation of graphical objects
KR102118046B1 (ko) 포터블 디바이스 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12886797

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014541847

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14426092

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112012007167

Country of ref document: DE

Ref document number: 1120120071670

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12886797

Country of ref document: EP

Kind code of ref document: A1