WO2010137400A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2010137400A1
WO2010137400A1 PCT/JP2010/055682 JP2010055682W WO2010137400A1 WO 2010137400 A1 WO2010137400 A1 WO 2010137400A1 JP 2010055682 W JP2010055682 W JP 2010055682W WO 2010137400 A1 WO2010137400 A1 WO 2010137400A1
Authority
WO
WIPO (PCT)
Prior art keywords
operating tool
display panel
information processing
proximity
contact
Prior art date
Application number
PCT/JP2010/055682
Other languages
English (en)
French (fr)
Inventor
麗子 宮崎
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to BRPI1012863A priority Critical patent/BRPI1012863A2/pt
Priority to RU2011147125/08A priority patent/RU2011147125A/ru
Priority to CN201080021934.3A priority patent/CN102428437B/zh
Priority to US13/320,992 priority patent/US9690475B2/en
Priority to EP10780357.9A priority patent/EP2437147B1/en
Publication of WO2010137400A1 publication Critical patent/WO2010137400A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161—Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614—Image rotation following screen orientation, e.g. switching from landscape to portrait mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Definitions

  • the present invention relates to an information processing apparatus, an information processing method, and a program.
  • an information processing apparatus that detects the operation of an operating body such as a finger, a hand, and a stylus by various sensors and interacts with a user.
  • the information processing apparatus detects, for example, a contact / proximity state of the operating tool with respect to the sensor, a remote operation of the operating tool captured by the sensor, and the like, and specifies an operation input by the user.
  • an information processing apparatus using a touch panel interface specifies an operation input by a user based on a contact state of an operating body with respect to a display panel.
  • the user recognizes the display direction of the graphical user interface (GUI) on the display panel, and then performs an operation corresponding to the direction.
  • GUI graphical user interface
  • a slider object when displayed in the vertical direction of the GUI display, the user selects a slider knob, recognizes the direction of the GUI display, and then performs a drag operation so as to correspond to the vertical direction of the GUI display. To do.
  • the orientation of the display panel with respect to the user does not match the orientation of the GUI display (for example, when the upper portion of the display panel is arranged on the left side with respect to the user), the user There are cases where an operation corresponding to a direction cannot be input intuitively.
  • the user performs a drag operation on the display panel in the horizontal direction so as to correspond to the vertical direction of the GUI display. Further, after changing the orientation of the display panel, the user performs a drag operation in the vertical direction on the display panel so as to correspond to the vertical direction of the GUI display.
  • the present invention intends to provide an information processing apparatus, an information processing method, and a program that enable an operation independent of the orientation of the display panel with respect to the user.
  • an operation object detection unit that detects an instruction direction of an operation object that contacts the display panel, and an operation input by the operation object based on the detected instruction direction of the operation object.
  • An information processing apparatus including an operation specifying unit that specifies a direction is provided.
  • the operating tool detection unit may determine the instruction direction of the operating tool based on the orientation of the tip of the operating tool. As a result, the direction of the operation is specified based on the instruction direction of the operating body, and thus an operation independent of the orientation of the display panel with respect to the operator is possible.
  • the operating tool detection unit detects an instruction direction and a moving direction of the operating tool that moves in contact with the display panel, and an operation specifying unit detects the operating tool based on the detected pointing direction and the moving direction of the operating tool.
  • the direction of the input operation may be specified.
  • the operation specifying unit may specify the direction of the operation input by the operating body based on the angle defined by the detected indication direction and the moving direction of the operating body. Accordingly, a drag operation that does not depend on the orientation of the display panel with respect to the operator can be performed based on the direction of the operation specified from the instruction direction and the movement direction of the operating body.
  • the information processing apparatus further includes a display control unit that controls display on the display panel, and the operation specifying unit specifies an operation direction for rotating the display on the display panel based on the detected indication direction of the operating body. Then, the display control unit may rotate the display on the display panel according to the specified direction of operation. As a result, an operation independent of the orientation of the display panel with respect to the operator can be performed based on the display of the display panel rotating based on the direction of the operation specified from the instruction direction of the operating body.
  • the operating tool detection unit continuously detects the pointing direction of the operating tool, and when the continuously detected pointing direction of the operating tool is within a predetermined threshold, the operating tool is detected continuously.
  • the instruction direction of the operating tool may be determined based on the direction. Thereby, the detection accuracy of the indication direction of the operating body can be improved.
  • the direction of the operation input by the operating body based on the step of detecting the pointing direction of the operating body that contacts the display panel and the detected pointing direction of the operating body.
  • an information processing method including the step of specifying
  • an information processing apparatus it is possible to provide an information processing apparatus, an information processing method, and a program that enable an operation independent of the orientation of the display panel with respect to the user.
  • FIG. 3A It is a figure which shows the outline
  • FIG. 1 is a diagram showing an overview of an information processing apparatus 100 according to an embodiment of the present invention.
  • the information processing apparatus 100 detects at least the contact state of the operating tool M such as a finger, hand, or stylus with respect to the display panel 101.
  • the information processing apparatus 100 may be connected to the display panel 101 via a communication unit.
  • the information processing apparatus 100 detects the instruction direction of the operating tool M that contacts the display panel 101, and identifies the direction of the operation input by the operating tool M based on the detected instruction direction of the operating tool M.
  • the information processing apparatus 100 detects the indication direction of the operating tool M based on the orientation of the tip of the operating tool M such as the tip of a finger, for example.
  • the information processing apparatus 100 detects the pointing direction and the moving direction of the operating tool M that moves in contact with the display panel 101, and uses the operating tool M based on the detected pointing direction and moving direction of the operating tool M. Specify the direction of the input operation.
  • the drag operation that does not depend on the orientation of the display panel 101 with respect to the user based on the direction of the operation specified from the instruction direction and the movement direction of the operating tool M. Is possible.
  • FIG. 2 is a block diagram illustrating a functional configuration example of the information processing apparatus 100 according to an embodiment of the present invention.
  • the information processing apparatus 100 includes a display panel 101, a remote sensor 107, an operating tool detection unit 109, a state detection unit 111, a storage unit 113, a display control unit 115, and a control unit 117.
  • the display panel 101 functions as the contact proximity sensor 103 and the display unit 105.
  • the contact proximity sensor 103 captures the contact / proximity state of the operating tool M.
  • the contact proximity sensor 103 is an optical sensor, a capacitance sensor, or the like. In the following, it is assumed that the contact / proximity state of the operating tool M is captured based on the light receiving state of the display panel 101.
  • the display unit 105 displays objects, contents, processing results of applications, and the like under the control of the display control unit 115. Note that an object is an arbitrary object constituting the GUI, such as an icon, a button, a thumbnail, or the like.
  • the remote sensor 107 is composed of a stereo camera or the like, and captures and captures a remote operation of the operating tool M such as a predetermined gesture.
  • the operating tool detection unit 109 detects the state of the operating tool M using the contact proximity sensor 103 and the remote sensor 107.
  • the operating tool detection unit 109 detects the contact / proximity / movement state and remote operation of the operating tool M.
  • the operating tool detection unit 109 detects in particular the pointing direction of the operating tool M, a predetermined gesture, and the like.
  • the operating tool detection unit 109 detects the indication direction of the operating tool M with respect to the display panel 101, and particularly detects the pointing direction and the moving direction of the operating tool M that moves in contact with the display panel 101. Note that the pointing direction of the operating tool M may be detected both when contacting and when approaching.
  • the operating tool detection unit 109 determines whether the operating tool M is in contact with or close to the display panel 101, the contact / proximity area of the operating tool M, the indication direction of the operating tool M, and the contact / proximity. Detect gestures. The details of the detection method of the operating tool M by the contact proximity sensor 103 will be described later.
  • the operating tool detection unit 109 detects a remote gesture based on the imaging result of the remote sensor 107.
  • the operation tool detection unit 109 detects a predetermined gesture by collating the contact / proximity / remote operation of the operation tool M with previously registered gesture information.
  • the state detection unit 111 includes an acceleration sensor, a gyro sensor, and the like, and detects the stationary state and orientation of the device itself.
  • the display control unit 115 controls display of objects, contents, application processing results, and the like by the display unit 105.
  • the storage unit 113 stores information processing programs, application programs, object data, gesture information, and the like.
  • the control unit 117 controls each unit by executing the information processing program, and controls the overall operation of the information processing apparatus 100.
  • the control unit 117 functions as an operation specifying unit that specifies the direction of the operation input by the operating tool M based on the instruction direction of the operating tool M.
  • the control unit 117 particularly specifies the direction of the operation input by the operating tool M based on the detected indication direction and moving direction of the operating tool M.
  • control unit 117 functions as a mode control unit that controls a mode for detecting an operation on the own device by the operating tool M according to the stationary state or orientation of the own device.
  • RGB pixels and light receiving sensors are arranged in a matrix.
  • the light receiving sensor receives the light emitted from the display panel 101 and reflected by the operation tool M, and functions as the contact proximity sensor 103 by capturing the contact / proximity state of the operation tool M based on the light receiving state. Then, the operating tool detection unit 109 generates a sensor image S by digitally processing the output result of the contact proximity sensor 103.
  • the operating tool detection unit 109 calculates a luminance value representing a light receiving state corresponding to each pixel based on the sensor image S, and performs a ternary processing on the luminance value using two predetermined threshold values Th1 and Th2.
  • the luminance value of each pixel is classified into the first, second, and third categories, and the first, second, and third regions A1, A2 corresponding to the respective categories of the sensor image S. , A3.
  • the first, second, and third areas A1, A2, and A3 correspond to areas of high brightness, medium brightness, and low brightness, and are the contact area, proximity area, and non-contact / non-proximity area of the operating tool M. Specific to each.
  • the operating tool detection unit 109 detects the contact of the operating tool M with respect to the display panel 101 based on the presence of the first area A1, and the operating tool M with respect to the display panel 101 based on the presence of the second area A2. Detect proximity. In addition, the operating tool detection unit 109 detects the contact area and the proximity area of the operating tool M by calculating the areas of the first and second regions A1 and A2.
  • the operating tool detection unit 109 calculates the centroid positions G1 and G2 of the first and second regions A1 and A2, and calculates the direction of the straight line (centroid line) connecting the calculated centroid positions G1 and G2.
  • the pointing direction of the operating tool M is detected based on the gravity center position G1 and the gravity line of the first region A1.
  • the indication direction of the operating tool M is defined as a direction in which the center of gravity position G1 of the first region A1 is indicated along the center of gravity line.
  • FIGS. 3 and 4 show the state of the operating tool M on the display panel 101 (FIGS. 3A and 4A), and the first and second regions specified on the sensor images S1 and S2 (FIGS. 3B and 4B).
  • FIG. FIG. 5 is a diagram showing the distribution of luminance values on the sensor image S1 in FIG. 3B
  • FIGS. 5A and 5B show the distribution of luminance values on the AA line and the BB line, respectively.
  • FIG. 3 and 4 show a case where the indication direction of the operating tool M is changed on the display panel 101.
  • the distal end portion (fingertip) of the operating tool M normally contacts the display panel 101, and a portion other than the distal end portion (finger's belly) is close to the display panel 101.
  • the operating tool M indicates the upward direction of the GUI display (see FIG. 3A).
  • the operating tool detection unit 109 detects the pointing direction of the operating tool M as the upward direction of the GUI display based on the distribution of luminance values on the sensor image S1 (see FIG. 3B). For example, in the example shown in FIG. 5, the contact and proximity of the operating tool M are detected by the first and second areas A1 and A2 detected on the line AA (see FIG. 5A), and on the line BB. The proximity of the operating tool M is detected by the detected second area A2 (see FIG. 5B).
  • the operating tool M indicates the upper left direction of the GUI display (see FIG. 4A).
  • the operating tool detection unit 109 detects the indication direction of the operating tool M as the upper left direction of the GUI display based on the distribution of luminance values on the sensor image S2 (see FIG. 4B).
  • FIG. 8 is a flowchart showing the operation direction specifying process
  • FIGS. 7 and 8 are schematic diagrams showing the operation direction specifying process.
  • the operation tool detection unit 109 detects the contact of the operation tool M (step S101)
  • the operation tool detection unit 109 detects the indication direction of the operation tool M based on the detection method of the operation tool M described above (S103).
  • the indication direction of the operating tool M may be detected in either a state where the operating tool M is moving or a state where the operating tool M is not moving.
  • the indication direction of the operating tool M is defined as an angle ⁇ 1 based on, for example, a coordinate system virtually set on the display panel 101 as shown in FIG. 7A.
  • the coordinate system can be set without depending on the orientation of the display panel 101, it is assumed below that a normal orthogonal coordinate system is set corresponding to the vertical and horizontal directions of the display panel 101.
  • the angle ⁇ is defined counterclockwise from the first quadrant to the fourth quadrant of the orthogonal coordinate system.
  • the operating tool detection unit 109 determines whether the angle ⁇ 1 has been detected continuously over a predetermined number of frames (S105). Each detection value is stored in, for example, a buffer (not shown). If the variation in the detection result is less than the predetermined threshold ⁇ t (S107), the operating tool detection unit 109 determines the angle ⁇ 1 as an intermediate value of the detection result (S109).
  • the operating tool detection unit 109 After determining the angle ⁇ 1, the operating tool detection unit 109 detects the movement start point and the moving end point of the operating tool M (S111), and determines the moving direction of the operating tool M (S113). As shown in FIG. 7B, the moving direction of the operating tool M is defined as an angle ⁇ 2 based on the same coordinate system as the angle ⁇ 1, based on the moving vector V connecting the moving start point and the moving end point of the operating tool M.
  • the movement start point is defined as a point where the contact of the operating tool M is first detected in a state where the touch of the operating tool M is not detected.
  • the movement end point is defined as a point where the non-contact of the operating tool M is first detected in a state where the movement of the operating tool M accompanied by contact is detected.
  • the control unit 117 specifies the direction of the operation input by the operating tool M based on the difference ⁇ (S117, S119, S121). As shown in FIG. 7C, the operation direction is specified based on the difference ⁇ between the angle ⁇ 1 and the angle ⁇ 2.
  • the operation direction is specified as an upward direction when ⁇ 45 ° ⁇ ⁇ ⁇ 45 ° (S123), and is specified as a left direction when 45 ° ⁇ ⁇ ⁇ 135 ° (S125).
  • the operation direction is specified as the downward direction when 135 ° ⁇ ⁇ ⁇ 180 ° or ⁇ 180 ° ⁇ ⁇ ⁇ 135 ° (S127), and when the operation direction is ⁇ 135 ° ⁇ ⁇ ⁇ 45 °. It is specified as the right direction (S129).
  • the angle range may be specified as the upward operation direction when, for example, ⁇ 30 ° ⁇ ⁇ ⁇ 30 °.
  • the angle range may be adjusted according to the user's dominant hand.
  • FIG. 8 shows a case where the knob T of the slider O displayed in the vertical direction of the GUI display is selected and operated upward as an example of the operation direction specifying process.
  • the user drags the knob T upward on the display panel 101 so as to correspond to the upward direction of the GUI display.
  • the drag operation may be performed on the knob T, or may be performed in an area where no object is displayed with the knob T selected.
  • the user can display the display panel 101 in the same manner as when both orientations match (FIG. 8A).
  • the slider O can be operated in the upward direction by dragging it in the upward direction.
  • the user does not need to perform a drag operation corresponding to the GUI display direction after recognizing the direction of the GUI display, or to perform a drag operation after changing the direction of the display panel 101. Therefore, an operation independent of the direction of the GUI display, in other words, the direction of the display panel 101 can be performed, and the operation environment can be improved.
  • FIG. 9 and FIG. 10 are a flow diagram and a schematic diagram showing rotation processing in the display direction.
  • FIG. 10 shows a case where the display direction is rotated downward (FIG. 10A) and a case where the display direction is rotated leftward (FIG. 10B).
  • the operation tool detection unit 109 detects the contact of the operation tool M (S201)
  • the operation tool detection unit 109 detects the indication direction of the operation tool M based on the detection method of the operation tool M described above (S203).
  • the indication direction of the operating tool M may be detected in either a state where the operating tool M is moving or a state where the operating tool M is not moving.
  • the indication direction of the operating tool M is defined as an angle ⁇ 1 based on a coordinate system virtually set on the display panel 101, for example, as shown in FIGS. 10A and 10B.
  • a normal orthogonal coordinate system is set corresponding to the vertical direction and the horizontal direction of the display panel 101.
  • the angle ⁇ 1 is defined counterclockwise from the first quadrant to the fourth quadrant on the orthogonal coordinate system.
  • the operating tool detection unit 109 determines whether the angle ⁇ 1 is continuously detected over a predetermined number of frames (S205). If the variation in the detection result is less than the predetermined threshold ⁇ t (S207), the operating tool detection unit 109 determines the angle ⁇ 1 as an intermediate value of the detection result (S209).
  • the control unit 117 specifies the direction of the operation for rotating the GUI display of the display panel 101 based on the angle ⁇ 1 representing the instruction direction of the operating tool M (S211, S213, S215).
  • the display direction is specified as the downward direction when 45 ° ⁇ ⁇ 1 ⁇ 135 ° (S217), and is specified as the right direction when 135 ° ⁇ ⁇ 1 ⁇ 225 ° (S219).
  • the display direction is specified as the upward direction when 225 ° ⁇ ⁇ 1 ⁇ 315 ° (S221), and specified as the left direction when 0 ° ⁇ ⁇ 1 ⁇ 45 ° or 315 ° ⁇ ⁇ 1 ⁇ 360 °. (S223).
  • the angle range may be specified as a downward direction when, for example, 30 ° ⁇ ⁇ ⁇ 120 °.
  • the angle range may be adjusted according to the user's dominant hand.
  • the direction after rotation of the GUI display is defined as the direction in which the upper side of the GUI display is displayed with respect to the display panel 101 during normal use (normal position). That is, the downward display direction means that the upper side of the GUI display is displayed at the lower part of the display panel 101 at the normal position, and the left display direction is at the left part of the display panel 101 at the normal position. It means that the upper side of the GUI display is displayed.
  • the display control unit 115 displays the display panel 101 so as to rotate the GUI display of the display panel 101 according to the specified operation direction when the display direction needs to be changed (S225).
  • the unit 105 is controlled (S227).
  • the display direction is changed according to the changed pointing direction.
  • FIG. 11 and FIG. 12 are a flow diagram and a schematic diagram showing an operation specifying process based on a proximity gesture.
  • FIG. 12 shows a stationary gesture (FIG. 12A) of the operating tool M, a repetitive movement gesture (FIG. 12B) of the operating tool M, and a movement gesture (FIG. 12C) of the operating tool M as examples of the proximity gesture.
  • the stationary gesture of the operating tool M is detected as an operation of making the hand rest on the display panel 101.
  • the repetitive movement gesture of the operating tool M is detected as an operation of repeatedly moving the hand on the display panel 101 in the horizontal direction (and / or the vertical direction).
  • the movement gesture of the operating tool M is detected as an operation of moving the hand on the display panel 101 in the horizontal direction (and / or the vertical direction).
  • Each proximity gesture is associated with gesture information and a specific operation in advance.
  • the operation tool detection unit 109 determines whether or not the operation tool M is continuously detected for a predetermined period (eg, 500 ms) (S303).
  • the operating tool detection unit 109 starts detecting the moving state if the proximity of the operating tool M is continuously detected (S305), and continuously detects the proximity of the operating tool M if not detected. .
  • the movement state of the operating tool M is detected as a horizontal movement and / or a vertical movement of the operating tool M relative to the display panel 101 within the detection range of the contact proximity sensor 103.
  • the movement state of the operating tool M is detected as, for example, the movement amount, speed, acceleration, etc. of the operating tool M. In the following, it is assumed that the moving speed v of the operating tool M is detected.
  • the operating tool detection unit 109 determines whether the moving speed v of the operating tool M is continuously detected over a predetermined number of frames (S307).
  • the control unit 117 determines whether the absolute value of the moving speed v of the operating tool M is less than a predetermined threshold value vt (S313). Then, if the determination result is affirmative, the control unit 117 specifies an operation corresponding to the stationary gesture (S315). On the other hand, if the moving speed v is greater than or equal to the threshold value vt and a certain repeatability is recognized in the change in the moving speed v (in the case of “Yes” in S317), the control unit 117 performs an operation corresponding to the repetitive movement gesture. Is specified (S319).
  • control unit 117 determines that the moving speed v is equal to or higher than the threshold value vt and a constant repeatability is not recognized in the change in the moving speed v (“No” in S317). ), An operation corresponding to the movement gesture is specified (S321).
  • the operating tool detection unit 109 may detect the proximity area Aa together with the moving speed v of the operating tool M (S309).
  • the control unit 117 specifies the operation based on the moving speed v only when the proximity area Aa satisfies a predetermined threshold Aat (for example, 70% of the area of the display panel 101) (S311). Gesture-based operations can be accurately identified.
  • the proximity area Aa may be determined after the comparison determination (S313, S317) between the moving speed v and the threshold value Vt.
  • the user can quickly input a desired operation using the operating tool M without bringing the operating tool M into contact with an object on the display panel 101 (or an operator of the information processing apparatus 100). Also, by assigning any meaning to each proximity gesture, such as associating a stationary gesture with a mute operation, associating a repetitive movement gesture with a shuffle operation in the playback order, and associating a movement gesture with a feed operation in the playback order, Can perform intuitive operation.
  • FIG. 13 and FIG. 14 are a flow diagram and a schematic diagram showing an operation specifying process based on a contact gesture.
  • FIG. 14 shows a point gesture (FIG. 14A) specifying an object, a push gesture (FIG. 14B) specifying an object, and a cover gesture (FIG. 14C) specifying no object as examples of the contact gesture.
  • the point gesture is an operation of bringing the fingertip into contact with the object
  • the push gesture is an operation of bringing the belly of the finger into contact with the object
  • the cover gesture is an operation of covering the display panel 101 with a plurality of fingers, for example.
  • each contact gesture is detected based on the contact area (and / or contact shape) of the operating tool M with respect to the display panel 101.
  • Each contact gesture is associated with gesture information and a specific operation in advance.
  • the operating tool detection unit 109 detects the contact position P and the contact area At of the operating tool M (S403) when detecting the contact of the operating tool M (S401).
  • the control unit 117 determines whether the contact position P of the operating tool M is within a specific object area (S405).
  • the relationship between the contact position P and the object area is determined based on the position of the object stored in the storage unit 113. Further, when the contact position P is within the area of a plurality of objects, a gesture that does not designate an object is detected.
  • the control unit 117 compares the contact area At with a predetermined threshold value Att1 (S407). Then, the control unit 117 specifies an operation corresponding to the point gesture if the contact area At is less than the threshold Att1 (S409), and specifies an operation corresponding to the push gesture if the contact area At is greater than the threshold Att1 (S411). .
  • step S405 when the determination result of step S405 is negative, the control unit 117 compares the contact area At with a predetermined threshold value Att2 (Att1 ⁇ Att2) (S413). Then, if the contact area A is equal to or greater than the threshold value Att2, the control unit 117 specifies an operation corresponding to the cover gesture (S415).
  • a predetermined threshold value Att2 Att1 ⁇ Att2
  • the contact area At may be determined after the comparison determination (S405) between the contact position P and the object region. Further, the operating tool detection unit 109 may detect the shape of the contact area, the proximity state of the operating tool M, and the like together with the contact area At. Then, the control unit 117 specifies the operation based on the contact area At only when the contact of the fingertip, the belly of the finger, or the like is detected based on the shape of the contact area and the proximity state of the operation tool M. The operation based on the contact gesture can be accurately specified.
  • the user can perform intuitive operations by assigning arbitrary meanings to each contact gesture, such as associating a local operation with a gesture with a fingertip and associating a global operation with a gesture with a palm. it can.
  • FIG. 15 is a flowchart showing an operation specifying process based on the contact / proximity state.
  • the operating tool detection unit 109 detects whether or not the operating tool M is in contact with the display panel 101, and detects the contact (S501), and detects the contact position P and the contact area At of the operating tool M. (S503).
  • the control unit 117 determines whether the contact area At is less than the threshold value Att (S505). When the determination result is negative, the control unit 117 specifies a contact shade operation (operation corresponding to the cover gesture) (S513). On the other hand, when the determination result is affirmative, the control unit 117 determines whether the difference between the input starting point and the contact position P is greater than or equal to the threshold value Mt (S507), and when the determination result is affirmative, dragging is performed. An operation is specified (S509). Here, when the drag operation is specified, the above-described operation direction specifying process is performed (S511). On the other hand, when the determination result is negative, the process is resumed.
  • the operating tool detection unit 109 detects whether the operating tool M is close to the display panel 101 (S515).
  • the operating tool detection unit 109 detects the proximity of the operating tool M continuously for a predetermined time (“Yes” in S517), and the moving speed v and the proximity area Aa of the operating tool M are detected. Detection is started (S519), and if not continuously detected ("No" in S517), the process is resumed.
  • the control unit 117 determines whether the proximity area Aa is equal to or greater than the threshold value Aat (S521), and the process is resumed when the determination result is negative.
  • step S521 determines whether the absolute value of the moving speed v continuously detected over a predetermined number of frames is less than the threshold value vt (S523). Then, when the determination result is affirmative, the control unit 117 specifies a proximity shade operation (operation corresponding to the stationary gesture) (S525), and when the determination result is negative, the proximity shake operation (repetition) The operation corresponding to the movement gesture) is specified (S527).
  • the control unit 117 determines whether the contact of the operating tool M has been continuously detected (S529). The control unit 117 determines whether the contact area At is less than a predetermined threshold value Att (S531). Then, when the determination result is affirmative, the control unit 117 determines whether the difference between the input starting point and the contact position P is less than the threshold value Mt (S533), and when the determination result is affirmative, a tap is performed. An operation is specified (S535). On the other hand, when the determination result is negative in steps S529, S531, and S533, the process is resumed.
  • misdetection can be suppressed by capturing it as a proximity gesture only when a proximity area Aa equal to or greater than the predetermined threshold Aat is detected.
  • the possibility of erroneous detection is increased by capturing the contact gesture intended by the user as a proximity gesture.
  • misdetection can be suppressed by capturing as a proximity gesture only when a proximity state is detected over a predetermined duration.
  • the contact proximity sensor 103 includes a contact operation detection unit and a proximity operation detection unit.
  • the contact proximity sensor 103 continuously functions as a contact sensor while the information processing apparatus 100 is activated, and also functions as a proximity sensor while an application corresponding to the proximity operation is activated.
  • the power supply system for the contact operation detection unit and the proximity operation detection unit is provided in a separate system.
  • the state detection unit 111 includes an acceleration sensor and detects the stationary state of the own device.
  • the control unit 117 functions as a mode control unit that controls a mode for detecting an operation on the own device by the operating tool M according to the stationary state of the own device.
  • the control unit 117 controls a proximity detection mode in which a proximity operation on the display panel 101 by the operating tool M is detected.
  • FIG. 16 and FIG. 17 are a flowchart and a schematic diagram showing control processing in the proximity detection mode.
  • the control unit 117 determines whether the application corresponding to the proximity operation is being activated (S601). If the determination result is affirmative, the control unit 117 is in a stationary state according to the detection result by the state detection unit 111. (S603). On the other hand, when the determination result is negative, the control unit 117 continues to determine the activation of the application.
  • the control unit 117 determines whether the stationary state has continued for a predetermined time (S605), and enables the proximity detection mode when the determination result is affirmative. (S607). On the other hand, when the determination results in steps S603 and S605 are negative, the control unit 117 invalidates the proximity detection mode (S609). In this case, detection processing and power supply corresponding to the proximity operation are omitted.
  • FIG. 17A shows a case where the own apparatus is held by the user and is stationary while an application corresponding to the proximity operation is activated.
  • the proximity detection mode is enabled, and the user can perform the proximity operation by changing the proximity state of the operating tool M with respect to the display panel 101 (the contact operation can also be performed in this state).
  • FIG. 17B shows a case where the device itself is moved by mistake.
  • the operating tool M approaches the display panel 101
  • a proximity operation unintended by the user is detected unless the proximity detection mode is disabled.
  • the proximity detection mode is automatically invalidated and the proximity operation is not detected when the own apparatus is in the moving state, the proximity operation unintended by the user is not detected.
  • the self-apparatus becomes stationary again, the proximity detection mode becomes effective, so that the user can resume the proximity operation.
  • the proximity detection mode is controlled according to the stationary state of the own device, when it is not necessary to detect the proximity operation, the detection processing and power supply corresponding to the proximity operation can be omitted. Also, it is not necessary to detect a proximity operation that is not intended by the user. Furthermore, the user can seamlessly perform the contact operation and the proximity operation without manually controlling the detection mode.
  • the contact proximity sensor 103 and the state detection unit 111 are the same as those in the above-described embodiment.
  • the remote sensor 107 captures and captures a remote operation of the operating tool M such as a predetermined gesture.
  • the remote sensor 107 is a stereo camera or the like, and functions during activation of an application corresponding to remote operation. In the following, it is assumed that the power supply system for the contact proximity sensor 103 and the remote sensor 107 is provided as a separate system.
  • the control unit 117 particularly controls a proximity detection mode for detecting a proximity operation on the display panel 101 by the operating tool M and a remote detection mode for detecting a remote operation on the remote sensor 107 by the operating tool M.
  • FIG. 18 and FIG. 19 are a flow diagram and a schematic diagram showing control processing in the proximity / remote detection mode.
  • the control unit 117 determines whether the application corresponding to the proximity / remote operation is being activated (S701). If the determination result is affirmative, the control unit 117 determines whether the own apparatus is in accordance with the detection result by the state detection unit 111. It is determined whether it is in a stationary state (S703). On the other hand, when the determination result is negative, the control unit 117 continues to determine the activation of the application.
  • the control unit 117 determines whether the stationary state continues for a predetermined time (S705), and invalidates the proximity detection mode if the determination result is affirmative.
  • the remote detection mode is enabled (S707). In this case, detection processing and power supply corresponding to the proximity operation are not performed.
  • the control unit 117 enables the proximity detection mode and disables the remote detection mode (S709). In this case, detection processing and power supply corresponding to remote operation are omitted.
  • FIG. 19A shows a case where the own apparatus is placed on the desk and is stationary while an application corresponding to proximity / remote operation is activated.
  • the remote detection mode is enabled and the proximity detection mode is disabled, the user can perform a remote operation by changing the remote operation of the operating tool M with respect to the own device (in this state, the contact is made) Operation can also be performed.
  • FIG. 19B shows a case where the device is held by a user and is in a moving (vibrating) state in a vehicle or the like.
  • a remote operation unintended by the user may be detected unless the remote detection mode is disabled.
  • the remote detection mode is automatically disabled and the remote operation is not detected when the own apparatus enters the moving state, the remote operation unintended by the user is not detected. Then, when the own device is brought into a stationary state again, the remote detection mode is enabled, so that the user can resume the remote operation.
  • the proximity detection mode and the remote detection mode are controlled in accordance with the stationary state of the own device. Therefore, when there is no need to detect the proximity operation or the remote operation, the detection process corresponding to the proximity operation or the remote operation is performed. And power supply can be omitted. Moreover, it is not necessary to detect a remote operation that is not intended by the user. Further, the user can seamlessly perform the proximity operation and the remote operation without manually controlling the detection mode.
  • the main sensor 103 is provided on the display panel 101 of the own apparatus, and the sub sensors 104R and 104L are provided on the side surface in the major axis direction of the own apparatus, and the sub sensors 104U and 104D are provided on the side surface in the minor axis direction. .
  • the main sensor 103 detects a contact operation of the operating tool M with respect to the display panel 101, and the sub sensors 104R, 104L, 104U, and 104D perform a touch operation of the operating tool M to scroll the GUI display of the display panel 101, for example. To detect.
  • the power supply system for the sub sensors 104R, 104L, 104U, and 104D is provided as a separate system.
  • the state detection unit 111 includes a gyro sensor and detects the direction of the own device. Below, the case where the major axis direction and the minor axis direction of the own apparatus are the vertical direction with respect to the user will be referred to as the vertical direction and the horizontal direction, respectively.
  • the state detection unit 111 detects whether the device is vertically or horizontally.
  • the control unit 117 particularly controls a detection mode for detecting a contact operation on the sub sensors 104R, 104L, 104U, and 104D.
  • the control unit 117 enables the detection by the secondary sensors 104R and 104L and disables the detection by the secondary sensors 104U and 104D when the own device is in the vertical orientation, and disables the detection by the secondary sensors 104U and 104D.
  • the detection by the sensors 104R and 104L is invalidated and the detection by the sub sensors 104U and 104D is validated.
  • the control unit 117 enables the secondary sensors 104L, 104R, 104U, and 104D corresponding to the user's dominant hand according to the orientation of the own device. In the following, it is assumed that the user is right-handed.
  • FIG. 20 and FIG. 21 are a flow diagram and a schematic diagram showing control processing in the contact detection mode.
  • the control unit 117 determines whether or not the device itself is in the vertical orientation according to the sensor output from the state detection unit 111 (S801), and when the determination result is affirmative (FIG. 21A), the device itself is predetermined. It is determined whether the image is vertically oriented over time (S803). If the determination result is affirmative, the control unit 117 enables the secondary sensor 104R on the right side of the user and disables the other secondary sensors 104L, 104U, and 104D (S805).
  • the control unit 117 enables the secondary sensor 104D on the right side for the user and disables the other secondary sensors 104R, 104L, and 104U (S809).
  • FIG. 22 and FIG. 23 are a flow diagram and a schematic diagram showing application activation control processing.
  • the control unit 117 determines whether or not the device itself is in the vertical orientation according to the detection result by the state detection unit 111 (S901), and when the determination result is affirmative (FIG. 23A), the operating tool M is It is determined whether the sensor 104R is touched (S903). Next, when the determination result is affirmative, the control unit 117 determines whether the operating tool M has been in contact with the sub sensor 104R for a predetermined time (S905). If the determination result is affirmative, the control unit 117 activates the book reader (S907).
  • the control unit 117 determines whether or not the operating tool M is in contact with the sub sensors 104U and 104D for a predetermined time (S911). If the determination result is affirmative (FIG. 23B), the control unit 117 activates the game (S913).
  • the operation tool M is in contact with any of the sub sensors 104R, 104L, 104U, or 104D (FIG. 23C).
  • the unit 117 does not have to activate the book reader.
  • the contact detection mode is controlled according to the orientation of the own device, the detection process and power supply corresponding to the contact operation can be omitted in the sub sensor 104 that is not the target of the contact operation. Further, it is not necessary to detect a touch operation that is not intended by the user.
  • FIG. 24 is a block diagram illustrating a hardware configuration example of the information processing apparatus 100.
  • the information processing apparatus 100 mainly includes a CPU 901, a ROM 903, a RAM 905, a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device. 925 is configured.
  • the CPU 901 functions as an arithmetic processing device and a control device, and at least partially controls the operation of the information processing device 100 according to various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 927.
  • the ROM 903 stores programs and parameters used by the CPU 901.
  • the RAM 905 temporarily stores programs executed by the CPU 901, parameters at the time of program execution, and the like.
  • the CPU 901, ROM 903, and RAM 905 are connected to each other by a host bus 907.
  • the host bus 907 is connected to the external bus 911 via the bridge 909.
  • the input device 915 is an operation means that can be operated by the user, such as a mouse, a keyboard, a display panel 101, buttons, and switches.
  • the input device 915 may be, for example, remote operation means using radio waves such as infrared rays, or may be an external device 929 such as a mobile phone or a PDA that supports the operation of the information processing apparatus 100.
  • the input device 915 includes, for example, an input control circuit that generates an input signal based on operation information input by a user using the operation unit described above and outputs the input signal to the CPU 901.
  • a user of the information processing apparatus 100 inputs various data to the information processing apparatus 100 via an operation of the input device 915 and instructs a processing operation.
  • the output device 917 visually displays the acquired information to the user, for example, a CRT display, a liquid crystal display, a display panel 101, a display device such as a lamp, a sound output device such as a speaker and headphones, a printer, a mobile phone, and a facsimile. It is configured to include a device that can be notified visually or audibly.
  • the output device 917 outputs the processing result of the information processing device 100.
  • the display device displays the processing result by the information processing device 100 as text information or image information
  • the audio output device converts an audio signal such as reproduced audio data or acoustic data into an analog signal and outputs the analog signal. .
  • the storage device 919 is a device for storing data, and includes, for example, a magnetic storage device such as an HDD, a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the drive 921 is a reader / writer for a recording medium, and is built in or externally attached to the information processing apparatus 100.
  • the drive 921 reads recorded data to a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory to be loaded, outputs the data to the RAM 905, and writes data to be recorded.
  • connection port 923 is a port for directly connecting the external device 929 to the information processing apparatus 100, such as a USB port, a SCSI port, and an RS232C port.
  • the information processing apparatus 100 acquires data via the connection port 923 and provides the data to the external device 929 connected to the connection port 923.
  • the communication device 925 is a communication interface including a communication device for connecting to the communication network N.
  • the communication device 925 is, for example, a wired or wireless LAN, a WUSB communication card, an ADSL router, a communication modem, and the like.
  • the communication device 925 transmits and receives signals and the like according to a predetermined protocol, for example, with the Internet and other communication devices.
  • the communication network N connected to the communication device 925 is configured by a network or the like connected by wire or wireless.
  • the Internet, home LAN, infrared communication, radio wave communication, satellite communication, or the like may be used.
  • Each component of the hardware may be configured using a general-purpose device, or may be configured using a device specialized in the function of each component.
  • the information processing apparatus 100 detects the pointing direction of the operating tool M that is in contact with the display panel 101, and operates the operating tool based on the detected pointing direction of the operating tool M.
  • the direction of the operation input by M is specified. Therefore, since the direction of the operation is specified based on the instruction direction of the operation tool M, an operation independent of the orientation of the display panel 101 with respect to the user is possible.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Numerical Control (AREA)

Abstract

【課題】ユーザに対する表示パネルの向きに依存しない操作を可能にする、情報処理装置、情報処理方法およびプログラムを提供する。 【解決手段】表示パネル１０１に接触する操作体Ｍの指示方向を検出する操作体検出部１０９と、検出された操作体の指示方向に基づいて、操作体により入力される操作の方向を特定する操作特定部１０７と、を備える。これにより、操作体の指示方向に基づいて操作の方向が特定されるので、操作者に対する表示パネルの向きに依存しない操作が可能になる。

Description

情報処理装置、情報処理方法およびプログラム
　本発明は、情報処理装置、情報処理方法およびプログラムに関する。
　従来、指、手、スタイラス等の操作体の動作を各種センサにより検出し、ユーザとインタラクションを行う情報処理装置が知られている。情報処理装置は、例えば、センサに対する操作体の接触・近接状態、センサに捉えられる操作体の遠隔動作等を検出し、ユーザにより入力される操作を特定する。
　特に、タッチパネル式インタフェースを用いる情報処理装置は、表示パネルに対する操作体の接触状態に基づいて、ユーザにより入力される操作を特定している。ここで、ユーザは、表示パネル上でグラフィカルユーザインタフェース（ＧＵＩ）の表示方向を認識した上で、その方向に対応するように操作を行っている。
　例えば、ＧＵＩ表示の上下方向にスライダのオブジェクトが表示されている場合、ユーザは、スライダのツマミを選択し、ＧＵＩ表示の方向を認識した上で、ＧＵＩ表示の上下方向に対応するようにドラッグ操作する。
　ここで、ユーザに対する表示パネルの向きとＧＵＩ表示の向きが一致していない場合（例えば、表示パネルの上部がユーザに対して左側となるように配置されている場合）、ユーザは、ＧＵＩ表示の方向に対応する操作を直感的に入力できない場合がある。
　この場合、ユーザは、ＧＵＩ表示の上下方向に対応するように、表示パネルに対して左右方向にドラッグ操作することとなる。また、ユーザは、表示パネルの向きを変更した後、ＧＵＩ表示の上下方向に対応するように、表示パネルに対して上下方向にドラッグ操作することになる。
　いずれにしても、ユーザは、ＧＵＩ表示の方向、換言すればユーザに対する表示パネルの向きに依存した操作を強いられるので、必ずしも良好な操作環境を享受できているといえない。
　近年では、特に、オブジェクトを介してコンテンツを間接的に操作する代わりに、コンテンツ自体を直接的に操作する（表示パネル上の位置を特定せずに操作する。）ことが行われている。このため、ユーザに対する表示パネルの向きに依存しない操作を可能にすれば、直感的な操作が可能となり、操作環境の向上を図ることができる。
　そこで、本発明は、ユーザに対する表示パネルの向きに依存しない操作を可能にする、情報処理装置、情報処理方法およびプログラムを提供しようとするものである。
　本発明の第１の観点によれば、表示パネルに接触する操作体の指示方向を検出する操作体検出部と、検出された操作体の指示方向に基づいて、操作体により入力される操作の方向を特定する操作特定部と、を備える情報処理装置が提供される。ここで、上記操作体検出部は、操作体の先端部の向きに基づいて、操作体の指示方向を決定してもよい。これにより、操作体の指示方向に基づいて操作の方向が特定されるので、操作者に対する表示パネルの向きに依存しない操作が可能になる。
　上記操作体検出部は、表示パネルに接触して移動する操作体の指示方向および移動方向を検出し、操作特定部は、検出された操作体の指示方向および移動方向に基づいて、操作体により入力される操作の方向を特定してもよい。ここで、上記操作特定部は、検出された操作体の指示方向と移動方向により定義される角度に基づいて、操作体により入力される操作の方向を特定してもよい。これにより、操作体の指示方向および移動方向から特定された操作の方向に基づいて、操作者に対する表示パネルの向きに依存しないドラッグ操作が可能になる。
　上記情報処理装置は、表示パネルの表示を制御する表示制御部をさらに備え、上記操作特定部は、検出された操作体の指示方向に基づいて、表示パネルの表示を回転させる操作の方向を特定し、表示制御部は、特定された操作の方向に応じて表示パネルの表示を回転させてもよい。これにより、操作体の指示方向から特定された操作の方向に基づいて回転する表示パネルの表示に基づいて、操作者に対する表示パネルの向きに依存しない操作が可能になる。
　上記操作体検出部は、操作体の指示方向を連続して検出し、連続して検出された操作体の指示方向が所定の閾値内にある場合に、連続して検出された操作体の指示方向に基づいて、操作体の指示方向を決定してもよい。これにより、操作体の指示方向の検出精度を高めることができる。
　また、本発明の第２の観点によれば、表示パネルに接触する操作体の指示方向を検出するステップと、検出された操作体の指示方向に基づいて、操作体により入力される操作の方向を特定するステップと、を含む情報処理方法が提供される。
　また、本発明の第３の観点によれば、本発明の第２の観点による情報処理方法をコンピュータに実行させるためのプログラムが提供される。
　本発明によれば、ユーザに対する表示パネルの向きに依存しない操作を可能にする、情報処理装置、情報処理方法およびプログラムを提供することができる。
本発明の一実施形態に係る情報処理装置の概要を示す図である。 本発明の一実施形態に係る情報処理装置の機能構成例を示すブロック図である。 表示パネル上の操作体の状態を示す図である。 図３Ａに示す状態において、センサ画像上で特定された領域を示す図である。 表示パネル上の操作体の状態を示す図である。 図４Ａに示す状態において、センサ画像上で特定された領域を示す図である。 図３ＡのＡ－Ａ線上の輝度値の分布を示す図である。 図３ＡのＢ－Ｂ線上の輝度値の分布を示す図である。 操作方向の特定処理を示すフロー図である。 操作方向の特定処理を示す模式図である。 操作方向の特定処理を示す模式図である。 操作方向の特定処理を示す模式図である。 操作方向の特定処理を示す模式図である。 操作方向の特定処理を示す模式図である。 表示方向の回転処理を示すフロー図である。 表示方向の回転処理を示す模式図である。 表示方向の回転処理を示す模式図である。 近接ジェスチャに基づく操作の特定処理を示すフロー図である。 近接ジェスチャに基づく操作の特定処理（静止ジェスチャ）を示す模式図である。 近接ジェスチャに基づく操作の特定処理（反復移動ジェスチャ）を示す模式図である。 近接ジェスチャに基づく操作の特定処理（移動ジェスチャ）を示す模式図である。 接触ジェスチャに基づく操作の特定処理を示すフロー図である。 接触ジェスチャに基づく操作の特定処理（ポイントジェスチャ）を示す模式図である。 接触ジェスチャに基づく操作の特定処理（プッシュジェスチャ）を示す模式図である。 接触ジェスチャに基づく操作の特定処理（カバージェスチャ）を示す模式図である。 接触・近接状態に基づく操作の特定処理を示すフロー図である。 近接検出モードの制御処理を示すフロー図である。 近接検出モードの制御処理を示す模式図である。 近接検出モードの制御処理を示す模式図である。 近接・遠隔検出モードの制御処理を示すフロー図である。 近接・遠隔検出モードの制御処理を示す模式図である。 近接・遠隔検出モードの制御処理を示す模式図である。 接触検出モードの制御処理を示すフロー図である。 接触検出モードの制御処理を示す模式図である。 接触検出モードの制御処理を示す模式図である。 アプリケーションの起動制御処理を示すフロー図である。 アプリケーションの起動制御処理を示す模式図である。 アプリケーションの起動制御処理を示す模式図である。 アプリケーションの起動制御処理を示す模式図である。 情報処理装置のハードウェア構成例を示すブロック図である。
　以下に、添付した図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　［１．情報処理装置１００の概要］
　図１は、本発明の一実施形態に係る情報処理装置１００の概要を示す図である。本発明の一実施形態に係る情報処理装置１００は、指、手、スタイラス等の操作体Ｍの表示パネル１０１に対する接触状態を少なくとも検出する。なお、以下では、情報処理装置１００が表示パネル１０１を内蔵する場合について説明するが、情報処理装置１００は、通信手段を介して表示パネル１０１に接続されてもよい。
　情報処理装置１００は、表示パネル１０１に接触する操作体Ｍの指示方向を検出し、検出された操作体Ｍの指示方向に基づいて、操作体Ｍにより入力される操作の方向を特定する。ここで、情報処理装置１００は、例えば、指の先端等、操作体Ｍの先端部の向きに基づいて、操作体Ｍの指示方向を検出する。これにより、操作体Ｍの指示方向に基づいて操作の方向が特定されるので、ユーザに対する表示パネル１０１の向きに依存しない操作が可能になる。
　特に、情報処理装置１００は、表示パネル１０１に接触して移動する操作体Ｍの指示方向および移動方向を検出し、検出された操作体Ｍの指示方向および移動方向に基づいて、操作体Ｍにより入力される操作の方向を特定する。これにより、表示パネル１０１の向きが横向きまたは縦向きにかかわらず、が操作体Ｍの指示方向および移動方向から特定された操作の方向に基づいて、ユーザに対する表示パネル１０１の向きに依存しないドラッグ操作が可能になる。
　［２．情報処理装置１００の機能構成］
　図２は、本発明の一実施形態に係る情報処理装置１００の機能構成例を示すブロック図である。情報処理装置１００は、表示パネル１０１、遠隔センサ１０７、操作体検出部１０９、状態検出部１１１、記憶部１１３、表示制御部１１５、制御部１１７を含んで構成される。
　表示パネル１０１は、接触近接センサ１０３および表示部１０５として機能する。接触近接センサ１０３は、操作体Ｍの接触・近接状態を捉える。接触近接センサ１０３は、光学式、静電容量式等のセンサであるが、以下では、表示パネル１０１の受光状態に基づいて、操作体Ｍの接触・近接状態を捉える場合を想定する。表示部１０５は、表示制御部１１５の制御下で、オブジェクト、コンテンツ、アプリケーションの処理結果等を表示する。なお、オブジェクトとは、例えば、アイコン、ボタン、サムネイル等、ＧＵＩを構成する任意のオブジェクトである。
　遠隔センサ１０７は、ステレオカメラ等からなり、所定のジェスチャ等、操作体Ｍの遠隔動作を撮像して捉える。
　操作体検出部１０９は、接触近接センサ１０３および遠隔センサ１０７を用いて操作体Ｍの状態を検出する。操作体検出部１０９は、操作体Ｍの接触・近接・移動状態、遠隔動作を検出する。操作体検出部１０９は、特に操作体Ｍの指示方向、所定のジェスチャ等を検出する。操作体検出部１０９は、表示パネル１０１に対する操作体Ｍの指示方向を検出し、特に、表示パネル１０１に接触して移動する操作体Ｍの指示方向および移動方向を検出する。なお、接触時とともに近接時にも操作体Ｍの指示方向を検出してもよい。
　操作体検出部１０９は、表示パネル１０１の受光状態に基づいて、表示パネル１０１に対する操作体Ｍの接触・近接の有無、操作体Ｍの接触・近接面積、操作体Ｍの指示方向、接触・近接ジェスチャを検出する。なお、接触近接センサ１０３による操作体Ｍの検出方法の詳細については後述する。操作体検出部１０９は、遠隔センサ１０７の撮像結果に基づいて、遠隔ジェスチャを検出する。操作体検出部１０９は、操作体Ｍの接触・近接・遠隔動作を、予め登録されたジェスチャ情報と照合することで、所定のジェスチャを検出する。
　状態検出部１１１は、加速度センサ、ジャイロセンサ等を含み、自装置の静止状態、向きを検出する。表示制御部１１５は、表示部１０５によるオブジェクト、コンテンツ、アプリケーションの処理結果等の表示を制御する。
　記憶部１１３は、情報処理プログラム、アプリケーションプログラム、オブジェクトのデータ、ジェスチャ情報等を記憶している。制御部１１７は、情報処理プログラムの実行により各部を制御し、情報処理装置１００全体の動作を制御する。
　制御部１１７は、操作体Ｍの指示方向に基づいて、操作体Ｍにより入力される操作の方向を特定する操作特定部として機能する。ここで、制御部１１７は、特に、検出された操作体Ｍの指示方向および移動方向に基づいて、操作体Ｍにより入力される操作の方向を特定する。
　また、制御部１１７は、自装置の静止状態または向きに応じて、操作体Ｍによる自装置に対する操作を検出するモードを制御するモード制御部として機能する。
　［３．操作体Ｍの検出方法］
　表示パネル１０１には、ＲＧＢ画素および受光センサがマトリクス状に配置されている。受光センサは、表示パネル１０１から放射されて操作体Ｍで反射された光を受光し、受光状態に基づいて、操作体Ｍの接触・近接状態を捉えることで、接触近接センサ１０３として機能する。そして、操作体検出部１０９は、接触近接センサ１０３の出力結果をデジタル処理することで、センサ画像Ｓを生成する。
　操作体検出部１０９は、センサ画像Ｓに基づいて各画素に対応する受光状態を表す輝度値を算出し、所定の２つの閾値Ｔｈ１、Ｔｈ２を用いて輝度値を３値化処理する。３値化処理では、各画素の輝度値が第１、第２、第３のカテゴリに分類され、センサ画像Ｓの領域が各カテゴリに対応する第１、第２、第３の領域Ａ１、Ａ２、Ａ３に区分される。第１、第２、第３の領域Ａ１、Ａ２、Ａ３は、輝度大、輝度中、輝度小の領域に対応しており、操作体Ｍの接触領域、近接領域、非接触・非近接領域として各々に特定される。
　操作体検出部１０９は、第１の領域Ａ１の存在に基づいて、表示パネル１０１に対する操作体Ｍの接触を検出し、第２の領域Ａ２の存在に基づいて、表示パネル１０１に対する操作体Ｍの近接を検出する。また、操作体検出部１０９は、第１および第２の領域Ａ１、Ａ２の面積を算出することで、操作体Ｍの接触面積および近接面積を各々に検出する。
　特に、操作体検出部１０９は、第１および第２の領域Ａ１、Ａ２の重心位置Ｇ１、Ｇ２を算出し、算出された重心位置Ｇ１、Ｇ２同士を結ぶ直線（重心線）の方向を算出し、第１の領域Ａ１の重心位置Ｇ１および重心線に基づいて、操作体Ｍの指示方向を検出する。操作体Ｍの指示方向は、第１の領域Ａ１の重心位置Ｇ１を重心線に沿って指示する方向として定義される。
　以下では、図３～図５を参照しながら、操作体Ｍの指示方向の検出方法について説明する。図３および図４は、表示パネル１０１上の操作体Ｍの状態（図３Ａ、図４Ａ）、およびセンサ画像Ｓ１、Ｓ２上で特定された第１および第２の領域（図３Ｂ、図４Ｂ）を示す図である。図５は、図３Ｂのセンサ画像Ｓ１上の輝度値の分布を示す図であり、図５Ａおよび図５ＢがＡ－Ａ線上およびＢ－Ｂ線上の輝度値の分布を各々に示している。
　図３および図４には、表示パネル１０１上で操作体Ｍの指示方向を変更する場合が示されている。この場合、通常、操作体Ｍの先端部（指先）が表示パネル１０１に接触し、先端部以外の部分（指の腹）が表示パネル１０１に近接する。
　図３に示す状態では、操作体Ｍは、ＧＵＩ表示の上方向を指示している（図３Ａ参照）。この場合、操作体検出部１０９は、センサ画像Ｓ１上の輝度値の分布に基づいて、ＧＵＩ表示の上方向として操作体Ｍの指示方向を検出する（図３Ｂ参照）。例えば、図５に示す例では、Ａ－Ａ線上で検出された第１および第２の領域Ａ１、Ａ２により、操作体Ｍの接触および近接が検出され（図５Ａ参照）、Ｂ－Ｂ線上で検出された第２の領域Ａ２により、操作体Ｍの近接が検出される（図５Ｂ参照）。
　図４に示す状態では、操作体Ｍは、ＧＵＩ表示の左上方向を指示している（図４Ａ参照）。この場合、操作体検出部１０９は、センサ画像Ｓ２上の輝度値の分布に基づいて、ＧＵＩ表示の左上方向として操作体Ｍの指示方向を検出する（図４Ｂ参照）。
　［４－１．操作方向の特定処理］
　以下では、表示パネル１０１に接触して移動する操作体Ｍの指示方向および移動方向に基づいて、操作体Ｍにより入力される操作の方向を特定する処理について説明する。
　図８は、操作方向の特定処理を示すフロー図であり、図７および図８は、操作方向の特定処理を示す模式図である。
　操作体検出部１０９は、操作体Ｍの接触を検知すると（ステップＳ１０１）、前述した操作体Ｍの検出方法に基づいて、操作体Ｍの指示方向を検出する（Ｓ１０３）。ここで、操作体Ｍの指示方向は、操作体Ｍが移動している状態、移動していない状態のいずれで検出されてもよい。
　操作体Ｍの指示方向は、図７Ａに示すように、例えば表示パネル１０１上で仮想的に設定される座標系に基づいて角度θ１として定義される。座標系は、表示パネル１０１の向きに依存せずに設定可能であるが、以下では表示パネル１０１の上下方向および左右方向に対応して通常の直交座標系が設定される場合を想定する。この場合、角度θは、直交座標系の第１象限から第４象限に至る反時計回りに定義される。
　操作体検出部１０９は、所定フレーム数に亘って角度θ１を連続して検出したかを判定する（Ｓ１０５）。各検出値は、例えば不図示のバッファ等に保存される。そして、操作体検出部１０９は、検出結果の変動が所定の閾値θｔ未満であれば（Ｓ１０７）、検出結果の中間値等として角度θ１を決定する（Ｓ１０９）。
　操作体検出部１０９は、角度θ１を決定した後に、操作体Ｍの移動開始点と移動終了点を検出し（Ｓ１１１）、操作体Ｍの移動方向を決定する（Ｓ１１３）。操作体Ｍの移動方向は、図７Ｂに示すように、操作体Ｍの移動開始点と移動終了点を結ぶ移動ベクトルＶに基づいて、角度θ１と同一の座標系に基づいて角度θ２として定義される。
　以下では、説明の便宜上、操作体Ｍが一直線上で移動する場合を想定する。この場合、移動開始点は、操作体Ｍの接触を検出していない状態で、操作体Ｍの接触が最初に検出された点として定義される。同様に、移動終了点は、接触を伴う操作体Ｍの移動を検出している状態で、操作体Ｍの非接触が最初に検出された点として定義される。なお、操作体Ｍが屈曲移動する場合、移動方向の変化点に基づいて、屈曲移動毎に移動開始点および移動終了点を定義できる。
　制御部１１７は、操作体Ｍの指示方向および移動方向を表す角度θ１、θ２の差分Δθ（＝θ１－θ２）を決定する（Ｓ１１５）。制御部１１７は、差分Δθに基づいて、操作体Ｍにより入力される操作の方向を特定する（Ｓ１１７、Ｓ１１９、Ｓ１２１）。操作方向は、図７Ｃに示すように、角度θ１と角度θ２の差分Δθに基づいて特定される。
　操作方向は、例えば、－４５°≦Δθ＜４５°である場合に上方向として特定され（Ｓ１２３）、４５°≦Δθ＜１３５°である場合に左方向として特定される（Ｓ１２５）。同様に、操作方向は、１３５°≦Δθ＜１８０°または－１８０°≦Δθ＜－１３５°である場合に下方向として特定され（Ｓ１２７）、－１３５°≦Δθ＜－４５°である場合に右方向として特定される（Ｓ１２９）。
　なお、操作方向の特定精度を高めるために、角度範囲は、例えば－３０°≦Δθ＜３０°の場合に上方向の操作方向として特定するようにしてもよい。また、ユーザの利き手に応じて、角度範囲を調整してもよい。
　図８には、操作方向の特定処理の一例として、ＧＵＩ表示の上下方向に表示されているスライダＯのツマミＴを選択し、上方向に操作する場合が示されている。
　図８Ａに示すように、ユーザに対する表示パネル１０１の向きとＧＵＩ表示の向きが一致している場合（例えば、表示パネル１０１の上部がユーザに対して上側となるように配置されている場合）、ユーザは、ＧＵＩ表示の上方向に対応するように、表示パネル１０１に対して上方向にツマミＴをドラッグ操作する。ここで、ドラッグ操作は、ツマミＴを対象として行われてもよく、ツマミＴが選択された状態で、オブジェクトが表示されていない領域等で行われてもよい。
　例えば、操作体Ｍの指示方向および移動方向が角度θ１＝１３５°、角度θ２＝１２０°として検出されると、差分Δθ＝１５°となり、図７Ｃに示したように、上方向の操作が特定される。これにより、ユーザは、スライダＯを上方向に操作できる。
　一方、図８Ｂに示すように、ユーザに対する表示パネル１０１の向きとＧＵＩ表示の向きが一致していない場合（例えば、表示パネル１０１の上部がユーザに対して左側となるように配置されている場合）、ユーザは、ＧＵＩ表示の右方向に対応するように、表示パネル１０１に対して上方向にドラッグ操作する。
　例えば、操作体Ｍの指示方向および移動方向が角度θ１＝４５°、角度θ２＝２０°として検出されると、差分Δθ＝２５°となり、図７Ｃに示したように、上方向の操作が特定される。これにより、ユーザは、ユーザに対する表示パネル１０１の向きとＧＵＩ表示の向きが一致していない場合（図８Ｂ）でも、両方の向きが一致している場合（図８Ａ）と同様に、表示パネル１０１に対して上方向にドラッグ操作することで、スライダＯを上方向に操作できる。
　よって、ユーザは、ＧＵＩ表示の方向を認識した上で、ＧＵＩ表示の方向に対応するようにドラッグ操作したり、表示パネル１０１の向きを変更した後にドラッグ操作したりせずにすむ。このため、ＧＵＩ表示の方向、換言すれば表示パネル１０１の向きに依存しない操作が可能になり、操作環境の向上を図ることができる。
　例えば、上／下方向の操作により音量を大きく／小さく調節する場合、左／右方向の操作により再生時点を前／後に調節する場合、上／下／左／右方向の操作に対応して表示パネル１０１の表示をスクロールさせる場合には、表示パネル１０１の向きに依存しない直感的な操作が可能となる。特に、オブジェクトを指定せずにコンテンツ自体を直接的に操作する場合（表示パネル１０１上で位置を特定せずにドラッグ操作する場合）に、操作性を向上させることができる。
　［４－２．表示方向の回転処理］
　以下では、操作体Ｍの指示方向に基づいて、表示パネル１０１のＧＵＩ表示を回転させる操作の方向を特定する処理について説明する。
　図９および図１０は、表示方向の回転処理を示すフロー図および模式図である。図１０には、表示方向を下方向に回転する場合（図１０Ａ）および左方向に回転する場合（図１０Ｂ）が示されている。
　操作体検出部１０９は、操作体Ｍの接触を検知すると（Ｓ２０１）、前述した操作体Ｍの検出方法に基づいて、操作体Ｍの指示方向を検出する（Ｓ２０３）。ここで、操作体Ｍの指示方向は、操作体Ｍが移動している状態、移動していない状態のいずれで検出されてもよい。
　操作体Ｍの指示方向は、図１０Ａ、１０Ｂに示すように、例えば表示パネル１０１上で仮想的に設定される座標系に基づいて角度θ１として定義される。以下では、表示パネル１０１の上下方向および左右方向に対応して通常の直交座標系が設定される場合を想定する。この場合、角度θ１は、直交座標系上で第１象限から第４象限に至る反時計回りに定義される。
　操作体検出部１０９は、所定フレーム数に亘って角度θ１を連続して検出しているかを判定する（Ｓ２０５）。そして、操作体検出部１０９は、検出結果の変動が所定の閾値θｔ未満であれば（Ｓ２０７）、検出結果の中間値等として角度θ１を決定する（Ｓ２０９）。
　制御部１１７は、操作体Ｍの指示方向を表す角度θ１に基づいて、表示パネル１０１のＧＵＩ表示を回転させる操作の方向を特定する（Ｓ２１１、Ｓ２１３、Ｓ２１５）。表示方向は、例えば、４５°≦θ１＜１３５°である場合に下方向として特定され（Ｓ２１７）、１３５°≦θ１＜２２５°である場合に右方向として特定される（Ｓ２１９）。同様に、表示方向は、２２５°≦θ１＜３１５°である場合に上方向として特定され（Ｓ２２１）、０°≦θ１＜４５°または３１５°≦θ１＜３６０°である場合に左方向として特定される（Ｓ２２３）。
　なお、操作方向の特定精度を高めるために、角度範囲は、例えば３０°≦Δθ＜１２０°の場合に下方向として特定するようにしてもよい。また、ユーザの利き手に応じて、角度範囲を調整してもよい。
　ここで、ＧＵＩ表示の回転後の方向は、通常使用時（正位置）の表示パネル１０１に対して、ＧＵＩ表示の上側が表示される向きとして定義される。つまり、表示方向が下方向とは、正位置の表示パネル１０１の下部にＧＵＩ表示の上側が表示されることを意味し、表示方向が左方向とは、正位置の表示パネル１０１の左部にＧＵＩ表示の上側が表示されることを意味する。
　表示制御部１１５は、表示方向が特定されると、表示方向の変更が必要な場合（Ｓ２２５）には、特定された操作の方向に応じて表示パネル１０１のＧＵＩ表示を回転するように、表示部１０５を制御する（Ｓ２２７）。なお、指示方向が再び変化すると、変更後の指示方向に応じて表示方向が変更される。
　これにより、操作体Ｍの指示方向に基づいて、表示パネル１０１のＧＵＩ表示の方向を回転させることで、ＧＵＩ表示の方向、換言すれば表示パネル１０１の向きに依存しない操作が可能になり、操作環境の向上を図ることができる。
　［４－３．近接ジェスチャに基づく操作の特定処理］
　以下では、表示パネル１０１上での操作体Ｍによる近接ジェスチャに基づいて、操作体Ｍにより入力される操作を特定する処理について説明する。
　図１１および図１２は、近接ジェスチャに基づく操作の特定処理を示すフロー図および模式図である。図１２には、近接ジェスチャの一例として、操作体Ｍの静止ジェスチャ（図１２Ａ）、操作体Ｍの反復移動ジェスチャ（図１２Ｂ）、操作体Ｍの移動ジェスチャ（図１２Ｃ）が示されている。
　例えば、操作体Ｍの静止ジェスチャは、表示パネル１０１上で手を静止させる動作として検出される。操作体Ｍの反復移動ジェスチャは、表示パネル１０１上で手を水平方向（および／または垂直方向）で反復移動させる動作として検出される。操作体Ｍの移動ジェスチャは、表示パネル１０１上で手を水平方向（および／または垂直方向）で移動させる動作として検出される。
　以下では、操作体Ｍの静止ジェスチャ、反復移動ジェスチャ、および移動ジェスチャに対応する３つの操作を特定する場合について説明するが、他の近接ジェスチャに基づいて、４以上の操作を特定してもよい。なお、各近接ジェスチャには、予めジェスチャ情報および特定の操作が対応付けられているものとする。
　操作体検出部１０９は、操作体Ｍの近接を検知すると（Ｓ３０１）、所定期間（例えば５００ｍｓ）に亘って操作体Ｍの近接の有無を連続して検出しているかを判定する（Ｓ３０３）。操作体検出部１０９は、操作体Ｍの近接を連続して検出していれば、移動状態の検出を開始し（Ｓ３０５）、検出していなければ、操作体Ｍの近接を継続して検知する。
　操作体Ｍの移動状態は、接触近接センサ１０３の検出範囲内で、表示パネル１０１に対する操作体Ｍの水平移動および／または垂直移動として検出される。操作体Ｍの移動状態は、例えば、操作体Ｍの移動量・速度・加速度等として検出されるが、以下では、操作体Ｍの移動速度ｖを検出する場合を想定する。
　操作体検出部１０９は、所定フレーム数に亘って操作体Ｍの移動速度ｖを連続して検出しているかを判定する（Ｓ３０７）。
　制御部１１７は、操作体Ｍの移動速度ｖの絶対値が所定の閾値ｖｔ未満であるかを判定する（Ｓ３１３）。そして、制御部１１７は、判定結果が肯定的であれば、静止ジェスチャに対応する操作を特定する（Ｓ３１５）。一方、制御部１１７は、移動速度ｖが閾値ｖｔ以上であり、かつ、移動速度ｖの変化に一定の反復性が認められれば（Ｓ３１７で“Ｙｅｓ”の場合）、反復移動ジェスチャに対応する操作を特定する（Ｓ３１９）。また、制御部１１７は、移動速度ｖが閾値ｖｔ以上であり、かつ、移動速度ｖの変化に一定の反復性が認められなければ（Ｓ３１７で“Ｎｏ”
の場合）、移動ジェスチャに対応する操作を特定する（Ｓ３２１）。
　ここで、操作体検出部１０９は、操作体Ｍの移動速度ｖとともに、近接面積Ａａを検出してもよい（Ｓ３０９）。そして、制御部１１７は、近接面積Ａａが所定の閾値Ａａｔ（例えば、表示パネル１０１の面積の７０％）を満たす場合にのみ（Ｓ３１１）、移動速度ｖに基づいて操作を特定することで、近接ジェスチャに基づく操作を正確に特定できる。なお、近接面積Ａａは、移動速度ｖと閾値Ｖｔとの比較判定（Ｓ３１３、Ｓ３１７）後に判定されてもよい。
　これにより、表示パネル１０１上での操作体Ｍの近接ジェスチャに基づいて、様々な操作の入力が可能となる。よって、ユーザは、表示パネル１０１上のオブジェクト（または情報処理装置１００の操作子）に操作体Ｍを接触させずに、操作体Ｍにより所望の操作を素早く入力できる。また、静止ジェスチャを消音操作に対応付け、反復移動ジェスチャを再生順序のシャッフル操作に対応付け、移動ジェスチャを再生順序の送り操作に対応付ける等、各近接ジェスチャに任意の意味づけをすることで、ユーザは、直感的な操作を行うことができる。
　［４－４．接触ジェスチャに基づく操作の特定処理］
　以下では、表示パネル１０１上での操作体Ｍによる接触ジェスチャに基づいて、操作体Ｍにより入力される操作を特定する処理について説明する。
　図１３および図１４は、接触ジェスチャに基づく操作の特定処理を示すフロー図および模式図である。図１４には、接触ジェスチャの一例として、オブジェクトを指定したポイントジェスチャ（図１４Ａ）、オブジェクトを指定したプッシュジェスチャ（図１４Ｂ）、オブジェクトを指定しないカバージェスチャ（図１４Ｃ）が示されている。
　例えば、ポイントジェスチャは、オブジェクトに指先を接触させる動作であり、プッシュジェスチャは、オブジェクトに指の腹を接触させる動作である。また、カバージェスチャは、例えば、表示パネル１０１を複数の指で覆う動作である。ここで、各接触ジェスチャは、表示パネル１０１に対する操作体Ｍの接触面積（および／または接触形状）に基づいて検出される。
　以下では、ポイントジェスチャ、プッシュジェスチャ、カバージェスチャに対応する３つの操作を特定する場合について説明するが、他の接触ジェスチャに基づいて、４以上の操作を特定してもよい。なお、各接触ジェスチャには、予めジェスチャ情報および特定の操作が対応付けられているものとする。
　操作体検出部１０９は、操作体Ｍの接触を検出すると（Ｓ４０１）、操作体Ｍの接触位置Ｐおよび接触面積Ａｔを検出する（Ｓ４０３）。
　制御部１１７は、操作体Ｍの接触位置Ｐが特定のオブジェクトの領域内であるかを判定する（Ｓ４０５）。接触位置Ｐとオブジェクト領域との関係は、記憶部１１３に記憶されているオブジェクトの位置に基づいて判定される。また、接触位置Ｐが複数のオブジェクトの領域内にある場合、オブジェクトを指定しないジェスチャが検出される。
　そして、判定結果が肯定的である場合に、制御部１１７は、接触面積Ａｔを所定の閾値Ａｔｔ１と比較する（Ｓ４０７）。そして、制御部１１７は、接触面積Ａｔが閾値Ａｔｔ１未満であれば、ポイントジェスチャに対応する操作を特定し（Ｓ４０９）、閾値Ａｔｔ１以上であれば、プッシュジェスチャに対応する操作を特定する（Ｓ４１１）。
　一方、ステップＳ４０５の判定結果が否定的である場合に、制御部１１７は、接触面積Ａｔを所定の閾値Ａｔｔ２（Ａｔｔ１＜Ａｔｔ２）と比較する（Ｓ４１３）。そして、制御部１１７は、接触面積Ａが閾値Ａｔｔ２以上であれば、カバージェスチャに対応する操作を特定する（Ｓ４１５）。
　ここで、接触面積Ａｔは、接触位置Ｐとオブジェクト領域との比較判定（Ｓ４０５）後に判定されてもよい。また、操作体検出部１０９は、接触面積Ａｔとともに、接触領域の形状、操作体Ｍの近接状態等を検出してもよい。そして、制御部１１７は、接触領域の形状、操作体Ｍの近接状態に基づいて、指先、指の腹等の接触が検知された場合にのみ、接触面積Ａｔに基づいて操作を特定することで、接触ジェスチャに基づく操作を正確に特定できる。
　これにより、表示パネル１０１上での操作体Ｍによる接触ジェスチャに基づいて、様々な操作の入力が可能となる。特に、指先によるジェスチャに局所的な操作を対応付け、手の平によるジェスチャに大局的な操作を対応付ける等、各接触ジェスチャに任意の意味づけをすることで、ユーザは、直感的な操作を行うことができる。
　［４－５．接触・近接状態に基づく操作の特定処理］
　以下では、表示パネル１０１上での操作体Ｍの接触・近接状態に基づいて、操作体Ｍにより入力される操作を特定する処理について説明する。
　図１５は、接触・近接状態に基づく操作の特定処理を示すフロー図である。
　特定処理の開始に際して、操作体検出部１０９は、表示パネル１０１に対する操作体Ｍの接触の有無を検知し、接触を検知すると（Ｓ５０１）、操作体Ｍの接触位置Ｐおよび接触面積Ａｔを検出する（Ｓ５０３）。
　制御部１１７は、接触面積Ａｔが閾値Ａｔｔ未満であるかを判定する（Ｓ５０５）。判定結果が否定的である場合に、制御部１１７は、接触シェード操作（カバージェスチャに対応する操作）を特定する（Ｓ５１３）。一方、判定結果が肯定的である場合に、制御部１１７は、入力起点と接触位置Ｐの差が閾値Ｍｔ以上であるかを判定し（Ｓ５０７）、判定結果が肯定的である場合に、ドラッグ操作を特定する（Ｓ５０９）。ここで、ドラッグ操作が特定されると、前述した操作方向の特定処理が行われる（Ｓ５１１）。一方、判定結果が否定的である場合に、処理が再開される。
　処理の開始に際して、操作体検出部１０９は、表示パネル１０１に対する操作体Ｍの近接の有無を検知する（Ｓ５１５）。近接を検知すると、操作体検出部１０９は、所定時間に亘って操作体Ｍの近接を連続して検出していれば（Ｓ５１７で“Ｙｅｓ”）、操作体Ｍの移動速度ｖおよび近接面積Ａａの検出を開始し（Ｓ５１９）、連続検出していなければ（Ｓ５１７で“Ｎｏ”）、処理が再開される。次に、制御部１１７は、近接面積Ａａが閾値Ａａｔ以上であるかを判定し（Ｓ５２１）、判定結果が否定的である場合に、処理が再開される。
　一方、ステップＳ５２１の判定結果が肯定的である場合に、制御部１１７は、所定フレーム数に亘って連続検出される移動速度ｖの絶対値が閾値ｖｔ未満であるかを判定する（Ｓ５２３）。そして、制御部１１７は、判定結果が肯定的である場合に、近接シェード操作（静止ジェスチャに対応する操作）を特定し（Ｓ５２５）、判定結果が否定的である場合に、近接シェイク操作（反復移動ジェスチャに対応する操作）を特定する（Ｓ５２７）。
　処理の開始に際して、制御部１１７は、操作体Ｍの接触を継続的に検知していたかを判定する（Ｓ５２９）。制御部１１７は、接触面積Ａｔが所定の閾値Ａｔｔ未満であったかを判定する（Ｓ５３１）。そして、制御部１１７は、判定結果が肯定的である場合に、入力起点と接触位置Ｐの差が閾値Ｍｔ未満であるかを判定し（Ｓ５３３）、判定結果が肯定的である場合に、タップ操作を特定する（Ｓ５３５）。一方、ステップＳ５２９、Ｓ５３１、Ｓ５３３で判定結果が否定的である場合に、処理が再開される。
　操作体Ｍの近接状態を検出する場合、表示パネル１０１と操作体Ｍとが隔てられているので、接触状態の検出に比べて、誤検出を生じる可能性が高くなる。しかし、所定閾値Ａａｔ以上の近接面積Ａａが検出される場合にのみ、近接ジェスチャとして捉えることで、誤検出を抑制できる。
　また、操作体Ｍの接触・近接状態を同時に検出する場合、ユーザが意図する接触ジェスチャを近接ジェスチャとして捉えてしまうことで、誤検出を生じる可能性が高くなる。しかし、所定の継続時間に亘って近接状態が検出される場合にのみ、近接ジェスチャとして捉えることで、誤検出を抑制できる。
　［５．検出モードの制御方法］
　以下では、情報処理装置１００（以下では自装置とも称する。）の静止状態または向きに応じて、操作体Ｍによる自装置に対する操作を検出するモードを制御する方法について説明する。
　［５－１．近接検出モードの制御方法］
　まず、自装置の静止状態に応じて、操作体Ｍによる表示パネル１０１に対する近接操作を検出するモードを制御する実施例について説明する。
　接触近接センサ１０３は、接触操作の検出部と近接操作の検出部からなる。接触近接センサ１０３は、情報処理装置１００が起動中に接触センサとして継続的に機能しており、近接操作に対応するアプリケーションの起動中に、近接センサとしても機能する。以下では、接触操作の検出部と近接操作の検出部に対する電源系統が別系統で設けられている場合を想定する。状態検出部１１１は、加速度センサを含み、自装置の静止状態を検出する。
　制御部１１７は、自装置の静止状態に応じて、操作体Ｍによる自装置に対する操作を検出するモードを制御するモード制御部として機能する。特に、制御部１１７は、操作体Ｍによる表示パネル１０１に対する近接操作を検出する近接検出モードを制御する。
　図１６および図１７は、近接検出モードの制御処理を示すフロー図および模式図である。
　制御部１１７は、近接操作に対応するアプリケーションを起動中であるかを判定し（Ｓ６０１）、判定結果が肯定的である場合に、状態検出部１１１による検出結果に応じて、自装置が静止状態にあるかを判定する（Ｓ６０３）。一方、制御部１１７は、判定結果が否定的である場合に、アプリケーションの起動を継続して判定する。
　自装置が静止状態にある場合に、制御部１１７は、静止状態が所定時間に亘って継続しているかを判定し（Ｓ６０５）、判定結果が肯定的である場合に、近接検出モードを有効にする（Ｓ６０７）。一方、ステップＳ６０３、Ｓ６０５の判定結果が否定的である場合に、制御部１１７は、近接検出モードを無効にする（Ｓ６０９）。この場合、近接操作に対応する検出処理、電源供給が省略される。
　図１７Ａには、近接操作に対応するアプリケーションを起動中に、自装置がユーザにより保持されて静止状態にある場合が示されている。この場合、近接検出モードが有効になり、ユーザは、表示パネル１０１に対する操作体Ｍの近接状態を変化させることで、近接操作を行うことができる（この状態で接触操作も行うことができる。）。
　図１７Ｂには、自装置が誤って移動された場合が示されている。この場合、表示パネル１０１上に操作体Ｍが近接すると、近接検出モードが無効にならなければ、ユーザが意図しない近接操作が検出されてしまう。しかし、自装置が移動状態になると、近接検出モードが自動的に無効になり、近接操作が検出されなくなるので、ユーザが意図しない近接操作が検出されずにすむ。そして、自装置が再び静止状態になると、近接検出モードが有効になるので、ユーザは、近接操作を再開できる。
　これにより、自装置の静止状態に応じて、近接検出モードが制御されるので、近接操作を検出する必要がない場合には、近接操作に対応する検出処理および電源供給を省略できる。また、ユーザが意図しない近接操作を検出しないですむ。さらに、ユーザは、検出モードを手動で制御せずとも、接触操作と近接操作をシームレスに行える。
　［５－２．近接・遠隔検出モードの制御方法］
　つぎに、自装置の静止状態に応じて、操作体Ｍによる表示パネル１０１に対する近接・遠隔操作を検出するモードを制御する実施例について説明する。
　接触近接センサ１０３および状態検出部１１１については、前述の実施例と同様である。遠隔センサ１０７は、所定のジェスチャ等、操作体Ｍの遠隔動作を撮像して捉える。遠隔センサ１０７は、ステレオカメラ等からなり、遠隔操作に対応するアプリケーションの起動中に機能する。以下では、接触近接センサ１０３と遠隔センサ１０７に対する電源系統が別系統で設けられている場合を想定する。
　制御部１１７は、特に、操作体Ｍによる表示パネル１０１に対する近接操作を検出する近接検出モード、および操作体Ｍによる遠隔センサ１０７に対する遠隔操作を検出する遠隔検出モードを制御する。
　図１８および図１９は、近接・遠隔検出モードの制御処理を示すフロー図および模式図である。
　制御部１１７は、近接・遠隔操作に対応するアプリケーションを起動中であるかを判定し（Ｓ７０１）、判定結果が肯定的である場合に、状態検出部１１１による検出結果に応じて、自装置が静止状態にあるかを判定する（Ｓ７０３）。一方、制御部１１７は、判定結果が否定的である場合に、アプリケーションの起動を継続して判定する。
　自装置が静止状態にある場合に、制御部１１７は、静止状態が所定時間に亘って継続しているかを判定し（Ｓ７０５）、判定結果が肯定的である場合に、近接検出モードを無効にし、遠隔検出モードを有効にする（Ｓ７０７）。この場合、近接操作に対応する検出処理、電源供給が行われない。一方、ステップＳ７０３、Ｓ７０５の判定結果が否定的である場合に、制御部１１７は、近接検出モードを有効にし、遠隔検出モードを無効にする（Ｓ７０９）。この場合、遠隔操作に対応する検出処理、電源供給が省略される。
　図１９Ａには、近接・遠隔操作に対応するアプリケーションを起動中に、自装置が机上に配置されて静止状態にある場合が示されている。この場合、遠隔検出モードが有効になり、近接検出モードが無効になるので、ユーザは、自装置に対する操作体Ｍの遠隔動作を変化させることで、遠隔操作を行うことができる（この状態で接触操作も行うことができる。）。
　図１９Ｂには、車中等で自装置がユーザにより保持されて移動（振動）状態にある場合が示されている。この場合、自装置が移動状態にあるので、遠隔検出モードが無効にならなければ、ユーザが意図しない遠隔操作が検出されてしまう場合がある。しかし、自装置が移動状態になると、遠隔検出モードが自動的に無効になり、遠隔操作が検出されなくなるので、ユーザが意図しない遠隔操作が検出されずにすむ。そして、自装置が再び静止状態になると、遠隔検出モードが有効になるので、ユーザは、遠隔操作を再開できる。
　これにより、自装置の静止状態に応じて、近接検出モードおよび遠隔検出モードが制御されるので、近接操作または遠隔操作を検出する必要がない場合には、近接操作または遠隔操作に対応する検出処理および電源供給を省略できる。また、ユーザが意図しない遠隔操作を検出しないですむ。さらに、ユーザは、検出モードを手動で制御せずとも、近接操作と遠隔操作をシームレスに行える。
　［５－３．接触検出モードの制御方法］
　さらに、自装置の向きに応じて、操作体Ｍによる自装置に対する接触操作を検出するモードを制御する方法について説明する。
　本実施例では、自装置の表示パネル１０１に主センサ１０３が設けられ、自装置の長軸方向の側面に副センサ１０４Ｒ、１０４Ｌおよび短軸方向の側面に副センサ１０４Ｕ、１０４Ｄが各々に設けられる。主センサ１０３は、表示パネル１０１に対する操作体Ｍの接触操作を検出し、副センサ１０４Ｒ、１０４Ｌ、１０４Ｕ、１０４Ｄは、例えば、表示パネル１０１のＧＵＩ表示をスクロールさせるために操作体Ｍの接触操作を検出する。以下では、副センサ１０４Ｒ、１０４Ｌ、１０４Ｕ、１０４Ｄに対する電源系統が別系統で設けられている場合を想定する。
　状態検出部１１１は、ジャイロセンサを含み、自装置の向きを検出する。以下では、自装置の長軸方向および短軸方向がユーザに対して上下方向となる場合を各々に縦向きおよび横向きと称する。状態検出部１１１は、自装置が縦向きにあるか横向きにあるかを検出する。
　制御部１１７は、特に、副センサ１０４Ｒ、１０４Ｌ、１０４Ｕ、１０４Ｄに対する接触操作を検出する検出モードを制御する。制御部１１７は、例えば、自装置が縦向きにある場合に、副センサ１０４Ｒ、１０４Ｌによる検出を有効にするとともに副センサ１０４Ｕ、１０４Ｄによる検出を無効にし、自装置が横向きにある場合に、副センサ１０４Ｒ、１０４Ｌによる検出を無効にするとともに副センサ１０４Ｕ、１０４Ｄによる検出を有効にする。特に、制御部１１７は、自装置の向きに応じて、ユーザの利き手側に対応する副センサ１０４Ｌ、１０４Ｒ、１０４Ｕ、１０４Ｄを有効にする。以下では、ユーザが右利きである場合を想定する。
　図２０および図２１は、接触検出モードの制御処理を示すフロー図および模式図である。
　制御部１１７は、状態検出部１１１からのセンサ出力に応じて、自装置が縦向きにあるかを判定し（Ｓ８０１）、判定結果が肯定的である場合（図２１Ａ）に、自装置が所定時間に亘って縦向きであるかを判定する（Ｓ８０３）。そして、判定結果が肯定的である場合に、制御部１１７は、ユーザに対して右側にある副センサ１０４Ｒを有効にし、他の副センサ１０４Ｌ、１０４Ｕ、１０４Ｄを無効にする（Ｓ８０５）。
　一方、自装置が横向きにある場合（例えば、表示パネル１０１の上部がユーザに対して左側にある場合）に、自装置が所定時間に亘って横向きであるかを判定する（Ｓ８０７）。判定結果が肯定的である場合（図２１Ｂ）に、制御部１１７は、ユーザに対して右側にある副センサ１０４Ｄを有効にし、他の副センサ１０４Ｒ、１０４Ｌ、１０４Ｕを無効にする（Ｓ８０９）。
　また、図２２および図２３は、アプリケーションの起動制御処理を示すフロー図および模式図である。
　制御部１１７は、状態検出部１１１による検出結果に応じて、自装置が縦向きにあるかを判定し（Ｓ９０１）、判定結果が肯定的である場合（図２３Ａ）に、操作体Ｍが副センサ１０４Ｒに接触しているかを判定する（Ｓ９０３）。次に、判定結果が肯定的である場合に、制御部１１７は、操作体Ｍが副センサ１０４Ｒに所定時間に亘って接触しているかを判定する（Ｓ９０５）。そして、判定結果が肯定的である場合に、制御部１１７は、ブックリーダを起動する（Ｓ９０７）。
　一方、自装置が横向きにある場合（例えば、表示パネル１０１の上部がユーザに対して左側にある場合）に、操作体Ｍが副センサ１０４Ｕおよび１０４Ｄに接触しているかを判定する（Ｓ９０９）。次に、判定結果が肯定的である場合に、制御部１１７は、操作体Ｍが副センサ１０４Ｕおよび１０４Ｄに所定時間に亘って接触しているかを判定する（Ｓ９１１）。そして、判定結果が肯定的である場合（図２３Ｂ）に、制御部１１７は、ゲームを起動する（Ｓ９１３）。
　また、例えば、自装置が横向きにあり、ユーザが自装置を持上げようとして、操作体Ｍが副センサ１０４Ｒ、１０４Ｌ、１０４Ｕ、または１０４Ｄのいずれかに接触している場合（図２３Ｃ）に、制御部１１７は、ブックリーダを起動せずにすむ。
　これにより、自装置の向きに応じて、接触検出モードが制御されるので、接触操作の対象とならない副センサ１０４では、接触操作に対応する検出処理および電源供給を省略できる。また、ユーザが意図しない接触操作を検出しないですむ。
　［６．情報処理装置１００のハードウェア構成］
　図２４は、情報処理装置１００のハードウェア構成例を示すブロック図である。
　情報処理装置１００は、主に、ＣＰＵ９０１、ＲＯＭ９０３、ＲＡＭ９０５、ホストバス９０７、ブリッジ９０９、外部バス９１１、インタフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んで構成される。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置１００の動作を少なくとも部分的に制御する。ＲＯＭ９０３は、ＣＰＵ９０１が用いるプログラムやパラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が実行するプログラム、プログラム実行時のパラメータ等を一時記憶する。ＣＰＵ９０１、ＲＯＭ９０３、ＲＡＭ９０５は、ホストバス９０７により互いに接続される。ホストバス９０７は、ブリッジ９０９を介して外部バス９１１に接続される。
　入力装置９１５は、例えば、マウス、キーボード、表示パネル１０１、ボタン、スイッチ等、ユーザが操作可能な操作手段である。また、入力装置９１５は、例えば、赤外線等の電波を用いた遠隔操作手段でもよく、情報処理装置１００の操作に対応した携帯電話機、ＰＤＡ等の外部機器９２９でもよい。入力装置９１５は、例えば上記の操作手段を用いてユーザにより入力された操作情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等を含んで構成される。情報処理装置１００のユーザは、入力装置９１５の操作を介して、情報処理装置１００に対して各種のデータを入力し、処理動作を指示する。
　出力装置９１７は、例えば、ＣＲＴディスプレイ、液晶ディスプレイ、表示パネル１０１、ランプ等の表示装置、スピーカ、ヘッドフォン等の音声出力装置、プリンタ、携帯電話機、ファクシミリ等、取得された情報をユーザに対して視覚的または聴覚的に通知可能な装置を含んで構成される。出力装置９１７は、情報処理装置１００の処理結果を出力する。例えば、表示装置は、情報処理装置１００による処理結果を、テキスト情報またはイメージ情報として表示し、音声出力装置は、再生された音声データ、音響データ等のオーディオ信号をアナログ信号に変換して出力する。
　ストレージ装置９１９は、データ格納用の装置であり、例えば、ＨＤＤ等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等を含む。ストレージ装置９１９は、ＣＰＵ９０１が実行するプログラム、各種データ、外部から取得された各種データ等を格納する。
　ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置１００に内蔵または外付けされる。ドライブ９２１は、装着される磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に対して、記録済みデータを読出してＲＡＭ９０５に出力し、記録対象のデータを書き込む。
　接続ポート９２３は、例えば、ＵＳＢポート、ＳＣＳＩポート、ＲＳ２３２Ｃポート等、外部機器９２９を情報処理装置１００に直接接続するためのポートである。情報処理装置１００は、接続ポート９２３に接続された外部機器９２９に対して、接続ポート９２３を介してデータを取得し、データを提供する。
　通信装置９２５は、通信網Ｎに接続するための通信デバイス等から構成される通信インタフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ、ＷＵＳＢ用の通信カード、ＡＤＳＬ用のルータ、通信用モデム等である。通信装置９２５は、例えばインターネットや他の通信機器との間で、所定のプロトコルに則して信号等を送受信する。通信装置９２５に接続される通信網Ｎは、有線または無線により接続されたネットワーク等により構成され。例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信、または衛星通信等でもよい。
　以上、本発明の実施形態に係る情報処理装置１００の機能を実現するためのハードウェア構成の一例について説明した。なお、上記ハードウェアの各構成要素は、汎用的なデバイスを用いて構成されてもよく、各構成要素の機能の特化したデバイスを用いて構成されてもよい。
　［７．まとめ］
　以上説明したように、本発明の実施形態に係る情報処理装置１００は、表示パネル１０１に接触する操作体Ｍの指示方向を検出し、検出された操作体Ｍの指示方向に基づいて、操作体Ｍにより入力される操作の方向を特定する。これにより、操作体Ｍの指示方向に基づいて操作の方向が特定されるので、ユーザに対する表示パネル１０１の向きに依存しない操作が可能になる。
　以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
　　１００　　情報処理装置
　　１０１　　表示パネル
　　１０３　　接触近接センサ
　　１０５　　表示部
　　１０７　　遠隔センサ
　　１０９　　操作体検出部
　　１１１　　状態検出部
　　１１３　　記憶部
　　１１５　　表示制御部
　　１１７　　制御部（操作特定部、モード制御部）

Claims (9)

  1. 　表示パネルに接触する操作体の指示方向を検出する操作体検出部と、
    　前記検出された操作体の指示方向に基づいて、前記操作体により入力される操作の方向を特定する操作特定部と、
    　を備える情報処理装置。
  2. 　前記操作体検出部は、前記表示パネルに接触して移動する前記操作体の指示方向および移動方向を検出し、
    　前記操作特定部は、前記検出された操作体の指示方向および移動方向に基づいて、前記操作体により入力される操作の方向を特定する、請求項１に記載の情報処理装置。
  3. 　前記操作特定部は、前記検出された操作体の指示方向と移動方向により定義される角度に基づいて、前記操作体により入力される操作の方向を特定する、請求項２に記載の情報処理装置。
  4. 　前記表示パネルの表示を制御する表示制御部をさらに備え、
    　前記操作特定部は、前記検出された操作体の指示方向に基づいて、前記表示パネルの表示を回転させる操作の方向を特定し、
    　前記表示制御部は、前記特定された操作の方向に応じて前記表示パネルの表示を回転させる、請求項１に記載の情報処理装置。
  5. 　前記操作特定部は、操作者に対する前記表示パネルの向きに依存せずに、前記操作体により入力される操作の方向を特定する、請求項１に記載の情報処理装置。
  6. 　前記操作体検出部は、前記操作体の先端部の向きに基づいて、前記操作体の指示方向を決定する、請求項１に記載の情報処理装置。
  7. 　前記操作体検出部は、前記操作体の指示方向を連続して検出し、前記連続して検出された操作体の指示方向が所定の閾値内にある場合に、前記連続して検出された操作体の指示方向に基づいて、前記操作体の指示方向を決定する、請求項１に記載の情報処理装置。
  8. 　表示パネルに接触する操作体の指示方向を検出するステップと、
    　前記検出された操作体の指示方向に基づいて、前記操作体により入力される操作の方向を特定するステップと、
    　を含む情報処理方法。
  9. 　表示パネルに接触する操作体の指示方向を検出するステップと、
    　前記検出された操作体の指示方向に基づいて、前記操作体により入力される操作の方向を特定するステップと、
    　を含む情報処理方法をコンピュータに実行させるためのプログラム。
PCT/JP2010/055682 2009-05-26 2010-03-30 情報処理装置、情報処理方法およびプログラム WO2010137400A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
BRPI1012863A BRPI1012863A2 (pt) 2009-05-26 2010-03-30 aparelho e método de processamento de informação, e, programa
RU2011147125/08A RU2011147125A (ru) 2009-05-26 2010-03-30 Устройство обработки информации, способ обработки информации и программа
CN201080021934.3A CN102428437B (zh) 2009-05-26 2010-03-30 信息处理设备和信息处理方法
US13/320,992 US9690475B2 (en) 2009-05-26 2010-03-30 Information processing apparatus, information processing method, and program
EP10780357.9A EP2437147B1 (en) 2009-05-26 2010-03-30 Information processing device, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-126949 2009-05-26
JP2009126949A JP2010277197A (ja) 2009-05-26 2009-05-26 情報処理装置、情報処理方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2010137400A1 true WO2010137400A1 (ja) 2010-12-02

Family

ID=43222523

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/055682 WO2010137400A1 (ja) 2009-05-26 2010-03-30 情報処理装置、情報処理方法およびプログラム

Country Status (9)

Country Link
US (1) US9690475B2 (ja)
EP (1) EP2437147B1 (ja)
JP (1) JP2010277197A (ja)
KR (1) KR20120026043A (ja)
CN (1) CN102428437B (ja)
BR (1) BRPI1012863A2 (ja)
RU (1) RU2011147125A (ja)
TW (1) TW201101126A (ja)
WO (1) WO2010137400A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI423093B (zh) * 2010-12-03 2014-01-11 Au Optronics Corp 觸控面板判斷多點觸控之方法
US10564759B2 (en) 2010-12-24 2020-02-18 Samsung Electronics Co., Ltd. Method and apparatus for providing touch interface

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5724422B2 (ja) * 2011-02-07 2015-05-27 富士通株式会社 操作制御装置，操作制御プログラムおよび操作制御方法
US20130089237A1 (en) * 2011-10-10 2013-04-11 Invisage Technologies, Inc. Sensors and systems for the capture of scenes and events in space and time
AU2013205613B2 (en) * 2012-05-04 2017-12-21 Samsung Electronics Co., Ltd. Terminal and method for controlling the same based on spatial interaction
US9720456B1 (en) * 2012-07-23 2017-08-01 Amazon Technologies, Inc. Contact-based device interaction
US9176539B2 (en) * 2012-11-10 2015-11-03 Ebay Inc. Key input using an active pixel camera
WO2014093334A2 (en) 2012-12-10 2014-06-19 Invisage Technologies, Inc. Capture of scenes and events in space and time
JP6119291B2 (ja) * 2013-02-14 2017-04-26 日本電気株式会社 表示装置、電子機器、表示方法及びプログラム
US9020194B2 (en) * 2013-06-14 2015-04-28 Qualcomm Incorporated Systems and methods for performing a device action based on a detected gesture
KR102169952B1 (ko) * 2013-10-18 2020-10-26 엘지전자 주식회사 웨어러블 디바이스 및 그 제어 방법
JP6282876B2 (ja) * 2014-02-04 2018-02-21 シャープ株式会社 情報処理装置
CN103870199B (zh) 2014-03-31 2017-09-29 华为技术有限公司 手持设备上用户操作模式的识别方法及手持设备
JP2016021229A (ja) * 2014-06-20 2016-02-04 船井電機株式会社 入力装置
US9692968B2 (en) 2014-07-31 2017-06-27 Invisage Technologies, Inc. Multi-mode power-efficient light and gesture sensing in image sensors
WO2016032806A1 (en) 2014-08-26 2016-03-03 Apple Inc. User interface for limiting notifications and alerts
WO2017004262A1 (en) * 2015-07-01 2017-01-05 Qeexo, Co. Determining pitch for proximity sensitive interactions
WO2017151136A1 (en) 2016-03-03 2017-09-08 Hewlett-Packard Development Company, L.P. Input axis rotations
US10795450B2 (en) 2017-01-12 2020-10-06 Microsoft Technology Licensing, Llc Hover interaction using orientation sensing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006072872A (ja) * 2004-09-06 2006-03-16 Matsushita Electric Ind Co Ltd 携帯型情報処理装置、情報処理装置の画面回転方法および合成データ回転方法
JP2008003868A (ja) * 2006-06-22 2008-01-10 Sharp Corp タッチパネル式入力装置、及びこれを備えた表示入力システム

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1144703A (ja) * 1997-07-25 1999-02-16 Matsushita Electric Ind Co Ltd 手振り入力装置
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US20070177804A1 (en) * 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
JPH11212726A (ja) * 1998-01-29 1999-08-06 Omron Corp 入力装置
JP4415227B2 (ja) * 2000-04-21 2010-02-17 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
JP3725460B2 (ja) * 2000-10-06 2005-12-14 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP2002157079A (ja) * 2000-11-09 2002-05-31 Doko Kagi Kofun Yugenkoshi 意向識別方法
US7656393B2 (en) * 2005-03-04 2010-02-02 Apple Inc. Electronic device having display and surrounding touch sensitive bezel for user interface and control
JP2004178547A (ja) * 2002-09-30 2004-06-24 Sanyo Electric Co Ltd 携帯型電子装置
JP2004246814A (ja) * 2003-02-17 2004-09-02 Takenaka Komuten Co Ltd 指示動作認識装置
JP2004356819A (ja) * 2003-05-28 2004-12-16 Sharp Corp リモート操作装置
JP3752246B2 (ja) * 2003-08-11 2006-03-08 学校法人慶應義塾 ハンドパターンスイッチ装置
US7401300B2 (en) * 2004-01-09 2008-07-15 Nokia Corporation Adaptive user interface input device
JP4148187B2 (ja) * 2004-06-03 2008-09-10 ソニー株式会社 携帯型電子機器、入力操作制御方法及びそのプログラム
JP4351599B2 (ja) * 2004-09-03 2009-10-28 パナソニック株式会社 入力装置
JP2006268209A (ja) * 2005-03-23 2006-10-05 Akinori Yoshino ユーザの身体動作による遠隔命令入力装置
JP2006277588A (ja) * 2005-03-30 2006-10-12 Clarion Co Ltd タッチパネル及びタッチパネルを備えた電子機器
CN101506760A (zh) * 2005-05-27 2009-08-12 夏普株式会社 显示装置
US7714265B2 (en) * 2005-09-30 2010-05-11 Apple Inc. Integrated proximity sensor and light sensor
JP4786292B2 (ja) * 2005-10-26 2011-10-05 シャープ株式会社 情報処理装置、階層情報出力方法及びプログラム
CN100485591C (zh) * 2006-03-10 2009-05-06 凌阳科技股份有限公司 可在屏幕上显示和接收输入的实体模拟装置及其旋转方法
GB2438449C (en) * 2006-05-24 2018-05-30 Sony Computer Entertainment Europe Ltd Control of data processing
US20070297028A1 (en) * 2006-06-21 2007-12-27 Thomas Wulff System and device for monitoring a computing device
US7552402B2 (en) * 2006-06-22 2009-06-23 Microsoft Corporation Interface orientation using shadows
US8564544B2 (en) * 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US9304675B2 (en) * 2006-09-06 2016-04-05 Apple Inc. Portable electronic device for instant messaging
JP2008158675A (ja) * 2006-12-21 2008-07-10 Toyota Motor Corp 車両用操作装置
US8519963B2 (en) * 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface for interpreting a finger gesture on a touch screen display
JP2008192012A (ja) * 2007-02-06 2008-08-21 Sharp Corp 座標入力装置、座標入力方法、制御プログラム、およびコンピュータ読取可能な記録媒体
JP4727614B2 (ja) * 2007-03-30 2011-07-20 シャープ株式会社 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理装置の制御方法
JP4935481B2 (ja) * 2007-04-19 2012-05-23 セイコーエプソン株式会社 検出装置、および、その制御方法
JP2009032028A (ja) * 2007-07-26 2009-02-12 Panasonic Corp タッチパネル装置
US8125458B2 (en) * 2007-09-28 2012-02-28 Microsoft Corporation Detecting finger orientation on a touch-sensitive device
US20090167719A1 (en) * 2007-11-02 2009-07-02 Woolley Richard D Gesture commands performed in proximity but without making physical contact with a touchpad
US7898428B2 (en) * 2008-03-06 2011-03-01 Research In Motion Limited Safety for mobile device users while driving

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006072872A (ja) * 2004-09-06 2006-03-16 Matsushita Electric Ind Co Ltd 携帯型情報処理装置、情報処理装置の画面回転方法および合成データ回転方法
JP2008003868A (ja) * 2006-06-22 2008-01-10 Sharp Corp タッチパネル式入力装置、及びこれを備えた表示入力システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI423093B (zh) * 2010-12-03 2014-01-11 Au Optronics Corp 觸控面板判斷多點觸控之方法
US8810531B2 (en) 2010-12-03 2014-08-19 Au Optronics Corp. Method of a touch panel determining multi-touch
US10564759B2 (en) 2010-12-24 2020-02-18 Samsung Electronics Co., Ltd. Method and apparatus for providing touch interface
EP2656182B1 (en) * 2010-12-24 2021-08-18 Samsung Electronics Co., Ltd. Method and apparatus for providing touch interface
US11157107B2 (en) 2010-12-24 2021-10-26 Samsung Electronics Co., Ltd. Method and apparatus for providing touch interface

Also Published As

Publication number Publication date
US9690475B2 (en) 2017-06-27
CN102428437A (zh) 2012-04-25
BRPI1012863A2 (pt) 2018-02-20
EP2437147B1 (en) 2014-04-30
KR20120026043A (ko) 2012-03-16
JP2010277197A (ja) 2010-12-09
US20120092283A1 (en) 2012-04-19
RU2011147125A (ru) 2013-05-27
CN102428437B (zh) 2014-05-28
TW201101126A (en) 2011-01-01
EP2437147A1 (en) 2012-04-04
EP2437147A4 (en) 2012-12-26

Similar Documents

Publication Publication Date Title
JP5282661B2 (ja) 情報処理装置、情報処理方法およびプログラム
WO2010137400A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2018076523A1 (zh) 手势识别的方法、装置及车载***
US9448714B2 (en) Touch and non touch based interaction of a user with a device
JP5610644B2 (ja) 入力装置、入力支援方法及びプログラム
US20170293351A1 (en) Head mounted display linked to a touch sensitive input device
US10191603B2 (en) Information processing device and information processing method
KR20140114913A (ko) 사용자 기기의 센서 운용 방법 및 장치
WO2016035323A1 (en) Information processing device, information processing method, and program
US20140055385A1 (en) Scaling of gesture based input
US20140068524A1 (en) Input control device, input control method and input control program in a touch sensing display
JP2013089037A (ja) 描画装置、描画制御方法、及び描画制御プログラム
WO2016018518A1 (en) Optical tracking of a user-guided object for mobile platform user input
KR20140055880A (ko) 가상 화면 제어 방법 및 장치
KR20150008963A (ko) 스크린을 제어하는 휴대 단말 및 방법
JP6034281B2 (ja) オブジェクト選択方法、装置及びコンピュータ・プログラム
JP5558899B2 (ja) 情報処理装置、その処理方法及びプログラム
US10338692B1 (en) Dual touchpad system
GB2576359A (en) Controlling display of images
EP4400956A1 (en) Touchless user interface provision method based on an electronic device case
WO2023181549A1 (ja) 制御装置、制御方法、プログラム
JP2012032944A (ja) 情報処理装置及びその制御方法
WO2018131245A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20140066378A (ko) 디스플레이장치와 그 제어방법
KR20210123920A (ko) 에어 제스처에 의한 편집 기능을 제공하기 위한 전자 장치, 그 동작 방법 및 저장 매체

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080021934.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10780357

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010780357

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20117025355

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13320992

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2011147125

Country of ref document: RU

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 9004/DELNP/2011

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: PI1012863

Country of ref document: BR

ENP Entry into the national phase

Ref document number: PI1012863

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20111118