WO2013057907A1 - 入力装置、表示処理方法及び表示処理プログラムが格納された記憶媒体 - Google Patents

入力装置、表示処理方法及び表示処理プログラムが格納された記憶媒体 Download PDF

Info

Publication number
WO2013057907A1
WO2013057907A1 PCT/JP2012/006533 JP2012006533W WO2013057907A1 WO 2013057907 A1 WO2013057907 A1 WO 2013057907A1 JP 2012006533 W JP2012006533 W JP 2012006533W WO 2013057907 A1 WO2013057907 A1 WO 2013057907A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
input
trajectory
locus
input device
Prior art date
Application number
PCT/JP2012/006533
Other languages
English (en)
French (fr)
Inventor
美樹 渕澤
陽子 橋本
Original Assignee
Necカシオモバイルコミュニケーションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Necカシオモバイルコミュニケーションズ株式会社 filed Critical Necカシオモバイルコミュニケーションズ株式会社
Publication of WO2013057907A1 publication Critical patent/WO2013057907A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Definitions

  • the present invention relates to an input device, a display processing method, and a storage medium storing a display processing program, and more particularly to a display processing technique at the time of input.
  • Patent Documents 1 to 3 disclose techniques for displaying various marks at input positions.
  • Patent Documents 1 to 3 performs a trajectory display corresponding to an input process for drawing a trajectory on the screen. Therefore, when an input process for drawing a trajectory on the screen is performed, the problem of how to improve the visibility of the input trajectory and enjoying the display itself cannot be solved.
  • An object of the present invention is to provide an input device, a display processing method, and a display processing program that enhance the visibility of an input locus when an input process for drawing a locus on a screen is performed and that can enjoy the display itself.
  • An input device includes an input detection unit that detects user input and outputs input data, a display unit that executes display according to display data, and an input output from the input detection unit
  • a control unit that generates display data based on the data and outputs the display data to the display unit, and the control unit is an input with continuous position change in a state in which at least an application-related display object is displayed on the background data. Is detected in the display area of the background data other than the display area of the application-related display object, and the locus display is not displayed in the display area of the application-related display object. is there.
  • the display processing method includes a step of detecting an input by a user, and when detecting an input with a continuous position change in a state where at least an application-related display body is displayed on the background data. Generating a display data that does not display the locus display in the display area of the application-related display body, and displaying the locus display indicating the locus in the display area of the background data other than the display area of the application-related display body; and It is equipped with.
  • the display processing program detects an input by a user, and detects an input with continuous position change in a state in which at least an application-related display is displayed on the background data. Generating a display data that does not display the locus display in the display area of the application-related display body, and displaying the locus display indicating the locus in the display area of the background data other than the display area of the application-related display body; and Is executed by a computer.
  • the input device 100 includes an input detection unit 1, a display unit 2, and a control unit 3.
  • the input device 100 is mounted on, for example, a mobile phone terminal, a smartphone, a mobile terminal, a digital camera, a PC (Personal Computer) electronic dictionary, an ATM (Automatic Teller Machine), a car navigation system, a monitor, a mobile terminal, and the like.
  • These electronic devices on which the input device 100 is mounted have a processing function according to each application, but the input detection unit 1, the display unit 2, and the control unit 3 of the input device 100 have the processing function and hardware. Needless to say, hardware configurations and software configurations may be shared.
  • the input device 100 constitutes an input operation effect system that produces user input operations.
  • the input detection unit 1 is, for example, a touch panel or an analog pointing device, and is an input unit having a spatial position as an input element.
  • “input” in the present specification includes not only locus input but also contact and proximity states to a specific position (region).
  • input data such as coordinate data of a touched portion is output in accordance with a contact operation by a user with a finger or a touch pen.
  • the input detection unit 1 is, for example, a capacitive touch panel.
  • a projected capacitive touch panel can be used.
  • a projected capacitive touch panel has a large number of mosaic transparent electrode patterns extending in the vertical and horizontal directions on a substrate such as glass or plastic, and an insulator film is further formed on the transparent electrode pattern. It can be configured by forming.
  • a transparent electrode pattern is used to detect that the capacitance of the insulator film on the surface of the touch panel changes as a human finger touches or approaches. The position of a person's finger can be specified.
  • the input detection part 1 can detect an input by necessarily raising a detection sensitivity even if a user's finger
  • Display unit 2 performs display according to display data.
  • the display unit 2 is provided so as to overlap with the input detection unit 1.
  • the input detection unit 1 is provided in the upper part of the display unit 2. That is, the input detection unit 1 is exposed to the outside.
  • the input detection unit 1 is transparent, and images and videos displayed on the display unit 2 are displayed via the input detection unit 1.
  • the display unit 2 is, for example, a liquid crystal display or an organic EL display. However, it is not limited to these.
  • the control unit 3 generates display data based on the input data output from the input detection unit 1 and outputs the display data to the display unit 2.
  • the control unit 3 controls the input detection unit 1 and the display unit 2. Specifically, the control unit 3 detects an operation input by the user using a change in capacitance in the input detection unit 1, and outputs information related to the operation to another circuit such as a processing device (not shown). To do.
  • the control unit 3 can be operated by an OS (Operation System) or a plurality of application programs.
  • the control unit 3 includes, for example, a CPU (Central Processing Unit), a bus, a ROM (Read Only Memory), and a working memory.
  • FIG. 2 shows a display screen when the user performs an input process for drawing a trajectory on the screen to the input device 100.
  • the trajectory on the screen refers to a trace drawn when input is performed with a continuous position change, and includes not only an arc shape but also a linear trace.
  • a trajectory display 22 including a plurality of star-shaped (star mark) display bodies is displayed around the trace 21 of the finger traced on the screen. Is done.
  • the trajectory display 22 can set whether or not to display the user.
  • the number of display bodies is generated, for example, in any number of 1 to 5 at the same timing, but the display bodies may be controlled so that a larger number of display bodies are generated.
  • the display body may be randomly generated within 100 to 200 pixels from the trajectory 21 or may be generated on the trajectory 21.
  • the locus 21 itself is indicated by a dotted line in FIG. 2 for the sake of explanation, but is not displayed on the screen of the display unit 2.
  • the trajectory display 22 has a function of improving the visibility of the input position, that is, the input trajectory, around the input position.
  • the display form of the display body constituting the trajectory display 22 is specified by, for example, the number, position, color, transparency, shape, size, movement, speed, rotation, and the like, the change after the display, and the display period. However, these are controlled by parameters. For example, angle control parameters, angle randomness parameters, and the like. Moreover, it is also possible to specify by a parameter such as a friction coefficient or a gravity coefficient of the display body.
  • the trajectory display 22 has a plurality of star shapes.
  • the shape is not limited to this shape, and various shapes such as a heart shape (heart mark), a round shape, a square shape, and a rhombus shape can be used. These shapes may be mixed.
  • the sizes of the individual display bodies constituting the trajectory display 22 do not have to be the same, and may be different sizes. Further, the color and transparency of the display body may not be the same or different.
  • the display body 2 is displayed on the screen and may remain stationary without changing its position, or may be moved on the screen. As a moving form on the screen, it may be spread radially around the starting point displayed first, or may be spread so as to draw a parabola upward. At this time, in order to detect whether or not it is above, posture information detected by a posture sensor (not shown) may be used, or a process of drawing a parabola in the moving direction of the locus may be used. Furthermore, the display body may be rotated about a point on the display body itself as the center of rotation.
  • the moving direction and speed of the display body may be fixed or changed.
  • the moving direction may be changed randomly.
  • the display body may be fixedly displayed with the same luminance, or may be blinked.
  • the display body may be temporarily displayed for a few seconds and then disappear.
  • the display periods need not be the same for a plurality of display bodies, and may be different.
  • the display body may change its display form so that it disappears while gradually decreasing the brightness as time passes, that is, fades out.
  • the display body may change its size as time passes. For example, the size of the display body is reduced as time passes.
  • the display body may change its color as time passes. For example, the light color may be changed to a dark color.
  • the display body may change the transparency as time passes. For example, the transparency may be changed from low transparency to high transparency. You may make it rotate a display body about 1 rotation per second, for example.
  • the display form may be changed with time. For example, the color and shape of the display body may change gradually.
  • FIG. 3A shows the display state at time t1.
  • a trajectory display 22 composed of four star-shaped display bodies is displayed around the trajectory 21.
  • the arrows attached to the respective display bodies indicate the moving directions of these display bodies, and are not displayed on the actual screen of the display unit 2.
  • the display body moves radially.
  • FIG. 3B shows a display state at time t2 after time t1. As shown in the figure, as the locus becomes longer, four more star-shaped display bodies are displayed.
  • FIG. 3C shows a display state at time t3 after time t2. As shown in FIG. 3C, four star-shaped display bodies are further displayed as the trajectory becomes longer.
  • FIG. 3D shows a display state at time t4 after time t3. As shown in FIG. 3D, it can be seen that four more star-shaped displays are displayed as the trajectory becomes longer.
  • the movement vector is obtained from the locus 21, and the locus display 22 is determined according to the movement direction specified by the movement vector. You may do it.
  • the trajectory display 22 may be synchronized with the movement direction specified by the movement vector.
  • the trajectory display 22 can be determined according to the movement vector as in any of the following display forms. (1) The size of the display body on the movement direction side indicated by the movement vector is relatively reduced. (2) The number of display bodies to be displayed in the movement direction or the opposite direction is made larger than the number of display bodies to be displayed in the normal direction of the movement direction (that is, the normal direction of the trajectory). (3) A part of the display body is moved so as to follow the moving direction.
  • a part of the display bodies located on the moving direction side is moved so as to approach the moving direction (that is, the predicted future trajectory).
  • the color of the display body on the opposite side to the moving direction is different from the color of the display body on the moving direction side.
  • the moving direction of the display body that has already been displayed may be changed according to the trajectory 21.
  • the moving direction is changed so that more display bodies flow along the locus 21.
  • the control unit 3 determines whether or not a finger or the like has been input to the input detection unit 3 based on input data such as coordinate data output from the input detection unit 3 (step S101). ). In the description of the present embodiment, it is assumed that not only a state in which a specific area is occupied and touched on the surface of the display unit 2 but also an input state even in a close state.
  • the control unit 3 executes the trajectory display process as described above, and outputs the generated display data to the display unit 2 (step S102).
  • the display unit 2 inputs the generated display data and executes display according to the display data. By repeating this process, the display as shown in FIGS. 2 and 3 can be realized.
  • FIG. 5 shows an example of control processing in the control unit 3.
  • various types of display bodies can be displayed in various numbers, colors, sizes, positions, movements, rotations, and periods.
  • a variety of display forms are realized corresponding to various situations by specifically setting a plurality of display forms such as the control means 1, 2, 3,... Shown in FIG. Display data can be generated.
  • the input position can be easily confirmed by displaying. Moreover, since the input position can be confirmed sensuously for the user, the input operation can be enjoyed.
  • an application-related display body 23 is displayed on the display screen of the display unit 2.
  • the application related display body 23 is a display area related to the application program.
  • the application-related display body 23a is a calendar display that indicates time, date, and day of the week.
  • Various application information display frames such as calendar display and gadget display.
  • display information related to the application is displayed. By selecting and inputting the display frame, a transition to a screen capable of accepting a more detailed selection input may be made.
  • This is one type of application-related display body that can be used.
  • the application-related display body 23b is a link display that can be connected to a link destination by identifying and inputting various application programs, an icon that can be activated by selecting and inputting the thumbnail, and a selection input.
  • a trajectory display 22 composed of a display body such as a star shape is displayed. I will not. The trajectory display 22 is not displayed on the application-related display body 23.
  • the control unit 3 determines whether or not a finger or the like has been input to the input detection unit 3 based on input data such as coordinate data output from the input detection unit 3 (step S201). ). When detecting the input, the control unit 3 next determines whether or not the input position specified by the coordinate data is on the display area (background image area) of the background data (step S202). When determining that the control unit 3 is on the display area of the background data, the control unit 3 executes the trajectory display process as described above, and outputs the generated display data to the display unit 2 (step S203). If the control unit 3 determines that it is not on the background image area, that is, is positioned on the application-related display body 23, the control unit 3 does not execute the trajectory display process. By repeating such processing, a display as shown in FIG. 6 can be realized.
  • the visibility of the application related display body 23 can be ensured by such a display. Furthermore, since it is possible to confirm that the finger or the touch pen is located on the application-related display body 23 by not displaying the display body related to the trajectory display 22, the application can be started more reliably. Become.
  • Embodiment 2 of the Invention In the first embodiment of the invention, while the input detection unit 3 detects an input, the display of the trajectory 22 is realized by displaying the display body for all the inputs. In the second embodiment, the display body is displayed only when input is started. Alternatively, the display body may be displayed when the input is started and when the input is finished, and the display body may be displayed only when the input is finished.
  • the input device 100 according to the second embodiment in the case of trajectory input or single-point input (including contact and proximity), any of the three input states of the input start point, the input state, and the input end point Judgment.
  • the control unit 3 determines whether or not a finger or the like has been input to the input detection unit 3 based on input data such as coordinate data output from the input detection unit 3 (step S301). ). When detecting the input, the control unit 3 next determines whether or not the input corresponds to the input start (step S302). For example, in a state where the input history information has not been input for a certain period or longer, the input is started, and it is determined whether or not it is within a certain period from the start.
  • control unit 3 executes the trajectory display process as described above, and outputs the generated display data to the display unit 2 (step S303). If the control unit 3 determines that it does not correspond to the input start, the control unit 3 does not execute the trajectory display process. By repeating such processing, the display body can be displayed only when input is started. A display as shown in FIG. 6 can be realized.
  • Embodiment 3 of the Invention In the input device according to the third embodiment, in a state where the application program is activated, the trajectory display process is executed only when the application program is positioned on the display area of the application program set in advance to perform the trajectory display process. In order to realize such processing, information indicating whether or not the locus display processing should be executed is set for each application program and stored in a predetermined storage area in the control unit 3.
  • the control unit 3 determines whether or not a finger or the like touched the input detection unit 3 based on input data such as coordinate data output from the input detection unit 3 (step S401). ).
  • the control unit 3 next determines whether or not the input position is located on the display area of the application program to be subjected to the trajectory display process (step S402).
  • the control unit 3 executes the trajectory display process as described above and outputs the generated display data to the display unit 2 (step S403).
  • control unit 3 determines that the position is not on the display area of the application program that should execute the trajectory display process, the control unit 3 does not execute the trajectory display process. By repeating such processing, the trajectory display processing is executed only when it is positioned on the display area of the application program that performs the trajectory display processing in advance.
  • the user can enjoy a control method suitable for the application program to be used. Further, when the trajectory display process is unnecessary, the trajectory display need not be displayed, and the original display of the application program can be prevented from being hindered.
  • the setting for performing the locus display may be performed, or the setting for not performing the locus display may be performed.
  • Embodiment 4 of the Invention In the input device according to the fourth embodiment, a plurality of screen areas are related to each other, and each screen area can be moved (for example, a plurality of screen areas composing one large image can be moved). A different locus display process is executed for each screen area. In order to realize such processing, a trajectory display process is defined for each screen area, and trajectory display processing information is stored in a predetermined storage area in the control unit 3 in association with the screen area.
  • the control unit 3 determines whether or not a finger or the like touched the input detection unit 3 based on input data such as coordinate data output from the input detection unit 3 (step S501). ). When detecting the input, the control unit 3 next determines whether or not the input position is located on the screen area A (step S502). When determining that the control unit 3 is located on the screen area A, the control unit 3 executes a trajectory display process associated with the screen area A, and outputs the generated display data to the display unit 2 (step S503).
  • the control unit 3 executes a trajectory display process associated with the screen area B (step S504). By repeating such processing, in a situation where the screen is divided into a plurality of areas, different trajectory display processing is executed for each screen area. If the screen area is 3 or more, a trajectory display process associated with each screen area is executed.
  • trajectory display processing By executing such display processing, the user can easily recognize that the screen area is different.
  • different trajectory display processing is executed for each screen area.
  • the trajectory display processing itself may be set not to be executed.
  • Embodiment 5 of the Invention In the input device according to the fifth embodiment, after switching from the screen area (window) of the currently executing application program to the screen area of another application program in a state where a plurality of application programs are activated, an afterimage appears. The display of the trajectory display before switching to is continued. In addition, even when moving to a different screen area on the same application program and switching, the display of the trajectory display before switching is continued.
  • Fig. 11 shows a display example. As shown in FIG. 11A, when the locus display 22 is performed on the screen 24a of a certain application program, the screen is switched to another application program, and the screen 24b of the program is displayed as shown in FIG. 11B. In this case, the trajectory display 22 continued from the trajectory display 22 displayed on the screen 24a is also displayed.
  • a display layer dedicated to the trajectory display process may be provided.
  • the display layer for the locus display process is superimposed on the screen of each application or on a different screen area, and the locus display process is continuously displayed.
  • the user can enjoy the display to the end without dividing the trajectory display by switching applications or moving the screen area.
  • Embodiment 6 of the Invention In the input device according to the sixth embodiment, the number, position, color, transparency, shape, size, movement, speed, rotation, and the like of display objects and their display are based on the contents and attributes of the content displayed on the screen. Controls later changes and display periods.
  • the control unit 3 determines whether or not a finger or the like has been input to the input detection unit 3 based on input data such as coordinate data output from the input detection unit 3 (step S601). ).
  • the control unit 3 next analyzes the content information displayed on the screen (step S602). For example, if the content information is still image data or moving image data, tag information analysis, image analysis, or moving image analysis associated with the data is executed. If the content information is text data such as a mail title, the text data is analyzed. Further, if the content information is a finder image at the time of camera shooting, image analysis such as the attributes of the shooting target and facial expressions of people and animals is executed.
  • the control unit 3 executes a trajectory display process according to the analysis result of the content information (step S603). For example, when the content information is still image data and a person with a bright expression is included in the content information, a bright image display can be displayed. In addition, if the content information is text data of a title indicating that it is a work mail, a calm image display body can be displayed. Further, based on the browsing history information of the content information, a dark image display body may be displayed if viewed, and a bright image display body may be displayed if not browsed. Note that the control unit 3 may perform the analysis before input.
  • Embodiment 7 of the Invention In the input device according to the seventh embodiment, in the case of an input located on the application-related display body 23, a trajectory display process corresponding to an application program that can be activated by selecting and inputting the application-related display body 23 is performed. The program is executed until the start of the program is completed.
  • the control unit 3 determines whether or not a finger or the like touched the input detection unit 3 based on input data such as coordinate data output from the input detection unit 3 (step S701). ).
  • the control unit 3 next determines whether or not the input position specified by the coordinate data is on the application-related display body 23 (step S702).
  • control unit 3 determines that it is on the application-related display body 23
  • the control unit 3 acquires information on an application program that can be activated by selectively inputting the application-related display body 23 (step S703).
  • the information may be simply identification information of the application program, or analysis result information indicating a result of analyzing the contents of the application program.
  • the control unit 3 executes a locus display process according to the acquired application information, generates display data, and outputs the display data to the display unit 2 (step S704).
  • the application information is the identification information of the application program
  • information specifying the display form stored in advance associated with the identification information is read, and the trajectory display data is generated so as to be the display form.
  • the number, position, color, transparency, shape, size, movement, speed, rotation, etc. of the display objects suitable for the application and link content information activated by the application-related display body 23 and after the display thereof Controlled by change and display period.
  • the application-related display body 23 By repeating such processing, before selecting and inputting the application-related display body 23, it is possible to display a display body suitable for the contents of the application program activated by selecting and inputting the application-related display body 23. it can.
  • the application-related display body 23 is a link display, a display body suitable for the linked content information can be displayed. Note that after the application-related display body 23 has been activated, the display of the same display body may be continued, but it may be changed to another display form or the display itself may be stopped.
  • Embodiment 8 of the Invention In the input device according to the eighth embodiment, the number, position, color, transparency, shape, size, movement, speed, and rotation of the display object are further based on the input intensity, the moving speed of the input position, the moving acceleration, the locus, and the like. Etc., and the change after the display and the display period are controlled.
  • FIG. 14 is a block diagram showing a configuration of the input device 100 according to the eighth embodiment.
  • the input device 100 includes an input intensity detection unit 4.
  • the input intensity detection unit 4 is constituted by, for example, a pressure sensor, and is provided in contact with the input detection unit 1.
  • the control unit 3 executes control for increasing the size of the display body such as a star or changing the color. Through such processing, the user can enjoy a control method according to the input method. Note that the moving speed, moving acceleration, trajectory, and the like of the input position can be calculated from the input data detected by the input detection unit 1.
  • Embodiment 9 of the Invention includes means for detecting the physical condition, mental condition, emotion, etc. of the user who performs the input operation, and based on the detection result, the number, position, color, transparency, shape, Control the size, movement, speed, rotation, etc. and their post-display changes and display period.
  • FIG. 15 is a block diagram showing a configuration of the input device 100 according to the ninth embodiment.
  • the input device 100 includes a user state detection unit 5.
  • the user state detection unit 5 analyzes the state of the user's finger that has touched the input detection unit 1 to detect the user's state.
  • the user state detection part 5 may analyze the content of the electronic mail which the user transmitted or received, and may detect a user's mental condition and emotion.
  • the control unit 3 displays a display body having a shape and color that will cheer up.
  • a display body suitable for the user's physical condition, mental condition, emotion, etc. can be displayed.
  • the input device Based on the input operation, the input device according to the tenth embodiment controls the number, position, color, transparency, shape, size, movement, speed, rotation, and the like of the display object and the change after the display and the display period. In addition to the processing to be performed, control is also performed on the output of senses other than vision such as voice and tactile sensation, the change after output, and the output period. Therefore, the input device includes output means for executing an output that stimulates a sense other than vision such as voice and touch.
  • FIG. 16 is a block diagram showing a configuration of the input device 100 according to the tenth embodiment.
  • the input device 100 includes a vibrator 6.
  • the vibrator 6 generates vibrations in synchronization with displaying a star display when a locus is input. Further, when displaying a star display, a sound effect may be output from a speaker (not shown).
  • An ultrasonic output device may be provided instead of the vibrator 6.
  • an effect by sound or touch is added to the visual effect, and the user can perceive input more intuitively.
  • Embodiment 11 of the Invention When the input device according to the eleventh embodiment is input to a plurality of positions, the input device executes a trajectory display for each of the input positions by a preset control method.
  • FIG. 17 shows a display state of the input device according to the eleventh embodiment. As shown in FIG. 17, when there are inputs on a plurality of trajectories 21a and 21b, trajectory displays 22a and 22b including a plurality of display bodies are displayed around the respective trajectories 21a and 21b. By performing such a display, inputs to a plurality of positions can be intuitively confirmed.
  • the trajectory displays 22a and 22b can be distinguished from each other by using different display forms.
  • Embodiment 12 of the Invention As for the input device according to the twelfth embodiment, in the operation of scrolling the screen or browsing the content in order, it can be seen that there is no continuation when there is no next content at the end of scrolling. Display the display.
  • FIG. 18 shows a display example of the input device according to the twelfth embodiment. As shown in the figure, when there is no more screen area on this screen, the trajectory display 22 is executed only below the position that is traced with the finger (that is, only around the start point). The trajectory display 22 is not executed on the trajectory 21c above the position.
  • the control unit 3 displays an input trajectory on the side opposite to the scroll end side from the predetermined position in the input trajectory in a state where the scroll is not possible.
  • the locus display is performed in the vicinity, and the locus display is not performed in the vicinity of the input locus closer to the scroll end than the predetermined position. Therefore, the user can intuitively confirm that there is no further continuation.
  • Embodiment 13 of the Invention When an input device according to the thirteenth embodiment performs input while a certain application program is activated, the number, position, color, transparency, shape, and number of display objects are determined based on the operation of the application program according to the input. Control the size, movement, speed, rotation, etc. and their post-display changes and display period.
  • the input device according to the eleventh embodiment is not limited to a so-called touch panel or analog pointing device, and an input device such as a mouse or a keyboard is also applicable.
  • the user can intuitively check the operation of the application program.
  • specific application examples will be described.
  • an electronic device such as a mobile phone is executing an application program that realizes the camera function
  • the camera is in focus when an operation that activates the autofocus function that automatically adjusts the focus during camera shooting is performed.
  • a plurality of display bodies as described above are displayed around the position.
  • the display body may be displayed around the focused position.
  • An electronic apparatus having such a function includes, for example, a display unit that performs display according to display data, a control unit that generates display data and outputs the display data, and a camera photographing unit having an autofocus function.
  • the control unit displays a plurality of display bodies around the position where the focus is achieved. In the display example shown in FIG.
  • the display body 22 is displayed around the face portion of the subject 25 in focus.
  • the locus display as shown in the first embodiment of the invention may be performed around the movement locus.
  • An electronic device having such a function includes, for example, a display unit that performs display according to display data, and a control unit that generates display data and outputs the display data to the display unit.
  • the control unit displays search results.
  • a plurality of display objects are displayed around the search term.
  • a plurality of star display bodies 22 are displayed around the keyword extracted from the text data 27.
  • An electronic device having such a function includes, for example, a display unit that performs display according to display data, and a control unit that generates display data and outputs the display data to the display unit.
  • a display unit that performs display according to display data
  • a control unit that generates display data and outputs the display data to the display unit.
  • the display object may be displayed so that the user can know that the operation is prohibited or impossible.
  • An electronic apparatus having such a function includes, for example, a display unit that performs display according to display data, and a control unit that generates display data and outputs the display data to the display unit.
  • a plurality of display objects are displayed. For example, when inputting a password in the input area 28 as shown in FIG. 21, a plurality of display bodies 22 are displayed around the input area 28. Further, when the operation lock is released, a plurality of display bodies 22 as described above may be displayed so that an erroneous input can be understood if an erroneous input is made.
  • a content subject to copy restrictions is to be copied by an operation such as drag and drop
  • a plurality of display bodies as described above may be displayed so that it cannot be copied.
  • the user can intuitively recognize that the operation to be executed is prohibited or cannot be executed.
  • Non-transitory computer readable media include various types of tangible storage media.
  • Examples of non-transitory computer-readable media include magnetic recording media (for example, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (for example, magneto-optical disks), CD-ROM (Read Only Memory), CD-R, CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable ROM), flash ROM, RAM (Random Access Memory)) are included.
  • the program may also be supplied to the computer by various types of temporary computer readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • this program is not limited to the OS (The case where the functions of the above-described embodiment are realized in cooperation with (Operating System) or application software is also included in the embodiment of the present invention.
  • Appendix 1 An input detector that detects user input and outputs input data; A display unit that performs display according to display data; A control unit that generates display data based on the input data output from the input detection unit and outputs the display data to the display unit; When the control unit detects an input accompanied by a continuous position change in a state where at least the application-related display object is displayed on the background data, the control unit displays the background data in a display area other than the display area of the application-related display object.
  • An input device that displays a locus display indicating a locus and does not display the locus display in the display area of the application-related display body.
  • the trajectory display includes a plurality of display bodies displayed around the input trajectory.
  • the input detection unit is an input device capable of inputting a spatial position, and displays the locus display either when the input is started by the input device or when the input is completed.
  • the input device according to the above. The input device is equipped with a plurality of application programs, 9. The input device according to any one of appendices 1 to 8, wherein the control unit is set to execute the locus display for each application program.
  • the background data includes a plurality of screen areas, 10. The input device according to any one of appendices 1 to 9, wherein the locus display is displayed in a different display form for each of the plurality of screen areas. (Appendix 11) 11.
  • the input device according to any one of appendices 1 to 10, wherein the trajectory display displayed before switching is continuously displayed even after switching to another application program screen or another screen area.
  • Appendix 12 12.
  • Appendix 13 When the application-related display body is selected, a display body is displayed around the application-related display body, and the display body is an application program or link destination content that is activated by selecting the application-related display body 13.
  • the input device according to any one of appendices 1 to 12, wherein the display form is controlled based on the contents / attributes.
  • Appendix 14 14.
  • Appendix 15 A user state detection unit for detecting the state of the user performing the input operation; 15.
  • Appendix 19 A display unit that performs display according to display data; A control unit that generates the display data and outputs the display data to the display unit; It has a camera shooting unit with an autofocus function, The said control part is an electronic device which displays a some display body around the position where a focus is focused.
  • Appendix 20 A display unit that performs display according to display data; A control unit that generates the display data and outputs the display data to the display unit; The control unit is an electronic device that displays a plurality of display bodies around a search phrase when displaying a search result.
  • (Appendix 21) A display unit that performs display according to display data; A control unit that generates the display data and outputs the display data to the display unit; The said control part is an electronic device which displays a some display body, if the prohibition input by a user is detected.
  • (Appendix 22) Detecting input by a user; If at least an application-related display object is displayed on the background data and an input with a continuous position change is detected, the locus is shown in the background data display area other than the display area of the application-related display object.
  • a display processing method comprising: displaying a locus display, and generating display data that does not display the locus display in the display area of the application-related display body.
  • (Appendix 23) The display processing method according to appendix 22, wherein the trajectory display includes a plurality of display bodies displayed around the input trajectory.
  • (Appendix 24) The display processing method according to supplementary note 22, wherein the display body moves on the screen as time passes for display.
  • (Appendix 25) The display processing method according to appendix 22, wherein the display body moves in a randomly set direction.
  • (Appendix 26) The display processing method according to appendix 22, wherein the display body moves in synchronization with an input direction of a trajectory.
  • (Appendix 27) The display processing method according to appendix 22, wherein the number of generated display objects is random.
  • the background data includes a plurality of screen areas, The display processing method according to any one of appendices 22 to 29, wherein the locus display is displayed in a different display form for each of the plurality of screen areas.
  • (Appendix 31) 31 The display processing method according to any one of appendices 22 to 30, wherein the trajectory display displayed before switching is continuously displayed even after switching to another application program screen or another screen area.
  • (Appendix 32) 32 The display processing method according to any one of appendices 22 to 31, wherein the display form of the trajectory display is controlled based on the content or attribute of the content displayed on the screen.
  • (Appendix 33) When the application-related display body is selected, a display body is displayed around the application-related display body, and the display body is an application program or link destination content that is activated by selecting the application-related display body.
  • (Appendix 34) The display processing method according to any one of appendices 22 to 33, wherein a display form of the trajectory display is controlled based on any of the input intensity, moving speed, acceleration, and trajectory.
  • the display processing method according to any one of appendices 22 to 37, wherein the locus display is not performed around the input locus on the scroll end side.
  • Appendix 39 Detecting a focus position based on an autofocus function; Generating display data for displaying a plurality of display bodies around the focal position.
  • Appendix 40 Detecting the position of a search phrase extracted by the search; Generating display data for displaying a plurality of display objects around the position of the search phrase.
  • Appendix 41 Detecting forbidden input by a user;
  • a display processing method comprising: generating display data for displaying a plurality of display bodies when the prohibition input is detected.
  • Appendix 42 Obtaining input information by a user; If at least an application-related display object is displayed on the background data and an input with a continuous position change is detected, the locus is shown in the background data display area other than the display area of the application-related display object.
  • the present invention can be used for input devices such as a touch panel and an analog pointing device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

 本発明の実施の形態にかかる入力装置(100)は、入力検出部(1)と、表示部(2)と、制御部(3)とを備えている。制御部(3)は、背景データ上に少なくともアプリケーション関連表示体(23)を表示した状態において入力データに入力軌跡が含まれる場合に、アプリケーション関連表示体(23)の表示領域以外の背景データの表示領域では当該軌跡を示す軌跡表示を表示させ、当該アプリケーション関連表示体の表示領域では、前記軌跡表示を表示させない。これにより、画面上の軌跡を描く入力処理を行った場合に、その入力軌跡の視認性を高め、表示そのものを楽しめる入力装置、表示処理方法及び表示処理プログラムが格納された記憶媒体を提供することができる。

Description

入力装置、表示処理方法及び表示処理プログラムが格納された記憶媒体
 本発明は、入力装置、表示処理方法及び表示処理プログラムが格納された記憶媒体に関し、特に詳しくは入力時の表示処理技術に関する。
 近年、タッチパネルやアナログポインティングデバイス等の入力デバイスを有し、画面上の位置を入力することができる入力装置の開発が進んでいる。画面上の位置を指等で押下すると、その位置を特定する情報が入力されるが、入力装置の画面上では具体的にどの位置が押下されたかを示す表示がない場合が多い。
 しかしながら、押下した位置が表示されなければ、画面上、必要な位置を押したかどうかはわからないため、ユーザが誤操作を繰り返す事態を招き、ユーザの利便性を阻害することになる。
 特許文献1~3には、入力位置に様々なマークを表示する技術が開示されている。
特開2001-155183号公報 特開2005-158057号公報 特開2006-129257号公報
 しかしながら、特許文献1~3に開示された技術は、いずれも画面上に軌跡を描く入力処理に対応した軌跡表示を行うものではない。従って、画面上の軌跡を描く入力処理を行った場合に、いかにその入力軌跡の視認性を高め、表示そのものを楽しめる課題を解決できない。
 本発明は、画面上の軌跡を描く入力処理を行った場合に、その入力軌跡の視認性を高め、表示そのものを楽しめる入力装置、表示処理方法及び表示処理プログラムを提供することを目的とする。
 本願発明の一態様にかかる入力装置は、ユーザの入力を検出して入力データを出力する入力検出部と、表示データに応じた表示を実行する表示部と、前記入力検出部から出力された入力データに基づいて、表示データを生成し、前記表示部に出力する制御部とを備え、前記制御部は、背景データ上に少なくともアプリケーション関連表示体を表示した状態において連続的な位置変化を伴う入力を検出した場合に、当該アプリケーション関連表示体の表示領域以外の背景データの表示領域では当該軌跡を示す軌跡表示を表示させ、当該アプリケーション関連表示体の表示領域では、前記軌跡表示を表示させないものである。
 本願発明の一態様にかかる表示処理方法は、ユーザによる入力を検出するステップと、背景データ上に少なくともアプリケーション関連表示体を表示した状態において、連続的な位置変化を伴う入力を検出した場合には、当該アプリケーション関連表示体の表示領域以外の背景データの表示領域では当該軌跡を示す軌跡表示を表示させ、当該アプリケーション関連表示体の表示領域では、前記軌跡表示を表示させない表示データを生成するステップとを備えたものである。
 本願発明の一態様にかかる表示処理プログラムは、ユーザによる入力を検出するステップと、背景データ上に少なくともアプリケーション関連表示体を表示した状態において、連続的な位置変化を伴う入力を検出した場合には、当該アプリケーション関連表示体の表示領域以外の背景データの表示領域では当該軌跡を示す軌跡表示を表示させ、当該アプリケーション関連表示体の表示領域では、前記軌跡表示を表示させない表示データを生成するステップとをコンピュータに実行させるものである。
 本発明によれば、画面上の軌跡を描く入力処理を行った場合に、いかにその入力軌跡の視認性を高め、表示そのものを楽しめる入力装置、表示処理方法及び表示処理プログラムを提供することができる。
本発明の実施の形態にかかる入力装置の構成を示すブロック図である。 本発明の実施の形態にかかる入力装置の表示画面を示す図である。 本発明の実施の形態にかかる入力装置の表示画面を示す図である。 本発明の実施の形態にかかる入力装置の表示画面を示す図である。 本発明の実施の形態にかかる入力装置の表示画面を示す図である。 本発明の実施の形態にかかる入力装置の表示画面を示す図である。 本発明の実施の形態にかかる入力装置の処理を示すフローチャートである。 本発明の実施の形態にかかる入力装置の表示制御を説明するための表である。 本発明の実施の形態にかかる入力装置の表示画面を示す図である。 本発明の実施の形態にかかる入力装置の処理を示すフローチャートである。 本発明の実施の形態にかかる入力装置の処理を示すフローチャートである。 本発明の実施の形態にかかる入力装置の処理を示すフローチャートである。 本発明の実施の形態にかかる入力装置の処理を示すフローチャートである。 本発明の実施の形態にかかる入力装置の表示画面を示す図である。 本発明の実施の形態にかかる入力装置の表示画面を示す図である。 本発明の実施の形態にかかる入力装置の処理を示すフローチャートである。 本発明の実施の形態にかかる入力装置の処理を示すフローチャートである。 本発明の実施の形態にかかる入力装置の構成を示すブロック図である。 本発明の実施の形態にかかる入力装置の構成を示すブロック図である。 本発明の実施の形態にかかる入力装置の構成を示すブロック図である。 本発明の実施の形態にかかる入力装置の表示画面を示す図である。 本発明の実施の形態にかかる入力装置の表示画面を示す図である。 本発明の実施の形態にかかる入力装置の表示画面を示す図である。 本発明の実施の形態にかかる入力装置の表示画面を示す図である。 本発明の実施の形態にかかる入力装置の表示画面を示す図である。
発明の実施の形態1.
 本発明にかかる入力装置の構成について、図1を用いて説明する。本実施形態に係る入力装置100は、入力検出部1、表示部2、制御部3を備えている。入力装置100は、例えば、携帯電話端末、スマートフォン、携帯端末、デジタルカメラ、PC(Personal Computer)電子辞書、ATM(Automatic Teller Machine)、カーナビゲーションシステム、モニター、携帯端末等に搭載される。入力装置100が搭載されるこれらの電子機器は、それぞれの用途に応じた処理機能を備えているが、当該入力装置100の入力検出部1、表示部2、制御部3が当該処理機能とハードウェア構成やソフトウェア構成を共有する場合があることはいうまでもない。当該入力装置100は、ユーザの入力操作を演出する入力操作演出システムを構成する。
 入力検出部1は、例えば、タッチパネルやアナログポインティングデバイスであり、空間的な位置を入力要素とする入力手段である。ここで、本明細書における「入力」とは、軌跡入力のみならず、特定位置(領域)に対する接触や近接状態も含まれる。入力検出部1がタッチパネルの場合には、ユーザによる指やタッチペンによる接触動作に応じて、接触した箇所の座標データ等の入力データを出力する。
 本実施の形態にかかる入力検出部1は、例えば、静電容量方式のタッチパネルである。特に本実施の形態にかかる入力装置では投影型静電容量方式のタッチパネルを用いることができる。投影型静電容量方式のタッチパネルは、ガラスやプラスチックなどの基板上に、縦方向および横方向に延びる多数のモザイク状の透明電極パターンを形成し、この透明電極パターンの上に更に絶縁体フィルムを形成することで構成することができる。そして、投影型静電容量方式のタッチパネルでは、人の指が接触または接近することでタッチパネルの表面にある絶縁体フィルムの静電容量が変化することを、透明電極パターンを用いて検出することで、人の指の位置を特定することができる。なお、入力検出部1は、その検出感度を上げることにより、必ずしもユーザの指やタッチペンが物理的に接触しなくても入力を検出することが可能である。
 表示部2は、表示データに応じた表示を実行する。この表示部2は、入力検出部1と重畳するように設けられている。具体的には、表示部2の上部に入力検出部1が設けられている。つまり、入力検出部1が外部に露出している。入力検出部1は透明であり、表示部2に表示された画像や映像は入力検出部1を介して表示される。表示部2は、例えば液晶ディスプレイや有機ELディスプレイなどである。しかし、これらに限定されることはない。
 制御部3は、入力検出部1から出力された入力データに基づいて、表示データを生成し、表示部2に出力する。当該制御部3は、入力検出部1と表示部2を制御する。具体的には、制御部3は、入力検出部1における静電容量の変化を用いてユーザが入力した操作を検知し、この操作に関する情報を処理装置(不図示)などの他の回路に出力する。制御部3は、OS(Operation System)や複数のアプリケーションプログラムにより動作可能である。制御部3は、例えば、CPU(Central Processing Unit)、バス、ROM(Read Only Memory)、作業用メモリを有している。
 続いて、本実施の形態にかかる入力装置100の表示処理について具体的に説明する。図2は、ユーザが入力装置100に対して画面上の軌跡を描く入力処理を行った場合の表示画面を示している。なお、画面上の軌跡は、連続的な位置変化を伴って入力が行われた場合に描かれる跡をいい、必ずしも弧状のみならず、直線状の跡も含まれる。
 図2に示されるように、表示部2の表示画面上では、画面上のなぞった指の軌跡21の周辺に、複数の星形状(星マーク)の表示体から構成される軌跡表示22が表示される。この軌跡表示22は、ユーザが表示されるようにするか否かを設定することができる。
 表示体は、例えば、同一タイミングで例えば1個~5個のいずれかの個数で発生されるが、これ以上の個数の表示体が発生されるように制御してもよい。また、表示体の個数はランダムにすることにより、より自然に演出できる。表示体は、例えば、軌跡21から100~200ピクセル以内でランダムに発生させてもよく、また、軌跡21上に発生させてもよい。なお、軌跡21そのものは、説明のために図2では点線で示されているが、表示部2の画面上では、表示されない。
 この軌跡表示22は、入力位置の周辺において、入力された位置、すなわち入力軌跡の視認性を高める機能を有する。軌跡表示22を構成する表示体の表示形態は、例えば、その数、位置、色、透明度、形、大きさ、動き、スピード、回転等と、それらの表示後の変化、表示期間で特定されるが、これらは、パラメータにより制御される。例えば、角度制御パラメータや角度のランダム性のパラメータ等である。また、表示体の摩擦係数や重力係数というパラメータで特定することも可能である。
 図2に示す例では、軌跡表示22は、複数の星形状であるが、この形状に限らず、ハート形(ハートマーク)、丸形、四角形、ひし形等、様々な形状とすることができる。これらの形状が混在するようにしてもよい。軌跡表示22を構成する、個々の表示体の大きさは同一である必要はなく、異なる大きさであってもよい。また、表示体の色や透明度も同じでなくとも、異なっていてもよい。
 図2に示す軌跡表示22を構成される表示体は、画面上に表示された後にそのまま位置を変えずに静止してもよいが、画面上を移動するようにしてもよい。画面上の移動形態としては、最初に表示された始点を中心にして放射状にひろがるようにしてもよく、上方へ放物線を描くようにひろがるようにしてもよい。このとき、上方であるかどうかを検出するために、図示しない姿勢センサにより検出された姿勢情報を利用してもよいし、軌跡の移動方向へ放物線を描く処理としてもよい。さらには、表示体を表示体自身上の点を回転中心として回転させてもよい。
 ここで、表示体の移動方向やスピードは、固定してもよく、変化させてもよい。例えば、当該移動方向をランダムに変更するようにしてもよい。
 表示体は、固定的に同一輝度で表示されてもよいが、点滅表示させてもよい。表示体は数秒間だけ一時的に表示され、その後は消えるようにしてもよい。この表示期間も複数ある表示体で同一とする必要はなく、異ならせてもよい。
 表示体は、その表示形態を、時間が経過するにつれて明るさを少しずつ下げながら消えていくように、つまりフェードアウトするように変化させてもよい。具体的には、表示体は、時間が経過するにつれて、その大きさを変化させてもよい。例えば、時間の経過に従って、表示体の大きさを小さくする。また、表示体は、時間が経過するにつれて、その色を変化させてもよい。例えば、明るい色から暗い色に変化させてもよい。さらに、表示体は、時間が経過するにつれて、透明度を変化させてもよい。例えば、低い透明度から高い透明度に変化させてもよい。表示体を例えば1秒間に1回転程度、回転させるようにしてもよい。
 表示体の数、位置、色、透明度、形、大きさ、動き、スピード、回転等と、それらの表示後の変化、表示期間で特定される表示形態は、ランダムに変化させる、擬似ランダム制御としてもよい。そして、表示形態は、時間的に変化させてもよい。例えば、段々と表示体の色や形が変わってもよい。
 図3に、画面表示の変化を示す。図3Aは時刻t1における表示状態を示している。このときは、軌跡21の周辺に4つの星形の表示体から構成される軌跡表示22が表示されている。それぞれの表示体に付された矢印は、これらの表示体それぞれの移動方向を示しており、表示部2の実際の画面上では表示されない。図3Aに示されるように、表示体は放射線状に移動している。
 図3Bは時刻t1より後の時刻t2における表示状態を示している。図に示されるように、軌跡が長くなるにつれて、さらに4つの星形の表示体が表示されている。図3Cは時刻t2より後の時刻t3における表示状態を示している。図3Cに示されるように、軌跡が長くなるにつれて、さらに4つの星形の表示体が表示されている。図3Dは時刻t3より後の時刻t4における表示状態を示している。図3Dに示されるように、軌跡が長くなるにつれて、さらに4つの星形の表示体が表示されていることがわかる。
 このとき、図3B、図3C、図3Dの白抜き矢印で示されるように、軌跡21からその移動ベクトルを求めて、その移動ベクトルにより特定される移動方向に応じて、軌跡表示22を決定するようにしてもよい。つまり、移動ベクトルにより特定される移動方向に軌跡表示22を同調させてもよい。例えば次のいずれかの表示形態のように軌跡表示22を移動ベクトルに応じて決定することができる。
(1)移動ベクトルにより示される移動方向側の表示体の大きさを相対的に小さくする。
(2)移動方向又はその反対方向に表示させる表示体の数を、移動方向の法線方向(即ち、軌跡の法線方向)に表示させる表示体の数よりも多くする。
(3)移動方向へ追随するように、一部の表示体を移動させる。例えば、ランダムに始点から放射状に出た複数の表示体のうち、移動方向側に位置する一部の表示体を、移動方向(即ち、予測される将来の軌跡)に近づくように移動させる。
(4)移動方向とは反対側の表示体の色を、移動方向側の表示体の色と違うものとする。
 また、軌跡21に応じて、既に表示させた状態にある表示体の移動方向を変化させるようにしてもよい。例えば、軌跡21に沿って、より多くの表示体が流れるように移動方向を変化させる。
 ここで、本実施の形態1にかかる入力装置の表示処理について、図4のフローチャートを用いて説明する。
 図に示されるように、制御部3は、入力検出部3から出力される座標データ等の入力データに基づいて、入力検出部3に指等が触れて入力されたかどうかを判定する(ステップS101)。なお、本実施の形態上の記載では、表示部2面上に対して特定領域を占めて接触する状態のみならず、近接する状態であっても入力状態にあるものとする。制御部3は、入力を検出すると、上述したような軌跡表示処理を実行し、生成した表示データを表示部2に出力する(ステップS102)。表示部2は、生成された表示データを入力し、表示データに応じた表示を実行する。この処理を繰り返すことにより、図2、図3に示されるような表示が実現できる。
 図5に、制御部3における制御処理の例を示す。図に示されるように、様々な形の表示体を様々な数、色、大きさ、位置、動き、回転、期間で表示させることができる。図5に示される制御手段1、2、3・・・等のように、複数の表示形態を具体的に設定しておくことにより、様々な状況に対応して、様々な表示形態を実現する表示データを生成することが可能となる。
 以上、説明したように、表示させることで、入力された位置を確認しやすくすることができる。また、ユーザにとっては、感覚的に入力位置を確認できるので、入力操作を楽しくすることができる。
 さらに、背景データ上にアプリケーション関連表示体が表示されている場合の軌跡表示処理について説明する。
 図6に示されるように、表示部2の表示画面には、アプリケーション関連表示体23が表示されている。アプリケーション関連表示体23は、アプリケーションプログラムに関連する表示領域である。この例では、アプリケーション関連表示体23aは、時刻、日にち、曜日を示すカレンダー表示である。カレンダ表示をはじめ、ガジェット表示といわれるような種々のアプリケーション情報表示枠である。このアプリケーション情報表示枠には、当該アプリケーションに関連する表示情報が表示されているものであるが、当該表示枠を選択入力することで、より詳細な選択入力を受付可能な画面に遷移することが可能となるアプリケーション関連表示体の1種である。また、アプリケーション関連表示体23bは、各種のアプリケーションプログラムを識別し、選択入力することにより起動可能なアイコン、サムネイルや選択入力することによりリンク先へ接続可能なリンク表示である。
 本実施の形態にかかる入力装置100は、図6に示されるように、当該アプリケーション関連表示体23上に位置する入力の場合には、星形等の表示体から構成される軌跡表示22が行われない。そして、アプリケーション関連表示体23上には、軌跡表示22が表示されない。
 ここで、図7のフローチャートを用いて、表示処理について説明する。図に示されるように、制御部3は、入力検出部3から出力される座標データ等の入力データに基づいて、入力検出部3に指等が触れて入力されたかどうかを判定する(ステップS201)。制御部3は、入力を検出すると、次に、その座標データにより特定される入力位置が、背景データの表示領域(背景画像領域)上にあるかどうかを判定する(ステップS202)。制御部3は、背景データの表示領域上にあると判定すると、上述したような軌跡表示処理を実行し、生成した表示データを表示部2に出力する(ステップS203)。制御部3は、背景画像領域上にない、つまり、アプリケーション関連表示体23上に位置すると判定すると、軌跡表示処理を実行しない。このような処理を繰り返すことにより、図6に示されるような表示が実現できる。
 このような表示により、アプリケーション関連表示体23の視認性を確保することができる。さらに、アプリケーション関連表示体23上に指やタッチペン等が位置することを、当該軌跡表示22にかかる表示体が表示されないことをもって確認することができるため、より確実にアプリケーション起動を行うことが可能となる。
発明の実施の形態2.
 発明の実施の形態1では、入力検出部3が入力を検出している間は、その全ての入力に対して表示体を表示させることにより、軌跡表示22を実現した。本実施の形態2では、入力を開始したときのみ表示体を表示している。または、入力を開始したときと、入力を終了したときに表示体を表示させてもよく、入力を終了したときのみ表示体を表示させてもよい。ここで、本実施の形態2にかかる入力装置100は、軌跡入力や一点入力(接触、近接を含む)の場合に、入力開始時点、入力中状態、入力終了時点の3段階のいずれの入力状態かを判断している。
 ここで、図8のフローチャートを用いて、本実施の形態2にかかる入力装置の表示処理について説明する。図に示されるように、制御部3は、入力検出部3から出力される座標データ等の入力データに基づいて、入力検出部3に指等が触れて入力されたかどうかを判定する(ステップS301)。制御部3は、入力を検出すると、次に、その入力が入力開始に相当するかどうかを判定する(ステップS302)。例えば、入力履歴情報から一定期間以上入力されていない状態において、入力が開始され、その開始より一定期間内にあるかどうかを判定する。制御部3は、入力開始に相当すると判定すると、上述したような軌跡表示処理を実行し、生成した表示データを表示部2に出力する(ステップS303)。制御部3は、入力開始に相当しないと判定すると、軌跡表示処理を実行しない。このような処理を繰り返すことにより、入力を開始したときのみ表示体を表示することができる。図6に示されるような表示が実現できる。
 図8のフローチャートにおいてステップS302に示された処理を、連続して入力された後に入力が停止した状態かどうかを判定することにより、入力を終了したときのみ表示体を表示させることも可能である。
 本実施の形態によれば、入力された軌跡を確認し易くなり、入力操作が楽しくなるという効果を奏する。
発明の実施の形態3.
 本実施の形態3にかかる入力装置では、アプリケーションプログラムが起動している状況において、予め軌跡表示処理を行うものとして設定されたアプリケーションプログラムの表示領域上に位置する場合のみ軌跡表示処理を実行する。このような処理を実現するために、アプリケーションプログラム毎に、軌跡表示処理を実行すべきかどうかを示す情報を設定し、制御部3における所定記憶領域に格納している。
 図9に示すフローチャートを用いて、本実施の形態3にかかる入力装置の表示処理について説明する。図に示されるように、制御部3は、入力検出部3から出力される座標データ等の入力データに基づいて、入力検出部3に指等が触れて入力されたかどうかを判定する(ステップS401)。制御部3は、入力を検出すると、次に、その入力された位置が軌跡表示処理を実行すべきアプリケーションプログラムの表示領域上に位置するかどうかを判定する(ステップS402)。制御部3は、軌跡表示処理を実行すべきアプリケーションプログラムの表示領域上に位置すると判定すると、上述したような軌跡表示処理を実行し、生成した表示データを表示部2に出力する(ステップS403)。制御部3は、軌跡表示処理を実行すべきアプリケーションプログラムの表示領域上に位置しないと判定すると、軌跡表示処理を実行しない。このような処理を繰り返すことにより、予め軌跡表示処理を行うアプリケーションプログラムの表示領域上に位置する場合のみ軌跡表示処理を実行する。
 このような表示処理を実行することにより、ユーザは、使用するアプリケーションプログラムに適した制御方法を楽しむことができる。また、軌跡表示処理が不要な場合には、軌跡表示を表示させずに済み、アプリケーションプログラム本来の表示を妨げるのを防止できる。
 なお、壁紙上の表示されたカレンダー表示の場合も、当該軌跡表示を行う設定をしてもよく、当該軌跡表示を行わない設定をしてもよい。
発明の実施の形態4.
 本実施の形態4にかかる入力装置では、複数の画面エリアが互いに関連し、それぞれの画面エリアを移動できる環境下(例えば、一つの大きな画像を構成する複数の画面エリアを移動できる環境下)において、画面エリア毎に異なる軌跡表示処理を実行する。このような処理を実現するために、画面エリア毎に軌跡表示処理を定め、画面エリアに対応づけて軌跡表示処理情報を、制御部3における所定記憶領域に格納している。
 図10に示すフローチャートを用いて、本実施の形態4にかかる入力装置の表示処理について説明する。図に示されるように、制御部3は、入力検出部3から出力される座標データ等の入力データに基づいて、入力検出部3に指等が触れて入力されたかどうかを判定する(ステップS501)。制御部3は、入力を検出すると、次に、その入力された位置が画面エリアA上に位置するかどうかを判定する(ステップS502)。制御部3は、画面エリアA上に位置すると判定すると、当該画面エリアAに対応づけられた軌跡表示処理を実行し、生成した表示データを表示部2に出力する(ステップS503)。制御部3は、画面エリアA上に位置しない、即ち画面エリアB上に位置すると判定すると、当該画面エリアBに対応づけられた軌跡表示処理を実行する(ステップS504)。このような処理を繰り返すことにより、画面が複数のエリアに分割されている状況において、画面エリア毎に異なる軌跡表示処理を実行する。なお、画面エリアが3以上の場合には、それぞれに対応づけられた軌跡表示処理を実行する。
 このような表示処理を実行することにより、ユーザは、画面エリアが違うことを容易に認識することができる。
 なお、上述の例では、画面エリア毎に異なる軌跡表示処理を実行したが、画面エリアによっては、軌跡表示処理自体を実行しないものとして設定してもよい。
発明の実施の形態5.
 本実施の形態5にかかる入力装置では、複数のアプリケーションプログラムを起動した状態において、現在実行中のアプリケーションプログラムの画面エリア(ウィンドウ)から他のアプリケーションプログラムの画面エリアに切り替えた後も、残像のように切り替え前の軌跡表示の表示を継続する。また、同一のアプリケーションプログラムの上の異なる画面エリアに移動し切り替えた場合にも、切り替え前の軌跡表示の表示を継続する。
 図11に表示例を示す。図11Aに示されるように、あるアプリケーションプログラムの画面24a上に軌跡表示22が行われているときに、他のアプリケーションプログラムに切り替えて、図11Bに示されるように、当該プログラムの画面24bが表示された場合にも、画面24a上において表示されていた軌跡表示22と連続した軌跡表示22が表示される。
 具体的には、表示装置2において、アプリケーションの切り替えや画面エリアの移動の前後で軌跡表示を継続するためには、軌跡表示処理専用の表示レイヤーを設ければよい。当該軌跡表示処理用の表示レイヤーを各アプリケーションの画面や異なる画面エリア上に重畳し、当該軌跡表示処理を継続的に表示させる。
 このような表示処理を実行することにより、アプリケーションの切り替えや画面エリアの移動によって、軌跡表示を分断させることなく、ユーザはその表示を最後まで楽しむことができる。
発明の実施の形態6.
 本実施の形態6にかかる入力装置では、画面に表示されているコンテンツの内容や属性に基づいて、表示物の数、位置、色、透明度、形、大きさ、動き、スピード、回転等とそれらの表示後の変化と表示期間を制御する。
 図12に示すフローチャートを用いて、本実施の形態6にかかる入力装置の表示処理について説明する。図に示されるように、制御部3は、入力検出部3から出力される座標データ等の入力データに基づいて、入力検出部3に指等が触れて入力されたかどうかを判定する(ステップS601)。制御部3は、入力を検出すると、次に、画面に表示されたコンテンツ情報を解析する(ステップS602)。例えば、コンテンツ情報が静止画像データ又は動画像データであれば、当該データに関連付けられるタグ情報の解析、画像解析又は動画像解析を実行する。また、コンテンツ情報がメールのタイトル等のテキストデータであれば、当該テキストデータを解析する。さらに、コンテンツ情報がカメラ撮影時のファインダ画像であれば、撮影対象の属性、人や動物の顔の表情等の画像解析を実行する。
 次に、制御部3は、コンテンツ情報の解析結果に応じた軌跡表示処理を実行する(ステップS603)。例えば、コンテンツ情報が静止画像データであり、その中に明るい表情の人が含まれているときには、明るいイメージの表示体を表示することができる。また、コンテンツ情報が仕事のメールであることを示すタイトルのテキストデータであれば、落ち着いたイメージの表示体を表示することができる。さらに、コンテンツ情報の閲覧履歴情報に基づいて、閲覧済みであれば暗いイメージの表示体を、未閲覧であれば明るいイメージの表示体をそれぞれ表示させるようにしてもよい。なお、制御部3は、入力される前に当該解析を行ってもよい。
 このように、本実施の形態6にかかる表示処理によれば、コンテンツの内容に適した表示物を楽しむことができる。
発明の実施の形態7.
 本実施の形態7にかかる入力装置では、アプリケーション関連表示体23上に位置する入力の場合には、当該アプリケーション関連表示体23を選択入力することにより起動可能なアプリケーションプログラムに応じた軌跡表示処理を、このプログラムの起動が完了するまでの期間、実行する。
 ここで、図13のフローチャートを用いて、当該入力装置の表示処理について説明する。図に示されるように、制御部3は、入力検出部3から出力される座標データ等の入力データに基づいて、入力検出部3に指等が触れて入力されたかどうかを判定する(ステップS701)。制御部3は、入力を検出すると、次に、その座標データにより特定される入力位置が、アプリケーション関連表示体23上にあるかどうかを判定する(ステップS702)。
 制御部3は、アプリケーション関連表示体23上にあると判定すると、当該アプリケーション関連表示体23を選択入力することにより起動可能なアプリケーションプログラムの情報を取得する(ステップS703)。当該情報は、単にアプリケーションプログラムの識別情報でもよく、当該アプリケーションプログラムの内容を解析した結果を示す解析結果情報でもよい。
 制御部3は、取得したアプリケーション情報に応じた軌跡表示処理を実行し、表示データを生成して表示部2に出力する(ステップS704)。アプリケーション情報がアプリケーションプログラムの識別情報の場合には、この識別情報と予め対応づけられて記憶された表示形態を特定する情報を読み出し、この表示形態となるような軌跡表示データを生成する。具体的には、アプリケーション関連表示体23により起動されるアプリケーションやリンクのコンテンツ情報に適した、表示物の数、位置、色、透明度、形、大きさ、動き、スピード、回転等とそれらの表示後の変化と表示期間に制御される。
 このような処理を繰り返すことにより、アプリケーション関連表示体23を選択入力する前に、そのアプリケーション関連表示体23を選択入力することにより起動されるアプリケーションプログラムの内容に適した表示体を表示させることができる。また、アプリケーション関連表示体23がリンク表示の場合には、リンク先のコンテンツ情報に適した表示体を表示させることができる。なお、アプリケーション関連表示体23が起動完了した後は、同じ表示体の表示を継続してもよいが、他の表示形態に変更したり、表示そのものを止めてもよい。
発明の実施の形態8.
 本実施の形態8にかかる入力装置では、さらに、入力強度、入力位置の移動速度、移動加速度、軌跡等に基づいて、表示物の数、位置、色、透明度、形、大きさ、動き、スピード、回転等とそれらの表示後の変化と表示期間を制御する。
 図14は、本実施の形態8にかかる入力装置100の構成を示すブロック図である。図に示されるように、当該入力装置100は、入力強度検出部4を備えている。入力強度検出部4は、例えば、感圧センサにより構成され、入力検出部1に接して設けられる。
 制御部3は、例えば、入力強度が所定値以上の場合には、星等の表示体の大きさを大きくしたり、色を変更したりする制御を実行する。
 このような処理により、ユーザは、入力の仕方に応じた制御方法を楽しむことができる。
 なお、入力位置の移動速度、移動加速度、軌跡等は、入力検出部1により検出された入力データから算出できる。
発明の実施の形態9.
 本実施の形態9にかかる入力装置は、入力操作を行なうユーザの身体状況、精神状況、感情等を検出する手段を備え、その検出結果に基づいて、表示物の数、位置、色、透明度、形、大きさ、動き、スピード、回転等とそれらの表示後の変化と表示期間を制御する。
 図15は、本実施の形態9にかかる入力装置100の構成を示すブロック図である。図に示されるように、当該入力装置100は、ユーザ状態検出部5を備えている。ユーザ状態検出部5は、例えば、入力検出部1に接触した、ユーザの指の状態を分析して、ユーザの状態を検出する。また、ユーザ状態検出部5は、ユーザが送信又は受信した電子メールの内容を解析してユーザの精神状況や感情を検出するものであってもよい。
 制御部3は、例えば、ユーザ状態検出部5が検出したユーザの精神状態がよくない場合には、元気づけるような形や色の表示体を表示する。
 このような処理により、ユーザの身体状況、精神状況、感情等に適した表示体を表示させることができる。
発明の実施の形態10.
 本実施の形態10にかかる入力装置は、入力操作に基づいて、表示物の数、位置、色、透明度、形、大きさ、動き、スピード、回転等とそれらの表示後の変化と表示期間に制御を行う処理に加えて、さらに、音声、触覚等の視覚以外の感覚の出力と出力後の変化や出力期間に対しても制御を行う。したがって、当該入力装置は、音声、触覚等の視覚以外の感覚を刺激する出力を実行する出力手段を有する。
 図16は、本実施の形態10にかかる入力装置100の構成を示すブロック図である。図に示されるように、当該入力装置100は、バイブレータ6を備えている。バイブレータ6は、例えば、軌跡入力時に星の表示体を表示させるのに同期して振動を発生させる。また、星の表示体を表示させるときに、図示しないスピーカより効果音を出力するようにしてもよい。なお、バイブレータ6の代わりに、超音波出力デバイスを設けるようにしてもよい。
 本実施の形態によれば、視覚効果に、音声や触覚による効果が加わり、ユーザは、より直感的に入力を知覚できる。
発明の実施の形態11.
 本実施の形態11にかかる入力装置は、複数の位置に入力された場合に、それらの入力位置それぞれについて、予め設定された制御方法によって軌跡表示を実行する。
 図17は、本実施の形態11にかかる入力装置における表示状態を示している。図17に示されるように、複数の軌跡21a、21b上の入力があった場合に、それぞれの軌跡21a、21bの周辺に複数の表示体からなる軌跡表示22a、22bが表示される。
 このような表示を行うことにより、複数の位置への入力を直感的に確認できる。
 ここで、軌跡表示22a、22bは、互いに異なる表示形態とすることにより、互いの判別性を高めることができる。
発明の実施の形態12.
 本実施の形態12にかかる入力装置は、画面をスクロールしたり、コンテンツを順番にめくって閲覧したりする操作において、スクロールの終了時に次のコンテンツがない場合に、続きがないことが分かるように表示体を表示させる。
 図18に本実施の形態12にかかる入力装置の表示例を示す。図に示されるように、この画面上でこれ以上、上側には画面領域がない場合には、指でなぞってもある位置よりも下側だけ(つまり、始点周辺だけ)に軌跡表示22が実行され、その位置よりも上の軌跡21cには、軌跡表示22が実行されない。
 本実施の形態12では、制御部3は、ユーザによりスクロール入力が行われた場合に、そのスクロールができない状態では、入力軌跡のうち、所定位置よりもスクロールエンド側とは反対側の入力軌跡の周辺では前記軌跡表示を行い、所定位置よりもスクロールエンド側の入力軌跡の周辺では軌跡表示を行わない。従って、ユーザは、これ以上続きがないことを直感的に確認できる。
発明の実施の形態13.
 本実施の形態13にかかる入力装置は、あるアプリケーションプログラムが起動している状態で入力を行った時、入力に応じたアプリケーションプログラムの動作に基づいて、表示物の数、位置、色、透明度、形、大きさ、動き、スピード、回転等とそれらの表示後の変化と表示期間を制御する。本実施の形態11にかかる入力装置は、いわゆるタッチパネルやアナログポインティングデバイスに限らず、マウスやキーボード等の入力装置も適用可能である。
 本実施の形態13にかかる入力装置によれば、ユーザは、アプリケーションプログラムの動作を直感的に確認できる。以下、具体的な適用例について説明する。
 携帯電話機等の電子機器が、カメラ機能を実現するアプリケーションプログラムを実行している場合に、カメラ撮影時に焦点(フォーカス)を自動的に合わせるオートフォーカス機能を働かせる操作をしたときに、焦点が合った位置周辺に、上述したような複数の表示体を表示させる。または、焦点を合わせる位置を入力装置により指定すると、焦点が合っている位置周辺にこの表示体を表示させるようにしてもよい。このような機能を有する電子機器は、例えば、表示データに応じた表示を実行する表示部と、表示データを生成し、表示部に出力する制御部と、オートフォーカス機能を有するカメラ撮影部を備え、制御部は、焦点が合う位置の周辺に複数の表示体を表示する。図19に示す表示例では、焦点が合っている被写体25の顔の部分の周辺に表示体22が表示されている。ここで、焦点位置が画面上で移動した場合に、この移動軌跡の周辺に、発明の実施の形態1等に示したような軌跡表示を実行するようにしてもよい。
 このような処理を実行することにより、ユーザは焦点位置を直感的に認識できる。
 さらに、キーワードによる検索操作を実行し、検索結果を表示させる場合に、当該キーワードが現れている位置周辺に上述したような複数の表示体を表示させるようにしてもよい。このような機能を有する電子機器は、例えば、表示データに応じた表示を実行する表示部と、表示データを生成し、表示部に出力する制御部とを備え、制御部は、検索結果を表示させるときに、検索語句の周辺に複数の表示体を表示する。図20に示す例では、テキストデータ27から抽出されたキーワードの周辺に複数の星の表示体22が表示されている。
 このような処理を実行することにより、ユーザは、検索結果を直感的に認識できる。
 また、例えば、画面中のテキストデータ、画像をコピーまたは切り取り等を行なうために、ユーザが選択したテキストデータ、画像をハイライトする際、その位置周辺に上述したような複数の表示体を表示させてもよい。このような機能を有する電子機器は、例えば、表示データに応じた表示を実行する表示部と、表示データを生成し、表示部に出力する制御部とを備え、制御部は、テキストデータや特定画像の選択を検出すると、選択したテキストデータや特定画像の周辺に複数の表示体を表示する。
 このような処理を実行することにより、ユーザは、選択部分を直感的に認識できる。
 また、ユーザが禁止操作、不可能な操作をしようとする時、禁止または不可能であることが分かるように表示物を表示させるようにしてもよい。このような機能を有する電子機器は、例えば、表示データに応じた表示を実行する表示部と、表示データを生成し、表示部に出力する制御部とを備え、制御部は、ユーザによる禁止入力を検出すると、複数の表示体を表示する。例えば、図21に示すような入力領域28にパスワードの入力を行う場合、複数の表示体22を入力領域28の周辺に表示させる。また、操作ロック解除をする場合に、誤入力をすると誤入力であることが分かるように、上述したような複数の表示体22を表示させてもよい。
 例えば、例えば、コピー制限が掛かっているコンテンツをドラッグアンドドロップ等の操作によりコピーしようとする場合、コピーできないことが分かるように上述したような複数の表示体を表示させるようにしてもよい。
 このような処理を実行することにより、ユーザは、実行しようとしている操作が禁止又は実行できないことを直感的に認識できる。
 なお、上述の複数の表示体からなる表示は、入力軌跡の周辺に行われる場合を主として説明したが、これに限らず、いわゆる「長押し」のように、連続的な入力状態であっても入力位置が所定の範囲内にある場合にも実行するようにしてもよい。
 なお、上記の制御は、コンピュータプログラムによって実行されても良い。上述した制御プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
 また、コンピュータが上述の実施の形態の機能を実現するプログラムを実行することにより、上述の実施の形態の機能が実現される場合だけでなく、このプログラムが、コンピュータ上で稼動しているOS(Operating System)もしくはアプリケーションソフトウェアと協働して、上述の実施の形態の機能を実現する場合も、本発明の実施の形態に含まれる。
 以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
 上記の実施の形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
(付記1)
 ユーザの入力を検出して入力データを出力する入力検出部と、
 表示データに応じた表示を実行する表示部と、
 前記入力検出部から出力された入力データに基づいて、表示データを生成し、前記表示部に出力する制御部とを備え、
 前記制御部は、背景データ上に少なくともアプリケーション関連表示体を表示した状態において連続的な位置変化を伴う入力を検出した場合に、当該アプリケーション関連表示体の表示領域以外の背景データの表示領域では当該軌跡を示す軌跡表示を表示させ、当該アプリケーション関連表示体の表示領域では、前記軌跡表示を表示させない、入力装置。
(付記2)
 前記軌跡表示は、入力軌跡の周辺に表示される複数の表示体から構成されていることを特徴とする付記1記載の入力装置。
(付記3)
 前記表示体は、表示する時間の経過に従って画面上を移動することを特徴とする付記2記載の入力装置。
(付記4)
 前記表示体は、ランダムに設定された方向に移動することを特徴とする付記3記載の入力装置。
(付記5)
 前記表示体は、軌跡の入力方向に同調して移動することを特徴とする付記3記載の入力装置。
(付記6)
 前記表示体の生成数は、ランダムであることを特徴とする付記5記載の入力装置。
(付記7)
 前記軌跡表示は、生成した時から所定時間経過後に画面上で消えることを特徴とする付記1~6いずれかに記載の入力装置。
(付記8)
 前記入力検出部は、空間的な位置を入力可能な入力デバイスであって、当該入力デバイスにより入力を開始した時又は入力を完了した時のいずれかに前記軌跡表示を表示させる付記1~7いずれかに記載の入力装置。
(付記9)
 前記入力装置は、複数のアプリケーションプログラムが搭載され、
 前記制御部は、前記アプリケーションプログラム毎に前記軌跡表示を実行するか否かが設定されていることを特徴とする付記1~8いずれかに記載の入力装置。
(付記10)
 前記背景データは、複数の画面エリアを含み、
 前記軌跡表示が、前記複数の画面エリア毎に異なる表示形態で表示されることを特徴とする付記1~9いずれかに記載の入力装置。
(付記11)
 他のアプリケーションプログラムの画面又は他の画面エリアへの切り替え後も、切り替え前に表示された軌跡表示を継続して表示することを特徴とする付記1~10いずれかに記載の入力装置。
(付記12)
 画面に表示されているコンテンツの内容又は属性に基づいて、前記軌跡表示の表示形態を制御することを特徴とする付記1~11いずれかに記載の入力装置。
(付記13)
 前記アプリケーション関連表示体を選択した場合に、当該アプリケーション関連表示体の周辺に表示体が表示され、当該表示体は、当該アプリケーション関連表示体を選択することにより起動されるアプリケーションプログラム又はリンク先のコンテンツの内容・属性に基づいて、その表示形態が制御されることを特徴とする付記1~12いずれかに記載の入力装置。
(付記14)
 前記入力検出部により検出された入力の強度、移動速度、加速度、軌跡のいずれかに基づいて、前記軌跡表示の表示形態が制御されることを特徴とする付記1~13いずれかに記載の入力装置。
(付記15)
 入力操作を行うユーザの状態を検出するユーザ状態検出部をさらに備え、
 前記制御部は、当該ユーザ状態検出部により検出されたユーザの状態に応じて、前記軌跡表示の表示形態を制御することを特徴とする付記1~14いずれかに記載の入力装置。
(付記16)
 音声又は触覚による出力を実行する出力手段をさらに備え、
 前記制御部は、前記入力データに基づいて、前記出力手段より音声又は触覚による出力を制御することを特徴とする付記1~15いずれかに記載の入力装置。
(付記17)
 前記制御部は、前記入力データに複数の軌跡入力が含まれる場合に、それぞれの軌跡入力に対して前記軌跡表示を実行することを特徴とする付記1~16いずれかに記載の入力装置。
(付記18)
 前記制御部は、ユーザによりスクロール入力が行われた場合に、そのスクロールができない状態では、入力軌跡のうち、所定位置よりもスクロールエンド側とは反対側の入力軌跡の周辺では前記軌跡表示を行い、所定位置よりもスクロールエンド側の入力軌跡の周辺では軌跡表示を行わないことを特徴とする付記1~17いずれかに記載の入力装置。
(付記19)
 表示データに応じた表示を実行する表示部と、
 前記表示データを生成し、前記表示部に出力する制御部と、
 オートフォーカス機能を有するカメラ撮影部を備え、
 前記制御部は、焦点が合う位置の周辺に複数の表示体を表示する、電子機器。
(付記20)
 表示データに応じた表示を実行する表示部と、
 前記表示データを生成し、前記表示部に出力する制御部とを備え、
 前記制御部は、検索結果を表示させるときに、検索語句の周辺に複数の表示体を表示する、電子機器。
(付記21)
 表示データに応じた表示を実行する表示部と、
 前記表示データを生成し、前記表示部に出力する制御部とを備え、
 前記制御部は、ユーザによる禁止入力を検出すると、複数の表示体を表示する、電子機器。
(付記22)
 ユーザによる入力を検出するステップと、
 背景データ上に少なくともアプリケーション関連表示体を表示した状態において、連続的な位置変化を伴う入力を検出した場合には、当該アプリケーション関連表示体の表示領域以外の背景データの表示領域では当該軌跡を示す軌跡表示を表示させ、当該アプリケーション関連表示体の表示領域では、前記軌跡表示を表示させない表示データを生成するステップとを備えた表示処理方法。
(付記23)
 前記軌跡表示は、入力軌跡の周辺に表示される複数の表示体から構成されていることを特徴とする付記22記載の表示処理方法。
(付記24)
 前記表示体は、表示する時間の経過に従って画面上を移動する付記22記載の表示処理方法。
(付記25)
 前記表示体は、ランダムに設定された方向に移動することを特徴とする付記22記載の表示処理方法。
(付記26)
 前記表示体は、軌跡の入力方向に同調して移動することを特徴とする付記22記載の表示処理方法。
(付記27)
 前記表示体の生成数は、ランダムであることを特徴とする付記22記載の表示処理方法。
(付記28)
 前記軌跡表示は、生成した時から所定時間経過後に画面上で消えることを特徴とする付記22~27いずれかに記載の表示処理方法。
(付記29)
 アプリケーションプログラム毎に前記軌跡表示を実行するか否かが設定さていることを特徴とする付記22~28いずれかに記載の表示処理方法。
(付記30)
 前記背景データは、複数の画面エリアを含み、
 前記軌跡表示が、前記複数の画面エリア毎に異なる表示形態で表示されることを特徴とする付記22~29いずれかに記載の表示処理方法。
(付記31)
 他のアプリケーションプログラムの画面や他の画面エリアへの切り替え後も、切り替え前に表示された軌跡表示を継続して表示することを特徴とする付記22~30いずれかに記載の表示処理方法。
(付記32)
 画面に表示されているコンテンツの内容又は属性に基づいて、前記軌跡表示の表示形態を制御することを特徴とする付記22~31いずれかに記載の表示処理方法。
(付記33)
 前記アプリケーション関連表示体を選択した場合に、当該アプリケーション関連表示体の周辺に表示体が表示され、当該表示体は、当該アプリケーション関連表示体を選択することにより起動されるアプリケーションプログラム又はリンク先のコンテンツの内容・属性に基づいて、その表示形態が制御されることを特徴とする付記22~32いずれかに記載の表示処理方法。
(付記34)
 前記入力の強度、移動速度、加速度、軌跡のいずれかに基づいて、前記軌跡表示の表示形態が制御されることを特徴とする付記22~33いずれかに記載の表示処理方法。
(付記35)
 ユーザの状態に応じて、前記軌跡表示の表示形態を制御する付記22~34いずれかに記載の表示処理方法。
(付記36)
 入力データに基づいて、音声又は触覚による出力を制御する付記22~35いずれかに記載の表示処理方法。
(付記37)
 入力データに複数の軌跡入力が含まれる場合に、それぞれの軌跡入力に対して前記軌跡表示を実行する付記22~36いずれかに記載の表示処理方法。
(付記38)
 ユーザによりスクロール入力が行われた場合に、そのスクロールができない状態では、入力軌跡のうち、所定位置よりもスクロールエンド側とは反対側の入力軌跡の周辺では前記軌跡表示を行い、所定位置よりもスクロールエンド側の入力軌跡の周辺では軌跡表示を行わないことを特徴とする付記22~37いずれかに記載の表示処理方法。
(付記39)
 オートフォーカス機能に基づく焦点位置を検出するステップと、
 前記焦点位置の周辺に複数の表示体を表示する表示データを生成するステップとを備えた、表示処理方法。
(付記40)
 検索により抽出された検索語句の位置を検出するステップと、
 前記検索語句の位置の周辺に複数の表示体を表示する表示データを生成するステップとを備えた、表示処理方法。
(付記41)
 ユーザによる禁止入力を検出するステップと、
 前記禁止入力を検出した場合に、複数の表示体を表示する表示データを生成するステップとを備えた、表示処理方法。
(付記42)
 ユーザによる入力情報を取得するステップと、
 背景データ上に少なくともアプリケーション関連表示体を表示した状態において、連続的な位置変化を伴う入力を検出した場合には、当該アプリケーション関連表示体の表示領域以外の背景データの表示領域では当該軌跡を示す軌跡表示を表示させ、当該アプリケーション関連表示体の表示領域では、前記軌跡表示を表示させない表示データを生成するステップとをコンピュータに実行させる表示処理プログラム。
 この出願は、2011年10月17日に出願された日本出願特願2011-228317を基礎とする優先権を主張し、その開示の全てをここに取り込む。
 本発明は、タッチパネルやアナログポインティングデバイス等の入力デバイスに利用することができる。
 1 入力検出部
 2 表示部
 3 制御部
 4 入力強度検出部
 5 ユーザ状態検出部
 6 バイブレータ
 21 軌跡
 22 軌跡表示
 23 アプリケーション関連表示体
 24 画面(ウィンドウ)
 25 被写体
 26 焦点
 27 テキストデータ
 28 パスワード入力領域
100 入力装置

Claims (42)

  1.  ユーザの入力を検出して入力データを出力する入力検出手段と、
     表示データに応じた表示を実行する表示手段と、
     前記入力検出手段から出力された入力データに基づいて、表示データを生成し、前記表示手段に出力する制御手段とを備え、
     前記制御手段は、背景データ上に少なくともアプリケーション関連表示体を表示した状態において連続的な位置変化を伴う入力を検出した場合に、当該アプリケーション関連表示体の表示領域以外の背景データの表示領域では軌跡を示す軌跡表示を表示させ、当該アプリケーション関連表示体の表示領域では、前記軌跡表示を表示させない、入力装置。
  2.  前記軌跡表示は、入力軌跡の周辺に表示される複数の表示体から構成されていることを特徴とする請求項1記載の入力装置。
  3.  前記表示体は、表示する時間の経過に従って画面上を移動することを特徴とする請求項2記載の入力装置。
  4.  前記表示体は、ランダムに設定された方向に移動することを特徴とする請求項3記載の入力装置。
  5.  前記表示体は、軌跡の入力方向に同調して移動することを特徴とする請求項3記載の入力装置。
  6.  前記表示体の生成数は、ランダムであることを特徴とする請求項5記載の入力装置。
  7.  前記軌跡表示は、生成した時から所定時間経過後に画面上で消えることを特徴とする請求項1~6いずれかに記載の入力装置。
  8.  前記入力検出手段は、空間的な位置を入力可能な入力デバイスであって、当該入力デバイスにより入力を開始した時又は入力を完了した時のいずれかに前記軌跡表示を表示させる請求項1~7いずれかに記載の入力装置。
  9.  前記入力装置は、複数のアプリケーションプログラムが搭載され、
     前記制御手段は、前記アプリケーションプログラム毎に前記軌跡表示を実行するか否かが設定されていることを特徴とする請求項1~8いずれかに記載の入力装置。
  10.  前記背景データは、複数の画面エリアを含み、
     前記軌跡表示が、前記複数の画面エリア毎に異なる表示形態で表示されることを特徴とする請求項1~9いずれかに記載の入力装置。
  11.  他のアプリケーションプログラムの画面又は他の画面エリアへの切り替え後も、切り替え前に表示された軌跡表示を継続して表示することを特徴とする請求項1~10いずれかに記載の入力装置。
  12.  画面に表示されているコンテンツの内容又は属性に基づいて、前記軌跡表示の表示形態を制御することを特徴とする請求項1~11いずれかに記載の入力装置。
  13.  前記アプリケーション関連表示体を選択した場合に、当該アプリケーション関連表示体の周辺に表示体が表示され、当該表示体は、当該アプリケーション関連表示体を選択することにより起動されるアプリケーションプログラム又はリンク先のコンテンツの内容・属性に基づいて、その表示形態が制御されることを特徴とする請求項1~12いずれかに記載の入力装置。
  14.  前記入力検出手段により検出された入力の強度、移動速度、加速度、軌跡のいずれかに基づいて、前記軌跡表示の表示形態が制御されることを特徴とする請求項1~13いずれかに記載の入力装置。
  15.  入力操作を行うユーザの状態を検出するユーザ状態検出手段をさらに備え、
     前記制御手段は、当該ユーザ状態検出手段により検出されたユーザの状態に応じて、前記軌跡表示の表示形態を制御することを特徴とする請求項1~14いずれかに記載の入力装置。
  16.  音声又は触覚による出力を実行する出力手段をさらに備え、
     前記制御手段は、前記入力データに基づいて、前記出力手段より音声又は触覚による出力を制御することを特徴とする請求項1~15いずれかに記載の入力装置。
  17.  前記制御手段は、前記入力データに複数の軌跡入力が含まれる場合に、それぞれの軌跡入力に対して前記軌跡表示を実行することを特徴とする請求項1~16いずれかに記載の入力装置。
  18.  前記制御手段は、ユーザによりスクロール入力が行われた場合に、そのスクロールができない状態では、入力軌跡のうち、所定位置よりもスクロールエンド側とは反対側の入力軌跡の周辺では前記軌跡表示を行い、所定位置よりもスクロールエンド側の入力軌跡の周辺では軌跡表示を行わないことを特徴とする請求項1~17いずれかに記載の入力装置。
  19.  表示データに応じた表示を実行する表示手段と、
     前記表示データを生成し、前記表示手段に出力する制御手段と、
     オートフォーカス機能を有するカメラ撮影手段を備え、
     前記制御手段は、焦点が合う位置の周辺に複数の表示体を表示する、電子機器。
  20.  表示データに応じた表示を実行する表示手段と、
     前記表示データを生成し、前記表示手段に出力する制御手段とを備え、
     前記制御手段は、検索結果を表示させるときに、検索語句の周辺に複数の表示体を表示する、電子機器。
  21.  表示データに応じた表示を実行する表示手段と、
     前記表示データを生成し、前記表示手段に出力する制御手段とを備え、
     前記制御手段は、ユーザによる禁止入力を検出すると、複数の表示体を表示する、電子機器。
  22.  ユーザによる入力を検出するステップと、
     背景データ上に少なくともアプリケーション関連表示体を表示した状態において、連続的な位置変化を伴う入力を検出した場合には、当該アプリケーション関連表示体の表示領域以外の背景データの表示領域では当該軌跡を示す軌跡表示を表示させ、当該アプリケーション関連表示体の表示領域では、前記軌跡表示を表示させない表示データを生成するステップとを備えた表示処理方法。
  23.  前記軌跡表示は、入力軌跡の周辺に表示される複数の表示体から構成されていることを特徴とする請求項22記載の表示処理方法。
  24.  前記表示体は、表示する時間の経過に従って画面上を移動する請求項22記載の表示処理方法。
  25.  前記表示体は、ランダムに設定された方向に移動することを特徴とする請求項22記載の表示処理方法。
  26.  前記表示体は、軌跡の入力方向に同調して移動することを特徴とする請求項22記載の表示処理方法。
  27.  前記表示体の生成数は、ランダムであることを特徴とする請求項22記載の表示処理方法。
  28.  前記軌跡表示は、生成した時から所定時間経過後に画面上で消えることを特徴とする請求項22~27いずれかに記載の表示処理方法。
  29.  アプリケーションプログラム毎に前記軌跡表示を実行するか否かが設定さていることを特徴とする請求項22~28いずれかに記載の表示処理方法。
  30.  前記背景データは、複数の画面エリアを含み、
     前記軌跡表示が、前記複数の画面エリア毎に異なる表示形態で表示されることを特徴とする請求項22~29いずれかに記載の表示処理方法。
  31.  他のアプリケーションプログラムの画面や他の画面エリアへの切り替え後も、切り替え前に表示された軌跡表示を継続して表示することを特徴とする請求項22~30いずれかに記載の表示処理方法。
  32.  画面に表示されているコンテンツの内容又は属性に基づいて、前記軌跡表示の表示形態を制御することを特徴とする請求項22~31いずれかに記載の表示処理方法。
  33.  前記アプリケーション関連表示体を選択した場合に、当該アプリケーション関連表示体の周辺に表示体が表示され、当該表示体は、当該アプリケーション関連表示体を選択することにより起動されるアプリケーションプログラム又はリンク先のコンテンツの内容・属性に基づいて、その表示形態が制御されることを特徴とする請求項22~32いずれかに記載の表示処理方法。
  34.  前記入力の強度、移動速度、加速度、軌跡のいずれかに基づいて、前記軌跡表示の表示形態が制御されることを特徴とする請求項22~33いずれかに記載の表示処理方法。
  35.  ユーザの状態に応じて、前記軌跡表示の表示形態を制御する請求項22~34いずれかに記載の表示処理方法。
  36.  入力データに基づいて、音声又は触覚による出力を制御する請求項22~35いずれかに記載の表示処理方法。
  37.  入力データに複数の軌跡入力が含まれる場合に、それぞれの軌跡入力に対して前記軌跡表示を実行する請求項22~36いずれかに記載の表示処理方法。
  38.  ユーザによりスクロール入力が行われた場合に、そのスクロールができない状態では、入力軌跡のうち、所定位置よりもスクロールエンド側とは反対側の入力軌跡の周辺では前記軌跡表示を行い、所定位置よりもスクロールエンド側の入力軌跡の周辺では軌跡表示を行わないことを特徴とする請求項22~37いずれかに記載の表示処理方法。
  39.  オートフォーカス機能に基づく焦点位置を検出するステップと、
     前記焦点位置の周辺に複数の表示体を表示する表示データを生成するステップとを備えた、表示処理方法。
  40.  検索により抽出された検索語句の位置を検出するステップと、
     前記検索語句の位置の周辺に複数の表示体を表示する表示データを生成するステップとを備えた、表示処理方法。
  41.  ユーザによる禁止入力を検出するステップと、
     前記禁止入力を検出した場合に、複数の表示体を表示する表示データを生成するステップとを備えた、表示処理方法。
  42.  ユーザによる入力情報を取得するステップと、
     背景データ上に少なくともアプリケーション関連表示体を表示した状態において、連続的な位置変化を伴う入力を検出した場合には、当該アプリケーション関連表示体の表示領域以外の背景データの表示領域では当該軌跡を示す軌跡表示を表示させ、当該アプリケーション関連表示体の表示領域では、前記軌跡表示を表示させない表示データを生成するステップとをコンピュータに実行させる表示処理プログラムが格納された記憶媒体。
PCT/JP2012/006533 2011-10-17 2012-10-11 入力装置、表示処理方法及び表示処理プログラムが格納された記憶媒体 WO2013057907A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-228317 2011-10-17
JP2011228317 2011-10-17

Publications (1)

Publication Number Publication Date
WO2013057907A1 true WO2013057907A1 (ja) 2013-04-25

Family

ID=48140576

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/006533 WO2013057907A1 (ja) 2011-10-17 2012-10-11 入力装置、表示処理方法及び表示処理プログラムが格納された記憶媒体

Country Status (1)

Country Link
WO (1) WO2013057907A1 (ja)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0922472A (ja) * 1995-07-05 1997-01-21 Sharp Corp イメージ処理方法
JP2001155183A (ja) * 1999-09-14 2001-06-08 Sony Computer Entertainment Inc 動画作成方法、記憶媒体およびプログラム実行装置
JP2005080121A (ja) * 2003-09-02 2005-03-24 Yamaha Corp データ通信システム、データ送信端末およびプログラム
JP2005158057A (ja) * 2003-11-04 2005-06-16 Shinsedai Kk 描画装置、操作物、描画システム、描画プログラム、及び描画方法
JP2006129257A (ja) * 2004-10-29 2006-05-18 Omron Entertainment Kk 写真シール作成装置および方法、並びにプログラム
JP2009017223A (ja) * 2007-07-04 2009-01-22 Sony Corp 撮影装置、画像処理装置、これらにおける画像処理方法およびプログラム
JP2009064364A (ja) * 2007-09-07 2009-03-26 Copcom Co Ltd プログラム、記憶媒体およびコンピュータ
JP2009238106A (ja) * 2008-03-28 2009-10-15 Fujifilm Corp 画像処理方法および装置ならびにプログラム
JP2010061472A (ja) * 2008-09-04 2010-03-18 Nintendo Co Ltd 画像処理プログラムおよび画像処理装置
JP2010267174A (ja) * 2009-05-18 2010-11-25 Nec Casio Mobile Communications Ltd 端末装置およびプログラム
JP2011076621A (ja) * 2010-11-19 2011-04-14 Canon Inc 情報処理装置及びその制御方法、プログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0922472A (ja) * 1995-07-05 1997-01-21 Sharp Corp イメージ処理方法
JP2001155183A (ja) * 1999-09-14 2001-06-08 Sony Computer Entertainment Inc 動画作成方法、記憶媒体およびプログラム実行装置
JP2005080121A (ja) * 2003-09-02 2005-03-24 Yamaha Corp データ通信システム、データ送信端末およびプログラム
JP2005158057A (ja) * 2003-11-04 2005-06-16 Shinsedai Kk 描画装置、操作物、描画システム、描画プログラム、及び描画方法
JP2006129257A (ja) * 2004-10-29 2006-05-18 Omron Entertainment Kk 写真シール作成装置および方法、並びにプログラム
JP2009017223A (ja) * 2007-07-04 2009-01-22 Sony Corp 撮影装置、画像処理装置、これらにおける画像処理方法およびプログラム
JP2009064364A (ja) * 2007-09-07 2009-03-26 Copcom Co Ltd プログラム、記憶媒体およびコンピュータ
JP2009238106A (ja) * 2008-03-28 2009-10-15 Fujifilm Corp 画像処理方法および装置ならびにプログラム
JP2010061472A (ja) * 2008-09-04 2010-03-18 Nintendo Co Ltd 画像処理プログラムおよび画像処理装置
JP2010267174A (ja) * 2009-05-18 2010-11-25 Nec Casio Mobile Communications Ltd 端末装置およびプログラム
JP2011076621A (ja) * 2010-11-19 2011-04-14 Canon Inc 情報処理装置及びその制御方法、プログラム

Similar Documents

Publication Publication Date Title
US10599316B2 (en) Systems and methods for adjusting appearance of a control based on detected changes in underlying content
KR102373116B1 (ko) 증강 및 가상 현실 환경들과 상호작용하기 위한 시스템들, 방법들, 및 그래픽 사용자 인터페이스들
US10134358B2 (en) Head mounted display device and method for controlling the same
US10275436B2 (en) Zoom enhancements to facilitate the use of touch screen devices
US9772769B2 (en) Mobile terminal device and display control method thereof
US10304163B2 (en) Landscape springboard
KR102203885B1 (ko) 사용자 단말 장치 및 그 제어 방법
US10282067B2 (en) Method and apparatus of controlling an interface based on touch operations
JP6264293B2 (ja) 表示制御装置、表示制御方法及びプログラム
JP6240619B2 (ja) 画面に表示された客体のサイズ調整方法及び装置
US9600120B2 (en) Device, method, and graphical user interface for orientation-based parallax display
US9313406B2 (en) Display control apparatus having touch panel function, display control method, and storage medium
US20220335697A1 (en) Systems, Methods, and Graphical User Interfaces for Adding Effects in Augmented Reality Environments
KR102582541B1 (ko) 에지 스크린을 통한 터치 입력 방법 및 전자 장치
US20120284671A1 (en) Systems and methods for interface mangement
KR102205283B1 (ko) 적어도 하나의 어플리케이션을 실행하는 전자 장치 및 그 제어 방법
JP2015035092A (ja) 表示制御装置及び表示制御装置の制御方法
US20150268828A1 (en) Information processing device and computer program
JP2015138360A (ja) オブジェクト操作システム及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法
JP2009098990A (ja) 表示装置
JP2007122287A (ja) 情報処理装置、階層情報出力方法及びプログラム
JPWO2013047023A1 (ja) 表示装置、表示方法およびプログラム
WO2013057907A1 (ja) 入力装置、表示処理方法及び表示処理プログラムが格納された記憶媒体
KR102138501B1 (ko) 디지털 컨텐츠를 캡쳐하는 디스플레이 디바이스 및 그 제어 방법
EP3128397B1 (en) Electronic apparatus and text input method for the same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12841163

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12841163

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP