WO2013190989A1 - 表示装置、表示方法及びプログラム - Google Patents
表示装置、表示方法及びプログラム Download PDFInfo
- Publication number
- WO2013190989A1 WO2013190989A1 PCT/JP2013/065411 JP2013065411W WO2013190989A1 WO 2013190989 A1 WO2013190989 A1 WO 2013190989A1 JP 2013065411 W JP2013065411 W JP 2013065411W WO 2013190989 A1 WO2013190989 A1 WO 2013190989A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- scroll
- speed
- user
- scrolling
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
Definitions
- the present invention relates to a user interface.
- Patent Document 1 As an invention for scrolling the screen using the line of sight, for example, there is a system disclosed in Patent Document 1.
- This system detects a user's line-of-sight direction from an image obtained by a camera, and detects a position where the user is looking on a screen of a display device.
- a scroll arrow is displayed at the edge of the screen, and when the line of sight moves outside the screen after the scroll arrow is displayed, the screen is scrolled.
- the present invention has been made under the background described above, and it is an object of the present invention to provide a technique for shortening the time required to display a target position when scrolling an image by moving the line of sight.
- the present invention provides a display unit having a display surface for displaying an image, a first detection unit for detecting a user's line of sight, and a second detection for detecting a user operation performed on the display surface.
- a direction determining unit that determines a scroll direction of the image according to the line of sight detected by the second detection unit, and a scroll speed of the image according to an operation detected by the second detection unit.
- the scroll direction If the scrolling of the image starts at the scrolling speed before the change, and the scroll direction after the change is opposite to the scroll direction before the change, A display control unit that starts scrolling the image at a speed or stops scrolling the image and scrolls the image at the scroll speed after the change when the scroll speed is changed by a user operation. Providing the device.
- the display control unit moves the line of sight within the area when the line of sight moves in a direction before the movement after the line of sight moves within a predetermined area of the display surface. Scrolling of the image is started at a scrolling speed faster than the scrolling speed before moving.
- the present invention provides a gaze detection step for detecting a user's gaze, a step for detecting a user operation performed on a display surface of a display unit that displays an image, and the detected gaze Determining the scroll direction of the image according to the control, determining the scroll speed of the image according to the detected operation, and controlling the display unit so that the image is scrolled in the scroll direction.
- the scroll direction is changed and the scroll direction before the change and the scroll direction after the change intersect, the scrolling of the image is started at the scroll speed before the change of the scroll direction.
- the scroll direction before the change is the opposite direction, start scrolling the image at a predetermined scroll speed, It provides a display method comprising the steps of scrolling stops scrolling of the image, when the scroll speed is changed by a user operation, the image at a scroll speed after the change.
- the computer detects a user's line of sight, a step of detecting a user operation performed on a display surface of a display unit that displays an image, and the detection. Determining the scroll direction of the image according to the line of sight, determining the scroll speed of the image according to the detected operation, and the display unit so that the image is scrolled in the scroll direction. If the scroll direction is changed and the scroll direction before the change and the scroll direction after the change intersect, the scrolling of the image is started at the scroll speed before the change of the scroll direction. When the direction is opposite to the scroll direction before the change, the image is scrolled at a predetermined scroll speed. Whether to start or stop the scrolling of the image, when the scroll speed is changed by a user operation, provides a program for executing the steps of scrolling the image scroll speed after the change.
- the time taken to display the target position can be shortened.
- FIG. 2 is a diagram illustrating a hardware configuration of the information processing apparatus 1.
- FIG. 2 is a functional block diagram of the information processing apparatus 1.
- FIG. 10 shows an example of a screen displayed on the display unit 1042.
- FIG. 10 shows an example of a screen displayed on the display unit 1042.
- FIG. 10 shows an example of a screen displayed on the display unit 1042.
- FIG. 10 shows an example of a screen displayed on the display unit 1042.
- FIG. 10 shows an example of a screen displayed on the display unit 1042.
- FIG. 10 shows an example of a screen displayed on the display unit 1042.
- FIG. 10 shows an example of a screen displayed on the display unit 1042.
- FIG. 10 shows an example of a screen displayed on the display unit 1042.
- SYMBOLS 1 Information processing apparatus, 101 ... Bus, 102 ... Control part, 102A ... CPU, 102B ... ROM, 102C ... RAM, 103 ... Memory
- FIG. 1 is a diagram showing a hardware configuration of an information processing apparatus 1 according to an embodiment of the present invention.
- the information processing apparatus 1 according to the present embodiment is a computer device called a so-called tablet terminal including a touch screen, a hardware button, and the like on a plate-shaped housing.
- the information processing apparatus 1 is an example of a display device that displays an image on a touch screen. As illustrated in FIG. 1, each unit of the information processing apparatus 1 is connected by a bus 101.
- the communication unit 105 has a function of a communication interface that performs wireless communication.
- the information processing apparatus 1 controls the communication unit 105 to connect to a wireless local area network (LAN) or a mobile communication network, and performs data communication and voice communication.
- the operation unit 104 includes a plurality of hardware buttons for operating the information processing apparatus 1.
- the operation unit 104 is provided on the surface of the display unit 1042 and the display unit 1042, which is an example of a display unit that displays an image.
- the operation unit 104 transmits the image displayed on the display unit 1042, and detects a position touched by a finger.
- a touch screen 104A integrated with the position detection unit 1041 is provided.
- a display part 1042 although a liquid crystal display or an organic EL (Electro Luminescence) display is used, it is not limited to these, Other displays may be used.
- the position detection unit 1041 a unit that detects the positions of a plurality of touching fingers (for example, a capacitive type unit) is used. When the user's finger touches the touch screen 104A, position data representing the position touched by the finger is generated in the position detection unit 1041, and the generated position data is supplied from the position detection unit 1041 to the control unit 102.
- the imaging unit 106 includes a lens and a solid-state imaging device, and generates an image representing an image formed on the solid-state imaging device by the lens.
- the storage unit 103 includes a nonvolatile memory.
- the storage unit 103 stores a program OS that realizes an operating system and various application programs.
- the control unit 102 includes a CPU (Central Processing Unit) 102A, a ROM (Read Only Memory) 102B, a RAM (Random Access Memory) 102C, and the like.
- IPL Intelligent Program Loader
- the program OS stored in the storage unit 103 is executed, an operating system is realized, and various application programs can be executed.
- a user interface using the touch screen 104A and the imaging unit 106 is realized.
- FIG. 2 is a diagram showing functional blocks related to the characteristic functions according to the present invention among the functions realized in the control unit 102.
- a user interface using the touch screen 104A and the imaging unit 106 is realized.
- FIG. 2 is a functional block diagram relating to the user interface function.
- the operation detection unit 201 acquires position data generated by the position detection unit 1041. This position data represents the position touched by the user's finger on the display surface of the display unit 1042, and the content of the position data changes when the user's finger moves.
- the operation detection unit 201 detects an operation performed by the user with a finger based on the position data.
- the line-of-sight detection unit 202 detects a user's line of sight.
- the line-of-sight detection unit 202 acquires an image of the user's face.
- the line-of-sight detection unit 202 detects the line of sight of the user from the acquired face image.
- the direction determination unit 203 determines a scroll direction when scrolling an image based on the line of sight detected by the line of sight detection unit 202.
- the speed determination unit 204 determines the scroll speed at which the image is scrolled according to the operation performed by the operation detection unit 201. For example, when an operation for moving a finger on the touch screen 104 is performed, the speed determination unit 204 determines the scroll speed according to the distance from the position when the finger touches to the position of the finger after the movement.
- the display control unit 205 controls the display unit 1042 so that the image scrolls.
- the display control unit 205 scrolls the image using the scroll direction determined by the direction determining unit 203 and the scroll speed determined by the speed determining unit 204.
- FIG. 5 shows an example of a screen displayed when an application program for realizing a Web browser is executed in the information processing apparatus 1. This screen shows a state in which the Web page selected by the user is displayed.
- the control unit 102 controls the imaging unit 106 to perform imaging with the imaging unit 106.
- the user's face is imaged by the imaging unit 106.
- an image including the user's face (hereinafter referred to as a face image) is generated.
- the control unit 102 executes the process shown in FIG. 3 every time a face image is generated.
- the control unit 102 acquires this face image (step SA1).
- the control unit 102 detects the user's line of sight using, for example, the technique disclosed in Japanese Patent Laid-Open No. 10-39995, and specifies the position where the user is looking on the display screen (Step S102).
- SA2 The technique for detecting the user's line of sight is not limited to the above method, and a method of detecting the line of sight from the captured image using a camera attached to the user's head and the like. Other known methods may be used.
- the control unit 102 controls the display unit 1042 so that the cursor 10 is displayed at the specified position when the position where the user is viewing is specified at step SA2 (step SA3).
- step SA3 the cursor 10 is displayed at the position where the user is looking as shown in FIG.
- the control unit 102 specifies a position where the user is looking from the face image obtained by the imaging unit 106, and moves the cursor 10 to the specified position.
- the control unit 102 determines whether the position viewed by the user has moved to any of the areas B1 to B8 shown in FIG.
- the control unit 102 determines whether the user's finger is touching the touch screen 104A when the position the user is viewing moves from one of the areas A1 to B8 in the area A shown in FIG. If the position data is not supplied from the touch screen 104A when the position that the user is viewing moves from the area A to any of the areas B1 to B8 (NO in step SB1), the control unit 102 It is determined whether the current position is in any of the areas B1 to B8. If the position where the user is looking is outside the area B1 to B8, such as within the area A or outside the display area of the display unit 1042 (NO in step SB2), the control unit 102 ends the processing shown in FIG. To do.
- step SB1 the control unit 102 specifies the position touched by the finger on the display screen using the acquired position data (step SB3).
- the control unit 102 stores the position specified in step SB3 (hereinafter referred to as the first position) in the RAM 102C (step SB4).
- the control unit 102 stores the moved area when moving from the area A to any of the areas B1 to B8 (step SB5).
- the control unit 102 determines whether the position where the user is looking is in any of the areas B1 to B8. If the position where the user is looking is outside the areas B1 to B8 (NO in step SB6), the control unit 102 ends the process shown in FIG. On the other hand, if the position that the user is viewing is within any one of the areas B1 to B8 (YES in step SB6), the control unit 102 determines that the area that the user is viewing at this time is the area stored in step SB5. It is determined whether it is the same. If the area that the user is viewing at this time is different from the area stored in step SB5 (NO in step SB7), the control unit 102 returns the process flow to step SB1.
- step SB7 determines whether position data is supplied. If the position data is not supplied (NO in step SB8), the control unit 102 determines that the finger has moved away from the touch screen, and ends the process illustrated in FIG.
- step SB8 the control unit 102 specifies the position of the user's finger from the position data (step SB97), and determines whether the position of the user's finger is the same as the first position.
- step SB9 the position specified in step SB9 is the same as the first position (YES in step SB10)
- control unit 102 returns the process flow to step SB6.
- step SB9 the position specified in step SB9 is different from the first position (NO in step SB10)
- the control unit 102 determines that the position of the user's finger has changed from the first position.
- the control unit 102 calculates the distance between the finger position specified in step SB9 and the first position (step SB11).
- the control unit 102 scrolls the displayed image in accordance with the position where the cursor 10 is and the calculated distance (step SB12). Specifically, the control unit 102 sets the direction in which the image is scrolled as the direction of the area where the cursor 10 is located. For example, when the image is scrolled by moving the cursor 10 from the state of FIG. 5 to the area B1, the image displayed as shown in FIG. 7 is scrolled in the direction of the area B1. Further, when the cursor 10 is moved from the state of FIG. 5 to the area B5 to scroll the image, the displayed image is scrolled in the direction of the area B5 as shown in FIG. 7 and 8, illustration of the finger touching the touch screen 104A is omitted.
- control unit 102 sets the speed of scrolling the image (the amount of movement of the image per unit time (for example, 1 second)) according to the distance calculated in step SB11. For example, the control unit 102 increases the scroll speed as the distance calculated in step SB11 increases. For this reason, when the finger is moved from the first position, as shown in FIG. 9, when the finger position after the movement is close to the first position, the scrolling speed is slow, and the finger position after the movement is the first position. As you move farther from one position, the scrolling speed increases. For this reason, as shown in FIG. 10, when the position after the movement is farther from the first position than the position of FIG. 9, the speed of scrolling in the case of FIG. 10 is faster than in the case of FIG.
- the control unit 102 returns the process flow to step SB6 after the process of step SB12. Then, when the area that the user is viewing is outside the area B1 to B8, or when the user's finger is separated from the touch screen 104A, the process of scrolling the image is terminated.
- step SB5 determines NO in step SB7.
- the control unit 102 determines whether the area that the user is viewing is an area in the opposite direction to the area stored in step SB5. For example, when the line of sight moves from the area B1 to the area B5, when the line of sight moves from the area B5 to the area B1, when the line of sight moves from the area B3 to the area B7, and when the line of sight moves from the area B7 to the area B3.
- the control unit 102 determines that the area the user is viewing is in the opposite direction to the area stored in step SB5 (YES in step SB13), and moves the process flow to step SB1.
- step SB13 If it is determined YES in step SB13 and the process returns to step SB1, the position of the finger at this time is newly stored as the first position. Then, the control unit 102 does not scroll the image when the finger does not move from the first position. That is, when the direction in which the user is looking changes in the opposite direction during image scrolling, image scrolling is temporarily stopped. When the finger moves from the newly stored first position, the image is scrolled according to the distance from the first position stored when the line of sight is moved to the moved finger position. It becomes.
- step SB13 if the control unit 102 determines NO in step SB13, it moves the flow of processing to step SB8.
- the scroll speed is set according to the distance from the first position to the finger position, the scroll speed is the same and the scroll direction changes compared to before the line of sight moves. .
- the scroll direction becomes the direction of the area B7 while maintaining the scroll speed when the line of sight is in the area B1.
- the present embodiment it is possible to determine the scroll direction of the image by the line of sight and to control the scroll speed by the operation of the finger. According to the present embodiment, if the line of sight is moved in the opposite direction while the image is being scrolled, the scrolling of the image is temporarily stopped. For this reason, compared with the case where the scroll direction is changed to the opposite direction while maintaining the scroll speed, the position desired by the user can be easily displayed.
- the image is scrolled when the line of sight is in any of the areas B1 to B8.
- the position of the line of sight when the image is scrolled is limited to these areas.
- the image may be scrolled even when the line of sight moves outside the display area of the display unit 1042.
- the image is scrolled when the lines of sight are in the areas C1 to C8 outside the display area.
- the display area of the image is an area indicated by a solid line
- the image is scrolled when the line of sight is in the areas D1 to D8 shown in FIG. 12 instead of the areas B1 to B8. You may make it make it.
- the scrolling speed of the image is determined according to the movement amount of the finger, but the method of setting the scrolling speed is not limited to the method of the above-described embodiment.
- some touch screens can measure the pressure applied to the touch screen by a finger.
- the scrolling speed of the image may be increased as the pressure applied by the finger increases.
- the finger touches the touch screen and the scrolling speed of the image is increased as the time elapsed since the finger touched the touch screen becomes longer. Good.
- an operation of hitting the touch screen with a finger may be performed, and the scrolling speed of the image may be increased as the number of hits increases.
- image scrolling temporarily stops when the user moves his / her line of sight.
- the control unit 102 determines that the user has moved before moving into the region A. Is stored, and the scroll speed in the state before the viewing position moves to the area A is stored.
- the control unit 102 displays the image in the direction in which the user is viewing at a speed faster than the stored speed. Scroll.
- the control unit 102 newly stores the first position and does not perform scrolling until the finger position moves. Like that. According to this modification, when the image is continuously scrolled in the same direction, the scrolling is not temporarily stopped. Therefore, the image can be scrolled faster than the configuration in which the scrolling is temporarily stopped.
- the present invention when the line of sight moves in the direction opposite to the scroll direction after storing the first position, the image scrolling is temporarily stopped.
- the present invention is not limited to this configuration.
- the control unit 102 stores the position of the finger when the line of sight moves to the area B5 as the first position, and a predetermined speed in the direction of the area B5.
- the scrolling speed may be increased according to the distance from the first position to the finger position based on a predetermined speed. .
- the scrolling speed may be different for each application or for each content to be displayed. For example, even when the web page is displayed on the web browser and the document is displayed on the word processor application, the scroll speed in the web browser is the same even if the finger movement amount from the first position is the same. And the scrolling speed in the word processor may be different. In addition, when the character string page is displayed on the Web browser and when the map page is displayed on the Web browser, the scrolling speed when the character string is displayed and the map are displayed. The speed of scrolling may be different.
- the function of scrolling the image according to the position of the finger and the line of sight is realized by executing an operating system program.
- these functions are limited to the operating system program. It is not something.
- a function of scrolling an image between the position of the finger and the line of sight may be realized by executing an application program different from the operating system program.
- the imaging unit 106 is built in the information processing apparatus 1, but is not limited to this configuration.
- a camera including a lens and a fixed image sensor may be connected to the information processing apparatus 1 so that the user's face is captured by the camera.
- a camera including a lens and a fixed imaging element may be arranged in a frame of spectacles, and a user's face may be captured by a camera provided in the frame.
- the information processing apparatus 1 has a function of performing communication via a communication network, but is not limited to the one having this function.
- an electronic book reader or the like that does not have a function of performing communication via a communication network may be used.
- a program for realizing the functions of the above-described embodiments includes a magnetic recording medium (magnetic tape, magnetic disk (HDD (Hard Disk Drive), FD (Flexible Disk))), optical recording medium (optical disk, etc.), and magneto-optical recording medium.
- the program may be provided in a state stored in a computer-readable recording medium such as a semiconductor memory and installed in the information processing apparatus 1.
- the information processing apparatus 1 may be downloaded and installed via a communication line.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
情報処理装置1は、ユーザの視線を検出し、ユーザが見ている位置にカーソル10を表示する。カーソル10が画像の表示領域の端の近くに位置した状態でユーザが表示領域に指で触れると、指が触れた位置を記憶する。ユーザが指を移動させると、指の移動距離に応じて画像のスクロール速度を決定し、カーソルの方向へ画像をスクロールさせる。ユーザの見ている位置が変化してスクロール方向を変更する場合、変更後のスクロール方向が変更前のスクロール方向と交差する方向の場合には、スクロールの速度を維持したままスクロールの方向を変更する。
Description
本発明は、ユーザインターフェースに関する。
視線を用いて画面をスクロールさせる発明として、例えば特許文献1に開示されたシステムがある。このシステムは、カメラで得られた画像からユーザの視線方向を検出し、表示装置の画面上においてユーザが見ている位置を検出する。視線が画面の端にきた場合、画面の端にスクロール矢印を表示し、スクロール矢印が表示された後に視線が画面の外に移動した場合、画面をスクロールさせる。
特許文献1のシステムにおいては、視線が移動して見ている画面の端の位置が変化した場合、画像のスクロールが一旦停止する。例えば、地図などの大きな画像サイズのコンテンツを表示している場合、目的の位置が近づくと、上下方向から左右方向又は左右方向から上下方向へ細かく画像をスクロールさせることにより、目的の位置を表示させるが、特許文献1のシステムのように見ている方向が変化する度にスクロールが停止すると、目的の位置までスクロールするのに時間がかかることとなる。
本発明は、上述した背景の下になされたものであり、視線を動かして画像をスクロールさせる場合、目的の位置を表示するまでに掛かる時間を短くする技術を提供することを目的とする。
本発明は、一の態様において、画像を表示する表示面を有する表示手段と、ユーザの視線を検出する第1検出部と、前記表示面上において行われたユーザの操作を検出する第2検出部と、前記第2検出部で検出された視線に応じて前記画像のスクロール方向を決定する方向決定部と、前記第2検出部で検出された操作に応じて前記画像のスクロール速度を決定する速度決定部と、前記スクロール方向へ前記画像がスクロールされるように前記表示部を制御し、前記スクロール方向が変化して変化前のスクロール方向と変化後のスクロール方向とが交差する場合、スクロール方向が変化する前のスクロール速度で前記画像のスクロールを開始し、変化後のスクロール方向が変化前のスクロール方向と反対方向の場合、予め定められたスクロール速度で前記画像のスクロールを開始するか、又は前記画像のスクロールを停止させ、ユーザの操作により前記スクロール速度が変化した場合、変化後のスクロール速度で前記画像をスクロールさせる表示制御部とを備える表示装置を提供する。
本発明の好ましい態様においては、前記表示制御部は、前記表示面の予め定められた領域内に前記視線が移動した後、当該移動前の方向に前記視線が移動した場合、前記領域内に視線が移動する前のスクロール速度より速いスクロール速度で前記画像のスクロールを開始する。
また、本発明は、他の観点において、ユーザの視線を検出する視線検出ステップと、画像を表示する表示部の表示面上において行われたユーザの操作を検知するステップと、前記検出された視線に応じて前記画像のスクロール方向を決定るステップと、前記検出された操作に応じて前記画像のスクロール速度を決定するステップと、前記スクロール方向へ前記画像がスクロールされるように前記表示部を制御し、前記スクロール方向が変化して変化前のスクロール方向と変化後のスクロール方向とが交差する場合、スクロール方向が変化する前のスクロール速度で前記画像のスクロールを開始し、変化後のスクロール方向が変化前のスクロール方向と反対方向の場合、予め定められたスクロール速度で前記画像のスクロールを開始するか、又は前記画像のスクロールを停止させ、ユーザの操作により前記スクロール速度が変化した場合、変化後のスクロール速度で前記画像をスクロールさせるステップとを備える表示方法を提供する。
また、本発明は、さらに他の観点において、コンピュータに、ユーザの視線を検出するステップと、画像を表示する表示部の表示面上において行われたユーザの操作を検知するステップと、前記検出された視線に応じて前記画像のスクロール方向を決定するステップと、前記検出された操作に応じて前記画像のスクロール速度を決定するステップと、前記スクロール方向へ前記画像がスクロールされるように前記表示部を制御し、前記スクロール方向が変化して変化前のスクロール方向と変化後のスクロール方向とが交差する場合、スクロール方向が変化する前のスクロール速度で前記画像のスクロールを開始し、変化後のスクロール方向が変化前のスクロール方向と反対方向の場合、予め定められたスクロール速度で前記画像のスクロールを開始するか、又は前記画像のスクロールを停止させ、ユーザの操作により前記スクロール速度が変化した場合、変化後のスクロール速度で前記画像をスクロールさせるステップとを実行させるためのプログラムを提供する。
本発明によれば、視線を動かして画像をスクロールさせる場合、目的の位置を表示するまでに掛かる時間を短くすることができる。
1…情報処理装置、101…バス、102…制御部、102A…CPU、102B…ROM、102C…RAM、103…記憶部、104…操作部、104A…タッチスクリーン、1041…位置検出部、1042…表示部、105…通信部、106…撮像部、201…操作検出部、202…視線検出部、203…方向决定部、204…速度决定部、205…表示制御部
[実施形態]
(ハードウェアの構成)
図1は、本発明の一実施形態に係る情報処理装置1のハードウェア構成を示した図である。本実施形態の情報処理装置1は、板状の筐体にタッチスクリーンやハードウェアのボタンなどを備えた所謂タブレット端末と呼ばれるコンピュータ装置である。情報処理装置1は、タッチスクリーンで画像を表示する表示装置の一例である。図1に示したように、情報処理装置1の各部はバス101により接続されている。
(ハードウェアの構成)
図1は、本発明の一実施形態に係る情報処理装置1のハードウェア構成を示した図である。本実施形態の情報処理装置1は、板状の筐体にタッチスクリーンやハードウェアのボタンなどを備えた所謂タブレット端末と呼ばれるコンピュータ装置である。情報処理装置1は、タッチスクリーンで画像を表示する表示装置の一例である。図1に示したように、情報処理装置1の各部はバス101により接続されている。
通信部105は、無線通信を行う通信インターフェースの機能を備えている。情報処理装置1は、通信部105を制御して無線LAN(Local Area Network)や移動体通信網に接続し、データ通信や音声通信を行う。
操作部104は、情報処理装置1を操作するための複数のハードウェアのボタンを備えている。また、操作部104は、画像を表示する表示手段の一例である表示部1042と、表示部1042の表面に設けられ、表示部1042が表示した画像を透過し、指が触れた位置を検出する位置検出部1041とが一体化したタッチスクリーン104Aを備えている。なお、表示部1042としては、液晶ディスプレイ又は有機EL(Electro Luminescence)ディスプレイが用いられるが、これらに限定されるものではなく他のディスプレイであってもよい。また、位置検出部1041としては、触れている複数の指の位置を検出するもの(例えば静電容量方式のもの)が用いられる。ユーザの指がタッチスクリーン104Aに触れていると、位置検出部1041において指の触れた位置を表す位置データが生成され、生成された位置データが位置検出部1041から制御部102へ供給される。
撮像部106は、レンズや固体撮像素子を備えており、レンズによって固体撮像素子に結像した像を表す画像を生成する。
操作部104は、情報処理装置1を操作するための複数のハードウェアのボタンを備えている。また、操作部104は、画像を表示する表示手段の一例である表示部1042と、表示部1042の表面に設けられ、表示部1042が表示した画像を透過し、指が触れた位置を検出する位置検出部1041とが一体化したタッチスクリーン104Aを備えている。なお、表示部1042としては、液晶ディスプレイ又は有機EL(Electro Luminescence)ディスプレイが用いられるが、これらに限定されるものではなく他のディスプレイであってもよい。また、位置検出部1041としては、触れている複数の指の位置を検出するもの(例えば静電容量方式のもの)が用いられる。ユーザの指がタッチスクリーン104Aに触れていると、位置検出部1041において指の触れた位置を表す位置データが生成され、生成された位置データが位置検出部1041から制御部102へ供給される。
撮像部106は、レンズや固体撮像素子を備えており、レンズによって固体撮像素子に結像した像を表す画像を生成する。
記憶部103は、不揮発性メモリを備えている。記憶部103は、オペレーティングシステムを実現させるプログラムOSや、各種アプリケーションプログラムを記憶する。制御部102は、CPU(Central Processing Unit)102A、ROM(Read Only Memory)102BおよびRAM(Random Access Memory)102C等を備えている。CPU102Aが、ROM102Bに記憶されているIPL(Initial Program Loader)を実行すると、記憶部103に記憶されているプログラムOSが実行されてオペレーティングシステムが実現し、各種アプリケーションプログラムの実行が可能となる。本実施形態においては、オペレーティングシステムが実現すると、タッチスクリーン104Aと撮像部106を用いるユーザインターフェースが実現する。
(機能ブロックの説明)
図2は、制御部102において実現する機能のうち本発明に係る特徴的な機能に関係する機能ブロックを示した図である。本実施形態においては、上述したように、タッチスクリーン104Aと撮像部106を用いるユーザインターフェースが実現する。図2は、このユーザインターフェース機能に係る機能ブロック図である。
図2は、制御部102において実現する機能のうち本発明に係る特徴的な機能に関係する機能ブロックを示した図である。本実施形態においては、上述したように、タッチスクリーン104Aと撮像部106を用いるユーザインターフェースが実現する。図2は、このユーザインターフェース機能に係る機能ブロック図である。
操作検出部201は、位置検出部1041で生成される位置データを取得する。この位置データは、表示部1042の表示面上でユーザが指で触れた位置を表し、ユーザの指が移動した場合には位置データの内容が変化する。操作検出部201は、この位置データを基にしてユーザが指で行った操作を検出する。
視線検出部202は、ユーザの視線を検出するものである。視線検出部202は、ユーザの顔の画像を取得する。視線検出部202は、取得した顔の画像からユーザの視線を検出する。
視線検出部202は、ユーザの視線を検出するものである。視線検出部202は、ユーザの顔の画像を取得する。視線検出部202は、取得した顔の画像からユーザの視線を検出する。
方向决定部203は、視線検出部202で検出した視線を基にして画像をスクロールさせるときのスクロール方向を决定する。
速度决定部204は、操作検出部201で行われた操作に応じて画像をスクロールさせるときのスクロール速度を决定する。例えば、速度决定部204は、指をタッチスクリーン104上で移動させる操作が行われた場合、指が触れたときの位置から移動後の指の位置までの距離に応じてスクロール速度を决定する。
表示制御部205は、画像がスクロールするように表示部1042を制御するものである。表示制御部205は、方向决定部203で决定したスクロール方向と速度决定部204で决定したスクロール速度を用いて画像をスクロールさせる。
速度决定部204は、操作検出部201で行われた操作に応じて画像をスクロールさせるときのスクロール速度を决定する。例えば、速度决定部204は、指をタッチスクリーン104上で移動させる操作が行われた場合、指が触れたときの位置から移動後の指の位置までの距離に応じてスクロール速度を决定する。
表示制御部205は、画像がスクロールするように表示部1042を制御するものである。表示制御部205は、方向决定部203で决定したスクロール方向と速度决定部204で决定したスクロール速度を用いて画像をスクロールさせる。
(実施形態の動作例)
次に本実施形態の動作の一例について、図3~4のフローチャートと、図5~10に示した画面例を用いて説明する。図5は、情報処理装置1においてWebブラウザを実現するアプリケーションプログラムを実行したときに表示される画面の一例を示したものである。この画面においては、ユーザが選択したWebページが表示されている状態を示している。
次に本実施形態の動作の一例について、図3~4のフローチャートと、図5~10に示した画面例を用いて説明する。図5は、情報処理装置1においてWebブラウザを実現するアプリケーションプログラムを実行したときに表示される画面の一例を示したものである。この画面においては、ユーザが選択したWebページが表示されている状態を示している。
制御部102は、撮像部106を制御して撮像部106での撮像を行う。ユーザが表示画面に目を向けると、ユーザの顔が撮像部106で撮像される。撮像部106においては、ユーザの顔を含む画像(以下、顔画像と称する)が生成される。
制御部102は、顔画像が生成される毎に図3に示した処理を実行する。まず、制御部102は、この顔画像を取得する(ステップSA1)。制御部102は、顔画像を取得すると、例えば、特開平10-39995号公報に開示されている技術を用いてユーザの視線を検出し、表示画面においてユーザが見ている位置を特定する(ステップSA2)。なお、ユーザの視線を検知する技術は、上記の方法に限定されるものではなく、ユーザの頭部に取り付けられたカメラでユーザの眼球を撮像し、この撮像した画像から視線を検知する方法など、他の周知の方法を用いてもよい。
制御部102は、顔画像が生成される毎に図3に示した処理を実行する。まず、制御部102は、この顔画像を取得する(ステップSA1)。制御部102は、顔画像を取得すると、例えば、特開平10-39995号公報に開示されている技術を用いてユーザの視線を検出し、表示画面においてユーザが見ている位置を特定する(ステップSA2)。なお、ユーザの視線を検知する技術は、上記の方法に限定されるものではなく、ユーザの頭部に取り付けられたカメラでユーザの眼球を撮像し、この撮像した画像から視線を検知する方法など、他の周知の方法を用いてもよい。
制御部102は、ステップSA2でユーザが見ている位置を特定すると、特定した位置にカーソル10が表示されるように表示部1042を制御する(ステップSA3)。ステップSA3の処理が行われると、図5に示したように、ユーザが見ている位置にカーソル10が表示される。
ユーザは、表示されているWebページをスクロールさせる場合、表示部1042の矩形の表示領域の縁の方向へ視線を移動させる。制御部102は、撮像部106で得られる顔画像からユーザが見ている位置を特定し、特定した位置へカーソル10を移動させる。制御部102は、カーソル10を移動させると、ユーザが見ている位置が、図6に示した領域B1~B8のいずれかへ移動したか判断する。
制御部102は、ユーザが見ている位置が、図6に示した領域A内から領域B1~B8のいずれかへ移動した場合、ユーザの指がタッチスクリーン104Aに触れているか判断する。制御部102は、ユーザが見ている位置が領域Aから領域B1~B8のいずれかへ移動したときに位置データがタッチスクリーン104Aから供給されていない場合(ステップSB1でNO)、ユーザが見ている位置が領域B1~B8のいずれかの領域内であるか判断する。制御部102は、ユーザが見ている位置が領域A内または表示部1042の表示領域外など、領域B1~B8の領域外である場合(ステップSB2でNO)、図4に示した処理を終了する。
一方、制御部102は、ステップSB1でYESと判断した場合、表示画面上において指の触れている位置を、取得した位置データを用いて特定する(ステップSB3)。制御部102は、ステップSB3で特定した位置(以下、第1位置と称する)をRAM102Cに記憶させる(ステップSB4)。また、制御部102は、領域A内から領域B1~B8のいずれかへ移動したときの移動後の領域を記憶する(ステップSB5)。
次に制御部102は、ユーザが見ている位置が領域B1~B8のいずれかの領域内であるか判断する。制御部102は、ユーザが見ている位置が領域B1~B8の領域外である場合(ステップSB6でNO)、図4に示した処理を終了する。一方、制御部102は、ユーザの見ている位置が領域B1~B8のいずれかの領域内である場合(ステップSB6でYES)、この時点でユーザが見ている領域がステップSB5で記憶した領域と同じであるか判断する。制御部102は、この時点でユーザが見ている領域がステップSB5で記憶した領域と異なる場合(ステップSB7でNO)、処理の流れをステップSB1へ戻す。
一方、制御部102は、ステップSB7でYESと判断した場合、位置データが供給されているか判断する。制御部102は、位置データが供給されていない場合(ステップSB8でNO)、指がタッチスクリーンから離れたものと判断し、図4に示した処理を終了する。
一方、制御部102は、ステップSB7でYESと判断した場合、位置データが供給されているか判断する。制御部102は、位置データが供給されていない場合(ステップSB8でNO)、指がタッチスクリーンから離れたものと判断し、図4に示した処理を終了する。
制御部102は、ステップSB8でYESと判断した場合、位置データからユーザの指の位置を特定し(ステップSB97)、ユーザの指の位置が第1位置と同じであるか判断する。制御部102は、ステップSB9で特定した位置が第1位置と同じである場合(ステップSB10でYES)、処理の流れをステップSB6へ戻す。
また、制御部102は、ステップSB9で特定した位置が第1位置と異なる場合(ステップSB10でNO)、ユーザの指の位置が第1位置から変化したものと判断する。制御部102は、ユーザの指の位置が変化した場合、ステップSB9で特定した指の位置と第1位置との間の距離を算出する(ステップSB11)。
また、制御部102は、ステップSB9で特定した位置が第1位置と異なる場合(ステップSB10でNO)、ユーザの指の位置が第1位置から変化したものと判断する。制御部102は、ユーザの指の位置が変化した場合、ステップSB9で特定した指の位置と第1位置との間の距離を算出する(ステップSB11)。
制御部102は、ステップSB11で距離を算出すると、表示されている画像を、カーソル10がある位置と、算出した距離とに応じてスクロールさせる(ステップSB12)。具体的には、制御部102は、画像をスクロールさせる方向をカーソル10がある領域の方向とする。例えば、図5の状態から領域B1へカーソル10を移動させて画像をスクロールさせた場合、図7に示したように表示されている画像は領域B1の方向へスクロールされる。また、図5の状態から領域B5へカーソル10を移動させて画像をスクロールさせた場合、図8に示したように表示されている画像は領域B5の方向へスクロールされる。なお、図7、8においては、タッチスクリーン104Aに触れている指の図示を省略している。
また、制御部102は、画像をスクロールさせるスピード(単位時間(例えば1秒)あたりの画像の移動量)を、ステップSB11で算出した距離に応じて設定する。例えば、制御部102は、ステップSB11で算出した距離が長くなるにつれてスクロールのスピードを速くする。このため、指を第1位置から移動させた場合、図9に示したように移動後の指の位置が第1位置から近い場合にはスクロールのスピードが遅く、移動後の指の位置が第1位置から遠くなるに従って、スクロールのスピードが速くなる。このため、図10に示したように、移動後の位置が図9の位置より第1位置から遠い場合には、図9の場合より図10の場合の方がスクロールのスピードが速くなる。
制御部102は、ステップSB12の処理の後、処理の流れをステップSB6へ戻す。そして、ユーザが見ている領域が領域B1~B8の領域外となった場合、又はユーザの指がタッチスクリーン104Aから離れた場合、画像をスクロールさせる処理を終了する。
なお、画像をスクロールしているときにユーザが見ている領域が、ステップSB5で記憶した領域から変化した場合、制御部102は、ステップSB7でNOと判断する。
次に制御部102は、ユーザが見ている領域がステップSB5で記憶した領域と反対方向の領域であるか判断する。例えば、領域B1から領域B5へ視線を移動した場合、領域B5から領域B1へ視線を移動した場合、領域B3から領域B7へ視線を移動した場合、及び領域B7から領域B3へ視線を移動した場合、制御部102は、ユーザが見ている領域がステップSB5で記憶した領域と反対方向であると判断し(ステップSB13でYES)、処理の流れをステップSB1へ移す。
次に制御部102は、ユーザが見ている領域がステップSB5で記憶した領域と反対方向の領域であるか判断する。例えば、領域B1から領域B5へ視線を移動した場合、領域B5から領域B1へ視線を移動した場合、領域B3から領域B7へ視線を移動した場合、及び領域B7から領域B3へ視線を移動した場合、制御部102は、ユーザが見ている領域がステップSB5で記憶した領域と反対方向であると判断し(ステップSB13でYES)、処理の流れをステップSB1へ移す。
ステップSB13でYESと判断してステップSB1に戻った場合、この時点での指の位置が第1位置として新たに記憶される。そして、制御部102は、この第1位置から指が移動しない場合には画像をスクロールさせない。つまり、画像のスクロール中にユーザが見ている方向が反対方向へ変化した場合には、画像のスクロールが一旦停止することになる。そして、新たに記憶した第1位置から指が移動した場合には、視線を移動させたときに記憶した第1位置から移動後の指の位置までの距離に応じて、画像がスクロールされることとなる。
一方、制御部102は、ステップSB13でNOと判断した場合、処理の流れをステップSB8へ移す。この場合、第1位置からの指の位置までの距離に応じてスクロールのスピードが設定されるため、視線が移動する前と比較すると、スクロールのスピードは同じでスクロールの方向が変化することになる。例えば、領域B1から領域B7へ視線を移動した場合、領域B1に視線があったときのスクロールのスピードを維持したままでスクロールの方向が領域B7の方向となる。
このように本実施形態によれば、視線で画像のスクロールの方向を決定し、指による操作でスクロールのスピードを制御することができる。また、本実施形態によれば、画像をスクロールさせている途中で視線を反対方向へ動かすと、画像のスクロールが一旦停止することになる。このため、スクロールのスピードを維持したままでスクロールの方向を反対方向へ変更する場合と比較すると、ユーザが所望する位置を容易に表示させることが可能となる。
[変形例]
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。例えば、上述の実施形態を以下のように変形して本発明を実施してもよい。なお、上述した実施形態及び以下の変形例は、各々を組み合わせてもよい。
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。例えば、上述の実施形態を以下のように変形して本発明を実施してもよい。なお、上述した実施形態及び以下の変形例は、各々を組み合わせてもよい。
上述した実施形態においては、領域B1~領域B8のいずれかに視線があるときに画像をスクロールさせる構成となっているが、画像をスクロールさせるときの視線の位置は、これらの領域内に限定されるものではなく、表示部1042の表示領域の外側に視線が移動した場合にも画像をスクロールさせるようにしてもよい。
例えば、図11において実線で示したように画像の表示領域がある場合、領域B1~B8に替えて、この表示領域より外側の領域C1~C8に視線があるときに画像をスクロールさせるようにしてもよい。
また、図12に示したように、画像の表示領域が実線で示した領域である場合、領域B1~B8に替えて、図12に示した領域D1~D8に視線があるときに画像をスクロールさせるようにしてもよい。
例えば、図11において実線で示したように画像の表示領域がある場合、領域B1~B8に替えて、この表示領域より外側の領域C1~C8に視線があるときに画像をスクロールさせるようにしてもよい。
また、図12に示したように、画像の表示領域が実線で示した領域である場合、領域B1~B8に替えて、図12に示した領域D1~D8に視線があるときに画像をスクロールさせるようにしてもよい。
上述した実施形態においては、画像のスクロールのスピードを指の移動量に応じて決定しているが、スクロールのスピードを設定する方法は、上述した実施形態の方法に限定されるものではない。
例えば、タッチスクリーンにおいては、指によってタッチスクリーンに掛かる圧力を測定できるものがある。この場合、指によって掛かる圧力が大きくなるにつれて画像のスクロールのスピードを速くするようにしてもよい。
また、領域B1~B8のいずれかへ視線を移動させた後に指でタッチスクリーンに触り、指がタッチスクリーンに触れてから経過した時間が長くなるにつれて画像のスクロールのスピードを速くするようにしてもよい。
また、領域B1~B8のいずれかへ視線を移動させた後に指でタッチスクリーンを叩く操作を行い、叩いた回数が増えるにつれて画像のスクロールのスピードを速くするようにしてもよい。
例えば、タッチスクリーンにおいては、指によってタッチスクリーンに掛かる圧力を測定できるものがある。この場合、指によって掛かる圧力が大きくなるにつれて画像のスクロールのスピードを速くするようにしてもよい。
また、領域B1~B8のいずれかへ視線を移動させた後に指でタッチスクリーンに触り、指がタッチスクリーンに触れてから経過した時間が長くなるにつれて画像のスクロールのスピードを速くするようにしてもよい。
また、領域B1~B8のいずれかへ視線を移動させた後に指でタッチスクリーンを叩く操作を行い、叩いた回数が増えるにつれて画像のスクロールのスピードを速くするようにしてもよい。
上述した実施形態においては、ユーザが視線を移動させると画像のスクロールが一旦停止する。そして、画像を再びスクロールさせる場合、視線を移動させた後、指を移動させる必要がある。しかしながら、スクロールが停止する前に見ていた位置に視線を戻した場合には、以下のような動作となるようにしてもよい。
例えば、制御部102は、指がタッチスクリーン104Aに触れている状態でユーザが見ている位置が領域B1~B8のいずれかから領域A内へ移動した場合、領域A内へ移動する前にユーザが見ていた領域と、見ている位置が領域Aへ移動する前の状態におけるスクロールのスピードを記憶する。次にユーザが指をタッチスクリーン104Aから離さずに、ユーザの見ている位置が記憶した領域に戻った場合、制御部102は、記憶したスピードより速いスピードでユーザが見ている方向へ画像をスクロールさせる。なお、見ている位置が記憶した位置に戻らず、他の位置となった場合には、制御部102は、新たに第1位置を記憶し、指の位置が移動するまでスクロールが行われないようにする。
本変形例によれば、続けて画像を同じ方向へスクロールさせる場合、一旦スクロールが停止しないので、スクロールを一旦停止させる構成と比較すると、より速く画像をスクロールさせることができる。
例えば、制御部102は、指がタッチスクリーン104Aに触れている状態でユーザが見ている位置が領域B1~B8のいずれかから領域A内へ移動した場合、領域A内へ移動する前にユーザが見ていた領域と、見ている位置が領域Aへ移動する前の状態におけるスクロールのスピードを記憶する。次にユーザが指をタッチスクリーン104Aから離さずに、ユーザの見ている位置が記憶した領域に戻った場合、制御部102は、記憶したスピードより速いスピードでユーザが見ている方向へ画像をスクロールさせる。なお、見ている位置が記憶した位置に戻らず、他の位置となった場合には、制御部102は、新たに第1位置を記憶し、指の位置が移動するまでスクロールが行われないようにする。
本変形例によれば、続けて画像を同じ方向へスクロールさせる場合、一旦スクロールが停止しないので、スクロールを一旦停止させる構成と比較すると、より速く画像をスクロールさせることができる。
上述した実施形態においては、第1位置を記憶した後に視線がスクロールの方向と反対方向へ移動した場合、画像のスクロールが一旦停止するが、この構成に限定されるものではない。例えば、領域B1から領域B5へ視線を移動させた場合、制御部102は、視線が領域B5へ移動したときの指の位置を第1位置として記憶し、領域B5の方向へ予め定められたスピードで画像をスクロールさせ、さらに第1位置から指が移動した場合、予め定められたスピードを基準にし、第1位置から指の位置までの距離に応じてスクロールのスピードを速くするようにしてもよい。
上述した実施形態においては、アプリケーション毎、又は表示するコンテンツ毎にスクロールのスピードが異なるようにしてもよい。例えば、WebブラウザでWebページを表示している場合と、ワードプロセッサーのアプリケーションで文書を表示している場合とで、第1位置からの指の移動量が同じであってもWebブラウザにおけるスクロールのスピードと、ワードプロセッサーにおけるスクロールのスピードとが異なるようにしてもよい。また、Webブラウザで文字列のページを表示している場合と、Webブラウザで地図のページを表示している場合とで、文字列を表示している場合のスクロールのスピードと、地図を表示している場合のスクロールのスピードとが異なるようにしてもよい。
上述した実施形態においては、指の位置と視線とで画像をスクロールさせる機能がオペレーティングシステムのプログラムを実行することにより実現しているが、これら機能を実現するのは、オペレーティングシステムのプログラムに限定されるものではない。例えば、オペレーティングシステムのプログラムとは別のアプリケーションプログラムを実行することにより、指の位置と視線とで画像をスクロールさせる機能が実現するようにしてもよい。
上述した実施形態においては、撮像部106が情報処理装置1に内蔵されている構成となっているが、この構成に限定されるものではない。例えば、レンズと固定撮像素子とを備えるカメラを情報処理装置1に接続し、このカメラでユーザの顔を撮像するようにしてもよい。また、レンズと固定撮像素子とを備えるカメラを眼鏡のフレームに配置し、このフレームに設けられたカメラでユーザの顔を撮像するようにしてもよい。
上述した実施形態においては、情報処理装置1は、通信ネットワークを介した通信を行う機能を備えているが、この機能を備えたものに限定されるものではない。例えば、電子ブックリーダなど、通信ネットワークを介した通信を行う機能を備えていないものであってもよい。
上述した実施形態の機能を実現するプログラムは、磁気記録媒体(磁気テープ、磁気ディスク(HDD(Hard Disk Drive)、FD(Flexible Disk)))など、光記録媒体(光ディスクなど)、光磁気記録媒体、半導体メモリなどのコンピュータ読取り可能な記録媒体に記憶した状態で提供し、情報処理装置1にインストールしてもよい。また、通信回線を介して情報処理装置1にダウンロードしてインストールしてもよい。
Claims (4)
- 画像を表示する表示面を有する表示部と、
ユーザの視線を検出する第1検出部と、
前記表示面上において行われたユーザの操作を検出する第2検出部と、
前記第1検出部で検出された視線に応じて前記画像のスクロール方向を決定する方向決定部と、
前記第2検出部で検出された操作に応じて前記画像のスクロール速度を決定する速度決定部と、
前記スクロール方向へ前記画像がスクロールされるように前記表示部を制御し、前記スクロール方向が変化して変化前のスクロール方向と変化後のスクロール方向とが交差する場合、スクロール方向が変化する前のスクロール速度で前記画像のスクロールを開始し、変化後のスクロール方向が変化前のスクロール方向と反対方向の場合、予め定められたスクロール速度で前記画像のスクロールを開始するか、又は前記画像のスクロールを停止させ、ユーザの操作により前記スクロール速度が変化した場合、変化後のスクロール速度で前記画像をスクロールさせる表示制御部と
を備える表示装置。 - 前記表示制御部は、前記表示面の予め定められた領域内に前記視線が移動した後、当該移動前の方向に前記視線が移動した場合、前記領域内に視線が移動する前のスクロール速度より速いスクロール速度で前記画像のスクロールを開始すること
を特徴とする請求項1に記載の表示装置。 - ユーザの視線を検出するステップと、
画像を表示する表示部の表示面上において行われたユーザの操作を検知する検知ステップと、
前記検出された視線に応じて前記画像のスクロール方向を決定する方向決定ステップと、
前記検出された操作に応じて前記画像のスクロール速度を決定する速度決定ステップと、
前記スクロール方向へ前記画像がスクロールされるように前記表示部を制御し、前記スクロール方向が変化して変化前のスクロール方向と変化後のスクロール方向とが交差する場合、スクロール方向が変化する前のスクロール速度で前記画像のスクロールを開始し、変化後のスクロール方向が変化前のスクロール方向と反対方向の場合、予め定められたスクロール速度で前記画像のスクロールを開始するか、又は前記画像のスクロールを停止させ、ユーザの操作により前記スクロール速度が変化した場合、変化後のスクロール速度で前記画像をスクロールさせるステップと
を備える表示方法。 - コンピュータに、
ユーザの視線を検出するステップと、
画像を表示する表示部の表示面上において行われたユーザの操作を検知するステップと、
前記検出された視線に応じて前記画像のスクロール方向を決定するステップと、
前記検出された操作に応じて前記画像のスクロール速度を決定するステップと、
前記スクロール方向へ前記画像がスクロールされるように前記表示部を制御し、前記スクロール方向が変化して変化前のスクロール方向と変化後のスクロール方向とが交差する場合、スクロール方向が変化する前のスクロール速度で前記画像のスクロールを開始し、変化後のスクロール方向が変化前のスクロール方向と反対方向の場合、予め定められたスクロール速度で前記画像のスクロールを開始するか、又は前記画像のスクロールを停止させ、ユーザの操作により前記スクロール速度が変化した場合、変化後のスクロール速度で前記画像をスクロールさせるステップと
を実行させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/405,883 US9411418B2 (en) | 2012-06-22 | 2013-06-03 | Display device, display method, and program |
EP13807807.6A EP2866132B1 (en) | 2012-06-22 | 2013-06-03 | Display device, display method and program |
CN201380003174.7A CN103827800B (zh) | 2012-06-22 | 2013-06-03 | 显示装置和显示方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012140818A JP5783957B2 (ja) | 2012-06-22 | 2012-06-22 | 表示装置、表示方法及びプログラム |
JP2012-140818 | 2012-06-22 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2013190989A1 true WO2013190989A1 (ja) | 2013-12-27 |
Family
ID=49768591
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2013/065411 WO2013190989A1 (ja) | 2012-06-22 | 2013-06-03 | 表示装置、表示方法及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US9411418B2 (ja) |
EP (1) | EP2866132B1 (ja) |
JP (1) | JP5783957B2 (ja) |
CN (1) | CN103827800B (ja) |
WO (1) | WO2013190989A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103793173A (zh) * | 2014-01-29 | 2014-05-14 | 宇龙计算机通信科技(深圳)有限公司 | 显示方法及装置 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6153487B2 (ja) * | 2014-03-14 | 2017-06-28 | 株式会社Nttドコモ | 端末及び制御方法 |
CN104360787A (zh) * | 2014-10-17 | 2015-02-18 | 联想(北京)有限公司 | 一种显示方法及电子设备 |
US9501853B2 (en) * | 2015-01-09 | 2016-11-22 | Adobe Systems Incorporated | Providing in-line previews of a source image for aid in correcting OCR errors |
JP2016136351A (ja) * | 2015-01-23 | 2016-07-28 | 京セラ株式会社 | 電子機器及び制御方法 |
US10222966B2 (en) * | 2015-02-09 | 2019-03-05 | Flipboard, Inc. | Parallax discrete page scrolling |
CN104899306B (zh) * | 2015-06-12 | 2019-06-28 | 百度在线网络技术(北京)有限公司 | 信息处理方法、信息显示方法及装置 |
JP6588834B2 (ja) * | 2016-01-18 | 2019-10-09 | 株式会社東海理化電機製作所 | 操作装置 |
JP6565791B2 (ja) * | 2016-05-26 | 2019-08-28 | 京セラドキュメントソリューションズ株式会社 | 表示装置及び表示制御プログラム |
JP6729069B2 (ja) * | 2016-06-28 | 2020-07-22 | 富士ゼロックス株式会社 | 情報処理装置 |
JP6809022B2 (ja) * | 2016-07-29 | 2021-01-06 | 富士ゼロックス株式会社 | 画像表示装置、画像形成装置、および、プログラム |
JP7022899B2 (ja) * | 2016-12-27 | 2022-02-21 | パナソニックIpマネジメント株式会社 | 電子機器、入力制御方法、及びプログラム |
JP7116295B2 (ja) * | 2018-04-03 | 2022-08-10 | 株式会社ミクシィ | 情報処理装置、コンテンツ表示方法及びコンテンツ表示プログラム |
CN110543274B (zh) * | 2019-07-29 | 2024-02-20 | 惠州Tcl移动通信有限公司 | 一种图像显示方法、移动终端以及具有存储功能的装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1039995A (ja) | 1996-07-19 | 1998-02-13 | Nec Corp | 視線・音声入力装置 |
JPH10124035A (ja) * | 1996-06-26 | 1998-05-15 | Sun Microsyst Inc | アイトラッカ駆動のスクロール操作 |
JPH1185452A (ja) * | 1997-09-02 | 1999-03-30 | Sanyo Electric Co Ltd | スクロール制御装置 |
JP2000020212A (ja) * | 1998-07-07 | 2000-01-21 | Osk:Kk | 表データ表示装置および方法ならびに表データ表示のためのプログラムを格納した記憶媒体 |
JP2002099386A (ja) | 2000-09-25 | 2002-04-05 | Sanyo Electric Co Ltd | 画面表示制御システム |
JP2005308411A (ja) * | 2004-04-16 | 2005-11-04 | Xanavi Informatics Corp | 車載情報端末、道路地図表示方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0981309A (ja) * | 1995-09-13 | 1997-03-28 | Toshiba Corp | 入力装置 |
US6603491B2 (en) * | 2000-05-26 | 2003-08-05 | Jerome H. Lemelson | System and methods for controlling automatic scrolling of information on a display or screen |
US7719520B2 (en) * | 2005-08-18 | 2010-05-18 | Scenera Technologies, Llc | Systems and methods for processing data entered using an eye-tracking system |
US8793620B2 (en) * | 2011-04-21 | 2014-07-29 | Sony Computer Entertainment Inc. | Gaze-assisted computer interface |
US8723811B2 (en) * | 2008-03-21 | 2014-05-13 | Lg Electronics Inc. | Mobile terminal and screen displaying method thereof |
KR101446521B1 (ko) * | 2008-08-12 | 2014-11-03 | 삼성전자주식회사 | 터치 스크린의 정보 스크롤 제어 방법 및 장치 |
US20100283722A1 (en) * | 2009-05-08 | 2010-11-11 | Sony Ericsson Mobile Communications Ab | Electronic apparatus including a coordinate input surface and method for controlling such an electronic apparatus |
WO2012044363A1 (en) * | 2010-09-30 | 2012-04-05 | Georgia Tech Research Corporation | Systems and methods to facilitate active reading |
JP5535585B2 (ja) * | 2009-11-10 | 2014-07-02 | 株式会社ソニー・コンピュータエンタテインメント | プログラム、情報記憶媒体、情報入力装置、及びその制御方法 |
CN102073435A (zh) * | 2009-11-23 | 2011-05-25 | 英业达股份有限公司 | 画面操作方法及应用该方法的电子装置 |
US9507418B2 (en) * | 2010-01-21 | 2016-11-29 | Tobii Ab | Eye tracker based contextual action |
US8643680B2 (en) * | 2011-04-08 | 2014-02-04 | Amazon Technologies, Inc. | Gaze-based content display |
US8589977B1 (en) * | 2011-12-30 | 2013-11-19 | Time Warner Cable Enterprises Llc | Methods and apparatus for improving scrolling through program channel listings |
-
2012
- 2012-06-22 JP JP2012140818A patent/JP5783957B2/ja active Active
-
2013
- 2013-06-03 EP EP13807807.6A patent/EP2866132B1/en active Active
- 2013-06-03 WO PCT/JP2013/065411 patent/WO2013190989A1/ja active Application Filing
- 2013-06-03 US US14/405,883 patent/US9411418B2/en active Active
- 2013-06-03 CN CN201380003174.7A patent/CN103827800B/zh not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10124035A (ja) * | 1996-06-26 | 1998-05-15 | Sun Microsyst Inc | アイトラッカ駆動のスクロール操作 |
JPH1039995A (ja) | 1996-07-19 | 1998-02-13 | Nec Corp | 視線・音声入力装置 |
JPH1185452A (ja) * | 1997-09-02 | 1999-03-30 | Sanyo Electric Co Ltd | スクロール制御装置 |
JP2000020212A (ja) * | 1998-07-07 | 2000-01-21 | Osk:Kk | 表データ表示装置および方法ならびに表データ表示のためのプログラムを格納した記憶媒体 |
JP2002099386A (ja) | 2000-09-25 | 2002-04-05 | Sanyo Electric Co Ltd | 画面表示制御システム |
JP2005308411A (ja) * | 2004-04-16 | 2005-11-04 | Xanavi Informatics Corp | 車載情報端末、道路地図表示方法 |
Non-Patent Citations (1)
Title |
---|
MASATAKE YAMATO: "Scrolling the Text Windows by Looking", TRANSACTIONS OF INFORMATION PROCESSING SOCIETY OF JAPAN, vol. 40, no. 2, 15 February 1999 (1999-02-15), pages 613 - 622, XP055152925 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103793173A (zh) * | 2014-01-29 | 2014-05-14 | 宇龙计算机通信科技(深圳)有限公司 | 显示方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
EP2866132B1 (en) | 2018-10-24 |
JP2014006640A (ja) | 2014-01-16 |
JP5783957B2 (ja) | 2015-09-24 |
US9411418B2 (en) | 2016-08-09 |
EP2866132A1 (en) | 2015-04-29 |
EP2866132A4 (en) | 2015-12-02 |
US20150185833A1 (en) | 2015-07-02 |
CN103827800B (zh) | 2017-07-14 |
CN103827800A (zh) | 2014-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5783957B2 (ja) | 表示装置、表示方法及びプログラム | |
CN109155821B (zh) | 相机的可移动用户界面快门按钮 | |
JP5970086B2 (ja) | タッチスクリーンホバリング入力処理 | |
KR101669079B1 (ko) | 표시제어장치 및 그 제어 방법 | |
JP5701569B2 (ja) | 画像表示装置、画像表示制御方法及びプログラム | |
JP2009140368A (ja) | 入力装置、表示装置、入力方法、表示方法及びプログラム | |
CN108733302B (zh) | 手势触发方法 | |
EP3109749B1 (en) | Crop frame adjusting method, image processing device, and non-transitory computer readable storage medium | |
US10296130B2 (en) | Display control apparatus, display control method, and storage medium storing related program | |
JP2015138360A (ja) | オブジェクト操作システム及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法 | |
JP6758922B2 (ja) | 電子機器及びその制御方法 | |
WO2013183533A1 (ja) | 表示装置、表示方法及びプログラム | |
JP2017004377A (ja) | 情報処理プログラム、表示制御装置、表示制御システム及び表示方法 | |
JP6197559B2 (ja) | オブジェクト操作システム及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法 | |
JP6907368B2 (ja) | 電子機器及びその制御方法 | |
JP2019053196A (ja) | 情報処理装置、画面制御方法 | |
KR20090017828A (ko) | 인터페이스 제어 방법 및 인터페이스 제어 장치 | |
JP6374155B2 (ja) | 表示装置、スクロール表示方法、および、スクロール表示プログラム | |
JP6282876B2 (ja) | 情報処理装置 | |
JP6940172B2 (ja) | 情報端末、表示制御方法、及びプログラム | |
CN112534389B (zh) | 显示装置以及显示控制程序 | |
KR101165388B1 (ko) | 이종의 입력 장치를 이용하여 화면을 제어하는 방법 및 그 단말장치 | |
CN109078325B (zh) | 用户接口处理方法及记录介质 | |
JP2014174926A (ja) | 情報処理装置および制御方法 | |
JP5516794B2 (ja) | 携帯情報端末、表示制御方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13807807 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 14405883 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |