WO2023140340A1 - 指識別に基づくユーザー・インターフェースを実現するためのシステム、方法及びそのためのプログラム - Google Patents
指識別に基づくユーザー・インターフェースを実現するためのシステム、方法及びそのためのプログラム Download PDFInfo
- Publication number
- WO2023140340A1 WO2023140340A1 PCT/JP2023/001599 JP2023001599W WO2023140340A1 WO 2023140340 A1 WO2023140340 A1 WO 2023140340A1 JP 2023001599 W JP2023001599 W JP 2023001599W WO 2023140340 A1 WO2023140340 A1 WO 2023140340A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- finger
- function
- fingers
- user
- touch operation
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
Definitions
- the present invention relates to a system, method, and program for realizing a user interface based on finger identification.
- a basic example of such technology is to assign different functions to each finger, but if fixed assignment is made, only 10 functions for 10 fingers can be assigned. Since 10 functions is not enough for many applications, the set of functions assigned needs to be switched appropriately. In order to smoothly use the assigned functions, it is important to make it easy to understand the correspondence between the functions and the fingers.
- Patent Document 1 describes a technique of associating a finger with a TV function and, in a state in which the finger is in contact with the touch screen 2, associating a canceling function or a setting function of the TV function with another finger (Fig. 21, etc.).
- the present invention has been made in view of these points, and its task is to provide a system, method, or program for providing a user interface to a user, and to realize a more intuitive and efficient user interface based on identification of each finger of the user.
- a first aspect of the present invention is a method for providing a user interface to a user, comprising: identifying a plurality of fingers of the user; assigning a mode switching function to a first finger among the identified plurality of fingers; finger different.
- a second aspect of the present invention is the method of the first aspect, wherein the touch operation is a touch operation on an object.
- a third aspect of the present invention is the method of the second aspect, wherein the another function is one of a mode switching function, a parameter control function, and a target selection function for the object.
- a fourth aspect of the present invention is the method of the second aspect, wherein the function assigned to the second finger after switching is a parameter control function, and the function assigned to the third finger after switching is a changing function of the parameter control function.
- a fifth aspect of the present invention is the method of the second aspect, wherein the function assigned to the second finger after switching is a parameter control function, further comprising assigning a parameter control function change function to a finger other than the second finger among the plurality of fingers in response to a touch operation by the second finger.
- a sixth aspect of the present invention is the method of the second aspect, wherein the function assigned to the second finger after switching is a command processing function.
- a seventh aspect of the present invention is the method of the sixth aspect, wherein the command processing function is any one of an editing function, a conversion function, a search function, a save function, a copy function, an arithmetic function, a transmission function, and any combination thereof.
- an eighth aspect of the present invention is the method according to any one of the first to fourth aspects, wherein the second finger is the same finger as the first finger.
- a ninth aspect of the present invention is the method according to any one of the first to ninth aspects, further comprising the step of returning the function of the second finger or the third finger to the function before switching when the touch operation of the first finger is released.
- a tenth aspect of the present invention is the method according to any one of the first to eighth aspects, further comprising the step of returning the function of the second finger or the third finger to the function before switching when the touch operation of the first finger is canceled within a predetermined time.
- an eleventh aspect of the present invention is the method according to any one of the second to eighth aspects, wherein the selected state of the object is maintained even after the touch operation is released.
- a twelfth aspect of the present invention is the method of the eleventh aspect, further comprising switching the functions assigned to the second finger and the third finger to functions different from those before and during the touch operation, respectively, in response to the release of the touch operation.
- a thirteenth aspect of the present invention is the method according to the eleventh or twelfth aspect, further comprising: terminating the selected state in response to a touch operation with any one of the plurality of fingers; and switching the functions assigned to the second and third fingers to the functions before switching in response to the termination of the selected state.
- a fourteenth aspect of the present invention is the method according to any one of the first to thirteenth aspects, further comprising the step of displaying, on a display used by the user, an icon or label representing a function assigned to each finger together with the virtual hand representing the identified plurality of fingers.
- a fifteenth aspect of the present invention is the method of the fourteenth aspect, wherein the label is displayed only when the finger associated with the label is positioned above a predetermined height above the desk used by the user.
- a sixteenth aspect of the present invention is the method according to the fourteenth aspect, wherein when the user's finger is outside the screen area of the display, the icon or label is clipped to the edge of the screen.
- a seventeenth aspect of the present invention is the method of any one of the first to sixteenth aspects, wherein the plurality of fingers of the user includes any finger of the user's right hand and any finger of the user's left hand.
- An eighteenth aspect of the present invention is the method according to any one of the first to seventeenth aspects, wherein at least one of the first finger, the second finger and the third finger is a set of fingers including a plurality of fingers.
- a nineteenth aspect of the present invention is a program for causing a computer to execute a method for providing a user interface to a user, the method comprising the steps of: identifying a plurality of fingers of the user; assigning a mode switching function to a first finger out of the identified plurality of fingers; , at least one of the second finger and the third finger is different from the first finger.
- a twentieth aspect of the present invention is a device for providing a user with a user interface with an application, wherein a plurality of fingers of the user are identified, a mode switching function is assigned to a first finger among the identified plurality of fingers, the functions assigned to a second finger and a third finger among the plurality of fingers are switched to different functions in response to a touch operation performed by the first finger, and at least one of the second finger and the third finger: Different from the first finger.
- FIG. 1 is an overall configuration of a system that realizes finger identification multi-touch interaction according to an embodiment of the present invention
- 1 is an example of a computer program for implementing finger identification multi-touch interaction according to an embodiment of the present invention
- FIG. 4 is a diagram showing correspondence between fingers and functions in the slide creation application according to one embodiment of the present invention
- FIG. 10 is a diagram showing correspondence between fingers and functions before object addition according to an embodiment of the present invention
- FIG. 10 is a diagram showing the correspondence between fingers and functions when adding an object according to an embodiment of the present invention
- FIG. 10 is a diagram showing the correspondence between fingers and functions when editing an object according to one embodiment of the present invention
- FIG. 10 is a diagram showing the correspondence between fingers and functions before performing graphic selection according to one embodiment of the present invention
- FIG. 10 is a diagram showing the correspondence between fingers and functions when selecting a figure according to one embodiment of the present invention
- FIG. 10 is a diagram for explaining the color change of graphics by parameter control according to one embodiment of the present invention
- FIG. 4 is a diagram for explaining figure rotation by parameter control according to an embodiment of the present invention
- FIG. 5 is a diagram for explaining alignment of graphics by parameter control according to one embodiment of the present invention
- Fig. 1 shows the overall configuration of a system for realizing finger identification multi-touch interaction according to one embodiment of the present invention.
- An image of one or both hands of the user (101) is captured by a camera (102) installed overhead, and a control program (described later) running on the computer (103) recognizes the position of each finger, thereby realizing a user interface for the application. It is desirable to recognize the finger position not only in the horizontal direction but also in the vertical direction. In order for the user (101) to easily recognize the position of the finger in the vertical direction (especially the tapping operation described later), it is desirable to operate the finger on a horizontal surface such as a desk.
- a user interface with an application will be described as a main example, but the present invention can also be applied to a user interface with an OS or middleware.
- the "screen” referred to below is not limited to a screen displayed by an application, and may be a screen displayed by an OS or middleware.
- the user's hand (hereinafter also referred to as "virtual hand") is displayed graphically on the display (104). It is desirable that the display (104) displays the virtual hand and the application screen superimposed so that the user can directly perform operations such as graphic editing on the application screen.
- a single color sheet may be placed under both hands of the user (101). The color is preferably black.
- a haptic feedback (haptics) device (not shown) may be placed on the desk to provide feedback to user's operations such as touch operations. Means may be provided for feedback of user input by sound, light or other means.
- a structure in which the display (104) and the operation surface are integrated may be used.
- the camera (102) is desirably a camera with a depth sensor in order to improve the accuracy of finger position recognition.
- the input by the user (101) can be performed with both hands instead of only with one hand.
- Recognition of the finger operation of the user (101) may be realized by any recognition method, such as a conventional touch screen, touch pad, smart glove with built-in sensor, or a combination thereof, instead of photographing by the camera (102).
- the functions of the computer (103) may be realized by an external server such as cloud.
- the computer (103) may have other auxiliary input devices (such as a mouse and keyboard), which are not shown.
- FIG. 2 shows an example of a control program for realizing finger identification multi-touch interaction according to one embodiment of the present invention.
- the finger recognition unit (201) recognizes the position of each finger of the user's (101) hand by performing contour extraction processing on the image captured by the camera (102) and converts it into coordinate data.
- the position preferably recognizes the vertical position as well as the horizontal position. By recognizing the vertical position, a tap operation or hover operation determination process, which will be described later, may be performed.
- the virtual hand display (202) is responsible for displaying a virtual hand representing the state of each finger of the user's (101) hand and associated icons or labels on the display (104).
- the finger function assigning unit (203) assigns functions such as appropriate command processing, temporary mode switching, object selection, parameter control, etc., to each finger of the user (101) according to the situation at the time, and also plays a role of changing the assignment of functions to fingers during specific operations.
- a finger function processing unit (204) plays a role of executing a function assigned to a finger when a user performs a touch operation.
- a command sending unit (205) plays a role of sending a command for processing a function assigned to the finger that performed the touch operation to the application.
- command processing means processing specified by a command, and different commands are executed according to the type of processing.
- the "touch operation” is typically an operation in which a raised finger is put down on the surface of a desk, but it may be touched on an object other than the desk, such as a touch screen, a touch pad, or another part of the body such as the thigh or the other hand, and may be realized by any method (these operations are also called “touch operation”).
- a plurality of fingers may be used as a set of fingers to simultaneously perform touch operations.
- each part of the control program (200) does not need to correspond to one program module.
- some or all of the functions may be realized by cooperation between the control program (200) and applications or other programs. Examples of such programs include web browsers, JavaScript (registered trademark) that can operate on web browsers, and native programs that can work with JavaScript.
- some or all of the functions may be executed on a peripheral device such as a camera or an external computer such as a cloud. Also, it can be recorded in a computer-readable storage medium to be a non-transitory program product.
- a finger identification multi-touch interaction may display an icon or label representing a function assigned to a finger on a fingertip of a virtual hand representing a finger identified by a camera or the like.
- FIG. 3 shows an example of the correspondence between each finger on the virtual hand and the function in the slide creation application according to one embodiment of the present invention.
- the function of "add object” is assigned to the thumb of the right hand, and the function of "selection” is assigned to the index finger of the right hand.
- Functions may include command processing, temporary mode switching, operation target selection, and parameter control.
- the right index finger and left index finger are assigned the function of "selection of operation target", and the right thumb and left thumb are assigned the function of "temporary mode switching".
- the right thumb is assigned the function of "add object”
- the mode is temporarily switched, and different sets of functions are assigned to each finger.
- Function allocation to each finger may be performed by the finger function allocation section (203) of the control program (200).
- the finger function processing section (204) when the user (101) performs a touch operation with a certain finger, the function associated with the corresponding finger on the virtual hand at that time is processed by the finger function processing section (204). If the function is command processing in an application, the information of the command is sent to the application via the command sending section (205) of the control program (200), and the prescribed processing is performed.
- the icon is pinned and displayed at the edge of the screen so that the user can visually recognize and perform touch operation. It is desirable to move the ordinate position at the left and right screen edges and the abscissa position at the upper and lower screen edges in conjunction with the corresponding fingertips. As a result, when the finger goes out of the screen or enters the screen, the icon is presented seamlessly, and the edge of the screen is prevented from being fixedly hidden by the icon.
- the fingertip is in the fingertip position recognition means such as the camera (102)
- it is desirable to indicate to the user that the finger is out of the recognition range by hiding the icon or label or changing the color or transparency.
- Visual search may be facilitated by enlarging the icon displayed with the virtual hand.
- a user interface such as a conventional toolbar
- the icon if the icon is large, it will occupy the screen space fixedly, but in the finger identification multi-touch interaction according to this embodiment, even if the icon is displayed relatively large, the icon can be moved just by moving the hand, so the screen is not fixedly occupied. It is desirable to be able to set such that icons are displayed larger for users with poor eyesight or for beginners, and icons are displayed smaller for experienced users.
- cursors on one or more fingertips to indicate that selection of objects is possible, or to indicate hotspots or areas of selection. This is because there are fingers for command processing or mode switching in addition to fingers for object selection, so it is necessary to clarify which fingers can be used for object selection. If the finger is not the target selection finger, it is desirable to display a specific cursor indicating that fact, or display only an icon.
- FIG. 4A and 4B show an example of object addition in a graphics editing application according to one embodiment of the present invention.
- a new function group can be assigned to multiple fingers (corresponding to "second finger” and "third finger”).
- a new function may be assigned to the specific finger that performed the touch operation.
- the specific finger may be one finger such as the index finger of the right hand, or may be a specific set of multiple fingers.
- the mode is switched only while the touch operation with the specific finger is continued, and the mode can be restored when the touch operation is released.
- FIG. 4A shows a state in which a touch operation is not performed with the right thumb
- FIG. 4A shows a state in which a touch operation is not performed with the right thumb
- FIG. 4B shows a state in which a touch operation is performed with the right thumb.
- the function group assigned to the other fingers is switched, making it possible to determine the object to be added. For example, if a touch operation is performed with the left index finger while the touch operation is maintained with the right thumb, a command processing function of adding a character (Text) is executed. When the touch operation of the right thumb is released, the mode returns to the upper state of FIG. 4A.
- an object addition operation control may be performed to add an object to the position of the index finger of the dominant hand.
- the index finger of the dominant hand is often assigned a command processing function for manipulating objects such as movement, which is intuitive for the user. Since the movement after adding the object is a pattern that is frequently performed, the efficiency of the operation can be improved.
- FIG. 5 shows the correspondence between fingers and functions during object editing according to one embodiment of the present invention.
- the touch operation is performed with the left thumb to which the function of switching to the Direct Edit Mode is assigned, and while the touch operation continues, the other fingers are assigned command processing for image editing.
- the image can be touched with the middle finger of the right hand, which is assigned the Exposure Contrast command action, to edit the exposure and contrast.
- This operation is advantageous in that the function of selecting an image to be edited and the execution of the command processing function can be performed in one operation.
- the mode may return to the original state, and control may be performed to return the assignment of the function group to the finger to the state shown in FIG. 4A before switching.
- FIG. 6A and 6B show an example of graphic editing according to one embodiment of the present invention.
- the set of functions assigned to the finger is switched using selection of an object to be operated as a trigger.
- the mode may be temporarily switched only while the touch operation is continued and returned to the original state when the touch operation is released, or may be controlled to return the mode only under a predetermined condition.
- FIG. 6A shows a state in which no touch operation is performed on an object
- FIG. 6B shows a state in which a touch operation is performed on an object with the index finger of the right hand and the object is selected. Only while the touch operation is maintained, the assignment of the function to each finger is switched so that the operation on the figure can be performed.
- the selected state of the object to be operated may be continued.
- control may be performed so as not to return the mode.
- the selected state of an object can be ended when a touch operation is performed on the object again or when the touch operation is released, and any other operation may be an operation to end the selected state. Then, the mode may be restored in response to termination of the selection state.
- control may be performed to allocate a different function group to the finger than before the object is selected. The fact that an object is being selected means that there is a high possibility that the object will be operated continuously.
- control may be performed to assign a different function group to the finger before and during the touch operation of the object.
- a plurality of objects may be selectable, and the function group assigned to each finger may be switched according to the types of the selected plurality of objects.
- the function group can be switched, for example, when a plurality of objects are selected, when an additional object is selected when a plurality of objects are selected, when the selection state of any object is terminated when a plurality of objects are selected, when a touch operation is performed on any object when a plurality of objects are selected, or the like.
- touch operation on another object with the finger assigned the selection function may be controlled to make an additional selection.
- another object may be additionally selected by performing a drag operation with the finger used to select the object to an area where another object exists while continuing the touch operation with a specific finger as necessary.
- a multiple selection function may be assigned to a finger, and a plurality of objects existing within a rectangular, polygonal, circular, or elliptical area connecting points of the touch operations may be selected by performing multiple touch operations with the finger.
- a multiple selection function may be assigned to a finger, and a plurality of objects existing within an area surrounded by the trajectory may be selected by performing a drag operation with the finger. By continuing the touch operation with a specific finger, the function of the finger assigned the selection function may be switched to the multiple selection function.
- a hover operation may be used instead of a touch operation as a trigger for target selection. That is, in the example of FIG. 6B, the mode can be temporarily switched by simply hovering the coordinate of the right index finger on the object to be operated. Thereafter, when a touch operation is performed with a finger other than the right index finger, the function assigned to that finger may be executed. In determining whether or not a hover operation has been performed, it may be determined that a hover operation is being performed when a predetermined finger reaches a predetermined height or less. Typically, this is the case when the distance between the desk surface and the finger becomes equal to or less than a predetermined value.
- a hover operation may be determined based on the difference in height from the other fingers, and a hover operation may be determined when the position is lower than the other fingers by a predetermined distance or more.
- the height of the other fingers the height of the lowest finger other than the finger performing the hover operation, the average value of the heights of a plurality of fingers other than the finger performing the hover layer, the height of the finger adjacent to the finger performing the hover operation, etc. may be used.
- FIG. 7 shows the flow of color change by parameter control according to one embodiment of the present invention.
- the illustrated example is monochrome, the circles arranged in an annular shape are actually displayed in different colors.
- FIG. 7 shows a flow 700 of controlling parameters by sliding a finger while maintaining a touch operation state. First, a touch operation is performed on the figure with the middle finger of the right hand to which the color change function is assigned. Then, a color change menu with a plurality of color options arranged in a circle is displayed. By selecting one of the color options while maintaining the touch operation with the middle finger of the right hand, the color of the figure can be changed. When the touch operation of the middle finger of the right hand is released, the function assignment to the finger may be restored.
- parameters may be controllable with more than one finger. In theory, it is possible to control a total of 20 degrees of freedom with 10 fingers on each hand. Selection of options from the displayed menu may be possible with a finger different from the finger that touched the figure.
- the parameter control shown in FIG. 7 can also be applied to brushes, fonts, and the like, enabling efficient selection of one item from a large number of options.
- FIG. 8 shows a diagram for explaining figure rotation with parameter control according to one embodiment of the present invention.
- the example in FIG. 8 is an example in which the parameter of the rotation angle is restricted to units of 45 degrees in the edit function that rotates the figure.
- a figure can be selected with the index finger of the right hand to which the object selection function is assigned, and the figure can be rotated by the thumb of the right hand to which the rotation function and the parameter control function with the rotation angle as parameters are assigned.
- the rotation angle determined by the drag operation of the right thumb can be set to 45-degree units.
- the rotation function assigned to the right thumb is executed at predetermined time intervals while the touch operation of the right thumb is continued, and the rotation angle can be determined according to the drag operation.
- a parameter control function is assigned to a specific finger
- another finger is assigned a parameter control function change function
- at least one of the type of parameter determined by the operation of the specific finger, the number, and the unit of increase or decrease of the value of each parameter can be changed.
- An example of changing the number of parameters is changing from a two-dimensional rotation angle to a three-dimensional rotation angle.
- Assignment of modifying functions to different fingers may be made at the time of assigning parameter control functions to a particular finger, or alternatively may be made in response to a touch operation with a particular finger.
- FIG. 9 illustrates alignment of shapes by parameter control according to one embodiment of the present invention.
- Many functions can be assigned to fingers by mode switching, but it is considered that the deeper the hierarchy, the more complicated the functions and the longer the function selection time. So by making some groupable multiple functions selectable from the context menu, we can avoid complications.
- FIG. 9 is an example of Align command processing, showing a change 900 from a left state in which no touch operation is performed to a right state in which a touch operation is performed and a menu is displayed. In this example, if the finger is released as it is, it will be aligned in the horizontal center, and you can also select up, down, left, right, and vertical center.
- command processing may be processing for objects other than editing.
- processing include conversion such as translation of selected text, web search based on selected text, saving such as writing a selected object to a file, copying of a selected object, calculation based on the selected text, transmission of the selected object, and the like, and any combination thereof.
- the editing process may be performed by moving the object after a touch operation with another finger (for example, the ring finger of the right hand), instead of simply moving the object by copying it and then moving it.
- a specific finger for example, the index finger of the right hand
- the editing process may be performed by moving the object after a touch operation with another finger (for example, the ring finger of the right hand), instead of simply moving the object by copying it and then moving it.
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
Abstract
ユーザーの各指の識別に基づいた、直観的かつ効率的なユーザー・インターフェースを実現するためのシステム、方法、および、プログラムを提供する。アクションを即座に認知可能なアイコン、ラベル、またはその両方で提示し、カメラ等によって識別された指を表すバーチャル・ハンドの指先に、即座に認知可能なアイコン、ラベル、またはその両方表示することで、実行すべき機能をユーザーが認識することができる。操作対象であるオブジェクトに対して、モード切替により指の数以上の多種類の直接的な操作を可能にする。
Description
本発明は、指識別に基づくユーザー・インターフェースを実現するためのシステム、方法及びそのためのプログラムに関する。
ユーザーがコンピューターとやり取りするためのユーザー・インターフェースには様々な手法が提唱されている。その手法の1つに、ユーザーの手の各指を識別し、それぞれに機能を割り当てることにより実現されるものがある。
かかる技術の基本的な例は、各指に異なる機能を割り当てるものであるところ、固定的に割り当てると、指10本分の10機能しか割り当てができない。多くのアプリケーションにおいて10機能は十分でないため、割り当てる機能の組を適切に切り替える必要がある。割り当てられた機能をスムーズに利用するためには、機能と指との対応をわかりやすくすることが重要である。
特許文献1には、指にTV機能を関連づけて、当該指がタッチスクリーン2に接触した状態において、他の指にTV機能のキャンセル機能または設定機能を関連づける技術が記載されている(図21等)。
ユーザーの指を識別し、識別された複数の指に機能を割り当てるユーザー・インターフェースにおいて、さらなる改良が可能である。
本発明は、このような点に鑑みてなされたものであり、その課題は、ユーザー・インターフェースをユーザーに提供するためのシステム、方法またはそのためのプログラムであって、ユーザーの各指の識別に基づいた、より直観的かつ効率的なユーザー・インターフェースを実現することにある。
本発明の第1の態様は、ユーザー・インターフェースをユーザーに提供するための方法であって、前記ユーザーの複数の指を識別するステップと、識別された前記複数の指のうちの第1の指にモード切替機能を割り当てるステップと、前記第1の指によるタッチ操作がなされたことに応じて、前記複数の指のうちの第2の指及び第3の指に割り当てられた機能をそれぞれ別の機能に切り替えるステップとを含み、第2の指及び第3の指の少なくとも一方は、第1の指と異なる。
また、本発明の第2の態様は、第1の態様の方法であって、前記タッチ操作は、オブジェクトに対するタッチ操作である。
また、本発明の第3の態様は、第2の態様の方法であって、前記別の機能は、モード切替機能、パラメーター・コントロール機能、及び前記オブジェクトの対象選択機能のいずれかである。
また、本発明の第4の態様は、第2の態様の方法であって、切替後に前記第2の指に割り当てられる機能は、パラメーター・コントロール機能であり、切替後に前記第3の指に割り当てられる機能は、前記パラメーター・コントロール機能の変更機能である。
また、本発明の第5の態様は、第2の態様の方法であって、切替後に前記第2の指に割り当てられる機能は、パラメーター・コントロール機能であり、前記第2の指によるタッチ操作がなされたことに応じて、前記複数の指のうちの前記第2の指とは別の指に前記パラメーター・コントロール機能の変更機能を割り当てるステップをさらに含む。
また、本発明の第6の態様は、第2の態様の方法であって、切替後に前記第2の指に割り当てられる機能は、コマンド処理機能である。
また、本発明の第7の態様は、第6の態様の方法であって、前記コマンド処理機能は、編集機能、変換機能、検索機能、保存機能、コピー機能、演算機能、送信機能及びこれらの任意の組み合わせのうちのいずれかである。
また、本発明の第8の態様は、第1から第4のいずれかの態様の方法であって、前記第2の指は、前記第1の指と同一の指である。
また、本発明の第9の態様は、第1から第9のいずれかの態様の方法であって、前記第1の指のタッチ操作を解除した場合に、前記第2の指又は前記第3の指の機能を切替前の機能に戻すステップをさらに含む。
また、本発明の第10の態様は、第1から第8のいずれかの態様の方法であって、前記第1の指のタッチ操作を所定時間以内に解除した場合に、前記第2の指又は前記第3の指の機能を切替前の機能に戻すステップをさらに含む。
また、本発明の第11の態様は、第2から第8のいずれかの態様の方法であって、前記タッチ操作を解除した後も前記オブジェクトの選択状態を維持する。
また、本発明の第12の態様は、第11の態様の方法であって、前記タッチ操作が解除されたことに応じて、前記第2の指及び前記第3の指に割り当てられた機能をそれぞれ、前記タッチ操作前及びタッチ操作中とは異なる機能に切り替えるステップをさらに含む。
また、本発明の第13の態様は、第11又は第12の態様の方法であって、前記複数の指のいずれかの指によるタッチ操作がなされたことに応じて、前記選択状態を終了させるステップと、前記選択状態が終了したことに応じて、前記第2の指及び第3の指に割り当てられた機能をそれぞれ切替前の機能に切り替えるステップとをさらに含む。
また、本発明の第14の態様は、第1から第13のいずれかの態様の方法であって、識別された前記複数の指を表現したバーチャル・ハンドとともに、各指に割り当てられた機能を表現するアイコンもしくはラベルを前記ユーザーが用いるディスプレイに表示するステップをさらに含む。
また、本発明の第15の態様は、第14の態様の方法であって、前記ラベルは、前記ラベルに関連づけられた指が前記ユーザーが用いる机上から所定の高さ以上に位置した場合のみに表示する。
また、本発明の第16の態様は、第14の態様の方法であって、前記ユーザーの指が前記ディスプレイの画面の領域外にある時、前記アイコンまたは前記ラベルは、前記画面の端に留めて表示する。
また、本発明の第17の態様は、第1から第16のいずれかの態様の方法であって、前記ユーザーの複数の指は、前記ユーザーの右手のいずれかの指及び前記ユーザーの左手のいずれかの指を含む。
また、本発明の第18の態様は、第1から第17のいずれかの態様の方法であって、前記第1の指、前記第2の指及び前記第3の指のうちの少なくともいずれかは、複数本の指を含む一組の指である。
また、本発明の第19の態様は、コンピューターに、ユーザー・インターフェースをユーザーに提供するための方法を実行させるためのプログラムであって、前記方法は、前記ユーザーの複数の指を識別するステップと、識別された前記複数の指のうちの第1の指にモード切替機能を割り当てるステップと、前記第1の指による、タッチ操作がなされたことに応じて、前記複数の指のうちの第2の指及び第3の指に割り当てられた機能をそれぞれ別の機能に切り替えるステップとを含み、前記第2の指及び前記第3の指の少なくとも一方は、前記第1の指と異なる。
また、本発明の第20の態様は、アプリケーションとのユーザー・インターフェースをユーザーに提供するための装置であって、前記ユーザーの複数の指を識別し、識別された前記複数の指のうちの第1の指にモード切替機能を割り当てて、前記第1の指によるタッチ操作がなされたことに応じて、前記複数の指のうちの第2の指及び第3の指に割り当てられた機能をそれぞれ別の機能に切り替え、前記第2の指及び前記第3の指の少なくとも一方は、前記第1の指と異なる。
本発明の一態様によれば、ユーザーの各指の識別に基づいた、直観的かつ効率的なユーザー・インターフェースを実現することができる。
以下に図を参照しながら本発明の実施形態について説明する。図はすべて例示である。本明細書では、ユーザーの複数の指を識別し、識別されたそれらの指を用いた複数回のタッチ操作により実現されるコンピューターとのインタラクション(以下「指識別マルチタッチ・インタラクション」とも呼ぶ。)に係るシステム、方法及びそのためのプログラムを開示する。
図1に、本発明の一実施形態に係る指識別マルチタッチ・インタラクションを実現するためのシステムの全体構成を示す。ユーザー(101)の一方または両方の手の映像を頭上等に設置されたカメラ(102)により撮影し、コンピューター(103)上で稼働する制御プログラム(後述)の処理により、各指の位置を認識することで、アプリケーションに対するユーザー・インターフェースを実現する。指の位置の認識は、水平方向だけではなく、垂直方向に対しても行うことが望ましい。指の垂直方向の位置の認識(特に後述のタップ操作)がユーザー(101)にとってわかりやすくなるよう、指の操作は机等の水平面状で行うことが望ましい。以下では、アプリケーションとのユーザー・インターフェースを主たる例として説明するが、OSまたはミドルウェアとのユーザー・インターフェースについても本発明は適用でき、具体的には、以下で言及する「画面」は、アプリケーションにより表示される画面に限らず、OSまたはミドルウェアにより表示される画面であってもよい。
ユーザー(101)に対するガイドとして、図式化されたユーザーの手(以下「バーチャル・ハンド」とも呼ぶ。)が、ディスプレイ(104)に表示される構成であることが望ましい。ユーザーが、アプリケーションの画面上で図形編集等のための操作を直接的に行えるよう、ディスプレイ(104)には、バーチャル・ハンドとアプリケーションの画面とが重ね合わされて表示されることが望ましい。カメラ(102)による手の画像認識処理の精度を向上するために、ユーザー(101)の両手の下には単一色のシートを敷いてもよい。当該色は、黒色が好ましい。また、触覚フィードバック(ハプティクス)デバイス(図示せず)を机上に置き、ユーザーによるタッチ操作等の操作に対してフィードバックを提供するようにしてもよい。音、光その他の手段によりユーザーの入力をフィードバックするための装置が設けられていてもよい。ディスプレイ(104)と操作面が一体化した構造であってもよい。
ここで、カメラ(102)は、指の位置の認識の精度を高めるために、深度センサーを備えたカメラであることが望ましい。また、指の認識の精度を高めるためにカラー画像も撮影することが望ましい。また、ユーザー(101)の入力は、片手のみではなく両手でも行なえることが望ましい。ユーザー(101)の指の操作の認識は、カメラ(102)による撮影ではなく、従来型のタッチスクリーン、タッチパッド、センサーを内蔵したスマートグローブまたはこれらの組み合わせ等、任意の認識方法により実現してもよい。コンピューター(103)の機能は、クラウド等の外部サーバーによって実現されてもよい。コンピューター(103)は、補助的に使用される他の入力機器(マウスやキーボード等)を備えていてもよいが図示していない。
図2に、本発明の一実施形態に係る指識別マルチタッチ・インタラクションを実現するための制御プログラムの一例を示す。指認識部(201)は、カメラ(102)により撮影された画像に輪郭抽出の処理を行なうことにより、ユーザー(101)の手の各指の位置を認識し、座標データに変換する役割を果たす。当該位置は、水平位置に加えて、垂直位置も認識することが好ましい。垂直位置を認識することで、後述のタップ操作またはホバー操作の判定処理を行ってもよい。バーチャル・ハンド表示部(202)は、ユーザー(101)の手の各指の状態を表現したバーチャル・ハンドおよび関連するアイコンまたはラベルをディスプレイ(104)に表示する役割を果たす。指機能割当部(203)は、ユーザー(101)の各指に、その時点の状況に応じた適切なコマンド処理、一時モード切替、対象選択、パラメーター・コントロール等の機能を割り当てる役割を果たし、特定の操作時に指への機能の割り当てを変更する役割も果たす。指機能処理部(204)は、ユーザーがタッチ操作を行なった際にその時点でその指に割り当てられていた機能を実行する役割を果たす。コマンド送出部(205)は、タッチ操作を行った指に割り当てられた機能を処理するためのコマンドをアプリケーションに送信する役割を果たす。ここで、「コマンド処理」とは、コマンドによって特定される処理を意味し、処理の種類に応じて異なるコマンドが実行される。
ここで「タッチ操作」は、典型的には浮かせた指を机の面に降ろす操作であるが、机以外のタッチスクリーン、タッチパッド、腿・他方の手等の体の他の部分等の物体への接触であってもよく、任意の方法で実現してよい(これらの操作も含めて「タッチ操作」と呼ぶ。)。複数本の指を一組の指として同時にタッチ操作を行ってもよい。接触しただけではなく、指で一定以上の圧力で押し込まれたことを検知してタッチ操作と判定することもできる。
なお、制御プログラム(200)の各部が1つのプログラム・モジュールに対応している必要はない。また、一部または全部の機能が、制御プログラム(200)とアプリケーションその他のプログラムとの連携により実現されてもよい。かかるプログラムの例として、ウェブブラウザ、ウェブブラウザ上で動作可能なJavaScript(登録商標)、当該JavaScriptと連携可能なネイティブ・プログラム等が挙げられる。また、一部または全部の機能が、カメラ等の周辺機器、またはクラウド等の外部コンピューター上で実行されていてもよい。また、コンピューター読み取り可能な記憶媒体に記録して非一過性のプログラムプロダクトとすることができる。
本発明の一実施形態に係る指識別マルチタッチ・インタラクションは、カメラ等によって識別された指を表すバーチャル・ハンドの指先に当該指に割り当てられた機能を表すアイコンまたはラベルを表示してもよい。これによって、後述する一時モード切替とともに、指の数以上の多種類の直接的な操作を操作対象に対して実行可能にすることができる。また、一時モード切替によって機能群の割り当てを切り替え、階層的に機能を選択することも可能にしてもよい。加えて、操作対象を選択することによってもモードを切り替え、コンテキストに応じた機能選択を可能にする。
図3に、本発明の一実施形態に係るスライド作成アプリケーションにおけるバーチャル・ハンド上の各指と機能との対応の一例を示す。右手親指には「オブジェクト追加」、右手人差し指には「選択」の機能が割り当てられている。機能には、コマンド処理、一時モード切替、操作対象の選択、および、パラメーター・コントロールが含まれてよい。図3の例では、右手人差し指および左手人差し指には「操作対象の選択」の機能が割り当てられており、右手親指および左手親指には「一時モード切替」の機能が割り当てられている。具体的には、右手親指には「オブジェクト追加」の機能が割り当てられており、右手親指によるタッチ操作がなされたことに応じて、一時的にモードが切り替わり、各指に異なる組の機能が割り当てられる。各指への機能割り当ては、制御プログラム(200)の指機能割当部(203)により行われてもよい。一例として、ユーザー(101)がある指でタッチ操作を行なうと、その時点でバーチャル・ハンド上の対応する指に対応づけられていた機能が、指機能処理部(204)により処理される。当該機能がアプリケーションにおけるコマンド処理である場合には、当該コマンドの情報が制御プログラム(200)のコマンド送出部(205)を介して、当該アプリケーションに送られ、所定の処理が行われる。
ここで、指先が画面領域外であっても、指先がカメラ(102)等の指先位置認識手段の認識範囲内にあれば、画面端にアイコンを留めて表示し、ユーザーが視認しタッチ操作を可能にすることが望ましい。左右の画面端であれば、縦座標位置、上下の画面端であれば、横座標位置は、対応する指先と連動して移動することが望ましい。これによって指が画面外に出た場合、画面内に入った場合にシームレスにアイコンを提示し、画面端を固定的にアイコンで隠してしまうことを防ぐ。指先がカメラ(102)等の指先位置認識手段にある場合は、アイコンやラベルを非表示、または、色や透明度を変えることで、指が認識範囲外であることをユーザーに示すことが望ましい。
バーチャル・ハンドとともに表示するアイコンを大きく表示することによって、視覚探索を容易にしてもよい。従来型のツールバーのようなユーザー・インターフェースの場合は、アイコンが大きければ画面スペースを固定的に占有してしまうが、本実施形態に係る指識別マルチタッチ・インタラクションにおいては、アイコンを比較的大きく表示しても、手を動かすだけでアイコンを移動できるため、画面を固定的に占有しない。視力が悪いユーザーの場合や初心者の場合は、アイコンを大きめに表示し、熟練者の場合にアイコンを小さめに表示できるよう設定可能であることが望ましい。
対象の選択が可能であることを示すため、または、選択のホットスポットもしくはエリアを示すために1つ以上の指先にカーソルを表示することが望ましい。対象選択を行う指のほかに、コマンド処理またはモード切替のための指があるため、どの指で対象選択が可能であるか明確にする必要があるためである。対象選択の指でない場合は、そのことを示す特定のカーソルを表示する、または、アイコンのみを表示することが望ましい。
ユーザーが、初心者の場合は、視覚探索または直接探索によって機能を探すため、アイコンおよびラベルの両方を表示することが望ましい。しかし、本実施形態に係る指識別マルチタッチ・インタラクションにおいては、視認の必要なく選択可能であり、常にラベルを提示する必要がないため、熟練者の場合はラベルを非表示にし、指が机上から一定の高さ以上に位置した場合のみ表示することで、熟練者であっても忘れた場合にすぐに確認できるようにすることが望ましい。
(一時モード切替)
図4A及び図4Bに本発明の一実施形態に係る図形編集アプリケーションにおけるオブジェクト追加の実施例を示す。特定の指(「第1の指」に対応)でタッチ操作を行うと、複数の指(「第2の指」および「第3の指」に対応)に新たな機能群を割り当てることができる。タッチ操作を行った当該特定の指に新たな機能が割り当てられるようにしてもよい。当該特定の指は、右手人差し指等の1本の指とする場合のほかに、特定の一組の複数本の指としてもよい。当該特定の指によるタッチ操作を継続した状態の間のみモードが切り替わり、タッチ操作を解除するとモードを元に戻すことができる。図4Aが、右手親指でタッチ操作を行っていない状態、図4Bが、当該右手親指でタッチ操作を行った状態である。この例では、「オブジェクト追加(Add object)」モードへの一時モード切替機能を割り当てられた右手親指でタッチ操作を行うことにより、他の指に割り当てられた機能群が切り替わり、追加対象のオブジェクトを決定できるようになる。たとえば、右手親指でタッチ操作を維持したままで、左手人差し指でタッチ操作を行うと文字(Text)を追加するというコマンド処理機能が実行される。右手親指のタッチ操作を解除するとモードが元に戻り、図4Aの上の状態になる。オブジェクトの追加操作をおこなった時、利き手の人差し指の位置にオブジェクトを追加する制御を行ってもよい。利き手の人差し指には、ユーザーにとって直観的な移動等のオブジェクトを操作するコマンド処理機能が割り当てられることが多い。オブジェクトの追加後の移動は頻繁に行われるパターンであるため、操作の効率性を向上できる。
図4A及び図4Bに本発明の一実施形態に係る図形編集アプリケーションにおけるオブジェクト追加の実施例を示す。特定の指(「第1の指」に対応)でタッチ操作を行うと、複数の指(「第2の指」および「第3の指」に対応)に新たな機能群を割り当てることができる。タッチ操作を行った当該特定の指に新たな機能が割り当てられるようにしてもよい。当該特定の指は、右手人差し指等の1本の指とする場合のほかに、特定の一組の複数本の指としてもよい。当該特定の指によるタッチ操作を継続した状態の間のみモードが切り替わり、タッチ操作を解除するとモードを元に戻すことができる。図4Aが、右手親指でタッチ操作を行っていない状態、図4Bが、当該右手親指でタッチ操作を行った状態である。この例では、「オブジェクト追加(Add object)」モードへの一時モード切替機能を割り当てられた右手親指でタッチ操作を行うことにより、他の指に割り当てられた機能群が切り替わり、追加対象のオブジェクトを決定できるようになる。たとえば、右手親指でタッチ操作を維持したままで、左手人差し指でタッチ操作を行うと文字(Text)を追加するというコマンド処理機能が実行される。右手親指のタッチ操作を解除するとモードが元に戻り、図4Aの上の状態になる。オブジェクトの追加操作をおこなった時、利き手の人差し指の位置にオブジェクトを追加する制御を行ってもよい。利き手の人差し指には、ユーザーにとって直観的な移動等のオブジェクトを操作するコマンド処理機能が割り当てられることが多い。オブジェクトの追加後の移動は頻繁に行われるパターンであるため、操作の効率性を向上できる。
一時モード切替における基本的処理では、一時モードを起動した指によるタッチ操作が解除されるとモードが元に戻り、指への機能群の割り当てが切替前の状態に戻る。代替的には、タッチ操作をたとえば所定時間以下または未満の短時間行った場合(タップ操作)にモードを永続的に切り替え、タッチ操作を当該所定の時間超または以上行った場合(長押し操作)にタッチ操作が解除されたことに応じて切替前の状態に戻す制御を行ってもよい。複数の指に割り当てられた機能は、モード単位で切り替えられるものとして主に説明したが、所定の条件を満たす場合に、当該複数の指のうちの一部についてのみ切替前の状態に戻す、または戻さない制御を行うことも考えられる。
(対象選択を伴う一時モード切替)
図5に、本発明の一実施形態に係るオブジェクト編集時の指と機能との対応を示す。この例では、直接編集モード(Direct Edit Mode)への切替の機能を割り当てられた左手親指によってタッチ操作を行い、それが継続している状態において、他の指に画像編集のコマンド処理が割り当てられている。たとえば、露出コントラスト(Exposure Contrast)コマンド処理が割り当てられた右手中指で画像をタッチし、露出およびコントラストを編集することができる。この操作では、編集操作の対象となる画像の選択機能とコマンド処理機能の実行とを一操作で行える点に利点がある。ここで、左手親指によるタッチ操作を解除した場合には、モードが元に戻り、指への機能群の割り当てを切替前の図4Aの状態に戻す制御を行ってもよいが、前段落と同様に所定の条件下のみでモードを戻す制御を行ってもよい。
図5に、本発明の一実施形態に係るオブジェクト編集時の指と機能との対応を示す。この例では、直接編集モード(Direct Edit Mode)への切替の機能を割り当てられた左手親指によってタッチ操作を行い、それが継続している状態において、他の指に画像編集のコマンド処理が割り当てられている。たとえば、露出コントラスト(Exposure Contrast)コマンド処理が割り当てられた右手中指で画像をタッチし、露出およびコントラストを編集することができる。この操作では、編集操作の対象となる画像の選択機能とコマンド処理機能の実行とを一操作で行える点に利点がある。ここで、左手親指によるタッチ操作を解除した場合には、モードが元に戻り、指への機能群の割り当てを切替前の図4Aの状態に戻す制御を行ってもよいが、前段落と同様に所定の条件下のみでモードを戻す制御を行ってもよい。
図6A及び図6Bに、本発明の一実施形態に係る図形編集の例を示す。この例では、操作対象であるオブジェクトの選択をトリガーとして指に割り当てられた機能のセットを切り替える。上述の一時モード切替と同様に、タッチ操作を継続した状態の間のみモードが一時的に切り替わり、タッチ操作を解除すると元に戻るように制御したり、所定の条件下のみでモードを戻す制御を行ってもよい。図6Aが、オブジェクトに対するタッチ操作が行われていない状態、図6Bが、右手人差し指でオブジェクトに対するタッチ操作を行い、選択した状態である。タッチ操作を維持している間のみ、各指への機能の割り当てが切り替わり、その図形に対する操作が行えるようにすることができる。
また、タッチ操作を解除しても、操作対象であるオブジェクトの選択状態を継続してもよい。この場合、タッチ操作を解除しても、モードを戻さないような制御を行ってもよい。たとえば、オブジェクトの選択状態は、再度当該オブジェクトに対してタッチ操作を行ったとき、またはそのタッチ操作を解除したときに終了させることができ、その他の任意の操作を選択状態を終了させる操作としてもよい。そして、選択状態が終了したことに応じて、モードを元に戻してもよい。あるいは、オブジェクトの選択が行われている状態でタッチ操作を解除した場合には、当該オブジェクトの選択前とは異なる機能群を指に割り当てる制御を行ってもよい。オブジェクトの選択が行われているということは、そのオブジェクトに対する操作が続けて行われる可能性が高いことを意味する。さらに、オブジェクトの選択が行われている状態でタッチ操作を解除した場合に、当該オブジェクトのタッチ操作前及びタッチ操作中とは異なる機能群を指に割り当てる制御を行ってもよい。
複数のオブジェクトを選択可能にし、選択された複数のオブジェクトの種類に応じて、各指に割り当てる機能群を切り替えるようにしてもよい。この場合、機能群の切り替えは、たとえば、複数のオブジェクトが選択された時点、複数のオブジェクトが選択されている状態においてさらに追加のオブジェクトが選択された時点、複数のオブジェクトが選択されている状態においていずれかのオブジェクトの選択状態が終了した時点、複数のオブジェクトが選択されている状態においていずれかのオブジェクトに対するタッチ操作が行われた時点等に行うことができる。
オブジェクトの選択状態において、必要に応じて特定の指(たとえば、右手親指)のタッチ操作を継続しながら、選択機能が割り当てられた指(たとえば、右手人差し指)で別のオブジェクトに対してタッチ操作すると追加選択となるような制御を行ってもよい。あるいは、オブジェクトの選択状態において、必要に応じて特定の指のタッチ操作を継続しながら、当該オブジェクトの選択に用いた指のドラッグ操作が別のオブジェクトが存在する領域まで行われることにより、当該別のオブジェクトが追加選択されてもよい。指に複数選択機能を割り当てて、当該指で複数回のタッチ操作を行い、それらのタッチ操作が行われた点を結ぶ矩形、多角形、円又は楕円の領域内に存在する複数のオブジェクトが選択されるようにしてもよい。また、指に複数選択機能を割り当てて、当該指でドラッグ操作を行い、その軌跡に囲われた領域内に存在する複数のオブジェクトが選択されるようにしてもよい。特定の指のタッチ操作が継続されることで、選択機能が割り当てられた指の機能を複数選択機能に切り替えるようにしてもよい。
ここで、対象選択のトリガーとしてタッチ操作に替えてホバー操作を使用してもよい。すなわち、図6Bの例で言えば、右手人差し指の座標が操作対象のオブジェクト上に位置する、換言すれば、ホバーするだけで、一時的なモード切替が行われるようにすることができる。その後、右手人差し指以外の指でタッチ操作を行うと、その指に割当てられていた機能が実行されるようにしてよい。ホバー操作が行われたかどうかの判定において、所定の指が所定の高さ以下になった場合にホバー操作中と判定するようにしてよい。典型的には、机面と指との距離が所定の値以下になった場合である。あるいは、他の指の高さとの相違に基づいてホバー操作を判定し、他の指と所定の距離以上低い位置の場合にホバーと見なすようにしてもよい。この場合において、他の指の高さとしては、ホバー操作を行う指以外の指で最も低い指の高さ、ホバー層を行う指以外の複数の指の高さの平均値、ホバー操作を行う指と隣り合った指の高さ等を使用してもよい。このようにホバー操作の判定に指の高さを加味することで、モード切替による画面の書き換えが頻繁に行われてしまうという問題を避けることができる。
図7に、本発明の一実施形態に係るパラメーター・コントロールによる色変更の流れを示す。図示の例はモノクロであるが、実際には、円環状に配置された円はそれぞれ別の色で表示される。図7には、タッチ操作をした状態を維持したままで指をスライドすることで、パラメーターをコントロールする流れ700が示されている。まず、色変更の機能が割当てられた右手中指で、図形上でタッチ操作を行う。そうすると、複数の色選択肢が円環状に配置された色変更のメニューが表示される。そして、右手中指でタッチ操作を維持したまま、色選択肢の1つを選択することで、図形の色を変更することができる。右手中指のタッチ操作を解除すると、指への機能割り当てを元に戻してもよい。一般に、1本の指のタッチ操作で上下左右の2自由度のコントロールが可能である。最初にタッチした指のタッチ操作を維持した状態で、他の指にもパラメーター・コントロールを割り当て、別のパラメーターをコントロールできるようにしてもよい。機能によっては、2本以上の指でパラメーターをコントロール可能にしてもよい。これにより、理論上、両手10本の指で合計20自由度のコントロールが可能である。表示されたメニューからの選択肢の選択は、図形に対してタッチ操作を行った指とは異なる指によって可能としてもよい。色の変更のほかに、ブラシ、フォントなどにも図7に示したパラメーター・コントロールは適用でき、多数の選択肢から1つを選択するような操作を効率的に行うことができる。
図8に、本発明の一実施形態に係るパラメーター・コントロールを伴う図形の回転を説明するための図を示す。図8の例では、図形を回転させる編集機能において、回転角度というパラメーターを45度単位に制約する例である。対象選択機能が割り当てられた右手人差し指によって図形を選択し、回転機能及び回転角度をパラメーターとするパラメーター・コントロール機能が割り当てられた右手親指によって図形の回転操作を行うことができる。ここで、右手薬指に回転角度を45度単位に制約するパラメーター制約機能を割り当て、当該薬指でタッチ操作を行うことによって、右手親指のドラッグ操作により定まる回転角度を45度単位とすることができる。右手親指に割り当てられた回転機能は、当該右手親指のタッチ操作を継続している間、所定時間間隔で実行され、回転角度は、ドラッグ操作に応じて定まるようにすることができる。
より一般に、パラメーター・コントロール機能が特定の指に割り当てられる場合、別の指にパラメーター・コントロール機能の変更機能を割り当て、当該別の指によるタッチ操作が継続している間、当該特定の指の操作による定まる当該特定の指の操作による定まるパラメーターの種類、当該の数、及び各パラメーターの値の増減単位の少なくともいずれかを変更することができる。パラメーターの数を変更する例としては、2次元の回転角度から3次元の回転角度に変更することが挙げられる。別の指に対する変更機能の割り当ては、特定の指に対するパラメーター・コントロール機能の割り当ての際に行ってもよく、代替的には、特定の指によるタッチ操作がなされたことに応じて、行ってもよい。
図9に、本発明の一実施形態に係るパラメーター・コントロールによる図形の整列を示す。モード切替によって多くの機能を指に割り当てることができるが、階層が深くなるほど複雑になり、機能選択時間も長くなると考えられる。そのため、一部のグループ化可能な複数の機能をコンテキスト・メニューから選択可能にすることで、複雑化を避けることができる。図9は、整列(Align)コマンド処理の例であり、タッチ操作が行なわれていない左側の状態から、タッチ操作が行なわれてメニューが表示された右側の状態への変化900が示されている。この例では、そのまま指を離せば横中央に整列され、その他、上下左右および縦中央を選ぶことができる。
上述の説明では、オブジェクトの編集の例を主に挙げたが、コマンド処理は、編集以外のオブジェクトに対する処理でもよく、かかる処理の例として、選択されたテキストの翻訳等の変換、選択されたテキストに基づくウェブ検索、選択されたオブジェクトのファイルへの書き出し等の保存、選択されたオブジェクトのコピー、選択されたテキストに基づく演算、選択されたオブジェクトの送信等が挙げられ、また、これらの任意の組み合わせとすることもできる。たとえば、特定の指(たとえば、右手人差し指)でオブジェクトを選択して移動する場合、すなわち、選択機能が割り当てられた指でオブジェクトを選択すると当該指に移動操作の機能が割り当てられる場合、別の指(たとえば、右手薬指)によるタッチ操作後に移動することでオブジェクトの単なる移動という編集処理ではなく、コピーしてから移動するように組み合わせた制御を行ってもよい。
Claims (20)
- ユーザー・インターフェースをユーザーに提供するための方法であって、
前記ユーザーの複数の指を識別するステップと、
識別された前記複数の指のうちの第1の指にモード切替機能を割り当てるステップと、
前記第1の指によるタッチ操作がなされたことに応じて、前記複数の指のうちの第2の指及び第3の指に割り当てられた機能をそれぞれ別の機能に切り替えるステップと
を含み、
第2の指及び第3の指の少なくとも一方は、第1の指と異なる。 - 請求項1に記載の方法であって、
前記タッチ操作は、オブジェクトに対するタッチ操作である。 - 請求項2に記載の方法であって、
前記別の機能は、モード切替機能、パラメーター・コントロール機能、及び前記オブジェクトの対象選択機能のいずれかである。 - 請求項2に記載の方法であって、
切替後に前記第2の指に割り当てられる機能は、パラメーター・コントロール機能であり、
切替後に前記第3の指に割り当てられる機能は、前記パラメーター・コントロール機能の変更機能である。 - 請求項2に記載の方法であって、
切替後に前記第2の指に割り当てられる機能は、パラメーター・コントロール機能であり、
前記第2の指によるタッチ操作がなされたことに応じて、前記複数の指のうちの第2の指とは別の指に前記パラメーター・コントロール機能の変更機能を割り当てるステップをさらに含む。 - 請求項2に記載の方法であって、
切替後に前記第2の指に割り当てられる機能は、コマンド処理機能である。 - 請求項6に記載の方法であって、
前記コマンド処理機能は、編集機能、変換機能、検索機能、保存機能、コピー機能、演算機能、送信機能及びこれらの任意の組み合わせのうちのいずれかである。 - 請求項1から4のいずれかに記載の方法であって、
前記第2の指は、前記第1の指と同一の指である。 - 請求項1から8のいずれかに記載の方法であって、
前記第1の指のタッチ操作を解除した場合に、前記第2の指又は前記第3の指の機能を切替前の機能に戻すステップをさらに含む。 - 請求項1から8のいずれかに記載の方法であって、
前記第1の指のタッチ操作を所定時間以内に解除した場合に、前記第2の指又は前記第3の指の機能を切替前の機能に戻すステップをさらに含む。 - 請求項2から8のいずれかに記載の方法であって、
前記タッチ操作を解除した後も前記オブジェクトの選択状態を維持する。 - 請求項11に記載の方法であって、
前記タッチ操作が解除されたことに応じて、前記第2の指及び前記第3の指に割り当てられた機能をそれぞれ、前記タッチ操作前及びタッチ操作中とは異なる機能に切り替えるステップをさらに含む。 - 請求項11又は12に記載の方法であって、
前記複数の指のいずれかの指によるタッチ操作がなされたことに応じて、前記選択状態を終了させるステップと、
前記選択状態が終了したことに応じて、前記第2の指及び第3の指に割り当てられた機能をそれぞれ切替前の機能に切り替えるステップと
をさらに含む。 - 請求項1から13のいずれかに記載の方法であって、
識別された前記複数の指を表現したバーチャル・ハンドとともに、各指に割り当てられた機能を表現するアイコンもしくはラベルを前記ユーザーが用いるディスプレイに表示するステップをさらに含む。 - 請求項14に記載の方法であって、
前記ラベルは、前記ラベルに関連づけられた指が前記ユーザーが用いる机上から所定の高さ以上に位置した場合のみに表示する。 - 請求項14に記載の方法であって、
前記ユーザーの指が前記ディスプレイの画面の領域外にある時、前記アイコンまたは前記ラベルは、前記画面の端に留めて表示する。 - 請求項1から16のいずれかに記載の方法であって、
前記ユーザーの複数の指は、前記ユーザーの右手のいずれかの指及び前記ユーザーの左手のいずれかの指を含む。 - 請求項1から17のいずれかに記載の方法であって、
前記第1の指、前記第2の指及び前記第3の指のうちの少なくともいずれかは、複数本の指を含む一組の指である。 - コンピューターに、ユーザー・インターフェースをユーザーに提供するための方法を実行させるためのプログラムであって、前記方法は、
前記ユーザーの複数の指を識別するステップと、
識別された前記複数の指のうちの第1の指にモード切替機能を割り当てるステップと、
前記第1の指による、タッチ操作がなされたことに応じて、前記複数の指のうちの第2の指及び第3の指に割り当てられた機能をそれぞれ別の機能に切り替えるステップと
を含み、
前記第2の指及び前記第3の指の少なくとも一方は、前記第1の指と異なる。 - アプリケーションとのユーザー・インターフェースをユーザーに提供するための装置であって、
前記ユーザーの複数の指を識別し、
識別された前記複数の指のうちの第1の指にモード切替機能を割り当てて、前記第1の指によるタッチ操作がなされたことに応じて、前記複数の指のうちの第2の指及び第3の指に割り当てられた機能をそれぞれ別の機能に切り替え、
前記第2の指及び前記第3の指の少なくとも一方は、前記第1の指と異なる。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022-006752 | 2022-01-19 | ||
JP2022006752 | 2022-01-19 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023140340A1 true WO2023140340A1 (ja) | 2023-07-27 |
Family
ID=87348405
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/001599 WO2023140340A1 (ja) | 2022-01-19 | 2023-01-19 | 指識別に基づくユーザー・インターフェースを実現するためのシステム、方法及びそのためのプログラム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2023140340A1 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006104132A1 (ja) * | 2005-03-28 | 2006-10-05 | Matsushita Electric Industrial Co., Ltd. | ユーザインタフェイスシステム |
WO2008078603A1 (ja) * | 2006-12-22 | 2008-07-03 | Panasonic Corporation | ユーザインターフェイス装置 |
JP2011180843A (ja) * | 2010-03-01 | 2011-09-15 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム |
JP2012527657A (ja) * | 2009-05-18 | 2012-11-08 | 日本電気株式会社 | タッチスクリーン、関連した操作方法及びシステム |
WO2013080425A1 (ja) * | 2011-12-01 | 2013-06-06 | パナソニック株式会社 | 入力装置、情報端末、入力制御方法、および入力制御プログラム |
JP2015170102A (ja) * | 2014-03-06 | 2015-09-28 | トヨタ自動車株式会社 | 情報処理装置 |
-
2023
- 2023-01-19 WO PCT/JP2023/001599 patent/WO2023140340A1/ja unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006104132A1 (ja) * | 2005-03-28 | 2006-10-05 | Matsushita Electric Industrial Co., Ltd. | ユーザインタフェイスシステム |
WO2008078603A1 (ja) * | 2006-12-22 | 2008-07-03 | Panasonic Corporation | ユーザインターフェイス装置 |
JP2012527657A (ja) * | 2009-05-18 | 2012-11-08 | 日本電気株式会社 | タッチスクリーン、関連した操作方法及びシステム |
JP2011180843A (ja) * | 2010-03-01 | 2011-09-15 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム |
WO2013080425A1 (ja) * | 2011-12-01 | 2013-06-06 | パナソニック株式会社 | 入力装置、情報端末、入力制御方法、および入力制御プログラム |
JP2015170102A (ja) * | 2014-03-06 | 2015-09-28 | トヨタ自動車株式会社 | 情報処理装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11048333B2 (en) | System and method for close-range movement tracking | |
US10013143B2 (en) | Interfacing with a computing application using a multi-digit sensor | |
US8638315B2 (en) | Virtual touch screen system | |
US9223471B2 (en) | Touch screen control | |
EP0661620B1 (en) | Apparatus and method for executing multiple concatenated command gestures in a gesture based input system | |
JP4515458B2 (ja) | 3次元ポインティング方法、3次元ポインティング装置、及び3次元ポインティングプログラム | |
US9239673B2 (en) | Gesturing with a multipoint sensing device | |
EP2972669B1 (en) | Depth-based user interface gesture control | |
CA2637513C (en) | Gesturing with a multipoint sensing device | |
US10223057B2 (en) | Information handling system management of virtual input device interactions | |
US20120110431A1 (en) | Touch-Based Annotation System with Temporary Modes | |
US20120182296A1 (en) | Method and interface for man-machine interaction | |
EP2538305A2 (en) | System and method for close-range movement tracking | |
US20040135824A1 (en) | Tracking menus, system and method | |
US10180714B1 (en) | Two-handed multi-stroke marking menus for multi-touch devices | |
WO2005048093A1 (en) | Input method, system and device | |
KR101981158B1 (ko) | 사용자 인터페이스를 위한 인터랙션 방법 | |
KR20130137069A (ko) | 마우스 모의 터치 제어 스크린 조작 방법 | |
JP2006500676A (ja) | グラフィカル・ユーザ・インタフェース・ナビゲーション方法、及び装置。 | |
CN103365451B (zh) | 用于智能平台的多维增速省空间的人机交互方法及装置 | |
US8327294B2 (en) | Method and system to reduce workload and skills required in usage of mouse or other pointing devices | |
Benko et al. | Imprecision, inaccuracy, and frustration: The tale of touch input | |
WO2023140340A1 (ja) | 指識別に基づくユーザー・インターフェースを実現するためのシステム、方法及びそのためのプログラム | |
WO2014043275A1 (en) | Gesturing with a multipoint sensing device | |
CN104007999B (zh) | 用于控制应用的方法和相关的*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23743332 Country of ref document: EP Kind code of ref document: A1 |