WO2012090429A1 - ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法 - Google Patents

ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法 Download PDF

Info

Publication number
WO2012090429A1
WO2012090429A1 PCT/JP2011/007089 JP2011007089W WO2012090429A1 WO 2012090429 A1 WO2012090429 A1 WO 2012090429A1 JP 2011007089 W JP2011007089 W JP 2011007089W WO 2012090429 A1 WO2012090429 A1 WO 2012090429A1
Authority
WO
WIPO (PCT)
Prior art keywords
gesture
depth direction
distance
user
operation input
Prior art date
Application number
PCT/JP2011/007089
Other languages
English (en)
French (fr)
Inventor
平田　真一
Original Assignee
株式会社ソニー・コンピュータエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・コンピュータエンタテインメント filed Critical 株式会社ソニー・コンピュータエンタテインメント
Priority to EP11853600.2A priority Critical patent/EP2660686B1/en
Priority to CN2011800623628A priority patent/CN103282859A/zh
Publication of WO2012090429A1 publication Critical patent/WO2012090429A1/ja
Priority to US13/921,558 priority patent/US9465443B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means

Definitions

  • the present invention relates to an apparatus and method for processing an operation input by a gesture.
  • 3D TVs that can view 3D images can be used at home.
  • a Blu-ray disc on which 3D video is recorded can be played back by a player and displayed on a 3D display for viewing high-quality 3D video.
  • a game application using a 3D image can be played by connecting to a 3D display.
  • video may be image
  • Patent Document 1 discloses a portable game device having an interface that allows a user to give an instruction from a position away from the screen.
  • -Gesture interface technology is required to support operation input by user gestures.
  • the system needs to control the detection sensitivity when recognizing the gesture to an appropriate level according to the performance of the system so that the user can input an operation through the gesture without feeling stressed in front of the display. .
  • the present invention has been made in view of these problems, and an object of the present invention is to provide a technique for facilitating operation input by a gesture.
  • a gesture operation input processing device includes an instruction point extraction unit that extracts a user instruction point from an image obtained by photographing a user gesture performed while watching a display, and the instruction Based on at least one of the distance calculation unit for obtaining the distance in the depth direction to the point, the resolution of the distance measurement in the depth direction, and the three-dimensional display performance of the display, the depth direction when recognizing the operation input by the user's gesture
  • a parameter adjustment unit that adjusts a parameter relating to detection sensitivity, and a distance in the depth direction to the indicated point calculated by the distance calculation unit based on the adjusted parameter, and an operation input by a user's gesture
  • a gesture recognition processing unit for recognizing.
  • Another aspect of the present invention is a gesture operation input processing method.
  • This method is a gesture operation input processing method in a three-dimensional gesture input system having an interface that supports an operation input by a user's gesture, and points to the user from an image obtained by photographing the user's gesture while looking at a display. Recognizing an operation input by a user's gesture based on at least one of a depth direction distance measurement resolution and a 3D display performance of the display. Adjusting a parameter related to detection sensitivity in the depth direction when performing the gesture, and referring to the distance in the depth direction to the indicated point calculated by the distance calculation unit based on the adjusted parameter, Recognize operation input by And a step.
  • FIGS. 3A and 3B are diagrams for explaining the distance measurement principle and distance resolution of a triangulation type camera.
  • 4A and 4B are diagrams for explaining the distance measurement principle and distance resolution of a TOF type camera. It is a figure explaining the virtual screen set in the front surface of a display apparatus.
  • 6A to 6E are diagrams for explaining an example of operation input by a gesture. It is a figure explaining the parameter which adjusts the sensitivity of the motion detection of the depth direction of a gesture.
  • 3 is a flowchart for explaining a method for adjusting a parameter related to sensitivity of motion detection in the Z direction by the gesture operation input processing device of FIG. 2.
  • FIG. 1 is a configuration diagram of a three-dimensional gesture input system 300.
  • the three-dimensional gesture input system 300 includes a game machine 200, a display device 210, and a camera 220.
  • the game machine 200 executes content such as a game application, and displays a video, an operation menu, and the like on the display device 210.
  • content such as a game application
  • a player that reproduces content stored in a recording medium may be used.
  • the display device 210 is a display capable of two-dimensional display and / or three-dimensional display.
  • the display device 210 can only display two-dimensionally, the content is displayed as a two-dimensional image.
  • the content is displayed in two dimensions according to an instruction from the user or an instruction from the application. Display as an image or a three-dimensional image.
  • the camera 220 photographs a gesture of the user 250.
  • the camera 220 is provided on the display device 210 or the like.
  • the display surface is the XY plane
  • the direction perpendicular to the display surface is the Z axis.
  • the camera 220 has a distance measuring function for measuring the distance in the Z direction to the subject.
  • the camera 220 may have a distance sensor that measures the distance to the subject by projecting sound waves or light onto the subject and measuring the time from reflection to return, or two different viewpoints.
  • You may have an image processing unit which calculates a depth value from the parallax image photoed from.
  • the user 250 inputs an operation command for the game machine 200 with a gesture while viewing the image displayed on the display device 210.
  • the display device 210 has the dedicated glasses 230 for stereoscopic viewing like a stereo display
  • the user 250 wears the dedicated glasses 230 and views the screen of the display device 210.
  • the user 250 gives an operation command to the game machine 200 by moving a finger or the like of the hand in the three-dimensional space as the instruction points 240a to 240c.
  • the movement trajectories of the instruction points 240a to 240c detected by the game machine 200 are displayed in order to support the user's gesture input.
  • the game machine 200 detects instruction points 240a to 240c such as fingers of the hand of the user 250 from the gesture image of the user 250 taken by the camera 220, and obtains distances from the camera 220 to the instruction points 240a to 240c.
  • the user may present only the index finger.
  • the user 250 may attach a finger cap with a marker to a finger or make a gesture using an indicator bar with a marker so that the instruction point 240 can be easily recognized.
  • the user 250 performs a gesture by holding a controller equipped with a position sensor capable of detecting three-dimensional coordinates, and transmits the three-dimensional coordinates detected by the position sensor to the game machine 200 by wireless communication or the like. Good.
  • the game machine 200 recognizes an operation command intended by the user in accordance with the movement of the instruction point 240 of the user 250 in the three-dimensional space, and executes the operation command.
  • the game machine 200 can provide flexibility to the gesture input interface by detecting the movement in the depth direction of the gesture of the user 250 to give the user 250 a degree of freedom.
  • FIG. 2 is a configuration diagram of the gesture operation input processing device 100.
  • a part or all of the functional configuration of the gesture operation input processing device 100 illustrated in FIG. 2 can be implemented in the game machine 200 by hardware, software, or a combination thereof.
  • the game machine 200 it may be mounted on a personal computer, a portable device, a portable terminal, or the like.
  • the gesture operation input processing device 100 includes an instruction point extraction unit 10, a distance calculation unit 20, a distance sensor performance acquisition unit 30, a distance sensor database 32, a display performance acquisition unit 40, a display database 42, a gesture recognition parameter adjustment unit 50, a virtual screen.
  • a storage unit 52, a gesture recognition processing unit 60, a display control unit 70, and an application execution unit 80 are included.
  • the instruction point extraction unit 10 acquires a gesture image of the user 250 taken by the camera 220, and extracts a user instruction point 240 from the gesture image. Since the instruction point 240 is a point to which the tip of the user's finger or a marker is attached, the instruction point 240 can be extracted from the image using a general image processing function such as edge extraction or image analysis.
  • the distance calculation unit 20 calculates the distance in the depth direction to the indication point 240.
  • the distance in the depth direction from the parallax images captured from two different viewpoints to the instruction point 240 is obtained.
  • the distance calculation unit 20 projects light onto the indication point 240, and then the light is reflected on the indication point 240.
  • the round trip time until the camera returns is acquired from the camera 220, and the distance to the indication point 240 is obtained by multiplying the round trip time by the speed of light.
  • the distance sensor performance acquisition unit 30 refers to the distance sensor database 32, acquires information regarding the resolution of the distance sensor of the camera 220, and provides the information to the gesture recognition parameter adjustment unit 50.
  • the resolution information of the distance sensor includes a range of measurable distance, identification information indicating whether the distance sensor distance measurement method is a triangulation type, or a TOF type.
  • the display performance acquisition unit 40 refers to the display database 42, acquires information related to the display performance of the display device 210, and provides the display performance information of the display device 210 to the gesture recognition parameter adjustment unit 50.
  • the display performance information includes information regarding the three-dimensional display performance.
  • the display device 210 is a 2D display that does not have a display capability in the Z direction as in a normal liquid crystal television display, or a stereo display that can be viewed in stereo (binocular stereoscopic view). Identification information indicating whether the 3D display is capable of displaying is included.
  • the gesture recognition parameter adjustment unit 50 includes the resolution of the distance sensor provided from the distance sensor performance acquisition unit 30, the three-dimensional display performance of the display provided from the display performance acquisition unit 40, and the indication point 240 provided from the distance calculation unit 20. Based on the measured distance, the parameters for gesture recognition are adjusted. The parameters for the gesture recognition are particularly for adjusting the sensitivity of detecting the movement of the indication point 240 in the depth direction.
  • the gesture recognition parameter adjustment unit 50 increases the sensitivity by finely adjusting the granularity for detecting the movement of the indication point 240 in the depth direction. Conversely, the resolution of the distance measurement in the depth direction is high. If it is low, the granularity for detecting the movement of the indication point 240 in the depth direction is coarsened to lower the sensitivity. Similarly, if the three-dimensional display performance of the display is high, the granularity for detecting the movement in the depth direction of the indication point 240 is made finer to increase the sensitivity. Conversely, if the three-dimensional display performance of the display is low, the indication point 240 Decrease the sensitivity by coarsening the granularity to detect the movement in the depth direction.
  • a virtual screen is set on the front surface of the display device 210, and the instruction point 240 is activated when the instruction point 240 passes through the virtual screen.
  • the instruction point 240 is in front of the virtual screen as viewed from the user, the instruction point 240 is inactive, so that it is easy to distinguish when the user gives an operation input with a finger or the like and when not giving it.
  • a plurality of virtual screens may be installed on the front surface of the display device 210 so that the user can input operation in stages by inserting a finger in stages.
  • the virtual screen storage unit 52 holds information such as installation positions and installation intervals of such virtual screens.
  • the gesture recognition parameter adjustment unit 50 adjusts the sensitivity for detecting the movement of the indication point 240 in the depth direction by adjusting parameters such as the installation position and installation interval of the virtual screen held in the virtual screen storage unit 52. can do.
  • the gesture recognition processing unit 60 recognizes the user's gesture in the three-dimensional space with reference to the distance in the depth direction to the indication point 240 calculated by the distance calculation unit 20 under the adjusted parameters. Specify the operation command.
  • the gesture recognition processing unit 60 determines whether or not the instruction point 240 has passed the virtual screen set on the front surface of the display device 210 based on the distance in the depth direction to the instruction point 240.
  • the instruction point 240 is activated, and the operation input by the user's gesture is specified.
  • the display control unit 70 displays the movement locus of the instruction point 240 on the display device 210 in order to indicate what kind of gesture the user has recognized by the gesture recognition processing unit 60.
  • the application execution unit 80 executes the operation command specified by the gesture recognition processing unit 60 and reflects it in the application.
  • FIG. 3A and 3B are diagrams for explaining the distance measurement principle and distance resolution of the triangulation camera 220.
  • FIG. 3A in the case of triangulation, two cameras 220a and 220b are used to capture parallax images from different viewpoints, or one camera 220 is moved to change the viewpoint position. By capturing the parallax image, the distance d to the instruction point 240 is measured.
  • a stereo camera is an example of a ranging camera that uses the principle of triangulation.
  • the graph of FIG. 3B shows the distance resolution R with respect to the absolute distance d in the triangulation type camera 220.
  • the horizontal axis of the graph is the absolute distance d from the viewpoint to the subject, and the vertical axis is the distance resolution R by triangulation.
  • the distance resolution R decreases as the distance to the subject increases, and the measurement accuracy decreases. Conversely, the closer the distance to the subject, the higher the distance resolution R and the higher the measurement accuracy.
  • FIG. 4A and 4B are diagrams illustrating the distance measurement principle and distance resolution of the TOF type camera 220.
  • FIG. 4A In the case of the TOF type camera 220, the distance to the subject is measured by projecting infrared light or ultrasonic waves onto the subject and measuring the reflected wave.
  • the graph in FIG. 4B shows the distance resolution R with respect to the absolute distance d in the TOF type camera 220.
  • the distance resolution R is constant regardless of the distance to the subject, and the measurement accuracy does not decrease even if the distance to the subject is far away.
  • the measurement accuracy of the triangulation type camera 220 decreases as the distance to the subject increases, but the measurement accuracy can be increased by further widening the interval between the two viewpoints. Considering the installation of the camera 220 on the display device 210 in a general home, there is a limit to widening the viewpoint interval, so it is better to use the TOF type camera 220 whose measurement accuracy is constant regardless of the absolute distance. It is advantageous.
  • the display device 210 also has a difference in display capability that affects operation input by gestures.
  • a two-dimensional display such as an ordinary liquid crystal television display, does not have the ability to express in the Z direction.
  • the distance in the depth direction is often a circle that is not constant. .
  • a stereo display capable of stereo viewing has the ability to express in the Z direction, and the user can view stereoscopically by viewing a pair of left and right images using naked eyes or polarized glasses.
  • the left and right images are displayed in a time-division switching manner, and the left and right eyes are alternately input using the liquid crystal shutter glasses, or a parallax barrier or lenticular lens is used.
  • Stereoscopic viewing is possible by making the left image / right image visible.
  • the stereo display has a fixed viewpoint of the user for stereoscopic viewing, and can only perform stereoscopic viewing from one viewpoint in one direction, and often cannot follow changes in the user's viewpoint.
  • 3D displays that support multiple viewpoints, such as the integral imaging method and the hologram method, can be viewed stereoscopically from different viewpoint positions by projecting multiple different left and right images according to the viewpoint position.
  • viewpoints such as the integral imaging method and the hologram method
  • the user can perform stereoscopic viewing from any viewpoint position, it looks as if there is a real thing in the three-dimensional space, and while viewing the displayed stereoscopic image, the depth direction Can be performed more accurately.
  • the three-dimensional display can follow a change in the viewpoint position of the user, and enables more natural stereoscopic viewing.
  • the hologram method is used, a substantially infinite set of left and right images can be shown, so that almost perfect stereoscopic viewing is possible.
  • the display device 210 changes from a two-dimensional display to a stereo display and a three-dimensional display, the operation accuracy in the Z-axis direction when the user performs an operation input with a gesture increases, and the operation input with a rich gesture in the Z direction occurs. It becomes possible to do.
  • the user's operational feeling is optimized by adjusting the gesture recognition parameters according to the distance measurement resolution of the camera 220 and the 3D display performance of the display device 210. To do.
  • FIG. 5 is a diagram for explaining a virtual screen set on the front surface of the display apparatus 210.
  • the display device 210 surface is the XY plane, and the depth direction perpendicular to the display device 210 surface is the Z axis, the distance d from the camera 220 is Z1, Z2.
  • Virtual first and second virtual screens 270a and 270b are provided at positions (Z1 ⁇ Z2), respectively.
  • the virtual screen has a distance switch function that activates the instruction point 240 according to the depth distance to the instruction point 240.
  • the gesture recognition processing unit 60 recognizes the operation as an operation for selecting a button or the like on the display, and the instruction point 240 Further pierce the first virtual screen 270a located at the distance Z1, the gesture recognition processing unit 60 may recognize the operation as a warp operation.
  • the gesture recognition processing unit 60 can specify different operation commands according to the change in the depth direction of the user's gesture. If the number of virtual screens is further increased, more different operation commands can be specified according to the number of virtual screens to be penetrated. In addition, if the number of virtual screens is increased, it is possible to detect a change in the acceleration in the depth direction and further vary the operation command.
  • FIG. 6A is an example in which relative control is input by pushing a finger into a virtual screen and moving it up, down, left, or right from the origin, or drawing a circle.
  • the instruction point 240 is activated, the object or icon displayed on the display device 210 is selected, and the object displayed on the screen is moved by moving the instruction point 240 up, down, left, or right.
  • the icon can be moved up, down, left and right.
  • the finger When an image or document is displayed on the screen of the display device 210, the finger is moved up, down, left and right by moving the finger up, down, left and right, or a clockwise circle is drawn, and a counterclockwise circle is drawn. It may be possible to reduce the display.
  • the gesture recognition processing unit 60 determines the user's gesture as a flick input, For example, the execution unit 80 moves to the next screen or executes continuous scrolling according to the determined operation input.
  • FIG. 6 (c) and 6 (d) show how the user inputs a pinch operation using a gesture.
  • Pinch is an operation of pinching with two fingers to widen (pinch out) or narrow (pinch in) between the fingers.
  • the gesture recognition processing unit 60 determines that the gesture is a pinch-in operation.
  • the display control unit 70 executes processing for reducing the displayed screen.
  • the gesture recognition processing unit 60 determines that the gesture is a pinch-out operation. Then, the display control unit 70 executes a process for enlarging the displayed screen.
  • the gesture recognition processing unit 60 determines that the operation is a warp operation. Further, for example, when only one finger is pushed out, the gesture recognition processing unit 60 determines that the selection / execution button is pressed, but when two fingers are pushed out, the gesture recognition processing unit 60 may determine that the cancel button is pressed.
  • FIG. 7 is a diagram illustrating parameters for adjusting the sensitivity of motion detection in the depth direction of a gesture.
  • the number of virtual screens to be set is N, the interval between adjacent virtual screens is D, and the width of the dead band (dead zone) of each virtual screen is d.
  • the stage number N, the interval D, and the dead bandwidth d are parameters relating to the sensitivity of motion detection in the depth direction of the gesture, and these parameters are adjusted based on the distance measurement resolution and the three-dimensional display performance. Further, these adjustment parameters may be changed depending on the distance Z in the depth direction.
  • the gesture recognition parameter adjustment unit 50 increases the number of stages N and decreases the interval D and the dead bandwidth d. This is because the higher the three-dimensional display performance, the more the user can perform a rich operation in the Z direction, and there is no problem even if the detection sensitivity in the Z direction is increased.
  • the number of steps N, the interval D, and the dead band width d are changed according to the distance in the depth direction.
  • the measurement accuracy decreases as the subject is farther from the camera 220. Therefore, when the distance from the camera 220 is smaller than a predetermined threshold, the number of steps N is increased, the interval D and the dead band width d are decreased, and the Z direction is reached.
  • the distance from the camera 220 is larger than a predetermined threshold, the number of steps N is reduced, the interval D and the dead band width d are reduced, and the detection sensitivity in the Z direction is lowered.
  • the measurement accuracy does not change even if the distance in the depth direction changes. Therefore, the interval D and the dead band width d are constant, but the TOF type has a high measurement accuracy. It can be increased compared to the triangulation type.
  • FIG. 8 is a flowchart illustrating a method for adjusting a parameter related to the sensitivity of motion detection in the Z direction by the gesture operation input processing device 100.
  • the processing procedure of each part is displayed by a combination of S (acronym for Step) meaning a step and a number.
  • S anacronym for Step
  • Y anacronym for Yes
  • N the acronym for No
  • the display performance acquisition unit 40 acquires data related to display performance, particularly 3D display performance, from the display database 42 (S10).
  • the driver of the display device 210 is installed in the game machine 200.
  • the display performance acquisition unit 40 makes an inquiry to the display database 42 based on information about the driver of the display device 210 and acquires data related to the three-dimensional display performance.
  • the display performance acquisition unit 40 may extract data related to 3D display performance from the driver.
  • the gesture recognition parameter adjustment unit 50 sets initial values of the stage number N, the interval D, and the dead bandwidth d, which are adjustment parameters (S12). This initial value is a default value based on the premise that the display has high three-dimensional display performance.
  • the display performance acquisition unit 40 determines whether or not the display device 210 is a three-dimensional display based on the data regarding the three-dimensional display performance (S14). If it is a three-dimensional display (Y of S14), it will progress to step S22, without changing the initial value of the stage number N, the space
  • the gesture recognition parameter adjustment unit 50 decreases the number N of stages and increases the interval D and the dead bandwidth d (S16).
  • the display performance acquisition unit 40 determines whether or not the display device 210 is a stereo display (S18). If the display is a stereo display (Y in S18), the process proceeds to step S22 without changing the values of the stage number N, the interval D, and the dead band width d.
  • the gesture recognition parameter adjustment unit 50 further decreases the number of stages N and increases the interval D and the dead bandwidth d (S20). .
  • the distance sensor performance acquisition unit 30 acquires data on the distance resolution of the camera 220 from the distance sensor database 32 (S21).
  • a driver for the camera 220 is installed in the game machine 200.
  • the distance sensor performance acquisition unit 30 makes an inquiry to the distance sensor database 32 based on the information of the driver of the camera 220 and acquires data related to the distance resolution.
  • the distance sensor performance acquisition unit 30 may extract data regarding distance resolution from the driver.
  • the distance sensor performance acquisition unit 30 determines whether the camera 220 is a triangulation type based on the data related to the distance resolution (S22). If it is a triangulation type (Y in S22), the number of steps N, the interval D, and the dead band width d are varied according to the distance in the depth direction (S24). Specifically, the virtual screen level N is increased as the position is closer to the camera 220, and the virtual screen level N is decreased as the position is farther from the camera 220. Further, since the measurement accuracy of the virtual screen near the camera 220 is high, the interval D between adjacent screens is narrowed and the dead band width d is also narrowed. For the virtual screen far from the camera 220, the measurement accuracy decreases, so the interval D between adjacent screens is widened and the dead band width d is also widened.
  • the distance sensor performance acquisition unit 30 determines whether the camera 220 is the TOF type based on the data regarding the distance resolution (S26). In the case of the TOF type (Y in S26), the number N of virtual screen stages, the interval D, and the dead band width d are made constant regardless of the distance in the depth direction, and the total number N of virtual screen stages is increased (S28). If it is not the TOF type (N in S26), the stage number N, the interval D, and the dead band width d are not adjusted any more, and the process proceeds to step S30.
  • the gesture recognition parameter adjustment unit 50 supplies the adjusted stage number N, interval D, and dead bandwidth d to the gesture recognition processing unit 60 (S30).
  • the detection sensitivity of the user's gesture is appropriately set based on the measurement resolution of the distance sensor and the 3D display performance of the display.
  • the user can input by gesture according to the performance of the system without feeling stress. Even if the combination of the distance sensor and the display changes, the detection sensitivity is automatically adjusted on the system side, so that a seamless and flexible gesture input interface can be provided.
  • 10 instruction point extraction unit 20 distance calculation unit, 30 distance sensor performance acquisition unit, 32 distance sensor database, 40 display performance acquisition unit, 42 display database, 50 gesture recognition parameter adjustment unit, 52 virtual screen storage unit, 60 gesture recognition process Unit, 70 display control unit, 80 application execution unit, 100 gesture operation input processing device, 200 game machine, 210 display device, 220 camera, 230 dedicated glasses, 240 instruction points, 250 user, 270 virtual screen, 300 3D gesture input system.
  • the present invention can be used for an apparatus and a method for processing an operation input by a gesture.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

　指示ポイント抽出部１０は、ディスプレイを見ながら行われるユーザのジェスチャを撮影した画像からユーザの指示ポイントを抽出する。距離計算部２０は、指示ポイントまでの奥行き方向の距離を求める。ジェスチャ認識パラメータ調整部５０は、奥行き方向の距離計測の分解能およびディスプレイの３次元表示性能の少なくとも一方にもとづいて、ユーザのジェスチャによる操作入力を認識する際の奥行き方向の検出感度に関するパラメータを調整する。ジェスチャ認識処理部６０は、調整されたパラメータのもとで、距離計算部２０により計算された指示ポイントまでの奥行き方向の距離を参照して、ユーザのジェスチャによる操作入力を認識する。

Description

ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法
　この発明は、ジェスチャによる操作入力を処理する装置および方法に関する。
　立体映像が視聴できる３次元テレビが一般家庭でも利用できるようになった。また、３次元映像を記録したブルーレイディスクをプレイヤで再生して、３次元ディスプレイに表示して高画質の３次元映像を視聴することも可能になった。ゲーム機においても３次元ディスプレイに接続して３次元映像を用いたゲームアプリケーションをプレイできる。さらに、距離センサを備えたカメラを用いて、ユーザの３次元映像を撮影し、ゲームアプリケーションに取り込むこともある。
　ゲームアプリケーションの中には、ユーザが身体を用いて操作をしたり、ゲームに参加するタイプのものが増えている。今後、ゲームアプリケーションが３次元化すると、ジェスチャによる入力操作がより多く利用されることが予想される。
　特許文献１には、ユーザが画面から離れた位置から指示を与えることができるインタフェースを備えた携帯型ゲーム装置が開示されている。
国際公開第１０／０３８８２２号パンフレット
　ユーザのジェスチャによる操作入力を支援するためのジェスチャインタフェースの技術が求められている。システムは、ディスプレイを前にしてユーザがストレスを感じることなくジェスチャを介して操作を入力できるように、ジェスチャを認識する際の検出感度をシステムの性能に合わせて適切なレベルに制御する必要がある。
　本発明はこうした課題に鑑みてなされたものであり、その目的は、ジェスチャによる操作入力を容易にする技術を提供することにある。
　上記課題を解決するために、本発明のある態様のジェスチャ操作入力処理装置は、ディスプレイを見ながら行われるユーザのジェスチャを撮影した画像からユーザの指示ポイントを抽出する指示ポイント抽出部と、前記指示ポイントまでの奥行き方向の距離を求める距離計算部と、奥行き方向の距離計測の分解能および前記ディスプレイの３次元表示性能の少なくとも一方にもとづいて、ユーザのジェスチャによる操作入力を認識する際の奥行き方向の検出感度に関するパラメータを調整するパラメータ調整部と、調整されたパラメータのもとで、前記距離計算部により計算された前記指示ポイントまでの奥行き方向の距離を参照して、ユーザのジェスチャによる操作入力を認識するジェスチャ認識処理部とを含む。
　本発明の別の態様は、ジェスチャ操作入力処理方法である。この方法は、ユーザのジェスチャによる操作入力を支援するインタフェースを備えた３次元ジェスチャ入力システムにおけるジェスチャ操作入力処理方法であって、ディスプレイを見ながら行われるユーザのジェスチャを撮影した画像からユーザの指示ポイントを抽出するステップと、前記指示ポイントまでの奥行き方向の距離を求めるステップと、奥行き方向の距離計測の分解能および前記ディスプレイの３次元表示性能の少なくとも一方にもとづいて、ユーザのジェスチャによる操作入力を認識する際の奥行き方向の検出感度に関するパラメータを調整するステップと、調整されたパラメータのもとで、前記距離計算部により計算された前記指示ポイントまでの奥行き方向の距離を参照して、ユーザのジェスチャによる操作入力を認識するステップとを含む。
　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
　本発明によれば、ジェスチャによる操作入力が容易に行えるようになる。
３次元ジェスチャ入力システムの構成図である。 ジェスチャ操作入力処理装置の構成図である。 図３（ａ）、（ｂ）は、三角測量型のカメラの距離計測原理と距離分解能を説明する図である。 図４（ａ）、（ｂ）は、ＴＯＦ型のカメラの距離計測原理と距離分解能を説明する図である。 ディスプレイ装置の前面に設定される仮想的なスクリーンを説明する図である。 図６（ａ）～（ｅ）は、ジェスチャによる操作入力の例を説明する図である。 ジェスチャの奥行き方向の動き検出の感度を調整するパラメータを説明する図である。 図２のジェスチャ操作入力処理装置によるＺ方向の動き検出の感度に関するパラメータの調整方法を説明するフローチャートである。
　図１は、３次元ジェスチャ入力システム３００の構成図である。３次元ジェスチャ入力システム３００は、ゲーム機２００、ディスプレイ装置２１０、およびカメラ２２０を含む。
　ゲーム機２００は、ゲームアプリケーションなどのコンテンツを実行し、ディスプレイ装置２１０に映像や操作メニューなどを表示する。ゲーム機２００の代わりに、記録媒体に格納されたコンテンツを再生するプレイヤを用いてもよい。
　ディスプレイ装置２１０は、２次元表示および／または３次元表示が可能なディスプレイである。ディスプレイ装置２１０が２次元表示のみが可能である場合、コンテンツを２次元画像として表示するが、３次元表示も可能である場合、ユーザからの指示またはアプリケーションからの指示に応じて、コンテンツを２次元画像または３次元画像として表示する。
　カメラ２２０は、ユーザ２５０のジェスチャを撮影する。カメラ２２０は、ディスプレイ装置２１０の上部などに設けられる。カメラ２２０の設置位置を原点とし、ディスプレイ表面をＸＹ平面とし、ディスプレイ表面に垂直な方向をＺ軸とする座標系を考える。カメラ２２０は、被写体までのＺ方向の距離を測定する測距機能を有する。たとえば、カメラ２２０は、音波や光を被写体に投射し、反射して戻ってくるまでの時間を計ることにより被写体までの距離を測定する距離センサを有してもよく、あるいは、異なる二つの視点から撮影した視差画像から奥行き値を計算する画像処理ユニットを有してもよい。
　ユーザ２５０は、ディスプレイ装置２１０に表示された画像を見ながら、ジェスチャによりゲーム機２００に対する操作コマンドを入力する。ディスプレイ装置２１０がステレオディスプレイのように立体視のために専用メガネ２３０を有する場合は、ユーザ２５０は専用メガネ２３０を装着してディスプレイ装置２１０の画面を見る。
　ユーザ２５０は、手の指などを指示ポイント２４０ａ～ｃとして３次元空間内で動かすことによって、操作コマンドをゲーム機２００に与える。ディスプレイ装置２１０の画面には、ユーザのジェスチャ入力を支援するために、ゲーム機２００が検出した指示ポイント２４０ａ～ｃの移動軌跡が表示される。
　ゲーム機２００は、カメラ２２０により撮影されたユーザ２５０のジェスチャ画像からユーザ２５０の手の指などの指示ポイント２４０ａ～ｃを検出し、カメラ２２０から指示ポイント２４０ａ～ｃまでの距離を求める。
　ゲーム機２００が指示ポイント２４０ａ～ｃを検出しやすいように、ユーザは人差し指だけを差し出すようにしてもよい。あるいは、指示ポイント２４０を画像認識しやすいように、ユーザ２５０はマーカーが付けられた指キャップを指に付けたり、マーカーが付けられた指示棒を使用してジェスチャを行ってもよい。あるいは、ユーザ２５０は、３次元座標を検出できる位置センサを搭載したコントローラを手にもってジェスチャを行い、コントローラから無線通信などにより、位置センサが検出した３次元座標をゲーム機２００に送信してもよい。
　ゲーム機２００は、ユーザ２５０の指示ポイント２４０の３次元空間内での動きに応じて、ユーザが意図した操作コマンドを認識し、操作コマンドを実行する。特に、ゲーム機２００は、ユーザ２５０のジェスチャの奥行き方向の動きを検出することにより、ユーザ２５０のジェスチャに自由度をもたせて、ジェスチャ入力インタフェースに柔軟性を与えることができる。
　図２は、ジェスチャ操作入力処理装置１００の構成図である。図２に示すジェスチャ操作入力処理装置１００の機能構成の一部または全部は、ゲーム機２００にハードウェア、ソフトウェアまたはその組み合わせによって実装することができる。ゲーム機２００以外に、パーソナルコンピュータ、携帯機器、携帯端末などに実装してもよい。
　ジェスチャ操作入力処理装置１００は、指示ポイント抽出部１０、距離計算部２０、距離センサ性能取得部３０、距離センサデータベース３２、ディスプレイ性能取得部４０、ディスプレイデータベース４２、ジェスチャ認識パラメータ調整部５０、仮想スクリーン記憶部５２、ジェスチャ認識処理部６０、表示制御部７０、およびアプリケーション実行部８０を有する。
　指示ポイント抽出部１０は、カメラ２２０が撮影したユーザ２５０のジェスチャ画像を取得し、ジェスチャ画像からユーザの指示ポイント２４０を抽出する。指示ポイント２４０は、ユーザの指の先端部やマーカーが付された箇所であるから、エッジ抽出や画像解析など一般的な画像処理機能を用いて指示ポイント２４０を画像から抽出することができる。
　距離計算部２０は、指示ポイント２４０までの奥行き方向の距離を求める。カメラ２２０が三角測量型の測距機能を有する場合、異なる二つの視点から撮像された視差画像から指示ポイント２４０までの奥行き方向の距離を求める。カメラ２２０がアクティブ型レーザ距離計やレーダーなどＴＯＦ（time of flight）の距離センサを有する場合、距離計算部２０は、指示ポイント２４０に光を投影してから、その光が指示ポイント２４０に反射して戻ってくるまでの往復時間をカメラ２２０から取得して、往復時間に光の速度を乗算することにより、指示ポイント２４０までの距離を求める。
　距離センサ性能取得部３０は、距離センサデータベース３２を参照して、カメラ２２０の距離センサの分解能に関する情報を取得し、ジェスチャ認識パラメータ調整部５０に与える。距離センサの分解能情報には、測定可能な距離の範囲や、距離センサの測距方式が三角測量型であるか、ＴＯＦ型であるかを示す識別情報などが含まれる。
　ディスプレイ性能取得部４０は、ディスプレイデータベース４２を参照して、ディスプレイ装置２１０の表示性能に関する情報を取得し、ディスプレイ装置２１０の表示性能情報をジェスチャ認識パラメータ調整部５０に与える。表示性能情報には、３次元表示性能に関する情報が含まれる。たとえば、ディスプレイ装置２１０が、通常の液晶テレビのディスプレイのようにＺ方向の表示能力をもたない２Ｄディスプレイであるか、ステレオ視（両眼立体視）可能なステレオディスプレイであるか、３次元空間を表示可能な３Ｄディスプレイであるかを示す識別情報が含まれる。
　ジェスチャ認識パラメータ調整部５０は、距離センサ性能取得部３０から与えられる距離センサの分解能と、ディスプレイ性能取得部４０から与えられるディスプレイの３次元表示性能と、距離計算部２０から与えられる指示ポイント２４０までの測定距離とにもとづいて、ジェスチャ認識する際のパラメータを調整する。ジェスチャ認識の際のパラメータは、特に指示ポイント２４０の奥行き方向の動きを検出する感度を調整するためのものである。
　ジェスチャ認識パラメータ調整部５０は、奥行き方向の距離計測の分解能が高ければ、指示ポイント２４０の奥行き方向の動きを検出する粒度を細かくして感度を上げ、逆に、奥行き方向の距離計測の分解能が低ければ、指示ポイント２４０の奥行き方向の動きを検出する粒度を粗くして感度を下げる。同様に、ディスプレイの３次元表示性能が高ければ、指示ポイント２４０の奥行き方向の動きを検出する粒度を細かくして感度を上げ、逆に、ディスプレイの３次元表示性能が低ければ、指示ポイント２４０の奥行き方向の動きを検出する粒度を粗くして感度を下げる。
　本実施の形態では、ディスプレイ装置２１０の前面に、仮想的なスクリーンを設定し、指示ポイント２４０が仮想的なスクリーンを通過することを契機に、指示ポイント２４０をアクティブ化する。指示ポイント２４０が仮想的なスクリーンよりユーザから見て手前にある場合は、指示ポイント２４０は非アクティブとすることで、ユーザが指などで操作入力を与えるときと、与えないときを容易に区別できるようにする。仮想的なスクリーンをディスプレイ装置２１０の前面に複数設置してユーザが段階的に指を差し入れることで、段階的に操作入力を与えることができるようにしてもよい。仮想スクリーン記憶部５２は、そのような仮想的なスクリーンの設置位置や設置間隔などの情報を保持する。
　ジェスチャ認識パラメータ調整部５０は、仮想スクリーン記憶部５２に保持された仮想的なスクリーンの設置位置や設置間隔などのパラメータを調整することにより、指示ポイント２４０の奥行き方向の動きを検出する感度を調整することができる。
　ジェスチャ認識処理部６０は、調整されたパラメータのもとで、距離計算部２０により計算された指示ポイント２４０までの奥行き方向の距離を参照して、３次元空間内のユーザのジェスチャを認識し、操作コマンドを特定する。ジェスチャ認識処理部６０は、指示ポイント２４０までの奥行き方向の距離にもとづいて、指示ポイント２４０がディスプレイ装置２１０の前面に設定された仮想的なスクリーンを通過したかどうかを判定し、通過した場合に指示ポイント２４０をアクティブ化し、ユーザのジェスチャによる操作入力を特定する。表示制御部７０は、ジェスチャ認識処理部６０がユーザのどのようなジェスチャを認識しているかを示すために、ディスプレイ装置２１０に指示ポイント２４０の移動軌跡を表示する。
　アプリケーション実行部８０は、ジェスチャ認識処理部６０により特定された操作コマンドを実行し、アプリケーションに反映させる。
　図３（ａ）、（ｂ）は、三角測量型のカメラ２２０の距離計測原理と距離分解能を説明する図である。図３（ａ）に示すように、三角測量の場合、２台のカメラ２２０ａ、２２０ｂを用いて異なる視点から視差画像を撮像するか、１台のカメラ２２０を移動させて視点位置を異ならせて視差画像を撮像することにより、指示ポイント２４０までの距離ｄを測定する。三角測量の原理を用いた測距カメラの一例として、ステレオカメラがある。
　図３（ｂ）のグラフは、三角測量型のカメラ２２０における、絶対距離ｄに対する距離分解能Ｒを示す。グラフの横軸は視点から被写体までの絶対距離ｄであり、縦軸は三角測量による距離分解能Ｒである。図３（ｂ）に示すように、三角測量の場合、被写体までの距離が遠く離れるほど、距離分解能Ｒが低くなり、測定精度は落ちる。逆に被写体までの距離が近いほど、距離分解能Ｒが高くなり、測定精度は上がる。
　図４（ａ）、（ｂ）は、ＴＯＦ型のカメラ２２０の距離計測原理と距離分解能を説明する図である。ＴＯＦ型のカメラ２２０の場合、被写体に赤外光や超音波を投射し、その反射波を測定することにより、被写体までの距離を測定する。図４（ａ）に示すように、ＴＯＦ法では、カメラ２２０のセンサから出た光が指示ポイント２４０に当たって反射し、センサに届くまでの往復時間ｔを測定し、光の速度ｃを乗算して２で割ることにより、次式のように距離ｄを求めることができる。
　ｄ＝ｔ×ｃ／２
　図４（ｂ）のグラフは、ＴＯＦ型のカメラ２２０における、絶対距離ｄに対する距離分解能Ｒを示す。図４（ｂ）に示すように、ＴＯＦ法の場合、被写体までの距離に関係なく、距離分解能Ｒは一定であり、被写体までの距離が遠く離れても、測定精度は落ちない。
　三角測量型のカメラ２２０は被写体までの距離が遠くなると測定精度が落ちるが、二つの視点の間隔をより広げれば、測定精度を上げることができる。一般家庭でディスプレイ装置２１０にカメラ２２０を設置することを考えると、視点間隔を広げることには限界があるため、絶対距離に関係なく測定精度が一定であるＴＯＦ型のカメラ２２０を用いた方が有利である。
　ディスプレイ装置２１０についてもジェスチャによる操作入力に影響を与える表示能力の違いがある。２次元ディスプレイ、たとえば普通の液晶テレビのディスプレイは、Ｚ方向の表現能力は持たない。このような２次元ディスプレイの場合、ユーザがディスプレイに写し出された自分の姿または指示ポイント２４０の移動軌跡を見ながら、空中で円を描くと、奥行き方向の距離が一定でない円になることが多い。
　ステレオ視（両眼立体視）が可能なステレオディスプレイは、Ｚ方向の表現能力を持ち、ユーザは、裸眼または偏光メガネを用いて一組の左右画像を見ることで立体視することができる。たとえば、左右画像を時分割切り替え表示し、液晶シャッターメガネにより、左右の目に交互に左画像／右画像を入力する方式や、パララックスバリアやレンチキュラレンズを用いて、裸眼状態で左右の目にそれぞれ左画像／右画像が見えるようにする方式で立体視が可能である。このようなステレオディスプレイの場合、ユーザがディスプレイを見ながら、空中で円を描くと、ディスプレイ面に平行な円を描くことができる。しかし、ステレオディスプレイは、立体視するためのユーザの視点位置が固定されており、ある視点から一方向に見た立体視しかできず、ユーザの視点位置の変化には追随できないものが多い。
　インテグラルイメージング方式やホログラム方式などの多視点対応の３次元ディスプレイは、視点位置に応じて異なる左右画像を複数組映し出すことで、異なる視点位置から見ても立体視することができる。このような３次元ディスプレイの場合、ユーザは、どの視点位置から見ても立体視ができることから、あたかも３次元空間に実物があるかのように見え、表示された立体画像を見ながら、奥行き方向の操作をより正確に行うことができる。３次元ディスプレイは、ユーザの視点位置の変化に追随することができ、より自然な立体視が可能である。さらにホログラム方式を使えば、左右画像を実質的に無限組見せることができるので、ほぼ完全な立体視が可能となる。
　ディスプレイ装置２１０が、２次元ディスプレイから、ステレオディスプレイ、そして３次元ディスプレイになるにつれて、ユーザがジェスチャにより操作入力する際のＺ軸方向の操作精度が上がり、Ｚ方向にリッチなジェスチャをして操作入力することが可能になる。
　本実施の形態の３次元ジェスチャ入システム３００では、カメラ２２０の距離計測分解能と、ディスプレイ装置２１０の３次元表示性能に応じて、ジェスチャ認識のパラメータを調整することで、ユーザの操作感を最適化する。
　図５は、ディスプレイ装置２１０の前面に設定される仮想的なスクリーンを説明する図である。ディスプレイ装置２１０に設置されたカメラ２２０を原点とし、ディスプレイ装置２１０面をＸＹ平面とし、ディスプレイ装置２１０面に垂直な奥行き方向をＺ軸とする座標系において、カメラ２２０からの距離ｄがＺ１、Ｚ２（Ｚ１＜Ｚ２）の位置にそれぞれ仮想的な第１、第２仮想スクリーン２７０ａ、２７０ｂが設けられている。
　ユーザが指などをディスプレイ装置２１０に向かって差し出し、指示ポイント２４０がこれらの仮想スクリーンを突き破った場合、指示ポイント２４０をアクティブにする。仮想スクリーンは、指示ポイント２４０までの奥行き距離に応じて指示ポイント２４０をアクティブにする距離スイッチ機能を有する。
　ユーザが手の指をディスプレイ装置２１０に向かって差し出し、指示ポイント２４０の位置のＺ座標の値がＺ２よりも小さくなったとき、指示ポイント２４０は第２仮想スクリーン２７０ｂを突き破ったと判定され、さらに、指示ポイント２４０の位置のＺ座標の値がＺ１よりも小さくなったとき、指示ポイント２４０は第１仮想スクリーン２７０ａを突き破ったと判定される。
　たとえば、指示ポイント２４０が距離Ｚ２の位置にある第２仮想スクリーン２７０ｂを突き破った場合、ジェスチャ認識処理部６０は、その動作をディスプレイ上のボタンなどを選択する操作であると認識し、指示ポイント２４０がさらに距離Ｚ１の位置にある第１仮想スクリーン２７０ａを突き破ると、ジェスチャ認識処理部６０は、その動作をワープ操作であると認識してもよい。
　このように奥行き方向の距離に応じて２段階の仮想スクリーンを設けることにより、ジェスチャ認識処理部６０は、ユーザのジェスチャの奥行き方向の変化に応じて、異なる操作コマンドを特定することができる。仮想スクリーンの段数をさらに増やせば、突き破る仮想スクリーンの段数に応じてさらに多くの異なる操作コマンドを特定することができる。また、仮想スクリーンの段数を増やせば、奥行き方向の動きの加速度変化を検出して、操作コマンドにさらにバリエーションをもたせることもできる。
　図６（ａ）～（ｅ）は、ジェスチャによる操作入力の例を説明する図である。図６（ａ）は、指を仮想スクリーンに突っ込んでそこを原点として上下左右に動かしたり、円を描くことにより、相対的なコントロールを入力する例である。たとえば、指が仮想スクリーンを突き破ると、指示ポイント２４０がアクティブになり、ディスプレイ装置２１０に表示されたオブジェクトやアイコンが選択され、指示ポイント２４０を上下左右に動かすことで、画面に表示されたオブジェクトやアイコンを上下左右に動かすことができる。また、ディスプレイ装置２１０の画面に画像やドキュメントが表示されている場合は、指を上下左右に動かすことで上下左右にスクロールしたり、右回りの円を描くことで拡大、左回りの円を描くことで縮小表示できるようにしてもよい。
　図６（ｂ）は、指を仮想スクリーンに突っ込み、カメラ２２０ａ、２２０ｂの視界を横切るように、大きく左右に動かした場合、ジェスチャ認識処理部６０は、ユーザのジェスチャをフリック入力と判定し、アプリケーション実行部８０は、判定された操作入力にしたがって、たとえば、次の画面に移動したり、連続スクロールを実行したりする。
　図６（ｃ）、（ｄ）は、ユーザがジェスチャによりピンチ操作を入力する様子を示す。ピンチとは二本の指でつまむような動作をして、指と指の間を広げたり（ピンチアウト）、狭めたりする（ピンチイン）ことである。
　図６（ｃ）は、左右の２本の指を仮想スクリーンに突っ込み、２本の指の間隔を狭めるジェスチャを行った場合、ジェスチャ認識処理部６０は、このジェスチャをピンチイン操作であると判定し、表示制御部７０は、表示されている画面を縮小する処理を実行する。
　図６（ｄ）は、左右の２本の指を仮想スクリーンに突っ込み、２本の指の間隔を広げるジェスチャを行った場合、ジェスチャ認識処理部６０は、このジェスチャをピンチアウト操作であると判定し、表示制御部７０は、表示されている画面を拡大する処理を実行する。
　図６（ｅ）は、指示ポイント２４０がアクティブのときに、さらに指を突き出すと、ジェスチャ認識処理部６０は、ワープ操作であると判定する。また、たとえば、指を１本だけを突き出すと、ジェスチャ認識処理部６０は、選択／実行ボタンの押し下げと判定するが、２本突き出すと、キャンセルボタンの押し下げであると判定してもよい。
　図７は、ジェスチャの奥行き方向の動き検出の感度を調整するパラメータを説明する図である。ディスプレイ面をＸＹ平面、ディスプレイ面に垂直な方向をＺ軸として、Ｚ＝Ｚ１、Ｚ２、Ｚ３（Ｚ１＜Ｚ２＜Ｚ３）の位置にそれぞれ仮想スクリーン２７０ａ、２７０ｂ、２７０ｃが設けられたとする。設定する仮想スクリーンの段数をＮ、隣り合う仮想スクリーンの間隔をＤ、各仮想スクリーンのデッドバンド（不感帯）の幅をｄとする。
　段数Ｎ、間隔Ｄ、およびデッドバンド幅ｄは、ジェスチャの奥行き方向の動き検出の感度に関するパラメータであり、これらのパラメータを、距離計測分解能と３次元表示性能にもとづいて調整する。また、これらの調整パラメータを奥行き方向の距離Ｚに依存して変化させてもよい。
　ディスプレイ装置２１０が、２次元ディスプレイからステレオディスプレイ、そして、３Ｄディスプレイへと３次元表示性能が上がるにつれて、ジェスチャ認識パラメータ調整部５０は、段数Ｎを増やし、間隔Ｄとデッドバンド幅ｄは減らす。３次元表示性能が高いほど、ユーザはＺ方向にリッチな動作をすることができるようになり、Ｚ方向の検出感度を高めても問題がないからである。
　カメラ２２０が三角測量型である場合、奥行き方向の距離に応じて段数Ｎ、間隔Ｄ、およびデッドバンド幅ｄを変化させる。三角測量法の場合、被写体がカメラ２２０から遠くなるほど測定精度が落ちるため、カメラ２２０からの距離が所定の閾値より小さいところでは、段数Ｎを増やし、間隔Ｄとデッドバンド幅ｄは減らしてＺ方向の検出感度を上げ、カメラ２２０からの距離が所定の閾値より大きいところでは、段数Ｎを減らし、間隔Ｄとデッドバンド幅ｄは減らしてＺ方向の検出感度を下げる。
　カメラ２２０がＴＯＦ型である場合、奥行き方向の距離が変わっても測定精度は変わらないため、間隔Ｄ、デッドバンド幅ｄは一定値にするが、ＴＯＦ型は測定精度が高いため、段数Ｎを三角測量型の場合よりは増やすことができる。
　図８は、ジェスチャ操作入力処理装置１００によるＺ方向の動き検出の感度に関するパラメータの調整方法を説明するフローチャートである。図８に示すフローチャートにおいては、各部の処理手順を、ステップを意味するＳ（Ｓｔｅｐの頭文字）と数字との組み合わせによって表示する。また、Ｓと数字との組み合わせによって表示した処理で何らかの判断処理が実行され、その判断結果が肯定的であった場合は、Ｙ（Ｙｅｓの頭文字）を付加して、例えば、（Ｓ１４のＹ）と表示し、逆にその判断結果が否定的であった場合は、Ｎ（Ｎｏの頭文字）を付加して、（Ｓ１４のＮ）と表示する。
　ディスプレイ性能取得部４０は、ディスプレイデータベース４２からディスプレイ性能、特に３次元表示性能に関するデータを取得する（Ｓ１０）。ゲーム機２００にディスプレイ装置２１０が接続された時点で、ゲーム機２００にはディスプレイ装置２１０のドライバがインストールされている。ディスプレイ性能取得部４０は、ディスプレイ装置２１０のドライバの情報をもとにディスプレイデータベース４２に問い合わせをして、３次元表示性能に関するデータを取得する。あるいは、ディスプレイ装置２１０のドライバに３次元表示性能に関するデータが含まれていれば、ディスプレイ性能取得部４０はドライバから３次元表示性能に関するデータを取り出してもよい。
　ジェスチャ認識パラメータ調整部５０は、調整パラメータである段数Ｎ、間隔Ｄ、およびデッドバンド幅ｄの初期値を設定する（Ｓ１２）。この初期値は、ディスプレイが高度な３次元表示性能をもつことを前提としたデフォールト値である。
　ディスプレイ性能取得部４０は、３次元表示性能に関するデータにもとづいて、ディスプレイ装置２１０が３次元ディスプレイであるかどうかを判定する（Ｓ１４）。３次元ディスプレイであれば（Ｓ１４のＹ）、段数Ｎ、間隔Ｄ、およびデッドバンド幅ｄの初期値を変えることなく、ステップＳ２２に進む。
　３次元ディスプレイでなければ（Ｓ１４のＮ）、ジェスチャ認識パラメータ調整部５０は、段数Ｎを減少させ、間隔Ｄおよびデッドバンド幅ｄを増加させる（Ｓ１６）。次に、ディスプレイ性能取得部４０は、ディスプレイ装置２１０がステレオディスプレイであるかどうかを判定する（Ｓ１８）。ステレオディスプレイであれば（Ｓ１８のＹ）、これ以上、段数Ｎ、間隔Ｄ、およびデッドバンド幅ｄの値を変えることなく、ステップＳ２２に進む。
　ディスプレイ装置２１０がステレオディスプレイでない、すなわち、２次元ディスプレイである場合（Ｓ１８のＮ）、ジェスチャ認識パラメータ調整部５０は、さらに段数Ｎを減少させ、間隔Ｄおよびデッドバンド幅ｄを増加させる（Ｓ２０）。
　次に、距離センサ性能取得部３０は、距離センサデータベース３２からカメラ２２０の距離分解能に関するデータを取得する（Ｓ２１）。ゲーム機２００にカメラ２２０が接続された時点で、ゲーム機２００にはカメラ２２０のドライバがインストールされている。距離センサ性能取得部３０は、カメラ２２０のドライバの情報をもとに距離センサデータベース３２に問い合わせをして、距離分解能に関するデータを取得する。あるいは、カメラ２２０のドライバに距離分解能に関するデータが含まれていれば、距離センサ性能取得部３０はドライバから距離分解能に関するデータを取り出してもよい。
　距離センサ性能取得部３０は、距離分解能に関するデータにもとづいて、カメラ２２０が三角測量型であるかどうかを判定する（Ｓ２２）。三角測量型であれば（Ｓ２２のＹ）、奥行き方向の距離に応じて段数Ｎ、間隔Ｄ、およびデッドバンド幅ｄを異ならせる（Ｓ２４）。具体的には、カメラ２２０に近い位置ほど仮想スクリーンの段数Ｎを増やし、カメラ２２０から遠くなるほど仮想スクリーンの段数Ｎを減らす。また、カメラ２２０に近い位置の仮想スクリーンについては、測定精度が高いため、隣り合うスクリーンの間隔Ｄを狭くし、デッドバンド幅ｄも狭くする。カメラ２２０から遠い位置の仮想スクリーンについては、測定精度が落ちるため、隣り合うスクリーンの間隔Ｄを広くし、デッドバンド幅ｄも広くする。
　カメラ２２０が三角測量型でない場合（Ｓ２２のＮ）、距離センサ性能取得部３０は、距離分解能に関するデータにもとづいて、カメラ２２０がＴＯＦ型であるかどうかを判定する（Ｓ２６）。ＴＯＦ型であれば（Ｓ２６のＹ）、奥行き方向の距離に関係なく、仮想スクリーンの段数Ｎ、間隔Ｄ、およびデッドバンド幅ｄは一定にし、仮想スクリーンの総段数Ｎは増やす（Ｓ２８）。ＴＯＦ型でない場合（Ｓ２６のＮ）、段数Ｎ、間隔Ｄ、およびデッドバンド幅ｄをこれ以上調整せず、ステップＳ３０に進む。
　ジェスチャ認識パラメータ調整部５０は、調整された段数Ｎ、間隔Ｄ、およびデッドバンド幅ｄをジェスチャ認識処理部６０に供給する（Ｓ３０）。
　以上述べたように、本実施の形態の３次元ジェスチャ入力システム３００によれば、距離センサの測定分解能とディスプレイの３次元表示性能にもとづいて、ユーザのジェスチャの特に奥行き方向の検出感度を適切に調整することにより、ユーザはストレスを感じることなく、また、システムの性能に応じてジェスチャによる入力を行うことができる。距離センサやディスプレイの組み合わせが変わっても、システム側で自動的に検出感度を調整するため、シームレスで柔軟性に富むジェスチャ入力インタフェースを提供することができる。
　以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　１０　指示ポイント抽出部、　２０　距離計算部、　３０　距離センサ性能取得部、　３２　距離センサデータベース、　４０　ディスプレイ性能取得部、　４２　ディスプレイデータベース、　５０　ジェスチャ認識パラメータ調整部、　５２　仮想スクリーン記憶部、　６０　ジェスチャ認識処理部、　７０　表示制御部、　８０　アプリケーション実行部、　１００　ジェスチャ操作入力処理装置、　２００　ゲーム機、　２１０　ディスプレイ装置、　２２０　カメラ、　２３０　専用メガネ、　２４０　指示ポイント、　２５０　ユーザ、　２７０　仮想スクリーン、　３００　３次元ジェスチャ入力システム。
　この発明は、ジェスチャによる操作入力を処理する装置および方法に利用できる。

Claims (9)

  1. 　ディスプレイを見ながら行われるユーザのジェスチャを撮影した画像からユーザの指示ポイントを抽出する指示ポイント抽出部と、
    　前記指示ポイントまでの奥行き方向の距離を求める距離計算部と、
    　奥行き方向の距離計測の分解能および前記ディスプレイの３次元表示性能の少なくとも一方にもとづいて、ユーザのジェスチャによる操作入力を認識する際の奥行き方向の検出感度に関するパラメータを調整するパラメータ調整部と、
    　調整されたパラメータのもとで、前記距離計算部により計算された前記指示ポイントまでの奥行き方向の距離を参照して、ユーザのジェスチャによる操作入力を認識するジェスチャ認識処理部とを含むことを特徴とするジェスチャ操作入力処理装置。
  2. 　前記パラメータ調整部は、前記指示ポイントを通過させるための奥行き方向に設けられた複数の仮想的なスクリーンの設置数、設置間隔、およびデッドバンドの少なくとも一つを奥行き方向の検出精度に関するパラメータとして調整することを特徴とする請求項１に記載のジェスチャ操作入力処理装置。
  3. 　前記ジェスチャ認識処理部は、前記距離計算部により計算された前記指示ポイントまでの奥行き方向の距離にもとづいて、奥行き方向に設定された仮想的なスクリーンをユーザの指示ポイントが通過するかどうかを検出し、通過した場合に、当該指示ポイントをアクティブにしてジェスチャによる操作入力を認識することを特徴とする請求項２に記載のジェスチャ操作入力処理装置。
  4. 　前記パラメータ調整部は、前記ディスプレイが３次元表示可能なものである場合、前記ディスプレイが２次元表示可能なものである場合に比べて、前記仮想的なスクリーンの設置数の増加、設置間隔の減少、およびデッドバンドの減少の少なくとも一つの調整を行うことを特徴とする請求項２または３に記載のジェスチャ操作入力処理装置。
  5. 　前記パラメータ調整部は、奥行き方向の距離計測がＴＯＦ（time of flight）型の測定方法によるものである場合、仮想的なスクリーンの設置数、設置間隔、およびデッドバンドを奥行き方向の距離に対して一定とすることを特徴とする請求項２から４のいずれかに記載のジェスチャ操作入力処理装置。
  6. 　前記パラメータ調整部は、奥行き方向の距離計測が三角測量型の測定方法によるものである場合、仮想的なスクリーンの設置数、設置間隔、およびデッドバンドを奥行き方向の距離に対して可変とすることを特徴とする請求項２から５のいずれかに記載のジェスチャ操作入力処理装置。
  7. 　ユーザのジェスチャによる操作入力を支援するインタフェースを備えた３次元ジェスチャ入力システムにおけるジェスチャ操作入力処理方法であって、
    　ディスプレイを見ながら行われるユーザのジェスチャを撮影した画像からユーザの指示ポイントを抽出するステップと、
    　前記指示ポイントまでの奥行き方向の距離を求めるステップと、
    　奥行き方向の距離計測の分解能および前記ディスプレイの３次元表示性能の少なくとも一方にもとづいて、ユーザのジェスチャによる操作入力を認識する際の奥行き方向の検出感度に関するパラメータを調整するステップと、
    　調整されたパラメータのもとで、前記指示ポイントまでの奥行き方向の距離を参照して、ユーザのジェスチャによる操作入力を認識するステップとを含むことを特徴とするジェスチャ操作入力処理方法。
  8. 　ディスプレイを見ながら行われるユーザのジェスチャを撮影した画像からユーザの指示ポイントを抽出する機能と、
    　前記指示ポイントまでの奥行き方向の距離を求める機能と、
    　奥行き方向の距離計測の分解能および前記ディスプレイの３次元表示性能の少なくとも一方にもとづいて、ユーザのジェスチャによる操作入力を認識する際の奥行き方向の検出感度に関するパラメータを調整する機能と、
    　調整されたパラメータのもとで、前記指示ポイントまでの奥行き方向の距離を参照して、ユーザのジェスチャによる操作入力を認識する機能とをコンピュータに実現させることを特徴とするプログラム。
  9. 　請求項８のプログラムを格納したことを特徴とする記録媒体。
PCT/JP2011/007089 2010-12-27 2011-12-19 ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法 WO2012090429A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP11853600.2A EP2660686B1 (en) 2010-12-27 2011-12-19 Gesture operation input system and gesture operation input method
CN2011800623628A CN103282859A (zh) 2010-12-27 2011-12-19 手势操作输入处理装置及手势操作输入处理方法
US13/921,558 US9465443B2 (en) 2010-12-27 2013-06-19 Gesture operation input processing apparatus and gesture operation input processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-290717 2010-12-27
JP2010290717A JP5711962B2 (ja) 2010-12-27 2010-12-27 ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/921,558 Continuation US9465443B2 (en) 2010-12-27 2013-06-19 Gesture operation input processing apparatus and gesture operation input processing method

Publications (1)

Publication Number Publication Date
WO2012090429A1 true WO2012090429A1 (ja) 2012-07-05

Family

ID=46382570

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/007089 WO2012090429A1 (ja) 2010-12-27 2011-12-19 ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法

Country Status (5)

Country Link
US (1) US9465443B2 (ja)
EP (1) EP2660686B1 (ja)
JP (1) JP5711962B2 (ja)
CN (1) CN103282859A (ja)
WO (1) WO2012090429A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103902037B (zh) * 2012-12-28 2017-09-29 联想(北京)有限公司 信息处理方法及电子设备
CN111562843A (zh) * 2020-04-29 2020-08-21 广州美术学院 一种手势捕捉的定位方法、装置、设备和存储介质

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5711962B2 (ja) * 2010-12-27 2015-05-07 株式会社ソニー・コンピュータエンタテインメント ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法
EP2703836B1 (en) 2012-08-30 2015-06-24 Softkinetic Sensors N.V. TOF illuminating system and TOF camera and method for operating, with control means for driving electronic devices located in the scene
JP5863984B2 (ja) 2012-10-05 2016-02-17 Ｎｅｃソリューションイノベータ株式会社 ユーザインタフェース装置及びユーザインタフェース方法
US9310895B2 (en) 2012-10-12 2016-04-12 Microsoft Technology Licensing, Llc Touchless input
JP6282072B2 (ja) * 2013-09-24 2018-02-21 株式会社三菱東京Ｕｆｊ銀行 情報処理装置およびプログラム
US9412012B2 (en) 2013-10-16 2016-08-09 Qualcomm Incorporated Z-axis determination in a 2D gesture system
CN103558919A (zh) * 2013-11-15 2014-02-05 深圳市中兴移动通信有限公司 可视化内容分享方法及其装置
JP6222830B2 (ja) * 2013-12-27 2017-11-01 マクセルホールディングス株式会社 画像投射装置
CN103713536B (zh) * 2013-12-27 2016-05-04 广东省自动化研究所 一种基于超声定位的3d手势识别控制器及方法
KR102159994B1 (ko) * 2014-01-22 2020-09-25 삼성전자주식회사 티오에프 카메라 장치 및 이의 구동 방법
EP3113969B1 (de) * 2014-03-07 2018-06-06 Volkswagen Aktiengesellschaft Anwenderschnittstelle und verfahren zur signalisierung einer 3d-position eines eingabemittels bei der gestenerfassung
CN104951059B (zh) * 2014-03-31 2018-08-10 联想(北京)有限公司 一种数据处理方法、装置及一种电子设备
JP2015200960A (ja) * 2014-04-04 2015-11-12 株式会社リコー 情報システム、情報処理方法、及びプログラム
CN104978014B (zh) * 2014-04-11 2018-05-11 维沃移动通信有限公司 一种快速调用应用程序或***功能的方法及其移动终端
DE102014107683B3 (de) * 2014-06-02 2015-10-01 Insta Elektro Gmbh Verfahren zum Betreiben einer Gebäudeinstallation mit einem Situationswächter sowie Gebäudeinstallation mit einem Situationswächter
KR102209354B1 (ko) * 2014-06-20 2021-01-29 엘지전자 주식회사 영상 표시 기기 및 그의 동작 방법
US10482670B2 (en) 2014-12-30 2019-11-19 Qingdao Goertek Technology Co., Ltd. Method for reproducing object in 3D scene and virtual reality head-mounted device
CN104571510B (zh) 2014-12-30 2018-05-04 青岛歌尔声学科技有限公司 一种3d场景中输入手势的***和方法
US20180133596A1 (en) * 2015-04-15 2018-05-17 Thomason Licensing Configuring translation of three dimensional movement
US9442575B1 (en) * 2015-05-15 2016-09-13 Atheer, Inc. Method and apparatus for applying free space input for surface constrained control
US9841836B2 (en) * 2015-07-28 2017-12-12 General Electric Company Control of non-destructive testing devices
JP6240135B2 (ja) 2015-10-26 2017-11-29 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理方法およびプログラム
JP6733309B2 (ja) * 2016-05-25 2020-07-29 株式会社ノーリツ 給湯装置
JP6706323B2 (ja) * 2016-07-12 2020-06-03 富士フイルム株式会社 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム
CN106445122B (zh) * 2016-09-08 2020-06-05 北京小米移动软件有限公司 设备状态控制方法及装置
WO2018083737A1 (ja) * 2016-11-01 2018-05-11 マクセル株式会社 表示装置及び遠隔操作制御装置
US11243293B2 (en) * 2017-02-07 2022-02-08 Samsung Electronics Company, Ltd. Radar-based system for sensing touch and in-the-air interactions
CN110249290A (zh) * 2017-02-13 2019-09-17 索尼公司 信息处理设备、信息处理方法和程序
CN108665480A (zh) * 2017-03-31 2018-10-16 满景资讯股份有限公司 三维侦测装置的操作方法
CN107255942A (zh) * 2017-06-02 2017-10-17 昆山锐芯微电子有限公司 智能设备的控制方法、装置及***、存储介质
CN107300975A (zh) * 2017-07-13 2017-10-27 联想(北京)有限公司 一种信息处理方法及电子设备
CN109753140B (zh) * 2017-11-02 2021-08-24 腾讯科技（深圳）有限公司 基于虚拟现实的操作指令获取方法、装置
CN108132706A (zh) * 2017-11-27 2018-06-08 北京用友政务软件有限公司 一种终端设备的操作控制方法、***及终端设备
CN111479495B (zh) * 2017-11-28 2024-01-09 深圳迈瑞生物医疗电子股份有限公司 一种监护仪及其显示屏幕切换方法
JP2019191946A (ja) * 2018-04-25 2019-10-31 パイオニア株式会社 情報処理装置
JP7174397B2 (ja) * 2018-06-18 2022-11-17 チームラボ株式会社 映像表示システム，映像表示方法，及びコンピュータプログラム
JP6822445B2 (ja) * 2018-07-02 2021-01-27 カシオ計算機株式会社 投影装置、投影方法及びプログラム
CN109591033A (zh) * 2018-09-28 2019-04-09 广州智伴人工智能科技有限公司 一种非接触式人机交互***
JP2021189659A (ja) 2020-05-28 2021-12-13 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及びユーザの入力操作に基づく情報処理方法並びに該方法を実行するためのコンピュータプログラム
KR102321359B1 (ko) * 2020-06-02 2021-11-02 국민대학교산학협력단 손 모양 및 조도 센서에 기초하여 가상현실 콘텐츠를 제어하는 휴대용 단말 및 이를 포함하는 vr 뷰어 시스템
JP7452917B2 (ja) 2021-03-10 2024-03-19 株式会社ネクステッジテクノロジー 操作入力装置、操作入力方法及びプログラム
WO2023021757A1 (ja) * 2021-08-20 2023-02-23 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008117371A (ja) * 2006-10-13 2008-05-22 Sony Corp 近接検知型情報表示装置およびこれを使用した情報表示方法
JP2010015553A (ja) * 2008-06-03 2010-01-21 Shimane Pref Gov 画像認識装置および操作判定方法並びにプログラム
WO2010038822A1 (ja) 2008-10-01 2010-04-08 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理方法、情報記憶媒体及びプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6064354A (en) 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
JP2004265222A (ja) 2003-03-03 2004-09-24 Nippon Telegr & Teleph Corp <Ntt> インタフェース方法、装置、およびプログラム
US7787009B2 (en) 2004-05-10 2010-08-31 University Of Southern California Three dimensional interaction with autostereoscopic displays
US8279168B2 (en) * 2005-12-09 2012-10-02 Edge 3 Technologies Llc Three-dimensional virtual-touch human-machine interface system and method therefor
US8284165B2 (en) * 2006-10-13 2012-10-09 Sony Corporation Information display apparatus with proximity detection performance and information display method using the same
JP2008176438A (ja) 2007-01-17 2008-07-31 Tokai Rika Co Ltd 画像表示装置
US20080231926A1 (en) 2007-03-19 2008-09-25 Klug Michael A Systems and Methods for Updating Dynamic Three-Dimensional Displays with User Input
EP2095296B1 (en) 2007-04-20 2014-01-01 Softkinetic Software A method and system for providing a three-dimensional model of an object of interest.
JP2010009558A (ja) * 2008-05-28 2010-01-14 Oki Semiconductor Co Ltd 画像認識装置、電装機器動作制御ユニット、電化製品、画像認識プログラム、半導体装置
US8971565B2 (en) * 2008-05-29 2015-03-03 Hie-D Technologies, Llc Human interface electronic device
US8514251B2 (en) * 2008-06-23 2013-08-20 Qualcomm Incorporated Enhanced character input using recognized gestures
US20100100853A1 (en) * 2008-10-20 2010-04-22 Jean-Pierre Ciudad Motion controlled user interface
JP5182202B2 (ja) * 2009-04-14 2013-04-17 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US9383823B2 (en) * 2009-05-29 2016-07-05 Microsoft Technology Licensing, Llc Combining gestures beyond skeletal
US20100302138A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Methods and systems for defining or modifying a visual representation
US8487871B2 (en) * 2009-06-01 2013-07-16 Microsoft Corporation Virtual desktop coordinate transformation
JP5711962B2 (ja) * 2010-12-27 2015-05-07 株式会社ソニー・コンピュータエンタテインメント ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008117371A (ja) * 2006-10-13 2008-05-22 Sony Corp 近接検知型情報表示装置およびこれを使用した情報表示方法
JP2010015553A (ja) * 2008-06-03 2010-01-21 Shimane Pref Gov 画像認識装置および操作判定方法並びにプログラム
WO2010038822A1 (ja) 2008-10-01 2010-04-08 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理方法、情報記憶媒体及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2660686A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103902037B (zh) * 2012-12-28 2017-09-29 联想(北京)有限公司 信息处理方法及电子设备
CN111562843A (zh) * 2020-04-29 2020-08-21 广州美术学院 一种手势捕捉的定位方法、装置、设备和存储介质

Also Published As

Publication number Publication date
EP2660686A4 (en) 2017-02-01
US9465443B2 (en) 2016-10-11
EP2660686B1 (en) 2021-03-03
US20130278503A1 (en) 2013-10-24
EP2660686A1 (en) 2013-11-06
JP2012137989A (ja) 2012-07-19
CN103282859A (zh) 2013-09-04
JP5711962B2 (ja) 2015-05-07

Similar Documents

Publication Publication Date Title
JP5711962B2 (ja) ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法
CN108469899B (zh) 识别可穿戴显示装置的观察空间中的瞄准点或区域的方法
CN105229582B (zh) 基于近距离传感器和图像传感器的手势检测
EP2927634B1 (en) Single-camera ranging method and system
EP2638461B1 (en) Apparatus and method for user input for controlling displayed information
US8441435B2 (en) Image processing apparatus, image processing method, program, and recording medium
US8730164B2 (en) Gesture recognition apparatus and method of gesture recognition
US9454837B2 (en) Image processing apparatus, method, and computer-readable storage medium calculating size and position of one of an entire person and a part of a person in an image
EP2354893A1 (en) Reducing inertial-based motion estimation drift of a game input controller with an image-based motion estimation
EP2352078B1 (en) Information processing apparatus, information processing method, information recording medium, and program
US20120026376A1 (en) Anamorphic projection device
US9086742B2 (en) Three-dimensional display device, three-dimensional image capturing device, and pointing determination method
WO2014141504A1 (ja) ３次元ユーザインタフェース装置及び３次元操作処理方法
US20160274732A1 (en) Touchless user interfaces for electronic devices
EP2189835A1 (en) Terminal apparatus, display control method, and display control program
WO2011114564A1 (ja) 立体画像表示装置およびその制御方法
US9727229B2 (en) Stereoscopic display device, method for accepting instruction, and non-transitory computer-readable medium for recording program
US20180053338A1 (en) Method for a user interface
JP5341126B2 (ja) 検出領域拡大装置、表示装置、検出領域拡大方法、プログラムおよび、コンピュータ読取可能な記録媒体
EP3561570A1 (en) Head-mounted display apparatus, and visual-aid providing method thereof
CN102799378B (zh) 一种立体碰撞检测物体拾取方法及装置
JP6053845B2 (ja) ジェスチャ操作入力処理装置、３次元ディスプレイ装置およびジェスチャ操作入力処理方法
CN105867597B (zh) 3d交互方法及3d显示设备
KR20130071059A (ko) 이동 단말기 및 그 제어방법
WO2021241110A1 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11853600

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2011853600

Country of ref document: EP