WO2012090429A1 - ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法 - Google Patents
ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法 Download PDFInfo
- Publication number
- WO2012090429A1 WO2012090429A1 PCT/JP2011/007089 JP2011007089W WO2012090429A1 WO 2012090429 A1 WO2012090429 A1 WO 2012090429A1 JP 2011007089 W JP2011007089 W JP 2011007089W WO 2012090429 A1 WO2012090429 A1 WO 2012090429A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- gesture
- depth direction
- distance
- user
- operation input
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
Definitions
- the present invention relates to an apparatus and method for processing an operation input by a gesture.
- 3D TVs that can view 3D images can be used at home.
- a Blu-ray disc on which 3D video is recorded can be played back by a player and displayed on a 3D display for viewing high-quality 3D video.
- a game application using a 3D image can be played by connecting to a 3D display.
- video may be image
- Patent Document 1 discloses a portable game device having an interface that allows a user to give an instruction from a position away from the screen.
- -Gesture interface technology is required to support operation input by user gestures.
- the system needs to control the detection sensitivity when recognizing the gesture to an appropriate level according to the performance of the system so that the user can input an operation through the gesture without feeling stressed in front of the display. .
- the present invention has been made in view of these problems, and an object of the present invention is to provide a technique for facilitating operation input by a gesture.
- a gesture operation input processing device includes an instruction point extraction unit that extracts a user instruction point from an image obtained by photographing a user gesture performed while watching a display, and the instruction Based on at least one of the distance calculation unit for obtaining the distance in the depth direction to the point, the resolution of the distance measurement in the depth direction, and the three-dimensional display performance of the display, the depth direction when recognizing the operation input by the user's gesture
- a parameter adjustment unit that adjusts a parameter relating to detection sensitivity, and a distance in the depth direction to the indicated point calculated by the distance calculation unit based on the adjusted parameter, and an operation input by a user's gesture
- a gesture recognition processing unit for recognizing.
- Another aspect of the present invention is a gesture operation input processing method.
- This method is a gesture operation input processing method in a three-dimensional gesture input system having an interface that supports an operation input by a user's gesture, and points to the user from an image obtained by photographing the user's gesture while looking at a display. Recognizing an operation input by a user's gesture based on at least one of a depth direction distance measurement resolution and a 3D display performance of the display. Adjusting a parameter related to detection sensitivity in the depth direction when performing the gesture, and referring to the distance in the depth direction to the indicated point calculated by the distance calculation unit based on the adjusted parameter, Recognize operation input by And a step.
- FIGS. 3A and 3B are diagrams for explaining the distance measurement principle and distance resolution of a triangulation type camera.
- 4A and 4B are diagrams for explaining the distance measurement principle and distance resolution of a TOF type camera. It is a figure explaining the virtual screen set in the front surface of a display apparatus.
- 6A to 6E are diagrams for explaining an example of operation input by a gesture. It is a figure explaining the parameter which adjusts the sensitivity of the motion detection of the depth direction of a gesture.
- 3 is a flowchart for explaining a method for adjusting a parameter related to sensitivity of motion detection in the Z direction by the gesture operation input processing device of FIG. 2.
- FIG. 1 is a configuration diagram of a three-dimensional gesture input system 300.
- the three-dimensional gesture input system 300 includes a game machine 200, a display device 210, and a camera 220.
- the game machine 200 executes content such as a game application, and displays a video, an operation menu, and the like on the display device 210.
- content such as a game application
- a player that reproduces content stored in a recording medium may be used.
- the display device 210 is a display capable of two-dimensional display and / or three-dimensional display.
- the display device 210 can only display two-dimensionally, the content is displayed as a two-dimensional image.
- the content is displayed in two dimensions according to an instruction from the user or an instruction from the application. Display as an image or a three-dimensional image.
- the camera 220 photographs a gesture of the user 250.
- the camera 220 is provided on the display device 210 or the like.
- the display surface is the XY plane
- the direction perpendicular to the display surface is the Z axis.
- the camera 220 has a distance measuring function for measuring the distance in the Z direction to the subject.
- the camera 220 may have a distance sensor that measures the distance to the subject by projecting sound waves or light onto the subject and measuring the time from reflection to return, or two different viewpoints.
- You may have an image processing unit which calculates a depth value from the parallax image photoed from.
- the user 250 inputs an operation command for the game machine 200 with a gesture while viewing the image displayed on the display device 210.
- the display device 210 has the dedicated glasses 230 for stereoscopic viewing like a stereo display
- the user 250 wears the dedicated glasses 230 and views the screen of the display device 210.
- the user 250 gives an operation command to the game machine 200 by moving a finger or the like of the hand in the three-dimensional space as the instruction points 240a to 240c.
- the movement trajectories of the instruction points 240a to 240c detected by the game machine 200 are displayed in order to support the user's gesture input.
- the game machine 200 detects instruction points 240a to 240c such as fingers of the hand of the user 250 from the gesture image of the user 250 taken by the camera 220, and obtains distances from the camera 220 to the instruction points 240a to 240c.
- the user may present only the index finger.
- the user 250 may attach a finger cap with a marker to a finger or make a gesture using an indicator bar with a marker so that the instruction point 240 can be easily recognized.
- the user 250 performs a gesture by holding a controller equipped with a position sensor capable of detecting three-dimensional coordinates, and transmits the three-dimensional coordinates detected by the position sensor to the game machine 200 by wireless communication or the like. Good.
- the game machine 200 recognizes an operation command intended by the user in accordance with the movement of the instruction point 240 of the user 250 in the three-dimensional space, and executes the operation command.
- the game machine 200 can provide flexibility to the gesture input interface by detecting the movement in the depth direction of the gesture of the user 250 to give the user 250 a degree of freedom.
- FIG. 2 is a configuration diagram of the gesture operation input processing device 100.
- a part or all of the functional configuration of the gesture operation input processing device 100 illustrated in FIG. 2 can be implemented in the game machine 200 by hardware, software, or a combination thereof.
- the game machine 200 it may be mounted on a personal computer, a portable device, a portable terminal, or the like.
- the gesture operation input processing device 100 includes an instruction point extraction unit 10, a distance calculation unit 20, a distance sensor performance acquisition unit 30, a distance sensor database 32, a display performance acquisition unit 40, a display database 42, a gesture recognition parameter adjustment unit 50, a virtual screen.
- a storage unit 52, a gesture recognition processing unit 60, a display control unit 70, and an application execution unit 80 are included.
- the instruction point extraction unit 10 acquires a gesture image of the user 250 taken by the camera 220, and extracts a user instruction point 240 from the gesture image. Since the instruction point 240 is a point to which the tip of the user's finger or a marker is attached, the instruction point 240 can be extracted from the image using a general image processing function such as edge extraction or image analysis.
- the distance calculation unit 20 calculates the distance in the depth direction to the indication point 240.
- the distance in the depth direction from the parallax images captured from two different viewpoints to the instruction point 240 is obtained.
- the distance calculation unit 20 projects light onto the indication point 240, and then the light is reflected on the indication point 240.
- the round trip time until the camera returns is acquired from the camera 220, and the distance to the indication point 240 is obtained by multiplying the round trip time by the speed of light.
- the distance sensor performance acquisition unit 30 refers to the distance sensor database 32, acquires information regarding the resolution of the distance sensor of the camera 220, and provides the information to the gesture recognition parameter adjustment unit 50.
- the resolution information of the distance sensor includes a range of measurable distance, identification information indicating whether the distance sensor distance measurement method is a triangulation type, or a TOF type.
- the display performance acquisition unit 40 refers to the display database 42, acquires information related to the display performance of the display device 210, and provides the display performance information of the display device 210 to the gesture recognition parameter adjustment unit 50.
- the display performance information includes information regarding the three-dimensional display performance.
- the display device 210 is a 2D display that does not have a display capability in the Z direction as in a normal liquid crystal television display, or a stereo display that can be viewed in stereo (binocular stereoscopic view). Identification information indicating whether the 3D display is capable of displaying is included.
- the gesture recognition parameter adjustment unit 50 includes the resolution of the distance sensor provided from the distance sensor performance acquisition unit 30, the three-dimensional display performance of the display provided from the display performance acquisition unit 40, and the indication point 240 provided from the distance calculation unit 20. Based on the measured distance, the parameters for gesture recognition are adjusted. The parameters for the gesture recognition are particularly for adjusting the sensitivity of detecting the movement of the indication point 240 in the depth direction.
- the gesture recognition parameter adjustment unit 50 increases the sensitivity by finely adjusting the granularity for detecting the movement of the indication point 240 in the depth direction. Conversely, the resolution of the distance measurement in the depth direction is high. If it is low, the granularity for detecting the movement of the indication point 240 in the depth direction is coarsened to lower the sensitivity. Similarly, if the three-dimensional display performance of the display is high, the granularity for detecting the movement in the depth direction of the indication point 240 is made finer to increase the sensitivity. Conversely, if the three-dimensional display performance of the display is low, the indication point 240 Decrease the sensitivity by coarsening the granularity to detect the movement in the depth direction.
- a virtual screen is set on the front surface of the display device 210, and the instruction point 240 is activated when the instruction point 240 passes through the virtual screen.
- the instruction point 240 is in front of the virtual screen as viewed from the user, the instruction point 240 is inactive, so that it is easy to distinguish when the user gives an operation input with a finger or the like and when not giving it.
- a plurality of virtual screens may be installed on the front surface of the display device 210 so that the user can input operation in stages by inserting a finger in stages.
- the virtual screen storage unit 52 holds information such as installation positions and installation intervals of such virtual screens.
- the gesture recognition parameter adjustment unit 50 adjusts the sensitivity for detecting the movement of the indication point 240 in the depth direction by adjusting parameters such as the installation position and installation interval of the virtual screen held in the virtual screen storage unit 52. can do.
- the gesture recognition processing unit 60 recognizes the user's gesture in the three-dimensional space with reference to the distance in the depth direction to the indication point 240 calculated by the distance calculation unit 20 under the adjusted parameters. Specify the operation command.
- the gesture recognition processing unit 60 determines whether or not the instruction point 240 has passed the virtual screen set on the front surface of the display device 210 based on the distance in the depth direction to the instruction point 240.
- the instruction point 240 is activated, and the operation input by the user's gesture is specified.
- the display control unit 70 displays the movement locus of the instruction point 240 on the display device 210 in order to indicate what kind of gesture the user has recognized by the gesture recognition processing unit 60.
- the application execution unit 80 executes the operation command specified by the gesture recognition processing unit 60 and reflects it in the application.
- FIG. 3A and 3B are diagrams for explaining the distance measurement principle and distance resolution of the triangulation camera 220.
- FIG. 3A in the case of triangulation, two cameras 220a and 220b are used to capture parallax images from different viewpoints, or one camera 220 is moved to change the viewpoint position. By capturing the parallax image, the distance d to the instruction point 240 is measured.
- a stereo camera is an example of a ranging camera that uses the principle of triangulation.
- the graph of FIG. 3B shows the distance resolution R with respect to the absolute distance d in the triangulation type camera 220.
- the horizontal axis of the graph is the absolute distance d from the viewpoint to the subject, and the vertical axis is the distance resolution R by triangulation.
- the distance resolution R decreases as the distance to the subject increases, and the measurement accuracy decreases. Conversely, the closer the distance to the subject, the higher the distance resolution R and the higher the measurement accuracy.
- FIG. 4A and 4B are diagrams illustrating the distance measurement principle and distance resolution of the TOF type camera 220.
- FIG. 4A In the case of the TOF type camera 220, the distance to the subject is measured by projecting infrared light or ultrasonic waves onto the subject and measuring the reflected wave.
- the graph in FIG. 4B shows the distance resolution R with respect to the absolute distance d in the TOF type camera 220.
- the distance resolution R is constant regardless of the distance to the subject, and the measurement accuracy does not decrease even if the distance to the subject is far away.
- the measurement accuracy of the triangulation type camera 220 decreases as the distance to the subject increases, but the measurement accuracy can be increased by further widening the interval between the two viewpoints. Considering the installation of the camera 220 on the display device 210 in a general home, there is a limit to widening the viewpoint interval, so it is better to use the TOF type camera 220 whose measurement accuracy is constant regardless of the absolute distance. It is advantageous.
- the display device 210 also has a difference in display capability that affects operation input by gestures.
- a two-dimensional display such as an ordinary liquid crystal television display, does not have the ability to express in the Z direction.
- the distance in the depth direction is often a circle that is not constant. .
- a stereo display capable of stereo viewing has the ability to express in the Z direction, and the user can view stereoscopically by viewing a pair of left and right images using naked eyes or polarized glasses.
- the left and right images are displayed in a time-division switching manner, and the left and right eyes are alternately input using the liquid crystal shutter glasses, or a parallax barrier or lenticular lens is used.
- Stereoscopic viewing is possible by making the left image / right image visible.
- the stereo display has a fixed viewpoint of the user for stereoscopic viewing, and can only perform stereoscopic viewing from one viewpoint in one direction, and often cannot follow changes in the user's viewpoint.
- 3D displays that support multiple viewpoints, such as the integral imaging method and the hologram method, can be viewed stereoscopically from different viewpoint positions by projecting multiple different left and right images according to the viewpoint position.
- viewpoints such as the integral imaging method and the hologram method
- the user can perform stereoscopic viewing from any viewpoint position, it looks as if there is a real thing in the three-dimensional space, and while viewing the displayed stereoscopic image, the depth direction Can be performed more accurately.
- the three-dimensional display can follow a change in the viewpoint position of the user, and enables more natural stereoscopic viewing.
- the hologram method is used, a substantially infinite set of left and right images can be shown, so that almost perfect stereoscopic viewing is possible.
- the display device 210 changes from a two-dimensional display to a stereo display and a three-dimensional display, the operation accuracy in the Z-axis direction when the user performs an operation input with a gesture increases, and the operation input with a rich gesture in the Z direction occurs. It becomes possible to do.
- the user's operational feeling is optimized by adjusting the gesture recognition parameters according to the distance measurement resolution of the camera 220 and the 3D display performance of the display device 210. To do.
- FIG. 5 is a diagram for explaining a virtual screen set on the front surface of the display apparatus 210.
- the display device 210 surface is the XY plane, and the depth direction perpendicular to the display device 210 surface is the Z axis, the distance d from the camera 220 is Z1, Z2.
- Virtual first and second virtual screens 270a and 270b are provided at positions (Z1 ⁇ Z2), respectively.
- the virtual screen has a distance switch function that activates the instruction point 240 according to the depth distance to the instruction point 240.
- the gesture recognition processing unit 60 recognizes the operation as an operation for selecting a button or the like on the display, and the instruction point 240 Further pierce the first virtual screen 270a located at the distance Z1, the gesture recognition processing unit 60 may recognize the operation as a warp operation.
- the gesture recognition processing unit 60 can specify different operation commands according to the change in the depth direction of the user's gesture. If the number of virtual screens is further increased, more different operation commands can be specified according to the number of virtual screens to be penetrated. In addition, if the number of virtual screens is increased, it is possible to detect a change in the acceleration in the depth direction and further vary the operation command.
- FIG. 6A is an example in which relative control is input by pushing a finger into a virtual screen and moving it up, down, left, or right from the origin, or drawing a circle.
- the instruction point 240 is activated, the object or icon displayed on the display device 210 is selected, and the object displayed on the screen is moved by moving the instruction point 240 up, down, left, or right.
- the icon can be moved up, down, left and right.
- the finger When an image or document is displayed on the screen of the display device 210, the finger is moved up, down, left and right by moving the finger up, down, left and right, or a clockwise circle is drawn, and a counterclockwise circle is drawn. It may be possible to reduce the display.
- the gesture recognition processing unit 60 determines the user's gesture as a flick input, For example, the execution unit 80 moves to the next screen or executes continuous scrolling according to the determined operation input.
- FIG. 6 (c) and 6 (d) show how the user inputs a pinch operation using a gesture.
- Pinch is an operation of pinching with two fingers to widen (pinch out) or narrow (pinch in) between the fingers.
- the gesture recognition processing unit 60 determines that the gesture is a pinch-in operation.
- the display control unit 70 executes processing for reducing the displayed screen.
- the gesture recognition processing unit 60 determines that the gesture is a pinch-out operation. Then, the display control unit 70 executes a process for enlarging the displayed screen.
- the gesture recognition processing unit 60 determines that the operation is a warp operation. Further, for example, when only one finger is pushed out, the gesture recognition processing unit 60 determines that the selection / execution button is pressed, but when two fingers are pushed out, the gesture recognition processing unit 60 may determine that the cancel button is pressed.
- FIG. 7 is a diagram illustrating parameters for adjusting the sensitivity of motion detection in the depth direction of a gesture.
- the number of virtual screens to be set is N, the interval between adjacent virtual screens is D, and the width of the dead band (dead zone) of each virtual screen is d.
- the stage number N, the interval D, and the dead bandwidth d are parameters relating to the sensitivity of motion detection in the depth direction of the gesture, and these parameters are adjusted based on the distance measurement resolution and the three-dimensional display performance. Further, these adjustment parameters may be changed depending on the distance Z in the depth direction.
- the gesture recognition parameter adjustment unit 50 increases the number of stages N and decreases the interval D and the dead bandwidth d. This is because the higher the three-dimensional display performance, the more the user can perform a rich operation in the Z direction, and there is no problem even if the detection sensitivity in the Z direction is increased.
- the number of steps N, the interval D, and the dead band width d are changed according to the distance in the depth direction.
- the measurement accuracy decreases as the subject is farther from the camera 220. Therefore, when the distance from the camera 220 is smaller than a predetermined threshold, the number of steps N is increased, the interval D and the dead band width d are decreased, and the Z direction is reached.
- the distance from the camera 220 is larger than a predetermined threshold, the number of steps N is reduced, the interval D and the dead band width d are reduced, and the detection sensitivity in the Z direction is lowered.
- the measurement accuracy does not change even if the distance in the depth direction changes. Therefore, the interval D and the dead band width d are constant, but the TOF type has a high measurement accuracy. It can be increased compared to the triangulation type.
- FIG. 8 is a flowchart illustrating a method for adjusting a parameter related to the sensitivity of motion detection in the Z direction by the gesture operation input processing device 100.
- the processing procedure of each part is displayed by a combination of S (acronym for Step) meaning a step and a number.
- S anacronym for Step
- Y anacronym for Yes
- N the acronym for No
- the display performance acquisition unit 40 acquires data related to display performance, particularly 3D display performance, from the display database 42 (S10).
- the driver of the display device 210 is installed in the game machine 200.
- the display performance acquisition unit 40 makes an inquiry to the display database 42 based on information about the driver of the display device 210 and acquires data related to the three-dimensional display performance.
- the display performance acquisition unit 40 may extract data related to 3D display performance from the driver.
- the gesture recognition parameter adjustment unit 50 sets initial values of the stage number N, the interval D, and the dead bandwidth d, which are adjustment parameters (S12). This initial value is a default value based on the premise that the display has high three-dimensional display performance.
- the display performance acquisition unit 40 determines whether or not the display device 210 is a three-dimensional display based on the data regarding the three-dimensional display performance (S14). If it is a three-dimensional display (Y of S14), it will progress to step S22, without changing the initial value of the stage number N, the space
- the gesture recognition parameter adjustment unit 50 decreases the number N of stages and increases the interval D and the dead bandwidth d (S16).
- the display performance acquisition unit 40 determines whether or not the display device 210 is a stereo display (S18). If the display is a stereo display (Y in S18), the process proceeds to step S22 without changing the values of the stage number N, the interval D, and the dead band width d.
- the gesture recognition parameter adjustment unit 50 further decreases the number of stages N and increases the interval D and the dead bandwidth d (S20). .
- the distance sensor performance acquisition unit 30 acquires data on the distance resolution of the camera 220 from the distance sensor database 32 (S21).
- a driver for the camera 220 is installed in the game machine 200.
- the distance sensor performance acquisition unit 30 makes an inquiry to the distance sensor database 32 based on the information of the driver of the camera 220 and acquires data related to the distance resolution.
- the distance sensor performance acquisition unit 30 may extract data regarding distance resolution from the driver.
- the distance sensor performance acquisition unit 30 determines whether the camera 220 is a triangulation type based on the data related to the distance resolution (S22). If it is a triangulation type (Y in S22), the number of steps N, the interval D, and the dead band width d are varied according to the distance in the depth direction (S24). Specifically, the virtual screen level N is increased as the position is closer to the camera 220, and the virtual screen level N is decreased as the position is farther from the camera 220. Further, since the measurement accuracy of the virtual screen near the camera 220 is high, the interval D between adjacent screens is narrowed and the dead band width d is also narrowed. For the virtual screen far from the camera 220, the measurement accuracy decreases, so the interval D between adjacent screens is widened and the dead band width d is also widened.
- the distance sensor performance acquisition unit 30 determines whether the camera 220 is the TOF type based on the data regarding the distance resolution (S26). In the case of the TOF type (Y in S26), the number N of virtual screen stages, the interval D, and the dead band width d are made constant regardless of the distance in the depth direction, and the total number N of virtual screen stages is increased (S28). If it is not the TOF type (N in S26), the stage number N, the interval D, and the dead band width d are not adjusted any more, and the process proceeds to step S30.
- the gesture recognition parameter adjustment unit 50 supplies the adjusted stage number N, interval D, and dead bandwidth d to the gesture recognition processing unit 60 (S30).
- the detection sensitivity of the user's gesture is appropriately set based on the measurement resolution of the distance sensor and the 3D display performance of the display.
- the user can input by gesture according to the performance of the system without feeling stress. Even if the combination of the distance sensor and the display changes, the detection sensitivity is automatically adjusted on the system side, so that a seamless and flexible gesture input interface can be provided.
- 10 instruction point extraction unit 20 distance calculation unit, 30 distance sensor performance acquisition unit, 32 distance sensor database, 40 display performance acquisition unit, 42 display database, 50 gesture recognition parameter adjustment unit, 52 virtual screen storage unit, 60 gesture recognition process Unit, 70 display control unit, 80 application execution unit, 100 gesture operation input processing device, 200 game machine, 210 display device, 220 camera, 230 dedicated glasses, 240 instruction points, 250 user, 270 virtual screen, 300 3D gesture input system.
- the present invention can be used for an apparatus and a method for processing an operation input by a gesture.
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
指示ポイント抽出部10は、ディスプレイを見ながら行われるユーザのジェスチャを撮影した画像からユーザの指示ポイントを抽出する。距離計算部20は、指示ポイントまでの奥行き方向の距離を求める。ジェスチャ認識パラメータ調整部50は、奥行き方向の距離計測の分解能およびディスプレイの3次元表示性能の少なくとも一方にもとづいて、ユーザのジェスチャによる操作入力を認識する際の奥行き方向の検出感度に関するパラメータを調整する。ジェスチャ認識処理部60は、調整されたパラメータのもとで、距離計算部20により計算された指示ポイントまでの奥行き方向の距離を参照して、ユーザのジェスチャによる操作入力を認識する。
Description
この発明は、ジェスチャによる操作入力を処理する装置および方法に関する。
立体映像が視聴できる3次元テレビが一般家庭でも利用できるようになった。また、3次元映像を記録したブルーレイディスクをプレイヤで再生して、3次元ディスプレイに表示して高画質の3次元映像を視聴することも可能になった。ゲーム機においても3次元ディスプレイに接続して3次元映像を用いたゲームアプリケーションをプレイできる。さらに、距離センサを備えたカメラを用いて、ユーザの3次元映像を撮影し、ゲームアプリケーションに取り込むこともある。
ゲームアプリケーションの中には、ユーザが身体を用いて操作をしたり、ゲームに参加するタイプのものが増えている。今後、ゲームアプリケーションが3次元化すると、ジェスチャによる入力操作がより多く利用されることが予想される。
特許文献1には、ユーザが画面から離れた位置から指示を与えることができるインタフェースを備えた携帯型ゲーム装置が開示されている。
ユーザのジェスチャによる操作入力を支援するためのジェスチャインタフェースの技術が求められている。システムは、ディスプレイを前にしてユーザがストレスを感じることなくジェスチャを介して操作を入力できるように、ジェスチャを認識する際の検出感度をシステムの性能に合わせて適切なレベルに制御する必要がある。
本発明はこうした課題に鑑みてなされたものであり、その目的は、ジェスチャによる操作入力を容易にする技術を提供することにある。
上記課題を解決するために、本発明のある態様のジェスチャ操作入力処理装置は、ディスプレイを見ながら行われるユーザのジェスチャを撮影した画像からユーザの指示ポイントを抽出する指示ポイント抽出部と、前記指示ポイントまでの奥行き方向の距離を求める距離計算部と、奥行き方向の距離計測の分解能および前記ディスプレイの3次元表示性能の少なくとも一方にもとづいて、ユーザのジェスチャによる操作入力を認識する際の奥行き方向の検出感度に関するパラメータを調整するパラメータ調整部と、調整されたパラメータのもとで、前記距離計算部により計算された前記指示ポイントまでの奥行き方向の距離を参照して、ユーザのジェスチャによる操作入力を認識するジェスチャ認識処理部とを含む。
本発明の別の態様は、ジェスチャ操作入力処理方法である。この方法は、ユーザのジェスチャによる操作入力を支援するインタフェースを備えた3次元ジェスチャ入力システムにおけるジェスチャ操作入力処理方法であって、ディスプレイを見ながら行われるユーザのジェスチャを撮影した画像からユーザの指示ポイントを抽出するステップと、前記指示ポイントまでの奥行き方向の距離を求めるステップと、奥行き方向の距離計測の分解能および前記ディスプレイの3次元表示性能の少なくとも一方にもとづいて、ユーザのジェスチャによる操作入力を認識する際の奥行き方向の検出感度に関するパラメータを調整するステップと、調整されたパラメータのもとで、前記距離計算部により計算された前記指示ポイントまでの奥行き方向の距離を参照して、ユーザのジェスチャによる操作入力を認識するステップとを含む。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、ジェスチャによる操作入力が容易に行えるようになる。
図1は、3次元ジェスチャ入力システム300の構成図である。3次元ジェスチャ入力システム300は、ゲーム機200、ディスプレイ装置210、およびカメラ220を含む。
ゲーム機200は、ゲームアプリケーションなどのコンテンツを実行し、ディスプレイ装置210に映像や操作メニューなどを表示する。ゲーム機200の代わりに、記録媒体に格納されたコンテンツを再生するプレイヤを用いてもよい。
ディスプレイ装置210は、2次元表示および/または3次元表示が可能なディスプレイである。ディスプレイ装置210が2次元表示のみが可能である場合、コンテンツを2次元画像として表示するが、3次元表示も可能である場合、ユーザからの指示またはアプリケーションからの指示に応じて、コンテンツを2次元画像または3次元画像として表示する。
カメラ220は、ユーザ250のジェスチャを撮影する。カメラ220は、ディスプレイ装置210の上部などに設けられる。カメラ220の設置位置を原点とし、ディスプレイ表面をXY平面とし、ディスプレイ表面に垂直な方向をZ軸とする座標系を考える。カメラ220は、被写体までのZ方向の距離を測定する測距機能を有する。たとえば、カメラ220は、音波や光を被写体に投射し、反射して戻ってくるまでの時間を計ることにより被写体までの距離を測定する距離センサを有してもよく、あるいは、異なる二つの視点から撮影した視差画像から奥行き値を計算する画像処理ユニットを有してもよい。
ユーザ250は、ディスプレイ装置210に表示された画像を見ながら、ジェスチャによりゲーム機200に対する操作コマンドを入力する。ディスプレイ装置210がステレオディスプレイのように立体視のために専用メガネ230を有する場合は、ユーザ250は専用メガネ230を装着してディスプレイ装置210の画面を見る。
ユーザ250は、手の指などを指示ポイント240a~cとして3次元空間内で動かすことによって、操作コマンドをゲーム機200に与える。ディスプレイ装置210の画面には、ユーザのジェスチャ入力を支援するために、ゲーム機200が検出した指示ポイント240a~cの移動軌跡が表示される。
ゲーム機200は、カメラ220により撮影されたユーザ250のジェスチャ画像からユーザ250の手の指などの指示ポイント240a~cを検出し、カメラ220から指示ポイント240a~cまでの距離を求める。
ゲーム機200が指示ポイント240a~cを検出しやすいように、ユーザは人差し指だけを差し出すようにしてもよい。あるいは、指示ポイント240を画像認識しやすいように、ユーザ250はマーカーが付けられた指キャップを指に付けたり、マーカーが付けられた指示棒を使用してジェスチャを行ってもよい。あるいは、ユーザ250は、3次元座標を検出できる位置センサを搭載したコントローラを手にもってジェスチャを行い、コントローラから無線通信などにより、位置センサが検出した3次元座標をゲーム機200に送信してもよい。
ゲーム機200は、ユーザ250の指示ポイント240の3次元空間内での動きに応じて、ユーザが意図した操作コマンドを認識し、操作コマンドを実行する。特に、ゲーム機200は、ユーザ250のジェスチャの奥行き方向の動きを検出することにより、ユーザ250のジェスチャに自由度をもたせて、ジェスチャ入力インタフェースに柔軟性を与えることができる。
図2は、ジェスチャ操作入力処理装置100の構成図である。図2に示すジェスチャ操作入力処理装置100の機能構成の一部または全部は、ゲーム機200にハードウェア、ソフトウェアまたはその組み合わせによって実装することができる。ゲーム機200以外に、パーソナルコンピュータ、携帯機器、携帯端末などに実装してもよい。
ジェスチャ操作入力処理装置100は、指示ポイント抽出部10、距離計算部20、距離センサ性能取得部30、距離センサデータベース32、ディスプレイ性能取得部40、ディスプレイデータベース42、ジェスチャ認識パラメータ調整部50、仮想スクリーン記憶部52、ジェスチャ認識処理部60、表示制御部70、およびアプリケーション実行部80を有する。
指示ポイント抽出部10は、カメラ220が撮影したユーザ250のジェスチャ画像を取得し、ジェスチャ画像からユーザの指示ポイント240を抽出する。指示ポイント240は、ユーザの指の先端部やマーカーが付された箇所であるから、エッジ抽出や画像解析など一般的な画像処理機能を用いて指示ポイント240を画像から抽出することができる。
距離計算部20は、指示ポイント240までの奥行き方向の距離を求める。カメラ220が三角測量型の測距機能を有する場合、異なる二つの視点から撮像された視差画像から指示ポイント240までの奥行き方向の距離を求める。カメラ220がアクティブ型レーザ距離計やレーダーなどTOF(time of flight)の距離センサを有する場合、距離計算部20は、指示ポイント240に光を投影してから、その光が指示ポイント240に反射して戻ってくるまでの往復時間をカメラ220から取得して、往復時間に光の速度を乗算することにより、指示ポイント240までの距離を求める。
距離センサ性能取得部30は、距離センサデータベース32を参照して、カメラ220の距離センサの分解能に関する情報を取得し、ジェスチャ認識パラメータ調整部50に与える。距離センサの分解能情報には、測定可能な距離の範囲や、距離センサの測距方式が三角測量型であるか、TOF型であるかを示す識別情報などが含まれる。
ディスプレイ性能取得部40は、ディスプレイデータベース42を参照して、ディスプレイ装置210の表示性能に関する情報を取得し、ディスプレイ装置210の表示性能情報をジェスチャ認識パラメータ調整部50に与える。表示性能情報には、3次元表示性能に関する情報が含まれる。たとえば、ディスプレイ装置210が、通常の液晶テレビのディスプレイのようにZ方向の表示能力をもたない2Dディスプレイであるか、ステレオ視(両眼立体視)可能なステレオディスプレイであるか、3次元空間を表示可能な3Dディスプレイであるかを示す識別情報が含まれる。
ジェスチャ認識パラメータ調整部50は、距離センサ性能取得部30から与えられる距離センサの分解能と、ディスプレイ性能取得部40から与えられるディスプレイの3次元表示性能と、距離計算部20から与えられる指示ポイント240までの測定距離とにもとづいて、ジェスチャ認識する際のパラメータを調整する。ジェスチャ認識の際のパラメータは、特に指示ポイント240の奥行き方向の動きを検出する感度を調整するためのものである。
ジェスチャ認識パラメータ調整部50は、奥行き方向の距離計測の分解能が高ければ、指示ポイント240の奥行き方向の動きを検出する粒度を細かくして感度を上げ、逆に、奥行き方向の距離計測の分解能が低ければ、指示ポイント240の奥行き方向の動きを検出する粒度を粗くして感度を下げる。同様に、ディスプレイの3次元表示性能が高ければ、指示ポイント240の奥行き方向の動きを検出する粒度を細かくして感度を上げ、逆に、ディスプレイの3次元表示性能が低ければ、指示ポイント240の奥行き方向の動きを検出する粒度を粗くして感度を下げる。
本実施の形態では、ディスプレイ装置210の前面に、仮想的なスクリーンを設定し、指示ポイント240が仮想的なスクリーンを通過することを契機に、指示ポイント240をアクティブ化する。指示ポイント240が仮想的なスクリーンよりユーザから見て手前にある場合は、指示ポイント240は非アクティブとすることで、ユーザが指などで操作入力を与えるときと、与えないときを容易に区別できるようにする。仮想的なスクリーンをディスプレイ装置210の前面に複数設置してユーザが段階的に指を差し入れることで、段階的に操作入力を与えることができるようにしてもよい。仮想スクリーン記憶部52は、そのような仮想的なスクリーンの設置位置や設置間隔などの情報を保持する。
ジェスチャ認識パラメータ調整部50は、仮想スクリーン記憶部52に保持された仮想的なスクリーンの設置位置や設置間隔などのパラメータを調整することにより、指示ポイント240の奥行き方向の動きを検出する感度を調整することができる。
ジェスチャ認識処理部60は、調整されたパラメータのもとで、距離計算部20により計算された指示ポイント240までの奥行き方向の距離を参照して、3次元空間内のユーザのジェスチャを認識し、操作コマンドを特定する。ジェスチャ認識処理部60は、指示ポイント240までの奥行き方向の距離にもとづいて、指示ポイント240がディスプレイ装置210の前面に設定された仮想的なスクリーンを通過したかどうかを判定し、通過した場合に指示ポイント240をアクティブ化し、ユーザのジェスチャによる操作入力を特定する。表示制御部70は、ジェスチャ認識処理部60がユーザのどのようなジェスチャを認識しているかを示すために、ディスプレイ装置210に指示ポイント240の移動軌跡を表示する。
アプリケーション実行部80は、ジェスチャ認識処理部60により特定された操作コマンドを実行し、アプリケーションに反映させる。
図3(a)、(b)は、三角測量型のカメラ220の距離計測原理と距離分解能を説明する図である。図3(a)に示すように、三角測量の場合、2台のカメラ220a、220bを用いて異なる視点から視差画像を撮像するか、1台のカメラ220を移動させて視点位置を異ならせて視差画像を撮像することにより、指示ポイント240までの距離dを測定する。三角測量の原理を用いた測距カメラの一例として、ステレオカメラがある。
図3(b)のグラフは、三角測量型のカメラ220における、絶対距離dに対する距離分解能Rを示す。グラフの横軸は視点から被写体までの絶対距離dであり、縦軸は三角測量による距離分解能Rである。図3(b)に示すように、三角測量の場合、被写体までの距離が遠く離れるほど、距離分解能Rが低くなり、測定精度は落ちる。逆に被写体までの距離が近いほど、距離分解能Rが高くなり、測定精度は上がる。
図4(a)、(b)は、TOF型のカメラ220の距離計測原理と距離分解能を説明する図である。TOF型のカメラ220の場合、被写体に赤外光や超音波を投射し、その反射波を測定することにより、被写体までの距離を測定する。図4(a)に示すように、TOF法では、カメラ220のセンサから出た光が指示ポイント240に当たって反射し、センサに届くまでの往復時間tを測定し、光の速度cを乗算して2で割ることにより、次式のように距離dを求めることができる。
d=t×c/2
d=t×c/2
図4(b)のグラフは、TOF型のカメラ220における、絶対距離dに対する距離分解能Rを示す。図4(b)に示すように、TOF法の場合、被写体までの距離に関係なく、距離分解能Rは一定であり、被写体までの距離が遠く離れても、測定精度は落ちない。
三角測量型のカメラ220は被写体までの距離が遠くなると測定精度が落ちるが、二つの視点の間隔をより広げれば、測定精度を上げることができる。一般家庭でディスプレイ装置210にカメラ220を設置することを考えると、視点間隔を広げることには限界があるため、絶対距離に関係なく測定精度が一定であるTOF型のカメラ220を用いた方が有利である。
ディスプレイ装置210についてもジェスチャによる操作入力に影響を与える表示能力の違いがある。2次元ディスプレイ、たとえば普通の液晶テレビのディスプレイは、Z方向の表現能力は持たない。このような2次元ディスプレイの場合、ユーザがディスプレイに写し出された自分の姿または指示ポイント240の移動軌跡を見ながら、空中で円を描くと、奥行き方向の距離が一定でない円になることが多い。
ステレオ視(両眼立体視)が可能なステレオディスプレイは、Z方向の表現能力を持ち、ユーザは、裸眼または偏光メガネを用いて一組の左右画像を見ることで立体視することができる。たとえば、左右画像を時分割切り替え表示し、液晶シャッターメガネにより、左右の目に交互に左画像/右画像を入力する方式や、パララックスバリアやレンチキュラレンズを用いて、裸眼状態で左右の目にそれぞれ左画像/右画像が見えるようにする方式で立体視が可能である。このようなステレオディスプレイの場合、ユーザがディスプレイを見ながら、空中で円を描くと、ディスプレイ面に平行な円を描くことができる。しかし、ステレオディスプレイは、立体視するためのユーザの視点位置が固定されており、ある視点から一方向に見た立体視しかできず、ユーザの視点位置の変化には追随できないものが多い。
インテグラルイメージング方式やホログラム方式などの多視点対応の3次元ディスプレイは、視点位置に応じて異なる左右画像を複数組映し出すことで、異なる視点位置から見ても立体視することができる。このような3次元ディスプレイの場合、ユーザは、どの視点位置から見ても立体視ができることから、あたかも3次元空間に実物があるかのように見え、表示された立体画像を見ながら、奥行き方向の操作をより正確に行うことができる。3次元ディスプレイは、ユーザの視点位置の変化に追随することができ、より自然な立体視が可能である。さらにホログラム方式を使えば、左右画像を実質的に無限組見せることができるので、ほぼ完全な立体視が可能となる。
ディスプレイ装置210が、2次元ディスプレイから、ステレオディスプレイ、そして3次元ディスプレイになるにつれて、ユーザがジェスチャにより操作入力する際のZ軸方向の操作精度が上がり、Z方向にリッチなジェスチャをして操作入力することが可能になる。
本実施の形態の3次元ジェスチャ入システム300では、カメラ220の距離計測分解能と、ディスプレイ装置210の3次元表示性能に応じて、ジェスチャ認識のパラメータを調整することで、ユーザの操作感を最適化する。
図5は、ディスプレイ装置210の前面に設定される仮想的なスクリーンを説明する図である。ディスプレイ装置210に設置されたカメラ220を原点とし、ディスプレイ装置210面をXY平面とし、ディスプレイ装置210面に垂直な奥行き方向をZ軸とする座標系において、カメラ220からの距離dがZ1、Z2(Z1<Z2)の位置にそれぞれ仮想的な第1、第2仮想スクリーン270a、270bが設けられている。
ユーザが指などをディスプレイ装置210に向かって差し出し、指示ポイント240がこれらの仮想スクリーンを突き破った場合、指示ポイント240をアクティブにする。仮想スクリーンは、指示ポイント240までの奥行き距離に応じて指示ポイント240をアクティブにする距離スイッチ機能を有する。
ユーザが手の指をディスプレイ装置210に向かって差し出し、指示ポイント240の位置のZ座標の値がZ2よりも小さくなったとき、指示ポイント240は第2仮想スクリーン270bを突き破ったと判定され、さらに、指示ポイント240の位置のZ座標の値がZ1よりも小さくなったとき、指示ポイント240は第1仮想スクリーン270aを突き破ったと判定される。
たとえば、指示ポイント240が距離Z2の位置にある第2仮想スクリーン270bを突き破った場合、ジェスチャ認識処理部60は、その動作をディスプレイ上のボタンなどを選択する操作であると認識し、指示ポイント240がさらに距離Z1の位置にある第1仮想スクリーン270aを突き破ると、ジェスチャ認識処理部60は、その動作をワープ操作であると認識してもよい。
このように奥行き方向の距離に応じて2段階の仮想スクリーンを設けることにより、ジェスチャ認識処理部60は、ユーザのジェスチャの奥行き方向の変化に応じて、異なる操作コマンドを特定することができる。仮想スクリーンの段数をさらに増やせば、突き破る仮想スクリーンの段数に応じてさらに多くの異なる操作コマンドを特定することができる。また、仮想スクリーンの段数を増やせば、奥行き方向の動きの加速度変化を検出して、操作コマンドにさらにバリエーションをもたせることもできる。
図6(a)~(e)は、ジェスチャによる操作入力の例を説明する図である。図6(a)は、指を仮想スクリーンに突っ込んでそこを原点として上下左右に動かしたり、円を描くことにより、相対的なコントロールを入力する例である。たとえば、指が仮想スクリーンを突き破ると、指示ポイント240がアクティブになり、ディスプレイ装置210に表示されたオブジェクトやアイコンが選択され、指示ポイント240を上下左右に動かすことで、画面に表示されたオブジェクトやアイコンを上下左右に動かすことができる。また、ディスプレイ装置210の画面に画像やドキュメントが表示されている場合は、指を上下左右に動かすことで上下左右にスクロールしたり、右回りの円を描くことで拡大、左回りの円を描くことで縮小表示できるようにしてもよい。
図6(b)は、指を仮想スクリーンに突っ込み、カメラ220a、220bの視界を横切るように、大きく左右に動かした場合、ジェスチャ認識処理部60は、ユーザのジェスチャをフリック入力と判定し、アプリケーション実行部80は、判定された操作入力にしたがって、たとえば、次の画面に移動したり、連続スクロールを実行したりする。
図6(c)、(d)は、ユーザがジェスチャによりピンチ操作を入力する様子を示す。ピンチとは二本の指でつまむような動作をして、指と指の間を広げたり(ピンチアウト)、狭めたりする(ピンチイン)ことである。
図6(c)は、左右の2本の指を仮想スクリーンに突っ込み、2本の指の間隔を狭めるジェスチャを行った場合、ジェスチャ認識処理部60は、このジェスチャをピンチイン操作であると判定し、表示制御部70は、表示されている画面を縮小する処理を実行する。
図6(d)は、左右の2本の指を仮想スクリーンに突っ込み、2本の指の間隔を広げるジェスチャを行った場合、ジェスチャ認識処理部60は、このジェスチャをピンチアウト操作であると判定し、表示制御部70は、表示されている画面を拡大する処理を実行する。
図6(e)は、指示ポイント240がアクティブのときに、さらに指を突き出すと、ジェスチャ認識処理部60は、ワープ操作であると判定する。また、たとえば、指を1本だけを突き出すと、ジェスチャ認識処理部60は、選択/実行ボタンの押し下げと判定するが、2本突き出すと、キャンセルボタンの押し下げであると判定してもよい。
図7は、ジェスチャの奥行き方向の動き検出の感度を調整するパラメータを説明する図である。ディスプレイ面をXY平面、ディスプレイ面に垂直な方向をZ軸として、Z=Z1、Z2、Z3(Z1<Z2<Z3)の位置にそれぞれ仮想スクリーン270a、270b、270cが設けられたとする。設定する仮想スクリーンの段数をN、隣り合う仮想スクリーンの間隔をD、各仮想スクリーンのデッドバンド(不感帯)の幅をdとする。
段数N、間隔D、およびデッドバンド幅dは、ジェスチャの奥行き方向の動き検出の感度に関するパラメータであり、これらのパラメータを、距離計測分解能と3次元表示性能にもとづいて調整する。また、これらの調整パラメータを奥行き方向の距離Zに依存して変化させてもよい。
ディスプレイ装置210が、2次元ディスプレイからステレオディスプレイ、そして、3Dディスプレイへと3次元表示性能が上がるにつれて、ジェスチャ認識パラメータ調整部50は、段数Nを増やし、間隔Dとデッドバンド幅dは減らす。3次元表示性能が高いほど、ユーザはZ方向にリッチな動作をすることができるようになり、Z方向の検出感度を高めても問題がないからである。
カメラ220が三角測量型である場合、奥行き方向の距離に応じて段数N、間隔D、およびデッドバンド幅dを変化させる。三角測量法の場合、被写体がカメラ220から遠くなるほど測定精度が落ちるため、カメラ220からの距離が所定の閾値より小さいところでは、段数Nを増やし、間隔Dとデッドバンド幅dは減らしてZ方向の検出感度を上げ、カメラ220からの距離が所定の閾値より大きいところでは、段数Nを減らし、間隔Dとデッドバンド幅dは減らしてZ方向の検出感度を下げる。
カメラ220がTOF型である場合、奥行き方向の距離が変わっても測定精度は変わらないため、間隔D、デッドバンド幅dは一定値にするが、TOF型は測定精度が高いため、段数Nを三角測量型の場合よりは増やすことができる。
図8は、ジェスチャ操作入力処理装置100によるZ方向の動き検出の感度に関するパラメータの調整方法を説明するフローチャートである。図8に示すフローチャートにおいては、各部の処理手順を、ステップを意味するS(Stepの頭文字)と数字との組み合わせによって表示する。また、Sと数字との組み合わせによって表示した処理で何らかの判断処理が実行され、その判断結果が肯定的であった場合は、Y(Yesの頭文字)を付加して、例えば、(S14のY)と表示し、逆にその判断結果が否定的であった場合は、N(Noの頭文字)を付加して、(S14のN)と表示する。
ディスプレイ性能取得部40は、ディスプレイデータベース42からディスプレイ性能、特に3次元表示性能に関するデータを取得する(S10)。ゲーム機200にディスプレイ装置210が接続された時点で、ゲーム機200にはディスプレイ装置210のドライバがインストールされている。ディスプレイ性能取得部40は、ディスプレイ装置210のドライバの情報をもとにディスプレイデータベース42に問い合わせをして、3次元表示性能に関するデータを取得する。あるいは、ディスプレイ装置210のドライバに3次元表示性能に関するデータが含まれていれば、ディスプレイ性能取得部40はドライバから3次元表示性能に関するデータを取り出してもよい。
ジェスチャ認識パラメータ調整部50は、調整パラメータである段数N、間隔D、およびデッドバンド幅dの初期値を設定する(S12)。この初期値は、ディスプレイが高度な3次元表示性能をもつことを前提としたデフォールト値である。
ディスプレイ性能取得部40は、3次元表示性能に関するデータにもとづいて、ディスプレイ装置210が3次元ディスプレイであるかどうかを判定する(S14)。3次元ディスプレイであれば(S14のY)、段数N、間隔D、およびデッドバンド幅dの初期値を変えることなく、ステップS22に進む。
3次元ディスプレイでなければ(S14のN)、ジェスチャ認識パラメータ調整部50は、段数Nを減少させ、間隔Dおよびデッドバンド幅dを増加させる(S16)。次に、ディスプレイ性能取得部40は、ディスプレイ装置210がステレオディスプレイであるかどうかを判定する(S18)。ステレオディスプレイであれば(S18のY)、これ以上、段数N、間隔D、およびデッドバンド幅dの値を変えることなく、ステップS22に進む。
ディスプレイ装置210がステレオディスプレイでない、すなわち、2次元ディスプレイである場合(S18のN)、ジェスチャ認識パラメータ調整部50は、さらに段数Nを減少させ、間隔Dおよびデッドバンド幅dを増加させる(S20)。
次に、距離センサ性能取得部30は、距離センサデータベース32からカメラ220の距離分解能に関するデータを取得する(S21)。ゲーム機200にカメラ220が接続された時点で、ゲーム機200にはカメラ220のドライバがインストールされている。距離センサ性能取得部30は、カメラ220のドライバの情報をもとに距離センサデータベース32に問い合わせをして、距離分解能に関するデータを取得する。あるいは、カメラ220のドライバに距離分解能に関するデータが含まれていれば、距離センサ性能取得部30はドライバから距離分解能に関するデータを取り出してもよい。
距離センサ性能取得部30は、距離分解能に関するデータにもとづいて、カメラ220が三角測量型であるかどうかを判定する(S22)。三角測量型であれば(S22のY)、奥行き方向の距離に応じて段数N、間隔D、およびデッドバンド幅dを異ならせる(S24)。具体的には、カメラ220に近い位置ほど仮想スクリーンの段数Nを増やし、カメラ220から遠くなるほど仮想スクリーンの段数Nを減らす。また、カメラ220に近い位置の仮想スクリーンについては、測定精度が高いため、隣り合うスクリーンの間隔Dを狭くし、デッドバンド幅dも狭くする。カメラ220から遠い位置の仮想スクリーンについては、測定精度が落ちるため、隣り合うスクリーンの間隔Dを広くし、デッドバンド幅dも広くする。
カメラ220が三角測量型でない場合(S22のN)、距離センサ性能取得部30は、距離分解能に関するデータにもとづいて、カメラ220がTOF型であるかどうかを判定する(S26)。TOF型であれば(S26のY)、奥行き方向の距離に関係なく、仮想スクリーンの段数N、間隔D、およびデッドバンド幅dは一定にし、仮想スクリーンの総段数Nは増やす(S28)。TOF型でない場合(S26のN)、段数N、間隔D、およびデッドバンド幅dをこれ以上調整せず、ステップS30に進む。
ジェスチャ認識パラメータ調整部50は、調整された段数N、間隔D、およびデッドバンド幅dをジェスチャ認識処理部60に供給する(S30)。
以上述べたように、本実施の形態の3次元ジェスチャ入力システム300によれば、距離センサの測定分解能とディスプレイの3次元表示性能にもとづいて、ユーザのジェスチャの特に奥行き方向の検出感度を適切に調整することにより、ユーザはストレスを感じることなく、また、システムの性能に応じてジェスチャによる入力を行うことができる。距離センサやディスプレイの組み合わせが変わっても、システム側で自動的に検出感度を調整するため、シームレスで柔軟性に富むジェスチャ入力インタフェースを提供することができる。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
10 指示ポイント抽出部、 20 距離計算部、 30 距離センサ性能取得部、 32 距離センサデータベース、 40 ディスプレイ性能取得部、 42 ディスプレイデータベース、 50 ジェスチャ認識パラメータ調整部、 52 仮想スクリーン記憶部、 60 ジェスチャ認識処理部、 70 表示制御部、 80 アプリケーション実行部、 100 ジェスチャ操作入力処理装置、 200 ゲーム機、 210 ディスプレイ装置、 220 カメラ、 230 専用メガネ、 240 指示ポイント、 250 ユーザ、 270 仮想スクリーン、 300 3次元ジェスチャ入力システム。
この発明は、ジェスチャによる操作入力を処理する装置および方法に利用できる。
Claims (9)
- ディスプレイを見ながら行われるユーザのジェスチャを撮影した画像からユーザの指示ポイントを抽出する指示ポイント抽出部と、
前記指示ポイントまでの奥行き方向の距離を求める距離計算部と、
奥行き方向の距離計測の分解能および前記ディスプレイの3次元表示性能の少なくとも一方にもとづいて、ユーザのジェスチャによる操作入力を認識する際の奥行き方向の検出感度に関するパラメータを調整するパラメータ調整部と、
調整されたパラメータのもとで、前記距離計算部により計算された前記指示ポイントまでの奥行き方向の距離を参照して、ユーザのジェスチャによる操作入力を認識するジェスチャ認識処理部とを含むことを特徴とするジェスチャ操作入力処理装置。 - 前記パラメータ調整部は、前記指示ポイントを通過させるための奥行き方向に設けられた複数の仮想的なスクリーンの設置数、設置間隔、およびデッドバンドの少なくとも一つを奥行き方向の検出精度に関するパラメータとして調整することを特徴とする請求項1に記載のジェスチャ操作入力処理装置。
- 前記ジェスチャ認識処理部は、前記距離計算部により計算された前記指示ポイントまでの奥行き方向の距離にもとづいて、奥行き方向に設定された仮想的なスクリーンをユーザの指示ポイントが通過するかどうかを検出し、通過した場合に、当該指示ポイントをアクティブにしてジェスチャによる操作入力を認識することを特徴とする請求項2に記載のジェスチャ操作入力処理装置。
- 前記パラメータ調整部は、前記ディスプレイが3次元表示可能なものである場合、前記ディスプレイが2次元表示可能なものである場合に比べて、前記仮想的なスクリーンの設置数の増加、設置間隔の減少、およびデッドバンドの減少の少なくとも一つの調整を行うことを特徴とする請求項2または3に記載のジェスチャ操作入力処理装置。
- 前記パラメータ調整部は、奥行き方向の距離計測がTOF(time of flight)型の測定方法によるものである場合、仮想的なスクリーンの設置数、設置間隔、およびデッドバンドを奥行き方向の距離に対して一定とすることを特徴とする請求項2から4のいずれかに記載のジェスチャ操作入力処理装置。
- 前記パラメータ調整部は、奥行き方向の距離計測が三角測量型の測定方法によるものである場合、仮想的なスクリーンの設置数、設置間隔、およびデッドバンドを奥行き方向の距離に対して可変とすることを特徴とする請求項2から5のいずれかに記載のジェスチャ操作入力処理装置。
- ユーザのジェスチャによる操作入力を支援するインタフェースを備えた3次元ジェスチャ入力システムにおけるジェスチャ操作入力処理方法であって、
ディスプレイを見ながら行われるユーザのジェスチャを撮影した画像からユーザの指示ポイントを抽出するステップと、
前記指示ポイントまでの奥行き方向の距離を求めるステップと、
奥行き方向の距離計測の分解能および前記ディスプレイの3次元表示性能の少なくとも一方にもとづいて、ユーザのジェスチャによる操作入力を認識する際の奥行き方向の検出感度に関するパラメータを調整するステップと、
調整されたパラメータのもとで、前記指示ポイントまでの奥行き方向の距離を参照して、ユーザのジェスチャによる操作入力を認識するステップとを含むことを特徴とするジェスチャ操作入力処理方法。 - ディスプレイを見ながら行われるユーザのジェスチャを撮影した画像からユーザの指示ポイントを抽出する機能と、
前記指示ポイントまでの奥行き方向の距離を求める機能と、
奥行き方向の距離計測の分解能および前記ディスプレイの3次元表示性能の少なくとも一方にもとづいて、ユーザのジェスチャによる操作入力を認識する際の奥行き方向の検出感度に関するパラメータを調整する機能と、
調整されたパラメータのもとで、前記指示ポイントまでの奥行き方向の距離を参照して、ユーザのジェスチャによる操作入力を認識する機能とをコンピュータに実現させることを特徴とするプログラム。 - 請求項8のプログラムを格納したことを特徴とする記録媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP11853600.2A EP2660686B1 (en) | 2010-12-27 | 2011-12-19 | Gesture operation input system and gesture operation input method |
CN2011800623628A CN103282859A (zh) | 2010-12-27 | 2011-12-19 | 手势操作输入处理装置及手势操作输入处理方法 |
US13/921,558 US9465443B2 (en) | 2010-12-27 | 2013-06-19 | Gesture operation input processing apparatus and gesture operation input processing method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010-290717 | 2010-12-27 | ||
JP2010290717A JP5711962B2 (ja) | 2010-12-27 | 2010-12-27 | ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US13/921,558 Continuation US9465443B2 (en) | 2010-12-27 | 2013-06-19 | Gesture operation input processing apparatus and gesture operation input processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2012090429A1 true WO2012090429A1 (ja) | 2012-07-05 |
Family
ID=46382570
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2011/007089 WO2012090429A1 (ja) | 2010-12-27 | 2011-12-19 | ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9465443B2 (ja) |
EP (1) | EP2660686B1 (ja) |
JP (1) | JP5711962B2 (ja) |
CN (1) | CN103282859A (ja) |
WO (1) | WO2012090429A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103902037B (zh) * | 2012-12-28 | 2017-09-29 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
CN111562843A (zh) * | 2020-04-29 | 2020-08-21 | 广州美术学院 | 一种手势捕捉的定位方法、装置、设备和存储介质 |
Families Citing this family (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5711962B2 (ja) * | 2010-12-27 | 2015-05-07 | 株式会社ソニー・コンピュータエンタテインメント | ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法 |
EP2703836B1 (en) | 2012-08-30 | 2015-06-24 | Softkinetic Sensors N.V. | TOF illuminating system and TOF camera and method for operating, with control means for driving electronic devices located in the scene |
JP5863984B2 (ja) | 2012-10-05 | 2016-02-17 | Necソリューションイノベータ株式会社 | ユーザインタフェース装置及びユーザインタフェース方法 |
US9310895B2 (en) | 2012-10-12 | 2016-04-12 | Microsoft Technology Licensing, Llc | Touchless input |
JP6282072B2 (ja) * | 2013-09-24 | 2018-02-21 | 株式会社三菱東京Ufj銀行 | 情報処理装置およびプログラム |
US9412012B2 (en) | 2013-10-16 | 2016-08-09 | Qualcomm Incorporated | Z-axis determination in a 2D gesture system |
CN103558919A (zh) * | 2013-11-15 | 2014-02-05 | 深圳市中兴移动通信有限公司 | 可视化内容分享方法及其装置 |
JP6222830B2 (ja) * | 2013-12-27 | 2017-11-01 | マクセルホールディングス株式会社 | 画像投射装置 |
CN103713536B (zh) * | 2013-12-27 | 2016-05-04 | 广东省自动化研究所 | 一种基于超声定位的3d手势识别控制器及方法 |
KR102159994B1 (ko) * | 2014-01-22 | 2020-09-25 | 삼성전자주식회사 | 티오에프 카메라 장치 및 이의 구동 방법 |
EP3113969B1 (de) * | 2014-03-07 | 2018-06-06 | Volkswagen Aktiengesellschaft | Anwenderschnittstelle und verfahren zur signalisierung einer 3d-position eines eingabemittels bei der gestenerfassung |
CN104951059B (zh) * | 2014-03-31 | 2018-08-10 | 联想(北京)有限公司 | 一种数据处理方法、装置及一种电子设备 |
JP2015200960A (ja) * | 2014-04-04 | 2015-11-12 | 株式会社リコー | 情報システム、情報処理方法、及びプログラム |
CN104978014B (zh) * | 2014-04-11 | 2018-05-11 | 维沃移动通信有限公司 | 一种快速调用应用程序或***功能的方法及其移动终端 |
DE102014107683B3 (de) * | 2014-06-02 | 2015-10-01 | Insta Elektro Gmbh | Verfahren zum Betreiben einer Gebäudeinstallation mit einem Situationswächter sowie Gebäudeinstallation mit einem Situationswächter |
KR102209354B1 (ko) * | 2014-06-20 | 2021-01-29 | 엘지전자 주식회사 | 영상 표시 기기 및 그의 동작 방법 |
US10482670B2 (en) | 2014-12-30 | 2019-11-19 | Qingdao Goertek Technology Co., Ltd. | Method for reproducing object in 3D scene and virtual reality head-mounted device |
CN104571510B (zh) | 2014-12-30 | 2018-05-04 | 青岛歌尔声学科技有限公司 | 一种3d场景中输入手势的***和方法 |
US20180133596A1 (en) * | 2015-04-15 | 2018-05-17 | Thomason Licensing | Configuring translation of three dimensional movement |
US9442575B1 (en) * | 2015-05-15 | 2016-09-13 | Atheer, Inc. | Method and apparatus for applying free space input for surface constrained control |
US9841836B2 (en) * | 2015-07-28 | 2017-12-12 | General Electric Company | Control of non-destructive testing devices |
JP6240135B2 (ja) | 2015-10-26 | 2017-11-29 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置、画像処理方法およびプログラム |
JP6733309B2 (ja) * | 2016-05-25 | 2020-07-29 | 株式会社ノーリツ | 給湯装置 |
JP6706323B2 (ja) * | 2016-07-12 | 2020-06-03 | 富士フイルム株式会社 | 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム |
CN106445122B (zh) * | 2016-09-08 | 2020-06-05 | 北京小米移动软件有限公司 | 设备状态控制方法及装置 |
WO2018083737A1 (ja) * | 2016-11-01 | 2018-05-11 | マクセル株式会社 | 表示装置及び遠隔操作制御装置 |
US11243293B2 (en) * | 2017-02-07 | 2022-02-08 | Samsung Electronics Company, Ltd. | Radar-based system for sensing touch and in-the-air interactions |
CN110249290A (zh) * | 2017-02-13 | 2019-09-17 | 索尼公司 | 信息处理设备、信息处理方法和程序 |
CN108665480A (zh) * | 2017-03-31 | 2018-10-16 | 满景资讯股份有限公司 | 三维侦测装置的操作方法 |
CN107255942A (zh) * | 2017-06-02 | 2017-10-17 | 昆山锐芯微电子有限公司 | 智能设备的控制方法、装置及***、存储介质 |
CN107300975A (zh) * | 2017-07-13 | 2017-10-27 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN109753140B (zh) * | 2017-11-02 | 2021-08-24 | 腾讯科技(深圳)有限公司 | 基于虚拟现实的操作指令获取方法、装置 |
CN108132706A (zh) * | 2017-11-27 | 2018-06-08 | 北京用友政务软件有限公司 | 一种终端设备的操作控制方法、***及终端设备 |
CN111479495B (zh) * | 2017-11-28 | 2024-01-09 | 深圳迈瑞生物医疗电子股份有限公司 | 一种监护仪及其显示屏幕切换方法 |
JP2019191946A (ja) * | 2018-04-25 | 2019-10-31 | パイオニア株式会社 | 情報処理装置 |
JP7174397B2 (ja) * | 2018-06-18 | 2022-11-17 | チームラボ株式会社 | 映像表示システム,映像表示方法,及びコンピュータプログラム |
JP6822445B2 (ja) * | 2018-07-02 | 2021-01-27 | カシオ計算機株式会社 | 投影装置、投影方法及びプログラム |
CN109591033A (zh) * | 2018-09-28 | 2019-04-09 | 广州智伴人工智能科技有限公司 | 一种非接触式人机交互*** |
JP2021189659A (ja) | 2020-05-28 | 2021-12-13 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置及びユーザの入力操作に基づく情報処理方法並びに該方法を実行するためのコンピュータプログラム |
KR102321359B1 (ko) * | 2020-06-02 | 2021-11-02 | 국민대학교산학협력단 | 손 모양 및 조도 센서에 기초하여 가상현실 콘텐츠를 제어하는 휴대용 단말 및 이를 포함하는 vr 뷰어 시스템 |
JP7452917B2 (ja) | 2021-03-10 | 2024-03-19 | 株式会社ネクステッジテクノロジー | 操作入力装置、操作入力方法及びプログラム |
WO2023021757A1 (ja) * | 2021-08-20 | 2023-02-23 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008117371A (ja) * | 2006-10-13 | 2008-05-22 | Sony Corp | 近接検知型情報表示装置およびこれを使用した情報表示方法 |
JP2010015553A (ja) * | 2008-06-03 | 2010-01-21 | Shimane Pref Gov | 画像認識装置および操作判定方法並びにプログラム |
WO2010038822A1 (ja) | 2008-10-01 | 2010-04-08 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置、情報処理方法、情報記憶媒体及びプログラム |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6064354A (en) | 1998-07-01 | 2000-05-16 | Deluca; Michael Joseph | Stereoscopic user interface method and apparatus |
JP2004265222A (ja) | 2003-03-03 | 2004-09-24 | Nippon Telegr & Teleph Corp <Ntt> | インタフェース方法、装置、およびプログラム |
US7787009B2 (en) | 2004-05-10 | 2010-08-31 | University Of Southern California | Three dimensional interaction with autostereoscopic displays |
US8279168B2 (en) * | 2005-12-09 | 2012-10-02 | Edge 3 Technologies Llc | Three-dimensional virtual-touch human-machine interface system and method therefor |
US8284165B2 (en) * | 2006-10-13 | 2012-10-09 | Sony Corporation | Information display apparatus with proximity detection performance and information display method using the same |
JP2008176438A (ja) | 2007-01-17 | 2008-07-31 | Tokai Rika Co Ltd | 画像表示装置 |
US20080231926A1 (en) | 2007-03-19 | 2008-09-25 | Klug Michael A | Systems and Methods for Updating Dynamic Three-Dimensional Displays with User Input |
EP2095296B1 (en) | 2007-04-20 | 2014-01-01 | Softkinetic Software | A method and system for providing a three-dimensional model of an object of interest. |
JP2010009558A (ja) * | 2008-05-28 | 2010-01-14 | Oki Semiconductor Co Ltd | 画像認識装置、電装機器動作制御ユニット、電化製品、画像認識プログラム、半導体装置 |
US8971565B2 (en) * | 2008-05-29 | 2015-03-03 | Hie-D Technologies, Llc | Human interface electronic device |
US8514251B2 (en) * | 2008-06-23 | 2013-08-20 | Qualcomm Incorporated | Enhanced character input using recognized gestures |
US20100100853A1 (en) * | 2008-10-20 | 2010-04-22 | Jean-Pierre Ciudad | Motion controlled user interface |
JP5182202B2 (ja) * | 2009-04-14 | 2013-04-17 | ソニー株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
US9383823B2 (en) * | 2009-05-29 | 2016-07-05 | Microsoft Technology Licensing, Llc | Combining gestures beyond skeletal |
US20100302138A1 (en) * | 2009-05-29 | 2010-12-02 | Microsoft Corporation | Methods and systems for defining or modifying a visual representation |
US8487871B2 (en) * | 2009-06-01 | 2013-07-16 | Microsoft Corporation | Virtual desktop coordinate transformation |
JP5711962B2 (ja) * | 2010-12-27 | 2015-05-07 | 株式会社ソニー・コンピュータエンタテインメント | ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法 |
-
2010
- 2010-12-27 JP JP2010290717A patent/JP5711962B2/ja active Active
-
2011
- 2011-12-19 WO PCT/JP2011/007089 patent/WO2012090429A1/ja active Application Filing
- 2011-12-19 EP EP11853600.2A patent/EP2660686B1/en active Active
- 2011-12-19 CN CN2011800623628A patent/CN103282859A/zh active Pending
-
2013
- 2013-06-19 US US13/921,558 patent/US9465443B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008117371A (ja) * | 2006-10-13 | 2008-05-22 | Sony Corp | 近接検知型情報表示装置およびこれを使用した情報表示方法 |
JP2010015553A (ja) * | 2008-06-03 | 2010-01-21 | Shimane Pref Gov | 画像認識装置および操作判定方法並びにプログラム |
WO2010038822A1 (ja) | 2008-10-01 | 2010-04-08 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置、情報処理方法、情報記憶媒体及びプログラム |
Non-Patent Citations (1)
Title |
---|
See also references of EP2660686A4 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103902037B (zh) * | 2012-12-28 | 2017-09-29 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
CN111562843A (zh) * | 2020-04-29 | 2020-08-21 | 广州美术学院 | 一种手势捕捉的定位方法、装置、设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
EP2660686A4 (en) | 2017-02-01 |
US9465443B2 (en) | 2016-10-11 |
EP2660686B1 (en) | 2021-03-03 |
US20130278503A1 (en) | 2013-10-24 |
EP2660686A1 (en) | 2013-11-06 |
JP2012137989A (ja) | 2012-07-19 |
CN103282859A (zh) | 2013-09-04 |
JP5711962B2 (ja) | 2015-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5711962B2 (ja) | ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法 | |
CN108469899B (zh) | 识别可穿戴显示装置的观察空间中的瞄准点或区域的方法 | |
CN105229582B (zh) | 基于近距离传感器和图像传感器的手势检测 | |
EP2927634B1 (en) | Single-camera ranging method and system | |
EP2638461B1 (en) | Apparatus and method for user input for controlling displayed information | |
US8441435B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
US8730164B2 (en) | Gesture recognition apparatus and method of gesture recognition | |
US9454837B2 (en) | Image processing apparatus, method, and computer-readable storage medium calculating size and position of one of an entire person and a part of a person in an image | |
EP2354893A1 (en) | Reducing inertial-based motion estimation drift of a game input controller with an image-based motion estimation | |
EP2352078B1 (en) | Information processing apparatus, information processing method, information recording medium, and program | |
US20120026376A1 (en) | Anamorphic projection device | |
US9086742B2 (en) | Three-dimensional display device, three-dimensional image capturing device, and pointing determination method | |
WO2014141504A1 (ja) | 3次元ユーザインタフェース装置及び3次元操作処理方法 | |
US20160274732A1 (en) | Touchless user interfaces for electronic devices | |
EP2189835A1 (en) | Terminal apparatus, display control method, and display control program | |
WO2011114564A1 (ja) | 立体画像表示装置およびその制御方法 | |
US9727229B2 (en) | Stereoscopic display device, method for accepting instruction, and non-transitory computer-readable medium for recording program | |
US20180053338A1 (en) | Method for a user interface | |
JP5341126B2 (ja) | 検出領域拡大装置、表示装置、検出領域拡大方法、プログラムおよび、コンピュータ読取可能な記録媒体 | |
EP3561570A1 (en) | Head-mounted display apparatus, and visual-aid providing method thereof | |
CN102799378B (zh) | 一种立体碰撞检测物体拾取方法及装置 | |
JP6053845B2 (ja) | ジェスチャ操作入力処理装置、3次元ディスプレイ装置およびジェスチャ操作入力処理方法 | |
CN105867597B (zh) | 3d交互方法及3d显示设备 | |
KR20130071059A (ko) | 이동 단말기 및 그 제어방법 | |
WO2021241110A1 (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 11853600 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2011853600 Country of ref document: EP |