JP2019204539A - Input device, input operation detection method and input operation detection computer program - Google Patents

Input device, input operation detection method and input operation detection computer program Download PDF

Info

Publication number
JP2019204539A
JP2019204539A JP2019141459A JP2019141459A JP2019204539A JP 2019204539 A JP2019204539 A JP 2019204539A JP 2019141459 A JP2019141459 A JP 2019141459A JP 2019141459 A JP2019141459 A JP 2019141459A JP 2019204539 A JP2019204539 A JP 2019204539A
Authority
JP
Japan
Prior art keywords
finger
predetermined
fingertip
tip
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019141459A
Other languages
Japanese (ja)
Other versions
JP6733789B2 (en
Inventor
源太 鈴木
Genta Suzuki
源太 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2019141459A priority Critical patent/JP6733789B2/en
Publication of JP2019204539A publication Critical patent/JP2019204539A/en
Application granted granted Critical
Publication of JP6733789B2 publication Critical patent/JP6733789B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

To provide an input device that can detect an input operation even in a case where a distance to a contacting object is unknown when a user performs an input operation.SOLUTION: An input device comprises: a finger area detection unit 11 that detects a fingertip position on an image which is acquired by a first imaging unit (4-1); a fingertip position calculation unit 12 that acquires a corresponding point corresponding to the fingertip position on an image which is acquired by a second imaging unit (4-2), and that calculates a position of a tip of a finger in a real space on the basis of the fingertip position and the corresponding point; a contact operation determination unit 14 that determines whether or not a feature amount representing a finger operation, which is calculated on the basis of each of positions of the tip of the finger calculated for a predetermined period in the real space, satisfies a condition representing an operation touching an object 8 using the finger; and a confirmation operation determination unit 17 that projects a predetermined mark to a projection device 2 when the feature amount satisfies the condition, and that determines that the input operation has been performed when the position of the tip of the finger in the real space is included in a predetermined range including a height direction depending on the projection position of the mark.SELECTED DRAWING: Figure 9

Description

本発明は、例えば、画像に写った指先の位置に応じた入力操作を検出する入力装置、及び、そのような入力装置で利用される入力操作検出方法及び入力操作検出用コンピュータプログラムに関する。   The present invention relates to, for example, an input device that detects an input operation according to the position of a fingertip in an image, and an input operation detection method and an input operation detection computer program used in such an input device.

近年、人間の動作を検知して、その動作に応じた入力信号を生成するユーザインタフェースが研究されている。そのようなユーザインターフェースの一例として、予め設定された特定の物体を入力装置として、その入力装置に対する操作者の動作に依存して制御対象装置を操作する遠隔操作装置が提案されている（例えば、特許文献１を参照）。   In recent years, a user interface that detects a human motion and generates an input signal according to the motion has been studied. As an example of such a user interface, a remote operation device has been proposed in which a specific object set in advance is used as an input device, and the control target device is operated depending on the operation of the operator with respect to the input device (for example, (See Patent Document 1).

特許文献１に開示された遠隔操作装置は、入力装置に対する操作動作を検出し、検出した操作動作の内容と、予め設定されている操作動作の内容と制御対象装置を操作する内容との対応関係とに基づいて、対応する制御対象装置への操作の内容を求める。この遠隔操作装置は、例えば、並行配置した二台のカメラによる撮影画像に対してステレオマッチングを行って、カメラ間で対応する点が撮影画像上でどれだけ離れているかを求め、その算出結果から操作者の手までの距離を求める。そしてこの遠隔操作装置は、その距離と、入力装置までの距離との比較により、操作者の手が入力装置に接触したか否かを判定し、その判定結果を利用して操作動作を検出する。   The remote operation device disclosed in Patent Literature 1 detects an operation operation on the input device, and the correspondence between the detected operation operation content, the preset operation operation content, and the operation content of the control target device Based on the above, the content of the operation to the corresponding control target device is obtained. This remote control device, for example, performs stereo matching on images captured by two cameras arranged in parallel, determines how far the corresponding points between the cameras are on the captured image, and from the calculation results Find the distance to the operator's hand. The remote operation device determines whether or not the operator's hand has touched the input device by comparing the distance with the distance to the input device, and detects the operation action using the determination result. .

上記のように、カメラから操作者の手までの距離と、カメラから対象物までの距離との比較で操作者が対象物に接触したか否かを判定するためには、予めカメラから対象物までの距離を測定しておくことが求められる。そこで、上記の遠隔操作装置では、ステレオマッチングによりカメラから対象物までの距離が求められる。また、複数のコード化された各光パターンで被計測物体をそれぞれ照射し、その照射された被計測物体を異なる位置で撮像して得た画像を解析することで、被計測物体の位置を求める方法が知られている（例えば、特許文献２を参照）。   As described above, in order to determine whether the operator has touched the object by comparing the distance from the camera to the operator's hand and the distance from the camera to the object, It is required to measure the distance up to. Therefore, in the remote operation device described above, the distance from the camera to the object is obtained by stereo matching. In addition, the position of the object to be measured is obtained by irradiating the object to be measured with a plurality of encoded light patterns, and analyzing the images obtained by imaging the irradiated object to be measured at different positions. A method is known (see, for example, Patent Document 2).

特開２０１３−１７２２１１号公報JP 2013-172111 A 特開昭６０−１５２９０３号公報JP 60-152903 A

特許文献２に開示された方法では、対象物までの距離を測定するために、その対象物を、コード化された光で走査することが行われる。そのため、そのような走査を実行することを、ユーザが入力装置に対して指示しない場合には、対象物までの距離が求められず、ユーザの手がその対象物に接触したか否かを判定できないことがある。また、そのような走査にはある程度の時間が掛かるため、例えば、対象物が本であり、ユーザがその本のページをめくりながら何かの操作を行う場合のように、カメラから対象物までの距離が頻繁に変わると、その走査をユーザが指示することは煩雑である。また、対象物の表面が光を反射し易い物質で形成されていたり、あるいは、光の吸収率が高い物体で形成されていると、対象物に投影されたコード化された光を読み取ることが困難となり、正確に対象物までの距離を測定できないおそれがある。   In the method disclosed in Patent Document 2, in order to measure the distance to an object, the object is scanned with coded light. Therefore, if the user does not instruct the input device to execute such scanning, the distance to the object is not obtained, and it is determined whether the user's hand has touched the object. There are things that cannot be done. In addition, since such scanning takes a certain amount of time, for example, when the object is a book and the user performs an operation while turning the page of the book, the scanning from the camera to the object is performed. If the distance changes frequently, it is complicated for the user to instruct the scanning. In addition, if the surface of the object is formed of a substance that easily reflects light, or is formed of an object having a high light absorption rate, the encoded light projected on the object can be read. It may be difficult to accurately measure the distance to the object.

一方、ステレオマッチングを利用する場合、対象物の表面に、その対象物を撮影して得られる画像上で検出が容易な特徴が無い場合、例えば、対象物の表面が無模様である場合、カメラから対象物までの距離を正確に測定することは困難である。特に、対象物と対象物が載置されるテーブルが同じ色でかつともに無模様である場合、画像上で対象物を識別することが非常に困難となる。そのため、カメラから対象物までの距離を正確に測定することは困難となる。   On the other hand, when using stereo matching, if the surface of the object does not have a feature that is easy to detect on the image obtained by photographing the object, for example, if the surface of the object is blank, the camera It is difficult to accurately measure the distance from the object to the object. In particular, when the object and the table on which the object is placed are the same color and both have no pattern, it is very difficult to identify the object on the image. Therefore, it is difficult to accurately measure the distance from the camera to the object.

そこで本明細書は、ユーザが入力操作を行う際に接触する対象物までの距離が不明な場合でも、入力操作を検出可能な入力装置を提供することを目的とする。   Therefore, the present specification has an object to provide an input device that can detect an input operation even when the distance to an object to be contacted when the user performs an input operation is unknown.

一実施形態によれば、入力装置が提供される。この入力装置は、所定の撮影周期ごとに、指を撮影してその指が表された第１の画像を生成する第１の撮像部と、第１の撮像部と所定間隔離して配置され、かつ、所定の撮影周期ごとに、指を撮影してその指が表された第２の画像を生成する第２の撮像部と、投影装置と、所定の撮影周期ごとに、第１の画像において指の先端に相当する指先位置を検出する指領域検出部と、所定の撮影周期ごとに、指先位置に対応する第２の画像上の対応点を求め、第１の画像上の指先位置と第２の画像上の対応点とに基づいて、指の先端の実空間での位置を算出する指先位置算出部と、所定期間中に算出された指の先端の実空間での位置のそれぞれに基づいて、指の動作を表す特徴量を算出し、その特徴量が指で対象物に触れる動作を表す条件を満たすか否かを判定する接触動作判定部と、特徴量がその条件を満たす場合、投影装置に所定の位置へ所定のマークを投影させ、投影後の一定期間内の何れかの時点で指の先端の実空間での位置がマークの投影位置に応じた高さ方向を含む所定範囲内に含まれる場合に入力操作が行われたと判定する確認動作判定部とを有する。   According to one embodiment, an input device is provided. The input device is arranged at a predetermined interval between a first imaging unit that captures a finger and generates a first image representing the finger, and a predetermined distance from the first imaging unit, for each predetermined imaging period. In addition, in the first image for each predetermined shooting period, a second imaging unit that shoots a finger and generates a second image representing the finger, a projection device, and the predetermined image period A finger area detection unit that detects a fingertip position corresponding to the tip of the finger, and a corresponding point on the second image corresponding to the fingertip position for each predetermined imaging cycle, and the fingertip position on the first image And a fingertip position calculation unit that calculates the position of the tip of the finger in real space based on the corresponding points on the image of 2, and based on each of the position of the finger tip in real space calculated during a predetermined period. Calculating the feature amount representing the motion of the finger, and whether the feature amount satisfies the condition representing the motion of touching the object with the finger If the feature amount satisfies the condition, the contact movement determination unit for determining whether the finger tip projects the predetermined mark to the predetermined position and the fingertip at any point within the fixed period after the projection. A confirmation operation determination unit that determines that an input operation has been performed when the position in the space is included in a predetermined range including a height direction corresponding to the projection position of the mark.

本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。 The objects and advantages of the invention will be realized and attained by means of the elements and combinations particularly pointed out in the appended claims.
It should be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are not restrictive of the invention as claimed.

本明細書に開示された入力装置は、ユーザが入力操作を行う際に接触する対象物までの距離が不明な場合でも、入力操作を検出できる。   The input device disclosed in the present specification can detect an input operation even when the distance to an object to be contacted when the user performs an input operation is unknown.

第１の実施形態による入力装置の一構成例を示す概略斜視図である。It is a schematic perspective view which shows the example of 1 structure of the input device by 1st Embodiment. 図１に示された入力装置のハードウェア構成図である。It is a hardware block diagram of the input device shown by FIG. 高さマップの一例を示す図である。It is a figure which shows an example of a height map. 第１の実施形態による制御部の機能ブロック図である。It is a functional block diagram of the control part by 1st Embodiment. カメラ座標系と世界座標系の位置関係の一例を示す図である。It is a figure which shows an example of the positional relationship of a camera coordinate system and a world coordinate system. （ａ）及び（ｂ）は、それぞれ、ユーザが指先を対象物に触れる動作を行っている場合における、テーブルからの指の高さの時間変化の測定結果の一例を示す図である。(A) And (b) is a figure which shows an example of the measurement result of the time change of the height of the finger | toe from a table, respectively when the user is performing the operation | movement which touches a fingertip with a target object. （ａ）及び（ｂ）は、それぞれ、ユーザが指先を空中で静止させる動作を行っている場合における、テーブルからの指の高さの時間変化の測定結果の一例を示す図である。(A) And (b) is a figure which shows an example of the measurement result of the time change of the height of the finger | toe from a table, respectively, when the user is performing the operation | movement which makes a fingertip stand in the air. 入力処理の動作フローチャートである。It is an operation | movement flowchart of an input process. 第２の実施形態による制御部の機能ブロック図である。It is a functional block diagram of the control part by 2nd Embodiment. （ａ）及び（ｂ）は、それぞれ、操作確認用のボタンの一例を示す図である。(A) And (b) is a figure which shows an example of the button for operation confirmation, respectively. （ａ）は、指先位置が対象物の表面に位置している場合における、対象物とボタンの関係の一例を示す図である。（ｂ）は、指先位置が空中に位置している場合における、対象物とボタンの関係の一例を示す図である。(A) is a figure which shows an example of the relationship between a target object and a button in case the fingertip position is located on the surface of a target object. (B) is a figure which shows an example of the relationship between a target object and a button in case the fingertip position is located in the air. 第２の実施形態による入力処理の動作フローチャートである。It is an operation | movement flowchart of the input process by 2nd Embodiment.

以下、図面を参照しつつ、入力装置について説明する。この入力装置は、二つのカメラのそれぞれでユーザの指を撮影して得られる二つの画像から、指先の実空間での位置を求め、その位置におけるカメラから指先までの距離とカメラから対象物までの距離の比較結果により、指先が対象物に接触したか否かを判定する。その際、この入力装置は、距離の比較結果からは、指先が対象物に接触したことを検知できない場合に、直近の一定期間内の指の動作を表す特徴量を求めることで、指の動作が対象物に接触しようとする接触動作か否かを判定する。そしてこの入力装置は、ユーザの指の動作が接触動作であると判定した場合、ユーザの指が対象物に接触したとみなして、その指の位置に応じた入力操作に対応する処理を実行する。   The input device will be described below with reference to the drawings. This input device obtains the position of the fingertip in real space from the two images obtained by photographing the user's finger with each of the two cameras, the distance from the camera to the fingertip at that position, and the camera to the object. It is determined whether or not the fingertip is in contact with the object based on the comparison result of the distances. At this time, the input device obtains a feature amount representing the motion of the finger within the most recent fixed period from the distance comparison result when it is not possible to detect that the fingertip has touched the object. It is determined whether or not the contact operation is to make contact with the object. Then, when it is determined that the user's finger motion is a contact motion, the input device considers that the user's finger has touched the object, and executes processing corresponding to the input operation corresponding to the position of the finger. .

図１は、第１の実施形態による入力装置の概略斜視図である。図２は、図１に示された入力装置のハードウェア構成図である。入力装置１は、投影装置２と、ミラー３と、二つのカメラ４−１、４−２と、通信部５と、記憶部６と、制御部７とを有する。入力装置１が有するこれらの各部は、側面から見て縦方向にコの字型をした筐体１０に収容される。なお、以下では説明の都合上、ユーザに面する側を正面と呼ぶ。   FIG. 1 is a schematic perspective view of an input device according to the first embodiment. FIG. 2 is a hardware configuration diagram of the input device shown in FIG. The input device 1 includes a projection device 2, a mirror 3, two cameras 4-1 and 4-2, a communication unit 5, a storage unit 6, and a control unit 7. Each of these parts of the input device 1 is accommodated in a casing 10 having a U-shape in the vertical direction when viewed from the side. Hereinafter, for convenience of explanation, the side facing the user is referred to as the front.

投影装置２は、例えば、液晶プロジェクタであり、筐体１０の正面側に、表示面を上方へ向けて配置される。投影装置２は、制御部７から受け取った映像信号に従って映像をその表示面に表示することで、映像を投影する。投影装置２から投影された映像は、正面側へ突出した筐体１０の天頂部１０ａの下側に設けられたミラー３により反射されて、例えば、ユーザの指先が接触したか否かの判定対象となる対象物８が載置される基準面となる、テーブル面などに投影される。なお、対象物８は、例えば、本、雑誌、ペーパーなどとすることができるが、そのような物体に限定されない。また、対象物８は、入力装置１が載置されるテーブルそのものであってもよい。   The projection device 2 is, for example, a liquid crystal projector, and is disposed on the front side of the housing 10 with the display surface facing upward. The projection device 2 projects the image by displaying the image on the display surface according to the image signal received from the control unit 7. The image projected from the projection device 2 is reflected by the mirror 3 provided on the lower side of the zenith portion 10a of the housing 10 protruding to the front side, and for example, a determination target as to whether or not the user's fingertip has touched The target object 8 is projected on a table surface or the like serving as a reference surface on which the target object 8 is placed. The object 8 can be, for example, a book, a magazine, or a paper, but is not limited to such an object. The object 8 may be the table itself on which the input device 1 is placed.

二つのカメラ４−１、４−２は、それぞれ、撮像部の一例であり、天頂部１０ａに、ミラー３を挟んで所定間隔だけ離して下方に向けて配置される。なお、テーブル面からカメラ４−１、４−２までの高さは、対象物８がカメラ４−１とカメラ４−２の両方の撮影範囲に含まれ、かつ、対象物８の近傍に位置する指先を画像上で識別できるように、例えば、600mmに設定される。そしてカメラ４−１、４−２は、それぞれ、所定の撮影周期（例えば、10msec〜50msec）でその撮影範囲が写った画像を生成する。本実施形態では、カメラ４−１、４−２により生成される画像は、RGB表色系により表されるカラー画像である。また、本実施形態では、カメラ４−１とカメラ４−２間の視差方向は、各カメラにより生成された画像において水平方向となる。カメラ４−１、４−２は、画像を生成する度に、その画像を制御部７へ出力する。   Each of the two cameras 4-1 and 4-2 is an example of an imaging unit, and is arranged on the zenith portion 10 a so as to be spaced downward by a predetermined distance across the mirror 3. The height from the table surface to the cameras 4-1 and 4-2 is such that the object 8 is included in the imaging range of both the camera 4-1 and the camera 4-2 and is positioned in the vicinity of the object 8. For example, it is set to 600 mm so that the fingertip to be identified can be identified on the image. Each of the cameras 4-1 and 4-2 generates an image showing the shooting range at a predetermined shooting cycle (for example, 10 msec to 50 msec). In the present embodiment, the images generated by the cameras 4-1 and 4-2 are color images represented by the RGB color system. In the present embodiment, the parallax direction between the camera 4-1 and the camera 4-2 is the horizontal direction in the image generated by each camera. Each time the cameras 4-1 and 4-2 generate an image, the image is output to the control unit 7.

通信部５は、入力装置１を他の機器と接続するためのインタフェース及びその制御回路を有する。そして通信部５は、例えば、他の機器から受け取った映像信号を制御部７へ渡す。あるいは、通信部５は、制御部７から受け取った、ユーザの入力に応じた入力信号を他の機器へ出力する。   The communication unit 5 includes an interface for connecting the input device 1 to other devices and its control circuit. For example, the communication unit 5 passes the video signal received from another device to the control unit 7. Or the communication part 5 outputs the input signal according to the user's input received from the control part 7 to another apparatus.

記憶部６は、例えば、揮発性又は不揮発性の半導体メモリ回路を有する。そして記憶部６は、投影装置２により投影される映像を表す映像信号及びユーザの操作入力を検出するために利用される各種の情報を記憶する。ユーザの操作入力を検出するために利用される情報には、例えば、カメラ４−１とカメラ４−２間の間隔、カメラ４−１、４−２の焦点距離、指先位置の検出または指の動作の検出に利用する各種のパラメータなどが含まれる。さらに、ユーザの操作入力を検出するために利用される情報には、テーブルと平行な面の位置ごとにおける、テーブルから対象物８の表面までの高さを表す高さマップが含まれてもよい。さらに、記憶部６は、カメラ４−１またはカメラ４−２から得られた画像を記憶してもよい。   The storage unit 6 includes, for example, a volatile or nonvolatile semiconductor memory circuit. And the memory | storage part 6 memorize | stores the various information utilized in order to detect the video signal showing the image | video projected by the projection apparatus 2, and a user's operation input. Examples of information used to detect a user operation input include an interval between the camera 4-1 and the camera 4-2, a focal length of the cameras 4-1 and 4-2, detection of a fingertip position, or finger position. Various parameters used for motion detection are included. Furthermore, the information used for detecting the user's operation input may include a height map representing the height from the table to the surface of the object 8 for each position of the surface parallel to the table. . Furthermore, the storage unit 6 may store an image obtained from the camera 4-1 or the camera 4-2.

図３は、高さマップの一例を示す図である。高さマップ３００は、テーブルの表面に平行な面における、世界座標系の水平方向の座標X及び垂直方向の座標Yごとに、テーブルから対象物８の表面までの高さZを格納する。例えば、高さマップ３００は、座標(0,0)の位置における高さが0mmであり、座標(249,159)の位置における高さが23mmであることを示している。   FIG. 3 is a diagram illustrating an example of a height map. The height map 300 stores the height Z from the table to the surface of the object 8 for each horizontal coordinate X and vertical coordinate Y in the world coordinate system in a plane parallel to the surface of the table. For example, the height map 300 indicates that the height at the position of coordinates (0,0) is 0 mm and the height at the position of coordinates (249,159) is 23 mm.

制御部７は、一つまたは複数のプロセッサ及びその周辺回路を有する。そして制御部７は、投影装置２、カメラ４−１、４−２、通信部５及び記憶部６と信号線を介して接続されており、入力装置１全体を制御する。
また制御部７は、カメラ４−１及びカメラ４−２のそれぞれから受け取った画像上での指先の位置を求めることで、ユーザの指先の実空間での位置（すなわち、三次元位置）を特定する。そして制御部７は、指先の実空間での位置に基づいて、ユーザによる入力操作が行われたか否かを判定し、入力操作が行われたと判定した場合、指先の位置に応じた処理を実行する。 The control unit 7 includes one or a plurality of processors and their peripheral circuits. The control unit 7 is connected to the projection device 2, the cameras 4-1 and 4-2, the communication unit 5, and the storage unit 6 through signal lines, and controls the entire input device 1.
Further, the control unit 7 specifies the position of the user's fingertip in real space (that is, the three-dimensional position) by obtaining the position of the fingertip on the image received from each of the camera 4-1 and the camera 4-2. To do. Then, the control unit 7 determines whether or not an input operation by the user has been performed based on the position of the fingertip in the real space, and when it is determined that the input operation has been performed, performs a process according to the position of the fingertip To do.

以下、制御部７により実行される、入力処理に関する構成要素の詳細について説明する。
図４は、制御部７の機能ブロック図である。制御部７は、指領域検出部１１と、指先位置算出部１２と、接触判定部１３と、接触動作判定部１４と、更新部１５と、入力処理部１６とを有する。
制御部７が有するこれらの各部は、例えば、制御部７が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装されてもよい。なお、これらの各部は、それぞれ、別個の回路として、制御部７とは別個に入力装置１に実装されてもよく、あるいはこれらの各部の機能を実現する一つの集積回路として、制御部７とは別個に入力装置１に実装されてもよい。 Hereinafter, the detail of the component regarding the input process performed by the control part 7 is demonstrated.
FIG. 4 is a functional block diagram of the control unit 7. The control unit 7 includes a finger region detection unit 11, a fingertip position calculation unit 12, a contact determination unit 13, a contact operation determination unit 14, an update unit 15, and an input processing unit 16.
Each of these units included in the control unit 7 may be implemented as a functional module realized by a computer program executed on a processor included in the control unit 7, for example. Each of these units may be mounted on the input device 1 separately from the control unit 7 as a separate circuit, or as one integrated circuit that realizes the functions of these units, May be separately mounted on the input device 1.

指領域検出部１１は、カメラ４−１及びカメラ４−２のそれぞれから制御部７が画像を取得する度に、何れか一方のカメラから取得した画像上で指が写っている領域である指領域を検出する。以下の説明では、指領域検出部１１は、カメラ４−１から得られた画像上の指領域を検出するものとする。   The finger region detection unit 11 is a finger region in which a finger is reflected on an image acquired from one of the cameras 4-1 and 4-2 each time the control unit 7 acquires an image. Detect areas. In the following description, the finger area detection unit 11 detects a finger area on an image obtained from the camera 4-1.

本実施形態では、指領域検出部１１は、画像上で肌色に相当する色を持つ領域を、指領域として抽出する。そのために、指領域検出部１１は、画像の各画素の値を、次式に従って、RGB表色系で表される値からHSV表色系で表される値に変換する。
ここで、R、G、Bは、それぞれ、変換前の画素の赤色成分、緑色成分、青色成分を表す。またMAX、MINは、それぞれ、変換前の画素の赤色成分、緑色成分、青色成分のうちの最大値及び最小値を表す。そしてH、V、Ｓは、それぞれ、変換後の画素の色相、明度、彩度を表す。ただし、Hの値に関しては、（１）式により得られた値が負の場合、その値に360を加えた値が色相の値となる。
この例では、明度V及び彩度Sは、それぞれ、0〜255の範囲内の値を取る。また、色相Hは、0〜359の値を取る。 In the present embodiment, the finger area detection unit 11 extracts an area having a color corresponding to the skin color on the image as the finger area. For this purpose, the finger area detection unit 11 converts the value of each pixel of the image from a value expressed in the RGB color system to a value expressed in the HSV color system according to the following equation.
Here, R, G, and B represent the red component, green component, and blue component of the pixel before conversion, respectively. MAX and MIN represent the maximum and minimum values of the red, green, and blue components of the pixel before conversion, respectively. H, V, and S represent the hue, brightness, and saturation of the pixel after conversion, respectively. However, regarding the value of H, when the value obtained by the expression (1) is negative, the value obtained by adding 360 to the value is the hue value.
In this example, the lightness V and the saturation S each take a value in the range of 0 to 255. The hue H takes a value from 0 to 359.

指領域検出部１１は、各画素の値がHSV表色系で表された画像から、次式の条件を満たす画素を肌色を持つ画素として抽出する。
The finger region detection unit 11 extracts pixels satisfying the following expression as pixels having skin color from an image in which the value of each pixel is represented in the HSV color system.

指領域検出部１１は、抽出された肌色を持つ画素（以下、便宜上、肌色画素と呼ぶ）に対してラベリング処理を実行することにより、肌色画素同士が連結された領域を指領域とする。さらに、指領域検出部１１は、肌色画素同士が連結された領域に対してモルフォロジーの膨張収縮演算を行って得られた領域を指領域としてもよい。また、肌色画素同士が連結された領域が複数存在する場合、指領域検出部１１は、それら複数の領域のうち、輪郭線の長さが最大となる領域を指領域としてもよい。なお、指領域検出部１１は、画像から指領域を検出する様々な方法の何れか、例えば、特開２００３−３４６１６２号公報に開示されている方法にしたがって指領域を検出してもよい。   The finger region detection unit 11 performs a labeling process on the extracted skin color pixel (hereinafter referred to as a skin color pixel for convenience), thereby setting a region where the skin color pixels are connected to each other as a finger region. Furthermore, the finger region detection unit 11 may use, as a finger region, a region obtained by performing a morphological expansion / contraction operation on a region where skin color pixels are connected to each other. In addition, when there are a plurality of areas where skin color pixels are connected to each other, the finger area detection unit 11 may use, as a finger area, an area where the length of the contour line is the maximum among the plurality of areas. The finger region detection unit 11 may detect the finger region according to any of various methods for detecting a finger region from an image, for example, a method disclosed in Japanese Patent Application Laid-Open No. 2003-346162.

指領域が検出されると、指領域検出部１１は、指領域の先端を、その画像上での指先の位置として検出する。例えば、画像上では指の根元が上側に位置し、指先が下側に位置することが想定される場合、指領域検出部１１は、指領域の輪郭上に位置する画素のうち、垂直方向の座標が最も下方となる画素の位置を指先位置とする。あるいは、指領域検出部１１は、画像上での指先位置を検出する様々な方法の何れかにしたがって画像上の指先位置を検出してもよい。   When the finger area is detected, the finger area detection unit 11 detects the tip of the finger area as the position of the fingertip on the image. For example, when it is assumed that the base of the finger is located on the upper side and the fingertip is located on the lower side on the image, the finger area detection unit 11 selects the vertical direction among the pixels located on the outline of the finger area. The position of the pixel with the lowest coordinate is taken as the fingertip position. Alternatively, the finger region detection unit 11 may detect the fingertip position on the image according to any of various methods for detecting the fingertip position on the image.

指領域検出部１１は、画像上での指領域及び指先位置を指先位置算出部１２へ通知する。   The finger area detection unit 11 notifies the fingertip position calculation unit 12 of the finger area and the fingertip position on the image.

指先位置算出部１２は、指領域検出部１１から指領域及び指先位置が通知される度に、画像上の指先位置と、他方の画像上の対応点とから、実空間での指先位置を算出する。なお、本実施形態では、カメラ４−２による得られた画像のうち、指先位置が検出された画像の撮影時刻と最も近い撮影時刻の画像を他方の画像とする。   The fingertip position calculation unit 12 calculates the fingertip position in real space from the fingertip position on the image and the corresponding point on the other image each time the finger area and the fingertip position are notified from the finger area detection unit 11. To do. In the present embodiment, of the images obtained by the camera 4-2, the image at the shooting time closest to the shooting time of the image where the fingertip position is detected is set as the other image.

そのために、指先位置算出部１２は、指領域及び指先位置が検出されたカメラ４−１による画像に対して、カメラ４−２による他方の画像とのマッチングに利用するテンプレートを設定する。テンプレートは、例えば、指先位置を含む、指領域の先端側の一部分が含まれるように設定されることが好ましい。
なお、指先位置算出部１２は、テンプレート内の指領域以外の画素の値によるテンプレートマッチングへの影響を低下させるために、テンプレート内の指領域以外の各画素の値を所定値（例えば、0）に書き換えてもよい。 For this purpose, the fingertip position calculation unit 12 sets a template used for matching with the other image by the camera 4-2 for the image by the camera 4-1 from which the finger region and the fingertip position are detected. The template is preferably set so that, for example, a part on the tip side of the finger region including the fingertip position is included.
The fingertip position calculation unit 12 sets the value of each pixel other than the finger area in the template to a predetermined value (for example, 0) in order to reduce the influence on the template matching due to the value of the pixel other than the finger area in the template. It may be rewritten as

指先位置算出部１２は、テンプレートと他方の画像との間でテンプレートマッチングを実行する。その際、指先位置算出部１２は、例えば、他方の画像に対するテンプレートの相対的な位置を水平方向（すなわち、カメラ４−１とカメラ４−２間の視差方向）にずらしながら、テンプレートと他方の画像間の正規化相互相関値を算出する。なお、指先位置算出部１２は、他方の画像に対するテンプレートの相対的な位置を、垂直方向にもずらしてもよい。そして指先位置算出部１２は、正規化相互相関値が最大となったときの他方の画像上でのテンプレートの位置を求める。指先位置算出部１２は、テンプレートを正規化相互相関値が最大となったときの他方の画像上の位置に位置合わせしたときのテンプレート内の指先位置に対応する、他方の画像上の点を、指先位置の対応点とする。   The fingertip position calculation unit 12 performs template matching between the template and the other image. At this time, for example, the fingertip position calculation unit 12 shifts the relative position of the template with respect to the other image in the horizontal direction (that is, the parallax direction between the camera 4-1 and the camera 4-2), and A normalized cross-correlation value between images is calculated. Note that the fingertip position calculation unit 12 may also shift the relative position of the template with respect to the other image in the vertical direction. The fingertip position calculation unit 12 obtains the position of the template on the other image when the normalized cross-correlation value is maximized. The fingertip position calculation unit 12 calculates a point on the other image corresponding to the fingertip position in the template when the template is aligned with the position on the other image when the normalized cross-correlation value is maximum. The corresponding point of the fingertip position.

本実施形態では、各カメラの設置位置、画角及び解像度が分かっているので、指先位置算出部１２は、三角測量に基づいて、一方の画像上での指先位置と、他方の画像上での対応点の位置とから、指先の実空間での位置を求めることができる。例えば、指先位置算出部１２は、次式に従って、カメラ４−１の撮像光学系の前側主点を原点とするカメラ座標系における、指先の位置の三次元座標(XC,YC,ZC)を算出する。ただし、カメラ座標系では、カメラ４−１の撮像光学系の前側主点からカメラ４−２の撮像光学系の前側主点へ向かう方向をX軸方向とし、カメラ４−１の撮像光学系の光軸に平行な方向をZ軸方向とする。そしてX軸方向及びZ軸方向と直交する方向をY軸方向とする。
ここで、(xc1,yc1)は、カメラ４−１による画像上の指先位置の座標であり、(xc2,yc2)は、カメラ４−２による画像上の対応点の座標である。Dは、カメラ４−１の撮像光学系の前側主点とカメラ４−２の撮像光学系の前側主点間の距離、すなわち基線長(mm)である。Wは、各画像の水平方向の画素数である。Hは、各画像の垂直方向の画素数である。θは、カメラ４−１、４−２の対角方向の視野角である。 In this embodiment, since the installation position, field angle, and resolution of each camera are known, the fingertip position calculation unit 12 determines the fingertip position on one image and the other image based on triangulation. The position of the fingertip in real space can be obtained from the position of the corresponding point. For example, the fingertip position calculation unit 12 calculates the three-dimensional coordinates (XC, YC, ZC) of the position of the fingertip in the camera coordinate system with the front principal point of the imaging optical system of the camera 4-1 as the origin according to the following equation: To do. However, in the camera coordinate system, the direction from the front principal point of the imaging optical system of the camera 4-1 to the front principal point of the imaging optical system of the camera 4-2 is the X-axis direction, and the imaging optical system of the camera 4-1 The direction parallel to the optical axis is taken as the Z-axis direction. A direction orthogonal to the X-axis direction and the Z-axis direction is taken as a Y-axis direction.
Here, (xc1, yc1) is the coordinate of the fingertip position on the image by the camera 4-1, and (xc2, yc2) is the coordinate of the corresponding point on the image by the camera 4-2. D is the distance between the front principal point of the imaging optical system of the camera 4-1 and the front principal point of the imaging optical system of the camera 4-2, that is, the base line length (mm). W is the number of pixels in the horizontal direction of each image. H is the number of pixels in the vertical direction of each image. θ is a diagonal viewing angle of the cameras 4-1 and 4-2.

指先位置算出部１２は、テーブルに載置された対象物８に指先が接触しているか否かの判定を容易にするため、指先位置の実空間の座標を、カメラ座標系から、テーブル上の任意の点を原点とする世界座標系の座標に変換することが好ましい。   The fingertip position calculation unit 12 calculates the coordinates of the fingertip position in real space from the camera coordinate system on the table in order to easily determine whether or not the fingertip is in contact with the object 8 placed on the table. It is preferable to convert the coordinates to a coordinate in the world coordinate system with an arbitrary point as the origin.

図５は、カメラ座標系と世界座標系の位置関係の一例を示す図である。カメラ座標系５００では、上述したように、カメラ４−１の撮像光学系の前側主点が原点に設定される。そしてカメラ４−１の撮像光学系の前側主点からカメラ４−２の撮像光学系の前側主点へ向かう方向がX軸方向となり、カメラ４−１の撮像光学系の光軸に平行な方向がZ軸方向となり、X軸方向及びZ軸方向と直交する方向がY軸方向となる。   FIG. 5 is a diagram illustrating an example of the positional relationship between the camera coordinate system and the world coordinate system. In the camera coordinate system 500, as described above, the front principal point of the imaging optical system of the camera 4-1 is set as the origin. The direction from the front principal point of the imaging optical system of the camera 4-1 to the front principal point of the imaging optical system of the camera 4-2 is the X-axis direction, and is a direction parallel to the optical axis of the imaging optical system of the camera 4-1. Is the Z-axis direction, and the X-axis direction and the direction orthogonal to the Z-axis direction are the Y-axis direction.

一方、世界座標系５０１では、対象物８が載置されるテーブル５０２上に原点が設定される。この例では、投影装置２からの映像が投影される領域のコーナーのうちの一つが原点とされる。そして、テーブル５０２の表面と平行な面において、カメラ４−１の撮像光学系の前側主点とカメラ４−２の撮像光学系の前側主点とを結ぶ線と平行となるように世界座標系５０１のX軸方向が設定される。また、テーブル５０２の表面と平行な面において、X軸方向と直交する方向にY軸方向が設定される。そしてテーブル５０２の表面の法線方向が世界座標系５０１のZ軸方向となる。   On the other hand, in the world coordinate system 501, the origin is set on the table 502 on which the object 8 is placed. In this example, one of the corners of the area where the image from the projection device 2 is projected is the origin. The world coordinate system is parallel to a line connecting the front principal point of the imaging optical system of the camera 4-1 and the front principal point of the imaging optical system of the camera 4-2 on a plane parallel to the surface of the table 502. The X-axis direction 501 is set. Further, the Y-axis direction is set in a direction orthogonal to the X-axis direction on a plane parallel to the surface of the table 502. The normal direction of the surface of the table 502 is the Z-axis direction of the world coordinate system 501.

指先位置算出部１２は、次式に従って、カメラ座標系における指先の位置の座標P=t(XC,YC,ZC)を、世界座標系における座標P'=t(Xf,Yf,Zf)に変換する。
ここで、Rは、カメラ座標系と世界座標系間の回転量を表す回転行列であり、Tは、カメラ座標系の原点と世界座標系の原点間の平行移動量を表す平行移動ベクトルである。図５に示されるように、カメラ座標系と世界座標系とが配置される場合、カメラ座標系のX軸を回転軸として、カメラ座標系と世界座標系とは、角度θ回転した関係になっているため、回転行列Rは次式で表される。
The fingertip position calculation unit 12 determines the coordinates P = t (X C , Y C , Z C ) of the fingertip position in the camera coordinate system and the coordinates P ′ = t (X f , Y f ) in the world coordinate system according to the following equation: , Z f ).
Here, R is a rotation matrix that represents the amount of rotation between the camera coordinate system and the world coordinate system, and T is a translation vector that represents the amount of translation between the origin of the camera coordinate system and the origin of the world coordinate system. . As shown in FIG. 5, when the camera coordinate system and the world coordinate system are arranged, the camera coordinate system and the world coordinate system are in a relationship rotated by an angle θ with the X axis of the camera coordinate system as the rotation axis. Therefore, the rotation matrix R is expressed by the following equation.

特に、カメラ４−１の撮像光学系の光軸が対象物８が載置されたテーブルの法線と平行となるようにカメラ４−１が設置されている場合、θ=180°となる。   In particular, when the camera 4-1 is installed so that the optical axis of the imaging optical system of the camera 4-1 is parallel to the normal line of the table on which the object 8 is placed, θ = 180 °.

また、カメラ座標系の原点と世界座標系の原点間の各軸における差が、それぞれ、Da、Db、Dcである場合、平行移動ベクトルTは次式で表される。
なお、回転行列R及び平行移動ベクトルTは、カメラ４−１及びカメラ４−２の設置位置、及び投影装置２の投影範囲に基づいて予め求められ、記憶部６に記憶される。 Further, when the differences in the respective axes between the origin of the camera coordinate system and the origin of the world coordinate system are D a , D b , and D c , respectively, the translation vector T is expressed by the following equation.
The rotation matrix R and the translation vector T are obtained in advance based on the installation positions of the camera 4-1 and the camera 4-2 and the projection range of the projection device 2, and are stored in the storage unit 6.

（４）式〜（６）式より、世界座標系における、指先の位置の座標P'= t(Xf,Yf,Zf)は、次式に従って算出される。
From the equations (4) to (6), the coordinate P ′ = t (X f , Y f , Z f ) of the position of the fingertip in the world coordinate system is calculated according to the following equation.

指先位置算出部１２は、世界座標系における、指先位置の座標P'を、その算出に用いられた画像についての撮影時刻と対応付けて記憶部６に記憶する。例えば、カメラ４−１及びカメラ４−２の撮影周期が１/60秒である場合、直近の2秒間において、最大120組の指先位置の座標P'が記憶部６に記憶される。   The fingertip position calculation unit 12 stores the coordinate P ′ of the fingertip position in the world coordinate system in the storage unit 6 in association with the shooting time for the image used for the calculation. For example, when the imaging cycle of the camera 4-1 and the camera 4-2 is 1/60 second, the coordinates P ′ of a maximum of 120 pairs of fingertip positions are stored in the storage unit 6 in the latest 2 seconds.

接触判定部１３は、ユーザの入力操作を検出するために、ユーザの指先が対象物８に接触したか否かを判定する。そして接触判定部１３は、ユーザの指先が対象物８に接触している場合、その接触位置に応じた入力操作が行われたと判定する。   The contact determination unit 13 determines whether or not the user's fingertip has contacted the object 8 in order to detect the user's input operation. Then, when the user's fingertip is in contact with the object 8, the contact determination unit 13 determines that an input operation corresponding to the contact position has been performed.

接触判定部１３は、記憶部６の高さマップから、指先位置P'のうちのX方向及びY方向の座標(Xf,Yf)に対応する、対象物８の高さZtを読み込む。この高さZtも、世界座標系で表される。そして接触判定部１３は、指先位置P'のZ方向の座標であるZfと対象物８の高さZtとが下記の条件を満たす場合、すなわち、ZfとZtとの差が所定の許容範囲内である場合、指先は対象物８と接触したと判定する。一方、下記の条件が満たされない場合には、接触判定部１３は、指先は対象物８と接触していないと判定する。
ここで、FHは、例えば、指先部分における指の厚みに相当する値であり、例えば、10mmに設定される。また、Mzは、接触判定の際に、人による指の厚みの違い、あるいは、対象物８への指の触り方による指の高さの違いを考慮したマージンであり、例えば、5mmに設定される。Mzが大きくなるほど、指先が対象物８に実際には接触していない場合でも、接触したと判定され易くなる。 The contact determination unit 13 reads the height Z t of the object 8 corresponding to the coordinates (X f , Y f ) of the fingertip position P ′ in the X direction and the Y direction from the height map of the storage unit 6. . This height Z t is also expressed in the world coordinate system. The contact determination unit 13, when the height Z t of Z f and the object 8 is a Z-direction of the coordinate of the fingertip position P 'satisfies the condition below, i.e., the difference between Z f and Z t is given If it is within the allowable range, it is determined that the fingertip is in contact with the object 8. On the other hand, when the following conditions are not satisfied, the contact determination unit 13 determines that the fingertip is not in contact with the object 8.
Here, FH is a value corresponding to the thickness of the finger at the fingertip portion, for example, and is set to 10 mm, for example. Mz is a margin that takes into account the difference in finger thickness due to human touching or the difference in finger height due to how the finger touches the object 8, and is set to 5 mm, for example. The As Mz increases, it is easier to determine that the fingertip is in contact even when the fingertip is not actually in contact with the object 8.

なお、接触判定部１３は、直近の所定期間に各カメラにより得られた画像から検出された指先位置P'に基づいて、指先が対象物８に接触したか否かを判定してもよい。例えば、接触判定部１３は、直近の所定期間（例えば、5フレーム分）の指先位置P'の平均値(Xfave, Yfave, Zfave)を算出してもよい。そして接触判定部１３は、その平均値における、Z座標の値Zfaveが(Zt+FH+Mz)以下である場合、指先が対象物８に接触したと判定してもよい。 Note that the contact determination unit 13 may determine whether or not the fingertip has contacted the object 8 based on the fingertip position P ′ detected from the images obtained by the cameras during the most recent predetermined period. For example, the contact determination unit 13 may calculate an average value (X fave , Y fave , Z fave ) of the fingertip position P ′ during the most recent predetermined period (for example, for 5 frames). Then, the contact determination unit 13 may determine that the fingertip has contacted the object 8 when the Z coordinate value Z fave in the average value is equal to or less than (Z t + FH + Mz).

接触判定部１３は、指先が対象物８に接触したと判定した場合、指先位置P'を入力処理部１６へ通知する。一方、接触判定部１３は、指先が対象物８に接触していないと判定した場合、その旨を接触動作判定部１４へ通知する。   When the contact determination unit 13 determines that the fingertip has contacted the object 8, the contact determination unit 13 notifies the input processing unit 16 of the fingertip position P ′. On the other hand, when the contact determination unit 13 determines that the fingertip is not in contact with the object 8, the contact determination unit 13 notifies the contact operation determination unit 14 to that effect.

接触動作判定部１４は、接触判定部１３が指先が対象物８に接触していないと判定した場合、直近の所定期間中に求められた指先位置のそれぞれに基づいて、指の動作を表す特徴量を算出する。そして接触動作判定部１４は、その特徴量が、指先を対象物８に触れようとする接触動作に相当する条件を満たすか否か判定する。その特徴量がその条件を満たす場合、接触動作判定部１４は、ユーザの指先は対象物８に接触したと判定する。   When the contact determination unit 13 determines that the fingertip is not in contact with the object 8, the contact movement determination unit 14 represents a finger movement based on each fingertip position obtained during the most recent predetermined period. Calculate the amount. Then, the contact motion determination unit 14 determines whether or not the feature amount satisfies a condition corresponding to a contact motion that tries to touch the object 8 with the fingertip. When the feature amount satisfies the condition, the contact operation determination unit 14 determines that the user's fingertip has contacted the object 8.

ここで、一般に、ユーザが対象物８に指先を接触させているにもかかわらず、入力装置１が何の反応も示さない場合にユーザが取り得る接触動作として、以下の２通りの動作が想定される。
（１）対象物に指を接触させたまま、指を動かさずに静止させる
（２）対象物の同一場所を指先で触れる動作を繰り返す。すなわち、対象物の同一場所を下端として、指を上下に繰り返し移動させる Here, generally, the following two operations are assumed as the contact operations that the user can take when the input device 1 does not show any reaction even though the user is touching the object 8 with the fingertip. Is done.
(1) Keep the finger in contact with the object and keep it stationary without moving the finger. (2) Repeat the operation of touching the same place on the object with the fingertip. That is, the finger is repeatedly moved up and down with the same location of the object as the lower end.

図６（ａ）は、ユーザが上記の（１）の動作を行っている場合における、テーブルからの指の高さの時間変化の測定結果の一例を示す図である。また図６（ｂ）は、ユーザが上記の（２）の動作を行っている場合における、テーブルからの指の高さの時間変化の測定結果の一例を示す図である。図６（ａ）及び図６（ｂ）において、横軸は時間を表し、縦軸はテーブルからの高さを表す。そしてグラフ６００は、ユーザが上記の（１）の動作を行っている場合における、時間経過と指先の高さの関係を表す。また、グラフ６０１は、ユーザが上記の（２）の動作を行っている場合における、時間経過と指先の高さの関係を表す。   FIG. 6A is a diagram illustrating an example of a measurement result of a temporal change in finger height from the table when the user is performing the operation (1). FIG. 6B is a diagram illustrating an example of a measurement result of a temporal change in finger height from the table when the user is performing the operation (2). 6A and 6B, the horizontal axis represents time, and the vertical axis represents the height from the table. The graph 600 represents the relationship between the passage of time and the height of the fingertip when the user is performing the above operation (1). A graph 601 represents the relationship between the passage of time and the height of the fingertip when the user is performing the above operation (2).

ユーザが上記（１）及び（２）の何れかの動作を行ったとする。この場合、グラフ６００及びグラフ６０１に示されるように、その動作中における指先位置の下端、すなわち、その動作中における、指先とテーブル間の距離の極小値（言い換えれば、カメラ４−１から指先までの距離の極大値）は、ほぼ一定となる。これは、ユーザの指が、その下端位置において対象物８と接触し、それ以上、テーブルへ近づける方向へ指を動かせないためである。   It is assumed that the user performs any of the operations (1) and (2). In this case, as shown in the graph 600 and the graph 601, the lower end of the fingertip position during the operation, that is, the minimum value of the distance between the fingertip and the table during the operation (in other words, from the camera 4-1 to the fingertip). The maximum value of the distance is substantially constant. This is because the user's finger is in contact with the object 8 at the lower end position, and the finger cannot be moved further in the direction of approaching the table.

これに対して、図７（ａ）は、ユーザが指を下方へ移動させ、何かの物体に指が触れるよりも前に指を静止させた場合における、テーブルからの指の高さの時間変化の測定結果の一例を示す図である。図７（ａ）において、横軸は時間を表し、縦軸はテーブルからの高さを表す。そしてグラフ７００は、ユーザが上記の動作を行っている場合における、時間経過と指先の高さの関係を表す。また図７（ｂ）は、ユーザが指を下方へ移動させ、何かの物体に指が触れるよりも前に指を静止させる動作を繰り返した場合における、テーブルからの指の高さの時間変化の測定結果の一例を示す図である。図７（ｂ）において、横軸は時間を表し、縦軸はテーブルからの高さを表す。そしてグラフ７０１は、ユーザがその動作を繰り返した場合における、時間経過と指先の高さの関係を表す。   On the other hand, FIG. 7A shows the time of the height of the finger from the table when the user moves the finger downward and stops the finger before touching any object. It is a figure which shows an example of the measurement result of a change. In Fig.7 (a), a horizontal axis represents time and a vertical axis | shaft represents the height from a table. A graph 700 represents a relationship between the passage of time and the height of the fingertip when the user performs the above-described operation. FIG. 7 (b) shows the time change of the height of the finger from the table when the user repeatedly moves the finger downward and stops the finger before touching any object. It is a figure which shows an example of the measurement result. In FIG. 7B, the horizontal axis represents time, and the vertical axis represents the height from the table. A graph 701 represents the relationship between the passage of time and the height of the fingertip when the user repeats the operation.

ユーザが指を空中で静止させる場合、グラフ７００及びグラフ７０１に示されるように、その動作中における、指先の位置の下端はばらつく。これは、その下端の位置で指が接触する物体が無いため、ユーザが同じ位置で指を静止させることが困難なためである。   When the user stops the finger in the air, as shown in the graph 700 and the graph 701, the lower end of the fingertip position during the movement varies. This is because it is difficult for the user to stop the finger at the same position because there is no object that the finger contacts at the lower end position.

そこで、接触動作判定部１４は、直近の所定期間（例えば、2秒間）中に求められた、実空間での指先位置のそれぞれから、上記の（１）または（２）の動作を行っているか否かを判定するために利用される、指の動作を表す特徴量を算出する。   Therefore, the contact movement determination unit 14 performs the above movement (1) or (2) from each of the fingertip positions in the real space obtained during the most recent predetermined period (for example, 2 seconds). A feature amount representing a finger motion used to determine whether or not is calculated.

例えば、接触動作判定部１４は、上記の（１）の動作を行っているか否かを判定するための特徴量として、所定期間における、実空間での指先位置のバラツキ度合いを表す指標を算出する。そのような指標として、例えば、接触動作判定部１４は、世界座標系の各軸ごとの指先位置(Xf,Yf,Zf)の最大値と最小値の差XD=|Xfmax-Xfmin|、YD=|Yfmax-Yfmin|、ZD=|Zfmax-Zfmin|を算出する。なお、Xfmax、Yfmax、Zfmaxは、異なるタイミングで得られた指先位置の座標値であってもよい。同様に、Xfmin、Yfmin、Zfminも、異なるタイミングで得られた指先位置の座標値であってもよい。 For example, the contact movement determination unit 14 calculates an index representing the degree of variation in the fingertip position in the real space as a feature amount for determining whether or not the movement (1) is performed. . As such an index, for example, the contact movement determination unit 14 determines the difference between the maximum value and the minimum value of the fingertip position (X f , Y f , Z f ) for each axis in the world coordinate system XD = | X fmax −X fmin |, YD = | Yfmax- Yfmin |, ZD = | Zfmax- Zfmin | X fmax , Y fmax , and Z fmax may be coordinate values of the fingertip position obtained at different timings. Similarly, X fmin , Y fmin , and Z fmin may be coordinate values of fingertip positions obtained at different timings.

この場合、接触動作判定部１４は、特徴量(XD,YD,ZD)が下記の条件を満たす場合、ユーザは上記の（１）の動作を行ったと判定する。
ここで、Mxdiff、Mydiff、Mzdiffは、指先の位置が静止しているとみなせる指先位置の移動量の最大値であり、例えば、Mxdiff=Mydiff=Mzdiff=2mmに設定される。 In this case, when the feature amount (XD, YD, ZD) satisfies the following condition, the contact operation determination unit 14 determines that the user has performed the operation (1).
Here, Mxdiff, Mydiff, and Mzdiff are the maximum values of the movement amount of the fingertip position at which the fingertip position can be regarded as stationary, and are set to Mxdiff = Mydiff = Mzdiff = 2 mm, for example.

また、接触動作判定部１４は、上記の（２）の動作を行っているか否かを判定するための特徴量として、所定期間中に求められた指先位置の高さZfのうち、その最小値Zfminとの差ZDがMzdiff以下となった回数NumZminを算出する。なお、指先位置の高さの最小値Zfminは、カメラ４−１から指先位置までの距離の最大値に対応する。この場合、接触動作判定部１４は、NumZminが所定回数ThNum以上となる条件を満たす場合に、ユーザは上記の（２）の動作を行ったと判定する。なお、所定回数ThNumは、例えば、所定期間中の指先位置の測定回数に0.5〜0.7を乗じた値に設定される。例えば、上記のように、所定期間が2秒間で、カメラ４−１及びカメラ４−２の撮影周期が60フレーム/秒である場合、所定期間中に指先位置が120回測定される。この場合、所定回数ThNumは、例えば、80回に設定される。さらに、接触動作判定部１４は、NumZminが所定回数ThNum以上となることに加えて、所定期間中にZD=(Zf-Zfmin)がMzdiffよりも大きくなった回数が所定回数ThNum2以上となったことを、ユーザが上記の（２）の動作を行ったと判定する条件としてもよい。この場合ThNum2は、例えば、(ThNum+ThNum2)が所定期間中の指先位置の測定回数以下となり、かつ、その測定回数に0.2〜0.4を乗じた値に設定される。 The contact operation determination unit 14 as the feature value for determining whether or not performing the operation of above (2), of the height Z f of the fingertip position obtained during a predetermined period, the minimum that difference ZD between the value Z fmin to calculate the number of times NumZmin became less Mzdiff. The minimum height Z fmin of the fingertip position corresponds to the maximum value of the distance from the camera 4-1 to the fingertip position. In this case, the contact operation determination unit 14 determines that the user has performed the operation (2) above when the condition that NumZmin is equal to or greater than the predetermined number ThNum is satisfied. For example, the predetermined number ThNum is set to a value obtained by multiplying the number of measurements of the fingertip position during a predetermined period by 0.5 to 0.7. For example, as described above, when the predetermined period is 2 seconds and the imaging cycle of the camera 4-1 and the camera 4-2 is 60 frames / second, the fingertip position is measured 120 times during the predetermined period. In this case, the predetermined number of times ThNum is set to 80 times, for example. Further, the contact operation judging unit 14, in addition to NumZmin is greater than or equal to a predetermined number of times ThNum, number of ZD = during a predetermined time period (Z f -Z fmin) is greater than Mzdiff becomes a predetermined number ThNum2 more This may be a condition for determining that the user has performed the operation (2). In this case, for example, ThNum2 is set to a value in which (ThNum + ThNum2) is equal to or less than the number of measurements of the fingertip position during a predetermined period, and the number of measurements is multiplied by 0.2 to 0.4.

なお、接触動作が行われたか否かの判定に用いる特徴量は、上記の例に限られない。例えば、接触動作判定部１４は、上記の（１）の動作判定に用いられる、指先位置のバラツキ度合いの他の指標、例えば、所定期間中での、世界座標系の各軸ごとの指先位置の標準偏差または分散を、特徴量として算出してもよい。そして接触動作判定部１４は、軸ごとの指先位置の標準偏差または分散が、何れも所定の閾値以下となる場合に、上記の（１）の動作を行っていると判定してもよい。さらにまた、接触動作判定部１４は、指先位置のバラツキ度合いの指標を特徴量とする場合、高さ方向についてのみ、座標の最大値と最小値の差、標準偏差または分散を求めてもよい。   Note that the feature amount used for determining whether or not the contact operation has been performed is not limited to the above example. For example, the contact motion determination unit 14 is used for the motion determination of (1) above, and other indexes of the fingertip position variation degree, for example, the fingertip position for each axis in the world coordinate system during a predetermined period. A standard deviation or variance may be calculated as the feature amount. Then, the contact movement determination unit 14 may determine that the movement (1) is performed when the standard deviation or variance of the fingertip position for each axis is equal to or less than a predetermined threshold value. Furthermore, when the index of the degree of variation of the fingertip position is used as the feature amount, the contact movement determination unit 14 may obtain the difference between the maximum value and the minimum value, the standard deviation, or the variance only in the height direction.

また、ユーザが上記の（２）の動作を行う場合、指先で繰り返し対象物８の同じ位置に触れると想定される。そのため、（２）の動作の実行中において、指先位置が下端に達する度に、テーブルの表面と平行な面（すなわち、水平面）における指先位置はほぼ同一となると想定される。そこで、接触動作判定部１４は、上記の（２）の動作判定用の特徴量として、所定期間における、指先位置の高さが極小値となるときの指先位置のバラツキ度合いの指標を特徴量として算出してもよい。その指標は、例えば、指先位置の高さが極小値となるときの指先位置のテーブル面に平行な面の座標(Xf,Yf)の各軸の最大値と最小値の差の絶対値(XD,YD)、分散または標準偏差とすることができる。そして接触動作判定部１４は、軸ごとの特徴量が何れも所定の閾値以下となる場合に上記の（２）の動作を行っていると判定してもよい。 Further, when the user performs the operation (2), it is assumed that the same position of the object 8 is repeatedly touched with the fingertip. Therefore, during the execution of the operation (2), each time the fingertip position reaches the lower end, it is assumed that the fingertip position on the plane parallel to the surface of the table (that is, the horizontal plane) is substantially the same. Therefore, the contact motion determination unit 14 uses, as the feature amount, an index of the degree of variation of the fingertip position when the height of the fingertip position is a minimum value during a predetermined period as the feature amount for motion determination of (2) above. It may be calculated. The index is, for example, the absolute value of the difference between the maximum and minimum values of each axis coordinate (X f , Y f ) of the surface parallel to the table surface of the fingertip position when the height of the fingertip position is a minimum value It can be (XD, YD), variance or standard deviation. Then, the contact motion determination unit 14 may determine that the motion (2) is performed when all the feature values for each axis are equal to or less than a predetermined threshold.

なお、接触動作判定部１４は、上記の（１）の動作及び（２）の動作のうちの何れか一方についてのみ、対応する特徴量を算出し、その特徴量が接触動作に対応する条件を満たすか否かを判定してもよい。   Note that the contact motion determination unit 14 calculates a feature value corresponding to only one of the motion (1) and the motion (2), and sets a condition that the feature amount corresponds to the touch motion. It may be determined whether or not it is satisfied.

接触動作判定部１４は、所定期間においてユーザが対象物８への接触動作を行ったと判定した場合、その所定期間中において指先位置の高さが最小となるときの指先位置をP'として、更新部１５及び入力処理部１６へ通知する。   When it is determined that the user has performed a contact operation on the object 8 during a predetermined period, the contact movement determination unit 14 updates the fingertip position when the height of the fingertip position is minimum during the predetermined period as P ′. Notification to the unit 15 and the input processing unit 16.

更新部１５は、登録部の一例であり、接触動作判定部１４により、ユーザが接触動作を行ったと判定された場合、高さマップを更新する。これは、少なくとも、ユーザが接触動作を行ったと判定された場合における、指先位置P'では、高さマップに登録されている対象物８の高さが不正確であるためである。   The update unit 15 is an example of a registration unit, and updates the height map when the contact operation determination unit 14 determines that the user has performed a contact operation. This is because at least the height of the object 8 registered in the height map is inaccurate at the fingertip position P ′ when it is determined that the user has performed a contact operation.

例えば、更新部１５は、通知された指先位置P'(Xf,Yf,Zf)のうち、テーブルの表面に平行な面上の座標であるX方向及びY方向の座標(Xf,Yf)に対応する、地図マップに登録された対象物８の高さZtを次式で更新する。
なお、Ztnewは、更新後の対象物８の高さである。またFHは、（８）式におけるFHと同様に、指の厚さの想定値である。 For example, the update unit 15 out of the notified fingertip positions P ′ (X f , Y f , Z f ) has coordinates in the X direction and the Y direction (X f , The height Z t of the object 8 registered in the map map corresponding to Y f ) is updated by the following equation.
Z tnew is the height of the updated object 8. FH is an assumed value of the thickness of the finger, similar to FH in equation (8).

なお、更新部１５は、座標(Xf,Yf)だけでなく、高さマップに登録されている全ての位置について、対象物８の高さをZtnewに更新してもよい。あるいは、更新部１５は、対象物８が載置される可能性がある範囲が予め分かっている場合、その範囲に含まれる各位置について、対象物８の高さをZtnewに更新してもよい。 Note that the updating unit 15 may update the height of the object 8 to Z tnew not only for the coordinates (X f , Y f ) but for all positions registered in the height map. Alternatively, when the range in which the object 8 is likely to be placed is known in advance, the update unit 15 updates the height of the object 8 to Z tnew for each position included in the range. Good.

また、通知された指先位置P'における指先の高さZfが、その位置(Xf,Yf)における、高さマップに登録された対象物８の高さZtよりも低い場合、すなわち、次式が満たされる場合、一旦高さマップに登録された対象物が除去された可能性が高い。
そこでこの場合、更新部１５は、その位置(Xf,Yf)における、対象物８の高さZtnewをテーブル面と同じ高さ、すなわち0に更新してもよい。あるいは、更新部１５は、（１１）式が満たされる場合、高さマップに登録されている、全ての位置、あるいは、対象物８が載置される可能性がある範囲に含まれる各位置について、対象物８の高さZtnewを0としてもよい。 Further, when the height Z f of the fingertip at the notified fingertip position P ′ is lower than the height Z t of the object 8 registered in the height map at the position (X f , Y f ), that is, When the following equation is satisfied, there is a high possibility that the object once registered in the height map has been removed.
Therefore, in this case, the updating unit 15 may update the height Z tnew of the object 8 at the position (X f , Y f ) to the same height as the table surface, that is, 0. Or the update part 15 is about all the positions included in the range in which all the positions registered in the height map or the target object 8 may be mounted, when Formula (11) is satisfy | filled. The height Z tnew of the object 8 may be zero.

なお、（１１）式が満たされる場合には、更新部１５は、接触動作判定部１４による、指先は対象物８に接触したとの判定結果を取り消すことを入力処理部１６に通知してもよい。   When the expression (11) is satisfied, the update unit 15 may notify the input processing unit 16 that the determination result that the fingertip touches the object 8 is canceled by the contact operation determination unit 14. Good.

入力処理部１６は、ユーザの指先が対象物８と接触した位置P'に応じた入力処理を、例えば、制御部７で動作中のアプリケーションプログラムに応じて実行する。例えば、入力処理部１６は、投影装置２に、その位置P'を中心とする所定の色かつ所定のサイズの円を含む映像を投影させる。   The input processing unit 16 executes input processing according to the position P ′ at which the user's fingertip is in contact with the object 8, for example, according to an application program being operated by the control unit 7. For example, the input processing unit 16 causes the projection device 2 to project an image including a circle having a predetermined color and a predetermined size centered on the position P ′.

この場合、入力処理部１６は、世界座標系での位置P'に相当する投影装置２の表示画面上の位置を特定する。そのために、入力処理部１６は、世界座標系での位置P'の座標を、投影装置２の表示画面の中心を原点とする座標系(以下、便宜上、プロジェクタ座標系と呼ぶ)での座標P''=t(Xp, Yp, Zp)に変換する。世界座標系からプロジェクタ座標系への座標の変換は、（４）式と同様の式により計算される。その際、回転行列Rは、世界座標系からプロジェクタ座標系への回転量を表し、平行移動ベクトルTは、世界座標系の原点からプロジェクタ座標系の原点への移動量を表す。そして入力処理部１６は、プロジェクタ座標系での位置P''の座標を、対応する投影装置２の表示画面上の二次元座標(xp, yp)に変換する。例えば、入力処理部１６は、投影装置２の表示画面上の二次元座標(xp, yp)を、次式に従って算出する。
ここで、fpは、投影装置２の投影光学系の焦点距離である。pimageWは、投影装置２の水平方向の表示画素数である。pimageHは、投影装置２の垂直方向の表示画素数である。なお、投影装置２に、位置P'を中心とする所定の半径を持つ円を投影させるために、入力処理部１６は、対象物８が載置されるテーブル上でのその円に接する正方形の四隅の点の世界座標系での座標を求める。そして入力処理部１６は、その各点の座標を、投影装置２の表示画面上の二次元座標に変換する。そして入力処理部１６は、その各点を４隅とする正方形に内接する円を投影装置２の表示画面に描画させればよい。 In this case, the input processing unit 16 specifies a position on the display screen of the projection apparatus 2 corresponding to the position P ′ in the world coordinate system. For this purpose, the input processing unit 16 uses the coordinates of the position P ′ in the world coordinate system as a coordinate P in a coordinate system (hereinafter referred to as a projector coordinate system for convenience) with the center of the display screen of the projection device 2 as the origin. '' = t (X p , Y p , Z p ) The transformation of coordinates from the world coordinate system to the projector coordinate system is calculated by the same formula as the formula (4). At this time, the rotation matrix R represents the amount of rotation from the world coordinate system to the projector coordinate system, and the parallel movement vector T represents the amount of movement from the origin of the world coordinate system to the origin of the projector coordinate system. Then, the input processing unit 16 converts the coordinates of the position P ″ in the projector coordinate system into two-dimensional coordinates (x p , y p ) on the display screen of the corresponding projector 2. For example, the input processing unit 16 calculates the two-dimensional coordinates (x p , y p ) on the display screen of the projection device 2 according to the following expression.
Here, fp is the focal length of the projection optical system of the projection apparatus 2. pimageW is the number of display pixels in the horizontal direction of the projector 2. pimageH is the number of display pixels in the vertical direction of the projection device 2. In order to cause the projection device 2 to project a circle having a predetermined radius centered on the position P ′, the input processing unit 16 has a square shape in contact with the circle on the table on which the object 8 is placed. Find the coordinates of the four corner points in the world coordinate system. Then, the input processing unit 16 converts the coordinates of each point into two-dimensional coordinates on the display screen of the projection device 2. Then, the input processing unit 16 may draw a circle inscribed in a square having four corners on the display screen of the projection device 2.

入力処理部１６は、上記の処理に限られず、指先が対象物８に接触した位置P'に応じた様々な入力処理を実行できる。例えば、入力処理部１６は、位置P'に応じたアプリケーションを起動したり、位置P'に応じて投影装置２が投影する映像を変化させてもよい。また入力処理部１６は、位置P'の時間的な変化に応じた入力処理を実行してもよい。例えば、入力処理部１６は、位置P'の移動方向に沿って、投影装置２が投影する映像をスクロールさせたり、拡大あるいは縮小させてもよい。   The input processing unit 16 is not limited to the above process, and can execute various input processes according to the position P ′ where the fingertip contacts the object 8. For example, the input processing unit 16 may activate an application corresponding to the position P ′, or may change an image projected by the projection device 2 according to the position P ′. Further, the input processing unit 16 may execute input processing according to the temporal change of the position P ′. For example, the input processing unit 16 may scroll, enlarge, or reduce the video projected by the projection device 2 along the moving direction of the position P ′.

図８は、制御部７により実行される入力操作検出処理の動作フローチャートである。   FIG. 8 is an operation flowchart of the input operation detection process executed by the control unit 7.

指領域検出部１１は、カメラ４−１から得られた画像上で指が写っている指領域を検出する（ステップＳ１０１）。そして指領域検出部１１は、指領域の先端を画像上での指先位置として検出する（ステップＳ１０２）。   The finger area detection unit 11 detects a finger area where a finger is shown on the image obtained from the camera 4-1 (step S <b> 101). Then, the finger area detection unit 11 detects the tip of the finger area as a fingertip position on the image (step S102).

指先位置算出部１２は、カメラ４−１から得られた画像上での指先位置に対する、カメラ４−２から得られた画像上の対応点を特定する（ステップＳ１０３）。そして指先位置算出部１２は、画像上での指先位置とその対応点とに基づいて、実空間での指先位置P'(Xf,Yf,Zf)を算出する（ステップＳ１０４）。 The fingertip position calculation unit 12 specifies a corresponding point on the image obtained from the camera 4-2 with respect to the fingertip position on the image obtained from the camera 4-1 (step S103). Then, the fingertip position calculation unit 12 calculates the fingertip position P ′ (X f , Y f , Z f ) in the real space based on the fingertip position on the image and its corresponding point (step S104).

接触判定部１３は、実空間での指先位置P'における、テーブルから指先までの高さZfが（８）式の接触判定条件を満たすか否か判定する（ステップＳ１０５）。高さZfが（８）式の接触判定条件を満たさない場合（ステップＳ１０５−Ｎｏ）、接触動作判定部１４は、直近の所定期間中に求められた実空間での指先位置のそれぞれから、指の動作を表す特徴量を算出する（ステップＳ１０６）。そして接触動作判定部１４は、その特徴量が接触動作の実行に相当する条件を満たすか否か判定する（ステップＳ１０７）。 The contact determination unit 13 determines whether or not the height Z f from the table to the fingertip at the fingertip position P ′ in the real space satisfies the contact determination condition of equation (8) (step S105). When the height Z f does not satisfy the contact determination condition of the expression (8) (step S105—No), the contact motion determination unit 14 determines whether the fingertip position in the real space obtained during the most recent predetermined period is A feature amount representing the finger movement is calculated (step S106). Then, the contact operation determination unit 14 determines whether or not the feature amount satisfies a condition corresponding to the execution of the contact operation (step S107).

その特徴量が接触動作の実行に相当する条件を満たさない場合（ステップＳ１０７−Ｎｏ）、接触動作判定部１４は、ユーザは接触動作を行っていないと判定する。そして制御部７は、入力処理を終了する。   When the feature amount does not satisfy the condition corresponding to the execution of the contact operation (step S107—No), the contact operation determination unit 14 determines that the user is not performing the contact operation. And the control part 7 complete | finishes an input process.

一方、その特徴量が接触動作の実行に相当する条件を満たす場合（ステップＳ１０７−Ｙｅｓ）、接触動作判定部１４は、ユーザは接触動作を行ったと判定する。そして更新部１５は、所定期間中の指先の高さの最小値に対応する指先位置を改めてP'とし、そのP'に基づいて高さマップを更新する（ステップＳ１０８）。   On the other hand, when the feature amount satisfies the condition corresponding to the execution of the contact operation (step S107—Yes), the contact operation determination unit 14 determines that the user has performed the contact operation. Then, the updating unit 15 sets the fingertip position corresponding to the minimum value of the fingertip height during the predetermined period as P ′, and updates the height map based on the P ′ (step S108).

ステップＳ１０８の後、あるいは、ステップＳ１０５にて、高さZfが（８）式の接触判定条件を満たす場合（ステップＳ１０５−Ｙｅｓ）、入力処理部１６は、その指先位置P'に応じた処理を実行する（ステップＳ１０９）。そして制御部７は、入力処理を終了する。 After step S108 or in step S105, when the height Z f satisfies the contact determination condition of the formula (8) (step S105-Yes), the input processing unit 16 performs processing according to the fingertip position P ′. Is executed (step S109). And the control part 7 complete | finishes an input process.

以上に説明してきたように、この入力装置は、二つのカメラからの画像によって求めた指先のテーブルからの高さによって、指先が対象物に接触したことを検知できない場合、所定期間中のその指先の位置から、指の動作を表す特徴量を算出する。そしてこの入力装置は、その特徴量が接触動作に相当する条件を満たした場合、指先が対象物に接触したと判定する。そのため、この入力装置は、テーブルからの対象物の高さが不明であったり、あるいは、不正確である場合にも、ユーザが指先で対象物に触れるという入力操作を検出できる。   As described above, when the input device cannot detect that the fingertip has touched the object due to the height from the table of the fingertip obtained from the images from the two cameras, the fingertip during the predetermined period A feature amount representing the motion of the finger is calculated from the position. The input device determines that the fingertip has contacted the object when the feature amount satisfies a condition corresponding to the contact operation. Therefore, this input device can detect an input operation in which the user touches the object with the fingertip even when the height of the object from the table is unknown or inaccurate.

他の実施形態によれば、指の動作を表す特徴量が接触動作に相当する条件を満たした場合、制御部は、確認用に投影装置を介してボタンを表示させてもよい。そして制御部は、ユーザがそのボタンに触れる動作を行った場合に、ユーザが入力操作を行ったと判定してもよい。   According to another embodiment, when the feature amount representing the motion of the finger satisfies a condition corresponding to the contact motion, the control unit may display a button via the projection device for confirmation. And a control part may judge with a user performing input operation, when a user performs operation which touches the button.

図９は、第２の実施形態による制御部の機能ブロック図である。第２の実施形態による制御部７１は、指領域検出部１１と、指先位置算出部１２と、接触判定部１３と、接触動作判定部１４と、更新部１５と、入力処理部１６と、確認動作判定部１７とを有する。
第２の実施形態による制御部７１は、第１の実施形態による制御部７と比較して、確認動作判定部１７を有する点で異なる。そこで以下では、確認動作判定部１７及びその関連部分について説明する。入力装置１のその他の構成要素については上記の実施形態の対応する構成要素の説明を参照されたい。 FIG. 9 is a functional block diagram of a control unit according to the second embodiment. The control unit 71 according to the second embodiment includes a finger region detection unit 11, a fingertip position calculation unit 12, a contact determination unit 13, a contact operation determination unit 14, an update unit 15, an input processing unit 16, and a confirmation. And an operation determination unit 17.
The control unit 71 according to the second embodiment is different from the control unit 7 according to the first embodiment in that it includes a confirmation operation determination unit 17. Therefore, in the following, the confirmation operation determination unit 17 and related parts will be described. For the other components of the input device 1, refer to the description of the corresponding components in the above embodiment.

接触動作判定部１４は、ユーザが接触動作を行ったと判定すると、ユーザの指先位置P'を、確認動作判定部１７へ通知する。   When the contact operation determination unit 14 determines that the user has performed a contact operation, the contact operation determination unit 14 notifies the confirmation operation determination unit 17 of the user's fingertip position P ′.

確認動作判定部１７は、接触動作判定部１４によりユーザが接触動作を行ったと判定された場合に、投影装置２により、操作確認用のマークの一例であるボタンをテーブル面へ向けて投影させる。   The confirmation operation determination unit 17 causes the projection device 2 to project a button, which is an example of an operation confirmation mark, onto the table surface when the contact operation determination unit 14 determines that the user has performed a contact operation.

図１０（ａ）及び図１０（ｂ）は、それぞれ、操作確認用のボタンの一例を示す図である。図１０（ａ）に示されたボタン１０００は、指先位置P'(Xf,Yf,Zf)よりも右側に投影される。この場合、例えば、ボタン１０００の中心の位置BC(Xb,Yb,Zb)は、Xb=Xf+30mm、Yb=Yf、Zb=Zf-FHに設定され、ボタン１０００の半径Rcbは、例えば、15mmに設定される。
また、図１０（ｂ）に示されたボタン１００１は、指先位置P'(Xf,Yf,Zf)と重なるように投影される。この場合、例えば、ボタン１００１の中心の位置BC(Xb,Yb,Zb)は、Xb=Xf、Yb=Yf、Zb=Zf-FHに設定され、ボタン１０００の半径Rcbは、例えば、15mmに設定される。 FIG. 10A and FIG. 10B are diagrams showing examples of operation confirmation buttons, respectively. The button 1000 shown in FIG. 10A is projected on the right side of the fingertip position P ′ (X f , Y f , Z f ). In this case, for example, the center position BC (X b , Y b , Z b ) of the button 1000 is set to X b = X f +30 mm, Y b = Y f , Z b = Z f -FH, The radius R cb of 1000 is set to 15 mm, for example.
Further, the button 1001 shown in FIG. 10B is projected so as to overlap with the fingertip position P ′ (X f , Y f , Z f ). In this case, for example, the center position BC (X b , Y b , Z b ) of the button 1001 is set to X b = X f , Y b = Y f , Z b = Z f −FH. The radius R cb is set to 15 mm, for example.

なお、確認動作判定部１７は、投影面での操作確認用のボタンの位置及び範囲に対応する、投影装置２の表示画面上の位置及び範囲を、上記の実施形態における、入力処理部１６が円を投影するときと同様に決定すればよい。   Note that the confirmation operation determination unit 17 determines the position and range on the display screen of the projection apparatus 2 corresponding to the position and range of the operation confirmation button on the projection plane by the input processing unit 16 in the above embodiment. What is necessary is just to determine similarly to projecting a circle.

また、操作確認用のボタンの形状及びサイズは、上記の例に限られない。例えば、ボタンは三角形、四角形または六角形でもよい。また、ボタンのサイズは、上記の例によるボタンのサイズよりも小さくてもよい。   Further, the shape and size of the operation confirmation button are not limited to the above example. For example, the button may be triangular, square or hexagonal. The button size may be smaller than the button size according to the above example.

図１１（ａ）は、接触動作判定部１４により求められた指先位置P'が対象物８の表面に位置している場合における、対象物８とボタンの関係の一例を示す図である。一方、図１１（ｂ）は、接触動作判定部１４により求められた指先位置P'が空中に位置している場合における、対象物８とボタンの関係の一例を示す図である。   FIG. 11A is a diagram illustrating an example of the relationship between the object 8 and the button when the fingertip position P ′ obtained by the contact movement determination unit 14 is located on the surface of the object 8. On the other hand, FIG. 11B is a diagram illustrating an example of the relationship between the object 8 and the button when the fingertip position P ′ obtained by the contact movement determination unit 14 is located in the air.

図１１（ａ）に示されるように、指先が対象物８に触れている場合、すなわち、指先位置P'が対象物８の表面に位置している場合には、ボタン１１００は、対象物８の表面に投影される。そのため、ボタン１１００は意図した高さの位置に表示され、かつ、意図したサイズ（上記の例では、直径略30mm）となる。一方、図１１（ｂ）に示されるように、指先位置P'には、実際には対象物は存在せず、接触動作が誤検出されている場合には、ボタン１１０１は、意図した高さの位置よりも低い位置、例えばテーブル上に表示される。そのため、ボタン１１０１は意図したサイズよりも大きく（上記の例では、直径略37mm）となる。さらに、ボタンの投影方向が鉛直下方に対して斜め向きとなる場合には、その投影方向に応じてボタンの位置もずれる。   As shown in FIG. 11A, when the fingertip touches the object 8, that is, when the fingertip position P ′ is located on the surface of the object 8, the button 1100 is displayed on the object 8. Projected onto the surface. Therefore, the button 1100 is displayed at the position of the intended height and has the intended size (in the above example, the diameter is approximately 30 mm). On the other hand, as shown in FIG. 11 (b), when the object actually does not exist at the fingertip position P ′ and the contact operation is erroneously detected, the button 1101 has the intended height. Is displayed at a position lower than the position of, for example, a table. Therefore, the button 1101 is larger than the intended size (in the above example, the diameter is approximately 37 mm). Further, when the projection direction of the button is oblique with respect to the vertically downward direction, the position of the button is also shifted according to the projection direction.

なお、確認動作判定部１７は、ボタンの投影位置を、指先位置P'とは無関係に設定してもよい。例えば、確認動作判定部１７は、ボタンを、投影装置２による投影範囲の中央、あるいは、投影範囲の左端または右端に投影してもよい。ただしこの場合には、ユーザがボタンに触れたときの指先位置の情報は、高さマップの更新には利用されない。   Note that the confirmation operation determination unit 17 may set the projection position of the button regardless of the fingertip position P ′. For example, the confirmation operation determination unit 17 may project the button on the center of the projection range by the projection device 2 or on the left end or the right end of the projection range. However, in this case, information on the fingertip position when the user touches the button is not used for updating the height map.

確認動作判定部１７は、ボタンが投影された後、一定の待ち時間（例えば、1秒間）を経過した時点から所定期間（例えば、1〜2秒間）内に得られた指先位置Pr(Xf',Yf',Zf')の何れかが、ボタンの投影位置に応じた許容範囲内に含まれるか否かを判定する。そして確認動作判定部１７は、指先位置Prがその許容範囲に含まれると判定した場合、ユーザは、指でボタンに触れる動作、すなわち、確認動作を行ったと判定する。この場合、確認動作判定部１７は、ユーザは、接触動作判定部１４から受け取った指先位置P'にて対象物８に触れる入力操作を行ったと判定する。そして確認動作判定部１７は、その指先位置P'を更新部１５及び入力処理部１６へ渡す。
なお、許容範囲は次式で表される。
ここで、Mzは高さ方向の許容範囲であり、例えば、5mmに設定される。（１３）式に示されるように、許容範囲は、意図されたボタンの位置及びサイズに基づいて決定される。そのため、接触動作が誤検出され、その結果としてボタンの投影位置が意図した位置からずれている場合には、ユーザの指が実際に表示されているボタンの位置にあったとしても、（１３）式が満たされる可能性は低くなる。 After the button is projected, the confirmation operation determination unit 17 determines the fingertip position Pr (X f obtained within a predetermined period (for example, 1 to 2 seconds) from the time when a certain waiting time (for example, 1 second) has elapsed. It is determined whether any one of ', Y f ', Z f ') is included in an allowable range corresponding to the projected position of the button. Then, when the confirmation operation determination unit 17 determines that the fingertip position Pr is included in the allowable range, the user determines that an operation of touching the button with the finger, that is, a confirmation operation has been performed. In this case, the confirmation operation determination unit 17 determines that the user has performed an input operation that touches the object 8 at the fingertip position P ′ received from the contact operation determination unit 14. Then, the confirmation operation determination unit 17 passes the fingertip position P ′ to the update unit 15 and the input processing unit 16.
The allowable range is expressed by the following formula.
Here, Mz is an allowable range in the height direction, and is set to 5 mm, for example. As shown in equation (13), the allowable range is determined based on the intended position and size of the button. Therefore, when the contact operation is erroneously detected, and as a result, the projected position of the button is deviated from the intended position, even if the user's finger is at the position of the actually displayed button, (13) The likelihood that the formula will be satisfied is low.

確認動作判定部１７は、ユーザが確認動作を行ったと判定した場合、投影装置２にボタンの投影を停止させる。すなわち、確認動作判定部１７は、ボタンが表示されないようにする。あるいは、確認動作判定部１７は、ユーザが確認動作を行ったと判定した場合、投影装置２に、ボタンの色を変更させた後、ボタンの投影を停止させてもよい。   When it is determined that the user has performed the confirmation operation, the confirmation operation determination unit 17 causes the projection device 2 to stop projecting the button. That is, the confirmation operation determination unit 17 prevents the button from being displayed. Alternatively, when it is determined that the user has performed the confirmation operation, the confirmation operation determination unit 17 may cause the projection device 2 to change the button color and then stop the button projection.

一方、確認動作判定部１７は、所定期間を経過してもユーザが確認動作を行ったと判定されない場合も、投影装置２にボタンの投影を停止させる。あるいは、確認動作判定部１７は、所定期間を経過してもユーザが確認動作を行ったと判定されない場合、投影装置２に、「ボタンに触れて下さい」などのメッセージを表示させたり、ボタンの色を変更させてもよい。そして確認動作判定部１７は、そのメッセージ表示後、あるいは、ボタンの色の変更後、さらに所定期間が経過した時点で投影装置２にボタンの投影を停止させてもよい。   On the other hand, the confirmation operation determination unit 17 also causes the projection device 2 to stop projecting the button even when it is not determined that the user has performed the confirmation operation even after a predetermined period. Alternatively, if it is not determined that the user has performed the confirmation operation even after a predetermined period of time, the confirmation operation determination unit 17 displays a message such as “Please touch the button” on the projection device 2 or the color of the button May be changed. Then, the confirmation operation determination unit 17 may cause the projection device 2 to stop projecting the button after the message is displayed or after the button color is changed and when a predetermined period has elapsed.

さらに、確認動作判定部１７は、ボタン表示後に、ユーザが一旦指を上げてから、その後に指でボタンに触れる動作（すなわち、タップ動作）を行ったことを検知した場合に、ユーザが確認動作を行ったと判定してもよい。例えば、確認動作判定部１７は、指先位置Prが（１３）式の条件を満たした時点の直前の1〜2秒間の間に求められた指先位置のテーブルからの高さのそれぞれを、指先位置Prでのテーブルからの高さZf'と比較する。そして確認動作判定部１７は、指先位置の何れかが、Zf'よりも所定のオフセット（例えば、5mm〜10mm）以上高い場合に、ユーザが一旦指を上げてから、その後に指でボタンに触れる動作を行ったと判定してもよい。これにより、ユーザが指をボタンに触れることを意図していない場合に、確認動作判定部１７は、ユーザが確認動作を行ったと誤判定することを抑制できる。 Furthermore, after the button is displayed, the confirmation operation determination unit 17 performs a confirmation operation when it is detected that the user once lifted a finger and then touched the button with the finger (that is, a tap operation). It may be determined that the operation has been performed. For example, the confirmation operation determination unit 17 calculates the fingertip position from the table at the fingertip position obtained during the first to second seconds immediately before the fingertip position Pr satisfies the condition of the expression (13). Compare with the height Z f 'from the table in Pr. Then, when any of the fingertip positions is higher than Z f ′ by a predetermined offset (for example, 5 mm to 10 mm), the confirmation operation determination unit 17 lifts the finger once, and then presses the button with the finger. It may be determined that a touching operation has been performed. Thereby, when the user does not intend to touch the button with the finger, the confirmation operation determination unit 17 can suppress erroneous determination that the user has performed the confirmation operation.

図１２は、第２の実施形態による入力処理の動作フローチャートである。第２の実施形態による入力処理は、第１の実施形態による入力処理と比較して、ステップＳ１０６よりも後の処理が異なる。そこで以下では、ステップＳ１０６の後に実行される処理について説明する。   FIG. 12 is an operation flowchart of input processing according to the second embodiment. The input processing according to the second embodiment differs from the input processing according to the first embodiment in the processing after step S106. Therefore, hereinafter, a process executed after step S106 will be described.

ステップＳ１０６にて、指の動作を表す特徴量が算出されると、接触動作判定部１４は、その特徴量が接触動作の実行に相当する条件を満たすか否か判定する（ステップＳ２０１）。   When the feature amount representing the finger motion is calculated in step S106, the contact motion determination unit 14 determines whether or not the feature amount satisfies a condition corresponding to execution of the contact motion (step S201).

その特徴量が接触動作の実行に相当する条件を満たさない場合（ステップＳ２０１−Ｎｏ）、接触動作判定部１４は、ユーザは接触動作を行っていないと判定する。そして制御部７１は、入力処理を終了する。   When the feature amount does not satisfy the condition corresponding to the execution of the contact operation (No in step S201), the contact operation determination unit 14 determines that the user is not performing the contact operation. Then, the control unit 71 ends the input process.

一方、その特徴量が接触動作の実行に相当する条件を満たす場合（ステップＳ２０１−Ｙｅｓ）、確認動作判定部１７は、投影装置２に、テーブル面へ向けてボタンを投影させる（ステップＳ２０２）。そして確認動作判定部１７は、ボタン投影後の一定期間に求められた指先の実空間の位置Prがボタンの投影位置に応じた許容範囲に含まれるか否かを判定する（ステップＳ２０３）。   On the other hand, when the feature amount satisfies the condition corresponding to the execution of the contact operation (step S201—Yes), the confirmation operation determination unit 17 causes the projection device 2 to project a button toward the table surface (step S202). Then, the confirmation operation determination unit 17 determines whether or not the position Pr in the real space of the fingertip obtained in a certain period after the button projection is included in an allowable range according to the projection position of the button (step S203).

ボタン投影後の一定期間が経過しても、指先の実空間の位置Prが許容範囲に含まれることがない場合（ステップＳ２０３−Ｎｏ）、確認動作判定部１７は、ユーザは確認動作を行っていないと判定する。そして制御部７１は、入力処理を終了する。   When the position Pr in the real space of the fingertip is not included in the allowable range even after a certain period of time has elapsed after the button projection, the confirmation operation determination unit 17 is performing the confirmation operation. Judge that there is no. Then, the control unit 71 ends the input process.

一方、ボタン投影後の一定期間内の何れかの時点で指先の実空間の位置Prが許容範囲に含まれた場合（ステップＳ２０３−Ｙｅｓ）、確認動作判定部１７は、ユーザは確認動作を行ったと判定する。そして更新部１５は、接触動作判定における所定期間中の指先の高さの最小値に対応する指先位置をP'とし、そのP'に基づいて高さマップを更新する（ステップＳ２０４）。そして入力処理部１６は、指先位置P'に応じた処理を実行する（ステップＳ２０５）。そして制御部７１は、入力処理を終了する。   On the other hand, when the position Pr in the real space of the fingertip is included in the allowable range at any time within a certain period after the button is projected (step S203—Yes), the confirmation operation determination unit 17 performs the confirmation operation. It is determined that Then, the update unit 15 sets the fingertip position corresponding to the minimum value of the fingertip height during the predetermined period in the contact operation determination as P ′, and updates the height map based on the P ′ (step S204). Then, the input processing unit 16 executes a process according to the fingertip position P ′ (Step S205). Then, the control unit 71 ends the input process.

第２の実施形態によれば、入力装置は、接触動作を検出した後に表示させたボタンに指先が触れたことを条件として、入力操作が行われたと判定するので、接触動作を誤検出したとしても、ユーザが意図しない入力操作を誤検出することを抑制できる。   According to the second embodiment, the input device determines that an input operation has been performed on the condition that the fingertip has touched the button displayed after detecting the contact operation. In addition, erroneous detection of an input operation that is not intended by the user can be suppressed.

なお、変形例によれば、更新部１５は、接触動作判定部１４の処理と確認動作判定部１７の処理とを、互いに異なる複数個所（好ましくは、３ヵ所以上）で実行することで、複数個所のそれぞれでのテーブルから対象物８の表面までの高さを求めてもよい。そして更新部１５は、その各点を通る平面あるいは曲面を、例えば、最小二乗法を用いて求め、その平面または曲面により、対象物８の表面を近似的に表してもよい。   In addition, according to the modification, the update unit 15 performs a plurality of processes by executing the process of the contact operation determination unit 14 and the process of the confirmation operation determination unit 17 at a plurality of different locations (preferably, three or more locations). The height from the table at each location to the surface of the object 8 may be obtained. Then, the updating unit 15 may obtain a plane or curved surface passing through each point using, for example, the least square method, and approximately represent the surface of the object 8 by the plane or curved surface.

例えば、更新部１５は、次式で表される平面の式に対して、最小二乗法を適用することで、平面を規定するパラメータa,b,c,dを求めることができる。
For example, the updating unit 15 can obtain the parameters a, b, c, and d defining the plane by applying the least square method to the plane expression represented by the following expression.

そして更新部１５は、対象物８の表面を近似的に表す平面または曲面に従って、テーブルと平行な面の位置ごとにおける、テーブルから対象物８の表面までの高さを求めることで高さマップを更新してもよい。   Then, the updating unit 15 obtains a height map by obtaining the height from the table to the surface of the object 8 at each position parallel to the table according to a plane or curved surface that approximately represents the surface of the object 8. It may be updated.

また他の変形例によれば、入力装置は、ユーザが接触動作を行ったと判定した場合、あるいはユーザが接触動作を行い、かつ、確認動作を行ったと判定した場合にのみ、入力操作が行われたと判定してもよい。この場合には、対象物の高さの情報は利用されないので、記憶部は、高さマップを記憶しなくてもよい。また、制御部で行われる処理のうち、接触判定部の処理及び更新部の処理が省略されてもよい。   According to another modification, the input device performs an input operation only when it is determined that the user performs a contact operation or when the user performs a contact operation and determines that a confirmation operation has been performed. It may be determined that In this case, since the information on the height of the object is not used, the storage unit may not store the height map. Moreover, the process of a contact determination part and the process of an update part may be abbreviate | omitted among the processes performed in a control part.

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。   All examples and specific terms listed herein are intended for instructional purposes to help the reader understand the concepts contributed by the inventor to the present invention and the promotion of the technology. It should be construed that it is not limited to the construction of any example herein, such specific examples and conditions, with respect to showing the superiority and inferiority of the present invention. Although embodiments of the present invention have been described in detail, it should be understood that various changes, substitutions and modifications can be made thereto without departing from the spirit and scope of the present invention.

１ 入力装置
２ 投影装置
３ ミラー
４−１、４−２ カメラ
５ 通信部
６ 記憶部
７ 制御部
８ 対象物
１１ 指領域検出部
１２ 指先位置算出部
１３ 接触判定部
１４ 接触動作判定部
１５ 更新部
１６ 入力処理部
１７ 確認動作判定部 DESCRIPTION OF SYMBOLS 1 Input device 2 Projection apparatus 3 Mirror 4-1, 4-2 Camera 5 Communication part 6 Storage part 7 Control part 8 Target object 11 Finger area | region detection part 12 Fingertip position calculation part 13 Contact determination part 14 Contact movement determination part 15 Update part 16 Input processing unit 17 Confirmation operation determination unit

Claims (9)

所定の撮影周期ごとに、指を撮影して当該指が表された第１の画像を生成する第１の撮像部と、
前記第１の撮像部と所定間隔離して配置され、かつ、前記所定の撮影周期ごとに、前記指を撮影して前記指が表された第２の画像を生成する第２の撮像部と、
投影装置と、
前記所定の撮影周期ごとに、前記第１の画像において前記指の先端に相当する指先位置を検出する指領域検出部と、
前記所定の撮影周期ごとに、前記指先位置に対応する前記第２の画像上の対応点を求め、前記第１の画像上の前記指先位置と前記第２の画像上の前記対応点とに基づいて、前記指の先端の実空間での位置を算出する指先位置算出部と、
所定期間中に算出された前記指の先端の実空間での位置のそれぞれに基づいて、前記指の動作を表す特徴量を算出し、前記特徴量が指で対象物に触れる動作を表す条件を満たすか否かを判定する接触動作判定部と、
前記特徴量が前記条件を満たす場合、前記投影装置に所定の位置へ所定のマークを投影させ、該投影後の一定期間内の何れかの時点で前記指の先端の実空間での位置が前記マークの投影位置に応じた高さ方向を含む所定範囲内に含まれる場合に入力操作が行われたと判定する確認動作判定部と、
を有する入力装置。 A first imaging unit that shoots a finger and generates a first image representing the finger for each predetermined shooting period;
A second imaging unit that is arranged at a predetermined interval from the first imaging unit and that captures the finger and generates a second image representing the finger at each predetermined imaging period;
A projection device;
A finger region detection unit that detects a fingertip position corresponding to the tip of the finger in the first image for each predetermined photographing period;
For each predetermined shooting period, a corresponding point on the second image corresponding to the fingertip position is obtained, and based on the fingertip position on the first image and the corresponding point on the second image. A fingertip position calculation unit for calculating the position of the tip of the finger in real space;
Based on each of the positions of the finger tips in real space calculated during a predetermined period, a feature amount representing the motion of the finger is calculated, and a condition that represents the motion of the feature touching the object with the finger. A contact motion determination unit that determines whether or not to satisfy,
When the feature amount satisfies the condition, the projection device projects a predetermined mark on a predetermined position, and the position of the finger tip in the real space at any point in time within the fixed period after the projection is A confirmation operation determination unit that determines that an input operation has been performed when included in a predetermined range including a height direction according to the projection position of the mark;
An input device. 前記確認動作判定部は、前記特徴量が前記条件を満たすと判定されたときの前記指の先端の実空間での位置よりも所定距離低い位置を前記所定の位置とし、前記所定の範囲を、高さ方向に関して前記所定のマークの高さから前記所定距離高い位置を含むように設定する、請求項１に記載の入力装置。   The confirmation operation determination unit sets a position that is a predetermined distance lower than a position in the real space of the tip of the finger when the feature amount is determined to satisfy the condition as the predetermined position, and the predetermined range is The input device according to claim 1, wherein the input device is set so as to include a position that is a predetermined distance higher than a height of the predetermined mark in a height direction. 前記接触動作判定部は、前記所定期間中に算出された前記指の先端の実空間の位置のうち、前記所定期間中で前記第１の撮像部から最も遠い前記指の先端の実空間での位置からの距離が所定値以下となる回数を前記特徴量として算出し、前記回数が前記所定期間中に算出された前記指の先端の実空間での位置の総数に対する所定割合以上となる場合に、前記特徴量は前記条件を満たすと判定する、請求項１または２に記載の入力装置。   The contact motion determination unit is configured to determine, in the real space at the tip of the finger farthest from the first imaging unit during the predetermined period, of the position of the real space at the tip of the finger calculated during the predetermined period. When the number of times that the distance from the position is less than or equal to a predetermined value is calculated as the feature amount, and the number of times is equal to or greater than a predetermined ratio with respect to the total number of positions in real space of the tip of the finger calculated during the predetermined period The input device according to claim 1, wherein the feature amount is determined to satisfy the condition. 前記接触動作判定部は、前記所定期間中に算出された前記指の先端の実空間の位置のバラツキ度合いを表す指標を前記特徴量として算出し、前記バラツキ度合いが所定値以下となる場合に、前記特徴量は前記条件を満たすと判定する、請求項１または２に記載の入力装置。   The contact movement determination unit calculates, as the feature amount, an index that represents a variation degree of the real space position of the tip of the finger calculated during the predetermined period, and when the variation degree is a predetermined value or less, The input device according to claim 1, wherein the feature amount is determined to satisfy the condition. 前記接触動作判定部は、前記所定期間中に算出された前記指の先端の実空間の位置のうち、前記第１の撮像部からの距離が極大値となる位置のバラツキ度合いを表す指標を前記特徴量として算出し、前記バラツキ度合いが所定値以下となる場合に、前記特徴量は前記条件を満たすと判定する、請求項１または２に記載の入力装置。   The contact movement determination unit includes an index representing a degree of variation in a position where a distance from the first imaging unit is a maximum value among real space positions of the tip of the finger calculated during the predetermined period. The input device according to claim 1, wherein the input device is calculated as a feature amount, and determines that the feature amount satisfies the condition when the variation degree is equal to or less than a predetermined value. 前記確認動作判定部は、前記所定期間中で前記第１の撮像部から最も遠い前記指の先端の実空間での位置に応じて前記マークの投影位置を設定する、請求項１〜５の何れか一項に記載の入力装置。   The said confirmation operation | movement determination part sets the projection position of the said mark according to the position in the real space of the tip of the said finger | toe farthest from the said 1st imaging part in the said predetermined period. The input device according to claim 1. 前記マーク投影後の前記一定期間内において前記指の先端の実空間での位置が前記所定範囲内に含まれた場合に、前記所定期間中で前記第１の撮像部から最も遠い前記指の先端の実空間の位置における、基準面からの前記指の先端の高さを当該位置における対象物の高さとして記憶部に記憶させる登録部と、
前記第１の画像上の前記指先位置と前記第２の画像上の前記対応点とに基づいて算出された前記指の先端の実空間での位置における、前記基準面からの前記指の先端の高さと前記記憶部に記憶されている当該位置での前記対象物の高さとの差が所定の許容範囲内である場合に入力操作が行われたと判定する接触判定部をさらに有し、
前記接触動作判定部は、前記差が前記所定の許容範囲に含まれない場合に、前記特徴量が前記条件を満たすか否かを判定する、請求項１〜６の何れか一項に記載の入力装置。 The tip of the finger farthest from the first imaging unit during the predetermined period when the position of the finger tip in real space is included in the predetermined range within the predetermined period after the mark projection. A registration unit that stores in the storage unit the height of the tip of the finger from the reference plane at the position of the real space as the height of the object at the position;
The tip of the finger from the reference plane at a position in real space of the tip of the finger calculated based on the fingertip position on the first image and the corresponding point on the second image. A contact determination unit that determines that an input operation has been performed when a difference between the height and the height of the object at the position stored in the storage unit is within a predetermined allowable range;
The said contact movement determination part determines whether the said feature-value satisfy | fills the said conditions, when the said difference is not contained in the said predetermined | prescribed tolerance | permissible_range. Input device. 所定の撮影周期ごとに第１の撮像部が指を撮影することにより生成した、当該指が表された第１の画像において前記指の先端に相当する指先位置を検出し、
前記所定の撮影周期ごとに、前記第１の撮像部と所定間隔離して配置された第２の撮像部が前記指を撮影することにより生成した第２の画像上で前記指先位置に対応する対応点を求め、前記第１の画像上の前記指先位置と前記第２の画像上の前記対応点とに基づいて、前記指の先端の実空間での位置を算出し、
所定期間中に算出された前記指の先端の実空間での位置のそれぞれに基づいて、前記指の動作を表す特徴量を算出し、前記特徴量が指で対象物に触れる動作を表す条件を満たすか否かを判定し、
前記特徴量が前記条件を満たす場合、投影装置に所定の位置へ所定のマークを投影させ、該投影後の一定期間内の何れかの時点で前記指の先端の実空間での位置が前記マークの投影位置に応じた高さ方向を含む所定範囲内に含まれる場合に入力操作が行われたと判定する、
ことを含む入力操作検出方法。 Detecting a fingertip position corresponding to the tip of the finger in the first image representing the finger generated by photographing the finger by the first imaging unit at a predetermined photographing cycle;
Corresponding to the fingertip position on the second image generated by photographing the finger by the second imaging unit arranged at a predetermined interval from the first imaging unit for each predetermined imaging cycle. Obtaining a point, and calculating the position of the tip of the finger in real space based on the fingertip position on the first image and the corresponding point on the second image;
Based on each of the positions of the finger tips in real space calculated during a predetermined period, a feature amount representing the motion of the finger is calculated, and a condition that represents the motion of the feature touching the object with the finger. Determine whether or not
When the feature amount satisfies the condition, the projection device projects a predetermined mark on a predetermined position, and the position of the finger tip in real space at any time within a certain period after the projection is the mark. It is determined that an input operation has been performed when it is included in a predetermined range including the height direction according to the projection position of
An input operation detection method including the above. 所定の撮影周期ごとに第１の撮像部が指を撮影することにより生成した、当該指が表された第１の画像において前記指の先端に相当する指先位置を検出し、
前記所定の撮影周期ごとに、前記第１の撮像部と所定間隔離して配置された第２の撮像部が前記指を撮影することにより生成した第２の画像上で前記指先位置に対応する対応点を求め、前記第１の画像上の前記指先位置と前記第２の画像上の前記対応点とに基づいて、前記指の先端の実空間での位置を算出し、
所定期間中に算出された前記指の先端の実空間での位置のそれぞれに基づいて、前記指の動作を表す特徴量を算出し、前記特徴量が指で対象物に触れる動作を表す条件を満たすか否かを判定し、
前記特徴量が前記条件を満たす場合、投影装置に所定の位置へ所定のマークを投影させ、該投影後の一定期間内の何れかの時点で前記指の先端の実空間での位置が前記マークの投影位置に応じた高さ方向を含む所定範囲内に含まれる場合に入力操作が行われたと判定する、
ことをコンピュータに実行させるための入力操作検出用コンピュータプログラム。 Detecting a fingertip position corresponding to the tip of the finger in the first image representing the finger generated by photographing the finger by the first imaging unit at a predetermined photographing cycle;
Corresponding to the fingertip position on the second image generated by photographing the finger by the second imaging unit arranged at a predetermined interval from the first imaging unit for each predetermined imaging cycle. Obtaining a point, and calculating the position of the tip of the finger in real space based on the fingertip position on the first image and the corresponding point on the second image;
Based on each of the positions of the finger tips in real space calculated during a predetermined period, a feature amount representing the motion of the finger is calculated, and a condition that represents the motion of the feature touching the object with the finger. Determine whether or not
When the feature amount satisfies the condition, the projection device projects a predetermined mark on a predetermined position, and the position of the finger tip in real space at any time within a certain period after the projection is the mark. It is determined that an input operation has been performed when it is included in a predetermined range including the height direction according to the projection position of
The computer program for input operation detection for making a computer perform this.
JP2019141459A 2019-07-31 2019-07-31 Input device, input operation detection method, and input operation detection computer program Expired - Fee Related JP6733789B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019141459A JP6733789B2 (en) 2019-07-31 2019-07-31 Input device, input operation detection method, and input operation detection computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019141459A JP6733789B2 (en) 2019-07-31 2019-07-31 Input device, input operation detection method, and input operation detection computer program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015065337A Division JP2016184362A (en) 2015-03-26 2015-03-26 Input device, input operation detection method, and input operation detection computer program

Publications (2)

Publication Number Publication Date
JP2019204539A true JP2019204539A (en) 2019-11-28
JP6733789B2 JP6733789B2 (en) 2020-08-05

Family

ID=68727147

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019141459A Expired - Fee Related JP6733789B2 (en) 2019-07-31 2019-07-31 Input device, input operation detection method, and input operation detection computer program

Country Status (1)

Country Link
JP (1) JP6733789B2 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013061552A (en) * 2011-09-14 2013-04-04 Ricoh Co Ltd Projector device and operation detection method
JP2014157515A (en) * 2013-02-15 2014-08-28 Konica Minolta Inc Touch determination device, touch determination method, and touch determination program
JP2014179032A (en) * 2013-03-15 2014-09-25 Ricoh Co Ltd Virtual key input device
JP2014203174A (en) * 2013-04-02 2014-10-27 富士通株式会社 Information operation display system, display program, and display method
JP2014202540A (en) * 2013-04-02 2014-10-27 富士通株式会社 Position calculation system, position calculation program, and position calculation method
US20140375539A1 (en) * 2013-06-19 2014-12-25 Thaddeus Gabara Method and Apparatus for a Virtual Keyboard Plane
JP2015043154A (en) * 2013-08-26 2015-03-05 キヤノン株式会社 Information processing device, control method therefor, computer program, and storage medium

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013061552A (en) * 2011-09-14 2013-04-04 Ricoh Co Ltd Projector device and operation detection method
JP2014157515A (en) * 2013-02-15 2014-08-28 Konica Minolta Inc Touch determination device, touch determination method, and touch determination program
JP2014179032A (en) * 2013-03-15 2014-09-25 Ricoh Co Ltd Virtual key input device
JP2014203174A (en) * 2013-04-02 2014-10-27 富士通株式会社 Information operation display system, display program, and display method
JP2014202540A (en) * 2013-04-02 2014-10-27 富士通株式会社 Position calculation system, position calculation program, and position calculation method
US20140375539A1 (en) * 2013-06-19 2014-12-25 Thaddeus Gabara Method and Apparatus for a Virtual Keyboard Plane
JP2015043154A (en) * 2013-08-26 2015-03-05 キヤノン株式会社 Information processing device, control method therefor, computer program, and storage medium

Also Published As

Publication number Publication date
JP6733789B2 (en) 2020-08-05

Similar Documents

Publication Publication Date Title
JP2016184362A (en) Input device, input operation detection method, and input operation detection computer program
JP5949319B2 (en) Gaze detection apparatus and gaze detection method
US9535538B2 (en) System, information processing apparatus, and information processing method
TWI498580B (en) Length measuring method and length measuring apparatus
US10310675B2 (en) User interface apparatus and control method
JP2016091457A (en) Input device, fingertip-position detection method, and computer program for fingertip-position detection
JP6723814B2 (en) Information processing apparatus, control method thereof, program, and storage medium
US9342189B2 (en) Information processing apparatus and information processing method for obtaining three-dimensional coordinate position of an object
US9727171B2 (en) Input apparatus and fingertip position detection method
JP2014203174A (en) Information operation display system, display program, and display method
JP2017146938A (en) Book detection device, book detection method, and computer program for book detection
JP2012187178A (en) Visual line detection device and visual line detection method
US20160259402A1 (en) Contact detection apparatus, projector apparatus, electronic board apparatus, digital signage apparatus, projector system, and contact detection method
US10254893B2 (en) Operating apparatus, control method therefor, and storage medium storing program
US9639209B2 (en) Optical touch system and touch display system
JPWO2018154634A1 (en) Projection display device, control method of projection display device, and program
JP2011002292A (en) Three-dimensional fingertip position detecting method, three-dimensional fingertip position detector, and program
JP6733789B2 (en) Input device, input operation detection method, and input operation detection computer program
JP2018018308A (en) Information processing device and control method and computer program therefor
JP5375479B2 (en) Three-dimensional measurement system and three-dimensional measurement method
JP2017004438A (en) Input device, finger-tip position detection method, and computer program for finger-tip position detection
JP2018049498A (en) Image processor, operation detection method, computer program, and storage medium
US20240069647A1 (en) Detecting method, detecting device, and recording medium
JP2016139396A (en) User interface device, method and program
US20240070889A1 (en) Detecting method, detecting device, and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200311

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200622

R150 Certificate of patent or registration of utility model

Ref document number: 6733789

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees