JP6716897B2 - Operation detection method, operation detection device, and operation detection program - Google Patents
Operation detection method, operation detection device, and operation detection program Download PDFInfo
- Publication number
- JP6716897B2 JP6716897B2 JP2015232625A JP2015232625A JP6716897B2 JP 6716897 B2 JP6716897 B2 JP 6716897B2 JP 2015232625 A JP2015232625 A JP 2015232625A JP 2015232625 A JP2015232625 A JP 2015232625A JP 6716897 B2 JP6716897 B2 JP 6716897B2
- Authority
- JP
- Japan
- Prior art keywords
- fingertip
- hand
- distance
- finger
- pointer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
本発明は、操作検出方法、操作検出装置、及び操作検出プログラムに関する。 The present invention relates to an operation detection method, an operation detection device, and an operation detection program.
近年、カメラによって撮影した画像に視覚情報を付加して表示する拡張現実技術の開発が行われている。拡張現実技術では、ウェアラブル装置、タブレット端末等の情報処理装置が用いられ、ウェアラブル装置としては、カメラを装着したヘッドマウントディスプレイ（ＨＭＤ）装置等が用いられる。これらの情報処理装置の画面上では、ユーザの視野内に存在する対象物の位置に対応させて、その対象物に関する情報が表示される。 In recent years, an augmented reality technology has been developed in which visual information is added to an image captured by a camera and displayed. In the augmented reality technology, information processing devices such as wearable devices and tablet terminals are used, and as wearable devices, head mounted display (HMD) devices equipped with cameras are used. On the screens of these information processing devices, information about the target object is displayed in association with the position of the target object existing within the visual field of the user.
このような拡張現実技術を利用すれば、工場における保守点検、機器設置等のユーザの作業を支援することが可能である。ユーザは両手を用いて作業を行うことが多いため、タブレット端末よりも、頭部に装着可能なＨＭＤ装置の方がユーザの作業支援に適している。ユーザの視野の端に小型ディスプレイを配置して、小型ディスプレイに画像を表示するマイクロディスプレイ型ＨＭＤ装置も普及しつつある。 By using such augmented reality technology, it is possible to support the user's work such as maintenance and inspection in the factory and equipment installation. Since the user often works with both hands, the HMD device that can be worn on the head is more suitable for the work support of the user than the tablet terminal. A micro display type HMD device in which a small display is arranged at the end of the user's field of view and an image is displayed on the small display is becoming popular.
画像処理の分野において、機器に接触することなく手又は指の動作のみにより、コンピュータ等に情報を入力する技術も知られている（例えば、特許文献１を参照）。 In the field of image processing, there is also known a technique of inputting information to a computer or the like only by the action of a hand or a finger without touching a device (for example, see Patent Document 1).
ＨＭＤ装置の画面上では、ポインティングデバイスによる選択操作、クリック操作等を行うことが困難である。 On the screen of the HMD device, it is difficult to perform a selection operation, a click operation, or the like with a pointing device.
なお、かかる問題は、ＨＭＤ装置等のウェアラブル装置の操作に限らず、ポインティングデバイスを使用することが困難な作業環境における他の情報処理装置の操作においても生ずるものである。 Note that such a problem occurs not only in the operation of the wearable device such as the HMD device but also in the operation of another information processing device in a work environment where it is difficult to use the pointing device.
１つの側面において、本発明は、ジェスチャによる情報処理装置の操作を支援することを目的とする。 In one aspect, the present invention aims to support operation of an information processing device by a gesture.
１つの案では、コンピュータは以下の処理を実行する。
（１）コンピュータは、撮像装置によって撮影された撮影画像を表示装置に表示させる。
（２）コンピュータは、撮影画像内において対象物が写っている対象物領域と、撮影画像内において手が写っている手領域とが重なっている場合、対象物に対応する操作対象情報を撮影画像の代わりに表示装置に表示させる。
（３）コンピュータは、操作対象情報を表示した時点の手領域内における所定部位の位置を起点として、手の動きに応じて移動するポインタを表示装置に表示させる。
（４）コンピュータは、ポインタと操作対象情報との間の位置関係と、手領域の形状の変化とに基づいて、操作対象情報に対する決定操作を検出する。
In one scheme, the computer performs the following processing.
(1) The computer causes the display device to display the captured image captured by the imaging device.
(2) When the object area in which the object is captured in the captured image and the hand area in which the hand is captured in the captured image overlap, the computer acquires the operation target information corresponding to the object. To be displayed on the display device instead of.
(3) The computer causes the display device to display a pointer that moves according to the movement of the hand, starting from the position of a predetermined part in the hand region at the time when the operation target information is displayed.
(4) The computer detects the determination operation for the operation target information based on the positional relationship between the pointer and the operation target information and the change in the shape of the hand region.
実施形態によれば、ジェスチャによる情報処理装置の操作を支援することができる。 According to the embodiment, it is possible to support the operation of the information processing apparatus by the gesture.
以下、図面を参照しながら、実施形態を詳細に説明する。
図１は、操作検出装置の機能的構成例を示している。図１の操作検出装置１０１は、表示制御部１１１及び検出部１１２を含む。
Hereinafter, embodiments will be described in detail with reference to the drawings.
FIG. 1 shows an example of the functional configuration of the operation detection device. The operation detection device 101 of FIG. 1 includes a display control unit 111 and a detection unit 112.
図２は、図１の操作検出装置１０１が行う操作検出処理の例を示すフローチャートである。まず、表示制御部１１１は、撮像装置によって撮影された撮影画像を表示装置に表示させる（ステップ２０１）。そして、表示制御部１１１は、撮影画像内において対象物が写っている対象物領域と、撮影画像内において手が写っている手領域とが重なっている場合、対象物に対応する操作対象情報を撮影画像の代わりに表示装置に表示させる（ステップ２０２）。 FIG. 2 is a flowchart showing an example of operation detection processing performed by the operation detection device 101 of FIG. First, the display control unit 111 causes the display device to display the captured image captured by the imaging device (step 201). Then, when the target area in which the target is shown in the captured image and the hand area in which the hand is shown in the captured image overlap, the display control unit 111 displays the operation target information corresponding to the target. The captured image is displayed on the display device (step 202).
次に、表示制御部１１１は、操作対象情報を表示した時点の手領域内における所定部位の位置を起点として、手の動きに応じて移動するポインタを表示装置に表示させる（ステップ２０３）。そして、検出部１１２は、ポインタと操作対象情報との間の位置関係と、手領域の形状の変化とに基づいて、操作対象情報に対する決定操作を検出する（ステップ２０４）。 Next, the display control unit 111 causes the display device to display a pointer that moves according to the movement of the hand, starting from the position of a predetermined region in the hand region at the time when the operation target information is displayed (step 203). Then, the detection unit 112 detects the determination operation for the operation target information based on the positional relationship between the pointer and the operation target information and the change in the shape of the hand region (step 204).
図１の操作検出装置１０１によれば、ジェスチャによる情報処理装置の操作を支援することができる。 According to the operation detection device 101 of FIG. 1, it is possible to assist the operation of the information processing device by the gesture.
図３は、図１の操作検出装置１０１を含むＨＭＤ装置の構成例を示している。図３のＨＭＤ装置は、操作検出装置１０１、撮像装置３０１、距離画像センサ３０２、及び表示装置３０３を含む。操作検出装置１０１は、表示制御部１１１、検出部１１２、取得部３１１、取得部３１２、及び記憶部３１３を含む。検出部１１２は、領域抽出部３２１、指先検出部３２２、制御部３２３、座標変換部３２４、及び操作判定部３２５を含む。 FIG. 3 shows a configuration example of an HMD device including the operation detection device 101 of FIG. The HMD device in FIG. 3 includes an operation detection device 101, an imaging device 301, a distance image sensor 302, and a display device 303. The operation detection device 101 includes a display control unit 111, a detection unit 112, an acquisition unit 311, an acquisition unit 312, and a storage unit 313. The detection unit 112 includes a region extraction unit 321, a fingertip detection unit 322, a control unit 323, a coordinate conversion unit 324, and an operation determination unit 325.
記憶部３１３は、映像情報３３１、デプスマップ３３２、モード情報３３３、及び操作メニュー３３４、クリック対象３３５、及び指長情報３３６を記憶する。映像情報３３１は、撮像装置３０１によって撮影された映像を表し、複数時刻におけるフレームの画像を含む。 The storage unit 313 stores the image information 331, the depth map 332, the mode information 333, the operation menu 334, the click target 335, and the finger length information 336. The video information 331 represents a video imaged by the imaging device 301 and includes frame images at a plurality of times.
デプスマップ３３２は、距離画像センサ３０２によって撮影された距離画像を表し、距離画像の各画素の画素値は、距離画像センサ３０２から物体までの距離を表す。距離画像センサ３０２から物体までの距離の代わりに、所定の基準点から物体までの距離を表す画素値を用いてもよい。 The depth map 332 represents a range image captured by the range image sensor 302, and the pixel value of each pixel of the range image represents the distance from the range image sensor 302 to the object. Instead of the distance from the range image sensor 302 to the object, a pixel value representing the distance from a predetermined reference point to the object may be used.
モード情報３３３は、操作検出装置１０１の動作モードを表す。動作モードとしては、ユーザの作業領域における対象物を選択する対象選択モードと、操作メニュー３３４を表示装置３０３の画面に表示してユーザの作業を支援するメニュー操作モードとが存在する。操作メニュー３３４は、対象物に対するユーザの作業における１つ以上の操作項目を含む画像を表す。操作メニュー３３４に含まれる各操作項目は、対象物に対応する操作対象情報を表す。 The mode information 333 represents the operation mode of the operation detection device 101. As operation modes, there are a target selection mode for selecting an object in the user's work area and a menu operation mode for displaying the operation menu 334 on the screen of the display device 303 to assist the user's work. The operation menu 334 represents an image including one or more operation items in the user's work on the target object. Each operation item included in the operation menu 334 represents operation target information corresponding to the target object.
例えば、工場における保守点検作業の場合、対象物は、電力計、圧力計、温度計等の各種計測機器であってもよい。この場合、ユーザは、計測機器が表示する計測値を確認し、操作メニュー３３４を用いて確認結果をＨＭＤ装置に入力したり、計測値又は計測機器の画像をＨＭＤ装置に入力したりする作業を行う。クリック対象３３５は、ユーザが操作メニュー３３４から選択した操作項目を表し、指長情報３３６は、ユーザが操作項目を選択した時点における指の長さを表す。 For example, in the case of maintenance and inspection work in a factory, the object may be various measuring devices such as a power meter, a pressure gauge, and a thermometer. In this case, the user confirms the measurement value displayed by the measurement device, inputs the confirmation result to the HMD device using the operation menu 334, or inputs the measurement value or the image of the measurement device to the HMD device. To do. The click target 335 represents an operation item selected by the user from the operation menu 334, and the finger length information 336 represents the length of the finger when the user selects the operation item.
撮像装置３０１は、例えば、カラー映像を撮影するカメラであり、作業領域の映像を撮影する。取得部３１１は、撮像装置３０１から映像を取得し、映像情報３３１として記憶部３１３に格納する。距離画像センサ３０２は、レーザ光線、赤外線等を用いて各時刻における距離画像を撮影する。取得部３１２は、距離画像センサ３０２から距離画像を取得し、デプスマップ３３２として記憶部３１３に格納する。 The imaging device 301 is, for example, a camera that captures a color image, and captures an image of a work area. The acquisition unit 311 acquires a video from the imaging device 301 and stores it in the storage unit 313 as video information 331. The range image sensor 302 captures a range image at each time using laser beams, infrared rays, or the like. The acquisition unit 312 acquires a distance image from the distance image sensor 302 and stores it as a depth map 332 in the storage unit 313.
領域抽出部３２１は、デプスマップ３３２から手領域を抽出するとともに、映像情報３３１に含まれる各フレームの画像から対象物領域及び手領域を抽出する。指先検出部３２２は、映像情報３３１の画像内の手領域から指先の位置を検出する。制御部３２３は、対象物領域と手領域との重なり状態に応じてモード情報３３３を変更し、モード情報３３３が表す動作モードを示す制御信号を、表示制御部１１１へ出力する。座標変換部３２４は、指先検出部３２２が検出した指先の位置を表す座標を、表示装置３０３の画面上の座標に変換して、表示制御部１１１へ出力する。 The area extracting unit 321 extracts the hand area from the depth map 332, and also extracts the object area and the hand area from the image of each frame included in the video information 331. The fingertip detection unit 322 detects the position of the fingertip from the hand area in the image of the video information 331. The control unit 323 changes the mode information 333 according to the overlapping state of the target region and the hand region, and outputs a control signal indicating the operation mode represented by the mode information 333 to the display control unit 111. The coordinate conversion unit 324 converts coordinates representing the position of the fingertip detected by the fingertip detection unit 322 into coordinates on the screen of the display device 303 and outputs the coordinates to the display control unit 111.
表示制御部１１１は、制御部３２３から出力される制御信号に従って、映像情報３３１又は操作メニュー３３４を、表示装置３０３の画面に表示させる。操作メニュー３３４が画面に表示された場合、表示制御部１１１は、操作メニュー３３４とともに、その時点における指先の位置を示すポインタを画面に表示させる。 The display control unit 111 displays the video information 331 or the operation menu 334 on the screen of the display device 303 according to the control signal output from the control unit 323. When the operation menu 334 is displayed on the screen, the display control unit 111 displays a pointer indicating the position of the fingertip at that time on the screen together with the operation menu 334.
操作判定部３２５は、画面に表示されたポインタと操作メニュー３３４内の各操作項目との位置関係と、手領域の形状の変化とに基づいて、ユーザがいずれかの操作項目をクリックする決定操作を行ったか否かを判定する。 The operation determination unit 325 determines whether the user clicks any operation item based on the positional relationship between the pointer displayed on the screen and each operation item in the operation menu 334 and the change in the shape of the hand region. It is determined whether or not.
ユーザの頭部に装着されるヘッドマウントモジュールは、図３のＨＭＤ装置全体を含んでいてもよく、ＨＭＤ装置の一部の構成要素のみを含んでいてもよい。例えば、撮像装置３０１、距離画像センサ３０２、及び表示装置３０３をヘッドマウントモジュールとして実装し、操作検出装置１０１を頭部以外の身体部位に装着されるモジュールとして実装することができる。 The head mount module mounted on the user's head may include the entire HMD device of FIG. 3 or may include only some of the components of the HMD device. For example, the imaging device 301, the distance image sensor 302, and the display device 303 can be mounted as a head mount module, and the operation detection device 101 can be mounted as a module mounted on a body part other than the head.
図４は、図３の操作検出装置１０１が行う操作検出処理の具体例を示すフローチャートである。図４の操作検出処理は、映像情報３３１に含まれる各フレームの画像に対して行われる。 FIG. 4 is a flowchart showing a specific example of the operation detection process performed by the operation detection device 101 of FIG. The operation detection process of FIG. 4 is performed on the image of each frame included in the video information 331.
まず、制御部３２３は、モード情報３３３が対象選択モード又はメニュー操作モードのいずれの動作モードを表すかチェックする（ステップ４０１）。初期状態において、モード情報３３３は対象選択モードに設定されている。 First, the control unit 323 checks whether the mode information 333 represents the target selection mode or the menu operation mode (step 401). In the initial state, the mode information 333 is set to the target selection mode.
モード情報３３３が対象選択モードを表す場合（ステップ４０１，ＹＥＳ）、制御部３２３は、対象選択モードを示す制御信号を表示制御部１１１へ出力し、操作検出装置１０１は、対象選択モードの処理を行う（ステップ４０２）。対象選択モードにおいて、表示制御部１１１は、映像情報３３１を表示装置３０３の画面に表示させる。 When the mode information 333 represents the target selection mode (step 401, YES), the control unit 323 outputs a control signal indicating the target selection mode to the display control unit 111, and the operation detection apparatus 101 performs the target selection mode processing. Perform (step 402). In the target selection mode, the display control unit 111 displays the video information 331 on the screen of the display device 303.
一方、モード情報３３３がメニュー操作モードを表す場合（ステップ４０１，ＮＯ）、制御部３２３は、メニュー操作モードを示す制御信号を表示制御部１１１へ出力し、操作検出装置１０１は、メニュー操作モードの処理を行う（ステップ４０３）。メニュー操作モードにおいて、表示制御部１１１は、操作メニュー３３４を表示装置３０３の画面に表示させる。 On the other hand, when the mode information 333 indicates the menu operation mode (step 401, NO), the control unit 323 outputs a control signal indicating the menu operation mode to the display control unit 111, and the operation detection device 101 indicates the menu operation mode. Processing is performed (step 403). In the menu operation mode, the display control unit 111 displays the operation menu 334 on the screen of the display device 303.
図５は、図４のステップ４０２における対象選択モードの処理の例を示すフローチャートである。まず、領域抽出部３２１は、現時刻のデプスマップ３３２を用いて、映像情報３３１における同じ時刻の画像から手領域を抽出し、指先検出部３２２は、その手領域から指領域を抽出する（ステップ５０１）。指領域は、指先の位置であってもよい。 FIG. 5 is a flowchart showing an example of processing in the target selection mode in step 402 of FIG. First, the area extraction unit 321 uses the depth map 332 at the current time to extract a hand area from the image at the same time in the video information 331, and the fingertip detection unit 322 extracts the finger area from the hand area (step 501). The finger area may be the position of the fingertip.
デプスマップ３３２の各画素の位置は、映像情報３３１における同じ時刻の画像の各画素の位置に対応する。そこで、領域抽出部３２１は、デプスマップ３３２から手領域を抽出し、その手領域に対応する映像情報３３１の画像内の領域を特定することで、画像から手領域を抽出することができる。 The position of each pixel of the depth map 332 corresponds to the position of each pixel of the image at the same time in the video information 331. Therefore, the region extraction unit 321 can extract the hand region from the image by extracting the hand region from the depth map 332 and identifying the region in the image of the video information 331 corresponding to the hand region.
次に、領域抽出部３２１は、映像情報３３１の画像から対象物領域を抽出する（ステップ５０２）。例えば、対象物上又はその周囲の物体にマーカが貼付されている場合、領域抽出部３２１は、画像内におけるマーカの位置を特定し、特定したマーカの位置と所定の位置関係にある対象物領域を抽出することができる。また、領域抽出部３２１は、テンプレートマッチング等を用いて、画像から対象物領域を抽出することもできる。 Next, the area extraction unit 321 extracts the object area from the image of the video information 331 (step 502). For example, when a marker is attached to an object or an object around the object, the area extraction unit 321 identifies the position of the marker in the image, and the object area having a predetermined positional relationship with the identified position of the marker. Can be extracted. The area extraction unit 321 can also extract the object area from the image using template matching or the like.
次に、制御部３２３は、映像情報３３１の画像内で指領域と対象物領域とが重なっているか否かをチェックする（ステップ５０３）。指領域と対象物領域とが重なっている場合（ステップ５０３，ＹＥＳ）、制御部３２３は、モード情報３３３を対象選択モードからメニュー操作モードに変更し、メニュー操作モードを示す制御信号を表示制御部１１１へ出力する（ステップ５０４）。そして、操作検出装置１０１は、メニュー操作モードの処理を行う。 Next, the control unit 323 checks whether or not the finger region and the target region overlap in the image of the video information 331 (step 503). When the finger area and the object area overlap (step 503, YES), the control unit 323 changes the mode information 333 from the target selection mode to the menu operation mode, and the control signal indicating the menu operation mode is displayed on the display control unit. It is output to 111 (step 504). Then, the operation detection device 101 performs the processing in the menu operation mode.
一方、指領域と対象物領域とが重なっていない場合（ステップ５０３，ＮＯ）、制御部３２３は、モード情報３３３を変更しない。 On the other hand, when the finger area and the object area do not overlap (step 503, NO), the control unit 323 does not change the mode information 333.
図６は、図５のステップ５０１における指領域抽出処理の例を示すフローチャートである。まず、領域抽出部３２１は、平滑化フィルタ等を用いて、デプスマップ３３２の領域を平滑化する（ステップ６０１）。 FIG. 6 is a flowchart showing an example of the finger area extraction processing in step 501 of FIG. First, the area extraction unit 321 smoothes the area of the depth map 332 using a smoothing filter or the like (step 601).
図７は、平滑化フィルタの例を示している。図７の平滑化フィルタは、３画素×３画素のフィルタであり、中央の画素の画素値は、フィルタ内の９個の画素の各画素値に重み１／９を乗算して加算した結果に置き換えられる。このような重み付き加算をデプスマップ３３２の全画素に対して行うことで、デプスマップ３３２のノイズが低減される。 FIG. 7 shows an example of the smoothing filter. The smoothing filter of FIG. 7 is a filter of 3 pixels×3 pixels, and the pixel value of the central pixel is obtained by multiplying each pixel value of 9 pixels in the filter by weight 1/9 and adding the result. Will be replaced. By performing such weighted addition for all the pixels of the depth map 332, the noise of the depth map 332 is reduced.
次に、領域抽出部３２１は、平滑化されたデプスマップ３３２から手領域を抽出する（ステップ６０２）。領域抽出部３２１は、例えば、デプスマップ３３２の画素のうち、閾値よりも小さい画素値を有する近距離画素からなる領域を、手領域として抽出することができる。この場合、閾値以上の画素値を有する遠距離画素からなる領域は、背景領域とみなされる。 Next, the area extraction unit 321 extracts a hand area from the smoothed depth map 332. (Step 602). The area extraction unit 321 can extract, as a hand area, an area that includes, for example, pixels of the depth map 332 that are close-range pixels having a pixel value smaller than a threshold value. In this case, a region composed of long-distance pixels having a pixel value equal to or larger than the threshold value is regarded as a background region.
図８は、手領域抽出処理の例を示している。図８のデプスマップ８０１のうち、近距離画素からなる領域８０２が手領域として抽出される。 FIG. 8 shows an example of hand region extraction processing. In the depth map 801 of FIG. 8, a region 802 composed of short-distance pixels is extracted as a hand region.
ステップ６０２において、領域抽出部３２１は、デプスマップ３３２から抽出された手領域に対応する映像情報３３１の画像内の領域を、手領域として抽出する。そして、指先検出部３２２は、画像から抽出された手領域から、指先の位置を検出する（ステップ６０３）。 In step 602, the area extraction unit 321 extracts an area in the image of the video information 331 corresponding to the hand area extracted from the depth map 332 as a hand area. Then, the fingertip detection unit 322 detects the position of the fingertip from the hand region extracted from the image (step 603).
図９は、図６のステップ６０３における指先検出処理の例を示すフローチャートである。まず、指先検出部３２２は、手領域の基準点を決定する（ステップ９０１）。手領域の基準点としては、例えば、手領域内の全画素の座標の平均値に対応する重心を用いることができる。 FIG. 9 is a flowchart showing an example of the fingertip detection process in step 603 of FIG. First, the fingertip detection unit 322 determines the reference point of the hand area (step 901). As the reference point of the hand area, for example, the center of gravity corresponding to the average value of the coordinates of all the pixels in the hand area can be used.
次に、指先検出部３２２は、手領域の輪郭線上の点の中から指先候補点を抽出する（ステップ９０２）。例えば、輪郭線上で隣り合う３個の点を輪郭点Ａ、輪郭点Ｂ、及び輪郭点Ｃとし、輪郭点Ａ、輪郭点Ｂ、及び輪郭点Ｃと基準点との距離を、それぞれ、Ｄａ、Ｄｂ、及びＤｃとする。このとき、指先検出部３２２は、輪郭線上の各点に対して次式を満たすか否かをチェックし、次式を満たす輪郭点Ｂを指先候補点として抽出する。 Next, the fingertip detection unit 322 extracts fingertip candidate points from the points on the outline of the hand area (step 902). For example, three adjacent points on the contour line are contour point A, contour point B, and contour point C, and the distances between contour point A, contour point B, and contour point C and the reference point are Da, Let Db and Dc. At this time, the fingertip detection unit 322 checks whether or not each point on the contour line satisfies the following equation, and extracts the contour point B satisfying the following equation as a fingertip candidate point.
Ｄａ＜Ｄｂ＞Ｄｃ （１）
Da<Db>Dc (1)
次に、指先検出部３２２は、抽出した指先候補点のうち、基準点から指先候補点へ向かうベクトルが上向きである指先候補点を特定し（ステップ９０３）、特定した指先候補点を指先の位置に決定する（ステップ９０４）。例えば、画像の水平方向又は垂直方向に対するベクトルの角度が所定範囲内である場合、ベクトルが上向きであると判定される。 Next, the fingertip detection unit 322 specifies a fingertip candidate point whose vector from the reference point to the fingertip candidate point is upward among the extracted fingertip candidate points (step 903), and specifies the specified fingertip candidate point at the fingertip position. (Step 904). For example, when the angle of the vector with respect to the horizontal direction or the vertical direction of the image is within the predetermined range, the vector is determined to be upward.
ユーザが１本の指を伸ばした状態で手を移動させながら、操作メニュー３３４を操作する場合、手領域の形状は１本の指を伸ばした形状（１本指形状）になる。この場合、上向きの指先候補点は、手領域から１個だけ抽出される。そこで、ステップ９０３において抽出された上向きの指先候補点の個数が１個の場合、指先検出部３２２は、手領域の形状が１本指形状であると判定し、その指先候補点を指先の位置に決定する。 When the user operates the operation menu 334 while moving the hand with one finger extended, the shape of the hand region is a shape in which one finger is extended (one finger shape). In this case, only one upward fingertip candidate point is extracted from the hand area. Therefore, when the number of upward fingertip candidate points extracted in step 903 is one, the fingertip detection unit 322 determines that the shape of the hand region is a one-finger shape, and the fingertip candidate point is located at the fingertip position. To decide.
図１０は、このような１本指形状の手領域における指先候補点の例を示している。手領域１００１の輪郭点１００３と基準点１００２との距離は、輪郭線上で輪郭点１００３の両隣に位置する２つの輪郭点と基準点１００２との距離よりも大きいため、輪郭点１００３は指先候補点として抽出される。そして、基準点１００２から輪郭点１００３へ向かうベクトル１００４は上向きであるため、輪郭点１００３の位置が指先の位置に決定される。 FIG. 10 shows an example of fingertip candidate points in such a one-finger shaped hand region. Since the distance between the contour point 1003 of the hand area 1001 and the reference point 1002 is larger than the distance between the two contour points located on both sides of the contour point 1003 on the contour line and the reference point 1002, the contour point 1003 is the fingertip candidate point. Is extracted as. Since the vector 1004 from the reference point 1002 to the contour point 1003 is upward, the position of the contour point 1003 is determined as the position of the fingertip.
この場合、図５のステップ５０３において、制御部３２３は、画像内で指先の位置が対象物領域に含まれる場合、指領域と対象物領域とが重なっていると判定する。 In this case, in step 503 of FIG. 5, the control unit 323 determines that the finger region and the target region overlap each other when the position of the fingertip is included in the target region in the image.
図１１は、図４のステップ４０３及び図５のステップ５０４におけるメニュー操作モードの処理の例を示すフローチャートである。ステップ１１０１の処理は、図５のステップ５０１の処理と同様である。 FIG. 11 is a flowchart showing an example of processing in the menu operation mode in step 403 of FIG. 4 and step 504 of FIG. The process of step 1101 is similar to the process of step 501 of FIG.
座標変換部３２４は、指先検出部３２２が検出した指先の位置の座標（ｘ，ｙ）を、表示装置３０３の画面上の座標（ｕ，ｖ）に変換して、表示制御部１１１へ出力する（ステップ１１０２）。座標変換部３２４は、例えば、定数ｘ０、定数ｙ０、定数α、及び定数βを用いて、次式により座標（ｘ，ｙ）から座標（ｕ，ｖ）を計算する。 The coordinate conversion unit 324 converts the coordinates (x, y) of the position of the fingertip detected by the fingertip detection unit 322 into the coordinates (u, v) on the screen of the display device 303 and outputs the coordinates to the display control unit 111. (Step 1102). The coordinate conversion unit 324 calculates the coordinates (u, v) from the coordinates (x, y) by the following equation using, for example, the constant x0, the constant y0, the constant α, and the constant β.
ｕ＝（ｘ−ｘ０）＊α （２）
ｖ＝（ｙ−ｙ０）＊β （３）
u=(x−x0)*α (2)
v=(y−y0)*β (3)
図１２は、座標変換の例を示している。画像１２０１内の指先の位置に対応する輪郭点１００３の座標が、画面１２０２上の点１２０３の座標に変換される。 FIG. 12 shows an example of coordinate conversion. The coordinates of the contour point 1003 corresponding to the position of the fingertip in the image 1201 are converted into the coordinates of the point 1203 on the screen 1202.
表示制御部１１１は、メニュー操作モードを示す制御信号に従って、操作メニュー３３４と座標（ｕ，ｖ）を示すポインタとを表示装置３０３へ出力し、表示装置３０３は、操作メニュー３３４を画面に表示するとともに、座標（ｕ，ｖ）の位置にポインタを表示する。 The display control unit 111 outputs the operation menu 334 and the pointer indicating the coordinates (u, v) to the display device 303 according to the control signal indicating the menu operation mode, and the display device 303 displays the operation menu 334 on the screen. At the same time, the pointer is displayed at the position of coordinates (u, v).
図１３は、画面に表示された操作メニュー３３４及びポインタの例を示している。画面１２０２内には、操作項目１３０１〜操作項目１３０３が表示され、図１２の点１２０３に対応する位置にポインタ１３１１が表示される。ポインタ１３１１は、操作メニュー３３４上でユーザの手の動きに応じて移動する。 FIG. 13 shows an example of the operation menu 334 and the pointer displayed on the screen. On the screen 1202, operation items 1301 to 1303 are displayed, and a pointer 1311 is displayed at a position corresponding to the point 1203 in FIG. The pointer 1311 moves on the operation menu 334 according to the movement of the user's hand.
次に、操作判定部３２５は、画面内におけるポインタと各操作項目との位置関係に基づいて、ユーザによって選択された操作項目を特定する（ステップ１１０３）。操作判定部３２５は、例えば、ポインタの位置が操作項目の表示領域に含まれる場合に、その操作項目が選択されたと判定する。図１３の例では、ポインタ１３１１の位置が操作項目１３０２の表示領域に含まれるため、操作項目１３０２がユーザによって選択されたと判定される。 Next, the operation determination unit 325 identifies the operation item selected by the user based on the positional relationship between the pointer and each operation item on the screen (step 1103). The operation determination unit 325 determines that the operation item is selected when the position of the pointer is included in the operation item display area, for example. In the example of FIG. 13, since the position of the pointer 1311 is included in the display area of the operation item 1302, it is determined that the operation item 1302 has been selected by the user.
次に、操作判定部３２５は、選択された操作項目に対する決定操作を検出する（ステップ１１０４）。図１３の例では、操作項目１３０２が選択された状態で決定操作が検出された場合、ユーザが操作項目１３０２をクリックしたと判定される。 Next, the operation determination unit 325 detects a decision operation for the selected operation item (step 1104). In the example of FIG. 13, when the determination operation is detected while the operation item 1302 is selected, it is determined that the user has clicked the operation item 1302.
例えば、ユーザは、１本指形状の指先で操作項目を選択した状態で、伸ばした指を折り曲げるジェスチャを行うことで、操作項目をクリックする決定操作を行うことができる。このようなジェスチャ操作によれば、ユーザにとって入力タイミングが明確となり、フィードバックのない空間内であっても、入力作業が容易になる。また、操作判定部３２５は、指長の変化から容易に決定操作を検出することができる。 For example, the user can perform a determination operation of clicking an operation item by performing a gesture of bending an extended finger in a state where the operation item is selected with a fingertip having a one-finger shape. According to such a gesture operation, the input timing becomes clear to the user, and the input work becomes easy even in a space without feedback. Further, the operation determination unit 325 can easily detect the determination operation from the change in the finger length.
図１４は、図１１のステップ１１０４における決定操作検出処理の例を示すフローチャートである。操作判定部３２５は、ステップ１１０３においていずれかの操作項目を特定した場合、特定した操作項目を、記憶部３１３内のクリック対象３３５に設定する（ステップ１４０１）。ただし、現時刻よりも前の画像に基づく決定操作検出処理において、クリック対象３３５に操作項目が既に設定されている場合、操作判定部３２５は、クリック対象３３５を変更しない。 FIG. 14 is a flowchart showing an example of the determination operation detection process in step 1104 of FIG. When any operation item is specified in step 1103, the operation determination unit 325 sets the specified operation item as the click target 335 in the storage unit 313 (step 1401). However, in the determination operation detection process based on the image before the current time, when the operation item is already set in the click target 335, the operation determination unit 325 does not change the click target 335.
次に、操作判定部３２５は、クリック対象３３５に操作項目が設定されているか否かをチェックする（ステップ１４０２）。クリック対象３３５に操作項目が設定されている場合（ステップ１４０２，ＹＥＳ）、操作判定部３２５は、手領域の重心が移動したか否かをチェックする（ステップ１４０３）。 Next, the operation determination unit 325 checks whether or not an operation item is set in the click target 335 (step 1402). When the operation item is set in the click target 335 (step 1402, YES), the operation determination unit 325 checks whether the center of gravity of the hand area has moved (step 1403).
このとき、操作判定部３２５は、例えば、現時刻よりも前の時刻における手領域の重心と現時刻における手領域の重心との距離を、重心の移動量として求める。そして、操作判定部３２５は、移動量が所定値以上である場合、重心が移動したと判定し、移動量が所定値よりも小さい場合、重心が移動していないと判定する。重心の移動量に基づいて手が移動したか否かを判定することで、ユーザが選択した操作項目をクリックすることなく、指先を別の操作項目へ移動させたか否かを検出することができる。 At this time, the operation determination unit 325 obtains, for example, the distance between the center of gravity of the hand region at the time before the current time and the center of gravity of the hand region at the current time as the movement amount of the center of gravity. Then, the operation determination unit 325 determines that the center of gravity has moved when the movement amount is equal to or greater than the predetermined value, and determines that the center of gravity has not moved when the movement amount is smaller than the predetermined value. By determining whether the hand has moved based on the amount of movement of the center of gravity, it is possible to detect whether the fingertip has been moved to another operation item without clicking the operation item selected by the user. ..
重心が移動していない場合（ステップ１４０３，ＮＯ）、操作判定部３２５は、指先の位置に基づいて、指先から指の根元までの長さ（指長）を計算する（ステップ１４０４）。ステップ１４０１において操作項目をクリック対象３３５に設定した場合、操作判定部３２５は、計算した指長Ｌを指長情報３３６として記憶部３１３に格納する。 When the center of gravity has not moved (step 1403, NO), the operation determination unit 325 calculates the length from the fingertip to the base of the finger (finger length) based on the position of the fingertip (step 1404). When the operation item is set as the click target 335 in step 1401, the operation determination unit 325 stores the calculated finger length L in the storage unit 313 as finger length information 336.
現時刻よりも前の画像に基づく決定操作検出処理において、指長情報３３６が既に格納されている場合、操作判定部３２５は、計算した指長Ｌを、指長情報３３６が示す指長Ｌ０と比較する（ステップ１４０５）。操作判定部３２５は、例えば、１以上の定数ａを用いて、次式によりＬとＬ０を比較することができる。 When the finger length information 336 is already stored in the determination operation detection process based on the image before the current time, the operation determination unit 325 sets the calculated finger length L to the finger length L0 indicated by the finger length information 336. The comparison is made (step 1405). The operation determination unit 325 can compare L and L0 by the following equation using a constant a of 1 or more, for example.
Ｌ０＞Ｌ＊ａ （４）
L0>L*a (4)
Ｌが式（４）を満たす場合（ステップ１４０５，ＹＥＳ）、操作判定部３２５は、操作項目が選択された時点よりも指長が一定割合以下まで短くなり、ユーザがクリック対象３３５の操作項目をクリックしたと判定する（ステップ１４０６）。ユーザがクリックした操作項目がメニュー操作モードの終了を表す項目である場合、制御部３２３は、モード情報３３３をメニュー操作モードから対象選択モードに変更し、対象選択モードを示す制御信号を表示制御部１１１へ出力する。 When L satisfies the expression (4) (step 1405, YES), the operation determination unit 325 determines that the finger length is shorter than a certain ratio from the time when the operation item is selected and the user selects the operation item of the click target 335. It is determined that it has been clicked (step 1406). When the operation item clicked by the user is an item indicating the end of the menu operation mode, the control unit 323 changes the mode information 333 from the menu operation mode to the target selection mode, and the control signal indicating the target selection mode is displayed on the display control unit. Output to 111.
一方、Ｌが式（４）を満たさない場合（ステップ１４０５，ＮＯ）、操作判定部３２５は、指長が短くなっておらず、ユーザがクリック対象３３５の操作項目をクリックしていないと判定する。なお、現時刻の画像に基づく決定操作検出処理において指長情報３３６を格納した場合は、Ｌ＝Ｌ０であるため、ユーザがクリック対象３３５の操作項目をクリックしていないと判定される。 On the other hand, when L does not satisfy the expression (4) (step 1405, NO), the operation determination unit 325 determines that the finger length is not shortened and the user has not clicked on the operation item of the click target 335. .. When the finger length information 336 is stored in the determination operation detection process based on the image at the current time, L=L0, and thus it is determined that the user has not clicked on the operation item of the click target 335.
重心が移動した場合（ステップ１４０３，ＹＥＳ）、操作判定部３２５は、ユーザが選択した操作項目をクリックするのを止めたと判定する。そして、操作判定部３２５は、クリック対象３３５に設定されている操作項目を削除して、クリック対象３３５を解放する（ステップ１４０７）。 When the center of gravity moves (step 1403, YES), the operation determination unit 325 determines that the user has stopped clicking the operation item selected by the user. Then, the operation determination unit 325 deletes the operation item set in the click target 335 and releases the click target 335 (step 1407).
クリック対象３３５が解放された後、次の時刻以降の画像において、ステップ１１０３で別の操作項目が特定された場合、ステップ１４０１において、その操作項目がクリック対象３３５に設定される。 After the click target 335 is released, if another operation item is specified in step 1103 in the image after the next time, the operation item is set as the click target 335 in step 1401.
また、ステップ１４０４において指長Ｌ０が指長情報３３６に設定された後、次の時刻以降の画像において、ステップ１４０４で指長Ｌが計算された場合、ステップ１４０５において、指長Ｌが指長Ｌ０と比較される。 After the finger length L0 is set in the finger length information 336 in step 1404, if the finger length L is calculated in step 1404 in the image after the next time, in step 1405, the finger length L is changed to the finger length L0. Compared to.
このような決定操作検出処理によれば、ユーザは、１本指形状の指先をポインティングデバイスの代わりに用いて、指を折り曲げる直感的なジェスチャにより、操作項目に対するクリック操作を行うことができる。 According to such a determination operation detection process, the user can perform a click operation on an operation item by an intuitive gesture of bending a finger by using a fingertip having a one-finger shape instead of a pointing device.
図１５は、図１４のステップ１４０４における指長計算処理の例を示すフローチャートである。この指長計算処理では、指先から指の根元へ向かって手領域の幅が計算され、手領域における指の方向と、手領域の幅（指幅）の変化とに基づいて、指長が求められる。 FIG. 15 is a flowchart showing an example of finger length calculation processing in step 1404 of FIG. In this finger length calculation process, the width of the hand region is calculated from the fingertip toward the base of the finger, and the finger length is calculated based on the direction of the finger in the hand region and the change in the width (finger width) of the hand region. To be
操作判定部３２５は、ステップ１４０１において操作項目をクリック対象３３５に設定した場合、指先の位置と手領域の重心とを結ぶ線分を求め、その線分を指が伸びている軸方向に決定する（ステップ１５０１）。決定された軸方向は、指先から指の根元へ向かう方向を表している。ただし、現時刻よりも前の画像に基づく指長計算処理において、軸方向が既に決定されている場合、操作判定部３２５は、その軸方向を用いる。 When the operation item is set as the click target 335 in step 1401, the operation determination unit 325 obtains a line segment connecting the position of the fingertip and the center of gravity of the hand region, and determines the line segment in the axial direction in which the finger extends. (Step 1501). The determined axial direction represents the direction from the fingertip to the base of the finger. However, when the axial direction is already determined in the finger length calculation process based on the image before the current time, the operation determination unit 325 uses the axial direction.
次に、操作判定部３２５は、軸方向に沿って指先から重心へ向かって、所定長毎に、軸方向と垂直な方向における手領域の幅を計算する（ステップ１５０２）。操作判定部３２５は、例えば、軸方向と垂直な方向における手領域の２つの輪郭点の間の画素数を、手領域の幅として求める。そして、操作判定部３２５は、手領域の幅が閾値を超える位置を指の根元として特定し、指先と指の根元との距離を指長に決定する。閾値は、固定値であってもよく、デプスマップ３３２が示す手領域の距離に反比例する値であってもよい。 Next, the operation determination unit 325 calculates the width of the hand region in the direction perpendicular to the axial direction for each predetermined length from the fingertip to the center of gravity along the axial direction (step 1502). The operation determination unit 325 determines, for example, the number of pixels between two contour points of the hand region in the direction perpendicular to the axial direction as the width of the hand region. Then, the operation determination unit 325 specifies the position where the width of the hand region exceeds the threshold as the base of the finger, and determines the distance between the fingertip and the base of the finger as the finger length. The threshold value may be a fixed value or a value that is inversely proportional to the distance of the hand area indicated by the depth map 332.
図１６は、指長計算処理の例を示している。図１６（ａ）は、操作項目が選択されたときの１本指形状の手領域を示しており、指先の位置１６０１と手領域の重心１６０２とを結ぶ線分１６０３は、１本指形状の軸方向を表す。この場合、１本指の指先から根元までの指長Ｌ１が求められる。 FIG. 16 shows an example of the finger length calculation process. FIG. 16A shows a one-finger-shaped hand region when an operation item is selected, and a line segment 1603 connecting the fingertip position 1601 and the center of gravity 1602 of the hand region has a one-finger shape. Indicates the axial direction. In this case, the finger length L1 from the fingertip of one finger to the root is obtained.
図１６（ｂ）は、操作項目が選択されてから所定時間後にその操作項目がクリックされたときの手領域を示しており、線分１６０３に沿った指長Ｌ２は、Ｌ１よりも一定割合以下まで短くなっている。このように、一旦、軸方向が決定されれば、その後は、指先の位置１６０１が検出されなくても、軸方向に沿って指長を計算することができる。 FIG. 16B shows the hand area when the operation item is clicked after a predetermined time has elapsed since the operation item was selected, and the finger length L2 along the line segment 1603 is less than a certain ratio than L1. Has become shorter. Thus, once the axial direction is determined, thereafter, even if the fingertip position 1601 is not detected, the finger length can be calculated along the axial direction.
ところで、図１１のステップ１１０２において、指先の位置を示すポインタとともに、指の軸方向を示す情報を画面に表示することも可能である。この場合、指先検出部３２２は、図１５のステップ１５０１と同様にして軸方向を決定し、表示制御部１１１は、操作メニュー３３４、指先の位置を示すポインタ、及び軸方向を示す情報を、表示装置３０３へ出力する。そして、表示装置３０３は、操作メニュー３３４、ポインタ、及び軸方向を画面に表示する。 By the way, in step 1102 of FIG. 11, it is possible to display information indicating the axial direction of the finger on the screen together with the pointer indicating the position of the fingertip. In this case, the fingertip detection unit 322 determines the axial direction similarly to step 1501 in FIG. 15, and the display control unit 111 displays the operation menu 334, the pointer indicating the position of the fingertip, and the information indicating the axial direction. Output to the device 303. Then, the display device 303 displays the operation menu 334, the pointer, and the axial direction on the screen.
図１７は、画面に表示された軸方向の例を示している。図１７（ａ）の例では、画面１２０２内に、操作項目１３０１〜操作項目１３０３、ポインタ１３１１、及び軸方向を示す線分１７０１が表示される。ポインタ１３１１及び線分１７０１は、操作メニュー３３４上でユーザの手の動きに応じて移動する。 FIG. 17 shows an example of the axial direction displayed on the screen. In the example of FIG. 17A, operation items 1301 to 1303, a pointer 1311, and a line segment 1701 indicating the axial direction are displayed in the screen 1202. The pointer 1311 and the line segment 1701 move on the operation menu 334 according to the movement of the user's hand.
図１７（ｂ）の例では、画面１２０２内に、操作項目１３０１〜操作項目１３０３、ポインタ１３１１、及び軸方向を示す手の図形１７０２が表示される。ポインタ１３１１及び図形１７０２は、操作メニュー３３４上でユーザの手の動きに応じて移動する。 In the example of FIG. 17B, operation items 1301 to 1303, a pointer 1311, and a hand graphic 1702 indicating the axial direction are displayed in the screen 1202. The pointer 1311 and the figure 1702 move on the operation menu 334 according to the movement of the user's hand.
このように、指先の位置を示すポインタに加えて軸方向も表示することで、ユーザは、画面上での指の移動方向を容易に認識することができる。 In this way, by displaying the axial direction in addition to the pointer indicating the position of the fingertip, the user can easily recognize the moving direction of the finger on the screen.
図１の操作検出装置１０１及び図３のＨＭＤ装置の構成は一例に過ぎず、操作検出装置１０１及びＨＭＤ装置の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、図３のＨＭＤ装置において、デプスマップ３３２の代わりに映像情報３３１を用いて指領域抽出処理を行う場合、距離画像センサ３０２及び取得部３１２を省略することができる。 The configurations of the operation detection device 101 of FIG. 1 and the HMD device of FIG. 3 are merely examples, and some components may be omitted or changed depending on the use or conditions of the operation detection device 101 and the HMD device. For example, in the HMD device of FIG. 3, when the finger area extraction process is performed using the image information 331 instead of the depth map 332, the distance image sensor 302 and the acquisition unit 312 can be omitted.
図２、図４〜図６、図９、図１１、図１４、及び図１５のフローチャートは一例に過ぎず、操作検出装置１０１の構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、図６の指領域抽出処理において、デプスマップ３３２のノイズが少ない場合、ステップ６０１の処理を省略することができる。検出部１１２は、デプスマップ３３２の代わりに映像情報３３１を用いて指領域抽出処理を行ってもよい。 The flowcharts of FIGS. 2, 4 to 6, FIG. 9, FIG. 11, FIG. 14, and FIG. 15 are merely examples, and some processes may be omitted or changed according to the configuration or conditions of the operation detection device 101. Good. For example, in the finger region extraction process of FIG. 6, when the depth map 332 has a small amount of noise, the process of step 601 can be omitted. The detection unit 112 may perform the finger area extraction process using the image information 331 instead of the depth map 332.
図９の指先検出処理のステップ９０１において、手領域の基準点として重心以外の点を用いてもよい。ユーザは、１本指形状以外の手で操作メニュー３３４を操作してもよく、指先以外の所定部位を用いて操作項目を選択してもよい。この場合、検出部１１２は、指先の位置の代わりに、所定部位の位置を検出する処理を行う。 In step 901 of the fingertip detection process of FIG. 9, a point other than the center of gravity may be used as the reference point of the hand region. The user may operate the operation menu 334 with a hand other than the one-finger shape, or may select an operation item using a predetermined part other than the fingertip. In this case, the detection unit 112 performs a process of detecting the position of a predetermined part instead of the position of the fingertip.
図１４の決定操作検出処理のステップ１４０３において、重心以外の点の移動量に基づいて手が移動したか否かを判定してもよい。ユーザは、指を折り曲げるジェスチャ以外のジェスチャで決定操作を行ってもよく、ステップ１４０４及びステップ１４０５において、操作判定部３２５は、指長以外の手領域の形状の変化に基づいて決定操作が行われたか否かを判定してもよい。 In step 1403 of the determination operation detection process of FIG. 14, whether or not the hand has moved may be determined based on the amount of movement of a point other than the center of gravity. The user may perform the determining operation with a gesture other than the gesture of bending the finger, and in step 1404 and step 1405, the operation determining unit 325 performs the determining operation based on the change in the shape of the hand region other than the finger length. Whether or not it may be determined.
図７の平滑化フィルタ、図８のデプスマップ８０１、図１０及び図１２の手領域１００１、図１３の操作項目１３０１〜操作項目１３０３及びポインタ１３１１、図１６の線分１６０３、図１７の線分１７０１及び図形１７０２は一例に過ぎない。別の平滑化フィルタ等を用いてもよい。 The smoothing filter of FIG. 7, the depth map 801 of FIG. 8, the hand area 1001 of FIGS. 10 and 12, the operation item 1301 to operation item 1303 of FIG. 13, the pointer 1311, the line segment 1603 of FIG. 16, and the line segment of FIG. 1701 and figure 1702 are only examples. Another smoothing filter or the like may be used.
図１及び図３の操作検出装置１０１は、例えば、図１８に示すような情報処理装置（コンピュータ）を用いて実現可能である。図１８の情報処理装置は、Central Processing Unit（ＣＰＵ）１８０１、メモリ１８０２、補助記憶装置１８０３、媒体駆動装置１８０４、及びネットワーク接続装置１８０５を備える。これらの構成要素はバス１８０６により互いに接続されている。 The operation detection device 101 of FIGS. 1 and 3 can be realized by using, for example, an information processing device (computer) as shown in FIG. The information processing apparatus in FIG. 18 includes a Central Processing Unit (CPU) 1801, a memory 1802, an auxiliary storage device 1803, a medium drive device 1804, and a network connection device 1805. These components are connected to each other by a bus 1806.
メモリ１８０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。メモリ１８０２は、図３の記憶部３１３として用いることができる。 The memory 1802 is, for example, a semiconductor memory such as a read only memory (ROM), a random access memory (RAM), or a flash memory, and stores programs and data used for processing. The memory 1802 can be used as the storage unit 313 in FIG.
ＣＰＵ１８０１（プロセッサ）は、例えば、メモリ１８０２を利用してプログラムを実行することにより、図１及び図３の表示制御部１１１及び検出部１１２として動作する。ＣＰＵ１８０１は、プログラムを実行することにより、取得部３１１、取得部３１２、領域抽出部３２１、指先検出部３２２、制御部３２３、座標変換部３２４、及び操作判定部３２５としても動作する。 The CPU 1801 (processor) operates as the display control unit 111 and the detection unit 112 in FIGS. 1 and 3 by executing a program using the memory 1802, for example. The CPU 1801 also operates as the acquisition unit 311, the acquisition unit 312, the region extraction unit 321, the fingertip detection unit 322, the control unit 323, the coordinate conversion unit 324, and the operation determination unit 325 by executing the program.
補助記憶装置１８０３は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１８０３は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置１８０３にプログラム及びデータを格納しておき、それらをメモリ１８０２にロードして使用することができる。補助記憶装置１８０３は、図３の記憶部３１３として用いることができる。 The auxiliary storage device 1803 is, for example, a magnetic disk device, an optical disk device, a magneto-optical disk device, a tape device, or the like. The auxiliary storage device 1803 may be a hard disk drive or a flash memory. The information processing device can store the program and data in the auxiliary storage device 1803, load them into the memory 1802, and use them. The auxiliary storage device 1803 can be used as the storage unit 313 in FIG.
媒体駆動装置１８０４は、可搬型記録媒体１８０７を駆動し、その記録内容にアクセスする。可搬型記録媒体１８０７は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１８０７は、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、Universal Serial Bus（ＵＳＢ）メモリ等であってもよい。ユーザは、この可搬型記録媒体１８０７にプログラム及びデータを格納しておき、それらをメモリ１８０２にロードして使用することができる。 The medium driving device 1804 drives a portable recording medium 1807 to access the recorded contents. The portable recording medium 1807 is a memory device, flexible disk, optical disk, magneto-optical disk, or the like. The portable recording medium 1807 may be a Compact Disk Read Only Memory (CD-ROM), a Digital Versatile Disk (DVD), a Universal Serial Bus (USB) memory, or the like. The user can store the program and data in this portable recording medium 1807 and load them into the memory 1802 for use.
このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ１８０２、補助記憶装置１８０３、又は可搬型記録媒体１８０７のような、物理的な（非一時的な）記録媒体である。 As described above, a computer-readable recording medium that stores programs and data used for processing is a physical (non-transitory) recording medium such as the memory 1802, the auxiliary storage device 1803, or the portable recording medium 1807. It is a medium.
ネットワーク接続装置１８０５は、Local Area Network、Wide Area Network等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１８０５を介して受け取り、それらをメモリ１８０２にロードして使用することができる。 The network connection device 1805 is a communication interface that is connected to a communication network such as a Local Area Network or Wide Area Network and performs data conversion accompanying communication. The information processing device can receive a program and data from an external device via the network connection device 1805, load them into the memory 1802, and use them.
なお、情報処理装置が図１８のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、他の装置との通信を行う必要がない場合は、ネットワーク接続装置１８０５を省略してもよく、可搬型記録媒体１８０７を利用しない場合は、媒体駆動装置１８０４を省略してもよい。 Note that the information processing apparatus does not need to include all the constituent elements of FIG. 18, and it is possible to omit some of the constituent elements according to the use or the conditions. For example, when it is not necessary to communicate with another device, the network connection device 1805 may be omitted, and when the portable recording medium 1807 is not used, the medium driving device 1804 may be omitted.
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。 While the disclosed embodiments and their advantages have been described in detail, those skilled in the art can make various changes, additions, and omissions without departing from the scope of the invention explicitly set forth in the claims. Let's do it.
図１乃至図１８を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
撮像装置によって撮影された撮影画像を表示装置に表示させ、
前記撮影画像内において対象物が写っている対象物領域と、前記撮影画像内において手が写っている手領域とが重なっている場合、前記対象物に対応する操作対象情報を前記撮影画像の代わりに前記表示装置に表示させ、
前記操作対象情報を表示した時点の前記手領域内における所定部位の位置を起点として、前記手の動きに応じて移動するポインタを前記表示装置に表示させ、
前記ポインタと前記操作対象情報との間の位置関係と、前記手領域の形状の変化とに基づいて、前記操作対象情報に対する決定操作を検出する、
処理をコンピュータが実行することを特徴とする操作検出方法。
（付記２）
前記所定部位は前記手の指先であり、前記コンピュータは、前記ポインタが前記操作対象情報の表示領域内に位置しているときの前記手領域の形状の変化に基づいて、前記決定操作を検出することを特徴とする付記１記載の操作検出方法。
（付記３）
前記コンピュータは、前記対象物領域と前記手領域とが重なっており、前記手領域の形状が１本の指を伸ばした形状である場合、前記操作対象情報と前記ポインタとを前記表示装置に表示させ、前記ポインタが前記操作対象情報の前記表示領域内に位置しているときの前記指の第１の長さと、所定時間後における前記指の第２の長さとを検出し、前記第２の長さが前記第１の長さよりも短い場合、前記決定操作が行われたと判定することを特徴とする付記２記載の操作検出方法。
（付記４）
前記コンピュータは、前記ポインタが前記操作対象情報の前記表示領域内に位置しており、前記手領域の重心の移動量が所定値よりも小さい場合、前記第１の長さと前記第２の長さとを検出することを特徴とする付記３記載の操作検出方法。
（付記５）
前記コンピュータは、前記ポインタが前記操作対象情報の前記表示領域内に位置しているときの前記指の指先から前記指の根元へ向かって、前記手領域の幅を計算し、計算した幅が閾値を超える位置と前記指先の位置との距離に基づいて、前記第１の長さを求めることを特徴とする付記３又は４記載の操作検出方法。
（付記６）
前記コンピュータは、前記ポインタとともに、前記指が伸びている方向を示す情報を前記表示装置に表示させることを特徴とする付記３乃至５のいずれか１項に記載の操作検出方法。
（付記７）
撮像装置によって撮影された撮影画像を表示装置に表示させ、前記撮影画像内において対象物が写っている対象物領域と、前記撮影画像内において手が写っている手領域とが重なっている場合、前記対象物に対応する操作対象情報を前記撮影画像の代わりに前記表示装置に表示させ、前記操作対象情報を表示した時点の前記手領域内における所定部位の位置を起点として、前記手の動きに応じて移動するポインタを前記表示装置に表示させる表示制御部と、
前記ポインタと前記操作対象情報との間の位置関係と、前記手領域の形状の変化とに基づいて、前記操作対象情報に対する決定操作を検出する検出部と、
を備えることを特徴とする操作検出装置。
（付記８）
前記所定部位は前記手の指先であり、前記検出部は、前記ポインタが前記操作対象情報の表示領域内に位置しているときの前記手領域の形状の変化に基づいて、前記決定操作を検出することを特徴とする付記７記載の操作検出装置。
（付記９）
前記表示制御部は、前記対象物領域と前記手領域とが重なっており、前記手領域の形状が１本の指を伸ばした形状である場合、前記操作対象情報と前記ポインタとを前記表示装置に表示させ、前記検出部は、前記ポインタが前記操作対象情報の前記表示領域内に位置しているときの前記指の第１の長さと、所定時間後における前記指の第２の長さとを検出し、前記第２の長さが前記第１の長さよりも短い場合、前記決定操作が行われたと判定することを特徴とする付記８記載の操作検出装置。
（付記１０）
前記検出部は、前記ポインタが前記操作対象情報の前記表示領域内に位置しており、前記手領域の重心の移動量が所定値よりも小さい場合、前記第１の長さと前記第２の長さとを検出することを特徴とする付記９記載の操作検出装置。
（付記１１）
撮像装置によって撮影された撮影画像を表示装置に表示させ、
前記撮影画像内において対象物が写っている対象物領域と、前記撮影画像内において手が写っている手領域とが重なっている場合、前記対象物に対応する操作対象情報を前記撮影画像の代わりに前記表示装置に表示させ、
前記操作対象情報を表示した時点の前記手領域内における所定部位の位置を起点として、前記手の動きに応じて移動するポインタを前記表示装置に表示させ、
前記ポインタと前記操作対象情報との間の位置関係と、前記手領域の形状の変化とに基づいて、前記操作対象情報に対する決定操作を検出する、
処理をコンピュータに実行させる操作検出プログラム。
（付記１２）
前記所定部位は前記手の指先であり、前記コンピュータは、前記ポインタが前記操作対象情報の表示領域内に位置しているときの前記手領域の形状の変化に基づいて、前記決定操作を検出することを特徴とする付記１１記載の操作検出プログラム。
（付記１３）
前記コンピュータは、前記対象物領域と前記手領域とが重なっており、前記手領域の形状が１本の指を伸ばした形状である場合、前記操作対象情報と前記ポインタとを前記表示装置に表示させ、前記ポインタが前記操作対象情報の前記表示領域内に位置しているときの前記指の第１の長さと、所定時間後における前記指の第２の長さとを検出し、前記第２の長さが前記第１の長さよりも短い場合、前記決定操作が行われたと判定することを特徴とする付記１２記載の操作検出プログラム。
（付記１４）
前記コンピュータは、前記ポインタが前記操作対象情報の前記表示領域内に位置しており、前記手領域の重心の移動量が所定値よりも小さい場合、前記第１の長さと前記第２の長さとを検出することを特徴とする付記１３記載の操作検出プログラム。
Regarding the embodiment described with reference to FIGS. 1 to 18, the following supplementary notes are further disclosed.
(Appendix 1)
Display the captured image captured by the imaging device on the display device,
When the object area in which the object is shown in the photographed image and the hand area in which the hand is shown in the photographed image overlap, the operation object information corresponding to the object is replaced with the photographed image. On the display device,
Starting from the position of a predetermined part in the hand region at the time of displaying the operation target information, a pointer that moves according to the movement of the hand is displayed on the display device,
Detecting a decision operation for the operation target information based on a positional relationship between the pointer and the operation target information and a change in the shape of the hand region,
An operation detection method characterized in that a computer executes the processing.
(Appendix 2)
The predetermined part is the fingertip of the hand, and the computer detects the determination operation based on a change in the shape of the hand area when the pointer is located in the display area of the operation target information. The operation detection method according to appendix 1, characterized in that.
(Appendix 3)
The computer displays the operation target information and the pointer on the display device when the target area and the hand area overlap each other and the shape of the hand area is a shape in which one finger is extended. Then, the first length of the finger when the pointer is located in the display area of the operation target information and the second length of the finger after a predetermined time is detected, and the second length of the finger is detected. The operation detection method according to appendix 2, wherein when the length is shorter than the first length, it is determined that the determination operation has been performed.
(Appendix 4)
When the pointer is located in the display area of the operation target information and the movement amount of the center of gravity of the hand area is smaller than a predetermined value, the computer determines the first length and the second length. The method for detecting an operation according to appendix 3, wherein the operation is detected.
(Appendix 5)
The computer calculates the width of the hand area from the fingertip of the finger to the base of the finger when the pointer is located in the display area of the operation target information, and the calculated width is a threshold value. 5. The operation detection method according to supplementary note 3 or 4, wherein the first length is obtained based on a distance between a position exceeding the distance and the position of the fingertip.
(Appendix 6)
6. The operation detection method according to any one of appendices 3 to 5, wherein the computer causes the display device to display, together with the pointer, information indicating a direction in which the finger extends.
(Appendix 7)
When a captured image captured by the image capturing device is displayed on the display device, and a target region in which the target is captured in the captured image and a hand region in which the hand is captured in the captured image overlap, The operation target information corresponding to the target object is displayed on the display device instead of the captured image, and the movement of the hand starts from the position of a predetermined part in the hand region at the time when the operation target information is displayed. A display control unit that causes the display device to display a pointer that moves accordingly.
A positional relationship between the pointer and the operation target information, and a detection unit that detects a determination operation for the operation target information based on a change in the shape of the hand region,
An operation detection device comprising:
(Appendix 8)
The predetermined portion is the fingertip of the hand, and the detection unit detects the determination operation based on a change in the shape of the hand region when the pointer is located in the display region of the operation target information. The operation detection device according to appendix 7, wherein:
(Appendix 9)
The display control unit displays the operation target information and the pointer on the display device when the target area and the hand area overlap each other and the shape of the hand area is a shape in which one finger is extended. The detection unit displays the first length of the finger when the pointer is located in the display area of the operation target information and the second length of the finger after a predetermined time. detecting, the case where the second length shorter than the first length, the operation detection device according to note 8, wherein the benzalkonium be determined and the determination operation has been performed.
(Appendix 10)
When the pointer is located in the display area of the operation target information and the movement amount of the center of gravity of the hand area is smaller than a predetermined value, the detection unit detects the first length and the second length. 10. The operation detection device according to appendix 9, which is characterized in that
(Appendix 11)
Display the captured image captured by the imaging device on the display device,
When the object area in which the object is shown in the photographed image and the hand area in which the hand is shown in the photographed image overlap, the operation object information corresponding to the object is replaced with the photographed image. On the display device,
Starting from the position of a predetermined part in the hand region at the time of displaying the operation target information, a pointer that moves according to the movement of the hand is displayed on the display device,
A positional relationship between the pointer and the operation target information, and a change operation of the shape of the hand region, based on the change in the operation target information, a determination operation is detected.
An operation detection program that causes a computer to execute processing.
(Appendix 12)
The predetermined part is the fingertip of the hand, and the computer detects the determination operation based on a change in the shape of the hand area when the pointer is located in the display area of the operation target information. The operation detection program according to appendix 11, characterized in that.
(Appendix 13)
The computer displays the operation target information and the pointer on the display device when the target area and the hand area overlap each other and the shape of the hand area is a shape in which one finger is extended. Then, the first length of the finger when the pointer is located in the display area of the operation target information and the second length of the finger after a predetermined time is detected, and the second length of the finger is detected. 13. The operation detection program according to note 12, wherein when the length is shorter than the first length, it is determined that the determination operation has been performed.
(Appendix 14)
When the pointer is positioned in the display area of the operation target information and the movement amount of the center of gravity of the hand area is smaller than a predetermined value, the computer determines the first length and the second length. 14. The operation detection program according to note 13, wherein the operation detection program detects.
１０１ 操作検出装置
１１１ 表示制御部
１１２ 検出部
３０１ 撮像装置
３０２ 距離画像センサ
３０３ 表示装置
３１１、３１２ 取得部
３１３ 記憶部
３２１ 領域抽出部
３２２ 指先検出部
３２３ 制御部
３２４ 座標変換部
３２５ 操作判定部
３３１ 映像情報
３３２、８０１ デプスマップ
３３３ モード情報
３３４ 操作メニュー
３３５ クリック対象
３３６ 指長情報
８０２ 領域
１００１ 手領域
１００２ 基準点
１００３ 輪郭点
１００４ ベクトル
１２０１ 画像
１２０２ 画面
１２０３ 点
１３０１〜１３０３ 操作項目
１３１１ ポインタ
１６０１ 指先の位置
１６０２ 重心
１６０３、１７０１ 線分
１７０２ 図形
１８０１ ＣＰＵ
１８０２ メモリ
１８０３ 補助記憶装置
１８０４ 媒体駆動装置
１８０５ ネットワーク接続装置
１８０６ バス
１８０７ 可搬型記録媒体
101 Operation Detection Device 111 Display Control Unit 112 Detection Unit 301 Imaging Device 302 Distance Image Sensor 303 Display Device 311 and 312 Acquisition Unit 313 Storage Unit 321 Area Extraction Unit 322 Fingertip Detection Unit 323 Control Unit 324 Coordinate Conversion Unit 325 Operation Judgment Unit 331 Video Information 332, 801 Depth map 333 Mode information 334 Operation menu 335 Click target 336 Finger length information 802 Area 1001 Hand area 1002 Reference point 1003 Contour point 1004 Vector 1201 Image 1202 Screen 1203 Point 1301 to 1303 Operation item 1311 Pointer 1601 Fingertip position 1602 Center of gravity 1603, 1701 Line segment 1702 Graphic 1801 CPU
1802 memory 1803 auxiliary storage device 1804 medium drive device 1805 network connection device 1806 bus 1807 portable recording medium
Claims (9)
前記撮影画像内において対象物が写っている対象物領域と、前記撮影画像内において手が写っている手領域とが重なっている場合、前記対象物に対するユーザの作業における操作項目を含む操作メニューを前記撮影画像の代わりに前記表示装置に表示させ、
前記操作メニューを表示した時点の前記手領域の輪郭線上で隣り合う第１輪郭点、第２輪郭点、及び第３輪郭点について、前記第１輪郭点と前記手領域の重心との第１距離、前記第２輪郭点と前記重心との第２距離、及び前記第３輪郭点と前記重心との第３距離を求め、
前記第２距離が前記第１距離よりも大きく、かつ、前記第２距離が前記第３距離よりも大きい場合に、前記第２輪郭点を指先候補点として抽出し、
前記輪郭線上で抽出された複数の指先候補点の中から、前記重心から指先候補点へ向かうベクトルの角度に基づいて特定した指先候補点を、指先の位置に決定し、
前記指先の位置を起点として、前記手の動きに応じて移動するポインタを前記表示装置に表示させ、
前記ポインタと前記操作メニュー内の前記操作項目との間の位置関係と、前記手領域の形状の変化とに基づいて、前記操作項目に対する決定操作を検出する、
処理をコンピュータが実行することを特徴とする操作検出方法。 Display the captured image captured by the imaging device on the display device,
When the object area in which the object is shown in the photographed image and the hand area in which the hand is shown in the photographed image overlap , an operation menu including operation items for the user's work on the object is displayed . Display on the display device instead of the captured image,
A first distance between the first contour point and the center of gravity of the hand region with respect to the first contour point, the second contour point, and the third contour point that are adjacent to each other on the contour line of the hand region when the operation menu is displayed. , A second distance between the second contour point and the center of gravity, and a third distance between the third contour point and the center of gravity,
When the second distance is larger than the first distance and the second distance is larger than the third distance, the second contour point is extracted as a fingertip candidate point,
From a plurality of fingertip candidate points extracted on the contour line, the fingertip candidate point identified based on the angle of the vector from the center of gravity to the fingertip candidate point is determined as the position of the fingertip,
Starting from the position of the fingertip, a pointer that moves according to the movement of the hand is displayed on the display device,
Detecting a decision operation for the operation item based on a positional relationship between the pointer and the operation item in the operation menu and a change in the shape of the hand region,
An operation detection method characterized in that a computer executes the processing.
前記手領域の重心は、前記手領域内の画素の座標の平均値であることを特徴とする請求項１記載の操作検出方法。 The computer detects the determination operation based on a change in the shape of the hand area when the pointer is located in the display area of the operation menu ,
The operation detection method according to claim 1 , wherein the center of gravity of the hand region is an average value of coordinates of pixels in the hand region .
前記手領域の重心は、前記手領域内の画素の座標の平均値であることを特徴とする請求項１記載の操作検出方法。 The computer causes the display device to display the operation menu and the pointer when the object region and the hand region overlap each other and the shape of the hand region is a shape in which one finger is extended. , Determining a line segment connecting the position of the fingertip and the center of gravity of the hand region when the pointer is located in the display area of the operation menu in the direction from the fingertip of the finger to the base of the finger. , The width of the hand region is calculated from the fingertip of the finger toward the base of the finger, and the first length of the finger is calculated based on the distance between the position where the calculated width exceeds a threshold and the position of the fingertip. To detect the second length of the finger after a predetermined time, the second length is shorter than the first length, it is determined that the determination operation is performed ,
The operation detection method according to claim 1 , wherein the center of gravity of the hand region is an average value of coordinates of pixels in the hand region .
前記操作メニューを表示した時点の前記手領域の輪郭線上で隣り合う第１輪郭点、第２輪郭点、及び第３輪郭点について、前記第１輪郭点と前記手領域の重心との第１距離、前記第２輪郭点と前記重心との第２距離、及び前記第３輪郭点と前記重心との第３距離を求め、前記第２距離が前記第１距離よりも大きく、かつ、前記第２距離が前記第３距離よりも大きい場合に、前記第２輪郭点を指先候補点として抽出し、前記輪郭線上で抽出された複数の指先候補点の中から、前記重心から指先候補点へ向かうベクトルの角度に基づいて特定した指先候補点を、指先の位置に決定する検出部とを備え、
前記表示制御部は、前記指先の位置を起点として、前記手の動きに応じて移動するポインタを前記表示装置に表示させ、
前記検出部は、前記ポインタと前記操作メニュー内の前記操作項目との間の位置関係と、前記手領域の形状の変化とに基づいて、前記操作項目に対する決定操作を検出することを特徴とする操作検出装置。 When a captured image captured by the image capturing device is displayed on the display device, and a target region in which the target is captured in the captured image and a hand region in which the hand is captured in the captured image overlap, A display control unit that displays an operation menu including operation items in the user's work on the object on the display device instead of the captured image;
A first distance between the first contour point and the center of gravity of the hand region with respect to the first contour point, the second contour point, and the third contour point that are adjacent to each other on the contour line of the hand region when the operation menu is displayed. A second distance between the second contour point and the center of gravity, and a third distance between the third contour point and the center of gravity, the second distance being greater than the first distance, and the second distance When the distance is larger than the third distance, the vector that extracts the second contour point as a fingertip candidate point and goes from the center of gravity to the fingertip candidate point from among the plurality of fingertip candidate points extracted on the contour line A fingertip candidate point identified based on the angle of, and a detection unit that determines the position of the fingertip,
The display control unit, starting from the position of the fingertip, causes the display device to display a pointer that moves according to the movement of the hand,
The detection unit detects a determination operation for the operation item based on a positional relationship between the pointer and the operation item in the operation menu and a change in the shape of the hand region. Operation detection device.
前記撮影画像内において対象物が写っている対象物領域と、前記撮影画像内において手が写っている手領域とが重なっている場合、前記対象物に対するユーザの作業における操作項目を含む操作メニューを前記撮影画像の代わりに前記表示装置に表示させ、
前記操作メニューを表示した時点の前記手領域の輪郭線上で隣り合う第１輪郭点、第２輪郭点、及び第３輪郭点について、前記第１輪郭点と前記手領域の重心との第１距離、前記第２輪郭点と前記重心との第２距離、及び前記第３輪郭点と前記重心との第３距離を求め、
前記第２距離が前記第１距離よりも大きく、かつ、前記第２距離が前記第３距離よりも大きい場合に、前記第２輪郭点を指先候補点として抽出し、
前記輪郭線上で抽出された複数の指先候補点の中から、前記重心から指先候補点へ向かうベクトルの角度に基づいて特定した指先候補点を、指先の位置に決定し、
前記指先の位置を起点として、前記手の動きに応じて移動するポインタを前記表示装置に表示させ、
前記ポインタと前記操作メニュー内の前記操作項目との間の位置関係と、前記手領域の形状の変化とに基づいて、前記操作項目に対する決定操作を検出する、
処理をコンピュータに実行させる操作検出プログラム。
Display the captured image captured by the imaging device on the display device,
When the object area in which the object is shown in the photographed image and the hand area in which the hand is shown in the photographed image overlap , an operation menu including operation items for the user's work on the object is displayed . Display on the display device instead of the captured image,
A first distance between the first contour point and the center of gravity of the hand region with respect to the first contour point, the second contour point, and the third contour point that are adjacent to each other on the contour line of the hand region when the operation menu is displayed. , A second distance between the second contour point and the center of gravity, and a third distance between the third contour point and the center of gravity,
When the second distance is larger than the first distance and the second distance is larger than the third distance, the second contour point is extracted as a fingertip candidate point,
From a plurality of fingertip candidate points extracted on the contour line, the fingertip candidate point identified based on the angle of the vector from the center of gravity to the fingertip candidate point is determined as the position of the fingertip,
Starting from the position of the fingertip, a pointer that moves according to the movement of the hand is displayed on the display device,
Detecting a decision operation for the operation item based on a positional relationship between the pointer and the operation item in the operation menu and a change in the shape of the hand region,
An operation detection program that causes a computer to execute processing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015232625A JP6716897B2 (en) | 2015-11-30 | 2015-11-30 | Operation detection method, operation detection device, and operation detection program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015232625A JP6716897B2 (en) | 2015-11-30 | 2015-11-30 | Operation detection method, operation detection device, and operation detection program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017102499A JP2017102499A (en) | 2017-06-08 |
| JP6716897B2 true JP6716897B2 (en) | 2020-07-01 |
Family
ID=59016520
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015232625A Active JP6716897B2 (en) | 2015-11-30 | 2015-11-30 | Operation detection method, operation detection device, and operation detection program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6716897B2 (en) |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH086708A (en) * | 1994-04-22 | 1996-01-12 | Canon Inc | Display device |
| JP3752246B2 (en) * | 2003-08-11 | 2006-03-08 | 学校法人慶應義塾 | Hand pattern switch device |
| JP5086560B2 (en) * | 2006-04-12 | 2012-11-28 | トヨタ自動車株式会社 | Input device |
| JP2008158675A (en) * | 2006-12-21 | 2008-07-10 | Toyota Motor Corp | Operation device for vehicle |
| US9389420B2 (en) * | 2012-06-14 | 2016-07-12 | Qualcomm Incorporated | User interface interaction for transparent head-mounted displays |
| CN105393281B (en) * | 2013-08-02 | 2018-02-13 | 三菱电机株式会社 | Gesture decision maker and method, gesture operation device |
| DE112014004212T5 (en) * | 2013-09-12 | 2016-05-25 | Mitsubishi Electric Corporation | Device and method, program and storage medium for gesture operation |
| JP5877824B2 (en) * | 2013-09-20 | 2016-03-08 | ヤフー株式会社 | Information processing system, information processing method, and information processing program |
| JP2015094828A (en) * | 2013-11-11 | 2015-05-18 | シチズンホールディングス株式会社 | Image projection method, information input device and program |
-
2015
- 2015-11-30 JP JP2015232625A patent/JP6716897B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017102499A (en) | 2017-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10082879B2 (en) | Head mounted display device and control method | |
| US8094204B2 (en) | Image movement based device control method, program, and apparatus | |
| JP6716996B2 (en) | Image processing program, image processing apparatus, and image processing method | |
| KR101747892B1 (en) | Method of user interaction based gesture recognition and apparatus for the same | |
| JP6314251B2 (en) | Operation input device, operation input method and program | |
| US9633450B2 (en) | Image measurement device, and recording medium | |
| CN108027656B (en) | Input device, input method, and program | |
| US9348465B2 (en) | Input method, input device, and storage medium | |
| US10185399B2 (en) | Image processing apparatus, non-transitory computer-readable recording medium, and image processing method | |
| JP5523086B2 (en) | Information presenting apparatus, information presenting method, and program | |
| JP2014029656A (en) | Image processor and image processing method | |
| US10930068B2 (en) | Estimation apparatus, estimation method, and non-transitory computer-readable storage medium for storing estimation program | |
| US10410051B2 (en) | Method of extracting a region in a distance image, storage medium, and head mounted display apparatus | |
| JP6530432B2 (en) | Image processing apparatus, image processing method and program | |
| US20160140762A1 (en) | Image processing device and image processing method | |
| WO2011096571A1 (en) | Input device | |
| JP6716897B2 (en) | Operation detection method, operation detection device, and operation detection program | |
| JP7232663B2 (en) | Image processing device and image processing method | |
| CN112529947A (en) | Calibration method and device, electronic equipment and storage medium | |
| JP6342832B2 (en) | Input device | |
| JP2011071746A (en) | Video output device, and video output method | |
| KR102127978B1 (en) | A method and an apparatus for generating structure | |
| JP2014002502A (en) | Stretched-out hand detector, stretched-out hand detecting method and program | |
| TW201419087A (en) | Micro-somatic detection module and micro-somatic detection method | |
| US20230177862A1 (en) | Method of tracking input sign for extended reality and system using the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180810 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190226 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190422 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190917 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191106 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20191106 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20191106 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200512 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200525 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6716897 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |