JP2012032944A - Information processor and control method of the same - Google Patents

Information processor and control method of the same Download PDF

Info

Publication number
JP2012032944A
JP2012032944A JP2010170859A JP2010170859A JP2012032944A JP 2012032944 A JP2012032944 A JP 2012032944A JP 2010170859 A JP2010170859 A JP 2010170859A JP 2010170859 A JP2010170859 A JP 2010170859A JP 2012032944 A JP2012032944 A JP 2012032944A
Authority
JP
Japan
Prior art keywords
shadow image
shape
hand
unit
shadow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010170859A
Other languages
Japanese (ja)
Other versions
JP5676959B2 (en
JP2012032944A5 (en
Inventor
Masayuki Ishizawa
正行 石澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010170859A priority Critical patent/JP5676959B2/en
Publication of JP2012032944A publication Critical patent/JP2012032944A/en
Publication of JP2012032944A5 publication Critical patent/JP2012032944A5/ja
Application granted granted Critical
Publication of JP5676959B2 publication Critical patent/JP5676959B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an information processor that allows an operator to easily recognize how the information processor recognizes a command executed in response to a hand shape.SOLUTION: A hand shape acquisition unit 204 acquires a first shape of an operator's hand. A shadow image acquisition unit 205 acquires a shape of a shadow image. A shadow image generation unit 203 uses the acquired shadow image to generate a shadow image matching the first shape, and displays the generated shadow image on a display 201.

Description

本発明は、機器等のグラフィカルユーザインタフェースを提示する技術である。   The present invention is a technique for presenting a graphical user interface of a device or the like.

近年、テーブル型のディスプレイが登場してきている。このようなデバイスは、複数人でディスプレイを囲み、タッチ操作などで電子的なオブジェクトを操作することができるため、主に会議用途などに用いられる。   In recent years, table-type displays have appeared. Such a device is mainly used for conferences and the like because a plurality of people can surround a display and operate an electronic object by a touch operation or the like.

このようなディスプレイ上でユーザの手や指をカメラで撮影しておき、ディスプレイ上に表示されるオブジェクトの上でジェスチャを行った際に、該オブジェクトに対して、予めジェスチャに対応付けされているコマンドを実行する技術がある（特許文献１）。特許文献１では、コマンドを実行する対象のオブジェクトを選択した際に、選択したオブジェクトの見た目を変えることで、操作対象のオブジェクトを操作者に提示する。   When a user's hand or finger is photographed with a camera on such a display and a gesture is performed on an object displayed on the display, the object is previously associated with the gesture. There is a technique for executing a command (Patent Document 1). In Patent Document 1, when an object to execute a command is selected, the object to be operated is presented to the operator by changing the appearance of the selected object.

また、オブジェクトを選択していることを操作者へ提示するための先行技術として、次のものがある（非特許文献１）。非特許文献１では、操作者の手の位置を取得し、システムが定めた仮想光源の位置と操作者の手の位置から、手の影画像を生成する。生成した手の影画像をディスプレイ上に表示することで、手の影画像を直感的なポインタとして扱うことができる。また、オブジェクトを選択していない場合でも、操作者の手がポインティングする位置を操作者に提示することができる。   Further, as a prior art for presenting to the operator that an object is selected, there is the following (Non-Patent Document 1). In Non-Patent Document 1, the position of the operator's hand is acquired, and a hand shadow image is generated from the position of the virtual light source determined by the system and the position of the operator's hand. By displaying the generated hand shadow image on the display, the hand shadow image can be handled as an intuitive pointer. Further, even when no object is selected, the position where the operator's hand points can be presented to the operator.

特開２００５−３０１６９３号公報JP 2005-301893 A

Ｓｈｏｅｍａｋｅｒ，Ｇ．，Ｔａｎｇ，Ａ．ａｎｄ Ｂｏｏｔｈ，Ｉｎ Ｐｒｏｃ．Ｏｆ ＵＩＳＴ ’０７，ｐｐ．５３−５６Shomaker, G .; Tang, A .; and Booth, In Proc. Of UIST '07, pp. 53-56

上述した先行技術をテーブル型のディスプレイに取り入れた場合、手の影画像を利用することで、操作の対象となるオブジェクトを明確に選択しながら、ジェスチャ（手の形状）をトリガとしたコマンドを入力することができる。   When the above-mentioned prior art is incorporated into a table-type display, a hand shadow image is used to input a command triggered by a gesture (hand shape) while clearly selecting an object to be operated. can do.

しかし、手の形状が機器に正しくコマンドとして認識されているかを操作者はコマンドの実行結果を確認するまで知ることができなかった。また、コマンドの実行処理が終了しない限り、操作者はジェスチャが機器に認識されていないのか、コマンドが入力できないのかもわからなかった。   However, the operator could not know whether the hand shape is correctly recognized as a command by the device until the execution result of the command is confirmed. Also, unless the command execution process is completed, the operator did not know whether the gesture was recognized by the device or the command could not be input.

本発明は、このような事情を鑑みてなされたものであり、手の形状に対応して実行されるコマンドが情報処理装置にどのように認識されているかを、操作者が認識しやすくすることを目的とする。   The present invention has been made in view of such circumstances, and makes it easy for an operator to recognize how a command to be executed corresponding to the shape of a hand is recognized by the information processing apparatus. With the goal.

この課題を解決するために、例えば本発明の情報処理装置は、操作者の手の第１の形状を取得する手の形状取得手段と、影画像の形状を取得する影画像取得手段と、
前記影画像取得手段で取得した影画像を用いて、前記手の形状取得手段で取得した第１の形状に合わせて、影画像を生成する影画像生成手段と、前記影画像生成手段で生成された影画像を表示部に表示する表示制御手段を有する
ことを特徴とする。 In order to solve this problem, for example, an information processing apparatus of the present invention includes a hand shape acquisition unit that acquires a first shape of an operator's hand, a shadow image acquisition unit that acquires a shape of a shadow image,
Using the shadow image acquired by the shadow image acquisition unit, a shadow image generation unit that generates a shadow image according to the first shape acquired by the hand shape acquisition unit, and the shadow image generation unit It has a display control means for displaying the shadow image on the display unit.

本発明によれば、手の形状に対応して実行されるコマンドが情報処理装置にどのように認識されているかを、操作者が認識しやすくなる。   According to the present invention, it is easy for an operator to recognize how a command executed corresponding to the shape of a hand is recognized by the information processing apparatus.

情報処理装置のハードウェア構成図。The hardware block diagram of information processing apparatus. 情報処理装置のブロック図。1 is a block diagram of an information processing apparatus. 情報処置装置１００のフローチャート。5 is a flowchart of the information processing apparatus 100. 表示の一例。An example of display. モードごとの影画像の一例。An example of a shadow image for each mode. 本実施例のイメージ図。The image figure of a present Example. 影画像生成処理を表すフローチャート。The flowchart showing a shadow image generation process. 影画像生成処理を説明する図。The figure explaining shadow image generation processing.

（実施例１）
図１は、実施例１における情報処理装置１００のハードウェア構成図である。 Example 1
FIG. 1 is a hardware configuration diagram of the information processing apparatus 100 according to the first embodiment.

図１において、情報処理装置１００は、ＣＰＵ１０２、ＲＯＭ１０３、ＲＡＭ１０４から構成され、バス１０１と介して、入力装置１０５や出力装置１０６と接続する。１０２はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、各種処理のための演算や論理判断などを行い、バス１０１に接続された各構成要素を制御する。 本情報処理装置は、プログラムメモリとデータメモリを含むメモリが搭載されている。プログラムメモリには、フローチャートにより後述する各種処理手順を含むＣＰＵによる制御のためのプログラムを格納する。このメモリはＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３であってもよいし、外部記憶装置などからプログラムがロードされるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０４であってもよい。あるいは、これらの組合せで実現しても構わない。１０５はユーザからの指示や、各種センサ入力などを受付ける入力装置である。ユーザは入力装置１０５を介して、当該情報処理装置に指示を行う。１０６は本実施例における表示手段としての出力装置である。出力装置１０６は、例えば、出力のための回路を含むＣＲＴ（Ｃａｔｈｏｄｅ−Ｒａｙ Ｔｕｂｅ）や液晶表示器などのディスプレイ装置により実現することができる。   In FIG. 1, the information processing apparatus 100 includes a CPU 102, a ROM 103, and a RAM 104, and is connected to an input device 105 and an output device 106 via a bus 101. Reference numeral 102 denotes a CPU (Central Processing Unit), which performs operations and logic determinations for various processes, and controls each component connected to the bus 101. The information processing apparatus is equipped with a memory including a program memory and a data memory. The program memory stores a program for control by the CPU including various processing procedures described later with reference to flowcharts. This memory may be a ROM (Read-Only Memory) 103 or a RAM (Random Access Memory) 104 into which a program is loaded from an external storage device or the like. Or you may implement | achieve with these combination. Reference numeral 105 denotes an input device that receives instructions from the user and various sensor inputs. The user gives an instruction to the information processing apparatus via the input device 105. Reference numeral 106 denotes an output device as display means in this embodiment. The output device 106 can be realized by a display device such as a CRT (Cathode-Ray Tube) including a circuit for output and a liquid crystal display, for example.

図２は、実施例１における情報処理装置１００のブロック図である。   FIG. 2 is a block diagram of the information processing apparatus 100 according to the first embodiment.

情報処理装置１００は、装置外部のディスプレイ２０１及びカメラ２０２と接続している。ディスプレイ２０１は、出力装置１０６であり、影画像生成部２０３で合成された影画像等を、表示制御部２０９を介して表示する。カメラ２０２は、入力装置１０５であり、操作者の手の画像を撮像する。撮像結果は、画像でもよいし、動画でもよい。尚、情報処理装置１００は、ディスプレイ２０１とカメラ２０２を装置内部に備えていないものとして説明するが、本発明はこれに限らない。例えば、情報処理装置１００は、ディスプレイ２０１を装置内部に備えていても良いし、カメラ２０２を装置内部に備えていても良い。   The information processing apparatus 100 is connected to a display 201 and a camera 202 outside the apparatus. The display 201 is the output device 106 and displays the shadow image synthesized by the shadow image generation unit 203 via the display control unit 209. The camera 202 is the input device 105 and captures an image of the operator's hand. The imaging result may be an image or a moving image. Although the information processing apparatus 100 is described as not including the display 201 and the camera 202 inside, the present invention is not limited to this. For example, the information processing apparatus 100 may include the display 201 inside the apparatus or the camera 202 inside the apparatus.

手の形状取得部２０４は、カメラ２０２で撮像した画像、もしくは動画より、操作者の手の位置や形状を公知の技術により取得する。モード取得部２０６が、設定されている操作モードを保持部２０８から取得する。本実施例では、操作モードには、電子オブジェクトをトリミングするトリミングモード、電子オブジェクトを削除する削除モード、通常モードが存在するものとする。通常モードは、トリミングモードと削除モードのいずれのモードでもないモードである。尚、操作モードの設定に関しては、ディスプレイ上に、各操作モードに設定するためのボタンを用意しておき、ボタンにタッチする方法をとってもよいし、モード設定用のジェスチャを設けておき、そのコマンドを実行する方法でもよい。   The hand shape acquisition unit 204 acquires the position and shape of the operator's hand from the image or video captured by the camera 202 using a known technique. The mode acquisition unit 206 acquires the set operation mode from the holding unit 208. In this embodiment, the operation mode includes a trimming mode for trimming an electronic object, a deletion mode for deleting an electronic object, and a normal mode. The normal mode is a mode that is neither the trimming mode nor the deletion mode. Regarding the setting of the operation mode, a button for setting each operation mode is prepared on the display, and a method of touching the button may be used, or a mode setting gesture is provided and the command is set. The method of executing

影画像取得部２０５は、モード取得部２０６から取得された操作モードに応じて、影画像の形状を保持部２０８から取得する。操作モードごとの影画像の一例を図５に示す。５０１、５０２は、トリミングモード時に表示する影画像、５０３、５０４は、削除モード時に表示する影画像、５０５、５０６は、通常モード時に表示する影画像である。トリミングモード時に表示する影画像は、はさみ、削除モード時に表示する影画像は、ごみ箱、通常モード時に表示する影画像は、手となっている。尚、それぞれのモードごとに、閉じた状態の影画像と開いた状態の影画像を保持している。保持部２０８は、設定されている操作モード、操作モードごとの影画像、手の形状取得部２０４で取得された手の形状や位置を保持する。尚、本実施例では、１つの保持部で保持する例を示したが、複数の保持部を設け、それぞれを異なる保持部で保持しても構わない。   The shadow image acquisition unit 205 acquires the shape of the shadow image from the holding unit 208 according to the operation mode acquired from the mode acquisition unit 206. An example of the shadow image for each operation mode is shown in FIG. 501 and 502 are shadow images displayed in the trimming mode, 503 and 504 are shadow images displayed in the deletion mode, and 505 and 506 are shadow images displayed in the normal mode. The shadow image displayed in the trimming mode is scissors, the shadow image displayed in the deletion mode is a trash can, and the shadow image displayed in the normal mode is a hand. For each mode, a closed shadow image and an open shadow image are held. The holding unit 208 holds the set operation mode, the shadow image for each operation mode, and the hand shape and position acquired by the hand shape acquisition unit 204. In the present embodiment, an example of holding by one holding unit has been described, but a plurality of holding units may be provided and each may be held by different holding units.

影画像生成部２０３は、手の形状取得部２０４で取得した手の形状・位置と影画像取得部２０５で取得した影画像より、表示する影画像を生成する。判定処理部２０７は、各種判定及びコマンド実行処理を行う。判定処理部２０７は、保持部２０８で保持する情報を用いジェスチャを認識し、各種処理を実行する。本実施例で述べるジェスチャとは、親指とそれ以外の指の先が開かれた状態から閉じられた状態にすることを指す。このジェスチャにトリミングと削除を対応付け、ジェスチャとしておくことで、トリミングあるいは削除を実行することができるようになる。トリミングあるいは削除の判定は、設定されている操作モードによって判定する。尚、本実施例では、判定処理を１つの判定部で処理する例を示したが、複数の判定部を設け、それぞれを異なる判定部で処理しても構わない。表示制御部２０９は、影画像生成部で生成された影画像を、ディスプレイ２０１に表示する。   The shadow image generation unit 203 generates a shadow image to be displayed from the hand shape / position acquired by the hand shape acquisition unit 204 and the shadow image acquired by the shadow image acquisition unit 205. The determination processing unit 207 performs various determinations and command execution processing. The determination processing unit 207 recognizes a gesture using information held by the holding unit 208 and executes various processes. The gesture described in the present embodiment indicates that the thumb and other finger tips are changed from the opened state to the closed state. Trimming and deletion can be executed by associating trimming and deletion with this gesture and setting it as a gesture. Trimming or deletion is determined according to the set operation mode. In the present embodiment, an example in which the determination process is performed by one determination unit has been described. However, a plurality of determination units may be provided and each may be processed by a different determination unit. The display control unit 209 displays the shadow image generated by the shadow image generation unit on the display 201.

本実施例で説明する影画像は、実際の影ではなく、影を模した仮想画像である。手の影画像の表示位置が手の動きに追従するように生成するために、例えば次の方法で影画像の表示位置を決定してもよい。   The shadow image described in the present embodiment is not an actual shadow but a virtual image imitating a shadow. In order to generate the display position of the hand shadow image so as to follow the movement of the hand, the display position of the shadow image may be determined by the following method, for example.

操作者の頭頂部から顔の向きと反対側５０ｃｍの位置に仮想光源を配置する。仮想光源の位置と操作者の手の位置と、ディスプレイの位置から、仮想の影画像の生成位置を算出する。手の影画像の生成位置を算出する方法としては、次のルールが保たれればどのような方法をとってもよい。手の位置が仮想光源に近づけば、影画像を大きくする。仮想光源から手の位置を遠ざければ、影画像を小さくする。ディスプレイと手の距離が０であれば、手と影画像が重なる。この影画像生成処理の対象になる手を設定するため、別途メニュー画面などを設けておいてもよい。図６は、本実施例のイメージ図である。１００１が操作者を表しており、操作者の後方の１００２が仮想光源である。１００３が操作者の手を表しており、１００５で表されるディスプレイ上の１００４の位置に影画像が生成されている。   A virtual light source is arranged at a position 50 cm from the top of the operator opposite to the face direction. The generation position of the virtual shadow image is calculated from the position of the virtual light source, the position of the operator's hand, and the position of the display. As a method for calculating the generation position of the hand shadow image, any method may be used as long as the following rules are maintained. When the hand position is close to the virtual light source, the shadow image is enlarged. If the hand is moved away from the virtual light source, the shadow image is reduced. If the distance between the display and the hand is 0, the hand and the shadow image overlap. A menu screen or the like may be provided separately in order to set a hand that is a target of the shadow image generation process. FIG. 6 is an image diagram of this embodiment. Reference numeral 1001 denotes an operator, and 1002 behind the operator is a virtual light source. Reference numeral 1003 represents an operator's hand, and a shadow image is generated at a position 1004 on the display represented by 1005.

図３は、実施例１における情報処理装置１００のフローチャートである。情報処理装置１００が起動すると、図３のフローチャートの処理に入るものとする。   FIG. 3 is a flowchart of the information processing apparatus 100 according to the first embodiment. When the information processing apparatus 100 is activated, the processing of the flowchart of FIG. 3 is entered.

Ｓ３０１で、手の形状取得部２０４は、カメラ２０２で撮像した画像より、操作者の手の形状（第１の形状）と位置を取得し、取得した形状と位置、そのときの時間を保持部２０８に保持する。Ｓ３０２で、判定処理部２０７は、Ｓ３０１で検出した手の形状と位置から生成される影画像が、ディスプレイである表示部に表示されている電子オブジェクトを選択しているかを判定する。判定方法は、影画像が電子オブジェクトとオーバラップしているかをみる。影画像が電子オブジェクトを指しており、かつ、電子オブジェクトがジェスチャコマンドを受付けるのであれば、ＹｅｓのフローでＳ３０３へ進む。一方、影画像が電子オブジェクトを指していない、あるいは、影画像が電子オブジェクトを指しているが、電子オブジェクトがジェスチャコマンドを受付けないのであれば、ＮｏのフローでＳ３０５へ進む。   In S301, the hand shape acquisition unit 204 acquires the shape (first shape) and position of the operator's hand from the image captured by the camera 202, and stores the acquired shape and position, and the time at that time. Hold at 208. In step S302, the determination processing unit 207 determines whether a shadow image generated from the hand shape and position detected in step S301 has selected an electronic object displayed on a display unit that is a display. The determination method checks whether the shadow image overlaps the electronic object. If the shadow image points to the electronic object and the electronic object accepts the gesture command, the process proceeds to S303 in the Yes flow. On the other hand, if the shadow image does not point to the electronic object, or the shadow image points to the electronic object, but the electronic object does not accept the gesture command, the process proceeds to S305 in a No flow.

Ｓ３０３で、モード取得部２０６が、設定されている操作モードを保持部２０８から取得する。Ｓ３０４で、影画像取得部２０５は、Ｓ３０３で取得した操作モードに対応する影画像の形状を保持部２０８より取得する。Ｓ３０５で、影画像取得部２０５は、所定の影画像を保持部２０８より取得する。所定の画像は、ジェスチャを受付けないことを示すものであって、本実施例では通常モードの影画像とする。所定の影画像は、これに限らず、トリミングや削除などの特定の操作モードが受付けられないことをユーザに示すことができる画像であればよい。   In step S <b> 303, the mode acquisition unit 206 acquires the set operation mode from the holding unit 208. In step S304, the shadow image acquisition unit 205 acquires the shape of the shadow image corresponding to the operation mode acquired in step S303 from the holding unit 208. In step S <b> 305, the shadow image acquisition unit 205 acquires a predetermined shadow image from the holding unit 208. The predetermined image indicates that no gesture is accepted, and is a shadow image in the normal mode in this embodiment. The predetermined shadow image is not limited to this, and may be any image that can indicate to the user that a specific operation mode such as trimming or deletion is not accepted.

Ｓ３０６で、影画像生成部２０３は、Ｓ３０１で取得した手の形状と、Ｓ３０４あるいはＳ３０５で取得した影画像の形状とにより、表示する影画像を生成する処理を行う。生成のフローに関しては、図７のフローチャートを用いて後述する。Ｓ３０７で、表示制御部２０９は、Ｓ３０６で生成された影画像を表示する。図４は、表示の一例である。４０１は、表示画面、４０２は、表示画面に表示されている電子オブジェクト、４０３、４０４は、影画像である。４０３は、Ｓ３０２で影画像が電子オブジェクトを指しており、かつ、電子オブジェクトがジェスチャコマンドを受付けると判定され、Ｓ３０４で、トリミングモードが取得された場合に生成される影画像である。４０４は、Ｓ３０２で影画像が電子オブジェクトを指していない、あるいは、影画像が電子オブジェクトを指しているが、電子オブジェクトがジェスチャコマンドを受付けないと判定される場合に生成される影画像である。尚、図４の４０５は、ジェスチャを行っている手である。   In step S306, the shadow image generation unit 203 performs processing for generating a shadow image to be displayed based on the shape of the hand acquired in step S301 and the shape of the shadow image acquired in step S304 or S305. The generation flow will be described later with reference to the flowchart of FIG. In step S307, the display control unit 209 displays the shadow image generated in step S306. FIG. 4 is an example of display. 401 is a display screen, 402 is an electronic object displayed on the display screen, and 403 and 404 are shadow images. A shadow image 403 is generated when it is determined in S302 that the shadow image points to the electronic object, and the electronic object accepts the gesture command, and in S304, the trimming mode is acquired. A shadow image 404 is generated when it is determined in S302 that the shadow image does not point to the electronic object, or the shadow image points to the electronic object, but the electronic object does not accept the gesture command. Note that reference numeral 405 in FIG. 4 denotes a hand performing a gesture.

Ｓ３０８で、判定処理部２０７は、Ｓ３０１で手の形状を取得した時間から、所定の時間が経過したかを判定する。Ｓ３０８で、所定の時間が経過したと判定されたら、Ｓ３０９へ進む。Ｓ３０９で、手の形状取得部２０４は、カメラ２０２で撮像した画像より、操作者の手の形状（第２の形状）と位置を取得する。また、取得した形状と位置を保持部２０８に保持する。   In S308, the determination processing unit 207 determines whether a predetermined time has elapsed from the time when the hand shape is acquired in S301. If it is determined in S308 that the predetermined time has elapsed, the process proceeds to S309. In step S <b> 309, the hand shape acquisition unit 204 acquires the shape (second shape) and position of the operator's hand from the image captured by the camera 202. Further, the acquired shape and position are held in the holding unit 208.

Ｓ３１０で、判定処理部２０７は、手の形状が変化したかを検知する。検知方法は、Ｓ３０１で保持した手の形状（第１の形状）とＳ３０８で保持した手の形状（第２の形状）とが異なるかどうかで行う。Ｓ３１０でＹｅｓの場合は、Ｓ３１１で、影画像生成部２０３は、Ｓ３０９で取得した手の形状と、Ｓ３０３あるいはＳ３０４で取得した影画像の形状とにより、表示する影画像を生成する処理を行う。Ｓ３１１での処理は、Ｓ３０６の処理と同様である。Ｓ３１２で、表示制御部２０９は、Ｓ３１１で生成された影画像を表示する。   In S310, the determination processing unit 207 detects whether the shape of the hand has changed. The detection method is performed based on whether or not the shape of the hand held in S301 (first shape) is different from the shape of the hand held in S308 (second shape). In the case of Yes in S310, in S311, the shadow image generation unit 203 performs a process of generating a shadow image to be displayed based on the shape of the hand acquired in S309 and the shape of the shadow image acquired in S303 or S304. The process in S311 is the same as the process in S306. In step S312, the display control unit 209 displays the shadow image generated in step S311.

Ｓ３１３で、判定処理部２０７は、手の形状の変化が、ジェスチャかどうかを判定する。判定方法は、Ｓ３０１で保持した手の形状（第１の形状）からＳ３０９で保持した手の形状（第２の形状）への変化が、予め定められたジェスチャかどうかで判定する。Ｓ３１３でＹｅｓの場合は、Ｓ３１４で、判定処理部２０７は、判定したジェスチャに対応するコマンドを実行し、Ｓ３１３でＮｏの場合は、処理を終了する。   In step S313, the determination processing unit 207 determines whether the change in the shape of the hand is a gesture. The determination method is based on whether or not the change from the shape of the hand held in S301 (first shape) to the shape of the hand held in S309 (second shape) is a predetermined gesture. If YES in step S313, the determination processing unit 207 executes a command corresponding to the determined gesture in step S314. If NO in step S313, the process ends.

次に、図７を用いて、Ｓ３０６における、影画像を生成する処理を説明する。尚、図７における各処理は、いずれも、影画像生成部２０３で実行される。   Next, a process for generating a shadow image in S306 will be described with reference to FIG. Each process in FIG. 7 is executed by the shadow image generation unit 203.

まず、保持部２０８には、１つのモードに対して、２つの状態に対応する影画像を保持している。保持部２０８で保持するそれぞれの影画像には、図８（ａ）、（ｂ）のように、特徴点を２つ用意しておき、これをＡ１、Ｂ１とする。図８（ａ）はトリミングモードの影画像、図８（ｂ）は、削除モードの影画像である。Ａ１とＢ１の距離の最小をＤ１ｍｉｎ、最大の距離をＤ１ｍａｘとする。   First, the holding unit 208 holds shadow images corresponding to two states for one mode. For each shadow image held by the holding unit 208, two feature points are prepared as shown in FIGS. 8A and 8B, and these are designated as A1 and B1. FIG. 8A shows a shadow image in the trimming mode, and FIG. 8B shows a shadow image in the deletion mode. The minimum distance between A1 and B1 is D1min, and the maximum distance is D1max.

Ｓ７０１で、Ｓ３０４、あるいはＳ３０５で取得した影画像における、特徴点Ａ１とＢ１を取得する。Ｓ７０２で、Ｓ３０１で取得した手の形状より、２つの特徴点を抽出する。この特徴点を、図８（ｃ）で示したように、Ａ２とＢ２とする。Ａ２とＢ２の距離の下限値をＤ２ｍｉｎ、上限値をＤ２ｍａｘとする。Ｓ７０３で、Ｓ７０２で取得した手の形状における特徴点Ａ２とＢ２との距離Ｄ２を取得する。   In S701, feature points A1 and B1 in the shadow image acquired in S304 or S305 are acquired. In step S702, two feature points are extracted from the hand shape acquired in step S301. These feature points are A2 and B2, as shown in FIG. The lower limit value of the distance between A2 and B2 is D2min, and the upper limit value is D2max. In S703, the distance D2 between the feature points A2 and B2 in the hand shape acquired in S702 is acquired.

Ｓ７０４で、Ｄ２がＤ２ｍｉｎ以下か判定する。Ｄ２ｍｉｎよりＤ２が大きいのであれば、ＮｏのフローでＳ７０５へ進む。Ｄ２ｍｉｎがＤ２より大きいのであれば、ＹｅｓのフローでＳ７０８へ進む。Ｓ７０５で、Ｄ２がＤ２ ｍａｘ以上か判定する。Ｄ２ｍａｘよりＤ２が大きいのであれば、ＹｅｓのフローでＳ７０６へ進み、Ｄ２ｍａｘより大きいのであれば、ＮｏのフローでＳ７０９へ進む。Ｓ７０６で、Ｓ３０１で取得した手の形状に対応する影画像の特徴点Ａ１とＢ１の距離Ｄ１を求める処理を行う。Ｄ１を求めるためには、次のような数式（１）を用いる。
Ｄ１＝（Ｄ２−Ｄ２ｍｉｎ）×（Ｄ１ｍａｘ−Ｄ１ｍｉｎ）×１００÷（Ｄ２ｍａｘ−Ｄ２ｍｉｎ） （１） In S704, it is determined whether D2 is equal to or less than D2min. If D2 is larger than D2min, the process proceeds to S705 in a No flow. If D2min is greater than D2, the flow proceeds to S708 in the Yes flow. In S705, it is determined whether D2 is equal to or greater than D2 max. If D2 is larger than D2max, the process proceeds to S706 in a Yes flow, and if greater than D2max, the process proceeds to S709 in a No flow. In S706, a process for obtaining a distance D1 between the feature points A1 and B1 of the shadow image corresponding to the hand shape acquired in S301 is performed. In order to obtain D1, the following formula (1) is used.
D1 = (D2−D2min) × (D1max−D1min) × 100 ÷ (D2max−D2min) (1)

Ｓ７０７で、影画像の特徴点であるＡ１とＢ１の距離Ｄ１に最小値のＤ１ｍｉｎを代入し、Ｓ７０７へ進む。Ｓ７０８で、影画像の特徴点であるＡ１とＢ１の距離Ｄ１に最大値のＤ１ｍａｘを代入し、Ｓ７０７へ進む。Ｓ７０９で、Ｄ１を用いて、Ｓ３０１で取得した手の形状に対応する影画像を合成する処理を行う。予め用意してある２状態の影画像間を線形に補間するような補間画像を生成する。補間画像の生成はどのような公知技術を用いてもよいが、補間画像中にもＳ７０１で求めた特徴点Ａ１とＢ１が含まれるように生成する。例えば、特徴点Ａ１とＢ１の距離に関して、Ｄ１ｍｉｎとＤ１ｍａｘ間の距離を均等に１０等分するような間隔で１０枚の補間画像を生成する。そしてＤ１に最もＡ１とＢ１の距離が近い画像を補間画像として取得し、処理を終了する。   In S707, the minimum value D1min is substituted into the distance D1 between A1 and B1 which are the feature points of the shadow image, and the process proceeds to S707. In S708, the maximum value D1max is substituted into the distance D1 between A1 and B1 which are the feature points of the shadow image, and the process proceeds to S707. In step S709, a process for synthesizing a shadow image corresponding to the hand shape acquired in step S301 is performed using D1. An interpolated image that linearly interpolates between two shadow images prepared in advance is generated. Any known technique may be used to generate the interpolated image, but the interpolated image is generated so that the feature points A1 and B1 obtained in S701 are included. For example, with respect to the distance between the feature points A1 and B1, ten interpolated images are generated at intervals that equally divide the distance between D1min and D1max into 10 equal parts. An image having the closest distance between A1 and B1 to D1 is acquired as an interpolated image, and the process ends.

以上のようなフローで、手の形状変化の度合いに応じて、影画像の形状を生成する処理を行う。   With the above flow, processing for generating the shape of the shadow image is performed according to the degree of change in the shape of the hand.

本実施例では、操作モードにトリミングモード、削除モード、通常モードを用いて説明したが、他も操作モードであっても構わない。操作モードを連想しやすい影画像を用いることで、操作者は現在の操作モードを認識しやすくなる。   In this embodiment, the operation mode is described using the trimming mode, the deletion mode, and the normal mode, but other operation modes may be used. By using a shadow image that is easily associated with the operation mode, the operator can easily recognize the current operation mode.

本実施例では、トリミングモードであっても、削除モードであっても、同じジェスチャで実行するようにしたが、異なるジェスチャであっても構わない。しかしながら、本実施例のように、操作モードごとに異なる影画像を表示することで、単一のジェスチャで複数のコマンドを実行することが可能となる。   In this embodiment, the same gesture is used for the trimming mode and the deletion mode, but different gestures may be used. However, by displaying different shadow images for each operation mode as in the present embodiment, it is possible to execute a plurality of commands with a single gesture.

以上述べたように、本実施例によれば、手の形状や動きがコマンドとなるような場合に、影画像へ手の形状や動きを反映させることで、手の形状に対応して実行されるコマンドが機器にどのように認識されているか操作者に明確に提示することができるようになる。   As described above, according to the present embodiment, when the hand shape or movement becomes a command, the hand shape or movement is reflected in the shadow image, so that it is executed corresponding to the hand shape. It is possible to clearly present to the operator how the command is recognized by the device.

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。 (Other embodiments)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.

Claims (8)

操作者の手の第１の形状を取得する手の形状取得手段と、
影画像の形状を取得する影画像取得手段と、
前記影画像取得手段で取得した影画像を用いて、前記手の形状取得手段で取得した第１の形状に合わせて、影画像を生成する影画像生成手段と、
前記影画像生成手段で生成された影画像を表示部に表示する表示制御手段を有する
ことを特徴とする情報処理装置。 A hand shape acquisition means for acquiring a first shape of the operator's hand;
Shadow image acquisition means for acquiring the shape of the shadow image;
A shadow image generating unit that generates a shadow image in accordance with the first shape acquired by the hand shape acquiring unit using the shadow image acquired by the shadow image acquiring unit;
An information processing apparatus comprising display control means for displaying a shadow image generated by the shadow image generation means on a display unit. さらに、判定手段を有し、
前記手の形状取得手段は、前記操作者の手の第２の形状を取得し、
前記判定手段は、前記第１の形状と前記第２の形状とが異なるかを判定し、
前記判定手段で、異なると判定された場合、前記影画像生成手段は、前記影画像取得手段で取得した影画像を用いて、前記第２の形状に合わせて、影画像を生成することを特徴とする請求項１に記載の情報処理装置。 Furthermore, it has a determination means,
The hand shape acquisition means acquires a second shape of the operator's hand;
The determination means determines whether the first shape and the second shape are different;
When it is determined by the determination means that the images are different, the shadow image generation means generates a shadow image according to the second shape using the shadow image acquired by the shadow image acquisition means. The information processing apparatus according to claim 1. 前記判定手段は、前記第１の形状から前記第２の形状への変化が予め定められたジェスチャかどうかを判定し、予め定められたジェスチャと判定された場合、前記ジェスチャに対するコマンドを実行することを特徴とする請求項１又は２に記載の情報処理装置。   The determination means determines whether the change from the first shape to the second shape is a predetermined gesture, and executes a command for the gesture when it is determined as a predetermined gesture. The information processing apparatus according to claim 1 or 2. さらに、操作モードを取得するモード取得手段を有し、
前記影画像取得手段は、前記モード取得手段に対応する影画像を取得することを特徴とする請求項１及至３のいずれか１項に記載の情報処理装置。 Furthermore, it has mode acquisition means for acquiring the operation mode,
The information processing apparatus according to claim 1, wherein the shadow image acquisition unit acquires a shadow image corresponding to the mode acquisition unit. 形状取得手段が、操作者の手の第１の形状を取得する第１の形状取得工程と、
影画像取得手段が、影画像の形状を取得する影画像取得工程と、
影画像生成手段が、前記影画像取得工程で取得した影画像を用いて、前記第１の形状取得工程で取得した第１の形状に合わせて、影画像を生成する第１の影画像生成工程と、
表示制御手段が、前記影画像生成工程で生成された影画像を表示部に表示する第１の表示工程を有する
ことを特徴とする情報処理装置の制御方法。 A first shape acquisition step in which the shape acquisition means acquires a first shape of the hand of the operator;
A shadow image acquisition step in which the shadow image acquisition means acquires the shape of the shadow image;
A first shadow image generation step in which a shadow image generation unit generates a shadow image in accordance with the first shape acquired in the first shape acquisition step using the shadow image acquired in the shadow image acquisition step. When,
A control method for an information processing apparatus, wherein the display control means includes a first display step of displaying the shadow image generated in the shadow image generation step on a display unit. 前記形状取得手段が、前記操作者の手の第２の形状を取得する第２の形状取得工程と、
判定手段が、前記第１の形状と前記第２の形状とが異なるかを判定する判定工程と、
前記判定工程で、異なると判定された場合、前記影画像生成手段は、前記影画像取得工程で取得した影画像を用いて、前記第２の形状に合わせて、影画像を生成する第２の影画像生成工程と、
前記表示制御手段が、前記第２の影画像生成工程で生成された影画像を表示部に表示する第２の表示工程を有することを特徴とする請求項５に記載の情報処理装置の制御方法。 A second shape acquisition step in which the shape acquisition means acquires a second shape of the hand of the operator;
A determining step for determining whether the first shape is different from the second shape;
When it is determined in the determination step that the images are different, the shadow image generation unit generates a shadow image in accordance with the second shape using the shadow image acquired in the shadow image acquisition step. A shadow image generation process;
6. The method of controlling an information processing apparatus according to claim 5, wherein the display control unit includes a second display step of displaying the shadow image generated in the second shadow image generation step on a display unit. . コンピュータに読み込ませ実行させることで、前記コンピュータを、請求項１乃至４のいずれか１項に記載の情報処理装置の各手段として機能させることを特徴とするプログラム。   A program that causes a computer to function as each unit of the information processing apparatus according to claim 1 by being read and executed by the computer. 請求項７に記載のプログラムを格納した、コンピュータが読み取り可能な記憶媒体。   A computer-readable storage medium storing the program according to claim 7.
JP2010170859A 2010-07-29 2010-07-29 Information processing apparatus and control method thereof Expired - Fee Related JP5676959B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010170859A JP5676959B2 (en) 2010-07-29 2010-07-29 Information processing apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010170859A JP5676959B2 (en) 2010-07-29 2010-07-29 Information processing apparatus and control method thereof

Publications (3)

Publication Number Publication Date
JP2012032944A true JP2012032944A (en) 2012-02-16
JP2012032944A5 JP2012032944A5 (en) 2013-09-12
JP5676959B2 JP5676959B2 (en) 2015-02-25

Family

ID=45846294

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010170859A Expired - Fee Related JP5676959B2 (en) 2010-07-29 2010-07-29 Information processing apparatus and control method thereof

Country Status (1)

Country Link
JP (1) JP5676959B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016193502A (en) * 2015-03-31 2016-11-17 京セラドキュメントソリューションズ株式会社 Image formation device
JP2019160282A (en) * 2018-03-11 2019-09-19 求 藤川 Remote operation device, cutting device and control method thereof, and program

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000040147A (en) * 1998-07-24 2000-02-08 Atr Media Integration & Communications Res Lab Handshake recognition device
JP2008040576A (en) * 2006-08-02 2008-02-21 Sharp Corp Image processing system and video display device equipped with the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000040147A (en) * 1998-07-24 2000-02-08 Atr Media Integration & Communications Res Lab Handshake recognition device
JP2008040576A (en) * 2006-08-02 2008-02-21 Sharp Corp Image processing system and video display device equipped with the same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016193502A (en) * 2015-03-31 2016-11-17 京セラドキュメントソリューションズ株式会社 Image formation device
JP2019160282A (en) * 2018-03-11 2019-09-19 求 藤川 Remote operation device, cutting device and control method thereof, and program

Also Published As

Publication number Publication date
JP5676959B2 (en) 2015-02-25

Similar Documents

Publication Publication Date Title
CN105814522B (en) Device and method for displaying user interface of virtual input device based on motion recognition
EP2631739B1 (en) Contactless gesture-based control method and apparatus
KR101896947B1 (en) An apparatus and method for inputting command using gesture
EP3015961B1 (en) Information processing device, control method, program, and storage medium
JP5946216B2 (en) Computer having touch panel, operating method thereof, and program
KR101915615B1 (en) Apparatus and method for controlling user interface based motion
EP3367214A1 (en) Line-of-sight input device, line-of-sight input method, and line-of-sight input program
KR20150022003A (en) Terminal and interface operation management method
WO2010137400A1 (en) Information processing device, information processing method, and program
JP2010277198A (en) Information processing apparatus, information processing method, and program
JP2009042796A (en) Gesture input device and method
TW201108021A (en) Multi-finger touch adaptations for medical imaging systems
US9544556B2 (en) Projection control apparatus and projection control method
JP5787238B2 (en) Control device, operation control method, and operation control program
WO2017185459A1 (en) Method and apparatus for moving icons
CN107172347B (en) Photographing method and terminal
KR101392936B1 (en) User Customizable Interface System and Implementing Method thereof
US10713488B2 (en) Inspection spot output apparatus, control method, and storage medium
CN105912101B (en) Projection control method and electronic equipment
JP2007172303A (en) Information input system
CN104536664A (en) Shutter position determining method
JP2006268209A (en) Remote instruction input device by physical motion of user
JP6524762B2 (en) CONTENT DISPLAY CONTROL METHOD, CONTENT DISPLAY CONTROL DEVICE, AND CONTENT DISPLAY CONTROL PROGRAM
JP5676959B2 (en) Information processing apparatus and control method thereof
JP5558899B2 (en) Information processing apparatus, processing method thereof, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130729

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140916

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141226

R151 Written notification of patent or utility model registration

Ref document number: 5676959

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees