JP2013210723A - Display system - Google Patents
Display system Download PDFInfo
- Publication number
- JP2013210723A JP2013210723A JP2012079185A JP2012079185A JP2013210723A JP 2013210723 A JP2013210723 A JP 2013210723A JP 2012079185 A JP2012079185 A JP 2012079185A JP 2012079185 A JP2012079185 A JP 2012079185A JP 2013210723 A JP2013210723 A JP 2013210723A
- Authority
- JP
- Japan
- Prior art keywords
- user
- operation range
- display
- image
- hand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、コンピュータ等の情報機器や、テレビ等のディスプレイを有する電子機器の入出力を行うインターフェイスを有する表示システムに関する。 The present invention relates to a display system having an interface for performing input / output of an information device such as a computer and an electronic device having a display such as a television.
近年、コンピュータ等の情報機器やテレビ等の電子機器を操作するためのインターフェイスとして、ユーザの動きや、手など身体の一部分の形状を利用した手法が盛んに提案されている。
例えば、カメラで撮像した画像中のユーザの動きや手形状をコンピュータにより認識し、その認識情報によって機器操作を行う手法がある。この手法では、ディスプレイ周囲に設置したカメラに向かい、ユーザが手振り等によって指示を与えることで、ディスプレイに表示したカーソル等を操作し、ディスプレイに表示した仮想スイッチ等の選択を行う。これにより、マウスやリモコン等の手で直接操作する入力装置を必要とせずに、簡便な機器操作が可能となる。
In recent years, as an interface for operating an information device such as a computer or an electronic device such as a television, a method using a user's movement or a shape of a part of a body such as a hand has been actively proposed.
For example, there is a technique in which a user's movement and hand shape in an image captured by a camera are recognized by a computer, and device operation is performed based on the recognition information. In this method, the user is directed to a camera installed around the display, and a user gives an instruction by hand gesture or the like to operate a cursor or the like displayed on the display and select a virtual switch or the like displayed on the display. As a result, a simple device operation can be performed without requiring an input device that is directly operated by a hand such as a mouse or a remote controller.
また、特許文献1の技術では、カメラで撮像した画像中の、ユーザの顔や手の位置、動き、形状、指本数等をコンピュータにより認識し、それら認識情報の組み合わせを変化させることで、より多くのジェスチャパターンを設定する方法が提案されている。この手法によって、ジェスチャで複数の操作が可能となる。さらには、顔認識によってユーザを特定し、ユーザ毎に、好みのジェスチャを好みの操作内容に割り当てることで、より自由度の高いインターフェイスが実現されるとしている。
Further, in the technique of
上記特許文献1の技術では、複数のジェスチャパターンを設定することが可能であるが、この場合、複数のジェスチャパターンとそれに対応する操作内容をユーザが全て記憶する必要があり、ユーザの負担が大きい。また、ディスプレイに操作ガイドを表示する場合には、多数のジェスチャについて表示する必要があることや、ジェスチャ自体が複雑化した場合には、分かり難い表示になってしまうといった問題がある。
In the technique of the above-mentioned
本発明は、上記課題を解決するためになされたものであって、ユーザの負担が少ない簡単なジェスチャにより、多数の操作を可能とする表示システムを提供することを目的とする。 The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a display system that allows a large number of operations with simple gestures that are less burdensome on the user.
上記課題を解決するために、本発明の第1の技術手段は、撮像機能を有する撮像部を備えた撮像装置と、該撮像装置で撮像された画像に基づき、ユーザの状態を判定し、該判定した結果に応じて予め定められたアプリケーションの処理を実行する画像処理装置と、該アプリケーションの処理に応じた表示を行う表示装置とを備えた表示システムであって、 前記画像処理装置は、前記撮像装置が撮像した画像に基づいて、前記撮像した画像の画面内に操作範囲を設定し、該設定した操作範囲におけるユーザの状態を判定し、前記操作範囲のユーザの状態に応じて予め定められたアプリケーションの処理を実行することを特徴としたものである。 In order to solve the above-described problem, a first technical means of the present invention determines an user's state based on an imaging device including an imaging unit having an imaging function, and an image captured by the imaging device, A display system comprising: an image processing device that executes a predetermined application process according to the determined result; and a display device that performs a display according to the application process, wherein the image processing device includes: Based on the image captured by the imaging device, an operation range is set in the screen of the captured image, the user's state in the set operation range is determined, and predetermined according to the user's state in the operation range. It is characterized by executing the process of the application.
第2の技術手段は、第1の技術手段において、前記画像処理装置が、前記撮像部が撮像した画像から前記ユーザの顔を検出する顔検出部と、該顔検出部の顔検出情報に基づき前記撮像した画像の画面内で前記ユーザの手検出を行う手検出部と、前記操作範囲を設定する操作範囲設定部とを有し、該操作範囲設定部は、前記顔検出部が検出した前記ユーザの顔位置と、前記検出した顔に外接する矩形領域と、前記手検出部が検出した手位置と、に基づいて前記操作範囲を設定することを特徴としたものである。 According to a second technical means, in the first technical means, the image processing device detects a face of the user from an image captured by the imaging unit, and face detection information of the face detection unit. A hand detection unit configured to detect the user's hand within the screen of the captured image; and an operation range setting unit configured to set the operation range, wherein the operation range setting unit is detected by the face detection unit. The operation range is set based on a user's face position, a rectangular area circumscribing the detected face, and a hand position detected by the hand detection unit.
第3の技術手段は、第2の技術手段において、前記画像処理装置が、前記操作範囲を複数に分割して設定し、該複数に分割した操作範囲ごとに、前記ユーザの状態に応じて実行するアプリケーションの処理を予め定め、前記手検出部により検出されたユーザの手位置から、前記ユーザの手が存在する前記分割した操作範囲を判断し、該判断した操作範囲における予め定められたアプリケーションの処理を実行することを特徴としたものである。 According to a third technical means, in the second technical means, the image processing apparatus divides and sets the operation range into a plurality, and executes the divided operation ranges according to the state of the user. The application processing to be performed is determined in advance, the divided operation range where the user's hand exists is determined from the user's hand position detected by the hand detection unit, and the predetermined application range in the determined operation range is determined. It is characterized by executing processing.
第4の技術手段は、第3の技術手段において、前記画像処理装置が、前記操作範囲設定部が設定した複数に分割した操作範囲のそれぞれと、前記表示装置が表示する表示画面の一部の領域とを対応させ、各前記分割した操作範囲に対応させた前記表示画面の各領域に、前記分割した操作範囲におけるユーザの状態に応じたアプリケーションの処理を示す操作ガイドを表示させることを特徴としたものである。 According to a fourth technical means, in the third technical means, each of the operation ranges divided by the image processing device set by the operation range setting unit and a part of a display screen displayed by the display device. An operation guide indicating processing of an application corresponding to a user's state in the divided operation range is displayed on each area of the display screen corresponding to each divided operation range. It is a thing.
第5の技術手段は、第3の技術手段において、前記画像処理装置が、前記複数に分割した操作範囲のそれぞれに対応させた表示領域に表示させる操作ガイドのうち、前記手検出部により検出されたユーザの手が存在する操作範囲に対応させた表示領域に表示させる操作ガイドを、他の操作ガイドとは区別可能に強調表示させることを特徴としたものである。 According to a fifth technical means, in the third technical means, the image processing apparatus detects an operation guide to be displayed in a display area corresponding to each of the plurality of operation ranges divided by the hand detection unit. The operation guide to be displayed in the display area corresponding to the operation range where the user's hand exists is highlighted so as to be distinguishable from other operation guides.
第6の技術手段は、第2の技術手段において、前記撮像部から被写体までの距離情報を算出する距離算出手段を有し、前記画像処理装置は、前記撮像した画像の画面内に設定する操作範囲として、前記距離算出部が算出する距離に応じて複数段階の奥行方向の操作範囲を設定し、前記手検出部により検出されたユーザの手位置及び前記距離算出手段が算出した前記距離情報から、前記ユーザの手が存在する前記奥行方向の操作範囲を判断し、該判断した操作範囲における予め定められたアプリケーションの処理を実行することを特徴としたものである。 Sixth technical means includes distance calculation means for calculating distance information from the imaging unit to the subject in the second technical means, and the image processing apparatus performs an operation for setting within a screen of the captured image. As a range, an operation range in a plurality of stages in the depth direction is set according to the distance calculated by the distance calculation unit, and the user's hand position detected by the hand detection unit and the distance information calculated by the distance calculation unit The operation range in the depth direction where the user's hand is present is determined, and a predetermined application process in the determined operation range is executed.
第7の技術手段は、第6の技術手段において、前記画像処理装置が、前記操作範囲設定部が設定した前記奥行方向の操作範囲のそれぞれにおけるユーザの状態に応じたアプリケーションの処理を示す操作ガイドを、前記表示装置の表示画面に前記奥行方向の操作範囲に対応させて3次元的に配置して見えるように表示させることを特徴としたものである。 A seventh technical means is an operation guide according to the sixth technical means, in which the image processing device indicates processing of an application according to a user's state in each of the operation ranges in the depth direction set by the operation range setting unit. Is displayed on the display screen of the display device so as to be viewed in a three-dimensional manner corresponding to the operation range in the depth direction.
第8の技術手段は、第7の技術手段において、前記画像処理装置が、前記複数段階に設定した奥行方向の操作範囲のそれぞれに対応させた前記操作ガイドのうち、前記手検出部により検出されたユーザの手が存在する操作範囲に対応させた操作ガイドを、他の操作ガイドとは区別可能に強調表示させることを特徴としたものである。 According to an eighth technical means, in the seventh technical means, the image processing device is detected by the hand detection unit among the operation guides corresponding to the operation ranges in the depth direction set in the plurality of stages. The operation guide corresponding to the operation range in which the user's hand exists is highlighted so as to be distinguishable from other operation guides.
第9の技術手段は、第6〜8のいずれか1の技術手段において、前記撮像装置が、2つの前記撮像部を備え、前記距離算出手段として、前記2つの撮像部により撮像された画像の視差に基づいて、前記撮像部から被写体までの距離情報を算出する距離算出部を有することを特徴としたものである。 A ninth technical means is the technical means according to any one of the sixth to eighth aspects, wherein the imaging device includes the two imaging units, and the distance calculation unit is an image of the image captured by the two imaging units. A distance calculating unit that calculates distance information from the imaging unit to the subject based on the parallax is provided.
第10の技術手段は、第6〜8のいずれか1の技術手段において、前記距離算出手段として、赤外線もしくはレーザ光を発光して被写体からの反射光を解析することにより前記撮像部から被写体までの距離情報を算出する測距部を有することを特徴としたものである。 In a tenth technical means according to any one of the sixth to eighth technical means, the distance calculating means emits infrared rays or laser light and analyzes reflected light from the subject to analyze the reflected light from the subject. A distance measuring unit for calculating the distance information.
本発明に係る表示システムによれば、ユーザの負担が少ない簡単なジェスチャにより、多数の操作が可能になるという効果が得られる。 According to the display system of the present invention, it is possible to obtain an effect that a large number of operations can be performed by a simple gesture with less burden on the user.
(実施の形態1)
以下に、本発明の実施の形態1を、図面を用いて説明する。
図1は、本発明の実施の形態1に係る表示システムの構成を示すブロック図である。実施の形態1に係る表示システム1は、操作を行うユーザを撮像する撮像装置10、撮像されたユーザの位置や動きを判別する画像処理装置11、操作ガイドや操作状態情報や操作による処理結果などを表示する表示装置12を備えている。
(Embodiment 1)
FIG. 1 is a block diagram showing a configuration of a display system according to
撮像装置10は撮像部101により構成され、ユーザなどの被写体を撮像し画像を出力するものであり、受光した光を電気信号に変え画像とするCCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)などの撮像素子、被写体からの光を撮像素子に集光するためのレンズなどの光学系を備えている。
画像処理装置11はユーザ情報解析部111と操作判定部112、アプリケーション処理部113、表示制御部114とを備えている。
The
The
ユーザ情報解析部111は、撮像装置10の出力画像からユーザの操作状態を解析し、解析情報を操作判定部112に出力する。図2に示すように、ユーザ情報解析部111は顔検出部1111、手検出部1112、操作範囲設定部1113から構成され、ユーザの顔と手の位置、手形状、ユーザの操作範囲情報等を出力する。
The user
操作判定部112は、予め設定し登録したジェスチャとユーザ情報解析部111の出力情報とを比較することで、ユーザの操作状態を判定し、判定結果をアプリケーション処理部113と表示制御部114へ出力する。
アプリケーション処理部113は、操作判定部112の出力に応じたアプリケーションを実行し、その結果を表示制御部114へ出力する。なお、アプリケーション処理部113には、事前に複数の処理やアプリケーションを登録しておくことができる。
The
The
表示制御部114は、操作判定部112の出力とアプリケーション処理部113の結果に応じた表示内容を表示装置12に出力する。
操作情報設定部115は、操作ガイドの表示方法やユーザの操作範囲についての設定を行い、その情報を操作判定部112と表示制御部114に出力する。操作情報設定部115の設定値は外部から入力する。
表示装置12は液晶ディスプレイやプラズマディスプレイといったTVディスプレイや、パーソナルコンピュータ向けモニタなど一般的なディスプレイであり、表示制御部114の出力に基づいて表示を行う。
The
The operation
The
次に、図1で示した表示システム1の使用例と操作判定方法について、図3、図4を用いて説明する。
図3は、本発明に係る表示システムについて、表示装置12として家庭用TVなどの大型ディスプレイを用いた場合の使用例を表す図である。
撮像装置10は、表示装置12の上部中央位置で、表示装置12の正面側にいるユーザ31を撮影するように設置される。撮像装置10を表示装置12の上部中央位置に設置し、ユーザを俯瞰するように撮影することで、撮影される画像内でユーザの顔と手が重なり難くなるという利点が得られる。ただし、撮像装置10の設置位置はこれに限定されるものではなく、ユーザの顔や手を撮影することが可能であればどこに設置してもよい。例えばディスプレイ下部や側部、ユーザの手元付近といった場所に設置してもよい。
Next, an example of use of the
FIG. 3 is a diagram showing an example of use of the display system according to the present invention when a large display such as a home TV is used as the
The
撮像装置10で取得した画像は画像処理装置11へ入力され、ユーザの仮想操作範囲32の設定、操作判定を行い、表示装置12に操作に応じた処理結果などを表示する。表示装置12の操作ガイド表示は、操作情報設定部115により例えば表示面全体を4分割するように設定される。図3の使用例では、ユーザは操作ガイド領域33の位置で指本数が1本の処理を選択している。また、図3では図1のブロック図と同じ構成のものは同じ符号を付している。
An image acquired by the
図4は、本発明に係る表示システムにおける、処理フローチャートを表す図である。以下に処理手順と処理詳細を説明する。
まず撮像装置10により画像を取得し(ステップS1)、取得した画像を画像処理装置11のユーザ情報解析部111へ入力する。ユーザ情報解析部111の顔検出部1111は入力画像から顔を検出する(ステップS2)。
FIG. 4 is a diagram showing a processing flowchart in the display system according to the present invention. The processing procedure and processing details will be described below.
First, an image is acquired by the imaging apparatus 10 (step S1), and the acquired image is input to the user
顔検出部1111では、以下で述べる方法を適用することによって入力画像から顔領域を検出し、顔領域の画像情報または入力画像上の2次元座標などの情報を出力する。
例えば、顔検出部1111における顔検出方法には、入力画像から肌色情報を抽出し、肌色であると判断した画像領域を顔とする方法がある。また、平均的な人の顔のモノクロ画像を予め用意しておき、このモノクロ画像と撮像画像と比較したときの画像上の各位置での相関値が、予め設定された閾値以上である画像領域を顔とする方法がある。
The face detection unit 1111 detects a face area from the input image by applying the method described below, and outputs image information of the face area or information such as two-dimensional coordinates on the input image.
For example, as a face detection method in the face detection unit 1111, there is a method in which skin color information is extracted from an input image and an image area determined to be skin color is used as a face. In addition, an image region in which a monochrome image of an average human face is prepared in advance, and the correlation value at each position on the image when the monochrome image and the captured image are compared is greater than or equal to a preset threshold value There is a way to face.
さらに、弱識別器として白黒のHaar−Like特徴を用いたAdaboostアルゴリズムによる手法(「Paul Viola and Michael J. Jones, “Rapid Object Detection using a Boosted Cascade of Simple Features”, IEEE CVPR, 2001.」,「Rainer Lienhart and Jochen Maydt, “An Extended Set of Haar-like Features for Rapid Object Detection”, IEEE ICIP 2002, Vol. 1, pp. 900-903, Sep. 2002.」に述べられた手法)を用いることも可能である。 Furthermore, a method based on the Adaboost algorithm using black and white Haar-Like features as weak classifiers (“Paul Viola and Michael J. Jones,“ Rapid Object Detection using a Boosted Cascade of Simple Features ”, IEEE CVPR, 2001.”, “ Rainer Lienhart and Jochen Maydt, “An Extended Set of Haar-like Features for Rapid Object Detection”, IEEE ICIP 2002, Vol. 1, pp. 900-903, Sep. 2002. ” Is possible.
以上のように顔検出は種々の方法があるが、本発明に係る顔検出部における顔検出処理は、上記の方法によるものに限らない。即ち、入力画像から顔を検出する方法であればどのような方法を用いてもよい。 As described above, there are various methods for face detection, but the face detection processing in the face detection unit according to the present invention is not limited to the above method. That is, any method may be used as long as it is a method for detecting a face from an input image.
次に、上記ステップS2における顔検出の有無を判定し(ステップS3)、検出された場合は手検出部1112で入力画像から手検出を行う(ステップS4)。検出されない場合は、既に操作範囲設定(ステップS7)が行われているかどうか判定し(ステップ11)、設定されている場合には操作範囲設定の解除を行い(ステップS12)、ステップS1に戻る。
Next, the presence / absence of face detection in step S2 is determined (step S3). If detected, the
続いて、上記ステップS4における手検出の有無を判定し(ステップS5)、検出された場合は手検出が一回目であるかどうかの判定を行う(ステップS6)。検出されない場合は、上述したステップS3と同様に、既に操作範囲設定(ステップS7)が行われているかどうか判定し(ステップ11)、設定されている場合には操作範囲設定の解除を行い(ステップS12)、ステップS1に戻る。 Subsequently, the presence / absence of hand detection in step S4 is determined (step S5), and if detected, it is determined whether or not the hand detection is the first time (step S6). If not detected, it is determined whether or not the operation range setting (step S7) has already been performed (step 11), and if it has been set, the operation range setting is cancelled (step 11). S12), the process returns to step S1.
ステップS5で判定された手検出が一回目であれば、操作範囲設定部1113において、仮想操作範囲32に示すような操作範囲設定を行い(ステップS7)、ステップ1へと戻る。手検出が二度目以降であれば、ステップS2、ステップS4の検出情報と、ステップS7で設定した操作範囲情報に基づいてユーザの操作判定を行う(ステップS8)。最後に操作判定の結果に基づいて、操作に応じた処理を実行し(ステップS9)、処理結果とユーザの操作状態などを表示装置12に表示する(ステップS10)。 If the hand detection determined in step S5 is the first time, the operation range setting unit 1113 performs operation range setting as shown in the virtual operation range 32 (step S7) and returns to step 1. If the hand detection is performed for the second time or later, the user's operation is determined based on the detection information in steps S2 and S4 and the operation range information set in step S7 (step S8). Finally, based on the result of the operation determination, a process corresponding to the operation is executed (step S9), and the process result and the operation state of the user are displayed on the display device 12 (step S10).
(ステップS4の詳細説明)
ステップS4の手検出部1112では、ユーザは表示システムの操作時には手を挙げていることを前提とし、入力画像のユーザ顔位置周辺を探索することで手検出を行う。手検出方法は、肌色検出による方法や、あらかじめ登録した複数の手形状パターンと一致する部分を探索する方法などによって行われる。
また、肌色検出で抽出した手領域の突起部分を探索する方法や、あらかじめ登録した複数の手形状パターンに指本数を変化させたパターンを含ませることで、手形状や指本数を判定する。ただし、手検出は上記の方法に限られず、入力画像から手を検出し、手の形状を判定することが可能であればどのような方法を用いてもよい。
(Detailed description of step S4)
The
Also, the hand shape and the number of fingers are determined by searching for the protrusions of the hand region extracted by skin color detection, or by including a pattern in which the number of fingers is changed in a plurality of hand shape patterns registered in advance. However, the hand detection is not limited to the above method, and any method may be used as long as the hand can be detected from the input image and the shape of the hand can be determined.
(ステップS7の詳細説明)
上記ステップS7の操作範囲設定の詳細について以下に説明する。図5は、入力画像内で設定された操作範囲の一例を示しており、ユーザ31を撮像装置10で撮影した入力画像51内で、仮想操作範囲32が設定されている。矩形領域52はユーザの顔領域を表している。
(Detailed description of step S7)
Details of the operation range setting in step S7 will be described below. FIG. 5 shows an example of the operation range set in the input image, and the
操作範囲設定部1113は、顔検出部1111と手検出部1112の出力情報に基づいて仮想操作範囲32を設定する。顔検出部1111で出力される顔矩形領域52の情報から、ユーザ31の顔の大きさがわかり、撮像装置10(表示装置12)からユーザ31までの距離を大まかに知ることができる。個人差はあるが、一般的には矩形サイズが大きければ距離が近く、小さければ距離が遠いと言えるので、矩形サイズをパラメータとし、この値が大きければ仮想操作範囲を大きく、小さければ小さく設定するようにする。
The operation range setting unit 1113 sets the
入力画像51内での仮想操作範囲の左右位置は、顔と手の位置関係からユーザの使用する手(利き手)を判断し、顔の中心から利き手側へ水平方向に一定画素ずらした位置とする。また、仮想操作範囲の上下位置は、顔位置から下へ垂直方向に一定画素ずらした位置とする。左右・上下位置の画素ずらし量は、経験的に知ることができる一般的な人の手の動作範囲と、顔矩形領域52の矩形サイズをパラメータとして決める。
仮想操作範囲の設定方法は上記に限られず、顔の位置から固定的に決める方法や、表示システムの使用開始時にユーザ自身で登録する方法など、どのような方法でも構わない。
The left and right positions of the virtual operation range in the
The setting method of the virtual operation range is not limited to the above, and any method may be used, such as a method of fixedly determining from the position of the face, or a method of registering by the user when starting to use the display system.
(ステップS8の詳細説明)
上記ステップS8の操作判定について以下に説明する。図3の破線で示すように、ステップS7で設定した仮想操作範囲32を表示装置12の表示面と対応させる。これにより、ユーザ31の手位置が仮想操作範囲32のどこにあるか判断することで、表示装置12の表示面のどこを選択しているかがわかる。したがって、図3ではユーザ31は操作ガイド領域33を選択していると判断できる。
(Detailed description of step S8)
The operation determination in step S8 will be described below. As indicated by a broken line in FIG. 3, the
このとき、操作ガイド領域33を強調表示することで、ユーザ自身に選択位置を知らせることができる。例えば、ユーザは握り拳の状態で自分の選択したい領域に手を移動し、その領域が強調表示されたら指を伸ばすことで、伸ばした指本数を判断してそれに対応した処理を実行することが出来る。このように、手位置と手形状(指本数)を利用することで、ユーザの操作判定を行う。
At this time, by highlighting the
図3の例では、表示装置12の表示面を4分割するように設定したため、4分割×指本数5=20通りの操作が可能となっている。この表示面の分割方法の設定は、外部から操作情報設定部115に入力して行う。外部からの設定値入力は、キーボードやテキストファイルなどで行われる。表示面の分割方法は上記の例に限られるものではなく、表示面の分割数や分割する位置は自由に設定が可能であり、分割数が多くなればより多くの操作が可能となる。
In the example of FIG. 3, since the display surface of the
また、表示面全体を分割するのではなく、図6に示すように、表示装置12の表示面下部領域を左右に分割することで、表示面全体に表示したい内容を視覚的に邪魔せず、操作ガイドを表示させることができる。この場合も、仮想操作範囲61と表示装置12の操作ガイドの表示領域を対応させることで、手位置と指本数のみで10通りの選択が可能となる。
Also, instead of dividing the entire display surface, as shown in FIG. 6, the display screen lower area of the
上記したユーザの操作ガイド選択領域の強調表示は、選択領域の縁をハイライト表示する方法や、選択領域を拡大表示する方法などによって行われる。例えば、表示面の分割数を増やした場合には、各分割領域の画面上の表示サイズが小さくなり視認し難くなるため、ユーザの選択領域を拡大表示することでこの問題を解決することができる。 The above-described highlighting of the operation guide selection area of the user is performed by a method of highlighting the edge of the selection area, a method of enlarging the selection area, or the like. For example, when the number of divisions on the display surface is increased, the display size of each divided area on the screen becomes small and difficult to visually recognize, so this problem can be solved by enlarging and displaying the user's selected area. .
強調表示は上記の方法に限られず、ユーザに選択領域を示すことが可能であれば、どのような表示方法を用いても構わない。例えば、選択領域以外の領域をグレースケール化や透明化もしくは半透明化して目立たない表示とすることで、選択領域を強調する方法も考えられる。また、選択領域の強調表示以外にも、単純に手の位置に合わせて表示装置の表示面上にポインターを表示することで、ユーザに選択位置を示す方法も考えられる。 The highlighted display is not limited to the above method, and any display method may be used as long as the selection area can be shown to the user. For example, a method of emphasizing the selected area by making the area other than the selected area grayscale, transparent, or translucent to make the display inconspicuous can be considered. In addition to highlighting the selected area, a method of indicating the selected position to the user by simply displaying a pointer on the display surface of the display device in accordance with the position of the hand is also conceivable.
上記の例では、手形状から指本数を判定してジェスチャとして用いたが、ジェスチャはこれに限られるものではない。ユーザの負担が少なく、操作ガイド表示が単純で分かり易い方法であれば、どのような方法をジェスチャとして用いてもよい。例えば、手の動きや顔の動き、顔と手の相対位置関係、目の動き、視線などを用いる方法や、指示棒などの特別な操作器具を用いる方法など、様々なジェスチャが考えられる。
また、上記の例では手の位置を検出して操作ガイドの選択領域を判定したが、顔などの手以外の部位位置や、指示棒などの特別な操作器具の位置を用いて判定してもよい。
In the above example, the number of fingers is determined from the hand shape and used as a gesture, but the gesture is not limited to this. Any method may be used as a gesture as long as the user's burden is small and the operation guide display is simple and easy to understand. For example, various gestures are conceivable, such as a method using a hand movement, a face movement, a relative positional relationship between a face and a hand, a movement of eyes, a line of sight, or a method using a special operation instrument such as a pointing stick.
In the above example, the selection area of the operation guide is determined by detecting the position of the hand, but it may be determined using the position of a part other than the hand such as the face or the position of a special operation instrument such as a pointing stick. Good.
(ステップS9の詳細説明)
上記ステップS9で述べた操作に応じた処理とは、表示装置12に表示した仮想スイッチや仮想ボタン、サムネイル画像を選択する処理や、事前に画像処理装置11に登録されたアプリケーションを実行する処理などが考えられる。この処理はどのようなものであっても構わない。
(Detailed description of step S9)
The processing according to the operation described in step S9 includes processing for selecting a virtual switch, a virtual button, and a thumbnail image displayed on the
(実施の形態2)
以下に、本発明の実施の形態2を、図面を用いて説明する。
図7は、本発明の実施の形態2における表示システムのハードウェア構成を表すブロック図である。全体構成は実施の形態1の図1に示したものと同様であるが、撮像装置70と画像処理装置71の構成が変化している。図1と図7で同じ構成の部分は同じ符号を付している。
(Embodiment 2)
FIG. 7 is a block diagram showing a hardware configuration of the display system according to
撮像装置70には撮像部701が追加され、撮像部101、701は操作を行うユーザを撮像するようにステレオ配置されている。ステレオ配置とは、撮像部101、701の二つの撮像部を横並びに光軸が略平行となるよう並べた配置を言う。実施の形態2では、例として二つの撮像部101、701には同一構成のものを用いるが、二つの撮像部101、701で同領域を撮像し、画素間の対応を取ることが可能であれば、解像度や画角など構成の異なる撮像部を用いても構わない。
An
画像処理装置71は、実施の形態1の画像処理装置11と同様に、撮像されたユーザの位置や動きの判別を行うが、距離算出部711を追加した構成となっている。また、ユーザ情報解析部712は図2に示したユーザ情報解析部111と同じ構成であるが、手検出部1112、操作範囲設定部1113での処理の際に、距離算出部711からの出力情報を利用する。距離情報の算出方法と、距離情報を利用した処理についての詳細は後述する。
Similar to the
次に、図7で示した表示システム7の使用例と操作判定方法について、図8、図9を用いて説明する。
図8は、図7で示した表示システム7の表示装置12に家庭用TVなどの大型ディスプレイを用いた場合の使用例を表す図であり、図8(A)は正面図、図8(B)は側面図となっている。
撮像装置70は実施の形態1と同様、表示装置12の上部中央位置に設置する。実施の形態1と同様、撮像装置70の設置位置はこれに限定されるものではなく、ユーザの顔や手を撮影することが可能であればどこに設置してもよい。
Next, a usage example and an operation determination method of the
FIG. 8 is a diagram illustrating an example of use in the case where a large-sized display such as a home TV is used as the
The
撮像装置70で取得した2枚の画像は画像処理装置71へ入力され、距離算出、ユーザの仮想操作範囲81の設定、操作判定を行い、操作に応じた処理結果などを表示装置12に表示する。図8に示す例では、操作ガイド面2枚を奥行方向に配置して見えるように表示装置12に表示しており、ユーザは手前の操作ガイド面82の位置で指本数が1本の処理を選択している。また、図8では図7のブロック図と同じ構成のものは同じ符号を付している。
The two images acquired by the
図9は実施の形態2における、処理フローチャートを表す図である。以下に処理手順と処理詳細を説明する。
図9に示すフローチャートは、実施の形態1の図4で示したフローチャートにおいて、画像取得(ステップS1)と顔検出(ステップS2)の間に、距離算出(ステップ13)を追加した構成となっている。従って、大まかな処理全体の流れは実施の形態1で説明したものと等しいため、以下では差分についてのみ説明する。
FIG. 9 is a diagram illustrating a processing flowchart according to the second embodiment. The processing procedure and processing details will be described below.
The flowchart shown in FIG. 9 has a configuration in which distance calculation (step 13) is added between image acquisition (step S1) and face detection (step S2) in the flowchart shown in FIG. 4 of the first embodiment. Yes. Accordingly, since the overall flow of the overall process is the same as that described in the first embodiment, only the differences will be described below.
まず、撮像装置70の撮像部101、702で画像を取得し(ステップ1)、2枚の画像は画像処理装置71の距離算出部711へ入力され、距離算出を行う(ステップ13)。
撮像部101の画像(距離算出部711で基準とした撮像部の画像)と、距離算出部711で算出した距離情報は、ユーザ情報解析部712に入力される。ユーザ情報解析部712の顔検出部1111は入力画像から顔を検出する(ステップS2)。顔検出部1111による顔検出方法は実施の形態1と同様の方法を用いる。ステップ3以降の処理の流れは実施の形態1で述べたものと同様である。
First, images are acquired by the
The image of the imaging unit 101 (the image of the imaging unit used as a reference by the distance calculation unit 711) and the distance information calculated by the
(ステップ13の距離算出部711の説明)
ステップ13の距離算出部711は、ステレオ方式により距離算出を行う。ステレオ方式は、略平行に並べた二台の撮像装置で同じ領域を撮像し、得られた二つの画像において対応する画素の視差を求め、視差を基に距離を算出するものである。ステレオ方式において、二つの画像において対応する画素を求めることをステレオマッチングという。例えば、次のような処理を行う。
(Description of
The
一方の撮像画像のある画素について、他方の撮像画像上を水平方向に走査することで画素マッチングを行う。画素マッチングは注目画素を中心としたブロック単位で行われ、ブロック内の画素の絶対値差分の総和をとるSAD(Sum of Absolute Difference)を計算し、SADの値が最小となるブロックを決定することで、一方の撮像画像の注目画素に対応する他方の撮像画像上の画素を求める。SADによる計算手法以外に、SSD(Sum of Squared Intensity Difference)やグラフカット、DP(Dynamic Programming)マッチングといった計算手法もある。 Pixel matching is performed by scanning a pixel of one captured image in the horizontal direction on the other captured image. Pixel matching is performed in units of blocks centered on the pixel of interest, and a SAD (Sum of Absolute Difference) that calculates the sum of absolute value differences of pixels in the block is calculated to determine a block that minimizes the SAD value. Thus, the pixel on the other captured image corresponding to the target pixel of the one captured image is obtained. In addition to SAD calculation methods, there are calculation methods such as SSD (Sum of Squared Intensity Difference), graph cut, and DP (Dynamic Programming) matching.
対応画素が求まることでその画素の視差値が算出可能となる。一方の撮像画像の全画素について上記の処理を行うことで、全画素の視差値を算出し、二つの撮像装置の位置関係と視差値を用いて三角測量を行うことで、撮像装置から被写体までの距離が算出できる。また、二つの撮像部が左右方向でなく、上下方向に配置されていても視差値は算出可能で、その場合は撮像画像の走査を水平方向に代えて垂直方向にすれば良い。 When the corresponding pixel is obtained, the parallax value of the pixel can be calculated. By performing the above processing for all pixels of one captured image, the parallax value of all pixels is calculated, and triangulation is performed using the positional relationship and the parallax value of the two imaging devices, from the imaging device to the subject. Can be calculated. Also, the parallax value can be calculated even if the two imaging units are arranged in the vertical direction instead of the horizontal direction. In this case, the scanning of the captured image may be performed in the vertical direction instead of the horizontal direction.
距離算出部711が出力する距離情報は、撮像部101画像の各画素に対応する距離値を0〜255の値に圧縮し、グレースケール画像化したビットマップ画像、デプスマップを表す。ただし、各画素に対応する視差値をグレースケール画像化したディスパリティマップをデプスマップの代わりに距離情報としても用いても良い。
The distance information output by the
(ステップ4の変更点の説明)
ただし、ステップ4の手検出では、実施の形態1で述べた検出方法に、距離情報を考慮することで、検出精度の向上を図る。例えば、ユーザ顔位置周辺を探索して肌色検出などを行う際に、画像の2次元方向だけでなく奥行方向にも探索範囲を限定することが可能となり、誤検出の低減が期待できる。
(Description of changes in Step 4)
However, in the hand detection in
(ステップ7の変更点の説明)
また、実施の形態2におけるステップ7の操作範囲設定では、図8の仮想操作領域81に示すように、ステップ13の距離情報に基づいて3次元空間領域で設定する。2次元方向の仮想操作範囲位置は実施の形態1で述べた方法と同様にして決め、奥行方向の操作範囲は、一般的な人の手の動作範囲を考慮して決定する。例えば、一般的な人の手の長さは50〜100cm程度であるので、50cm幅に設定する
(Description of changes in Step 7)
Further, in the operation range setting in
(ステップ8の変更点の説明)
ステップ8の操作判定では、ステップ7で設定した3次元の仮想操作範囲81内で、手の位置を判断する。図8の例では、仮想操作範囲81を奥行方向に2分割しており、手前の範囲(実線部分)にユーザの手がある。図8(A)に示すように、操作ガイド面2枚を奥行方向に配置して見えるように表示設定しているため、ユーザは手前の操作ガイド面82を選択していると判断することができる。反対に、仮想操作範囲81の破線領域に手が入れば、手前側の操作ガイド面82を透明化などしたうえで、後ろ側の操作ガイド面を強調表示させることで、後ろ側の操作ガイド面を選択しているとユーザに示すことが可能である。ユーザは前後に手を動かして、指本数を提示することで操作を行うことができる。
(Description of changes in Step 8)
In the operation determination at
仮想操作範囲81の分割方法は、外部から操作情報設定部115に入力して設定する。また、分割方法は上記に限られず、さらに細かく奥行方向に分割することも可能であるし、2次元方向の分割と奥行方向の分割を組み合わせることも考えられる。
The method of dividing the
上記のユーザが選択した操作ガイド面をユーザ自信に示す方法は、実施の形態1で述べた強調表示と同様の方法によって行われ、ユーザに選択した操作ガイド面を示すことが可能であればどのような表示方法であっても構わない。
実施の形態1と同様に、実施の形態2でも指本数を用いているが、ジェスチャはこれに限られるものではない。距離情報を利用して、ユーザの手の奥行方向の動作を判定してジェスチャとすることも可能である。
The method for indicating the operation guide surface selected by the user to the user's confidence is performed by the same method as the highlighting described in the first embodiment, and any operation guide surface selected by the user can be indicated. Such a display method may be used.
Similar to the first embodiment, the number of fingers is also used in the second embodiment, but the gesture is not limited to this. It is also possible to use the distance information to determine a motion in the depth direction of the user's hand and use it as a gesture.
(測距部を用いた場合の説明)
なお、本実施の形態2では2台の撮像部101、701の2つの画像からステレオ方式により距離算出を行ったが、図10に示す表示システム2の構成のように、どちらかの撮像部(図10の構成例では、図7に示されていた撮像部701)を測距部201に置き換えても良い。この場合、図10の画像処理装置21は、図7で示した画像処理装置71から距離算出部711を取り除いた構成となり、ユーザ情報解析部712には、測距部201から出力される距離情報が直接入力される。図7と図10で同じ構成の部分は同じ符号を付している。
(Explanation when using a distance measuring unit)
In the second embodiment, the distance is calculated from the two images of the two
図10の構成においても、図9のフローチャートと同様の処理方法で、本発明の実施の形態2の効果を実現することができる。ただし、ステップS1の画像取得とステップS13の距離取得は同時に行われる。
測距部201は、TOF(Time of Flight)方式に代表される赤外線を利用した手法を用いても良いし、距離情報を取得できるものであればどのような手法を用いても構わない。
Also in the configuration of FIG. 10, the effect of the second embodiment of the present invention can be realized by the same processing method as the flowchart of FIG. However, the image acquisition in step S1 and the distance acquisition in step S13 are performed simultaneously.
The
TOF方式は、LED(Light Emitting Diode)などの光源から赤外線など眼に見えない光を照射し、その光が被写体などに当たり反射して返ってくる飛行時間を計測することで距離を測距するものである。その計測を細かく分割された領域毎に計測することで、一点だけでなく被写体の様々な部分の測距が可能となる。なお、飛行時間の測定の方法としては、レーザ光をパルス照射し、パルスを発射してから反射光が戻ってくるまでの時間を計測する方法や、照射する赤外線を変調し、照射したときの位相と、反射光との位相差から算出する方法などがある。 The TOF method measures the distance by irradiating invisible light such as infrared rays from a light source such as an LED (Light Emitting Diode), and measuring the time of flight when the light hits the subject and returns. It is. By measuring the measurement for each finely divided area, it is possible to measure not only one point but also various parts of the subject. In addition, as a method of measuring the time of flight, pulsed laser light, measuring the time from when the pulse is emitted until the reflected light returns, or when the irradiated infrared light is modulated and irradiated There is a method of calculating from the phase difference between the phase and the reflected light.
1…表示システム、7…表示システム、10…撮像装置、11…画像処理装置、12…表示装置、31…ユーザ、32…仮想操作範囲、33…操作ガイド領域、51…入力画像、52…矩形領域、61…仮想操作範囲、70…撮像装置、71…画像処理装置、81…仮想操作範囲、82…操作ガイド面、101…撮像部、111…ユーザ情報解析部、112…操作判定部、113…アプリケーション処理部、114…表示制御部、115…操作情報設定部、201…測距部、701…撮像部、711…距離算出部、712…ユーザ情報解析部、1111…顔検出部、1112…手検出部、1113…操作範囲設定部。
DESCRIPTION OF
Claims (10)
前記画像処理装置は、前記撮像装置が撮像した画像に基づいて、前記撮像した画像の画面内に操作範囲を設定し、該設定した操作範囲におけるユーザの状態を判定し、前記操作範囲のユーザの状態に応じて予め定められたアプリケーションの処理を実行することを特徴とする表示システム。 An image pickup apparatus having an image pickup unit having an image pickup function, and image processing for determining a user's state based on an image picked up by the image pickup apparatus and executing a predetermined application process according to the determination result A display system comprising a device and a display device that performs display according to processing of the application,
The image processing device sets an operation range in a screen of the captured image based on an image captured by the imaging device, determines a user state in the set operation range, and determines a user's state in the operation range. A display system for executing a predetermined application process according to a state.
該操作範囲設定部は、前記顔検出部が検出した前記ユーザの顔位置と、前記検出した顔に外接する矩形領域と、前記手検出部が検出した手位置と、に基づいて前記操作範囲を設定することを特徴とする請求項1に記載の表示システム。 The image processing apparatus detects a face of the user from an image captured by the imaging unit, and detects the user's hand within the screen of the captured image based on face detection information of the face detection unit. A hand detection unit for performing, and an operation range setting unit for setting the operation range,
The operation range setting unit determines the operation range based on the user's face position detected by the face detection unit, a rectangular area circumscribing the detected face, and the hand position detected by the hand detection unit. The display system according to claim 1, wherein the display system is set.
前記手検出部により検出されたユーザの手位置から、前記ユーザの手が存在する前記分割した操作範囲を判断し、該判断した操作範囲における予め定められたアプリケーションの処理を実行することを特徴とした請求項2に記載の表示システム。 The image processing apparatus divides and sets the operation range into a plurality of operations, and determines in advance an application process to be executed according to the state of the user for each of the divided operation ranges.
Determining the divided operation range where the user's hand exists from the position of the user's hand detected by the hand detection unit, and executing processing of a predetermined application in the determined operation range; The display system according to claim 2.
各前記分割した操作範囲に対応させた前記表示画面の各領域に、前記分割した操作範囲におけるユーザの状態に応じたアプリケーションの処理を示す操作ガイドを表示させることを特徴とする請求項3に記載の表示システム The image processing device associates each of the plurality of operation ranges divided by the operation range setting unit with a partial area of the display screen displayed by the display device,
The operation guide indicating the processing of the application according to the state of the user in the divided operation range is displayed in each area of the display screen corresponding to each divided operation range. Display system
前記画像処理装置は、前記撮像した画像の画面内に設定する操作範囲として、前記距離算出部が算出する距離に応じて複数段階の奥行方向の操作範囲を設定し、
前記手検出部により検出されたユーザの手位置及び前記距離算出手段が算出した前記距離情報から、前記ユーザの手が存在する前記奥行方向の操作範囲を判断し、該判断した操作範囲における予め定められたアプリケーションの処理を実行することを特徴とする請求項2に記載の表示システム。 Distance calculating means for calculating distance information from the imaging unit to the subject;
The image processing apparatus sets an operation range in a plurality of stages in the depth direction according to the distance calculated by the distance calculation unit as an operation range to be set in the screen of the captured image.
An operation range in the depth direction in which the user's hand exists is determined from the user's hand position detected by the hand detection unit and the distance information calculated by the distance calculation unit, and predetermined in the determined operation range. The display system according to claim 2, wherein processing of the specified application is executed.
前記距離算出手段として、前記2つの撮像部により撮像された画像の視差に基づいて、前記撮像部から被写体までの距離情報を算出する距離算出部を有することを特徴とする請求項6〜8のいずれか1に記載の表示システム。 The imaging apparatus includes two imaging units,
The distance calculation unit includes a distance calculation unit that calculates distance information from the imaging unit to the subject based on parallax of images captured by the two imaging units. The display system according to any one of the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012079185A JP6068741B2 (en) | 2012-03-30 | 2012-03-30 | Display system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012079185A JP6068741B2 (en) | 2012-03-30 | 2012-03-30 | Display system |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013210723A true JP2013210723A (en) | 2013-10-10 |
JP2013210723A5 JP2013210723A5 (en) | 2015-03-19 |
JP6068741B2 JP6068741B2 (en) | 2017-01-25 |
Family
ID=49528523
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012079185A Expired - Fee Related JP6068741B2 (en) | 2012-03-30 | 2012-03-30 | Display system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6068741B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015126197A1 (en) * | 2014-02-22 | 2015-08-27 | 주식회사 브이터치 | Apparatus and method for remote control using camera-based virtual touch |
WO2016157501A1 (en) * | 2015-04-02 | 2016-10-06 | 三菱電機株式会社 | Display device and display method |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09185456A (en) * | 1995-04-28 | 1997-07-15 | Matsushita Electric Ind Co Ltd | Interface device |
JP2003308167A (en) * | 2002-04-17 | 2003-10-31 | Nippon Telegr & Teleph Corp <Ntt> | Information input/output apparatus and method |
JP2004356819A (en) * | 2003-05-28 | 2004-12-16 | Sharp Corp | Remote control apparatus |
JP2005301668A (en) * | 2004-04-12 | 2005-10-27 | Seiko Epson Corp | Information processor and information processing program |
JP2010146481A (en) * | 2008-12-22 | 2010-07-01 | Brother Ind Ltd | Head-mounted display |
JP2010534895A (en) * | 2007-07-27 | 2010-11-11 | ジェスチャー テック,インコーポレイテッド | Advanced camera-based input |
JP2011192081A (en) * | 2010-03-15 | 2011-09-29 | Canon Inc | Information processing apparatus and method of controlling the same |
JP2011234388A (en) * | 2011-06-10 | 2011-11-17 | Toshiba Corp | Video reproduction device and video reproduction method |
-
2012
- 2012-03-30 JP JP2012079185A patent/JP6068741B2/en not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09185456A (en) * | 1995-04-28 | 1997-07-15 | Matsushita Electric Ind Co Ltd | Interface device |
JP2003308167A (en) * | 2002-04-17 | 2003-10-31 | Nippon Telegr & Teleph Corp <Ntt> | Information input/output apparatus and method |
JP2004356819A (en) * | 2003-05-28 | 2004-12-16 | Sharp Corp | Remote control apparatus |
JP2005301668A (en) * | 2004-04-12 | 2005-10-27 | Seiko Epson Corp | Information processor and information processing program |
JP2010534895A (en) * | 2007-07-27 | 2010-11-11 | ジェスチャー テック,インコーポレイテッド | Advanced camera-based input |
JP2010146481A (en) * | 2008-12-22 | 2010-07-01 | Brother Ind Ltd | Head-mounted display |
JP2011192081A (en) * | 2010-03-15 | 2011-09-29 | Canon Inc | Information processing apparatus and method of controlling the same |
JP2011234388A (en) * | 2011-06-10 | 2011-11-17 | Toshiba Corp | Video reproduction device and video reproduction method |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015126197A1 (en) * | 2014-02-22 | 2015-08-27 | 주식회사 브이터치 | Apparatus and method for remote control using camera-based virtual touch |
US10234954B2 (en) | 2014-02-22 | 2019-03-19 | Vtouch Co., Ltd | Apparatus and method for remote control using camera-based virtual touch |
US10642372B2 (en) | 2014-02-22 | 2020-05-05 | VTouch Co., Ltd. | Apparatus and method for remote control using camera-based virtual touch |
WO2016157501A1 (en) * | 2015-04-02 | 2016-10-06 | 三菱電機株式会社 | Display device and display method |
Also Published As
Publication number | Publication date |
---|---|
JP6068741B2 (en) | 2017-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5740822B2 (en) | Information processing apparatus, information processing method, and program | |
US9569005B2 (en) | Method and system implementing user-centric gesture control | |
US10445887B2 (en) | Tracking processing device and tracking processing system provided with same, and tracking processing method | |
CN105229582B (en) | Gesture detection based on proximity sensor and image sensor | |
US9507437B2 (en) | Algorithms, software and an interaction system that support the operation of an on the fly mouse | |
WO2013180151A1 (en) | Position-of-interest detection device, position-of-interest detection method, and position-of-interest detection program | |
US9836130B2 (en) | Operation input device, operation input method, and program | |
US20130266174A1 (en) | System and method for enhanced object tracking | |
WO2015104257A1 (en) | Human-to-computer natural three-dimensional hand gesture based navigation method | |
JP2013250882A5 (en) | ||
US9268408B2 (en) | Operating area determination method and system | |
JP2013125985A (en) | Display system | |
KR101330531B1 (en) | Method of virtual touch using 3D camera and apparatus thereof | |
KR100968205B1 (en) | Apparatus and Method for Space Touch Sensing and Screen Apparatus sensing Infrared Camera | |
JP2006244272A (en) | Hand position tracking method, device and program | |
KR101961266B1 (en) | Gaze Tracking Apparatus and Method | |
KR20130051319A (en) | Apparatus for signal input and method thereof | |
JP6068741B2 (en) | Display system | |
JP2011188023A (en) | Information processing unit, method of processing information, and program | |
KR101695728B1 (en) | Display system including stereo camera and position detecting method using the same | |
JP6230666B2 (en) | Data input device, data input method, and data input program | |
JP6465197B2 (en) | Information processing apparatus, information processing method, and program | |
KR20110101995A (en) | Touch and touch gesture recognition system | |
JP2015184906A (en) | Skin color detection condition determination device, skin color detection condition determination method and skin color detection condition determination computer program | |
JP2003308167A (en) | Information input/output apparatus and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150129 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150129 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20150909 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150911 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150915 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160310 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161003 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20161011 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161223 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6068741 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |