JP2013210723A

JP2013210723A - Display system

Info

Publication number: JP2013210723A
Application number: JP2012079185A
Authority: JP
Inventors: Daisuke Murayama; 大輔村山; Kenichi Iwauchi; 謙一岩内
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2012-03-30
Filing date: 2012-03-30
Publication date: 2013-10-10
Anticipated expiration: 2032-03-30
Also published as: JP6068741B2

Abstract

PROBLEM TO BE SOLVED: To provide a display system that enables plural operations in a simple gesture with a small burden on a user.SOLUTION: A display system 1 includes an image capturing unit 101 that captures an image of a user who performs operation, an image processing device 11 that performs image processing on the basis of the captured image information, and a display device 12 that displays various information. The image processing device 11 sets, on the basis of the image captured by an image capturing device 10, an operation range in a screen of the captured image, determines the state of a user in the set operation range, and makes the display device 12 display the processing results according to the state of the user in the operation range.

Description

本発明は、コンピュータ等の情報機器や、テレビ等のディスプレイを有する電子機器の入出力を行うインターフェイスを有する表示システムに関する。 The present invention relates to a display system having an interface for performing input / output of an information device such as a computer and an electronic device having a display such as a television.

近年、コンピュータ等の情報機器やテレビ等の電子機器を操作するためのインターフェイスとして、ユーザの動きや、手など身体の一部分の形状を利用した手法が盛んに提案されている。
例えば、カメラで撮像した画像中のユーザの動きや手形状をコンピュータにより認識し、その認識情報によって機器操作を行う手法がある。この手法では、ディスプレイ周囲に設置したカメラに向かい、ユーザが手振り等によって指示を与えることで、ディスプレイに表示したカーソル等を操作し、ディスプレイに表示した仮想スイッチ等の選択を行う。これにより、マウスやリモコン等の手で直接操作する入力装置を必要とせずに、簡便な機器操作が可能となる。 In recent years, as an interface for operating an information device such as a computer or an electronic device such as a television, a method using a user's movement or a shape of a part of a body such as a hand has been actively proposed.
For example, there is a technique in which a user's movement and hand shape in an image captured by a camera are recognized by a computer, and device operation is performed based on the recognition information. In this method, the user is directed to a camera installed around the display, and a user gives an instruction by hand gesture or the like to operate a cursor or the like displayed on the display and select a virtual switch or the like displayed on the display. As a result, a simple device operation can be performed without requiring an input device that is directly operated by a hand such as a mouse or a remote controller.

また、特許文献１の技術では、カメラで撮像した画像中の、ユーザの顔や手の位置、動き、形状、指本数等をコンピュータにより認識し、それら認識情報の組み合わせを変化させることで、より多くのジェスチャパターンを設定する方法が提案されている。この手法によって、ジェスチャで複数の操作が可能となる。さらには、顔認識によってユーザを特定し、ユーザ毎に、好みのジェスチャを好みの操作内容に割り当てることで、より自由度の高いインターフェイスが実現されるとしている。 Further, in the technique of Patent Document 1, the position, movement, shape, number of fingers, etc. of the user's face and hands in the image captured by the camera are recognized by a computer, and the combination of these recognition information is changed, thereby further Many methods for setting gesture patterns have been proposed. This method enables a plurality of operations with gestures. Furthermore, an interface with a higher degree of freedom is realized by specifying a user by face recognition and assigning a favorite gesture to a favorite operation content for each user.

特開２００５−９２４１９号公報JP 2005-92419 A

上記特許文献１の技術では、複数のジェスチャパターンを設定することが可能であるが、この場合、複数のジェスチャパターンとそれに対応する操作内容をユーザが全て記憶する必要があり、ユーザの負担が大きい。また、ディスプレイに操作ガイドを表示する場合には、多数のジェスチャについて表示する必要があることや、ジェスチャ自体が複雑化した場合には、分かり難い表示になってしまうといった問題がある。 In the technique of the above-mentioned Patent Document 1, it is possible to set a plurality of gesture patterns. In this case, it is necessary for the user to memorize all of the plurality of gesture patterns and the corresponding operation contents, and the burden on the user is large. . In addition, when displaying an operation guide on the display, there are problems that it is necessary to display a large number of gestures, and when the gestures themselves are complicated, the display becomes difficult to understand.

本発明は、上記課題を解決するためになされたものであって、ユーザの負担が少ない簡単なジェスチャにより、多数の操作を可能とする表示システムを提供することを目的とする。 The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a display system that allows a large number of operations with simple gestures that are less burdensome on the user.

上記課題を解決するために、本発明の第１の技術手段は、撮像機能を有する撮像部を備えた撮像装置と、該撮像装置で撮像された画像に基づき、ユーザの状態を判定し、該判定した結果に応じて予め定められたアプリケーションの処理を実行する画像処理装置と、該アプリケーションの処理に応じた表示を行う表示装置とを備えた表示システムであって、前記画像処理装置は、前記撮像装置が撮像した画像に基づいて、前記撮像した画像の画面内に操作範囲を設定し、該設定した操作範囲におけるユーザの状態を判定し、前記操作範囲のユーザの状態に応じて予め定められたアプリケーションの処理を実行することを特徴としたものである。 In order to solve the above-described problem, a first technical means of the present invention determines an user's state based on an imaging device including an imaging unit having an imaging function, and an image captured by the imaging device, A display system comprising: an image processing device that executes a predetermined application process according to the determined result; and a display device that performs a display according to the application process, wherein the image processing device includes: Based on the image captured by the imaging device, an operation range is set in the screen of the captured image, the user's state in the set operation range is determined, and predetermined according to the user's state in the operation range. It is characterized by executing the process of the application.

第２の技術手段は、第１の技術手段において、前記画像処理装置が、前記撮像部が撮像した画像から前記ユーザの顔を検出する顔検出部と、該顔検出部の顔検出情報に基づき前記撮像した画像の画面内で前記ユーザの手検出を行う手検出部と、前記操作範囲を設定する操作範囲設定部とを有し、該操作範囲設定部は、前記顔検出部が検出した前記ユーザの顔位置と、前記検出した顔に外接する矩形領域と、前記手検出部が検出した手位置と、に基づいて前記操作範囲を設定することを特徴としたものである。 According to a second technical means, in the first technical means, the image processing device detects a face of the user from an image captured by the imaging unit, and face detection information of the face detection unit. A hand detection unit configured to detect the user's hand within the screen of the captured image; and an operation range setting unit configured to set the operation range, wherein the operation range setting unit is detected by the face detection unit. The operation range is set based on a user's face position, a rectangular area circumscribing the detected face, and a hand position detected by the hand detection unit.

第３の技術手段は、第２の技術手段において、前記画像処理装置が、前記操作範囲を複数に分割して設定し、該複数に分割した操作範囲ごとに、前記ユーザの状態に応じて実行するアプリケーションの処理を予め定め、前記手検出部により検出されたユーザの手位置から、前記ユーザの手が存在する前記分割した操作範囲を判断し、該判断した操作範囲における予め定められたアプリケーションの処理を実行することを特徴としたものである。 According to a third technical means, in the second technical means, the image processing apparatus divides and sets the operation range into a plurality, and executes the divided operation ranges according to the state of the user. The application processing to be performed is determined in advance, the divided operation range where the user's hand exists is determined from the user's hand position detected by the hand detection unit, and the predetermined application range in the determined operation range is determined. It is characterized by executing processing.

第４の技術手段は、第３の技術手段において、前記画像処理装置が、前記操作範囲設定部が設定した複数に分割した操作範囲のそれぞれと、前記表示装置が表示する表示画面の一部の領域とを対応させ、各前記分割した操作範囲に対応させた前記表示画面の各領域に、前記分割した操作範囲におけるユーザの状態に応じたアプリケーションの処理を示す操作ガイドを表示させることを特徴としたものである。 According to a fourth technical means, in the third technical means, each of the operation ranges divided by the image processing device set by the operation range setting unit and a part of a display screen displayed by the display device. An operation guide indicating processing of an application corresponding to a user's state in the divided operation range is displayed on each area of the display screen corresponding to each divided operation range. It is a thing.

第５の技術手段は、第３の技術手段において、前記画像処理装置が、前記複数に分割した操作範囲のそれぞれに対応させた表示領域に表示させる操作ガイドのうち、前記手検出部により検出されたユーザの手が存在する操作範囲に対応させた表示領域に表示させる操作ガイドを、他の操作ガイドとは区別可能に強調表示させることを特徴としたものである。 According to a fifth technical means, in the third technical means, the image processing apparatus detects an operation guide to be displayed in a display area corresponding to each of the plurality of operation ranges divided by the hand detection unit. The operation guide to be displayed in the display area corresponding to the operation range where the user's hand exists is highlighted so as to be distinguishable from other operation guides.

第６の技術手段は、第２の技術手段において、前記撮像部から被写体までの距離情報を算出する距離算出手段を有し、前記画像処理装置は、前記撮像した画像の画面内に設定する操作範囲として、前記距離算出部が算出する距離に応じて複数段階の奥行方向の操作範囲を設定し、前記手検出部により検出されたユーザの手位置及び前記距離算出手段が算出した前記距離情報から、前記ユーザの手が存在する前記奥行方向の操作範囲を判断し、該判断した操作範囲における予め定められたアプリケーションの処理を実行することを特徴としたものである。 Sixth technical means includes distance calculation means for calculating distance information from the imaging unit to the subject in the second technical means, and the image processing apparatus performs an operation for setting within a screen of the captured image. As a range, an operation range in a plurality of stages in the depth direction is set according to the distance calculated by the distance calculation unit, and the user's hand position detected by the hand detection unit and the distance information calculated by the distance calculation unit The operation range in the depth direction where the user's hand is present is determined, and a predetermined application process in the determined operation range is executed.

第７の技術手段は、第６の技術手段において、前記画像処理装置が、前記操作範囲設定部が設定した前記奥行方向の操作範囲のそれぞれにおけるユーザの状態に応じたアプリケーションの処理を示す操作ガイドを、前記表示装置の表示画面に前記奥行方向の操作範囲に対応させて３次元的に配置して見えるように表示させることを特徴としたものである。 A seventh technical means is an operation guide according to the sixth technical means, in which the image processing device indicates processing of an application according to a user's state in each of the operation ranges in the depth direction set by the operation range setting unit. Is displayed on the display screen of the display device so as to be viewed in a three-dimensional manner corresponding to the operation range in the depth direction.

第８の技術手段は、第７の技術手段において、前記画像処理装置が、前記複数段階に設定した奥行方向の操作範囲のそれぞれに対応させた前記操作ガイドのうち、前記手検出部により検出されたユーザの手が存在する操作範囲に対応させた操作ガイドを、他の操作ガイドとは区別可能に強調表示させることを特徴としたものである。 According to an eighth technical means, in the seventh technical means, the image processing device is detected by the hand detection unit among the operation guides corresponding to the operation ranges in the depth direction set in the plurality of stages. The operation guide corresponding to the operation range in which the user's hand exists is highlighted so as to be distinguishable from other operation guides.

第９の技術手段は、第６〜８のいずれか１の技術手段において、前記撮像装置が、２つの前記撮像部を備え、前記距離算出手段として、前記２つの撮像部により撮像された画像の視差に基づいて、前記撮像部から被写体までの距離情報を算出する距離算出部を有することを特徴としたものである。 A ninth technical means is the technical means according to any one of the sixth to eighth aspects, wherein the imaging device includes the two imaging units, and the distance calculation unit is an image of the image captured by the two imaging units. A distance calculating unit that calculates distance information from the imaging unit to the subject based on the parallax is provided.

第１０の技術手段は、第６〜８のいずれか１の技術手段において、前記距離算出手段として、赤外線もしくはレーザ光を発光して被写体からの反射光を解析することにより前記撮像部から被写体までの距離情報を算出する測距部を有することを特徴としたものである。 In a tenth technical means according to any one of the sixth to eighth technical means, the distance calculating means emits infrared rays or laser light and analyzes reflected light from the subject to analyze the reflected light from the subject. A distance measuring unit for calculating the distance information.

本発明に係る表示システムによれば、ユーザの負担が少ない簡単なジェスチャにより、多数の操作が可能になるという効果が得られる。 According to the display system of the present invention, it is possible to obtain an effect that a large number of operations can be performed by a simple gesture with less burden on the user.

実施の形態１における表示システムのハードウェア構成を示すブロック図である。3 is a block diagram illustrating a hardware configuration of the display system in Embodiment 1. FIG. ユーザ情報解析部の構成ブロック図である。It is a block diagram of a user information analysis unit. 実施の形態１における表示システムの使用例を説明する図である。3 is a diagram illustrating an example of use of a display system in Embodiment 1. FIG. 実施の形態１における表示システムのフローチャートである。3 is a flowchart of the display system in the first embodiment. 実施の形態１における入力画像と操作範囲設定例を説明する図である。6 is a diagram illustrating an input image and an operation range setting example in the first embodiment. FIG. 実施の形態１における操作ガイド表示方法の一例を示す図である。6 is a diagram illustrating an example of an operation guide display method according to Embodiment 1. FIG. 実施の形態２における表示システムのハードウェア構成を示すブロック図である。10 is a block diagram illustrating a hardware configuration of a display system according to Embodiment 2. FIG. 実施の形態２における表示システム使用例を説明する図である。10 is a diagram illustrating an example of use of a display system in Embodiment 2. FIG. 実施の形態２における表示システムのフローチャートである。10 is a flowchart of the display system in the second embodiment. 実施の形態２における第２の表示システムのハードウェア構成を示すブロック図である。10 is a block diagram showing a hardware configuration of a second display system in Embodiment 2. FIG.

（実施の形態１）
以下に、本発明の実施の形態１を、図面を用いて説明する。
図１は、本発明の実施の形態１に係る表示システムの構成を示すブロック図である。実施の形態１に係る表示システム１は、操作を行うユーザを撮像する撮像装置１０、撮像されたユーザの位置や動きを判別する画像処理装置１１、操作ガイドや操作状態情報や操作による処理結果などを表示する表示装置１２を備えている。 (Embodiment 1)
Embodiment 1 of the present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a display system according to Embodiment 1 of the present invention. The display system 1 according to the first embodiment includes an imaging device 10 that captures an image of a user who performs an operation, an image processing device 11 that determines the position and movement of the imaged user, operation guides, operation state information, and processing results from operations. Is provided.

撮像装置１０は撮像部１０１により構成され、ユーザなどの被写体を撮像し画像を出力するものであり、受光した光を電気信号に変え画像とするＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子、被写体からの光を撮像素子に集光するためのレンズなどの光学系を備えている。
画像処理装置１１はユーザ情報解析部１１１と操作判定部１１２、アプリケーション処理部１１３、表示制御部１１４とを備えている。 The image pickup apparatus 10 includes an image pickup unit 101 and picks up an image of a subject such as a user and outputs an image. A CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor) that converts received light into an electric signal to generate an image. ) And an optical system such as a lens for condensing light from the subject onto the image sensor.
The image processing apparatus 11 includes a user information analysis unit 111, an operation determination unit 112, an application processing unit 113, and a display control unit 114.

ユーザ情報解析部１１１は、撮像装置１０の出力画像からユーザの操作状態を解析し、解析情報を操作判定部１１２に出力する。図２に示すように、ユーザ情報解析部１１１は顔検出部１１１１、手検出部１１１２、操作範囲設定部１１１３から構成され、ユーザの顔と手の位置、手形状、ユーザの操作範囲情報等を出力する。 The user information analysis unit 111 analyzes the user's operation state from the output image of the imaging device 10 and outputs the analysis information to the operation determination unit 112. As shown in FIG. 2, the user information analysis unit 111 includes a face detection unit 1111, a hand detection unit 1112, and an operation range setting unit 1113, and the user's face and hand position, hand shape, user operation range information, and the like. Output.

操作判定部１１２は、予め設定し登録したジェスチャとユーザ情報解析部１１１の出力情報とを比較することで、ユーザの操作状態を判定し、判定結果をアプリケーション処理部１１３と表示制御部１１４へ出力する。
アプリケーション処理部１１３は、操作判定部１１２の出力に応じたアプリケーションを実行し、その結果を表示制御部１１４へ出力する。なお、アプリケーション処理部１１３には、事前に複数の処理やアプリケーションを登録しておくことができる。 The operation determination unit 112 determines the user's operation state by comparing the preset and registered gesture with the output information of the user information analysis unit 111, and outputs the determination result to the application processing unit 113 and the display control unit 114. To do.
The application processing unit 113 executes an application corresponding to the output of the operation determination unit 112 and outputs the result to the display control unit 114. Note that a plurality of processes and applications can be registered in the application processing unit 113 in advance.

表示制御部１１４は、操作判定部１１２の出力とアプリケーション処理部１１３の結果に応じた表示内容を表示装置１２に出力する。
操作情報設定部１１５は、操作ガイドの表示方法やユーザの操作範囲についての設定を行い、その情報を操作判定部１１２と表示制御部１１４に出力する。操作情報設定部１１５の設定値は外部から入力する。
表示装置１２は液晶ディスプレイやプラズマディスプレイといったＴＶディスプレイや、パーソナルコンピュータ向けモニタなど一般的なディスプレイであり、表示制御部１１４の出力に基づいて表示を行う。 The display control unit 114 outputs display contents corresponding to the output of the operation determination unit 112 and the result of the application processing unit 113 to the display device 12.
The operation information setting unit 115 sets the operation guide display method and the user operation range, and outputs the information to the operation determination unit 112 and the display control unit 114. The setting value of the operation information setting unit 115 is input from the outside.
The display device 12 is a general display such as a TV display such as a liquid crystal display or a plasma display, or a monitor for a personal computer, and performs display based on the output of the display control unit 114.

次に、図１で示した表示システム１の使用例と操作判定方法について、図３、図４を用いて説明する。
図３は、本発明に係る表示システムについて、表示装置１２として家庭用ＴＶなどの大型ディスプレイを用いた場合の使用例を表す図である。
撮像装置１０は、表示装置１２の上部中央位置で、表示装置１２の正面側にいるユーザ３１を撮影するように設置される。撮像装置１０を表示装置１２の上部中央位置に設置し、ユーザを俯瞰するように撮影することで、撮影される画像内でユーザの顔と手が重なり難くなるという利点が得られる。ただし、撮像装置１０の設置位置はこれに限定されるものではなく、ユーザの顔や手を撮影することが可能であればどこに設置してもよい。例えばディスプレイ下部や側部、ユーザの手元付近といった場所に設置してもよい。 Next, an example of use of the display system 1 shown in FIG. 1 and an operation determination method will be described with reference to FIGS.
FIG. 3 is a diagram showing an example of use of the display system according to the present invention when a large display such as a home TV is used as the display device 12.
The imaging device 10 is installed so as to photograph the user 31 on the front side of the display device 12 at the upper center position of the display device 12. By installing the imaging device 10 at the upper center position of the display device 12 and taking an image so as to look down at the user, there is an advantage that the user's face and hands are less likely to overlap in the image to be taken. However, the installation position of the imaging device 10 is not limited to this, and may be installed anywhere as long as the user's face and hand can be photographed. For example, you may install in places, such as a display lower part, a side part, and a user's hand vicinity.

撮像装置１０で取得した画像は画像処理装置１１へ入力され、ユーザの仮想操作範囲３２の設定、操作判定を行い、表示装置１２に操作に応じた処理結果などを表示する。表示装置１２の操作ガイド表示は、操作情報設定部１１５により例えば表示面全体を４分割するように設定される。図３の使用例では、ユーザは操作ガイド領域３３の位置で指本数が１本の処理を選択している。また、図３では図１のブロック図と同じ構成のものは同じ符号を付している。 An image acquired by the imaging apparatus 10 is input to the image processing apparatus 11, the user's virtual operation range 32 is set and operation is determined, and a processing result corresponding to the operation is displayed on the display apparatus 12. The operation guide display of the display device 12 is set by the operation information setting unit 115 so as to divide the entire display surface into four parts, for example. In the usage example of FIG. 3, the user has selected a process with one finger at the position of the operation guide area 33. In FIG. 3, the same components as those in the block diagram of FIG.

図４は、本発明に係る表示システムにおける、処理フローチャートを表す図である。以下に処理手順と処理詳細を説明する。
まず撮像装置１０により画像を取得し（ステップＳ１）、取得した画像を画像処理装置１１のユーザ情報解析部１１１へ入力する。ユーザ情報解析部１１１の顔検出部１１１１は入力画像から顔を検出する（ステップＳ２）。 FIG. 4 is a diagram showing a processing flowchart in the display system according to the present invention. The processing procedure and processing details will be described below.
First, an image is acquired by the imaging apparatus 10 (step S1), and the acquired image is input to the user information analysis unit 111 of the image processing apparatus 11. The face detection unit 1111 of the user information analysis unit 111 detects a face from the input image (step S2).

顔検出部１１１１では、以下で述べる方法を適用することによって入力画像から顔領域を検出し、顔領域の画像情報または入力画像上の２次元座標などの情報を出力する。
例えば、顔検出部１１１１における顔検出方法には、入力画像から肌色情報を抽出し、肌色であると判断した画像領域を顔とする方法がある。また、平均的な人の顔のモノクロ画像を予め用意しておき、このモノクロ画像と撮像画像と比較したときの画像上の各位置での相関値が、予め設定された閾値以上である画像領域を顔とする方法がある。 The face detection unit 1111 detects a face area from the input image by applying the method described below, and outputs image information of the face area or information such as two-dimensional coordinates on the input image.
For example, as a face detection method in the face detection unit 1111, there is a method in which skin color information is extracted from an input image and an image area determined to be skin color is used as a face. In addition, an image region in which a monochrome image of an average human face is prepared in advance, and the correlation value at each position on the image when the monochrome image and the captured image are compared is greater than or equal to a preset threshold value There is a way to face.

さらに、弱識別器として白黒のＨａａｒ−Ｌｉｋｅ特徴を用いたＡｄａｂｏｏｓｔアルゴリズムによる手法（「Paul Viola and Michael J. Jones, “Rapid Object Detection using a Boosted Cascade of Simple Features”, IEEE CVPR, 2001.」，「Rainer Lienhart and Jochen Maydt, “An Extended Set of Haar-like Features for Rapid Object Detection”, IEEE ICIP 2002, Vol. 1, pp. 900-903, Sep. 2002.」に述べられた手法）を用いることも可能である。 Furthermore, a method based on the Adaboost algorithm using black and white Haar-Like features as weak classifiers (“Paul Viola and Michael J. Jones,“ Rapid Object Detection using a Boosted Cascade of Simple Features ”, IEEE CVPR, 2001.”, “ Rainer Lienhart and Jochen Maydt, “An Extended Set of Haar-like Features for Rapid Object Detection”, IEEE ICIP 2002, Vol. 1, pp. 900-903, Sep. 2002. ” Is possible.

以上のように顔検出は種々の方法があるが、本発明に係る顔検出部における顔検出処理は、上記の方法によるものに限らない。即ち、入力画像から顔を検出する方法であればどのような方法を用いてもよい。 As described above, there are various methods for face detection, but the face detection processing in the face detection unit according to the present invention is not limited to the above method. That is, any method may be used as long as it is a method for detecting a face from an input image.

次に、上記ステップＳ２における顔検出の有無を判定し（ステップＳ３）、検出された場合は手検出部１１１２で入力画像から手検出を行う（ステップＳ４）。検出されない場合は、既に操作範囲設定（ステップＳ７）が行われているかどうか判定し（ステップ１１）、設定されている場合には操作範囲設定の解除を行い（ステップＳ１２）、ステップＳ１に戻る。 Next, the presence / absence of face detection in step S2 is determined (step S3). If detected, the hand detection unit 1112 performs hand detection from the input image (step S4). If not detected, it is determined whether or not the operation range has been set (step S7) (step 11). If it has been set, the operation range setting is canceled (step S12), and the process returns to step S1.

続いて、上記ステップＳ４における手検出の有無を判定し（ステップＳ５）、検出された場合は手検出が一回目であるかどうかの判定を行う（ステップＳ６）。検出されない場合は、上述したステップＳ３と同様に、既に操作範囲設定（ステップＳ７）が行われているかどうか判定し（ステップ１１）、設定されている場合には操作範囲設定の解除を行い（ステップＳ１２）、ステップＳ１に戻る。 Subsequently, the presence / absence of hand detection in step S4 is determined (step S5), and if detected, it is determined whether or not the hand detection is the first time (step S6). If not detected, it is determined whether or not the operation range setting (step S7) has already been performed (step 11), and if it has been set, the operation range setting is cancelled (step 11). S12), the process returns to step S1.

ステップＳ５で判定された手検出が一回目であれば、操作範囲設定部１１１３において、仮想操作範囲３２に示すような操作範囲設定を行い（ステップＳ７）、ステップ１へと戻る。手検出が二度目以降であれば、ステップＳ２、ステップＳ４の検出情報と、ステップＳ７で設定した操作範囲情報に基づいてユーザの操作判定を行う（ステップＳ８）。最後に操作判定の結果に基づいて、操作に応じた処理を実行し（ステップＳ９）、処理結果とユーザの操作状態などを表示装置１２に表示する（ステップＳ１０）。 If the hand detection determined in step S5 is the first time, the operation range setting unit 1113 performs operation range setting as shown in the virtual operation range 32 (step S7) and returns to step 1. If the hand detection is performed for the second time or later, the user's operation is determined based on the detection information in steps S2 and S4 and the operation range information set in step S7 (step S8). Finally, based on the result of the operation determination, a process corresponding to the operation is executed (step S9), and the process result and the operation state of the user are displayed on the display device 12 (step S10).

（ステップＳ４の詳細説明）
ステップＳ４の手検出部１１１２では、ユーザは表示システムの操作時には手を挙げていることを前提とし、入力画像のユーザ顔位置周辺を探索することで手検出を行う。手検出方法は、肌色検出による方法や、あらかじめ登録した複数の手形状パターンと一致する部分を探索する方法などによって行われる。
また、肌色検出で抽出した手領域の突起部分を探索する方法や、あらかじめ登録した複数の手形状パターンに指本数を変化させたパターンを含ませることで、手形状や指本数を判定する。ただし、手検出は上記の方法に限られず、入力画像から手を検出し、手の形状を判定することが可能であればどのような方法を用いてもよい。 (Detailed description of step S4)
The hand detection unit 1112 in step S4 performs hand detection by searching for the vicinity of the user face position in the input image on the assumption that the user raises his / her hand when operating the display system. The hand detection method is performed by a skin color detection method, a method of searching for a portion that matches a plurality of hand shape patterns registered in advance, or the like.
Also, the hand shape and the number of fingers are determined by searching for the protrusions of the hand region extracted by skin color detection, or by including a pattern in which the number of fingers is changed in a plurality of hand shape patterns registered in advance. However, the hand detection is not limited to the above method, and any method may be used as long as the hand can be detected from the input image and the shape of the hand can be determined.

（ステップＳ７の詳細説明）
上記ステップＳ７の操作範囲設定の詳細について以下に説明する。図５は、入力画像内で設定された操作範囲の一例を示しており、ユーザ３１を撮像装置１０で撮影した入力画像５１内で、仮想操作範囲３２が設定されている。矩形領域５２はユーザの顔領域を表している。 (Detailed description of step S7)
Details of the operation range setting in step S7 will be described below. FIG. 5 shows an example of the operation range set in the input image, and the virtual operation range 32 is set in the input image 51 obtained by photographing the user 31 with the imaging device 10. A rectangular area 52 represents the face area of the user.

操作範囲設定部１１１３は、顔検出部１１１１と手検出部１１１２の出力情報に基づいて仮想操作範囲３２を設定する。顔検出部１１１１で出力される顔矩形領域５２の情報から、ユーザ３１の顔の大きさがわかり、撮像装置１０（表示装置１２）からユーザ３１までの距離を大まかに知ることができる。個人差はあるが、一般的には矩形サイズが大きければ距離が近く、小さければ距離が遠いと言えるので、矩形サイズをパラメータとし、この値が大きければ仮想操作範囲を大きく、小さければ小さく設定するようにする。 The operation range setting unit 1113 sets the virtual operation range 32 based on output information from the face detection unit 1111 and the hand detection unit 1112. The size of the face of the user 31 can be known from the information of the face rectangular area 52 output by the face detection unit 1111 and the distance from the imaging device 10 (display device 12) to the user 31 can be roughly known. Although there are individual differences, generally, if the rectangle size is large, the distance is close, and if it is small, the distance is close, so the rectangle size is a parameter. If this value is large, the virtual operation range is set large, and if it is small, the virtual operation range is set small. Like that.

入力画像５１内での仮想操作範囲の左右位置は、顔と手の位置関係からユーザの使用する手（利き手）を判断し、顔の中心から利き手側へ水平方向に一定画素ずらした位置とする。また、仮想操作範囲の上下位置は、顔位置から下へ垂直方向に一定画素ずらした位置とする。左右・上下位置の画素ずらし量は、経験的に知ることができる一般的な人の手の動作範囲と、顔矩形領域５２の矩形サイズをパラメータとして決める。
仮想操作範囲の設定方法は上記に限られず、顔の位置から固定的に決める方法や、表示システムの使用開始時にユーザ自身で登録する方法など、どのような方法でも構わない。 The left and right positions of the virtual operation range in the input image 51 are determined by determining the hand (dominant hand) used by the user from the positional relationship between the face and the hand and shifting by a certain pixel in the horizontal direction from the center of the face to the dominant hand. . In addition, the vertical position of the virtual operation range is a position shifted by a certain pixel in the vertical direction downward from the face position. The amount of pixel shift between the left and right and top and bottom positions is determined by using a general human hand motion range that can be empirically known and the rectangular size of the face rectangular region 52 as parameters.
The setting method of the virtual operation range is not limited to the above, and any method may be used, such as a method of fixedly determining from the position of the face, or a method of registering by the user when starting to use the display system.

（ステップＳ８の詳細説明）
上記ステップＳ８の操作判定について以下に説明する。図３の破線で示すように、ステップＳ７で設定した仮想操作範囲３２を表示装置１２の表示面と対応させる。これにより、ユーザ３１の手位置が仮想操作範囲３２のどこにあるか判断することで、表示装置１２の表示面のどこを選択しているかがわかる。したがって、図３ではユーザ３１は操作ガイド領域３３を選択していると判断できる。 (Detailed description of step S8)
The operation determination in step S8 will be described below. As indicated by a broken line in FIG. 3, the virtual operation range 32 set in step S <b> 7 is made to correspond to the display surface of the display device 12. As a result, by determining where the hand position of the user 31 is in the virtual operation range 32, it is possible to know where on the display surface of the display device 12 is selected. Therefore, in FIG. 3, it can be determined that the user 31 has selected the operation guide area 33.

このとき、操作ガイド領域３３を強調表示することで、ユーザ自身に選択位置を知らせることができる。例えば、ユーザは握り拳の状態で自分の選択したい領域に手を移動し、その領域が強調表示されたら指を伸ばすことで、伸ばした指本数を判断してそれに対応した処理を実行することが出来る。このように、手位置と手形状（指本数）を利用することで、ユーザの操作判定を行う。 At this time, by highlighting the operation guide area 33, the user can be informed of the selected position. For example, the user can move his / her hand to the area he / she wants to select in the state of the clenched fist, and extend the finger when the area is highlighted, so that the number of fingers stretched can be determined and processing corresponding to that can be executed. . Thus, the user's operation determination is performed by using the hand position and the hand shape (number of fingers).

図３の例では、表示装置１２の表示面を４分割するように設定したため、４分割×指本数５＝２０通りの操作が可能となっている。この表示面の分割方法の設定は、外部から操作情報設定部１１５に入力して行う。外部からの設定値入力は、キーボードやテキストファイルなどで行われる。表示面の分割方法は上記の例に限られるものではなく、表示面の分割数や分割する位置は自由に設定が可能であり、分割数が多くなればより多くの操作が可能となる。 In the example of FIG. 3, since the display surface of the display device 12 is set to be divided into four, 4 operations × number of fingers 5 = 20 operations are possible. The setting of the display surface division method is performed by inputting the operation information setting unit 115 from the outside. Input of setting values from the outside is performed with a keyboard or a text file. The method of dividing the display surface is not limited to the above example, and the number of divisions of the display surface and the position to be divided can be freely set, and more operations can be performed as the number of divisions increases.

また、表示面全体を分割するのではなく、図６に示すように、表示装置１２の表示面下部領域を左右に分割することで、表示面全体に表示したい内容を視覚的に邪魔せず、操作ガイドを表示させることができる。この場合も、仮想操作範囲６１と表示装置１２の操作ガイドの表示領域を対応させることで、手位置と指本数のみで１０通りの選択が可能となる。 Also, instead of dividing the entire display surface, as shown in FIG. 6, the display screen lower area of the display device 12 is divided into left and right, so that the contents to be displayed on the entire display surface are not visually disturbed, An operation guide can be displayed. Also in this case, by associating the virtual operation range 61 with the display area of the operation guide of the display device 12, ten selections can be made only with the hand position and the number of fingers.

上記したユーザの操作ガイド選択領域の強調表示は、選択領域の縁をハイライト表示する方法や、選択領域を拡大表示する方法などによって行われる。例えば、表示面の分割数を増やした場合には、各分割領域の画面上の表示サイズが小さくなり視認し難くなるため、ユーザの選択領域を拡大表示することでこの問題を解決することができる。 The above-described highlighting of the operation guide selection area of the user is performed by a method of highlighting the edge of the selection area, a method of enlarging the selection area, or the like. For example, when the number of divisions on the display surface is increased, the display size of each divided area on the screen becomes small and difficult to visually recognize, so this problem can be solved by enlarging and displaying the user's selected area. .

強調表示は上記の方法に限られず、ユーザに選択領域を示すことが可能であれば、どのような表示方法を用いても構わない。例えば、選択領域以外の領域をグレースケール化や透明化もしくは半透明化して目立たない表示とすることで、選択領域を強調する方法も考えられる。また、選択領域の強調表示以外にも、単純に手の位置に合わせて表示装置の表示面上にポインターを表示することで、ユーザに選択位置を示す方法も考えられる。 The highlighted display is not limited to the above method, and any display method may be used as long as the selection area can be shown to the user. For example, a method of emphasizing the selected area by making the area other than the selected area grayscale, transparent, or translucent to make the display inconspicuous can be considered. In addition to highlighting the selected area, a method of indicating the selected position to the user by simply displaying a pointer on the display surface of the display device in accordance with the position of the hand is also conceivable.

上記の例では、手形状から指本数を判定してジェスチャとして用いたが、ジェスチャはこれに限られるものではない。ユーザの負担が少なく、操作ガイド表示が単純で分かり易い方法であれば、どのような方法をジェスチャとして用いてもよい。例えば、手の動きや顔の動き、顔と手の相対位置関係、目の動き、視線などを用いる方法や、指示棒などの特別な操作器具を用いる方法など、様々なジェスチャが考えられる。
また、上記の例では手の位置を検出して操作ガイドの選択領域を判定したが、顔などの手以外の部位位置や、指示棒などの特別な操作器具の位置を用いて判定してもよい。 In the above example, the number of fingers is determined from the hand shape and used as a gesture, but the gesture is not limited to this. Any method may be used as a gesture as long as the user's burden is small and the operation guide display is simple and easy to understand. For example, various gestures are conceivable, such as a method using a hand movement, a face movement, a relative positional relationship between a face and a hand, a movement of eyes, a line of sight, or a method using a special operation instrument such as a pointing stick.
In the above example, the selection area of the operation guide is determined by detecting the position of the hand, but it may be determined using the position of a part other than the hand such as the face or the position of a special operation instrument such as a pointing stick. Good.

（ステップＳ９の詳細説明）
上記ステップＳ９で述べた操作に応じた処理とは、表示装置１２に表示した仮想スイッチや仮想ボタン、サムネイル画像を選択する処理や、事前に画像処理装置１１に登録されたアプリケーションを実行する処理などが考えられる。この処理はどのようなものであっても構わない。 (Detailed description of step S9)
The processing according to the operation described in step S9 includes processing for selecting a virtual switch, a virtual button, and a thumbnail image displayed on the display device 12, processing for executing an application registered in advance in the image processing device 11, and the like. Can be considered. This process may be anything.

（実施の形態２）
以下に、本発明の実施の形態２を、図面を用いて説明する。
図７は、本発明の実施の形態２における表示システムのハードウェア構成を表すブロック図である。全体構成は実施の形態１の図１に示したものと同様であるが、撮像装置７０と画像処理装置７１の構成が変化している。図１と図７で同じ構成の部分は同じ符号を付している。 (Embodiment 2)
Embodiment 2 of the present invention will be described below with reference to the drawings.
FIG. 7 is a block diagram showing a hardware configuration of the display system according to Embodiment 2 of the present invention. Although the overall configuration is the same as that shown in FIG. 1 of the first embodiment, the configurations of the imaging device 70 and the image processing device 71 are changed. 1 and 7 are denoted by the same reference numerals.

撮像装置７０には撮像部７０１が追加され、撮像部１０１、７０１は操作を行うユーザを撮像するようにステレオ配置されている。ステレオ配置とは、撮像部１０１、７０１の二つの撮像部を横並びに光軸が略平行となるよう並べた配置を言う。実施の形態２では、例として二つの撮像部１０１、７０１には同一構成のものを用いるが、二つの撮像部１０１、７０１で同領域を撮像し、画素間の対応を取ることが可能であれば、解像度や画角など構成の異なる撮像部を用いても構わない。 An imaging unit 701 is added to the imaging device 70, and the imaging units 101 and 701 are arranged in stereo so as to capture an image of a user who performs an operation. The stereo arrangement refers to an arrangement in which the two imaging units 101 and 701 are arranged side by side so that their optical axes are substantially parallel. In the second embodiment, the two imaging units 101 and 701 having the same configuration are used as an example. However, it is possible to capture the same area by the two imaging units 101 and 701 and take correspondence between the pixels. For example, imaging units having different configurations such as resolution and angle of view may be used.

画像処理装置７１は、実施の形態１の画像処理装置１１と同様に、撮像されたユーザの位置や動きの判別を行うが、距離算出部７１１を追加した構成となっている。また、ユーザ情報解析部７１２は図２に示したユーザ情報解析部１１１と同じ構成であるが、手検出部１１１２、操作範囲設定部１１１３での処理の際に、距離算出部７１１からの出力情報を利用する。距離情報の算出方法と、距離情報を利用した処理についての詳細は後述する。 Similar to the image processing apparatus 11 of the first embodiment, the image processing apparatus 71 determines the position and movement of the user who has been imaged, but has a configuration in which a distance calculation unit 711 is added. Further, the user information analysis unit 712 has the same configuration as the user information analysis unit 111 shown in FIG. 2, but output information from the distance calculation unit 711 during processing by the hand detection unit 1112 and the operation range setting unit 1113. Is used. Details of the distance information calculation method and processing using the distance information will be described later.

次に、図７で示した表示システム７の使用例と操作判定方法について、図８、図９を用いて説明する。
図８は、図７で示した表示システム７の表示装置１２に家庭用ＴＶなどの大型ディスプレイを用いた場合の使用例を表す図であり、図８（Ａ）は正面図、図８（Ｂ）は側面図となっている。
撮像装置７０は実施の形態１と同様、表示装置１２の上部中央位置に設置する。実施の形態１と同様、撮像装置７０の設置位置はこれに限定されるものではなく、ユーザの顔や手を撮影することが可能であればどこに設置してもよい。 Next, a usage example and an operation determination method of the display system 7 illustrated in FIG. 7 will be described with reference to FIGS.
FIG. 8 is a diagram illustrating an example of use in the case where a large-sized display such as a home TV is used as the display device 12 of the display system 7 illustrated in FIG. 7, in which FIG. 8A is a front view and FIG. ) Is a side view.
The imaging device 70 is installed at the upper center position of the display device 12 as in the first embodiment. As in the first embodiment, the installation position of the imaging device 70 is not limited to this, and may be installed anywhere as long as the user's face and hand can be photographed.

撮像装置７０で取得した２枚の画像は画像処理装置７１へ入力され、距離算出、ユーザの仮想操作範囲８１の設定、操作判定を行い、操作に応じた処理結果などを表示装置１２に表示する。図８に示す例では、操作ガイド面２枚を奥行方向に配置して見えるように表示装置１２に表示しており、ユーザは手前の操作ガイド面８２の位置で指本数が１本の処理を選択している。また、図８では図７のブロック図と同じ構成のものは同じ符号を付している。 The two images acquired by the imaging device 70 are input to the image processing device 71, calculate the distance, set the user's virtual operation range 81, determine the operation, and display the processing result corresponding to the operation on the display device 12. . In the example shown in FIG. 8, two operation guide surfaces are displayed on the display device 12 so as to be arranged in the depth direction, and the user performs processing with one finger at the position of the operation guide surface 82 in front. Selected. In FIG. 8, the same components as those in the block diagram of FIG.

図９は実施の形態２における、処理フローチャートを表す図である。以下に処理手順と処理詳細を説明する。
図９に示すフローチャートは、実施の形態１の図４で示したフローチャートにおいて、画像取得（ステップＳ１）と顔検出（ステップＳ２）の間に、距離算出（ステップ１３）を追加した構成となっている。従って、大まかな処理全体の流れは実施の形態１で説明したものと等しいため、以下では差分についてのみ説明する。 FIG. 9 is a diagram illustrating a processing flowchart according to the second embodiment. The processing procedure and processing details will be described below.
The flowchart shown in FIG. 9 has a configuration in which distance calculation (step 13) is added between image acquisition (step S1) and face detection (step S2) in the flowchart shown in FIG. 4 of the first embodiment. Yes. Accordingly, since the overall flow of the overall process is the same as that described in the first embodiment, only the differences will be described below.

まず、撮像装置７０の撮像部１０１、７０２で画像を取得し（ステップ１）、２枚の画像は画像処理装置７１の距離算出部７１１へ入力され、距離算出を行う（ステップ１３）。
撮像部１０１の画像（距離算出部７１１で基準とした撮像部の画像）と、距離算出部７１１で算出した距離情報は、ユーザ情報解析部７１２に入力される。ユーザ情報解析部７１２の顔検出部１１１１は入力画像から顔を検出する（ステップＳ２）。顔検出部１１１１による顔検出方法は実施の形態１と同様の方法を用いる。ステップ３以降の処理の流れは実施の形態１で述べたものと同様である。 First, images are acquired by the imaging units 101 and 702 of the imaging device 70 (step 1), and the two images are input to the distance calculation unit 711 of the image processing device 71 to perform distance calculation (step 13).
The image of the imaging unit 101 (the image of the imaging unit used as a reference by the distance calculation unit 711) and the distance information calculated by the distance calculation unit 711 are input to the user information analysis unit 712. The face detection unit 1111 of the user information analysis unit 712 detects a face from the input image (step S2). The face detection method by the face detection unit 1111 uses the same method as in the first embodiment. The processing flow after step 3 is the same as that described in the first embodiment.

（ステップ１３の距離算出部７１１の説明）
ステップ１３の距離算出部７１１は、ステレオ方式により距離算出を行う。ステレオ方式は、略平行に並べた二台の撮像装置で同じ領域を撮像し、得られた二つの画像において対応する画素の視差を求め、視差を基に距離を算出するものである。ステレオ方式において、二つの画像において対応する画素を求めることをステレオマッチングという。例えば、次のような処理を行う。 (Description of distance calculation unit 711 in step 13)
The distance calculation unit 711 in Step 13 performs distance calculation by a stereo method. In the stereo method, the same region is imaged by two imaging devices arranged substantially in parallel, the parallax of corresponding pixels in the two obtained images is obtained, and the distance is calculated based on the parallax. In the stereo method, obtaining corresponding pixels in two images is called stereo matching. For example, the following processing is performed.

一方の撮像画像のある画素について、他方の撮像画像上を水平方向に走査することで画素マッチングを行う。画素マッチングは注目画素を中心としたブロック単位で行われ、ブロック内の画素の絶対値差分の総和をとるＳＡＤ（Sum of Absolute Difference）を計算し、ＳＡＤの値が最小となるブロックを決定することで、一方の撮像画像の注目画素に対応する他方の撮像画像上の画素を求める。ＳＡＤによる計算手法以外に、ＳＳＤ（Sum of Squared Intensity Difference）やグラフカット、ＤＰ（Dynamic Programming）マッチングといった計算手法もある。 Pixel matching is performed by scanning a pixel of one captured image in the horizontal direction on the other captured image. Pixel matching is performed in units of blocks centered on the pixel of interest, and a SAD (Sum of Absolute Difference) that calculates the sum of absolute value differences of pixels in the block is calculated to determine a block that minimizes the SAD value. Thus, the pixel on the other captured image corresponding to the target pixel of the one captured image is obtained. In addition to SAD calculation methods, there are calculation methods such as SSD (Sum of Squared Intensity Difference), graph cut, and DP (Dynamic Programming) matching.

対応画素が求まることでその画素の視差値が算出可能となる。一方の撮像画像の全画素について上記の処理を行うことで、全画素の視差値を算出し、二つの撮像装置の位置関係と視差値を用いて三角測量を行うことで、撮像装置から被写体までの距離が算出できる。また、二つの撮像部が左右方向でなく、上下方向に配置されていても視差値は算出可能で、その場合は撮像画像の走査を水平方向に代えて垂直方向にすれば良い。 When the corresponding pixel is obtained, the parallax value of the pixel can be calculated. By performing the above processing for all pixels of one captured image, the parallax value of all pixels is calculated, and triangulation is performed using the positional relationship and the parallax value of the two imaging devices, from the imaging device to the subject. Can be calculated. Also, the parallax value can be calculated even if the two imaging units are arranged in the vertical direction instead of the horizontal direction. In this case, the scanning of the captured image may be performed in the vertical direction instead of the horizontal direction.

距離算出部７１１が出力する距離情報は、撮像部１０１画像の各画素に対応する距離値を０〜２５５の値に圧縮し、グレースケール画像化したビットマップ画像、デプスマップを表す。ただし、各画素に対応する視差値をグレースケール画像化したディスパリティマップをデプスマップの代わりに距離情報としても用いても良い。 The distance information output by the distance calculation unit 711 represents a bitmap image and a depth map obtained by compressing a distance value corresponding to each pixel of the image of the imaging unit 101 to a value of 0 to 255 and converting it to a gray scale image. However, a disparity map obtained by converting a disparity value corresponding to each pixel into a gray scale image may be used as distance information instead of the depth map.

（ステップ４の変更点の説明）
ただし、ステップ４の手検出では、実施の形態１で述べた検出方法に、距離情報を考慮することで、検出精度の向上を図る。例えば、ユーザ顔位置周辺を探索して肌色検出などを行う際に、画像の２次元方向だけでなく奥行方向にも探索範囲を限定することが可能となり、誤検出の低減が期待できる。 (Description of changes in Step 4)
However, in the hand detection in step 4, the detection accuracy is improved by considering distance information in the detection method described in the first embodiment. For example, when performing a skin color detection by searching around the user face position, the search range can be limited not only in the two-dimensional direction of the image but also in the depth direction, and a reduction in false detection can be expected.

（ステップ７の変更点の説明）
また、実施の形態２におけるステップ７の操作範囲設定では、図８の仮想操作領域８１に示すように、ステップ１３の距離情報に基づいて３次元空間領域で設定する。２次元方向の仮想操作範囲位置は実施の形態１で述べた方法と同様にして決め、奥行方向の操作範囲は、一般的な人の手の動作範囲を考慮して決定する。例えば、一般的な人の手の長さは５０〜１００ｃｍ程度であるので、５０ｃｍ幅に設定する (Description of changes in Step 7)
Further, in the operation range setting in step 7 in the second embodiment, as shown in the virtual operation area 81 in FIG. 8, the operation range is set in the three-dimensional space area based on the distance information in step 13. The virtual operation range position in the two-dimensional direction is determined in the same manner as the method described in the first embodiment, and the operation range in the depth direction is determined in consideration of the motion range of a general human hand. For example, since the length of a typical human hand is about 50 to 100 cm, the width is set to 50 cm.

（ステップ８の変更点の説明）
ステップ８の操作判定では、ステップ７で設定した３次元の仮想操作範囲８１内で、手の位置を判断する。図８の例では、仮想操作範囲８１を奥行方向に２分割しており、手前の範囲（実線部分）にユーザの手がある。図８（Ａ）に示すように、操作ガイド面２枚を奥行方向に配置して見えるように表示設定しているため、ユーザは手前の操作ガイド面８２を選択していると判断することができる。反対に、仮想操作範囲８１の破線領域に手が入れば、手前側の操作ガイド面８２を透明化などしたうえで、後ろ側の操作ガイド面を強調表示させることで、後ろ側の操作ガイド面を選択しているとユーザに示すことが可能である。ユーザは前後に手を動かして、指本数を提示することで操作を行うことができる。 (Description of changes in Step 8)
In the operation determination at step 8, the position of the hand is determined within the three-dimensional virtual operation range 81 set at step 7. In the example of FIG. 8, the virtual operation range 81 is divided into two in the depth direction, and the user's hand is in the front range (solid line portion). As shown in FIG. 8A, since the display operation is set so that the two operation guide surfaces are arranged in the depth direction, the user can determine that the front operation guide surface 82 is selected. it can. On the other hand, if the hand enters the broken line area of the virtual operation range 81, the rear operation guide surface is highlighted and the rear operation guide surface is highlighted after the front operation guide surface 82 is made transparent. It is possible to indicate to the user that the user has selected. The user can operate by moving his / her hands back and forth and presenting the number of fingers.

仮想操作範囲８１の分割方法は、外部から操作情報設定部１１５に入力して設定する。また、分割方法は上記に限られず、さらに細かく奥行方向に分割することも可能であるし、２次元方向の分割と奥行方向の分割を組み合わせることも考えられる。 The method of dividing the virtual operation range 81 is set by inputting to the operation information setting unit 115 from the outside. The dividing method is not limited to the above, and it is possible to divide in the depth direction more finely, and it is also conceivable to combine the division in the two-dimensional direction and the division in the depth direction.

上記のユーザが選択した操作ガイド面をユーザ自信に示す方法は、実施の形態１で述べた強調表示と同様の方法によって行われ、ユーザに選択した操作ガイド面を示すことが可能であればどのような表示方法であっても構わない。
実施の形態１と同様に、実施の形態２でも指本数を用いているが、ジェスチャはこれに限られるものではない。距離情報を利用して、ユーザの手の奥行方向の動作を判定してジェスチャとすることも可能である。 The method for indicating the operation guide surface selected by the user to the user's confidence is performed by the same method as the highlighting described in the first embodiment, and any operation guide surface selected by the user can be indicated. Such a display method may be used.
Similar to the first embodiment, the number of fingers is also used in the second embodiment, but the gesture is not limited to this. It is also possible to use the distance information to determine a motion in the depth direction of the user's hand and use it as a gesture.

（測距部を用いた場合の説明）
なお、本実施の形態２では２台の撮像部１０１、７０１の２つの画像からステレオ方式により距離算出を行ったが、図１０に示す表示システム２の構成のように、どちらかの撮像部（図１０の構成例では、図７に示されていた撮像部７０１）を測距部２０１に置き換えても良い。この場合、図１０の画像処理装置２１は、図７で示した画像処理装置７１から距離算出部７１１を取り除いた構成となり、ユーザ情報解析部７１２には、測距部２０１から出力される距離情報が直接入力される。図７と図１０で同じ構成の部分は同じ符号を付している。 (Explanation when using a distance measuring unit)
In the second embodiment, the distance is calculated from the two images of the two imaging units 101 and 701 by the stereo method. However, as in the configuration of the display system 2 illustrated in FIG. In the configuration example of FIG. 10, the imaging unit 701) illustrated in FIG. 7 may be replaced with the distance measuring unit 201. In this case, the image processing device 21 in FIG. 10 is configured by removing the distance calculation unit 711 from the image processing device 71 shown in FIG. 7, and the user information analysis unit 712 has the distance information output from the distance measurement unit 201. Is entered directly. 7 and 10 are denoted by the same reference numerals.

図１０の構成においても、図９のフローチャートと同様の処理方法で、本発明の実施の形態２の効果を実現することができる。ただし、ステップＳ１の画像取得とステップＳ１３の距離取得は同時に行われる。
測距部２０１は、ＴＯＦ（Time of Flight）方式に代表される赤外線を利用した手法を用いても良いし、距離情報を取得できるものであればどのような手法を用いても構わない。 Also in the configuration of FIG. 10, the effect of the second embodiment of the present invention can be realized by the same processing method as the flowchart of FIG. However, the image acquisition in step S1 and the distance acquisition in step S13 are performed simultaneously.
The distance measuring unit 201 may use a technique using infrared rays typified by a TOF (Time of Flight) method, or any technique that can acquire distance information.

ＴＯＦ方式は、ＬＥＤ（Light Emitting Diode）などの光源から赤外線など眼に見えない光を照射し、その光が被写体などに当たり反射して返ってくる飛行時間を計測することで距離を測距するものである。その計測を細かく分割された領域毎に計測することで、一点だけでなく被写体の様々な部分の測距が可能となる。なお、飛行時間の測定の方法としては、レーザ光をパルス照射し、パルスを発射してから反射光が戻ってくるまでの時間を計測する方法や、照射する赤外線を変調し、照射したときの位相と、反射光との位相差から算出する方法などがある。 The TOF method measures the distance by irradiating invisible light such as infrared rays from a light source such as an LED (Light Emitting Diode), and measuring the time of flight when the light hits the subject and returns. It is. By measuring the measurement for each finely divided area, it is possible to measure not only one point but also various parts of the subject. In addition, as a method of measuring the time of flight, pulsed laser light, measuring the time from when the pulse is emitted until the reflected light returns, or when the irradiated infrared light is modulated and irradiated There is a method of calculating from the phase difference between the phase and the reflected light.

１…表示システム、７…表示システム、１０…撮像装置、１１…画像処理装置、１２…表示装置、３１…ユーザ、３２…仮想操作範囲、３３…操作ガイド領域、５１…入力画像、５２…矩形領域、６１…仮想操作範囲、７０…撮像装置、７１…画像処理装置、８１…仮想操作範囲、８２…操作ガイド面、１０１…撮像部、１１１…ユーザ情報解析部、１１２…操作判定部、１１３…アプリケーション処理部、１１４…表示制御部、１１５…操作情報設定部、２０１…測距部、７０１…撮像部、７１１…距離算出部、７１２…ユーザ情報解析部、１１１１…顔検出部、１１１２…手検出部、１１１３…操作範囲設定部。 DESCRIPTION OF SYMBOLS 1 ... Display system, 7 ... Display system, 10 ... Imaging apparatus, 11 ... Image processing apparatus, 12 ... Display apparatus, 31 ... User, 32 ... Virtual operation range, 33 ... Operation guide area | region, 51 ... Input image, 52 ... Rectangular Area 61: Virtual operation range 70: Imaging device 71 71 Image processing device 81 Virtual operation range 82 Operation guide surface 101 Imaging unit 111 User information analysis unit 112 Operation determination unit 113 ... Application processing unit, 114 ... Display control unit, 115 ... Operation information setting unit, 201 ... Distance measurement unit, 701 ... Imaging unit, 711 ... Distance calculation unit, 712 ... User information analysis unit, 1111 ... Face detection unit, 1112 ... Hand detection unit, 1113... Operation range setting unit.

Claims

撮像機能を有する撮像部を備えた撮像装置と、該撮像装置で撮像された画像に基づき、ユーザの状態を判定し、該判定した結果に応じて予め定められたアプリケーションの処理を実行する画像処理装置と、該アプリケーションの処理に応じた表示を行う表示装置とを備えた表示システムであって、
前記画像処理装置は、前記撮像装置が撮像した画像に基づいて、前記撮像した画像の画面内に操作範囲を設定し、該設定した操作範囲におけるユーザの状態を判定し、前記操作範囲のユーザの状態に応じて予め定められたアプリケーションの処理を実行することを特徴とする表示システム。 An image pickup apparatus having an image pickup unit having an image pickup function, and image processing for determining a user's state based on an image picked up by the image pickup apparatus and executing a predetermined application process according to the determination result A display system comprising a device and a display device that performs display according to processing of the application,
The image processing device sets an operation range in a screen of the captured image based on an image captured by the imaging device, determines a user state in the set operation range, and determines a user's state in the operation range. A display system for executing a predetermined application process according to a state.

前記画像処理装置は、前記撮像部が撮像した画像から前記ユーザの顔を検出する顔検出部と、該顔検出部の顔検出情報に基づき前記撮像した画像の画面内で前記ユーザの手検出を行う手検出部と、前記操作範囲を設定する操作範囲設定部とを有し、
該操作範囲設定部は、前記顔検出部が検出した前記ユーザの顔位置と、前記検出した顔に外接する矩形領域と、前記手検出部が検出した手位置と、に基づいて前記操作範囲を設定することを特徴とする請求項１に記載の表示システム。 The image processing apparatus detects a face of the user from an image captured by the imaging unit, and detects the user's hand within the screen of the captured image based on face detection information of the face detection unit. A hand detection unit for performing, and an operation range setting unit for setting the operation range,
The operation range setting unit determines the operation range based on the user's face position detected by the face detection unit, a rectangular area circumscribing the detected face, and the hand position detected by the hand detection unit. The display system according to claim 1, wherein the display system is set.

前記画像処理装置は、前記操作範囲を複数に分割して設定し、該複数に分割した操作範囲ごとに、前記ユーザの状態に応じて実行するアプリケーションの処理を予め定め、
前記手検出部により検出されたユーザの手位置から、前記ユーザの手が存在する前記分割した操作範囲を判断し、該判断した操作範囲における予め定められたアプリケーションの処理を実行することを特徴とした請求項２に記載の表示システム。 The image processing apparatus divides and sets the operation range into a plurality of operations, and determines in advance an application process to be executed according to the state of the user for each of the divided operation ranges.
Determining the divided operation range where the user's hand exists from the position of the user's hand detected by the hand detection unit, and executing processing of a predetermined application in the determined operation range; The display system according to claim 2.

前記画像処理装置は、前記操作範囲設定部が設定した複数に分割した操作範囲のそれぞれと、前記表示装置が表示する表示画面の一部の領域とを対応させ、
各前記分割した操作範囲に対応させた前記表示画面の各領域に、前記分割した操作範囲におけるユーザの状態に応じたアプリケーションの処理を示す操作ガイドを表示させることを特徴とする請求項３に記載の表示システム The image processing device associates each of the plurality of operation ranges divided by the operation range setting unit with a partial area of the display screen displayed by the display device,
The operation guide indicating the processing of the application according to the state of the user in the divided operation range is displayed in each area of the display screen corresponding to each divided operation range. Display system

前記画像処理装置は、前記複数に分割した操作範囲のそれぞれに対応させた表示領域に表示させる操作ガイドのうち、前記手検出部により検出されたユーザの手が存在する操作範囲に対応させた表示領域に表示させる操作ガイドを、他の操作ガイドとは区別可能に強調表示させることを特徴とした請求項３に記載の表示システム。 The image processing apparatus displays a display corresponding to an operation range in which a user's hand detected by the hand detection unit is present among operation guides to be displayed in a display area corresponding to each of the plurality of operation ranges. 4. The display system according to claim 3, wherein the operation guide displayed in the area is highlighted so as to be distinguishable from other operation guides.

前記撮像部から被写体までの距離情報を算出する距離算出手段を有し、
前記画像処理装置は、前記撮像した画像の画面内に設定する操作範囲として、前記距離算出部が算出する距離に応じて複数段階の奥行方向の操作範囲を設定し、
前記手検出部により検出されたユーザの手位置及び前記距離算出手段が算出した前記距離情報から、前記ユーザの手が存在する前記奥行方向の操作範囲を判断し、該判断した操作範囲における予め定められたアプリケーションの処理を実行することを特徴とする請求項２に記載の表示システム。 Distance calculating means for calculating distance information from the imaging unit to the subject;
The image processing apparatus sets an operation range in a plurality of stages in the depth direction according to the distance calculated by the distance calculation unit as an operation range to be set in the screen of the captured image.
An operation range in the depth direction in which the user's hand exists is determined from the user's hand position detected by the hand detection unit and the distance information calculated by the distance calculation unit, and predetermined in the determined operation range. The display system according to claim 2, wherein processing of the specified application is executed.

前記画像処理装置は、前記操作範囲設定部が設定した前記奥行方向の操作範囲のそれぞれにおけるユーザの状態に応じたアプリケーションの処理を示す操作ガイドを、前記表示装置の表示画面に前記奥行方向の操作範囲に対応させて３次元的に配置して見えるように表示させることを特徴とする請求項６に記載の表示システム。 The image processing apparatus is configured to display an operation guide indicating an application process corresponding to a user state in each of the operation ranges in the depth direction set by the operation range setting unit on the display screen of the display device in the depth direction. The display system according to claim 6, wherein the display system is displayed so as to be arranged in a three-dimensional manner corresponding to the range.

前記画像処理装置は、前記複数段階に設定した奥行方向の操作範囲のそれぞれに対応させた前記操作ガイドのうち、前記手検出部により検出されたユーザの手が存在する操作範囲に対応させた操作ガイドを、他の操作ガイドとは区別可能に強調表示させることを特徴とした請求項７に記載の表示システム。 The image processing apparatus performs an operation corresponding to an operation range in which a user's hand detected by the hand detection unit exists among the operation guides corresponding to each of the operation ranges in the depth direction set in the plurality of stages. The display system according to claim 7, wherein the guide is highlighted so as to be distinguishable from other operation guides.

前記撮像装置は、２つの前記撮像部を備え、
前記距離算出手段として、前記２つの撮像部により撮像された画像の視差に基づいて、前記撮像部から被写体までの距離情報を算出する距離算出部を有することを特徴とする請求項６〜８のいずれか１に記載の表示システム。 The imaging apparatus includes two imaging units,
The distance calculation unit includes a distance calculation unit that calculates distance information from the imaging unit to the subject based on parallax of images captured by the two imaging units. The display system according to any one of the above.

前記距離算出手段として、赤外線もしくはレーザ光を発光して被写体からの反射光を解析することにより前記撮像部から被写体までの距離情報を算出する測距部を有することを特徴とする請求項６〜８のいずれか１に記載の表示システム。 The distance calculation unit includes a distance measuring unit that calculates distance information from the imaging unit to the subject by emitting infrared rays or laser light and analyzing reflected light from the subject. 9. The display system according to any one of 8.