JP5900161B2 - 情報処理システム、方法およびコンピュータ読み取り可能な記録媒体 - Google Patents

情報処理システム、方法およびコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
JP5900161B2
JP5900161B2 JP2012121555A JP2012121555A JP5900161B2 JP 5900161 B2 JP5900161 B2 JP 5900161B2 JP 2012121555 A JP2012121555 A JP 2012121555A JP 2012121555 A JP2012121555 A JP 2012121555A JP 5900161 B2 JP5900161 B2 JP 5900161B2
Authority
JP
Japan
Prior art keywords
target object
image
image processing
present
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012121555A
Other languages
English (en)
Other versions
JP2013246743A (ja
JP2013246743A5 (ja
Inventor
木村　淳
淳 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2012121555A priority Critical patent/JP5900161B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to BR112014029104A priority patent/BR112014029104A2/pt
Priority to US14/381,419 priority patent/US9507999B2/en
Priority to PCT/JP2013/002827 priority patent/WO2013179566A1/en
Priority to EP13724892.8A priority patent/EP2856283B1/en
Priority to RU2014146984A priority patent/RU2014146984A/ru
Priority to CN201380026904.5A priority patent/CN104364732B/zh
Publication of JP2013246743A publication Critical patent/JP2013246743A/ja
Publication of JP2013246743A5 publication Critical patent/JP2013246743A5/ja
Application granted granted Critical
Publication of JP5900161B2 publication Critical patent/JP5900161B2/ja
Priority to US15/345,724 priority patent/US9704028B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/30—Arrangements in telecontrol or telemetry systems using a wired architecture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/40—Arrangements in telecontrol or telemetry systems using a wireless architecture
    • H04Q2209/43—Arrangements in telecontrol or telemetry systems using a wireless architecture using wireless personal area networks [WPAN], e.g. 802.15, 802.15.1, 802.15.4, Bluetooth or ZigBee
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/80—Arrangements in the sub-station, i.e. sensing device
    • H04Q2209/84—Measuring functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Description

本開示は、画像処理装置、およびプログラムに関する。
近年、電子機器などの装置の高機能化や多機能化がますます進んでおり、ユーザが装置を使用するために当該装置に対して与えなければならない指示の内容は、より多様化、複雑化している。このような中、多くの装置ではユーザインタフェースとしてＧＵＩ（Graphical User Interface）が採用されており、ユーザは、ＣＵＩ（Character User Interface）が採用されている装置を用いる場合よりも、より容易に装置に指示を与えることが可能となっている。しかしながら、例えば、マウスなどのポインティングデバイスを用いた操作に慣れていないユーザにとっては、ポインティングデバイスを用いて操作が行われるＧＵＩは必ずしも操作性のよいユーザインタフェースではない。
また、ユーザの身振りや手振りに応じて処理を実行させる技術が開発されている。ユーザの身振りや手振りに応じて処理を実行させる技術としては、例えば、特許文献１に記載の技術が挙げられる。
特開平７−１４６７４９号公報
例えば特許文献１に記載の技術では、発光素子から発光された光が受光素子で受光されるまでの時間や、受光した回数に基づいて、実行する処理を切り替える。よって、例えば特許文献１に記載の技術を用いる場合には、ユーザの身振りや手振りに応じて処理を実行させることができる可能性はある。
しかしながら、例えば特許文献１に記載の技術は、発光素子から発光された光が受光素子で受光されるまでの時間や、受光した回数に基づいて、実行する処理を切り替えるものである。そのため、特許文献１に記載の技術が用いられる場合には、ユーザが行う身振りや手振りを、実行した処理の結果でしかユーザにフィードバックすることができない。よって、例えば特許文献１に記載の技術を用いる場合には、例えば、ユーザが行わなければならない身振りや手振りの数が増える程、または、ユーザが行わなければならない身振りや手振りが複雑になればなる程、ユーザが誤操作する可能性が高くなる。
本開示では、ユーザにジェスチャ動作をフィードバックすることが可能な、新規かつ改良された画像処理装置、およびプログラムを提案する。
本開示によれば、表示画面全体に対応する表示領域に表示される画像、または、上記表示領域における一部の領域に表示される画像と、ユーザにジェスチャ動作をフィードバックするための撮像画像とを合成する画像処理部と、合成された画像を、表示画面に表示させる表示制御部と、を備える、画像処理装置が提供される。
また、本開示によれば、コンピュータを、表示画面全体に対応する表示領域に表示される画像、または、上記表示領域における一部の領域に表示される画像と、ユーザにジェスチャ動作をフィードバックするための撮像画像とを合成する手段、合成された画像を、表示画面に表示させる手段、として機能させるためのプログラムが提供される。
本開示によれば、ユーザにジェスチャ動作をフィードバックすることができる。
本実施形態に係る画像処理装置における画像処理を説明するための説明図である。 本実施形態に係る画像処理装置における画像処理を説明するための説明図である。 本実施形態に係る画像処理装置における画像処理を説明するための説明図である。 本実施形態に係る画像処理装置における画像処理を説明するための説明図である。 本実施形態に係る画像処理装置における画像処理を説明するための説明図である。 本実施形態に係る画像処理装置における画像処理を説明するための説明図である。 本実施形態に係る画像処理装置における近距離判定処理、および通知処理の概要を説明するための説明図である。 本実施形態に係る画像処理装置における通知処理の一例を説明するための説明図である。 本実施形態に係る画像処理装置における画像処理の一例を示す流れ図である。 本実施形態に係る画像処理装置の構成の一例を示すブロック図である。 本実施形態に係る画像処理装置のハードウェア構成の一例を示す説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る画像処理方法
２．本実施形態に係る画像処理装置
３．本実施形態に係るプログラム
（本実施形態に係る画像処理方法）
本実施形態に係る画像処理装置の構成について説明する前に、本実施形態に係る画像処理方法について説明する。また、以下では、本実施形態に係る画像処理装置が、本実施形態に係る画像処理方法に係る処理を行うものとして説明する。
本実施形態に係る画像処理装置は、表示画面全体に対応する表示領域に表示される画像、または、表示領域における一部の領域に表示される画像と、ユーザにジェスチャ動作をフィードバックするための撮像画像とを合成する（画像処理）。そして、本実施形態に係る画像処理装置は、合成された画像を、表示画面に表示させる（表示制御処理）。
ここで、本実施形態に係る表示領域とは、表示画面全体に対応する領域であり、ジェスチャ認識が行われうる領域である。また、本実施形態に係る表示領域における一部の領域は、ジェスチャ認識が行われうる領域である。本実施形態に係る表示領域における一部の領域としては、例えば、表示領域の一部に表示されるシェル画面などが挙げられる。ここで、ジェスチャ認識に係る処理は、本実施形態に係る画像処理装置が行ってもよいし、本実施形態に係る画像処理装置の外部装置が行ってもよい。以下では、ジェスチャ認識に係る処理を行う本実施形態に係る画像処理装置、および／または、ジェスチャ認識に係る処理を行う外部装置を、「ジェスチャ認識に係る処理を行う装置」と示す。
また、本実施形態に係る表示画面としては、例えば、外部の表示装置における表示画面、または、本実施形態に係る画像処理装置が表示部（後述する）を備える場合には、当該表示部（後述する）における表示画面が挙げられる。また、本実施形態に係る表示画面は、例えば、プロジェクタにより投影された画像が表示されるスクリーンや壁などにおける、画像が表示される領域であってもよい。
また、本実施形態に係る撮像画像とは、例えば、外部の撮像装置、または、本実施形態に係る画像処理装置が撮像部（後述する）を備える場合には当該撮像部（後述する）によって撮像された画像に対して、鏡像処理（左右反転処理）が施された画像である。本実施形態に係る撮像画像は、ユーザにジェスチャ動作をフィードバックする役目を果たす。ここで、鏡像処理は、本実施形態に係る画像処理装置が行ってもよいし、または、撮像を行った撮像装置などの外部装置において行われてもよい。また、本実施形態に係る撮像画像としては、例えば、動画像（または、複数の静止画像）が挙げられる。以下では、本実施形態に係る撮像画像が、複数のフレーム画像からなる動画像である場合を例に挙げて説明する。
本実施形態に係る外部の撮像装置、撮像部（後述する）としては、例えば、ＲＧＢの輝度情報が取得可能なカメラが挙げられるが、本実施形態に係る外部の撮像装置、撮像部（後述する）は、上記に限られない。例えば、本実施形態に係る外部の撮像装置、撮像部（後述する）は、デプスカメラのような深度情報が取得可能な特殊なカメラであってもよい。
なお、本実施形態に係る撮像画像は、鏡像処理（左右反転処理）が施された画像に限られない。例えば、撮像装置や撮像部（後述する）において鏡像が撮像される場合には、本実施形態に係る撮像画像は、撮像された画像そのものであってもよい。
本実施形態に係る画像処理装置が上記のような処理を行うことによって、表示領域全体、または、表示領域の一部の領域に、撮像画像が合成された画像が表示される。撮像画像が合成された画像が、表示画面に表示されることによって、ユーザは、例えば、自己の手をスライドさせる、自己の手を用いて押す操作を行う、複数本の指で拡大操作、縮小操作、移動操作を行うなど、自己のジェスチャの内容を視覚的に確認することができる。したがって、本実施形態に係る画像処理装置が上記のような処理を行うことによって、本実施形態に係る画像処理装置は、ユーザに対してジェスチャ動作をフィードバックすることができる。
本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば、（１）画像処理、および（２）表示制御処理を行う。以下、本実施形態に係る画像処理方法に係る処理についてより具体的に説明する。
（１）画像処理
本実施形態に係る画像処理装置は、表示画面全体に対応する表示領域に表示される画像、または、表示領域における一部の領域に表示される画像と、撮像画像とを合成する。
なお、本実施形態に係る画像処理装置における画像処理は、表示画面全体に対応する表示領域に表示される画像、または、表示領域における一部の領域に表示される画像と、撮像画像とを、単に合成することに限られない。
（１−１）画像処理の第１の例
例えば、表示領域に表示される画像と、表示領域における一部の領域に表示される画像とには、ボタンやアイコン、メニュー、コンテンツを示すサムネイル（例えば、再生中のコンテンツを示すサムネイルを含む。）などのユーザによる操作が可能な、ジェスチャ認識の結果に応じて操作される、操作の対象となるオブジェクト（以下、「操作対象オブジェクト」と示す。）が含まれる場合がある。操作対象オブジェクトが、撮像画像を合成させる表示領域に表示される画像、または、撮像画像を合成させる表示領域における一部の領域に表示される画像に含まれる場合には、本実施形態に係る画像処理装置は、例えば、操作対象オブジェクトが配置される領域に、撮像画像を合成させないことが可能である。
上記のように、操作対象オブジェクトが配置される領域に撮像画像を合成させないことによって、本実施形態に係る画像処理装置は、操作対象オブジェクトの視認性が合成によって低下する可能性を低減させることができる。
（１−２）画像処理の第２の例
表示領域に表示される画像、または、表示領域における一部の領域に表示される画像と、撮像画像とを、単に合成する場合には、例えば、表示領域に表示される画像、または、表示領域における一部の領域に表示される画像に含まれている操作対象オブジェクトの視認性が低下する可能性がある。そこで、本実施形態に係る画像処理装置は、上記のような操作対象オブジェクトの視認性が低下する可能性を低減させるために、例えば、撮像画像の可視化の程度を変化させ、可視化の程度を変化させた撮像画像と、表示領域に表示される画像、または、表示領域における一部の領域に表示される画像とを合成することも可能である。
ここで、本実施形態に係る撮像画像の可視化の程度の変化としては、例えば、撮像画像を平滑化する平滑化の度合いを変化させることが挙げられる。
本実施形態に係る画像処理装置は、例えば、撮像画像を平滑化することによって、あたかも画家が描いたような絵画調の効果（例えば、筆触効果等）が撮像画像に対して与える。より具体的には、本実施形態に係る画像処理装置は、例えば、画像におけるエッジのベクトル方向（または、当該ベクトルと、画像の垂直方向や水平方向などの基準方向との角度）を算出し、当該ベクトル方向に基づいて、エッジ保存平滑化フィルタの強弱を調整する。そして、本実施形態に係る画像処理装置は、調整されたエッジ保存平滑化フィルタを用いて撮像画像を平滑化することによって、絵画調の効果を撮像画像に対して与える。ここで、本実施形態に係るエッジ保存平滑化フィルタとしては、例えば、バイラテラルフィルタ（bilateral filter）などのようなエッジを保存することが可能な平滑化フィルタが挙げられる。なお、本実施形態に係る画像処理装置における、絵画調の効果を撮像画像に対して与えるための処理は、上記に限られない。本実施形態に係る画像処理装置は、絵画調の効果を撮像画像に対して与えることが可能な任意の技術を用いることが可能である。
なお、本実施形態に係る撮像画像の可視化の程度の変化は、上記に限られない。例えば、本実施形態に係る画像処理装置は、撮像画像に対してガウシアンフィルタ（gaussian filter）などを適用することによって、撮像画像に対してぼかし効果を与えてもよい。また、本実施形態に係る画像処理装置は、例えば、ポスタリゼーションや、モザイク、線画、シルエット表示など、撮像画像に対する様々な画像処理を行うことによって、撮像画像の可視化の程度を変化させてもよい。
また、本実施形態に係る画像処理装置は、例えば、撮像画像を透過させる度合いを、撮像画像内で変化させることによって、撮像画像を部分的に可視化してもよい。より具体的には、本実施形態に係る画像処理装置は、例えば、撮像画像の背景部分における空間周波数や色合いを検出し、検出結果に応じて動的に透過度を変える。本実施形態に係る画像処理装置は、例えば、検出された空間周波数が高い程（複雑な画像である程）、透過度を低くし、また、検出された色合いが濃い程、透過度を低くする。例えば上記のように、検出された空間周波数が高い程、透過度を低くし、また、検出された色合いが濃い程、透過度を低くすることによって、本実施形態に係る画像処理装置は、操作対象画像に含まれている操作対象オブジェクトの視認性の低下をより防止することができる。
以下、本実施形態に係る画像処理装置が、可視化の程度を変化させた撮像画像と、表示領域に表示される画像、または、表示領域における一部の領域に表示される画像とを合成する場合を主に例に挙げて、本実施形態に係る画像処理の一例について説明する。
図１は、本実施形態に係る画像処理装置における画像処理を説明するための説明図であり、本実施形態に係る画像処理装置が表示画面に表示させる画像の一例を示している。ここで、図１に示すＡは、画像処理において表示領域に表示される画像と撮像画像とが合成された画像の一例を示しており、図１に示すＢは、画像処理において表示領域における一部の領域に表示される画像と撮像画像とが合成された画像の一例を示している。また、図１に示す“ＳＣ１”は、表示領域を示しており、図１に示す“ＳＣ２”は、表示領域における一部の領域を示している。
図１のＡに示すように、本実施形態に係る画像処理装置は、表示領域ＳＣ１に表示される画像と撮像画像とを合成する。そして、本実施形態に係る画像処理装置は、後述する（２）の処理（表示制御処理）において、合成された画像を表示画面に表示させる。よって、図１のＡに示すように、表示領域ＳＣ１に表示される画像と撮像画像とが合成される場合には、本実施形態に係る画像処理装置は、表示画面全体を用いて、ユーザにジェスチャ動作をフィードバックすることができる。
また、図１のＢに示すように、本実施形態に係る画像処理装置は、表示領域における一部の領域ＳＣ２に表示される画像と撮像画像とを合成する。そして、本実施形態に係る画像処理装置は、後述する（２）の処理（表示制御処理）において、合成された画像を表示画面に表示させる。よって、図１のＢに示すように、表示領域における一部の領域ＳＣ２に表示される画像と撮像画像とが合成される場合には、本実施形態に係る画像処理装置は、表示画面の一部を用いて、ユーザにジェスチャ動作をフィードバックすることができる。ここで、表示領域における一部の領域ＳＣ２の大きさや、位置は、例えば、予め設定されるが、本実施形態に係る表示領域における一部の領域ＳＣ２は、上記に限られない。例えば、本実施形態に係る表示領域における一部の領域ＳＣ２の大きさや、位置は、ユーザなどが自由に設定することが可能であってもよい。
以下、本実施形態に係る画像処理において表示領域に表示される画像と撮像画像とが合成される場合、および本実施形態に係る画像処理において表示領域における一部の領域に表示される画像と撮像画像とが合成される場合それぞれにおいて、表示画面に表示される画像の一例について、説明する。
（Ｉ）表示領域に表示される画像と撮像画像とが合成される場合
図２は、本実施形態に係る画像処理装置における画像処理を説明するための説明図である。ここで、図２は、本実施形態に係る画像処理において表示領域に表示される画像と撮像画像とが合成される場合に、本実施形態に係る表示制御処理により表示画面に表示される画像の一例を示している。なお、図２では、説明の便宜上、本実施形態に係る画像処理によって合成された画像ではなく、撮像画像が合成される前の表示領域に表示される画像の一例のみを示している。
図２に示すように、表示領域に表示される画像には、ボタンやアイコン、メニュー、コンテンツを示すサムネイルなどのユーザによる操作可能な、操作対象オブジェクトが含まれうる。また、図２のＡ〜Ｆに示すように、操作対象オブジェクトは、表示領域内の様々な位置に配置されうる。ここで、表示領域内において操作対象オブジェクトは、例えば、図２のＡ〜Ｃに示すように表示領域内で自由に配置されてもよいし、図２のＤ、Ｅに示すような水平方向に重きが置かれる配置や図２のＦに示すような垂直方向に重きが置かれる配置など、特定の方向に重きが置かれて配置されてもよい。また、表示領域に表示される画像には、例えば、図２のＢ〜Ｆに示す操作対象オブジェクトＯ１のように、表示画面に表示される画像の一部の操作対象オブジェクトを水平方向または垂直方向にスライドさせて表示させるための（いわゆるスクロールをさせるための）操作対象オブジェクトが含まれていてもよい。
例えば、図２のＡに示す画像（より厳密には、図２のＡに示す画像と撮像画像とが合成された画像。以下、同様とする。）が表示画面に表示されている場合において、ユーザ（操作者）が、所望の操作対象オブジェクト上で、当該操作対象オブジェクトを手で叩く（タッチする）ようなジェスチャ（ジェスチャの一例）や、ユーザ（操作者）が、所望の操作対象オブジェクトを設定された所定の時間手で触れ続けるジェスチャ（ジェスチャの一例）を行うと、ジェスチャ認識に係る処理を行う装置は、例えば、当該操作対象オブジェクトに対応する処理をジェスチャ認識に係る処理を行う装置に実行させるための実行操作が行われたと認識する。ここで、上記の例は、ユーザの手が、ジェスチャ認識が行われる対象のオブジェクト（以下、「認識対象オブジェクト」と示す。）である場合における例を示している。そして、実行操作が行われたと認識された場合には、ジェスチャ認識に係る処理を行う装置は、例えば、実行操作が行われた対象の操作対象オブジェクトに対応付られた処理を行う。ここで、操作対象オブジェクトに対応付られた処理としては、例えば、対応するコンテンツデータを再生する再生処理や、対応付けられたアプリケーションを実行する処理、他の操作画面へと画面遷移する処理などが挙げられる。なお、本実施形態に係るジェスチャ認識に係る処理を行う装置が認識するジェスチャ操作が、操作対象オブジェクトを手で叩くようなジェスチャや、所望の操作対象オブジェクトを所定の時間手で触れ続けるジェスチャに限られないこと、および、本実施形態に係るジェスチャ認識に係る処理を行う装置が認識したジェスチャ操作に応じて行う処理が、上記に示す例に限られないことは、言うまでもない。
また、図２のＢ〜Ｆに示す画像（より厳密には、図２のＢ〜Ｆに示す画像と撮像画像とが合成された画像。以下、同様とする。）が表示画面に表示されている場合においても、上記図２のＡに示す画像が表示画面に表示されている場合と同様に、ジェスチャ認識に係る処理を行う装置は、実行操作を認識する。そして、ジェスチャ認識に係る処理を行う装置は、例えば、実行操作が行われた対象の操作対象オブジェクトに対応付られた処理を行う。
例えば、図２のＢ〜Ｆに示す操作対象オブジェクトＯ１に対して実行操作が行われたと認識された場合には、ジェスチャ認識に係る処理を行う装置は、一部の操作対象オブジェクトをスクロールをさせるためのスクロール処理を行う。より具体的には、例えば、図２のＢ、Ｃに示す操作対象オブジェクトＯ１に対して実行操作が行われたと認識された場合には、ジェスチャ認識に係る処理を行う装置は、図２のＢに示す操作対象オブジェクトＯ２、図２のＣに示す操作対象オブジェクトＯ３以外に表示可能な操作対象オブジェクトが存在しないので、ジェスチャ認識に係る処理を行う装置は、操作対象オブジェクトＯ２、操作対象オブジェクトＯ３をスクロールさせない。また、例えば、図２のＤ、Ｅに示す操作対象オブジェクトＯ１に対して実行操作が行われたと認識された場合には、ジェスチャ認識に係る処理を行う装置は、図２のＤに示す操作対象オブジェクトＯ４、図２のＥに示す操作対象オブジェクトＯ５を、水平方向（例えば、表示画面における向かって右方向）に、操作対象オブジェクトＯ４、操作対象オブジェクトＯ５をスクロールさせる。また、例えば、図２のＦに示す操作対象オブジェクトＯ１に対して実行操作が行われたと認識された場合には、ジェスチャ認識に係る処理を行う装置は、図２のＦに示す操作対象オブジェクトＯ６を、垂直方向（例えば、表示画面における向かって下方向）に、操作対象オブジェクトＯ６をスクロールさせる。
（ＩＩ）表示領域における一部の領域に表示される画像と撮像画像とが合成される場合
図３は、本実施形態に係る画像処理装置における画像処理を説明するための説明図である。ここで、図３は、本実施形態に係る画像処理において表示領域における一部の領域に表示される画像と撮像画像とが合成される場合に、本実施形態に係る表示制御処理により表示画面に表示される画像の一例を示している。例えば、図３に示すＡ、Ｄは、シェル画面を示す画像が、表示領域における一部の領域に表示される画像として表示画面に表示される例を示している。また、例えば、図３に示すＢ、Ｅは、コンテンツのタイトルを示す画像が、表示領域における一部の領域に表示される画像として表示画面に表示される例（タイトル表示の一例）を示している。また、例えば、図３に示すＣ、Ｆは、表示領域における一部の領域に操作対象オブジェクトが含まれ、かつ、表示領域における一部の領域がグラデーション表示されている例（グラデーション表示の一例）を示している。また、図３では、コンテンツデータが再生されているときに表示画面の一部に表示される画像の一例を示している。また、図３に示す“ＳＣ１”は、表示領域を示しており、図３に示す“ＳＣ２”は、表示領域における一部の領域を示している。
図３のＡ〜Ｃに示す表示領域における一部の領域ＳＣ２に示すように、本実施形態に係る画像処理装置における画像処理、表示制御処理によって、表示領域における一部の領域に表示される画像と撮像画像とが合成された画像が、表示画面に表示される。表示領域における一部の領域に表示される画像には、上述したように、例えば、ボタンやアイコン、メニュー、コンテンツを示すサムネイルなどのユーザによる操作可能な、操作対象オブジェクトが含まれうる。よって、ジェスチャ認識に係る処理を行う装置は、表示領域に表示される画像と撮像画像とが合成される場合と同様に、例えば、ユーザによるジェスチャ操作を認識し、認識したジェスチャ操作に対応する処理を行うことが可能である。
例えば、図３のＡに示す画像が表示画面に表示されている場合において、ユーザ（操作者）が、所望の操作対象オブジェクト上で、当該操作対象オブジェクトを手で叩く（タッチする）ようなジェスチャ（ジェスチャの一例）を行うと、ジェスチャ認識に係る処理を行う装置は、例えば、当該操作対象オブジェクトに対応する処理をジェスチャ認識に係る処理を行う装置に実行させるための実行操作が行われたと認識する。そして、実行操作が行われたと認識された場合には、ジェスチャ認識に係る処理を行う装置は、例えば、実行操作が行われた対象の操作対象オブジェクトに対応付られた処理を行う。
また、図３のＢ、Ｃに示す画像が表示画面に表示されている場合においても、上記図３のＡに示す画像が表示画面に表示されている場合と同様に、ジェスチャ認識に係る処理を行う装置は、実行操作を認識する。そして、ジェスチャ認識に係る処理を行う装置は、例えば、実行操作が行われた対象の操作対象オブジェクトに対応付られた処理を行う。例えば、図３のＢに示す画像が表示画面に表示されている場合、ジェスチャ認識に係る処理を行う装置は、実行操作が行われた対象の操作対象オブジェクトに対応付られたコンテンツデータを再生する再生処理を行う。実行操作が行われた対象の操作対象オブジェクトに対応付られたコンテンツデータを再生する再生処理を行うことによって、表示画面には、実行操作が行われた対象の操作対象オブジェクトに対応付られたコンテンツデータが示すコンテンツが表示されることとなる。
例えば図３のＡ〜Ｃに示すように、本実施形態に係る画像処理装置は、本実施形態に係る画像処理において、表示領域における一部の領域に表示される画像と撮像画像とを合成し、後述する（２）の処理（表示制御処理）において、合成された画像を表示画面に表示させる。
なお、本実施形態に係る画像処理装置が、表示画面に表示させる画像は、表示領域における一部の領域に表示される画像と撮像画像とが合成された画像に限られない。例えば、本実施形態に係る画像処理装置は、図３のＤ〜Ｆに示すように、表示領域における一部の領域に表示される画像と撮像画像とを合成させずに、表示領域における一部の領域に表示される画像を表示させることも可能である。例えば図３のＤ〜Ｆに示すように、表示領域における一部の領域に表示される画像が表示画面に表示される場合には、ユーザ（操作者）は、例えば、マウスなどのポインティングデバイスや、ボタンなどの操作デバイス、リモート・コントローラなどの外部操作デバイスを用いた操作を行う。そして、処理を実行する装置（例えば、本実施形態に係る画像処理装置、および／または、外部装置）は、上記のような各種デバイスから伝達されるユーザ操作に応じた操作信号に基づいて、当該ユーザ操作に対応する処理を行う。
本実施形態に係る画像処理装置は、例えば、図２、図３に示すように、表示領域に表示される画像、または、表示領域における一部の領域に表示される画像と、撮像画像とを合成し、合成された画像を表示画面に表示させる。よって、本実施形態に係る画像処理装置は、表示画面全体、または、表示画面の一部を用いて、ユーザにジェスチャ動作をフィードバックすることができる。
なお、本実施形態に係る画像処理、および表示制御処理によって表示画面に表示される画像は、図２、図３に示す例に限られない。
図４は、本実施形態に係る画像処理装置における画像処理を説明するための説明図である。ここで、図４は、本実施形態に係る画像処理装置が、本実施形態に係る画像処理において表示領域に表示される画像と撮像画像とを合成した場合に表示画面に表示される画像の一例を示している。なお、図４に示す画像の例は、本実施形態に係る画像処理において表示領域における一部の領域に表示される画像と撮像画像とが合成される場合にも適用することが可能である。
例えば図４のＡは、音量を変更するための画像（表示領域に表示される画像の一例）と、撮像画像とが合成された画像の一例を示している。例えば、図４のＡに示す画像が表示画面に表示されている場合において、ユーザ（操作者）が、所望の操作対象オブジェクト上に、指（ジェスチャ認識が行われる認識対象オブジェクトの一例）を移動させると、ジェスチャ認識に係る処理を行う装置は、認識対象オブジェクトであるユーザの指を検出する。そして、ジェスチャ認識に係る処理を行う装置は、表示画面上でジェスチャ認識がされる位置を示すポインタを、検出された指の位置へと移動させる。
図４のＡに示す画像が表示画面に表示されている場合において、ユーザ（操作者）が、所望の操作対象オブジェクト上で、当該操作対象オブジェクトを手で叩く（タッチする）ようなジェスチャ（ジェスチャの一例）を行うと、ジェスチャ認識に係る処理を行う装置は、例えば、当該操作対象オブジェクトに対応する処理をジェスチャ認識に係る処理を行う装置に実行させるための実行操作が行われたと認識する。そして、実行操作が行われたと認識された場合には、ジェスチャ認識に係る処理を行う装置は、例えば、実行操作が行われた対象の操作対象オブジェクトに対応付られた処理を行う。
よって、図４のＡに示す画像が表示画面に表示されている場合において、ジェスチャ認識に係る処理を行う装置が、実行操作が行われた対象の操作対象オブジェクトに対応付られた処理を行うことにより、ユーザは、ジェスチャ操作によって、例えば、消音や音量の増加、減少に係る処理を、ジェスチャ認識に係る処理を行う装置に行わせることができる。
また、例えば図４のＢは、テレビジョン放送におけるチャンネルを変更するための画像（表示領域に表示される画像の一例）と、撮像画像とが合成された画像の一例を示している。例えば、図４のＢに示す画像が表示画面に表示されている場合においても、上記図４のＡに示す画像が表示画面に表示されている場合と同様に、ジェスチャ認識に係る処理を行う装置は、例えば、実行操作を認識し、実行操作が行われた対象の操作対象オブジェクトに対応付られた処理を行う。例えば、図４のＢに示す“ｂａｃｋ”に対応する操作対象オブジェクトに対して実行操作が行われたと認識された場合には、ジェスチャ認識に係る処理を行う装置は、チャンネルを現在のチャンネルの１つ前のチャンネルへと変える。また、例えば、図４のＢに示す“ｎｅｘｔ”に対応する操作対象オブジェクトに対して実行操作が行われたと認識された場合には、ジェスチャ認識に係る処理を行う装置は、チャンネルを現在のチャンネルの１つ後のチャンネルへと変える。
よって、図４のＢに示す画像が表示画面に表示されている場合において、ジェスチャ認識に係る処理を行う装置が、実行操作が行われた対象の操作対象オブジェクトに対応付られた処理を行うことにより、ユーザは、ジェスチャ操作によって、例えば、チャンネルの変更に係る処理を、ジェスチャ認識に係る処理を行う装置に行わせることができる。
また、例えば図４のＣは、再生させるコンテンツデータを選択するための画像（表示領域に表示される画像の一例）と、撮像画像とが合成された画像の一例を示している。例えば、図４のＣに示す画像が表示画面に表示されている場合においても、上記図４のＡに示す画像が表示画面に表示されている場合と同様に、ジェスチャ認識に係る処理を行う装置は、例えば、実行操作を認識し、実行操作が行われた対象の操作対象オブジェクトに対応付られた処理を行う。例えば、図４のＣに示す“ｃｏｎｔｅｎｔＡ”、“ｃｏｎｔｅｎｔＢ”、“ｃｏｎｔｅｎｔＣ”のいずれかに対応する操作対象オブジェクトに対して実行操作が行われたと認識された場合には、ジェスチャ認識に係る処理を行う装置は、実行操作が行われたと認識された操作対象オブジェクトに対応付けられたコンテンツデータを再生させる。
よって、図４のＣに示す画像が表示画面に表示されている場合において、ジェスチャ認識に係る処理を行う装置が、実行操作が行われた対象の操作対象オブジェクトに対応付られた処理を行うことにより、ユーザは、ジェスチャ操作によって、例えば、所望のコンテンツを示すコンテンツデータを生成する再生処理を、ジェスチャ認識に係る処理を行う装置に行わせることができる。
また、例えば、図４のＤは、ＥＰＧ（Electronic Program Guide）を示す画像（表示領域に表示される画像の一例）と、撮像画像とが合成された画像の一例を示している。例えば、図４のＤに示す画像が表示画面に表示されている場合においても、上記図４のＡに示す画像が表示画面に表示されている場合と同様に、ジェスチャ認識に係る処理を行う装置は、例えば、実行操作を認識し、実行操作が行われた対象の操作対象オブジェクトに対応付られた処理を行う。例えば、ＥＰＧが示す番組の中の一の番組に対応する操作対象オブジェクトに対して実行操作が行われたと認識された場合には、ジェスチャ認識に係る処理を行う装置は、実行操作が行われたと認識された操作対象オブジェクトに対応する番組の録画予約を行う、当該番組の情報を検索して表示する、などの処理を行う。
よって、図４のＣに示す画像が表示画面に表示されている場合において、ジェスチャ認識に係る処理を行う装置が、実行操作が行われた対象の操作対象オブジェクトに対応付られた処理を行うことにより、ユーザは、ジェスチャ操作によって、例えば、所望の番組に関する処理を、ジェスチャ認識に係る処理を行う装置に行わせることができる。
また、例えば、図４のＥは、地図を示す画像（表示領域に表示される画像の一例）と、撮像画像とが合成された画像の一例を示している。例えば、図４のＥに示す画像が表示画面に表示されている場合においても、上記図４のＡに示す画像が表示画面に表示されている場合と同様に、ジェスチャ認識に係る処理を行う装置は、例えば、実行操作を認識し、実行操作が行われた対象の操作対象オブジェクトに対応付られた処理を行う。例えば、地図内の一の地点（操作対象オブジェクトに該当する。）に対して実行操作が行われたと認識された場合には、ジェスチャ認識に係る処理を行う装置は、実行操作が行われたと認識された地点を拡大表示する、当該地点の情報を検索して表示する、などの処理を行う。
よって、図４のＤに示す画像が表示画面に表示されている場合において、ジェスチャ認識に係る処理を行う装置が、実行操作が行われた対象の操作対象オブジェクトに対応付られた処理を行うことにより、ユーザは、ジェスチャ操作によって、例えば、所望の地点に関する処理を、ジェスチャ認識に係る処理を行う装置に行わせることができる。
また、例えば、図４のＦは、音声入力に対する出力結果を示す画像（表示領域に表示される画像の一例）と、撮像画像とが合成された画像の一例を示している。例えば、図４のＦに示す画像が表示画面に表示されている場合においても、上記図４のＡに示す画像が表示画面に表示されている場合と同様に、ジェスチャ認識に係る処理を行う装置は、例えば、実行操作を認識し、実行操作が行われた対象の操作対象オブジェクトに対応付られた処理を行う。例えば、音声入力に対する出力結果を示す操作対象オブジェクトに対して実行操作が行われたと認識された場合には、ジェスチャ認識に係る処理を行う装置は、実行操作が行われたと認識された操作対象オブジェクトに対応するアプリケーションやデータを実行するなどの処理を行う。
よって、図４のＦに示す画像が表示画面に表示されている場合において、ジェスチャ認識に係る処理を行う装置が、実行操作が行われた対象の操作対象オブジェクトに対応付られた処理を行うことにより、ユーザは、ジェスチャ操作によって、例えば、音声入力に対する出力結果に関する処理を、ジェスチャ認識に係る処理を行う装置に行わせることができる。
また、例えば、図４のＧは、ＡＲ（Augmented Reality）の出力結果を示す画像（表示領域に表示される画像の一例）と、撮像画像とが合成された画像の一例を示している。例えば、図４のＧに示す画像が表示画面に表示されている場合においても、上記図４のＡに示す画像が表示画面に表示されている場合と同様に、ジェスチャ認識に係る処理を行う装置は、例えば、実行操作を認識し、実行操作が行われた対象の操作対象オブジェクトに対応付られた処理を行う。例えば、ＡＲの出力結果を示す操作対象オブジェクトに対して実行操作が行われたと認識された場合には、ジェスチャ認識に係る処理を行う装置は、実行操作が行われたと認識された操作対象オブジェクトに対応するアプリケーションやデータを実行するなどの処理を行う。
本実施形態に係る画像処理装置は、例えば、図２〜図４に示すように、本実施形態に係る画像処理、および表示制御処理によって、様々な画像を表示画面に表示させる。なお、本実施形態に係る画像処理装置が、表示画面に表示させる画像が、図２〜図４に示す例に限られないことは、言うまでもない。
本実施形態に係る画像処理装置は、上述したように、表示画面全体に対応する表示領域に表示される画像、または、表示領域における一部の領域に表示される画像と、撮像画像とを合成する処理を、本実施形態に係る画像処理として行う。なお、本実施形態に係る画像処理装置における画像処理は、上述した処理に限られない。
（１−３）画像処理の第３の例
例えば、本実施形態に係る画像処理装置は、撮像画像からジェスチャ認識が行われる認識対象オブジェクトを検出し、検出された認識対象オブジェクトの位置に基づいて、操作対象オブジェクトを、撮像画像が合成される表示領域に表示される画像、または、撮像画像が合成される表示領域における一部の領域に表示される画像に配置してもよい。
図５は、本実施形態に係る画像処理装置における画像処理を説明するための説明図である。ここで、図５に示すＡは、本実施形態に係る画像処理装置が、本実施形態に係る画像処理において表示領域に表示される画像と撮像画像とを合成した場合に表示画面に表示される画像の一例を示している。また、図５に示すＢは、本実施形態に係る画像処理装置が、本実施形態に係る画像処理において表示領域における一部の領域に表示される画像と撮像画像とを合成した場合に表示画面に表示される画像の一例を示している。また、図５に示す“ＳＣ１”は、表示領域を示しており、図５に示す“ＳＣ２”は、表示領域における一部の領域を示している。
また、図５は、本実施形態に係る画像処理装置が、ユーザの指を認識対象オブジェクトとして検出する場合において表示される画像の一例を示している。なお、本実施形態に係る認識対象オブジェクトは、ユーザの指に限られず、例えば、ユーザの手や、特定のデバイスなど、特定のオブジェクトであってもよい。
本実施形態に係る画像処理装置は、撮像画像からユーザの指（認識対象オブジェクトの一例）を検出する。ここで、本実施形態に係る画像処理装置は、例えば、撮像画像からエッジを検出し、検出されたエッジを示すエッジ画像と、テンプレート画像とに基づくテンプレートマッチング処理を行うことによって、撮像画像からユーザの指を検出する。なお、本実施形態に係る画像処理装置は、任意の指検出技術を用いて、撮像画像からユーザの指を検出してもよい。
撮像画像からユーザの指が検出されると、本実施形態に係る画像処理装置は、撮像画像において検出された指の位置（例えば、座標で表される。以下、同様とする。）に基づいて、当該撮像画像が合成される表示領域に表示される画像、または、当該撮像画像が合成される表示領域における一部の領域に表示される画像における、操作対象オブジェクトを配置する位置を決定する。本実施形態に係る画像処理装置は、例えば、検出された指の位置から所定の距離離れた位置を、操作対象オブジェクトを配置する位置として決定する。上記所定の距離は、例えば、予め設定される固定値であってもよいし、ユーザ操作などに基づいて変更可能な可変値であってもよい。また、本実施形態に係る画像処理装置は、設定されている優先度に基づいて、操作対象オブジェクトを配置する位置を決定してもよい。上記優先度の設定例としては、例えば、検出された指の位置から水平方向に所定の距離離れた位置が優先度が高く設定され、検出された指の位置から垂直方向に所定の距離離れた位置が優先度が低く設定されることが挙げられる。
撮像画像が合成される表示領域に表示される画像、または、撮像画像が合成される表示領域における一部の領域に表示される画像における、操作対象オブジェクトを配置する位置が決定されると、本実施形態に係る画像処理装置は、例えば、当該表示領域に表示される画像、または、当該表示領域における一部の領域に表示される画像に、操作対象オブジェクトを配置する。また、本実施形態に係る画像処理装置は、表示領域に表示される画像、または、表示領域における一部の領域に表示される画像と、撮像画像とを合成する。そして、本実施形態に係る画像処理装置は、後述する（２）の処理（表示制御処理）において、合成された画像を表示画面に表示させる。
例えば上記のような処理を行うことによって、本実施形態に係る画像処理装置は、例えば、図５のＡ、Ｂに示すように、ユーザの指（認識対象オブジェクトの一例）の近辺に操作対象オブジェクトが表示される画像を、表示画面に表示させることができる。
（１−４）画像処理の第４の例
また、本実施形態に係る画像処理装置は、例えば、撮像画像からジェスチャ認識が行われる認識対象オブジェクトを検出し、検出された認識対象オブジェクトの動きに基づいて、表示領域に表示される画像、または、表示領域における一部の領域に表示される画像に、操作対象オブジェクトを新たに配置することも可能である。
図６は、本実施形態に係る画像処理装置における画像処理を説明するための説明図である。ここで、図６に示すＡは、本実施形態に係る画像処理装置が、本実施形態に係る画像処理において表示領域に表示される画像と撮像画像とを合成した場合に表示画面に表示される画像の一例を示している。また、図６に示すＢは、本実施形態に係る画像処理装置が、本実施形態に係る画像処理において表示領域における一部の領域に表示される画像と撮像画像とを合成した場合に表示画面に表示される画像の一例を示している。また、図６に示す“ＳＣ１”は、表示領域を示しており、図６に示す“ＳＣ２”は、表示領域における一部の領域を示している。
また、図６は、図５に示す例と同様に、本実施形態に係る画像処理装置が、ユーザの指を認識対象オブジェクトとして検出する場合において表示される画像の一例を示している。なお、上述したように、本実施形態に係る認識対象オブジェクトは、ユーザの指に限られず、例えば、ユーザの手や、特定のデバイスなど、特定のオブジェクトであってもよい。また、図６に示す上向きの矢印は、ユーザの指（認識対象オブジェクトの一例）の動きの一例を、便宜上図示しているものである。
本実施形態に係る画像処理装置は、撮像画像からユーザの指（認識対象オブジェクトの一例）を検出する。ここで、本実施形態に係る画像処理装置は、ユーザの指の検出に係る処理を、定期的／非定期的に繰り返す。
また、本実施形態に係る画像処理装置は、前回検出された指の位置と今回検出された指の位置とに基づいて、ユーザの指（認識対象オブジェクトの一例）の動きを検出する。そして、本実施形態に係る画像処理装置は、検出された動きが所定の動きである場合に、表示領域に表示される画像、または、表示領域における一部の領域に表示される画像に、操作対象オブジェクトを新たに配置する。
例えば、ユーザの指の動きとして、ユーザの指が上に動いたことが検出された場合には、図６に示すＡ、Ｂに示すように、新たな操作対象オブジェクトである“Ａｄｄ Ａ”、“Ａｄｄ Ｂ”を、新たに配置する。
例えば上記のような処理を行うことによって、本実施形態に係る画像処理装置は、例えば、図６のＡ、Ｂに示すように、ユーザの指（認識対象オブジェクトの一例）の動きに基づいて、操作対象オブジェクトが新たに配置される画像を、表示画面に表示させることができる。なお、上記では、ユーザの指（認識対象オブジェクトの一例）が上に動いたことが検出された場合における処理の例を示したが、本実施形態に係る画像処理装置が検出する動きは、上記に限られない。例えば、本実施形態に係る画像処理装置は、ユーザの指が下、や左右に動いたことが検出された場合には、当該動きに基づいて操作対象オブジェクトを新たに配置することも可能である。ここで、本実施形態に係る画像処理装置が新たな操作対象オブジェクトを配置する位置は、検出された動きの方向に対応する位置であってもよいし、予め設定された方向対応する位置であってもよい。
（２）表示制御処理
本実施形態に係る画像処理装置は、上記（１）の処理（画像処理）において合成された画像を表示画面に表示させる。
ここで、本実施形態に係る画像処理装置が外部の表示装置の表示画面に上記画像を表示させる場合には、本実施形態に係る画像処理装置は、例えば、上記画像を示す画像信号を当該表示装置へ送信することによって、当該表示装置に上記画像を表示させる。また、本実施形態に係る画像処理装置が表示部（後述する）の表示画面に上記画像を表示させる場合には、本実施形態に係る画像処理装置は、表示部（後述する）に上記画像を示す画像信号を伝達することによって、上記画像を表示させる。
本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば、上記（１）の処理（画像処理）、および（２）の処理（表示制御処理）を行う。本実施形態に係る画像処理装置は、上記（１）の処理（画像処理）において、表示画面全体に対応する表示領域に表示される画像、または、表示領域における一部の領域に表示される画像と、撮像画像とを合成する。そして、合成された画像は、上記（２）の処理（表示制御処理）によって表示画面に表示される。
ここで、本実施形態に係る画像処理装置が、上記（１）の処理（画像処理）において、表示画面全体に対応する表示領域に表示される画像と撮像画像とを合成する場合には、本実施形態に係る画像処理装置は、表示画面全体を用いて、ユーザにジェスチャ動作をフィードバックすることができる。また、本実施形態に係る画像処理装置が、上記（１）の処理（画像処理）において、表示領域における一部の領域に表示される画像と撮像画像とを合成する場合には、本実施形態に係る画像処理装置は、表示画面の一部を用いて、ユーザにジェスチャ動作をフィードバックすることができる。
したがって、本実施形態に係る画像処理装置は、ユーザにジェスチャ動作をフィードバックすることができる。
なお、本実施形態に係る画像処理装置における、本実施形態に係る画像処理方法に係る処理は、上記（１）の処理（画像処理）、および（２）の処理（表示制御処理）に限られない。
例えば、ユーザがジェスチャ動作を行う場合、撮像画像を撮像した撮像デバイス（撮像装置）と、ユーザの手などのジェスチャ認識が行われる認識対象オブジェクトとの距離が近い場合には、ジェスチャ認識に係る処理を行う装置において、ジェスチャ操作を認識できないことが起こりうる。上記は、例えば、撮像画像からユーザの手の形状が全て検出できない場合など、認識対象オブジェクトが正常に検出できない場合に生じる。
ここで、上記のようなジェスチャ操作を認識できない事態を防止する方法としては、例えば、“赤外線センサやレーザーなどの距離を測定可能なデバイスを用いて近距離であるかを判定し、近距離であると判定した場合にユーザに対して通知を行う方法”や、“撮像画像の輝度値の変化に基づき近距離であるかを判定し、近距離であると判定した場合にユーザに対して通知を行う方法”が考えられる。
しかしながら、赤外線センサなどの距離を測定可能なデバイスを用いて近距離であるかを判定する方法は、当該デバイスが必要であり、当該デバイスを備えていない装置には、当該方法は、適用することができない。また、撮像画像の輝度値の変化に基づき近距離であるかを判定する方法は、撮像画像の輝度値の変化に基づき近距離であるかを判定するので、撮像デバイスにおける撮像条件によっては、誤判定が起こりうる。
そこで、本実施形態に係る画像処理装置は、撮像画像に基づいて、撮像画像に含まれる動きがあるオブジェクトと撮像画像を撮像した撮像装置との間の距離が、近距離であるかを判定する（近距離判定処理）。
より具体的には、本実施形態に係る画像処理装置は、撮像画像に基づき算出されるオブジェクトの動きを示す動き情報に基づいて、オブジェクトと撮像装置との間の距離が、近距離であるかを判定する。本実施形態に係る画像処理装置は、例えば、動き情報に基づいて、撮像画像における特定の動き方向に対応する領域の面積を算出し、算出された面積と所定の閾値とに基づく閾値処理によって、オブジェクトと撮像装置との間の距離が、近距離であるかを判定する。
ここで、本実施形態に係る動き情報としては、例えば、撮像画像から算出される動きベクトル（オプティカルフロー）が挙げられる。本実施形態に係る画像処理装置は、例えば、撮像画像における輝度情報を用いて動きベクトルを算出する。撮像画像の画像サイズが、ＶＧＡや
ＱＶＧＡである場合、本実施形態に係る画像処理装置は、例えば、３２×３２のブロック単位、またはそれ以上の大きさのブロック単位で、動きベクトルを算出する。なお、本実施形態に係る画像処理装置が動きベクトルを算出するブロックサイズは、上記に限られず、本実施形態に係る画像処理装置は、例えば、画素ごとや、４×４のブロック単位に、動きベクトルを算出してもよい。また、本実施形態に係る画像処理装置は、例えば、ジェスチャ認識が行われる認識対象オブジェクトや、ジェスチャ認識が行われるジェスチャ動作に応じて、動きベクトルを算出するブロックサイズを変えてもよい。
なお、本実施形態に係る画像処理装置における動きベクトルの算出に係る処理は、上記に限られない。例えば、本実施形態に係る画像処理装置は、撮像画像における特定の色（例えば、肌色や、緑色など）を示す色情報を用いて、動きベクトルを算出することも可能である。また、撮像画像が複数のフレーム画像からなる動画像である場合、本実施形態に係る画像処理装置は、例えば、時系列的に連続するフレーム画像間の差分をとることによって、動きベクトルを算出する。
また、本実施形態に係る画像処理装置における動きベクトルの算出方法は、上記に限られない。例えば、本実施形態に係る画像処理装置は、撮像画像に基づいて動きベクトルを算出可能な任意の方法を用いて、動きベクトルを算出してもよい。また、本実施形態に係る画像処理装置は、例えば、撮像画像からユーザの手などのジェスチャ認識が行われる認識対象オブジェクトを検出し、認識対象オブジェクトの検出位置や認識対象オブジェクトが検出された領域（例えば、認識対象オブジェクトが手である場合には、肌色を示す領域など）に基づいて、撮像画像において動きベクトルを算出する対象の領域を限定してもよい。動きベクトルを算出する対象の領域を限定することによって、本実施形態に係る画像処理装置は、動きベクトルの算出に係る処理量を軽減することができる。
上記近距離判定処理が行われると、本実施形態に係る画像処理装置は、上記近距離判定処理における距離に関する判定結果に基づいて、距離に関する判定結果を、ユーザに対して選択的に通知させる（通知処理）。より具体的には、本実施形態に係る画像処理装置は、上記近距離判定処理において近距離であると判定された場合に、距離に関する判定結果をユーザに対して通知させる。また、本実施形態に係る画像処理装置は、例えば、上記近距離判定処理において近距離であると判定されない場合には、距離に関する判定結果をユーザに対して通知させない。
図７は、本実施形態に係る画像処理装置における近距離判定処理、および通知処理の概要を説明するための説明図である。
図７のＡに示すように、ユーザが、例えば手を用いたジェスチャ動作を行うと、本実施形態に係る画像処理装置は、例えば図７のＢに示すように、撮像画像から算出されたオブジェクトの動きを示す動き情報を算出する。ここで、図７のＢでは、説明の便宜上、算出された動きベクトル（動き情報）を撮像画像上に図示している。
また、本実施形態に係る画像処理装置は、動き情報に基づいて、撮像画像における特定の動き方向に対応する領域の面積を算出する。
より具体的には、本実施形態に係る画像処理装置は、算出された動きベクトル（動き情報）それぞれについて、例えば下記の数式１を満たすか否かを判定する。そして、本実施形態に係る画像処理装置は、算出された動きベクトル（動き情報）のうち、下記の数式１を満たす動きベクトルを、特定の動き方向を示す動きベクトルとして決定する。ここで、本実施形態に係る画像処理装置が動き方向を決定する理由は、例えば、撮像デバイス（撮像装置）におけるＡｕｔｏＷＢ（White Balance）処理やＡｕｔｏＧａｉｎ処理などの各種処理や、ノイズなどによる動き検出のあばれと、オブジェクトの動きとを区別するためである。動き方向を決定することによって、例えば、ノイズなどの影響を除外することが可能となる。なお、本実施形態に係る画像処理装置は、例えば、水平方向および垂直方向の４方向や、水平方向または垂直方向の２方向など、特定の動き方向を予め限定して、特定の動き方向を示す動きベクトルを決定してもよい。
ここで、下記の数式１に示す“ｄｉｒｅｃｔｉｏｎ_ｓｉｚｅ”は、動きベクトルの大きさを示し、また、下記の数式１に示す“ｄｉｒｅｃｔｉｏｎ_ｓｉｚｅ_ｔｈｒｅｓ”は、設定されている閾値を示している。また、閾値ｄｉｒｅｃｔｉｏｎ_ｓｉｚｅ_ｔｈｒｅｓは、例えば、予め設定されている固定値であってもよいし、ユーザ操作などに基づいて変更可能な可変値であってもよい。
なお、本実施形態に係る画像処理装置における特定の動き方向を示す動きベクトルの決定に係る処理は、下記の数式１を用いる処理に限られない。例えば、本実施形態に係る画像処理装置は、閾値ｄｉｒｅｃｔｉｏｎ_ｓｉｚｅ_ｔｈｒｅｓ以上の大きさの動きベクトルを、特定の動き方向を示す動きベクトルとして決定してもよい。
ｄｉｒｅｃｔｉｏｎ_ｓｉｚｅ＞ｄｉｒｅｃｔｉｏｎ_ｓｉｚｅ_ｔｈｒｅｓ
・・・（数式１）
特定の動き方向を示す動きベクトルが決定されると、本実施形態に係る画像処理装置は、例えば、特定の動き方向ごとに、同一の動き方向を有するベクトルの面積ｄｉｒｅｃｔｉｏｎ_ｒａｔｉｏを算出する。
特定の動き方向ごとの面積ｄｉｒｅｃｔｉｏｎ_ｒａｔｉｏが算出されると、本実施形態に係る画像処理装置は、例えば、算出された面積ｄｉｒｅｃｔｉｏｎ_ｒａｔｉｏそれぞれについて、下記の数式２を満たすか否かを判定する。そして、本実施形態に係る画像処理装置は、算出された面積ｄｉｒｅｃｔｉｏｎ_ｒａｔｉｏのいずれかが下記の数式２を満たすと判定された場合に、撮像画像に含まれるオブジェクトと撮像装置との間の距離が、近距離であると判定する。
ここで、下記の数式２に示す“ｄｉｒｅｃｔｉｏｎ_ｒａｔｉｏ_ｔｈｒｅｓ”は、設定されている閾値を示している。また、閾値ｄｉｒｅｃｔｉｏｎ_ｒａｔｉｏ_ｔｈｒｅｓとしては、例えば、予め設定されている固定値が挙げられるが、本実施形態に係る閾値ｄｉｒｅｃｔｉｏｎ_ｒａｔｉｏ_ｔｈｒｅｓは、上記に限られない。例えば、本実施形態に係る閾値ｄｉｒｅｃｔｉｏｎ_ｒａｔｉｏ_ｔｈｒｅｓは、ユーザ操作などに基づいて変更可能な可変値であってもよい。また、本実施形態に係る閾値ｄｉｒｅｃｔｉｏｎ_ｒａｔｉｏ_ｔｈｒｅｓは、例えば、ジェスチャ認識に係る処理を行う装置やジェスチャ認識に係る処理を行うアプリケーションそれぞれにおける、動き方向の大きさや使用される距離などに基づいて、ジェスチャ認識に係る処理を行う装置やジェスチャ認識に係る処理を行うアプリケーションごとに設定されてもよい。
なお、本実施形態に係る画像処理装置における近距離であるか否かの判定に係る処理は、下記の数式２を用いる処理に限られない。例えば、本実施形態に係る画像処理装置は、面積ｄｉｒｅｃｔｉｏｎ_ｒａｔｉｏが閾値ｄｉｒｅｃｔｉｏｎ_ｒａｔｉｏ_ｔｈｒｅｓ以上となった場合に、撮像画像に含まれるオブジェクトと撮像装置との間の距離が、近距離であると判定してもよい。
ｄｉｒｅｃｔｉｏｎ_ｒａｔｉｏ＞ｄｉｒｅｃｔｉｏｎ_ｒａｔｉｏ_ｔｈｒｅｓ
・・・（数式２）
例えば数式２に示すように、算出された面積と所定の閾値とに基づく閾値処理によって、オブジェクトと撮像装置との間の距離が近距離であるかが判定されると、本実施形態に係る画像処理装置は、図７のＣに示すように、近距離であると判定された場合に、距離に関する判定結果をユーザに対して通知させる。
ここで、本実施形態に係る画像処理装置は、例えば図７のＣに示す“距離が近すぎます”というような文字を表示画面に表示させることなどによる、視覚的な通知方法によって、距離に関する判定結果をユーザに対して通知させる。なお、本実施形態に係る画像処理装置における距離に関する判定結果の通知方法は、視覚的な通知方法に限られない。例えば、本実施形態に係る画像処理装置は、音声（音楽やビープ音などを含む。以下、同様とする。）を用いた聴覚的な通知方法によって、距離に関する判定結果をユーザに対して通知させてもよい。また、本実施形態に係る画像処理装置は、例えば、視覚的な通知方法と聴覚的な通知方法とを組み合わせた通知方法によって、距離に関する判定結果をユーザに対して通知させることも可能である。
ここで、本実施形態に係る画像処理装置が通知を行わせる対象としては、例えば、自装置（本実施形態に係る画像処理装置）が備える表示部（後述する）や音声出力部（後述する）、および／または、外部表示装置や外部音声出力装置などの外部装置などが挙げられる。
図８は、本実施形態に係る画像処理装置における通知処理の一例を説明するための説明図である。ここで、図８は、ユーザ（操作者）が手を用いたジェスチャ操作を行った場合における、本実施形態に係る通知の例を示している。
本実施形態に係る画像処理装置は、例えば、図８のＡに示すように、算出された動き情報に基づいて動きの軌跡を表示画面に表示させることによって、距離に関する判定結果を通知する。例えば図８のＡに示すように、動きの軌跡が表示画面に表示されることによって、ユーザは、自己のジェスチャ動作の動作方向を視覚的に確認することができる。また、本実施形態に係る画像処理装置が、さらに上記（１）の処理（画像処理）、および（２）の処理（表示制御処理）を行っている場合には、ユーザは、例えば、ジェスチャ動作がジェスチャ認識に係る処理を行う装置において、自己のジェスチャ動作が認識されているかを視覚的に把握することができる。
また、本実施形態に係る画像処理装置は、例えば、図８のＢに示すように、文字を表示画面に表示させることによって、距離に関する判定結果を通知する。ここで、本実施形態に係る画像処理装置は、例えば、近距離であると判定されたオブジェクトに係る領域（動きがある領域）における重心位置を算出し、算出された重心位置に文字を表示させる。なお、本実施形態に係る画像処理装置が文字を表示させる位置は、上記に限られない。例えば、本実施形態に係る画像処理装置は、予め設定されている位置に文字を表示させてもよい。
また、本実施形態に係る画像処理装置は、例えば、図８のＣに示すように、アイコン（例えば、マークや、手形状など）を表示画面に表示させることによって、距離に関する判定結果を通知する。ここで、本実施形態に係る画像処理装置は、例えば、近距離であると判定されたオブジェクトに係る領域（動きがある領域）内の位置に、アイコンを表示させる。なお、本実施形態に係る画像処理装置がアイコンを表示させる位置は、上記に限られない。例えば、本実施形態に係る画像処理装置は、近距離であると判定されたオブジェクトに係る領域における重心位置にアイコンを表示させてもよく、また、予め設定されている位置にアイコンを表示させてもよい。
また、本実施形態に係る画像処理装置は、例えば、図８のＤに示すように、動きの大きさに対応する大きさの矩形などを表示画面に表示させることによって、距離に関する判定結果を通知する。ここで、本実施形態に係る画像処理装置は、例えば、近距離であると判定されたオブジェクトに係る領域（動きがある領域）内の位置に、矩形などを表示させる。なお、本実施形態に係る画像処理装置が矩形などを表示させる位置は、上記に限られない。例えば、本実施形態に係る画像処理装置は、近距離であると判定されたオブジェクトに係る領域における重心位置に矩形などを表示させてもよく、また、予め設定されている位置に矩形などを表示させてもよい。
また、本実施形態に係る画像処理装置は、例えば、図８のＥに示すように、表示画面に文字などを表示させる通知方法を用いず、音声によって距離に関する判定結果を通知してもよい。
本実施形態に係る画像処理装置は、例えば図８に示すような様々な通知方法によって、距離に関する判定結果を、ユーザに対して通知させる。
なお、本実施形態に係る通知は、図８に示す例に限られない。例えば、本実施形態に係る画像処理装置が、上記（１）の処理（画像処理）、および（２）の処理（表示制御処理）を行っていない場合には、本実施形態に係る画像処理装置は、上記（１）の処理（画像処理）に係る合成された画像を表示画面に表示させずに、ジェスチャ操作に応じて操作されるポインタを表示画面に表示させる。そして、本実施形態に係る画像処理装置は、例えば、上記の場合において距離に関する判定結果が近距離であることを示すときに、撮像画像、または、上記（１）の処理（画像処理）に係る合成された画像を、表示画面に表示させることによって、距離に関する判定結果を、ユーザに対して通知させることも可能である。
本実施形態に係る画像処理装置は、例えば、（３）近距離判定処理、および（４）通知処理を行うことによって、撮像画像に含まれる動きがあるオブジェクトと撮像画像を撮像した撮像デバイス（撮像装置）との間の距離が、近距離であるかを撮像画像に基づいて判定し、距離に関する判定結果を、近距離であると判定された場合にユーザに対して選択的に通知させる。
ここで、本実施形態に係る画像処理装置は、上記（３）の処理（近距離判定処理）において、撮像画像から算出される動きベクトル（動き情報）に基づいて、撮像画像に含まれる動きがあるオブジェクトと撮像デバイス（撮像装置）との間の距離が近距離であるか否かを判定する。よって、本実施形態に係る画像処理装置は、上記赤外線センサなどの距離を測定可能なデバイスを用いて近距離であるかを判定する方法のように、距離を測定可能なデバイスを備えていない装置においても、近距離であるかを判定することができる。また、本実施形態に係る画像処理装置は、撮像画像から算出される動きベクトル（動き情報）に基づいて近距離であるかを判定するので、上記撮像画像の輝度値の変化に基づき近距離であるかを判定する方法のように、撮像デバイスにおける撮像条件によらずに、近距離であるかを判定することが可能である。
したがって、本実施形態に係る画像処理装置は、撮像画像に含まれる動きがあるオブジェクトと撮像画像を撮像した撮像デバイス（撮像装置）との間の距離に関する、より正確な判定結果を、ユーザに対して選択的に通知させることができる。
また、本実施形態に係る画像処理装置が距離に関する判定結果を選択的に通知することによって、ユーザは、例えば、自己のジェスチャ動作が近距離で行われているかや、自己のジェスチャ動作の間違いに気づくことができる。また、距離に関する判定結果を選択的に通知することによって、ユーザを、ジェスチャ動作を行うより適切な位置に、誘導するきっかけを与えることができるので、本実施形態に係る画像処理装置は、ユーザの利便性を向上させることができる。
なお、本実施形態に係る画像処理装置における、本実施形態に係る画像処理方法に係る処理は、“上記（１）の処理（画像処理）、および（２）の処理（表示制御処理）”や、“上記（３）の処理（近距離判定処理）および上記（４）の処理（通知処理）”に限られない。
例えば、本実施形態に係る画像処理装置は、上記（３）の処理（近距離判定処理）に係るデータ（例えば、判定結果を示す判定結果データや、当該判定結果データに対応する動き情報など）を、記憶部（後述する）や外部記録媒体などの記録媒体に記録させてもよい（記録処理）。上記（３）の処理（近距離判定処理）に係るデータを外部記録媒体に記録させる場合には、本実施形態に係る画像処理装置は、例えば、上記（３）の処理（近距離判定処理）に係るデータと、データを記録させるための記録命令とを、外部記録媒体に対して送信する。本実施形態に係る画像処理装置が、上記（３）の処理（近距離判定処理）に係るデータを記録媒体に記録させることによって、例えば、ジェスチャ動作がジェスチャ認識に係る処理を行う装置において認識されない原因を事後的に解析する解析システムや、固定の撮像デバイス（撮像装置）などにおける通常の動きと異なる撮像デバイスの操作や撮像デバイスに対するいたずらなどを検出する監視システムを、実現することが可能となる。
また、本実施形態に係る画像処理装置は、例えば、上記（３）の処理（近距離判定処理）によって近距離であると判定された場合に、別のアプリケーションを実行させる切替制御処理を行うことも可能である。上記切替制御処理が行われる場合には、上記（３）の処理（近距離判定処理）は、アプリケーションを切り替えるスイッチの役目を果たすこととなる。
また、上記では、本実施形態に係る画像処理装置が上記（４）の処理（通知処理）を行う例を示したが、本実施形態に係る画像処理装置は、上記（４）の処理（通知処理）を行わないことも可能である。例えば、本実施形態に係る画像処理装置は、上記（４）の処理（通知処理）を行わずに、上記記録処理や、上記切替制御処理を行ってもよい。
さらに、本実施形態に係る画像処理装置は、例えば、“上記（１）の処理（画像処理）〜上記（４）の処理（通知処理）”や、“上記（１）の処理（画像処理）〜上記（３）の処理（近距離判定処理）”など、上述した本実施形態に係る画像処理に係る処理のうち、組み合わせ可能な処理を、本実施形態に係る画像処理として行うことが可能である。
図９は、本実施形態に係る画像処理装置における画像処理の一例を示す流れ図である。ここで、図９は、本実施形態に係る画像処理装置が、本実施形態に係る画像処理として、上記（３）の処理（近距離判定処理）および上記（４）の処理（通知処理）を行う場合の処理の一例を示している。また、図９では、例えば、ステップＳ１００〜Ｓ１０８の処理が、上記（３）の処理（近距離判定処理）に該当し、また、ステップＳ１１０の処理が、上記（４）の処理（通知処理）に該当する。
本実施形態に係る画像処理装置は、撮像画像に基づいて、動きベクトル（動き情報）を算出する（Ｓ１００）。
本実施形態に係る画像処理装置は、ステップＳ１００において算出された動きベクトルに基づいて、動き方向を決定する（Ｓ１０２）。本実施形態に係る画像処理装置は、例えば、上記数式１を満たす動きベクトルを判定し、上記数式１を満たす動きベクトルが示す動き方向を、特定の動き方向として決定する。ステップＳ１０２の処理は、例えば、上記数式１を満たす動きベクトルを、特定の動き方向を示す動きベクトルとして決定する処理に相当する。
本実施形態に係る画像処理装置は、ステップＳ１０２において決定された動き方向に基づいて、動き面積を算出する（Ｓ１０４）。本実施形態に係る画像処理装置は、例えば、決定された動き方向に対応する、同一の動き方向を有する動きベクトルに対応する領域の面積を算出し、算出された面積を動き面積とする。
本実施形態に係る画像処理装置は、算出された動き面積に基づいて、近距離判定を行う（Ｓ１０８）。本実施形態に係る画像処理装置は、例えば、ステップＳ１０４において算出された動き面積それぞれについて、上記数式２を満たすか否かを判定する。そして、本実施形態に係る画像処理装置は、例えば、ステップＳ１０４において算出された動き面積のいずれかが上記数式２を満たすと判定された場合に、撮像画像に含まれるオブジェクトと撮像装置との間の距離が、近距離であると判定する。
ステップＳ１０６の処理が行われると、本実施形態に係る画像処理装置は、近距離と判定されたか否かを判定する（Ｓ１０８）。
ステップＳ１０８において近距離と判定されない場合には、本実施形態に係る画像処理装置は、本実施形態に係る画像処理を終了する。
また、ステップＳ１０８において近距離と判定された場合には、本実施形態に係る画像処理装置は、判定結果を、ユーザに対して通知させる（Ｓ１１０）。そして、本実施形態に係る画像処理装置は、本実施形態に係る画像処理を終了する。
本実施形態に係る画像処理装置は、例えば図９に示す処理を行うことによって、本実施形態に係る画像処理方法に係る上記（３）の処理（近距離判定処理）および上記（４）の処理（通知処理）を実現する。なお、本実施形態に係る画像処理方法に係る処理が、図９に示す処理に限られないことは、言うまでもない。
（本実施形態に係る画像処理装置）
次に、上述した本実施形態に係る画像処理方法に係る処理を行うことが可能な、本実施形態に係る画像処理装置の構成の一例について、説明する。
図１０は、本実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。ここで、図１０では、撮像を行う撮像装置２００と、画像を表示画面に表示可能な表示装置３００とを併せて示している。
画像処理装置１００は、例えば、通信部１０２と、制御部１０４とを備える。
また、画像処理装置１００は、例えば、ＲＯＭ（Read Only Memory。図示せず）や、ＲＡＭ（Random Access Memory。図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。画像処理装置１００は、例えば、データの伝送路としてのバス（bus）により上記各構成要素間を接続する。
ここで、ＲＯＭ（図示せず）は、制御部１０４が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部１０４により実行されるプログラムなどを一時的に記憶する。
記憶部（図示せず）は、画像処理装置１００が備える記憶手段であり、例えば、表示領域に表示される画像や表示領域における一部の領域に表示される画像を示す画像データや、撮像画像を示す画像データ、上記（３）の処理（近距離判定処理）に係るデータ（例えば、判定結果を示す判定結果データや、当該判定結果データに対応する動き情報など）、アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュメモリ（flash memory）などの不揮発性メモリ（nonvolatile memory）などが挙げられる。また、記憶部（図示せず）は、画像処理装置１００から着脱可能であってもよい。
また、操作部（図示せず）としては、後述する操作入力デバイスが挙げられ、表示部（図示せず）としては、後述する表示デバイスが挙げられる。
［画像処理装置１００のハードウェア構成例］
図１１は、本実施形態に係る画像処理装置１００のハードウェア構成の一例を示す説明図である。画像処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４とを備える。また、画像処理装置１００は、例えば、データの伝送路としてのバス１６６で各構成要素間を接続する。
ＭＰＵ１５０は、例えば、ＭＰＵ（Micro Processing Unit）や、各種処理回路などで構成され画像処理装置１００全体を制御する制御部１０４として機能する。また、ＭＰＵ１５０は、画像処理装置１００において、例えば、後述する画像処理部１１０、表示制御部１１２、近距離判定部１１４、および通知処理部１１６の役目を果たす。
ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
記録媒体１５６は、記憶部（図示せず）として機能し、例えば、表示領域に表示される画像や表示領域における一部の領域に表示される画像を示す画像データや、撮像画像を示す画像データ、上記（３）の処理（近距離判定処理）に係るデータ（例えば、判定結果を示す判定結果データや、当該判定結果データに対応する動き情報など）、アプリケーションなど様々なデータを記憶する。ここで、記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体１５６は、画像処理装置１００から着脱可能であってもよい。
入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal Serial Bus）端子や、ＤＶＩ（Digital Visual Interface）端子、ＨＤＭＩ（High-Definition Multimedia Interface）端子、各種処理回路などが挙げられる。また、操作入力デバイス１６０は、例えば、画像処理装置１００上に備えられ、画像処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタン、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、表示デバイス１６２は、例えば、画像処理装置１００上に備えられ、画像処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）や有機ＥＬディスプレイ（organic ElectroLuminescence display。または、ＯＬＥＤディスプレイ（Organic Light Emitting Diode display）ともよばれる。）などが挙げられる。
なお、入出力インタフェース１５８が、画像処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）や、表示デバイスなどの、外部デバイスと接続することもできることは、言うまでもない。また、表示デバイス１６２は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスであってもよい。
通信インタフェース１６４は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、撮像装置２００や、表示装置３００、サーバなどの外部装置と無線／有線で通信を行うための通信部１０２として機能する。ここで、通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ（Radio Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local Area Network）端子および送受信回路（有線通信）などが挙げられる。また、本実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide Area Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ；Wireless Local Area Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless Wide Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
画像処理装置１００は、例えば図１０に示す構成によって、本実施形態に係る画像処理方法に係る処理を行う。
なお、本実施形態に係る画像処理装置１００のハードウェア構成は、図１０に示す構成に限られない。例えば、画像処理装置１００は、静止画像または動画像を撮像する撮像部（図示せず）の役目を果たす撮像デバイスを備えていてもよい。撮像デバイスを備える場合には、画像処理装置１００は、例えば、撮像デバイスにおける撮像により生成された撮像画像を処理することが可能となる。
ここで、本実施形態に係る撮像デバイスとしては、例えば、レンズ／撮像素子と信号処理回路とが挙げられる。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。また、信号処理回路は、例えば、ＡＧＣ（Automatic Gain Control）回路やＡＤＣ（Analog to Digital Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理などが挙げられる。
また、画像処理装置１００は、例えば、音声を出力する音声出力部（図示せず）の役目を果たす、ＤＳＰ（Digital Signal Processor）と音声出力デバイスとをさらに備えていてもよい。本実施形態に係る音声出力デバイスとしては、例えば、増幅器（アンプ）およびスピーカなどが挙げられる。ＤＳＰと音声出力デバイスとをさらに備える場合には、画像処理装置１００は、音声出力デバイスから出力される音声によって、上記（３）の処理（近距離判定処理）における距離に関する判定結果をユーザに対して通知させることが可能となる。
また、画像処理装置１００は、例えば、スタンドアロンで処理を行う構成である場合には、通信デバイス１６４を備えていなくてもよい。また、画像処理装置１００は、操作デバイス１６０や表示デバイス１６２を備えない構成をとることも可能である。
再度図１０を参照して、画像処理装置１００の構成の一例について説明する。通信部１０２は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、撮像装置２００や、表示装置３００、サーバなどの外部装置と無線／有線で通信を行う。また、通信部１０２は、例えば制御部１０４により通信が制御される。ここで、通信部１０２としては、例えば、通信アンテナおよびＲＦ回路や、ＬＡＮ端子および送受信回路などが挙げられるが、通信部１０２の構成は、上記に限られない。例えば、通信部１０２は、ＵＳＢ端子および送受信回路など通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成をとることができる。
制御部１０４は、例えばＭＰＵなどで構成され、画像処理装置１００全体を制御する役目を果たす。また、制御部１０４は、例えば、画像処理部１１０と、表示制御部１１２と、近距離判定部１１４と、通知処理部１１６とを備え、本実施形態に係る画像処理方法に係る処理を主導的に行う役目を果たす。
画像処理部１１０は、上記（１）の処理（画像処理）を主導的に行う役目を果たし、表示領域に表示される画像、または、表示領域における一部の領域に表示される画像と、撮像画像とを合成する。また、画像処理部１１０は、例えば、撮像画像の可視化の程度を変化させ、可視化の程度を変化させた撮像画像と、表示領域に表示される画像、または、表示領域における一部の領域に表示される画像とを合成してもよい。
表示制御部１１２は、上記（２）の処理（表示制御処理）を主導的に行う役目を果たし、画像処理部１１０によって合成された画像を、表示画面に表示させる。
近距離判定部１１４は、上記（３）の処理（近距離判定処理）を主導的に行う役目を果たし、撮像画像に基づいて、撮像画像に含まれる動きがあるオブジェクトと撮像画像を撮像した撮像装置（例えば、撮像装置２００や、撮像部（図示せず））との間の距離が、近距離であるかを判定する。近距離判定部１１４は、例えば、撮像画像に基づき算出されるオブジェクトの動きを示す動き情報に基づいて、撮像画像における特定の動き方向に対応する領域の面積を算出する。そして、近距離判定部１１４は、算出された面積と所定の閾値とに基づいて、オブジェクトと撮像装置との間の距離が、近距離であるかを判定する。
通知処理部１１６は、上記（４）の処理（通知処理）を主導的に行う役目を果たし、近距離判定部１１４における距離に関する判定結果に基づいて、距離に関する判定結果を、ユーザに対して選択的に通知させる。ここで、通知処理部１１６は、例えば、近距離判定部１１４において近距離であると判定された場合に、距離に関する判定結果をユーザに対して通知させる。また、通知処理部１１６は、例えば、近距離判定部１１４において近距離であると判定されない場合には、距離に関する判定結果をユーザに対して通知させない。
制御部１０４は、例えば、画像処理部１１０、表示制御部１１２、近距離判定部１１４、および通知処理部１１６を備えることによって、本実施形態に係る画像処理方法に係る処理（例えば、上記（１）の処理（画像処理）〜上記（４）の処理（通知処理））を主導的に行う。
なお、本実施形態に係る制御部の構成は、図１０に示す構成に限られない。例えば、本実施形態に係る制御部は、上記記録処理を行う記録処理部（図示せず）、および／または、上記切替制御処理を行う切替制御処理部（図示せず）をさらに備えていてもよい。また、本実施形態に係る制御部は、例えば、撮像画像が合成された表示領域、または、撮像画像が合成された表示領域の一部の領域においてジェスチャ操作を認識し、認識されたジェスチャ操作に対応するジェスチャ認識に係る処理を行うジェスチャ認識処理部（図示せず）をさらに備えていてもよい。
また、本実施形態に係る制御部は、例えば、通知処理部１１６とを備えない構成をとってもよい。上記の構成をとる場合には、本実施形態に係る画像処理装置は、例えば、（１）の処理（画像処理）〜上記（３）の処理（近距離判定処理）を、本実施形態に係る画像処理方法に係る処理として行う。
また、本実施形態に係る制御部は、例えば、近距離判定部１１４と通知処理部１１６とを備えない構成をとってもよい。上記の構成をとる場合には、本実施形態に係る画像処理装置は、例えば、（１）の処理（画像処理）、および上記（２）の処理（表示制御処理）を、本実施形態に係る画像処理方法に係る処理として行う。
また、本実施形態に係る制御部は、例えば、画像処理部１１０と表示制御部１１２とを備えない構成をとることも可能である。上記の構成をとる場合には、本実施形態に係る画像処理装置は、例えば、上記（３）の処理（近距離判定処理）、および上記（４）の処理（通知処理）を、本実施形態に係る画像処理方法に係る処理として行う。
画像処理装置１００は、例えば図１０に示す構成によって、本実施形態に係る画像処理方法に係る処理（例えば、上記（１）の処理（画像処理）〜上記（４）の処理（通知処理））を行う。したがって、画像処理装置１００は、例えば図１０に示す構成によって、ユーザにジェスチャ動作をフィードバックすることができる。また、画像処理装置１００は、例えば図１０に示す構成によって、撮像画像に含まれる動きがあるオブジェクトと撮像画像を撮像した撮像装置（例えば、撮像装置２００や、撮像部（図示せず））との間の距離に関する、より正確な判定結果を、ユーザに対して選択的に通知させることができる。
なお、本実施形態に係る画像処理装置の構成は、図１０に示す構成に限られない。例えば、本実施形態に係る画像処理装置は、本実施形態に係る制御部を構成する各部のうちの１または２以上を個別に備える（例えば、それぞれを個別の処理回路で実現する）ことができる。
また、本実施形態に係る画像処理装置は、例えば、撮像部（図示せず）を備えていてもよい。撮像部（図示せず）を備える場合には、本実施形態に係る画像処理装置は、撮像部（図示せず）における撮像により生成された撮像画像を処理することが可能となる。
また、本実施形態に係る画像処理装置は、例えば、表示部（図示せず）を備えていてもよい。表示部（図示せず）を備える場合には、本実施形態に係る画像処理装置は、例えば、表示部（図示せず）の表示画面に、画像処理部１１０により合成された画像を表示させることができる。また、表示部（図示せず）を備える場合には、本実施形態に係る画像処理装置は、例えば、表示部（図示せず）の表示画面を用いて、図８のＡ〜Ｄに示すような近距離判定部１１４における判定結果をユーザに視覚的に通知することができる。
また、本実施形態に係る画像処理装置は、例えば、音声を出力することが可能な音声出力部（図示せず）を備えていてもよい。音声出力部（図示せず）を備える場合には、本実施形態に係る画像処理装置は、例えば、音声出力部（図示せず）から出力される音声によって、近距離判定部１１４における判定結果をユーザに通知することができる。
また、本実施形態に係る画像処理装置は、例えば、スタンドアロンで処理を行う構成である場合には、通信部１０２を備えていなくてもよい。
以上のように、本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば、上記（１）の処理（領域設定処理）と上記（２）の処理（画像処理）とを行う。本実施形態に係る画像処理装置は、上記（１）の処理（画像処理）において、表示画面全体に対応する表示領域に表示される画像、または、表示領域における一部の領域に表示される画像と、撮像画像とを合成する。そして、合成された画像は、上記（２）の処理（表示制御処理）によって表示画面に表示される。
ここで、本実施形態に係る画像処理装置が、上記（１）の処理（画像処理）において、表示画面全体に対応する表示領域に表示される画像と撮像画像とを合成する場合には、本実施形態に係る画像処理装置は、表示画面全体を用いて、ユーザにジェスチャ動作をフィードバックすることができる。また、本実施形態に係る画像処理装置が、上記（１）の処理（画像処理）において、表示領域における一部の領域に表示される画像と撮像画像とを合成する場合には、本実施形態に係る画像処理装置は、表示画面の一部を用いて、ユーザにジェスチャ動作をフィードバックすることができる。
したがって、本実施形態に係る画像処理装置は、ユーザにジェスチャ動作をフィードバックすることができる。
また、本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば、上記（３）の処理（近距離判定処理）、および上記（４）の処理（通知処理）を行うことも可能である。上記（３）の処理（近距離判定処理）、および上記（４）の処理（通知処理）を行う場合、本実施形態に係る画像処理装置は、撮像画像に含まれる動きがあるオブジェクトと撮像画像を撮像した撮像デバイス（撮像装置）との間の距離が、近距離であるかを撮像画像に基づいて判定し、距離に関する判定結果を、近距離であると判定された場合にユーザに対して選択的に通知させる。
ここで、本実施形態に係る画像処理装置は、上記（３）の処理（近距離判定処理）において、撮像画像から算出される動きベクトル（動き情報）に基づいて、撮像画像に含まれる動きがあるオブジェクトと撮像デバイス（撮像装置）との間の距離が近距離であるか否かを判定する。よって、本実施形態に係る画像処理装置は、上記赤外線センサなどの距離を測定可能なデバイスを用いて近距離であるかを判定する方法のように、距離を測定可能なデバイスを備えていない装置においても、近距離であるかを判定することができる。また、本実施形態に係る画像処理装置は、撮像画像から算出される動きベクトル（動き情報）に基づいて近距離であるかを判定するので、上記撮像画像の輝度値の変化に基づき近距離であるかを判定する方法のように、撮像デバイスにおける撮像条件によらずに、近距離であるかを判定することが可能である。
したがって、本実施形態に係る画像処理装置は、撮像画像に含まれる動きがあるオブジェクトと撮像画像を撮像した撮像装置との間の距離に関する、より正確な判定結果を、ユーザに対して選択的に通知させることができる。
以上、本実施形態として画像処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、携帯電話やスマートフォンなどの通信装置や、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機、ＰＣ（Personal Computer）やサーバなどのコンピュータ、テレビ受像機などの表示装置、デジタルカメラなどの撮像装置など、画像を処理することが可能な様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ＩＣ（Integrated Circuit）に適用することもできる。
また、本実施形態に係る画像処理方法に係る処理は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなる画像処理システムにより実現されてもよい。
（本実施形態に係るプログラム）
コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（例えば、“上記（１）の処理（領域設定処理）および上記（２）の処理（画像処理）”や、
“上記（１）の処理（領域設定処理）〜上記（３）の処理（近距離判定処理）”、“上記（１）の処理（領域設定処理）〜上記（４）の処理（通知処理）”など、本実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム）が、コンピュータにおいて実行されることによって、ユーザにジェスチャ動作をフィードバックすることができる。
また、コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（例えば、“上記（３）の処理（近距離判定処理）および上記（４）の処理（通知処理）”や、“上記（１）の処理（領域設定処理）〜上記（４）の処理（通知処理）”
など、本実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム）が、コンピュータにおいて実行されることによって、撮像画像に含まれる動きがあるオブジェクトと撮像画像を撮像した撮像装置との間の距離に関する、より正確な判定結果を、ユーザに対して選択的に通知させることができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記では、コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
表示画面全体に対応する表示領域に表示される画像、または、前記表示領域における一部の領域に表示される画像と、ユーザにジェスチャ動作をフィードバックするための撮像画像とを合成する画像処理部と、
合成された画像を、表示画面に表示させる表示制御部と、
を備える、画像処理装置。
（２）
前記表示領域に表示される画像と、前記表示領域における一部の領域に表示される画像とには、ジェスチャ認識の結果に応じて操作される操作対象オブジェクトが含まれ、
前記画像処理部は、前記操作対象オブジェクトが配置される領域には、前記撮像画像を合成させない、（１）に記載の画像処理装置。
（３）
前記画像処理部は、
前記撮像画像からジェスチャ認識が行われる認識対象オブジェクトを検出し、
検出された前記認識対象オブジェクトの位置に基づいて、ジェスチャ認識の結果に応じて操作される操作対象オブジェクトを、前記撮像画像が合成される前記表示領域に表示される画像、または、前記撮像画像が合成される前記表示領域における一部の領域に表示される画像に配置する、（１）、または（２）に記載の画像処理装置。
（４）
前記画像処理部は、
前記撮像画像からジェスチャ認識が行われる認識対象オブジェクトを検出し、
検出された前記認識対象オブジェクトの動きに基づいて、前記表示領域に表示される画像、または、前記表示領域における一部の領域に表示される画像に、ジェスチャ認識の結果に応じて操作される操作対象オブジェクトを新たに配置する、（１）〜（３）のいずれか１つに記載の画像処理装置。
（５）
前記画像処理部は、前記撮像画像の可視化の程度を変化させ、可視化の程度を変化させた撮像画像と、表示画面全体に対応する表示領域に表示される画像、または、前記表示領域における一部の領域に表示される画像とを合成する、（１）〜（４）のいずれか１つに記載の画像処理装置。
（６）
前記撮像画像に基づいて、前記撮像画像に含まれる動きがあるオブジェクトと、前記撮像画像を撮像した撮像装置との間の距離が、近距離であるかを判定する近距離判定部と、
前記距離に関する判定結果に基づいて、前記距離に関する判定結果を、ユーザに対して選択的に通知させる通知処理部と、
をさらに備える、（１）〜（５）のいずれか１つに記載の画像処理装置。
（７）
前記近距離判定部は、
前記撮像画像に基づき算出される前記オブジェクトの動きを示す動き情報に基づいて、前記撮像画像における特定の動き方向に対応する領域の面積を算出し、
算出された前記面積と所定の閾値とに基づいて、前記オブジェクトと前記撮像装置との間の距離が、近距離であるかを判定し、
前記通知処理部は、近距離であると判定された場合に、前記距離に関する判定結果をユーザに対して通知させる、（６）に記載の画像処理装置。
（８）
コンピュータを、
表示画面全体に対応する表示領域に表示される画像、または、前記表示領域における一部の領域に表示される画像と、ユーザにジェスチャ動作をフィードバックするための撮像画像とを合成する手段、
合成された画像を、表示画面に表示させる手段、
として機能させるためのプログラム。
１００ 画像処理装置
１０２ 通信部
１０４ 制御部
１１０ 画像処理部
１１２ 表示制御部
１１４ 近距離判定部
１１６ 通知処理部
２００ 撮像装置
３００ 表示装置

Claims (19)

  1. 撮像デバイスによって記録され、ジェスチャを認識する対象である対象オブジェクトに対応する画像データを取得し、
    前記対象オブジェクトによるジェスチャの認識のために対象オブジェクトと撮像デバイスとの距離が十分ではないかどうかを決定し、
    前記対象オブジェクトによるジェスチャの認識のために前記対象オブジェクトと撮像デバイスとの距離が十分ではないと決定されたとき、通知を出力するように構成されている、電気回路を備え、
    前記電気回路は、取得された画像データから前記対象オブジェクトを検出し、検出された前記対象オブジェクトに対応する領域における、前記対象オブジェクトの動きに対応する動き情報に基づいて、前記対象オブジェクトと撮像デバイスとの距離を決定する、情報処理システム。
  2. 前記電気回路は、センサと前記対象オブジェクトとの距離を検出する前記センサの出力に基づいて、前記対象オブジェクトと撮像デバイスとの距離を決定するように構成されている、請求項１に記載の情報処理システム。
  3. 前記電気回路は、前記対象オブジェクトによるジェスチャの認識のために前記距離が小さすぎるとき、前記対象オブジェクトによるジェスチャの認識のために前記対象オブジェクトと撮像デバイスとの距離が十分ではないと決定するように構成されている、請求項１に記載の情報処理システム。
  4. 前記電気回路は、
    前記対象オブジェクトと撮像デバイスとの距離を決定し、
    前記距離を、所定の閾値と比較し、
    前記距離が前記所定の閾値よりも小さいとき、前記対象オブジェクトによるジェスチャの認識のために前記対象オブジェクトと撮像デバイスとの距離が十分ではないと決定するように構成されている、請求項１に記載の情報処理システム。
  5. 前記電気回路により算出される前記動き情報は、前記対象オブジェクトに対応する動きベクトルである、請求項１に記載の情報処理システム。
  6. 前記電気回路は、算出された前記対象オブジェクトの動きに対応する動き情報に基づいて、前記対象オブジェクトによるジェスチャの認識のために前記対象オブジェクトと撮像デバイスとの距離が十分ではないかどうかを決定するように構成されている、請求項１に記載の情報処理システム。
  7. 前記電気回路は、前記動き情報が、前記対象オブジェクトによるジェスチャの認識のために前記距離が小さすぎることを示すとき、前記対象オブジェクトによるジェスチャの認識のために前記対象オブジェクトと撮像デバイスとの距離が十分ではないかどうかを決定するように構成されている、請求項１に記載の情報処理システム。
  8. 前記電気回路は、取得された画像データと、前記動き情報に基づく前記対象オブジェクトの動きの軌跡に対応する図形の通知とを表示するための表示を制御するように構成されている、請求項１に記載の情報処理システム。
  9. 前記電気回路は、前記通知としての、前記対象オブジェクトによるジェスチャの認識のために前記対象オブジェクトと撮像デバイスとの距離が十分ではないことを示す図形の通知を表示するための表示を、制御するように構成されている、請求項１に記載の情報処理システム。
  10. 前記電気回路は、前記通知としての、前記対象オブジェクトによるジェスチャの認識のために前記対象オブジェクトと撮像デバイスとの前記距離が小さすぎることを示す図形の通知を表示するための表示を、制御するように構成されている、請求項３に記載の情報処理システム。
  11. 前記電気回路は、取得された前記画像データと、前記通知としての、表示された取得された前記画像データに含まれる前記対象オブジェクトの位置に基づく、取得された前記画像データに重ね合わせた図形の通知とを、表示するための表示を、制御するように構成されている、請求項１に記載の情報処理システム。
  12. 前記電気回路は、前記通知としての、表示された取得された前記画像データに含まれる前記対象オブジェクトに重ね合わせた図形の通知を表示するための表示を、制御するように構成されている、請求項１１に記載の情報処理システム。
  13. 前記電気回路は、表示された取得された前記画像データに含まれる前記対象オブジェクトの中心に対応する位置の通知を表示するための表示を、制御するように構成されている、請求項１２に記載の情報処理システム。
  14. 前記電気回路は、取得された前記画像データと、前記通知としての、前記対象オブジェクトによるジェスチャの認識のために前記対象オブジェクトと撮像デバイスとの前記距離が小さすぎることを示す、前記対象オブジェクトに重ねられた図形の通知と、を表示するための表示を、制御するように構成されている、請求項３に記載の情報処理システム。
  15. 前記電気回路は、前記通知としての、前記対象オブジェクトによるジェスチャの認識のために前記対象オブジェクトと撮像デバイスとの距離が十分ではないことを示す、前記動き情報に対応する図形の通知を表示するための表示を、制御するように構成されている、請求項１に記載の情報処理システム。
  16. 前記電気回路は、前記通知としての音声を出力させるために、スピーカを制御するように構成されている、請求項１に記載の情報処理システム。
  17. 前記電気回路は、前記動き情報に基づき算出される特定の動き方向に対応する領域の面積に基づいて、前記対象オブジェクトと撮像デバイスとの距離を決定する、請求項１に記載の情報処理システム。
  18. 撮像デバイスによって記録され、ジェスチャを認識する対象である対象オブジェクトに対応する画像データを取得し、
    前記対象オブジェクトによるジェスチャの認識のために対象オブジェクトと撮像デバイスとの距離が十分ではないかどうかを決定し、
    前記対象オブジェクトによるジェスチャの認識のために前記対象オブジェクトと撮像デバイスとの距離が十分ではないと決定されたとき、通知を出力し、
    前記対象オブジェクトと撮像デバイスとの距離は、取得された画像データから検出された前記対象オブジェクトに対応する領域における、前記対象オブジェクトの動きに対応する動き情報に基づいて、決定される、
    情報処理システムにより実行される、方法。
  19. コンピュータに、
    撮像デバイスによって記録され、ジェスチャを認識する対象である対象オブジェクトに対応する画像データを取得させ、
    前記対象オブジェクトによるジェスチャの認識のために対象オブジェクトと撮像デバイスとの距離が十分ではないかどうかを決定させ、
    前記対象オブジェクトによるジェスチャの認識のために前記対象オブジェクトと撮像デバイスとの距離が十分ではないと決定されたとき、通知を出力させ、
    前記対象オブジェクトと撮像デバイスとの距離は、取得された画像データから検出された前記対象オブジェクトに対応する領域における、前記対象オブジェクトの動きに対応する動き情報に基づいて、決定される、
    プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2012121555A 2012-05-29 2012-05-29 情報処理システム、方法およびコンピュータ読み取り可能な記録媒体 Expired - Fee Related JP5900161B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2012121555A JP5900161B2 (ja) 2012-05-29 2012-05-29 情報処理システム、方法およびコンピュータ読み取り可能な記録媒体
US14/381,419 US9507999B2 (en) 2012-05-29 2013-04-25 Image processing apparatus and program
PCT/JP2013/002827 WO2013179566A1 (en) 2012-05-29 2013-04-25 Image processing apparatus and program
EP13724892.8A EP2856283B1 (en) 2012-05-29 2013-04-25 Image processing apparatus and program
BR112014029104A BR112014029104A2 (pt) 2012-05-29 2013-04-25 sistema de processamento de informação, método executado por sistema de processamento de informação, e, meio legível por computador não transitório.
RU2014146984A RU2014146984A (ru) 2012-05-29 2013-04-25 Устройство обработки изображений и программа
CN201380026904.5A CN104364732B (zh) 2012-05-29 2013-04-25 图像处理设备
US15/345,724 US9704028B2 (en) 2012-05-29 2016-11-08 Image processing apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012121555A JP5900161B2 (ja) 2012-05-29 2012-05-29 情報処理システム、方法およびコンピュータ読み取り可能な記録媒体

Publications (3)

Publication Number Publication Date
JP2013246743A JP2013246743A (ja) 2013-12-09
JP2013246743A5 JP2013246743A5 (ja) 2015-04-09
JP5900161B2 true JP5900161B2 (ja) 2016-04-06

Family

ID=48485395

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012121555A Expired - Fee Related JP5900161B2 (ja) 2012-05-29 2012-05-29 情報処理システム、方法およびコンピュータ読み取り可能な記録媒体

Country Status (7)

Country Link
US (2) US9507999B2 (ja)
EP (1) EP2856283B1 (ja)
JP (1) JP5900161B2 (ja)
CN (1) CN104364732B (ja)
BR (1) BR112014029104A2 (ja)
RU (1) RU2014146984A (ja)
WO (1) WO2013179566A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015125213A1 (ja) * 2014-02-18 2015-08-27 三菱電機株式会社 移動体用ジェスチャ誘導装置、移動体用ジェスチャ誘導システムおよび移動体用ジェスチャ誘導方法
US20150312520A1 (en) * 2014-04-23 2015-10-29 President And Fellows Of Harvard College Telepresence apparatus and method enabling a case-study approach to lecturing and teaching
JP6684042B2 (ja) * 2014-09-08 2020-04-22 任天堂株式会社 電子機器
KR20170017401A (ko) * 2015-08-06 2017-02-15 엘지이노텍 주식회사 이미지 처리 장치
CN105892639A (zh) * 2015-12-01 2016-08-24 乐视致新电子科技（天津）有限公司 一种对虚拟现实vr设备进行控制的方法及设备
WO2017104272A1 (ja) * 2015-12-18 2017-06-22 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10218882B2 (en) * 2015-12-31 2019-02-26 Microsoft Technology Licensing, Llc Feedback for object pose tracker
US10120455B2 (en) * 2016-12-28 2018-11-06 Industrial Technology Research Institute Control device and control method
JP2018109871A (ja) * 2017-01-04 2018-07-12 京セラ株式会社 電子機器
JP6346699B1 (ja) * 2017-08-08 2018-06-20 京セラ株式会社 電子機器
JP6730552B2 (ja) * 2018-05-14 2020-07-29 株式会社ユピテル 電子情報システム及びそのプログラム
CN111736693B (zh) * 2020-06-09 2024-03-22 海尔优家智能科技（北京）有限公司 智能设备的手势控制方法及装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07146749A (ja) 1993-11-25 1995-06-06 Casio Comput Co Ltd スイッチ装置
JP3819096B2 (ja) * 1997-01-22 2006-09-06 株式会社東芝 ユーザインタフェース装置及び操作範囲呈示方法
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
JP4546956B2 (ja) * 2003-06-12 2010-09-22 本田技研工業株式会社 奥行き検出を用いた対象の向きの推定
JP4461834B2 (ja) * 2004-02-23 2010-05-12 ソニー株式会社 映像表示方法、映像表示方法のプログラム、映像表示方法のプログラムを記録した記録媒体及び映像表示装置
JP4187768B2 (ja) * 2007-03-20 2008-11-26 株式会社コナミデジタルエンタテインメント ゲーム装置、進行制御方法、および、プログラム
JP4789885B2 (ja) * 2007-07-26 2011-10-12 三菱電機株式会社 インタフェース装置、インタフェース方法及びインタフェースプログラム
EP2201761B1 (en) * 2007-09-24 2013-11-20 Qualcomm Incorporated Enhanced interface for voice and video communications
CN101874234B (zh) * 2008-09-29 2014-09-24 松下电器产业株式会社 用户接口装置、用户接口方法、以及记录媒体
US9377857B2 (en) * 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
WO2011041362A1 (en) 2009-09-29 2011-04-07 Meadwestvaco Packaging Systems, Llc Apparatus for and method of processing articles
GB2483168B (en) * 2009-10-13 2013-06-12 Pointgrab Ltd Computer vision gesture based control of a device
EP2494432B1 (en) 2009-10-27 2019-05-29 Harmonix Music Systems, Inc. Gesture-based user interface
JP2011118725A (ja) * 2009-12-04 2011-06-16 Sharp Corp 情報処理機器、情報処理方法および情報処理プログラム
US20110273380A1 (en) * 2010-05-07 2011-11-10 Research In Motion Limited Portable electronic device and method of controlling same
JP5601045B2 (ja) * 2010-06-24 2014-10-08 ソニー株式会社 ジェスチャ認識装置、ジェスチャ認識方法およびプログラム
US20120056995A1 (en) * 2010-08-31 2012-03-08 Texas Instruments Incorporated Method and Apparatus for Stereo-Based Proximity Warning System for Vehicle Safety
US11226686B2 (en) * 2014-01-20 2022-01-18 Lenovo (Singapore) Pte. Ltd. Interactive user gesture inputs

Also Published As

Publication number Publication date
JP2013246743A (ja) 2013-12-09
US20170068850A1 (en) 2017-03-09
CN104364732B (zh) 2017-03-01
BR112014029104A2 (pt) 2017-06-27
EP2856283B1 (en) 2019-09-11
CN104364732A (zh) 2015-02-18
US9704028B2 (en) 2017-07-11
EP2856283A1 (en) 2015-04-08
RU2014146984A (ru) 2016-06-10
US20150125043A1 (en) 2015-05-07
US9507999B2 (en) 2016-11-29
WO2013179566A1 (en) 2013-12-05

Similar Documents

Publication Publication Date Title
JP5900161B2 (ja) 情報処理システム、方法およびコンピュータ読み取り可能な記録媒体
US10671175B2 (en) Image processing apparatus, image processing method, and program product to control a display to display an image generated based on a manipulation target image
JP4720874B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP5625643B2 (ja) 情報処理装置、および情報処理方法
JP6127839B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN104850432A (zh) 调节颜色的方法及装置
EP2930601A1 (en) Electronic device and menu display method
JP6243112B2 (ja) 情報処理装置、情報処理方法、および記録媒体
KR20180071725A (ko) 디스플레이 장치 및 방법
US20160343158A1 (en) Effect control device, effect control method, and program
WO2017043141A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2013152642A (ja) 端末装置、表示システム、端末装置の制御方法、端末装置の制御プログラム、および、該制御プログラムを記録した記録媒体
JP2021051103A (ja) 電子機器、画像表示装置、キャプチャ方法、及びキャプチャプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150218

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160222

R151 Written notification of patent or utility model registration

Ref document number: 5900161

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees