JP7158261B2 - 情報処理装置、制御プログラム、記録媒体 - Google Patents

情報処理装置、制御プログラム、記録媒体 Download PDF

Info

Publication number
JP7158261B2
JP7158261B2 JP2018223454A JP2018223454A JP7158261B2 JP 7158261 B2 JP7158261 B2 JP 7158261B2 JP 2018223454 A JP2018223454 A JP 2018223454A JP 2018223454 A JP2018223454 A JP 2018223454A JP 7158261 B2 JP7158261 B2 JP 7158261B2
Authority
JP
Japan
Prior art keywords
operator
information processing
gesture operation
camera
priority
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018223454A
Other languages
English (en)
Other versions
JP2020088721A (ja
Inventor
亨 蛭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2018223454A priority Critical patent/JP7158261B2/ja
Publication of JP2020088721A publication Critical patent/JP2020088721A/ja
Application granted granted Critical
Publication of JP7158261B2 publication Critical patent/JP7158261B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Description

本発明は、情報処理装置およびジェスチャ操作の検出方法に関する。
カメラで操作者が行うジェスチャ操作を撮像し、このジェスチャ操作に応じてロボットを動作させるさまざまな技術が開発されている。
例えば、特許文献1に開示されているロボットシステムでは、操作者を撮像した撮像情報に基づいて操作者のジェスチャを検出し、検出したジェスチャに関連付けられたロボット制御コマンドを特定し、該ロボット制御コマンドを操作者へ通知する通知画像を表示部に表示する。
特開2014-104527号公報
特許文献1に記載のロボットシステムでは、撮像された操作者の動きに基づいてジェスチャ操作に関連付けられたコマンドを特定する。しかし、操作者がカメラに近接しすぎていたり、離れすぎていたりする場合、操作者のジェスチャ操作を適切に撮像できず、ジェスチャ操作を精度良く検出できない、という問題が発生する。
また、複数の操作者がそれぞれジェスチャ操作を行い得る場合には、緊急性および重要性が高いジェスチャ操作を優先的に精度良く検出することが望ましい。
本発明の一態様は、優先度の高いジェスチャ操作を精度良く検出することができる情報処理装置および情報処理装置の制御方法などを実現することを目的とする。
上記の課題を解決するために、本発明の一態様に係る情報処理装置は、ジェスチャ操作を検出する情報処理装置であって、少なくとも1つの撮像装置と、少なくとも1つの移動機構と、少なくとも1つの制御装置と、を備え、前記制御装置は、複数の操作者がそれぞれジェスチャ操作を行うとき、少なくとも、最も優先度が高いジェスチャ操作を行う操作者について、ジェスチャ操作を行うときに当該操作者の体の所定の部位が動作する対象領域を推定し、前記撮像装置によって、前記対象領域が撮像可能であり、かつ前記所定の部位を所定の解像度以上にて撮像可能な位置に移動するように前記移動機構を制御し、前記位置から前記撮像装置によって撮像された前記所定の部位の動作に基づいて前記ジェスチャ操作を検出し、予め設定された前記ジェスチャ操作の優先度に基づいて、より優先度が高いジェスチャ操作を特定する。
また、上記の課題を解決するために、本発明の一態様に係る情報処理装置の制御方法は、複数の操作者がそれぞれジェスチャ操作を行うとき、少なくとも、最も優先度が高いジェスチャ操作を行う操作者のジェスチャ操作を検出する情報処理装置の制御方法であって、ジェスチャ操作を行うときに当該操作者の体の所定の部位が動作する対象領域を推定する推定工程と、前記撮像装置によって、前記対象領域が撮像可能であり、かつ前記所定の部位を所定の解像度以上にて撮像可能な位置に移動する移動工程と、前記位置から前記撮像装置によって撮像された前記所定の部位の動作に基づいて前記ジェスチャ操作を検出する検出工程と、予め設定された前記ジェスチャ操作の優先度に基づいて、より優先度が高いジェスチャ操作を特定する特定工程と、を含む。
本発明の一態様によれば、優先度の高いジェスチャ操作を精度良く検出することができる情報処理装置および情報処理装置の制御方法などを実現することができる。
本発明の実施形態1に係る情報処理装置の概略構成の一例を示すブロック図である。 情報処理装置が操作者のジェスチャ操作を検出する動作の一例について説明する概念図である。 情報処理装置のハードウェア構成の一例を示すブロック図である。 情報処理装置が優先度の高い操作者を特定し、該操作者のジェスチャ操作を検出する処理の流れの一例を示すフローチャートである。 優先度リストのデータ構造の一例を示す図である。 情報処理装置がジェスチャ操作を検出する処理の流れの一例を示すフローチャートである。 (a)および(b)は、情報処理装置がジェスチャ操作を検出するために移動する例を説明する図であり、(c)は、情報処理装置がジェスチャ操作を検出するための対象領域の一例を説明する図である。 情報処理装置の概略構成の別の例を示すブロック図である。 情報処理装置がジェスチャ操作を検出する処理の流れの別の一例を示すフローチャートである。 情報処理装置の動作の一例を説明する図である。 情報処理装置の動作の他の一例を説明する図である。 本発明の実施形態2に係る情報処理装置の概略構成の一例を示すブロック図である。 情報処理装置が、検出したジェスチャ操作の中から優先度が高いジェスチャ操作を特定する処理の流れの一例を示すフローチャートである。 優先度リストのデータ構造の一例を示す図である。 本発明の実施形態3に係る情報処理装置の概略構成の一例を示すブロック図である。 優先度リストのデータ構造の一例を示す図である。
〔実施形態1〕
以下、本発明の一実施形態について、詳細に説明する。
(情報処理装置1の概要)
本実施形態に係る情報処理装置1は、操作者によるジェスチャ操作を検出する機能を有する。ジェスチャ操作を行う権限が付与された複数の操作者が作業を行う作業現場では、情報処理装置1が複数の操作者によるジェスチャ操作を検出する可能性がある。このような場合、情報処理装置1は、より重要で、より緊急性の高い(すなわち、より優先度の高い)ジェスチャ操作を検出する事が望ましい。
そこで、情報処理装置1は、予め設定されたジェスチャ操作の優先度に基づいて、優先度が高いジェスチャ操作を特定する機能を備えている。具体的には、情報処理装置1は、優先度の高い操作者によるジェスチャ操作を、優先度の高いジェスチャ操作として検出する。
操作者の優先度は、操作者毎に予め定められていてもよい。例えば、情報処理装置1にジェスチャ操作を行う権限を有する操作者は優先度リスト23に予め登録されており、操作者毎の外観上の特徴(例えば、操作者の顔など)毎に一意の優先度が定められていてもよい。情報処理装置1は、撮像した操作者の外観上の特徴に基づいて、最も優先度が高い操作者と他の操作者とを識別することが可能である。
(情報処理装置1によるジェスチャ操作の検出)
情報処理装置1は、操作者Pを撮像する少なくとも1つのカメラ31(撮像装置)と、少なくとも1つの移動機構35と、少なくとも1つの制御部10(制御装置)と、を備えている(図1参照)。情報処理装置1は、カメラ31によって操作者Pの動作を撮像するために好適な位置まで自律的に移動し、操作者Pのジェスチャ操作を検出する機能を有する。
情報処理装置1は、これらに限定されるものではないが、例えば、(1)タイヤ、キャタビラ、および/または歩行用の脚などを移動機構35として備える自律走行あるいは自立歩行可能なロボット、(2)プロペラなどを移動機構35として備える自律飛行可能なロボット、および(3)スクリューなどを移動機構35として備える自律航行可能なロボット、などであってもよい。あるいは、情報処理装置1は、上記(1)~(3)に記載の移動機構35のうちの複数を備えるロボットであってもよい。
まず、ジェスチャ操作の検出方法について図2を用いて説明する。図2は、情報処理装置1が操作者Pのジェスチャ操作を検出する動作の一例について説明する概念図である。
カメラ31を搭載した情報処理装置1は、カメラ31によって操作者Pを撮像する。しかし、カメラ31と操作者Pとの間の距離が近すぎる場合、カメラ31が撮像する領域R1には、操作者Pの体の所定の部位(例えば、手P1)が動作する領域(以下、対象領域と記す)の一部しか含まれない。なお、以下では、所定の部位が操作者Pの手P1である場合を例に挙げて説明するが、これに限定されない。例えば、所定の部位は、操作者Pの脚、および顔(例えば、目および口など)などであってもよい。
領域R1の大きさは、カメラ31の画角と、カメラ31と操作者Pとの間の距離とに依存する。すなわち、カメラ31と操作者Pとがより近づけば領域R1は小さくなり、カメラ31と操作者Pとがより離れれば領域R1は大きくなる。他方、カメラ31が操作者Pから適切な距離より遠くに離れてしまうと、カメラ31によって撮像される領域R1の解像度が低下する。領域R1の解像度が所定の解像度より低下すると、ジェスチャ操作において所定の部位を動かすことよって行われるジェスチャ操作を精度良く検出することができない。
そこで、情報処理装置1は、図2に示すように、操作者Pによるジェスチャ操作を検出するための撮像を行うために、操作者Pの手P1が動作する対象領域R2を推定し、カメラ31によって対象領域R2が撮像可能であり、かつ操作者Pの手P1を所定の解像度以上にて撮像可能な位置へと自律的に移動する。ジェスチャ操作毎に操作者Pの手P1の動きは異なる。それゆえ、所定の解像度は、操作者Pの手P1の動きを判別可能な解像度であればよい。
図2では、操作者Pに近い位置に存在していた情報処理装置1が、操作者Pから遠ざかる方向に自律的に移動し、操作者Pによるジェスチャ操作を着実に検出する場合を例に挙げて説明した。反対に、情報処理装置1が操作者Pから遠く離れた位置に存在する場合であっても同様である。すなわち、情報処理装置1が操作者Pから遠く離れた位置に存在する場合、情報処理装置1は、操作者Pに近づく方向に自律的に移動し、操作者のジェスチャ操作を検出する。
操作者Pによるジェスチャ操作を検出した情報処理装置1は、検出したジェスチャ操作に関連付けられた制御コマンドを特定する。なお、情報処理装置1は、特定したコマンドに従って情報処理装置1自身が動作する構成であってもよいし、特定した制御コマンドを、情報処理装置1とは別の作業機器に送信する構成であってもよい。
このように、情報処理装置1は、自装置と操作者Pとの間の距離が、操作者のジェスチャ操作を検出するために適切な距離範囲内となる位置へ自律的に移動して操作者を撮像する。これにより、情報処理装置1は、操作者Pのジェスチャ操作を精度良く検出することができる。
(情報処理装置1の構成)
次に、情報処理装置1の構成について、図1、図3、および図5を用いて説明する。図1は、情報処理装置1の概略構成の一例を示すブロック図である。図3は、情報処理装置1のハードウェア構成の一例を示すブロック図である。
情報処理装置1は、情報処理装置1の各部を統括して制御する制御部10、情報処理装置1が使用する各種データを記憶する記憶部20を備えている。また、情報処理装置1は、さらに、カメラ31、測距センサ32、移動機構制御部33、移動機構35、および通信部36、を備えている。
<カメラ31>
カメラ31は、情報処理装置1に搭載され、情報処理装置1の周囲を撮像可能なカメラである。より具体的には、カメラ31は、デジタルカメラまたはデジタルビデオである。なお、カメラ31は、焦点距離が固定のレンズを備えていてもよいし、倍率が可変のレンズ(例えば、ズームレンズ)を備えていてもよい。カメラ31は、パン、チルト、ズーム機能を有している、いわゆるPTZカメラであってもよい。
情報処理装置1は、自身が回転することによってカメラ31の向きを変更する構成であってもよいし、カメラ31の向きを調整するための向き調整部(図示せず)をさらに備える構成であってもよい。
<測距センサ32>
測距センサ32は、測距対象物(例えば、操作者Pなど)と情報処理装置1との間の距離を測定するためのセンサである。測距センサ32は、例えば、赤外線などを利用するレーザセンサであってもよい。
なお、情報処理装置1は、例えば、カメラ31によって撮像された撮像画像に基づいて、カメラ31と操作者Pとの間の距離を推定する構成であってもよく、この場合、測距センサ32を備える必要は無い。より具体的には、情報処理装置1は、カメラ制御部11がカメラ31の焦点を調節する機能を利用して、制御部10がカメラ31から撮像された操作者Pまでの距離を推定する構成であってもよい。図1および図3は、測距センサ32を備える情報処理装置1の構成例を示している。
<記憶部20>
図1の記憶部20は、図3のROM201に対応している。図3のROMは、情報処理装置1が備える各部の操作を制御するための動作プログラムを記憶している。一方、図3のRAM202は、情報処理装置1の動作に利用される撮像画像などのデータを一時的に格納するためのワーキングメモリである。
図1の記憶部20は、カメラ仕様21、ジェスチャ操作リスト22、および優先度リスト23、を備えている。
カメラ仕様21は、カメラ31の画角、および解像度などの性能に関する情報を記憶している。なお、カメラ31が交換可能である場合、カメラ仕様21は、情報処理装置1が搭載し得るすべてのカメラ31の性能に関する情報を記憶しており、制御部10が情報処理装置1に実装されているカメラ31の性能に関する情報を取得する構成であってもよい。
ジェスチャ操作リスト22は、情報処理装置1が検出対象とするジェスチャ操作に関連付けられた制御コマンドに関するリストである。より具体的には、ジェスチャ操作リスト22は、操作者Pの手P1の動作パターンと、動作パターン毎に関連付けられた制御コマンドとの対応関係を規定するリストである。
優先度リスト23は、各操作者の外観上の特徴と優先度との対応関係を保持しているデータである。外観上の特徴としては、例えば図5に示すように、各操作者の顔が利用され得る。あるいは、外観上の特徴として、各操作者が着用しているヘルメットおよび衣服の色などが利用され得る。
図5に示すように、各操作者の優先度は、操作者毎に優先順位(すなわち、優先度の順位)が割り当てられていてもよいが、これに限定されない。例えば、各操作者を所属、階級、および役割分担などに応じて分類し、属、階級、および役割分担毎に優先度の順位が割当てられていてもよい。ただし、同じ分類に属する操作者が複数存在するような場合には、操作者毎に優先度の順位が割り当てられている方が望ましい。
<制御部10>
図1の制御部10は、図3のCPU100に対応している。
制御部10は、カメラ制御部11、対象検出部12、人物判定部13、優先度判定部14、領域推定部15、位置判定部16、および操作検出部17を備えている。
カメラ制御部11は、カメラ31による撮像開始、撮影時の焦点調節、露光調節、および撮像停止などを制御する。また、カメラ制御部11は、カメラ31の撮像方向を制御して、操作者Pを捜索するために周囲を撮像するようカメラ31を制御する。さらに、カメラ制御部11は、カメラ31によって撮像された撮像画像のデータを取得する。
対象検出部12は、公知の画像認識技術を適用して、カメラ制御部11が取得した撮像画像に、人物が写っているか否かを確認する。人物が写っている場合、対象検出部12は、撮像画像中の人物に対応する領域を抽出する。対象検出部12は、カメラ制御部11が取得した撮像画像に複数の人物が写っているすべての人物に対応する領域を一度に抽出してもよいし、人物毎に対応する領域を個別に抽出してもよい。
人物判定部13は、対象検出部12によって抽出された領域に対し、外観上の特徴に応じて操作者を検出する処理を行う。例えば、人物判定部13は、優先度リスト23に登録済みの顔(図5参照)が検出されたか否かを判定してもよい。または、人物判定部13は、対象検出部12によって抽出された領域に写っている人物が着用している帽子、靴、および衣服などの外観上の特徴に応じて操作者が検出されたか否かを判定してもよい。この場合、外観上の特徴とは、色、模様などである。
優先度判定部14は、優先度リスト23を参照し、人物判定部13によって操作者と判定された人物のうち、最も優先度が高い操作者を、ジェスチャ操作を検出すべき操作者Pとして特定する。
領域推定部15は、優先度判定部14によって特定された操作者Pに対応する領域に基づいて、操作者Pがジェスチャ操作を行うとき、操作者Pの手P1が動作する対象領域R2を推定する。なお、領域推定部15は、抽出された操作者Pに対応する領域に基づいて、操作者Pの体の中心軸L(図7参照)を決定し、操作者Pの体の傾きを推定してもよい。領域推定部15が、対象領域R2を推定する方法については、後に説明する。
位置判定部16は、測距センサ32によって測定された、カメラ31と操作者Pとの間の距離が、操作者Pのジェスチャ操作を検出するために適した距離範囲内か否かを判定する。すなわち、現在、操作者Pのジェスチャ操作を検出するために適した位置にカメラ31が存在するか否かを判定する。操作者Pのジェスチャ操作を検出するために適した位置とは、カメラ31によって対象領域R2が撮像可能であり、かつ操作者Pの手P1を所定の解像度以上にて撮像可能な位置である。操作者Pのジェスチャ操作を検出するために適した、カメラ31と操作者Pとの間の距離範囲は、対象領域R2の大きさ、カメラ31の解像度、およびカメラ31の画角に基づいて算出される。
現在、操作者Pのジェスチャ操作を検出するために適した位置にカメラ31が存在している場合、位置判定部16は、カメラ31によって操作者Pの手P1の動作の撮像をさせるようカメラ制御部11に指示する。一方、現在、操作者Pのジェスチャ操作を検出するために適した位置にカメラ31が存在していない場合、位置判定部16は、移動機構制御部33に対して、移動機構35によって適した位置まで移動するよう指示する。
操作検出部17は、操作者Pのジェスチャ操作を検出するために適した位置にて撮像された操作者Pの手P1の動作を検出し、検出した動作がジェスチャ操作リスト22に含まれているか否かを確認する。検出した動作がジェスチャ操作リスト22に含まれている場合、操作検出部17は、ジェスチャ操作リスト22に基づいて、検出した手P1の動作に関連付けられている制御コマンドを決定する。なお、操作検出部17は、ジェスチャ操作を検出するときに、カメラ制御部11に対して、カメラ31のレンズの倍率変更を指示して、ジェスチャ操作を行っている操作者Pの手P1を撮像するように指示してもよい。
<移動機構制御部33>
移動機構制御部33は、移動機構35の起動/停止などを制御する集積回路(ICチップ)等に形成された論理回路である。なお、図1および図3に示す構成に限定されず、制御部10(図3のCPU100)が移動機構制御部33の機能を備え、移動機構35の起動/停止などの制御をソフトウェアであるプログラムの命令によって実現する構成であってもよい。
<移動機構35>
移動機構35は、情報処理装置1を移動させるための移動手段であり、タイヤ、キャタビラ、歩行用の脚、プロペラ、スクリューなど、およびこれらを動かすための1または複数の、任意の動力発生機を含んでいる。図1には、例示的に、第1モーター351、第2モーター352、第3モーター353、・・・を含む移動機構35を示している。
<通信部36>
通信部36は、情報処理装置1と別の作業機器(図示せず)などとの間のデータ送受信を行うためのものである。例えば、操作検出部17によって決定された制御コマンドは、通信部36を介して別の作業機器に送信される。
なお、図1に示す情報処理装置1は、情報処理装置1が検出したジェスチャ操作に関連付けられた制御コマンドを、通信部36を介して別の作業機器に送信する構成例を示している。しかし、これに限定されない、例えば、情報処理装置1が検出したジェスチャ操作に関連付けられた制御コマンドに応じて所定の処理を実行する処理実行部(図示せず)を備えていてもよい。
(情報処理装置1の処理の流れ)
続いて、情報処理装置1の処理の流れについて、図4を用いて説明する。図4は、情報処理装置が優先度の高い操作者を特定し、該操作者のジェスチャ操作を検出する処理の流れの一例を示すフローチャートである。
まず、カメラ制御部11は、カメラ31によって自装置の周囲を撮像する(ステップS11)。次に、対象検出部12は、カメラ制御部11が取得した撮像画像から、人物に対応する領域を抽出する。そして、人物判定部13は、週出された領域において人物の顔を検出する(ステップS12)。
次に、人物判定部13は、優先度リスト23を読み出し、検出された各顔が優先度リスト23に登録済みか否かを判断する(ステップS13)。登録済みの顔が検出されなかった場合(ステップS13でNO)、S11に戻る。登録済みの顔が検出された場合(ステップS13でYES)、ステップS14に進む。
次に、優先度判定部14は、ステップS13において登録済みの顔(すなわち、操作者として登録されている顔の人物)が複数検出されたか否かを判定する(ステップS14)。検出された人数が複数であった場合(ステップS14でYES)、優先度判定部14は、優先度リスト23を参照して、検出された各操作者の優先度を特定し、最も優先度が高い人物を選定する(ステップS15)。次に、優先度判定部14は、上述の選定結果に基づき、ジェスチャ操作を検出するべき操作者を特定する(ステップS16:特定工程)。一方、検出された人物が1人であった場合(ステップS14でNO)、優先度判定部14は、当該人物を操作者Pとして特定する。
その後、後述する各処理により、ジェスチャ操作の検出が行われる(ステップS17)。その後、操作検出部17は、ジェスチャ操作リスト22を読み出して検出されたジェスチャ操作と照合し、検出されたジェスチャに応じた処理を実行する(ステップS18)。
(ジェスチャ操作を検出する処理例)
続いて、図6および図7を用いて、情報処理装置1がジェスチャ操作を検出する処理(図4のステップS17)の一例を説明する。図6は、情報処理装置1がジェスチャ操作を検出する処理の流れの一例を示すフローチャートである。図7の(a)および(b)は、情報処理装置1がジェスチャ操作を検出するために移動する例を説明する図であり、図7の(c)は、情報処理装置1がジェスチャ操作を検出するための対象領域の一例を説明する図である。
まず、カメラ制御部11は、カメラ31によって操作者Pの撮像を開始する(ステップS1)。次に、対象検出部12は、公知の画像認識技術を適用して、撮像画像に、操作者Pの体の少なくとも一部が写っているか否かを確認する。図7の(a)に示すように、操作者Pが写っている場合(すなわち、カメラ31によって撮像される領域R1に操作者Pの方らの一部が含まれる場合)(ステップS2にてYES)、対象検出部12は、撮像画像中の操作者Pに対応する領域を抽出する。操作者Pが写っていない場合、あるいは、撮像画像中の操作者Pに対応する領域を抽出できない場合(ステップS2にてNO)、ステップS1に戻り、カメラ制御部11は、カメラ31によって周囲の撮像と操作者Pの捜索とを継続する。
次に、領域推定部15は、操作者Pがジェスチャ操作を行うとき、操作者Pの手P1またはP2が動作する対象領域R2を推定する(ステップS3:推定工程)。
位置判定部16は、測距センサ32によって測定された、カメラ31と操作者Pとの間の距離を取得し(ステップS4)、現在のカメラ31と操作者Pとの間の距離が、対象領域R2を撮像するために適した距離範囲内か否かを判定する(ステップS5)。図7の(a)には、カメラ31と操作者Pとの間の距離d1が、対象領域R2を撮像するために適した距離よりも短いため、操作者Pの手P1およびP2が撮像できていない場合を例示している。
現在のカメラ31と操作者Pとの間の距離が、ジェスチャ操作を検出するために適した距離範囲内ではない場合、位置判定部16は、移動機構制御部33に対して、移動機構35によって適した位置まで移動するよう指示する。これにより、情報処理装置1は移動して、カメラ31と操作者Pとの間の距離を調整し(ステップS6:移動工程)、ステップS4に戻り、カメラ31と操作者Pとの間の距離を確認する。図7の(b)は、距離を調整した結果、現在のカメラ31と操作者Pとの間の距離d2が、対象領域R2を撮像するために適した距離範囲内になり、操作者Pの手P1および手P2の動作が撮像可能となっている様子を示している。
なお、操作者Pが移動した場合、ステップS6の後に測定されたカメラ31と操作者Pとの間の距離が未だジェスチャ操作を検出するために適した距離範囲内ではない場合があり得る。このような場合においても、情報処理装置1は、移動する操作者Pに追従して移動して、操作者Pのジェスチャ操作を検出することができる。
一方、現在のカメラ31と操作者Pとの間の距離が、ジェスチャ操作を検出するために適した距離範囲内である場合(ステップS5にてYES)、位置判定部16は、カメラ31によって操作者Pの手P1の動作の撮像をさせるようカメラ制御部11に指示する(ステップS7)。
次に、操作検出部17は、ステップS7にて撮像された操作者Pのジェスチャ操作を検出する(ステップS8:検出工程)。
情報処理装置1は、カメラ31と操作者Pとの間の距離が、操作者Pのジェスチャ操作を検出するために適切な距離範囲内となる距離となる位置へ自律的に移動するため、操作者Pのジェスチャ操作を精度良く検出することができる。
<対象領域R2の推定方法>
ここでは、対象領域R2の推定方法について、図7の(c)を用いて説明する。図7の(c)は、ジェスチャ操作を検出するための対象領域R2の一例を説明する図である。なお、図7の(c)では、ジェスチャ操作において動作する所定の部位が操作者Pの手P1およびP2である場合を例に挙げて説明するが、これに限定されない。例えば、操作者Pの片方の手(例えばP1)であってもよいし、操作者Pの顔、および脚などであってもよい。すなわち、推定される対象領域R2は、情報処理装置1の検出対象となるジェスチャ操作において、動作する部位に応じて適宜変更され得る。
領域推定部15は、対象領域R2を一般的な体形の統計データに基づいて推定する。体型の統計データとしては、例えば、(一般社団法人)人間生活工学研究センターから発行されている「日本人の人体寸法データベース」などが適用され得る。この「日本人の人体寸法データベース」には、一般的な日本人の肩幅、手の長さ、上腕長、頭幅などの統計データが含まれている。
領域推定部15は、操作者Pが撮像された領域における、中心軸Lを決定する。また、領域推定部15は、日本人の人体寸法データベースの頭幅または肩幅のデータと、上腕長のデータとの比率に基づいて、操作者Pが両腕を横方向に広げた場合に手P1およびP2が届く範囲を推定する。
このように、「日本人の人体寸法データベース」などのデータベースを参照すれば、領域推定部15は、操作者Pの中心軸Lから左右に距離mだけ離れた位置までを含む対象領域R2を推定することができる。
なお、この方法で推定される対象領域R2はあくまでも一般的な日本人の人体寸法に基づいているため、操作者Pの上腕長が一般的な日本人より長い場合、推定された対象領域R2では手P1およびP2の先が撮像されない虞がある。そこで、領域推定部15は、手P1およびbP2が動作する領域の上下および左右の幅を一定割合(例えば、5~10%)拡大させた領域を、対象領域R2として推定することが望ましい。
<変形例>
上記の通り、情報処理装置1は、図4に示すような処理によって、優先度の高いジェスチャ操作を検出する。ただし、本発明はこれに限定されるものではない。例えば、カメラ31によって撮像された撮像画像に人物の顔が写っているとは限らない。そこで、人物が着用しているヘルメットおよび衣服の色などの外見上の特徴を利用して、各人物の優先度を判定する構成であってもよい。
あるいは、優先度リスト23は、各人物毎に一意の優先順位ではなく、各操作者の所属、階級、役割分担などに応じた優先順位を規定するものであってもよい。なお、前記分類の結果、優先度が高い操作者が複数選定された場合、選定された操作者の中から最も優先度が高い操作者Pを適宜特定すればよい。
情報処理装置1が上空から地上の操作者を撮影するような場合、必ずしも操作者Pの顔が撮像できるとは限らない。例えば、情報処理装置1がドローンであれば、飛行している高度が高いほど人物の顔は撮像されにくい。しかし、帽子、ヘルメット、腕章、および着衣などは撮像され得る。そこで、外観上の特徴として、人物の顔の他に、帽子、ヘルメット、腕章、および着衣などを利用され得る。例えば、対象検出部12は、図4のステップS12において、公知の画像認識技術を用いて、撮影された画像から人物と判定できる領域を抽出し、帽子の色、衣服の色、または衣服の模様などを検出してもよい。この場合、優先度判定部14は、優先度リスト23を参照して、抽出された外観上の特徴に基づいて最も優先度が高い操作者Pを特定すればよい。
また、着衣などの色を検出する方が、操作者の顔を検出するよりもカメラ31に求められる分解能は低くてもよい。それゆえ、情報処理装置1を、帽子の色、衣服の色、または衣服の模様などに応じて優先度の高い操作者を特定するように構成すれば、より高速な処理、または操作者Pとの距離が遠い場合であっても当該操作者Pを特定することが可能である。
また、1つの外観上の特徴のみではなく、組み合わせにより特定してもよい。換言すれば、2つ以上の外観上の特徴をキーとして、各キーの組み合わせにより優先度を特定してもよい。
上記の構成を採用すれば、情報処理装置1は、複数の操作者がそれぞれジェスチャ操作を行い得る場合においても、緊急性および重要性が高いジェスチャ操作を優先的に精度良く検出することができる。
(ジェスチャ操作の検出処理の変形例1)
操作者Pの姿勢は立位、または座位であるとは限らず、壁などにもたれかかっていて傾いた姿勢(体軸L3が重力方向に平行ではない姿勢)であったり、臥位であったりすることも考えられる。そこで、情報処理装置1は、図8に示すような構成としてもよい。このような構成を採用することにより、情報処理装置1は、操作者Pの体軸L3が重力に平行な方向から傾いている場合であっても、操作者Pのジェスチャ操作を精度良く検出することが可能である。
<情報処理装置1の構成の変形例>
図8は、情報処理装置1の概略構成の別の例を示すブロック図である。情報処理装置1は、カメラ31の撮像方向を制御する機構である向き調整部39、およびカメラ31の傾きなどを監視するためのジャイロセンサ37、加速度センサ38を備えている。また、情報処理装置1は、位置判定部16の代わりに位置・傾き判定部18を備える点で、図1に示す情報処理装置1と異なっている。
向き調整部39は、カメラ31の撮像方向を調整するための機構である。向き調整部39はカメラ制御部11によって制御される。向き調整部39を作動させることにより、カメラ31の撮像方向を水平方向および垂直方向に調整することができる。例えば、向き調整部39によって、カメラ31の撮像方向を操作者Pの片方の手P1の方へ水平方向に調整したり、臥位の操作者Pに向けるためにカメラ31の撮像方向を下方に調整したりすることが可能である。向き調整部39は、カメラ31を、撮像方向L1を回転軸として回転させる機構を含んでいてもよい。
位置・傾き判定部18は、測距センサ32によって測定された、カメラ31と操作者Pとの間の距離が、操作者Pのジェスチャ操作を検出するために適した距離範囲内か否かを判定する。また、位置・傾き判定部18は、領域推定部15によって推定された操作者Pの体軸L3の傾きを検出し、操作者Pの体軸L3とカメラ31の撮像方向L1とのなす角度が所定の範囲内(例えば、60°~120°)か否かを判定する。なお、体軸L3とは、操作者Pの頭部および胴部の中心を通る軸を意図している。
操作者Pの体軸L3とカメラ31の撮像方向L1とのなす角度が所定の範囲内である場合、位置・傾き判定部18は、カメラ31によって操作者Pの動作または操作者Pの手P1の動作を撮像するように、カメラ制御部11に指示する。一方、操作者Pの体軸L3とカメラ31の撮像方向L1とのなす角度が所定の範囲内ではない場合には、位置・傾き判定部18は、カメラ制御部11に対して、操作者Pの体軸L3とカメラ31の撮像方向L1とのなす角度が所定の範囲内となるようにカメラ31の向きを調整するよう指示する。
なお、位置・傾き判定部18によって操作者Pの体軸L3の傾きが検出された場合、位置・傾き判定部18がカメラ制御部11に対して、操作者Pの体軸L3の傾きと同じ角度だけカメラ31を回転させるように指示する構成であってもよい。あるいは、位置・傾き判定部18が操作検出部15に対して、操作者Pの体軸L3の傾きと同じ角度だけ撮像画像のデータを操作者Pの体軸L3の傾きと反対方向に回転・補正してジェスチャ操作を検出するように指示する構成であってもよい。
このような構成を採用することにより、情報処理装置1は、体軸L3が重力に平行ではない姿勢の操作者Pによって行われるジェスチャ操作であっても、精度良く検出することが可能である。
次に、図8に示す構成を採用した情報処理装置1の処理の流れについて、図9および図10を用いて説明する。図9は、情報処理装置1が操作者Pのジェスチャ操作を検出する処理の流れの別の一例を示すフローチャートであり、図10は、情報処理装置1が操作者Pのジェスチャ操作を検出するために移動する例を説明する図である。なお、ステップS1~S5は、図4と同様であるため、その説明を繰り返さない。
カメラ31と操作者Pとの間の距離が、ジェスチャ操作を検出するために適した距離範囲内ではない場合、位置・傾き判定部18は、移動機構制御部33に対して、移動機構35によって適した位置まで移動するよう指示する。これにより、情報処理装置1は移動して、カメラ31と操作者Pとの間の距離を調整する(ステップS6:移動工程)。
現在のカメラ31と操作者Pとの間の距離が、ジェスチャ操作を検出するために適した距離範囲内である場合(ステップS5にてYES)、位置・傾き判定部18は、領域推定部15によって推定された操作者Pの体の傾きを確認し(ステップS61)、カメラ31の撮像方向がジェスチャ操作の検出に適した方向か否かを判定する(ステップS62)。
カメラ31の撮像方向がジェスチャ操作の検出に適した方向ではない場合(ステップS62にてNO)、位置・傾き判定部18は、カメラの向きを操作者Pの体の向きに合わせるようカメラ制御部11に指示する。カメラ制御部11が位置・傾き判定部18からの指示に応じて、向き調整部39を制御し、操作者Pの体軸L3とカメラ31の撮像方向L1とのなす角度が所定の範囲内となるようにカメラ31の向きを調整し(ステップS63)、ステップS61に戻る。なお、ジェスチャ操作において動作する所定の部位が片方の手P1のみである場合、領域推定部15は、手P1が動作する領域を対象領域R2として推定することも可能である。この場合、対象領域R2が撮像可能であり、かつ所定の解像度以上にて手P1が撮像可能なようにカメラ31の撮像方向を調整すればよい。
一方、カメラ31の撮像方向がジェスチャ操作の検出に適した方向である場合(ステップS62にてYES)、位置・傾き判定部18は、カメラ31によって操作者Pの手P1の動作の撮像をさせるようカメラ制御部11に指示する(ステップS7)。
次に、操作検出部15は、ステップS7にて撮像された操作者Pのジェスチャ操作を検出する(ステップS8:検出工程)。
図10の(a)には、カメラ31と傾いた姿勢の操作者Pとの間の距離d3が、対象領域R2を撮像するために適した距離範囲内よりも短いため、操作者Pの手P1およびP2が撮像できていない場合を例示している。この場合、情報処理装置1aは、操作者Pから遠ざかる方向に移動する。
しかし、カメラ31と操作者Pとの間の距離が、対象領域R2を撮像するために適した距離範囲内である距離d4になったとしても、操作者Pの体軸L3が傾いているために、操作者Pの体軸L3とカメラ31の撮像方向L1とのなす角度B1が所定の範囲内ではなく、手P1およびP2の動作によるジェスチャ操作が正しく検出できない可能性がある。そこで、情報処理装置1は、図10の(b)に示すように、操作者Pの体軸L3とカメラ31の撮像方向L1とのなす角度が所定の範囲内である角度C1となるように調整する。これにより、カメラ31によって対象領域R2が撮像可能であり、かつ所定の解像度以上にて手P1が撮像可能となる。図10の(b)に示す例では、情報処理装置1は、カメラ31の撮像方向L1を、仰向けで後方に傾いている姿勢の操作者Pを見下ろすように撮像できる向きに調整する。
(ジェスチャ操作の検出処理の変形例2)
情報処理装置1が空中または水中を自律移動する場合、情報処理装置1は上方あるいは下方に存在する操作者Pのジェスチャ操作を検出することとなる。情報処理装置1は、(1)カメラ31と操作者Pとの間の距離がジェスチャ操作を検出するために適した距離範囲内となるように移動し、(2)操作者Pの体軸L3とカメラ31の撮像方向L1とのなす角度が所定の範囲内となるようにカメラ31の向きを調整することができる。それゆえ、情報処理装置1は、操作者Pのジェスチャ操作を精度良く検出することができる。このことについて、図11を用いて説明する。図11は、情報処理装置1が操作者Pのジェスチャ操作を検出するために移動する他の例を説明する図である。
図11の(a)では、情報処理装置1aのカメラ31と操作者Pとの間の距離d5は、操作者Pの手P1の動作を撮像するために適した距離範囲内であるものの、操作者Pの体軸L3とカメラ31の撮像方向L1とのなす角度B2が所定の範囲内ではない。それゆえ、操作者Pの手P1の動作によるジェスチャ操作を精度良く検出することが困難である。
そこで、情報処理装置1は、図11の(b)に示すように、操作者Pの体軸L3とカメラ31の撮像方向L1とのなす角度が所定の範囲内である角度C2となるように調整する。なお、この場合、情報処理装置1は、カメラ31の撮像方向の調整に加え、飛行している高度を変更する構成であってもよい。これにより、カメラ31によって対象領域R2が撮像可能であり、かつ所定の解像度以上にて手P1が撮像可能となる。図11の(b)に示す例では、情報処理装置1は、カメラ31の撮像方向L1を、操作者Pを見下ろすように撮像できる向きに調整するとともに、飛行高度を低くしている。なお、情報処理装置1のカメラ31と操作者Pとの間の距離d6は、距離d5と同様、操作者Pの手P1の動作を撮像するために適した距離範囲内である。
〔実施形態2〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
(情報処理装置1aの概要)
本実施形態に係る情報処理装置1aは、情報処理装置1と同様、予め設定されたジェスチャ操作の優先度に基づいて、優先度が高いジェスチャ操作を特定する機能を備えている。上述の情報処理装置1は、優先度の高い操作者によるジェスチャ操作を優先度の高いジェスチャ操作として検出するのに対し、情報処理装置1aは、操作者の優先度ではなく、検出されたジェスチャ操作の中から優先度の高いジェスチャ操作を特定する。
ジェスチャ操作の優先度は、ジェスチャ操作毎に予め定められていてもよい。例えば、情報処理装置1aにジェスチャ操作を行う権限を有する操作者によって行われ得るジェスチャ操作は優先度リスト23aに予め登録されており、ジェスチャ操作毎に一意の優先度が定められていてもよい。なお、ジェスチャ操作の優先度は、例えば、ジェスチャ操作に従って動作することの重要性、および緊急性の高さに応じて設定され得る。
(情報処理装置1aの構成)
次に、情報処理装置1aの構成について、図12を用いて説明する。図12は、情報処理装置1aの概略構成の一例を示すブロック図である。
情報処理装置1aは、情報処理装置1aの各部を統括して制御する制御部10a、情報処理装置1が使用する各種データを記憶する記憶部20aを備えている。また、情報処理装置1aは、さらに、カメラ31、測距センサ32、移動機構制御部33、移動機構35、および通信部36を備えている。なお、情報処理装置1aの構成はこれに限定されない。例えば、情報処理装置1aは、図8に示す情報処理装置1のように、カメラ31の撮像方向を制御する機構である向き調整部39、およびカメラ31の傾きなどを監視するためのジャイロセンサ37、加速度センサ38を備えていてもよい。また、情報処理装置1aは、位置判定部16の代わりに位置・傾き判定部18をさらに備えていてもよい。
<記憶部20a>
記憶部20aは、カメラ仕様21、ジェスチャ操作リスト22、および優先度リスト23a、を備えている。
優先度リスト23aは、各ジェスチャの優先度を保持しているデータである。各ジェスチャ操作は、例えば、図14に示すようにジェスチャ操作に用いられる操作者の体の所定の部位(例えば、手など)の動き毎に定義されていてもよい。ジェスチャ操作毎の優先度は、例えば、図14に示すように、ジェスチャ毎に一意の優先順位が割り振られたリストによりあらかじめ決定されている。
<制御部10a>
制御部10aは、図3のCPU100に対応している。
制御部10aは、カメラ制御部11、対象検出部12a、優先度判定部14a、領域推定部15a、位置判定部16a、および操作検出部17を備えている。
対象検出部12aは、公知の画像認識技術を適用して、カメラ制御部11が取得した撮像画像に、操作者Pが写っているか否かを確認する。操作者Pが写っている場合、対象検出部12aは、撮像画像中の操作者Pに対応する領域を抽出する。なお、対象検出部12aは、複数の操作者Pが写っている場合において各操作者Pに対応する領域を個別に抽出する点で、対象検出部12と異なる。
領域推定部15aは、対象検出部12aが抽出した操作者Pに対応する領域の各々について、対象領域R2を推定する。
位置判定部16aは、領域推定部15aが推定した各対象領域R2に対して、測距センサ32によって測定された、カメラ31と各操作者Pとの間の距離が、ジェスチャ操作を検出するために適した距離範囲内か否かを操作者Pの各々に対して判定する。すなわち、現在、操作者Pのジェスチャ操作を検出するために適した位置にカメラ31が存在している場合、位置判定部16aは、カメラ31によって操作者Pの手P1の動作の撮像をさせるようカメラ制御部11に指示する。一方、現在、操作者Pのジェスチャ操作を検出するために適した位置にカメラ31が存在していない場合、位置判定部16は、移動機構制御部33に対して、移動機構35によって適した位置まで移動するよう指示する。
優先度判定部14aは、優先度リスト23aを参照して、操作検出部17が検出したジェスチャ操作のうち、より優先度の高いジェスチャ操作を特定する。優先度判定部14aは、ジェスチャ操作リスト22を参照し、最も優先度が高いジェスチャ操作として特定されたジェスチャ操作に関連付けられている制御コマンドを決定する。
(情報処理装置1aの処理の流れ)
続いて、情報処理装置1aの処理の流れについて、図13を用いて説明する。図13は、情報処理装置1aが検出したジェスチャ操作の中から優先度が高いジェスチャ操作を特定する処理の流れの一例を示すフローチャートである。
まず、カメラ制御部11は、カメラ31によって自装置の周囲を撮像する(ステップS21)。次に、対象検出部12aは、公知の画像認識技術を適用して、カメラ制御部11が取得した撮像画像に対し、操作者Pの検出処理を行う。操作者Pが写っている場合(すなわち、カメラ31によって撮像される領域R1に操作者Pの方らの一部が含まれる場合)(ステップS22にてYES)、対象検出部12は、撮像画像中の操作者Pに対応する領域を抽出する。操作者Pが写っていない場合、あるいは、撮像画像中の操作者Pに対応する領域を抽出できない場合(ステップS22にてNO)、ステップS21に戻り、カメラ制御部11は、カメラ31によって周囲の撮像と操作者Pの捜索とを継続する。
次に、図6または図9に示す処理により、各操作者Pによって行われるジェスチャ操作の検出が行われる(ステップS23)。ただし、図13のステップS21は、図6および図9のステップS1に相当する。
次に、検出されたジェスチャ操作を実行している操作者Pが1人のみであった場合、(ステップS24でNO)、操作検出部17は、検出されたジェスチャ操作に関連付けられた制御コマンドを決定する。優先度判定部14aは、決定された制御コマンドを取得し、該ジェスチャ操作に応じた処理を実行する(ステップS26)。なお、ジェスチャ操作に応じた処理には、当該ジェスチャ操作に関連付けられた制御コマンドを別の作業機器に送信する処理も含まれ得る。
検出されたジェスチャ操作を実行している操作者Pが複数人であった場合(ステップS24でYES)、操作検出部17は、ジェスチャ操作リストを参照し、検出されたジェスチャ操作に関連付けられた制御コマンドを決定する。次に、優先度判定部は、優先度リスト23aを参照し、操作検出部17により決定された前記制御コマンドに関連付けられたジェスチャ操作の優先度を取得する。次に、優先度判定部は、最も優先度が高いジェスチャ操作を決定する。(ステップS25:特定工程)。その後、制御部10は、ジェスチャ操作に応じた処理を実行する(ステップS26)。
上記の構成を採用すれば、情報処理装置1bは、複数の操作者がそれぞれジェスチャ操作を行い得る場合においても、緊急性および重要性が高いジェスチャ操作を優先的に精度良く検出することができる。
〔実施形態3〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
(情報処理装置1bの概要)
本実施形態に係る情報処理装置1bは、情報処理装置1と同様、予め設定されたジェスチャ操作の優先度に基づいて、優先度が高いジェスチャ操作を特定する機能を備えている。上述の情報処理装置1は、優先度の高い操作者によるジェスチャ操作を優先度の高いジェスチャ操作として検出するのに対し、情報処理装置1bは、操作者の優先度のみではなく、検出されたジェスチャ操作の中から優先度の高いジェスチャ操作を特定する。
ジェスチャ操作の優先度は、ジェスチャ操作毎に予め定められていてもよい。例えば、情報処理装置1bにジェスチャ操作を行う権限を有する操作者によって行われ得るジェスチャ操作は優先度リスト23bに予め登録されており、ジェスチャ操作と操作者との組み合わせ毎に一意の優先度が定められていてもよい。なお、組み合わせ毎の優先度は、例えば、ジェスチャ操作に従って動作することの重要性、および緊急性の高さに応じて設定され得る。
(情報処理装置1bの構成)
次に、情報処理装置1bの構成について、図15、および図16を用いて説明する。図15は、情報処理装置1bの概略構成の一例を示すブロック図である。図16は、各人物およびジェスチャ操作の組合せに応じた優先度を保持しているデータの例を示す図である。
情報処理装置1bは、情報処理装置1bの各部を統括して制御する制御部10b、情報処理装置1が使用する各種データを記憶する記憶部20aを備えている。また、情報処理装置1は、さらに、カメラ31、測距センサ32、移動機構制御部33、移動機構35、および通信部36を備えている。
なお、情報処理装置1aの構成はこれに限定されない。例えば、情報処理装置1aは、図8に示す情報処理装置1のように、カメラ31の撮像方向を制御する機構である向き調整部39、およびカメラ31の傾きなどを監視するためのジャイロセンサ37、加速度センサ38を備えていてもよい。また、情報処理装置1aは、位置判定部16の代わりに位置・傾き判定部18をさらに備えていてもよい。
<記憶部20a>
図15の記憶部20aは、カメラ仕様21、ジェスチャ操作リスト22、および優先度リスト23b、を備えている。
優先度リスト23bは、保持している各人物、またはジェスチャ操作毎のみではなく、人物とジェスチャ操作との組み合わせ毎の優先度が保持されている点で、優先度リスト23と異なる。各組み合わせの優先度は、例えば、図16に示すように、操作者の優先度とジェスチャ操作の優先度の組合せに対して、一意の優先順位が割り振られたリストによりあらかじめ決定されていてよい。
<制御部10b>
図15の制御部10bは、図3のCPU100に対応している。
制御部10は、カメラ制御部11、対象検出部12、優先度判定部14b、領域推定部15b、位置判定部16b、および操作検出部17を備えている。
優先度判定部14bは、人物判定部13からの出力(判定結果)と、操作検出部17からの出力(検出結果)とに基づいて優先度を判定する点で、優先度判定部14aと異なる。また、優先度判定後は操作検出部17に代えて、優先度判定部14bが通信部36bへの出力を行う点で、優先度判定部14aと異なる。
領域推定部15bは、人物判定部13からの出力(判定結果)に基づいて処理を行う点で、領域推定部15aと異なる。
上記の構成を採用すれば、情報処理装置1bは、複数の操作者がそれぞれジェスチャ操作を行い得る場合においても、緊急性および重要性が高いジェスチャ操作を優先的に精度良く検出することができる。
〔ソフトウェアによる実現例〕
情報処理装置1、1a、1bの制御ブロック(特に制御部10、10a、および10b)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
後者の場合、情報処理装置1、1a、1bは、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも1つのプロセッサ(制御装置)を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも1つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
本発明の各態様に係る情報処理装置(1、1a、1b)は、コンピュータによって実現してもよく、この場合には、コンピュータを上記情報処理装置が備える各部(ソフトウェア要素)として動作させることにより上記情報処理装置をコンピュータにて実現させる情報処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
1、1a、1b 情報処理装置
10、10a、10b 制御部(制御装置)
31 カメラ(撮像装置)
35 移動機構
S3 推定工程
S6 移動工程
S8 検出工程
S16、S25 特定工程

Claims (9)

  1. ジェスチャ操作を検出する情報処理装置であって、
    少なくとも1つの撮像装置と、少なくとも1つの移動機構と、少なくとも1つの制御装置と、を備え、
    前記制御装置は、
    複数の操作者がそれぞれジェスチャ操作を行うとき、
    少なくとも、最も優先度が高いジェスチャ操作を行う操作者について、
    ジェスチャ操作を行うときに当該操作者の体の所定の部位が動作する対象領域を推定し、
    前記撮像装置によって、前記対象領域が撮像可能であり、かつ前記所定の部位を所定の解像度以上にて撮像可能な位置に移動するように前記移動機構を制御し、
    前記位置から前記撮像装置によって撮像された前記所定の部位の動作に基づいて前記ジェスチャ操作を検出する
    ことを特徴とする情報処理装置。
  2. 前記制御装置は、
    前記複数の操作者の各々の優先度を、各操作者の外観上の特徴に基づいて判定し、
    前記複数の操作者のうちの一人を、最も優先度が高いジェスチャ操作を行う操作者として特定する
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記制御装置は、
    前記複数の操作者が行うジェスチャ操作のうち、最も優先度が高いジェスチャ操作を特定する
    ことを特徴とする請求項1に記載の情報処理装置。
  4. 前記制御装置は、
    前記操作者毎の優先度、および前記ジェスチャ操作毎の優先度に基づいて、より優先度が高いジェスチャ操作を特定する
    ことを特徴とする請求項1に記載の情報処理装置。
  5. 前記制御装置は、前記所定の部位を前記撮像装置のパン、チルト、およびズームの少なくとも1つの機能を用いて撮像する
    ことを特徴とする請求項1から4のいずれか1項に記載の情報処理装置。
  6. 前記撮像装置が撮像する撮像方向を、前記操作者の体の傾きに応じて調整する向き調整部をさらに備え、
    前記制御装置は、
    前記対象領域が撮像可能であり、かつ前記所定の部位の動作を前記所定の解像度以上にて撮像可能な前記撮像方向となるように前記向き調整部を制御する
    ことを特徴とする請求項1から5のいずれか1項に記載の情報処理装置。
  7. 前記制御装置は、
    前記操作者の頭部および胴部の中心を通る体軸と、前記撮像装置の撮像方向とのなす角度が所定の範囲内となるように前記向き調整部を制御する
    ことを特徴とする請求項6に記載の情報処理装置。
  8. 請求項1から7のいずれか1項に記載の情報処理装置としてコンピュータを機能させるための制御プログラムであって、上記制御装置としてコンピュータを機能させるための制御プログラム。
  9. 請求項に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2018223454A 2018-11-29 2018-11-29 情報処理装置、制御プログラム、記録媒体 Active JP7158261B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018223454A JP7158261B2 (ja) 2018-11-29 2018-11-29 情報処理装置、制御プログラム、記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018223454A JP7158261B2 (ja) 2018-11-29 2018-11-29 情報処理装置、制御プログラム、記録媒体

Publications (2)

Publication Number Publication Date
JP2020088721A JP2020088721A (ja) 2020-06-04
JP7158261B2 true JP7158261B2 (ja) 2022-10-21

Family

ID=70909122

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018223454A Active JP7158261B2 (ja) 2018-11-29 2018-11-29 情報処理装置、制御プログラム、記録媒体

Country Status (1)

Country Link
JP (1) JP7158261B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024145189A1 (en) * 2022-12-29 2024-07-04 Canon U.S.A., Inc. System and method for multi-camera control and capture processing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007280417A (ja) 2007-06-19 2007-10-25 Honda Motor Co Ltd 姿勢認識装置及び自律ロボット
JP2015526927A (ja) 2012-07-31 2015-09-10 インテル コーポレイション カメラ・パラメータのコンテキスト駆動型調整
JP2018185891A (ja) 2017-04-24 2018-11-22 株式会社東海理化電機製作所 照明装置及びジェスチャ判定装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007280417A (ja) 2007-06-19 2007-10-25 Honda Motor Co Ltd 姿勢認識装置及び自律ロボット
JP2015526927A (ja) 2012-07-31 2015-09-10 インテル コーポレイション カメラ・パラメータのコンテキスト駆動型調整
JP2018185891A (ja) 2017-04-24 2018-11-22 株式会社東海理化電機製作所 照明装置及びジェスチャ判定装置

Also Published As

Publication number Publication date
JP2020088721A (ja) 2020-06-04

Similar Documents

Publication Publication Date Title
US10169880B2 (en) Information processing apparatus, information processing method, and program
KR102228663B1 (ko) 촬영 가이드 제공 방법 및 이를 수행하는 시스템
KR20170028942A (ko) 안전한 웨어러블 컴퓨터 인터페이스
KR102315525B1 (ko) 감시 시스템 및 그 동작 방법
JP2007074033A (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
US10127424B2 (en) Image processing apparatus, image processing method, and image processing system
JP2017138947A (ja) 飛行高度制御装置、無人飛行体、飛行高度制御方法及び飛行高度制御プログラム
JP2015002522A (ja) 監視カメラ及び監視カメラの制御方法
WO2015154359A1 (zh) 拍摄的实现方法及装置
JP7158261B2 (ja) 情報処理装置、制御プログラム、記録媒体
JP5625443B2 (ja) 撮像システムおよび撮像装置
JP2017183852A (ja) 表示装置および表示制御方法
JP4604606B2 (ja) 顔検出装置及び顔検出方法、並びにコンピュータ・プログラム
JP2020025170A (ja) 情報処理装置、検出方法、制御プログラム、記録媒体
JP2011188258A (ja) カメラシステム
JP2018019278A (ja) 情報処理装置、情報処理方法、およびプログラム
EP4354853A1 (en) Thermal-image-monitoring system using plurality of cameras
KR101221741B1 (ko) 위치 감지 정보를 이용한 카메라 줌 조절 시스템 및 방법
JP7335753B2 (ja) 物体追尾システム、物体追尾装置、物体追尾方法及びプログラム
JP2022048077A (ja) 画像処理装置およびその制御方法
JP6347299B2 (ja) 飛行装置、方法、及びプログラム
JP7472299B2 (ja) カメラシステム及びカメラシステムの制御方法
JP2019146087A (ja) 情報処理装置、撮像装置の制御方法、コンピュータプログラム、及び記憶媒体
JP2020067534A (ja) 撮像装置
CN114979611A (zh) 一种双目感知***和方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210922

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221011

R150 Certificate of patent or registration of utility model

Ref document number: 7158261

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150