JP7158261B2 - 情報処理装置、制御プログラム、記録媒体 - Google Patents
情報処理装置、制御プログラム、記録媒体 Download PDFInfo
- Publication number
- JP7158261B2 JP7158261B2 JP2018223454A JP2018223454A JP7158261B2 JP 7158261 B2 JP7158261 B2 JP 7158261B2 JP 2018223454 A JP2018223454 A JP 2018223454A JP 2018223454 A JP2018223454 A JP 2018223454A JP 7158261 B2 JP7158261 B2 JP 7158261B2
- Authority
- JP
- Japan
- Prior art keywords
- operator
- information processing
- gesture operation
- camera
- priority
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
以下、本発明の一実施形態について、詳細に説明する。
本実施形態に係る情報処理装置1は、操作者によるジェスチャ操作を検出する機能を有する。ジェスチャ操作を行う権限が付与された複数の操作者が作業を行う作業現場では、情報処理装置1が複数の操作者によるジェスチャ操作を検出する可能性がある。このような場合、情報処理装置1は、より重要で、より緊急性の高い(すなわち、より優先度の高い)ジェスチャ操作を検出する事が望ましい。
情報処理装置1は、操作者Pを撮像する少なくとも1つのカメラ31(撮像装置)と、少なくとも1つの移動機構35と、少なくとも1つの制御部10(制御装置)と、を備えている(図1参照)。情報処理装置1は、カメラ31によって操作者Pの動作を撮像するために好適な位置まで自律的に移動し、操作者Pのジェスチャ操作を検出する機能を有する。
次に、情報処理装置1の構成について、図1、図3、および図5を用いて説明する。図1は、情報処理装置1の概略構成の一例を示すブロック図である。図3は、情報処理装置1のハードウェア構成の一例を示すブロック図である。
カメラ31は、情報処理装置1に搭載され、情報処理装置1の周囲を撮像可能なカメラである。より具体的には、カメラ31は、デジタルカメラまたはデジタルビデオである。なお、カメラ31は、焦点距離が固定のレンズを備えていてもよいし、倍率が可変のレンズ(例えば、ズームレンズ)を備えていてもよい。カメラ31は、パン、チルト、ズーム機能を有している、いわゆるPTZカメラであってもよい。
測距センサ32は、測距対象物(例えば、操作者Pなど)と情報処理装置1との間の距離を測定するためのセンサである。測距センサ32は、例えば、赤外線などを利用するレーザセンサであってもよい。
図1の記憶部20は、図3のROM201に対応している。図3のROMは、情報処理装置1が備える各部の操作を制御するための動作プログラムを記憶している。一方、図3のRAM202は、情報処理装置1の動作に利用される撮像画像などのデータを一時的に格納するためのワーキングメモリである。
図1の制御部10は、図3のCPU100に対応している。
移動機構制御部33は、移動機構35の起動/停止などを制御する集積回路(ICチップ)等に形成された論理回路である。なお、図1および図3に示す構成に限定されず、制御部10(図3のCPU100)が移動機構制御部33の機能を備え、移動機構35の起動/停止などの制御をソフトウェアであるプログラムの命令によって実現する構成であってもよい。
移動機構35は、情報処理装置1を移動させるための移動手段であり、タイヤ、キャタビラ、歩行用の脚、プロペラ、スクリューなど、およびこれらを動かすための1または複数の、任意の動力発生機を含んでいる。図1には、例示的に、第1モーター351、第2モーター352、第3モーター353、・・・を含む移動機構35を示している。
通信部36は、情報処理装置1と別の作業機器(図示せず)などとの間のデータ送受信を行うためのものである。例えば、操作検出部17によって決定された制御コマンドは、通信部36を介して別の作業機器に送信される。
続いて、情報処理装置1の処理の流れについて、図4を用いて説明する。図4は、情報処理装置が優先度の高い操作者を特定し、該操作者のジェスチャ操作を検出する処理の流れの一例を示すフローチャートである。
続いて、図6および図7を用いて、情報処理装置1がジェスチャ操作を検出する処理(図4のステップS17)の一例を説明する。図6は、情報処理装置1がジェスチャ操作を検出する処理の流れの一例を示すフローチャートである。図7の(a)および(b)は、情報処理装置1がジェスチャ操作を検出するために移動する例を説明する図であり、図7の(c)は、情報処理装置1がジェスチャ操作を検出するための対象領域の一例を説明する図である。
ここでは、対象領域R2の推定方法について、図7の(c)を用いて説明する。図7の(c)は、ジェスチャ操作を検出するための対象領域R2の一例を説明する図である。なお、図7の(c)では、ジェスチャ操作において動作する所定の部位が操作者Pの手P1およびP2である場合を例に挙げて説明するが、これに限定されない。例えば、操作者Pの片方の手(例えばP1)であってもよいし、操作者Pの顔、および脚などであってもよい。すなわち、推定される対象領域R2は、情報処理装置1の検出対象となるジェスチャ操作において、動作する部位に応じて適宜変更され得る。
上記の通り、情報処理装置1は、図4に示すような処理によって、優先度の高いジェスチャ操作を検出する。ただし、本発明はこれに限定されるものではない。例えば、カメラ31によって撮像された撮像画像に人物の顔が写っているとは限らない。そこで、人物が着用しているヘルメットおよび衣服の色などの外見上の特徴を利用して、各人物の優先度を判定する構成であってもよい。
操作者Pの姿勢は立位、または座位であるとは限らず、壁などにもたれかかっていて傾いた姿勢(体軸L3が重力方向に平行ではない姿勢)であったり、臥位であったりすることも考えられる。そこで、情報処理装置1は、図8に示すような構成としてもよい。このような構成を採用することにより、情報処理装置1は、操作者Pの体軸L3が重力に平行な方向から傾いている場合であっても、操作者Pのジェスチャ操作を精度良く検出することが可能である。
図8は、情報処理装置1の概略構成の別の例を示すブロック図である。情報処理装置1は、カメラ31の撮像方向を制御する機構である向き調整部39、およびカメラ31の傾きなどを監視するためのジャイロセンサ37、加速度センサ38を備えている。また、情報処理装置1は、位置判定部16の代わりに位置・傾き判定部18を備える点で、図1に示す情報処理装置1と異なっている。
情報処理装置1が空中または水中を自律移動する場合、情報処理装置1は上方あるいは下方に存在する操作者Pのジェスチャ操作を検出することとなる。情報処理装置1は、(1)カメラ31と操作者Pとの間の距離がジェスチャ操作を検出するために適した距離範囲内となるように移動し、(2)操作者Pの体軸L3とカメラ31の撮像方向L1とのなす角度が所定の範囲内となるようにカメラ31の向きを調整することができる。それゆえ、情報処理装置1は、操作者Pのジェスチャ操作を精度良く検出することができる。このことについて、図11を用いて説明する。図11は、情報処理装置1が操作者Pのジェスチャ操作を検出するために移動する他の例を説明する図である。
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
本実施形態に係る情報処理装置1aは、情報処理装置1と同様、予め設定されたジェスチャ操作の優先度に基づいて、優先度が高いジェスチャ操作を特定する機能を備えている。上述の情報処理装置1は、優先度の高い操作者によるジェスチャ操作を優先度の高いジェスチャ操作として検出するのに対し、情報処理装置1aは、操作者の優先度ではなく、検出されたジェスチャ操作の中から優先度の高いジェスチャ操作を特定する。
次に、情報処理装置1aの構成について、図12を用いて説明する。図12は、情報処理装置1aの概略構成の一例を示すブロック図である。
記憶部20aは、カメラ仕様21、ジェスチャ操作リスト22、および優先度リスト23a、を備えている。
制御部10aは、図3のCPU100に対応している。
続いて、情報処理装置1aの処理の流れについて、図13を用いて説明する。図13は、情報処理装置1aが検出したジェスチャ操作の中から優先度が高いジェスチャ操作を特定する処理の流れの一例を示すフローチャートである。
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
本実施形態に係る情報処理装置1bは、情報処理装置1と同様、予め設定されたジェスチャ操作の優先度に基づいて、優先度が高いジェスチャ操作を特定する機能を備えている。上述の情報処理装置1は、優先度の高い操作者によるジェスチャ操作を優先度の高いジェスチャ操作として検出するのに対し、情報処理装置1bは、操作者の優先度のみではなく、検出されたジェスチャ操作の中から優先度の高いジェスチャ操作を特定する。
次に、情報処理装置1bの構成について、図15、および図16を用いて説明する。図15は、情報処理装置1bの概略構成の一例を示すブロック図である。図16は、各人物およびジェスチャ操作の組合せに応じた優先度を保持しているデータの例を示す図である。
図15の記憶部20aは、カメラ仕様21、ジェスチャ操作リスト22、および優先度リスト23b、を備えている。
図15の制御部10bは、図3のCPU100に対応している。
情報処理装置1、1a、1bの制御ブロック(特に制御部10、10a、および10b)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
10、10a、10b 制御部(制御装置)
31 カメラ(撮像装置)
35 移動機構
S3 推定工程
S6 移動工程
S8 検出工程
S16、S25 特定工程
Claims (9)
- ジェスチャ操作を検出する情報処理装置であって、
少なくとも1つの撮像装置と、少なくとも1つの移動機構と、少なくとも1つの制御装置と、を備え、
前記制御装置は、
複数の操作者がそれぞれジェスチャ操作を行うとき、
少なくとも、最も優先度が高いジェスチャ操作を行う操作者について、
ジェスチャ操作を行うときに当該操作者の体の所定の部位が動作する対象領域を推定し、
前記撮像装置によって、前記対象領域が撮像可能であり、かつ前記所定の部位を所定の解像度以上にて撮像可能な位置に移動するように前記移動機構を制御し、
前記位置から前記撮像装置によって撮像された前記所定の部位の動作に基づいて前記ジェスチャ操作を検出する
ことを特徴とする情報処理装置。 - 前記制御装置は、
前記複数の操作者の各々の優先度を、各操作者の外観上の特徴に基づいて判定し、
前記複数の操作者のうちの一人を、最も優先度が高いジェスチャ操作を行う操作者として特定する
ことを特徴とする請求項1に記載の情報処理装置。 - 前記制御装置は、
前記複数の操作者が行うジェスチャ操作のうち、最も優先度が高いジェスチャ操作を特定する
ことを特徴とする請求項1に記載の情報処理装置。 - 前記制御装置は、
前記操作者毎の優先度、および前記ジェスチャ操作毎の優先度に基づいて、より優先度が高いジェスチャ操作を特定する
ことを特徴とする請求項1に記載の情報処理装置。 - 前記制御装置は、前記所定の部位を前記撮像装置のパン、チルト、およびズームの少なくとも1つの機能を用いて撮像する
ことを特徴とする請求項1から4のいずれか1項に記載の情報処理装置。 - 前記撮像装置が撮像する撮像方向を、前記操作者の体の傾きに応じて調整する向き調整部をさらに備え、
前記制御装置は、
前記対象領域が撮像可能であり、かつ前記所定の部位の動作を前記所定の解像度以上にて撮像可能な前記撮像方向となるように前記向き調整部を制御する
ことを特徴とする請求項1から5のいずれか1項に記載の情報処理装置。 - 前記制御装置は、
前記操作者の頭部および胴部の中心を通る体軸と、前記撮像装置の撮像方向とのなす角度が所定の範囲内となるように前記向き調整部を制御する
ことを特徴とする請求項6に記載の情報処理装置。 - 請求項1から7のいずれか1項に記載の情報処理装置としてコンピュータを機能させるための制御プログラムであって、上記制御装置としてコンピュータを機能させるための制御プログラム。
- 請求項8に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018223454A JP7158261B2 (ja) | 2018-11-29 | 2018-11-29 | 情報処理装置、制御プログラム、記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018223454A JP7158261B2 (ja) | 2018-11-29 | 2018-11-29 | 情報処理装置、制御プログラム、記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020088721A JP2020088721A (ja) | 2020-06-04 |
JP7158261B2 true JP7158261B2 (ja) | 2022-10-21 |
Family
ID=70909122
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018223454A Active JP7158261B2 (ja) | 2018-11-29 | 2018-11-29 | 情報処理装置、制御プログラム、記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7158261B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024145189A1 (en) * | 2022-12-29 | 2024-07-04 | Canon U.S.A., Inc. | System and method for multi-camera control and capture processing |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007280417A (ja) | 2007-06-19 | 2007-10-25 | Honda Motor Co Ltd | 姿勢認識装置及び自律ロボット |
JP2015526927A (ja) | 2012-07-31 | 2015-09-10 | インテル コーポレイション | カメラ・パラメータのコンテキスト駆動型調整 |
JP2018185891A (ja) | 2017-04-24 | 2018-11-22 | 株式会社東海理化電機製作所 | 照明装置及びジェスチャ判定装置 |
-
2018
- 2018-11-29 JP JP2018223454A patent/JP7158261B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007280417A (ja) | 2007-06-19 | 2007-10-25 | Honda Motor Co Ltd | 姿勢認識装置及び自律ロボット |
JP2015526927A (ja) | 2012-07-31 | 2015-09-10 | インテル コーポレイション | カメラ・パラメータのコンテキスト駆動型調整 |
JP2018185891A (ja) | 2017-04-24 | 2018-11-22 | 株式会社東海理化電機製作所 | 照明装置及びジェスチャ判定装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2020088721A (ja) | 2020-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10169880B2 (en) | Information processing apparatus, information processing method, and program | |
KR102228663B1 (ko) | 촬영 가이드 제공 방법 및 이를 수행하는 시스템 | |
KR20170028942A (ko) | 안전한 웨어러블 컴퓨터 인터페이스 | |
KR102315525B1 (ko) | 감시 시스템 및 그 동작 방법 | |
JP2007074033A (ja) | 撮像装置及びその制御方法及びプログラム及び記憶媒体 | |
US10127424B2 (en) | Image processing apparatus, image processing method, and image processing system | |
JP2017138947A (ja) | 飛行高度制御装置、無人飛行体、飛行高度制御方法及び飛行高度制御プログラム | |
JP2015002522A (ja) | 監視カメラ及び監視カメラの制御方法 | |
WO2015154359A1 (zh) | 拍摄的实现方法及装置 | |
JP7158261B2 (ja) | 情報処理装置、制御プログラム、記録媒体 | |
JP5625443B2 (ja) | 撮像システムおよび撮像装置 | |
JP2017183852A (ja) | 表示装置および表示制御方法 | |
JP4604606B2 (ja) | 顔検出装置及び顔検出方法、並びにコンピュータ・プログラム | |
JP2020025170A (ja) | 情報処理装置、検出方法、制御プログラム、記録媒体 | |
JP2011188258A (ja) | カメラシステム | |
JP2018019278A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
EP4354853A1 (en) | Thermal-image-monitoring system using plurality of cameras | |
KR101221741B1 (ko) | 위치 감지 정보를 이용한 카메라 줌 조절 시스템 및 방법 | |
JP7335753B2 (ja) | 物体追尾システム、物体追尾装置、物体追尾方法及びプログラム | |
JP2022048077A (ja) | 画像処理装置およびその制御方法 | |
JP6347299B2 (ja) | 飛行装置、方法、及びプログラム | |
JP7472299B2 (ja) | カメラシステム及びカメラシステムの制御方法 | |
JP2019146087A (ja) | 情報処理装置、撮像装置の制御方法、コンピュータプログラム、及び記憶媒体 | |
JP2020067534A (ja) | 撮像装置 | |
CN114979611A (zh) | 一种双目感知***和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210922 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220726 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220914 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220927 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221011 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7158261 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |