JP2014160017A - 管理装置、方法及びプログラム - Google Patents

Abstract

【課題】様々な環境下においても発光型表示装置の位置を確実に検出する。
【解決手段】本発明の管理装置は、輝点検出手段と、判定手段と、設定手段と、を具備する。輝点検出手段は、発光型表示装置の部分領域を発光させて撮像画像から、発光部分である第１輝点領域を検出する。判定手段は、発光型表示装置の前回発光させた部分領域と一部が重なるまたは隣接している別の部分領域を発光させて得られた撮像画像から、輝点検出手段が第２輝点領域を検出することを規定回数だけ繰り返し、前後の撮像画像で一部が重なりかつ位置が移動している第３輝点領域の位置を撮像画像上における発光型表示装置の位置であると判定する。設定手段は、第３輝点領域を含む周辺領域を設定領域であるＲＯＩとして設定する。
【選択図】図２

Description

本発明は、ビジュアルフィードバック制御のための動的輝点出力及びランドマーク検出を行う管理装置、方法及びプログラムに関する。

ロボットや機械類等のアクチュエータを制御する方法として、撮像装置を用いた制御対象の状態推定を利用したビジュアルフィードバックという制御法が知られている(例えば、非特許文献１及び２参照)。また、環境にある物体やアクチュエータに貼り付けられたマーカを撮像し、そのマーカを画像認識によって検出し、アクチュエータ等の様々な対象物の位置や速度を推定する方法も知られている(例えば、非特許文献３参照)。これらの方法を使用して、例えば事前に検出を可能にしておいたマーカをアクチュエータに張り付けたり、そのアクチュエータが動作する環境にある物体に張り付けたりすることで、アクチュエータの位置などの推定や、アクチュエータの周りの障害物や特別な処理対象等を検出し、都度必要な動作命令をアクチュエータにフィードバックすることが可能になる。

しかし、上記のようなマーカの検出は、撮像している環境の照明状況や撮像装置の仕様によっては失敗し得る。例えば、紙等にマーカを描いて用意した場合、撮像装置と照明とマーカとの位置関係によっては、照明光が強くマーカ上で反射し、マーカの模様や形が判別しにくくなり検出が困難になる。また、広角レンズ等を利用して撮像装置の撮像画角を大きくすると、より少ない台数の撮像装置で広範囲な環境の撮像が可能になるが、その一方で歪み、撮像ノイズ、収差、解像度不足等の影響が大きくなる。従って、撮像画像内で本来検出されるはずのマーカの形や模様に、歪み、滲み、あるいは解像度不足による潰れが生じてしまい、マーカの検出が困難になる。これらのことにより、アクチュエータの制御が不可能になってしまうことが想定される。

そこで、マーカに頼らない方法として、赤外ＬＥＤ等の発光装置をランドマークとして各種対象に固定して発光させ、撮像画像をグレースケール化、及び２値化して発光装置の発光を輝点として検出し、その輝点の画像中の位置から、ロボット等の制御対象の位置を推定するという方式も提案されている（例えば、非特許文献４参照）。

しかし、この場合も、例えば上記のＬＥＤの近傍で照明反射が生じた場合や、撮像画像中のランドマークとして本来見なさないはずの物体が、照明等の関係で撮像画像中に輝点として誤認識された時、上記と同様に位置の推定は困難になるため、アクチュエータの制御が不可能になる。また、発光装置を複数台の制御対象に取り付けて、それぞれの位置検出を行う場合は、何らかの手段を講じないとどの輝点がどの制御対象に対応するか判別するのが困難になり、複数台の制御対象の制御が不可能になる。

Yoshihiro Nakabo, Idaku Ishii, and Masatoshi Ishikawa : High Speed Target Tracking Using 1ms visual Feedback System, Video Proceedings of IEEE Int. Conf. Robotics and Automation (Minneapolis, 1996.4.24-26)/Abstract, p.6 中坊嘉宏, 石井抱, 石川正俊：超並列・超高速ビジョンを用いた1msターゲットトラッキングシステム, 日本ロボット学会誌, Vol.15, No.3, pp.417-421 (1997) 加藤博一,他「マーカー追跡に基づく拡張現実感システムとそのキャリブレーション」、日本バーチャルリアリティ学会論文誌、Ｖｏｌ４、Ｎｏ．４、１９９９年 土方俊介、他「赤外LEDを用いた移動ロボットの自己位置同定」ロボティクス・メカトロニクス講演会講演概要集 2005, 40, 2005-06-09

アクチュエータに適切な動作命令をフィードバックするために、アクチュエータやその周りの環境を、撮像装置を用いて検出することを考える。この時、照明の反射の影響を受けにくく、かつ、広角レンズを用いて撮像装置の画角が大きくしても、対応可能な手法が必要である。

本発明は、上記の事情に鑑みてなされたもので、様々な環境下においても発光型表示装置の位置を確実に検出することができる管理装置、方法及びプログラムを提供することを目的とする。

上述の課題を解決するため、本発明の管理装置は、制御対象または該制御対象の周囲に発光型表示装置を取り付け、該制御対象が動作する環境または該制御対象に設置された撮像装置によって、発光型表示装置の発光部分を撮像し、撮像装置から得られた撮像画像に基づいて、該制御対象を制御する管理装置であって、輝点検出手段と、判定手段と、設定手段と、を具備する。輝点検出手段は、発光型表示装置の部分領域を発光させて撮像画像から、発光部分である第１輝点領域を検出する。判定手段は、発光型表示装置の前回発光させた部分領域と一部が重なるまたは隣接している別の部分領域を発光させて得られた撮像画像から、輝点検出手段が第２輝点領域を検出することを規定回数だけ繰り返し、前後の撮像画像で一部が重なりかつ位置が移動している第３輝点領域の位置を撮像画像上における発光型表示装置の位置であると判定する。設定手段は、第３輝点領域を含む周辺領域を設定領域であるＲＯＩとして設定する。

本発明によれば、撮像画像に歪みが存在する場合、撮像画像の解像度が低い場合、撮像ノイズが顕著な場合、照明等の反射が顕著な物体やその他の発光物体が環境中に存在する場合であっても、発光型表示装置の位置を確実に検出することができる。

本発明の実施形態に係るシステムの概要を示す図。 図１の管理装置の詳細について説明する図。 図１及び図２の発光型表示装置を検出するための検出シーケンス図。 図１及び図２の制御対象を制御するための制御シーケンス図。 図１及び図２の発光型表示装置に表示される輝点を検出することと発光制御との一例についてのフローチャート。 ２つの輝度領域が同一であるかどうかについて判定するための一例を示す図。 発光制御を説明するための１つのシステム例を示す図。 図６Ａのシステムでの発光制御についての一連の撮影画像を示す図。 図１及び図２の制御対象を制御する一例を示すフローチャート。 図７の１つのステップであるＲＯＩの設定手法の一例を示す図。 第１例のシステムの概要を示す図。 第２例のシステムの概要を示す図。 第３例のシステムの概要を示す図。 図１１のシステムでの発光型表示装置に表示される輝点を検出することと発光制御との一例についてのフローチャート。 第４例の、発光型表示装置を検出することの一例を示す図。

以下、図面を参照しながら本発明の実施形態に係る管理装置、方法及びプログラムについて詳細に説明する。なお、以下の実施形態では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
従来のマーカ検出法では広角カメラを利用するのが難しく、赤外ＬＥＤの輝点検出だけでは、どの輝点が真に検出すべき輝点であるかを判定するのが困難であることを解決することを１つの目的として、本発明の実施形態では、輝点に動きを与えることで、どの輝点が真に検出すべきものであるかを判別するための、手法を提供する。

本発明の実施形態は、制御対象またはその周囲の検出対象物に発光型表示装置を取り付け、制御対象が動作する環境または制御対象に設置された撮像装置によって、発光型表示装置の発光部分を撮像し、撮像装置から得られた画像に基づいて、管理装置が制御対象を制御する手法である。
管理装置は、発光型表示装置の部分領域を発光させて得られた画像から輝点領域を検出し、発光型表示装置の前回発光させた部分領域と一部が重なる別の部分領域を発光させて得られた画像から輝点領域を検出することを所定回数繰り返し、前後の画像で一部が重なっており、かつ位置が移動している輝点領域の位置を画像上における発光型表示装置の位置であると判定し、その輝点領域を含む周辺領域をＲＯＩ（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）として設定する。なおＲＯＩとは、画像内の特定の領域に処理や解析等を行うために設定される設定領域のことである。

より具体的には、本発明の実施形態は、ロボットやアクチュエータを、カメラのような撮像装置から得られた画像を用いて制御し操作する手法に関する。アクチュエータ自体やその周りの検出対象物、環境中に発光型表示装置を取り付け、その発光型表示装置の発光部分を、アクチュエータが動作する環境やアクチュエータ自体に取り付けられた撮像装置で撮像する。そして、画像解析によってそれらの発光部分をランドマークとして検出し、その検出結果に基づくアクチュエータや検出対象物の位置や速度等の推定情報を利用して、アクチュエータを制御する。

なお、撮像装置は、制御対象が実際に稼働する環境を撮像する。これは、制御対象が稼働する領域を上部から俯瞰するような場合でもよいし、制御対象に搭載され、制御対象から周りを観測するような場合でもよい。
次に、本実施形態のシステムの概要について図１を参照して説明する。
このシステムは、管理装置１０１、撮像装置１０２、発光型表示装置１０３、及び制御対象１０４を備えている。撮像装置１０２、発光型表示装置１０３、及び制御対象１０４はそれぞれ通常複数個ある。

管理装置１０１は、制御対象１０４、発光型表示装置１０３、及び撮像装置１０２と接続されている。管理装置１０１は、制御対象１０４との間で制御信号を送受信し、発光型表示装置１０３に発光命令を出力し、撮像装置１０２から撮影画像を受信する。管理装置１０１は、ＣＰＵやＲＡＭ等を有し、制御プログラムを動作させる。また管理装置１０１は、利用者や外部装置に受信した撮影画像や制御対象の状態を提示し、利用者や外部装置からの操作、制御、及び動作指示を受信する。

撮像装置１０２は、周囲の環境を撮像画像として保存するものであり、例えばカメラである。撮像装置１０２は、制御対象１０４や、発光型表示装置１０３に表示されるマーカを撮影する。撮像装置１０２は撮像画像を管理装置１０１へ送信する。
発光型表示装置１０３は、発光素子が連続して配置されている表示装置である。発光型表示装置１０３は、表示部の一部領域、複数領域、あるいは全領域を、管理装置１０１からの発光命令によって任意に発光させることが可能である。すなわち、発光型表示装置１０３は表示装置の一部領域を自在に発光させることができる。また発光型表示装置１０３は、発光処理が完了したら発光完了通知を送信することが可能である。発光型表示装置１０３の例としては、液晶ディスプレイや有機ＥＬディスプレイ、ＬＥＤが一列、十字型、あるいは縦横に敷き詰められたＬＥＤディスプレイ、照明付電子ペーパ等がある。発光型表示装置１０３は、制御対象１０４が実際に稼働する環境中における制御対象に取り付けられたり、特別な処理対象に取り付けられたり、検出対象物に取り付けられたり、あるいはランドマークとして環境中の壁や天井等に取り付けられる。

制御対象１０４は、管理装置１０１によって制御されるものであり、例えばロボット、アクチュエータ、または移動台車がある。制御対象１０４は、利用者や外部からの動作指示、あるいは内部に組み込まれた自動操縦機能等によって種々の動作及び作業を実行する。

次に、管理装置１０１の詳細について図２を参照して説明する。
管理装置１０１は、画像処理部２０１、輝点検出部２０２、状態推定部２０３、制御及び操作信号生成部２０４、発光制御部２０５、表示装置Ｉ／Ｆ２０６、及び制御対象Ｉ／Ｆ２０７を備えている。
画像処理部２０１は、管理装置１０１が撮像装置１０２から受信した撮像画像（撮像データとも呼ぶ）を、色空間調整、ノイズ除去処理、及び（または）グレースケール化等の処理を行う。

輝点検出部２０２は、画像処理部２０１により処理された撮像画像に対し、２値化処理、あるいは閾値判定処理を行い、一定以上の輝度や明るさを持つピクセルを輝点とし、さらに輝点が連続して塊となっている領域を一塊の輝点領域として検出し識別する機能、及び輝点更新命令を生成する機能を有する。

状態推定部２０３は、輝点検出部２０２の輝点検出結果に基づいて、各発光型表示装置１０３の位置や速度を推定し、さらにその位置や速度の情報を利用して各制御対象１０４の位置や速度を推定する。
制御及び操作信号生成部２０４は、状態推定部２０３による推定結果、制御対象１０４からの制御情報、及び外部からの動作指示を組み合わせて、各制御対象１０４に対する制御信号を生成する。

発光制御部２０５は、輝点検出部２０２から生成される輝点更新命令を受けとり、各発光型表示装置１０３の発光位置、発光の時間及び（または）時刻を設定し、それに応じた発光命令を生成する。
表示装置Ｉ／Ｆ２０６は、発光制御部２０５からの発光命令を、各発光型表示装置１０３が認識可能な形に変換する。また表示装置Ｉ／Ｆ２０６は、発光型表示装置１０３から発光完了通知を受け取る。

制御対象Ｉ／Ｆ２０７は、制御及び操作信号を、各制御対象１０４が認識可能な形に変換する。また制御対象Ｉ／Ｆ２０７は、制御対象１０４から制御情報を受け取る。
次に、発光型表示装置１０３を検出するための手順について図３Ａを参照して説明する。
利用者がシステムを起動する（ステップＳ３０１）。この段階では管理装置１０１は発光型表示装置１０３の位置を把握していないため、一旦、発光型表示装置１０３の１つを選択し、選択された発光型表示装置１０３に発光命令を送信する（ステップＳ３０２）。管理装置１０１は、発光型表示装置１０３から発光完了通知を受け取る（ステップＳ３０３）と、後述する画像取得、及び輝点検出処理を行い（ステップＳ３０４）、再び選択された発光型表示装置１０３に発光命令を送信する（ステップＳ３０２）。この発光命令は位置変更命令を含む。発光型表示装置１０３は、表示画面内で発光する位置を、発光命令を受けるごとに変化させながら、ステップＳ３０２ごとに発光する。同一の発光型表示装置１０３に関してこの処理を複数回繰り返し、管理装置１０１は発光型表示装置１０３が存在する場所を推定し、当該場所を含むようにＲＯＩを設定する（ステップＳ３０５）。

次に、制御対象１０４を制御するための手順について図３Ｂを参照して説明する。
図３Ａに示した処理により発光型表示装置１０３の位置を管理装置１０１が把握した後は、管理装置１０１は発光型表示装置１０３に発光命令を出力し（ステップＳ３５１）、発光完了通知が応答されるのを待つ（ステップＳ３５２）。このステップＳ３５１では発光型表示装置１０３はＲＯＩ内で発光させるので、管理装置１０１は発光型表示装置１０３が発光しているＲＯＩ画像を取得することになり、このＲＯＩ画像によって輝点検出処理を行う（ステップＳ３５３）。この輝点検出処理によって制御対象の状態を推定する（ステップＳ３５３）。制御対象の状態とは、例えば制御対象１０４の位置や速度である。

管理装置１０１は、制御対象１０４の状態を利用者等に提示し（ステップＳ３５４）、利用者等から指示を受ける（ステップＳ３５５）。管理装置１０１は、利用者等からの指示に基づいて、制御対象１０４へ制御信号を送信する。管理装置１０１はそれと共に、所定の時間ごとに、ＲＯＩ画像を取得して、輝点検出処理を行い、この結果として制御対象１０４の状態を推定する（ステップＳ３５６）。そして上述したステップＳ３５４、Ｓ３５５を繰り返し、制御対象１０４を制御する。

このように発光完了通知を受け取った後は、後述する輝点検出処理により、制御対象の位置が推定可能であるため、利用者や外部装置の動作指示に随時従って制御対象に制御信号を送信する。
次に、管理装置１０１による輝点検出及び発光制御について図４を参照して説明する。
管理装置１０１は、環境中の全部の発光型表示装置１０３を消灯するように命令を出し、制御対象１０４の制御状態を初期化（例えば、制御対象１０４への停止命令）する（ステップＳ４０１）。

管理装置１０１は、複数の発光型表示装置１０３のうちの１つを選択し、その表示部の表示領域の一部のみを発光させるよう発光制御部２０５が発光命令を出力する（ステップＳ４０２）。管理装置１０１は、その発光型表示装置１０３の発光状態が安定して撮像可能な状態になるまで待機する（ステップＳ４０３）。管理装置１０１は、撮像可能になったと判定した後、撮像装置１０２に環境を撮像させ、撮像画像を受信したかどうかを判定する（ステップＳ４０４）。

次に、撮像装置１０２が撮像した撮像画像に対し、画像処理（例えば、色空間調整、ノイズ除去）を施す（ステップＳ４０５）。その後、グレースケール化を行い、さらに２値化処理や閾値判別処理等を行い、ある一定以上の明るさや輝度を持つ明るい部分（輝点）と設定し、それ以外の暗い部分（暗点）と設定する（ステップＳ４０６）。この撮像画像中において、複数の輝点が連続して存在している領域は輝点領域とする。複数の輝点が連続して存在しているかどうかは、複数回の輝点の検出によって連続して存在しているかどうかでわかる。
各輝点領域に対して、
１．識別ＩＤ（例えば、識別名、識別番号）、
２．撮像画像内における位置
を含む輝点識別情報を登録する（ステップＳ４０７）。この輝点領域は通常、同一の発光型表示装置１０３の表示画面に複数存在する。管理装置１０１はメモリ等の記憶装置を備え、記憶装置は輝度領域ごとに上記１及び２を含む輝点識別情報を記憶している。

ステップＳ４０６での２値化処理や閾値判別処理における閾値には、事前に実験を行い発光型表示装置１０３の発光部が輝点として検出されるような値を用いる。例えば、撮像画像中の最高輝度と最低輝度との中間値を用いることを採用してもよい。
ステップＳ４０７での「１．識別ＩＤ」は、一度使った値は二度使わない、現在使われていないもののみを用いる、等のような、重複が生じない手法であれば、どのような手法で決定しても構わない。
ステップＳ４０７での「２．撮像画像内における位置」は、例えば輝点領域を構成する各輝点の座標（ｘ，ｙ）を平均化する、等により求めてもよい。

次に、発光型表示装置１０３の発光部分を、前回と一部重なるように一方向に移動させ（ステップＳ４１０）、発光状態が安定して撮像可能になった後（ステップＳ４０３）、撮像装置１０２で撮像し、上記と同様の輝点、及び輝点領域の検出を行う（ステップＳ４０４〜ステップＳ４０８）。２回目以降の輝点領域に対しては、輝度領域ごとに、
１．識別ＩＤ
２．撮像画像内における位置
３．撮像画像内における速度
４．撮像画像内における最初に認識された位置からの移動量
を含む輝点識別情報を登録する（ステップＳ４０７）。なお、前回と一部重なるように一方向に移動させた発光部分に対応する輝度領域は、同一の識別ＩＤを持つ。輝度領域（または）輝点が同一の識別ＩＤを持つかどうかについての詳細は後に図５を参照して説明する。管理装置１０１はメモリ等の記憶装置を備え、記憶装置は輝度領域ごとに上記１から４を含む輝点識別情報を記憶している。

「１．識別ＩＤ」及び「２．撮像画像内における位置」は、上述した１回目の輝点検出処理での手法と同様にして求めることができる。
「３．撮像画像内における速度」は、２つの時間的に連続した撮像画像間における同じ識別ＩＤを持つ白色部分の、位置の差を求め、その値に対して撮像画像間の時間差を用いて商を求める、等により求められる。

「４．撮像画像内における最初に認識された位置からの移動量」は、新たな撮像画像が撮像されると共に撮像画像間における輝点領域の位置の差を求め、さらにその値を積分（符号を考慮して逐次加算）する、等により求められる。
識別情報の登録処理により、状態推定部２０３は、発光型表示装置１０３内の輝点領域が撮像画像内で移動しているかどうかを検出することができる。

ここで、ステップＳ４０７、ステップＳ４０８に関連して、連続する撮像画像間で各輝点を同一物であると判定する手法の一例について図５を参照して説明する。なお図５では、撮像画像中で輝点であると認識された領域は、実際には単色であるがここでは識別のためにグラデーションをつけて表現してある。
２つの撮像画像間における輝点領域に対し同じ識別ＩＤを与える場合には以下のような条件を採用してもよい。
１．撮像時刻が異なる２つの撮像画像間で、輝点領域の一部が重なっている。（５０１）
２．撮像時刻が異なる２つの撮像画像間で、輝点領域が隣接している。
３．撮像時刻が異なる２つの撮像画像間で、輝点領域の全部が重なっている。（５０２）
このような場合は、時間的に古い撮像画像で登録された識別ＩＤを、新しい撮像画像で検出された輝点領域に登録し、両輝点領域は同一物であると見なす。

５０１は、前後の撮像画像で輝点領域の一部が重なっている場合であり、輝点領域の位置が移動していることがわかる。管理装置１０１は、この場合、同一の移動物体であるか、または発光位置を制御中である発光型表示装置１０３であると判定する。輝点領域が隣接している場合も５０１の場合と同様に判定する。

５０２は、前後の撮像画像で輝点領域の全体が重なっている場合であり、輝点領域の位置が移動していないことがわかる。管理装置１０１は、この場合、同一の静止物体であると判定する。
上記の１〜３以外では以下の２つの場合がある。
４．新しい撮像画像で検出された輝点領域について、古い撮像画像中に、同一であると判断される輝点領域が存在しない場合、新たな識別情報を登録する。（５０３）
５．ある輝点領域について、古い撮像画像で登録されたものが新しい撮像画像で見つからない場合、その輝点領域の識別情報は抹消する。（５０４）
５０３は古い方の撮像画像に輝点領域が重なっているものがない場合であり、管理装置１０１はこの場合、新たな輝点が出現したと判定する。５０４は新しい方の撮像画像に輝点領域が重なっているものがない場合であり、管理装置１０１はこの場合、輝点が消滅したと判定する。
なお、輝点領域が重なっているかどうかは、ステップＳ４０６での輝度検出処理において、撮像画像内の輝点領域が重なっているかどうかを画像処理によって認識する。また、これとは異なる手法によってもよく、例えば発光型表示装置１０３の画面内で動かす輝度領域の大きさを予め決定しておき、複数の輝点識別情報を比較することによってそれらの輝点が重なっているかどうかを判定してもよい。

管理装置１０１は、発光処理（ステップＳ４０３）、撮像処理（ステップＳ４０４〜Ｓ４０６）、登録処理（ステップＳ４０７、及びＳ４０８）、撮像画像内での発光部移動操作処理（ステップＳ４１０）を複数回繰り返す。これにより発光部が移動する操作処理に応じて特異的に移動する輝点領域を検出することが可能になる。すなわち、輝点識別情報のうちの「３．撮像画像内における速度」が０ではない識別情報を有する輝点領域を検出することが可能になる。通常は、発光型表示装置１０３は静止して、管理装置１０１の指示によってこの発光型表示装置１０３の表示画面内で発光部を移動させる。また、発光型表示装置１０３の移動速度等が管理装置１０１に既知であれば、発光部の移動位置を知ることができるので、発光型表示装置１０３は静止していなくてもよい。

ステップＳ４０９で、ステップＳ４０８まで規定回数だけ処理したかどうかを判定し、規定回数を超えていない場合にはステップＳ４１０へ進み、規定回数を超えている場合には、ステップＳ４１１へ進む。
ステップＳ４０８で削除されずに残った輝点識別情報を有する輝点領域のうち、一定値以上移動した輝点が存在するかどうかを判定する（ステップＳ４１１）。ステップＳ４１１でそのような輝点が存在しない場合にはステップＳ４１２へ進み、存在する場合にはステップＳ４１３へ進む。そのような輝点が存在しない場合には、輝点を更新する命令を発して、発光型表示装置１０３の発光位置を表示画面内の最初の表示位置へ移動させ、ステップＳ４０３へ戻る（ステップＳ４１２）。そのような輝点が存在する場合には、輝点検出部２０２はこの輝点が、検出対象である発光型表示装置１０３が発光した輝点であると判定する（ステップＳ４１３）。

状態推定部２０３が、ステップＳ４１３で発光した輝点を有していると判定された発光型表示装置１０３の位置を、その輝点識別情報から推定し、その位置の周辺にＲＯＩを設定する（ステップＳ４１４）。状態推定部２０３は、前後の撮像画像で一部が重なりかつ位置が移動している輝点領域の位置を撮像画像上における発光型表示装置の位置であると判定する。この輝点領域の撮像画像中の位置、輝点識別情報中の撮像画像内における最初に認識された位置からの移動量等を利用することで、発光型表示装置１０３が取り付けられたアクチュエータや、制御対象１０４の物理的位置を推定することが可能となる。

発光制御部２０５及び表示装置Ｉ／Ｆ２０６が、ある発光型表示装置１０３の表示部の一部、複数部、または全部を発光させ、その後、ステップＳ４１４で設定されたＲＯＩ内の中心に最も近い輝点のみを選択し、この輝点のみを発光させる（ステップＳ４１５）。このＲＯＩ内の中心に最も近い輝点を発光型表示装置１０３が発光する輝点であると判定し、輝点検出済みの発光型表示装置１０３であると判定する（ステップＳ４１５）。

輝点検出済みの発光型表示装置１０３は、発光型表示装置１０３の位置を認定するための輝点が検出されたので、図４の輝点検出の対象から外し、この輝点検出済みの発光型表示装置１０３に関連する制御対象１０４の動作を開始する（ステップＳ４１６）。その後、他の１つの発光型表示装置１０３を輝点検出済みにするために、ステップＳ４０２へ進む。

ここで発光制御の一例について図６Ａ及び図６Ｂを参照して説明する。
この一例のシステムでは、図６Ａに示すように、撮像装置１０２、発光型表示装置１０３、制御対象１０４、白色の物体６０１、金属の物体６０２、及び照明６０３を備えて、図示していないが、管理装置１０１ももちろん存在して、撮像装置１０２、発光型表示装置１０３、制御対象１０４を管理している。
照明６０３は撮像領域全体を照射することができる。この明かりによって撮像装置１０２は、撮像領域に含まれる白色の物体６０１、金属の物体６０２、及び発光型表示装置１０３を撮影することができる。制御対象１０４は例えば、ロボットであり、管理装置１０１によって制御される。発光型表示装置１０３は、制御対象１０４に積載されていて、管理装置１０１は発光型表示装置１０３に映る画像によって制御対象１０４を捕捉することができる。
このような環境下では管理装置１０１は発光型表示装置１０３のみを検出する。この段階ではロボットは動作させず、図６Ｂの（５）の段階を経て、ロボットの制御を行うことになる。

図６Ｂに含まれる各図は、ステップＳ４０３〜ステップＳ４１０、ステップＳ４１１、Ｓ４１３〜Ｓ４１６に対応する。
（１）は、発光制御部２０５（及び表示装置Ｉ／Ｆ２０６、以後、表示装置Ｉ／Ｆ２０６は省略する場合がある）が発光型表示装置１０３の一部に白色の丸を表示させ、撮像装置１０２が撮影した画像を２値化したものである（ステップＳ４０５、Ｓ４０６）。（１）の段階では、どの白部分が発光型表示装置であるか不明である。次の（２）は、発光制御部２０５が発光型表示装置１０３に表示されている白色の丸を、移動させる前と重なる範囲で移動させた後、撮像装置１０２が撮影した画像を２値化したものである。（２）の段階では、白色の丸６１１が動くので、この輝点の移動量等を算出することができる（ステップＳ４０７）。

次の（３）は、（２）で白色の丸６１１が移動した方向と同一方向へ、白色の丸が移動させる前と重なる範囲で、発光制御部２０５が白色の丸６１２を移動させ、撮像装置１０２が撮影した画像を２値化したものである。（２）の段階と同様に（３）の段階でも輝点の移動量等を算出する（ステップＳ４１０、Ｓ４０７）。次の（４）は、（３）の処理を規定回数繰り返し（ステップＳ４０９）、発光型表示装置１０３が存在すると推定される領域にＲＯＩ６１３を設定する（ステップＳ４１１〜Ｓ４１４）。すなわち、前回までの全ての移動量と、どのように発光型表示装置１０３の上の白色の部分を移動させたかを把握しておくことによって、発光型表示装置１０３の表示面の範囲が推定可能となる。

次の（５）は、発光型表示装置１０３の上の規定の場所に白色の丸６１４（通常はＲＯＩ６１３の中心に一番近い輝点）を移動させ（ステップＳ４１５）、制御対象１０４であるロボットの制御を開始する（ステップＳ４１６）。この段階では、すでにＲＯＩ６１３が設定してあり、かつ、輝点である白色の丸６１４が発光型表示装置１０３によるものであることが判明しているので、制御対象１０４の制御が可能になる。

このＲＯＩ６１３の中心である輝点領域が、選択された発光型表示装置１０３の発光によるランドマークである可能性が高いため、この輝点領域の撮像画像中の位置、輝点識別情報中の撮像画像内における最初に認識された位置からの移動量等を利用することで、発光型表示装置１０３が取り付けられたアクチュエータや、検出対象物の物理的位置を推定することが可能となる。

この一例では、発光型表示装置１０３に輝点として白色部分を１つだけ表示させている。これとは異なり、複数の白色部分を表示させ、その表示位置の画像上での差を検出することによって、発光型表示装置１０３や制御対象１０４の移動方向を推定することも可能である。具体的には例えば、ＲＯＩを設定後に、発光型表示装置１０３の左側部分に白色を先に表示し、次に右側部分に白色を表示させることによって、どちらの輝点が左であるか右であるか判定することができる。この結果、移動方向を推定することができる。なお、この内容に関連した例について後に図１０を参照して説明する。

なお、発光型表示装置１０３について、環境中に複数台用意してもよい。これにより、複数台の制御対象や検出対象を検出することが可能となる。但し、いずれの表示装置も基本的には発光部分を持つだけなので、以下のような手法で識別することが可能になる。

各発光型表示装置１０３がどの対象に取り付けられているかは、事前に把握してあるものとする。まず環境中に存在する全ての発光型表示装置を消灯する。次に、ある１つの制御対象を選び、その制御対象に取り付けられた発光型表示装置のみに対して、前述の検出処理を行う。これにより、発光型表示装置の位置については検出可能になる。次に、この装置とは別の発光型表示装置について、同様に前述の検出処理を行う。この際、以前の検出対象となった発光型表示装置が輝点領域として検出されてしまうが、これはすでにランドマークとして検出及び登録されているので新規の発光型表示装置ではないことがわかる。これによって、別のもう１つの発光型表示装置を検出可能になる。これを逐次繰り返すことで環境中の全ての発光型表示装置を検出し識別することができる。

次に、輝点検出済みの発光型表示装置１０３に関連する制御対象１０４を制御する一例について図７を参照して説明する。図７には図４のステップＳ４１６から後の動作が示される。図７は、制御対象１０４に発光型表示装置１０３が付属している場合の一例である。
状態推定部２０３が、発光型表示装置１０３の１以上の輝点の位置情報、及び輝点の速度情報から、発光型表示装置１０３に付随する制御対象１０４の状態を推定する（ステップＳ７０１）。制御及び操作信号生成部２０４が、利用者や他装置等からの動作指示に基づいて、制御対象１０４の制御信号を生成する（ステップＳ７０２）。制御及び操作信号生成部２０４及び制御対象Ｉ／Ｆ２０７が、制御対象１０４へ制御信号を送信し、制御対象１０４を制御する（ステップＳ７０３）。

このような処理により一旦どの輝点領域が検出すべきランドマークであるかがわかれば、その後はランドマークに該当する輝点領域を含むようなＲＯＩを設定し（ステップＳ４１４）、そのＲＯＩに基づくＲＯＩ画像内に上述の検出手法等を用いる。これにより、無関係の発光源や反射などによる輝点領域の出現の影響を避けることが可能になる。この制御段階では、発光部分の移動操作処理は行っても行わなくてもよい。これ以降は、検出されたランドマークに関連する制御対象は制御が可能な状態となる。

次に、ステップＳ４１４でのＲＯＩ設定手法の一例について図８を参照して説明する。白色の丸８０１は、発光型表示装置１０３の発光により撮像装置１０２で検出された輝点を示す。
一般的には、状態推定部２０３が、発光制御部２０５から出力される発光命令に、発光型表示装置１０３内での発光位置を指定する情報を添付し、各輝点検出時のその発光位置情報を参照し、発光型表示装置１０３の中心位置を推定する。

具体的には図８に示すように例えば、１回目の輝点検出時の発光位置と、規定回数目の輝点検出時の発光位置とを参照し、この２点の輝点検出位置の中間点が発光型表示装置１０３の中心であると推定する。なお輝点検出時の発光位置は、図８では白色の丸８０１の位置を示している。

１回目の輝点検出時の発光位置は、図８の左上に示される撮像画像のように、発光型表示装置１０３上での座標（０，発光型表示装置の表示領域高さ／２）に設定されている。規定回数目の輝点検出時の発光位置は、図８の右上に示される撮像画像のように、発光型表示装置１０３上での座標（発光型表示装置の表示領域幅，発光型表示装置の表示領域高さ／２）に設定されている。

この場合、これら２点の輝点検出位置の中間点の座標（発光型表示装置の表示領域幅／２，発光型表示装置の表示領域高さ／２）を含むようにＲＯＩを設定する。さらにステップＳ４１５のように、発光型表示装置１０３の白色の丸８０１の位置をこの座標に移動させることによって、発光型表示装置１０３を検出し続けることが可能になる。この座標は図８の下に十字の中心８０２に対応している。なおここで、表示領域幅は発光型表示装置の横解像度と置き換え、さらに表示領域高さは発光型表示装置の縦解像度と置き換えてもよい。

ＲＯＩの大きさの設定は、例えば、以下の条件を満たすものが考えられる。
条件１．撮影画像中での発光型表示装置１０３の白色の丸８０１の全体の範囲を含むための十分な大きさ
条件２．撮像装置１０２のフレームレートで制御対象１０４が最大の速度で動いたとしても、発光型表示装置１０３の白色の丸８０１の位置がＲＯＩからはみ出さない大きさ

以下、本発明の実施形態の具体的な例を４つ挙げる。
（第１例）
発光型表示装置１０３を制御対象１０４に付着させて、ロボットである制御対象１０４を制御する例について図９を参照して説明する。
この例でのシステムは、管理装置１０１、撮像装置１０２、発光型表示装置１０３、制御対象１０４、白色の障害物９０１、及び金属製障害物９０２を備えている。管理装置１０１は例えば計算機（コンピュータ）である。

制御対象１０４は、撮像装置１０２によって撮像されやすい位置に、発光型表示装置１０３を配置する。発光型表示装置１０３は例えば、制御対象１０４の上面に配置される。
発光型表示装置１０３は、例えばＬＥＤディスプレイであり、画像解析によってそれらの発光部分はランドマークとして検出される。

撮像装置１０２は、例えば広角カメラであり、制御対象１０４を含む環境を撮影し、特に制御対象１０４が動く範囲の全体を撮影するように設定される。
管理装置１０１は、撮像装置１０２によって撮影画像を取り込み、発光型表示装置１０３へ発光命令を送信する。管理装置１０１は、発光型表示装置１０３による輝点によりＲＯＩ内の輝点を検出して、この検出済みの発光型表示装置１０３によって制御対象１０４の位置を確実に検出して追跡することができる。この結果、管理装置１０１が、制御対象１０４の位置を参照して制御対象１０４に制御信号を送信することによって、制御対象１０４を制御する。図９の例では、撮像装置１０２による撮影画像により、管理装置１０１は白色の障害物９０１及び金属製障害物９０２の位置を把握することができている。管理装置１０１は、これらの白色の障害物９０１及び金属製障害物９０２の位置情報を考慮して、制御対象１０４がこれらの障害物９０１及び９０２に衝突することなく移動するように、制御対象１０４を制御する。

この例では、輝点の移動によって発光型表示装置１０３を検出し、また白色部分の検出を利用するので、マーカや模様の検出方式では問題となる広角カメラを利用することによる画像の歪みや撮影ノイズ等の影響を受けにくくなり、制御対象１０４の位置を確実に検出することができる。

（第２例）
図１０に示す第２例のシステムは、発光型表示装置１０３に表示させる態様に限定がある点が第１例のシステムとは異なる。第１例では発光型表示装置１０３に表示させる画像は特に言及していないが、第２例では複数の白色部分を発光型表示装置１０３に表示させる。図１０の例では、発光型表示装置１０３に２つの白色部分を表示させる。

発光型表示装置の表示部やドットの大きさ、及び撮像装置の撮像画角が事前にわかっていれば、発光部分を２つにすることにより撮像画像の歪みや収差、撮像装置と撮像画像上の各点との物理的な距離を見積もることが可能になる。これは、制御対象や環境の物理的な情報を推定するのに利用可能な情報となる。

発光型表示装置について、１つの発光型表示装置で、発光部分を２つにしてもよい。これにより、発光部分の発光型表示装置内における位置を先に知っていれば、発光型表示装置がどちらの方向を向いているか、即ち、アクチュエータなどの検出対象がどちらを向いているかを検出することが可能となる。この場合の方式としては、例えば次のような手法が採用できる。

・発光型表示装置に発光処理を行わせるとき、表示装置上のどの場所を発光させるか、を事前に決定することは可能であるものとする。まず、管理装置１０１によって、発光型表示装置の存在位置を検出する。次に、この発光型表示装置の中心部分を含まないように一部を発光させる。この発光部分を輝点領域として登録する。次に、発光部分に対し、表示装置上の表示部において線対称となる位置部分を発光させる。この２つ目の発光部分を輝点領域として登録する。仮に、最初の発光部分を発光型装置上の左、次の発光部分を右とすれば、この２つの輝点領域の位置関係から表示装置がどの方向を向いているかを推定できる。

より詳しくは、管理装置１０１は事前に、発光型表示装置１０３に含まれる表示部の１ドット当たりの大きさ、表示部の大きさ、及び撮像装置１０２であるカメラの画角を把握しておき、発光型表示装置１０３に白色部分を２つ表示させる。管理装置１０１は、検出される２つの輝点間の撮影画像中での距離を測定することにより、実際の空間での発光型表示装置１０３が存在している物理的な位置に変換する変換式を導出することが可能になる。カメラの位置は設定されていて予め既知であるので、撮影画像中の２つの輝点の位置を検出して、カメラの位置、及び輝点の２つの位置をから、発光型表示装置１０３の位置を決定することができる。この位置の決定は、例えば、上記の非特許文献４に記載の手法によってなされる。

さらに、管理装置１０１は、撮像領域中の多くの地点で上記の物理的な位置を決定することができるので、撮影画像中の制御対象１０４と撮像装置１０２との距離、及び撮像画像の歪み、撮像装置１０２の収差を計算することが可能になる。
（第３例）
図１１に示す第３例は、第１例及び第２例とは異なり、発光型表示装置１０３は部屋などの空間の様々な場所に固定して取り付けられ、撮像装置１０２は制御対象１０４に搭載される。またこの例では、障害物１１０１があるがこの位置座標は既知とする。

複数の発光型表示装置１０３のそれぞれ（１０３−１，１０３−２，１０３−３，１０３−４，１０３−５）は、予め設定された位置に取り付けられていて、管理装置１０１はそれらの位置を記憶している。図１１に示した例では、１０３−１及び１０３−３は壁に貼り付けられた照明付き電子ペーパであり、１０３−２は天井に貼り付けられた照明付き電子ペーパであり、１０３−４は環境内の特別な検出対象に取り付けられた照明付き電子ペーパであり、１０３−５はドアに取り付けられた照明付き電子ペーパである。

撮像装置１０２は、例えば広角カメラであり、制御対象１０４に搭載される。制御対象１０４は例えばロボットである。
管理装置１０１は、発光型表示装置１０３の一つに発光命令を送信し、撮像装置１０２によって撮影された撮影映像を取り込み、図４とほとんど同一の図１２に示すフローチャートにしたがって、発光型表示装置１０３を認識し特定し、これによって検出済みの発光型表示装置とする。管理装置１０１は、さらに別の発光型表示装置１０３に同様の処理を行い、検出済みの発光型表示装置１０３を２以上特定する。ある検出済みの発光型表示装置を撮像装置１０２が撮像し、その際の撮像装置１０２の各軸周りの３つの回転角と、検出済みの発光型表示装置の位置とによって、制御対象１０４の位置（ｘ座標とｙ座標）と関係づける関係式を導くことができる。例えば非特許文献４に記載の数式によって関係づけることができる。この関係を他の１以上の検出済みの発光型表示装置についても行い、同様な関係式を導くことによって、制御対象１０４の位置（ｘ座標とｙ座標）を決定することができる。

２つの検出済みの発光型表示装置１０３に対して２つの関係式を導くことができるので、この２つの関係式によって制御対象１０４の位置を特定することができる。さらに他の検出済み発光型表示装置１０３に対して関係式を得て、３つ以上の関係式から制御対象１０４の位置を特定すれば、より精度良く制御対象１０４の位置を特定することができる。

管理装置１０１は、以上の処理によって、制御対象１０４の位置を特定することによって、制御対象１０４を制御することができる。また管理装置１０１は、制御対象１０４へ制御信号だけでなく、位置情報も送信してもよい。この場合は、制御対象１０４が撮影画像を利用してフィードバック制御を行うことができる。

ここで、第３例での管理装置１０１による輝点検出及び発光制御について図１２を参照して説明する。
ステップＳ４０１からステップＳ４１６までは図４と同様である。通常、制御対象１０４は静止した状態で発光型表示装置１０３を検出するので、図６Ａ及び図６Ｂに示した例の場合でも第１例の例の場合でも第２例の場合でも全く同一の処理によって、検出済みの発光型表示装置を特定することができる。またもし制御対象１０４が動く場合でもその速さと方向とがわかれば、同様な処理によって検出済みの発光型表示装置を特定することができる。

第３例が図６Ａ及び第１例と異なる点は、ステップＳ４１５の後に、制御対象１０４の位置をある精度範囲内で決定できるかどうかを判定する（ステップＳ１２０１）というステップが入ることである。この位置をある精度範囲内で決定できると判定された場合には、ステップＳ４１６へ進み制御対象１０４の制御を開始する。ステップＳ１２０１で決定できないと判定された場合には、ステップＳ４０２へ戻り今まで検出済みになっていない発光型表示装置１０３を１つ選択し、ステップＳ４０３以降の処理を経て、新たな検出済み発光型表示装置１０３を認識する。

具体的にステップＳ１２０１では、例えば検出済みの発光型表示装置が２つあるかどうかを判定する。上述したように最低２つあれば制御対象１０４の位置は決定できるので、この判定を行う。検出済みの発光型表示装置の数が多いほど制御対象１０４の位置をある精度は上がると期待されるので、Ｘ個（Ｘは２以上の整数）以上かどうかを判定し、Ｘを調整することによって精度を調整してもよい。

以上によって、第１例と同様な効果を得ることができる。
（第４例）
本例では、発光型表示装置１０３を検出することの一例について図１３を参照して説明する。
この例のシステムでは、撮像装置１０２、発光型表示装置１０３、管理装置１３００を備えている。管理装置１３００は例えば計算機であり、マーカ検出器１３０１を備えている。マーカ検出器１３０１は、画像解析等によってマーカを検出する。

輝点領域の検出について、発光型表示装置１０３に液晶ディスプレイのような様々な形を描画可能な装置を用いる場合、計算時間の増加が問題にならないのであれば、検出処理に線分や矩形検出等の画像解析法を利用したマーカ検出を用いてもよい。例えば、非特許文献３で記されたＡＲマーカ検出法は、紙やプラスチックに印刷されたマーカに対して適用しているが、後述する反射及び視野角の対策を施せば、液晶ディスプレイなどにマーカを表示させた場合にも適用可能である。また事前に、前述の発光処理から移動操作処理を行い、発光型表示装置が存在する場所を検出しておくことで、マーカの誤認識率を下げることも可能である。

発光型表示装置１０３に液晶ディスプレイや有機ＥＬディスプレイ、発光素子を内蔵した電子ペーパ等を用いることが可能である。この場合、発光部分を白色、それ以外を黒色にする、等により発光部を任意に設定することが可能である。このような装置を利用した場合、発光部分を様々な形に表示可能、発光部分の大きさの変更が可能、あるいは、後述するある特徴、形状、及び（または）模様を持たせた発光によるマーカが表示可能、といったメリットがある。

しかし、これらの装置を用いる場合、ディスプレイ表面で照明の反射等が生じ、意図しない輝点領域の移動や出現が生じ、結果的に誤認識につながる場合がある。また、用いる装置によっては視野角の問題があり、ディスプレイ表面の鉛直方向からある一定以上の角度を持って発光型表示装置を撮像すると、発光（白色）部分が発光しているように見えない場合がある。これは以下のような手法で解決できる。

ディスプレイ表面全体に、半透明白色紙を貼り付け、さらにディスプレイ内部の照明の明るさを増大させる。例えば、通称トレーシングペーパと呼ばれる、紙厚４０ｇ／ｍ^２（例えば、ＩＳＯ ５３６による測定法による）程度、無光沢、透明度５０％程度ものを用いることができる。但し、利用可能であればこれより紙厚、透明度が異なっていてもよい。これにより、発光型表示装置１０３の照明の反射が軽減され、また半透明白色紙による散乱により視野角の問題が解決する。

半透明白色紙の貼り付けによる照明反射の軽減が不十分な場合、さらにその上に黒色の半透明生地を貼り付ける。例えば、通称ジョーゼットやオーガンジーと呼ばれる、３０デニール、５０デニール程度の黒色半透明生地を用いることができる。但し、デニール値は、利用可能であれば上記以外でもよい。これにより、照明の反射はさらに軽減することが可能になる。

以上の実施形態による係る管理装置、方法及びプログラムによれば、紙などで用意されたマーカに対する学習処理に基づく画像認識、あるいは線分や矩形検出等の画像解析法を用いず、２値化画像中の輝点領域の検出のみを行うため、それら手法に比べて高速な検出処理が可能である。

また、画像認識法や画像解析法は、撮像装置の仕様や性能、あるいは撮像ノイズ等により、
１．広角レンズの使用時
２．環境撮像時の露光量の増幅率が大きくなる時
に滲み、収差、歪み、解像度不足等の問題が顕著に生じ、マーカの検出に失敗する可能性が高くなる。歪みや収差は、撮像装置の仕様や環境に対する配置がわかっていれば、計算等により補正が可能であるが、最低でも撮像画像内においてマーカが存在すると考えられる領域全体に補正処理が必要になるため、計算コストの増大や制御遅延が生じ得る。また、その他に関しては基本的には補正は困難である。本発明の実施形態によれば、一定以上の輝度や明るさを持つ発光部分の存在を検出するため、上記のような影響を受けにくい。

以上が本発明の実施形態の基本的な部分であるが、さらに検出精度を高めるため、次のような改良を行ってもよい。
ここでは、輝点領域の移動のみを利用したが、発光命令の送信や生成にかかる時間、撮像装置の露光時間やフレームレート等の影響が無視できるのであれば、発光型表示装置への発光命令に、発光させる、消灯する、というものを加え、撮像画像上で移動だけでなく、出現した、消滅した、というものも特異的な輝点領域の動作として組み入れて扱ってもよい。

ここでは、輝点領域の移動を、発光型表示装置上での発光部分の移動としたが、制御対象物上に発光型表示装置が搭載されており、かつ、微小な前後及び左右の運動を行うことが問題ないのであれば、前述の発光部分の移動を、制御対象の移動によって代用することを組み合わせてもよい。

上記の識別情報に、輝点領域の大きさ、を加えてもよい。この輝点領域の大きさとしては、例えば輝点領域を構成するピクセルの数、等が採用可能である。この大きさが、ある事前に定めた大きさよりも小さい場合、その輝点領域はノイズや誤認識であるとして、抹消してもよい。なお、この事前に定めた大きさとしては、例えば次のような手法が採用できる。
・事前実験として、環境中で発光型表示装置の一部を発光させ、撮像装置で撮像し、その撮像画像中での大きさを測る。この大きさを、ある事前に定めた大きさ、として設定する。

以上に説明した本発明の実施形態によれば、撮像画像に歪みが存在する場合、広角レンズを利用して解像度が足りない場合、撮像ノイズが顕著な場合でも、一定上の輝度を持つ発光点のみを検出する手法を提供するため、検出自体は頑健に行うことができる。さらに、金属物のような照明の反射などが顕著な物体が環境中に存在しても、発光型表示装置かそうでないかは検出可能であるため、利用できるカメラ、カメラの配置手法等の自由度が向上する。これによって、発光型表示装置の位置を確実に検出することができる。

またマーカ検出方式に比べると、検出にかかる計算コストが小さく高速に処理可能なため、より安価な計算デバイスを利用することが可能であること、より高速なアクチュエータ制御が可能であることが期待できる。
さらに単なる輝点の検出だけでなく、従来問題となっていた液晶ディスプレイの照明反射にも対処可能な改良が可能なため、マーカ検出技術にも柔軟なマーカ表示という面で効果が期待できる。

また、上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態の管理装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、またはこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式はいずれの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態のＸＸＸ（装置の名称）と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合または読み込む場合はネットワークを通じて取得または読み込んでもよい。
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。
さらに、本願発明における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。
また、記録媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本発明における記録媒体に含まれ、媒体の構成はいずれの構成であってもよい。
なお、本願発明におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等のいずれの構成であってもよい。
また、本願発明の実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の実施形態における機能を実現することが可能な機器、装置を総称している。
本発明の管理装置は、コンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１０１，１３００・・・管理装置、１０２・・・撮像装置、１０３・・・発光型表示装置、１０４・・・制御対象、２０１・・・画像処理部、２０２・・・輝点検出部、２０３・・・状態推定部、２０４・・・制御及び操作信号生成部、２０５・・・発光制御部、２０６・・・表示装置Ｉ／Ｆ、２０７・・・制御対象Ｉ／Ｆ、６０１・・・白色の物体、６０２・・・金属の物体、６０３・・・照明、６１１，６１２，６１４，８０１・・・白色の丸、６１３・・・ＲＯＩ、８０２・・・十字の中心、９０１・・・白色の障害物、９０２・・・金属製障害物、１１０１・・・障害物、１３０１・・・マーカ検出器。

Claims (7)

1. 制御対象または該制御対象の周囲に発光型表示装置を取り付け、該制御対象が動作する環境または該制御対象に設置された撮像装置によって、発光型表示装置の発光部分を撮像し、撮像装置から得られた撮像画像に基づいて、該制御対象を制御する管理装置であって、
   前記発光型表示装置の部分領域を発光させて前記撮像画像から、発光部分である第１輝点領域を検出する輝点検出手段と、
   前記発光型表示装置の前回発光させた部分領域と一部が重なるまたは隣接している別の部分領域を発光させて得られた撮像画像から、前記輝点検出手段が第２輝点領域を検出することを規定回数だけ繰り返し、前後の撮像画像で一部が重なりかつ位置が移動している第３輝点領域の位置を撮像画像上における発光型表示装置の位置であると判定する判定手段と、
   前記第３輝点領域を含む周辺領域を設定領域であるＲＯＩとして設定する設定手段と、を具備する管理装置。
2. 前記判定手段は、前記発光部分の位置を移動させかつ該発光部分を発光させる発光命令を前記発光型表示装置へ送信する発光制御手段を具備する請求項１に記載の管理装置。
3. 前記判定手段は、
   前記第１輝点領域に対して、識別ＩＤ及び撮像画像内おける位置を含む第１輝点識別情報を記憶する第１記憶手段と、
   前記第２輝点領域の輝点領域ごとに、識別ＩＤ、撮像画像内における位置、撮像画像内における速度、及び撮像画像内における最初に認識された位置からの移動量を含む第２輝点識別情報を記憶する第２記憶手段と、を具備する請求項１または請求項２に記載の管理装置。
4. 前記判定手段は、前記第１輝点識別情報と前記第２輝点識別情報とを参照して、前後の撮像画像で一部が重なりかつ位置が移動しているかどうかを検出する第１検出手段をさらに具備する請求項３に記載の管理装置。
5. 前記輝度検出手段は、前記撮像画像に対し、２値化処理あるいは閾値判定処理を行い、一定以上の輝度や明るさを持つピクセルを輝点とし、さらに輝点が連続して塊となっている領域を一塊の輝点領域として検出する請求項１から請求項４に記載の管理装置。
6. 制御対象または該制御対象の周囲に発光型表示装置を取り付け、該制御対象が動作する環境または該制御対象に設置された撮像装置によって、発光型表示装置の発光部分を撮像し、撮像装置から得られた撮像画像に基づいて、該制御対象を制御する管理方法であって、
   前記発光型表示装置の部分領域を発光させて前記撮像画像から、発光部分である第１輝点領域を検出し、
   前記発光型表示装置の前回発光させた部分領域と一部が重なるまたは隣接している別の部分領域を発光させて得られた撮像画像から、第２輝点領域を検出することを規定回数だけ繰り返し、前後の撮像画像で一部が重なりかつ位置が移動している第３輝点領域の位置を撮像画像上における発光型表示装置の位置であると判定し、
   前記第３輝点領域を含む周辺領域を設定領域であるＲＯＩとして設定すること、を具備する管理方法。
7. コンピュータを、請求項１から請求項５のいずれか１項に記載の管理装置の各手段として機能させるためのプログラム。

Images