JP7415912B2 - 装置、システム、方法およびプログラム - Google Patents

Description

本発明は、装置、システム、方法およびプログラムに関する。

特許文献１には、「ユーザの視線方向を検出して、ユーザが注視しているモニタ１１上の位置（領域）を推定する。そして注視位置を含む所定の範囲の被写体に焦点を合わすＡＦ処理を行う。」と記載されている。
［先行技術文献］
［特許文献］
［特許文献１］ 特許６２４１１０７号

本発明の第１の態様においては、装置が提供される。装置は、向きを制御可能なカメラから撮像画像を取得する取得部を備えてよい。装置は、撮像画像を表示画面に表示させる表示制御部を備えてよい。装置は、表示画面内でユーザの見ている被写体を検出する検出部を備えてよい。装置は、被写体がカメラの撮像領域から外れないようカメラの向きを変更する向き変更部を備えてよい。

向き変更部は、被写体が撮像領域の中央部に位置するようカメラの向きを変更してよい。

検出部は、ユーザの目の動きから、被写体に対するズーム操作を検出してよい。装置は、ズーム操作に応じて表示画面内で被写体の大きさを変更する大きさ変更部をさらに備えてよい。

本発明の第２の態様においては、システムが提供される。システムは、第１の態様の装置を備えてよい。システムは、向きを制御可能なカメラを備えてよい。システムは、カメラにより撮像された撮像画像を装置に送信する通信装置を備えてよい。

カメラおよび通信装置は、無人機に搭載されてよい。

無人機は、予め設定されたルート上を移動してよい。

カメラは、監視カメラであってよい。

本発明の第３の態様においては、方法が提供される。方法は、向きを制御可能なカメラから撮像画像を取得する取得段階を備えてよい。方法は、撮像画像を表示画面に表示させる表示制御段階を備えてよい。方法は、表示画面内でユーザの見ている被写体を検出する検出段階を備えてよい。方法は、被写体がカメラの撮像領域から外れないようカメラの向きを変更する向き変更段階を備えてよい。

本発明の第４の態様においては、プログラムが提供される。プログラムは、コンピュータを、向きを制御可能なカメラから撮像画像を取得する取得部として機能させてよい。プログラムは、コンピュータを、撮像画像を表示画面に表示させる表示制御部として機能させてよい。プログラムは、コンピュータを、表示画面内でユーザの見ている被写体を検出する検出部として機能させてよい。プログラムは、コンピュータを、被写体がカメラの撮像領域から外れないようカメラの向きを変更する向き変更部として機能させてよい。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係る看視システム１を示す。 装置３の動作を示す。 表示画面の例を示す。 本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ２２００の例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

［１．看視システム１の構成］
図１は、本実施形態に係る看視システム１を示す。看視システム１は、プラントの看視を行うものであり、無人機２と、装置３とを備える。

ここで、プラントとしては、化学等の工業プラントの他、ガス田や油田等の井戸元やその周辺を管理制御するプラント、水力・火力・原子力等の発電を管理制御するプラント、太陽光や風力等の環境発電を管理制御するプラント、上下水やダム等を管理制御するプラント等がある。

［１．１．無人機２］
無人機２は、プラント内を移動する。無人機２は、プラント内の予め設定されたルート上を移動してよい。無人機２は、自律的な移動が可能であってもよいし、図示しない操作装置や、装置３によって遠隔操縦が可能であってもよい。

無人機２は、無人航空機（ＵＡＶ（Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）、ドローンとも称する）であってもよいし、無人車両（ＵＧＶ（ｕｎｍａｎｎｅｄ ｇｒｏｕｎｄ ｖｅｈｉｃｌｅ）とも称する）であってもよいし、無人水上艦（ＵＳＶ（ｕｎｍａｎｎｅｄ ｓｕｒｆａｃｅ ｖｅｈｉｃｌｅ）とも称する）であってもよいし、無人潜水艦（ＵＵＶ（ｕｎｍａｎｎｅｄ ｕｎｄｅｒｗａｔｅｒ ｖｅｈｉｃｌｅ）とも称する）であってもよい。
無人機２は、カメラ２１と、通信装置２２とを有する。

［１．１（１）．カメラ２１］
カメラ２１は、撮像を行って撮像画像を通信装置２２に供給する。本実施形態では一例として、カメラ２１は、常時、撮像を行って動画像（映像とも称する）を生成してよい。カメラ２１は、向き（撮像方向とも称する）を制御可能であってよく、本実施形態では一例として、通信装置２２から供給される後述の向き変更指示に応じて、向きを変更してよい。

［１．１（２）．通信装置２２］
通信装置２２は、無線または有線で装置３と通信する。

通信装置２２は、カメラ２１により撮像された撮像画像を装置３に送信してよい。本実施形態では一例として、通信装置２２は、撮像画像を逐次、装置３に送信するが、基準インターバル毎（一例として１０秒毎）に送信してもよい。
また、通信装置２２は、向き変更指示を装置３から受信してカメラ２１に供給してよい。

［１．２．装置３］
装置３は、無人機２を用いたプラントの看視を支援する。装置３は、通信部３１と、表示制御部３２と、表示部３３と、撮像部３４と、検出部３５と、向き変更部３６とを有する。なお、装置３は、プラントにおける管理室、計器室などに配置されてよい。本実施形態では一例として、装置３は、据え置き型のＰＣなどであってよい。

［１．２（１）．通信部３１］
通信部３１は、無線または有線で無人機２の通信装置２２と通信する。通信部３１は、取得部の一例であり、通信装置２２を介してカメラ２１から撮像画像を取得する。通信部３１は、撮像画像を表示制御部３２に供給してよい。また、通信部３１は、後述の向き変更部３６から供給される向き変更指示を通信装置２２に送信してもよい。

［１．２（２）．表示制御部３２］
表示制御部３２は、表示部３３を制御する。表示制御部３２は、表示対象の画像（表示画像とも称する）を表示部３３に供給して表示画面に表示させてよい。表示画像は、一例として、カメラ２１により撮像された撮像画像そのものであってよい。

表示制御部３２は、大きさ変更部の一例であってよく、ズーム操作に応じて表示画面内で被写体の大きさを変更してよい。本実施形態では一例として、ズーム操作に応じた拡大（ズームインとも称する）または縮小（ズームアウトとも称する）の指示を検出部３５から取得して、被写体の大きさを変更してよい。

表示制御部３２は、デジタルズームによって被写体の大きさを変更してよい。例えば、表示制御部３２は、拡大の指示を取得したことに応じて、通信部３１から供給される撮像画像のうち、現時点で表示されている領域よりも小さい領域の画像を表示部３３に供給して拡大表示させてよい。表示制御部３２は、縮小の指示を取得したことに応じて、通信部３１から供給される撮像画像のうち、現時点で表示されている領域よりも大きい領域の画像を表示部３３に供給して縮小表示させてよい。この場合には、表示部３３に供給される表示画像は、撮像画像のうち拡大表示される一部の画像であってよい。
表示制御部３２は、表示画像を検出部３５および向き変更部３６にも供給してよい。

［１．２（３）．表示部３３］
表示部３３は、表示制御部３２から供給される表示画像を表示画面に表示する。表示部３３は、他の内容をさらに表示してもよい。

［１．２（４）．撮像部３４］
撮像部３４は、ユーザの目を撮像する。撮像部３４は、撮像した目の画像を検出部３５に供給してよい。なお、本実施形態においては一例として、撮像部３４は、表示部３３の表示画面の外周部に設けられるが、他の位置に設けられてもよい。

［１．２（５）．検出部３５］
検出部３５は、目の画像に基づいて種々の検出を行う。検出部３５は、操作検出部３５１と、注視位置検出部３５２と、被写体検出部３５３とを有する。

［１．２（５－１）．操作検出部３５１］
操作検出部３５１は、ユーザの目の動きから、被写体に対するズーム操作を検出する。操作検出部３５１は、撮像部３４から供給される目の画像を用いてズーム操作を検出してよい。ズーム操作は、ズームイン操作およびズームアウト操作の両方であってよい。

操作検出部３５１は、第１基準時間（一例として０．５秒）に亘ってユーザが目を細めることに応じてズームイン操作を検出し、目を広げることに応じてズームアウト操作を検出してよい。検出部３５は、ユーザが基準頻度（一例として１秒間に３回）以上に瞬きをすることに応じてズームイン操作を検出してもよい。操作検出部３５１は、ズーム操作を検出したことに応じて、拡大または縮小の指示を表示制御部３２に供給してよい。

［１．２（５－２）．注視位置検出部３５２］
注視位置検出部３５２は、表示画面内でユーザの見ている注視位置を検出する。

注視位置検出部３５２は、ユーザの視線を検出してよい。本実施形態では一例として、注視位置検出部３５２は、撮像部３４から供給される目の画像を解析することによって視線を検出してよい。注視位置検出部３５２は、検出した視線が通過する表示画面上の位置を、注視位置としてよい。注視位置検出部３５２は、検出した注視位置の位置情報（一例として表示画面内の座標）を被写体検出部３５３および表示制御部３２に供給してよい。

［１．２（５－３）．被写体検出部３５３］
被写体検出部３５３は、表示画面内でユーザの見ている被写体（対象被写体とも称する）を検出する。例えば、被写体検出部３５３は、プラント内の機器や設備ごとに撮像画像や外観の特徴データを予め記憶してよい。被写体検出部３５３は、表示画像を表示制御部３２から取得し、表示画像に含まれる被写体のうち、注視位置を含む領域に対してエッジ抽出処理などの画像処理を行って取得される被写体の外観を、予め記憶した撮像画像や特徴データと照合することで、対象被写体を検出してよい。これに代えて、プラント内の各機器や設備の外面には、予め固有のコードが設けられてよく、被写体検出部３５３は、注視位置を含む領域に対してエッジ抽出処理などの画像処理を行って取得される被写体の外面から検出されるコードを解析することで対象被写体を検出してもよい。コードは、バーコードや２次元コード（一例としてＱＲコード（登録商標））などであってよく、貼付、印刷、または、刻印の少なくとも１つによって機器や設備に設けられてよい。

被写体検出部３５３は、検出した対象被写体の情報を向き変更部３６に供給してよい。対象被写体の情報は、被写体の特徴データであってもよいし、撮像画像内での被写体の位置座標データであってもよいし、プラント内の機器や設備に予め設定された識別番号であってもよい。

［１．２（６）．向き変更部３６］
向き変更部３６は、対象被写体がカメラ２１の撮像領域から外れないよう、カメラ２１の向きを変更する。例えば、向き変更部３６は、対象被写体が撮像領域の中央部に位置するようカメラ２１の向きを変更してよい。向き変更部３６は、通信部３１を介してカメラ２１の向き変更指示をカメラ２１に供給することで、カメラ２１の向きを変更してよい。

以上の装置３によれば、撮像画像が表示された表示画面内でユーザの見ている対象被写体が検出され、撮像領域から対象被写体が外れないようカメラ２１の向きが変更されるので、対象被写体を確実に撮像画像に収めることができる。

また、対象被写体が撮像領域の中央部に位置するようカメラ２１の向きが変更されるので、対象被写体を撮像画像の中央部に収めることができる。

また、無人機２にカメラ２１と通信装置２２とが搭載されるので、無人機２に搭載されたカメラ２１によって対象被写体を確実に撮像画像に収めることができる。

また、無人機２は予め設定されたルート上を移動するので、ルート上に存在する対象被写体を無人機のカメラ２１によって確実に撮像画像に収めることができる。

また、ユーザの目の動きから検出されるズーム操作に応じて表示画面内で対象被写体の大きさが変更されるので、目の動きによって任意の倍率で対象被写体の撮像画像を見ることができる。

［２．動作］
図２は、装置３の動作を示す。装置３は、ステップＳ１１～Ｓ２７の処理によってプラントの看視を行う。

ステップＳ１１において通信部３１は無人機２のカメラ２１から撮像画像を取得し、ステップＳ１３において表示制御部３２は、撮像画像を表示画面に表示させる。なお、後述のステップＳ１７によって対象被写体の大きさが変更されている場合には、表示制御部３２は、被写体の大きさが維持されるよう撮像画像の一部の領域の表示画像を表示画面に表示させてよい。

ステップＳ１５において表示制御部３２は、操作検出部３５１によりズーム操作が検出されたか否かを判定する。ズーム操作が検出されないと判定された場合（ステップＳ１５；Ｎ）にはステップＳ２１に処理が移行してよい。ズーム操作が検出されたと判定された場合（ステップＳ１５；Ｙ）にはステップＳ１７に処理が移行してよい。

ステップＳ１７において表示制御部３２は、ズーム操作に応じて表示画面内で対象被写体の大きさを変更する。表示制御部３２は、対象被写体の大きさを段階的に変更してよく、ズーム操作が１回行われることに応じて、対象被写体の表示サイズを１段階だけ大きく、または、小さくしてよい。表示制御部３２は、注視位置検出部３５２から供給される注視位置の位置情報に基づいて、注視位置が表示画面から外れないように撮像画像を拡大または縮小してよい。一例として、注視位置検出部３５２が表示画面内でユーザの見ている注視位置を検出し、表示制御部３２は、検出された注視位置を基準点として撮像画像を拡大または縮小してよい。注視位置を基準点として撮像画像を拡大または縮小するとは、注視位置の被写体が移動しないように撮像画像を拡大または縮小することであってよい。

ステップＳ２１において注視位置検出部３５２は、表示画面内でユーザの見ている注視位置を検出する。なお、ステップＳ１７の処理において既に注視位置検出部３５２が注視位置を検出している場合には、注視位置検出部３５２は新たに注視位置を検出しなくてもよい。

ステップＳ２３において被写体検出部３５３は、表示画面内でユーザの見ている対象被写体を検出する。被写体検出部３５３は、表示画像に含まれる被写体のうち、注視位置を含む領域に対してエッジ抽出処理などの画像処理を行って取得される被写体の外観を、予め記憶した撮像画像や特徴データと照合することで、対象被写体を検出してよい。

被写体検出部３５３は、同一の被写体が現時点までに第２基準時間以上、継続してユーザにより見られたことに応じて、当該被写体を対象被写体として検出してよい。第１の被写体が対象被写体として検出されたのち、第２基準時間未満だけユーザが第２の被写体を見た場合には、被写体検出部３５３は、第１の被写体を対象被写体に維持してよい。第２基準時間は、操作検出部３５１によってズーム操作が検出される第１基準時間（一例として０．５秒）と同じであってもよいし、異なってもよい。一例として第２基準時間は１秒であってよい。

ステップＳ２５において向き変更部３６は、対象被写体が表示画像から外れるか否か、別言すれば表示画面から外れるか否かを判定する。例えば、向き変更部３６は、表示制御部３２から供給される表示画像の遷移から表示画像内での対象被写体の移動速度を算出し、第３基準時間の経過後に対象被写体が表示画像外に外れるか否かを判定してよい。第３基準時間は、被写体検出部３５３により対象被写体が検出される第２基準時間（一例として１秒）や、操作検出部３５１によってズーム操作が検出される第１基準時間（一例として０．５秒）と同じであってもよいし、異なってもよい。一例として第３基準時間は０．５秒であってよい。なお、ステップＳ２５において向き変更部３６は、対象被写体が表示画像の中央部から外れるか否か、或いは、対象被写体が表示画像の中央部から外れたか否かを判定してもよい。

ステップＳ２５において対象被写体が表示画像から外れないと判定された場合（ステップＳ２５；Ｎ）には、ステップＳ１１に処理が移行してよい。対象被写体が表示画像から外れると判定された場合（ステップＳ２５；Ｙ）には、ステップＳ２７に処理が移行してよい。

ステップＳ２７において向き変更部３６は、対象被写体がカメラ２１の撮像領域から外れないよう、カメラ２１の向きを変更する。向き変更部３６は、対象被写体が撮像領域の中央部に位置するようカメラ２１の向きを変更してよい。本実施形態では一例として、向き変更部２６は、対象被写体が表示画像から外れないようカメラ２１の向きを変更してよく、好ましくは、対象被写体が表示画像の中央部に位置するようカメラ２１の向きを変更してよい。ステップＳ２７の処理が終了したら、ステップＳ１１に処理が移行してよい。

［３．表示画面の例］
図３は、表示画面の例を示す。この図に示されるように、無人機２のカメラ２１により撮像されたプラントの外観が表示画面に表示された状態において、図中の２重線枠で囲まれた被写体をユーザが注視すると、この被写体が撮像領域から外れないようにカメラ２１の向きが変更される。

［４．変形例］
なお、上記の実施形態においては、装置３は表示部３３を有することとして説明したが、表示部３３を有しなくてもよい。この場合には、表示制御部３２は外部接続された表示装置に撮像画像を表示させてよい。

また、注視位置検出部３５２は目の撮像画像からユーザの視線を検出することとして説明したが、他の手法によって視線を検出してもよい。この場合には、装置３は撮像部３４を有しなくてもよく、注視位置検出部３５２は、ユーザの視線または両目の注視位置を検出するセンサ群（図示せず）を有してよい。センサ群は、ユーザの頭部（一例として目の周辺）に装着される６軸センサや、磁気センサ、眼電位センサなどを含んでよい。６軸センサは、３軸加速度センサおよび３軸ジャイロ（角速度）センサを有するモーションセンサ（慣性センサとも称する）であってよく、ユーザの頭部の向きを検出してよい。磁気センサは、例えば、３軸の地磁気センサであってよい。眼電位センサは、目の周りの電位差を検出することで、眼球の向きを検出してよい。注視位置検出部３５２は、これらのセンサを用い、従来より公知の手法によって視線を検出してよい。例えば、センサ群に６軸センサや磁気センサが含まれる場合には、注視位置検出部３５２は、両目の中間点の位置と、頭部の向きとを検出し、両目の中間点を通って頭部の正面に向かう直線を視線として検出してよい。センサ群に眼電位センサがさらに含まれる場合には、注視位置検出部３５２は、両目の中間点と両目の注視位置とを検出し、両目の中間点と両目の注視位置とを結ぶ直線を視線として検出してよい。

また、看視システム１は単一の無人機２を備えることとして説明したが複数の無人機２を備えてもよい。この場合には、表示画面には各無人機２のカメラ２１による撮像画像が表示されてよい。

また、装置３を据え置き型のＰＣとして説明したが、モバイル端末など、他の任意の装置であってもよく、一例として、ヘッドマウントディスプレイを有するウェアラブル端末であってもよい。

また、カメラ２１は常時撮像を行うこととして説明したが、定期的なタイミングで撮像を行ってもよいし、図示しない操作装置や、装置３に対して行われるシャッター操作のタイミングで撮像を行ってもよい。また、カメラ２１は動画像を生成することとして説明したが、静止画像を生成してもよい。

また、移動可能な無人機２にカメラ２１が搭載されることとして説明したが、向きを制御可能である限りにおいて、カメラ２１は監視カメラであってもよい。この場合には、監視カメラによる監視領域内に存在する被写体を確実に撮像画像に収めることができる。なお、監視カメラは、道路や駐車場、電灯、電柱に配置されてもよいし、設備の出入り口や通路などに配置されてもよい。設備は、プラントでもよいし、学校や住宅、駅、空港、博物館、病院、店舗であってもよいし、テーマパークや遊園地、それらのアトラクション用施設などであってもよい。

また、本発明の様々な実施形態は、フローチャートおよびブロック図を参照して記載されてよく、ここにおいてブロックは、（１）操作が実行されるプロセスの段階または（２）操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階およびセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、および／またはコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタルおよび／またはアナログハードウェア回路を含んでよく、集積回路（ＩＣ）および／またはディスクリート回路を含んでよい。プログラマブル回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、および他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。

コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ-ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（ＲＴＭ）ディスク、メモリスティック、集積回路カード等が含まれてよい。

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかを含んでよい。

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供され、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

図４は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ２２００の例を示す。コンピュータ２２００にインストールされたプログラムは、コンピュータ２２００に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の１または複数のセクションとして機能させることができ、または当該操作または当該１または複数のセクションを実行させることができ、および／またはコンピュータ２２００に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ２２００に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、ＣＰＵ２２１２によって実行されてよい。

本実施形態によるコンピュータ２２００は、ＣＰＵ２２１２、ＲＡＭ２２１４、グラフィックコントローラ２２１６、およびディスプレイデバイス２２１８を含み、それらはホストコントローラ２２１０によって相互に接続されている。コンピュータ２２００はまた、通信インタフェース２２２２、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６、およびＩＣカードドライブのような入／出力ユニットを含み、それらは入／出力コントローラ２２２０を介してホストコントローラ２２１０に接続されている。コンピュータはまた、ＲＯＭ２２３０およびキーボード２２４２のようなレガシの入／出力ユニットを含み、それらは入／出力チップ２２４０を介して入／出力コントローラ２２２０に接続されている。

ＣＰＵ２２１２は、ＲＯＭ２２３０およびＲＡＭ２２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ２２１６は、ＲＡＭ２２１４内に提供されるフレームバッファ等またはそれ自体の中にＣＰＵ２２１２によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス２２１８上に表示されるようにする。

通信インタフェース２２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ２２２４は、コンピュータ２２００内のＣＰＵ２２１２によって使用されるプログラムおよびデータを格納する。ＤＶＤ－ＲＯＭドライブ２２２６は、プログラムまたはデータをＤＶＤ－ＲＯＭ２２０１から読み取り、ハードディスクドライブ２２２４にＲＡＭ２２１４を介してプログラムまたはデータを提供する。ＩＣカードドライブは、プログラムおよびデータをＩＣカードから読み取り、および／またはプログラムおよびデータをＩＣカードに書き込む。

ＲＯＭ２２３０はその中に、アクティブ化時にコンピュータ２２００によって実行されるブートプログラム等、および／またはコンピュータ２２００のハードウェアに依存するプログラムを格納する。入／出力チップ２２４０はまた、様々な入／出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入／出力コントローラ２２２０に接続してよい。

プログラムが、ＤＶＤ－ＲＯＭ２２０１またはＩＣカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ２２２４、ＲＡＭ２２１４、またはＲＯＭ２２３０にインストールされ、ＣＰＵ２２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ２２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ２２００の使用に従い情報の操作または処理を実現することによって構成されてよい。

例えば、通信がコンピュータ２２００および外部デバイス間で実行される場合、ＣＰＵ２２１２は、ＲＡＭ２２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース２２２２に対し、通信処理を命令してよい。通信インタフェース２２２２は、ＣＰＵ２２１２の制御下、ＲＡＭ２２１４、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭ２２０１、またはＩＣカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。

また、ＣＰＵ２２１２は、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６（ＤＶＤ－ＲＯＭ２２０１）、ＩＣカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ２２１４に読み取られるようにし、ＲＡＭ２２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ２２１２は次に、処理されたデータを外部記録媒体にライトバックする。

様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ２２１２は、ＲＡＭ２２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ２２１４に対しライトバックする。また、ＣＰＵ２２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ２２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ２２００上またはコンピュータ２２００近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ２２００に提供する。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１ 看視システム
２ 無人機
３ 装置
２１ カメラ
２２ 通信装置
３１ 通信部
３２ 表示制御部
３３ 表示部
３４ 撮像部
３５ 検出部
３６ 向き変更部
３５１ 操作検出部
３５２ 注視位置検出部
３５３ 被写体検出部
２２００ コンピュータ
２２０１ ＤＶＤ－ＲＯＭ
２２１０ ホストコントローラ
２２１２ ＣＰＵ
２２１４ ＲＡＭ
２２１６ グラフィックコントローラ
２２１８ ディスプレイデバイス
２２２０ 入／出力コントローラ
２２２２ 通信インタフェース
２２２４ ハードディスクドライブ
２２２６ ＤＶＤ－ＲＯＭドライブ
２２３０ ＲＯＭ
２２４０ 入／出力チップ
２２４２ キーボード

Claims (9)

1. 向きを制御可能なカメラから撮像画像を取得する取得部と、
   前記撮像画像を表示画面に表示させる表示制御部と、
   前記表示画面内でユーザの見ている被写体を検出する検出部と、
   前記被写体が前記カメラの撮像領域から外れないよう前記カメラの向きを変更する向き変更部と、
   を備え、
   前記向き変更部は、前記表示制御部に表示される表示画像の遷移から、当該表示画像内での前記被写体の移動速度を算出し、基準時間の経過後に前記被写体が前記表示画像外に外れると判定されることに応じて、前記被写体が前記表示画像から外れないよう前記カメラの向きを変更する装置。
2. 前記向き変更部は、前記被写体が撮像領域の中央部に位置するよう前記カメラの向きを変更する、請求項１に記載の装置。
3. 前記検出部は、ユーザの目の動きから、前記被写体に対するズーム操作を検出し、
   当該装置は、
   前記ユーザが基準頻度以上に瞬きする場合に前記ズーム操作に応じて前記表示画面内で前記被写体の大きさを大きくする大きさ変更部をさらに備える、請求項１または２に記載の装置。
4. 請求項１から３の何れか一項に記載の装置と、
   向きを制御可能なカメラと、
   前記カメラにより撮像された撮像画像を前記装置に送信する通信装置と、
   を備えるシステム。
5. 前記カメラおよび前記通信装置は、無人機に搭載される、請求項４に記載のシステム。
6. 前記無人機は、予め設定されたルート上を移動する、請求項５に記載のシステム。
7. 前記カメラは、監視カメラである、請求項５に記載のシステム。
8. 向きを制御可能なカメラから撮像画像を取得する取得段階と、
   前記撮像画像を表示画面に表示させる表示制御段階と、
   前記表示画面内でユーザの見ている被写体を検出する検出段階と、
   前記被写体が前記カメラの撮像領域から外れないよう前記カメラの向きを変更する向き変更段階と、
   を備え、
   前記向き変更段階では、前記表示制御段階により表示される表示画像の遷移から、当該表示画像内での前記被写体の移動速度を算出し、基準時間の経過後に前記被写体が前記表示画像外に外れると判定されることに応じて、前記被写体が前記表示画像から外れないよう前記カメラの向きを変更する方法。
9. コンピュータを、
   向きを制御可能なカメラから撮像画像を取得する取得部と、
   前記撮像画像を表示画面に表示させる表示制御部と、
   前記表示画面内でユーザの見ている被写体を検出する検出部と、
   前記被写体が前記カメラの撮像領域から外れないよう前記カメラの向きを変更する向き変更部
   として機能させ、
   前記向き変更部は、前記表示制御部に表示される表示画像の遷移から、当該表示画像内での前記被写体の移動速度を算出し、基準時間の経過後に前記被写体が前記表示画像外に外れると判定されることに応じて、前記被写体が前記表示画像から外れないよう前記カメラの向きを変更するプログラム。