JP6367759B2 - 表示画像ズーム端末、表示画像ズーム方法及び表示画像ズームプログラム - Google Patents

Description

本発明は、移動装置を操作端末で遠隔操作する技術に関し、特に該操作端末に表示されている移動装置からのカメラ画像をズームする技術に関する。

現在、移動装置を遠隔操作するための技術が研究開発されている。特許文献１によれば、ユーザが移動する床に複数のＩＤタグを一定間隔で並べ、接触したＩＤタグからのＩＤデータを用いてユーザの移動位置を求め、ヘッドマウントディスプレイで検知したユーザの視線情報を更に用いて、移動ロボットやその搭載カメラの視点（位置）・視線（撮影方向）を制御する手法が提案されている。

特開２００２−１３５６４１号公報

しかしながら、ヘッドマウントディスプレイには移動ロボットや搭載カメラの動きに連動した移動中の映像が常時映し出されるため、移動完了後の映像を瞬時に表示することはできない。同引用文献には所定のズーム倍率で搭載カメラのズーム倍率を制御する手法も提案されているが、この場合でもズーム中の映像が映し出されてしまう。また、ＩＤタグやヘッドマウントディスプレイを用いるため、遠隔操作を行うにあたり費用や時間がかかる。つまり、従来の技術では、移動完了後におけるカメラ画像の表示の視点合わせを瞬時に行い、かつ、移動装置を簡便に遠隔操作することが困難であった。

本発明は、上記事情を鑑みてなされたものであり、カメラ画像表示の視点合わせを瞬時に行うことを目的とする。

以上の課題を解決するため、請求項１に記載の表示画像ズーム端末は、移動装置の撮像手段で撮像された撮像画像を画面に表示する表示手段と、前記撮像画像の表示倍率を変更する操作を受け付ける受付手段と、表示される撮像画像が前記受け付けた表示倍率に近づくように、前記撮像手段のズーム倍率を制御し、前記移動装置を移動させる制御手段と、を有することを要旨とする。

本発明によれば、移動装置の撮像手段で撮像された撮像画像を画面に表示し、該撮像画像の表示倍率を変更する操作を受け付け、表示される撮像画像が該受け付けた表示倍率に近づくように、上記撮像手段のズーム倍率を制御し、上記移動装置を移動させるため、撮像画像表示の視点合わせに要する時間を瞬時に行うことができる。

請求項２に記載の表示画像ズーム端末は、請求項１に記載の表示画像ズーム端末において、前記制御手段は、前記操作を受け付けた後から前記移動装置の移動が完了するまでの間に表示される撮像画像が前記受け付けた表示倍率となり続けるように、前記撮像手段のズーム倍率を制御し、前記移動装置を制御させることを要旨とする。

請求項３に記載の表示画像ズーム端末は、請求項２に記載の表示画像ズーム端末において、前記制御手段は、前記移動が完了するまでの間は前記表示倍率の撮像画像を静止画表示させ、前記移動の完了後に前記撮像手段からの撮像映像に切り替えることを要旨とする。

請求項４に記載の表示画像ズーム端末は、請求項１乃至３のいずれかに記載の表示画像ズーム端末において、前記表示手段と前記受付手段は、タッチパネルであって、前記表示倍率を変更する操作は、ピンチアウト、ピンチイン、又は前記タッチパネルに対して範囲を指定して表示倍率を変更する操作のいずれかであることを要旨とする。

請求項５に記載の表示画像ズーム方法は、表示画像ズーム端末で行う表示画像ズーム方法において、前記表示画像ズーム端末は、移動装置の撮像手段で撮像された撮像画像を画面に表示する表示ステップと、前記撮像画像の表示倍率を変更する操作を受け付ける受付ステップと、表示される撮像画像が前記受け付けた表示倍率に近づくように、前記撮像手段のズーム倍率を制御し、前記移動装置を移動させる制御ステップと、を有することを要旨とする。

請求項６に記載の表示画像ズームプログラムは、請求項１乃至４のいずれかに記載の表示画像ズーム端末としてコンピュータを機能させることを要旨とする。

本発明によれば、カメラ画像表示の視点合わせを瞬時に行うことができる。

操作端末の機能ブロック構成を示す図である。 カメラ映像表示部の処理フローを示す図である。 移動装置制御部の処理フロー（実施例１）を示す図である。 図３の処理フローを説明する際の参照図である。 移動装置制御部の処理フロー（実施例２）を示す図である。

以下、本発明を実施する一実施の形態について図面を用いて説明する。

〔第１の実施の形態〕
図１は、第１の実施の形態に係る操作端末１の機能ブロック構成を示す図である。該操作端末１は、光学ズーム可能なカメラを備えた移動装置２を遠隔操作するための端末であり、カメラ映像表示部１１と、移動装置制御部１２と、を備えて構成される。

カメラ映像表示部１１は、タッチパネルを備え、移動装置２のカメラで撮影されたカメラ画像を該タッチパネルに表示するように構成されている。また、タッチパネル上で行われたカメラ画像の表示倍率（拡大・縮小）を変更する操作を受け付けるように構成されている。

移動装置制御部１２は、カメラの実画像が上記受け付けた表示倍率に近づくように、移動装置２のカメラの光学ズーム倍率を制御し、かつ、移動装置２の移動方向及び移動量を制御するように構成されている。また、上記操作を受け付けた後から移動装置２の移動が完了するまでの間に表示される画像が該受け付けた表示倍率となり続けるように、該受け付けた表示倍率のズーム画像でタッチパネル上の画像を静止画表示させるように構成されている。さらに、移動装置２の移動完了後、静止画表示中のズーム画像をカメラからの撮像画像に切り替えるように構成されている。

上述した複数の機能部を備える操作端末１は、タッチパネル、ＣＰＵ、メモリ等を備えたコンピュータで実現可能である。例えば、スマートフォン、タブレット端末、パソコンを用いて実現する。また、操作端末１としてコンピュータを機能させるためのプログラムや該プログラムの記憶媒体を作成することも可能である。

なお、移動装置２とは、例えば、ドローン（小型飛行機やヘリコプター等の無人飛行体）、自動車、海中船、作業用ロボットである。光学ズーム可能なデジタルカメラを備え、自機で撮影したカメラ画像を送信可能であり、受信した制御信号に基づき自機を移動させる移動装置であればよい。また、操作端末１と移動装置２との間の通信路は、無線でもよいし有線でもよい。

次に、操作端末１で行う移動装置２の遠隔操作・表示画像ズーム方法について説明する。操作端末１は、移動装置２からカメラ画像を受信し、タッチパネルに表示しているものとする。

最初に、図２を参照しながら、カメラ映像表示部１１の動作を説明する。

まず、ステップＳ１０１において、現在表示中のカメラ画像（初期画像）に対するサイズ比率の変更操作の開始を検出する。例えば、タッチパネルに対するユーザの指の接触を検知したタイミングを該変更操作の開始として検出する。タッチパネルへの接触の有無については、タッチパネルが提供する既存のインタフェースを用いて検知可能である。

次に、ステップＳ１０２において、タッチパネル上で行われたサイズ変更比率が移動装置２のカメラで変更可能な比率の範囲内であれば、開始を検出していたサイズ比率変更操作を受け付ける。

次に、ステップＳ１０３において、受け付けたサイズ変更比率が一定率以上変化した場合、その時のサイズ変更比率を移動装置制御部１２に送信する。

その後、受け付けていたサイズ比率変更操作が終了するまでステップＳ１０２〜ステップＳ１０３を繰り返す。

例えば、タッチパネルに対するユーザ操作がピンチアウトの場合、ユーザの指で囲まれた矩形領域が一定率で拡大される毎にその時のサイズ変更比率を移動装置制御部１２に逐次送信し、タッチパネルから指が離れたタイミングで処理を終了する。一方、ピンチインの場合は、該矩形領域が一定率で縮小される毎にサイズ変更比率を送信する。これにより、１つ以上のサイズ変更比率が移動装置２に送信される。

なお、サイズ変更比率については、サイズ比率変更前後の２つの画像を用いて算出してもよいし、タッチパネルが提供する既存のインタフェースから出力されたものを用いてもよい。

続いて、図３と図４を参照しながら、移動装置制御部１２の動作を説明する。

まず、ステップＳ２０１において、サイズ変更比率をカメラ映像表示部１１から受信する。

次に、ステップＳ２０２において、移動装置２のカメラの光学ズーム倍率を制御し、該カメラで撮影されるカメラ画像を初期画像から上記サイズ変更比率倍したズーム画像に変更する。例えば、ユーザによるサイズ変更比率が３倍の場合、タッチパネル上に表示される移動装置２からのカメラ画像が初期画像の３倍となるように、カメラの光学ズーム倍率を調整｛Ｎ倍（Ｎ：実数）｝する。サイズ変更比率が１．０よりも大きい場合にはズームインし、１．０よりも小さい場合はズームアウトすることになる。

次に、ステップＳ２０３において、上記サイズ変更比率倍したズーム画像でタッチパネル上の画面を静止画化し、新たなサイズ比率変更操作の受付を一時停止する。

次に、ステップＳ２０４において、カメラの光学ズーム倍率をデフォルト値に戻し、元の光学ズーム倍率で撮影されるカメラ画像（実画像）が静止画化されたズーム画像に近づく（等しくなる）ように移動装置２を移動させる。例えば、ズーム画像をテンプレートとして移動装置２からのカメラ画像（実画像）とテンプレートマッチングを行い、類似度が最も高くなるまで又は相違度が閾値以下になるまで移動装置２を移動させる。サイズ変更比率が１．０よりも大きい場合には前進させ、１．０よりも小さい場合は後退させることになる。

最後に、ステップＳ２０５において、移動装置２の移動完了後、静止画表示されていたズーム画像を移動後の移動装置２からのカメラ画像（実画像）に切り替え、一時停止していた新たなサイズ比率変更操作の受付を再開する。

〔第２の実施の形態〕
第１の実施の形態では、所望する表示倍率のカメラ画像を静止画で一時的に間に合わせる場合を説明した。一方、第２の実施の形態では、静止画表示するのに代えて、カメラ画像（実画像）を所望の表示倍率で維持するように、カメラの光学ズーム倍率と移動装置の移動方向及び移動量を共に調整する。

本実施の形態に係る操作端末１は、第１の実施の形態と同様に、カメラ映像表示部１１と、移動装置制御部１２と、を備えて構成される。カメラ映像表示部１１の機能及び動作は、第１の実施の形態と同様である。以下、図５を参照しながら、移動装置制御部１２の動作を説明する。

まず、ステップＳ３０１において、ステップＳ２０１と同様に、サイズ変更比率をカメラ映像表示部１１から受信する。

次に、ステップＳ３０２において、ステップＳ２０２と同様に、移動装置２のカメラの光学ズーム倍率を制御し、該カメラで撮影されるカメラ画像を初期画像から上記サイズ変更比率倍したズーム画像（実画像）に変更する。

最後に、ステップＳ３０３において、該サイズ変更比率倍のズーム画像（実画像）を維持するように、移動装置２のカメラの光学ズーム倍率を調整し、かつ、該移動装置２の移動方向及び移動量を調整する。例えば、上記ズーム画像の一画像フレームをメモリに一旦記憶しておき、移動装置２から送信されるカメラ画像（実画像）の画像フレームと逐次比較し、相違度が閾値以下になるまでカメラの光学ズーム倍率を調整しつつ移動装置２を移動させる。例えば、サイズ変更比率が１．０よりも大きい場合、光学ズーム倍率を小さくしながら移動装置２を前進させる。

なお、タッチパネル上のカメラ画像は移動装置２で撮影中の映像そのものであるため、ステップＳ２０５のような画像の切り替え処理は不要となる。また、第１の実施の形態で説明したように、ステップＳ３０３の前後で新たなサイズ比率変更操作の受付を停止・再開してもよい。

以上より、各実施の形態によれば、操作端末１において、カメラ映像表示部１１が、移動装置２のカメラで撮像されたカメラ画像をタッチパネルに表示し、該カメラ画像の表示倍率を変更する操作を受け付け、移動装置制御部１２が、該タッチパネルに表示されるカメラ画像が該受け付けた表示倍率に近づくように、上記カメラの光学ズーム倍率を制御し、かつ、移動装置２を移動させるので、タッチパネル上には受け付けた表示倍率に近い撮像画像が表示され続けることから、カメラ画像表示の視点合わせに要する時間を瞬時に行うことができる。また、かかる処理を情報処理端末で行うため、ＩＤタグの載置やヘッドマウントディスプレイ等を必要としないことから、移動装置２を簡便に遠隔操作することができる。

最後に、各実施の形態では、タッチパネルを用いる場合を説明したが、カメラ画像の表示手段とタッチ操作の受付手段とを物理的に異なる手段で実現してもよい。例えば、汎用モニタとペンタブレットを用いることが考えられる。ペンタブレットの電子ペンを用いてモニタ上のカメラ画像をペンタブレット上で間接的にタッチ操作することにより、上記と同様の効果を得ることができる。具体的には、例えば、電子ペンを用いてカメラ画像上の一部を線で囲み、該囲まれた線の一部を外側に引っ張ることで実質的にピンチアウトと同様の表示倍率変更操作を実現できる。また、画面の拡大ボタンや縮小ボタン、画面サイズ比率変更用のスライドバー、スライド方向の指示ボタン等、移動装置２の移動を制御するためのツールを表示して利用するようにしてもよい。

また、各実施の形態では、光学ズーム可能なデジタルカメラを用いる場合を説明したが、操作端末１からすればカメラのズーム倍率を制御可能であればよいため、例えばデジタルズーム可能なカメラを用いてもよい。

１…操作端末（表示画像ズーム端末）
１１…カメラ映像表示部（表示手段、受付手段）
１２…移動装置制御部（制御手段）
２…移動装置
Ｓ１０１〜Ｓ１０３、Ｓ２０１〜Ｓ２０５、Ｓ３０１〜Ｓ３０３…ステップ

Claims (5)

1. 移動装置の撮像手段で撮像された撮像画像を画面に表示する表示手段と、
   前記撮像画像の表示倍率を変更する操作を受け付ける受付手段と、
   表示される撮像画像が前記受け付けた表示倍率に近づくように、前記撮像手段のズーム倍率を制御し、前記移動装置を移動させる制御手段と、を有し、
   前記制御手段は、
   前記操作を受け付けた後から前記移動装置の移動が完了するまでの間に表示される撮像画像が前記受け付けた表示倍率となり続けるように、前記撮像手段のズーム倍率を制御し、前記移動装置を制御させる
   ことを特徴とする表示画像ズーム端末。
2. 前記制御手段は、
   前記移動が完了するまでの間は前記表示倍率の撮像画像を静止画表示させ、前記移動の完了後に前記撮像手段からの撮像映像に切り替えることを特徴とする請求項１に記載の表示画像ズーム端末。
3. 前記表示手段と前記受付手段は、タッチパネルであって、
   前記表示倍率を変更する操作は、
   ピンチアウト、ピンチイン、又は前記タッチパネルに対して範囲を指定して表示倍率を変更する操作のいずれかであることを特徴とする請求項１又は２に記載の表示画像ズーム端末。
4. 表示画像ズーム端末で行う表示画像ズーム方法において、
   前記表示画像ズーム端末は、
   移動装置の撮像手段で撮像された撮像画像を画面に表示する表示ステップと、
   前記撮像画像の表示倍率を変更する操作を受け付ける受付ステップと、
   表示される撮像画像が前記受け付けた表示倍率に近づくように、前記撮像手段のズーム倍率を制御し、前記移動装置を移動させる制御ステップと、を有し、
   前記制御ステップでは、
   前記操作を受け付けた後から前記移動装置の移動が完了するまでの間に表示される撮像画像が前記受け付けた表示倍率となり続けるように、前記撮像手段のズーム倍率を制御し、前記移動装置を制御させる
   ことを特徴とする表示画像ズーム方法。
5. 請求項１乃至３のいずれかに記載の表示画像ズーム端末としてコンピュータを機能させることを特徴とする表示画像ズームプログラム。

Images