JP2021071894A - 操作装置、操作方法及びプログラム - Google Patents

Abstract

【課題】リモコン若しくはリモコンに相当する端末を操作者が携帯すること無しに、機器を遠隔操作する。【解決手段】投影部１０２は、操作対象とする機器２００を操作するための操作画面を操作者の体の一部である投影対象に投影する。操作受付部１０３は、操作者から操作画面に対する操作を受け付ける。コマンド判別部１０５は、操作画面の内容と受け付けた操作とに基づいて、操作対象とする機器２００を操作するためのコマンドを判別する。コマンド送信部１０６は、判別したコマンドを操作対象とする機器２００に送信する。【選択図】図３

Description

本発明は、操作装置、操作方法及びプログラムに関する。

エアコン、テレビ、照明等の機器を遠隔操作するためにリモコンが使用されている。また、スマートフォン、タブレット端末等の端末を機器のリモコンとして利用する技術も知られている。例えば、特許文献１には、スマートフォンから機器に対する動作指令を受信し、動作指令に応じたコマンドを機器に送信する機能を有するスマートリモコンについて記載されている。

特開２０１９−２９６７９号公報

特許文献１に記載の技術では、操作者は、機器を操作する際に専用のリモコンは不要になるものの、操作用のスマートフォンを携帯しておく必要がある。例えば、操作者が洗濯、料理等をしており、スマートフォンを手で操作することが困難な場面では、スマートフォンをリモコンとして利用することは困難である。また、スマートフォンのような使用者が特定される機器は通常パスコードでロックしていることから、各々のスマートフォンをリモコンとなるようにするとともに個々人が携帯していなければならず、複数人（例えば家族間）で共有することは難しかった。

本発明は上記実情に鑑みてなされたものであり、リモコン若しくはリモコンに相当する端末を操作者が携帯すること無しに、機器を遠隔操作することができる操作装置、操作方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明に係る操作装置は、
操作対象機器を操作するための操作画面を操作者の体の一部である投影対象に投影する投影手段と、
前記操作者から前記操作画面に対する操作を受け付ける操作受付手段と、
前記操作画面の内容と受け付けた操作とに基づいて、前記操作対象機器を操作するためのコマンドを判別するコマンド判別手段と、
判別したコマンドを前記操作対象機器に送信するコマンド送信手段と、を備える。

本発明によれば、リモコン若しくはリモコンに相当する端末を操作者が携帯すること無しに、機器を遠隔操作することができる。

実施形態に係る操作装置を含んだシステムの全体構成を示す図 実施形態に係る操作装置のハードウェア構成を示すブロック図 実施形態に係る操作装置の機能構成を示すブロック図 実施形態の遠隔操作処理の手順を示すフローチャート 操作対象選択画面の例を示す図 操作対象選択画面から操作対象機器を選択する操作を説明するための図（その１） 操作対象選択画面から操作対象機器を選択する操作を説明するための図（その２） メニュー画面の例を示す図 操作画面の例を示す図 （Ａ）は、小さな移動量からコマンドを判別する例を示す図、（Ｂ）は、大きな移動量からコマンドを判別する例を示す図 処理を終了させる操作の例を示す図

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付す。

図１は、本発明の実施形態に係る操作装置１００を含んだシステムの全体構成を示す図である。操作装置１００は、エアコン２０１とテレビ２０２と照明２０３とが設けられている部屋３００の天井の中央に設置されている。なお、以下の説明では、エアコン２０１とテレビ２０２と照明２０３とを区別しない場合には機器２００とも表記する。操作装置１００は、操作者の手のひらに操作対象とする機器２００の操作画面を投影することにより、機器２００の遠隔操作を可能にする装置である。

（操作装置１００のハードウェア構成）
操作装置１００は、図２に示すように、通信インタフェース１１０と、ＣＰＵ（Central Processing Unit）１２０と、ＲＯＭ（Read Only Memory）１３０と、ＲＡＭ（Random Access Memory）１４０と、二次記憶装置１５０と、プロジェクタ１６０と、カメラ１７０と、マイク１８０とを備える。これらの構成部は、バス１９０を介して相互に接続される。

通信インタフェース１１０は、操作装置１００が機器２００と無線通信するためのインタフェースである。

ＣＰＵ１２０は、操作装置１００を統括的に制御する。ＲＯＭ１３０は、複数のファームウェア及びこれらのファームウェアの実行時に使用されるデータ等を記憶する。ＲＡＭ１４０は、ＣＰＵ１２０の作業領域として使用される。

二次記憶装置１５０は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュメモリ等の読み書き可能な不揮発性の半導体メモリを含んで構成される。二次記憶装置１５０は、機器２００の遠隔操作に係るプログラム（以下、遠隔操作プログラム）を含む複数のプログラムと、各プログラムの実行時に使用されるデータとを記憶する。例えば、二次記憶装置１５０には、各機器２００を制御するためのコマンド、後述する操作対象選択画面及び操作画面の画面データ等が記憶されている。

プロジェクタ１６０は、ランプユニット、カラーホイール、ＤＭＤ（Digital Mirror Device）、レンズ等を備える。プロジェクタ１６０は、ＣＰＵ１２０から受信した画像を投影面に投影する。

カメラ１７０は、レンズ、ＣＣＤ（Charge-Coupled Device）イメージセンサ等を備える。カメラ１７０は、ＣＰＵ１２０からの指示に応じて撮像動作を行い、撮像した画像の画像データをＣＰＵ１２０に出力する。

なお、プロジェクタ１６０とカメラ１７０は、ＣＰＵ１２０からの制御の下、図示せぬ駆動機構により投影方向及び撮像方向を変化させることが可能である。これにより、プロジェクタ１６０とカメラ１７０は、部屋３００内を満遍なく投影及び撮像することができる。

マイク１８０は、周囲の音声を集音し、集音した音声をデジタルの音声信号に変換し、ＣＰＵ１２０に出力する。

（操作装置１００の機能構成）
続いて、操作装置１００の各機能について説明する。図３に示すように、操作装置１００は、機能的な構成として、投影位置特定部１０１と、投影部１０２と、操作受付部１０３と、操作対象特定部１０４と、コマンド判別部１０５と、コマンド送信部１０６と、を備える。

投影位置特定部１０１は、本発明に係る投影位置特定手段の一例である。投影位置特定部１０１は、投影部１０２が投影対象とする操作者の手のひらの位置を特定する。投影位置特定部１０１の機能は、ＣＰＵ１２０とカメラ１７０とにより実現される。

投影部１０２は、本発明に係る投影手段の一例である。投影部１０２は、複数の機器２００（エアコン２０１、テレビ２０２、照明２０３）のなかから操作の対象とする機器２００（以下、操作対象機器とも表記）を操作者が選択するための操作対象選択画面、および操作対象機器を操作するための操作画面を操作者の手のひらに投影する。投影部１０２の機能は、ＣＰＵ１２０とプロジェクタとにより実現される。

操作受付部１０３は、本発明に係る操作受付手段の一例である。操作受付部１０３は、投影部１０２が投影した操作対象選択画面、および操作画面に対する操作者からの操作を受け付ける。操作受付部１０３の機能は、ＣＰＵ１２０とカメラ１７０とにより実現される。

操作対象特定部１０４は、本発明に係る操作対象特定手段の一例である。操作対象特定部１０４は、操作者からの指示に基づいて、操作対象機器を特定する。具体的には、操作対象特定部１０４は、操作者の手のひらに投影されている操作対象選択画面に対してなされた操作に基づいて、操作対象機器を特定する。操作対象特定部１０４の機能は、ＣＰＵ１２０により実現される。

コマンド判別部１０５は、本発明に係るコマンド判別手段の一例である。コマンド判別部１０５は、操作者の手のひらに投影されている操作画面の内容と操作受付部１０３が受け付けた操作とに基づいて、操作対象機器を操作するためのコマンドを判別する。コマンド判別部１０５の機能は、ＣＰＵ１２０により実現される。

コマンド送信部１０６は、本発明に係るコマンド送信手段の一例である。コマンド送信部１０６は、コマンド判別部１０５が判別したコマンドを制御対象機器に送信する。コマンド送信部の機能は、ＣＰＵ１２０と通信インタフェース１１０とにより実現される。

（操作装置１００の動作）
続いて、操作装置１００の動作について説明する。操作装置１００を利用して機器２００を遠隔操作したい操作者は、操作装置１００に向けて処理開始のトリガとなる特定の音声を発する。この特定の音声は、「操作スタート」、「操作したい」等の音声である。操作装置１００のＣＰＵ１２０は、マイク１８０を介してこの特定の音声を受信すると、二次記憶装置１５０に記憶されている遠隔操作プログラムを実行して、図４に示す遠隔操作処理を開始する。なお、操作者は、このような特定の音声を発する際に、後述する操作対象選択画面が投影され易くなるように、操作装置１００に向けて自分の手のひらをかざすようにするのが望ましい。なお、マイク１８０を複数設けて、音声が発せられている方向を認識させることで投影対象の方向を認識しやすくしてもよい。また、操作者の発した音声以外に、手をたたいた音、机を叩いた音等を遠隔操作処理の開始のトリガとしてもよい。

また、音声、音に替えて、特定のジェスチャーを処理開始のトリガとしてもよい。例えば、カメラ１７０に向かって手を振る、手を上げるなど予め定められたジェスチャーを操作装置１００が認識することで遠隔操作処理を開始してもよい。なお、遠隔操作処理を開始する意思の無い操作者がたまたま同じジェスチャーをすることで遠隔操作処理が開始されてしまう事態も考えられる。そのため、このような事態を防ぐため、例えば、顔認証を組み合わせ、操作者がカメラ１７０のほうを向いて手を振り、カメラ１７０のほうに顔を向いていると顔認証された場合にのみ、操作装置１００がジェスチャーを認識してもよい。もちろん、上述した音声、音、ジェスチャーを組み合わせたものを、遠隔操作処理を開始するためのトリガとしてもよい。また、さらには、特定の操作者の顔の特徴データを予め二次記憶装置１５０に記憶させておき、操作装置１００が、特定の操作者からの特定の音声、音、ジェスチャーのみを遠隔操作処理のトリガとして認識してもよい。

遠隔操作処理が開始されると、まず、ＣＰＵ１２０は、操作者の手のひらの位置を判別する（ステップＳ１０１）。具体的には、ＣＰＵ１２０は、処理開始のトリガとなった特定の音声が発せられた方向を撮像するようにカメラ１７０を制御して画像を撮像する。そして、ＣＰＵ１２０は、撮像された画像を公知の画像解析技術で解析することで、手ひらの位置を判別すればよい。なお、ステップＳ１０１の処理以降、ＣＰＵ１２０により、カメラ１７０は、操作者の手のひらを予め定めたフレームレートで撮像し続けるように制御される。

続いて、ＣＰＵ１２０は、プロジェクタ１６０を制御して、操作者の手のひらに図５に示す操作対象選択画面を投影させる（ステップＳ１０２）。操作対象選択画面は、エアコン２０１、テレビ２０２、照明２０３のうちどの機器２００を操作の対象とするかを操作者が選択するための画面である。図５に示すように、操作対象選択画面の右側、左側、下側には、それぞれ、操作対象機器としてエアコン２０１を選択するためのボタンＢ１、テレビ２０２を選択するためのボタンＢ２、及び、照明２０３を選択するためのボタンＢ３を模した画像が投影されている。

図４に戻り、操作者は、自分の手のひらに投影された操作対象選択画面から、操作対象機器を選択するための操作を行う。ＣＰＵ１２０は、カメラ１７０によって撮像された手のひらの画像を解析して、操作者からなされた操作を特定し、特定した操作に基づいて操作対象機器を特定する（ステップＳ１０３）。

ここで、操作者が操作態様選択画面から操作対象機器を選択する操作について具体的に説明する。本実施形態では、操作者は、２種類の操作により操作対象機器を選択することができる。

具体的には、操作者は、図６に示すように、操作対象選択画面から、操作対象としたい機器２００に対応するボタンを指Ｆ１でタッチすることで、操作対象機器を選択することができる。ＣＰＵ１２０は、カメラ１７０によって撮像された画像を解析してタッチされたボタンを判別し、判別したボタンに対応する機器を操作対象機器として特定する。例えば、図６に示す例では、操作者の指によりボタンＢ１がタッチされているため、ＣＰＵ１２０は、操作対象機器としてエアコンを特定する。

また、別の操作として、操作者は、操作対象選択画面に対して手のひらを特定の方向に動作させることで、操作対象機器を選択することができる。ＣＰＵ１２０は、カメラ１７０によって撮像された画像を解析して操作対象選択画面に対する手のひらの動き（移動方向）を判別することで、選択された操作対象機器を特定する。例えば、図７に示す例では、点線で示す手のひら全体が、矢印で示すように右に移動しているため、ＣＰＵ１２０は、操作対象機器としてエアコン２０１を特定する。なお、操作対象選択画面に対して手のひらが下に移動した場合は照明２０３、左に移動した場合はテレビ２０２が操作対象機器として特定される。

図４に戻り、ＣＰＵ１２０は、プロジェクタ１６０を制御して、操作対象機器を操作するための操作画面を操作者の手のひらに投影させる（ステップＳ１０４）。

例えば、操作対象機器がエアコン２０１である場合、ＣＰＵ１２０は、まず、図８に示すようなエアコン２０１のメニュー画面を操作者の手のひらに投影させる。このメニュー画面の右側、左側、下側には、エアコンの操作項目である「温度設定」、「風向」、「運転切替」に対応した各ボタンＢ４〜Ｂ６を模した画像が表示されている。そして、操作者は、前述した操作対象選択画面に対する操作と同様に、メニュー画面から操作項目を選択する操作を行い、ＣＰＵ１２０は、当該操作から選択された操作項目を特定する。そして、ＣＰＵ１２０は、プロジェクタ１６０を制御して、特定した操作項目に対応した操作画面を手のひらに投影する。

例えば、図８に示すメニュー画面から、操作項目「風向」に対応するボタンＢ５がタッチされた操作、若しくは、メニュー画面に対して手のひらが左に移動する操作がなされた場合、ＣＰＵ１２０は、操作項目「風向」を特定する。そして、ＣＰＵ１２０は、プロジェクタ１６０を制御して、エアコン２０１の風向きを操作するための図９に示す操作画面を操作者の手のひらに投影させる。この操作画面の右側、左側、上側、下側には、それぞれ、エアコンの風向を右にするためのボタンＢ７、左にするためのボタンＢ８、上にするためのボタンＢ９、下にするためのボタンＢ１０を模した画像が表示されている。なお、照明２０３のように操作項目が少ない機器２００が操作対象機器である場合、ＣＰＵ１２０は、メニュー画面を経由せずに操作画面を直接手のひらに投影してもよい。

図４に戻り、操作者は、自分の手のひらに操作画面が投影されると、操作画面から操作対象機器に対する操作を行う。この操作は、前述した操作対象選択画面に対する操作と同様の操作である。ＣＰＵ１２０は、カメラ１７０によって撮像された画像を解析して、操作者からなされた操作を特定する。そして、ＣＰＵ１２０は、特定した操作と投影している操作画面の内容とに基づいて、操作対象機器を制御するためのコマンドを判別する（ステップＳ１０５）。例えば、図９に示すエアコンの風向きを操作するための操作画面から「右」に対応するボタンＢ７がタッチされた操作、若しくは、操作画面に対して手のひらが右に移動する操作がなされた場合、ＣＰＵ１２０は、エアコン２０１の風向きを右に制御するためのコマンドを判別する。

図４に戻り、続いて、ＣＰＵ１２０は、通信インタフェース１１０を制御して操作対象機器に判別したコマンドを送信する（ステップＳ１０６）。操作対象機器は、受信したコマンドに応じた動作を行う。以上で遠隔操作処理は終了する。

このように、本実施形態によれば、操作者の手のひらに操作画面が投影され、操作者が当該操作画面に対して操作を行うことで機器２００を遠隔操作することができる。従って、操作者は、リモコン若しくはリモコンに相当する端末を携帯すること無しに、機器を遠隔操作することができる。また、本実施形態では、操作者は投影された操作画面から操作を行うことができるため、リモコンを用いた操作と同等な操作を直感的に行うことが可能となる。

また、本実施形態によれば、遠隔操作処理において、操作者の手のひらに操作対象選択画面が投影され、当該操作対象選択画面に対する操作を行うことで、複数の機器２００の中から操作対象とする機器２００を選択することができる。従って、１台の操作装置１００で複数の機器の遠隔操作に対応することが可能となる。

また、本実施形態によれば、手のひらに投影されている操作画面のボタンをタッチする操作だけでなく、手のひら全体を操作画面に対して特定の方向に移動させることによっても操作対象機器を操作することができる。従って、操作者の片手が塞がっており投影されている操作画面をタッチできないような場面でも、操作対象機器を操作することが可能になる。

また、本実施形態によれば、操作者の手のひらの位置が判別され、判別された位置に操作画面が投影される。従って、操作者は、部屋３００内のどの位置からでも、自分の手のひらに投影された操作画面から機器２００を操作することが可能となる。

（変形例）
なお、本発明は、上記各実施形態に限定されず、本発明の要旨を逸脱しない範囲での種々の変更は勿論可能である。

例えば、上記実施形態では、操作装置１００は、操作者の手にひらに操作対象選択画面、操作画面を投影したが、操作者の体の他の部分にこれらの画面を投影してもよい。例えば、操作装置１００は、操作者の腕、腹部等に操作対象選択画面、操作画面を投影してもよい。

また上記実施形態では、操作対象選択画面にて操作対象機器を選択したが、遠隔操作処理を開始するための特定の音声を、例えば「エアコンを操作スタート」、「エアコンを操作したい」などのようにして、音声で操作対象機器を選択してもよい。また、例えば、拍手３回はエアコン２０１の操作開始と予め定めておけば、マイク１８０が拍手の音を連続的に３回受信した際に、操作対象機器をエアコン２０１に特定したうえで遠隔操作処理を開始させることができる。
更にジェスチャーについても同様である。つまり、操作対象機器に対応づけたジェスチャー、例えば、「エアコン２０１→チョキ、照明２０３→グー、テレビ２０２→パー」のような操作対象機器とジェスチャーとを関連付ける情報を予め二次記憶装置１５０に記憶しておく。そして、操作者が、遠隔操作処理の開始のトリガとなるジェスチャー、例えば、手を振るとともに、操作対象機器に関連付けられたジェスチャーをすることで、操作対象機器を特定したうえで遠隔操作処理を開始させることができる。この例では操作者がチョキで手を振ることで、エアコン２０１を操作する遠隔操作処理を開始することができる。
また、このように操作対象機器を特定したうえで遠隔操作処理を開始させることで、操作対象選択画面を省き、操作対象機器の操作から遠隔操作処理を開始することができる。即ち、この場合の遠隔操作処理は、図４のステップＳ１０１〜Ｓ１０３が行われず、ステップＳ１０４から開始される。

また、上記実施形態では、遠隔操作処理において、操作者の手のひらの位置を特定し、特定した位置に操作対象選択画面、操作画面を投影した。しかしながら、このような位置の特定をせずに、固定された位置に向けて作対象選択画面、操作画面を投影し、操作者が当該位置の上に手のひらをかざすことでこれらの画面を投影させてもよい。このようにすることで、手のひらを特定する処理が不要となるため、ＣＰＵ１２０にかかる負荷を軽減することができる。

また、上記実施形態では、操作装置１００は、投影されている操作画面に対する手のひらの移動方向に基づいて機器２００を操作するためのコマンドを判別したが、移動量も考慮してコマンドを判別してもよい。例えば、図１０に示すように、エアコン２０１の風向を設定する操作画面に対して手のひらが右に移動した場合、風向を右に制御するコマンドだけでなく、移動量に対応した風量に制御するコマンドを判別してもよい。図１０（Ａ）では、手のひらの移動量は比較的少ないため、風向を「右」に制御するコマンドとともに風量を「小」に制御するコマンドが判別されて、エアコン２０１に送信される。一方、図１０（Ｂ）では、手のひらの移動量は比較的大きいため、風向を「右」に制御するコマンドとともに風量を「大」に制御するコマンドが判別されて、エアコン２０１に送信される。このようにすることで、より直感的な遠隔操作が期待できる。なお、図１１に示すように、移動後の手のひらに操作画面が全く投影されない程度に移動量が大きい場合は、遠隔操作処理を途中で終了させてもよい。

また、操作装置１００の機能部（図３参照）の全部又は一部が、専用のハードウェアで実現されるようにしてもよい。専用のハードウェアとは、例えば、単一回路、複合回路、プログラム化されたプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）又はこれらの組み合わせである。

また、操作装置１００により実行される遠隔操作プログラムは、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）、光磁気ディスク（Magneto-Optical Disc）、ＵＳＢ（Universal Serial Bus）メモリ、メモリカード、ＨＤＤ（Hard Disk Drive）等のコンピュータ読み取り可能な記録媒体に格納して配布することも可能である。

また、遠隔操作プログラムをインターネット上の他のサーバが有する記憶装置に格納しておき、当該サーバから操作装置１００に遠隔操作プログラムがダウンロードされるようにしてもよい

本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。つまり、本発明の範囲は、実施形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。

１００ 操作装置、２００ 機器、２０１ エアコン、２０２ テレビ、２０３ 照明、３００ 部屋、１１０ 通信インタフェース、１２０ ＣＰＵ、１３０ ＲＯＭ、１４０ ＲＡＭ、１５０ 二次記憶装置、１６０ プロジェクタ、１７０ カメラ、１８０ マイク、１９０ バス、１０１ 投影位置特定部、１０２ 投影部、１０３ 操作受付部、１０４ 操作対象特定部、１０５ コマンド判別部、１０６ コマンド送信部、

Claims (7)

1. 操作対象機器を操作するための操作画面を操作者の体の一部である投影対象に投影する投影手段と、
   前記操作者から前記操作画面に対する操作を受け付ける操作受付手段と、
   前記操作画面の内容と受け付けた操作とに基づいて、前記操作対象機器を操作するためのコマンドを判別するコマンド判別手段と、
   判別したコマンドを前記操作対象機器に送信するコマンド送信手段と、
   を備える操作装置。
2. 複数の機器のなかから前記操作対象機器を特定する操作対象特定手段をさらに備える、
   請求項１に記載の操作装置。
3. 前記操作受付手段は、前記操作画面に対する操作として、前記投影対象全体の動きを受け付け、
   前記コマンド判別手段は、受け付けた前記動きの方向に基づいて、コマンドを判別する、
   請求項１又は２に記載の操作装置。
4. 前記コマンド判別手段は、受け付けた前記動きの量に基づいて、コマンドを判別する、
   請求項３に記載の操作装置。
5. 前記投影対象の位置を特定する投影位置特定手段をさらに備える、
   請求項１から４の何れか１項に記載の操作装置。
6. 操作対象機器を操作するための操作画面を操作者の体の一部である投影対象に投影し、
   前記操作者から前記操作画面に対する操作を受け付け、
   前記操作画面の内容と受け付けた操作とに基づいて、前記操作対象機器を操作するためのコマンドを判別し、
   判別したコマンドを前記操作対象機器に送信する、操作方法。
7. コンピュータを、
   操作対象機器を操作するための操作画面を操作者の体の一部である投影対象に投影する投影手段、
   前記操作者から前記操作画面に対する操作を受け付ける操作受付手段、
   前記操作画面の内容と受け付けた操作とに基づいて、前記操作対象機器を操作するためのコマンドを判別するコマンド判別手段、
   判別したコマンドを前記操作対象機器に送信するコマンド送信手段、
   として機能させるプログラム。

Images