JP2023033109A - 表示装置、表示システム、表示制御方法、及びプログラム - Google Patents

Abstract

【課題】情報端末と表示画面を共有し、情報端末から表示画面に対する操作、又は設定を受け付ける表示装置において、リアルタイム性を確保できるようにする。【解決手段】表示装置は、情報端末から入力される映像信号に基づいて表示画面を表示する表示部と、前記映像信号から前記表示画面上の位置を示す画像の変化を取得する取得部と、前記画像の変化に基づいて、前記表示画面に対する操作を受け付ける受付部と、を有する。【選択図】図４

Description

本発明は、表示装置、表示システム、表示制御方法、及びプログラムに関する。

タッチパネル付きの大型ディスプレイを有し、ディスプレイ上に、例えば、ＰＣ（Personal Computer）の画面に表示されている表示画面等を表示して、表示画面上に文字、又は図形等を描画可能な電子黒板が知られている。

また、大会議室等の有線接続が困難な環境において、ＰＣと電子黒板とを同一のネットワーク上に置き、ＰＣと電子黒板とで遠隔画面共有を行い、電子黒板の操作を行う技術が知られている（例えば、特許文献１参照）。

しかし、特許文献１に開示された技術では、ネットワークを介して、情報処理装置（ＰＣ）と電子黒板とで画面共有を行うため、リアルタイム性を確保できないという問題がある。なお、このような課題は、電子黒板に限られず、情報処理装置と表示画面を共有し、表示画面に対する操作、又は設定を受け付ける様々な表示装置に存在する。

本発明の一実施の形態は、上記の問題点に鑑みてなされたものであって、情報端末と表示画面を共有し、情報端末から表示画面に対する操作、又は設定を受け付ける表示装置において、リアルタイム性を確保できるようにする。

上記の課題を解決するため、本発明の一実施形態に係る表示装置は、情報端末から入力される映像信号に基づいて表示画面を表示する表示部と、前記映像信号から前記表示画面上の位置を示す画像の変化を取得する取得部と、前記画像の変化に基づいて、前記表示画面に対する操作を受け付ける受付部と、を有する。

本発明の一実施形態によれば、情報端末と表示画面を共有し、情報端末から表示画面に対する操作、又は設定を受け付ける表示装置において、リアルタイム性を確保できるようになる。

一実施形態に係る表示システムのシステム構成の例を示す図である。 一実施形態に係る電子黒板のハードウェア構成の例を示す図である。 一実施形態に係るプロジェクタのハードウェア構成の例を示す図である。 一実施形態に係る電子黒板の機能構成の例を示す図である。 第１の実施形態に係る操作の受付処理の例を示すフローチャートである。 第１の実施形態に係るポインタの検出処理について説明する図である。 第１の実施形態に係る座標の変換処理について説明する図である。 第１の実施形態に係る操作の受付処理について説明する図である。 一実施形態に係るジェスチャの例について説明する図である。 第２の実施形態に係る操作の受付処理の例を示すフローチャートである。 第３の実施形態に係る操作の受付処理の例を示すフローチャートである。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

＜システム構成＞
図１は、一実施形態に係る表示システムのシステム構成の例を示す図である。表示システム１は、例えば、図１に示すように、情報端末１０と、映像信号ケーブル１１で情報端末１０と接続される電子黒板１００とを有する。

情報端末１０は、例えば、ＰＣ（Personal Computer）、又はタブレット端末等の情報処理装置である。映像信号ケーブル１１は、例えば、ＨＤＭＩ（High Definition Multimedia Interface、登録商標）、ＤｉｓｐｌａｙＰｏｒｔ、ＵＳＢ（Universal Serial Bus）Ｔｙｐｅ－Ｃ等のデジタル映像信号（有線信号）を伝送するケーブルである。また、本実施形態では、映像信号ケーブル１１は、例えば、ＶＧＡ等のアナログ映像信号（有線信号）を伝送するケーブルであっても良い。

電子黒板１００は、タッチセンサ搭載型のディスプレイであり、ＩＷＢ（Interactive White Board）とも呼ばれる。電子黒板１００は、ディスプレイに表示した画面に、例えば、ペン、又は指等で直接書き込みができるほか、ディスプレイに表示した内容をデータとして保存することができる。

電子黒板１００は、映像信号ケーブル１１で、情報端末１０と電子黒板１００とを接続し、情報端末１０から入力される映像信号に基づいて、電子黒板１００のディスプレイ１２に、情報端末１０の表示画面を含む表示画面１３を表示することができる。

操作者は、表示画面１３に書き込みを行う場合には電子黒板１００の前に立って操作を行うが、プロジェクタのように大型のディスプレイとしての用途で利用する場合には、電子黒板１００から離れたところに座っていることが多い。しかし、電子黒板１００では、例えば、ページ切替、拡大縮小、画面保存等の操作を行う場合、電子黒板１００の前に行って、表示画面上の操作ボタン１５等の操作を行うようになっている。

そのため、特許文献１に開示された技術では、情報端末と電子黒板とを、同じネットワークに接続し、情報端末にインストールされた遠隔操作用のアプリケーションを利用して、操作者が電子黒板を操作できるようにしている。しかし、この方法では、ネットワークを経由するため、例えば、動画再生時等に遅延が発生し、コマ落ちした映像が表示される、又は操作に対するレスポンスが遅い等、リアルタイム性を確保できないという問題がある。

そこで、本実施形態に係る電子黒板１００は、映像信号ケーブル１１を介して、情報端末１０から入力される映像信号に基づいて表示画面１３を表示し、表示画面１３上のポインタ１４の動きに基づいて、表示画面１３に対する操作、又は設定等を受け付ける。

これにより、電子黒板１００は、情報端末１０から入力される映像信号に基づいて、表示画面１３をリアルタイムに表示しつつ、表示画面１３に対する操作を受け付けることができる。従って、本実施形態によれば、情報端末１０と表示画面を共有し、情報端末１０から表示画面１３に対する操作、又は設定を受け付ける表示装置（電子黒板１００等）において、リアルタイム性を確保できるようになる。

なお、電子黒板１００は、本実施形態に係る表示装置の一例である。電子黒板１００は、例えば、電子ホワイトボード、電子情報ボード等と呼ばれても良い。また、本実施形態は、様々な情報処理装置に好適に適用できる。情報処理装置は、例えば、デジタルサイネージ等の出力装置、産業用機械、ゲーム機等であっても良い。

本実施形態では、操作者は、電子黒板１００が備えるタッチセンサを利用せずに、電子黒板１００を操作することができる。従って、本実施形態に係る表示装置は、タッチセンサを有していないディスプレイ、又はプロジェクタ等、コンピュータの構成を備える様々な表示装置であって良い。

＜ハードウェア構成＞
次に、本実施形態に係る表示装置のハードウェア構成について説明する。

（電子黒板のハードウェア構成）
図２は、一実施形態に係る電子黒板のハードウェア構成の例を示す図である。図２に示されているように、電子黒板１００は、ＣＰＵ（Central Processing Unit)１０１、ＲＯＭ（Read Only Memory)１０２、ＲＡＭ（Random Access Memory)１０３、ＳＳＤ（Solid State Drive)１０４、ネットワークＩ／Ｆ（Interface)１０５、及び、外部機器接続Ｉ／Ｆ１０６等を備えている。

これらのうち、ＣＰＵ１０１は、電子黒板１００全体の動作を制御する演算装置である。ＲＯＭ１０２は、ＣＰＵ１０１やＩＰＬ（Initial Program Loader）等のＣＰＵ１０１の起動に用いられるプログラムを記憶する不揮発性のメモリである。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリアとして使用される揮発性のメモリである。ＳＳＤ１０４は、電子黒板１００用のプログラム等の各種データを記憶する大容量で不揮発性の記憶装置である。

ネットワークＩ／Ｆ１０５は、電子黒板１００を通信ネットワークに接続し、通信を行うための通信インタフェースである。外部機器接続Ｉ／Ｆ１０６は、各種の外部機器を接続するためのインタフェースである。

また、電子黒板１００は、キャプチャデバイス１１１、ＧＰＵ(Graphics Processing Unit)１１２、ディスプレイコントローラ１１３、接触センサ１１４、センサコントローラ１１５、電子ペンコントローラ１１６、近距離通信回路１１９、及び近距離通信回路１１９のアンテナ１１９ａ、電源スイッチ１１７及び選択スイッチ類１１８等を備えている。

これらのうち、キャプチャデバイス１１１は、外付けの情報端末１０のディスプレイ等に表示されている表示画面等を、静止画、又は動画としてキャプチャ（取得）する。ＧＰＵ１１２は、グラフィクスを専門に扱う半導体チップ（プロセッサ）である。ディスプレイコントローラ１１３は、ＧＰＵ１１２からの出力画像をディスプレイ１２等へ出力するために画面表示の制御及び管理を行う。接触センサ１１４は、ディスプレイ１２上に電子ペン１３０やユーザの手Ｈ等が接触したことを検知する。センサコントローラ１１５は、接触センサ１１４の処理を制御する。

接触センサ１１４は、例えば、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ１２の上側両端部に設置された２つ受発光装置が、ディスプレイ１２に平行して複数の赤外線を放射し、ディスプレイ１２の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ１１４は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤをセンサコントローラ１１５に出力し、センサコントローラ１１５が、物体の接触位置である座標位置を特定する。電子ペンコントローラ１１６は、電子ペン１３０と通信することで、ディスプレイ１２へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路１１９は、アンテナ１１９ａを介して、他の機器と近距離無線通信を行う通信回路である。

電源スイッチ１１７は、電子黒板１００の電源のオン／オフを切り換えるためのスイッチである。選択スイッチ類１１８は、例えば、ディスプレイ１２の表示の明暗や色合い等を調整するためのスイッチ群である。

さらに、電子黒板１００は、バスライン１２０を備えている。バスライン１２０は、図２に示されているＣＰＵ１０１等の各構成要素を電気的に接続するためのアドレスバス、データバス、及び各種の制御信号等を含む。

なお、接触センサ１１４は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル等を用いても良い。また、接触センサ１１４は、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネル等の種々の検出手段を用いても良い。さらに、電子ペンコントローラ１１６が、電子ペン１３０のペン先及びペン尻だけでなく、電子ペン１３０のユーザが握る部分や、その他の電子ペンの部分におけるタッチの有無を判断するようにしても良い。

（プロジェクタのハードウェア構成）
図３は、一実施形態に係るプロジェクタのハードウェア構成の例を示す図である。なお、プロジェクタは、タッチセンサを有していない表示装置の一例である。図３に示すように、プロジェクタ３００は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、メディアＩ／Ｆ３０５、操作部３０６、電源スイッチ３０７、ネットワークＩ／Ｆ３０８、音出力Ｉ／Ｆ３０９、キャプチャデバイス３１０、ファン駆動回路３１１、冷却ファン３１２、ＬＥＤ（Light Emitting Diode）駆動回路３１３、ＬＥＤ光源３１４、投写デバイス３１５、投写レンズ３１６、スピーカ３１７、及びバスライン３１８等を備えている。

これらのうち、ＣＰＵ３０１は、プロジェクタ３００全体の動作を制御する。ＲＯＭ３０２は、ＣＰＵ３０１の駆動に用いられるプログラムを記憶する。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される。メディアＩ／Ｆ３０５は、外部記憶装置であるメディア３０４に対するデータの読み出し又は書き込み（記憶）を制御する。

操作部３０６は、種々のキー、ボタン及びＬＥＤ等が配設されており、ユーザによるプロジェクタ３００の電源のオン、及びオフ以外の各種操作を行うのに使用される。操作部３０６は、例えば、投写画像の大きさの調整操作、色調の調整操作、ピント調整操作、又はキーストン調整操作等の指示操作を受け付けて、受け付けた操作内容をＣＰＵ３０１に出力する。電源スイッチ３０７は、プロジェクタ３００の電源のオン、及びオフ操作を受け付けるスイッチである。

ネットワークＩ／Ｆ３０８は、例えば、無線ＬＡＮ、又は有線ＬＡＮ等のプロジェクタ３００をネットワークに接続するためのインタフェースである。音出力Ｉ／Ｆ３０９は、ＣＰＵ３０１からの制御に従って、スピーカ３１７から音を出力するための回路である。キャプチャデバイス３１０は、外付けの情報端末１０のディスプレイ等に表示されている表示画面等を、静止画、又は動画としてキャプチャ（取得）する。

ファン駆動回路３１１は、ＣＰＵ３０１及び冷却ファン３１２に接続されており、ＣＰＵ３０１からの制御信号に基づいて、冷却ファン３１２の駆動、及び駆動停止を行う。冷却ファン３１２は、回転することで、プロジェクタ３００内部の空気を排気して、プロジェクタ３００内部を冷却する。

ＬＥＤ駆動回路３１３は、ＣＰＵ３０１の制御下で、ＬＥＤ光源３１４等の点灯及び消灯を制御する。ＬＥＤ光源３１４は、ＬＥＤ駆動回路３１３の制御によって点灯されると、投写光を投写デバイス３１５に照射する。投写デバイス３１５は、表示対象となる画像データに基づいて、空間光変調方式によりＬＥＤ光源３１４からの投写光を変調して得た変調光を、投写レンズ３１６を通して、スクリーンの投写面へ画像として投写する。投写デバイス３１５としては、例えば、液晶パネルまたはＤＭＤ（Digital Micromirror Device）等が用いられている。上記ＬＥＤ駆動回路３１３、ＬＥＤ光源３１４、投写デバイス３１５及び投写レンズ３１６は、全体として、画像データに基づいて投写面に投写画像を投写する投写部（投写手段）として機能する。

バスライン３１８は、図３において、バスライン３１８に接続されている各構成要素を電気的に接続するためのアドレスバス、データバス、及び各種の制御信号等を含む。

上記の構成において、ＣＰＵ３０１は、電源電力が供給されると、ＲＯＭ３０２に予め記憶されている制御プログラムに従って起動し、ＬＥＤ駆動回路３１３に制御信号を与えてＬＥＤ光源３１４を点灯させる。また、ＣＰＵ３０１は、ファン駆動回路３１１に制御信号を与えて冷却ファン３１２を所定の定格回転数で回転させる。さらに、プロジェクタ３００は、電源電力の供給が開始されると、投写デバイス３１５が画像表示可能状態になり、更に、他の種々の構成要素へ電源電力が供給される。

また、プロジェクタ３００は、電源スイッチ３０７がオフ操作されると、電源スイッチ３０７から電源オフ信号がＣＰＵ３０１に送られ、ＣＰＵ３０１は、電源オフ信号を検知すると、ＬＥＤ駆動回路３１３へ制御信号を与えてＬＥＤ光源３１４を消灯させる。ＣＰＵ３０１は、その後、所定時間が経過すると、ファン駆動回路３１１へ制御信号を与えて冷却ファン３１２を停止させるとともに、自身で自身の制御処理を終了させ、最後に電源回路へ指示を与えて電源電力の供給を停止させる。

＜機能構成＞
（電子黒板の機能構成）
図４は、一実施形態に係る電子黒板の機能構成の例を示す図である。電子黒板（表示装置の一例）１００は、例えば、ＳＳＤ１０４等の記憶媒体に記憶したプログラムをＣＰＵ１０１が実行することにより、入力部４０１、表示部４０２、取得部４０３、検出部４０４、変換部４０５、受付部４０６、及び記憶部４０７等を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであっても良い。

入力部４０１は、情報端末１０から映像信号の入力を受け付ける入力処理を実行する。例えば、入力部４０１は、キャプチャデバイス１１１を用いて、情報端末１０から入力される映像信号をキャプチャする。

表示部４０２は、情報端末１０から入力部４０１に入力された映像信号に基づいて表示画面を表示する表示処理を実行する。例えば、表示部４０２は、図１に示すように、電子黒板１００のディスプレイ１２に、情報端末１０が表示している画面、及び操作ボタン１５等を表示する表示画面１３を表示する。なお、操作ボタン１５は、表示画面１３又は電子黒板１００に対する操作を受け付ける表示要素の一例である。

取得部４０３は、入力部４０１に入力された映像信号に基づいて、表示画面１３上の画像の変化を取得する。例えば、取得部４０３は、表示画面１３上の位置を示す、情報端末１０のマウスポインタ等のポインタ１４の軌跡を取得する。なお、ポインタの軌跡は、表示画面１３上の位置を示す画像の変化の一例である。

検出部４０４は、取得部４０３が取得したポインタ１４の軌跡から、所定のジェスチャを検出する検出処理を実行する。例えば、検出部４０４は、ポインタ１４の軌跡によって、「選択」、「取り消し」、又は「戻る」などの操作を表す、予め定められた所定のジェスチャを検出する。

変換部４０５は、検出部４０４が検出したジェスチャの軌跡の座標を、電子黒板１００上の座標に変換する変換処理を実行する。なお、検出部４０４、又は変換部４０５等は、受付部４０６に含まれていても良い。

受付部４０６は、取得部４０３が取得したポインタの軌跡に基づいて、表示画面１３に対する操作を受け付ける受付処理を実行する。一例として、受付部４０６は、検出部４０４が検出したジェスチャが「選択」操作を表す場合、変換部４０５が電子黒板１００上の座標に変換したジェスチャの軌跡の座標から、選択された操作ボタン１５を特定し、特定した操作ボタン１５の選択操作を受け付ける。

別の一例として、受付部４０６は、検出部４０４が検出したジェスチャが「取り消し」操作を示す場合、直前の操作を取り消す取り消し操作を受け付ける。この場合、変換部４０５は、ジェスチャの軌跡の座標を電子黒板１００上の座標に変換する変換処理を実行しなくても良い（しても良い）。

記憶部４０７は、例えば、ＣＰＵ１０１が実行するプログラムと、ＲＡＭ１０３、又はＳＳＤ１０４等のメモリによって実現され、例えば、ポインタの座標データ、又は所定のジェスチャの情報等の様々なデータ又は情報を記憶する。

（プロジェクタの機能構成）
プロジェクタ３００は、例えば、ＲＯＭ３０２、又はメディア３０４等の記憶媒体に記憶したプログラムをＣＰＵ３０１が実行することにより、図４に示した電子黒板１００の機能構成と同様の機能構成を実現する。プロジェクタ３００の各機能構成は、電子黒板１００の各機能構成と同様なので、ここでは説明を省略する。

＜処理の流れ＞
続いて、第１の実施形態に係る表示制御方法の処理の流れについて説明する。

（操作の受付処理）
図５は、第１の実施形態に係る操作の受付処理の例を示すフローチャートである。この処理は、例えば、図１に示す表示システム１において、情報端末１０を操作する操作者が、マウスポインタ等を用いて、電子黒板１００の表示画面１３上に表示された操作ボタン１５に対して行った操作を、電子黒板１００が受付する受付処理の一例を示している。

ステップＳ５０１において、電子黒板１００の取得部４０３は、入力部４０１に入力された映像信号から、表示画面１３上の位置を示すポインタ１４を検出する。例えば、取得部４０３は、図６に示すように、フレーム１と、フレーム１の次のフレームであるフレーム２との間で、フレーム間の輝度差分を算出し、閾値により２値化する。これにより、例えば、図６のフレーム間差分６００に示すように、ポインタ１４の移動前の座標６０１と移動後の座標６０２とを取得することができる。なお、ポインタ１４の検出方法は、これに限られず、任意の検出方法であって良い。

ステップＳ５０２において、ポインタ１４を検出できた場合、取得部４０３は、処理をステップＳ５０３に移行させる。一方、ポインタ１４を検出できない場合、取得部４０３は、処理をステップＳ５０１に戻す。

ステップＳ５０３に移行すると、取得部４０３は、検出したポインタ１４の軌跡を取得する。例えば、取得部４０３は、検出したポインタ１４の座標を取得し、取得した座標を所定の期間、記憶部４０７に順次に記憶することにより、ポインタ１４の座標の軌跡を取得する。

ステップＳ５０４において、電子黒板１００の検出部４０４は、取得部４０３が取得したポインタ１４の軌跡から所定のジェスチャを検出する。一例として、検出部４０４は、予め定められた複数のジェスチャの軌跡情報を記憶部４０７に記憶しておき、記憶した軌跡情報と、取得部４０３が取得したポインタ１４の軌跡との差分を取り、全画素値の和が最も少ないジェスチャを検出しても良い。また、別の一例として、検出部４０４は、機械学習により、ユーザのジェスチャ動作を事前に学習させておき、取得部４０３が取得したポインタ１４の軌跡を読み込ませることによりジェスチャを検出しても良い。

或いは、検出部４０４は、予め定められた複数のジェスチャから抽出した特徴量を記憶部４０７に予め記憶しておき、取得部４０３が取得したポインタ１４の軌跡から抽出した特徴量との類似度を算出し、類似度が閾値以上となるジェスチャを検出しても良い。

ステップＳ５０５において、所定のジェスチャを検出できた場合、検出部４０４は、処理をステップＳ５０６に移行させる。一方、所定のジェスチャを検出できない場合、検出部４０４は、処理をステップＳ５０１に戻す。

ステップＳ５０６に移行すると、電子黒板１００の変換部４０５は、検出部４０４が検出したジェスチャの軌跡の座標を、電子黒板１００上の座標に変換する。例えば、図７（Ａ）、（Ｂ）に示すように、情報端末１０の座標空間と、電子黒板１００の座標空間とが異なる場合、変換部４０５は、情報端末１０の座標空間上のポインタ１４の軌跡を、電子黒板１００の座標空間上の軌跡に変換する。このとき、変換部４０５は、ポインタ１４の軌跡の全てを変換しても良いし、既にジェスチャが確定しているため、ジェスチャの中心座標等を変換しても良い。

ステップＳ５０７において、電子黒板１００の受付部４０６は、変換部４０５が変換したジェスチャの位置に対応する操作ボタン１５を検出する。例えば、表示部４０２が、図８に示すように、表示画面１３上に複数の操作ボタン１５ａ～ｅを表示しており、操作ボタン１５ａの周囲に、変換したジェスチャ８０１があるものとする。この場合、受付部４０６は、ジェスチャ８０１に対応する（ジェスチャ８０１で囲まれた）操作ボタン１５ａを検出する。或いは、受付部４０６は、ジェスチャ８０１の中心座標から、所定の距離以内にある操作ボタン１５ａを、ジェスチャ８０１に対応する操作ボタン１５として検出しても良い。

ステップＳ５０８において、操作ボタンを検出できた場合、受付部４０６は、処理をステップＳ５０９に移行させる。一方、操作ボタンを検出できない場合、受付部４０６は、処理をステップＳ５０１に戻す。

ステップＳ５０９に移行すると、検出した操作ボタン１５、及びジェスチャに対応する操作を受け付ける。図９は、一実施形態に係るジェスチャの例について説明する図である。一例として、受付部４０６は、検出した操作ボタン１５を、図９のジェスチャＡ９０１のような丸で囲うジェスチャを、操作ボタン１５を選択する選択操作として受付しても良い。

別の一例として、受付部４０６は、検出した操作ボタン１５を、図９のジェスチャＢ９０２のようにチェックするジェスチャを、検出した操作ボタン１５を選択する選択操作として受付しても良い。或いは、受付部４０６は、検出した操作ボタン上で、図９のジェスチャＢ９０２のようにチェックするジェスチャを、操作ボタン１５の選択を解除する解除操作として受付しても良い。

別の一例として、受付部４０６は、検出した操作ボタン１５上で、図９のジェスチャＣ９０３のように、所定の回数以上、ポインタ１４を左右に動かすジェスチャを、操作ボタン１５の選択を取り消す取消操作として受付しても良い。なお、上述した各操作は一例であり、受付部４０６が受け付けるジェスチャは任意のジェスチャであって良い。

図５に示す操作の受付処理により、電子黒板１００は、情報端末１０から入力される映像信号に基づいて表示画面１３を表示しつつ、表示画面１３上のポインタ１４の動きに基づいて、表示画面１３に対する操作を受け付けることができる。

なお、電子黒板１００の表示部４０２は、例えば、ページ切替、拡大縮小、画面保存等の表示画面１３に対する操作又は設定を受け付ける操作ボタン１５を表示し、受付部４０６は、操作者による表示画面１３に対する操作を受け付けても良い。また、電子黒板１００の表示部４０２は、例えば、輝度、コントラスト、アスペクト、音量、省電力機能等の電子黒板１００に対する操作又は設定を受け付ける操作ボタン１５を表示し、受付部４０６は、操作者による電子黒板１００に対する操作を受け付けても良い。

また、図５では、表示装置が電子黒板１００であるものとして説明を行ったが、図５の処理は、タッチセンサを用いないので、例えば、プロジェクタ３００等のタッチセンサを有していない表示装置にも、同様の処理を適用することができる。

［第２の実施形態］
第１の実施形態では、電子黒板１００の受付部４０６は、操作ボタン１５、及びジェスチャに対応する操作を受付していたが、これに限られず、受付部４０６は、操作ボタン１５に依存しないジェスチャに対応する操作を、さらに受付しても良い。

一例として、受付部４０６は、表示画面１３上の任意のエリアで、図９のジェスチャＣ９０３のように、所定の回数以上、ポインタ１４を左右に動かすジェスチャを、直前の操作を取り消しする取消操作として受付しても良い。別の一例として、受付部４０６は、任意のエリアで、図９のジェスチャＤのように「Ｚ」の形を描くジェスチャを、直前の画面、又は操作前の状態に戻る操作として受付しても良い。

＜処理の流れ＞
図１０は、第２の実施形態に係る操作の受付処理の例を示すフローチャートである。この処理は、図１に示す表示システム１において、情報端末１０を操作する操作者が、マウスポインタ等を用いて、電子黒板１００の表示画面１３上に表示された操作ボタン１５に対して行った操作を、電子黒板１００が受付する受付処理の別の一例を示している。

なお、図１０に示す処理のうち、ステップＳ５０１～Ｓ５０４、及びＳ５０６～Ｓ５０９の処理は、図５で説明した第１の実施形態に係る操作の受付処理と同様なので、ここでは説明を省略する。また、第２の実施形態に係る電子黒板１００の機能構成は、図４に示した第１の実施形態に係る電子黒板１００の機能構成と同様で良い。

図１０のステップＳ５０５において、所定のジェスチャを検出できた場合、電子黒板１００の検出部４０４は、処理をステップＳ１００１に移行させる。

ステップＳ１００１に移行すると、電子黒板１００の受付部４０６は、検出部４０４が検出したジェスチャが、操作ボタン１５に依存するジェスチャであるか否かを判断する。例えば、受付部４０６は、所定のジェスチャを、操作ボタン１５に依存するジェスチャと、操作ボタン１５に依存しないジェスチャとに分けて、記憶部４０７に記憶しておくことにより、検出したジェスチャが操作ボタン１５に依存するか否かを判断することができる。

検出したジェスチャが、操作ボタン１５に依存するジェスチャである場合、受付部４０６は、処理をステップＳ５０６に移行させる。一方、検出したジェスチャが、操作ボタン１５に依存しないジェスチャである場合、受付部４０６は、処理をステップＳ１００２に移行させる。

ステップＳ１００２に移行すると、受付部４０６は、検出したジェスチャに対応する操作を受け付ける。一例として、受付部４０６は、表示画面１３上の任意のエリアで、図９のジェスチャＣ９０３のように、所定の回数以上、ポインタ１４を左右に動かすジェスチャを、直前の操作を取り消しする取消操作として受付しても良い。

別の一例として、受付部４０６は、任意のエリアで、図９のジェスチャＤのように「Ｚ」の形を描くジェスチャを、直前の画面、又は操作前の状態に戻る操作として受付しても良い。なお、上述した各ジェスチャは一例であり、受付部４０６が受け付けるジェスチャは任意のジェスチャであって良い。

図１０に示した操作の受付処理により、電子黒板１００は、情報端末１０から入力される映像信号に基づいて表示画面１３を表示し、表示画面１３上のポインタ１４の動きに基づいて、表示画面１３に対する操作を受け付けることができる。

なお、図１０では、表示装置が電子黒板１００であるものとして説明を行ったが、図１０の処理は、タッチセンサを用いないので、例えば、プロジェクタ３００等のタッチセンサを有していない表示装置にも、同様の処理を適用することができる。

［第３の実施形態］
第２の実施形態では、電子黒板１００の受付部４０６は、操作ボタン１５に依存するジェスチャ、及び操作ボタン１５に依存しないジェスチャに対応する操作を受け付けていたが、受付部４０６は、操作ボタン１５に依存しないジェスチャのみを受け付けても良い。

＜機能構成＞
第３の実施形態に係る電子黒板１００は、一例として、図４で説明した第１の実施形態に係る電子黒板１００の機能構成を有している。別の一例として、第３の実施形態に係る電子黒板１００は、図４で説明した第１の実施形態に係る電子黒板１００の機能構成から、検出部４０４、及び変換部４０５を省略した機能構成を有していても良い。

＜処理の流れ＞
図１１は、第３の実施形態に係る操作の受付処理の例を示すフローチャートである。この処理は、図１に示す表示システム１において、情報端末１０を操作する操作者が、マウスポインタ等を用いて、電子黒板１００の表示画面１３上に表示された操作ボタン１５に対して行った操作を、電子黒板１００が受付する受付処理の別の一例を示している。なお、図１１に示す処理のうち、ステップＳ５０１～Ｓ５０４の処理は、図５で説明した第１の実施形態に係る操作の受付処理と同様なので、ここでは説明を省略する。

図１１のステップＳ５０５において、所定のジェスチャを検出できた場合、電子黒板１００の検出部４０４は、処理をステップＳ１１０１に移行させる。

ステップＳ１１０１に移行すると、受付部４０６は、検出したジェスチャに対応する操作を受け付ける。一例として、受付部４０６は、表示画面１３上の任意のエリアで、図９のジェスチャＣ９０３のように、所定の回数以上、ポインタ１４を左右に動かすジェスチャを、直前の操作を取り消しする取消操作として受付しても良い。

別の一例として、受付部４０６は、任意のエリアで、図９のジェスチャＤのように「Ｚ」の形を描くジェスチャを、直前の画面、又は操作前の状態に戻る操作として受付しても良い。なお、上記のジェスチャは一例であり、受付部４０６が受け付けるジェスチャは任意のジェスチャであって良い。

図１１に示した操作の受付処理により、電子黒板１００は、情報端末１０から入力される映像信号に基づいて表示画面１３を表示し、表示画面１３上のポインタ１４の動きに基づいて、表示画面１３に対する操作を受け付けることができる。

なお、図１１では、表示装置が電子黒板１００であるものとして説明を行ったが、図１１の処理は、タッチセンサを用いないので、例えば、プロジェクタ３００等のタッチセンサを有していない表示装置にも、同様の処理を適用することができる。

以上、本発明の各実施形態に係る表示装置は、情報端末１０から入力される映像信号に基づいて、表示画面１３をリアルタイムに表示しつつ、表示画面１３に対する操作、又は設定等を受け付けることができる。従って、本実施形態によれば、情報端末１０と表示画面を共有し、情報端末１０から表示画面１３に対する操作を受け付ける表示装置（電子黒板１００、又はプロジェクタ３００等）において、リアルタイム性を確保できるようになる。

＜補足＞
上記で説明した各実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（digital signal processor）、ＦＰＧＡ（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

＜付記＞
本明細書には、下記の各項の通信装置、通信方法、及びプログラムが開示されている。
（第１項）
情報端末から入力される映像信号に基づいて表示画面を表示する表示部と、
前記映像信号から前記表示画面上の位置を示す画像の変化を取得する取得部と、
前記画像の変化に基づいて、前記表示画面に対する操作を受け付ける受付部と、
を有する、表示装置。
（第２項）
前記表示部は、前記表示画面上に、前記表示画面に対する操作、又は設定を受け付ける表示要素を表示する、第１項に記載の表示装置。
（第３項）
前記表示部は、前記表示画面上に、前記表示装置に対する操作、又は設定を受け付ける表示要素を表示する、第１項に記載の表示装置。
（第４項）
前記受付部は、前記表示要素の位置に対応する前記画像の変化に応じて、前記表示要素に対する操作を受け付ける、第２項又は第３項に記載の表示装置。
（第５項）
前記受付部は、前記画像の変化が、予め定められたジェスチャを示す場合、前記ジェスチャに対応する操作を受け付ける、第１項～第４項のいずれかに記載の表示装置。
（第６項）
前記ジェスチャは、選択、取り消し、及び戻る、のうち１つ以上の操作に対応するジェスチャを含む、第５項に記載の表示装置。
（第７項）
前記映像信号は、デジタル、又はアナログの有線信号である、第１項～第４項のいずれかに記載の表示装置。
（第８項）
前記画像の変化は、前記表示画面上の位置を示すポインタの軌跡を含む、第１項～第７のいずれかに記載の表示装置。
（第９項）
情報端末から入力される映像信号に基づいて表示画面を表示する表示部と、
前記映像信号から前記表示画面上の位置を示す画像の変化を取得する取得部と、
前記画像の変化に基づいて、前記表示画面に対する操作を受け付ける受付部と、
を有する、表示システム。
（第１０項）
情報端末から入力される映像信号に基づいて表示画面を表示する処理と、
前記映像信号から前記表示画面上の位置を示す画像の変化を取得する処理と、
前記画像の変化に基づいて、前記表示画面に対する操作を受け付ける処理と、
をコンピュータが実行する、表示制御方法。
（第１１項）
第１０項に記載の表示制御方法をコンピュータに実行させる、プログラム。
（第１２項）
情報端末から入力される映像信号に基づいて表示画面を表示する表示部と、
前記映像信号から前記表示画面上の位置を示すポインタの軌跡を取得する取得部と、
前記ポインタの軌跡に基づいて、前記表示画面に対する操作を受け付ける受付部と、
を有する、表示装置。
（第１３項）
前記表示部は、前記表示画面上に、前記表示画面に対する操作、又は設定を受け付ける表示要素を表示する、第１２項に記載の表示装置。
（第１４項）
前記表示部は、前記表示画面上に、前記表示装置に対する操作、又は設定を受け付ける表示要素を表示する、第１２項に記載の表示装置。
（第１５項）
前記受付部は、前記表示要素の位置に対応する前記ポインタの軌跡に応じて、前記表示要素に対する操作を受け付ける、第１３項又は第１４項に記載の表示装置。
（第１６項）
前記受付部は、前記ポインタの軌跡が、予め定められたジェスチャを示す場合、前記ジェスチャに対応する操作を受け付ける、第１２項～第１５項のいずれかに記載の表示装置。
（第１７項）
前記ジェスチャは、選択、取り消し、及び戻る、のうち１つ以上の操作に対応するジェスチャを含む、第１６項に記載の表示装置。
（第１８項）
前記映像信号は、デジタル、又はアナログの有線信号である、第１２項～第１５項のいずれかに記載の表示装置。
（第１９項）
情報端末から入力される映像信号に基づいて表示画面を表示する表示部と、
前記映像信号から前記表示画面上の位置を示すポインタの軌跡を取得する取得部と、
前記ポインタの軌跡に基づいて、前記表示画面に対する操作を受け付ける受付部と、
を有する、表示システム。
（第２０項）
情報端末から入力される映像信号に基づいて表示画面を表示する処理と、
前記映像信号から前記表示画面上の位置を示すポインタの軌跡を取得する処理と、
前記ポインタの軌跡に基づいて、前記表示画面に対する操作を受け付ける処理と、
をコンピュータが実行する、表示制御方法。
（第２１項）
第２０項に記載の表示制御方法をコンピュータに実行させる、プログラム。

以上、本発明の実施形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、様々な変形、及び応用が可能である。

１ 表示システム
１０ 情報端末
１３ 表示画面
１５ 操作ボタン（表示要素の一例）
１００ 電子黒板（表示装置の一例）
３００ プロジェクタ（表示装置の一例）
４０２ 表示部
４０３ 取得部
４０６ 受付部
９０１ ジェスチャＡ
９０２ ジェスチャＢ
９０３ ジェスチャＣ
９０４ ジェスチャＤ

特開２０１５－７０３４５号公報

Claims (11)

1. 情報端末から入力される映像信号に基づいて表示画面を表示する表示部と、
   前記映像信号から前記表示画面上の位置を示す画像の変化を取得する取得部と、
   前記画像の変化に基づいて、前記表示画面に対する操作を受け付ける受付部と、
   を有する、表示装置。
2. 前記表示部は、前記表示画面上に、前記表示画面に対する操作、又は設定を受け付ける表示要素を表示する、請求項１に記載の表示装置。
3. 前記表示部は、前記表示画面上に、前記表示装置に対する操作、又は設定を受け付ける表示要素を表示する、請求項１に記載の表示装置。
4. 前記受付部は、前記表示要素の位置に対応する前記画像の変化に応じて、前記表示要素に対する操作を受け付ける、請求項２又は３に記載の表示装置。
5. 前記受付部は、前記画像の変化が、予め定められたジェスチャを示す場合、前記ジェスチャに対応する操作を受け付ける、請求項１乃至３のいずれか一項に記載の表示装置。
6. 前記ジェスチャは、選択、取り消し、及び戻る、のうち１つ以上の操作に対応するジェスチャを含む、請求項５に記載の表示装置。
7. 前記映像信号は、デジタル、又はアナログの有線信号である、請求項１乃至３のいずれか一項に記載の表示装置。
8. 前記画像の変化は、前記表示画面上の位置を示すポインタの軌跡を含む、請求項１乃至３のいずれか一項に記載の表示装置。
9. 情報端末から入力される映像信号に基づいて表示画面を表示する表示部と、
   前記映像信号から前記表示画面上の位置を示す画像の変化を取得する取得部と、
   前記画像の変化に基づいて、前記表示画面に対する操作を受け付ける受付部と、
   を有する、表示システム。
10. 情報端末から入力される映像信号に基づいて表示画面を表示する処理と、
    前記映像信号から前記表示画面上の位置を示す画像の変化を取得する処理と、
    前記画像の変化に基づいて、前記表示画面に対する操作を受け付ける処理と、
    をコンピュータが実行する、表示制御方法。
11. 請求項１０に記載の表示制御方法をコンピュータに実行させる、プログラム。

Images