JP5739015B2 - 通信装置、通信方法及びプログラム - Google Patents

Description

本発明の実施形態は、通信装置、通信方法及びプログラムに関する。

従来、テレビジョン受信機器、レコーダー、タブレット端末などの電子機器間においては、映像情報、音声情報、又はそれらを組み合わせた情報を有するコンテンツファイル（以下、コンテンツ）の送受信を行うコンテンツ送信装置（以下、ソース機器）又はコンテンツ受信装置（以下、シンク機器）等の通信装置がある。この通信装置では、ソース機器からシンク機器へ無線ＬＡＮ（Local Area Network）等の無線回線を介したコンテンツの伝送を行って、シンク機器でのコンテンツの再生が行われている。また、再生するコンテンツが著作権保護の対象となるコンテンツの場合は、ＨＤＣＰ（High-bandwidth Digital Content Protection）やＤＴＣＰ−ＩＰ（Digital Transmission Content Protection over Internet Protocol）などの著作権保護方式でのコンテンツの伝送が行われている。

特許第４３７７４３８号公報

ところで、ソース機器からシンク機器へコンテンツの伝送を行って、シンク機器でのコンテンツの再生を行なっている際に、ソース機器でユーザの操作を受け付けて情報を確認する場合がある。例えば、ソース機器がタブレット型の情報端末である場合には、シンク機器で再生されるコンテンツを視聴しながら、手元の情報端末のタッチパネルを操作して各種情報を確認することがある。しかしながら、上述した従来技術では、シンク機器側ではコンテンツの再生しか行われないことから、操作に対応した各種情報を確認するためにソース機器の表示も確認しなければならず、不便であった。

本発明は、上記に鑑みてなされたものであって、ソース機器からシンク機器にコンテンツを伝送してシンク機器でコンテンツの再生を行なっている際にユーザの操作が行われる場合の利便性を向上させることを可能とする通信装置、通信方法及びプログラムを提供することを目的の一つとする。

上述した課題を解決し、目的を達成するために、実施形態の通信装置は、ＧＵＩが配置された画像を出力する画像出力部と、前記画像出力部が出力した画像を表示する表示部と、前記画像出力部が出力した画像を符号化する符号化部と、符号化された画像を相手装置に伝送する伝送部と、前記表示部に対するユーザのタッチ操作を受け付けるタッチパネルと、前記表示部に前記画像を表示させつつ前記画像を前記相手機器に伝送させ、前記タッチパネルが第１の操作を受けた場合、当該第１の操作の位置に表示されている前記ＧＵＩを選択する第１のモードと、前記表示部に前記画像を表示させない一方で前記伝送部に前記画像を前記相手機器に伝送させ、前記タッチパネルが第２のタッチ操作を受けた場合、該第２のタッチ操作の前に前記タッチパネルに対して行われた操作の終了時に、当該終了時の操作に対応する座標として、前記表示部が表示している表示画面上に表示されていたポインタが示した第１の位置情報と、前記第２のタッチ操作としてユーザが前記タッチパネル上で行ったなぞる操作に対応して、表示画面上に表示されていたポインタが示した座標であって、なぞり方向に従った経時的な遷移で検出された座標のうち、いずれか一つ以上である第２の位置情報と、に基づいて、前記画像に配置されたＧＵＩを選択する第２のモードとを切り替えて実行するモード制御部と、を備える。

また、実施形態の通信方法は、通信装置の通信方法であって、画像出力部が、ＧＵＩが配置された画像を出力する画像出力ステップと、表示部が、前記画像出力ステップが出力した画像を表示する表示ステップと、符号化部が、前記画像出力ステップが出力した画像を符号化する符号化ステップと、伝送部が、符号化された画像を相手装置に伝送する伝送ステップと、タッチパネルが、前記表示部に対するユーザのタッチ操作を受け付ける受付ステップと、モード制御部が、前記表示部に前記画像を表示させつつ前記画像を前記相手機器に伝送させ、前記タッチパネルが第１の操作を受けた場合、当該第１の操作の位置に表示されている前記ＧＵＩを選択する第１のモードと、前記表示部に前記画像を表示させない一方で前記伝送部に前記画像を前記相手機器に伝送させ、前記タッチパネルが第２のタッチ操作を受けた場合、該第２のタッチ操作の前に前記タッチパネルに対して行われた操作の終了時に、当該終了時の操作に対応する座標として、前記表示部が表示している表示画面上に表示されていたポインタが示した第１の位置情報と、前記第２のタッチ操作としてユーザが前記タッチパネル上で行ったなぞる操作に対応して、表示画面上に表示されていたポインタが示した座標であって、なぞり方向に従った経時的な遷移で検出された座標のうち、いずれか一つ以上である第２の位置情報と、に基づいて、前記画像に配置されたＧＵＩを選択する第２のモードとを切り替えて実行するモード制御ステップと、を含む。

また、実施形態のプログラムは、伝送路を介して接続された相手装置と通信する通信部と、表示部と、ユーザの操作を受け付けるタッチパネルとを有する通信装置のコンピュータに対して、ＧＵＩが配置された画像を出力する画像出力ステップと、前記画像出力ステップが出力した画像を前記表示部に表示する表示ステップと、前記画像出力ステップが出力した画像を符号化する符号化ステップと、前記通信部から、符号化された画像を前記伝送部から相手装置に伝送する伝送ステップと、前記表示部に対するユーザのタッチ操作を、前記タッチパネルから受け付ける受付ステップと、前記表示部に前記画像を表示させつつ前記画像を前記相手機器に伝送させ、前記タッチパネルから第１の操作を受けた場合、当該第１の操作の位置に表示されている前記ＧＵＩを選択する第１のモードと、前記表示部に前記画像を表示させない一方で前記伝送ステップにより前記画像を前記相手機器に伝送させ、前記タッチパネルが第２のタッチ操作を受けた場合、該第２のタッチ操作の前に前記タッチパネルに対して行われた操作の終了時に、当該終了時の操作に対応する座標として、前記表示部が表示している表示画面上に表示されていたポインタが示した第１の位置情報と、前記第２のタッチ操作としてユーザが前記タッチパネル上で行ったなぞる操作に対応して、表示画面上に表示されていたポインタが示した座標であって、なぞり方向に従った経時的な遷移で検出された座標のうち、いずれか一つ以上である第２の位置情報と、に基づいて、前記画像に配置されたＧＵＩを選択する第２のモードとを切り替えて実行するモード制御ステップと、を実行させる。

図１は、実施形態にかかる通信装置を含むシステムの一例の概略構成が示された説明図である。 図２は、実施形態にかかる通信装置の機能構成の一例が示されたブロック図である。 図３−１は、送信側の通信装置の映像処理にかかる構成を示すブロック図である。 図３−２は、受信側の通信装置の映像処理にかかる構成を示すブロック図である。 図４は、実施形態にかかる通信装置の動作の一例が示されたフローチャートである。 図５は、実施形態にかかる通信装置の表示画面を例示する概念図である。 図６は、実施形態にかかる通信装置の表示画面を例示する概念図である。 図７は、実施形態にかかる通信装置の表示画面を例示する概念図である。 図８は、実施形態にかかる通信装置の表示画面を例示する概念図である。 図９は、実施形態にかかる通信装置の表示画面を例示する概念図である。 図１０は、変形例にかかる通信装置の表示画面を例示する概念図である。 図１１は、変形例にかかる通信装置の表示画面を例示する概念図である。

以下、添付図面を参照して実施形態の通信装置、通信方法及びプログラムを詳細に説明する。

図１は、実施形態にかかる通信装置１００−１、１００−２を含むシステムの一例の概略構成が示された説明図である。図１に示すように、通信装置１００−２は、液晶ディスプレイなどの表示部１０６を有するテレビジョン受信装置である。通信装置１００−１は、タッチパネルが積層された液晶ディスプレイなどの表示部１０６を有するタブレット端末である。

通信装置１００−１、１００−２は、有線又は無線の伝送路Ｍ１で互いに通信可能に接続される。具体的には、ＨＤＭＩ（High-Definition Multimedia Interface）、ＷｉｒｅｌｅｓｓＨＤ、２．５ＧＨｚ帯、５ＧＨｚ帯、及び６０ＧＨz帯の無線ＬＡＮ（ＩＥＥＥ ８０２．１１シリーズ等）などを介して接続される。なお、本実施形態では、通信装置１００−１、１００−２とは互いに無線で接続され、通信装置１００−１が持ち運び自在である構成を例示するが、通信装置１００−１から通信装置１００−２に至る途上には有線が含まれていてもよい。例えば、無線ＬＡＮのアクセスポイント等の中継器（図示しない）を介する場合は、通信装置１００−１から中継器までは有線で接続され、中継器から通信装置１００−２までは無線ＬＡＮで接続されてよい。

通信装置１００−１は、通信装置１００−２に向けて地上デジタル放送などで受信した番組等のコンテンツの映像信号（画像データ）や、それに付随する音声信号（音声データ）を伝送路Ｍ１を介して伝送する。通信装置１００−２は、通信装置１００−１から伝送される映像信号および音声信号を受信し、その映像信号および音声信号にかかる映像および音声を出力（再生）することができる。なお、通信装置１００−１から通信装置１００−２に向けたコンテンツの伝送と、通信装置１００−２におけるコンテンツの再生とは、逆に行われてもよい。具体的には、通信装置１００−２から通信装置１００−１に向けたコンテンツの伝送と、通信装置１００−１におけるコンテンツの再生とが行われてもよい。

通信装置１００−１、１００−２は、Ｗｉ−Ｆｉ Ｄｉｓｐｌａｙなどの無線画像レンダリング技術に対応しており、いずれもＨＤＣＰ（High-bandwidth Digital Content Protection）、ＳＣＭＳ（Serial Copy Management System）等の著作権を有するコンテンツの著作権保護を目的とした保護方式に対応している。また通信装置１００−１は各種映像伝送方式におけるソース機器（映像送信機器）に、通信装置１００−２はシンク機器（映像受信機器）に相当する。なお通信装置１００−１及び１００−２は、デジタルホームネットワーク機器の相互運用を実現するＤＬＮＡ（Digital Living Network Alliance）と呼ばれる技術に対応し、いずれもＤＴＣＰ−ＩＰ等に対応していてもよい。また、通信装置１００−１は、地上波デジタル放送などで受信した番組等のコンテンツについて、上述した保護方式を適用することで著作権を保護しつつコンテンツを通信装置１００−２へ伝送できる。

なお、本実施形態では通信装置１００−２として一般的なテレビジョン受信装置を、通信装置１００−１として一般的なタブレット端末を例示するが、通信装置１００−１、１００−２は、地上波デジタル放送などで受信した番組等のコンテンツの送受信を行う機器であれば、ハードディスクレコーダーやセットトップボックス等の機器であってもよいことは言うまでもないことである。

また、本実施形態では、ソース機器に相当する通信装置１００−１と、シンク機器に相当する通信装置１００−２とが一対一で接続する構成を例示するが、一対複数の接続であってもよい。例えば、複数のソース機器と１つのシンク機器とが接続され、複数のソース機器から伝送されたコンテンツを１つのシンク機器の表示画面に分割して表示する構成であってよい。また、１つのソース機器と複数のソース機器とが接続され、１つのソース機器から伝送されたコンテンツを複数のソース機器の表示画面に表示する構成であってもよい。

図２は、実施形態にかかる通信装置１００−１、１００−２の機能構成の一例が示されたブロック図である。図２に示すように、通信装置１００−１、１００−２は、アンテナ１０１を介して無線通信を行う無線通信モジュールである無線通信部１０２と、無線通信部１０２の動作を制御する制御部１０３とを有する。

無線通信部１０２は、制御部１０３の制御のもと、ＩＥＥＥ ８０２．１１などで規格された伝送路Ｍ１を介して相手装置（自装置が通信装置１００−１の場合の通信装置１００−２）と通信する。具体的には、無線通信部１０２は、通信装置１００−１と通信装置１００−２との間でコンテンツの送受信を行う。制御部１０３は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などを備え、ＣＰＵがＲＯＭに記憶されたプログラムをＲＡＭに展開して順次実行することで、通信装置の動作を制御する。制御部１０３が制御する通信装置の動作としては、表示部１０６の表示画面に表示おける表示制御、伝送路Ｍ１を介したコンテンツの送受信の制御、所定の保護方式を適用したコンテンツの伝送制御などがある。また、制御部１０３は、ＣＰＵがプログラムを順次実行することで、操作受付部１０３１、画像生成部１０３２としての機能を提供する。

また、通信装置１００−１、１００−２は、記憶部１０４、操作部１０５、表示部１０６を備えてよい。記憶部１０４は、制御部１０３が制御を行うための各種設定情報を記憶する不揮発性メモリ等である。操作部１０５は、ユーザの操作を受け付ける操作キー、タッチパネルなどである。例えば、タッチパネルの場合は、ユーザがタッチパネルに触れて操作するタッチ操作を受け付ける。操作部１０５は、タッチパネル上でユーザが触れたタッチ位置の検出、そのタッチ位置が経時的に移動した方向であるタッチ方向の検出を行う。制御部１０３は、操作部１０５で検出されたタッチ位置、タッチ方向をもとに、例えば、タッチ位置に応じたポインタ画像の表示、タッチ方向に対応したポインタ画像の移動などの表示制御を行う。表示部１０６は、制御部１０３の制御の下で画面表示を行う液晶表示ディスプレイなどである。

操作受付部１０３１は、操作部１０５の操作キー、タッチパネル等の検出信号をもとに、ユーザの操作を受け付ける。例えば、タッチパネルの場合は、ユーザがタッチパネルに触れて操作するタッチ操作を操作部１０５で検出する。具体的には、操作部１０５は、タッチパネル上でユーザが触れたタッチ位置の検出、そのタッチ位置が経時的に移動した方向であるタッチ方向の検出を行う。操作受付部１０３１は、操作部１０５で検出されたタッチ位置に対応した座標、タッチ方向を示す座標をユーザの操作として受け付ける。制御部１０３では、タッチ位置に対応した座標、タッチ方向を示す座標をもとに、タッチ位置の座標に応じたポインタ画像の表示、タッチ方向に対応したポインタ画像の移動などの表示制御を行う。

画像生成部１０３２は、自装置の表示部１０６の表示画面に表示する画像（第２の表示画像）や、相手装置の表示部１０６の表示画面に表示する画像（第１の表示画像）を生成する。具体的には、画像生成部１０３２は、操作受付部１０３１で受け付けたユーザの操作に対応したポインタ画像、メニュー画像、各種情報等のＧＵＩ（Graphical User Interface）を表示部１０６の表示画面に表示するための画像を生成する。

図３−１は、送信側の通信装置１００−１の映像処理にかかる構成を示すブロック図である。図３−１に示すように、通信装置１００−１は、コンテンツ受信部２０１、コンテンツ記憶部２０２、デコード部２０３、多重化部２０４、表示部１０６、エンコード部２０５、無線通信部１０２等を備える。コンテンツ受信部２０１は地上デジタル放送などの番組等のコンテンツの映像信号（画像データ）を受信するチューナや、ネットワークを介して配信されるＩＰＴＶ放送の映像信号（画像データ）を受信する通信モジュール等である。コンテンツ記憶部２０２は画像データを記憶する。デコーダ部２０３は、コンテンツ受信部２０１やコンテンツ記憶部２０２から入力される符号化動画像データをデコードする。デコーダ部２０３は、デコードした画像データを多重化部２０４に出力する。画像生成部１０３２は、前述のとおりＧＵＩの画像データを生成して出力する。多重化部２０４は、デコード部２０３から出力される画像データと画像生成部１０３２画像データとを多重化させ、表示部１０６の表示画面に表示させる画像データ（画面データ）を生成する。なお多重化部２０４は、デコードされた画像にオーバーラップするようにＧＵＩを重畳しても良いし、あるいはＧＵＩの一部にデコード画像がはめ込まれるように画像を重畳しても良い。そして多重化部２０４は、生成した画像データを表示部１０６に出力して表示部１０６に表示させる。

また多重化部２０４は、表示部１０６に表示する映像を通信装置１００−２に転送する場合、多重化した画像データをエンコード部２０５又は無線通信部１０２にも出力する。なお多重化部２０４は、例えばＷｉ−Ｆｉ Ｄｉｓｐｌａｙ等の規格を用いて映像伝送する場合は画像データをエンコード部２０５に、Ｗｉｒｅｌｅｓｓ ＨＤ等の非圧縮映像伝送規格を用いて映像伝送する場合は無線通信部１０２に画像データを出力する。また多重化部２０４は、画像生成部１０３２からＧＵＩ画像の入力を受けつつデコード部２０３から著作権保護されたコンテンツのデコード画像の入力を受けた場合、表示部１０６に対してはこれら画像を多重化した画像を出力しつつ、エンコード部２０５や無線通信部１０２に対してはＧＵＩ画像を含まない画像を出力しても良い。

なお本実施形態においては、多重化部２０４からエンコード部２０５や無線通信部１０２に画像データを出力するとして説明するが、多重化部２０４と表示部１０６との間に他のモジュール（高画質化モジュール等）が存在する場合、該モジュールからエンコード部２０５や無線通信部１０２に画像データを出力しても良い。更に、通信装置１００−２に画像生成部１０３２が生成した画像を含まない画像を伝送する場合は、デコード部２０３からの出力がエンコード部２０５や無線通信部１０２に入力されても良い。

エンコード部２０５は、多重化部２０４からの画像データをエンコードして符号化画像データを生成する。無線通信部１０２は、エンコードにより得られた符号化画像データを画像転送に適したフォーマットにパケット化し、通信装置１００−２に該画像データを送信する。あるいは無線通信部１０２は、多重化部２０４からの画像データを非圧縮の状態で通信装置１００−２に送信する。通信装置１００−１は、以上の処理により、表示部１０６に表示された画像を準リアルタイムで通信装置１００−２に送信することが可能である。言い換えると、通信装置１００−１は、表示部１０６に表示される画像のデータをキャプチャして、該キャプチャした画像データを通信装置１００−２に送信できる。また通信装置１００−１は、表示部１０６に映像を表示することなく該映像を通信装置１００−２に送信しても良い。

図３−２は、受信側の通信装置１００−２の映像処理にかかる構成を示すブロック図である。図３−２に示すように、通信装置１００−２は、無線通信部１０２、デコーダ部３０１、表示部１０６を有する。無線通信部１０２は、通信装置１００−１から送信された符号化画像データ又は非圧縮の画像データを受信する。デコーダ部３０１は、符号化画像データをデコードする。表示部１０６は、無線通信部１０２からの画像データ又はデコーダ部３０１からの画像データを用いて画像を表示する。

ここで、制御部１０３の制御のもとで行われる通信装置１００−１、１００−２における動作、具体的には、ソース機器からシンク機器にコンテンツを伝送して、シンク機器側でコンテンツを再生する際の動作について詳細に説明する。

図４は、実施形態にかかる通信装置の動作の一例が示されたフローチャートである。図４に示すように、ソース機器からシンク機器に伝送するコンテンツの指定などが行われて処理が開始されると、制御部１０３は、伝送路Ｍ１を介した相手装置との通信接続（初期設定）を確立する（Ｓ１）。

次いで、制御部１０３は、本機器（自装置）がシンク機器で再生するコンテンツを伝送する側のソース機器であるか否かを判定する（Ｓ２）。具体的には、制御部１０３は、操作部１０５の操作により、自装置側の記憶部１０４に記憶されたコンテンツや自装置側で受信したデジタル地上波のコンテンツを相手装置に伝送する場合はソース機器と判定する。例えば、本実施形態では、通信装置１００−１の制御部１０３は自装置がソース機器であると判定し、通信装置１００−２の制御部１０３は自装置がシンク機器であると判定する。

自装置がソース機器である場合（Ｓ２：ＹＥＳ）、制御部１０３は、伝送するコンテンツが著作権保護を必要としないコンテンツであるか否かを判定する（Ｓ３）。このコンテンツにおける著作権保護の要否は、コンテンツのヘッダ情報に添付されたＰＥＳ（Packetized Elementary Stream）を参照して判定する。

著作権保護を必要とするコンテンツである場合（Ｓ３：ＮＯ）、制御部１０３は、伝送するコンテンツに対して、ＤＴＣＰ−ＩＰ、ＨＤＣＰ、ＳＣＭＳ等の所定の著作権保護方式を適用し（Ｓ４）、ソース機器である自装置（通信装置１００−１）からの伝送路Ｍ１を介した相手装置（通信装置１００−２）へのコンテンツデータの伝送を開始／継続する（Ｓ５）。

このＳ４、Ｓ５において、制御部１０３は、相手装置の表示画面に表示するための表示画像として、伝送すべきコンテンツをそのままの状態（同一性を保持した状態）として含む表示画像を画像生成部１０３２に生成させ、その生成された表示画像を相手装置へ伝送する。また、制御部１０３は、自装置の表示画面に表示するための表示画像として、操作部１０５の操作に対応したポインタ画像、メニュー画像、各種情報を含む表示画像を画像生成部１０３２に生成させ、その生成された表示画像を表示部１０６に表示させる。

図５は、実施形態にかかる通信装置１００−１、１００−２の表示画面を例示する概念図である。図５に示すように、ソース機器側の通信装置１００−１では、表示画像Ｇ１と表示画像Ｇ２とを生成する。表示画像Ｇ１は操作部１０５の操作に対応する。表示画像Ｇ２は伝送すべきコンテンツをそのままの状態として含む。そして、通信装置１００−１の表示部１０６には、表示画像Ｇ１を表示する。なお、ここで表示部１０６は、表示画像Ｇ２に表示画像Ｇ１を重畳した画像を表示しても良いが、図５のように表示画像Ｇ１のみを表示しても良い。また通信装置１００−１の制御部１０３は、表示部１０６に表示画像Ｇ１のみ表示させるモードと、表示画像Ｇ１と表示画像Ｇ２との重畳画像を表示させるモードをユーザに選択させる画像を表示し、該画像への操作に従ってモードを切り替えても良い。生成した表示画像Ｇ２は、伝送路Ｍ１を介して通信装置１００−２に伝送され、通信装置１００−２の表示部１０６に表示される。このように、通信装置１００−２では、著作権保護によって同一性を保持したコンテンツが再生されることとなる。

著作権保護を必要としないコンテンツである場合（Ｓ３：ＹＥＳ）、制御部１０３は、シンク機器用の著作権保護非対象である２次画面を生成するか否かを判定する（Ｓ６）。この２次画面は、ソース機器側で行われたユーザの操作に対応した表示を行うための画面であり、再生を行うコンテンツの他に、例えばユーザの操作に対応したポインタ画像、メニュー画像、各種情報を含む画面である。したがって、Ｓ６では、操作部１０５でユーザの操作を受けつけている場合に２次画面を生成するものと判定し、操作部１０５でユーザの操作を受けつけていない場合には２次画面を生成しないものと判定する。

著作権保護非対象である２次画面を生成する場合（Ｓ６：ＹＥＳ）、制御部１０３は、操作部１０５の操作に対応した座標情報等の表示部１０６の表示画面の一部データより、シンク機器への転送用の２次画面を画像生成部１０３２に生成させる（Ｓ７）。具体的には、制御部１０３は、伝送すべきコンテンツと、操作部１０５の操作に対応したポインタ画像、メニュー画像及び各種情報画像とを含む表示画像を画像生成部１０３２に生成させ、その生成された表示画像を相手装置へ伝送する。

図６、７、８は、実施形態にかかる通信装置１００−１、１００−２の表示画面を例示する概念図である。図６は、ソフトウエアキーボードのタッチ操作時の表示画面を例示する図であり、図７、８は、ユーザの手Ｈによるタッチ操作によるポインタ画像Ｇ１１の操作時の表示画面を例示する図である。

図６、７に示すように、ソース機器側の通信装置１００−１では、操作部１０５の操作に対応した表示画像Ｇ１の他、伝送すべきコンテンツの表示画像Ｇ２に操作部１０５の操作に対応したポインタ画像Ｇ１１、メニュー画像Ｇ１２、情報画像Ｇ１３を含めた表示画像Ｇ３を生成する。なお通信装置１００−１は、表示画像Ｇ３にポインタ画像Ｇ１１を含めなくとも良く、操作部１０５の操作に応じた位置情報を通信装置１００−２に出力して１００−２側でポインタ画像Ｇ１１を生成・表示させても良い。

図７において通信装置１００−１は、あたかもタッチパッドのように動作する。表示部１０６は、タッチ操作を受け付けるための表示画像Ｇ１（例えば黒画面）を表示し、制御部１０３は、操作部１０５へのタッチ操作を受けると、該タッチ操作に応じて操作部１０５が出力する座標情報と、該タッチ操作の前回のタッチ操作の終了時のポインタの座標情報とに応じて、タッチ操作に基づいた処理を実行する。ここで通信装置１００−１は、表示画像Ｇ３を表示部１０６に表示していないが、タッチ操作（なぞり操作）により操作されたポインタＧ１１が表示画像Ｇ３の何れの位置に存在するかについての座標情報を記憶できる。なおＧ３は、画面に対するタッチに応じて操作可能なアイコン等のＧＵＩを含む。そして、あるタッチ操作が終了した後に再度タッチ操作が検出されると、記憶した座標情報と、操作部１０５から出力される座標情報とに基づいて、表示画像Ｇ３におけるポインタＧ１１の位置を制御する。そして操作部１０５がタップ操作等を受けると、制御部１０３は、ポインタＧ１１の位置に存在するアイコンを選択し、対応するアプリケーションの起動処理等を実行する。

そして、生成した表示画像Ｇ３は、伝送路Ｍ１を介して通信装置１００−２に伝送され、通信装置１００−２の表示部１０６に表示される。すなわち、通信装置１００−２では、著作権保護の対象でないコンテンツが再生される際に、通信装置１００−１でユーザの操作が行われた場合、その操作に対応したポインタ画像Ｇ１１、メニュー画像Ｇ１２、情報画像Ｇ１３が表示部１０６に表示される。したがって、通信装置１００−２で再生されるコンテンツを視聴しながら、通信装置１００−１の操作を行う場合であっても、通信装置１００−１の表示部１０６を確認しなくても済むことから、利便性を向上することができる。

また図８の例において、ソース機器側の通信装置１００−１は、画面に対するタッチに応じて操作可能なアイコン等のＧＵＩを含む表示画像Ｇ３を生成し、該Ｇ３を表示する。通信装置１００−１は、ユーザによるタッチ操作を受けた位置にポインタ画像Ｇ１１を表示しても良いが、表示しなくとも良い。ここで通信装置１００−１は、操作部１０５（表示部１０６に重ねて設けられたタッチパネル）に対するタッチ操作を受けた場合、該タッチ操作の位置に表示されているＧＵＩに応じた処理を実行する。即ち通信装置１００−１の制御部１０３は、例えばアイコンが表示された位置をタッチするタッチ操作を受けた場合、該アイコンを選択し、対応するアプリケーションの起動処理等を実行する。そして通信装置１００−１は、表示画像Ｇ３を通信装置１００−２に送信し、通信装置１００−２は該表示画像Ｇ３を表示する。

図４に戻り、自装置がソース機器でない場合（Ｓ２：ＮＯ）、すなわち、自装置がシンク機器（通信装置１００−２）である場合、制御部１０３は、シンク機器用の著作権保護非対象である２次画面を生成するか否かを判定する（Ｓ８）。この２次画面は、ソース機器側で行われたユーザの操作に対応した表示を行うための画面であり、再生を行うコンテンツの他に、例えばユーザの操作に対応したポインタ画像、メニュー画像、各種情報を含む画面である。したがって、Ｓ８では、シンク機器である自装置で表示部１０６に表示するコンテンツにおける著作権保護の要否をもとに、著作権保護を必要としないコンテンツである場合に２次画面を生成するものと判定し、著作権保護を必要とするコンテンツである場合には２次画面を生成しないものと判定する。

表示部１０６に表示するコンテンツが著作権保護を必要とするコンテンツであり、シンク機器用の著作権保護非対象である２次画面を生成しない場合（Ｓ８：ＮＯ）、ソース機器からの伝送路Ｍ１を介したシンク機器（自装置）へのコンテンツデータの伝送が開始／継続されて（Ｓ５）、制御部１０３は、伝送路Ｍ１を介して伝送されたコンテンツをそのままの状態として表示部１０６に表示させる。

表示部１０６に表示するコンテンツが著作権保護を必要としないコンテンツであり、シンク機器用の著作権保護非対象である２次画面を生成する場合（Ｓ６：ＹＥＳ）、制御部１０３は、ソース機器（通信装置１００−１）が操作部１０５で受け付けたユーザの操作を無線通信部１０２を介して受け付ける。次いで、制御部１０３は、通信装置１００−１の操作部１０５の操作に対応した座標情報等の表示部１０６の表示画面の一部データより、２次画面を画像生成部１０３２に生成させる（Ｓ７）。具体的には、制御部１０３は、表示すべきコンテンツと、通信装置１００−１の操作部１０５の操作に対応したポインタ画像、メニュー画像及び各種情報画像とを含む表示画像を画像生成部１０３２に生成させ、表示部１０６に表示させる。

図９は、通信装置１００−１、１００−２の表示画面を例示する概念図である。図９に示すように、シンク機器側の通信装置１００−２では、表示すべきコンテンツが著作権保護を必要としないコンテンツの場合、そのコンテンツと、ソース機器側のユーザの手Ｈによるタッチ操作に対応したポインタ画像Ｇ１１とが通信装置１００−２の表示部１０６に表示される。すなわち、通信装置１００−２では、著作権保護の対象でないコンテンツが再生される際に、通信装置１００−１でユーザの操作が行われた場合、その操作に対応したポインタ画像Ｇ１１が表示部１０６に表示される。したがって、通信装置１００−２で再生されるコンテンツを視聴しながら、通信装置１００−１の操作を行う場合であっても、通信装置１００−１の表示部１０６を確認しなくても済むことから、利便性を向上することができる。

また、図９に示すように、シンク機器側の画像生成部１０３２は、操作部１０５の操作に対応したポインタ画像Ｇ１１、メニュー画像Ｇ１２、情報画像Ｇ１３を含めた表示画像Ｇ３を生成してもよい。この表示画像Ｇ３は、伝送路Ｍ１を介して通信装置１００−１に伝送され、通信装置１００−１の表示部１０６に表示される。このように、通信装置１００−１の操作画面をシンク機器側で生成してもよい。

Ｓ５に次いで、制御部１０３は、操作部１０５による操作指示などをもとに、表示画面の変更を行うか否かを判定する（Ｓ１０）。表示画面の変更を行う場合（Ｓ１０：ＹＥＳ）、制御部１０３は、Ｓ２へ処理を戻す。また、表示画面の変更を行わない場合（Ｓ１０：ＮＯ）、制御部１０３は、コンテンツの再生終了又は停止操作などの終了条件を満たした否かをもとに、コンテンツの伝送（再生）を完了するか否かを判定する（Ｓ１１）。コンテンツの伝送（再生）を完了しない場合（Ｓ１１：ＮＯ）、制御部１０３は、Ｓ５に処理を戻してコンテンツの伝送（再生）を継続させる。コンテンツの伝送（再生）を完了する場合（Ｓ１１：ＹＥＳ）、制御部１０３は処理を終了する。

（変形例１）
次に、上述した実施形態の変形例を説明する。以下の変形例では、操作部１０５の操作に対応した画像として、ソース機器と、シンク機器とで異なる画像を表示する場合を例示する。

図１０は、変形例にかかる通信装置１００−１、１００−２の表示画面を例示する概念図である。図１０に示すように、ソース機器である通信装置１００−１では、ユーザの操作入力を補助する画像として、ユーザの手Ｈによる入力を受け付ける入力パット画像Ｇ１４を表示部１０６に表示する。そして、シンク機器である通信装置１００−２では、ユーザの操作入力の結果を示す画像として、入力パット画像Ｇ１４で受け付けた操作を認識した認識文字画像Ｇ１５を表示する。

具体的には、通信装置１００−１の画像生成部１０３２では、ユーザの手Ｈによる操作入力を補助する入力パット画像Ｇ１４を含む表示画像Ｇ１を生成する。また、通信装置１００−１の画像生成部１０３２では、通信装置１００−２へ伝送すべきコンテンツが著作権保護を要さないコンテンツである場合は、入力パット画像Ｇ１４で受け付けた操作を認識した認識文字画像Ｇ１５を含む表示画像Ｇ３を生成する。そして、通信装置１００−１の制御部１０３は、生成された表示画像Ｇ３を通信装置１００−２へ伝送させる。通信装置１００−２では、伝送された表示画像Ｇ３を表示部１０６に表示させる。

通信装置１００−２での表示部１０６への表示はピクチャーインピクチャーの形式を用いてもよい。図１１は、変形例にかかる通信装置１００−１、１００−２の表示画面を例示する概念図であり、より具体的には、ピクチャーインピクチャーの形式を用いた表示画面を例示する概念図である。

図１１に示すように、ピクチャーインピクチャーの形式を用いて、シンク機器である通信装置１００−２の表示画像Ｇ４に認識文字画像Ｇ１５を合成して表示してもよい。この場合、通信装置１００−１の制御部１０３は、入力パット画像Ｇ１４で受け付けた操作を認識した認識文字画像Ｇ１５を画像生成部１０３２で生成させ、通信装置１００−２へ伝送させればよい。

なお、ユーザの操作入力を補助する画像や、ユーザの操作入力の結果を示す画像は一例であって、入力パット画像Ｇ１４及び認識文字画像Ｇ１５以外に、ソフトウエアキーボード画像及び入力されたテキスト画像などであってもよい。以上のように、変形例では、通信装置１００−１の表示部１０６で入力の補助を受けつつ、通信装置１００−２で再生されるコンテンツを視聴しながらその入力結果を確認でき、利便性を向上することができる。

なお、本実施形態の通信装置１００−１、１００−２で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態の通信装置１００−１、１００−２で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、本実施形態の通信装置１００−１、１００−２で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の通信装置１００−１、１００−２で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

本実施形態の通信装置１００−１、１００−２で実行されるプログラムは、上述した機能構成を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上述した機能構成が主記憶装置上にロードされ、生成されるようになっている。

なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。

また、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。

Claims (4)

1. ＧＵＩが配置された画像を出力する画像出力部と、
   前記画像出力部が出力した画像を表示する表示部と、
   前記画像出力部が出力した画像を符号化する符号化部と、
   符号化された画像を相手装置に伝送する伝送部と、
   前記表示部に対するユーザのタッチ操作を受け付けるタッチパネルと、
   前記表示部に前記画像を表示させつつ前記画像を前記相手機器に伝送させ、前記タッチパネルが第１の操作を受けた場合、当該第１の操作の位置に表示されている前記ＧＵＩを選択する第１のモードと、前記表示部に前記画像を表示させない一方で前記伝送部に前記画像を前記相手機器に伝送させ、前記タッチパネルが第２のタッチ操作を受けた場合、該第２のタッチ操作の前に前記タッチパネルに対して行われた操作の終了時に、当該終了時の操作に対応する座標として、前記表示部が表示している表示画面上に表示されていたポインタが示した第１の位置情報と、前記第２のタッチ操作としてユーザが前記タッチパネル上で行ったなぞる操作に対応して、表示画面上に表示されていたポインタが示した座標であって、なぞり方向に従った経時的な遷移で検出された座標のうち、いずれか一つ以上である第２の位置情報と、に基づいて、前記画像に配置されたＧＵＩを選択する第２のモードとを切り替えて実行するモード制御部と、
   を備える通信装置。
2. 前記伝送部から前記相手機器に著作権保護を要するコンテンツの画像を伝送する場合は、所定の著作権保護方式で前記相手装置へ伝送させ、著作権保護を要さないコンテンツの画像を伝送する場合は、前記コンテンツの画像と前記ユーザの操作に対応した画像とを含む画像を前記相手装置へ伝送させる伝送制御部、
   をさらに備える請求項１に記載の通信装置。
3. 通信装置の通信方法であって、
   画像出力部が、ＧＵＩが配置された画像を出力する画像出力ステップと、
   表示部が、前記画像出力ステップが出力した画像を表示する表示ステップと、
   符号化部が、前記画像出力ステップが出力した画像を符号化する符号化ステップと、
   伝送部が、符号化された画像を相手装置に伝送する伝送ステップと、
   タッチパネルが、前記表示部に対するユーザのタッチ操作を受け付ける受付ステップと、
   モード制御部が、前記表示部に前記画像を表示させつつ前記画像を前記相手機器に伝送させ、前記タッチパネルが第１の操作を受けた場合、当該第１の操作の位置に表示されている前記ＧＵＩを選択する第１のモードと、前記表示部に前記画像を表示させない一方で前記伝送部に前記画像を前記相手機器に伝送させ、前記タッチパネルが第２のタッチ操作を受けた場合、該第２のタッチ操作の前に前記タッチパネルに対して行われた操作の終了時に、当該終了時の操作に対応する座標として、前記表示部が表示している表示画面上に表示されていたポインタが示した第１の位置情報と、前記第２のタッチ操作としてユーザが前記タッチパネル上で行ったなぞる操作に対応して、表示画面上に表示されていたポインタが示した座標であって、なぞり方向に従った経時的な遷移で検出された座標のうち、いずれか一つ以上である第２の位置情報と、に基づいて、前記画像に配置されたＧＵＩを選択する第２のモードとを切り替えて実行するモード制御ステップと、
   を含む通信方法。
4. 伝送路を介して接続された相手装置と通信する通信部と、表示部と、ユーザの操作を受け付けるタッチパネルとを有する通信装置のコンピュータに対して、
   ＧＵＩが配置された画像を出力する画像出力ステップと、
   前記画像出力ステップが出力した画像を前記表示部に表示する表示ステップと、
   前記画像出力ステップが出力した画像を符号化する符号化ステップと、
   前記通信部から、符号化された画像を前記伝送部から相手装置に伝送する伝送ステップと、
   前記表示部に対するユーザのタッチ操作を、前記タッチパネルから受け付ける受付ステップと、
   前記表示部に前記画像を表示させつつ前記画像を前記相手機器に伝送させ、前記タッチパネルから第１の操作を受けた場合、当該第１の操作の位置に表示されている前記ＧＵＩを選択する第１のモードと、前記表示部に前記画像を表示させない一方で前記伝送ステップにより前記画像を前記相手機器に伝送させ、前記タッチパネルが第２のタッチ操作を受けた場合、該第２のタッチ操作の前に前記タッチパネルに対して行われた操作の終了時に、当該終了時の操作に対応する座標として、前記表示部が表示している表示画面上に表示されていたポインタが示した第１の位置情報と、前記第２のタッチ操作としてユーザが前記タッチパネル上で行ったなぞる操作に対応して、表示画面上に表示されていたポインタが示した座標であって、なぞり方向に従った経時的な遷移で検出された座標のうち、いずれか一つ以上である第２の位置情報と、に基づいて、前記画像に配置されたＧＵＩを選択する第２のモードとを切り替えて実行するモード制御ステップと、
   を実行させるためのプログラム。

Images