JP2014063259A - 端末装置，及び処理プログラム - Google Patents

Abstract

【課題】端末装置に表示されるコンテンツを受信装置に表示させる際の利便性を向上させる。
【解決手段】表示処理部１４において表示処理が行なわれたコンテンツに対して、受信装置２０へ送信するための第１のエンコード処理を実行する第１エンコーダ１６を実装する集積回路３を有する。
【選択図】図１

Description

本発明は、端末装置，及び処理プログラムに関する。

近年、テレビやPersonal Computer（ＰＣ）に加えて、スマートフォンやタブレットＰＣ（以下、単にタブレットという）等の端末装置の普及が進んでいる。端末装置に表示される画面を、テレビ又はＰＣのディスプレイ等の表示装置に表示（画面ミラーリング）させることができれば、多人数で映像や音声等のコンテンツ又は各種サービスを利用することができる。なお、端末装置としては、Ａｎｄｒｏｉｄ（登録商標） ＯＳにより動作するスマートフォン又はタブレット等が挙げられる。

画面ミラーリングを行なう手法としては、High-Definition Multimedia Interface（ＨＤＭＩ）ケーブル又はＨＤＭＩ変換アダプタを用いて、ミラーリング元である端末装置とミラーリング先である表示装置とを接続する手法が知られている。
また、ネットワーク上の離れたＰＣを遠隔操作するための技術として、Virtual Network Computing（ＶＮＣ）が知られている。ＶＮＣでは、ＶＮＣサーバとしてのミラーリング元からデスクトップ等の画面データを送信するとともに処理を受け付け、ＶＮＣクライアントとしてのミラーリング先が、受信した画面データに基づきＶＮＣサーバを遠隔操作する。図２３は、ＶＮＣサーバにおける画像処理の動作例を説明するフローチャートである。なお、図２３では、１フレームの処理を示している。

図２３に示すように、ＶＮＣサーバでは、ＶＮＣクライアントへ送信するフレームについて、前フレームとの比較が行なわれ（ステップＳ１０１）、前フレームとの差分から更新ブロックが決定される（ステップＳ１０２）。そして、ＶＮＣサーバにより、残り処理ブロックがあるか否かが判定される（ステップＳ１０３）。残り処理ブロックがない場合（ステップＳ１０３のＮｏルート）、例えばステップＳ１０２において更新ブロックが決定されなかった場合、１フレームの処理が終了する。一方、残り処理ブロックがある場合（ステップＳ１０３のＹｅｓルート）、ＶＮＣサーバにより、更新ブロック内が単色か否かが判定される（ステップＳ１０４）。

更新ブロック内が単色である場合（ステップＳ１０４のＹｅｓルート）、ＶＮＣサーバにより、更新ブロックの矩形が塗りつぶされてＶＮＣクライアントへ送信され、ステップＳ１０３に移行する（ステップＳ１０５）。一方、更新ブロック内が単色ではない場合（ステップＳ１０４のＮｏルート）、ＶＮＣサーバにより、前フレームから更新ブロックに近い画像が検索されることで動き補償が検出され（ステップＳ１０６）、前フレーム内に更新ブロックに近い画像があるか否か、つまり動き補償があるか否かが判定される（ステップＳ１０７）。

前フレーム内に更新ブロックに近い画像がある場合、つまり動き補償がある場合（ステップＳ１０７のＹｅｓルート）、ＶＮＣサーバにより、前フレーム内の該当領域の矩形をコピーする旨の命令がＶＮＣクライアントへ送信され、ステップＳ１０３に移行する（ステップＳ１０８）。一方、前フレーム内に更新ブロックに近い画像がない場合、つまり動き補償がない場合（ステップＳ１０７のＮｏルート）、ＶＮＣサーバにより、ブロック画像が圧縮され（ステップＳ１０９）、圧縮画像とともに矩形を描画する旨の命令がＶＮＣクライアントへ送信され、ステップＳ１０３に移行する（ステップＳ１１０）。

ＶＮＣサーバは、上記処理をフレームごとに実行することにより、ＶＮＣクライアントへミラーリング元の画像データを送信する。このＶＮＣを用いて、画面ミラーリングを行なうことも考えられる。
図２４は、装置間でＶＮＣにより画面ミラーリングを行なう通信システム１００−１の構成例を示す図であり、図２５は、装置間でＨＤＭＩにより画面ミラーリングを行なう通信システム１００−２の構成例を示す図である。図２４に示すように、通信システム１００−１は、ミラーリング元である端末装置１０００−１と、ミラーリング先である表示装置２０００−１とを有している。また、図２５に示すように、通信システム１００−２は、ミラーリング元である端末装置１０００−２と、ミラーリング先である表示装置２０００−２とを有している。以下、通信システム１００−１及び１００−２を区別しない場合には、単に通信システム１００という。また、端末装置１０００−１及び１０００−２を区別しない場合には、単に端末装置１０００といい、表示装置２０００−１及び２０００−２を区別しない場合には、単に表示装置２０００という。

図２４に示す例では、端末装置１０００−１と表示装置２０００−１とは、Local Area Network（ＬＡＮ）、例えば無線ＬＡＮ１０００ａを介して接続される。また、図２５に示す例では、端末装置１０００−２と表示装置２０００−２とは、ＨＤＭＩケーブル又はＨＤＭＩアダプタ等のケーブル１０００ｂを介して接続される。以下、図２４に示す通信システム１００−１が、端末装置１０００−１及び表示装置２０００−１間の画面ミラーリングを、無線ＬＡＮ１０００ａを介してＶＮＣを実行する場合を想定して説明する。また、図２５に示す通信システム１００−２が、端末装置１０００−２及び表示装置２０００−２間の画面ミラーリングを、ケーブル１０００ｂを介してＨＤＭＩ出力を行なう場合を想定して説明する。

図２４に示すように、端末装置１０００−１は、アプリケーション１１００−１、ライブラリ１２００、ドライバ１３００−１、表示処理部１４００−１、表示部１５００、及び送信部１６００を有する。また、表示装置（受信装置）２０００−１は、アプリケーション２１００−１、ライブラリ２２００、ドライバ２３００−１、表示処理部２４００−１、表示部２５００−１、及び受信部２６００を有する。

一方、図２５に示すように、端末装置１０００−２は、アプリケーション１１００−２、ライブラリ１２００、ドライバ１３００−２、表示処理部１４００−２、及び表示部１５００を有する。また、表示装置（受信装置）２０００−２は、アプリケーション２１００−２、ライブラリ２２００、ドライバ２３００−２、表示処理部２４００−２、及び表示部２５００−２を有する。

まず、図２４及び図２５に示す各構成の共通の機能を説明する。なお、以下の説明では、便宜上、各構成の符号の末尾の“−１”又は“−２”の表記を省略する。例えば、アプリケーション１１００−１及び１１００−２の共通の機能を説明する場合には、アプリケーション１１００と表記する。他の構成についても同様である。
アプリケーション１１００，２１００は、それぞれ端末装置１０００，表示装置２０００においてコンテンツを生成又は管理するソフトウェアである。ライブラリ１２００，２２００は、それぞれアプリケーション１１００とドライバ１３００との間，アプリケーション２１００とドライバ２３００との間の中間レイヤに位置する共通インターフェースである。ドライバ１３００，２３００は、それぞれ端末装置１０００，表示装置２０００のハードウェアを制御するソフトウェアである。

表示処理部１４００，２４００は、それぞれアプリケーション１１００，２１００からのコンテンツに対して、表示部１５００，２５００に表示するための表示処理を実行する。なお、表示処理部１４００，２４００としては、例えばGraphics Processing Unit（ＧＰＵ）及びDisplay Controller（ディスプレイコントローラ，以下、ＤＣという）が挙げられる。表示部１５００，２５００は、それぞれ表示処理部１４００，２４００により表示処理が行なわれたコンテンツを表示する。表示部１５００，２５００としては、Liquid Crystal Display（ＬＣＤ）等のディスプレイが挙げられる。

また、上述した図２４及び図２５の各構成の共通の機能に加えて、図２４に示す各構成は、以下の機能を有する。
アプリケーション１１００−１はＶＮＣサーバの機能を含み、アプリケーション２１００−２はＶＮＣクライアントの機能を含む。ドライバ１３００−１は、ＶＮＣサーバとしてのアプリケーション１１００−１により生成されたコンテンツを送信部１６００へ渡す機能を有する。また、ドライバ２３００−１は、受信部２６００により受信されたコンテンツを受け取り、表示処理部２４００−１へ渡す機能を有する。

表示処理部２４００−１は、無線ＬＡＮ１０００ａ及び受信部２６００を介してドライバ２３００−１が受信した、ＶＮＣサーバ（端末装置１０００−１）からのコンテンツ（画像情報）に対しても表示処理を実行する。送信部１６００は、ＶＮＣサーバとしてのアプリケーション１１００−１により生成されたコンテンツを、無線ＬＡＮ１０００ａを介して表示装置２０００へ送信する。受信部２６００は、送信部１６００からのコンテンツを受信し、ドライバ２３００−１へ渡す。

以上の構成により、図２４に示す通信システム１００−１は、端末装置１０００−１に表示される画面を、無線ＬＡＮ１０００ａを用いたＶＮＣにより、表示装置２０００−１に表示（画面ミラーリング）することができる。
一方、上述した図２４及び図２５の各構成の共通の機能に加えて、図２５に示す各構成は、以下の機能を有する。

表示処理部１４００−２は、表示処理を実行したコンテンツをケーブル１０００ｂを介して表示装置２０００へ転送する機能を有する。また、表示部２５００−２は、ケーブル１０００ｂを介して受信したコンテンツを表示することができる。
以上の構成により、図２５に示す通信システム１００−２は、端末装置１０００−２に表示される画面を、ケーブル１０００ｂを用いたＨＤＭＩにより、表示装置２０００−２に表示（画面ミラーリング）することができる。

次に、図２４に示す端末装置１０００−１における、コンテンツの表示処理及び格納処理について説明する。図２６は、図２４に示す端末装置１０００−１のハードウェア構成例を示す図であり、図２７は、図２６に示す端末装置１０００−１によるコンテンツの表示処理及び格納処理の動作例を説明するフローチャートである。
図２６に示すように、端末装置１０００−１は、System-on-a-chip（ＳｏＣ，システムオンチップ）３０００、カメラ５１００、及びSynchronous Dynamic Random Access Memory（ＳＤＲＡＭ）５２００を有する。また、端末装置１０００−１は、フラッシュメモリ５３００、Wireless Fidelity（Ｗｉ−Ｆｉ）コントローラ５４００、及びＬＣＤ１５００を有する。

カメラ５１００は、静止画又は動画（ムービー，ビデオ）を撮影して電気信号に変換し、コンテンツとしてＳｏＣ３０００へ出力する撮像素子である。ＳＤＲＡＭ５２００は、カメラ５１００により撮影されたコンテンツを一時的に保持する揮発性メモリの一例である。フラッシュメモリ５３００は、カメラ５１００により撮影され、ＳｏＣ３０００により所定の処理が行なわれたコンテンツを格納する不揮発性メモリの一例である。Ｗｉ−Ｆｉコントローラ５４００は、表示装置２０００−１との間でＷｉ−Ｆｉ通信によるデータの送受信を行なうコントローラであり、図２４に示す送信部１６００の一例である。

ＳｏＣ３０００は、L3 Interconnect（Ｌ３インターコネクト）３１００、Central Processing Unit（ＣＰＵ）３２００、イメージングプロセッサ３３００、ＧＰＵ３４００、及びＤＣ３５００を有する。また、ＳｏＣ３０００は、Ｈ．２６４エンコーダ３６００、ＮＡＮＤコントローラ３７００、Ethernet（登録商標） Media Access Controller（ＥＭＡＣ）３８００を有する。

Ｌ３インターコネクト３１００は、ＳｏＣ３０００上の回路ブロック間を接続する高速インターフェースである。図２６に示す符号３２００〜３８００の各ブロック、及びＳＤＲＡＭ５２００は、Ｌ３インターコネクト３１００を介して相互に接続される。ＣＰＵ３２００は、ＳＤＲＡＭ５２００に格納された所定のプログラムを実行することにより、端末装置１０００−１における各種処理を実行するプロセッサの一例である。なお、ＣＰＵ３２００に代えて、Micro Processing Unit（ＭＰＵ）が用いられても良い。

イメージングプロセッサ３３００は、カメラ５１００により撮影されたコンテンツに対してノイズ補正やフィルタ処理等の所定の処理を実行して、ＳＤＲＡＭ５２００へ保持させるプロセッサである。ＧＰＵ３４００は、ＳＤＲＡＭ５２００が保持するコンテンツに対して、ＬＣＤ１５００に表示させるための描画処理を実行するプロセッサである。ＤＣ３５００は、ＧＰＵ３４００により描画処理が行なわれたコンテンツをＬＣＤ１５００へ出力するコントローラである。ＧＰＵ３４００及びＤＣ３５００は、図２４に示す表示処理部１４００−１の一例である。

Ｈ．２６４エンコーダ３６００は、ＳＤＲＡＭ５２００が保持する動画（ムービー）のコンテンツに対して、Ｈ．２６４方式のエンコード（圧縮）処理を行なうエンコーダである。ＮＡＮＤコントローラ３７００は、フラッシュメモリ５３００に対する書き込み及び読み出しを制御するコントローラであり、Ｈ．２６４エンコーダ３６００によりエンコードされたコンテンツをフラッシュメモリ５３００へ格納する。ＥＭＡＣ３８００は、ＣＰＵ３２００とイーサネット（登録商標）ネットワークとの間の送受信を制御するコントローラであり、図２６に示す例では、Ｗｉ−Ｆｉコントローラ５４００を通じてＣＰＵ３２００とＷｉ−Ｆｉネットワークとの間の送受信を制御する。

なお、ＬＣＤ１５００は、ＧＰＵ３４００及びＤＣ３５００により表示処理が行なわれたコンテンツを表示するものであり、図２４に示す表示部１５００の一例である。
上述の如く構成された端末装置１０００−１では、図２７に示すようにコンテンツの表示処理及び格納処理が実行される。なお、図２７では、カメラ５１００により動画（ムービー）のコンテンツが撮影される場合の処理を示す。

図２７に示すように、カメラ５１００によりコンテンツが撮影（生成）されると（ステップＳ１１１）、イメージングプロセッサ３３００により、コンテンツに対する画像処理が実行され（ステップＳ１１２）、画像処理結果がＳＤＲＡＭ５２００に保持される（ステップＳ１１３）。
次いで、ＧＰＵ３４００により、ＳＤＲＡＭ５２００が保持するコンテンツに対して描画処理が実行され（ステップＳ１１４）、ＤＣ３５００により、描画結果がＬＣＤ１５００へ出力される（ステップＳ１１５）。そして、ＬＣＤ１５００により出力結果が表示され（ステップＳ１１６）、処理が完了する。

一方、Ｈ．２６４エンコーダ３６００では、ＳＤＲＡＭ５２００が保持するコンテンツに対してＨ．２６４方式のエンコードが実行され（ステップＳ１１７）、エンコード結果がフラッシュメモリ５３００に保持されて（ステップＳ１１８）、処理が完了する。
なお、図２７は、端末装置１０００−１における１フレームに対する処理を示しているため、端末装置１０００−１は、コンテンツの全フレームに対して図２７に示す処理を行なう。

上述した構成例及び動作例により、端末装置１０００−１において、コンテンツのＬＣＤ１５００への表示処理及びフラッシュメモリ５３００への格納処理が行なわれる。なお、図２５に示す端末装置１０００−２についても、図２６及び図２７に示すものと同様の構成及び動作とすることができる。
なお、関連する技術として、システムオンチップの電力管理に関し、インターコネクトに接続されるスレーブユニットが、トランザクションとともに渡される、次のトランザクションが送られるまでの時間間隔を指定する信号に応答して、電力状態を制御する技術が知られている（例えば、特許文献１参照）。この技術によれば、システムオンチップにおける電力と遅延のトレードオフを軽減して電力を管理することができ、また、中央電力コントローラを不要とすることができる。

また、関連する他の技術として、アービトレーション回路が、マスタデバイスから共有リソースへ発行された複数のトランザクションの中から、複数のトランザクションのそれぞれに関連付けられた優先レベルを使用して、あるトランザクションを選択する技術が知られている（例えば、特許文献２参照）。

特表２００９−５４５０４８号公報 特開２０１１−６５６４９号公報

上述のように、技術的には、ＶＮＣ技術により、Ａｎｄｒｏｉｄ ＯＳに対応する端末装置１０００−１に表示される画面を、表示装置２０００−１に表示させることができる可能性があるが、以下の（ｉ）〜（iv）に示す問題により、利便性が損なわれる場合がある。
（ｉ）ＶＮＣでは、変更が生じたブロックのみ更新され、また、ブロックごとにＶＮＣサーバから出力されるタイミングが異なるため、表示装置２０００−１に表示される画面にブロック状の表示乱れが生じる。
（ii）ＶＮＣサーバにおける画像処理における更新ブロック数や処理の流れによって、１〜数１０フレームの遅延幅がある。つまり、表示装置２０００−１における画面表示に、最大数１０フレーム（数秒）程度の遅延が生じる。
（iii）ＶＮＣでは、２Ｍｂｐｓ以上の伝送速度で動作可能であるが、高解像度の動画の表示には数１０Ｍｂｐｓ以上が要求される。従って、高解像度の動画ではＶＮＣサーバにおける画像処理が間に合わず、数〜数１０フレーム飛ばしの動作となる。このため、ＶＮＣ技術を用いてムービー等のマルチメディアコンテンツを表示装置２０００−１に表示することは困難である。
（iv）ＶＮＣサーバにおけるフレーム間差分、動き補償、及び画像圧縮等の負荷の高い各処理はソフトウェアにより行なわれるため、端末装置１０００−１のＭＰＵ（ＣＰＵ１５００）の使用率が上昇する。これにより、ＭＰＵは、アプリケーション１１００−１及びOperating System（ＯＳ）と共通のＭＰＵリソースを大量に使用することになり、アプリケーション１１００−１及びＯＳの動作に与える影響が大きい。

一方、ＨＤＭＩにより、ケーブル１０００ｂを介して端末装置１０００−２に表示される画面を表示装置２０００−２に表示させる場合には、マルチメディアコンテンツを表示装置２０００−２に表示することも可能である。例えば、図２５に示す表示制御部１４００−２から、１０８０ｐ，３０ｆｐｓ，２４ｂｉｔ出力の動画のコンテンツが出力される場合、非圧縮のデータが約１．５Ｇｂｐｓの転送速度で出力される。一方、ＨＤＭＩケーブル又はＨＤＭＩアダプタ等のケーブル１０００ｂは、当該動画のコンテンツを約１．５Ｇｂｐｓの転送速度で転送することができる。

しかし、ＨＤＭＩにより動画のコンテンツを転送する場合には、端末装置１０００−２と表示装置２０００−２とをケーブル１０００ｂにより物理的に接続することになるため、端末装置１０００−２と表示装置２０００−２との位置関係が制限され、利便性が損なわれる。
このように、上述した各技術では、端末装置１０００に表示されるコンテンツを表示装置（受信装置）２０００に表示させる画面ミラーリングにおいて、利便性が損なわれるという問題がある。

なお、上述した関連する各技術では、上述した問題については考慮されていない。
１つの側面では、本発明は、端末装置に表示されるコンテンツを受信装置に表示させる際の利便性を向上させることを目的とする。
なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本発明の他の目的の１つとして位置付けることができる。

本件の端末装置は、表示処理部において表示処理が行なわれたコンテンツに対して、受信装置へ送信するための第１のエンコード処理を実行する第１エンコーダを実装する集積回路を有する。

一実施形態によれば、端末装置に表示されるコンテンツを受信装置に表示させる際の利便性を向上させることができる。

一実施形態に係る通信システムの構成例を示す図である。 図１に示す端末装置のハードウェア構成例を示す図である。 図２に示す端末装置によるコンテンツの表示処理、格納処理、及び送信処理の動作例を説明するフローチャートである。 図２に示すＭ−ＪＰＥＧエンコーダによるエンコード処理の動作例を説明するフローチャートである。 一実施形態の第１実施例に係る端末装置のハードウェア構成例を示す図である。 図５に示す端末装置によるコンテンツの表示処理、格納処理、及び送信処理の動作例を説明するフローチャートである。 図５に示す端末装置によるコンテンツの表示処理、格納処理、及び送信処理の動作例を説明するシーケンス図である。 一実施形態の第１実施例に係る表示装置のハードウェア構成例を示す図である。 図８に示す表示装置によるコンテンツの受信処理、及び表示処理の動作例を説明するフローチャートである。 図８に示す表示装置によるコンテンツの受信処理、及び表示処理の動作例を説明するシーケンス図である。 一実施形態の第２実施例に係る端末装置のハードウェア構成例を示す図である。 図１１に示すハードウェアアクセラレータの構成例を示す図である。 図１１に示すハードウェアアクセラレータによるエンコード処理の動作例を説明するフローチャートである。 図１１に示す端末装置によるコンテンツの表示処理、格納処理、及び送信処理の動作例を説明するフローチャートである。 図１１に示す端末装置によるコンテンツの表示処理、格納処理、及び送信処理の動作例を説明するシーケンス図である。 一実施形態の第３実施例に係る端末装置のハードウェア構成例を示す図である。 図１６に示す端末装置によるコンテンツの表示処理、格納処理、及び送信処理の動作例を説明するフローチャートである。 図１６に示す端末装置によるコンテンツの表示処理、格納処理、及び送信処理の動作例を説明するシーケンス図である。 一実施形態及び第１実施例〜第３実施例に係る端末装置におけるＳｏＣの内部バスの通信量の一例を示す図である。 一実施形態の第１実施例に係る端末装置におけるＳｏＣの内部バスの通信量の一例を示す図である。 一実施形態の第２実施例に係る端末装置におけるＳｏＣの内部バスの通信量の一例を示す図である。 一実施形態の第３実施例に係る端末装置におけるＳｏＣの内部バスの通信量の一例を示す図である。 ＶＮＣサーバにおける画像処理の動作例を説明するフローチャートである。 装置間でＶＮＣにより画面ミラーリングを行なう通信システムの構成例を示す図である。 装置間でＨＤＭＩにより画面ミラーリングを行なう通信システムの構成例を示す図である。 図２４に示す端末装置のハードウェア構成例を示す図である。 図２６に示す端末装置によるコンテンツの表示処理及び格納処理の動作例を説明するフローチャートである。

以下、図面を参照して実施の形態を説明する。
〔１〕一実施形態
〔１−１〕通信システムの説明
図１は、一実施形態に係る通信システム１の構成例を示す図であり、図２は、図１に示す端末装置１０（１０ａ〜１０ｃ）のハードウェア構成例を示す図である。図１に示すように、通信システム１は、端末装置１０（１０ａ〜１０ｃ）及び表示装置２０を有している。なお、端末装置１０ａ〜１０ｃは、それぞれ後述する第１実施例〜第３実施例に係る端末装置であるが、基本的な構成は本実施形態に係る端末装置１０と共通している。以下の説明において、端末装置１０及び後述する各端末装置１０ａ〜１０ｃを区別しない場合には、単に端末装置１０という。

本実施形態において、通信システム１は、ミラーリング元である端末装置１０に表示される画面を、ミラーリング先である表示装置２０に表示させる画面ミラーリングを行なう。
端末装置１０と表示装置２０とは、ＬＡＮ（好ましくは無線ＬＡＮ）等のネットワークを介して接続される。以下、通信システム１が、端末装置１０及び表示装置２０間の画面ミラーリングを、Ｗｉ−Ｆｉ通信１ａを介して行なう場合について説明する。

端末装置１０は、図１に示すように、アプリケーション１１、ライブラリ１２、ドライバ１３、表示処理部１４、表示部１５、エンコーダ１６、及び送信部１７を有する。また、表示装置（受信装置）２０は、図１に示すように、アプリケーション２１、ライブラリ２２、ドライバ２３、表示処理部２４、表示部２５、受信部２６、及びデコーダ２７を有する。

なお、端末装置１０としては、スマートフォン、タブレット、又はノートＰＣ等の移動可能な情報処理装置が挙げられる。また、端末装置１０として、デスクトップＰＣやサーバ等の据え置き型の情報処理装置が用いられても良い。本実施形態においては、端末装置１０は、Ａｎｄｒｏｉｄ ＯＳにより動作するスマートフォン又はタブレットであるものとして説明する。

また、表示装置２０としては、テレビ、スマートフォン、タブレット、又はＰＣ等、端末装置１０からコンテンツを受信し表示可能な装置が挙げられる。
さらに、コンテンツとは、静止画、動画（ムービー，ビデオ）、及び音声（オーディオ）の１以上の組み合わせを含む情報である。以下、本実施形態においては、コンテンツは、ムービー及びオーディオを含むマルチメディアコンテンツであるものとして説明する。

アプリケーション１１，２１は、それぞれ端末装置１０，表示装置２０においてコンテンツを生成又は管理するソフトウェアである。例えば、アプリケーション１１は、カメラ５１（図２参照）によるムービー撮影、表示部１５に対する画面表示、及びＷｉ−Ｆｉ通信１ａを介した画面ミラーリング出力の実行を制御する機能を含む。また、アプリケーション２１は、Ｗｉ−Ｆｉ通信１ａを介した画面ミラーリング入力、及び表示部２５に対する画面表示の実行を制御する機能を含む。

ライブラリ１２，２２は、それぞれアプリケーション１１とドライバ１３との間，アプリケーション２１とドライバ２３との間の中間レイヤに位置する共通インターフェースである。ドライバ１３は、端末装置１０のハードウェアを制御するソフトウェアである。表示処理部１４は、アプリケーション１１からのコンテンツに対して、表示部１５に表示するための表示処理を実行する。表示部１５，２５は、それぞれ表示処理部１４，２４により表示処理が行なわれたコンテンツを表示する。表示部１５，２５としては、ＬＣＤ等のディスプレイ又はプロジェクタ等が挙げられる。

エンコーダ（第１エンコーダ）１６は、表示処理部１５において表示処理が行なわれたコンテンツ（表示処理後のコンテンツ）に対して、表示装置２０へ送信するためのエンコード（圧縮）処理（第１のエンコード処理）を実行する。
送信部１７は、エンコーダ１６によりエンコード処理が行なわれたコンテンツを、Ｗｉ−Ｆｉ通信１ａを介して表示装置２０へ送信する。受信部２６は、送信部１７からのコンテンツを受信し、ドライバ２３へ渡す。ドライバ２３は、表示装置２０のハードウェアを制御するソフトウェアである。また、ドライバ２３は、受信部２６が受信したコンテンツを受け取り、デコーダ２７へ渡す。

デコーダ２７は、ドライバ２３から受け取ったコンテンツに対して、エンコーダ１６によりエンコードされた方式でデコードを実行する。表示処理部２４は、アプリケーション２１からのコンテンツに対して、表示部２５に表示するための表示処理を実行する。また、表示処理部２４は、デコーダ２７によりデコード処理が行なわれたコンテンツに対しても表示処理を実行する。なお、表示処理部１４，２４としては、例えばＧＰＵ及びディスプレイコントローラ（ＤＣ）が挙げられる。

以上の構成により、通信システム１は、端末装置１０に表示される画面を、表示装置２０に表示する画面ミラーリングを実行することができる。
なお、受信部２６は、送信部１７から受信したコンテンツを、ドライバ２３ではなくライブラリ２２へ渡すこととしても良い。
また、エンコーダ１６によるエンコード処理は、圧縮率の高い方式により行なわれることが好ましい。これは、Ｗｉ−Ｆｉ通信１ａ等の無線ＬＡＮは、ＨＤＭＩ等のケーブルを介した通信よりも転送速度が低いためである。

例えば、ＨＤＭＩ １．０〜１．２は最大４．９５Ｇｂｐｓ、ＨＤＭＩ １．３〜１．４は最大１０．２Ｇｂｐｓの転送速度を有する。一例として、端末装置１０から、１０８０ｐ，３０ｆｐｓ、２４ｂｉｔ出力の非圧縮の動画のコンテンツが出力される場合、ＨＤＭＩによれば、既述のように非圧縮の動画のコンテンツが約１．５Ｇｂｐｓの転送速度で転送される。

一方、ＩＥＥＥ ８０２．１１ｎで規定されるＷｉ−Ｆｉ通信は、公称速度が６５〜６００Ｍｂｐｓである（但し、実効速度は公称速度の半分から１／３程度）。
以上のことから、エンコーダ１６によるエンコード処理は、圧縮率が１／２０〜１／３０程度を目標とすることが好ましい。上記圧縮率の条件を満たす方式としては、Motion-Joint Photographic Experts Group（Ｍ−ＪＰＥＧ）方式が挙げられる。以下、本実施形態においては、エンコーダ１６は、送信するコンテンツに対して、Ｍ−ＪＰＥＧ方式のエンコード処理を実行し、デコーダ２７は、受信したコンテンツに対して、Ｍ−ＪＰＥＧ方式のデコード処理を実行するものとして説明する。

〔１−２〕端末装置の構成例
次に、本実施形態に係る端末装置１０のハードウェア構成例を説明する。
図２に示すように、端末装置１０は、システムオンチップ（ＳｏＣ）３、カメラ５１、ＳＤＲＡＭ５２、フラッシュメモリ５３、Ｗｉ−Ｆｉコントローラ５４、及びＬＣＤ１５を有する。なお、端末装置１０は、Input Output（Ｉ／Ｏ）デバイスとして、オーディオデータを取得（録音）するマイク、オーディオデータを出力するスピーカー、並びにＬＣＤ１５に搭載されるタッチパネル又はキーボード等の入力装置（いずれも図示省略）を有しても良い。

カメラ５１は、静止画又は動画を撮影して電気信号に変換し、コンテンツとしてＳｏＣ３へ出力する撮像素子である。
ＳＤＲＡＭ（メモリ）５２は、種々のデータやプログラムを一時的に格納する記憶装置であって、揮発性メモリの一例である。ＳＤＲＡＭ５２は、ＣＰＵ３２がプログラムを実行する際に、データやプログラムを一時的に格納・展開して用いる。また、ＳＤＲＡＭ５２は、カメラ５１により撮影されたコンテンツを一時的に保持する。

フラッシュメモリ（格納部）５３は、カメラ５１により撮影され、ＳｏＣ３により所定の処理が行なわれたコンテンツを格納する不揮発性メモリの一例である。
Ｗｉ−Ｆｉコントローラ５４は、表示装置２０との間でＷｉ−Ｆｉ通信によるデータの送受信を行なうコントローラであり、図１に示す送信部１６の一例である。
ＳｏＣ（集積回路）３は、Ｌ３インターコネクト３１、ＣＰＵ３２、イメージングプロセッサ３３、ＧＰＵ３４、ＤＣ３５、Ｈ．２６４エンコーダ３６、ＮＡＮＤコントローラ３７、ＥＭＡＣ３８を有する。

Ｌ３インターコネクト３１は、ＳｏＣ３上の回路ブロック間を接続するインターフェースであり、ＳｏＣ３内の他のインターコネクト及びバスの中で最も高速なデータ転送速度を有する。図２に示す符号１６及び３２〜３８の各ブロック、並びにＳＤＲＡＭ５２は、Ｌ３インターコネクト３１を介して相互に接続される。
ＣＰＵ３２は、ＳＤＲＡＭ５２又は図示しないRead Only Memory（ＲＯＭ）等に格納されたプログラムを実行することにより、種々の機能を実現するプロセッサの一例である。なお、ＣＰＵ３２に代えて、後述する第１〜第３実施例のように、ＭＰＵが用いられても良い。

イメージングプロセッサ３３は、カメラ５１により撮影されたコンテンツに対してノイズ補正やフィルタ処理等の所定の処理を実行して、ＳＤＲＡＭ５２へ保持させるプロセッサである。
ＧＰＵ３４は、ＳＤＲＡＭ５２が保持するコンテンツに対して、ＬＣＤ１５に表示させるための描画処理を実行するプロセッサである。また、ＤＣ３５は、ＧＰＵ３４により描画処理が行なわれたコンテンツをＬＣＤ１５へ出力するコントローラである。なお、ＧＰＵ３４及びＤＣ３５は、図１に示す表示処理部１４の一例である。

Ｈ．２６４エンコーダ（第２エンコーダ）３６は、ＳＤＲＡＭ５２に保持される動画のコンテンツに対して、フラッシュメモリ５３に格納するためのＨ．２６４方式のエンコード（圧縮）処理を実行して、フラッシュメモリ５３へ格納するエンコーダである。
ＮＡＮＤコントローラ３７は、フラッシュメモリ５３に対する書き込み及び読み出しを制御するコントローラであり、Ｈ．２６４エンコーダ３６によりエンコードされたコンテンツをフラッシュメモリ５３へ格納する。

Ｍ−ＪＰＥＧエンコーダ（第１エンコーダ）１６は、図１に示すエンコーダ１６の一例であり、ＤＣ３５により表示処理が施されたコンテンツに対して、Ｍ−ＪＰＥＧ方式のエンコード処理を行なう。なお、Ｍ−ＪＰＥＧエンコーダ１６によるエンコード処理は、Ｈ．２６４エンコーダ３６によるエンコード処理よりも圧縮率の高いエンコード処理である。

ＥＭＡＣ３８は、ＣＰＵ３２とイーサネットネットワークとの間の送受信を制御するコントローラであり、図２に示す例では、Ｗｉ−Ｆｉコントローラ５４を通じてＣＰＵ３２とＷｉ−Ｆｉネットワークとの間の送受信を制御する。
なお、ＬＣＤ１５は、ＧＰＵ３４及びＤＣ３５により表示処理が行なわれたコンテンツを表示するものであり、図１に示す表示部１５の一例である。

〔１−３〕一実施形態の動作例
次に、上述の如く構成された端末装置１０の動作例を、図３及び図４を参照して説明する。図３は、図２に示す端末装置１０によるコンテンツの表示処理、格納処理、及び送信処理の動作例を説明するフローチャートであり、図４は、図２に示すＭ−ＪＰＥＧエンコーダ１６によるエンコード処理の動作例を説明するフローチャートである。

なお、図３では、カメラ５１００により動画（ムービー）のコンテンツが撮影される。
〔１−３−１〕通信システムの動作例
はじめに端末装置１０の動作例を説明する。
図３に示すように、カメラ５１によりコンテンツが撮影（生成）されると（ステップＳ１）、イメージングプロセッサ３３により、コンテンツに対する画像処理が実行され（ステップＳ２）、画像処理結果がＳＤＲＡＭ５２に保持される（ステップＳ３）。

次いで、ＧＰＵ３４により、ＳＤＲＡＭ５２が保持するコンテンツに対して描画処理が実行され（ステップＳ４）、ＤＣ３５により、描画結果がＬＣＤ１５へ出力される（ステップＳ５）。そして、ＬＣＤ１５により出力結果が表示され（ステップＳ６）、表示処理が完了する。
一方、Ｈ．２６４エンコーダ３６では、ＳＤＲＡＭ５２が保持するコンテンツに対してＨ．２６４方式のエンコードが実行され（ステップＳ７）、エンコード結果がフラッシュメモリ５３に保持されて（ステップＳ８）、格納処理が完了する。

また、Ｍ−ＪＰＥＧエンコーダ１６では、ＤＣ３５によりＬＣＤ１５用に調整されてＬＣＤ１５へ出力される描画結果、つまり表示処理が行なわれたコンテンツに対してＭ−ＪＰＥＧ方式のエンコードが実行される（ステップＳ９）。そして、Ｗｉ−Ｆｉコントローラ５４により、エンコード結果がＷｉ−Ｆｉ通信１ａを介して表示装置２０へ送信され（ステップＳ１０）、送信処理が完了する。

なお、図３は、端末装置１０における１フレームに対する処理を示しているため、端末装置１０は、コンテンツの全フレームに対して図３に示す処理を行なう。このように、上述した動作が、生成されるコンテンツのフレームごとに実行されることにより、端末装置１０において、コンテンツのＬＣＤ１５への表示処理、フラッシュメモリ５３への格納処理、及び表示装置２０への送信処理（画面ミラーリング）が行なわれる。

〔１−３−２〕Ｍ−ＪＰＥＧエンコーダの動作例
次に、Ｍ−ＪＰＥＧエンコーダ１６の動作例を説明する。
図４に示すように、Ｍ−ＪＰＥＧエンコーダ１６により、ＤＣ３５によって表示処理が行なわれたコンテンツに対して、例えば１６ラインごとに処理を行なうために１６ライン分のバッファリングが行なわれる（ステップＳ１１）。なお、バッファリングは、図示しないＭ−ＪＰＥＧエンコーダ１６が有するレジスタを用いて行なわれる。

次いで、Ｍ−ＪＰＥＧエンコーダ１６により、１６ライン分のコンテンツに対して、ＲＧＢ系からＹＣｂＣｒによる色空間への変換が行なわれる（ステップＳ１２）。そして、Ｍ−ＪＰＥＧエンコーダ１６により、色変換が行なわれたコンテンツに対して、色差に基づくビット数又はピクセル数の間引きが行なわれ（ステップＳ１３）、Discrete Cosine Transform（ＤＣＴ）により周波数領域への変換が行なわれる（ステップＳ１４）。

また、Ｍ−ＪＰＥＧエンコーダ１６により、ＤＣＴによる変換結果について量子化が行なわれ、高周波のビット数の間引きが行なわれる（ステップＳ１５）。そして、Ｍ−ＪＰＥＧエンコーダ１６により、ハフマン圧縮が行なわれ（ステップＳ１６）、バッファリングされたデータに対する処理が完了する。
なお、図４は、１フレームのうちのバッファリングされたデータに対する処理を示しているため、Ｍ−ＪＰＥＧエンコーダ１６により、図４に示す処理が、ＤＣ３５によって表示処理が行なわれたコンテンツにおける１フレームの全ラインに対して実行される。そして、Ｍ−ＪＰＥＧエンコーダ１６により、１フレームに対するエンコード処理が、ＤＣ３５によって表示処理が行なわれたコンテンツの全フレームに対して実行されることにより、表示装置２０へ送信するためのエンコード処理が完了する。なお、Ｍ−ＪＰＥＧ方式のエンコードでは、コンテンツのフレームごとに独立したエンコードが行なわれるため、Ｍ−ＪＰＥＧエンコーダ１６は、フレーム間の差分等について考慮せずに済む。これにより、高速なエンコード処理が実現できる。

上述のように、本実施形態に係る端末装置１０のエンコーダ１６によれば、表示処理部１４において表示処理が行なわれたコンテンツに対して、表示装置２０へ送信するためのエンコード処理が実行される。つまり、ミラーリング元の端末装置１０内の表示処理部１４からの出力が、エンコーダ１６を通して圧縮される。そして、送信部１７により、無線ＬＡＮ（Ｗｉ−Ｆｉ通信１ａ）経由でミラーリング先の表示装置２０へ送信される。

これにより、端末装置１０は、無線ＬＡＮ接続により画面ミラーリングを実現することができ、端末装置１０に表示されるコンテンツを受信装置２０に表示させる際の利便性を向上させることができる。
また、少なくとも表示制御部１４（ＧＰＵ３４及びＤＣ３５）とエンコーダ１６とは、ＳｏＣ３内に実装され、既存のＬ３インターコネクト３１で相互に接続される。これにより、エンコーダ１６のために新たなIntegrated Circuit（ＩＣ）間接続用の高速バス（例えばＬ３インターコネクトに準じた転送速度のインターフェース）を追加せずに済む。このように、本実施形態に係る端末装置１０は、ＳｏＣ３内部への画面ミラーリングに係る通信経路の追加、ＳｏＣ３に対するエンコーダ１６の追加及び接続の変更等を行なうことにより実現される。これにより、ＶＮＣ技術を用いた画面ミラーリングを行なうよりもＭＰＵ３２の負荷を抑えることができるとともに、消費電力の増大、基板設計の難易度の増加、及びコストアップを最小限に留めることができる。

さらに、表示処理部１４により表示処理が行なわれたコンテンツは、本来は表示部１５に対して出力されるのみである。これに対して、本実施形態に係る端末装置１０は、表示部１５に表示するための最適な調整が既に行なわれているコンテンツについてエンコーダ１６によりエンコードを実行させることで、表示装置２０に対して良好なコンテンツを提供することができる。特に、端末装置１０の表示部１５と表示装置２０の表示部２５とが同等の性能を有する場合には、端末装置１０は、表示装置２０に対して最適な調整が行なわれたコンテンツを提供することができ、表示処理部２４等の処理負荷を低減させることができる。

また、端末装置１０によれば、ＶＮＣ技術を用いて画面ミラーリングを行なう場合に生じ得る上記（ｉ）〜（iv）の問題についても、対応する以下の（Ｉ）〜（IV）に示す理由により解消することができる。
（Ｉ）Ｍ−ＪＰＥＧ方式のエンコード処理では、フレームごとに画面全体が出力されるため、表示装置２０に表示される画面にブロック状の表示乱れは発生しない。
（II）Ｍ−ＪＰＥＧ方式のエンコード処理では、安定的に約２〜３フレーム程度の遅延が発生するだけであり、遅延量及び遅延幅は僅かである。
（III）Ｍ−ＪＰＥＧ方式のエンコード処理では、高解像度の動画のコンテンツに対しても、３０ｆｐｓで連続出力が可能であり、ＶＮＣのように数〜数１０フレーム飛ばしの動作とはならない。
（IV）端末装置１０は、表示装置２０へ送信するコンテンツに係る大半の処理を、専用のエンコーダ１６により実行する。つまり、端末装置１０は、コンテンツを表示装置２０へ送信するための処理（主にエンコード処理）を、アプリケーション１１及びＯＳの動作と部分的に又は完全に切り離して実行するため、アプリケーション１１及びＯＳの動作に与える影響が小さい。

このように、端末装置１０は、無線ＬＡＮ接続により、ＶＮＣ技術では困難であった高解像度の動画のコンテンツの画面ミラーリングについても実現することができる。
〔２〕一実施形態の実施例
次に、上述した一実施形態に係る通信システム１における、端末装置１０（１０ａ〜１０ｃ）のエンコーダ１６（Ｍ−ＪＰＥＧエンコーダ１６）の実装例を説明する。

エンコーダ１６は、以下の（１）〜（３）の構成により実現することができる。
（１）ソフトウェアエンコード方式
（２）ハードウェアアクセラレータの時分割エンコード方式
（３）ハードウェアエンコーダ追加方式
以下、上記（１）〜（３）の構成を適用した通信システム１を、第１実施例〜第３実施例により説明する。
なお、以下、端末装置１０（１０ａ〜１０ｃ）は、ＭＰＵ３２に対する処理負荷が大きいカメラ５１によるムービー撮影及びコンテンツの格納、表示部１５によるコンテンツの表示（画面プレビュー）、並びに無線ＬＡＮによる画面ミラーリング出力、の各動作を行なう場合を想定して説明する。

〔２−１〕第１実施例
はじめに、図５〜図１０を参照して第１実施例について説明する。第１実施例では、エンコーダ１６が上記（１）のソフトウェアエンコーダにより構成される。
〔２−１−１〕第１実施例の端末装置の構成例
まず、一実施形態の第１実施例に係る端末装置１０ａの構成例について説明する。

図５は、第１実施例に係る端末装置１０ａのハードウェア構成例を示す図である。図５に示すように、端末装置１０ａは、図２に示す端末装置１０の構成に加えて、Direct Memory Access（ＤＭＡ）サブシステム３９、Digital Signal Processor（ＤＳＰ）４０、及びＬ４インターコネクト４１を有する。なお、図５においては、便宜上、図２に示す端末装置１０の一部のブロックの図示を省略している。

また、図５において、Ｌ３インターコネクト３１の紙面下側に接続されている各ブロックは、アクセス対象又は制御を受けて所定の動作を実行するターゲットであり、Ｌ３インターコネクト３１の紙面上側に接続されている各ブロックは、ターゲットに対する制御を行なうイニシエータである。なお、後述する表示装置２０、端末装置１０ｂ、及び１０ｃの各ハードウェア構成（図８、図１１、及び図１６参照）においても同様である。

ＤＭＡサブシステム３９は、Ｌ３インターコネクト３１に接続され、ＳＤＲＡＭ５２と他のブロックとの間のデータ転送を制御する。例えば、ＤＭＡサブシステム３９は、ＧＰＵ３４、ＤＣ３５、及びカメラ５１（イメージングプロセッサ３３）等によるＳＤＲＡＭ５２へのコンテンツの書き込み及び読み出しを制御する。
ＤＳＰ４０は、ＳＤＲＡＭ５２が保持するオーディオデータに対する圧縮処理を実行するとともに、圧縮を行なったオーディオデータをＳＤＲＡＭ５２に保持させるプロセッサである。なお、ＤＳＰ４０により圧縮されるオーディオデータは、Ｉ／Ｏデバイスとしてのマイク（図示省略）等により取得（録音）され、ＳＤＲＡＭ５２に保存される。

Ｌ４インターコネクト４１は、ＳｏＣ３上の回路ブロック間を接続するインターフェースであり、Ｌ３インターコネクトよりも低速なデータ転送速度を有する。図５に示す例では、Ｌ４インターコネクト４１は、Ｌ３インターコネクト３１及びＤＭＡサブシステム３９と接続される。また、Ｌ４インターコネクト４１は、端末装置１０がＩ／Ｏデバイスを有する場合には、これらのＩ／Ｏデバイスと接続される。

また、図５に示すように、端末装置１０ａは、図２に示す端末装置１０のＣＰＵ３２に代えて、ＭＰＵ３２′を有する。
ＭＰＵ３２′は、複数、例えば４つのコア３２ａ〜３２ｄを有する。各コア３２ａ〜３２ｄは、独立に処理を実行することができる。第１実施例に係るＭＰＵ３２′は、複数のコア３２ａ〜３２ｄのうちの少なくとも１つに対して、ＳＤＲＡＭ５２等に格納された処理プログラムを実行させることにより、Ｍ−ＪＰＥＧエンコーダ１６としての機能を実現する。

例えば、第１実施例に係る端末装置１０ａは、予めコア３２ａ〜３２ｄの割り当てを以下のように決定する。
コア３２ａ：アプリケーション１１のメイン処理及びＯＳ処理
コア３２ｂ：イメージング／ビデオ処理
コア３２ｃ＋３２ｄ：ソフトウェアエンコード処理
このように、４つのコア３２ａ〜３２ｄそれぞれに処理を割り当てることで、ＭＰＵ３２′は、Ｍ−ＪＰＥＧエンコーダ１６としてのエンコード処理を、アプリケーション１１のメイン処理及びＯＳ処理と部分的に切り離して実行することができる。従って、コア３２ｃ及び３２ｄがソフトウェアエンコード処理を実行している場合にも、アプリケーション１１及びＯＳの動作に与える影響を小さく抑えることができる。

なお、上述したＭＰＵ３２′によるソフトウェアエンコード処理を実現するために、端末装置１０ａは、図５に示すように、ＤＣ３５からＬ３インターコネクト３１へ、表示処理の実行結果（出力）を戻すパスが実装される。また、ＤＣ３５からＬ３インターコネクト３１への出力は一度ＳＤＲＡＭ５２に保存される。そして、ＭＰＵ３２′は、ＳＤＲＡＭ５２から表示処理の実行結果出力が読み出されて、コア３２ｃ及び３２ｄによりソフトウェアエンコード処理が実行される。

〔２−１−２〕第１実施例の端末装置の動作例
次に、上述の如く構成された端末装置１０ａの動作例を、図６及び図７を参照して説明する。図６及び図７は、図５に示す端末装置１０ａによるコンテンツの表示処理、格納処理、及び送信処理の動作例を説明するフローチャート及びシーケンス図である。
なお、図６及び図７では、カメラ５１によりムービー（ビデオ）のコンテンツが撮影（生成）されるとともに、図示しないＩ／Ｏデバイスのマイクによりオーディオのコンテンツが取得（生成）される。

なお、図６の説明において、図３に示す符号と同一の符号は、同一又は略同一の処理を表しているため、詳細な説明は省略する。以下、図７のシーケンス図に従って、図６との対応を取りながら説明する。また、以下、図６及び図７の説明において、コア３２ａ〜３２ｄをそれぞれコア１〜コア４という場合がある。
図７に示すように、ＭＰＵ３２′のコア１において、ＯＳ及びアプリケーション１１が実行される（処理Ｔ１，図６のステップＳ２１及びＳ２２）。また、ＳＤＲＡＭ５２のビデオ表示用の領域であるVideo RAM（ＶＲＡＭ）が、後述するＧＰＵ３４及びＤＣ３５による表示処理のために確保される（処理Ｔ２）。

また、ＭＰＵ３２′のコア２により、カメラ５１の制御が指示されると（処理Ｔ３）、イメージングプロセッサ３３により、カメラ５１が起動され、撮影（生成）されたコンテンツが入力される（処理Ｔ４，図６のステップＳ１）。また、ＭＰＵ３２′のコア２により、画質制御が指示され（処理Ｔ５）、イメージングプロセッサ３３により、入力されたコンテンツに対する画像処理が行なわれる（処理Ｔ６，図６のステップＳ２）。

次いで、イメージングプロセッサ３３（ＤＭＡサブシステム３９）により、画像処理結果がＳＤＲＡＭ５２のＶ−ＲＡＷ領域に、ビデオＲＡＷデータとして保存される（処理Ｔ７，図６のステップＳ３）。また、ビデオＲＡＷデータがＨ．２６４エンコーダ（ビデオエンコーダ）３６へ転送され（処理Ｔ８）、Ｈ．２６４エンコーダ３６によりＨ．２６４方式のムービー圧縮（エンコード処理）が行なわれる（処理Ｔ９，図６のステップＳ７）。そして、Ｈ．２６４エンコーダ３６により、ムービー圧縮が行なわれたコンテンツが、ＳＤＲＡＭ５２のＶ−ＣＯＭＰ領域にビデオ圧縮データとして保存される（処理Ｔ１０）。

また、Ｉ／Ｏデバイスのマイクによりオーディオデータが取得され（処理Ｔ１１）、ＳＤＲＡＭ５２のＡ−ＲＡＷ領域にオーディオＲＡＷデータとして保存される（処理Ｔ１２）。そして、ＤＳＰ４０により、オーディオＲＡＷデータに対してオーディオ圧縮処理が実行される（処理Ｔ１３）。なお、オーディオ圧縮処理は、ＤＳＰ４０により、ＭＰＵ３２′のコア２による音質制御の指示（処理Ｔ１４）を受けて実行され、圧縮結果がＳＤＲＡＭ５２のＡ−ＣＯＭＰ領域にオーディオ圧縮データとして保存される（処理Ｔ１５）。

次に、ＭＰＵ３２′のコア２により、ＳＤＲＡＭ５２からビデオ圧縮データ及びオーディオ圧縮データが取得され（処理Ｔ１６及びＴ１７）、各圧縮データが纏められてコンテナ化される（処理Ｔ１８）。そして、コア２により、コンテナ化したコンテンツがＮＡＮＤコントローラ３７へ転送され、フラッシュメモリ５３に記録される（処理Ｔ１９，図６のステップＳ８）。

以上により、端末装置１０ａにおいて、カメラ５１によるムービー撮影及びコンテンツの格納処理が完了する。
一方、処理Ｔ８の処理と並行して、Ｉ／Ｏデバイスのタッチパネルにより、アプリケーション１１に対してＬＣＤ１５へのコンテンツの表示（画面プレビュー）が要求される（処理Ｔ２０）。画面プレビューの要求を受けると、ＭＰＵ３２′のコア１により、ＯＳ描画の指示が行なわれ（処理Ｔ２１）、ＧＰＵ３４により、ＬＣＤ１５に対するＯＳの画面の描画処理が実行される（処理Ｔ２２）。このとき、ＯＳの画面のデータがＶＲＡＭ領域に保持されている場合には、ＧＰＵ３４により、当該画面のデータが描画処理に用いられる（処理Ｔ２３）。ＯＳ描画処理が完了すると、ＧＰＵ３４により結果がＶＲＡＭ領域に書き込まれる（処理Ｔ２４）。

次いで、ＭＰＵ３２′のコア１により、アプリケーション描画の指示が行なわれ（処理Ｔ２５）、ＧＰＵ３４により、ＯＳの画面の描画と同様に、ＬＣＤ１５に対するアプリケーション１１の画面の描画処理が実行される（処理Ｔ２６）。このとき、アプリケーション１１の画面のデータがＶＲＡＭ領域に保持されている場合には、ＧＰＵ３４により、当該画面のデータが描画処理に用いられる（処理Ｔ２７）。アプリケーション描画処理が完了すると、ＧＰＵ３４（ＤＭＡサブシステム３９）により結果がＶＲＡＭ領域に書き込まれる（処理Ｔ２８）。

そして、ＭＰＵ３２′のコア１により、プレビュー描画の指示が行なわれ（処理Ｔ２９）、ＧＰＵ３４により、ＬＣＤ１５に対する、アプリケーション１２で指定されたコンテンツのプレビュー画面の描画処理が実行される（処理Ｔ３０）。このとき、ＧＰＵ３４により、Ｖ−ＲＡＷ領域からビデオＲＡＷデータが読み出されて、描画処理に用いられる（処理Ｔ３１）。プレビュー描画処理が完了すると、ＧＰＵ３４（ＤＭＡサブシステム３９）により結果がＶＲＡＭ領域に書き込まれる（処理Ｔ３２，図６のステップＳ４）。

処理Ｔ２４、Ｔ２８、及びＴ３２の各描画処理の結果がＶＲＡＭ領域に書き込まれると、ＤＣ３５により、画面出力のタイミングで、描画結果がＶＲＡＭ領域からＬＣＤ１５へ出力され（処理Ｔ３３，図６のステップＳ５）、ＬＣＤ１５により出力結果が表示される（図６のステップＳ６）。また、ＳＤＲＡＭ５２のＡ−ＲＡＷ領域のオーディオＲＡＷデータが、Ｉ／Ｏデバイスのスピーカーにより出力される（処理Ｔ３４）。

以上により、端末装置１０ａにおいて、ＬＣＤ１５によるコンテンツの表示が完了する。
また、ＤＣ３５により、描画結果がＶＲＡＭ領域から画面ミラーリング出力され（処理Ｔ３５）、ＤＭＡサブシステム３９によりＳＤＲＡＭ５２のバッファ領域に画面ミラーリングデータとして書き込まれる（処理Ｔ３６）。なお、ＤＣ３５は、処理Ｔ３３及びＴ３５において、それぞれ異なる解像度のコンテンツを出力することができる。例えばＤＣ３５は、表示装置２０の表示部２５に適した解像度で、画面ミラーリング出力を行なっても良い。一方、ＤＣ３５は、処理Ｔ３３及びＴ３５において、同一のコンテンツの出力を行なう場合には、処理Ｔ３５を省略して、画面ミラーリング用に処理Ｔ３３の出力を分岐させても良い。

そして、ＭＰＵ３２′のコア３及び４により、バッファ領域から画面ミラーリングデータが読み出されるとともに（処理Ｔ３７）、Ａ−ＲＡＷ領域からオーディオＲＡＷデータが読み出される（処理Ｔ３８）。
ＭＰＵ３２′のコア３及び４では、入力された画面ミラーリング出力に対して、Ｍ−ＪＰＥＧ方式の圧縮（エンコード処理）が実行され、オーディオＲＡＷデータ及び制御信号とともにコンテナ化される（処理Ｔ３９，図６のステップＳ２３）。そして、コア３及び４により、コンテナ化したコンテンツがＥＭＡＣ３８へ転送され（処理Ｔ４０）、Ｗｉ−Ｆｉコントローラ５４により表示装置２０へ送信される（処理Ｔ４１，図６のステップＳ１０）。

なお、コア３及び４により、著作権管理機能が実行され（処理Ｔ４２）、暗号化に用いる鍵等の情報が、Ｗｉ−Ｆｉ通信１ａを介して表示装置２０との間で送受信されても良い（処理Ｔ４３〜Ｔ４５）。
以上により、端末装置１０ａにおいて、無線ＬＡＮによる画面ミラーリング出力が完了する。

なお、図６及び図７は、端末装置１０における１フレームに対する処理を示しているため、端末装置１０は、コンテンツの全フレームに対して図６及び図７に示す処理を行なう。このように、上述した動作が、生成されるコンテンツのフレームごとに実行されることにより、端末装置１０において、コンテンツのＬＣＤ１５への表示処理、フラッシュメモリ５３への格納処理、及び表示装置２０への送信処理（画面ミラーリング）が行なわれる。

上述のように、一実施形態の第１実施例に係る端末装置１０ａによれば、一実施形態に係る端末装置１０と同様の効果を奏することができる。
〔２−１−３〕第１実施例の表示装置の構成例
次に、一実施形態の第１実施例に係る表示装置２０の構成例について説明する。
図８は、一実施形態の第１実施例に係る表示装置２０のハードウェア構成例を示す図である。なお、図８に示す表示装置２０の構成は、図１に示す一実施形態に係る表示装置２０、並びに後述する第２実施例及び第３実施例に係る表示装置２０と共通である。従って、以下の説明において、画面ミラーリングに係るコンテンツの送信元は、端末装置１０ａに限定されず、端末装置１０であるものとする。

図８に示すように、表示装置２０は、図示しないＳｏＣに実装されるＬ３インターコネクト１３１、ＭＰＵ１３２、イメージングプロセッサ１３３、ＧＰＵ１３４、ＤＣ１３５、及びビデオエンコーダ１３６を有する。また、表示装置２０は、図示しないＳｏＣに実装されるＤＭＡサブシステム１３９、Ｌ４インターコネクト１４１、及びＭ−ＪＰＥＧデコーダ１１６を有する。さらに、表示装置２０は、カメラ１５１、ＳＤＲＡＭ１５２、フラッシュメモリ１５３、Ｗｉ−Ｆｉコントローラ１５４、及びＬＣＤ２５を有する。なお、端末装置１０は、Ｉ／Ｏデバイスとして、オーディオデータを出力するスピーカー（図示省略）を有しても良い。

図８に示す各ブロックは、基本的に図２及び図５に示す端末装置１０における同一の名称の各ブロックと同様の機能を有するため、重複した説明は省略する。つまり、Ｌ３インターコネクト１３１、ＭＰＵ１３２、イメージングプロセッサ１３３、ＧＰＵ１３４、及びＤＣ１３５は、それぞれ端末装置１０のＬ３インターコネクト３１、ＭＰＵ３２、イメージングプロセッサ３３、ＧＰＵ３４、及びＤＣ３５と同様の機能を有する。また、ビデオエンコーダ１３６、ＤＭＡサブシステム１３９、及びＬ４インターコネクト１４１は、それぞれ端末装置１０のビデオエンコーダ３６、ＤＭＡサブシステム３９、及びＬ４インターコネクト４１と同様の機能を有する。さらに、カメラ１５１、ＳＤＲＡＭ１５２、フラッシュメモリ１５３、Ｗｉ−Ｆｉコントローラ１５４、及びＬＣＤ２５は、それぞれ端末装置１０のカメラ５１、ＳＤＲＡＭ５２、フラッシュメモリ５３、Ｗｉ−Ｆｉコントローラ５４、及びＬＣＤ１５と同様の機能を有する。なお、図８においては、図５に示す端末装置１０ａと同様に、便宜上、一部のブロックの図示を省略している。

以下、表示装置２０が有する各ブロックにおける、端末装置１０との相違点について説明する。
ＭＰＵ１３２は、複数、例えば２つのコア１３２ａ及び１３２ｂを有する。各コア１３２ａ及び１３２ｂは、独立に処理を実行することができる。例えば、第１実施例に係る表示装置２０は、予めコア１３２ａ及び１３２ｂの割り当てを以下のように決定する。

コア１３２ａ：アプリケーション２１のメイン処理及びＯＳ処理
コア１３２ｂ：イメージング／ビデオ処理
Ｍ−ＪＰＥＧデコーダ１１６は、Ｗｉ−Ｆｉコントローラ１５４によりＷｉ−Ｆｉ通信１ａを介して端末装置１０から受信したコンテンツに対して、Ｍ−ＪＰＥＧ方式のデコード（伸張）処理を実行する。

なお、表示装置２０によるコンテンツのデコード及びＬＣＤ２５への表示は、モバイル端末等におけるインターネット動画のデコード及び表示と同様に行なうことができる。
〔２−１−４〕第１実施例の表示装置の動作例
次に、上述の如く構成された表示装置２０の動作例を、図９及び図１０を参照して説明する。図９及び図１０は、図８に示す表示装置２０によるコンテンツの受信処理、及び表示処理の動作例を説明するフローチャート及びシーケンス図である。

なお、図９及び図１０は、表示装置２０における１フレームに対する処理を示している。また、図９及び図１０では、端末装置１０からムービー及びオーディオを含むコンテンツであって、Ｍ−ＪＰＥＧ方式のエンコード処理が施されたコンテンツを受信した場合を示している。
以下、図１０のシーケンス図に従って、図９との対応を取りながら説明する。また、以下、図９及び図１０の説明において、コア１３２ａ及び１３２ｂをそれぞれコア１及びコア２という場合がある。

図１０に示すように、ＭＰＵ１３２のコア１において、ＯＳ及びアプリケーション２１が実行される（処理Ｔ５１）。また、ＳＤＲＡＭ１５２のＶＲＡＭ領域が、後述するＧＰＵ１３４及びＤＣ１３５による表示処理のために確保される（処理Ｔ５２）。
ここで、Ｗｉ−Ｆｉコントローラ１５４（及び図示しないＥＭＡＣ）により、端末装置１０からコンテンツが受信されると（処理Ｔ５３，図９のステップＳ３１）、ＳＤＲＡＭ１５２のバッファ領域にコンテンツがバッファリングされる（処理Ｔ５４）。バッファ領域に保持されたコンテンツは、ＭＰＵ１３２のコア２により読み出され（処理Ｔ５５）、デコンテナが実行される（処理Ｔ５６）。デコンテナにおいて、ビデオ圧縮データ及びオーディオ圧縮データに分離されたコンテンツは、コア２により、それぞれＳＤＲＡＭ５２のＶ−ＣＯＭＰ領域及びＡ−ＣＯＭＰ領域に保存される（処理Ｔ５７及びＴ５８）。

次いで、ＤＭＡサブシステム１３９により、Ｖ−ＣＯＭＰ領域に保存されたビデオ圧縮データがＭ−ＪＰＥＧデコーダ１１６へ転送される（処理Ｔ５９）。そして、Ｍ−ＪＰＥＧデコーダ１１６により、ビデオ圧縮データに対してムービー伸張（デコード処理）が行なわれ（処理Ｔ６０，図９のステップＳ３２）、ＳＤＲＡＭ５２のＶ−ＲＡＷ領域に保存される（処理Ｔ６１，図９のステップＳ３３）。一方、Ａ−ＣＯＭＰ領域に保存されたオーディオ圧縮データは、ＤＳＰ１４０によりオーディオ伸張が行なわれ（処理Ｔ６２）、ＳＤＲＡＭ５２のＡ−ＲＡＷ領域に保存される（処理Ｔ６３）。

そして、ＭＰＵ１３２のコア１により、描画の指示が行なわれ（処理Ｔ６４）、ＧＰＵ１３４により、ＬＣＤ２５に対する、アプリケーション１２で指定されたコンテンツの描画処理が実行される（処理Ｔ６５）。このとき、ＧＰＵ１３４により、Ｖ−ＲＡＷ領域からビデオＲＡＷデータが読み出されて、描画処理に用いられる（処理Ｔ６６）。描画処理が完了すると、ＧＰＵ１３４により結果がＶＲＡＭ領域に書き込まれる（処理Ｔ６７，図９のステップＳ３４）。

描画処理の結果がＶＲＡＭ領域に書き込まれると、ＤＣ１３５により、画面出力のタイミングで、描画結果がＶＲＡＭ領域からＬＣＤ２５へ出力され（処理Ｔ６８，図９のステップＳ３５）、ＬＣＤ２５により出力結果が表示される（図９のステップＳ３６）。また、Ａ−ＲＡＷ領域のオーディオＲＡＷデータが、Ｉ／Ｏデバイスのスピーカーにより出力される（処理Ｔ６９）。

なお、コア２により、著作権管理機能が実行され（処理Ｔ７０）、暗号化に用いる鍵等の情報が、Ｗｉ−Ｆｉ通信１ａを介して端末装置１０との間で送受信されても良い（処理Ｔ７１〜Ｔ７３）。
以上により、表示装置２０において、コンテンツの受信、及びＬＣＤ２５による受信したコンテンツの表示が完了する。

なお、図９及び図１０は、表示装置２０における１フレームに対する処理を示しているため、表示装置２０は、コンテンツの全フレームに対して図９及び図１０に示す処理を行なう。このように、上述した動作が、受信したコンテンツのフレームごとに実行されることにより、表示装置２０において、コンテンツの受信処理、及び受信したコンテンツのＬＣＤ２５への表示処理が行なわれる。

〔２−２〕第２実施例
次に、図１１〜図１５を参照して第２実施例について説明する。第２実施例では、エンコーダ１６が上記（２）のハードウェアアクセラレータにより構成される。
〔２−２−１〕第２実施例の端末装置の構成例
まず、一実施形態の第２実施例に係る端末装置１０ｂの構成例について説明する。

図１１は、第２実施例に係る端末装置１０ｂのハードウェア構成例を示す図である。図１１に示すように、端末装置１０ｂは、図２に示す端末装置１０の構成に加えて、ＤＭＡサブシステム３９、ＤＳＰ４０、Ｌ４インターコネクト４１、及びハードウェアアクセラレータ４２を有する。なお、図１１においては、便宜上、図２に示す端末装置１０の一部のブロックの図示を省略している。

なお、ＤＭＡサブシステム３９、ＤＳＰ４０、及びＬ４インターコネクト４１は、図５に示す同一の符号と同様であるため、詳細な説明は省略する。
ＭＰＵ３２は、複数、例えば２つのコア３２ａ及び３２ｂを有する。各コア３２ａ及び３２ｂは、独立に処理を実行することができる。例えば、第２実施例に係る端末装置１０ｂは、予めコア３２ａ及び３２ｂの割り当てを以下のように決定する。

コア３２ａ：アプリケーション１１のメイン処理及びＯＳ処理
コア３２ｂ：イメージング／ビデオ処理
ハードウェアアクセラレータ（第３エンコーダ）４２は、ＭＰＵ３２等のプロセッサに付加的に実装されたハードウェアである。具体的には、ハードウェアアクセラレータ４２は、図２に示すＭ−ＪＰＥＧエンコーダ１６が実行するＭ−ＪＰＥＧ方式のエンコード処理と、Ｈ．２６４エンコーダ３６が実行するＨ．２６４方式のエンコード処理と、を時分割で実行することができる。このため端末装置１０ｂにおいては、Ｍ−ＪＰＥＧエンコーダ１６及びＨ．２６４エンコーダ３６の実装を省略することができる。

つまり、第２実施例に係る端末装置１０ｂにおいては、図２に示すＭ−ＪＰＥＧエンコーダ１６及びＨ．２６４エンコーダ３６は、共通の一つのエンコーダとしてのハードウェアアクセラレータ４２により構成される。
なお、上述したハードウェアアクセラレータ４２によるエンコード処理を実現するために、端末装置１０ｂは、図１１に示すように、ＤＣ３５からＬ３インターコネクト３１へ、表示処理の実行結果（出力）を戻すパスが実装される。また、ＤＣ３５からＬ３インターコネクト３１への出力は一度ＳＤＲＡＭ５２に保存される。そして、ハードウェアアクセラレータ４２は、フレーム時間（例えば１／３０ｓ）ごとに（時分割で）、ムービー用のＨ．２６４方式のエンコード処理と、画面ミラーリング用のＭ−ＪＰＥＧ方式のエンコード処理とを切り替えて実行する。

ここで、ビデオエンコーダ（ハードウェアアクセラレータ）は、エンコード方式が固定か、又は、多くの設定レジスタを変更する若しくはソフトウェアを再ロードするためにエンコード方式の切替処理に時間がかかる。そこで、第２実施例に係るハードウェアアクセラレータ４２は、ムービー向きのエンコード（例えばＨ．２６４方式）の処理の途中で割込み可能とし、直前の状態を保持したままミラーリング向きの別方式のエンコード（例えばＭ−ＪＰＥＧ方式）の処理を可能とする。

ハードウェアアクセラレータ４２は、ムービー向きのエンコードにおいて、前後のフレームを参照して処理を行なうため、フレーム間比較機能を備えることになる。一方、ハードウェアアクセラレータ４２は、ミラーリング向きのエンコードにおいて、単一のフレームを処理するため、フレーム間比較機能は使用しなくて良い。このように、ムービー向き及びミラーリング向きの両者のエンコード間で実行される機能ユニットに差があるため、ハードウェアアクセラレータ４２には、両方式間で共通する一部の機能ユニットの状態だけを退避する機構を追加することが望ましい。

ここで、ムービー向きのエンコードであるＨ．２６４方式と、ミラーリング向きのエンコードであるＭ−ＪＰＥＧ方式とでは、図４に示すエンコード処理の機能が共通している。そこで、ハードウェアアクセラレータ４２は、図１２及び図１３に示すように、両方式間で共通する機能を退避させる構成を有する。
図１２は、図１１に示すハードウェアアクセラレータ４２の構成例を示す図であり、図１３は、ハードウェアアクセラレータ４２によるエンコード処理の動作例を説明するフローチャートである。

図１２（ｂ）に示すように、ハードウェアアクセラレータ４２は、エンコード処理部４２０、第１レジスタ４２０ａ、及び第２レジスタ４２０ｂを有する。
エンコード処理部４２０は、少なくとも図１２（ａ）に示す両エンコード方式の共通処理を実行する。エンコード処理部４２０は、バッファリング機能部４２１、色変換機能部４２２、色差間引き機能部４２３、ＤＣＴ変換機能部４２４、量子化機能部４２５、及びハフマン圧縮機能部４２６を有する。

バッファリング機能部４２１は、エンコード対象のコンテンツに対して、例えば１６ライン分のバッファリングを行なう。色変換機能部４２２は、１６ライン分のコンテンツに対してエンコード方式に係る色空間への変換を行なう。色差間引き機能部４２３は、色変換が行なわれたコンテンツに対して、色差に基づくビット数又はピクセル数の間引きを行なう。ＤＣＴ変換機能部４２４は、色差間引きが行なわれたコンテンツに対して、周波数領域への変換を行なう。量子化機能部４２５は、ＤＣＴによる変換結果について量子化を行ない、高周波のビット数の間引きを行なう。ハフマン圧縮機能部４２６は、量子化されたコンテンツに対して、ハフマン圧縮を行なう。

第１レジスタ４２０ａは、各機能部４２１〜４２６により例えばＭ−ＪＰＥＧ方式のエンコードが行なわれる場合に用いられる状態情報を保持する設定レジスタであり、各機能部４２１〜４２６に対応してレジスタ４２１ａ〜４２６ａを有する。
第２レジスタ４２０ａは、各機能部４２１〜４２６により例えばＨ．２６４方式のエンコードが行なわれる場合に用いられる状態情報を保持する設定レジスタであり、各機能部４２１〜４２６に対応してレジスタ４２１ｂ〜４２６ｂを有する。

なお、時分割エンコードにおいて、ハードウェアアクセラレータ４２は、一方の方式によるエンコードを実行している間に他方の方式によるエンコードが実行されないように、ロックを行なう。このロックは、時分割の切替タイミングや一方の方式によるエンコードが完了したときに、解除（リリース）される。
以上の構成により、ハードウェアアクセラレータ４２は、図１３に示す処理を実行する。なお、図１３に示す処理のうち、Ｍ−ＪＰＥＧ方式のエンコードで実行される処理は、ステップＳ１１〜Ｓ１６（図４参照）である。エンコード処理部４２０は、Ｍ−ＪＰＥＧ方式及びＨ．２６４方式のいずれか一方の方式のみのエンコードを行なう際には、実行するエンコード用の設定を、対応する第１レジスタ４２０ａ又は第２レジスタ４２０ｂに対して行ない、要求される処理のみを実行する。

一方、エンコード処理部４２０は、時分割で両方式のエンコードを並行に処理する場合には、各エンコード用の第１レジスタ４２０ａ及び第２レジスタ４２０ｂを切り替えながらエンコード処理を実行する。これにより、エンコード処理部４２０は、エンコード方式の切り替えに係るオーバーヘッド（時間）を低減することができる。
以下、ハードウェアアクセラレータ４２による時分割エンコードの具体例を説明する。

はじめにＭ−ＪＰＥＧ方式のエンコードが行なわれる場合、図１３に示すように、エンコード処理部４２０により、入力画像に対してステップＳ１１〜Ｓ１６の処理がレジスタ４２１ａ〜４２６ａを用いて実行され、出力ストリームが出力される。ここで、時分割の切替のタイミング（例えばフレーム時間）になると、エンコード処理部４２０により、入力画像に対してＨ．２６４方式によるステップＳ１１〜Ｓ１５の処理がレジスタ４２１ｂ〜４２５ｂを用いて実行される。

そして、エンコード処理部４２０により、入力画像に対して、Ｈ．２６４エンコード専用の処理である逆量子化及び逆ＤＣＴ変換が行なわれ（ステップＳ４１及びＳ４２）、ループフィルタによりブロックノイズの低減処理が行なわれる（ステップＳ４３）。また、エンコード処理部４２０により、処理結果がフレームメモリに格納され（ステップＳ４４）、フレームメモリ内のデータとステップＳ１３における色差間引きの結果とに基づき動き検出が行なわれる（ステップＳ４５）。そして、動き検出の結果に応じて、エンコード処理部４２０により動き予測（ステップＳ４６）又は空間予測（ステップＳ４７）が行なわれる。Ｈ．２６４形式のエンコードでは、上述した処理がフレーム間の比較により行なわれる。

〔２−２−２〕第２実施例の端末装置の動作例
次に、上述の如く構成された端末装置１０ｂの動作例を、図１４及び図１５を参照して説明する。図１４及び図１５は、図１１に示す端末装置１０ｂによるコンテンツの表示処理、格納処理、及び送信処理の動作例を説明するフローチャート及びシーケンス図である。なお、図１４の説明において、図３に示す符号と同一の符号は、同一又は略同一の処理を表しているため、詳細な説明は省略する。また、図１５は、図７における処理Ｔ８〜Ｔ１０を処理Ｔ８１〜Ｔ８４に置き換え、図７における処理Ｔ３７及びＴ３９を処理Ｔ８５〜Ｔ８９に置き換えたものである。以下、上記変更部分について説明する。

図１５に示すように、ハードウェアアクセラレータ４２により、ムービーエンコードの初期化が行なわれる（処理Ｔ８１）。この初期化では、ハードウェアアクセラレータ４２のロックや（図１４のステップＳ５１）、使用する第２レジスタ４２０ｂへの切り替え等の処理が行なわれる。そして、処理Ｔ７においてＶ−ＲＡＷ領域に保存されたビデオＲＡＷデータが、ハードウェアアクセラレータ４２により読み出される（処理Ｔ８２）。ハードウェアアクセラレータ４２においては、入力されたビデオＲＡＷデータに対して、Ｈ．２６４方式のムービー圧縮が行なわれ（処理Ｔ８３）、圧縮結果がＶ−ＣＯＭＰ領域に保存される（処理Ｔ８４）。なお、処理Ｔ８３においてムービー圧縮が完了すると、ハードウェアアクセラレータ４２により、ロックが解除（リリース）される（図１４のステップＳ５２）。

また、図１５に示すように、ハードウェアアクセラレータ４２により、静止画エンコードの初期化が行なわれる（処理Ｔ８５）。この初期化では、ハードウェアアクセラレータ４２のロックや（図１４のステップＳ５３）、使用する第１レジスタ４２０ａへの切り替え等の処理が行なわれる。そして、処理Ｔ３６において、ＤＭＡサブシステム３９によりＳＤＲＡＭ５２のバッファ領域に画面ミラーリングデータが書き込まれると、ハードウェアアクセラレータ４２により、バッファ領域から画面ミラーリングデータが読み出される（処理Ｔ８６）。ハードウェアアクセラレータ４２においては、読み出した画面ミラーリングデータ（コンテンツ）に対して、Ｍ−ＪＰＥＧ方式の画像圧縮が行なわれ（処理Ｔ８７）、圧縮結果がＭＰＵ３２のコア２へ転送される（処理Ｔ８８）。なお、処理Ｔ８８において画像圧縮が完了すると、ハードウェアアクセラレータ４２により、ロックが解除（リリース）される（図１４のステップＳ５４）。

そして、ＭＰＵ３２のコア２により、処理Ｔ８８により画像圧縮されたコンテンツ、処理Ｔ３６によりＡ−ＲＡＷ領域から読み出されたオーディオＲＡＷデータ、及び制御信号がコンテナ化される（処理Ｔ８９）。
以上の処理により、端末装置１０ｂにおいて、コンテンツの表示処理、格納処理、及び送信処理が実行される。

上述のように、一実施形態の第２実施例に係る端末装置１０ｂによれば、一実施形態に係る端末装置１０と同様の効果を奏することができる。
また、第２実施例に係る端末装置１０ｂによれば、表示装置２０へ送信するコンテンツに係るＭ−ＪＰＥＧ形式のエンコード処理が、ハードウェアアクセラレータ４２により行なわれる。これにより、コンテンツを表示装置２０へ送信するための処理を、アプリケーション１１及びＯＳの動作と完全に切り離して実行することができるため、アプリケーション１１及びＯＳの動作に与える影響を大幅に低下させることができる。

特に、スマートフォンやタブレット用のＭＰＵ３２は、ＰＣよりも演算能力が低いため、ソフトウェアエンコード処理を実行させると負荷が大きく、アプリケーション１１及びＯＳの動作に及ぼすことになる。又は、ＭＰＵ３２の演算能力を上げるためには、標準よりも高性能・高コストなＭＰＵを選択することになる。
このように、第２実施例に係る端末装置１０ｂによれば、アプリケーション１１及びＯＳの動作を低下させることなく、また、コストの上昇を抑えることができるため、端末装置１０ｂに表示されるコンテンツを表示装置２０に表示させる際の利便性を向上させることができる。

〔２−３〕第３実施例
次に、図１６〜図１８を参照して第３実施例について説明する。第３実施例では、エンコーダ１６が上記（３）のハードウェアエンコーダの追加により実現される。
〔２−３−１〕第３実施例の端末装置の構成例
まず、一実施形態の第３実施例に係る端末装置１０ｃの構成例について説明する。

図１６は、第３実施例に係る端末装置１０ｃのハードウェア構成例を示す図である。図１６に示すように、端末装置１０ｃは、図１１に示す第２実施例の端末装置１０ｂの構成に対して、ハードウェアアクセラレータ４２をＭ−ＪＰＥＧエンコーダ１６′及びＨ．２６４エンコーダ３６に置き換えた点が異なる。また、端末装置１０ｃは、端末装置１０ｂの構成に対して、ＧＰＵ３４をＬ３インターコネクト３１に直接接続している点が異なるが、それ以外の点については同様であるため、重複した説明を省略する。なお、図１６においては、便宜上、図２に示す端末装置１０の一部のブロックの図示を省略している。

Ｍ−ＪＰＥＧエンコーダ１６′は、追加のビデオコーデックであり、Ｍ−ＪＰＥＧ方式のエンコード処理をハードウェアにより実行する。なお、既述のように、Ｍ−ＪＰＥＧ方式のエンコード処理は、フレーム間圧縮や動き補償等の処理が不要である。従って、例えばコンテンツの表示処理、及び格納処理のみを行なう端末装置に対して、Ｍ−ＪＰＥＧエンコーダ１６′を追加する場合でも、小規模な回路を追加するだけで済むため、大幅な設計変更を行なわずに、端末装置１０ｃを実現することができる。

〔２−３−２〕第３実施例の端末装置の動作例
次に、上述の如く構成された端末装置１０ｃの動作例を、図１７及び図１８を参照して説明する。図１７及び図１８は、図１６に示す端末装置１０ｃによるコンテンツの表示処理、格納処理、及び送信処理の動作例を説明するフローチャート及びシーケンス図である。なお、図１７の説明において、図３に示す符号と同一の符号は、同一又は略同一の処理を表しているため、詳細な説明は省略する。また、図１８は、図７における処理Ｔ３７及びＴ３９を処理Ｔ９１〜Ｔ９４に置き換えたものである。以下、上記変更部分について説明する。

図１８に示すように、処理Ｔ３６において、ＤＭＡサブシステム３９によりＳＤＲＡＭ５２のバッファ領域に画面ミラーリングデータが書き込まれると、Ｍ−ＪＰＥＧエンコーダ１６′により、バッファ領域から画面ミラーリングデータが読み出される（処理Ｔ９１）。Ｍ−ＪＰＥＧエンコーダ１６′においては、入力された画面ミラーリング出力（コンテンツ）に対して、Ｍ−ＪＰＥＧ方式の画像圧縮が行なわれ（処理Ｔ９２，図１７のステップＳ６１）、圧縮結果がＭＰＵ３２のコア２へ転送される（処理Ｔ９３）。

そして、ＭＰＵ３２のコア２により、処理Ｔ９２により画像圧縮されたコンテンツ、処理Ｔ３６によりＡ−ＲＡＷ領域から読み出されたオーディオＲＡＷデータ、及び制御信号がコンテナ化される（処理Ｔ９４）。
以上の処理により、端末装置１０ｃにおいて、コンテンツの表示処理、格納処理、及び送信処理が実行される。

上述のように、一実施形態の第３実施例に係る端末装置１０ｃによれば、一実施形態に係る端末装置１０及び第２実施例に係る端末装置１０ｂと同様の効果を奏することができる。
〔２−４〕ＳｏＣ内部の通信量について
ここで、図２、図５、図１１、及び図１６に示す端末装置１０（１０ａ〜１０ｃ）において、ＳｏＣ３の内部バスの通信量を概算してみる。

図１９は、一実施形態及び第１実施例〜第３実施例に係る端末装置１０におけるＳｏＣ３の内部バスの通信量の一例を示す図であり、図２０は、第１実施例に係る端末装置１０ａにおけるＳｏＣ３の内部バスの通信量の一例を示す図である。図２１は、第２実施例に係る端末装置１０ｂにおけるＳｏＣ３の内部バスの通信量の一例を示す図であり、図２２は、第３実施例に係る端末装置１０ｃにおけるＳｏＣ３の内部バスの通信量の一例を示す図である。

なお、図１９〜図２２は、端末装置１０（１０ａ〜１０ｃ）において、カメラ５１によるムービー撮影等の負荷の高い処理を行なった場合の、ＳｏＣ３の内部バスの通信量を概算した図である。
例えば、図１９に示すように、Ｎｏ．１、２、及び５は、それぞれ通信量が２００ＭＢ／ｓと多く、ＳｏＣ３の内部バスにおける通信のネックになり得るフローであることが分かる。つまり、Ｎｏ．１、２、及び５のフローは、それぞれＬ３インターコネクト３１を用いて通信を行なうことが好ましい。換言すれば、一実施形態及び第１実施例〜第３実施例に係る端末装置１０（１０ａ〜１０ｃ）は、いずれも上記Ｎｏ．１、２、及び５のフローの内部バスにＬ３インターコネクト３１を用いているため、２００ＭＢ／ｓの通信量を確保できていると言える。

なお、図１９において、通信量が“−”であるフローは、変動量が大きく通信量の算出が困難であるフロー、或いは通信量が少ないために数値の記載を省略したフローである。なお、通信量が“File Read”又は“File Write”であるフローは、読み出し又は書き込み処理に応じて通信量の変動が大きいが、通信量が少ないために数値の記載を省略したフローである。

また、図２０〜図２２に示すように、Ｎｏ．１４、１５、１８、１９、２２は、それぞれ通信量が２００ＭＢ／ｓと多い。つまり、第１実施例〜第３実施例に係る端末装置１０ａ〜１０ｃは、それぞれ上記Ｎｏ．１４、１５、１８、１９、２２のフローの内部バスにＬ３インターコネクト３１を用いているため、２００ＭＢ／ｓの通信量を確保できていると言える。

このように、上述した一実施形態及び第１実施例〜第３実施例では、負荷の高い処理を行なう際に通信のネックとなるフローに、Ｌ３インターコネクト３１を用いている。特に、図２０〜図２２に示すように、Ｍ−ＪＰＥＧエンコーダ１６（ＭＰＵ３２′、ハードウェアアクセラレータ４２、Ｍ−ＪＰＥＧエンコーダ１６′）に対する／からの通信にＬ３インターコネクト３１を用いている。従って、通信量の減少を抑制することができ、端末装置１０と表示装置２０との間で効率的な画面ミラーリングを行なうことができる。

〔３〕その他
以上、本発明の好ましい実施形態について詳述したが、本発明は、係る特定の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲内において、種々の変形、変更して実施することができる。
例えば、上述した一実施形態及び第１実施例〜第３実施例においては、ミラーリング向きのエンコード方式としてＭ−ＪＰＥＧ方式を用い、ムービー向きのエンコード方式としてＨ．２６４方式を用いたが、これに限定されるものでなく、種々のエンコード方式を用いることができる。

また、上述した一実施形態及び第１実施例〜第３実施例においては、ネットワーク１ａがＷｉ−Ｆｉである場合について説明したが、これに限定されるものではない。例えば、ネットワーク１ａが他の無線ＬＡＮや、有線ＬＡＮ（ＬＡＮケーブル）により実現されても良い。なお、ネットワーク１ａがＬＡＮケーブルである場合、図２５に示すＨＤＭＩケーブル等のケーブル１０００ｂを用いる場合よりも、長いケーブルを容易に確保できる点やケーブル自体のコストが低い点等の観点から、利便性が高い。

さらに、上述した第２実施例において、ハードウェアアクセラレータ４２により時分割エンコードが行なわれる際に、一方のエンコード方式として、フレーム間比較機能を使用しないＭ−ＪＰＥＧ方式を挙げたが、これに限定されるものではない。例えば、ハードウェアアクセラレータ４２は、フレーム間比較機能を使用する２以上のエンコード方式により、時分割エンコードを行なっても良い。この場合、第１レジスタ４２０ａ及び第２レジスタ４２０ｂは、それぞれ当該２以上のエンコード方式において共通する機能ごとの設定レジスタを有するようにすれば良い。

また、上述した第２実施例において、ハードウェアアクセラレータ４２は、２つのエンコード方式により時分割エンコードを行なう場合を挙げたが、これに限定されるものではない。例えば、ハードウェアアクセラレータ４２を、２以上の入力ストリームを異なるエンコード方式で並行処理するマルチスレッド方式の構成としても良い。この場合、ハードウェアアクセラレータ４２は、各機能ユニットを最適数だけ配置する設計とすることができる。

さらに、上述した一実施形態及び第１実施例〜第３実施例においては、表示処理部１４の一例としてのＧＰＵ３４及びＤＣ３５等がＳｏＣ３に実装される場合について説明したが、これに限定されるものではなく、ＧＰＵ３４及びＤＣ３５はＳｏＣ３の外部に設けられても良い。
なお、一実施形態及び第１実施例〜第３実施例の通信システム１の各種機能の全部もしくは一部は、コンピュータ（端末装置１０（１０ａ〜１０ｃ）及び表示装置２０の少なくとも一方を含む）が所定のプログラムを実行することによって実現されても良い。

そのプログラムは、例えばフレキシブルディスク，ＣＤ（ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷなど），ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−ＲＡＭ，ＤＶＤ−Ｒ，ＤＶＤ−ＲＷ，ＤＶＤ＋Ｒ，ＤＶＤ＋ＲＷなど），ブルーレイディスク等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置または外部記憶装置に転送し格納して用いる。

ここで、コンピュータとは、ハードウェアとＯＳ（オペレーティングシステム）とを含む概念であり、ＯＳの制御の下で動作するハードウェアを意味している。また、ＯＳが不要でアプリケーションプログラム単独でハードウェアを動作させるような場合には、そのハードウェア自体がコンピュータに相当する。ハードウェアは、少なくとも、ＣＰＵ等のマイクロプロセッサと、記録媒体に記録されたコンピュータプログラムを読み取る手段とをそなえている。上記プログラムは、上述のようなコンピュータに、一実施形態及び第１位実施例〜第３実施例の各種機能を実現させるプログラムコードを含んでいる。また、その機能の一部は、アプリケーションプログラムではなくＯＳによって実現されてもよい。

〔４〕付記
以上の実施形態に関し、更に以下の付記を開示する。
（付記１）
表示処理部において表示処理が行なわれたコンテンツに対して、受信装置へ送信するための第１のエンコード処理を実行する第１エンコーダを実装する集積回路を有することを特徴とする、端末装置。

（付記２）
コンテンツを保持するメモリと、
前記集積回路に実装され、前記メモリに保持された前記コンテンツに対して、格納部に格納するための第２のエンコード処理を実行して、前記格納部へ格納する第２エンコーダと、
前記メモリに保持された前記コンテンツに対して前記表示処理を実行する前記表示処理部と、をさらに有することを特徴とする、付記１記載の端末装置。

（付記３）
前記表示処理部は、前記表示処理が行なわれたコンテンツを前記メモリに保持し、
前記第１エンコーダは、前記メモリに保持された前記表示処理を行なわれたコンテンツを読み出して、前記第１のエンコード処理を実行することを特徴とする、付記２記載の端末装置。

（付記４）
前記表示処理部、前記第１エンコーダ、及び前記メモリは、それぞれインターコネクトに接続されることを特徴とする、付記３記載の端末装置。
（付記５）
前記第１エンコーダ及び第２エンコーダは、共通の一つの第３エンコーダにより構成されることを特徴とする、付記２〜４のいずれか１項記載の端末装置。

（付記６）
前記第３エンコーダは、
前記第１及び第２のエンコード処理を時分割で実行するエンコード処理部を有することを特徴とする、付記５記載の端末装置。
（付記７）
前記第３エンコーダは、
前記第１のエンコード処理における状態情報を保持する第１レジスタと、
前記第２のエンコード処理における状態情報を保持する第２レジスタと、をさらに有し、
前記エンコード処理部は、前記第１レジスタ及び第２レジスタを用いて、前記第１及び第２のエンコード処理を時分割で実行することを特徴とする、付記６記載の端末装置。

（付記８）
前記集積回路に実装され、前記端末装置における所定の処理を行なうとともに、前記第１のエンコード処理を実行するプロセッサをさらに有し、
前記プロセッサは、前記第１エンコーダとして機能することを特徴とする、付記２〜４のいずれか１項記載の端末装置。

（付記９）
前記第１のエンコード処理は、前記第２のエンコード処理よりも圧縮率の高いエンコード処理であることを特徴とする、付記２〜８のいずれか１項記載の端末装置。
（付記１０）
前記表示処理部において前記表示処理が完了したコンテンツを表示する表示部をさらに有し、
前記第１エンコーダは、前記表示処理部において前記表示部に表示させるための表示処理が完了した前記コンテンツに対して、前記第１のエンコード処理を実行することを特徴とする、付記１〜９のいずれか１項記載の端末装置。

（付記１１）
前記第１エンコーダにより前記第１のエンコード処理が行なわれた前記コンテンツを前記受信装置へ送信する送信部をさらに有することを特徴とする、付記１〜１０のいずれか１項記載の端末装置。
（付記１２）
前記送信部は、無線通信により前記コンテンツを前記受信装置へ送信することを特徴とする、付記１１記載の端末装置。

（付記１３）
プロセッサを実装する集積回路を有するコンピュータに、
表示処理部において表示処理が行なわれたコンテンツに対して、受信装置へ送信するための第１のエンコード処理を実行する、
処理を実行させることを特徴とする、処理プログラム。

（付記１４）
前記コンピュータは、前記表示処理が完了したコンテンツを表示する表示部をさらに有し、
前記表示部に表示させるための表示処理が完了した前記コンテンツに対して、前記第１のエンコード処理を実行する、
処理を前記コンピュータに実行させることを特徴とする、付記１３記載の処理プログラム。

（付記１５）
表示処理部によって表示処理が行なわれたコンテンツに対して、受信装置へ送信するための第１のエンコード処理を実行する第１エンコーダを有することを特徴とする、集積回路。

１，１００，１００−１，１００−２ 通信システム
１ａ Ｗｉ−Ｆｉ通信（ＬＡＮ，ネットワーク）
１０，１０ａ〜１０ｃ，１０００，１０００−１，１０００−２ 端末装置
１１，１１００，１１００−１，１１００−２，２１，２１００，２１００−１，２１００−２ アプリケーション
１２，１２００，２２，２２００ ライブラリ
１３，１３００，１３００−１，１３００−２，２３，２３００，２３００−１，２３００−２ ドライバ
１４，１４００，１４００−１，１４００−２，２４，２４００，２４００−１，２４００−２ 表示処理部
１５，１５００，２５，２５００，２５００−１，２５００−２ ＬＣＤ（表示部）
１６，１６′ Ｍ−ＪＰＥＧエンコーダ（エンコーダ，ビデオエンコーダ，第１エンコーダ）
１７，１６００ 送信部
１３１，３１００ Ｌ３インターコネクト
１３６ Ｈ．２６４エンコーダ（ビデオエンコーダ）
１５３，５３００ フラッシュメモリ
１０００ａ Ｗｉ−Ｆｉ（無線ＬＡＮ）
１０００ｂ ケーブル
２，２０００ 表示装置（受信装置）
２６，２６００ 受信部
２７ Ｍ−ＪＰＥＧデコーダ（ビデオデコーダ，デコーダ）
３ システムオンチップ（集積回路）
３１ Ｌ３インターコネクト（接続部）
３２ ＣＰＵ（ＭＰＵ，プロセッサ）
３２′，１３２ ＭＰＵ（プロセッサ）
３２ａ〜３２ｄ，１３２ａ，１３２ｂ コア
３３，１３３，３３００ イメージングプロセッサ
３４，１３４，３４００ ＧＰＵ
３５，１３５，３５００ ディスプレイコントローラ
３６，３６′ Ｈ．２６４エンコーダ（ビデオエンコーダ，第２エンコーダ）
３７，３７００ ＮＡＮＤコントローラ
３８，３８００ ＥＭＡＣ
３９，１３９ ＤＭＡサブシステム
３０００ システムオンチップ
３２００ ＣＰＵ
３６００ Ｈ．２６４エンコーダ
４０ ＤＳＰ
４１，１４１ Ｌ４インターコネクト
４２ ハードウェアアクセラレータ（第３エンコーダ）
４２０ エンコード処理部
４２０ａ レジスタグループ（第１レジスタ）
４２０ｂ レジスタグループ（第２レジスタ）
４２１ バッファリング機能部
４２１ａ〜４２６ａ，４２１ｂ〜４２６ｂ レジスタ
４２２ 色変換機能部
４２３ 色差間引き機能部
４２４ ＤＴＣ変換機能部
４２５ 量子化機能部
４２６ ハフマン圧縮機能部
５１，１５１，５１００ カメラ
５２，１５２ ＳＤＲＡＭ（メモリ）
５３ フラッシュメモリ（格納部）
５４，１５４，５４００ Ｗｉ−Ｆｉコントローラ
５２００ ＳＤＲＡＭ

Claims (6)

1. 表示処理部において表示処理が行なわれたコンテンツに対して、受信装置へ送信するための第１のエンコード処理を実行する第１エンコーダを実装する集積回路を有することを特徴とする、端末装置。
2. 前記コンテンツを保持するメモリと、
   前記集積回路に実装され、前記メモリに保持された前記コンテンツに対して、格納部に格納するための第２のエンコード処理を実行して、前記格納部へ格納する第２エンコーダと、
   前記メモリに保持された前記コンテンツに対して前記表示処理を実行する前記表示処理部と、をさらに有することを特徴とする、請求項１記載の端末装置。
3. 前記表示処理部は、前記表示処理が行なわれたコンテンツを前記メモリに保持し、
   前記第１エンコーダは、前記メモリに保持された前記表示処理を行なわれたコンテンツを読み出して、前記第１のエンコード処理を実行することを特徴とする、請求項２記載の端末装置。
4. 前記表示処理部、前記第１エンコーダ、及び前記メモリは、それぞれインターコネクトに接続されることを特徴とする、請求項３記載の端末装置。
5. 前記第１エンコーダ及び第２エンコーダは、共通の一つの第３エンコーダにより構成されることを特徴とする、請求項２〜４のいずれか１項記載の端末装置。
6. プロセッサを実装する集積回路を有するコンピュータに、
   表示処理部において表示処理が行なわれたコンテンツに対して、受信装置へ送信するための第１のエンコード処理を実行する、
   処理を実行させることを特徴とする、処理プログラム。

Images