JPWO2016174784A1 - 制御装置および表示装置 - Google Patents

Abstract

映像に応じた動きによって映像に視覚効果を付与することができる表示装置等を提供する。通信端末（２Ａ）は、表示装置（１）の表示面を動かすための、上記表示面に表示される映像に応じた動作データを生成する動作データ生成部（１２３）と、上記動作データ生成部が生成した動作データを上記表示装置に送信して、該動作データに従って上記表示面の動作機構を動作させて該表示面を動かす制御を上記表示装置に実行させるデータ送信部（１２２）と、を備えている。

Description

本発明は映像を表示する表示装置および該表示装置を制御する制御装置に関する。

これまでに、画像等の表示を行う表示装置について、多種多様なものが開発されている。例えば、特許文献１には、予め決められた領域を自律的に移動して広告を行う自律移動ロボットであって、情報提供サーバに蓄えられている広告情報を読み出して出力する自律移動ロボットが開示されている。この技術によれば、予め決められた領域内において、内容が豊富な広告を行うことができる。

日本国公開特許公報「特開２００３−５０５５９号公報」（２００３年２月２１日公開）

しかし、上記従来技術におけるロボットの移動は、あくまで広告を行う位置を変えるための移動であり、表示する広告に対して当該広告に応じた視覚効果をもたらすためのものではなかった。このため、上記従来技術では、広告の内容よりもロボットの方が注目を集めてしまうおそれがある。本発明は、上記の問題点に鑑みてなされたものであり、その目的は、映像に応じた動きによって映像に視覚効果を付与することができる表示装置等を提供することにある。

上記の課題を解決するために、本発明の一態様に係る制御装置は、表示面を備えた表示装置を制御する制御装置であって、上記表示面を動かすための、上記表示面に表示される映像に応じた動作データを生成する動作データ生成部と、上記動作データ生成部が生成した動作データを上記表示装置に送信して、該動作データに従って上記表示面の動作機構を動作させて該表示面を動かす制御を上記表示装置に実行させるデータ送信部と、を備えている。

また、本発明の一態様に係る表示装置は、上記の課題を解決するために、表示面を備えた表示装置であって、上記表示面を動かすための、上記表示面に表示する映像に応じた動作データを、上記表示装置の動作を制御する制御装置から取得する動作データ取得部と、上記表示面に上記映像が表示されているときに、上記動作データに従って上記表示面の動作機構を動作させて上記表示面を動かす動作制御部と、を備えている。

そして、本発明の一態様に係る制御装置は、上記の課題を解決するために、表示面を備えた表示装置を制御する制御装置であって、上記表示面を動かすための、上記表示面に表示される映像に応じた動作データを取得する動作データ取得部と、上記動作データ取得部が取得した動作データを上記表示装置に送信して、該動作データに従って上記表示面の動作機構を動作させて該表示面を動かす制御を上記表示装置に実行させるデータ送信部と、を備えている。

また、本発明の他の態様に係る表示装置は、上記の課題を解決するために、表示面と、上記表示面に映像を表示させる表示制御部と、上記表示制御部が表示させる映像に応じて上記表示面を動かす動作制御部と、を備えている。

本発明の上記各態様によれば、映像に応じた動きによって映像に視覚効果を付与することができるという効果を奏する。

本発明の一実施形態に係る表示部動作システムの要部構成を示すブロック図である。 上記表示部動作システムに含まれる表示装置の外観の一例を示す図である。 上記表示装置における、映像に応じた表示面の動かし方の例を示す図である。 動作機構による上記表示装置の動作を説明する図である。 上記表示装置の一使用例を示す図であり、撮影装置の動作データを使用して表示装置を動作させる例を示している。 上記表示部動作システムに含まれる通信端末が映像データ、音声データ、および動作データを上記表示装置に送信し、該表示装置がこれらのデータに基づいて動作する場合の処理の一例を示すフローチャートである。 上記表示装置の一使用例を示す図であり、上記表示装置をテレビ電話のディスプレイおよび撮影装置として使用した例を示している。 テレビ電話の映像に応じて表示面を動かす場合に、上記表示装置および通信端末が実行する処理の一例を示すフローチャートである。 テレビ電話の相手方の表示面の動きに連動させて上記表示装置の表示面を動かす処理の一例を示すフローチャートである。 表示させたスタンプに応じて表示面を動かす際の上記表示装置における処理の一例を示すフローチャートである。 上記表示装置の一使用例を示す図であり、上記表示装置を広告の表示に使用した例を示している。 広告を表示させる場合に上記表示装置が実行する処理の一例を示すフローチャートである。 映像に対して投稿されたコメント量に応じて表示面を動かす例を示す図である。 笑いがおきている映像に連動して表示面を動かす例を示す図である。 映像および音声の解析により、表示するスタンプの選択、および動作データの生成を行う例を説明する図である。 表示面を動かす機構の他の例を示す図である。 本発明の一実施形態に係る配信システムの概要を示すブロック図である。

以下、本発明の実施の形態について、図１〜１６を参照しながら、詳細に説明する。

〔実施形態１〕
以下、本発明の実施の形態について、詳細に説明する。図１は、本実施形態に係る表示部動作システムの要部構成を示すブロック図である。図１に示すように、本実施形態に係る表示部動作システムは、表示装置１Ａ、通信端末（制御装置）２Ａ、通信端末（制御装置）２Ｂ、および表示装置１Ｂを含む。

表示装置１Ａと通信端末２Ａとは、例えばＢＬＥ（Bluetooth（登録商標） Low energy）等を介して通信接続される。なお、表示装置１Ａと通信端末２Ａとの通信方法は特に限定されず、上記の例のように近距離無線通信接続してもよいし、有線通信接続してもよい。また、表示装置１Ｂと通信端末２Ｂとの通信接続は、表示装置１Ａと通信端末２Ａとの通信接続と同様である。

通信端末２Ａと通信端末２Ｂとは、例えば携帯電話網等の通信ネットワークを介して通信接続される。通信ネットワークは、任意のネットワークを用いることができ、携帯電話網に限定されない。

〔表示装置の構成〕
まず、表示装置１Ａの構成を説明する。なお、表示装置１Ａおよび１Ｂは同じ構成であり、特にこれらを区別する必要がない場合には、これらを何れも表示装置１と表記する。表示装置１は、制御部１０、記憶部１１、通信部１２、出力部７０、および入力部８０を備えている。

記憶部１１は、表示装置１が使用する各種データを記憶するものである。また、通信部１２は、表示装置１Ａが他の装置（ここでは通信端末２Ａ）と通信を行うためのものである。例えば、通信部１２は、通信端末２Ａから映像データ、音声データ、および映像データに応じた動作データ等を受信し、受信したデータを制御部１０の動作データ取得部１０４に送信する。また、通信部１２は映像送信部１０２および動作データ送信部１０３の指示に従い、データを通信端末２Ａに送信する。

制御部１０は、表示装置１各部を統括して制御するものであり、人検出部１０１、映像送信部１０２、動作データ送信部１０３、動作データ取得部１０４、表示制御部１０５、音声制御部１０６および動作制御部１０７を含む。

人検出部１０１は、表示装置１の周囲の人を検出するものである。より詳細には、人検出部１０１は、後述する撮影部１５が撮影した画像データを解析することによって、撮影部１５の撮影範囲内の人を検出する。また、人検出部１０１は、該画像データを解析することによって、表示装置１から検出した人までの距離を算出する。なお、人検出部１０１を使用した動作の例については、図１１および図１２に基づいて後述する。

映像送信部１０２は、撮影部１５が撮影した映像データを受信し、通信部１２を介して通信端末２に送信する。なお、映像送信部１０２を使用した動作の例については、図７および図８に基づいて後述する。

動作データ送信部１０３は、表示装置１の表示面の動きを示す動作データを外部の装置に送信し、これにより、表示装置１の表示面の動きと連動して他の表示装置１の表示面が動くようにする。なお、動作データは、最終的に他の表示装置１に受信されればよく、他の表示装置１に直接送信してもよいし、通信端末２等の他の装置を介して送信してもよい。より詳細には、動作データ送信部１０３は、後述するセンサ部１６から、表示装置１の表示面の動きを示すセンシングデータを受信する。そして、このデータをそのまま動作データとするか、または動作機構１９の制御に用いることのできるデータ形式に変換して動作データとし、通信部１２を介して外部の装置（この例では通信端末２Ａ）に送信する。この動作データは、通信端末２Ａから通信端末２Ｂに転送され、さらに通信端末２Ｂから表示装置１Ｂに転送され、これにより、表示装置１Ｂの表示面が上記動作データに従って動くことになる。なお、この処理の詳細は、図８に基づいて後述する。

動作データ取得部１０４は、表示部１７の表示面を動かすための動作データを取得し、取得した動作データを動作制御部１０７に送信する。詳細は後述するが、動作データ取得部１０４が取得する動作データは、表示部１７に表示させる映像に応じたデータであり、これにより、表示される映像に応じて表示部１７の表示面が動くことになる。また、動作データ取得部１０４は、映像データを受信したときには表示制御部１０５に送信して表示出力させ、音声データを受信したときには音声制御部１０６に送信して音声出力させる。

表示制御部１０５は、動作データ取得部１０４から受信した映像データを表示部１７に表示出力させる。また、音声制御部１０６は、動作データ取得部１０４から受信した音声データを音声出力部１８に音声出力させる。

動作制御部１０７は、表示制御部１０５が表示させる映像に応じて表示部１７の表示面を動かす。具体的には、動作制御部１０７は、表示部１７の表示面に映像が表示されているときに、動作データ取得部１０４から受信した、該映像に応じた動作データに従って動作機構１９を動作させることによって、表示部１７の表示面を動かす。

また、表示装置１は、出力部７０として、表示部１７、音声出力部１８、および動作機構１９を含む。表示部１７は、制御部１０の制御に従って画像を表示するものであり、音声出力部１８は、制御部１０の制御に従って音声を出力するものである。

動作機構１９は、表示部１７の表示面を動作させるものである。より詳細には、動作機構１９は、表示装置の重心を移動させて、筐体３の外縁部に沿って表示装置１Ａ全体を動かすことにより表示部１７の表示面を動かす。なお、動作機構１９の詳細は、図４に基づいて後述する。

また、表示装置１は、入力部８０として、音声入力部１３、入力操作検知部１４、撮影部１５、およびセンサ部１６を含む。音声入力部１３は、表示装置１に対する音声入力を受け付け、受け付けた音声を信号に変換して制御部１０に出力する。入力操作検知部１４は、表示装置１に対するユーザの入力操作を検知するものであり、例えばタッチパネルなどであってもよい。撮影部１５は、表示装置１の外部の映像（静止画像または動画像）を撮影し、撮影によって得られた映像データを制御部１０に出力する。撮影部１５は、例えば、カメラなどであってもよい。センサ部１６は、表示装置１の動き（表示面の動き）を検出し、検出した動きを示す動作データを制御部１０に出力するものであり、１または複数のセンサを含む。センサ部１６は、表示面の動きを検出し、その動きを示すセンシングデータを出力するものであればよく、例えば、センサ部１６には、加速度センサとジャイロセンサが含まれていてもよい。

〔通信端末の構成〕
次に、通信端末２Ａの構成を説明する。なお、通信端末２Ａおよび２Ｂは同じ構成であり、特にこれらを区別する必要がない場合には、これらを何れも通信端末２と表記する。通信端末２は、表示装置１が表示する映像に応じた動作データを取得し、該表示装置１に送信することにより、該表示装置１の表示面が、表示する映像に応じて動くようにする。図１に示すように、通信端末２は、制御部２０、記憶部２１、第１通信部２２、および第２通信部２３を備えている。

制御部２０は、通信端末２の各部を統括して制御するものであり、端末側動作データ取得部１２１、データ送信部１２２、動作データ生成部１２３、通信制御部１２４を含む。

端末側動作データ取得部１２１は、表示装置１の表示部１７の表示面を動かすための動作データを取得し、データ送信部１２２に出力する。詳細は後述するが、端末側動作データ取得部１２１が取得する動作データは、表示装置１が表示する映像に応じたデータであり、通信端末２または他の装置で生成されたデータである。

データ送信部１２２は、表示装置１に各種データを送信する。具体的には、データ送信部１２２は、表示装置１に表示させる映像データ、表示装置１に出力させる音声データ、および端末側動作データ取得部１２１が取得した動作データを、後述の第２通信部２３を介して表示装置１に送信する。なお、表示装置１に送信する動作データは、表示面の動きを示すデータ以外に、該データに基づいた動作を指示する命令を含む動作コマンドとして送信してもよい。

動作データ生成部１２３は、表示装置１が表示する映像を解析し、解析の結果に応じた動作データ、すなわち映像に応じた動作データを生成する。そして、生成した動作データを端末側動作データ取得部１２１に送信する。なお、動作データの生成方法については後述する。

通信制御部１２４は、後述の第１通信部２２を介した通信に関する制御を行う。本実施形態では、通信端末２Ａの通信制御部１２４は、通信端末２Ｂとの通信に関する制御を行う。例えば、通信制御部１２４は、通信端末２Ａと２Ｂとで双方の映像および音声をリアルタイムで交換する通信（いわゆるテレビ電話による通話）の際に、映像および音声の中継処理を行う。

記憶部２１は、通信端末２が使用する各種データを記憶するものである。記憶部２１には、例えば、映像データ、音声データ、および動作データ（音声データまたは映像データに応じた動作データ）等が格納されている。

第１通信部２２は、通信端末２が他の装置と通信するためのものである。本実施形態においては、通信端末２Ａは、第１通信部２２および通信ネットワークを介して通信端末２Ｂと無線通信する。上述のように、第１通信部２２を介した通信は、通信制御部１２４が制御する。

第２通信部２３は、通信端末２が表示装置１と通信を行うためのものである。上述のように、第２通信部２３を介した通信では、データ送信部１２２によって、映像データ、音声データ、および動作データが表示装置１に送信される。

〔表示装置の外観〕
次に、表示装置１の外観について図２を用いて説明する。図２は、表示装置１の外観の一例を示す図である。同図の（ａ）および（ｂ）に示す表示装置１は、球状の筐体３に表示部１７が設けられた構成である。より詳細には、筐体３は、一部が欠けた球状であり、この欠けた部分に表示部１７の表示面が位置している。表現を変えれば、球体の一部を平面で切り取った形状の筐体３の、切り取られた平面部分に円形の表示面が位置している。

筐体３が球状であるため、表示装置１は筐体３の外縁部に沿って容易に転がり、これにより表示面の位置が変わる。詳細は後述するが、表示装置１は、この筐体形状を利用して、表示面を動かすことができ、また表示面が所望の位置となったときに、その位置で表示面の動きを止めることもできる。

例えば、例えば電源を切っているときなどのように、表示装置１に映像を表示させていないときには、表示装置１の表示面は任意の方向を向いているが、映像の表示時には、同図の（ａ）および（ｂ）に示すように、表示面が斜め上方を向く状態となる。以下では、この状態を基準状態と呼ぶ。つまり、表示装置１は、起動時から映像の表示開始時までの間に、表示面を動かして基準状態となる。なお、表示部１７の上下方向（表示する映像の上下方向）が固定である場合には、表示部１７の上端が最も上側に来るように表示面を動かせばよい。また、表示部１７に表示する映像の上下方向を表示制御部１０５により変更できる場合には、基準状態とした後で映像の表示方向を調整してもよい。無論、基準状態ではない状態で映像を表示し、表示面を動かしてもよい。例えば、映像を表示した後、表示面を水平にし、表示面が水平の状態で映像を表示しながら表示面を回転させる、表示面を起き上がらせた後に水平に戻す、などの動かし方も可能である。

〔映像に応じた表示面の動かし方〕
次に、映像に応じた表示面の動かし方について、図３を用いて説明する。図３は、映像に応じた表示面の動かし方の例を示す図である。同図の左側が映像を示し、矢印を挟んだ右側がその映像に応じた表示装置１（表示面）の動きの例を示している。表示装置１の動作制御部１０７が、同図の左側の映像が表示されているときに、同図の右側の動きに対応した動作データを用いて動作機構１９を動作させることにより、同図に示すような、映像と連動した表示面の動きが実現される。

同図の（ａ）に示すように、映像中の人物がうなずいた場合、映像中の人物の頭部の動きを模倣するように表示面を動かしてもよい。図示の例では、うなずいた人物の頭部の前方に倒れ込む動きに合わせて、表示面も前方に倒れ込むように動かしている。これにより、映像中の人物のうなずく動作を強調して伝えることができる。

また、同図の（ｃ）および（ｄ）に示すように、映像中の人物の視線（黒目の動き）に応じて表示面を動かしてもよい。図示の例では、映像中の人物の視線が右方向に動いた場合、右を向くように表示面を動かし、映像中の人物の視線が上方向に動いた場合、上を向くように表示面を動かしている。

これらの例のように、動作制御部１０７は、映像中の所定のオブジェクトの動きに応じて表示面を動かしてもよい。同図の（ａ）の例では、人物の頭部、（ｃ）（ｄ）の例では、人物の黒目部分が所定のオブジェクトということになるが、この所定のオブジェクトは、映像中の所定範囲を占めるものであればよく、これらの例に限られない。例えば、映像中の人物の体全体をオブジェクトとし、その動きに応じて表示面を動かしてもよく、この場合、映像中の人物が右方向に移動した場合、表示面も右を向くように動かしてもよい。なお、所定のオブジェクトは、人以外の動物であってもよく、物体（非生物）であってもよい。また、アニメーションのキャラクターのようにバーチャルなオブジェクトであってもよい。

また、同図の（ｂ）に示すように、映像中の人物の表情に応じて表示面を動かしてもよい。図示の例では、ほほえみの表情となったときに、真上から見て表示面が時計回りおよび反時計回りに円運動するように動かしている。

この例のように、動作制御部１０７は、映像中の人物が所定の表情となったときに、その表情に予め対応付けられた動きで表示面を動かしてもよい。なお、所定の表情は、ほほえみに限られず、表情に対応付ける動きも特に限定されない。ただし、表情に対応付ける動きは、表情のイメージに合う動きとすることが好ましい。例えば、ほほえみのような穏やかな表情であれば、対応付ける動きも緩やかな揺動とすることが好ましく、怒りのような激しい感情に基づく表情であれば、対応付ける動きも、激しい動き（揺動の幅を大きく、速度を早くする）ことが好ましい。なお、表情を検出する対象は、アニメーション等のキャラクターであってもよい。

また、同図の（ｅ）に示すように、映像中の人物の発話内容に応じて表示面を動かしてもよい。図示の例では、映像中の人物が驚いた旨の発話をしたときに、表示面を後ろ側に倒れ込むように動かすことにより、該人物の驚きを強調して伝えている。なお、どのような内容の発話が行われたときに表示面を動かすか、また、発話内容に対応付ける動きは、特に限定されない。

同図の（ｆ）の例では、キャラクターが怒っている映像を表示しており、このときに、この映像に予め対応付けられた動き（表示面を前後に激しく揺動させるパターン）で表示面を動かしている。このように、映像に応じた動きを予め定めておくことにより、映像の内容を解析することなく、映像に応じた動きで表示面を動かすことができる。

以上のようにして、映像に応じた動きで表示面を動かすことができるが、同じ感情に対応する映像については、同じパターンで表示面を動かすことが好ましい。例えば、映像中の人物の動きからその人物が怒っていると判定できる場合や、表情から怒っていると判定できる場合、そして発話内容から怒っていると判定できる場合にも、上記（ｆ）の例と同じパターンで表示面を動かすことが好ましい。これにより、そのパターンの動きが、怒りの感情を示していることをユーザに認識させることができ、表示装置１が感情を有しているかのような感覚を与えることができる。

なお、所定の感情は怒りに限られない。また、上述の表情の例と同様に、感情に対応付ける動き（動きのパターン）は、その感情のイメージに合うものが好ましいが、どのような動きを対応付けるかは特に限定されない。さらに、映像に応じた感情は、映像がストーリー性のあるものであれば、表示中のシーンから特定してもよい。これにより、例えば、悲しみの感情に、表示面をうつむかせる動きを対応付けた場合に、泣いているキャラクターを表示するとき、映像中の人物が泣いているとき、および悲しいシーンが表示されているときのそれぞれに、表示面をうつむかせることも可能である。この他、表示面の動きは、出力される音声も考慮して決定してもよい。例えば、動きのパターンは映像から決定し、動きの速度は音声のテンポ、音量等に応じて決定してもよい。

〔動作機構の詳細〕
次に、動作機構１９の詳細を図４に基づいて説明する。図４は、動作機構１９による表示装置１の動作を説明する図である。同図の（ａ）は、動作機構１９の構造の一例を示している。図示の動作機構１９は、軸１９１、モータ１９２、および重り１９３を含む。なお、同図において、表示面に垂直な軸がＺ軸、軸１９１と並行でＺ軸と垂直な軸がＹ軸、Ｚ軸およびＹ軸に垂直な軸（紙面に垂直な軸）がＸ軸である。

軸１９１は、重り１９３を支持するものである。軸１９１は、直線状の剛体からなり、その長手方向の中央部に重り１９３が回動可能（振り子運動可能）に取り付けられている。図示の例では、重り１９３は、軸１９１を通るＺＹ平面上で回転可能に取り付けられている（Ｘ軸周りの回転）。より詳細には、軸１９１は、表示装置１の中心（球状の筐体３の中心）を通るように設けられている。このため、軸１９１の長手方向の中央部に取り付けられた重り１９３の回転軸となる位置は、球の中心に位置する。

モータ１９２は、重り１９３の回転軸に接続されており、モータ１９２を駆動することにより、重り１９３をＸ軸周りの何れの方向にも回転させることができるようになっている。

また、同図には示していないが、筐体３の内周には、軸１９１をガイドするレールが設けられており、図示しないモータにより、軸１９１をこのレールに沿って回転させることができるようになっている。より詳細には、軸１９１は、図示しないモータを駆動することにより、その長手方向の中央部（重り１９３の回転軸となる位置）の位置は変えることなく、Ｚ軸周りの何れの方向にも回転させることができるようになっている。

以上のように、動作機構１９は、モータ１９２によって重り１９３を回転させること（Ｘ軸回転）、および軸１９１を回転させること（Ｚ軸回転）により、筐体３の内部での重り１９３の位置を変える。そして、これにより表示装置１の重心の位置を変えて、表示面を含む表示装置１全体を動かすことができる。

例えば、表示面が真上を向いた状態から、モータ１９２によって重り１９３を傾かせた状態とした場合、表示装置１の重心が移動して、図示の例のように表示面が傾いた状態となる。つまり、重り１９３の回転軸を通りＺ軸に平行な直線上から外れた位置に重り１９３（より厳密には重り１９３の回転軸より先端側部分）を移動させることによって、表示面を傾かせることができる。上述の基準状態への移行は、動作機構１９をこのように動作させることで実現できる。

また、基準状態から、重り１９３をモータ１９２で揺動させることにより、同図の（ｃ）に示すように、表示面を前後に揺動させることができる。さらに、基準状態から軸１９１を９０度回転させた上で、重り１９３をモータ１９２で揺動させることにより、同図の（ｂ）に示すように、表示面を左右に揺動させることもできる。なお、表示面の揺動とは、表示面を揺り動かす動きを指す。例えば、同一または概ね同一の軌道で表示面を往復させる動きや、表示面の中心が円または楕円を描く軌道での動きが揺動に相当する。

そして、上述のＸ軸回転とＺ軸回転とを組み合わせることにより、表示装置１の表示面を様々なパターンで動かすことができる。例えば、Ｘ軸回転とＺ軸回転とを組み合わせて重心位置を円形に移動させることにより、同図の（ｄ）に示すように、表示面に回転運動させることもできる。

また、表示面を回転運動させる際の、回転軸に対する表示面の位置は特に限定されず、例えば同図の（ｅ）に示すように、表示面に垂直な軸（Ｚ軸）周りに回転運動させてもよい。そして、この回転の向きも特に限定されず、同図の（ｅ）に示すように、異なる方向への回転運動を交互に反復して行ってもよい。

したがって、標準状態とした後の、モータ１９２の駆動パターン（重り１９３の動作パターン）と、軸１９１をＺ軸周りに回転させるパターンとの組み合わせを示すデータを動作データとすることにより、表示面を所望のパターンで動かすことができる。

〔表示装置１の使用例１：撮影装置の動作データを使用〕
次に、表示装置１の使用例を図５に基づいて説明する。図５は、表示装置１の一使用例を示す図であり、撮影装置５の動作データを使用して表示装置１を動作させる例を示している。

図示の例では、撮影装置５を装着した撮影者がスキーをしながら撮影を行っている。また、この撮影装置５には、撮影装置５の動きを示す動作データを生成する各種センサ（例えば、加速度センサとジャイロセンサ）が外付けまたは内蔵されている。これにより、撮影者は、撮影者目線の映像を撮影しながら、周囲の音声を記録し、かつ撮影装置５の動作（動き）を記録することができる。なお、撮影装置５の動きを直接記録することが難しい場合には、撮影装置５を保持する撮影者の体の部位の動きを記録してもよい。例えば、撮影者が撮影装置５を手で持って撮影している場合には、撮影者の手や腕にセンサを付けて動きを記録してもよい。これらの構成によれば、撮影装置５の動きに応じて表示面を動かすことができるので、表示装置１のユーザに、自らが撮影装置５になったかのような臨場感を与えることができる。

また、撮影装置５の動きの代わりに撮影者の動きを記録する場合、撮影装置５から離れた位置の動きを記録してもよい。例えば、撮影者の特に目線の動きを記録してもよく、この場合、撮影装置５から離れた位置（例えば撮影者の頭部）にセンサを保持してもよい。また、目線の動きを記録する場合には、加速度センサとジャイロセンサの代わりに、目線の動きを撮影するカメラを用いてもよい。これらの構成によれば、撮影者の目線の動きに応じて表示面を動かすことができるので、表示装置１のユーザに、自らが撮影したかのような臨場感を与えることができる。

そして、このようにして記録した音声データ、映像データ、および動作データを表示装置１に転送することにより、撮影装置５の撮影時の動き（同図において撮影装置５付近の白抜き矢印で示す）を、表示装置１にて再現しつつ（同図において表示装置１付近の塗り潰し矢印で示す）、撮影された映像（撮影者から見たスキー場の映像）を表示し、記録された音声を出力することができる。そして、このような映像と表示面の動きの組み合わせにより、新たな視覚効果を生み出すことができる。すなわち、映像に応じた動きによって映像に視覚効果を付与することができる。具体的には、表示装置１で映像を観ているユーザは、あたかも自分が動いている（この例ではスキーをしている）かのような臨場感を感じることができる。また、表示面の揺動により、表示面の位置、すなわち映像が表示される位置が３次元的に動くため、映像を観る者に立体感を感じさせることができる。

なお、表示装置１は、取得した動作データの示す動きと連動して表示面を動かせばよく、撮影装置５の動きと表示面の動きを一致させる必要はない。例えば、撮影装置５が動いた方向に表示面を動かしてもよいし、撮影装置５が動いた方向とは反対の方向に動かしてもよい。

また、センシングデータから動作データを生成する処理は、撮影装置５が行ってもよいし、表示装置１や通信端末２が行ってもよい。表示装置１や通信端末２が動作データを生成する場合、センシングデータを取得し、これを動作機構１９の制御に用いることのできるデータ形式に変換して動作データとする。例えば、ジャイロセンサの検出した傾き情報から、表示装置１の重心移動量（傾き角度）を決定することができ、加速度センサの検出した加速度情報から、表示装置１の重心を移動させる際の加速度を決定することができる。

（処理の流れ：映像データ、音声データ、および動作データを表示装置に送信）
次に、表示装置１と通信端末２が実行する処理の流れを図６に基づいて説明する。図６は、表示装置１および通信端末２が実行する処理の一例を示すフローチャートである。より詳細には、図６は、通信端末２が映像データ、音声データ、および動作データを表示装置１に送信し、表示装置１がこれらのデータに基づいて動作する場合の処理の例を示している。これらのデータは、例えば図５の例のようにして記録されたものであってもよい。なお、撮影装置５で取得したデータを、通信端末２を介さずに表示装置１に送信してもよく、これにより、ほぼリアルタイムでの映像・音声・動作の再現が可能になる。

まず、通信端末２の処理について説明する。通信端末２の端末側動作データ取得部１２１は、記憶部２１から映像データおよび音声データを取得する（Ｓ１１）。なお、Ｓ１１およびそれ以降の処理を開始するための契機は特に限定されない。例えば、通信端末２に対して所定の操作が行われたことを契機としてもよいし、表示装置１から所定の通知を受信したことを契機としてもよいし、映像データおよび音声データが記憶部２１に格納されたことを契機としてもよい。

また、端末側動作データ取得部１２１は、取得した映像データに応じた動作データを、記憶部２１から取得する（Ｓ１２、動作データ取得ステップ）。続いて、データ送信部１２２は、端末側動作データ取得部１２１が取得した映像データ、音声データ、および動作データを、第２通信部２３を介して表示装置１に送信する（Ｓ１３、データ送信ステップ）。そして、データ送信部１２２は、データの送信が完了したかを判断する（Ｓ１４）。ここで、送信完了と判断した場合（Ｓ１４でＹＥＳ）、通信端末２における処理は終了する。一方、送信完了していないと判断した場合（Ｓ１４でＮＯ）、処理はＳ１１に戻り、データの送信が継続される。

次に、表示装置１の処理について説明する。通信端末２からデータを受信すると、表示装置１の動作データ取得部１０４は、受信したデータを確認し（Ｓ１）、このデータに動作データが含まれているか否かを判断する（Ｓ２）。ここで、動作データが含まれていないと判断した場合（Ｓ２でＮＯ）、Ｓ４の処理に進む。一方、動作データが含まれていると判断した場合（Ｓ２でＹＥＳ）、動作データ取得部１０４は、当該動作データを動作制御部１０７に送信し、動作制御部１０７はこの動作データに従って動作機構１９を動作させる（Ｓ３：動作制御ステップ）。なお、この場合、Ｓ１が動作データ取得ステップとなる。

また、動作データ取得部１０４は、Ｓ１で確認したデータに含まれる映像データを表示制御部１０５に送信し、音声データを音声出力部１８に送信する。これにより、表示制御部１０５が映像を表示部１７に表示し、音声制御部１０６が音声出力部１８から音声出力する（Ｓ４：表示制御ステップ）。上記Ｓ３およびＳ４の処理により、表示させる映像に応じて表示面が動くことになる。この後、動作データ取得部１０４は、データの受信が終了したか否かを判断する（Ｓ５）。ここで、受信終了と判断した場合（Ｓ５でＹＥＳ）、処理は終了する。一方、受信終了していないと判断した場合（Ｓ５でＮＯ）、処理はＳ１に戻る。

〔表示装置１の使用例２：テレビ電話〕
次に、表示装置１の他の使用例を図７に基づいて説明する。図７は、表示装置１の一使用例を示す図であり、表示装置１をテレビ電話のディスプレイおよび撮影装置として使用した例を示している。

図７に示すように、ユーザが通信端末２を用いてテレビ電話による通話を行なっている場合に、相手方から受信した映像や音声（相手方の映像、音声）を表示装置１に出力させることができる。また、表示装置１は、撮影部１５でユーザの映像を撮影することができ、撮影した映像を、通信端末２を介して相手方に送信することができる。そして、表示装置１は、表示している相手方の映像に応じた動きで表示面を動かすことができる。

（処理の流れ：テレビ電話の映像に応じて表示面を動かす）
続いて、テレビ電話の映像に応じて表示面を動かす場合の処理の流れを図８に基づいて説明する。図８は、テレビ電話の映像に応じて表示面を動かす場合に、表示装置１Ａ、１Ｂ、および通信端末２Ａ、２Ｂが実行する処理の一例を示すフローチャートである。なお、以下の説明では、表示装置１Ａおよび通信端末２ＡのユーザをユーザＡと呼び、表示装置１Ｂおよび通信端末２ＢのユーザをユーザＢと呼ぶ。

表示装置１Ａは、ユーザＡの映像を撮影して得た映像データＡを通信端末２Ａに送信し（Ｓ２１）、通信端末２Ａは、受信した映像データＡを通信端末２Ｂに転送する（Ｓ３１）。また、通信端末２Ｂは、受信した映像データＡを表示装置１Ｂに転送し（Ｓ４２）、表示装置１Ｂは映像データＡを受信し（Ｓ５２）、表示出力する（Ｓ５３：表示制御ステップ）。

同様に、表示装置１Ｂは、ユーザＢの映像を撮影して得た映像データＢを通信端末２Ｂに送信し（Ｓ５１）、通信端末２Ｂは、受信した映像データＢを通信端末２Ａに転送する（Ｓ４１）。また、通信端末２Ａは、受信した映像データＢを表示装置１Ａに転送し（Ｓ３２）、表示装置１Ａは映像データＢを受信し（Ｓ２２）、表示出力する（Ｓ２３：表示制御ステップ）。

以上の処理により、ユーザＡとＢは、互いの映像を表示装置１Ａまたは１Ｂで見ながらコミュニケーションすることができる。なお、テレビ電話の通話音声については、映像と同様に表示装置１Ａおよび１Ｂを介して送受信してもよいし、通信端末２Ａと２Ｂ間のみで送受信してもよい。

また、Ｓ３２で映像データＢを表示装置１Ａに転送した通信端末２Ａでは、動作データ生成部１２３が映像データＢを解析し、動作データを生成するか否かを判断する（Ｓ３４）。具体的には、動作データ生成部１２３は、映像中のオブジェクト（この例ではテレビ電話の相手であるユーザＢ）の所定の動作や所定の表情を検出できた場合に、動作データを生成すると判断する。なお、図３の（ｅ）の例のように、音声データの解析により、所定の内容の発話が行われたことが確認できた場合に、動作データを生成すると判断してもよい。

Ｓ３４において、動作データを生成しないと判断した場合（Ｓ３４でＮＯ）、処理はＳ３１に戻る。一方、動作データを生成すると判断した場合（Ｓ３４でＹＥＳ）、動作データ生成部１２３は、映像データＢの解析結果に応じた動作データを生成する（Ｓ３５：動作データ生成ステップ）。なお、Ｓ３５の処理の結果、動作データが取得されるので、Ｓ３５は動作データ取得ステップであるとも言える。具体的には、映像中のオブジェクトの所定の動作や表情には、図３で説明したように表示面を動かすパターンがそれぞれ定められているので、動作データ生成部１２３は、当該定められたパターンで表示面を動かす動作データを生成する。また、所定の内容の発話がなされたときの動作データの生成も同様の処理で行われる。そして、動作データ生成部１２３は、以上のようにして生成した動作データを表示装置１Ａに送信する（Ｓ３６：データ送信ステップ）。

この後、表示装置１Ａの動作データ取得部１０４は、動作データを受信し（Ｓ２４：動作データ取得ステップ）、動作制御部１０７は、受信した動作データに従って動作機構１９を動作させる（Ｓ２５：動作制御ステップ）。これにより、表示させる映像に応じて表示面が動くことになる。なお、映像と表示面の動きが同期するように、Ｓ３２の映像データＢの転送タイミングを遅らせて、Ｓ３６の動作データの送信時に映像データＢを転送してもよい。

また、Ｓ４２で映像データＡを表示装置１Ｂに転送した通信端末２Ｂにおいても、通信端末２Ａと同様に、映像データＡの解析が行われ（Ｓ４３）、動作データを生成する場合には生成して表示装置１Ｂに送信する（Ｓ４４〜Ｓ４６）。そして、表示装置１Ｂは、動作データを受信すると（Ｓ５４：動作データ取得ステップ）、動作機構１９を動作させる（Ｓ５５：動作制御ステップ）。

なお、上述の例では、テレビ電話の相手方の映像を解析して動作データを生成しているが、解析の対象となる映像は、表示装置１が表示する映像であればよく、この例に限定されない。例えば、テレビ番組やインターネット上の動画コンテンツなどを表示装置１に表示させる場合には、それらのコンテンツの映像を解析して動作データを生成してもよい。

（処理の流れ：テレビ電話の相手方の表示面の動きに連動させて表示面を動かす）
表示装置１は、テレビ電話中に相手方の表示装置１の表示面が動かされたときに、その動きに連動して表示面を動かすことができる。ここでは、この処理について図９を用いて説明する。図９は、テレビ電話の相手方の表示面の動きに連動させて表示面を動かす処理の一例を示すフローチャートである。なお、図９では省略しているが、図８と同様にして映像データの送受信は行われており、映像の解析に基づく動作データの生成や送信も適宜行われる。

表示装置１Ａの動作データ送信部１０３は、センサ部１６から動作データ（センシングデータ）を受信したことを確認する（Ｓ６１）と、該動作データが、受信した動作データによる表示装置１Ａの動作に起因するか否か判断する（Ｓ６２）。言い換えれば、センサ部１６が検知した表示装置１Ａの動きが、通信端末２Ａの制御に基づき動作機構１９を動作させることによって生じた動きであるか否かを判断する。具体的には、動作データ送信部１０３は、センサ部１６から動作データを受信する直前に動作データ取得部１０４が動作データを取得していれば、受信した動作データに基づく動作であると判断する。

ここで、受信した動作データに基づく動作であると判断した場合（Ｓ６２でＹＥＳ）、処理は図８のＳ２１に進む。一方、受信した動作データに基づく動作ではないと判断した場合（Ｓ６２でＮＯ）、動作データ送信部１０３がセンサ部１６から受信した動作データを通信端末２Ａに送信し（Ｓ６３）、処理は図８のＳ２１に進む。

続いて、上記動作データを受信した通信端末２Ａでは、通信制御部１２４が当該動作データを通信端末２Ｂに転送し（Ｓ７１）、通信端末２Ａの処理は図８のＳ３１に進む。また、上記動作データを受信した（動作データ取得ステップ）通信端末２Ｂにおいても、通信制御部１２４が当該動作データを表示装置１Ｂに転送し（Ｓ８１）、通信端末２Ｂの処理は図８のＳ４１に進む。

そして、表示装置１Ｂの動作データ取得部１０４は、Ｓ８１の処理で転送された動作データを受信し（Ｓ９１：動作データ取得ステップ）、受信した動作データを動作制御部１０７に送信して動作機構１９を動作させる（Ｓ９２：動作制御ステップ）。この後、表示装置１Ｂの処理は図８のＳ５１に進む。

なお、相手方が表示装置１を使用しておらず、通信端末２のみあるいはパーソナルコンピュータ等の他の機器を用いている場合には、動作データを送信しても相手方で表示面が動くことはない。このため、相手方が表示装置１を使用していることを確認する処理を行った上で、動作データの送信を行ってもよい。また、この場合、相手方が表示装置１を使用していない（相手方の使用機器に表示面を動かす機能がない）ことが確認されたときには、動作データを送信する代わりに、表示面が動かされたことを相手方に通知するための代替処理を行ってもよい。例えば、表示面が動かされたことや、表面がどのように動かされたかを示す画像を送信して表示させてもよいし、相手方の使用する機器が振動を生じさせるバイブレーション機能を備えている場合には、該機能を動作させる命令を送信してもよい。

また、上述の例では、通信端末２Ａおよび２Ｂを介して、表示装置１Ａと１Ｂとが間接的に通信しているが、表示装置１Ａおよび１Ｂにネットワークを介した通信機能を搭載して、表示装置１Ａと１Ｂとで直接通信するようにしてもよい。

〔表示装置１の使用例３：コミュニケーションアプリ〕
表示装置１は、通信を介したコミュニケーションに使用されるソフトウェア（以下、コミュニケーションアプリと呼ぶ）に関する情報を表示する装置として使用することもできる。例えば、近時急速に普及したコミュニケーションアプリには、スタンプと呼ばれる画像を、単独またはメッセージと共に投稿することができるようになっている。表示装置１は、このようなスタンプの表示に使用することができ、また表示させたスタンプの種類に応じて表示面を動かすこともできる。

以下では、表示装置１に表示させたスタンプに応じて表示面を動かす例を図１０に基づいて説明する。図１０は、表示させたスタンプに応じて表示面を動かす際の表示装置１における処理の一例を示すフローチャートである。なお、同図では、スタンプの画像の表示を中心に説明を行うが、投稿されたメッセージの文面等、コミュニケーションアプリに関する他の情報についても表示対象に含めてもよい。また、表示するスタンプに応じた音声（例えば効果音）を出力してもよい。

なお、図示の例では、通信端末２から受信したデータ（スタンプ）を表示することを想定している。より詳細には、通信端末２の端末側動作データ取得部１２１は、コミュニケーションアプリにて投稿されたスタンプを取得し、データ送信部１２２により該スタンプを表示装置１に送信して表示させることを想定している。

表示装置１の動作データ取得部１０４は、受信したデータを確認し（Ｓ１０４）、受信したデータに、動作データが対応付けられた画像である動作データ対応画像が含まれているか判断する（Ｓ１１１）。ここで、動作データ対応画像が含まれていないと判断した場合（Ｓ１１１でＮＯ）には、Ｓ１１４の処理に進む。

一方、動作データ対応画像が含まれていると判断した場合（Ｓ１１１でＹＥＳ）、動作データ取得部１０４は、当該動作データ対応画像を表示制御部１０５に送信し、対応付けられた動作データを動作制御部１０７に送信する。これにより、表示制御部１０５は受信した画像データの画像を表示し（Ｓ１１２：表示制御ステップ）、動作制御部１０７は受信した動作データに従って動作機構１９を動作させる（Ｓ１１３：動作制御ステップ）。この場合、Ｓ１１０が動作データ取得ステップとなる。これらの処理により、例えば図３の（ｆ）の例のように、画像（動作データ対応画像）が表示されると共に、表示装置１の表示面が動くことになる。

この後、動作データ取得部１０４は、受信データの受信が終了したかを判断し（Ｓ１１４）、受信終了と判断した場合（Ｓ１１４でＹＥＳ）には処理を終了し、受信終了していないと判断した場合（Ｓ１１４でＮＯ）にはＳ１１０の処理に戻る。

なお、動作データ対応画像に対応付けられた動作データは、表示装置１の外部から取得してもよいし、表示装置１の記憶部１１等に予め格納しておいたものを取得してもよい。前者の場合、例えば通信端末２でコミュニケーションアプリを使用している際に、スタンプが投稿されたときに、そのスタンプに予め設定された感情（怒り、悲しみ、喜び等）に応じた動作データを動作データ生成部１２３で生成し、表示装置１に送信してもよい。また、後者の場合、予めスタンプに応じた動作データを記憶部１１に記憶しておき、通信端末２から受信したスタンプに応じた動作データを記憶部１１から読み出して、動作機構１９を動作させてもよい。また、スタンプに応じた動作データをサーバから配信することにより、スタンプに応じた動きで表示面を動かすようにしてもよい。

さらに、上述の例では、コミュニケーションアプリで使用されるスタンプに動作データを対応付けているが、動作データを対応付ける対象となる画像は、この例に限定されない。例えば、電子メール等で使用される絵文字に動作データを対応付けてもよい。この場合、表示装置１に電子メールを表示させるときに、その文面に含まれる絵文字を表示すると共に、その絵文字に対応付けられた動作データで表示面を動かしてもよい。

〔表示装置１の使用例４：広告〕
表示装置１は、表示面を動かすことにより、周囲の人の注意を引き付けることができ、また表示内容を注視させることができるので、広告を表示する装置としても好適に利用できる。以下では、表示装置１に広告を表示させる例を図１１および図１２に基づいて説明する。

図１１は、表示装置１の一使用例を示す図であり、表示装置１を広告の表示に使用した例を示している。例えば店頭などに設置した表示装置１に広告を表示する場合、表示装置１の前を通りかかった者に対して広告内容をアピールする必要がある。そこで、表示装置１は、近くに人を検出した場合に、検出した人に表示面が向くように表示面を動かす処理を行う。また、上述の各例と同様に、表示する広告の内容に応じて表示面を動かす処理を行う。

（処理の流れ：検出した人に向くように表示面を動かす）
図１２は、広告を表示させる場合に表示装置１が実行する処理の一例を示すフローチャートである。なお、同図では、通信端末２から受信したデータ（広告コンテンツ）を表示することを想定している。より詳細には、同図には示していないが、通信端末２の端末側動作データ取得部１２１は、記憶部２１から広告コンテンツを読み出し、データ送信部１２２により該広告コンテンツを表示装置１に送信して表示させることを想定している。ただし、表示するデータは、予め表示装置１に記憶しておいてもよいし、通信端末２以外の装置（広告配信サーバ等）から受信してもよい。

動作データ取得部１０４は、データ（広告コンテンツ）を受信したことを確認する（Ｓ１００）と、人検出部１０１に人の検出を開始するように指示する。そして、この指示を受信した人検出部１０１は、撮影部１５に撮影を開始させ、撮影された画像を解析して人を検出する（Ｓ１０１）。また、画像中に人が映っていることを検出した人検出部１０１は、表示装置１から検出した人までの距離を算出し（Ｓ１０２）、検出した人までの距離が所定の距離より近いか否かを判断する（Ｓ１０３）。

ここで、所定の距離よりも遠いと判断した場合（Ｓ１０３でＹＥＳ）、処理はＳ１００に戻る。一方、所定の距離よりも近いと判断した場合（Ｓ１０３でＹＥＳ）、人検出部１０１は、当該人の位置する方向（例えば撮影部１５の撮影範囲の中心を基準として表した方向）を動作データ取得部１０４に通知する。そして、動作データ取得部１０４は、通知された方向に表示面を向ける動作データ（例えば撮影部１５の撮影範囲の中心に人が来るように動かす動作データ）を生成して動作制御部１０７に送信し、これにより表示面を人に向ける（Ｓ１０４）。

なお、複数の人が検出された場合、検出人数が少なければ、検出した一人（例えば最初に検出した人や最も表示装置１に近い人）に表示面を向ければよい。また、検出人数が多い場合、人がより多く集まっている方向に表示面を向ければよい。

続いて、動作データ取得部１０４は、Ｓ１００にて受信を確認したデータに動作データが含まれているか否かを判断する（Ｓ１０５）。ここで、動作データが含まれていないと判断した場合（Ｓ１０５でＮＯ）、動作データ取得部１０４は、受信したデータに含まれる画像を表示制御部１０５に送信し、音声データを音声出力部１８に送信する。これにより、表示制御部１０５による画像の再生（表示）と、音声出力部１８による音声再生（出力）が行われる（Ｓ１０７）。なお、音声の再生は必須ではない。

一方、動作データが含まれていると判断した場合（Ｓ１０５でＹＥＳ）、動作データ取得部１０４は、当該動作データを動作制御部１０７に送信して動作機構を動作させる（Ｓ１０６：動作制御ステップ）。この場合、Ｓ１００が動作データ取得ステップとなる。また、動作データ取得部１０４は、上述のようにして映像および音声の再生を行わせる（Ｓ１０７：表示制御ステップ）。

この後、動作データ取得部１０４は、データの受信が終了しているか否かを判断し（Ｓ１０８）、受信終了と判断した場合（Ｓ１０８でＹＥＳ）、処理を終了する。一方、受信終了していないと判断した場合（Ｓ１０８でＮＯ）、Ｓ１００の処理に戻る。

なお、上記の例では、検出した人に表示面を向けた後は、人の検出に基づいて表示面を動かすことはしていないが、その後も継続的に人の検出と、それに基づいて表示面を動かす処理を行ってもよい。これにより、表示装置１の前で人が動いたときに、それに追従して表示面を動かすことができる。また、表示する映像が広告である例を説明したが、広告以外の任意の映像の表示の際に、上述の処理を適用できることはもちろんである。

〔映像に対する投稿に応じて表示面を動かす〕
近時、映像に対するコメントやメッセージの投稿を受け付け、これを映像と共に表示させる（重畳表示してもよいし、重畳せずに表示してもよい）サービスが広く知られるようになっているが、表示装置１は、このような投稿に応じて表示面を動かしてもよい。これについて、図１３に基づいて説明する。

図１３は、映像に対して投稿されたコメント量に応じて表示面を動かす例を示す図である。同図の（ａ）〜（ｃ）の表示装置１は、何れも映像を表示していると共に、この映像に重畳して、該映像に対して投稿されたコメントを表示している。

このうち、同図の（ａ）の表示装置１は表示しているコメントの量が少なく、このため、この表示装置１は表示面を動かしていない。一方、同図の（ｂ）の表示装置１は表示しているコメントの量が多く、このため、この表示装置１は表示面を動かしている。この例のように、表示装置１の動作制御部１０７は、表示している映像に対して投稿されたコメントの量が所定の下限値を超えたときに表示面を動かしてもよい。なお、コメント量の多寡を決定する基準は特に限定されず、例えば投稿されたコメントの数、文字数、表示されたコメントが表示面上に占める面積、等を基準（所定の下限値）としてもよい。この他にも、所定の投稿者からのコメント数や、その文字数を基準としてもよいし、コメント中の所定の単語や記号の数を基準としてもよい。

また、同図の（ｃ）に示すようにコメント量が少ない場合には、動作制御部１０７は、同図の（ｂ）のようにコメント量が多い場合と比べて弱い動きで表示面を動かしてもよい。なお、動きの強弱は、動きの振幅の大小、動きの周期の長短、およびこれらの組み合わせによって表現できる。

以上のような構成によれば、映像に対する投稿が盛んに行われていることを、ユーザが認識することを容易にすることができる。なお、上記のような表示面の動きを実現するための動作データは、例えば以下のようにして生成することができる。以下では、投稿数を基準として投稿量の多寡を判断する例を説明するが、上述のようにこの判断の基準は投稿数に限られない。

まず、動作データ生成部１２３は、表示装置１が表示する映像を解析し、該映像に対するコメント等の投稿が行われているか否かを判断する。なお、投稿の有無を映像解析によって行う代わりに、投稿を受け付けるサーバ等に問い合わせをすることによって判断してもよい。

ここで、投稿が行われていると判定した場合、動作データ生成部１２３は、投稿数が下限値を超えているか否かを判断する。なお、投稿数は、投稿の有無の判定と同様に、映像解析で特定してもよいし、サーバ等への問い合わせによって特定してもよい。そして、動作データ生成部１２３は、投稿数が下限値を超えていると判断した場合に、投稿量が多い場合の動きとして予め定められた動きを示す動作データを生成する。これにより、動作制御部１０７は、投稿量が多くなったときに、表示面を動かすことができる。また、投稿量の多寡に応じて動きの強弱を変える場合、投稿量に段階的な閾値を設け、各段階に対応する強度の動きを示す動作データを生成すればよい。

なお、動作データの生成を通信端末２で行う場合には、生成した動作データを表示装置１に送信すればよく、表示装置１に動作データ生成部１２３を設けた場合には、このような送信は不要である。また、これら以外の装置で生成した動作データを取得して表示面を動かしてもよい。例えば、投稿を受け付けるサーバ等が、受け付けた投稿に基づいて動作データを生成し、配信するようにしてもよく、この場合、表示装置１は、配信された動作データを直接、または通信端末２等の他の装置を介して取得すればよい。

〔映像の内容に連動して表示面を動かす他の例〕
次に、映像の内容に連動して表示面を動かす他の例を図１４に基づいて説明する。図１４は、笑いがおきている映像に連動して表示面を動かす例を示す図である。同図の（ａ）では笑いのない映像が表示されており、表示装置１の表示面は動いていないが、同図の（ｂ）では笑いがおきている映像が表示されており、表示装置１の表示面は動いている。この例のように、表示装置１の動作制御部１０７は、表示している映像の内容に連動して表示面を動かしてもよい。

この場合、動作データ生成部１２３は、表示装置１が出力する音声を解析し、笑い声が含まれると判断した場合に、笑いの映像に対応する動作データを生成すればよい。なお、笑い声が含まれるか否かは、音声の周波数を解析する等によって判断可能であり、この場合、所定の帯域の周波数が音声に含まれている場合に、その所定の帯域に対応する動きで表示面を動かすことになる。以上のような構成により、笑いがおきているシーン、すなわち盛り上がっているシーンで表示面を動かし、そのシーンに注目させることができる。同様にして歓声がおきているシーンで表示面を動かすことも可能である。

また、音量を指標として、表示面を動かすか否か（動作データを生成するか否か）を判断してもよい。スポーツ番組やバラエティ番組等では、盛り上がっているシーンで音量が上がる傾向があるので、これにより盛り上がったシーンで表示面を動かすことができる。この他にも、盛り上がったシーンでは、出演者の多くが笑顔になる傾向があるので、映像中の複数の人物の表情を解析し、笑顔の人物が所定数以上となったときに表示面を動かしてもよい。

また、動作制御部１０７は、映像中の文字列の内容に応じて表示面を動かしてもよい。映像中の文字列は、映像の内容を示す情報の１つであるから、これにより、映像に応じた動きで表示面を動かすことができる。例えば、「寒い」との文字列が表示されたときに、表示面を小刻みに揺らして、表示装置１および表示されている画像が震えているような感覚をユーザに与えてもよい。また、例えば「嬉しい」との文字列が表示されたときに、上下に激しく揺らして、喜びの感情を動きで表現してもよい。

なお、対象とする文字列は、映像中に含まれるものであれば特に限定されず、例えば、ユーザの入力した文字（例えばＳＮＳやメッセージアプリ等への投稿メッセージや電子メール等）、テロップ、字幕などの文字列が挙げられる。また、表示面を動かすタイミングは、文字列を表示したタイミングに限られず、例えば投稿メッセージや電子メールのように、送信する文字列に応じた動きをさせる場合には、その送信時に表示面を動かしてもよい。そして、文字列に応じた動作データの生成は、当該文字列に応じた動きで表示面を動かすまでの任意のタイミングで行えばよい。

文字列の内容に応じて表示面を動かす場合、動作データ生成部１２３は、映像中の文字列を解析して、所定の文字列が含まれているか否か、または所定の内容が記述されているか否かを判断する。そして、含まれているまたは記述されていると判断した場合に、その所定の文字列または所定の内容に対応する動作データを生成する。なお、動作データの生成を外部のサーバ等で行ってもよいことは上述の通りである。

〔スタンプの自動選択〕
図１０では、表示装置１に表示させたスタンプに応じて表示面を動かす例を説明した。これに関連して、表示するスタンプを自動で選択する構成を採用することも可能である。これについて、図１５に基づいて説明する。図１５は、映像および音声の解析により、表示するスタンプの選択、および動作データの生成を行う例を説明する図である。なお、ここでは、表示装置１が撮影した映像および音声を解析して、表示装置１がスタンプの選択と動作データの生成を行う例を説明する。つまり、本例では、表示装置１が動作データ生成部１２３を備えているものとして説明を行う。なお、本例で説明する処理は、通信端末２が実行することも可能である。

同図の例では、ユーザが発話する様子が表示装置１によって撮影されている。そして、撮影された映像を解析することにより、ユーザが笑顔であることが検出されている。また、音声を解析することにより、「うれしい」、「すごい」、「楽しかった」の単語が検出されている。これらの解析は、動作データ生成部１２３によって行われる。

次に、動作データ生成部１２３は、上記の解析結果に応じたスタンプを選択すると共に、該解析結果に応じた動作データを生成する。なお、スタンプ（画像）は、予め複数種類用意しておく。また、どのような解析結果が得られたときに、何れのスタンプを選択するかも予め決めておく。動作データについても同様である。例えば、笑顔が検出されたときに、楽しいことを示すスタンプを選択し、楽しさを示す動きの動作データを生成してもよい。また、映像の解析結果と音声の解析結果とのそれぞれに基づいて異なるスタンプと動作データとを選択、生成してもよいし、これらの解析結果の組み合わせに基づいて１つのスタンプと動作データとを選択、生成してもよい。例えば、笑顔で励ましの言葉を発したユーザの映像・音声を取得した場合に、笑顔に対応するスタンプと動作データを生成すると共に、励ましの言葉に対応するスタンプと動作データを生成してもよい。また、同じ場合に、笑顔と励ましの言葉の何れかまたは両方に対応する１つのスタンプと１つの動作データを生成してもよい。そして、映像の解析結果と音声の解析結果との両方に対応する動作データは、映像の解析結果に対応する動作データと、音声の解析結果に対応する動作データとを組み合わせた動作データであってもよい。これにより、表示面をバリエーションに富んだ動きで動かすことが可能になる。

そして、表示装置１の表示制御部１０５は、上記のようにして選択されたスタンプを表示面に表示し、動作制御部１０７は、上記のようにして生成された動作データを用いて表示面を動かす。これにより、ユーザは、表示装置１に対して何ら操作を行うことなく、自身の気分などに応じたスタンプが表示されるのを、そのスタンプに応じた動きと共に楽しむことができる。無論、表示する画像としては、スタンプと呼ばれるものに限られず、任意の画像が適用できる。

〔実施形態２〕
上記実施形態では、球状の筐体３を有し、重心位置を変えることで表示面を動かす動作機構１９を備える表示装置１を例示して説明を行ったが、表示装置１は、表示面を動作機構にて動かすことができる構成となっていればよく、上述の例に限られない。本実施形態では、表示面を動かす機構の他の例を図１６に基づいて説明する。図１６は、表示面を動かす機構の他の例を示す図である。

同図の（ａ）の例では、円筒を縦に切った形状（半円柱）の筐体３０を使用し、筐体３０の外表面のうち、長方形の平面部分（円柱の切断面に相当する部分）に表示部１７の表示面を配置している。この構成では、上述の動作機構１９と同様の動作機構にて重心を移動させることにより、図示のように筐体３０の外縁部（断面が半円状の部分）に沿って筐体３０全体を揺動させ、これにより表示面を揺動させることができる。この例では、上記実施形態と同様に、筐体の外縁部が円弧状であるから、滑らかな揺動が可能である。

同図の（ｂ）の例では、表示部１７が第１筐体４０に設けられ、第１筐体４０は、ヒンジ４２を介して第２筐体４１と接続されており、これにより同図の矢印方向に回動可能に構成されている。このように、ヒンジ４２等の回動部材により、表示部１７の表示面を動かすことも可能である。なお、この場合、回動部材にモータ等の駆動部を接続することにより、表示面の動きを制御することが可能である。この例は、一般的なノート型パソコンの筐体と同様の構成であり、このため、例えば、一般的なノート型パソコンにヒンジ部を駆動する動作機構を搭載することにより、本発明の表示装置とすることも可能である。

同図の（ｃ）の例では、関節部５１が設けられているアームに、関節部５０を介して表示部１７が取り付けられている。この場合、関節部５０および関節部５１を動かす動作機構により、表示部１７の表示面の動きを制御することができる。

同図の（ｄ）〜（ｆ）の例では、ディスプレイスタンド６０と表示部１７を、接続部６１を介して接続している。接続部６１は、ディスプレイスタンド６０と表示部１７を回動可能に接続しており、これにより、表示部１７の表示面は接続部６１を固定点として可動となっている。例えば、傾ける（同図のｄ）、左右に動かす（同図のｅ）、上下に動かす（同図のｆ）、等の動きが可能である。この場合、接続部６１に駆動部を接続することにより、表示面の動きを制御することが可能である。

〔実施形態３〕
本発明の他の実施形態について、図１７に基づいて説明する。図１７は、本発明の一実施形態に係る配信システム２００の概要を示すブロック図である。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。本実施形態では、サーバから動作データを配信する配信システムについて説明する。

図１７に示す配信システム２００は、表示装置１に動作データを配信するシステムであって、動作データを配信するサーバ（制御装置）２１０と、配信される動作データを受信する表示装置１および通信端末２とを含む。なお、配信システム２００において動作データを受信する装置は、表示装置１と通信端末２に限られず、サーバ２１０と通信可能な装置であれば任意の装置が動作データの受信主体となり得る。

サーバ２１０は、上記実施形態の通信端末２と同様に、動作データを生成する機能を備えており、アップロードされた映像に応じた動作データを自動的に生成し、これを配信することができる。より詳細には、サーバ２１０は、図示しない制御部と通信部とを備えており、制御部には映像取得部、動作データ生成部１２３、動作データ取得部、および動作データ送信部が含まれている。なお、制御部は通信端末２の制御部２０と同様であり、通信部は通信端末２の第１通信部２２と同様である。

映像取得部は、動作データの生成対象となる映像を取得するものであり、上述のように、サーバ２１０に対してアップロードされた映像を、通信部を介して取得する。そして、取得した映像を動作データ生成部１２３に送信し、これにより、動作データ生成部１２３が該映像に応じた動作データを生成する。なお、映像に応じた動作データの生成方法については、上記実施形態で説明した通りであるから、ここでは説明を省略する。そして、動作データ取得部は、このようにして生成された動作データを動作データ送信部に送信し、動作データ送信部はこれを表示装置１に直接、または通信端末２等の他の装置を介して送信する。

例えば、表示装置１にて撮影した映像がアップロードされた場合、サーバ２１０の映像取得部はアップロードされた映像を取得し、動作データ生成部１２３はこの映像に応じた動作データを生成し、動作データ取得部はこれを取得する。そして、動作データ送信部は、取得された動作データを当該表示装置１に送信する。これにより、表示装置１に動作データの生成機能を持たせることなく、表示面を動かしながら映像を閲覧させることができる。

なお、動作データ送信部は、動作データを映像と共に送信してもよい。例えば、上記の例において、映像をアップロードした表示装置１とは異なる他の表示装置１にも動作データを映像と共に送信してもよい。また、このような送信は、表示装置１からのリクエストに応じて行ってもよいし、動作データ送信部が主体的に所定の表示装置１に対して配信してもよい。そして、配信先は複数であってもよく、例えば１つの表示装置１から受信した映像と、その映像に応じた動作データとを、複数の表示装置１に対して一斉に配信してもよい。

また、図１７に示すように、通信端末２がサーバ２１０と通信して動作データを取得してもよい。この場合、通信端末２の端末側動作データ取得部（動作データ取得部）１２１は、映像をサーバ２１０に送信して該映像に応じた動作データを取得し、データ送信部１２２はこの動作データを映像と共に表示装置１に送信する。なお、サーバ２１０に送信する映像の取得元は特に限定されず、例えば表示装置１であってもよいし、動画投稿サイト等のコンテンツ配信サーバであってもよい。この他にも、通信端末２が撮影装置を備えている場合には、該撮影装置で撮影した映像を用いてもよいし、通信端末２で動作するアプリケーションソフトウェア（例えばゲーム等）により生成あるいは取得された映像を用いてもよい。

また、通信端末２は、映像および動作データの送信をサーバ２１０に要求し、この要求に応じて送信された映像および動作データを表示装置１に転送してもよい。この場合、ユーザは、サーバ２１０が送信可能な映像の中から、所望の映像を通信端末２で選択し、その映像を表示面の動きと共に表示装置１にて楽しむことができる。例えば、ＳＮＳ（Social Networking Service）には、動画の投稿、閲覧が可能なものがあるから、ＳＮＳのサーバにサーバ２１０と同様の機能を持たせ、ユーザが通信端末２で選択した映像と、その映像に応じた動作データとを配信してもよい。また、動画投稿サイトや動画配信サイトのサーバにサーバ２１０と同様の機能を持たせ、ユーザが通信端末２で選択した映像と、その映像に応じた動作データとを配信してもよい。

この他にも、映像をライブ配信するサービスや、コンテンツ配信プラットフォーム等にサーバ２１０を設け、動作データと共に映像コンテンツを配信する構成等が考えられる。また、広告の配信を行うサーバにサーバ２１０と同様の機能を持たせ、該サーバにより広告の映像に応じた動作データを生成し、広告の映像と共に配信してもよい。

なお、上述のサーバ２１０は、映像の取得、動作データの生成、映像の送信、および動作データの送信を行うが、これらの処理を個別のサーバで行う構成としてもよい。例えば、映像のアップロードを受け付けるサーバと、動作データを生成するサーバと、動作データを送信するサーバと、映像を送信するサーバとの組み合わせによってもサーバ２１０と同様の機能を実現できる。

〔変形例〕
上記実施形態１では、動作データの生成を通信端末２が行う例を説明したが、表示装置１が動作データを生成してもよい。この場合、動作データ生成部１２３を表示装置１に設け、動作データ生成部１２３により、表示する映像の解析および動作データの生成を行えばよい。

また、上記実施形態１では、表示装置１に対する、動作データの送信と映像データの送信を１つの通信端末２が行う例を示したが、これらのデータの送信元が異なっていてもよい。例えば、表示装置１は、映像配信サーバ等から映像データを受信してもよい。このような場合であっても、通信端末２は、表示装置１が表示している映像データがどのような映像データであるかを特定できれば、その映像に応じた動作データを生成し、表示装置１に送信することができる。例えば、映像配信サーバ等から、配信中のデータに関する情報（映像そのものであってもよいし、配信中のシーンの内容を示すシーン情報等であってもよい）を取得して動作データを生成してもよい。

また、上記実施形態１では、映像等の解析によって、あるいは撮影装置５に取り付けたセンサで取得したデータに基づいて動作データを生成する例を説明したが、動作データの生成方法はこれらの例に限られない。例えば、通信端末２や、他の装置（例えばパーソナルコンピュータ等）でオーサリングツールを用いて映像に応じた動作データを生成してもよい。この場合、映像中の所望のタイミングで表示面を動かすことができるように、動作データと共に、映像と同期させるための同期データ（例えば再生時間情報）を生成することが好ましい。そして、このような同期データを取得した際には、動作制御部１０７は、当該同期データの示すタイミングで表示面を動かすことが好ましい。

また、例えば、表示装置１の動きをセンサ部１６で検出し、これを動作データとして記録してもよい。この場合、制御部１０に、センサ部１６の検出した動きを動作データとして記録する動作データ記録部を設ければよい。これにより、ユーザは、所望の動きを動作データとして記録し、その動きで表示面を動かしながら、その動きに応じた好みの映像を楽しむことができる。このような動作データの記録は、ジャイロセンサや加速度センサを備えた装置であれば、表示装置１以外の装置でも行うことができる。例えば、通信端末２がこれらのセンサを備えていれば、通信端末２を動かして、その動きに応じた動作データを生成することもできる。

また、生成した動作データを単独で、あるいはそれに対応する映像と共に他の表示装置１に直接または間接に送信してもよく、これにより、当該他の表示装置１も、その動作データの動きで表示面を動かすことが可能になる。例えば、通信端末２で生成し、記録した動作データは、所望のタイミングで表示装置１に送信し、これにより表示面を動かすことができる。また、例えば、表示装置１で映像を撮影し、該映像に応じた動作データ、あるいは撮影時に表示装置１のセンサ部１６で検出した動きに応じた動作データを生成して、他の表示装置１に送信してもよい。後者の場合、データ送信側の表示装置１の表示面の動きを、データ受信側の表示装置１（他の表示装置）で再現することができる。なお、この場合、データ送信側の表示装置１は、受信側の表示装置１の動作を制御する制御装置として機能することになる。さらに、例えば、他の表示装置１から該表示装置１の撮影した映像を受信し、該映像に応じた動作データを生成して表示面を動かしてもよい。このように、表示装置１間でデータの送受信を行う場合、各表示装置１に通信端末２と同様の通信機能およびユーザインターフェースを設ければよい。

また、例えば、動画投稿サイトに映像をアップロードすると共に、生成した動作データもアップロードしてもよい。これにより、当該映像を表示装置１で閲覧する際に、映像と共に動作データもダウンロードして、当該映像を当該動作データの動きと合わせて楽しむことができる。また、動画投稿サイト側に上記実施形態３のサーバ２１０を設け、アップロードされた映像に応じた動作データを生成してもよく、この場合も上記と同様の効果が得られる。無論、アップロード先は、動作データを配信可能なサーバであればよく、動画投稿サイトのサーバに限られない。例えば、ＳＮＳのサーバにサーバ２１０と同様の機能を持たせ、該サーバに動作データをアップロードしてもよい。この場合、ＳＮＳ経由で動作データを取得し、ＳＮＳ上の映像を、取得した動作データと組み合わせて楽しむことができる。

〔ソフトウェアによる実現例〕
表示装置１および通信端末２の制御ブロック（特に制御部１０および制御部２０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、表示装置１および通信端末２は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る制御装置は、表示面を備えた表示装置（１）を制御する制御装置（通信端末２）であって、上記表示面を動かすための、上記表示面に表示される映像に応じた動作データを生成する動作データ生成部（１２３）と、上記動作データ生成部が生成した動作データを上記表示装置に送信して、該動作データに従って上記表示面の動作機構を動作させて該表示面を動かす制御を上記表示装置に実行させるデータ送信部（１２２）と、を備えている。

上記の構成によれば、映像に応じた動作データを生成して表示装置に送信するので、該表示装置は、表示する映像に応じた動きで表示面を動かすことができる。したがって、映像に応じた動きによって映像に視覚効果を付与することができるという効果を奏する。なお、動きによって付与される視覚効果は、動きがあることによって生じる効果であればよく、特に限定されない。例えば、上記視覚効果としては、映像の内容に注目させる効果の他に、臨場感や立体感が生じる等の効果が挙げられる。

本発明の態様２に係る制御装置は、上記態様１において、上記動作データ生成部は、上記映像中の所定のオブジェクトの動きに応じた動作データを生成してもよい。

上記の構成によれば、映像中のオブジェクトの動きに応じて動作データを生成するので、映像を観ている者に対して、映像中のオブジェクトの動きを強調して伝えることができるという効果を奏する。なお、所定のオブジェクトは、映像中の所定範囲を占めるものであればよい。例えば、映像中の人物の体全体であってもよいし、体の一部（頭や手、眼球の黒目部分等）であってもよい。

本発明の態様３に係る制御装置は、上記態様１または２において、上記動作データ生成部は、上記映像中の人物またはキャラクターの表情に応じた動作データを生成してもよい。

上記の構成によれば、映像中の人物またはキャラクターの表情に応じて動作データを生成するので、映像を観ている者に対して、映像中の人物またはキャラクターの表情（あるいはその表情に応じた感情）を強調して伝えることができるという効果を奏する。例えば、映像中の人物が微笑んでいるときに、表示面をゆっくりと搖動させることにより、該人物の微笑んだ表情に注目させることができ、また、該人物の穏やかな喜びの感情を強調して伝えることができる。

本発明の態様４に係る制御装置は、上記態様１から３の何れか１態様において、上記映像中の人物またはキャラクターの発話内容に応じた動作データを生成してもよい。

上記の構成によれば、映像中の人物またはキャラクターの発話内容に応じて動作データを生成するので、映像を観ている者に対して、映像中の人物またはキャラクターの発話内容、またはその発話内容に応じた感情を強調して伝えることができるという効果を奏する。例えば、映像中の人物が驚いた旨の発話をしたときに、表示面を後ろ側に倒れ込むように動かすことにより、該人物の驚きの感情を強調して伝えることができる。

本発明の態様５に係る表示装置（１）は、表示面を備えた表示装置であって、上記表示面を動かすための、上記表示面に表示する映像に応じた動作データを、上記表示装置の動作を制御する制御装置（通信端末２）から取得する動作データ取得部（１０４）と、上記表示面に上記映像が表示されているときに、上記動作データに従って上記表示面の動作機構を動作させて上記表示面を動かす動作制御部（１０７）と、を備えている。

上記の構成によれば、表示する映像に応じた動作データを取得し、該動作データに従って表示面を動かすので、映像と表示面の動きの組み合わせによる新たな視覚効果を生み出すことができるという効果を奏する。

本発明の態様６に係る表示装置は、上記態様５において、上記動作データ取得部は、上記映像中の所定のオブジェクトの動きに応じた動作データを取得してもよい。該構成によれば、映像中のオブジェクトの動きに応じた動作データを取得するので、映像を観ている者に対して、映像中のオブジェクトの動きを強調して伝えることができるという効果を奏する。

本発明の態様７に係る表示装置は、上記態様５または６において、上記動作データ取得部は、上記映像中の人物またはキャラクターの表情に応じた動作データを取得してもよい。該構成によれば、映像中の人物またはキャラクターの表情に応じた動作データを取得するので、映像を観ている者に対して、映像中の人物またはキャラクターの表情（あるいはその表情に応じた感情）を強調して伝えることができるという効果を奏する。

本発明の態様８に係る表示装置は、上記態様５から７の何れか１態様において、上記動作データ取得部は、上記映像中の人物またはキャラクターの発話内容に応じた動作データを取得してもよい。該構成によれば、映像中の人物またはキャラクターの発話内容に応じた動作データを取得するので、映像を観ている者に対して、映像中の人物またはキャラクターの発話内容、またはその発話内容に応じた感情を強調して伝えることができるという効果を奏する。

本発明の態様９に係る表示装置は、上記態様５から８の何れか１態様において、上記動作データ取得部は、上記映像を撮影したときの撮影装置または撮影者の動きを示す動作データを取得してもよい。該構成によれば、映像を撮影したときの撮影装置または撮影者の動きを示す動作データを取得するので、映像を観ている者に対して、映像の撮影時の臨場感を伝えることができるという効果を奏する。

本発明の態様１０に係る表示装置は、上記態様５から９の何れか１態様において、上記動作データ取得部は、上記映像中の文字列の内容に応じた動作データを取得してもよい。映像中の文字列は、映像の内容を示す情報の１つであるから、上記の構成によれば、映像に応じた動きで表示面を動かすことができる。

本発明の態様１１に係る制御装置は、表示面を備えた表示装置を制御する制御装置であって、上記表示面を動かすための、上記表示面に表示される映像に応じた動作データを取得する動作データ取得部と、上記動作データ取得部が取得した動作データを上記表示装置に送信して、該動作データに従って上記表示面の動作機構を動作させて該表示面を動かす制御を上記表示装置に実行させるデータ送信部と、を備えている。

上記の構成によれば、映像に応じた動作データを取得して表示装置に送信するので、該表示装置は、表示する映像に応じた動きで表示面を動かすことができる。したがって、映像に応じた動きによって映像に視覚効果を付与することができるという効果を奏する。なお、動作データは上記制御装置の外部の装置から取得してもよいし、上記制御装置にて生成した動作データを取得してもよい。

本発明の一態様に係る制御装置の制御方法は、表示面を備えた表示装置（１）を制御する制御装置（通信端末２）の制御方法であって、上記表示面を動かすための、上記表示面に表示される映像に応じた動作データを生成する動作データ生成ステップ（Ｓ３５、Ｓ４５）と、上記動作データ生成ステップで生成した動作データを上記表示装置に送信して、該動作データに従って上記表示面の動作機構を動作させて該表示面を動かす制御を上記表示装置に実行させるデータ送信ステップ（Ｓ３６、Ｓ４６）と、を含む。該構成によれば、上記態様１と同様の効果を奏する。

本発明の一態様に係る表示装置の制御方法は、表示面を備えた表示装置（１）の制御方法であって、上記表示面を動かすための、上記表示面に表示する映像に応じた動作データを、上記表示装置の動作を制御する制御装置（通信端末２）から取得する動作データ取得ステップ（Ｓ１、Ｓ２４、Ｓ５４、Ｓ９１、Ｓ１００、Ｓ１１０）と、上記表示面に上記映像が表示されているときに、上記動作データに従って上記表示面の動作機構を動作させて上記表示面を動かす動作制御ステップ（Ｓ３、Ｓ２５、Ｓ５５、Ｓ９２、Ｓ１０６、Ｓ１１３）と、を含む。該構成によれば、上記態様５と同様の効果を奏する。
本発明の一態様に係る制御装置（通信端末２）の制御方法は、表示面を備えた表示装置（１）を制御する制御装置（表示装置１、通信端末２、サーバ２１０）であって、上記表示面を動かすための、上記表示面に表示される映像に応じた動作データを取得する動作データ取得ステップ（Ｓ１２、Ｓ３５、Ｓ４５）と、上記動作データ取得ステップで取得した動作データを上記表示装置に送信して、該動作データに従って上記表示面の動作機構を動作させて該表示面を動かす制御を上記表示装置に実行させるデータ送信ステップ（Ｓ１３、Ｓ３６、Ｓ４６、Ｓ８１）と、を含む。該構成によれば、上記態様１１と同様の効果を奏する。

本発明の一態様に係る制御装置は、上記の何れか１態様において、上記動作データ生成部は、上記映像に対する投稿に応じた動作データを生成してもよい。該構成によれば、投稿に応じた表示面の動きにより、投稿の状況をユーザに認識させることができるという効果を奏する。なお、「投稿に応じた」とは、投稿に関連する何らかの要素（例えば、投稿数、投稿内容、投稿者、投稿に基づいて表示された文字数等）に連動していることを指す。

本発明の一態様に係る制御装置は、上記の何れか１態様において、上記動作データ生成部は、上記映像の内容に応じた動作データを生成してもよい。該構成によれば、映像の内容に応じた表示面の動きにより、映像の内容をユーザに強く印象付けることができるという効果を奏する。

本発明の一態様に係る制御装置は、上記の何れか１態様において、上記動作データ生成部は、上記表示装置の周囲を撮影した撮影映像の内容に応じた動作データを生成してもよい。該構成によれば、上記表示装置の周囲の状況に応じた動きで表示面を動かすことができる。例えば、表示装置の周囲の人を追従するように表示面を動かしたり、人の多い方向に表示面を向けたりすることも可能である。

また、上記態様において、上記動作データ生成部は、上記撮影映像の内容に応じた映像を上記表示面に表示させると共に、上記撮影映像に応じた動作データを生成してもよい。これにより、ユーザは、撮影映像に応じた動きと共に、撮影映像に応じた映像を楽しむことができる。

本発明の態様１２に係る表示装置（１）は、表示面と、上記表示面に映像を表示させる表示制御部（１０５）と、上記表示制御部が表示させる映像に応じて上記表示面を動かす動作制御部（１０７）と、を備えている。

上記の構成によれば、表示させる映像に応じて表示面を動かすので、映像に応じた動きによって映像に視覚効果を付与することができるという効果を奏する。なお、動きによって付与される視覚効果は、動きがあることによって生じる効果であればよく、特に限定されない。例えば、上記視覚効果としては、映像の内容に注目させる効果の他に、臨場感や立体感が生じる等の効果が挙げられる。

本発明の態様１３に係る表示装置は、上記態様１２において、上記動作制御部は、上記映像中の所定のオブジェクトの動きに応じて上記表示面を動かしてもよい。

上記の構成によれば、映像中のオブジェクトの動きに応じて表示面を動かすので、映像を観ている者に対して、映像中のオブジェクトの動きを強調して伝えることができるという効果を奏する。なお、所定のオブジェクトは、映像中の所定範囲を占めるものであればよい。例えば、映像中の人物の体全体であってもよいし、体の一部（頭や手、眼球の黒目部分等）であってもよい。また、所定のオブジェクトは人であってもよいし、他の動物であってもよく、物体（非生物）であってもよい。また、アニメーションのキャラクターのようにバーチャルなオブジェクトであってもよい。

本発明の態様１４に係る表示装置は、上記態様１２または１３において、上記映像中の人物またはキャラクターの表情に応じて上記表示面を動かしてもよい。

上記の構成によれば、映像中の人物またはキャラクターの表情に応じて表示面を動かすので、映像を観ている者に対して、映像中の人物またはキャラクターの表情（あるいはその表情に応じた感情）を強調して伝えることができるという効果を奏する。例えば、映像中の人物が微笑んでいるときに、表示面をゆっくりと揺動させることにより、該人物の微笑んだ表情に注目させることができ、また、該人物の穏やかな喜びの感情を強調して伝えることができる。

本発明の態様１５に係る表示装置は、上記態様１２から１４の何れか１態様において、上記動作制御部は、上記映像中の人物またはキャラクターの発話内容に応じて上記表示面を動かしてもよい。

上記の構成によれば、映像中の人物またはキャラクターの発話内容に応じて表示面を動かすので、映像を観ている者に対して、映像中の人物またはキャラクターの発話内容、またはその発話内容に応じた感情を強調して伝えることができるという効果を奏する。例えば、映像中の人物が驚いた旨の発話をしたときに、表示面を後ろ側に倒れ込むように動かすことにより、該人物の驚きの感情を強調して伝えることができる。

本発明の態様１６に係る表示装置は、上記態様１２から１５の何れか１態様において、上記動作制御部は、上記映像を撮影したときの撮影装置または撮影者の動きを示す動作データを取得し、該動作データを用いて上記表示面を動かしてもよい。

上記の構成によれば、映像を撮影したときの撮影装置または撮影者の動きを示す動作データを用いて表示面を動かすので、映像を観ている者に対して、映像の撮影時の臨場感を伝えることができるという効果を奏する。なお、撮影者の動きを示す動作データを取得する場合、撮影者の頭部の動きを示す動作データを取得することで、撮影者が撮影を行っているときの臨場感をより正確に伝えることができるので好ましい。

本発明の態様１７に係る表示装置は、上記態様１２から１６の何れか１態様において、上記動作制御部は、上記映像中の文字列の内容に応じて上記表示面を動かしてもよい。映像中の文字列は、映像の内容を示す情報の１つであるから、上記構成によれば、映像に応じた動きで表示面を動かすことができる。

本発明の態様１８に係る表示装置は、上記態様１２から１７の何れか１態様において、上記動作制御部は、上記表示装置と直接または間接に通信接続している他の表示装置の表示面が動かされたときに、上記他の表示装置の上記表示面の動きと連動して、上記表示装置の上記表示面を動かしてもよい。

上記の構成によれば、上記表示装置と直接または間接に通信接続している他の表示装置の表示面が動かされたときに、その動きと連動して表示面を動かすので、表示面を動かすことによるコミュニケーションが可能になるという効果を奏する。特に、上記表示装置をテレビ電話のモニターとして使用する際には、音声での会話と映像に加えて、通話の相手方が動かした表示面の動きが、上記表示装置の動きとして反映されるので、臨場感を高める効果が期待できる。

本発明の態様１９に係る表示装置は、上記態様１２から１８の何れか１態様において、上記動作制御部は、上記映像に対する投稿に応じて上記表示装置の上記表示面を動かしてもよい。該構成によれば、投稿に応じた表示面の動きにより、投稿の状況をユーザに認識させることができるという効果を奏する。なお、「投稿に応じて」とは、投稿に関連する何らかの要素（例えば、投稿数、投稿内容、投稿者、投稿に基づいて表示された文字数等）に連動していることを指す。

本発明の態様２０に係る表示装置は、上記態様１２から１９の何れか１態様において、上記動作制御部は、上記映像の内容に応じて上記表示装置の上記表示面を動かしてもよい。該構成によれば、映像の内容に応じた表示面の動きにより、映像の内容をユーザに強く印象付けることができるという効果を奏する。

本発明の態様２１に係る表示装置は、上記態様１２から２０の何れか１態様において、上記動作制御部は、上記表示装置の周囲を撮影した撮影映像の内容に応じて上記表示装置の上記表示面を動かしてもよい。該構成によれば、上記表示装置の周囲の状況に応じた動きで表示面を動かすことができる。例えば、表示装置の周囲の人を追従するように表示面を動かしたり、人の多い方向に表示面を向けたりすることも可能である。

また、本発明の態様２２に係る表示装置は、上記態様２１において、上記表示制御部は、上記撮影映像の内容に応じた映像を上記表示面に表示させ、上記動作制御部は、上記撮影映像に応じた動きで上記表示装置の上記表示面を動かしてもよい。これにより、ユーザは、撮影映像に応じた動きと共に、撮影映像に応じた映像を楽しむことができる。

本発明の態様２３に係る表示装置は、上記態様１２から２２の何れか１態様において、上記表示面の動きを示す動作データを生成する生成装置（通信端末２）から上記動作データを取得する動作データ取得部（１０４）を備え、上記動作制御部は、該動作データを用いて上記表示面を動かしてもよい。該構成によれば、生成装置が生成した動作データに応じた動きで表示面を動かすことができる。また、表示装置自体が動作データを生成していない場合であっても、表示面を動かすことができる。

本発明の態様２４に係る表示装置は、上記態様１２から２３の何れか１態様において、上記表示面の動きを示す動作データを配信する配信サーバから上記動作データを取得する動作データ取得部（１０４）を備え、上記動作制御部は、該動作データを用いて上記表示面を動かしてもよい。該構成によれば、配信サーバにアクセスすることにより、表示面を動かすことができる。また、表示装置自体が動作データを生成していない場合であっても、表示面を動かすことができる。

本発明の一態様に係る制御方法は、表示面に映像を表示させる表示装置が実行する制御方法であって、上記表示面に映像を表示させる表示制御ステップ（Ｓ４、Ｓ２３、Ｓ５３、Ｓ１０７、Ｓ１１２）と、上記表示制御ステップにて表示させる映像に応じて上記表示面を動かす動作制御ステップ（Ｓ３、Ｓ２５、Ｓ５５、Ｓ１０６、Ｓ１１３）と、を含む。該制御方法によれば、上記態様１２と同様の効果を奏する。

本発明の各態様に係る表示装置および制御装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記表示装置または上記制御装置が備える各部（ソフトウェア要素）として動作させることにより上記表示装置または上記制御装置をコンピュータにて実現させる表示装置の制御プログラムまたは制御装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

本発明は、表示装置、表示装置を制御する制御装置等に利用することができる。

１Ａ、１Ｂ 表示装置（制御装置）
２Ａ、２Ｂ 通信端末（制御装置）
１９ 動作機構
１０４ 動作データ取得部
１０５ 表示制御部
１０７ 動作制御部
１２１ 端末側動作データ取得部（動作データ取得部）
１２２ データ送信部
１２３ 動作データ生成部
２１０ サーバ（制御装置）
Ｓ１、Ｓ２４、Ｓ５４、Ｓ９１、Ｓ１００、Ｓ１１０ 動作データ取得ステップ
Ｓ３、Ｓ２５、Ｓ５５、Ｓ９２、Ｓ１０６、Ｓ１１３ 動作制御ステップ
Ｓ３５、Ｓ４５ 動作データ生成ステップ
Ｓ３６、Ｓ４６ データ送信ステップ
Ｓ４、Ｓ２３、Ｓ５３、Ｓ１０７、Ｓ１１２ 表示制御ステップ
Ｓ３、Ｓ２５、Ｓ５５、Ｓ１０６、Ｓ１１３ 動作制御ステップ

Claims (17)

1. 表示面を備えた表示装置を制御する制御装置であって、
   上記表示面を動かすための、上記表示面に表示される映像に応じた動作データを生成する動作データ生成部と、
   上記動作データ生成部が生成した動作データを上記表示装置に送信して、該動作データに従って上記表示面の動作機構を動作させて該表示面を動かす制御を上記表示装置に実行させるデータ送信部と、を備えていることを特徴とする制御装置。
2. 上記動作データ生成部は、上記映像中の所定のオブジェクトの動きに応じた動作データを生成することを特徴とする請求項１に記載の制御装置。
3. 上記動作データ生成部は、上記映像中の人物またはキャラクターの表情に応じた動作データを生成することを特徴とする請求項１または２に記載の制御装置。
4. 上記動作データ生成部は、上記映像中の人物またはキャラクターの発話内容に応じた動作データを生成することを特徴とする請求項１から３の何れか１項に記載の制御装置。
5. 表示面を備えた表示装置であって、
   上記表示面を動かすための、上記表示面に表示する映像に応じた動作データを、上記表示装置の動作を制御する制御装置から取得する動作データ取得部と、
   上記表示面に上記映像が表示されているときに、上記動作データに従って上記表示面の動作機構を動作させて上記表示面を動かす動作制御部と、を備えていることを特徴とする表示装置。
6. 上記動作データ取得部は、上記映像中の所定のオブジェクトの動きに応じた動作データを取得することを特徴とする請求項５に記載の表示装置。
7. 上記動作データ取得部は、上記映像中の人物またはキャラクターの表情に応じた動作データを取得することを特徴とする請求項５または６に記載の表示装置。
8. 上記動作データ取得部は、上記映像中の人物またはキャラクターの発話内容に応じた動作データを取得することを特徴とする請求項５から７の何れか１項に記載の表示装置。
9. 上記動作データ取得部は、上記映像を撮影したときの撮影装置または撮影者の動きを示す動作データを取得することを特徴とする請求項５から８の何れか１項に記載の表示装置。
10. 上記動作データ取得部は、上記映像中の文字列の内容に応じた動作データを取得することを特徴とする請求項５から９の何れか１項に記載の表示装置。
11. 表示面を備えた表示装置を制御する制御装置であって、
    上記表示面を動かすための、上記表示面に表示される映像に応じた動作データを取得する動作データ取得部と、
    上記動作データ取得部が取得した動作データを上記表示装置に送信して、該動作データに従って上記表示面の動作機構を動作させて該表示面を動かす制御を上記表示装置に実行させるデータ送信部と、を備えていることを特徴とする制御装置。
12. 表示面と、
    上記表示面に映像を表示させる表示制御部と、
    上記表示制御部が表示させる映像に応じて上記表示面を動かす動作制御部と、を備えていることを特徴とする表示装置。
13. 上記動作制御部は、上記映像中の所定のオブジェクトの動きに応じて上記表示面を動かすことを特徴とする請求項１２に記載の表示装置。
14. 上記動作制御部は、上記映像中の人物またはキャラクターの表情に応じて上記表示面を動かすことを特徴とする請求項１２または１３に記載の表示装置。
15. 上記動作制御部は、上記映像中の人物またはキャラクターの発話内容に応じて上記表示面を動かすことを特徴とする請求項１２から１４の何れか１項に記載の表示装置。
16. 上記動作制御部は、上記映像を撮影したときの撮影装置または撮影者の動きを示す動作データを取得し、該動作データを用いて上記表示面を動かすことを特徴とする請求項１２から１５の何れか１項に記載の表示装置。
17. 上記動作制御部は、上記映像中の文字列の内容に応じて上記表示面を動かすことを特徴とする請求項１２から１６の何れか１項に記載の表示装置。

Images