JP6461322B2 - Control device and display device - Google Patents
Control device and display device Download PDFInfo
- Publication number
- JP6461322B2 JP6461322B2 JP2017515357A JP2017515357A JP6461322B2 JP 6461322 B2 JP6461322 B2 JP 6461322B2 JP 2017515357 A JP2017515357 A JP 2017515357A JP 2017515357 A JP2017515357 A JP 2017515357A JP 6461322 B2 JP6461322 B2 JP 6461322B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- display surface
- display device
- display
- operation data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
- G09F9/00—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Controls And Circuits For Display Device (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は映像を表示する表示装置および該表示装置を制御する制御装置に関する。 The present invention relates to a display device that displays an image and a control device that controls the display device.
これまでに、画像等の表示を行う表示装置について、多種多様なものが開発されている。例えば、特許文献１には、予め決められた領域を自律的に移動して広告を行う自律移動ロボットであって、情報提供サーバに蓄えられている広告情報を読み出して出力する自律移動ロボットが開示されている。この技術によれば、予め決められた領域内において、内容が豊富な広告を行うことができる。
Various types of display devices that display images and the like have been developed so far. For example,
しかし、上記従来技術におけるロボットの移動は、あくまで広告を行う位置を変えるための移動であり、表示する広告に対して当該広告に応じた視覚効果をもたらすためのものではなかった。このため、上記従来技術では、広告の内容よりもロボットの方が注目を集めてしまうおそれがある。本発明は、上記の問題点に鑑みてなされたものであり、その目的は、映像に応じた動きによって映像に視覚効果を付与することができる表示装置等を提供することにある。 However, the movement of the robot in the above-described prior art is only a movement for changing the position where the advertisement is performed, and is not for bringing a visual effect corresponding to the advertisement to the advertisement to be displayed. For this reason, in the said prior art, there exists a possibility that a robot may attract attention rather than the content of an advertisement. The present invention has been made in view of the above-described problems, and an object of the present invention is to provide a display device and the like that can give a visual effect to a video by a movement according to the video.
上記の課題を解決するために、本発明の一態様に係る制御装置は、表示面を備えた表示装置を制御する制御装置であって、上記表示面を動かすための、上記表示面に表示される映像に応じた動作データを生成する動作データ生成部と、上記動作データ生成部が生成した動作データを上記表示装置に送信して、該動作データに従って上記表示面の動作機構を動作させて該表示面を動かす制御を上記表示装置に実行させるデータ送信部と、を備えている。 In order to solve the above problems, a control device according to an aspect of the present invention is a control device that controls a display device including a display surface, and is displayed on the display surface for moving the display surface. An operation data generation unit that generates operation data corresponding to the video to be transmitted, and the operation data generated by the operation data generation unit is transmitted to the display device, and the operation mechanism of the display surface is operated in accordance with the operation data. A data transmission unit that causes the display device to execute control for moving the display surface.
また、本発明の一態様に係る表示装置は、上記の課題を解決するために、表示面を備えた表示装置であって、上記表示面を動かすための、上記表示面に表示する映像に応じた動作データを、上記表示装置の動作を制御する制御装置から取得する動作データ取得部と、上記表示面に上記映像が表示されているときに、上記動作データに従って上記表示面の動作機構を動作させて上記表示面を動かす動作制御部と、を備えている。 In addition, a display device according to one embodiment of the present invention is a display device including a display surface in order to solve the above-described problem, and according to an image displayed on the display surface for moving the display surface. Operation data acquisition unit for acquiring the operation data from the control device that controls the operation of the display device, and when the video is displayed on the display surface, the operation mechanism of the display surface is operated according to the operation data. And an operation control unit that moves the display surface.
そして、本発明の一態様に係る制御装置は、上記の課題を解決するために、表示面を備えた表示装置を制御する制御装置であって、上記表示面を動かすための、上記表示面に表示される映像に応じた動作データを取得する動作データ取得部と、上記動作データ取得部が取得した動作データを上記表示装置に送信して、該動作データに従って上記表示面の動作機構を動作させて該表示面を動かす制御を上記表示装置に実行させるデータ送信部と、を備えている。 And in order to solve said subject, the control apparatus which concerns on 1 aspect of this invention is a control apparatus which controls the display apparatus provided with the display surface, Comprising: On the said display surface for moving the said display surface An operation data acquisition unit that acquires operation data corresponding to a displayed image, and the operation data acquired by the operation data acquisition unit are transmitted to the display device, and the operation mechanism of the display surface is operated according to the operation data. And a data transmission unit for causing the display device to execute control for moving the display surface.
また、本発明の他の態様に係る表示装置は、上記の課題を解決するために、表示面と、上記表示面に映像を表示させる表示制御部と、上記表示制御部が表示させる映像に応じて上記表示面を動かす動作制御部と、を備えている。 In addition, in order to solve the above-described problem, a display device according to another aspect of the present invention responds to a display surface, a display control unit that displays an image on the display surface, and an image displayed by the display control unit. And an operation control unit that moves the display surface.
本発明の上記各態様によれば、映像に応じた動きによって映像に視覚効果を付与することができるという効果を奏する。 According to each aspect of the present invention, there is an effect that a visual effect can be imparted to a video by movement according to the video.
以下、本発明の実施の形態について、図１〜１６を参照しながら、詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to FIGS.
〔実施形態１〕
以下、本発明の実施の形態について、詳細に説明する。図１は、本実施形態に係る表示部動作システムの要部構成を示すブロック図である。図１に示すように、本実施形態に係る表示部動作システムは、表示装置１Ａ、通信端末（制御装置）２Ａ、通信端末（制御装置）２Ｂ、および表示装置１Ｂを含む。
Hereinafter, embodiments of the present invention will be described in detail. FIG. 1 is a block diagram showing a main configuration of the display unit operation system according to the present embodiment. As shown in FIG. 1, the display unit operation system according to the present embodiment includes a display device 1A, a communication terminal (control device) 2A, a communication terminal (control device) 2B, and a
表示装置１Ａと通信端末２Ａとは、例えばＢＬＥ（Bluetooth（登録商標） Low energy）等を介して通信接続される。なお、表示装置１Ａと通信端末２Ａとの通信方法は特に限定されず、上記の例のように近距離無線通信接続してもよいし、有線通信接続してもよい。また、表示装置１Ｂと通信端末２Ｂとの通信接続は、表示装置１Ａと通信端末２Ａとの通信接続と同様である。
The display device 1A and the
通信端末２Ａと通信端末２Ｂとは、例えば携帯電話網等の通信ネットワークを介して通信接続される。通信ネットワークは、任意のネットワークを用いることができ、携帯電話網に限定されない。
〔表示装置の構成〕
まず、表示装置１Ａの構成を説明する。なお、表示装置１Ａおよび１Ｂは同じ構成であり、特にこれらを区別する必要がない場合には、これらを何れも表示装置１と表記する。表示装置１は、制御部１０、記憶部１１、通信部１２、出力部７０、および入力部８０を備えている。[Configuration of display device]
First, the configuration of the display device 1A will be described. Note that the
記憶部１１は、表示装置１が使用する各種データを記憶するものである。また、通信部１２は、表示装置１Ａが他の装置（ここでは通信端末２Ａ）と通信を行うためのものである。例えば、通信部１２は、通信端末２Ａから映像データ、音声データ、および映像データに応じた動作データ等を受信し、受信したデータを制御部１０の動作データ取得部１０４に送信する。また、通信部１２は映像送信部１０２および動作データ送信部１０３の指示に従い、データを通信端末２Ａに送信する。
The
制御部１０は、表示装置１各部を統括して制御するものであり、人検出部１０１、映像送信部１０２、動作データ送信部１０３、動作データ取得部１０４、表示制御部１０５、音声制御部１０６および動作制御部１０７を含む。
The
人検出部１０１は、表示装置１の周囲の人を検出するものである。より詳細には、人検出部１０１は、後述する撮影部１５が撮影した画像データを解析することによって、撮影部１５の撮影範囲内の人を検出する。また、人検出部１０１は、該画像データを解析することによって、表示装置１から検出した人までの距離を算出する。なお、人検出部１０１を使用した動作の例については、図１１および図１２に基づいて後述する。
The
映像送信部１０２は、撮影部１５が撮影した映像データを受信し、通信部１２を介して通信端末２に送信する。なお、映像送信部１０２を使用した動作の例については、図７および図８に基づいて後述する。
The
動作データ送信部１０３は、表示装置１の表示面の動きを示す動作データを外部の装置に送信し、これにより、表示装置１の表示面の動きと連動して他の表示装置１の表示面が動くようにする。なお、動作データは、最終的に他の表示装置１に受信されればよく、他の表示装置１に直接送信してもよいし、通信端末２等の他の装置を介して送信してもよい。より詳細には、動作データ送信部１０３は、後述するセンサ部１６から、表示装置１の表示面の動きを示すセンシングデータを受信する。そして、このデータをそのまま動作データとするか、または動作機構１９の制御に用いることのできるデータ形式に変換して動作データとし、通信部１２を介して外部の装置（この例では通信端末２Ａ）に送信する。この動作データは、通信端末２Ａから通信端末２Ｂに転送され、さらに通信端末２Ｂから表示装置１Ｂに転送され、これにより、表示装置１Ｂの表示面が上記動作データに従って動くことになる。なお、この処理の詳細は、図８に基づいて後述する。
The operation
動作データ取得部１０４は、表示部１７の表示面を動かすための動作データを取得し、取得した動作データを動作制御部１０７に送信する。詳細は後述するが、動作データ取得部１０４が取得する動作データは、表示部１７に表示させる映像に応じたデータであり、これにより、表示される映像に応じて表示部１７の表示面が動くことになる。また、動作データ取得部１０４は、映像データを受信したときには表示制御部１０５に送信して表示出力させ、音声データを受信したときには音声制御部１０６に送信して音声出力させる。
The motion
表示制御部１０５は、動作データ取得部１０４から受信した映像データを表示部１７に表示出力させる。また、音声制御部１０６は、動作データ取得部１０４から受信した音声データを音声出力部１８に音声出力させる。
The
動作制御部１０７は、表示制御部１０５が表示させる映像に応じて表示部１７の表示面を動かす。具体的には、動作制御部１０７は、表示部１７の表示面に映像が表示されているときに、動作データ取得部１０４から受信した、該映像に応じた動作データに従って動作機構１９を動作させることによって、表示部１７の表示面を動かす。
The
また、表示装置１は、出力部７０として、表示部１７、音声出力部１８、および動作機構１９を含む。表示部１７は、制御部１０の制御に従って画像を表示するものであり、音声出力部１８は、制御部１０の制御に従って音声を出力するものである。
Further, the
動作機構１９は、表示部１７の表示面を動作させるものである。より詳細には、動作機構１９は、表示装置の重心を移動させて、筐体３の外縁部に沿って表示装置１Ａ全体を動かすことにより表示部１７の表示面を動かす。なお、動作機構１９の詳細は、図４に基づいて後述する。
The
また、表示装置１は、入力部８０として、音声入力部１３、入力操作検知部１４、撮影部１５、およびセンサ部１６を含む。音声入力部１３は、表示装置１に対する音声入力を受け付け、受け付けた音声を信号に変換して制御部１０に出力する。入力操作検知部１４は、表示装置１に対するユーザの入力操作を検知するものであり、例えばタッチパネルなどであってもよい。撮影部１５は、表示装置１の外部の映像（静止画像または動画像）を撮影し、撮影によって得られた映像データを制御部１０に出力する。撮影部１５は、例えば、カメラなどであってもよい。センサ部１６は、表示装置１の動き（表示面の動き）を検出し、検出した動きを示す動作データを制御部１０に出力するものであり、１または複数のセンサを含む。センサ部１６は、表示面の動きを検出し、その動きを示すセンシングデータを出力するものであればよく、例えば、センサ部１６には、加速度センサとジャイロセンサが含まれていてもよい。
Further, the
〔通信端末の構成〕
次に、通信端末２Ａの構成を説明する。なお、通信端末２Ａおよび２Ｂは同じ構成であり、特にこれらを区別する必要がない場合には、これらを何れも通信端末２と表記する。通信端末２は、表示装置１が表示する映像に応じた動作データを取得し、該表示装置１に送信することにより、該表示装置１の表示面が、表示する映像に応じて動くようにする。図１に示すように、通信端末２は、制御部２０、記憶部２１、第１通信部２２、および第２通信部２３を備えている。[Configuration of communication terminal]
Next, the configuration of the
制御部２０は、通信端末２の各部を統括して制御するものであり、端末側動作データ取得部１２１、データ送信部１２２、動作データ生成部１２３、通信制御部１２４を含む。
The
端末側動作データ取得部１２１は、表示装置１の表示部１７の表示面を動かすための動作データを取得し、データ送信部１２２に出力する。詳細は後述するが、端末側動作データ取得部１２１が取得する動作データは、表示装置１が表示する映像に応じたデータであり、通信端末２または他の装置で生成されたデータである。
The terminal-side operation
データ送信部１２２は、表示装置１に各種データを送信する。具体的には、データ送信部１２２は、表示装置１に表示させる映像データ、表示装置１に出力させる音声データ、および端末側動作データ取得部１２１が取得した動作データを、後述の第２通信部２３を介して表示装置１に送信する。なお、表示装置１に送信する動作データは、表示面の動きを示すデータ以外に、該データに基づいた動作を指示する命令を含む動作コマンドとして送信してもよい。
The
動作データ生成部１２３は、表示装置１が表示する映像を解析し、解析の結果に応じた動作データ、すなわち映像に応じた動作データを生成する。そして、生成した動作データを端末側動作データ取得部１２１に送信する。なお、動作データの生成方法については後述する。
The motion
通信制御部１２４は、後述の第１通信部２２を介した通信に関する制御を行う。本実施形態では、通信端末２Ａの通信制御部１２４は、通信端末２Ｂとの通信に関する制御を行う。例えば、通信制御部１２４は、通信端末２Ａと２Ｂとで双方の映像および音声をリアルタイムで交換する通信（いわゆるテレビ電話による通話）の際に、映像および音声の中継処理を行う。
The
記憶部２１は、通信端末２が使用する各種データを記憶するものである。記憶部２１には、例えば、映像データ、音声データ、および動作データ（音声データまたは映像データに応じた動作データ）等が格納されている。
The
第１通信部２２は、通信端末２が他の装置と通信するためのものである。本実施形態においては、通信端末２Ａは、第１通信部２２および通信ネットワークを介して通信端末２Ｂと無線通信する。上述のように、第１通信部２２を介した通信は、通信制御部１２４が制御する。
The
第２通信部２３は、通信端末２が表示装置１と通信を行うためのものである。上述のように、第２通信部２３を介した通信では、データ送信部１２２によって、映像データ、音声データ、および動作データが表示装置１に送信される。
The
〔表示装置の外観〕
次に、表示装置１の外観について図２を用いて説明する。図２は、表示装置１の外観の一例を示す図である。同図の（ａ）および（ｂ）に示す表示装置１は、球状の筐体３に表示部１７が設けられた構成である。より詳細には、筐体３は、一部が欠けた球状であり、この欠けた部分に表示部１７の表示面が位置している。表現を変えれば、球体の一部を平面で切り取った形状の筐体３の、切り取られた平面部分に円形の表示面が位置している。[Appearance of display device]
Next, the appearance of the
筐体３が球状であるため、表示装置１は筐体３の外縁部に沿って容易に転がり、これにより表示面の位置が変わる。詳細は後述するが、表示装置１は、この筐体形状を利用して、表示面を動かすことができ、また表示面が所望の位置となったときに、その位置で表示面の動きを止めることもできる。
Since the housing 3 is spherical, the
例えば、例えば電源を切っているときなどのように、表示装置１に映像を表示させていないときには、表示装置１の表示面は任意の方向を向いているが、映像の表示時には、同図の（ａ）および（ｂ）に示すように、表示面が斜め上方を向く状態となる。以下では、この状態を基準状態と呼ぶ。つまり、表示装置１は、起動時から映像の表示開始時までの間に、表示面を動かして基準状態となる。なお、表示部１７の上下方向（表示する映像の上下方向）が固定である場合には、表示部１７の上端が最も上側に来るように表示面を動かせばよい。また、表示部１７に表示する映像の上下方向を表示制御部１０５により変更できる場合には、基準状態とした後で映像の表示方向を調整してもよい。無論、基準状態ではない状態で映像を表示し、表示面を動かしてもよい。例えば、映像を表示した後、表示面を水平にし、表示面が水平の状態で映像を表示しながら表示面を回転させる、表示面を起き上がらせた後に水平に戻す、などの動かし方も可能である。
For example, when the video is not displayed on the
〔映像に応じた表示面の動かし方〕
次に、映像に応じた表示面の動かし方について、図３を用いて説明する。図３は、映像に応じた表示面の動かし方の例を示す図である。同図の左側が映像を示し、矢印を挟んだ右側がその映像に応じた表示装置１（表示面）の動きの例を示している。表示装置１の動作制御部１０７が、同図の左側の映像が表示されているときに、同図の右側の動きに対応した動作データを用いて動作機構１９を動作させることにより、同図に示すような、映像と連動した表示面の動きが実現される。[How to move the display surface according to the image]
Next, how to move the display surface according to the video will be described with reference to FIG. FIG. 3 is a diagram illustrating an example of how to move the display surface according to the video. The left side of the figure shows an image, and the right side across the arrow shows an example of the movement of the display device 1 (display surface) corresponding to the image. The
同図の（ａ）に示すように、映像中の人物がうなずいた場合、映像中の人物の頭部の動きを模倣するように表示面を動かしてもよい。図示の例では、うなずいた人物の頭部の前方に倒れ込む動きに合わせて、表示面も前方に倒れ込むように動かしている。これにより、映像中の人物のうなずく動作を強調して伝えることができる。 As shown to (a) of the figure, when a person in the video nods, the display surface may be moved so as to imitate the movement of the head of the person in the video. In the illustrated example, the display surface is also moved to fall forward in accordance with the movement of falling forward of the head of the nodding person. As a result, it is possible to emphasize and convey the nodding motion of the person in the video.
また、同図の（ｃ）および（ｄ）に示すように、映像中の人物の視線（黒目の動き）に応じて表示面を動かしてもよい。図示の例では、映像中の人物の視線が右方向に動いた場合、右を向くように表示面を動かし、映像中の人物の視線が上方向に動いた場合、上を向くように表示面を動かしている。 Further, as shown in (c) and (d) of the figure, the display surface may be moved according to the line of sight of the person in the video (movement of black eyes). In the example shown in the figure, when the line of sight of a person in the image moves to the right, the display surface is moved so as to face right, and when the line of sight of the person in the image moves upward, the display surface is directed so as to face upward. Is moving.
これらの例のように、動作制御部１０７は、映像中の所定のオブジェクトの動きに応じて表示面を動かしてもよい。同図の（ａ）の例では、人物の頭部、（ｃ）（ｄ）の例では、人物の黒目部分が所定のオブジェクトということになるが、この所定のオブジェクトは、映像中の所定範囲を占めるものであればよく、これらの例に限られない。例えば、映像中の人物の体全体をオブジェクトとし、その動きに応じて表示面を動かしてもよく、この場合、映像中の人物が右方向に移動した場合、表示面も右を向くように動かしてもよい。なお、所定のオブジェクトは、人以外の動物であってもよく、物体（非生物）であってもよい。また、アニメーションのキャラクターのようにバーチャルなオブジェクトであってもよい。
As in these examples, the
また、同図の（ｂ）に示すように、映像中の人物の表情に応じて表示面を動かしてもよい。図示の例では、ほほえみの表情となったときに、真上から見て表示面が時計回りおよび反時計回りに円運動するように動かしている。 Further, as shown in FIG. 5B, the display surface may be moved according to the facial expression of the person in the video. In the example shown in the drawing, when a smiley expression is obtained, the display surface is moved in a circular motion clockwise and counterclockwise as viewed from directly above.
この例のように、動作制御部１０７は、映像中の人物が所定の表情となったときに、その表情に予め対応付けられた動きで表示面を動かしてもよい。なお、所定の表情は、ほほえみに限られず、表情に対応付ける動きも特に限定されない。ただし、表情に対応付ける動きは、表情のイメージに合う動きとすることが好ましい。例えば、ほほえみのような穏やかな表情であれば、対応付ける動きも緩やかな揺動とすることが好ましく、怒りのような激しい感情に基づく表情であれば、対応付ける動きも、激しい動き（揺動の幅を大きく、速度を早くする）ことが好ましい。なお、表情を検出する対象は、アニメーション等のキャラクターであってもよい。
As in this example, when the person in the video has a predetermined facial expression, the
また、同図の（ｅ）に示すように、映像中の人物の発話内容に応じて表示面を動かしてもよい。図示の例では、映像中の人物が驚いた旨の発話をしたときに、表示面を後ろ側に倒れ込むように動かすことにより、該人物の驚きを強調して伝えている。なお、どのような内容の発話が行われたときに表示面を動かすか、また、発話内容に対応付ける動きは、特に限定されない。 Further, as shown in (e) of the figure, the display surface may be moved according to the utterance content of the person in the video. In the illustrated example, when a person in the video utters a surprise message, the surprise of the person is emphasized and conveyed by moving the display surface so as to fall backward. It should be noted that there is no particular limitation on what kind of utterance is made and when the display surface is moved and the movement associated with the utterance contents.
同図の（ｆ）の例では、キャラクターが怒っている映像を表示しており、このときに、この映像に予め対応付けられた動き（表示面を前後に激しく揺動させるパターン）で表示面を動かしている。このように、映像に応じた動きを予め定めておくことにより、映像の内容を解析することなく、映像に応じた動きで表示面を動かすことができる。 In the example of (f) in the figure, an image in which the character is angry is displayed, and at this time, the display surface is displayed with a movement (a pattern in which the display surface is vigorously swung back and forth) associated with the image in advance. Is moving. As described above, by determining the motion corresponding to the video in advance, the display surface can be moved by the motion corresponding to the video without analyzing the content of the video.
以上のようにして、映像に応じた動きで表示面を動かすことができるが、同じ感情に対応する映像については、同じパターンで表示面を動かすことが好ましい。例えば、映像中の人物の動きからその人物が怒っていると判定できる場合や、表情から怒っていると判定できる場合、そして発話内容から怒っていると判定できる場合にも、上記（ｆ）の例と同じパターンで表示面を動かすことが好ましい。これにより、そのパターンの動きが、怒りの感情を示していることをユーザに認識させることができ、表示装置１が感情を有しているかのような感覚を与えることができる。
As described above, the display surface can be moved by movement according to the video, but it is preferable to move the display surface in the same pattern for the video corresponding to the same emotion. For example, when it can be determined that the person is angry from the movement of the person in the video, when it can be determined that the person is angry from the facial expression, and when it can be determined that the person is angry from the utterance content, the above (f) It is preferable to move the display surface in the same pattern as the example. Thereby, it can be made to recognize that the movement of the pattern shows the feeling of anger, and the
なお、所定の感情は怒りに限られない。また、上述の表情の例と同様に、感情に対応付ける動き（動きのパターン）は、その感情のイメージに合うものが好ましいが、どのような動きを対応付けるかは特に限定されない。さらに、映像に応じた感情は、映像がストーリー性のあるものであれば、表示中のシーンから特定してもよい。これにより、例えば、悲しみの感情に、表示面をうつむかせる動きを対応付けた場合に、泣いているキャラクターを表示するとき、映像中の人物が泣いているとき、および悲しいシーンが表示されているときのそれぞれに、表示面をうつむかせることも可能である。この他、表示面の動きは、出力される音声も考慮して決定してもよい。例えば、動きのパターンは映像から決定し、動きの速度は音声のテンポ、音量等に応じて決定してもよい。 The predetermined emotion is not limited to anger. Further, as in the example of facial expressions described above, it is preferable that the movement (movement pattern) associated with the emotion matches the emotion image, but there is no particular limitation on what movement is associated. Furthermore, the emotion corresponding to the video may be specified from the scene being displayed if the video has a story. Thus, for example, when the emotion of sadness is associated with a movement that makes the display face appear, a crying character is displayed, a person in the video is crying, and a sad scene is displayed. It is also possible to change the display surface at each time. In addition, the movement of the display surface may be determined in consideration of the output sound. For example, the movement pattern may be determined from the video, and the movement speed may be determined according to the tempo of the sound, the volume, and the like.
〔動作機構の詳細〕
次に、動作機構１９の詳細を図４に基づいて説明する。図４は、動作機構１９による表示装置１の動作を説明する図である。同図の（ａ）は、動作機構１９の構造の一例を示している。図示の動作機構１９は、軸１９１、モータ１９２、および重り１９３を含む。なお、同図において、表示面に垂直な軸がＺ軸、軸１９１と並行でＺ軸と垂直な軸がＹ軸、Ｚ軸およびＹ軸に垂直な軸（紙面に垂直な軸）がＸ軸である。[Details of operation mechanism]
Next, details of the
軸１９１は、重り１９３を支持するものである。軸１９１は、直線状の剛体からなり、その長手方向の中央部に重り１９３が回動可能（振り子運動可能）に取り付けられている。図示の例では、重り１９３は、軸１９１を通るＺＹ平面上で回転可能に取り付けられている（Ｘ軸周りの回転）。より詳細には、軸１９１は、表示装置１の中心（球状の筐体３の中心）を通るように設けられている。このため、軸１９１の長手方向の中央部に取り付けられた重り１９３の回転軸となる位置は、球の中心に位置する。
The
モータ１９２は、重り１９３の回転軸に接続されており、モータ１９２を駆動することにより、重り１９３をＸ軸周りの何れの方向にも回転させることができるようになっている。
The
また、同図には示していないが、筐体３の内周には、軸１９１をガイドするレールが設けられており、図示しないモータにより、軸１９１をこのレールに沿って回転させることができるようになっている。より詳細には、軸１９１は、図示しないモータを駆動することにより、その長手方向の中央部（重り１９３の回転軸となる位置）の位置は変えることなく、Ｚ軸周りの何れの方向にも回転させることができるようになっている。
Although not shown in the figure, a rail that guides the
以上のように、動作機構１９は、モータ１９２によって重り１９３を回転させること（Ｘ軸回転）、および軸１９１を回転させること（Ｚ軸回転）により、筐体３の内部での重り１９３の位置を変える。そして、これにより表示装置１の重心の位置を変えて、表示面を含む表示装置１全体を動かすことができる。
As described above, the
例えば、表示面が真上を向いた状態から、モータ１９２によって重り１９３を傾かせた状態とした場合、表示装置１の重心が移動して、図示の例のように表示面が傾いた状態となる。つまり、重り１９３の回転軸を通りＺ軸に平行な直線上から外れた位置に重り１９３（より厳密には重り１９３の回転軸より先端側部分）を移動させることによって、表示面を傾かせることができる。上述の基準状態への移行は、動作機構１９をこのように動作させることで実現できる。
For example, when the
また、基準状態から、重り１９３をモータ１９２で揺動させることにより、同図の（ｃ）に示すように、表示面を前後に揺動させることができる。さらに、基準状態から軸１９１を９０度回転させた上で、重り１９３をモータ１９２で揺動させることにより、同図の（ｂ）に示すように、表示面を左右に揺動させることもできる。なお、表示面の揺動とは、表示面を揺り動かす動きを指す。例えば、同一または概ね同一の軌道で表示面を往復させる動きや、表示面の中心が円または楕円を描く軌道での動きが揺動に相当する。
In addition, by swinging the
そして、上述のＸ軸回転とＺ軸回転とを組み合わせることにより、表示装置１の表示面を様々なパターンで動かすことができる。例えば、Ｘ軸回転とＺ軸回転とを組み合わせて重心位置を円形に移動させることにより、同図の（ｄ）に示すように、表示面に回転運動させることもできる。
The display surface of the
また、表示面を回転運動させる際の、回転軸に対する表示面の位置は特に限定されず、例えば同図の（ｅ）に示すように、表示面に垂直な軸（Ｚ軸）周りに回転運動させてもよい。そして、この回転の向きも特に限定されず、同図の（ｅ）に示すように、異なる方向への回転運動を交互に反復して行ってもよい。 Further, the position of the display surface relative to the rotation axis when rotating the display surface is not particularly limited. For example, as shown in (e) of the figure, the display screen rotates about the axis (Z axis) perpendicular to the display surface. You may let them. The direction of this rotation is not particularly limited, and as shown in (e) of the figure, rotational movements in different directions may be alternately repeated.
したがって、標準状態とした後の、モータ１９２の駆動パターン（重り１９３の動作パターン）と、軸１９１をＺ軸周りに回転させるパターンとの組み合わせを示すデータを動作データとすることにより、表示面を所望のパターンで動かすことができる。
Accordingly, the data indicating the combination of the drive pattern of the motor 192 (the operation pattern of the weight 193) and the pattern for rotating the
〔表示装置１の使用例１：撮影装置の動作データを使用〕
次に、表示装置１の使用例を図５に基づいて説明する。図５は、表示装置１の一使用例を示す図であり、撮影装置５の動作データを使用して表示装置１を動作させる例を示している。[Use Example 1 of Display Device 1: Using Operation Data of Imaging Device]
Next, a usage example of the
図示の例では、撮影装置５を装着した撮影者がスキーをしながら撮影を行っている。また、この撮影装置５には、撮影装置５の動きを示す動作データを生成する各種センサ（例えば、加速度センサとジャイロセンサ）が外付けまたは内蔵されている。これにより、撮影者は、撮影者目線の映像を撮影しながら、周囲の音声を記録し、かつ撮影装置５の動作（動き）を記録することができる。なお、撮影装置５の動きを直接記録することが難しい場合には、撮影装置５を保持する撮影者の体の部位の動きを記録してもよい。例えば、撮影者が撮影装置５を手で持って撮影している場合には、撮影者の手や腕にセンサを付けて動きを記録してもよい。これらの構成によれば、撮影装置５の動きに応じて表示面を動かすことができるので、表示装置１のユーザに、自らが撮影装置５になったかのような臨場感を与えることができる。
In the example shown in the figure, a photographer wearing the photographing device 5 performs photographing while skiing. In addition, various sensors (for example, an acceleration sensor and a gyro sensor) that generate operation data indicating the movement of the photographing device 5 are externally attached or built in the photographing device 5. Thus, the photographer can record the surrounding sound and record the operation (movement) of the photographing device 5 while photographing the video of the photographer's eyes. If it is difficult to directly record the movement of the photographing device 5, the movement of the body part of the photographer holding the photographing device 5 may be recorded. For example, when the photographer is shooting while holding the photographing device 5 with his / her hand, the movement may be recorded by attaching a sensor to the photographer's hand or arm. According to these configurations, the display surface can be moved in accordance with the movement of the photographing device 5, so that the user of the
また、撮影装置５の動きの代わりに撮影者の動きを記録する場合、撮影装置５から離れた位置の動きを記録してもよい。例えば、撮影者の特に目線の動きを記録してもよく、この場合、撮影装置５から離れた位置（例えば撮影者の頭部）にセンサを保持してもよい。また、目線の動きを記録する場合には、加速度センサとジャイロセンサの代わりに、目線の動きを撮影するカメラを用いてもよい。これらの構成によれば、撮影者の目線の動きに応じて表示面を動かすことができるので、表示装置１のユーザに、自らが撮影したかのような臨場感を与えることができる。
In addition, when recording the movement of the photographer instead of the movement of the photographing apparatus 5, the movement at a position away from the photographing apparatus 5 may be recorded. For example, the movement of the eyes of the photographer may be recorded, and in this case, the sensor may be held at a position away from the photographing device 5 (for example, the head of the photographer). When recording eye movement, a camera that captures eye movement may be used instead of the acceleration sensor and the gyro sensor. According to these configurations, the display surface can be moved in accordance with the movement of the photographer's eyes, so that the user of the
そして、このようにして記録した音声データ、映像データ、および動作データを表示装置１に転送することにより、撮影装置５の撮影時の動き（同図において撮影装置５付近の白抜き矢印で示す）を、表示装置１にて再現しつつ（同図において表示装置１付近の塗り潰し矢印で示す）、撮影された映像（撮影者から見たスキー場の映像）を表示し、記録された音声を出力することができる。そして、このような映像と表示面の動きの組み合わせにより、新たな視覚効果を生み出すことができる。すなわち、映像に応じた動きによって映像に視覚効果を付与することができる。具体的には、表示装置１で映像を観ているユーザは、あたかも自分が動いている（この例ではスキーをしている）かのような臨場感を感じることができる。また、表示面の揺動により、表示面の位置、すなわち映像が表示される位置が３次元的に動くため、映像を観る者に立体感を感じさせることができる。
Then, by transferring the audio data, the video data, and the operation data recorded in this way to the
なお、表示装置１は、取得した動作データの示す動きと連動して表示面を動かせばよく、撮影装置５の動きと表示面の動きを一致させる必要はない。例えば、撮影装置５が動いた方向に表示面を動かしてもよいし、撮影装置５が動いた方向とは反対の方向に動かしてもよい。
Note that the
また、センシングデータから動作データを生成する処理は、撮影装置５が行ってもよいし、表示装置１や通信端末２が行ってもよい。表示装置１や通信端末２が動作データを生成する場合、センシングデータを取得し、これを動作機構１９の制御に用いることのできるデータ形式に変換して動作データとする。例えば、ジャイロセンサの検出した傾き情報から、表示装置１の重心移動量（傾き角度）を決定することができ、加速度センサの検出した加速度情報から、表示装置１の重心を移動させる際の加速度を決定することができる。
Moreover, the process which produces | generates operation | movement data from sensing data may be performed by the imaging device 5, and the
（処理の流れ：映像データ、音声データ、および動作データを表示装置に送信）
次に、表示装置１と通信端末２が実行する処理の流れを図６に基づいて説明する。図６は、表示装置１および通信端末２が実行する処理の一例を示すフローチャートである。より詳細には、図６は、通信端末２が映像データ、音声データ、および動作データを表示装置１に送信し、表示装置１がこれらのデータに基づいて動作する場合の処理の例を示している。これらのデータは、例えば図５の例のようにして記録されたものであってもよい。なお、撮影装置５で取得したデータを、通信端末２を介さずに表示装置１に送信してもよく、これにより、ほぼリアルタイムでの映像・音声・動作の再現が可能になる。(Processing flow: Send video data, audio data, and operation data to the display device)
Next, the flow of processing executed by the
まず、通信端末２の処理について説明する。通信端末２の端末側動作データ取得部１２１は、記憶部２１から映像データおよび音声データを取得する（Ｓ１１）。なお、Ｓ１１およびそれ以降の処理を開始するための契機は特に限定されない。例えば、通信端末２に対して所定の操作が行われたことを契機としてもよいし、表示装置１から所定の通知を受信したことを契機としてもよいし、映像データおよび音声データが記憶部２１に格納されたことを契機としてもよい。
First, the processing of the
また、端末側動作データ取得部１２１は、取得した映像データに応じた動作データを、記憶部２１から取得する（Ｓ１２、動作データ取得ステップ）。続いて、データ送信部１２２は、端末側動作データ取得部１２１が取得した映像データ、音声データ、および動作データを、第２通信部２３を介して表示装置１に送信する（Ｓ１３、データ送信ステップ）。そして、データ送信部１２２は、データの送信が完了したかを判断する（Ｓ１４）。ここで、送信完了と判断した場合（Ｓ１４でＹＥＳ）、通信端末２における処理は終了する。一方、送信完了していないと判断した場合（Ｓ１４でＮＯ）、処理はＳ１１に戻り、データの送信が継続される。
In addition, the terminal-side operation
次に、表示装置１の処理について説明する。通信端末２からデータを受信すると、表示装置１の動作データ取得部１０４は、受信したデータを確認し（Ｓ１）、このデータに動作データが含まれているか否かを判断する（Ｓ２）。ここで、動作データが含まれていないと判断した場合（Ｓ２でＮＯ）、Ｓ４の処理に進む。一方、動作データが含まれていると判断した場合（Ｓ２でＹＥＳ）、動作データ取得部１０４は、当該動作データを動作制御部１０７に送信し、動作制御部１０７はこの動作データに従って動作機構１９を動作させる（Ｓ３：動作制御ステップ）。なお、この場合、Ｓ１が動作データ取得ステップとなる。
Next, processing of the
また、動作データ取得部１０４は、Ｓ１で確認したデータに含まれる映像データを表示制御部１０５に送信し、音声データを音声出力部１８に送信する。これにより、表示制御部１０５が映像を表示部１７に表示し、音声制御部１０６が音声出力部１８から音声出力する（Ｓ４：表示制御ステップ）。上記Ｓ３およびＳ４の処理により、表示させる映像に応じて表示面が動くことになる。この後、動作データ取得部１０４は、データの受信が終了したか否かを判断する（Ｓ５）。ここで、受信終了と判断した場合（Ｓ５でＹＥＳ）、処理は終了する。一方、受信終了していないと判断した場合（Ｓ５でＮＯ）、処理はＳ１に戻る。
Further, the motion
〔表示装置１の使用例２：テレビ電話〕
次に、表示装置１の他の使用例を図７に基づいて説明する。図７は、表示装置１の一使用例を示す図であり、表示装置１をテレビ電話のディスプレイおよび撮影装置として使用した例を示している。[Use Example 2 of Display Device 1: Videophone]
Next, another usage example of the
図７に示すように、ユーザが通信端末２を用いてテレビ電話による通話を行なっている場合に、相手方から受信した映像や音声（相手方の映像、音声）を表示装置１に出力させることができる。また、表示装置１は、撮影部１５でユーザの映像を撮影することができ、撮影した映像を、通信端末２を介して相手方に送信することができる。そして、表示装置１は、表示している相手方の映像に応じた動きで表示面を動かすことができる。
As shown in FIG. 7, when the user is making a videophone call using the
（処理の流れ：テレビ電話の映像に応じて表示面を動かす）
続いて、テレビ電話の映像に応じて表示面を動かす場合の処理の流れを図８に基づいて説明する。図８は、テレビ電話の映像に応じて表示面を動かす場合に、表示装置１Ａ、１Ｂ、および通信端末２Ａ、２Ｂが実行する処理の一例を示すフローチャートである。なお、以下の説明では、表示装置１Ａおよび通信端末２ＡのユーザをユーザＡと呼び、表示装置１Ｂおよび通信端末２ＢのユーザをユーザＢと呼ぶ。(Processing flow: Move the display screen according to the videophone video)
Next, the flow of processing when the display surface is moved according to the videophone video will be described with reference to FIG. FIG. 8 is a flowchart illustrating an example of processing executed by the
表示装置１Ａは、ユーザＡの映像を撮影して得た映像データＡを通信端末２Ａに送信し（Ｓ２１）、通信端末２Ａは、受信した映像データＡを通信端末２Ｂに転送する（Ｓ３１）。また、通信端末２Ｂは、受信した映像データＡを表示装置１Ｂに転送し（Ｓ４２）、表示装置１Ｂは映像データＡを受信し（Ｓ５２）、表示出力する（Ｓ５３：表示制御ステップ）。
The display device 1A transmits video data A obtained by capturing the video of the user A to the
同様に、表示装置１Ｂは、ユーザＢの映像を撮影して得た映像データＢを通信端末２Ｂに送信し（Ｓ５１）、通信端末２Ｂは、受信した映像データＢを通信端末２Ａに転送する（Ｓ４１）。また、通信端末２Ａは、受信した映像データＢを表示装置１Ａに転送し（Ｓ３２）、表示装置１Ａは映像データＢを受信し（Ｓ２２）、表示出力する（Ｓ２３：表示制御ステップ）。
Similarly, the
以上の処理により、ユーザＡとＢは、互いの映像を表示装置１Ａまたは１Ｂで見ながらコミュニケーションすることができる。なお、テレビ電話の通話音声については、映像と同様に表示装置１Ａおよび１Ｂを介して送受信してもよいし、通信端末２Ａと２Ｂ間のみで送受信してもよい。
Through the above processing, the users A and B can communicate with each other while viewing each other's video on the
また、Ｓ３２で映像データＢを表示装置１Ａに転送した通信端末２Ａでは、動作データ生成部１２３が映像データＢを解析し、動作データを生成するか否かを判断する（Ｓ３４）。具体的には、動作データ生成部１２３は、映像中のオブジェクト（この例ではテレビ電話の相手であるユーザＢ）の所定の動作や所定の表情を検出できた場合に、動作データを生成すると判断する。なお、図３の（ｅ）の例のように、音声データの解析により、所定の内容の発話が行われたことが確認できた場合に、動作データを生成すると判断してもよい。
Further, in the
Ｓ３４において、動作データを生成しないと判断した場合（Ｓ３４でＮＯ）、処理はＳ３１に戻る。一方、動作データを生成すると判断した場合（Ｓ３４でＹＥＳ）、動作データ生成部１２３は、映像データＢの解析結果に応じた動作データを生成する（Ｓ３５：動作データ生成ステップ）。なお、Ｓ３５の処理の結果、動作データが取得されるので、Ｓ３５は動作データ取得ステップであるとも言える。具体的には、映像中のオブジェクトの所定の動作や表情には、図３で説明したように表示面を動かすパターンがそれぞれ定められているので、動作データ生成部１２３は、当該定められたパターンで表示面を動かす動作データを生成する。また、所定の内容の発話がなされたときの動作データの生成も同様の処理で行われる。そして、動作データ生成部１２３は、以上のようにして生成した動作データを表示装置１Ａに送信する（Ｓ３６：データ送信ステップ）。
If it is determined in S34 that no operation data is generated (NO in S34), the process returns to S31. On the other hand, when it is determined that motion data is to be generated (YES in S34), the motion
この後、表示装置１Ａの動作データ取得部１０４は、動作データを受信し（Ｓ２４：動作データ取得ステップ）、動作制御部１０７は、受信した動作データに従って動作機構１９を動作させる（Ｓ２５：動作制御ステップ）。これにより、表示させる映像に応じて表示面が動くことになる。なお、映像と表示面の動きが同期するように、Ｓ３２の映像データＢの転送タイミングを遅らせて、Ｓ３６の動作データの送信時に映像データＢを転送してもよい。
Thereafter, the operation
また、Ｓ４２で映像データＡを表示装置１Ｂに転送した通信端末２Ｂにおいても、通信端末２Ａと同様に、映像データＡの解析が行われ（Ｓ４３）、動作データを生成する場合には生成して表示装置１Ｂに送信する（Ｓ４４〜Ｓ４６）。そして、表示装置１Ｂは、動作データを受信すると（Ｓ５４：動作データ取得ステップ）、動作機構１９を動作させる（Ｓ５５：動作制御ステップ）。
Also, in the
なお、上述の例では、テレビ電話の相手方の映像を解析して動作データを生成しているが、解析の対象となる映像は、表示装置１が表示する映像であればよく、この例に限定されない。例えば、テレビ番組やインターネット上の動画コンテンツなどを表示装置１に表示させる場合には、それらのコンテンツの映像を解析して動作データを生成してもよい。
In the above example, the video of the other party of the videophone is analyzed to generate operation data. However, the video to be analyzed may be video displayed on the
（処理の流れ：テレビ電話の相手方の表示面の動きに連動させて表示面を動かす）
表示装置１は、テレビ電話中に相手方の表示装置１の表示面が動かされたときに、その動きに連動して表示面を動かすことができる。ここでは、この処理について図９を用いて説明する。図９は、テレビ電話の相手方の表示面の動きに連動させて表示面を動かす処理の一例を示すフローチャートである。なお、図９では省略しているが、図８と同様にして映像データの送受信は行われており、映像の解析に基づく動作データの生成や送信も適宜行われる。(Processing flow: Move the display surface in conjunction with the movement of the display surface of the other party of the videophone)
When the display surface of the
表示装置１Ａの動作データ送信部１０３は、センサ部１６から動作データ（センシングデータ）を受信したことを確認する（Ｓ６１）と、該動作データが、受信した動作データによる表示装置１Ａの動作に起因するか否か判断する（Ｓ６２）。言い換えれば、センサ部１６が検知した表示装置１Ａの動きが、通信端末２Ａの制御に基づき動作機構１９を動作させることによって生じた動きであるか否かを判断する。具体的には、動作データ送信部１０３は、センサ部１６から動作データを受信する直前に動作データ取得部１０４が動作データを取得していれば、受信した動作データに基づく動作であると判断する。
When the operation
ここで、受信した動作データに基づく動作であると判断した場合（Ｓ６２でＹＥＳ）、処理は図８のＳ２１に進む。一方、受信した動作データに基づく動作ではないと判断した場合（Ｓ６２でＮＯ）、動作データ送信部１０３がセンサ部１６から受信した動作データを通信端末２Ａに送信し（Ｓ６３）、処理は図８のＳ２１に進む。
If it is determined that the operation is based on the received operation data (YES in S62), the process proceeds to S21 in FIG. On the other hand, when it is determined that the operation is not based on the received operation data (NO in S62), the operation
続いて、上記動作データを受信した通信端末２Ａでは、通信制御部１２４が当該動作データを通信端末２Ｂに転送し（Ｓ７１）、通信端末２Ａの処理は図８のＳ３１に進む。また、上記動作データを受信した（動作データ取得ステップ）通信端末２Ｂにおいても、通信制御部１２４が当該動作データを表示装置１Ｂに転送し（Ｓ８１）、通信端末２Ｂの処理は図８のＳ４１に進む。
Subsequently, in the
そして、表示装置１Ｂの動作データ取得部１０４は、Ｓ８１の処理で転送された動作データを受信し（Ｓ９１：動作データ取得ステップ）、受信した動作データを動作制御部１０７に送信して動作機構１９を動作させる（Ｓ９２：動作制御ステップ）。この後、表示装置１Ｂの処理は図８のＳ５１に進む。
The operation
なお、相手方が表示装置１を使用しておらず、通信端末２のみあるいはパーソナルコンピュータ等の他の機器を用いている場合には、動作データを送信しても相手方で表示面が動くことはない。このため、相手方が表示装置１を使用していることを確認する処理を行った上で、動作データの送信を行ってもよい。また、この場合、相手方が表示装置１を使用していない（相手方の使用機器に表示面を動かす機能がない）ことが確認されたときには、動作データを送信する代わりに、表示面が動かされたことを相手方に通知するための代替処理を行ってもよい。例えば、表示面が動かされたことや、表面がどのように動かされたかを示す画像を送信して表示させてもよいし、相手方の使用する機器が振動を生じさせるバイブレーション機能を備えている場合には、該機能を動作させる命令を送信してもよい。
When the other party does not use the
また、上述の例では、通信端末２Ａおよび２Ｂを介して、表示装置１Ａと１Ｂとが間接的に通信しているが、表示装置１Ａおよび１Ｂにネットワークを介した通信機能を搭載して、表示装置１Ａと１Ｂとで直接通信するようにしてもよい。
In the above example, the
〔表示装置１の使用例３：コミュニケーションアプリ〕
表示装置１は、通信を介したコミュニケーションに使用されるソフトウェア（以下、コミュニケーションアプリと呼ぶ）に関する情報を表示する装置として使用することもできる。例えば、近時急速に普及したコミュニケーションアプリには、スタンプと呼ばれる画像を、単独またはメッセージと共に投稿することができるようになっている。表示装置１は、このようなスタンプの表示に使用することができ、また表示させたスタンプの種類に応じて表示面を動かすこともできる。[Use Example 3 of Display Device 1: Communication App]
The
以下では、表示装置１に表示させたスタンプに応じて表示面を動かす例を図１０に基づいて説明する。図１０は、表示させたスタンプに応じて表示面を動かす際の表示装置１における処理の一例を示すフローチャートである。なお、同図では、スタンプの画像の表示を中心に説明を行うが、投稿されたメッセージの文面等、コミュニケーションアプリに関する他の情報についても表示対象に含めてもよい。また、表示するスタンプに応じた音声（例えば効果音）を出力してもよい。
Below, the example which moves a display surface according to the stamp displayed on the
なお、図示の例では、通信端末２から受信したデータ（スタンプ）を表示することを想定している。より詳細には、通信端末２の端末側動作データ取得部１２１は、コミュニケーションアプリにて投稿されたスタンプを取得し、データ送信部１２２により該スタンプを表示装置１に送信して表示させることを想定している。
In the illustrated example, it is assumed that data (stamp) received from the
表示装置１の動作データ取得部１０４は、受信したデータを確認し（Ｓ１０４）、受信したデータに、動作データが対応付けられた画像である動作データ対応画像が含まれているか判断する（Ｓ１１１）。ここで、動作データ対応画像が含まれていないと判断した場合（Ｓ１１１でＮＯ）には、Ｓ１１４の処理に進む。
The operation
一方、動作データ対応画像が含まれていると判断した場合（Ｓ１１１でＹＥＳ）、動作データ取得部１０４は、当該動作データ対応画像を表示制御部１０５に送信し、対応付けられた動作データを動作制御部１０７に送信する。これにより、表示制御部１０５は受信した画像データの画像を表示し（Ｓ１１２：表示制御ステップ）、動作制御部１０７は受信した動作データに従って動作機構１９を動作させる（Ｓ１１３：動作制御ステップ）。この場合、Ｓ１１０が動作データ取得ステップとなる。これらの処理により、例えば図３の（ｆ）の例のように、画像（動作データ対応画像）が表示されると共に、表示装置１の表示面が動くことになる。
On the other hand, when it is determined that the motion data-corresponding image is included (YES in S111), the motion
この後、動作データ取得部１０４は、受信データの受信が終了したかを判断し（Ｓ１１４）、受信終了と判断した場合（Ｓ１１４でＹＥＳ）には処理を終了し、受信終了していないと判断した場合（Ｓ１１４でＮＯ）にはＳ１１０の処理に戻る。
Thereafter, the operation
なお、動作データ対応画像に対応付けられた動作データは、表示装置１の外部から取得してもよいし、表示装置１の記憶部１１等に予め格納しておいたものを取得してもよい。前者の場合、例えば通信端末２でコミュニケーションアプリを使用している際に、スタンプが投稿されたときに、そのスタンプに予め設定された感情（怒り、悲しみ、喜び等）に応じた動作データを動作データ生成部１２３で生成し、表示装置１に送信してもよい。また、後者の場合、予めスタンプに応じた動作データを記憶部１１に記憶しておき、通信端末２から受信したスタンプに応じた動作データを記憶部１１から読み出して、動作機構１９を動作させてもよい。また、スタンプに応じた動作データをサーバから配信することにより、スタンプに応じた動きで表示面を動かすようにしてもよい。
Note that the motion data associated with the motion data corresponding image may be acquired from the outside of the
さらに、上述の例では、コミュニケーションアプリで使用されるスタンプに動作データを対応付けているが、動作データを対応付ける対象となる画像は、この例に限定されない。例えば、電子メール等で使用される絵文字に動作データを対応付けてもよい。この場合、表示装置１に電子メールを表示させるときに、その文面に含まれる絵文字を表示すると共に、その絵文字に対応付けられた動作データで表示面を動かしてもよい。
Furthermore, in the above-described example, the operation data is associated with the stamp used in the communication application, but the image to be associated with the operation data is not limited to this example. For example, motion data may be associated with pictographs used in e-mails and the like. In this case, when displaying an e-mail on the
〔表示装置１の使用例４：広告〕
表示装置１は、表示面を動かすことにより、周囲の人の注意を引き付けることができ、また表示内容を注視させることができるので、広告を表示する装置としても好適に利用できる。以下では、表示装置１に広告を表示させる例を図１１および図１２に基づいて説明する。[Usage example 4: Display of display device 1]
The
図１１は、表示装置１の一使用例を示す図であり、表示装置１を広告の表示に使用した例を示している。例えば店頭などに設置した表示装置１に広告を表示する場合、表示装置１の前を通りかかった者に対して広告内容をアピールする必要がある。そこで、表示装置１は、近くに人を検出した場合に、検出した人に表示面が向くように表示面を動かす処理を行う。また、上述の各例と同様に、表示する広告の内容に応じて表示面を動かす処理を行う。
FIG. 11 is a diagram illustrating an example of use of the
（処理の流れ：検出した人に向くように表示面を動かす）
図１２は、広告を表示させる場合に表示装置１が実行する処理の一例を示すフローチャートである。なお、同図では、通信端末２から受信したデータ（広告コンテンツ）を表示することを想定している。より詳細には、同図には示していないが、通信端末２の端末側動作データ取得部１２１は、記憶部２１から広告コンテンツを読み出し、データ送信部１２２により該広告コンテンツを表示装置１に送信して表示させることを想定している。ただし、表示するデータは、予め表示装置１に記憶しておいてもよいし、通信端末２以外の装置（広告配信サーバ等）から受信してもよい。(Process flow: Move the display screen to face the detected person)
FIG. 12 is a flowchart illustrating an example of processing executed by the
動作データ取得部１０４は、データ（広告コンテンツ）を受信したことを確認する（Ｓ１００）と、人検出部１０１に人の検出を開始するように指示する。そして、この指示を受信した人検出部１０１は、撮影部１５に撮影を開始させ、撮影された画像を解析して人を検出する（Ｓ１０１）。また、画像中に人が映っていることを検出した人検出部１０１は、表示装置１から検出した人までの距離を算出し（Ｓ１０２）、検出した人までの距離が所定の距離より近いか否かを判断する（Ｓ１０３）。
When confirming that the data (advertisement content) has been received (S100), the operation
ここで、所定の距離よりも遠いと判断した場合（Ｓ１０３でＹＥＳ）、処理はＳ１００に戻る。一方、所定の距離よりも近いと判断した場合（Ｓ１０３でＹＥＳ）、人検出部１０１は、当該人の位置する方向（例えば撮影部１５の撮影範囲の中心を基準として表した方向）を動作データ取得部１０４に通知する。そして、動作データ取得部１０４は、通知された方向に表示面を向ける動作データ（例えば撮影部１５の撮影範囲の中心に人が来るように動かす動作データ）を生成して動作制御部１０７に送信し、これにより表示面を人に向ける（Ｓ１０４）。
If it is determined that the distance is longer than the predetermined distance (YES in S103), the process returns to S100. On the other hand, if it is determined that the distance is shorter than the predetermined distance (YES in S103), the
なお、複数の人が検出された場合、検出人数が少なければ、検出した一人（例えば最初に検出した人や最も表示装置１に近い人）に表示面を向ければよい。また、検出人数が多い場合、人がより多く集まっている方向に表示面を向ければよい。 When a plurality of persons are detected, if the number of detected persons is small, the display surface may be directed to the detected person (for example, the person who is detected first or the person closest to the display device 1). When the number of detected people is large, the display surface may be directed in a direction where more people are gathered.
続いて、動作データ取得部１０４は、Ｓ１００にて受信を確認したデータに動作データが含まれているか否かを判断する（Ｓ１０５）。ここで、動作データが含まれていないと判断した場合（Ｓ１０５でＮＯ）、動作データ取得部１０４は、受信したデータに含まれる画像を表示制御部１０５に送信し、音声データを音声出力部１８に送信する。これにより、表示制御部１０５による画像の再生（表示）と、音声出力部１８による音声再生（出力）が行われる（Ｓ１０７）。なお、音声の再生は必須ではない。
Subsequently, the operation
一方、動作データが含まれていると判断した場合（Ｓ１０５でＹＥＳ）、動作データ取得部１０４は、当該動作データを動作制御部１０７に送信して動作機構を動作させる（Ｓ１０６：動作制御ステップ）。この場合、Ｓ１００が動作データ取得ステップとなる。また、動作データ取得部１０４は、上述のようにして映像および音声の再生を行わせる（Ｓ１０７：表示制御ステップ）。
On the other hand, when it is determined that motion data is included (YES in S105), the motion
この後、動作データ取得部１０４は、データの受信が終了しているか否かを判断し（Ｓ１０８）、受信終了と判断した場合（Ｓ１０８でＹＥＳ）、処理を終了する。一方、受信終了していないと判断した場合（Ｓ１０８でＮＯ）、Ｓ１００の処理に戻る。
Thereafter, the operation
なお、上記の例では、検出した人に表示面を向けた後は、人の検出に基づいて表示面を動かすことはしていないが、その後も継続的に人の検出と、それに基づいて表示面を動かす処理を行ってもよい。これにより、表示装置１の前で人が動いたときに、それに追従して表示面を動かすことができる。また、表示する映像が広告である例を説明したが、広告以外の任意の映像の表示の際に、上述の処理を適用できることはもちろんである。
In the above example, after the display surface is directed to the detected person, the display surface is not moved based on the detection of the person. However, the detection of the person and the display based on the detection are continuously performed thereafter. You may perform the process which moves a surface. Thereby, when a person moves in front of the
〔映像に対する投稿に応じて表示面を動かす〕
近時、映像に対するコメントやメッセージの投稿を受け付け、これを映像と共に表示させる（重畳表示してもよいし、重畳せずに表示してもよい）サービスが広く知られるようになっているが、表示装置１は、このような投稿に応じて表示面を動かしてもよい。これについて、図１３に基づいて説明する。[Move the display according to the posting to the video]
Recently, services that accept comments and messages on video and display them together with video (may be displayed with or without being superimposed) have become widely known. The
図１３は、映像に対して投稿されたコメント量に応じて表示面を動かす例を示す図である。同図の（ａ）〜（ｃ）の表示装置１は、何れも映像を表示していると共に、この映像に重畳して、該映像に対して投稿されたコメントを表示している。
FIG. 13 is a diagram illustrating an example in which the display surface is moved according to the amount of comments posted on the video. Each of the
このうち、同図の（ａ）の表示装置１は表示しているコメントの量が少なく、このため、この表示装置１は表示面を動かしていない。一方、同図の（ｂ）の表示装置１は表示しているコメントの量が多く、このため、この表示装置１は表示面を動かしている。この例のように、表示装置１の動作制御部１０７は、表示している映像に対して投稿されたコメントの量が所定の下限値を超えたときに表示面を動かしてもよい。なお、コメント量の多寡を決定する基準は特に限定されず、例えば投稿されたコメントの数、文字数、表示されたコメントが表示面上に占める面積、等を基準（所定の下限値）としてもよい。この他にも、所定の投稿者からのコメント数や、その文字数を基準としてもよいし、コメント中の所定の単語や記号の数を基準としてもよい。
Among them, the
また、同図の（ｃ）に示すようにコメント量が少ない場合には、動作制御部１０７は、同図の（ｂ）のようにコメント量が多い場合と比べて弱い動きで表示面を動かしてもよい。なお、動きの強弱は、動きの振幅の大小、動きの周期の長短、およびこれらの組み合わせによって表現できる。
Further, when the comment amount is small as shown in (c) of the figure, the
以上のような構成によれば、映像に対する投稿が盛んに行われていることを、ユーザが認識することを容易にすることができる。なお、上記のような表示面の動きを実現するための動作データは、例えば以下のようにして生成することができる。以下では、投稿数を基準として投稿量の多寡を判断する例を説明するが、上述のようにこの判断の基準は投稿数に限られない。 According to the configuration as described above, it is possible for the user to easily recognize that posting on the video is actively performed. Note that the operation data for realizing the movement of the display surface as described above can be generated as follows, for example. In the following, an example in which the number of posts is determined based on the number of posts will be described. However, as described above, the criterion for this determination is not limited to the number of posts.
まず、動作データ生成部１２３は、表示装置１が表示する映像を解析し、該映像に対するコメント等の投稿が行われているか否かを判断する。なお、投稿の有無を映像解析によって行う代わりに、投稿を受け付けるサーバ等に問い合わせをすることによって判断してもよい。
First, the motion
ここで、投稿が行われていると判定した場合、動作データ生成部１２３は、投稿数が下限値を超えているか否かを判断する。なお、投稿数は、投稿の有無の判定と同様に、映像解析で特定してもよいし、サーバ等への問い合わせによって特定してもよい。そして、動作データ生成部１２３は、投稿数が下限値を超えていると判断した場合に、投稿量が多い場合の動きとして予め定められた動きを示す動作データを生成する。これにより、動作制御部１０７は、投稿量が多くなったときに、表示面を動かすことができる。また、投稿量の多寡に応じて動きの強弱を変える場合、投稿量に段階的な閾値を設け、各段階に対応する強度の動きを示す動作データを生成すればよい。
Here, when it is determined that posting has been performed, the operation
なお、動作データの生成を通信端末２で行う場合には、生成した動作データを表示装置１に送信すればよく、表示装置１に動作データ生成部１２３を設けた場合には、このような送信は不要である。また、これら以外の装置で生成した動作データを取得して表示面を動かしてもよい。例えば、投稿を受け付けるサーバ等が、受け付けた投稿に基づいて動作データを生成し、配信するようにしてもよく、この場合、表示装置１は、配信された動作データを直接、または通信端末２等の他の装置を介して取得すればよい。
When the operation data is generated by the
〔映像の内容に連動して表示面を動かす他の例〕
次に、映像の内容に連動して表示面を動かす他の例を図１４に基づいて説明する。図１４は、笑いがおきている映像に連動して表示面を動かす例を示す図である。同図の（ａ）では笑いのない映像が表示されており、表示装置１の表示面は動いていないが、同図の（ｂ）では笑いがおきている映像が表示されており、表示装置１の表示面は動いている。この例のように、表示装置１の動作制御部１０７は、表示している映像の内容に連動して表示面を動かしてもよい。[Other examples of moving the display surface in conjunction with the content of the video]
Next, another example of moving the display surface in conjunction with the content of the video will be described with reference to FIG. FIG. 14 is a diagram illustrating an example in which the display surface is moved in conjunction with a laughing video. In (a) of the figure, an image without laughter is displayed and the display surface of the
この場合、動作データ生成部１２３は、表示装置１が出力する音声を解析し、笑い声が含まれると判断した場合に、笑いの映像に対応する動作データを生成すればよい。なお、笑い声が含まれるか否かは、音声の周波数を解析する等によって判断可能であり、この場合、所定の帯域の周波数が音声に含まれている場合に、その所定の帯域に対応する動きで表示面を動かすことになる。以上のような構成により、笑いがおきているシーン、すなわち盛り上がっているシーンで表示面を動かし、そのシーンに注目させることができる。同様にして歓声がおきているシーンで表示面を動かすことも可能である。
In this case, the motion
また、音量を指標として、表示面を動かすか否か（動作データを生成するか否か）を判断してもよい。スポーツ番組やバラエティ番組等では、盛り上がっているシーンで音量が上がる傾向があるので、これにより盛り上がったシーンで表示面を動かすことができる。この他にも、盛り上がったシーンでは、出演者の多くが笑顔になる傾向があるので、映像中の複数の人物の表情を解析し、笑顔の人物が所定数以上となったときに表示面を動かしてもよい。 Further, it may be determined whether the display surface is moved (whether operation data is generated) using the volume as an index. In sports programs, variety programs, and the like, the volume tends to increase in a lively scene, so that the display surface can be moved in the lively scene. In addition to this, in a lively scene, many of the performers tend to smile, so analyze the facial expressions of multiple people in the video and display the display screen when the number of smiling people exceeds a predetermined number. You may move it.
また、動作制御部１０７は、映像中の文字列の内容に応じて表示面を動かしてもよい。映像中の文字列は、映像の内容を示す情報の１つであるから、これにより、映像に応じた動きで表示面を動かすことができる。例えば、「寒い」との文字列が表示されたときに、表示面を小刻みに揺らして、表示装置１および表示されている画像が震えているような感覚をユーザに与えてもよい。また、例えば「嬉しい」との文字列が表示されたときに、上下に激しく揺らして、喜びの感情を動きで表現してもよい。
Further, the
なお、対象とする文字列は、映像中に含まれるものであれば特に限定されず、例えば、ユーザの入力した文字（例えばＳＮＳやメッセージアプリ等への投稿メッセージや電子メール等）、テロップ、字幕などの文字列が挙げられる。また、表示面を動かすタイミングは、文字列を表示したタイミングに限られず、例えば投稿メッセージや電子メールのように、送信する文字列に応じた動きをさせる場合には、その送信時に表示面を動かしてもよい。そして、文字列に応じた動作データの生成は、当該文字列に応じた動きで表示面を動かすまでの任意のタイミングで行えばよい。 The target character string is not particularly limited as long as it is included in the video. For example, a character input by the user (for example, a message posted to an SNS or a message application, an e-mail, etc.), a telop, or a caption Or a character string such as Also, the timing of moving the display surface is not limited to the timing of displaying the character string. For example, when moving according to the character string to be transmitted, such as a posted message or e-mail, the display surface is moved at the time of transmission. May be. Then, the operation data corresponding to the character string may be generated at an arbitrary timing until the display surface is moved by the movement corresponding to the character string.
文字列の内容に応じて表示面を動かす場合、動作データ生成部１２３は、映像中の文字列を解析して、所定の文字列が含まれているか否か、または所定の内容が記述されているか否かを判断する。そして、含まれているまたは記述されていると判断した場合に、その所定の文字列または所定の内容に対応する動作データを生成する。なお、動作データの生成を外部のサーバ等で行ってもよいことは上述の通りである。
When the display surface is moved according to the contents of the character string, the motion
〔スタンプの自動選択〕
図１０では、表示装置１に表示させたスタンプに応じて表示面を動かす例を説明した。これに関連して、表示するスタンプを自動で選択する構成を採用することも可能である。これについて、図１５に基づいて説明する。図１５は、映像および音声の解析により、表示するスタンプの選択、および動作データの生成を行う例を説明する図である。なお、ここでは、表示装置１が撮影した映像および音声を解析して、表示装置１がスタンプの選択と動作データの生成を行う例を説明する。つまり、本例では、表示装置１が動作データ生成部１２３を備えているものとして説明を行う。なお、本例で説明する処理は、通信端末２が実行することも可能である。[Automatic selection of stamp]
In FIG. 10, the example which moves a display surface according to the stamp displayed on the
同図の例では、ユーザが発話する様子が表示装置１によって撮影されている。そして、撮影された映像を解析することにより、ユーザが笑顔であることが検出されている。また、音声を解析することにより、「うれしい」、「すごい」、「楽しかった」の単語が検出されている。これらの解析は、動作データ生成部１２３によって行われる。
In the example of the figure, the
次に、動作データ生成部１２３は、上記の解析結果に応じたスタンプを選択すると共に、該解析結果に応じた動作データを生成する。なお、スタンプ（画像）は、予め複数種類用意しておく。また、どのような解析結果が得られたときに、何れのスタンプを選択するかも予め決めておく。動作データについても同様である。例えば、笑顔が検出されたときに、楽しいことを示すスタンプを選択し、楽しさを示す動きの動作データを生成してもよい。また、映像の解析結果と音声の解析結果とのそれぞれに基づいて異なるスタンプと動作データとを選択、生成してもよいし、これらの解析結果の組み合わせに基づいて１つのスタンプと動作データとを選択、生成してもよい。例えば、笑顔で励ましの言葉を発したユーザの映像・音声を取得した場合に、笑顔に対応するスタンプと動作データを生成すると共に、励ましの言葉に対応するスタンプと動作データを生成してもよい。また、同じ場合に、笑顔と励ましの言葉の何れかまたは両方に対応する１つのスタンプと１つの動作データを生成してもよい。そして、映像の解析結果と音声の解析結果との両方に対応する動作データは、映像の解析結果に対応する動作データと、音声の解析結果に対応する動作データとを組み合わせた動作データであってもよい。これにより、表示面をバリエーションに富んだ動きで動かすことが可能になる。
Next, the motion
そして、表示装置１の表示制御部１０５は、上記のようにして選択されたスタンプを表示面に表示し、動作制御部１０７は、上記のようにして生成された動作データを用いて表示面を動かす。これにより、ユーザは、表示装置１に対して何ら操作を行うことなく、自身の気分などに応じたスタンプが表示されるのを、そのスタンプに応じた動きと共に楽しむことができる。無論、表示する画像としては、スタンプと呼ばれるものに限られず、任意の画像が適用できる。
Then, the
〔実施形態２〕
上記実施形態では、球状の筐体３を有し、重心位置を変えることで表示面を動かす動作機構１９を備える表示装置１を例示して説明を行ったが、表示装置１は、表示面を動作機構にて動かすことができる構成となっていればよく、上述の例に限られない。本実施形態では、表示面を動かす機構の他の例を図１６に基づいて説明する。図１６は、表示面を動かす機構の他の例を示す図である。[Embodiment 2]
In the above embodiment, the
同図の（ａ）の例では、円筒を縦に切った形状（半円柱）の筐体３０を使用し、筐体３０の外表面のうち、長方形の平面部分（円柱の切断面に相当する部分）に表示部１７の表示面を配置している。この構成では、上述の動作機構１９と同様の動作機構にて重心を移動させることにより、図示のように筐体３０の外縁部（断面が半円状の部分）に沿って筐体３０全体を揺動させ、これにより表示面を揺動させることができる。この例では、上記実施形態と同様に、筐体の外縁部が円弧状であるから、滑らかな揺動が可能である。
In the example of (a) of the figure, a
同図の（ｂ）の例では、表示部１７が第１筐体４０に設けられ、第１筐体４０は、ヒンジ４２を介して第２筐体４１と接続されており、これにより同図の矢印方向に回動可能に構成されている。このように、ヒンジ４２等の回動部材により、表示部１７の表示面を動かすことも可能である。なお、この場合、回動部材にモータ等の駆動部を接続することにより、表示面の動きを制御することが可能である。この例は、一般的なノート型パソコンの筐体と同様の構成であり、このため、例えば、一般的なノート型パソコンにヒンジ部を駆動する動作機構を搭載することにより、本発明の表示装置とすることも可能である。
In the example of FIG. 5B, the
同図の（ｃ）の例では、関節部５１が設けられているアームに、関節部５０を介して表示部１７が取り付けられている。この場合、関節部５０および関節部５１を動かす動作機構により、表示部１７の表示面の動きを制御することができる。
In the example of (c) of the same figure, the
同図の（ｄ）〜（ｆ）の例では、ディスプレイスタンド６０と表示部１７を、接続部６１を介して接続している。接続部６１は、ディスプレイスタンド６０と表示部１７を回動可能に接続しており、これにより、表示部１７の表示面は接続部６１を固定点として可動となっている。例えば、傾ける（同図のｄ）、左右に動かす（同図のｅ）、上下に動かす（同図のｆ）、等の動きが可能である。この場合、接続部６１に駆動部を接続することにより、表示面の動きを制御することが可能である。
In the example of (d) to (f) in the figure, the
〔実施形態３〕
本発明の他の実施形態について、図１７に基づいて説明する。図１７は、本発明の一実施形態に係る配信システム２００の概要を示すブロック図である。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。本実施形態では、サーバから動作データを配信する配信システムについて説明する。[Embodiment 3]
Another embodiment of the present invention will be described with reference to FIG. FIG. 17 is a block diagram showing an overview of a
図１７に示す配信システム２００は、表示装置１に動作データを配信するシステムであって、動作データを配信するサーバ（制御装置）２１０と、配信される動作データを受信する表示装置１および通信端末２とを含む。なお、配信システム２００において動作データを受信する装置は、表示装置１と通信端末２に限られず、サーバ２１０と通信可能な装置であれば任意の装置が動作データの受信主体となり得る。
A
サーバ２１０は、上記実施形態の通信端末２と同様に、動作データを生成する機能を備えており、アップロードされた映像に応じた動作データを自動的に生成し、これを配信することができる。より詳細には、サーバ２１０は、図示しない制御部と通信部とを備えており、制御部には映像取得部、動作データ生成部１２３、動作データ取得部、および動作データ送信部が含まれている。なお、制御部は通信端末２の制御部２０と同様であり、通信部は通信端末２の第１通信部２２と同様である。
Similar to the
映像取得部は、動作データの生成対象となる映像を取得するものであり、上述のように、サーバ２１０に対してアップロードされた映像を、通信部を介して取得する。そして、取得した映像を動作データ生成部１２３に送信し、これにより、動作データ生成部１２３が該映像に応じた動作データを生成する。なお、映像に応じた動作データの生成方法については、上記実施形態で説明した通りであるから、ここでは説明を省略する。そして、動作データ取得部は、このようにして生成された動作データを動作データ送信部に送信し、動作データ送信部はこれを表示装置１に直接、または通信端末２等の他の装置を介して送信する。
The video acquisition unit acquires a video that is a target for generating operation data, and acquires the video uploaded to the
例えば、表示装置１にて撮影した映像がアップロードされた場合、サーバ２１０の映像取得部はアップロードされた映像を取得し、動作データ生成部１２３はこの映像に応じた動作データを生成し、動作データ取得部はこれを取得する。そして、動作データ送信部は、取得された動作データを当該表示装置１に送信する。これにより、表示装置１に動作データの生成機能を持たせることなく、表示面を動かしながら映像を閲覧させることができる。
For example, when an image captured by the
なお、動作データ送信部は、動作データを映像と共に送信してもよい。例えば、上記の例において、映像をアップロードした表示装置１とは異なる他の表示装置１にも動作データを映像と共に送信してもよい。また、このような送信は、表示装置１からのリクエストに応じて行ってもよいし、動作データ送信部が主体的に所定の表示装置１に対して配信してもよい。そして、配信先は複数であってもよく、例えば１つの表示装置１から受信した映像と、その映像に応じた動作データとを、複数の表示装置１に対して一斉に配信してもよい。
The operation data transmission unit may transmit the operation data together with the video. For example, in the above example, the operation data may be transmitted together with the video to another
また、図１７に示すように、通信端末２がサーバ２１０と通信して動作データを取得してもよい。この場合、通信端末２の端末側動作データ取得部（動作データ取得部）１２１は、映像をサーバ２１０に送信して該映像に応じた動作データを取得し、データ送信部１２２はこの動作データを映像と共に表示装置１に送信する。なお、サーバ２１０に送信する映像の取得元は特に限定されず、例えば表示装置１であってもよいし、動画投稿サイト等のコンテンツ配信サーバであってもよい。この他にも、通信端末２が撮影装置を備えている場合には、該撮影装置で撮影した映像を用いてもよいし、通信端末２で動作するアプリケーションソフトウェア（例えばゲーム等）により生成あるいは取得された映像を用いてもよい。
As shown in FIG. 17, the
また、通信端末２は、映像および動作データの送信をサーバ２１０に要求し、この要求に応じて送信された映像および動作データを表示装置１に転送してもよい。この場合、ユーザは、サーバ２１０が送信可能な映像の中から、所望の映像を通信端末２で選択し、その映像を表示面の動きと共に表示装置１にて楽しむことができる。例えば、ＳＮＳ（Social Networking Service）には、動画の投稿、閲覧が可能なものがあるから、ＳＮＳのサーバにサーバ２１０と同様の機能を持たせ、ユーザが通信端末２で選択した映像と、その映像に応じた動作データとを配信してもよい。また、動画投稿サイトや動画配信サイトのサーバにサーバ２１０と同様の機能を持たせ、ユーザが通信端末２で選択した映像と、その映像に応じた動作データとを配信してもよい。
In addition, the
この他にも、映像をライブ配信するサービスや、コンテンツ配信プラットフォーム等にサーバ２１０を設け、動作データと共に映像コンテンツを配信する構成等が考えられる。また、広告の配信を行うサーバにサーバ２１０と同様の機能を持たせ、該サーバにより広告の映像に応じた動作データを生成し、広告の映像と共に配信してもよい。
In addition to this, a service for distributing video live, a configuration in which a
なお、上述のサーバ２１０は、映像の取得、動作データの生成、映像の送信、および動作データの送信を行うが、これらの処理を個別のサーバで行う構成としてもよい。例えば、映像のアップロードを受け付けるサーバと、動作データを生成するサーバと、動作データを送信するサーバと、映像を送信するサーバとの組み合わせによってもサーバ２１０と同様の機能を実現できる。
The
〔変形例〕
上記実施形態１では、動作データの生成を通信端末２が行う例を説明したが、表示装置１が動作データを生成してもよい。この場合、動作データ生成部１２３を表示装置１に設け、動作データ生成部１２３により、表示する映像の解析および動作データの生成を行えばよい。[Modification]
In the first embodiment, the example in which the
また、上記実施形態１では、表示装置１に対する、動作データの送信と映像データの送信を１つの通信端末２が行う例を示したが、これらのデータの送信元が異なっていてもよい。例えば、表示装置１は、映像配信サーバ等から映像データを受信してもよい。このような場合であっても、通信端末２は、表示装置１が表示している映像データがどのような映像データであるかを特定できれば、その映像に応じた動作データを生成し、表示装置１に送信することができる。例えば、映像配信サーバ等から、配信中のデータに関する情報（映像そのものであってもよいし、配信中のシーンの内容を示すシーン情報等であってもよい）を取得して動作データを生成してもよい。
In the first embodiment, the example in which one
また、上記実施形態１では、映像等の解析によって、あるいは撮影装置５に取り付けたセンサで取得したデータに基づいて動作データを生成する例を説明したが、動作データの生成方法はこれらの例に限られない。例えば、通信端末２や、他の装置（例えばパーソナルコンピュータ等）でオーサリングツールを用いて映像に応じた動作データを生成してもよい。この場合、映像中の所望のタイミングで表示面を動かすことができるように、動作データと共に、映像と同期させるための同期データ（例えば再生時間情報）を生成することが好ましい。そして、このような同期データを取得した際には、動作制御部１０７は、当該同期データの示すタイミングで表示面を動かすことが好ましい。
Further, in the first embodiment, the example in which the operation data is generated based on the data acquired by the analysis of the video or the like or the data acquired by the sensor attached to the imaging device 5 has been described. Not limited. For example, the operation data corresponding to the video may be generated using the authoring tool in the
また、例えば、表示装置１の動きをセンサ部１６で検出し、これを動作データとして記録してもよい。この場合、制御部１０に、センサ部１６の検出した動きを動作データとして記録する動作データ記録部を設ければよい。これにより、ユーザは、所望の動きを動作データとして記録し、その動きで表示面を動かしながら、その動きに応じた好みの映像を楽しむことができる。このような動作データの記録は、ジャイロセンサや加速度センサを備えた装置であれば、表示装置１以外の装置でも行うことができる。例えば、通信端末２がこれらのセンサを備えていれば、通信端末２を動かして、その動きに応じた動作データを生成することもできる。
Further, for example, the movement of the
また、生成した動作データを単独で、あるいはそれに対応する映像と共に他の表示装置１に直接または間接に送信してもよく、これにより、当該他の表示装置１も、その動作データの動きで表示面を動かすことが可能になる。例えば、通信端末２で生成し、記録した動作データは、所望のタイミングで表示装置１に送信し、これにより表示面を動かすことができる。また、例えば、表示装置１で映像を撮影し、該映像に応じた動作データ、あるいは撮影時に表示装置１のセンサ部１６で検出した動きに応じた動作データを生成して、他の表示装置１に送信してもよい。後者の場合、データ送信側の表示装置１の表示面の動きを、データ受信側の表示装置１（他の表示装置）で再現することができる。なお、この場合、データ送信側の表示装置１は、受信側の表示装置１の動作を制御する制御装置として機能することになる。さらに、例えば、他の表示装置１から該表示装置１の撮影した映像を受信し、該映像に応じた動作データを生成して表示面を動かしてもよい。このように、表示装置１間でデータの送受信を行う場合、各表示装置１に通信端末２と同様の通信機能およびユーザインターフェースを設ければよい。
In addition, the generated operation data may be transmitted directly or indirectly to the
また、例えば、動画投稿サイトに映像をアップロードすると共に、生成した動作データもアップロードしてもよい。これにより、当該映像を表示装置１で閲覧する際に、映像と共に動作データもダウンロードして、当該映像を当該動作データの動きと合わせて楽しむことができる。また、動画投稿サイト側に上記実施形態３のサーバ２１０を設け、アップロードされた映像に応じた動作データを生成してもよく、この場合も上記と同様の効果が得られる。無論、アップロード先は、動作データを配信可能なサーバであればよく、動画投稿サイトのサーバに限られない。例えば、ＳＮＳのサーバにサーバ２１０と同様の機能を持たせ、該サーバに動作データをアップロードしてもよい。この場合、ＳＮＳ経由で動作データを取得し、ＳＮＳ上の映像を、取得した動作データと組み合わせて楽しむことができる。
In addition, for example, a video may be uploaded to a video posting site and the generated operation data may be uploaded. Thereby, when browsing the said image | video with the
〔ソフトウェアによる実現例〕
表示装置１および通信端末２の制御ブロック（特に制御部１０および制御部２０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。[Example of software implementation]
The control blocks (especially the
後者の場合、表示装置１および通信端末２は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
In the latter case, the
〔まとめ〕
本発明の態様１に係る制御装置は、表示面を備えた表示装置（１）を制御する制御装置（通信端末２）であって、上記表示面を動かすための、上記表示面に表示される映像に応じた動作データを生成する動作データ生成部（１２３）と、上記動作データ生成部が生成した動作データを上記表示装置に送信して、該動作データに従って上記表示面の動作機構を動作させて該表示面を動かす制御を上記表示装置に実行させるデータ送信部（１２２）と、を備えている。[Summary]
The control device according to
上記の構成によれば、映像に応じた動作データを生成して表示装置に送信するので、該表示装置は、表示する映像に応じた動きで表示面を動かすことができる。したがって、映像に応じた動きによって映像に視覚効果を付与することができるという効果を奏する。なお、動きによって付与される視覚効果は、動きがあることによって生じる効果であればよく、特に限定されない。例えば、上記視覚効果としては、映像の内容に注目させる効果の他に、臨場感や立体感が生じる等の効果が挙げられる。 According to said structure, since the operation | movement data according to an image | video is produced | generated and transmitted to a display apparatus, this display apparatus can move a display surface by the movement according to the image | video to display. Therefore, there is an effect that a visual effect can be given to the video by the movement according to the video. Note that the visual effect imparted by movement is not particularly limited as long as it is an effect caused by movement. For example, examples of the visual effect include an effect of producing a sense of reality and a stereoscopic effect in addition to the effect of noting the content of the video.
本発明の態様２に係る制御装置は、上記態様１において、上記動作データ生成部は、上記映像中の所定のオブジェクトの動きに応じた動作データを生成してもよい。
In the control device according to
上記の構成によれば、映像中のオブジェクトの動きに応じて動作データを生成するので、映像を観ている者に対して、映像中のオブジェクトの動きを強調して伝えることができるという効果を奏する。なお、所定のオブジェクトは、映像中の所定範囲を占めるものであればよい。例えば、映像中の人物の体全体であってもよいし、体の一部（頭や手、眼球の黒目部分等）であってもよい。 According to the above configuration, since motion data is generated according to the movement of the object in the video, it is possible to emphasize and convey the movement of the object in the video to the person watching the video. Play. It should be noted that the predetermined object only needs to occupy a predetermined range in the video. For example, it may be the entire body of a person in the video, or a part of the body (head, hand, black eye part of the eyeball, etc.).
本発明の態様３に係る制御装置は、上記態様１または２において、上記動作データ生成部は、上記映像中の人物またはキャラクターの表情に応じた動作データを生成してもよい。
In the control device according to aspect 3 of the present invention, in the
上記の構成によれば、映像中の人物またはキャラクターの表情に応じて動作データを生成するので、映像を観ている者に対して、映像中の人物またはキャラクターの表情（あるいはその表情に応じた感情）を強調して伝えることができるという効果を奏する。例えば、映像中の人物が微笑んでいるときに、表示面をゆっくりと搖動させることにより、該人物の微笑んだ表情に注目させることができ、また、該人物の穏やかな喜びの感情を強調して伝えることができる。 According to the above configuration, the motion data is generated according to the facial expression of the person or character in the video, so the person or character's facial expression in the video (or the facial expression corresponding to the facial expression) It has the effect of being able to communicate with emphasis. For example, when a person in the video is smiling, the display surface can be slowly moved to focus on the person's smile, and the person's gentle joy can be emphasized. I can tell you.
本発明の態様４に係る制御装置は、上記態様１から３の何れか１態様において、上記映像中の人物またはキャラクターの発話内容に応じた動作データを生成してもよい。
The control device according to
上記の構成によれば、映像中の人物またはキャラクターの発話内容に応じて動作データを生成するので、映像を観ている者に対して、映像中の人物またはキャラクターの発話内容、またはその発話内容に応じた感情を強調して伝えることができるという効果を奏する。例えば、映像中の人物が驚いた旨の発話をしたときに、表示面を後ろ側に倒れ込むように動かすことにより、該人物の驚きの感情を強調して伝えることができる。 According to the above configuration, since motion data is generated according to the utterance content of the person or character in the video, the utterance content of the person or character in the video, or the utterance content, for the person watching the video There is an effect that the emotion according to the can be emphasized and transmitted. For example, when the person in the video utters a surprise message, the surprise feeling of the person can be emphasized and conveyed by moving the display surface so as to fall back.
本発明の態様５に係る表示装置（１）は、表示面を備えた表示装置であって、上記表示面を動かすための、上記表示面に表示する映像に応じた動作データを、上記表示装置の動作を制御する制御装置（通信端末２）から取得する動作データ取得部（１０４）と、上記表示面に上記映像が表示されているときに、上記動作データに従って上記表示面の動作機構を動作させて上記表示面を動かす動作制御部（１０７）と、を備えている。 A display device (1) according to an aspect 5 of the present invention is a display device provided with a display surface, and the operation data corresponding to the video displayed on the display surface for moving the display surface is displayed on the display device. The operation data acquisition unit (104) acquired from the control device (communication terminal 2) that controls the operation of the display screen and the operation mechanism of the display surface operate according to the operation data when the video is displayed on the display surface And an operation control unit (107) for moving the display surface.
上記の構成によれば、表示する映像に応じた動作データを取得し、該動作データに従って表示面を動かすので、映像と表示面の動きの組み合わせによる新たな視覚効果を生み出すことができるという効果を奏する。 According to the above configuration, since the operation data corresponding to the video to be displayed is acquired and the display surface is moved according to the operation data, it is possible to produce a new visual effect by combining the motion of the image and the display surface. Play.
本発明の態様６に係る表示装置は、上記態様５において、上記動作データ取得部は、上記映像中の所定のオブジェクトの動きに応じた動作データを取得してもよい。該構成によれば、映像中のオブジェクトの動きに応じた動作データを取得するので、映像を観ている者に対して、映像中のオブジェクトの動きを強調して伝えることができるという効果を奏する。 In the display device according to aspect 6 of the present invention, in the aspect 5, the motion data acquisition unit may acquire motion data according to a motion of a predetermined object in the video. According to this configuration, since motion data corresponding to the movement of the object in the video is acquired, there is an effect that it is possible to emphasize and convey the movement of the object in the video to the person watching the video. .
本発明の態様７に係る表示装置は、上記態様５または６において、上記動作データ取得部は、上記映像中の人物またはキャラクターの表情に応じた動作データを取得してもよい。該構成によれば、映像中の人物またはキャラクターの表情に応じた動作データを取得するので、映像を観ている者に対して、映像中の人物またはキャラクターの表情（あるいはその表情に応じた感情）を強調して伝えることができるという効果を奏する。 In the display device according to aspect 7 of the present invention, in the above aspect 5 or 6, the motion data acquisition unit may acquire motion data according to a facial expression of a person or character in the video. According to this configuration, since motion data corresponding to the facial expression of the person or character in the video is acquired, the facial expression of the person or character in the video (or the emotion corresponding to the facial expression) ) Can be emphasized and transmitted.
本発明の態様８に係る表示装置は、上記態様５から７の何れか１態様において、上記動作データ取得部は、上記映像中の人物またはキャラクターの発話内容に応じた動作データを取得してもよい。該構成によれば、映像中の人物またはキャラクターの発話内容に応じた動作データを取得するので、映像を観ている者に対して、映像中の人物またはキャラクターの発話内容、またはその発話内容に応じた感情を強調して伝えることができるという効果を奏する。 The display device according to aspect 8 of the present invention is the display device according to any one of the aspects 5 to 7, wherein the operation data acquisition unit acquires operation data corresponding to the utterance content of the person or character in the video. Good. According to this configuration, since the operation data corresponding to the utterance content of the person or character in the video is acquired, the utterance content of the person or character in the video, or the utterance content thereof is given to the person watching the video. It has the effect of emphasizing and responding to the emotions it responds to.
本発明の態様９に係る表示装置は、上記態様５から８の何れか１態様において、上記動作データ取得部は、上記映像を撮影したときの撮影装置または撮影者の動きを示す動作データを取得してもよい。該構成によれば、映像を撮影したときの撮影装置または撮影者の動きを示す動作データを取得するので、映像を観ている者に対して、映像の撮影時の臨場感を伝えることができるという効果を奏する。 The display device according to aspect 9 of the present invention is the display device according to any one of the aspects 5 to 8, wherein the motion data acquisition unit acquires motion data indicating a motion of the image capturing device or the photographer when the video is captured. May be. According to this configuration, since the operation data indicating the movement of the photographing device or the photographer when the image is photographed is acquired, it is possible to convey a sense of reality at the time of photographing the image to the person watching the image. There is an effect.
本発明の態様１０に係る表示装置は、上記態様５から９の何れか１態様において、上記動作データ取得部は、上記映像中の文字列の内容に応じた動作データを取得してもよい。映像中の文字列は、映像の内容を示す情報の１つであるから、上記の構成によれば、映像に応じた動きで表示面を動かすことができる。
The display device according to
本発明の態様１１に係る制御装置は、表示面を備えた表示装置を制御する制御装置であって、上記表示面を動かすための、上記表示面に表示される映像に応じた動作データを取得する動作データ取得部と、上記動作データ取得部が取得した動作データを上記表示装置に送信して、該動作データに従って上記表示面の動作機構を動作させて該表示面を動かす制御を上記表示装置に実行させるデータ送信部と、を備えている。 A control device according to an eleventh aspect of the present invention is a control device that controls a display device having a display surface, and obtains operation data according to an image displayed on the display surface for moving the display surface. An operation data acquisition unit that controls the display device to transmit the operation data acquired by the operation data acquisition unit to the display device and operate the operation mechanism of the display surface according to the operation data to move the display surface And a data transmission unit to be executed.
上記の構成によれば、映像に応じた動作データを取得して表示装置に送信するので、該表示装置は、表示する映像に応じた動きで表示面を動かすことができる。したがって、映像に応じた動きによって映像に視覚効果を付与することができるという効果を奏する。なお、動作データは上記制御装置の外部の装置から取得してもよいし、上記制御装置にて生成した動作データを取得してもよい。 According to said structure, since the operation | movement data according to an image | video is acquired and transmitted to a display apparatus, this display apparatus can move a display surface by the movement according to the image | video to display. Therefore, there is an effect that a visual effect can be given to the video by the movement according to the video. The operation data may be acquired from a device outside the control device, or the operation data generated by the control device may be acquired.
本発明の一態様に係る制御装置の制御方法は、表示面を備えた表示装置（１）を制御する制御装置（通信端末２）の制御方法であって、上記表示面を動かすための、上記表示面に表示される映像に応じた動作データを生成する動作データ生成ステップ（Ｓ３５、Ｓ４５）と、上記動作データ生成ステップで生成した動作データを上記表示装置に送信して、該動作データに従って上記表示面の動作機構を動作させて該表示面を動かす制御を上記表示装置に実行させるデータ送信ステップ（Ｓ３６、Ｓ４６）と、を含む。該構成によれば、上記態様１と同様の効果を奏する。
The control method of the control apparatus which concerns on 1 aspect of this invention is a control method of the control apparatus (communication terminal 2) which controls the display apparatus (1) provided with the display surface, Comprising: The above-mentioned for moving the said display surface An operation data generation step (S35, S45) for generating operation data corresponding to the video displayed on the display surface, and the operation data generated in the operation data generation step are transmitted to the display device, and the operation data is transmitted according to the operation data. A data transmission step (S36, S46) for causing the display device to execute a control for moving the display surface by operating the operation mechanism of the display surface. According to this structure, there exists an effect similar to the said
本発明の一態様に係る表示装置の制御方法は、表示面を備えた表示装置（１）の制御方法であって、上記表示面を動かすための、上記表示面に表示する映像に応じた動作データを、上記表示装置の動作を制御する制御装置（通信端末２）から取得する動作データ取得ステップ（Ｓ１、Ｓ２４、Ｓ５４、Ｓ９１、Ｓ１００、Ｓ１１０）と、上記表示面に上記映像が表示されているときに、上記動作データに従って上記表示面の動作機構を動作させて上記表示面を動かす動作制御ステップ（Ｓ３、Ｓ２５、Ｓ５５、Ｓ９２、Ｓ１０６、Ｓ１１３）と、を含む。該構成によれば、上記態様５と同様の効果を奏する。
本発明の一態様に係る制御装置（通信端末２）の制御方法は、表示面を備えた表示装置（１）を制御する制御装置（表示装置１、通信端末２、サーバ２１０）であって、上記表示面を動かすための、上記表示面に表示される映像に応じた動作データを取得する動作データ取得ステップ（Ｓ１２、Ｓ３５、Ｓ４５）と、上記動作データ取得ステップで取得した動作データを上記表示装置に送信して、該動作データに従って上記表示面の動作機構を動作させて該表示面を動かす制御を上記表示装置に実行させるデータ送信ステップ（Ｓ１３、Ｓ３６、Ｓ４６、Ｓ８１）と、を含む。該構成によれば、上記態様１１と同様の効果を奏する。A control method for a display device according to an aspect of the present invention is a control method for a display device (1) including a display surface, and an operation according to an image displayed on the display surface for moving the display surface An operation data acquisition step (S1, S24, S54, S91, S100, S110) for acquiring data from a control device (communication terminal 2) that controls the operation of the display device, and the video is displayed on the display surface. An operation control step (S3, S25, S55, S92, S106, S113) of moving the display surface by operating the operation mechanism of the display surface according to the operation data. According to this structure, there exists an effect similar to the said aspect 5. FIG.
The control method of the control device (communication terminal 2) according to one aspect of the present invention is a control device (
本発明の一態様に係る制御装置は、上記の何れか１態様において、上記動作データ生成部は、上記映像に対する投稿に応じた動作データを生成してもよい。該構成によれば、投稿に応じた表示面の動きにより、投稿の状況をユーザに認識させることができるという効果を奏する。なお、「投稿に応じた」とは、投稿に関連する何らかの要素（例えば、投稿数、投稿内容、投稿者、投稿に基づいて表示された文字数等）に連動していることを指す。 In any one aspect of the control device according to one aspect of the present invention, the motion data generation unit may generate motion data according to posting on the video. According to this structure, there exists an effect that a user can be made to recognize the condition of contribution by the movement of the display surface according to contribution. Note that “according to the posting” refers to being linked to some element related to the posting (for example, the number of posts, the content of the posting, the poster, the number of characters displayed based on the posting, etc.).
本発明の一態様に係る制御装置は、上記の何れか１態様において、上記動作データ生成部は、上記映像の内容に応じた動作データを生成してもよい。該構成によれば、映像の内容に応じた表示面の動きにより、映像の内容をユーザに強く印象付けることができるという効果を奏する。 In any one aspect of the control device according to one aspect of the present invention, the motion data generation unit may generate motion data according to the content of the video. According to this configuration, there is an effect that the content of the video can be impressed strongly to the user by the movement of the display surface according to the content of the video.
本発明の一態様に係る制御装置は、上記の何れか１態様において、上記動作データ生成部は、上記表示装置の周囲を撮影した撮影映像の内容に応じた動作データを生成してもよい。該構成によれば、上記表示装置の周囲の状況に応じた動きで表示面を動かすことができる。例えば、表示装置の周囲の人を追従するように表示面を動かしたり、人の多い方向に表示面を向けたりすることも可能である。 In any one aspect of the control device according to one aspect of the present invention, the motion data generation unit may generate motion data according to the content of a captured video obtained by photographing the periphery of the display device. According to this configuration, it is possible to move the display surface with a movement corresponding to the situation around the display device. For example, the display surface can be moved so as to follow people around the display device, or the display surface can be directed in a direction where there are many people.
また、上記態様において、上記動作データ生成部は、上記撮影映像の内容に応じた映像を上記表示面に表示させると共に、上記撮影映像に応じた動作データを生成してもよい。これにより、ユーザは、撮影映像に応じた動きと共に、撮影映像に応じた映像を楽しむことができる。 In the above aspect, the motion data generation unit may display a video corresponding to the content of the captured video on the display surface and generate motion data corresponding to the captured video. Thereby, the user can enjoy the image | video according to the picked-up image with the movement according to the picked-up image.
本発明の態様１２に係る表示装置（１）は、表示面と、上記表示面に映像を表示させる表示制御部（１０５）と、上記表示制御部が表示させる映像に応じて上記表示面を動かす動作制御部（１０７）と、を備えている。 The display device (1) according to the twelfth aspect of the present invention moves the display surface according to a display surface, a display control unit (105) that displays an image on the display surface, and an image displayed by the display control unit. And an operation control unit (107).
上記の構成によれば、表示させる映像に応じて表示面を動かすので、映像に応じた動きによって映像に視覚効果を付与することができるという効果を奏する。なお、動きによって付与される視覚効果は、動きがあることによって生じる効果であればよく、特に限定されない。例えば、上記視覚効果としては、映像の内容に注目させる効果の他に、臨場感や立体感が生じる等の効果が挙げられる。 According to said structure, since a display surface is moved according to the image | video to display, there exists an effect that a visual effect can be provided to an image | video by the movement according to an image | video. Note that the visual effect imparted by movement is not particularly limited as long as it is an effect caused by movement. For example, examples of the visual effect include an effect of producing a sense of reality and a stereoscopic effect in addition to the effect of noting the content of the video.
本発明の態様１３に係る表示装置は、上記態様１２において、上記動作制御部は、上記映像中の所定のオブジェクトの動きに応じて上記表示面を動かしてもよい。
In the display device according to
上記の構成によれば、映像中のオブジェクトの動きに応じて表示面を動かすので、映像を観ている者に対して、映像中のオブジェクトの動きを強調して伝えることができるという効果を奏する。なお、所定のオブジェクトは、映像中の所定範囲を占めるものであればよい。例えば、映像中の人物の体全体であってもよいし、体の一部（頭や手、眼球の黒目部分等）であってもよい。また、所定のオブジェクトは人であってもよいし、他の動物であってもよく、物体（非生物）であってもよい。また、アニメーションのキャラクターのようにバーチャルなオブジェクトであってもよい。 According to the above configuration, since the display surface is moved according to the movement of the object in the video, there is an effect that it is possible to emphasize and convey the movement of the object in the video to the person watching the video. . It should be noted that the predetermined object only needs to occupy a predetermined range in the video. For example, it may be the entire body of a person in the video, or a part of the body (head, hand, black eye part of the eyeball, etc.). The predetermined object may be a person, another animal, or an object (non-living). Further, it may be a virtual object such as an animated character.
本発明の態様１４に係る表示装置は、上記態様１２または１３において、上記映像中の人物またはキャラクターの表情に応じて上記表示面を動かしてもよい。
The display device according to
上記の構成によれば、映像中の人物またはキャラクターの表情に応じて表示面を動かすので、映像を観ている者に対して、映像中の人物またはキャラクターの表情（あるいはその表情に応じた感情）を強調して伝えることができるという効果を奏する。例えば、映像中の人物が微笑んでいるときに、表示面をゆっくりと揺動させることにより、該人物の微笑んだ表情に注目させることができ、また、該人物の穏やかな喜びの感情を強調して伝えることができる。 According to the above configuration, the display surface is moved according to the facial expression of the person or character in the video, so the person or character's facial expression in the video (or emotion corresponding to the facial expression) ) Can be emphasized and transmitted. For example, when a person in the image is smiling, it is possible to focus attention on the smiling expression of the person by slowly swinging the display surface, and emphasize the gentle joy of the person. Can tell.
本発明の態様１５に係る表示装置は、上記態様１２から１４の何れか１態様において、上記動作制御部は、上記映像中の人物またはキャラクターの発話内容に応じて上記表示面を動かしてもよい。
In the display device according to
上記の構成によれば、映像中の人物またはキャラクターの発話内容に応じて表示面を動かすので、映像を観ている者に対して、映像中の人物またはキャラクターの発話内容、またはその発話内容に応じた感情を強調して伝えることができるという効果を奏する。例えば、映像中の人物が驚いた旨の発話をしたときに、表示面を後ろ側に倒れ込むように動かすことにより、該人物の驚きの感情を強調して伝えることができる。 According to the above configuration, the display surface is moved in accordance with the utterance content of the person or character in the video, so that the utterance content of the person or character in the video, or the utterance content thereof is displayed to the person watching the video. It has the effect of emphasizing and responding to the emotions it responds to. For example, when the person in the video utters a surprise message, the surprise feeling of the person can be emphasized and conveyed by moving the display surface so as to fall back.
本発明の態様１６に係る表示装置は、上記態様１２から１５の何れか１態様において、上記動作制御部は、上記映像を撮影したときの撮影装置または撮影者の動きを示す動作データを取得し、該動作データを用いて上記表示面を動かしてもよい。
The display device according to
上記の構成によれば、映像を撮影したときの撮影装置または撮影者の動きを示す動作データを用いて表示面を動かすので、映像を観ている者に対して、映像の撮影時の臨場感を伝えることができるという効果を奏する。なお、撮影者の動きを示す動作データを取得する場合、撮影者の頭部の動きを示す動作データを取得することで、撮影者が撮影を行っているときの臨場感をより正確に伝えることができるので好ましい。 According to the above configuration, since the display surface is moved using the operation data indicating the movement of the photographing device or the photographer when the image is photographed, a sense of presence at the time of photographing the image is given to the person watching the image. There is an effect that can be transmitted. In addition, when acquiring motion data indicating the photographer's movement, the motion data indicating the motion of the photographer's head is acquired to more accurately convey the sense of reality when the photographer is shooting. Is preferable.
本発明の態様１７に係る表示装置は、上記態様１２から１６の何れか１態様において、上記動作制御部は、上記映像中の文字列の内容に応じて上記表示面を動かしてもよい。映像中の文字列は、映像の内容を示す情報の１つであるから、上記構成によれば、映像に応じた動きで表示面を動かすことができる。
In the display device according to
本発明の態様１８に係る表示装置は、上記態様１２から１７の何れか１態様において、上記動作制御部は、上記表示装置と直接または間接に通信接続している他の表示装置の表示面が動かされたときに、上記他の表示装置の上記表示面の動きと連動して、上記表示装置の上記表示面を動かしてもよい。
The display device according to
上記の構成によれば、上記表示装置と直接または間接に通信接続している他の表示装置の表示面が動かされたときに、その動きと連動して表示面を動かすので、表示面を動かすことによるコミュニケーションが可能になるという効果を奏する。特に、上記表示装置をテレビ電話のモニターとして使用する際には、音声での会話と映像に加えて、通話の相手方が動かした表示面の動きが、上記表示装置の動きとして反映されるので、臨場感を高める効果が期待できる。 According to the above configuration, when the display surface of another display device that is directly or indirectly connected to the display device is moved, the display surface is moved in conjunction with the movement, so the display surface is moved. There is an effect that communication is possible. In particular, when using the display device as a videophone monitor, in addition to voice conversation and video, the movement of the display surface moved by the other party of the call is reflected as the movement of the display device. The effect of enhancing the presence can be expected.
本発明の態様１９に係る表示装置は、上記態様１２から１８の何れか１態様において、上記動作制御部は、上記映像に対する投稿に応じて上記表示装置の上記表示面を動かしてもよい。該構成によれば、投稿に応じた表示面の動きにより、投稿の状況をユーザに認識させることができるという効果を奏する。なお、「投稿に応じて」とは、投稿に関連する何らかの要素（例えば、投稿数、投稿内容、投稿者、投稿に基づいて表示された文字数等）に連動していることを指す。
In any one of the
本発明の態様２０に係る表示装置は、上記態様１２から１９の何れか１態様において、上記動作制御部は、上記映像の内容に応じて上記表示装置の上記表示面を動かしてもよい。該構成によれば、映像の内容に応じた表示面の動きにより、映像の内容をユーザに強く印象付けることができるという効果を奏する。
In the display device according to
本発明の態様２１に係る表示装置は、上記態様１２から２０の何れか１態様において、上記動作制御部は、上記表示装置の周囲を撮影した撮影映像の内容に応じて上記表示装置の上記表示面を動かしてもよい。該構成によれば、上記表示装置の周囲の状況に応じた動きで表示面を動かすことができる。例えば、表示装置の周囲の人を追従するように表示面を動かしたり、人の多い方向に表示面を向けたりすることも可能である。
The display device according to
また、本発明の態様２２に係る表示装置は、上記態様２１において、上記表示制御部は、上記撮影映像の内容に応じた映像を上記表示面に表示させ、上記動作制御部は、上記撮影映像に応じた動きで上記表示装置の上記表示面を動かしてもよい。これにより、ユーザは、撮影映像に応じた動きと共に、撮影映像に応じた映像を楽しむことができる。
In the display device according to
本発明の態様２３に係る表示装置は、上記態様１２から２２の何れか１態様において、上記表示面の動きを示す動作データを生成する生成装置（通信端末２）から上記動作データを取得する動作データ取得部（１０４）を備え、上記動作制御部は、該動作データを用いて上記表示面を動かしてもよい。該構成によれば、生成装置が生成した動作データに応じた動きで表示面を動かすことができる。また、表示装置自体が動作データを生成していない場合であっても、表示面を動かすことができる。
The display device according to
本発明の態様２４に係る表示装置は、上記態様１２から２３の何れか１態様において、上記表示面の動きを示す動作データを配信する配信サーバから上記動作データを取得する動作データ取得部（１０４）を備え、上記動作制御部は、該動作データを用いて上記表示面を動かしてもよい。該構成によれば、配信サーバにアクセスすることにより、表示面を動かすことができる。また、表示装置自体が動作データを生成していない場合であっても、表示面を動かすことができる。
In any one of the
本発明の一態様に係る制御方法は、表示面に映像を表示させる表示装置が実行する制御方法であって、上記表示面に映像を表示させる表示制御ステップ（Ｓ４、Ｓ２３、Ｓ５３、Ｓ１０７、Ｓ１１２）と、上記表示制御ステップにて表示させる映像に応じて上記表示面を動かす動作制御ステップ（Ｓ３、Ｓ２５、Ｓ５５、Ｓ１０６、Ｓ１１３）と、を含む。該制御方法によれば、上記態様１２と同様の効果を奏する。
A control method according to an aspect of the present invention is a control method executed by a display device that displays an image on a display surface, and a display control step (S4, S23, S53, S107, and S112) that displays an image on the display surface. ) And an operation control step (S3, S25, S55, S106, S113) for moving the display surface in accordance with the image displayed in the display control step. According to the control method, the same effects as those of the
本発明の各態様に係る表示装置および制御装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記表示装置または上記制御装置が備える各部（ソフトウェア要素）として動作させることにより上記表示装置または上記制御装置をコンピュータにて実現させる表示装置の制御プログラムまたは制御装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。 The display device and the control device according to each aspect of the present invention may be realized by a computer. In this case, the display is performed by operating the computer as each unit (software element) included in the display device or the control device. A control program for a display device or a control program for a control device that realizes the device or the control device by a computer, and a computer-readable recording medium that records the control program also fall within the scope of the present invention.
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。 The present invention is not limited to the above-described embodiments, and various modifications are possible within the scope shown in the claims, and embodiments obtained by appropriately combining technical means disclosed in different embodiments. Is also included in the technical scope of the present invention. Furthermore, a new technical feature can be formed by combining the technical means disclosed in each embodiment.
本発明は、表示装置、表示装置を制御する制御装置等に利用することができる。 The present invention can be used for a display device, a control device for controlling the display device, and the like.
１Ａ、１Ｂ 表示装置（制御装置）
２Ａ、２Ｂ 通信端末（制御装置）
１９ 動作機構
１０４ 動作データ取得部
１０５ 表示制御部
１０７ 動作制御部
１２１ 端末側動作データ取得部（動作データ取得部）
１２２ データ送信部
１２３ 動作データ生成部
２１０ サーバ（制御装置）
Ｓ１、Ｓ２４、Ｓ５４、Ｓ９１、Ｓ１００、Ｓ１１０ 動作データ取得ステップ
Ｓ３、Ｓ２５、Ｓ５５、Ｓ９２、Ｓ１０６、Ｓ１１３ 動作制御ステップ
Ｓ３５、Ｓ４５ 動作データ生成ステップ
Ｓ３６、Ｓ４６ データ送信ステップ
Ｓ４、Ｓ２３、Ｓ５３、Ｓ１０７、Ｓ１１２ 表示制御ステップ
Ｓ３、Ｓ２５、Ｓ５５、Ｓ１０６、Ｓ１１３ 動作制御ステップ1A, 1B Display device (control device)
2A, 2B Communication terminal (control device)
19
122
S1, S24, S54, S91, S100, S110 Operation data acquisition step S3, S25, S55, S92, S106, S113 Operation control step S35, S45 Operation data generation step S36, S46 Data transmission step S4, S23, S53, S107, S112 Display control step S3, S25, S55, S106, S113 Operation control step
Claims (19)
上記表示面を動かすための、上記表示面に表示される映像に応じた動作データを生成する動作データ生成部と、
上記動作データ生成部が生成した動作データを上記表示装置に送信して、該動作データに従って上記表示面の動作機構を動作させて該表示面を動かす制御を上記表示装置に実行させるデータ送信部と、を備え、
筐体の曲面部に沿って前記表示装置全体を動かすことにより前記表示面を動かすことを特徴とする制御装置。 A control device for controlling a display device having a display surface,
An operation data generating unit for generating operation data corresponding to the video displayed on the display surface for moving the display surface;
A data transmission unit that transmits the operation data generated by the operation data generation unit to the display device, operates the operation mechanism of the display surface according to the operation data, and causes the display device to execute control to move the display surface; , Bei to give a,
A control device that moves the display surface by moving the entire display device along a curved surface portion of a housing .
上記表示面を動かすための、上記表示面に表示する映像に応じた動作データを、上記表示装置の動作を制御する制御装置から取得する動作データ取得部と、
上記表示面に上記映像が表示されているときに、上記動作データに従って上記表示面の動作機構を動作させて上記表示面を動かす動作制御部と、を備え、
筐体の接地面が曲面であることを特徴とする表示装置。 A display device having a display surface,
An operation data acquisition unit for acquiring operation data corresponding to an image displayed on the display surface for moving the display surface, from a control device that controls the operation of the display device;
When the image is displayed on the display surface, e Bei a, an operation control unit which operates the operating mechanism of the display surface moving said display surface in accordance with the above operation data,
A display device , wherein a grounding surface of a housing is a curved surface .
上記表示面を動かすための、上記表示面に表示される映像に応じた動作データを取得する動作データ取得部と、
上記動作データ取得部が取得した動作データを上記表示装置に送信して、該動作データに従って上記表示面の動作機構を動作させて該表示面を動かす制御を上記表示装置に実行させるデータ送信部と、を備え、
筐体の曲面部に沿って前記表示装置全体を動かすことにより前記表示面を動かすことを特徴とする制御装置。 A control device for controlling a display device having a display surface,
An operation data acquisition unit for acquiring operation data corresponding to a video displayed on the display surface for moving the display surface;
A data transmission unit that transmits the operation data acquired by the operation data acquisition unit to the display device, causes the display device to execute control of operating the operation mechanism of the display surface according to the operation data and moving the display surface; , Bei to give a,
A control device that moves the display surface by moving the entire display device along a curved surface portion of a housing .
上記表示面に映像を表示させる表示制御部と、
上記表示制御部が表示させる映像に応じて上記表示面を動かす動作制御部と、を備え、
筐体の接地面が曲面であることを特徴とする表示装置。 A display surface;
A display control unit for displaying an image on the display surface;
E Bei and a operation control section for moving the display surface in accordance with an image to the display control unit displays,
A display device , wherein a grounding surface of a housing is a curved surface .
上記表示面を動かすための、上記表示面に表示される映像に応じた動作データを生成する動作データ生成部と、An operation data generating unit for generating operation data corresponding to the video displayed on the display surface for moving the display surface;
上記動作データ生成部が生成した動作データを上記表示装置に送信して、該動作データに従って上記表示面の動作機構を動作させて該表示面を動かす制御を上記表示装置に実行させるデータ送信部と、を備え、A data transmission unit that transmits the operation data generated by the operation data generation unit to the display device, operates the operation mechanism of the display surface according to the operation data, and causes the display device to execute control to move the display surface; With
前記動作機構が重心移動手段を有することを特徴とする制御装置。The control device characterized in that the operation mechanism has a gravity center moving means.
上記表示面を動かすための、上記表示面に表示される映像に応じた動作データを取得する動作データ取得部と、An operation data acquisition unit for acquiring operation data corresponding to a video displayed on the display surface for moving the display surface;
上記動作データ取得部が取得した動作データを上記表示装置に送信して、該動作データに従って上記表示面の動作機構を動作させて該表示面を動かす制御を上記表示装置に実行させるデータ送信部と、を備え、A data transmission unit that transmits the operation data acquired by the operation data acquisition unit to the display device, causes the display device to execute control of operating the operation mechanism of the display surface according to the operation data and moving the display surface; With
前記動作機構が重心移動手段を有することを特徴とする制御装置。The control device characterized in that the operation mechanism has a gravity center moving means.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015092311 | 2015-04-28 | ||
| JP2015092311 | 2015-04-28 | ||
| JP2015096876 | 2015-05-11 | ||
| JP2015096876 | 2015-05-11 | ||
| PCT/JP2015/075258 WO2016174784A1 (en) | 2015-04-28 | 2015-09-04 | Control device and display device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2016174784A1 JPWO2016174784A1 (en) | 2018-02-22 |
| JP6461322B2 true JP6461322B2 (en) | 2019-01-30 |
Family
ID=57199680
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017515357A Active JP6461322B2 (en) | 2015-04-28 | 2015-09-04 | Control device and display device |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6461322B2 (en) |
| WO (1) | WO2016174784A1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102017108194A1 (en) * | 2017-04-18 | 2018-10-18 | Vorwerk & Co. Interholding Gmbh | Method for operating a self-propelled vehicle |
| JP7488559B2 (en) * | 2020-07-09 | 2024-05-22 | 株式会社喜多俊之デザイン研究所 | Display device |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10239769A (en) * | 1997-02-26 | 1998-09-11 | Sanyo Electric Co Ltd | Back projection type display device |
| JP2000176177A (en) * | 1999-01-01 | 2000-06-27 | Casio Comput Co Ltd | Electronic game device worn around wrist and electronic game system worn around wrist |
| JP4923420B2 (en) * | 2005-03-15 | 2012-04-25 | 日本電気株式会社 | Movie shooting / playback system, shooting / playback method thereof, portable device thereof, and shooting / playback method thereof |
| JPWO2009050812A1 (en) * | 2007-10-18 | 2011-02-24 | 富士通株式会社 | Display device and display system |
| JP2010066844A (en) * | 2008-09-09 | 2010-03-25 | Fujifilm Corp | Method and device for processing video content, and program for processing video content |
| JP2011227160A (en) * | 2010-04-16 | 2011-11-10 | Sanyo Electric Co Ltd | Image display device and image display system |
| JP2013186410A (en) * | 2012-03-09 | 2013-09-19 | Denso Corp | Portable display device |
| WO2013168732A1 (en) * | 2012-05-08 | 2013-11-14 | 株式会社ニコン | Electronic device |
| WO2013186845A1 (en) * | 2012-06-11 | 2013-12-19 | 富士通株式会社 | Electronic device, vibration generation program, and system using vibration patterns |
| WO2014084374A1 (en) * | 2012-11-30 | 2014-06-05 | 日本電気株式会社 | Communication system, communication method, communication device, program, and recording medium |
-
2015
- 2015-09-04 WO PCT/JP2015/075258 patent/WO2016174784A1/en active Application Filing
- 2015-09-04 JP JP2017515357A patent/JP6461322B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2016174784A1 (en) | 2018-02-22 |
| WO2016174784A1 (en) | 2016-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6708689B2 (en) | 3D gameplay sharing | |
| JP6266736B1 (en) | Method for communicating via virtual space, program for causing computer to execute the method, and information processing apparatus for executing the program | |
| CN109069934B (en) | Audience view tracking of virtual reality environment (VR) users in a VR | |
| US10453248B2 (en) | Method of providing virtual space and system for executing the same | |
| CN105377383B (en) | Change game process on head-mounted display | |
| JP6298561B1 (en) | Program executed by computer capable of communicating with head mounted device, information processing apparatus for executing the program, and method executed by computer capable of communicating with head mounted device | |
| JP6298563B1 (en) | Program and method for providing virtual space by head mounted device, and information processing apparatus for executing the program | |
| JP6470356B2 (en) | Program and method executed by computer for providing virtual space, and information processing apparatus for executing the program | |
| US10896322B2 (en) | Information processing device, information processing system, facial image output method, and program | |
| JP2020039029A (en) | Video distribution system, video distribution method, and video distribution program | |
| JP6392945B1 (en) | Program and method executed by computer for providing virtual space, and information processing apparatus for executing the program | |
| JPWO2010001756A1 (en) | Portable game device and method for controlling portable game device | |
| JP6719633B1 (en) | Program, method, and viewing terminal | |
| US20190005731A1 (en) | Program executed on computer for providing virtual space, information processing apparatus, and method of providing virtual space | |
| CN112689854A (en) | Moving picture composition device, moving picture composition method, and recording medium | |
| JP6563580B1 (en) | Communication system and program | |
| CN112740284A (en) | Moving picture composition device, moving picture composition method, and recording medium | |
| JP2018200678A (en) | Program executed by computer capable of communicating with head mounted device, information processing apparatus for executing that program, and method implemented by computer capable of communicating with head mounted device | |
| JP6461322B2 (en) | Control device and display device | |
| JP6979539B2 (en) | Information processing system, display method and computer program | |
| US20230218984A1 (en) | Methods and systems for interactive gaming platform scene generation utilizing captured visual data and artificial intelligence-generated environment | |
| JP6532359B2 (en) | Input device | |
| CN115150555B (en) | Video recording method, device, equipment and medium | |
| JP2019012509A (en) | Program for providing virtual space with head-mounted display, method, and information processing apparatus for executing program | |
| JP2019021324A (en) | Program executed by computer providing virtual space, method and information processing device executing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171005 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171005 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181023 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181205 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181218 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181225 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6461322 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |