JP2019036857A - Live video entertainment facility - Google Patents

Abstract

To provide a live video distribution system in which the sight line and the view to be observed in the field can be freely moved, and in particular, in which a user at a remote place can enjoy a video with realistic feeling as if the user is performing observation in the field while moving.SOLUTION: A live video entertainment facility including a plurality of user devices having an HMD, a seating means and a controller and a server indoors, and the controller has a function to generate a remote location designation signal and send the signal to the server, and the server has a function to be connected to a local system existing at a remote location designated by the remote location designation signal via the Internet, a function to receive a video signal of a predetermined display range from the local system, and a function to transmit the received video signal to the HMD, and the HMD has a function to display a live video of an imaging target existing in the remote location based on the video signal.SELECTED DRAWING: Figure 1

Description

本発明は、ライブ映像配信システムに関し、特に、遠隔地にいる複数のユーザが、現地にある別個の対象をリアルタイムで同時に観察することができるライブ映像配信システムに関する。また、特に、遠隔地にいるユーザが、あたかも自分自身が現地で動きながら観察しているかのような臨場感をもって映像を楽しむことができるライブ映像配信システムに関する。   The present invention relates to a live video distribution system, and more particularly, to a live video distribution system in which a plurality of users at remote locations can simultaneously observe separate objects in the field in real time. In particular, the present invention relates to a live video distribution system in which a user in a remote place can enjoy video with a sense of reality as if he / she was observing while moving locally.

観光産業は、現在、全世界のＧＤＰの約１０％を占めるに至っており、今後、「２１世紀最大の産業」となるとの予測がある。
このような趨勢の中、従来の観光地での観光に飽き足らず、秘境、さらには、宇宙空間、深海といったフロンティア空間における観光に対するニーズも高まりつつある。 The tourism industry now accounts for about 10% of global GDP, and it is predicted that it will become the “largest industry in the 21st century” in the future.
Under such a trend, the need for tourism in frontier spaces such as unexplored areas, outer space, and deep sea is increasing as well as being tired of tourism at conventional tourist destinations.

しかし、秘境に数多くの観光客が押し寄せると、希少な自然環境や貴重な遺跡が破壊されるという問題が生じる。また、宇宙空間、深海といったフロンティア空間における観光については、現地に赴くために多大なコストがかかるだけではなく、無重力や高気圧などの集権環境の影響で身体に過大な負荷がかかったり、現地への移動手段（宇宙船や深海調査船など）が破損した場合に生命が危険にさらされたりするリスクが伴う。   However, if a large number of tourists come to the unexplored area, there will be a problem that the rare natural environment and precious ruins will be destroyed. For tourism in frontier space such as outer space and deep sea, not only does it cost a lot to go to the site, but it also puts an excessive load on the body due to the influence of centralized environment such as weightlessness and high pressure, There is a risk that life may be compromised if the means of transportation (spacecraft, deep-sea research vessel, etc.) is damaged.

上記のような問題を解決する方法として、遠隔地にいるユーザに対して現地の映像を表示することにより、「疑似的な観光体験」を提供する方法が考えられる。しかし、その場合、表示される映像の表示範囲が「ユーザ以外の他者」によって設定されているのであれば、テレビ電話やテレビの生中継放送と変わらず、「観光体験」というには程遠い。したがって、「疑似的な観光体験」を実現するためは、遠隔地にいるユーザが映像の表示範囲を自ら設定でき、ユーザ自身が観察したい対象をリアルタイムで観察することができるライブ映像配信システムが必要となる。   As a method for solving the above-described problem, a method of providing a “pseudo sightseeing experience” by displaying a local video to a user in a remote place can be considered. However, in that case, if the display range of the video to be displayed is set by “others other than the user”, it is not different from “television experience”, which is the same as video telephony and live TV broadcast. Therefore, in order to realize a "pseudo-tourism experience", a live video distribution system is required in which a user in a remote location can set the video display range by himself and observe the target that the user wants to observe in real time. It becomes.

遠隔地にいるユーザが映像の表示範囲を自ら設定できるライブ映像配信システムとしては、従来、特許文献１に記載されたような「遠隔監視カメラ」（以下「従来技術１」という）や、特許文献２に記載されたような「無人ヘリコプターを用いたモニタシステム」（以下「従来技術２」という）などが提案されている。   Conventionally, as a live video distribution system in which a user in a remote place can set the video display range by himself, a “remote monitoring camera” (hereinafter referred to as “Prior Art 1”) as described in Patent Document 1, “Monitor system using unmanned helicopter” (hereinafter referred to as “Prior Art 2”) and the like have been proposed.

しかし、これら従来のシステムは、映像を撮像する装置と表示する装置とが一対で構成されているため、各々の時点で映像の表示範囲を設定できるのは、一人のユーザに限定される。この結果、複数のユーザが、現地にある別個の観察対象を同時に観察することができないという問題がある。   However, since these conventional systems include a pair of a device that captures an image and a device that displays the image, the display range of the image can be set only at one user at each time point. As a result, there is a problem that a plurality of users cannot simultaneously observe separate observation targets in the field.

また、従来のシステムでは、映像を表示する装置は、画面に映像を表示するタイプ（ＣＲＴディスプレイ、ＦＤＰ、プロジェクタ等）であり、ユーザは、自分自身は静止し、自らの視線を画面に固定した状態で画面に表示された映像を見ることになる。このため、映像の表示範囲を動かすことができたとしても、映像の表示範囲の動きと、ユーザの身体の動きや視線の動きとは全く連動しない。このため、ユーザは、あたかも自分自身が現地で動きながら観察しているかのような臨場感をもって映像を楽しむには至らない。   In the conventional system, the device that displays the image is a type that displays the image on the screen (CRT display, FDP, projector, etc.), and the user is stationary and fixes his / her line of sight to the screen. You will see the video displayed on the screen. For this reason, even if the video display range can be moved, the movement of the video display range and the movement of the user's body and the line of sight are not linked at all. For this reason, the user cannot enjoy the video with a sense of reality as if he / she was observing while moving locally.

また、特に、従来技術１においては、映像を撮像する監視用カメラ１は雲台２の上に固定されており、観察する視線は動かせても視座は自由に移動させられないため、映像表示部７に表示されるのは、雲台２の周囲にある観察対象だけに限定されるという問題があった。一方、特に、従来技術２においては、無人ヘリコプタＨ側の画像送信部５から画像表示部７側の画像受信部６に対して、画像信号が直接無線伝送されるため、観察対象のある現地とユーザのいる遠隔地との間の距離を、無線信号の伝送可能距離より大きく取れないという問題があった。   In particular, in the prior art 1, the surveillance camera 1 that captures an image is fixed on the camera platform 2, and the viewing point cannot be moved freely even if the line of sight to be observed can be moved. 7 is limited to the observation target around the camera platform 2. On the other hand, in particular, in the prior art 2, the image signal is directly wirelessly transmitted from the image transmission unit 5 on the unmanned helicopter H side to the image reception unit 6 on the image display unit 7 side. There has been a problem that the distance from the remote location where the user is located cannot be made larger than the radio signal transmission possible distance.

なお、本明細書及び特許請求の範囲でいう「撮像範囲」「視座」「視線」「視点（撮像範囲の中心）」の意味するところは、図６に示した通りである。   The meanings of “imaging range”, “view point”, “line of sight”, and “view point (center of the imaging range)” in the present specification and claims are as shown in FIG.

特開平１１−２３４６５９号公報Japanese Patent Laid-Open No. 11-234659 特開２００２−２９３２９８JP 2002-293298 A

本発明は、このような事情に鑑みてなされたものであり、遠隔地にいる複数のユーザが、現地にある別個の対象をリアルタイムで同時に観察することができるライブ映像配信システムを提供することを目的とする。特に、観察対象のある現地とユーザのいる遠隔地との間の距離が遠い場合でも利用できるライブ映像配信システムを提供することを目的とする。   The present invention has been made in view of such circumstances, and provides a live video distribution system in which a plurality of users at remote locations can simultaneously observe separate objects in the field in real time. Objective. In particular, it is an object of the present invention to provide a live video distribution system that can be used even when the distance between an observation target site and a remote location where a user is located is long.

また、本発明は、現地において観測する視線及び視座を自由に動かすことができるライブ映像配信システムを提供することを目的とする。特に、遠隔地にいるユーザが、あたかも自分自身が現地で動きながら観察しているかのような臨場感をもって映像を楽しむことができるライブ映像配信システムを提供することを目的とする。   It is another object of the present invention to provide a live video distribution system that can freely move the line of sight and the viewpoint to be observed on site. In particular, it is an object of the present invention to provide a live video distribution system in which a user in a remote place can enjoy a video with a sense of reality as if he / she was observing while moving locally.

上記目的を達成するために、ライブ映像配信システムに係る本発明の第１の様態は、
表示範囲が異なる複数系統の映像信号を生成する映像信号生成手段と、公衆ネットワークとの間で信号をやり取りするための通信手段１と、を備える現地システムと；
映像表示手段と、表示範囲設定信号生成手段と、公衆ネットワークとの間で信号をやり取りするための通信手段２と、を備える複数の端末装置と；
から構成されるライブ映像配信システムであって、
前記現地システムの映像信号生成手段が生成する映像信号の系統と前記端末装置とは対応付けられており、
前記現地システムは、
前記各系統の映像信号の表示範囲を、各系統に対応付けられた前記端末装置の表示範囲設定信号生成手段が生成し、公衆ネットワークを介して受信した表示範囲設定信号が担う表示範囲設定情報に基づいて定める機能と；
前記映像信号生成手段が生成した映像信号を公衆ネットワークに送信する機能と；
を有し、
前記端末装置は、
前記表示範囲設定信号生成手段が生成した表示範囲設定信号を公衆ネットワークに送信する機能と；
前記現地システムの映像信号生成手段が生成する映像信号のうち、自身に対応付けられた系統の映像信号を、公衆ネットワークを介して受信する機能と；
前記受信した映像信号が担う映像情報に基づいて映像を表示する機能と；
を有する、
ように構成した。 In order to achieve the above object, a first aspect of the present invention relating to a live video distribution system includes:
A local system comprising video signal generating means for generating video signals of a plurality of systems having different display ranges and communication means 1 for exchanging signals with the public network;
A plurality of terminal devices comprising video display means, display range setting signal generation means, and communication means 2 for exchanging signals with the public network;
A live video distribution system comprising:
The video signal system generated by the video signal generating means of the local system is associated with the terminal device,
The local system is
The display range of the video signal of each system is generated by the display range setting signal generating means of the terminal device associated with each system, and the display range setting information carried by the display range setting signal received via the public network Functions based on;
A function of transmitting the video signal generated by the video signal generating means to a public network;
Have
The terminal device
A function of transmitting a display range setting signal generated by the display range setting signal generating means to a public network;
A function of receiving, via a public network, a video signal of a system associated with itself among video signals generated by the video signal generating means of the local system;
A function of displaying video based on video information carried by the received video signal;
Having
It was configured as follows.

また、上記目的を達成するために、ライブ映像配信システムに係る本発明の第２の様態は、
表示範囲が異なる複数系統の映像信号を生成する映像信号生成手段と、後記中継装置との間で信号をやり取りするための通信手段１’と、を備える現地システムと；
前記現地システムとの間で信号をやり取りするための通信手段３Ａと、公衆ネットワークとの間で信号をやり取りするための通信手段３Ｂと、を備える中継装置と；
映像表示手段と、表示範囲設定信号生成手段と、公衆ネットワークとの間で信号をやり取りするための通信手段２と、を備える複数の端末装置と；
から構成されるライブ映像配信システムであって、
前記現地システムの映像信号生成手段が生成する映像信号の系統と前記端末装置とは対応付けられており、
前記現地システムは、
前記各系統の映像信号の表示範囲を、各系統に対応付けられた前記端末装置の表示範囲設定信号生成手段が生成し、「公衆ネットワーク及び前記中継装置」を介して受信した表示範囲設定信号が担う表示範囲設定情報に基づいて定める機能と；
前記映像信号生成手段が生成した映像信号を前記中継装置に送信する機能と；
を有し、
前記端末装置は、
前記表示範囲設定信号生成手段が生成した表示範囲設定信号を公衆ネットワークに送信する機能と；
前記現地システムの映像信号生成手段が生成する映像信号のうち、自身に対応付けられた系統の映像信号を、「公衆ネットワーク及び前記中継装置」を介して受信する機能と；
前記受信した映像信号が担う映像情報に基づいて映像を表示する機能と；
を有する、
ように構成した。 In order to achieve the above object, the second aspect of the present invention relating to a live video distribution system includes:
A local system comprising video signal generating means for generating video signals of a plurality of systems having different display ranges, and communication means 1 ′ for exchanging signals with a relay device described later;
A relay device comprising: communication means 3A for exchanging signals with the local system; and communication means 3B for exchanging signals with the public network;
A plurality of terminal devices comprising video display means, display range setting signal generation means, and communication means 2 for exchanging signals with the public network;
A live video distribution system comprising:
The video signal system generated by the video signal generating means of the local system is associated with the terminal device,
The local system is
The display range setting signal generating means of the terminal device associated with each system generates the display range of the video signal of each system, and the display range setting signal received via the “public network and the relay device” A function determined based on the display range setting information to be taken;
A function of transmitting the video signal generated by the video signal generation means to the relay device;
Have
The terminal device
A function of transmitting a display range setting signal generated by the display range setting signal generating means to a public network;
A function of receiving, through the “public network and the relay device”, a video signal of a system associated with itself among video signals generated by the video signal generating means of the local system;
A function of displaying video based on video information carried by the received video signal;
Having
It was configured as follows.

本発明の第１及び第２の様態において、現地システムの映像信号生成手段は、入射光を光電変換するイメージセンサー（ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等）から構成される撮像手段と、撮像手段からの電気信号（以下「撮像電気信号」と略記する）を、デジタルＲＧＢ、ＬＶＤＳ（Low Voltage Differential Signaling）（又はＬＤＩ（ＬＶＤＳ Display Interface））、ＧＶＩＦ（GigabitVideo InterFace）、ＵＳＢ（Universal Serial Bus）、DisplayPort、WirelessＨＤ（High Definition）、ＷＨＤＩ（Wireless Home Digital Interface）、ＷｉＧｉｇ（Wireless Gigabit）などの方式で伝送される非圧縮の映像信号（以下「非圧縮映像信号」という）に変換し、さらに、該非圧縮映像信号を、Ｈ.２６１、Ｈ.２６３、Ｈ.２６４、ＭＰＥＧ（Moving Picture Experts Group）−１、ＭＰＥＧ−２、ＭＰＥＧ−４等の規格によって圧縮符号化された映像信号（以下「圧縮映像信号」という）に変換する映像信号変換手段によって構成することができる。そして、その場合には、現地システムの通信手段１から公衆ネットワークへ、又は、又は通信手段１’から中継装置へ、前記圧縮映像信号が送信される。   In the first and second aspects of the present invention, the video signal generating means of the local system is configured by an image sensor (CCD (Charge Coupled Device), CMOS (Complementary Metal Oxide Semiconductor), etc.) that photoelectrically converts incident light. Imaging means and electrical signals from the imaging means (hereinafter abbreviated as “imaging electrical signals”) are digital RGB, LVDS (Low Voltage Differential Signaling) (or LDI (LVDS Display Interface)), GVIF (Gigabit Video InterFace), USB (Universal Serial Bus), DisplayPort, WirelessHD (High Definition), WHDI (Wireless Home Digital Interface), WiGig (Wireless Gigabit) and other non-compressed video signals (hereinafter referred to as "uncompressed video signals") Further, the uncompressed video signal is converted into H.261, H.263, H.264, MPEG (Moving Picture Experts G roup) -1, MPEG-2, MPEG-4, etc., and a video signal converting means for converting into a video signal compressed and encoded (hereinafter referred to as “compressed video signal”). In this case, the compressed video signal is transmitted from the communication unit 1 of the local system to the public network, or from the communication unit 1 'to the relay device.

なお、撮像手段を複数のイメージセンサーで構成することによって、３Ｄ映像の映像信号を送信するようにすることができる。   In addition, it is possible to transmit a video signal of 3D video by configuring the imaging unit with a plurality of image sensors.

また、撮像手段を半天周カメラや全天周カメラなどの広角カメラによって構成し、広角カメラからの撮像電気信号から、表示範囲設定信号が担う表示範囲設定情報に基づいて定められた表示範囲に対応する撮像範囲の撮像電気信号を切り出し、切り出した撮像電気信号を映像信号に変換する構成や、広角カメラからの撮像電気信号を映像信号に変換した後、変換した映像信号から、表示範囲設定信号が担う表示範囲設定情報に基づいて定められた表示範囲の映像信号を切り出す構成とすることができる。   In addition, the imaging means is composed of a wide-angle camera, such as a half-sky camera or a full-sky camera. The image pickup electric signal in the image pickup range is cut out, and the cut out electric image pickup signal is converted into a video signal. After the electric image pickup signal from the wide-angle camera is converted into the video signal, the display range setting signal is generated It can be set as the structure which cuts out the video signal of the display range defined based on the display range setting information to bear.

公衆ネットワークとしては、インターネットとアクセスネットワーク（モバイルアクセスネットワーク及び／又は固定アクセスネットワーク）から構成されるネットワークを利用することができ、さらに、モバイルアクセスネットワークとしては、公衆無線ＬＡＮ、又は、３ＧやＬＴＥ（Long Term Evolution）等の携帯電話回線によるアクセスネットワークを利用することができる。また、固定アクセスネットワークとしては、ＦＴＴＨ（Fiber To The Home）、ＣＡＴＶ（Cable TeleVision）、ＤＳＬ（Digital Subscriber Line）等によるアクセスネットワークを利用することができる。   As the public network, a network composed of the Internet and an access network (mobile access network and / or fixed access network) can be used. Furthermore, as the mobile access network, a public wireless LAN, 3G or LTE ( Long Term Evolution) and other mobile phone access networks can be used. As the fixed access network, an access network such as FTTH (Fiber To The Home), CATV (Cable TeleVision), DSL (Digital Subscriber Line), or the like can be used.

なお、公衆ネットワークがインターネットを含む場合には、映像信号は、ＩＰ（Internet Protocol）パケット化した上で送信することが好ましい。   When the public network includes the Internet, the video signal is preferably transmitted after being converted into an IP (Internet Protocol) packet.

映像信号の系統と端末装置との対応付けは、各端末装置に対してＩＰアドレスを与えた上で、現地システムでは、各系統の映像信号の表示範囲の設定や送信を、各端末装置から受信したＩＰアドレスに基づいて行うことで実現される。その場合、特に、現地システムから映像信号を送信する際には、対応付けられるべき端末装置のＩＰアドレスを宛先ＩＰアドレスとして指定する。   The correspondence between the video signal system and the terminal device is that each terminal device is given an IP address, and the local system receives the setting and transmission of the video signal display range of each system from each terminal device. This is realized based on the IP address. In this case, particularly when transmitting a video signal from the local system, the IP address of the terminal device to be associated is designated as the destination IP address.

端末装置の映像表示手段としては、ＣＲＴ（Cathode Ray Tube）ディスプレイ、ＦＤＰ（Flat Panel Display）（液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ、プラズマディスプレイ等）、プロジェクタ、ＨＭＤ（Head Mounted Display）などを使用することができる。   Video display means of terminal devices include CRT (Cathode Ray Tube) display, FDP (Flat Panel Display) (liquid crystal display, organic EL (Electro-Luminescence) display, plasma display, etc.), projector, HMD (Head Mounted Display), etc. Can be used.

なお、現地システムの映像信号生成手段が生成し、公衆ネットワーク又は「公衆ネットワーク及び前記中継装置」を介して受信する映像信号が３Ｄ映像の映像信号である場合には、端末装置の映像表示手段としても、３Ｄディスプレイを採用することが好ましい。特に、視野の大部分を覆う没入型（非透過型）３Ｄ−ＨＭＤ（３Ｄ対応のＨＭＤ）を採用することで、没入感のある視覚体験を提供することができる。   When the video signal generated by the local system video signal generation means and received via the public network or the “public network and the relay device” is a 3D video signal, the video display means of the terminal device It is also preferable to employ a 3D display. In particular, an immersive visual experience can be provided by adopting an immersive (non-transmissive) 3D-HMD (3D-compatible HMD) that covers most of the visual field.

端末装置の表示範囲設定信号生成手段は、表示範囲の中心を定める表示中心設定信号を生成する表示中心設定信号生成手段と、表示範囲の拡がり（上下左右の幅）を定める表示幅設定信号を生成する表示幅設定信号生成手段によって構成することができる。そして、その場合には、端末装置が、それらの信号が担う情報に基づいて表示範囲設定信号を生成し、公衆ネットワークに送信してもよいし、現地システムがそれらの信号を受信し、受信した信号が担う情報に基づいて映像信号の表示範囲を定めてもよい。特に、後者の場合、端末装置から送信される表示範囲設定信号は、表示中心設定信号と表示幅設定信号とから構成されることになる。   The display range setting signal generating means of the terminal device generates a display center setting signal generating means for generating a display center setting signal for determining the center of the display range, and a display width setting signal for determining the expansion (vertical and horizontal width) of the display range. The display width setting signal generating means can be configured. In that case, the terminal device may generate a display range setting signal based on the information carried by those signals and transmit it to the public network, or the local system receives and receives these signals. The display range of the video signal may be determined based on information carried by the signal. In particular, in the latter case, the display range setting signal transmitted from the terminal device is composed of a display center setting signal and a display width setting signal.

なお、前記映像表示手段が、画面に映像を表示するタイプ（ＣＲＴディスプレイ、ＦＤＰ、プロジェクタ等）である場合には、端末装置の表示範囲設定信号生成手段は、マウスやトラックボールなどのポインティングデバイスによって画面上のカーソルを動かすことで表示範囲の中心を設定し、画面上の倍率バーをスライド又はクリックすることで表示範囲の拡がりを設定する構成とすることができる。   When the video display means is a type that displays video on the screen (CRT display, FDP, projector, etc.), the display range setting signal generation means of the terminal device is a pointing device such as a mouse or a trackball. The center of the display range can be set by moving the cursor on the screen, and the expansion of the display range can be set by sliding or clicking the magnification bar on the screen.

一方、前記映像表示手段がタッチパネル機能付きのディスプレイ（以下「タッチパネルディスプレイ」と略記する）である場合には、該タッチパネル機能を活用することで、映像表示手段と表示範囲設定信号生成手段とを兼ねさせることができる。そして、その場合には、タッチパネルディスプレイに対して、スライドやタップ等の操作を行うことで視点を指定し、ピンチインやピンチアウト等の操作を行うことで表示範囲の拡がりを指定する構成とすることができる。   On the other hand, when the video display means is a display with a touch panel function (hereinafter abbreviated as “touch panel display”), the video display means and the display range setting signal generation means are combined by utilizing the touch panel function. Can be made. In that case, the viewpoint is specified by performing operations such as sliding and tapping on the touch panel display, and the display range is expanded by performing operations such as pinch-in and pinch-out. Can do.

また、端末装置は、各家庭などに分散して配置してもよいし、観光センターのような場所にまとめて設置してもよい。   Further, the terminal devices may be distributed in each home or the like, or may be installed together in a place such as a tourist center.

特に、本発明の第２の様態において、現地システムと中継装置との間の信号のやり取りは、無線又は有線の専用回線で行うことができる。なお、現地システムが宇宙空間にある場合には、中継装置としては、通信衛星を利用することができる。   In particular, in the second aspect of the present invention, the exchange of signals between the local system and the relay device can be performed by a wireless or wired dedicated line. When the local system is in space, a communication satellite can be used as the relay device.

また、特に、本発明の第２の様態において、現地システムと端末装置との間で信号のやり取りを中継装置を介して行う際、中継装置において何らかの信号変換処理を行ってもよい。したがって、本明細書及び特許請求の範囲において、「〜信号を『公衆ネットワーク及び前記中継装置』を介して受信」という場合、中継装置において信号変換処理を行う構成も含む。   In particular, in the second aspect of the present invention, when a signal is exchanged between the local system and the terminal device via the relay device, some signal conversion processing may be performed in the relay device. Therefore, in the present specification and claims, the phrase “to receive a signal via“ public network and relay device ”” includes a configuration in which the relay device performs signal conversion processing.

上記目的を達成するために、ライブ映像配信システムに係る本発明の第３の様態は、第１又は第２の様態のライブ映像配信システムにおいて、
前記端末装置は、
ユーザの身体の位置や動きを検知する身体検知手段を備え、
前記表示範囲設定信号生成手段は、前記身体検知手段が検知した結果に基づいて表示範囲設定信号を生成する、
ように構成した。 In order to achieve the above object, a third aspect of the present invention relating to a live video distribution system is the live video distribution system according to the first or second aspect,
The terminal device
Equipped with body detection means for detecting the position and movement of the user's body,
The display range setting signal generation means generates a display range setting signal based on a result detected by the body detection means.
It was configured as follows.

本発明の第３の様態において、端末装置の身体検知手段としては、加速度センサーや方位センサーを使用することができる。特に、端末装置の映像表示手段がＨＭＤである場合には、ＨＭＤに各種センサーを内蔵又は付属させ、それらのセンサーによってユーザの頭部の動きを検知する構成とすることができる。   In the third aspect of the present invention, an acceleration sensor or a direction sensor can be used as the body detection means of the terminal device. In particular, when the video display means of the terminal device is an HMD, various types of sensors are built in or attached to the HMD, and the movement of the user's head can be detected by these sensors.

上記目的を達成するために、ライブ映像配信システムに係る本発明の第４の様態は、第３の様態のライブ映像配信システムにおいて、
ユーザの身体の運動を補助する身体運動補助手段を備える、
ように構成した。 In order to achieve the above object, a fourth aspect of the present invention relating to a live video distribution system is the live video distribution system according to the third aspect,
Comprising physical exercise assisting means for assisting the user's physical movement,
It was configured as follows.

本発明の第４の様態において、身体運動補助手段としては、トランポリンやバンジーコードを使用することができる。また、水を張ったプールを利用することができる。   In the fourth aspect of the present invention, a trampoline or a bungee cord can be used as the physical exercise assisting means. In addition, a pool filled with water can be used.

上記目的を達成するために、ライブ映像配信システムに係る本発明の第５の様態は、第１の様態のライブ映像配信システムにおいて、
前記現地システムは、
所定の撮像範囲を撮像する撮像手段と、後記親装置及び／又は公衆ネットワークとの間で信号をやり取りするための通信手段１Ａと、を備える複数の子装置と；
前記子装置との間で信号をやり取りするための通信手段１Ｂと、公衆ネットワークとの間で信号をやり取りするための通信手段１Ｃと、を備える親装置と；
を備え、
前記子装置と前記端末装置とは対応付けられており、
前記子装置は、
前記撮像手段の撮像範囲を、自身に対応付けられた前記端末装置の前記表示範囲設定信号生成手段が生成し、公衆ネットワークを介して又は「公衆ネットワーク及び前記親装置」を介して受信した表示範囲設定信号が担う表示範囲設定情報に基づいて定める機能と；
前記撮像手段が撮像した結果に基づいて映像信号を生成し、該映像信号を前記親装置又は公衆ネットワークに送信する機能と；
を有し、
前記端末装置は、
自身に対応付けられた前記子装置が生成する映像信号を、公衆ネットワークを介して又は「公衆ネットワーク及び前記親装置」を介して受信する機能と；
前記受信した映像信号が担う映像情報に基づいて映像を表示する機能と；
を有する、
ように構成した。 In order to achieve the above object, a fifth aspect of the present invention relating to a live video distribution system is the live video distribution system according to the first aspect,
The local system is
A plurality of child devices comprising imaging means for imaging a predetermined imaging range and communication means 1A for exchanging signals between a parent device and / or a public network described later;
A parent device comprising: a communication unit 1B for exchanging signals with the child device; and a communication unit 1C for exchanging signals with the public network;
With
The child device and the terminal device are associated with each other,
The child device is
The display range generated by the display range setting signal generation unit of the terminal device associated with itself, and received via the public network or the “public network and the parent device”. A function determined based on display range setting information carried by the setting signal;
A function of generating a video signal based on a result captured by the imaging unit and transmitting the video signal to the parent device or a public network;
Have
The terminal device
A function of receiving a video signal generated by the child device associated with itself via a public network or via the “public network and the parent device”;
A function of displaying video based on video information carried by the received video signal;
Having
It was configured as follows.

本発明の第５の様態において、子装置と端末装置との間の信号のやり取りは、以下のケースが可能である。
［ケース１］
映像信号：子装置→親装置→公衆ネットワーク→端末装置
表示範囲設定信号：子装置←親装置←公衆ネットワーク←端末装置
［ケース２］
映像信号：子装置→公衆ネットワーク→端末装置
表示範囲設定信号：子装置←親装置←公衆ネットワーク←端末装置
［ケース３］
映像信号：子装置→親装置→公衆ネットワーク→端末装置
表示範囲設定信号：子装置←公衆ネットワーク←端末装置 In the fifth aspect of the present invention, signals can be exchanged between the child device and the terminal device in the following cases.
[Case 1]
Video signal: Child device → Parent device → Public network → Terminal device display range setting signal: Child device ← Parent device ← Public network ← Terminal device [Case 2]
Video signal: Child device → Public network → Terminal device display range setting signal: Child device ← Parent device ← Public network ← Terminal device [Case 3]
Video signal: Child device → Parent device → Public network → Terminal device display range setting signal: Child device ← Public network ← Terminal device

上記目的を達成するために、ライブ映像配信システムに係る本発明の第６の様態は、第２の様態のライブ映像配信システムにおいて、
前記現地システムは、
所定の撮像範囲を撮像する撮像手段と、後記親装置との間で信号をやり取りするための通信手段１Ａ’と、を備える複数の子装置と；
前記子装置との間で信号をやり取りするための通信手段１Ｂと、中継装置との間で信号をやり取りするための通信手段１Ｄと、を備える親装置と；
を備え、
前記子装置と前記端末装置とは対応付けられており、
前記子装置は、
前記撮像手段の撮像範囲を、自身に対応付けられた前記端末装置の前記表示範囲設定信号生成手段が生成し、「公衆ネットワーク、前記中継装置及び前記親装置」を介して受信した表示範囲設定信号が担う表示範囲設定情報に基づいて定める機能と；
前記撮像手段が撮像した結果に基づいて映像信号を生成し、該映像信号を前記親装置に送信する機能と；
を有し、
前記端末装置は、
自身に対応付けられた前記子装置が生成する映像信号を、「公衆ネットワーク、前記中継装置及び前記親装置」を介して受信する機能と；
前記受信した映像信号が担う映像情報に基づいて映像を表示する機能と；
を有する、
ように構成した。 In order to achieve the above object, a sixth aspect of the present invention relating to a live video distribution system is the live video distribution system according to the second aspect,
The local system is
A plurality of slave devices comprising an imaging means for imaging a predetermined imaging range and a communication means 1A ′ for exchanging signals with a parent device described later;
A parent device comprising: communication means 1B for exchanging signals with the slave device; and communication means 1D for exchanging signals with the relay device;
With
The child device and the terminal device are associated with each other,
The child device is
The display range setting signal generated by the display range setting signal generation unit of the terminal device associated with the imaging unit and received via the “public network, the relay device, and the parent device”. Functions determined based on display range setting information carried by
A function of generating a video signal based on a result captured by the imaging means and transmitting the video signal to the parent device;
Have
The terminal device
A function of receiving a video signal generated by the child device associated with itself via the “public network, the relay device, and the parent device”;
A function of displaying video based on video information carried by the received video signal;
Having
It was configured as follows.

本発明の第５及び第６の様態において、現地システムは、現地システムを構成する複数の子装置が、各々、自身に対応付けられた端末装置の表示範囲設定信号生成手段が生成する表示範囲設定信号が担う表示範囲設定情報に基づいて撮像手段の撮像範囲を定め、撮像手段が撮像した結果に基づいて映像信号を生成することにより、表示範囲が異なる複数系統の映像信号を生成することができる。   In the fifth and sixth aspects of the present invention, the local system includes a display range setting generated by the display range setting signal generating means of the terminal device associated with itself, each of the plurality of child devices constituting the local system. A plurality of systems of video signals having different display ranges can be generated by determining an imaging range of the imaging unit based on display range setting information carried by the signal and generating a video signal based on a result of imaging performed by the imaging unit. .

子装置の撮像手段は、入射光を光電変換するイメージセンサー（ＣＣＤイメージセンサーやＣＭＯＳイメージセンサー等）によって構成することができる。   The imaging unit of the slave device can be configured by an image sensor (such as a CCD image sensor or a CMOS image sensor) that photoelectrically converts incident light.

子装置の通信手段１Ａによって送信される映像信号は、それが公衆ネットワークに送信される場合には、圧縮映像信号とすることが好ましい。一方、それが親装置に送信される場合には、圧縮映像信号とするか、非圧縮映像信号とするかを選択することができる。また、子装置の通信手段１Ａ’から親装置に送信される映像信号は、圧縮映像信号とするか、非圧縮映像信号とするかを選択することができる。   The video signal transmitted by the communication means 1A of the slave device is preferably a compressed video signal when it is transmitted to the public network. On the other hand, when it is transmitted to the parent device, it is possible to select whether it is a compressed video signal or an uncompressed video signal. Further, it is possible to select whether the video signal transmitted from the communication unit 1A 'of the slave device to the parent device is a compressed video signal or an uncompressed video signal.

なお、子装置の通信手段１Ａ又は通信手段１Ａ’が親装置に非圧縮映像信号を送信する場合には、親装置は、該非圧縮映像信号を圧縮符号化された映像信号に変換する信号変換手段を備えることが好ましい。そして、その場合には、撮像電気信号を圧縮映像信号に変換する映像信号変換は、その一部（撮像電気信号→非圧縮映像信号）を子装置で行い、残りの一部（非圧縮映像信号→圧縮映像信号）を親装置で行うことになる。   When the communication unit 1A or the communication unit 1A ′ of the slave device transmits an uncompressed video signal to the parent device, the parent device converts the uncompressed video signal into a compression-encoded video signal. It is preferable to provide. In that case, the video signal conversion for converting the imaging electric signal into the compressed video signal is performed by the slave device (part of the imaging electric signal → uncompressed video signal) and the remaining part (uncompressed video signal). → Compressed video signal) is performed by the parent device.

子装置と親装置との間の信号をやり取りは、無線又は有線の通信によって行うことができる。   Signals between the child device and the parent device can be exchanged by wireless or wired communication.

親装置の通信手段１Ｃとしては、無線又は有線のＬＡＮルーターを使用することができる。   As the communication means 1C of the parent device, a wireless or wired LAN router can be used.

子装置と端末装置との対応付けは、各子装置及び各端末装置に対してＩＰアドレスを与えた上で、子装置から映像信号を送信する際には、対応付けられるべき端末装置のＩＰアドレスを宛先ＩＰアドレスとして指定し、端末装置から表示範囲設定信号を送信する際には、対応付けられるべき子装置のＩＰアドレスを送信先ＩＰアドレスとして指定することによって、実現できる。   The association between the child device and the terminal device is to assign an IP address to each child device and each terminal device, and when transmitting a video signal from the child device, the IP address of the terminal device to be associated with Is designated as the destination IP address, and when the display range setting signal is transmitted from the terminal device, it can be realized by designating the IP address of the child device to be associated as the destination IP address.

なお、子装置と端末装置との対応付けは、恒常的なものである必要はなく、一時的なものであってよい。また、厳密に１対１で対応する必要もない。例えば、子装置１〜３が存在し、端末装置Ａ〜Ｆが存在する場合、以下で例示するように、対応付けが変化してもよい。
［時刻Ｔ１〜Ｔ２］
子装置１⇔端末装置Ａ、子装置２⇔端末装置Ｂ、子装置３⇔端末装置Ｃ
［時刻Ｔ３〜Ｔ４］
子装置１⇔端末装置Ｄ、子装置２⇔端末装置Ｅ、子装置３⇔（対応付けられる端末装置はない）
［時刻Ｔ５〜Ｔ６］
子装置１⇔端末装置Ａ、子装置２⇔端末装置Ｆ、子装置３⇔端末装置Ｄ Note that the association between the child device and the terminal device does not need to be constant, and may be temporary. Moreover, it is not necessary to correspond exactly one to one. For example, when the child devices 1 to 3 exist and the terminal devices A to F exist, the association may change as illustrated below.
[Time T1 to T2]
Child device 1⇔ terminal device A, child device 2⇔ terminal device B, child device 3⇔ terminal device C
[Time T3 to T4]
Child device 1⇔ terminal device D, child device 2⇔ terminal device E, child device 3⇔ (no associated terminal device)
[Time T5 to T6]
Child device 1⇔ terminal device A, child device 2⇔ terminal device F, child device 3⇔ terminal device D

また、子装置からの映像信号を複数の端末装置で受信し、映像信号が担う映像情報に基づく映像を各々の映像表示手段で表示する構成とすることができる。ただし、その場合には、そのうちの一つの端末装置だけから表示範囲設定信号を送信できるような構成とする必要がある。   Further, the video signal from the slave device can be received by a plurality of terminal devices, and the video based on the video information carried by the video signal can be displayed on each video display means. However, in that case, it is necessary to have a configuration in which the display range setting signal can be transmitted from only one of the terminal devices.

なお、子装置と端末装置との間で信号のやり取りを親装置又は「親装置及び中継装置」を介して行う際、親装置及び／又は中継装置において信号変換処理を行ってもよい。したがって、本明細書及び特許請求の範囲において、「〜信号を『公衆ネットワーク及び前記親装置』を介して受信」又は「〜信号を『公衆ネットワーク、前記中継装置及び前記親装置』を介して受信」という場合、親装置及び／又は中継装置において信号変換処理を行う構成も含む。   Note that when the signal exchange between the child device and the terminal device is performed via the parent device or the “parent device and relay device”, signal conversion processing may be performed in the parent device and / or the relay device. Therefore, in the present specification and claims, “to receive a signal through“ public network and the parent device ”” or “to receive a signal through“ public network, the relay device and the parent device ”. ”Includes a configuration in which signal conversion processing is performed in the parent device and / or the relay device.

特に、「映像信号を、『公衆ネットワーク及び前記親装置』を介して受信」又は「映像信号を、『公衆ネットワーク、前記中継装置及び前記親装置』を介して受信」という場合、子装置が非圧縮映像信号を親装置に送信し、親装置が、受信した非圧縮映像信号を圧縮映像信号に変換した上で、中継装置又は公衆ネットワークに送信する構成も含む。   In particular, when “video signal is received via“ public network and parent device ”” or “video signal is received via“ public network, relay device and parent device ””, the child device is not A configuration is also included in which the compressed video signal is transmitted to the parent device, and the parent device converts the received uncompressed video signal into a compressed video signal and then transmits the compressed video signal to the relay device or the public network.

また、特に、「『公衆ネットワーク及び前記親装置』を介して受信した表示範囲設定信号」又は「『公衆ネットワーク、前記中継装置及び前記親装置』を介して受信した表示範囲設定信号」という場合、端末装置が、表示範囲設定一次信号（例えば、表示中心設定信号と表示幅設定信号とから構成される）を親装置に送信し、親装置が、受信した表示範囲設定一次信号を表示範囲設定二次信号に変換した上で子装置に送信する構成も含む。   In particular, in the case of “display range setting signal received via“ public network and the parent device ”” or “display range setting signal received via“ public network, the relay device and the parent device ””, The terminal device transmits a display range setting primary signal (for example, composed of a display center setting signal and a display width setting signal) to the parent device, and the parent device displays the received display range setting primary signal as the display range setting second signal. A configuration is also included in which it is converted to the next signal and then transmitted to the slave device.

上記目的を達成するために、ライブ映像配信システムに係る本発明の第７の様態は、第５又は第６の様態のライブ映像配信システムにおいて、
前記子装置は、前記撮像手段が同一の視座から撮像する場合でも、表示範囲が異なる映像信号を生成する機能を有する、
ように構成した。 In order to achieve the above object, a seventh aspect of the present invention relating to a live video distribution system is the live video distribution system according to the fifth or sixth aspect,
The child device has a function of generating a video signal having a different display range even when the imaging unit captures an image from the same viewpoint.
It was configured as follows.

本発明の第７の様態において、子装置は、撮像手段を３ウェイ雲台の上に設置し、３ウェイ雲台を３つの回転軸のまわりに回転させることで、撮像装置の前後・左右のティルト及びパンを実現する構成とすることができる。   In the seventh aspect of the present invention, the child device installs the imaging means on the three-way pan head and rotates the three-way pan head around the three rotation axes, so It can be configured to realize tilt and pan.

また、子装置は、撮像手段を自由雲台の上に設置し、自由雲台のボールジョイントを回転させることによって、撮像装置の視線を設定する構成とすることができる。   Further, the child device can be configured to set the line of sight of the imaging device by installing the imaging means on the free platform and rotating the ball joint of the free platform.

また、子装置は、撮像手段にズーム機能を有せしめた上で、ズームを変化させることによって撮像手段の撮像範囲を変化させる構成とすることができる。また、撮像手段を反天周カメラや全天周カメラなどの広角カメラによって構成し、広角カメラからの撮像電気信号から一部の撮像範囲の撮像電気信号を切り出し、切り出した撮像電気信号を映像信号に変換する構成や、広角カメラからの撮像電気信号を映像信号に変換した後、変換した映像信号から一部の表示範囲の映像信号を切り出す構成とすることができる。   Further, the child device can be configured to change the imaging range of the imaging means by changing the zoom after the imaging means has a zoom function. In addition, the imaging means is constituted by a wide-angle camera such as an anti-celestial camera or a omnidirectional camera. Or a video signal of a part of the display range can be cut out from the converted video signal after the electric image signal from the wide-angle camera is converted into a video signal.

上記目的を達成するために、ライブ映像配信システムに係る本発明の第８の様態は、第５の様態のライブ映像配信システムにおいて、
前記子装置は、「軌道上、移動面上又は空間中の移動」を含む運動（以下「運動」と略記する）を行うための手段（以下「運動手段」と略記する）を備え、
前記端末装置は、運動制御信号生成手段を備え、該運動制御信号生成手段で生成した運動制御信号を公衆ネットワークに送信する機能を有し、
前記子装置は、自身に対応付けられた前記端末装置の前記運動制御信号生成手段で生成され、公衆ネットワークを介して又は「公衆ネットワーク及び前記親装置」を介して受信した運動制御信号が担う運動制御情報に基づいて運動を行う機能を有する、
ように構成した。 In order to achieve the above object, an eighth aspect of the present invention relating to a live video distribution system is the live video distribution system according to the fifth aspect,
The child device includes means (hereinafter abbreviated as “movement means”) for performing a movement (hereinafter abbreviated as “movement”) including “movement on a trajectory, on a moving surface or in space”,
The terminal device includes a motion control signal generation unit, and has a function of transmitting a motion control signal generated by the motion control signal generation unit to a public network,
The child device is generated by the motion control signal generation means of the terminal device associated with itself, and exercised by the motion control signal received via the public network or via the “public network and the parent device” It has a function to exercise based on control information,
It was configured as follows.

本発明の第８の様態において、子装置と端末装置との間の信号のやり取りは、以下のケースが可能である。
［ケースＩ］
映像信号：子装置→親装置→公衆ネットワーク→端末装置
運動制御信号：子装置←親装置←公衆ネットワーク←端末装置
［ケースII］
映像信号：子装置→公衆ネットワーク→端末装置
運動制御信号：子装置←親装置←公衆ネットワーク←端末装置
［ケースIII］
映像信号：子装置→親装置→公衆ネットワーク→端末装置
運動制御信号：子装置←公衆ネットワーク←端末装置 In the eighth aspect of the present invention, signals can be exchanged between the child device and the terminal device in the following cases.
[Case I]
Video signal: Child device-> Parent device-> Public network-> Terminal device motion control signal: Child device <-Parent device-> Public network-> Terminal device [Case II]
Video signal: Child device → Public network → Terminal device motion control signal: Child device ← Parent device ← Public network ← Terminal device [Case III]
Video signal: Child device → Parent device → Public network → Terminal device motion control signal: Child device ← Public network ← Terminal device

上記目的を達成するために、ライブ映像配信システムに係る本発明の第９の様態は、第６の様態のライブ映像配信システムにおいて、
前記子装置は、「軌道上、移動面上又は空間中の移動」を含む運動（以下「運動」と略記する）を行うための手段（以下「運動手段」と略記する）を備え、
前記端末装置は、運動制御信号生成手段を備え、該運動制御信号生成手段で生成した運動制御信号を公衆ネットワークに送信する機能を有し、
前記子装置は、自身に対応付けられた前記端末装置の前記運動制御信号生成手段で生成され、「公衆ネットワーク、前記中継装置及び前記親装置」を介して受信した運動制御信号が担う運動制御情報に基づいて運動を行う機能を有する、
ように構成した。 In order to achieve the above object, a ninth aspect of the present invention relating to a live video distribution system is the live video distribution system according to the sixth aspect,
The child device includes means (hereinafter abbreviated as “movement means”) for performing a movement (hereinafter abbreviated as “movement”) including “movement on a trajectory, on a moving surface or in space”,
The terminal device includes a motion control signal generation unit, and has a function of transmitting a motion control signal generated by the motion control signal generation unit to a public network,
The child device is generated by the exercise control signal generation means of the terminal device associated with itself, and exercise control information carried by the exercise control signal received via the “public network, the relay device and the parent device” Have the ability to exercise based on
It was configured as follows.

本発明の第８及び第９の様態において、子装置は、自身に対応付けられた端末装置の運動制御信号生成手段が生成する運動制御信号が担う運動制御情報に基づいて運動を行うことにより、撮像手段の視座が設定され、その結果として撮像手段の撮像範囲を自ずと定めることができる。したがって、子装置の運動制御信号は、本発明の第１乃至第５の発明における表示範囲設定信号の一種又は一部であり、子装置の運動制御信号生成手段は、本発明の第１乃至第７の様態における表示範囲設定信号生成手段の一種又は一部である。   In the eighth and ninth aspects of the present invention, the slave device exercises based on the exercise control information carried by the exercise control signal generated by the exercise control signal generation means of the terminal device associated with itself. The viewpoint of the imaging means is set, and as a result, the imaging range of the imaging means can be determined naturally. Therefore, the motion control signal of the slave device is a kind or part of the display range setting signal in the first to fifth inventions of the present invention, and the motion control signal generating means of the slave device is the first to fifth of the present invention. 7 is a kind or a part of display range setting signal generation means in the seventh aspect.

子装置の運動手段は、親装置の内部又は親装置の外部に設けられた軌道上を移動する構成、親装置の内部又は親装置の外部に設けられた移動面上を移動する構成、及び、親装置の内部又は親装置の外部の一定範囲内の空間中に浮遊して移動する構成から選択する、又は、前記の構成を組み合わせた構成とすることができる。また、それらの構成に、子装置の回転軸又は回転中心のまわりの回転運動を行う構成を組み合わせた構成とすることができる。   The movement means of the child device moves on a track provided inside the parent device or outside the parent device, a configuration moving on a moving surface provided inside the parent device or outside the parent device, and The configuration may be selected from configurations that float and move in a space within a certain range inside the parent device or outside the parent device, or may be a configuration in which the above configurations are combined. Moreover, it can be set as the structure which combined the structure which performs the rotational motion around the rotating shaft or rotation center of a subunit | mobile_unit with those structures.

なお、空間中に浮遊して移動する構成を採用する場合には、子装置の運動手段としては、ヘリコプターやプロペラ機などで使用されるような回転翼型の推進装置や、ジェット機やロケットなどで使用される噴流型の推進装置を使用することができる。   In addition, when adopting a configuration that floats and moves in the space, the moving device of the child device is a rotor blade type propulsion device used in a helicopter or a propeller aircraft, a jet aircraft or a rocket, etc. The jet type propulsion device used can be used.

また、子装置が親装置の外部の空間中に浮遊して移動できる構成とした場合には、子装置が親装置の一定範囲外に逸脱しないように、子装置と親装置とをワイヤやロープなどの係留手段によって係留することが好ましい。特に、宇宙空間や海中のように、浮力があったり、重力が働かなかったりする状況下では、特段の推進装置が用いなくても、係留手段を緩めたり、引っ張ったりすることで、子装置は空間中に浮遊して移動することができる。この場合、ワイヤやロープなどの係留手段が子装置の運動手段に該当する。なお、子装置と親装置が有線で通信する場合には、該通信用のケーブルを、前記係留手段として兼用することができる。   In addition, when the child device is configured to be able to float and move in a space outside the parent device, the child device and the parent device are connected to each other with a wire or rope so that the child device does not deviate from a certain range of the parent device. It is preferable to moor by mooring means such as. Especially in situations where there is buoyancy or gravity does not work, such as in outer space or the sea, the child device can be released by loosening or pulling the mooring means without using a special propulsion device. Can float and move in space. In this case, mooring means such as wires and ropes correspond to the movement means of the child device. When the slave device and the master device communicate with each other by wire, the communication cable can also be used as the mooring means.

端末装置の運動制御信号生成手段としては、１つ又は複数のレバーを操作することによって、前後への直進、左右への曲進、上昇、下降等の運動を制御するジョイスティックコントローラを使用することができる。その場合には、比例制御されるプロポ型ジョイスティックコントローラを使用することが好ましい。   As the motion control signal generating means of the terminal device, a joystick controller that controls motions such as straight forward and backward, curved left and right, ascending and descending by operating one or a plurality of levers may be used. it can. In that case, it is preferable to use a proportional type joystick controller that is proportionally controlled.

また、端末装置の運動制御信号生成手段は、ユーザの身体の位置や動きを検知して運動制御信号を生成する構成とすることができる。   Further, the motion control signal generation means of the terminal device can be configured to generate a motion control signal by detecting the position and motion of the user's body.

特に、子装置が、「軌道上、移動面上又は空間中の移動」（以下「移動運動」と略記する）に加えて、自身の回転軸又は回転中心のまわりの回転運動を行うことができる構成の場合には、端末装置の運動制御信号生成手段として、前記ジョイスティックコントローラによって移動運動を制御する信号（以下「移動運動制御信号」と略記する）を生成し、ユーザの頭部の動きを検知して回転運動を制御する信号（以下「回転運動制御信号」と略記する）を生成する構成とすることができる。そして、その場合には、端末装置が、それらの信号が担う情報に基づいて二次的な運動制御信号を生成し、公衆ネットワークに送信してもよいし、現地システムがそれらの信号を受信し、受信した信号が担う情報に基づいて映像信号の表示範囲を定めてもよい。特に、後者の場合、端末装置から送信される運動制御信号は、移動運動制御信号と回転運動制御信号とから構成されることになる。   In particular, the slave device can perform a rotational motion around its own rotational axis or rotational center in addition to “moving on an orbit, on a moving surface or in space” (hereinafter abbreviated as “moving motion”). In the case of the configuration, as the movement control signal generating means of the terminal device, a signal for controlling the movement movement (hereinafter abbreviated as “movement movement control signal”) is generated by the joystick controller to detect the movement of the user's head. Thus, a signal for controlling the rotational motion (hereinafter abbreviated as “rotational motion control signal”) can be generated. In that case, the terminal device may generate a secondary motion control signal based on the information carried by the signal and transmit it to the public network, or the local system receives the signal. The display range of the video signal may be determined based on information carried by the received signal. In particular, in the latter case, the motion control signal transmitted from the terminal device is composed of a mobile motion control signal and a rotational motion control signal.

なお、特に、端末装置の映像表示手段がＨＭＤである場合には、ＨＭＤに加速度センサーや方位センサーを内蔵又は付属させ、それらのセンサーによってユーザの頭部の動きを検知する構成とすることができる。   In particular, when the video display means of the terminal device is an HMD, an acceleration sensor or a direction sensor is built in or attached to the HMD, and the movement of the user's head can be detected by these sensors. .

なお、子装置と端末装置との間で信号のやり取りを親装置又は「親装置及び中継装置」を介して行う際、親装置及び／又は中継装置において信号変換処理を行ってもよい。したがって、本明細書及び特許請求の範囲において、「〜信号を『公衆ネットワーク及び前記親装置』を介して受信」又は「〜信号を『公衆ネットワーク、前記中継装置及び前記親装置』を介して受信」という場合、親装置及び／又は中継装置において信号変換処理を行う構成も含む。   Note that when the signal exchange between the child device and the terminal device is performed via the parent device or the “parent device and relay device”, signal conversion processing may be performed in the parent device and / or the relay device. Therefore, in the present specification and claims, “to receive a signal through“ public network and the parent device ”” or “to receive a signal through“ public network, the relay device and the parent device ”. ”Includes a configuration in which signal conversion processing is performed in the parent device and / or the relay device.

特に、「『公衆ネットワーク及び前記親装置』を介して受信した運動制御信号」又は「『公衆ネットワーク、前記中継装置及び前記親装置』を介して受信した運動制御信号」という場合、端末装置が、運動制御一次信号（例えば、移動運動制御信号と回転運動制御信号とから構成される）を親装置に送信し、親装置が、受信した運動制御一次信号を運動制御二次信号に変換した上で子装置に送信する構成も含む。   In particular, in the case of "exercise control signal received via" public network and the parent device "" or "exercise control signal received via" public network, the relay device and the parent device "", the terminal device, A primary motion control signal (for example, composed of a mobile motion control signal and a rotational motion control signal) is transmitted to the parent device, and the parent device converts the received motion control primary signal into a motion control secondary signal. A configuration for transmitting to a child device is also included.

上記目的を達成するために、ライブ映像配信システムに係る本発明の第１０の様態は、第８又は第９の様態のライブ映像配信システムにおいて、
前記親装置は、前記運動制御信号が担う運動制御情報に基づかずに、前記子装置の運動を制御する独自の信号（以下「現地運動制御信号」と略記する）を生成し、前記子装置に送信する機能を有する、
ように構成した。 In order to achieve the above object, a tenth aspect of the present invention relating to a live video distribution system is the live video distribution system according to the eighth or ninth aspect,
The parent device generates a unique signal (hereinafter abbreviated as “local motion control signal”) for controlling the movement of the child device without being based on the exercise control information carried by the exercise control signal. Have the ability to send,
It was configured as follows.

本発明の第１０の様態において、親装置は、子装置から受信した映像信号が担う映像情報に基づいて自動的に又はマニュアル操作によって現地運動制御信号を生成する構成とすることができる。   In the tenth aspect of the present invention, the parent device may be configured to generate the local motion control signal automatically or manually by the video information carried by the video signal received from the child device.

また、子装置は、「自身と親装置との位置関係」及び／又は「他の子装置を含む障害物との接近状況又は接触状況」を検知する接近検知手段を備え、該接近検知手段で検出した結果を親装置に送信する機能を有するともに、親装置は、受信した結果に基づいて自動的に又はマニュアル操作によって現地運動制御信号を生成する構成とすることができる。   In addition, the child device includes an approach detection unit that detects “positional relationship between itself and the parent device” and / or “approach or contact state with an obstacle including another child device”. While having the function of transmitting the detected result to the parent device, the parent device can generate a local motion control signal automatically or manually based on the received result.

なお、子装置が、運動制御信号を、親装置を介さず、公衆ネットワーク又は「公衆ネットワーク及び前記中継装置」を介して受信する場合（上記の［ケースIII］の場合）、子装置は、運動制御信号と現地運動制御信号の双方を受信することになるが、その場合には、子装置の運動は、現地運動制御信号によって優先的に制御される構成とすることが好ましい。   When the child device receives the exercise control signal via the public network or the “public network and the relay device” without passing through the parent device (in the case of [Case III] above), the child device Both the control signal and the local motion control signal are received. In this case, it is preferable that the movement of the child device is preferentially controlled by the local motion control signal.

上記目的を達成するために、ライブ映像配信システムに係る本発明の第１１の様態は、第８乃至第１０の様態のいずれか一つの様態のライブ映像配信システムにおいて、
前記子装置は、前記運動制御信号が担う運動制御情報と前記現地運動制御情報が担う運動制御情報に基づかずに、自律的に運動を行う機能を有する、
ように構成した。 In order to achieve the above object, an eleventh aspect of the present invention relating to a live video distribution system is the live video distribution system according to any one of the eighth to tenth aspects,
The child device has a function of autonomously exercising without being based on the exercise control information carried by the exercise control signal and the exercise control information carried by the on-site exercise control information.
It was configured as follows.

本発明の第１１の様態において、子装置は、撮像手段が撮像した結果に基づいて、運動手段を自律的に制御する構成とすることができる。   In the eleventh aspect of the present invention, the child device can be configured to autonomously control the exercise means based on the result of the image pickup by the image pickup means.

また、子装置は、「自身と親装置との位置関係」及び／又は「他の子装置を含む障害物との接近状況又は接触状況」を検知する接近検知手段を備えるとともに、該接近検知手段の検出結果の情報に基づいて、運動手段を自律的に制御する構成とすることができる。   In addition, the child device includes an approach detection unit that detects “a positional relationship between itself and the parent device” and / or “an approach state or contact state with an obstacle including another child device”, and the approach detection unit. Based on the detection result information, the exercise means can be controlled autonomously.

上記目的を達成するために、ライブ映像配信システムに係る本発明の第１２の様態は、第１乃至１１のいずれか一つの様態のライブ映像配信システムにおいて、
前記現地システムは、現地システムの周囲の音声を集音して音声信号を生成する音声信号生成手段を備え、
前記端末装置は、
放音手段を備え；
現地システムの音声信号生成手段が生成した音声信号を、公衆ネットワーク又は「公衆ネットワーク及び中継装置」を介して受信する機能と；
前記受信した音声信号が担う音声情報に基づいて音声を放出する機能と；
を有する、
ように構成した。 In order to achieve the above object, a twelfth aspect of the present invention relating to a live video distribution system is the live video distribution system according to any one of the first to eleventh aspects,
The local system includes voice signal generation means for collecting voice around the local system to generate a voice signal,
The terminal device
Providing sound emission means;
A function of receiving the voice signal generated by the voice signal generating means of the local system via the public network or “public network and relay device”;
A function of emitting sound based on sound information carried by the received sound signal;
Having
It was configured as follows.

本発明の第１２の様態において、現地システムの音声信号生成手段を複数のマイクロフォンで構成することにより、ステレオ音声信号を送信するようにすることができる。そして、その場合には、端末装置は、左右の放音部から音声を放出構成とすることが好ましい。   In the twelfth aspect of the present invention, a stereo sound signal can be transmitted by configuring the sound signal generating means of the local system with a plurality of microphones. In that case, the terminal device preferably emits sound from the left and right sound emitting units.

本発明の第１２の様態において、現地システムは、ＭＰＥＧ規格によって圧縮符号化した映像・音声信号を送信する構成とすることで、映像（ビデオ）情報と音声（オーディオ）情報を一体的に扱うことができる。   In the twelfth aspect of the present invention, the local system can handle video (video) information and audio (audio) information integrally by transmitting a video / audio signal compressed and encoded according to the MPEG standard. Can do.

端末装置は、公衆ネットワーク又は「公衆ネットワーク及び前記中継装置」を介して受信した音声信号が担う音声情報に基づいて音声を出力する、スピーカなどの放音手段を備えることが好ましい。   The terminal device preferably includes sound emitting means such as a speaker that outputs sound based on sound information carried by a sound signal received via the public network or the “public network and the relay device”.

上記目的を達成するために、ライブ映像配信システムに係る本発明の第１３の様態は、第１乃至１２のいずれか一つの様態のライブ映像配信システムにおいて、
前記現地システムは可搬型である、
ように構成した。 In order to achieve the above object, a thirteenth aspect of the present invention relating to a live video distribution system is the live video distribution system according to any one of the first to twelfth aspects,
The local system is portable,
It was configured as follows.

上記目的を達成するために、ライブ映像配信システムに係る本発明の第１４の様態は、第１３の様態のライブ映像配信システムにおいて、
前記親装置は長距離移動手段を備える、
ように構成した。 In order to achieve the above object, a fourteenth aspect of the present invention relating to a live video distribution system is the live video distribution system according to the thirteenth aspect,
The parent device includes long-distance moving means,
It was configured as follows.

本発明の第１４の様態において、親装置の長距離移動手段としては、自動車、船舶、航空機、潜水船、宇宙船等の汎用的な長距離移動手段を、必要に応じて改造した上で、使用することができる。また、移動に際しては、親装置に運転員が乗ってマニュアル操作で運転することも、親装置に運転員が乗らずにマニュアル操作で運転することも、親装置が自律的に移動することも可能である。   In the fourteenth aspect of the present invention, as the long-distance movement means of the parent device, general-purpose long-distance movement means such as an automobile, a ship, an aircraft, a submarine, and a spacecraft are remodeled as necessary, Can be used. In addition, when moving, it is possible that the operator rides on the parent device and operates manually, the driver does not get on the parent device and operates manually, or the parent device can move autonomously It is.

上記目的を達成するために、ライブ映像娯楽施設に係る本発明の第１５の様態は、第１乃至第１４のいずれか一つの様態のライブ映像配信システムの全部又は一部を用いたライブ映像娯楽施設であって、
屋内に、
遠隔地に存在する撮像対象のライブ映像を表示するＨＭＤ（Head Mounted Display）と、該ＨＭＤを装着したユーザが着座する着座手段と、該ユーザがマニュアル操作するコントローとを有する複数のユーザ装置と；
インターネットに接続するサーバと；
を備えるライブ映像娯楽施設であって、
前記コントローラは、ユーザのマニュアル操作に基づき、前記撮像対象が存在する遠隔地を指定する遠隔地指定信号を生成し、該遠隔地指定信号を直接に又は通信手段を介して前記サーバに送信する機能を有し、
前記サーバは、
前記コントローラが生成した遠隔地指定信号に基づき、該遠隔地指定信号が指定する遠隔地に存在する現地システムにインターネット経由で接続する機能と；
前記遠隔地指定信号が指定する遠隔地に存在する現地システムから所定の表示範囲の映像信号を受信する機能と；
該受信した映像信号を直接に又は通信手段を介して前記ＨＭＤに送信する機能と；
を有し、
前記ＨＭＤは、前記サーバから直接に又は通信手段を介して受信した映像信号に基づき、前記遠隔地指定信号が指定する遠隔地に存在する撮像対象のライブ映像を表示する機能を有する、
ように構成した。 In order to achieve the above object, according to a fifteenth aspect of the present invention relating to a live video entertainment facility, live video entertainment using all or part of the live video distribution system according to any one of the first to fourteenth aspects. A facility,
Indoors,
A plurality of user devices each having an HMD (Head Mounted Display) for displaying a live image to be imaged in a remote place, a seating means on which a user wearing the HMD is seated, and a controller that is manually operated by the user;
A server connected to the Internet;
A live video entertainment facility comprising
The controller generates a remote location designation signal for designating a remote location where the imaging target exists based on a manual operation of a user, and transmits the remote location designation signal to the server directly or via communication means Have
The server
A function of connecting via the Internet to a local system existing at a remote location designated by the remote location designation signal based on the remote location designation signal generated by the controller;
A function of receiving a video signal of a predetermined display range from a local system existing at a remote location designated by the remote location designation signal;
A function of transmitting the received video signal to the HMD directly or via communication means;
Have
The HMD has a function of displaying a live image of an imaging target existing in a remote location designated by the remote location designation signal based on a video signal received directly from the server or via a communication means.
It was configured as follows.

上記目的を達成するために、ライブ映像娯楽施設に係る本発明の第１６の様態は、第１５の様態のライブ映像娯楽施設において、
前記コントローラは、ユーザのマニュアル操作に基づき、前記現地システムから受信する映像信号の表示範囲を変化させる表示範囲制御信号を送信して前記サーバに送信する機能を有し、
前記サーバは、前記コントローラから受信した表示範囲制御信号を、そのままで又は必要な変換を行った上で、前記遠隔地指定信号が指定する遠隔地に存在する現地システムに送信する機能を有する、
ように構成した。 In order to achieve the above object, a sixteenth aspect of the present invention relating to a live video entertainment facility is the live video entertainment facility according to the fifteenth aspect,
The controller has a function of transmitting a display range control signal for changing a display range of a video signal received from the local system based on a manual operation of a user to be transmitted to the server,
The server has a function of transmitting the display range control signal received from the controller to a local system existing in a remote location designated by the remote location designation signal as it is or after performing necessary conversion.
It was configured as follows.

上記目的を達成するために、ライブ映像娯楽施設に係る本発明の第１７の様態は、第１６の様態のライブ映像娯楽施設において、
前記コントローラは、ユーザのマニュアル操作に基づき、前記現地システムを構成する撮像手段の視座及び／又は視線を移動させる撮像範囲制御信号を生成し、該撮像範囲制御信号を直接に又は通信手段を介して前記サーバに送信する機能を有し、
前記サーバは、前記コントローラから受信した撮像範囲制御信号を、そのままで又は必要な変換を行った上で、前記遠隔地指定信号が指定する遠隔地に存在する現地システムに送信する機能を有する、
ように構成した。 In order to achieve the above object, a seventeenth aspect of the present invention relating to a live video entertainment facility is the live video entertainment facility according to the sixteenth aspect,
The controller generates an imaging range control signal for moving the viewpoint and / or line of sight of the imaging means constituting the local system based on a user's manual operation, and the imaging range control signal is directly or via a communication means. Having a function of transmitting to the server;
The server has a function of transmitting the imaging range control signal received from the controller to a local system existing in a remote location designated by the remote location designation signal as it is or after performing necessary conversion.
It was configured as follows.

上記目的を達成するために、ライブ映像娯楽施設に係る本発明の第１８の様態は、第１７の様態のライブ映像娯楽施設において、
前記着座手段は、
前記コントローラから受信が生成した撮像範囲制御信号を直接に又は通信手段を介して、受信する機能と；
該受信した撮像範囲制御信号に基づき、加速運動及び／又は回転運動を行う機能と；
を有する、
ように構成した。 In order to achieve the above object, an eighteenth aspect of the present invention relating to a live video entertainment facility is the live video entertainment facility according to the seventeenth aspect,
The seating means includes
A function of receiving an imaging range control signal generated by reception from the controller, directly or via communication means;
A function of accelerating and / or rotating based on the received imaging range control signal;
Having
It was configured as follows.

上記目的を達成するために、ライブ映像娯楽施設に係る本発明の第１９の様態は、第１５乃至第１８のいずれか一つの様態のライブ映像娯楽施設において、
前記ＨＭＤは、ユーザの身体の位置や動きを検知し、該検知した結果に基づいて、前記現地システムを構成する撮像手段の視線を移動させる撮像範囲制御信号を生成し、該撮像範囲制御信号を直接に又は通信手段を介して前記サーバに送信する機能を有し、
前記サーバは、前記コントローラから受信した撮像範囲制御信号を、そのままで又は必要な変換を行った上で、前記遠隔地指定信号が指定する遠隔地に存在する現地システムに送信する機能を有する、
ように構成した。 In order to achieve the above object, a nineteenth aspect of the present invention relating to a live video entertainment facility is the live video entertainment facility according to any one of the fifteenth to eighteenth aspects,
The HMD detects the position and movement of the user's body, generates an imaging range control signal for moving the line of sight of imaging means constituting the local system based on the detection result, and outputs the imaging range control signal. Having the function of transmitting to the server directly or via communication means;
The server has a function of transmitting the imaging range control signal received from the controller to a local system existing in a remote location designated by the remote location designation signal as it is or after performing necessary conversion.
It was configured as follows.

本発明のライブ映像配信システムによれば、ユーザは、マニュアル操作や身体運動によって、手元の端末装置の表示範囲設定信号生成手段を作動させることによって、現地システムの映像信号生成手段が生成する映像信号のうち、手元の端末装置に対応付けられた系統の映像信号の表示範囲を設定し、その表示範囲の内部にある観察対象の映像を手元の端末装置の映像表示手段に表示させることができる。このため、ユーザ自身が観察したい対象をリアルタイムで観察することができる。しかも、複数のユーザが、相互に独立に映像の表示範囲を設定することができるので、各々が観察したい別個の対象をリアルタイムで同時に観察することができる。なお、この際、現地システムの映像信号生成手段が生成する映像信号の系統と端末装置とは対応付けられているため、他のユーザのマニュアル操作や身体運動によって、自らの手元の端末装置に表示される映像の表示範囲が変えられるような問題は生じない。   According to the live video distribution system of the present invention, the user operates the display range setting signal generation means of the terminal device at hand by manual operation or physical exercise, thereby generating the video signal generated by the video signal generation means of the local system. Among them, it is possible to set the display range of the video signal of the system associated with the terminal device at hand, and display the image to be observed within the display range on the video display means of the terminal device at hand. For this reason, it is possible to observe a target that the user wants to observe in real time. In addition, since a plurality of users can set video display ranges independently of each other, it is possible to simultaneously observe in real time different objects that each user wants to observe. At this time, since the video signal system generated by the video signal generating means of the local system is associated with the terminal device, it is displayed on the terminal device at hand by the manual operation or physical exercise of another user. There is no problem that the display range of the video to be changed can be changed.

したがって、現地システムを秘境、あるいは、宇宙空間、深海といったフロンティア空間に設置し、端末装置を遠隔地に設置することで、遠隔地にいるユーザに対して、「疑似的な観光体験」を提供できるようになる。このため、ユーザは、秘境やフロンティア空間に赴く必要がないため、希少な自然環境や貴重な遺跡が破壊されることがなくなる。また、現地に赴くためのコストが不要となり、無重力や高気圧などによって身体に過大な負荷がかかったり、現地への移動手段の破損によって生命が危険にさらされたりするリスクを回避又は軽減できる。   Therefore, by installing local systems in unexplored areas or in frontier spaces such as outer space and deep sea, and installing terminal devices in remote areas, it is possible to provide a “pseudo sightseeing experience” to users in remote areas. It becomes like this. For this reason, since the user does not need to go to a hidden area or a frontier space, rare natural environments and precious ruins are not destroyed. Moreover, the cost for going to the site becomes unnecessary, and it is possible to avoid or reduce the risk that an excessive load is applied to the body due to weightlessness or high atmospheric pressure, or the life is exposed to danger due to breakage of the moving means to the site.

また、現地システムと端末装置との間の信号のやり取りは、公衆ネットワーク又は「公衆ネットワーク及び中継装置」を介して行うので、端末装置を作動させるユーザが、観察対象が存在する現地から遠距離の場所にいても問題がない。特に、公衆ネットワークとしてインターネットを利用する場合には、インターネットへのアクセスの問題を除けば、地球上であれば、距離的な制約はない。   In addition, since the exchange of signals between the local system and the terminal device is performed via the public network or the “public network and relay device”, the user who operates the terminal device is far away from the site where the observation target exists. There is no problem even in the place. In particular, when the Internet is used as a public network, there are no distance restrictions on the earth except for the problem of access to the Internet.

なお、本発明のライブ映像配信システムは、秘境やフロンティア空間における（疑似）観光だけではなく、従来の観光地での（疑似）観光にも適用でき、さらには、高温・低温、高汚染、高放射線量などの過酷環境地域での調査や監視にも適用できる。特に、過酷環境地域での調査や監視においては、現地に滞在する必要性がなくなるか、滞在人数や日数を提言することができるため、現地滞在に伴う身体への負荷や生命の危険のリスクを軽減できる。   Note that the live video distribution system of the present invention can be applied not only to (pseudo) tourism in unexplored areas and frontier spaces, but also to (pseudo) tourism in conventional tourist destinations, and further, high temperature / low temperature, high pollution, high It can also be applied to surveys and monitoring in harsh environment areas such as radiation dose. In particular, in research and monitoring in harsh environment areas, it is not necessary to stay at the site, or it is possible to recommend the number of people and the number of days to stay. Can be reduced.

特に、本発明の第１の様態のライブ映像配信システムによれば、現地システムが直接に公衆ネットワークにアクセスするため、中継装置を設ける必要がない。   In particular, according to the live video distribution system of the first aspect of the present invention, it is not necessary to provide a relay device because the local system directly accesses the public network.

一方、特に、本発明の第２の様態のライブ映像配信システムによれば、現地システムは中継装置と通信するため、観察対象が、例えば宇宙空間や海中のように、アクセス可能な公衆ネットワークが存在しない地域や領域に存在するであっても、観察を行うことができる。   On the other hand, in particular, according to the live video distribution system of the second aspect of the present invention, since the local system communicates with the relay device, there is an accessible public network such as an outer space or the sea. Observations can be made even if they exist in regions or areas that do not.

また、特に、本発明の第３の様態のライブ映像配信システムによれば、端末装置の表示手段に表示される映像の表示範囲が、ユーザの身体の位置や動きに対応して設定されるため、現地にある観察対象を臨場感をもって観察することができる。   In particular, according to the live video distribution system of the third aspect of the present invention, the display range of the video displayed on the display means of the terminal device is set corresponding to the position and movement of the user's body. It is possible to observe the observation object in the field with a sense of reality.

また、特に、本発明の第４の様態のライブ映像配信システムによれば、身体運動補助手段なしでは実現できないような身体の運動が実現でき、しかも、端末装置の表示手段に表示される映像の表示範囲は、その運動に対応して設定しているため、多様な視覚体験を提供することができる。特に、現地システムが海中や宇宙空間に設置されており、一方、身体運動補助手段として水を張ったプールを利用する場合には、ユーザがプールで水中遊泳することで、あたかも宇宙遊泳や深海遊泳をするような「模擬的な観光体験」を提供することができる。   In particular, according to the live video distribution system of the fourth aspect of the present invention, it is possible to realize physical exercise that cannot be realized without physical exercise assisting means, and to display video displayed on the display means of the terminal device. Since the display range is set according to the movement, various visual experiences can be provided. In particular, when the local system is installed in the sea or in outer space, when using a pool filled with water as a means for assisting physical exercise, the user swims underwater in the pool. A “simulated sightseeing experience” can be provided.

また、特に、本発明の第５及び第６の様態のライブ映像配信システムによれば、現地システムは、現地システムを構成する複数の子装置の各々が、自身に対応付けられた端末装置の表示範囲設定信号生成手段が生成する表示範囲設定信号が担う表示範囲設定情報に基づいて撮像手段の撮像範囲を定め、撮像手段が撮像した結果に基づいて映像信号を生成することにより、表示範囲が異なる複数系統の映像信号を生成することができる。このため、端末装置のユーザが多数になって、多数の系統の映像信号を生成・送信する必要が生じた場合でも、子装置を増やすことによって容易に対応することができる。   In particular, according to the live video distribution system of the fifth and sixth aspects of the present invention, the local system displays a terminal device in which each of a plurality of child devices constituting the local system is associated with itself. The display range differs by determining the imaging range of the imaging means based on the display range setting information carried by the display range setting signal generated by the range setting signal generating means, and generating the video signal based on the result of imaging by the imaging means. Multiple systems of video signals can be generated. For this reason, even when the number of users of the terminal device becomes large and it becomes necessary to generate and transmit video signals of a large number of systems, it can be easily handled by increasing the number of child devices.

また、特に、本発明の第７の様態のライブ映像配信システムによれば、子装置が移動運動を行って撮像手段の視座を移動させなくとても、映像の表示範囲を変更することができる。このため、子装置の周囲にある対象であれば、観察対象を迅速に変更することができる。   In particular, according to the live video distribution system of the seventh aspect of the present invention, the display range of the video can be changed without the child device moving and moving the view of the imaging means. For this reason, if it is an object around the child device, the observation object can be changed quickly.

また、特に、本発明の第８及び第９の様態のライブ映像配信システムによれば、子装置は運動を行うことができるため、子装置の撮像装置の視座を自由に移動させることができる。このため、ユーザは、広い範囲に存在する観察対象を観察することができる。特に、地上から空中に浮遊する機能を有する場合には、空中から地上を観察することができる。また、宇宙空間や海中に浮遊する機能を有する場合には、疑似的に宇宙遊泳や海中遊泳を行っているような体験を提供することができる。   In particular, according to the live video distribution system of the eighth and ninth aspects of the present invention, the child device can move, so that the viewpoint of the imaging device of the child device can be moved freely. For this reason, the user can observe observation objects existing in a wide range. In particular, when having a function of floating from the ground to the air, the ground can be observed from the air. In addition, in the case of having a function of floating in outer space or in the sea, it is possible to provide an experience of performing artificial space swimming or underwater swimming.

また、特に、本発明の第１０の様態のライブ映像配信システムによれば、子装置は、遠隔地にいるユーザのマニュアル操作や身体運動の結果として生成される運動制御信号に基づいて運動を行うだけではなく、親装置が生成して子装置に送信する現地運動制御信号に基づいた運動を行うことができる。これにより、子装置相互の位置関係や、子装置と親装置又はその他の障害物との位置関係を、現地の監視者又はセンサーが検知し、その検知結果に基づいて親装置から現地運動制御信号を送信することにより、子装置相互の衝突や、子装置と親装置又はその他の障害物との衝突を回避することができる。   In particular, according to the live video distribution system of the tenth aspect of the present invention, the child device exercises based on an exercise control signal generated as a result of manual operation or physical exercise of a user at a remote location. In addition, exercise based on a local motion control signal generated by the parent device and transmitted to the child device can be performed. As a result, the local supervisor or sensor detects the positional relationship between the child devices and the positional relationship between the child device and the parent device or other obstacles, and the local motion control signal is sent from the parent device based on the detection result. By transmitting this, it is possible to avoid a collision between the child devices and a collision between the child device and the parent device or other obstacles.

また、特に、本発明の第１１の様態のライブ映像配信システムによれば、子装置は、遠隔地にある端末装置から送信される運動制御信号や、親装置から送信される現地運動制御信号に基づいて運動を行うだけではなく、自律的に運動を行うことができる。このため、子装置は、子装置自身の自律的な運動によって、子装置相互の衝突や、子装置と親装置又はその他の障害物との衝突を回避することができる。   In particular, according to the live video distribution system of the eleventh aspect of the present invention, the child device receives the motion control signal transmitted from the remote terminal device or the local motion control signal transmitted from the parent device. Not only can exercise based on it, but it can also exercise autonomously. For this reason, the child device can avoid the collision between the child devices and the collision between the child device and the parent device or other obstacles by the autonomous movement of the child device itself.

また、特に、本発明の第１２の様態のライブ映像配信システムによれば、遠隔地にいるユーザは、現地の観察対象を視覚的に観察するだけではなく、現地の状況を聴覚的にも認識できるようになる。したがって、現地システムを観光地（秘境、フロンティア空間を含む）に設置した場合には、臨場感が増した「疑似的な観光体験」を提供することができる。   In particular, according to the live video distribution system of the twelfth aspect of the present invention, a user at a remote location not only visually observes a local observation target but also recognizes the local situation acoustically. become able to. Therefore, when a local system is installed in a sightseeing spot (including unexplored areas and frontier spaces), it is possible to provide a “pseudo sightseeing experience” with an increased sense of reality.

また、特に、本発明の第１３の様態のライブ映像配信システムによれば、現地システムを様々な場所に移動させて使用することができる。   In particular, according to the live video distribution system of the thirteenth aspect of the present invention, the local system can be moved to various locations for use.

また、特に、本発明の第１４の様態のライブ映像配信システムによれば、現地システムは、親装置の長距離移動手段によって、観察対象が存在する場所に移動することができる。特に、親装置の長距離移動手段として、自動車、船舶、航空機、潜水船、宇宙船等の汎用的な長距離移動手段を使用した場合、子装置を小型・軽量化することによって、汎用的な長距離移動手段に、人間が実際に搭乗するよりも多数の子装置を積載することができる。   In particular, according to the live video distribution system of the fourteenth aspect of the present invention, the local system can be moved to the place where the observation target exists by the long distance moving means of the parent device. In particular, when general-purpose long-distance moving means such as automobiles, ships, aircraft, submersibles, spacecrafts, etc. are used as the long-distance moving means of the parent device, it is It is possible to load a larger number of child devices on the long-distance moving means than humans actually board.

また、特に、本発明の第１５乃至第１９のいずれか一つの様態のライブ映像娯楽施設によれば、現地システムを異なる観光地（秘境、フロンティア空間を含む）に設置することによって、ライブ映像娯楽施設内に留まるユーザに対して、複数の観光地における「疑似的な観光体験」を提供することができる。   In particular, according to the live video entertainment facility according to any one of the fifteenth to nineteenth aspects of the present invention, live video entertainment is provided by installing the local system in different sightseeing spots (including unexplored areas and frontier spaces). It is possible to provide a “pseudo sightseeing experience” at a plurality of sightseeing spots to a user who stays in the facility.

本発明の実施例１に係るライブ映像配信システムの構成及び機能を説明するためのブロック図である。It is a block diagram for demonstrating the structure and function of the live video delivery system which concern on Example 1 of this invention. 本発明の実施例２に係るライブ映像配信システムのうち、現地システム（親装置及び子装置）と中継装置の構成及び機能を説明するためのイメージ図である。It is an image figure for demonstrating the structure and function of a local system (a parent apparatus and a child apparatus) and a relay apparatus among the live video delivery systems which concern on Example 2 of this invention. 本発明の実施例３に係るライブ映像配信システムのうち、現地システム（親装置及び子装置）と中継装置の構成及び機能を説明するためのイメージ図である。It is an image figure for demonstrating the structure and function of a local system (a parent apparatus and a child apparatus) and a relay apparatus among the live video delivery systems which concern on Example 3 of this invention. 本発明の実施例４に係るライブ映像娯楽施設を含むライブ映像配信システムの構成及び機能を説明するためのブロック図である。It is a block diagram for demonstrating a structure and function of the live video delivery system containing the live video entertainment facility which concerns on Example 4 of this invention. 本発明の実施例５に係る複数のライブ映像娯楽施設を含むライブ映像配信システムの構成及び機能を説明するためのブロック図である。It is a block diagram for demonstrating a structure and function of the live video delivery system containing the some live video entertainment facility which concerns on Example 5 of this invention. 撮像手段の撮像範囲、視座、視線及び視点（撮像範囲の中心）を説明するための説明図である。It is explanatory drawing for demonstrating the imaging range of a imaging means, a visual point, a gaze, and a viewpoint (center of imaging range).

以下、図面を参照して本発明の実施形態について説明する。ただし、本発明はかかる実
施形態に限定されず、その技術思想の範囲内で種々の変更が可能である。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. However, the present invention is not limited to such an embodiment, and various modifications can be made within the scope of the technical idea.

図１は、本発明の実施例１に係るライブ映像配信システムの構成及び機能を説明するためのブロック図である。
本実施例においては、ライブ映像配信システムは、「子装置Ａ_1A〜子装置Ｆ_1Fと親装置2から構成される現地システム」、中継装置3、及び、端末装置Ａ_5A〜端末装置Ｆ_5Fから構成される。 FIG. 1 is a block diagram for explaining the configuration and functions of a live video distribution system according to Embodiment 1 of the present invention.
In the present embodiment, the live video distribution system is configured by “a local system including child device A_1A to child device F_1F and parent device 2”, relay device 3, and terminal device A_5A to terminal device F_5F.

子装置Ａ_1A〜子装置Ｆ_1Fは、陸上を移動する親装置2に積載されて現地（例えば、秘境を含む観光地、高温・低温、高汚染、高放射線量などの過酷環境地域など）まで長距離移動し、現地到着後に、親装置2の外部に放出されて、前後上下への直進運動や上下左右への旋回運動を行ったり、自身の回転軸又は回転中心のまわりの回転運動を行ったりする。ただし、子装置Ａ_1A〜子装置Ｆ_1Fと親装置2とはケーブルで接続されているため、子装置Ａ_1A〜子装置Ｆ_1Fが移動できるのは、ケーブルが伸びきる範囲内に限定される。   The child device A_1A to child device F_1F are loaded on the parent device 2 moving on land, and are long distances to the site (for example, sightseeing spots including unexplored areas, high / low temperature, high pollution, harsh environment areas such as high radiation doses, etc.) After moving and arriving at the site, it is released to the outside of the parent device 2 and performs a rectilinear motion up and down, up and down, a swivel motion up and down, left and right, and a rotational motion around its own rotation axis or rotation center . However, since the child device A_1A to the child device F_1F and the parent device 2 are connected by a cable, the child device A_1A to the child device F_1F can move only within a range in which the cable can be extended.

一方、親装置2と中継装置3は無線通信によって情報のやり取りをし、中継装置3と端末装置Ａ_5A〜端末装置Ｆ_5Fは、インターネット4との間で情報をやり取りする。   On the other hand, the parent device 2 and the relay device 3 exchange information by wireless communication, and the relay device 3 and the terminal devices A_5A to F_5F exchange information with the Internet 4.

また、子装置Ａ_1A〜子装置Ｆ_1Fには、それぞれ現地システム内で定義された識別番号が割り振られ、一方、端末装置Ａ_5A〜端末装置Ｆ_5Fを構成する通信ユニットには、それぞれＩＰアドレスが与えられている。前記識別番号と前記ＩＰアドレスとが対応付けられることによって、子装置Ａ_1Aと端末装置Ａ_5A、子装置Ｂ_1Bと端末装置Ｂ_5B、子装置Ｃ_1Cと端末装置Ｃ_5C、子装置Ｄ_1Dと端末装置Ｄ_5D、子装置Ｅ_1Eと端末装置Ｅ_5E、子装置Ｆ_1Fと端末装置Ｆ_5Fは、それぞれ対応付けられている。   Further, the identification numbers defined in the local system are assigned to the child devices A_1A to F_1F, respectively, while the communication units constituting the terminal devices A_5A to F_5F are assigned IP addresses, respectively. Yes. By associating the identification number with the IP address, the slave device A_1A and the terminal device A_5A, the slave device B_1B and the terminal device B_5B, the slave device C_1C and the terminal device C_5C, the slave device D_1D and the terminal device D_5D, and the slave device E_1E , Terminal device E_5E, child device F_1F, and terminal device F_5F are associated with each other.

子装置Ａ_1A〜子装置Ｆ_1Fは、通常のヘリコプターと同様にメインローターとテールローターを備えており、それらの回転によって空中を浮遊して、直進運動、旋回運動及び回転運動を行うことができる。また、子装置Ａ_1A〜子装置Ｆ_1Fは、運動制御手段を備えており、該運動制御手段は、親装置2からケーブルを介して送信される運動制御二次信号に基づいて、ローターの回転数、ピッチ角、回転面の傾き等を制御する。   The slave device A_1A to the slave device F_1F are provided with a main rotor and a tail rotor in the same manner as a normal helicopter, and can float in the air by their rotation, and can perform a straight motion, a turning motion, and a rotational motion. Each of the slave devices A_1A to F_1F is provided with a motion control means, and the motion control means, based on a motion control secondary signal transmitted from the master device 2 via a cable, Controls the pitch angle, tilt of the rotating surface, etc.

また、子装置Ａ_1A〜子装置Ｆ_1Fは、それぞれ、２つのＣＭＯＳカメラモジュールと、２つのイメージセンサーからの撮像電気信号を非圧縮の３Ｄ映像信号に変換する映像信号変換手段とを備えており、生成された３Ｄ非圧縮映像信号を、ケーブルを介して親装置2に送信する。   Each of the child device A_1A to child device F_1F includes two CMOS camera modules and video signal conversion means for converting the imaging electric signals from the two image sensors into uncompressed 3D video signals. The 3D uncompressed video signal thus transmitted is transmitted to the parent device 2 via a cable.

なお、本実施例では、撮像手段としてＣＭＯＳカメラモジュールを使用しているが、それ以外の撮像手段（例えばＣＣＤカメラモジュールなど）を使用してもよい。   In this embodiment, a CMOS camera module is used as the imaging means, but other imaging means (for example, a CCD camera module) may be used.

さらに、子装置Ａ_1A〜子装置Ｆ_1Fは、前記イメージセンサーと前記映像信号変換手段とによって生成される非圧縮映像信号が担う映像情報に基づき、他の子装置、親装置及びそれら以外の障害物への接近を判断する接近判断手段を備えている。そして、前記運動制御手段は、親装置2から送信される前記運動制御二次信号に加えて、前記接近判断手段が判断した結果にも基づいて、ローターの回転数、ピッチ角、回転面の傾き等を制御することにより、他の子装置、親装置及びそれら以外の障害物との接触を回避することができる。   Further, the child device A_1A to the child device F_1F are transferred to other child devices, the parent device, and other obstacles based on the video information carried by the uncompressed video signal generated by the image sensor and the video signal conversion means. It is provided with an approach judging means for judging the approach. Then, the motion control means, based on the result of the determination by the approach determination means, in addition to the motion control secondary signal transmitted from the parent device 2, the rotor rotation speed, pitch angle, rotation surface inclination Etc. can be prevented from contacting other child devices, the parent device and other obstacles.

また、子装置Ａ_1A〜子装置Ｆ_1Fは、マイクロフォンを備えており、それぞれが集音した音声信号を、ケーブルを介して親装置2に送信する。   Each of the child devices A_1A to F_1F includes a microphone, and transmits a sound signal collected by each to the parent device 2 via a cable.

前記３Ｄ非圧縮映像信号と音声信号は、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）信号又はＭＨＬ（登録商標）（Mobile High-definition Link）信号として伝送される。また、この実施形態においては、ケーブルを用いた有線伝送が採用されているが、これに代えて、WirelessＨＤやＷＨＤＩ（Wireless Home Digital Interface）などの規格に則った無線伝送を採用することも可能である。   The 3D uncompressed video signal and the audio signal are transmitted as an HDMI (registered trademark) (High-Definition Multimedia Interface) signal or an MHL (registered trademark) (Mobile High-definition Link) signal. Further, in this embodiment, wired transmission using a cable is adopted, but instead, wireless transmission complying with standards such as WirelessHD and WHDI (Wireless Home Digital Interface) can also be adopted. is there.

一方、親装置2は、子装置Ａ_1A〜子装置Ｆ_1Fに運動制御二次信号を送信するとともに、子装置Ａ_1A〜子装置Ｆ_1Fから３Ｄ非圧縮映像信号及び音声信号を受信するためのインターフェース部21を備えている。また、親装置2は、情報処理を担う現地サーバ22と、中継装置3との間で無線信号のやり取りをするための送受信アンテナ23と、親装置2が長距離移動するための走行装置24を備えている。   On the other hand, the master device 2 transmits an exercise control secondary signal to the slave devices A_1A to F_1F and includes an interface unit 21 for receiving 3D uncompressed video signals and audio signals from the slave devices A_1A to F_1F. I have. The parent device 2 includes a local server 22 for information processing, a transmission / reception antenna 23 for exchanging radio signals between the relay device 3, and a traveling device 24 for moving the parent device 2 over a long distance. I have.

走行ユニット24は、通常の自動車と同様の車輪及びその駆動手段（原動機及び／又は電動機、トランスミッション等）からなる。なお、走行ユニット24は、親装置2に搭乗した運転者のマニュアル操作によって走行させても、遠隔操作によって走行させても、又は、自動走行させてもよい。このうち、遠隔操作による走行や自動走行の場合には、駆動手段は現地サーバ22からの信号によって制御される。   The traveling unit 24 includes wheels and driving means (primary motor and / or electric motor, transmission, etc.) similar to those of a normal automobile. The traveling unit 24 may be traveled by a manual operation of a driver who has boarded the parent device 2, traveled by a remote operation, or automatically traveled. Among these, in the case of traveling by remote operation or automatic traveling, the driving means is controlled by a signal from the local server 22.

現地サーバ22は、送受信アンテナ23から受信した運動制御一次信号に基づき、子装置Ａ_1A〜子装置Ｆ_1Fの移動を制御する運動制御二次信号を生成し、各子装置が接続されているインターフェース部21の各ポートに送信する。該運動制御二次信号は、ローターの回転数、ピッチ角、回転面の傾き等の情報を含む。   The local server 22 generates a motion control secondary signal for controlling the movement of the slave devices A_1A to F_1F based on the motion control primary signal received from the transmitting / receiving antenna 23, and an interface unit 21 to which each slave device is connected. To each port. The motion control secondary signal includes information such as the number of rotations of the rotor, the pitch angle, and the inclination of the rotating surface.

なお、前記運動制御一次信号には、それを発信した端末装置を構成する通信ユニットに与えられたＩＰアドレスが付帯しており、現地サーバ22は、該ＩＰアドレスに基づき、対応する識別番号が割り振られた子装置が接続されているインターフェース部21のポートに、前記運動制御二次信号を送信する。   The motion control primary signal is accompanied by an IP address given to the communication unit constituting the terminal device that has transmitted the motion control primary signal, and the local server 22 is assigned a corresponding identification number based on the IP address. The motion control secondary signal is transmitted to the port of the interface unit 21 to which the slave device is connected.

また、現地サーバ22は、各子装置が接続されているインターフェース部21から、子装置Ａ_1A〜子装置Ｆ_1Fのイメージセンサーが撮像した撮像電気信号を映像信号変換手段が変換した３Ｄ非圧縮映像信号と、子装置Ａ_1A〜子装置Ｆ_1Fのマイクロフォンが集音した音声信号とを受信し、それぞれ、ストリーミング配信可能な映像信号及び音声信号に変換して、送受信アンテナ23に送信する。特に、３Ｄ非圧縮映像信号については、圧縮符号化処理を行い、３Ｄ圧縮映像信号として送信する。   In addition, the local server 22 receives a 3D uncompressed video signal obtained by converting the imaged electrical signal captured by the image sensors of the slave devices A_1A to F_1F from the interface unit 21 to which each slave device is connected. The audio signals collected by the microphones of the slave devices A_1A to F_1F are received, converted into video signals and audio signals that can be streamed, respectively, and transmitted to the transmission / reception antenna 23. In particular, the 3D uncompressed video signal is compressed and encoded and transmitted as a 3D compressed video signal.

なお、現地サーバ22は、前記３Ｄ圧縮映像信号及び音声信号を送信する際には、インターフェース部21の各ポートに接続されている子装置の識別番号に基づき、最終送信先の端末装置を決定した上で、該端末装置の通信ユニットに割り振られたＩＰアドレスを送信先ＩＰアドレスとするインターネット・プロトコルに準拠した信号として送信する。   When the local server 22 transmits the 3D compressed video signal and the audio signal, the local server 22 determines the terminal device of the final transmission destination based on the identification number of the child device connected to each port of the interface unit 21. Above, it transmits as a signal based on the Internet protocol which uses the IP address allocated to the communication unit of the terminal device as the destination IP address.

なお、現地サーバ22は、インターフェース部21から受信した３Ｄ非圧縮映像信号に基づき、子装置相互の接近、各子装置と親装置及びそれら以外の障害物への接近を判断する接近判断機能を有する。そして、現地サーバ22は、送受信アンテナ23から受信した運動制御一次信号に加えて、前記接近判断機能によって判断された結果にも基づいて、運動制御二次信号を生成してインターフェース部21に送信する。これによって、各子装置が、他の子装置、親装置及びそれら以外の障害物との接触を回避することができる。   The local server 22 has an approach determination function for determining the approach between child devices and the approach to each child device and the parent device and other obstacles based on the 3D uncompressed video signal received from the interface unit 21. . The local server 22 generates a motion control secondary signal based on the result determined by the approach determination function in addition to the motion control primary signal received from the transmission / reception antenna 23, and transmits the motion control secondary signal to the interface unit 21. . Accordingly, each child device can avoid contact with other child devices, the parent device, and other obstacles.

送受信アンテナ23は、現地サーバ22から受信した３Ｄ非圧縮映像信号及び音声信号を、３ＧやＬＴＥなどのモバイル信号として中継装置3に送信する。   The transmission / reception antenna 23 transmits the 3D uncompressed video signal and audio signal received from the local server 22 to the relay device 3 as a mobile signal such as 3G or LTE.

一方、中継装置3は、モバイル基地局であり、送受信アンテナ23から受信したモバイル信号を受信し、必要な変換を行った上で、インターネット4に送信する。   On the other hand, the relay device 3 is a mobile base station, receives the mobile signal received from the transmission / reception antenna 23, performs necessary conversion, and transmits it to the Internet 4.

一方、端末装置Ａ_5A〜端末装置Ｆ_5Fは、コントローラ、ＩＰアドレスが与えられた通信ユニット、没入型３Ｄ−ＨＭＤ及びヘッドフォンから構成される。   On the other hand, each of the terminal devices A_5A to F_5F includes a controller, a communication unit to which an IP address is given, an immersive 3D-HMD, and headphones.

コントローラは、通常のラジコンヘリのプロポ型ジョイスティックコントローラと同様に、ユーザのボタン操作、レバー操作、ダイヤル操作などに基づいて運動制御一次信号を生成し、該運動制御一次信号を通信ユニットに送信する。   The controller generates a motion control primary signal based on a user's button operation, lever operation, dial operation, etc., and transmits the motion control primary signal to the communication unit in the same manner as a normal radio control helicopter joystick controller.

通信ユニットは、コントローラから受信した運動制御一次信号を、与えられたＩＰアドレスを送信元ＩＰアドレスとするインターネット・プロトコルに準拠した信号に変換し、内蔵するインターネットインターフェースを経由してインターネットに送信する。   The communication unit converts the motion control primary signal received from the controller into a signal conforming to the Internet protocol using the given IP address as the transmission source IP address, and transmits the signal to the Internet via the built-in Internet interface.

また、通信ユニットは、内蔵するインターネットインターフェースを経由してインターネットから前記ストリーミング配信された３Ｄ圧縮映像信号と音声信号を受信し、必要な復号化処理を行った上で、ＨＭＤ及びヘッドフォンに送信する。特に、３Ｄ圧縮映像信号については、伸張復号化処理を行い、３Ｄ非圧縮映像信号として送信する。   In addition, the communication unit receives the 3D compressed video signal and audio signal streamed and distributed from the Internet via a built-in Internet interface, performs necessary decoding processing, and transmits the decoded signal to the HMD and headphones. In particular, the 3D compressed video signal is subjected to decompression decoding processing and transmitted as a 3D uncompressed video signal.

ＨＭＤは、通信ユニットから受信した３Ｄ非圧縮映像信号に基づき、左右の投射部から映像を投射する。これにより、ユーザは現場の観察対象を含む３Ｄ映像を楽しむことができる。また、ヘッドフォンは、通信ユニットから受信した音声信号に基づき、左右の放音部から音声を放出する。これにより、ユーザは現場の音声を楽しむことができる。   The HMD projects video from the left and right projection units based on the 3D uncompressed video signal received from the communication unit. Thereby, the user can enjoy a 3D image including an observation object in the field. The headphones emit sound from the left and right sound emitting units based on the sound signal received from the communication unit. As a result, the user can enjoy on-site audio.

なお、ＨＭＤとヘッドフォンとは一体的な装置とすることができる。その際、前記通信ユニットからデコードされた３Ｄ非圧縮映像信号及び音声信号の送信は、ＨＤＭＩ（登録商標）信号又はＭＨＬ（登録商標）信号として有線伝送することができる。又は、WirelessＨＤ信号やＷＨＤＩ信号として無線伝送することができる。   Note that the HMD and the headphones can be an integrated device. At this time, transmission of the 3D uncompressed video signal and audio signal decoded from the communication unit can be wired as an HDMI (registered trademark) signal or an MHL (registered trademark) signal. Alternatively, it can be wirelessly transmitted as a WirelessHD signal or a WHDI signal.

また、本実施例では、運動制御一次信号は、ユーザがコントローラを操作することによって生成される構成としているが、ＨＭＤに加速度センサー及び方位センサーを付属又は内蔵させ、それらのセンサーの検知結果に基づいて生成される構成とすることもできる。   In this embodiment, the primary motion control signal is generated when the user operates the controller. However, an acceleration sensor and a direction sensor are attached to or built in the HMD, and based on detection results of these sensors. It can also be configured to be generated.

さらに、ユーザは前記ＨＭＤとヘッドフォンを装着した上で、トランポリンやバンジーコードなどの身体運動補助手段の援けを借りて、上下運動や回転運動を行うことができる。その場合、ＨＭＤの左右の投射部には、ユーザの身体運動に連動した映像が表示されるので、ユーザは、あたかも現地（特に秘境を含む観光地）で上下運動や回転運動を行っているかのような臨場感をもって映像を楽しむことができる。   Furthermore, the user can perform the vertical motion and the rotational motion with the help of physical exercise assisting means such as a trampoline and a bungee cord after wearing the HMD and headphones. In this case, since the video linked to the user's physical movement is displayed on the left and right projection sections of the HMD, it is as if the user is moving up and down and rotating at the site (especially a sightseeing spot including a hidden area). You can enjoy the video with a sense of reality.

なお、ユーザの身体運動が激しすぎ、ユーザの視線が急激に移動する場合、子装置のＣＭＯＳカメラモジュールの視線の移動が追従できないことがある。このような場合、撮像手段として３６０°の視野角（立体角）をカバーする全天周カメラを使用した上で、ユーザの視線に対応した撮像範囲の撮像電気信号、又は、ユーザの視線に対応した表示範囲の映像信号を電子的に生成する構成にしておけば、このような追従遅れを回避することができる。   When the user's body movement is too intense and the user's line of sight moves abruptly, the movement of the line of sight of the CMOS camera module of the child device may not follow. In such a case, an all-around camera that covers a viewing angle (solid angle) of 360 ° is used as the imaging means, and the imaging electrical signal in the imaging range corresponding to the user's line of sight or the user's line of sight is supported. If the video signal in the display range is generated electronically, such a follow-up delay can be avoided.

また、本実施例における子装置と端末装置とは、一対で使用することができる。その場合、親装置が担っている機能のうち、走行ユニット24が担っている長距離移動機能以外の機能、すなわち、現地サーバ22及び通信アンテナ23が担っている信号変換処理機能及び通信機能を、子装置に担わせる構成とすることができる。   Further, the child device and the terminal device in this embodiment can be used as a pair. In that case, among the functions carried by the parent device, functions other than the long distance movement function carried by the traveling unit 24, that is, the signal conversion processing function and the communication function carried by the local server 22 and the communication antenna 23, It can be configured to be carried by the slave device.

図２は、本発明の実施例２に係るライブ映像配信システムのうち、現地システム（親装置及び子装置）と中継装置の構成及び機能を説明するためのイメージ図である。
本実施例においては、ライブ映像配信システムは、「子装置Ａ_1A〜子装置Ｆ_1Fと親装置2から構成される現地システム」、中継装置Ａ_3Aと中継装置Ｂ_3B、及び、端末装置Ａ_5A〜端末装置Ｆ_5F（図示されない）から構成される。 FIG. 2 is an image diagram for explaining the configurations and functions of the local system (parent device and child device) and the relay device in the live video distribution system according to the second embodiment of the present invention.
In the present embodiment, the live video distribution system includes a “local system composed of a child device A_1A to a child device F_1F and a parent device 2”, a relay device A_3A and a relay device B_3B, and a terminal device A_5A to a terminal device F_5F ( (Not shown).

子装置Ａ_1A〜子装置Ｆ_1Fは、海上及び海中を移動する親装置2に搭載されて深海まで長距離移動し、現地到着後に、親装置2の外部に放出されて、上下左右に移動したり回転したりする。ただし、子装置Ａ_1A〜子装置Ｆ_1Fと親装置2とはケーブルで接続されているため、子装置Ａ_1A〜子装置Ｆ_1Fが移動できるのは、ケーブルが伸びきる範囲内に限定される。
一方、親装置2と中継装置Ａ_3Aはケーブルを介して情報のやり取りをし、中継装置Ａ_3Aと中継装置Ｂ_3Bは無線通信によって情報のやり取りをし、中継装置Ｂ_3Bと端末装置Ａ_5A〜端末装置Ｆ_5F（図示されない）は、インターネット4との間で情報をやり取りする。 The slave device A_1A to the slave device F_1F are mounted on the master device 2 that moves on the sea and in the sea, move a long distance to the deep sea, and are released to the outside of the master device 2 after arrival at the site to move up and down, right and left, and rotate To do. However, since the child device A_1A to the child device F_1F and the parent device 2 are connected by a cable, the child device A_1A to the child device F_1F can move only within a range in which the cable can be extended.
On the other hand, the parent device 2 and the relay device A_3A exchange information via a cable, the relay device A_3A and the relay device B_3B exchange information by wireless communication, and the relay device B_3B and the terminal devices A_5A to F_5F (illustrated). Not) exchange information with the Internet 4.

また、子装置Ａ_1A〜子装置Ｆ_1Fと端末装置Ａ_5A〜端末装置Ｆ_5F（図示されない）は、それぞれ、識別番号及びＩＰアドレスが割り振られ、実施例１と同様に対応付けられる。   Further, the child device A_1A to the child device F_1F and the terminal device A_5A to the terminal device F_5F (not shown) are assigned an identification number and an IP address, respectively, and are associated in the same manner as in the first embodiment.

子装置Ａ_1A〜子装置Ｆ_1Fの構成と機能は、基本的には、実施例１と同じであるが、海中での移動は、スクリュープロペラの回転、舵の角度、海水の注入・排水によって行う。   The configurations and functions of the slave devices A_1A to F_1F are basically the same as those of the first embodiment, but the movement in the sea is performed by rotating the screw propeller, the angle of the rudder, and injecting / draining seawater.

一方、親装置2は、海上及び海中を自力航行可能な潜水船であり、その内部に、実施例１と同様の機能を有するインターフェース部21及び現地サーバ22（図示されない）を備える。ただし、実施例１とは異なり、送受信アンテナの代わりに、中継装置Ａ_3Aと接続されるケーブルを接続するインターフェース部を備える。   On the other hand, the parent device 2 is a submarine capable of navigating on the sea and in the sea, and includes an interface unit 21 and a local server 22 (not shown) having functions similar to those in the first embodiment. However, unlike the first embodiment, an interface unit for connecting a cable connected to the relay device A_3A is provided instead of the transmission / reception antenna.

また、中継装置Ａ_3Aは、親装置2の上方海面に停泊する通信船であり、親装置2との間でケーブルを介して映像信号、音声信号及び運動制御信号のやり取りをする一方、中継装置Ｂ_3Bとの間で、無線通信によって映像信号、音声信号及び運動制御信号のやり取りをする。一方、中継装置Ｂ_3Bは陸上に設置されたモバイル基地局であり、実施例１における中継装置３と同様の機能を有する。   The relay device A_3A is a communication ship anchored at the sea level above the parent device 2, and exchanges video signals, audio signals, and motion control signals with the parent device 2 via cables, while the relay device B_3B. Video signals, audio signals, and motion control signals are exchanged with each other by wireless communication. On the other hand, the relay device B_3B is a mobile base station installed on land, and has the same function as the relay device 3 in the first embodiment.

一方、端末装置Ａ_5A〜端末装置Ｆ_5Fは、ヘッドフォン一体型ＨＭＤであり、ＨＭＤの内部には、コントロールユニット、通信ユニット、加速度センサー及び方位センサーが内蔵されている。また、ヘッドフォン一体型ＨＭＤは防水仕様となっており、ユーザはヘッドフォン一体型ＨＭＤ頭部に装着し、必要な潜水具を装着した上で、プールに張られた水中を遊泳する。   On the other hand, the terminal device A_5A to the terminal device F_5F are headphone-integrated HMDs, and a control unit, a communication unit, an acceleration sensor, and a direction sensor are built in the HMD. The headphone-integrated HMD is waterproof, and the user wears the headphone-integrated HMD head, wears the necessary diving equipment, and swims in the water stretched in the pool.

コントロールユニットは、加速度センサー及び方位センサーからの信号に基づき、ユーザの頭部の位置と顔面（視線）の向きを特定し、その結果に基づいて運動制御一次信号を生成し、送信ユニットに送信する。送信ユニットは、受信した運動制御一次信号を、実施例１と同じように、内蔵するインターネットインターフェースを経由してインターネットに送信する。   The control unit identifies the position of the user's head and the direction of the face (line of sight) based on the signals from the acceleration sensor and the orientation sensor, generates a motion control primary signal based on the result, and transmits it to the transmission unit. . The transmission unit transmits the received motion control primary signal to the Internet via the built-in Internet interface as in the first embodiment.

また、ヘッドフォン一体型ＨＭＤの左右の投射部には、通信ユニットから受信した３Ｄ非圧縮映像信号に基づいて映像が投射される。この映像は、前記コントロールユニットが特定したユーザの頭部の位置と顔面（視線）の向きの動きに連動して変化するため、ユーザは、あたかも深海中を遊泳しているかのような感覚をもって映像を楽しむことができる。   Also, video is projected on the left and right projection units of the headphone-integrated HMD based on the 3D uncompressed video signal received from the communication unit. Since this image changes in conjunction with the movement of the user's head position and face (line of sight) identified by the control unit, the user can feel as if they are swimming in the deep sea. Can enjoy.

なお、本実施例における子装置と端末装置（ヘッドフォン一体型ＨＭＤ）とは、一対で使用することができる。その場合、親装置が担っている機能のうち、現地サーバ22及び通信アンテナ23が担っている信号変換処理機能及び通信機能を子装置に担わせる構成とすることができる。   Note that the child device and the terminal device (headphone-integrated HMD) in this embodiment can be used as a pair. In that case, it can be set as the structure which makes the child apparatus bear the signal conversion processing function and communication function which the local server 22 and the communication antenna 23 bear among the functions which the parent apparatus bears.

また、本実施例における端末装置（ヘッドフォン一体型ＨＭＤ）は、本発明に係るライブ映像配信システムの現地システムとは独立に使用することも可能である。例えば、観光地の情景を多数の撮像手段を用いて様々な位置・角度からあらかじめ撮像しておき、取得された多数の撮像データに基づいて、任意の視点における映像信号を生成する任意視点
（Free Viewpoint）映像生成装置と組み合わせて使用することが可能である。この場合、任意視点映像生成装置は、ヘッドフォン一体型ＨＭＤのコントローラが生成する運動制御一次信号が担う視点情報に基づいて、映像信号を生成する。 Further, the terminal device (headphone-integrated HMD) in this embodiment can also be used independently of the local system of the live video distribution system according to the present invention. For example, a scene of a sightseeing spot is captured in advance from various positions and angles using a number of imaging means, and an arbitrary viewpoint that generates a video signal at an arbitrary viewpoint based on a large number of acquired imaging data (Free Viewpoint) can be used in combination with a video generation device. In this case, the arbitrary viewpoint video generation device generates a video signal based on the viewpoint information carried by the motion control primary signal generated by the headphone-integrated HMD controller.

図３は、本発明の実施例３に係るライブ映像配信システムのうち、現地システム（親装置及び子装置）と中継装置の構成及び機能を説明するためのイメージ図である。
この実施形態においては、ライブ映像配信システムは、「子装置Ａ_1A〜子装置Ｆ_1Fと親装置2から構成される現地システム」、中継装置Ａ_3Aと中継装置Ｂ_3B、及び、端末装置Ａ_5A〜端末装置Ｆ_5F（図示されない）から構成される。 FIG. 3 is an image diagram for explaining the configurations and functions of the local system (parent device and child device) and the relay device in the live video distribution system according to the third embodiment of the present invention.
In this embodiment, the live video distribution system includes a “local system composed of a child device A_1A to a child device F_1F and a parent device 2”, a relay device A_3A and a relay device B_3B, and a terminal device A_5A to a terminal device F_5F ( (Not shown).

子装置Ａ_1A〜子装置Ｆ_1Fは、地上から発射され、大気圏内外を飛行する親装置2に搭載されて大気圏外まで長距離移動し、現地到着後に、親装置2の外部に放出されて、上下左右に移動したり回転したりする。ただし、子装置Ａ_1A〜子装置Ｆ_1Fと親装置2とはケーブルで接続されているため、子装置Ａ_1A〜子装置Ｆ_1Fが移動できるのは、ケーブルが伸びきる範囲内に限定される。
一方、親装置2と中継装置Ａ_3A、中継装置Ａ_3Aと中継装置Ｂ_3Bは、それぞれ無線通信によって情報のやり取りをし、中継装置Ｂ_3Bと端末装置Ａ_5A〜端末装置Ｆ_5F（図示されない）は、インターネット4との間で情報をやり取りする。 Child device A_1A to child device F_1F are launched from the ground, mounted on the parent device 2 flying outside the atmosphere, moved long distance to the outside of the atmosphere, and released to the outside of the parent device 2 after arrival at the site, up, down, left, right Move or rotate to. However, since the child device A_1A to the child device F_1F and the parent device 2 are connected by a cable, the child device A_1A to the child device F_1F can move only within a range in which the cable can be extended.
On the other hand, the parent device 2 and the relay device A_3A, the relay device A_3A and the relay device B_3B exchange information by wireless communication, and the relay device B_3B and the terminal devices A_5A to F_5F (not shown) communicate with the Internet 4. Exchange information between them.

また、子装置Ａ_1A〜子装置Ｆ_1Fと端末装置Ａ_5A〜端末装置Ｆ_5F（図示されない）は、それぞれ、識別番号及びＩＰアドレスが割り振られ、実施例１と同様に対応付けられる。   Further, the child device A_1A to the child device F_1F and the terminal device A_5A to the terminal device F_5F (not shown) are assigned an identification number and an IP address, respectively, and are associated in the same manner as in the first embodiment.

子装置Ａ_1A〜子装置Ｆ_1Fの構成と機能は、基本的には、実施例１と同じであるが、大気圏外での移動は、ジェット噴射によって行う。   The configurations and functions of the slave devices A_1A to F_1F are basically the same as those in the first embodiment, but the movement outside the atmosphere is performed by jet injection.

一方、親装置2は、大気圏外に飛行可能な宇宙船であり、その内部に、実施例１と同様の機能を有するインターフェース部21及び現地サーバ22（図示されない）を備える。また、実施例１と同様に、中継装置Ａ_3Aとの間で無線信号をやり取りする。なお、親装置2は、発射時に使用したロケット（本明細書及び特許請求の範囲でいう「長距離移動手段」の一部）を切り離す構成とすることができる。   On the other hand, the parent device 2 is a spacecraft that can fly out of the atmosphere, and includes an interface unit 21 and a local server 22 (not shown) having functions similar to those in the first embodiment. Similarly to the first embodiment, wireless signals are exchanged with the relay device A_3A. The parent device 2 can be configured to separate the rocket used at the time of launch (a part of the “long-distance moving means” in the present specification and claims).

また、中継装置Ａ_3Aは、大気圏外に存在する通信衛星であり、親装置2及び中継装置Ｂ_3Bとの間で、無線通信によって映像信号、音声信号及び運動制御信号のやり取りをする。一方、中継装置Ｂ_3Bは地上に設置されたモバイル基地局であり、実施例１における中継装置３と同様の機能を有する。   The relay device A_3A is a communication satellite that exists outside the atmosphere, and exchanges video signals, audio signals, and motion control signals between the parent device 2 and the relay device B_3B by wireless communication. On the other hand, the relay device B_3B is a mobile base station installed on the ground, and has the same function as the relay device 3 in the first embodiment.

一方、端末装置Ａ_5A〜端末装置Ｆ_5F（図示されない）の構成と機能は、基本的には、実施例２と同じである。ヘッドフォン一体型ＨＭＤの左右の投射部には、通信ユニットから受信した３Ｄ非圧縮映像信号に基づいて映像が投射される。この映像は、コントロールユニットが特定したユーザの頭部の位置と顔面（視線）の向きの動きに連動して変化するため、ユーザは、あたかも、宇宙空間中を遊泳しているかのような感覚をもって映像を楽しむことができる。 On the other hand, the configurations and functions of the terminal devices A_5A to F_5F (not shown) are basically the same as those in the second embodiment. A video is projected on the left and right projection units of the headphone-integrated HMD based on the 3D uncompressed video signal received from the communication unit. Since this image changes in conjunction with the movement of the user's head position and face (line of sight) specified by the control unit, the user feels as if they are swimming in outer space. You can enjoy the video.

図４は、本発明の実施例４に係るライブ映像娯楽施設を含むライブ映像配信システムの構成及び機能を説明するためのブロック図である。
本実施例においては、ライブ映像配信システムは、「子装置Ａ_1αA〜子装置Ｆ_1αFと親装置_2αから構成される現地システムα」、「子装置Ａ_1βA〜子装置Ｆ_1βFと親装置2βから構成される現地システムβ」、「子装置Ａ_1γA〜子装置Ｆ_1γFと親装置2γから構成される現地システムγ」、及び、「ユーザ装置Ａ_5’A〜ユーザ装置Ｆ_5’Fと娯楽施設サーバ6から構成されるライブ映像娯楽施設」から構成される。 FIG. 4 is a block diagram for explaining the configuration and functions of a live video distribution system including a live video entertainment facility according to Embodiment 4 of the present invention.
In this embodiment, the live video distribution system is composed of “child device A_1αA to child device F_1αF and parent device _2α” and “child device A_1βA to child device F_1βF and parent device 2β”. "Local system β", "Local system γ composed of child device A_1γA to child device F_1γF and parent device 2γ", and "Live composed of user device A_5'A to user device F_5'F and entertainment facility server 6" It consists of a “video entertainment facility”.

現地システムα〜現地システムγは、ライブ映像娯楽施設から離れた遠隔の観光地に設置されている。以下では、現地システムαはエジプトのギーザのピラミッドの付近に、現地システムβはギリシャのパルテノン神殿の付近に、現地システムγは米国のグランドキャニオンに、それぞれ設置されているものとして説明するが、現地システムが設置される観光地はこれらに限定されず、また、現地システムが設置される観光地の数も３つに限られない。   The local system α to the local system γ are installed in a remote tourist spot away from the live video entertainment facility. In the following, it is assumed that the local system α is installed near the pyramids of Giza in Egypt, the local system β is installed near the Parthenon temple in Greece, and the local system γ is installed in the Grand Canyon in the United States. The sightseeing spots where the system is installed are not limited to these, and the number of sightseeing spots where the local system is installed is not limited to three.

現地システムα〜現地システムγにおける子装置Ａ_1αA〜子装置Ｆ_1αF、子装置Ａ_1βA〜子装置Ｆ_1βF、及び、子装置Ａ_1γA〜子装置Ｆ_1γFの構成と機能は、親装置2α〜親装置2γとの信号のやり取りをケーブルを介してではなく無線通信によって行うことを除いて、実施例１における子装置Ａ_1A〜子装置Ｆ_1Fと同じである。
また、現地システムα〜現地システムγにおける親装置2α〜親装置2γの構成と機能も、基本的には、実施例１における親装置と同じであるが、子装置との信号のやり取りをケーブルを介してではなく無線通信で行い、また、インターネットへのアクセスを中継装置を介さずに直接アクセスするため、インターフェース部21α〜インターフェース部21γ（図示されない）は無線インターフェースであり、送受信アンテナの代わりに有線のインターフェース手段を有する。 The configurations and functions of the child device A_1αA to the child device F_1αF, the child device A_1βA to the child device F_1βF, and the child device A_1γA to the child device F_1γF in the local system α to the local system γ are as follows. It is the same as the slave device A_1A to the slave device F_1F in the first embodiment except that the exchange is performed by wireless communication rather than via a cable.
The configuration and functions of the parent device 2α to the parent device 2γ in the local system α to the local system γ are basically the same as those of the parent device in the first embodiment. Interface unit 21α to interface unit 21γ (not shown) are wireless interfaces, and are wired instead of transmission / reception antennas. Having interface means;

ユーザ装置Ａ_5’A〜ユーザ装置Ｆ_5’Fは、コントローラ、通信ユニット、没入型３Ｄ−ＨＭＤ、ヘッドフォン及び椅子から構成され、このうち、没入型３Ｄ−ＨＭＤ及びヘッドフォンの構成と機能は、基本的には、実施例１における端末装置Ａ_5A〜端末装置Ｆ_5Fのコントローラ、没入型３Ｄ−ＨＭＤ及びヘッドフォンと同じである。ただし、没入型３Ｄ−ＨＭＤには、ユーザが、そのライブ映像を楽しみたいと考える観光地を選択するための観光地選択画面を表示する機能が付加される。   The user device A_5′A to the user device F_5′F are configured by a controller, a communication unit, an immersive 3D-HMD, a headphone, and a chair. Among these, the configuration and functions of the immersive 3D-HMD and the headphone are basically These are the same as the controller, the immersive 3D-HMD, and the headphones of the terminal device A_5A to the terminal device F_5F in the first embodiment. However, the immersive 3D-HMD is added with a function of displaying a sightseeing spot selection screen for the user to select a sightseeing spot where he / she wants to enjoy the live video.

ユーザ装置Ａ_5’A〜ユーザ装置Ｆ_5’Fのコントローラは、運動制御一次信号を、ユーザ装置Ａ_5’A〜ユーザ装置Ｆ_5’Fの通信ユニットに加えて椅子にも送信する。また、ユーザが、没入型３Ｄ−ＨＭＤに表示される観光地選択画面を見ながら行うボタン操作、レバー操作、ダイヤル操作などに基づいて観光地指定信号を生成し、該観光地指定信号を通信ユニットに送信する。   The controller of the user device A_5'A to the user device F_5'F transmits the exercise control primary signal to the chair in addition to the communication unit of the user device A_5'A to the user device F_5'F. Further, the user generates a sightseeing spot designation signal based on a button operation, a lever operation, a dial operation, etc. performed while viewing the sightseeing spot selection screen displayed on the immersive 3D-HMD, and the tourist spot designation signal is transmitted to the communication unit. Send to.

ユーザ装置Ａ_5’A〜ユーザ装置Ｆ_5’Fの通信ユニットは、実施例１における端末装置Ａ_5A〜端末装置Ｆ_5Fの通信ユニットと同様に、運動制御一次信号、映像信号、音声信号の送受信を行うことに加えて、観光地指定信号の送信も行う。また、実施例１における端末装置Ａ_5A〜端末装置Ｆ_5Fの通信ユニットとは異なり、娯楽施設サーバとの間で信号のやり取りを行う。   Similar to the communication units of the terminal device A_5A to the terminal device F_5F in the first embodiment, the communication units of the user device A_5′A to the user device F_5′F perform transmission / reception of motion control primary signals, video signals, and audio signals. In addition, a sightseeing spot designation signal is transmitted. Further, unlike the communication units of the terminal devices A_5A to F_5F in the first embodiment, signals are exchanged with the entertainment facility server.

ユーザ装置Ａ_5’A〜ユーザ装置Ｆ_5’Fの椅子は駆動装置を有しており、コントローラから受信した運動制御一次信号に基づいて加速運動及び／又は回転運動を行うことにより、ユーザに対して、没入型３Ｄ−ＨＭＤにおける表示範囲の変化と連動した体感を感じさせる。   The chairs of the user device A_5′A to the user device F_5′F have a driving device, and by performing acceleration motion and / or rotational motion based on the motion control primary signal received from the controller, Feel the sensation in conjunction with the change of the display range in the immersive 3D-HMD.

娯楽施設サーバ6は、ユーザ装置Ａ_5’A〜ユーザ装置Ｆ_5’Fのコントローラが生成した観光地指定信号に基づき、該観光地指定信号が指定する観光地に存在する現地システムの親装置の現地サーバにインターネット経由で接続する。例えば、ユーザが、観光地選択画面においてパルテノン神殿を選択した場合には、パルテノン神殿の付近に設置された現地システムβの親装置2βに現地サーバ22β（図示されない）に接続する。
その上で、「ユーザ装置Ａ_5’A〜ユーザ装置Ｆ_5’Fのコントローラが生成した運動制御一次信号をインターネット・プロトコルに準拠したものに変換した信号」を、インターネット4を介して現地サーバβ宛に送信し、現地サーバβからインターネット4を介して、「ストリーミング配信された３Ｄ圧縮映像信号と音声信号」を受信する。 The entertainment facility server 6 is based on the sightseeing spot designation signal generated by the controller of the user devices A_5′A to F_5′F, and the local server of the parent device of the local system existing in the sightseeing spot designated by the sightseeing spot designation signal. Connect to the Internet via the Internet. For example, when the user selects the Parthenon temple on the sightseeing spot selection screen, the local server 22β (not shown) is connected to the parent device 2β of the local system β installed in the vicinity of the Parthenon temple.
Then, the “signal obtained by converting the motion control primary signal generated by the controller of the user device A_5′A to the user device F_5′F into a signal conforming to the Internet protocol” is sent to the local server β via the Internet 4. Transmitting and receiving “3D compressed video signal and audio signal distributed by streaming” from the local server β via the Internet 4.

図５は、本発明の実施例５に係る複数のライブ映像娯楽施設を含むライブ映像配信システムの構成及び機能を説明するためのブロック図である。
本実施例においては、ライブ映像配信システムは、「子装置Ａ_1αA〜子装置Ｆ_1αFと親装置_2αから構成される現地システムα」、「子装置Ａ_1βA〜子装置Ｆ_1βFと親装置2βから構成される現地システムβ」、「子装置Ａ_1γA〜子装置Ｆ_1γFと親装置2γから構成される現地システムγ」、「ユーザ装置Ａ_5’(i)A〜ユーザ装置Ｆ_5’(i)Fと娯楽施設サーバ6(i)から構成されるライブ映像娯楽施設(i)」、「ユーザ装置Ａ_5’(ii)A〜ユーザ装置Ｆ_5’(ii)Fと娯楽施設サーバ6(ii)から構成されるライブ映像娯楽施設(ii)」、「ユーザ装置Ａ_5’(iii)A〜ユーザ装置Ｆ_5’(iii)Fと娯楽施設サーバ6(iii)から構成されるライブ映像娯楽施設(iii)」、及び、認証サーバ7から構成される。 FIG. 5 is a block diagram for explaining the configuration and functions of a live video distribution system including a plurality of live video entertainment facilities according to Embodiment 5 of the present invention.
In this embodiment, the live video distribution system is composed of “child device A_1αA to child device F_1αF and parent device _2α” and “child device A_1βA to child device F_1βF and parent device 2β”. "Local system β", "local system γ composed of child device A_1γA to child device F_1γF and parent device 2γ", "user device A_5 '(i) A to user device F_5' (i) F and entertainment facility server 6 ( i) Live video entertainment facility (i) ”,“ Live video entertainment facility (user device A_5 ′ (ii) A to user device F_5 ′ (ii) F) and entertainment facility server 6 (ii) ( ii) ”,“ Live video entertainment facility (iii) composed of user device A_5 ′ (iii) A to user device F_5 ′ (iii) F and entertainment facility server 6 (iii) ”, and authentication server 7 Is done.

現地システムα〜現地システムγ及びその構成要素における構成と機能は、現地システムの親装置の現地サーバが、複数のライブ映像娯楽施設(i)〜（iii）における娯楽施設サーバ6(i)〜6(iii)と接続することを除いて、基本的には、実施例４における現地システムα〜現地システムγ及びその構成要素と同じである。
また、ライブ映像娯楽施設(i)〜ライブ映像娯楽施設(iii)及びその構成要素の構成と機能は、娯楽施設サーバは、認証サーバ7の認証を得て初めて、現地システムの親装置の現地サーバに接続できることを除いて、基本的には、実施例４におけるライブ映像娯楽施設及びその構成要素と同じである。 The configuration and function of the local system α to the local system γ and its components are as follows: the local server of the parent device of the local system is connected to the entertainment facility servers 6 (i) to 6 (6) in the live video entertainment facilities (i) to (iii). Except for connection with (iii), this is basically the same as the local system α to the local system γ and its components in the fourth embodiment.
In addition, the configuration and function of the live video entertainment facility (i) to the live video entertainment facility (iii) and its constituent elements are the same as for the entertainment facility server. Is basically the same as the live video entertainment facility and its components in the fourth embodiment.

以下では、認証サーバ7の認証に係る機能について説明する。なお、ライブ映像娯楽施設の構成要素の機能は、ライブ映像娯楽施設(i)〜ライブ映像娯楽施設(iii)で互いに違いはないため、ライブ映像娯楽施設(i)の構成要素に代表させて説明する。また、ライブ映像娯楽施設(i)のユーザ装置及びその構成要素の機能は、ユーザ装置Ａ_5’(i)A〜ユーザ装置Ｆ_5’(i)Fで互いに違いはないため、ユーザ装置Ａ_5’(i)A及びその構成要素に代表させて説明する。   Hereinafter, functions related to authentication of the authentication server 7 will be described. The functions of the components of the live video entertainment facility (i) to the live video entertainment facility (iii) are not different from each other. To do. Further, the functions of the user device and its constituent elements of the live video entertainment facility (i) are not different between the user devices A_5 ′ (i) A to F_5 ′ (i) F, and therefore the user devices A_5 ′ (i ) A and its components will be described as a representative.

さて、例えば、ユーザが、ユーザ装置Ａ_5’(i)Aの観光地選択画面において、パルテノン神殿を選択した場合、ライブ映像娯楽施設(i)の娯楽施設サーバ6(i)は、インターネット4経由で現地システムβの親装置2βの現地サーバ22β（図示されない）にアクセスし、自らを識別するサーバ識別情報を送信する。
現地サーバ22βは、受信したサーバ識別情報を認証サーバ7に送信し、認証識別サーバは、受信したサーバ識別情報に基づいて、娯楽施設サーバ6(i)の現地システムβへの接続の可否を判断し、接続可否メッセージを現地サーバ22βに送信する。
最終的に、現地サーバ22βは、受信した接続可否メッセージに基づいて、娯楽施設サーバ6(i)の接続を許可する。この結果、現地サーバ22βと娯楽施設サーバ6(i)との間では、「ユーザ装置Ａ_5’A〜ユーザ装置Ｆ_5’Fのコントローラが生成した運動制御一次信号をインターネット・プロトコルに準拠したものに変換した信号」や「ストリーミング配信された３Ｄ圧縮映像信号と音声信号」のやり取りが可能になる。 Now, for example, when the user selects Parthenon on the tourist area selection screen of the user device A_5 ′ (i) A, the entertainment facility server 6 (i) of the live video entertainment facility (i) is connected via the Internet 4. It accesses the local server 22β (not shown) of the parent device 2β of the local system β and transmits server identification information for identifying itself.
The local server 22β transmits the received server identification information to the authentication server 7, and the authentication identification server determines whether the entertainment facility server 6 (i) can connect to the local system β based on the received server identification information. Then, the connection propriety message is transmitted to the local server 22β.
Finally, the local server 22β permits the connection of the entertainment facility server 6 (i) based on the received connection possibility message. As a result, between the local server 22β and the entertainment facility server 6 (i), “the primary control signal generated by the controller of the user device A_5′A to the user device F_5′F is converted into one conforming to the Internet protocol. Exchanged "or" streamed 3D compressed video signal and audio signal "can be exchanged.

なお、上記の認証サーバ7の認証は、実施例１に係るライブ映像配信システムにも定期用可能である。すなわち、端末装置Ａ_5A〜端末装置Ｆ_5Fがインターネット4経由で現地サーバ22にアクセスした際、端末装置Ａ_5A〜端末装置Ｆ_5Fは、自らを識別する端末装置識別情報（ＩＰアドレスでもよい）を送信し、現地サーバ22は、受信した端末装置識別情報を認証サーバ7に送信し、認証識別サーバは、受信した端末装置識別情報に基づいて、端末装置Ａ_5A〜端末装置Ｆ_5Fの現地システムへの接続の可否を判断し、接続可否メッセージを現地サーバ22に送信し、最終的に、現地サーバ22は、受信した接続可否メッセージに基づいて、端末装置Ａ_5A〜端末装置Ｆ_5Fの接続を許可するようにすることによって、端末装置Ａ_5A〜端末装置Ｆ_5Fが可能になるのである。   The authentication by the authentication server 7 can be used periodically for the live video distribution system according to the first embodiment. That is, when the terminal device A_5A to the terminal device F_5F access the local server 22 via the Internet 4, the terminal device A_5A to the terminal device F_5F transmits terminal device identification information (which may be an IP address) for identifying itself, The server 22 transmits the received terminal device identification information to the authentication server 7, and the authentication identification server determines whether the terminal devices A_5A to F_5F can be connected to the local system based on the received terminal device identification information. Then, the connection availability message is transmitted to the local server 22, and finally, the local server 22 permits the connection of the terminal devices A_5A to F_5F based on the received connection availability message, so that the terminal The device A_5A to the terminal device F_5F become possible.

本発明は、現地システムを構成する映像信号生成手段（撮像手段、映像信号変換手段、運動手段）、音声信号生成手段及び通信手段、端末装置を構成する表示範囲設定信号生成手段（身体検知手段、運動制御信号生成手段）、映像表示手段、放音手段及び通信手段に係る装置を製造する産業において利用することができる。また、現地システムの長距離移動手段として利用可能な自動車、船舶、宇宙船（宇宙船を大気圏外に運ぶロケットを含む）を製造する産業において利用することができる。さらに、ライブ映像配信システムを使用した観察に係るサービス（特に観光サービス）を提供する産業においても利用することができる。   The present invention includes a video signal generation means (imaging means, video signal conversion means, exercise means) constituting a local system, an audio signal generation means and a communication means, and a display range setting signal generation means (body detection means, (Motion control signal generating means), video display means, sound emitting means, and communication means can be used in the industry for manufacturing devices. It can also be used in industries that manufacture automobiles, ships, and spacecraft (including rockets that carry spacecraft out of the atmosphere) that can be used as long-distance transportation means for local systems. Furthermore, it can be used in industries that provide services (particularly tourism services) related to observation using a live video distribution system.

1A‥‥‥子装置Ａ
1B‥‥‥子装置Ｂ
1C‥‥‥子装置Ｃ
1D‥‥‥子装置Ｄ
1E‥‥‥子装置Ｅ
1F‥‥‥子装置Ｆ
1αA‥‥‥現地システムαに含まれる子装置Ａ
1αB‥‥‥現地システムαに含まれる子装置Ｂ
1αC‥‥‥現地システムαに含まれる子装置Ｃ
1βA‥‥‥現地システムβに含まれる子装置Ａ
1βB‥‥‥現地システムβに含まれる子装置Ｂ
1βC‥‥‥現地システムβに含まれる子装置Ｃ
1γA‥‥‥現地システムγに含まれる子装置Ａ
1γB‥‥‥現地システムγに含まれる子装置Ｂ
1γC‥‥‥現地システムγに含まれる子装置Ｃ
2‥‥‥親装置
2α‥‥‥現地システムαに含まれる親装置
2β‥‥‥現地システムβに含まれる親装置
2γ‥‥‥現地システムγに含まれる親装置
21‥‥‥インターフェース部
22‥‥‥現地サーバ
23‥‥‥送受信アンテナ
24‥‥‥走行ユニット
3‥‥‥中継装置
3A‥‥‥中継装置Ａ
3B‥‥‥中継装置Ｂ
4‥‥‥インターネット
5A‥‥‥端末装置Ａ
5B‥‥‥端末装置Ｂ
5C‥‥‥端末装置Ｃ
5D‥‥‥端末装置Ｄ
5E‥‥‥端末装置Ｅ
5F‥‥‥端末装置Ｆ
5’A‥‥‥ユーザ装置Ａ
5’B‥‥‥ユーザ装置Ｂ
5’C‥‥‥ユーザ装置Ｃ
5’D‥‥‥ユーザ装置Ｄ
5’E‥‥‥ユーザ装置Ｅ
5’F‥‥‥ユーザ装置Ｆ
5’(i)A‥‥‥ライブ映像娯楽施設(i)に含まれるユーザ装置Ａ
5’(i)B‥‥‥ライブ映像娯楽施設(i)に含まれるユーザ装置Ｂ
5’(i)C‥‥‥ライブ映像娯楽施設(i)に含まれるユーザ装置Ｃ
5’(i)D‥‥‥ライブ映像娯楽施設(i)に含まれるユーザ装置Ｄ
5’(i)E‥‥‥ライブ映像娯楽施設(i)に含まれるユーザ装置Ｅ
5’(i)F‥‥‥ライブ映像娯楽施設(i)に含まれるユーザ装置Ｆ
5’(ii)A‥‥‥ライブ映像娯楽施設(ii)に含まれるユーザ装置Ａ
5’(ii)B‥‥‥ライブ映像娯楽施設(ii)に含まれるユーザ装置Ｂ
5’(ii)C‥‥‥ライブ映像娯楽施設(ii)に含まれるユーザ装置Ｃ
5’(ii)D‥‥‥ライブ映像娯楽施設(ii)に含まれるユーザ装置Ｄ
5’(ii)E‥‥‥ライブ映像娯楽施設(ii)に含まれるユーザ装置Ｅ
5’(ii)F‥‥‥ライブ映像娯楽施設(ii)に含まれるユーザ装置Ｆ
5’(iii)A‥‥‥ライブ映像娯楽施設(iii)に含まれるユーザ装置Ａ
5’(iii)B‥‥‥ライブ映像娯楽施設(iii)に含まれるユーザ装置Ｂ
5’(iii)C‥‥‥ライブ映像娯楽施設(iii)に含まれるユーザ装置Ｃ
5’(iii)D‥‥‥ライブ映像娯楽施設(iii)に含まれるユーザ装置Ｄ
5’(iii)E‥‥‥ライブ映像娯楽施設(iii)に含まれるユーザ装置Ｅ
5’(iii)F‥‥‥ライブ映像娯楽施設(iii)に含まれるユーザ装置Ｆ
6‥‥‥娯楽施設サーバ
6(i) ‥‥‥ライブ映像娯楽施設(i)に含まれる娯楽施設サーバ
6(ii) ‥‥‥ライブ映像娯楽施設(ii)に含まれる娯楽施設サーバ
6(iii) ‥‥‥ライブ映像娯楽施設(iii)に含まれる娯楽施設サーバ
7‥‥‥認証サーバ
81‥‥‥撮像手段
811‥‥‥視座
82‥‥‥視線
83‥‥‥撮像範囲
831‥‥‥視点（撮像範囲の中心） 1A ... Slave unit A
1B ... Slave unit B
1C ………… Slave device C
1D ... Slave device D
1E ………… Slave device E
1F ………… Slave device F
1αA ………… Slave device A included in local system α
1αB ………… Slave device B included in local system α
1αC ………… Slave device C included in local system α
1βA ········· Child device A included in local system β
1βB ... Slave unit B included in local system β
1βC ............ Slave device C included in local system β
1γA ......... Slave device A included in local system γ
1γB ... Slave device B included in local system γ
1γC ... Slave device C included in local system γ
2… Master device
2α ………… Parent device included in local system α
2β ... The parent device included in the local system β
2γ ... The parent device included in the local system γ
21 …… Interface section
22 ………… Local server
23 ······ Transceiver antenna
24 · · · · · Traveling unit
3 ... Relay equipment
3A ... Relay unit A
3B ... Relay equipment B
4 ………… Internet
5A ... Terminal device A
5B ... Terminal device B
5C ... Terminal equipment C
5D terminal device D
5E …… Terminal device E
5F ………… Terminal device F
5'A ... User device A
5'B ..... User device B
5'C ... User device C
5'D …… User device D
5'E …… User device E
5'F …… User device F
5 '(i) A ... User device A included in live video entertainment facility (i)
5 '(i) B ..... User equipment B included in live video entertainment facility (i)
5 '(i) C User device C included in live video entertainment facility (i)
5 '(i) D ... User device D included in live video entertainment facility (i)
5 '(i) E ... User equipment E included in live video entertainment facility (i)
5 '(i) F ..... User equipment F included in live video entertainment facility (i)
5 '(ii) A ... User device A included in live video entertainment facility (ii)
5 '(ii) B ... User device B included in live video entertainment facility (ii)
5 '(ii) C User device C included in live video entertainment facility (ii)
5 '(ii) D ... User device D included in live video entertainment facility (ii)
5 '(ii) E ... The user equipment E included in the live video entertainment facility (ii)
5 '(ii) F …… User device F included in live video entertainment facility (ii)
5 '(iii) A ... User device A included in live video entertainment facility (iii)
5 '(iii) B User device B included in live video entertainment facility (iii)
5 '(iii) C User device C included in live video entertainment facility (iii)
5 '(iii) D User device D included in live video entertainment facility (iii)
5 '(iii) E …… User device E included in live video entertainment facility (iii)
5 '(iii) F …… User device F included in live video entertainment facility (iii)
6 ……… Entertainment facility server
6 (i) ............ Entertainment server included in live video entertainment facility (i)
6 (ii) ... Entertainment facility server included in live video entertainment facility (ii)
6 (iii) ... Entertainment facility server included in live video entertainment facility (iii)
7 ………… Authentication server
81 Imaging means
811 ……………… Viewpoint
82 ………… Gaze
83 Imaging range
831 Perspective (center of imaging range)

Claims (5)

屋内に、
遠隔地に存在する撮像対象のライブ映像を表示するＨＭＤ（Head Mounted Display）と、該ＨＭＤを装着したユーザが着座する着座手段と、該ユーザがマニュアル操作するコントローとを有する複数のユーザ装置と；
インターネットに接続するサーバと；
を備えるライブ映像娯楽施設であって、
前記コントローラは、ユーザのマニュアル操作に基づき、前記撮像対象が存在する遠隔地を指定する遠隔地指定信号を生成し、該遠隔地指定信号を直接に又は通信手段を介して前記サーバに送信する機能を有し、
前記サーバは、
前記コントローラが生成した遠隔地指定信号に基づき、該遠隔地指定信号が指定する遠隔地に存在する現地システムにインターネット経由で接続する機能と；
前記遠隔地指定信号が指定する遠隔地に存在する現地システムから所定の表示範囲の映像信号を受信する機能と；
該受信した映像信号を直接に又は通信手段を介して前記ＨＭＤに送信する機能と；
を有し、
前記ＨＭＤは、前記サーバから直接に又は通信手段を介して受信した映像信号に基づき、前記遠隔地指定信号が指定する遠隔地に存在する撮像対象のライブ映像を表示する機能を有する、
ことを特徴とするライブ映像娯楽施設。 Indoors,
A plurality of user devices each having an HMD (Head Mounted Display) for displaying a live image to be imaged in a remote place, a seating means on which a user wearing the HMD is seated, and a controller that is manually operated by the user;
A server connected to the Internet;
A live video entertainment facility comprising
The controller generates a remote location designation signal for designating a remote location where the imaging target exists based on a manual operation of a user, and transmits the remote location designation signal to the server directly or via communication means Have
The server
A function of connecting via the Internet to a local system existing at a remote location designated by the remote location designation signal based on the remote location designation signal generated by the controller;
A function of receiving a video signal of a predetermined display range from a local system existing at a remote location designated by the remote location designation signal;
A function of transmitting the received video signal to the HMD directly or via communication means;
Have
The HMD has a function of displaying a live image of an imaging target existing in a remote location designated by the remote location designation signal based on a video signal received directly from the server or via a communication means.
This is a live video entertainment facility. 前記コントローラは、ユーザのマニュアル操作に基づき、前記現地システムから受信する映像信号の表示範囲を変化させる表示範囲制御信号を送信して前記サーバに送信する機能を有し、
前記サーバは、前記コントローラから受信した表示範囲制御信号を、そのままで又は必要な変換を行った上で、前記遠隔地指定信号が指定する遠隔地に存在する現地システムに送信する機能を有する、
ことを特徴とする、請求項１に記載のライブ映像娯楽施設。 The controller has a function of transmitting a display range control signal for changing a display range of a video signal received from the local system based on a manual operation of a user to be transmitted to the server,
The server has a function of transmitting the display range control signal received from the controller to a local system existing in a remote location designated by the remote location designation signal as it is or after performing necessary conversion.
The live video entertainment facility according to claim 1, wherein: 前記コントローラは、ユーザのマニュアル操作に基づき、前記現地システムを構成する撮像手段の視座及び／又は視線を移動させる撮像範囲制御信号を生成し、該撮像範囲制御信号を直接に又は通信手段を介して前記サーバに送信する機能を有し、
前記サーバは、前記コントローラから受信した撮像範囲制御信号を、そのままで又は必要な変換を行った上で、前記遠隔地指定信号が指定する遠隔地に存在する現地システムに送信する機能を有する、
ことを特徴とする、請求項２に記載のライブ映像娯楽施設。 The controller generates an imaging range control signal for moving the viewpoint and / or line of sight of the imaging means constituting the local system based on a user's manual operation, and the imaging range control signal is directly or via a communication means. Having a function of transmitting to the server;
The server has a function of transmitting the imaging range control signal received from the controller to a local system existing in a remote location designated by the remote location designation signal as it is or after performing necessary conversion.
The live video entertainment facility according to claim 2, wherein: 前記着座手段は、
前記コントローラから受信が生成した撮像範囲制御信号を直接に又は通信手段を介して、受信する機能と；
該受信した撮像範囲制御信号に基づき、加速運動及び／又は回転運動を行う機能と；
を有する、
ことを特徴とする、請求項３に記載のライブ映像娯楽施設。 The seating means includes
A function of receiving an imaging range control signal generated by reception from the controller, directly or via communication means;
A function of accelerating and / or rotating based on the received imaging range control signal;
Having
The live video entertainment facility according to claim 3, wherein: 前記ＨＭＤは、ユーザの身体の位置や動きを検知し、該検知した結果に基づいて、前記現地システムを構成する撮像手段の視線を移動させる撮像範囲制御信号を生成し、該撮像範囲制御信号を直接に又は通信手段を介して前記サーバに送信する機能を有し、
前記サーバは、前記コントローラから受信した撮像範囲制御信号を、そのままで又は必要な変換を行った上で、前記遠隔地指定信号が指定する遠隔地に存在する現地システムに送信する機能を有する、
ことを特徴とする、請求項１乃至４に記載のライブ映像娯楽施設。 The HMD detects the position and movement of the user's body, generates an imaging range control signal for moving the line of sight of imaging means constituting the local system based on the detection result, and outputs the imaging range control signal. Having the function of transmitting to the server directly or via communication means;
The server has a function of transmitting the imaging range control signal received from the controller to a local system existing in a remote location designated by the remote location designation signal as it is or after performing necessary conversion.
The live video entertainment facility according to claim 1, wherein: