JP2003179908A - Image-distributing apparatus and image-receiving apparatus - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image-distributing apparatus for distributing images where the taste of a viewer is reflected. <P>SOLUTION: The image-distributing apparatus 10 is an apparatus for communicating with an image-receiving apparatus 20 via a communication network 30, and comprises an image acquisition section 110 for acquiring a plurality of images from different viewpoints, an image analysis section 120 for analyzing contents included in the image for generating an analysis result as contents information for each of the images, and a distribution image-matching section 130 for determining the degree of matching between each of the contents information and taste information that is notified by the viewer, determines an image to be distributed, and distributes the determined image. <P>COPYRIGHT: (C)2003,JPO

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【発明の属する技術分野】本発明は、スポーツ番組など
の映像を配信したり、受信したりする映像配信装置およ
び映像受信装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a video distribution device and a video reception device for distributing and receiving videos such as sports programs.

【０００２】[0002]

【従来の技術】通信ネットワークのインフラ整備の進展
に伴い、スポーツ番組などの映像の配信、受信に関する
技術が開発されつつある。このような映像の配信、受信
に関する従来技術として、特開平７−９５３２２号公報
（第１の公報）に開示されたビデオ情報配信システム
と、特開平２−５４６４６号公報（第２の公報）に開示
された番組配信装置がある。2. Description of the Related Art With the development of infrastructure for communication networks, technologies relating to the distribution and reception of video such as sports programs are being developed. As prior arts relating to such video distribution and reception, there are a video information distribution system disclosed in Japanese Patent Laid-Open No. 7-95322 (first publication) and a Japanese Patent Laid-Open No. 2-54646 (second publication). There is a disclosed program distribution device.

【０００３】第１の公報に開示されたビデオ情報配信シ
ステムは、ビデオセンタ、ビデオ・ダイヤルトーントラ
ンク、利用者端末から構成される。利用者がビデオセン
タを呼び出すと、利用者が所望する番組が、ビデオセン
タより伝送路を介して伝送される。ビデオ・ダイヤルト
ーントランクはビデオセンタより高速転送されるビデオ
情報を受信し、それを通常の速度のビデオ情報に再生し
て、低速伝送路を介して利用者端末へ伝送する。The video information distribution system disclosed in the first publication comprises a video center, a video dial tone trunk, and a user terminal. When the user calls the video center, the program desired by the user is transmitted from the video center via the transmission path. The video dial tone trunk receives video information transferred at a high speed from the video center, reproduces the video information at a normal speed, and transmits the video information to the user terminal via the low speed transmission line.

【０００４】第２の公報に開示された番組配信装置は、
複数の動画番組を保持する記憶装置と、ネットワークを
介して端末装置から番組配信要求と広告挿入要求とを受
信し、動画番組および指定された広告要求を情報ブロッ
クに分割してネットワークを介して配信する配信装置
と、上述した広告の挿入要求で指定された広告を挿入す
るタイミングに応じて課金を異ならしめるよう制御する
制御装置より構成される。The program distribution device disclosed in the second publication is
A storage device that holds a plurality of moving picture programs and a program distribution request and an advertisement insertion request from a terminal device via the network are received, and the moving picture program and the specified advertising request are divided into information blocks and distributed over the network. And a control device for controlling the charging so as to make the charges different according to the timing of inserting the advertisement specified by the advertisement insertion request.

【０００５】[0005]

【発明が解決しようとする課題】しかしながら、上記の
従来技術では、視聴者に配信される映像は、ある特定の
視点から制作者の意図のみで撮影された映像であり、視
聴者が自らの好みに応じた映像を視聴することや、視点
を変更するといった操作は不可能である。例えば、ある
サッカー等のスポーツ観戦の番組等において、視聴者
は、自分の好きな特定の選手をじっくり視聴したいとい
う要求をもっていても、その選手がわずかのシーンでし
か登場せす、他の選手ばかり登場するような映像作品で
あっても、これを視聴せざるをえない。However, in the above-mentioned prior art, the video delivered to the viewer is a video shot only from the creator's intention from a certain specific viewpoint, and the viewer likes it. It is not possible to view the video according to or change the viewpoint. For example, in a program of watching sports such as soccer, even if a viewer has a request to watch a particular player he / she likes, only the other players who appear in only a few scenes. Even if it is a video work that appears, you have to watch it.

【０００６】また、上記の従来技術では、あらかじめビ
デオセンタや記憶装置に番組が記録されている必要があ
り、リアルタイムの映像を配信する仕組みにはなってい
ないという問題がある。そこで、本発明は、このような
状況に鑑みてなされたもので、視聴者の嗜好が反映され
た映像の配信が可能な映像配信装置および映像受信装置
を提供することを目的とする。Further, the above-mentioned conventional technique has a problem that it is necessary to record a program in a video center or a storage device in advance, and a system for delivering real-time video is not provided. Therefore, the present invention has been made in view of such a situation, and an object of the present invention is to provide a video distribution device and a video reception device capable of distributing a video in which a taste of a viewer is reflected.

【０００７】さらに、本発明は、蓄積された映像の配信
だけでなく、リアルタイム（ライブ）の映像について
も、視聴者の嗜好を反映した配信が可能な映像配信装置
および映像受信装置を提供することをも目的とする。Further, the present invention provides a video distribution device and a video reception device capable of distributing not only the accumulated video but also real-time (live) video in which the taste of the viewer is reflected. Also for the purpose.

【０００８】[0008]

【課題を解決するための手段】上記目的を達成するため
に、本発明に係る映像配信装置は、通信ネットワークを
介して映像受信装置と通信する映像配信装置であって、
異なる視点からの複数の映像を取得する映像取得手段
と、前記映像ごとに、その映像に含まれる内容を解析
し、解析結果を内容情報として生成する映像解析手段
と、前記各内容情報と、視聴者より通知された嗜好情報
との適合度を判定し、配信する映像を決定し、決定した
映像を配信する配信映像マッチング手段とを備えること
を特徴とする。つまり、異なる視点からの複数の映像の
中から各映像ごとに生成された内容情報と視聴者の嗜好
情報との適合度で決定し、視聴者の嗜好に合致した１つ
の映像を視聴者の映像受信装置に対して配信する。In order to achieve the above object, a video distribution apparatus according to the present invention is a video distribution apparatus that communicates with a video receiving apparatus via a communication network,
Video acquisition means for acquiring a plurality of videos from different viewpoints, video analysis means for analyzing the contents included in the videos for each of the videos, and generating an analysis result as content information, each of the content information, and viewing It is characterized by further comprising: a distribution video matching unit that determines the compatibility with the preference information notified by the person, determines the video to be distributed, and distributes the determined video. That is, it is determined by the degree of conformity between the content information generated for each video from a plurality of videos from different viewpoints and the viewer's preference information, and one video that matches the viewer's preference is selected. Deliver to the receiving device.

【０００９】ここで、内容情報には、被写体を同定する
情報や、被写体の表示位置または表示領域を表す情報を
含めてもよい。また、嗜好情報を得るための入れ物を映
像受信装置側に配信し、この入れ物に被写体に対する嗜
好の度合いを入力させることにより嗜好情報を取得して
もよい。また、配信した映像について視聴者から画面上
の位置が指定されると、その位置の被写体を特定し、こ
の被写体に関する付加情報を送信するようにしてもよ
い。Here, the content information may include information for identifying the subject and information for indicating the display position or display area of the subject. Alternatively, the container for obtaining the preference information may be distributed to the video receiving device side, and the preference information may be acquired by inputting the degree of the preference for the subject into the container. Further, when the viewer specifies a position on the screen for the distributed video, the subject at that position may be specified and additional information regarding this subject may be transmitted.

【００１０】さらに、本発明は、通信ネットワークを介
して映像受信装置と通信する映像配信装置であって、異
なる視点からの複数の映像を取得する映像取得手段と、
前記映像ごとに、その映像に含まれる内容を解析し、解
析結果を内容情報として生成する映像解析手段と、前記
各映像および前記各内容情報を多重化して配信する映像
多重化手段とを備えることを特徴とする映像配信装置と
することもできる。この場合には、映像受信装置の側に
おいて映像配信装置から配信されてきた各内容情報と、
視聴者より通知された嗜好情報との適合度を判定し、映
像配信装置から配信されてきた複数の映像の中から再生
する１つの映像を決定し、決定した映像を再生するよう
にすればよい。Furthermore, the present invention is a video distribution device which communicates with a video reception device via a communication network, and video acquisition means for acquiring a plurality of videos from different viewpoints.
For each of the videos, there is provided video analysis means for analyzing the content included in the video and generating an analysis result as content information, and video multiplexing means for multiplexing and delivering each video and each content information. It is also possible to provide a video distribution device characterized by. In this case, each content information distributed from the video distribution device on the video reception device side,
The degree of compatibility with the preference information notified by the viewer may be determined, one video to be reproduced may be determined from the plurality of videos distributed from the video distribution device, and the determined video may be reproduced. .

【００１１】また、本発明は、このような特徴的な手段
をコンピュータに機能させるプログラムとして実現した
り、そのプログラムを記録した記録媒体として実現した
りすることもできる。そして、本発明に係るプログラム
をインターネット等の通信網や記録媒体等を介して流通
させることもできる。The present invention can also be realized as a program that causes a computer to function as such a characteristic means, or as a recording medium that records the program. The program according to the present invention can be distributed via a communication network such as the Internet or a recording medium.

【００１２】[0012]

【発明の実施の形態】（実施の形態１）以下、本発明の
実施の形態１に係る映像配信システムを、図面に基づい
て説明する。なお、この実施の形態では、限定された空
間の撮影対象として、サッカーなどのスポーツ中継の場
合の選手を中心とした映像を例に挙げて説明するが、本
発明は任意の撮影空間および撮影対象に対して適用可能
である。BEST MODE FOR CARRYING OUT THE INVENTION (Embodiment 1) Hereinafter, a video distribution system according to Embodiment 1 of the present invention will be described with reference to the drawings. In addition, in this embodiment, as an image-capturing object in a limited space, an image centering on a player in the case of a sports relay such as soccer is described as an example, but the present invention is not limited to an arbitrary image-capturing space and an image-capturing object. Is applicable to.

【００１３】図１は、本発明の実施の形態１における映
像配信システム１の機能構成を示すブロック図である。
本発明の実施の形態１に係る映像配信システム１は、利
用者の嗜好に応じた映像等のコンテンツをストリーム配
信する通信システムであり、映像配信装置１０と、映像
受信装置２０と、これらを接続する通信ネットワーク３
０とから構成される。FIG. 1 is a block diagram showing a functional configuration of a video distribution system 1 according to the first embodiment of the present invention.
The video distribution system 1 according to the first embodiment of the present invention is a communication system that stream-distributes contents such as video according to the taste of the user, and connects the video distribution device 10 and the video reception device 20 to each other. Communication network 3
It consists of 0 and.

【００１４】映像配信装置１０は、複数の映像（多視点
映像）の中からユーザの嗜好や嗜好履歴に合致した１つ
の映像を数フレームごとに切換・選択するような編集を
行った映像コンテンツをリアルタイムに構築し、映像受
信装置２０に向けてストリーム配信するコンピュータ等
からなる配信サーバであり、映像取得部１１０と、映像
解析部１２０と、配信映像マッチング部１３０と、映像
記録部１４０と、付加情報提供部１５０と、映像情報配
信部１６０等とからなる。The video distribution apparatus 10 edits the video contents by switching and selecting, for every several frames, one video which matches the user's preference or preference history from a plurality of images (multi-viewpoint images). A distribution server including a computer or the like that is constructed in real time and performs stream distribution to the video reception device 20, and includes a video acquisition unit 110, a video analysis unit 120, a distribution video matching unit 130, a video recording unit 140, and an addition unit. It includes an information providing unit 150, a video information distribution unit 160, and the like.

【００１５】映像取得部１１０は、所定の撮影空間（例
えば、サッカー場）に分散配置され、限定された撮影空
間内の複数の被写体を様々な視点および角度からそれぞ
れ撮影した複数の映像（多視点映像）を取得する複数台
の撮影機器（ビデオカメラ等）である。この映像取得部
１１０により取得された多視点映像は、ケーブルや無線
通信により、映像解析部１２０に伝送される。The image acquisition unit 110 is dispersedly arranged in a predetermined photographing space (for example, a soccer field), and a plurality of images (multi-viewpoints) obtained by photographing a plurality of subjects in a limited photographing space from various viewpoints and angles, respectively. It is a plurality of photographing devices (video cameras, etc.) that acquire images). The multi-view video images acquired by the video acquisition unit 110 are transmitted to the video analysis unit 120 via a cable or wireless communication.

【００１６】映像解析部１２０は、各映像の内容（具体
的には、画面のどの位置に何の被写体（例えば、選手）
が写っているか）をフレームごとにそれぞれ取得し、取
得結果をＭＰＥＧ７などのマルチメディアコンテンツの
記述子（Ｄｅｓｃｒｉｐｔｏｒ）で記述した内容情報と
して各映像のフレームごとに生成する。The video analysis unit 120 determines the content of each video (specifically, what subject (eg, athlete) is at what position on the screen).
Is acquired for each frame, and the acquisition result is generated for each frame of each video as content information described in a descriptor (Descriptor) of multimedia content such as MPEG7.

【００１７】配信映像マッチング部１３０は、映像取得
部１１０により取得されたライブコンテンツや、映像記
録部１４０に保持されているストレージコンテンツにつ
いて、映像受信装置２０から送られてきたユーザの嗜好
や嗜好の履歴と各映像の内容情報とを比較し、複数の映
像（多視点映像）の中からユーザの嗜好や嗜好履歴に合
致した１つの映像を数フレームごとに切換・選択するよ
うな編集を行った映像コンテンツをリアルタイムに構築
したり、内容情報が付加された多視点映像を映像記録部
１４０のコンテンツデータベース１４１に格納したり、
嗜好値入力ダイアログ１４６を生成して嗜好データベー
ス１４５に格納したりする。The distribution video matching unit 130, regarding the live content acquired by the video acquisition unit 110 and the storage content held in the video recording unit 140, indicates the user's preference or preference sent from the video receiving device 20. The history was compared with the content information of each video, and one video that matches the user's preference or preference history from multiple videos (multi-viewpoint video) was switched / selected every few frames. The video content is constructed in real time, the multi-view video to which the content information is added is stored in the content database 141 of the video recording unit 140,
The preference value input dialog 146 is generated and stored in the preference database 145.

【００１８】映像記録部１４０は、配信するストレージ
コンテンツなどを保持するコンテンツデータベース１４
１と、ユーザごとの嗜好を取得するための嗜好データベ
ース１４５とを保持するハードディスク等である。コン
テンツデータベース１４１は、ライブ（生放送）やスト
レージ（録画による放送）のモードを選択するモード選
択ダイアログ１４２、ライブ中継中のコンテンツや、保
持しているストレージコンテンツのコンテンツ一覧１４
３およびコンテンツ１４４自体を記憶する。また、嗜好
データベース１４５は、被写体に対する嗜好値（嗜好
度）を入力するためのコンテンツごとの嗜好値入力ダイ
アログ１４６およびユーザが入力した嗜好履歴を格納す
るユーザごとの嗜好履歴テーブル１４７を記憶する。The video recording unit 140 is a content database 14 that holds storage contents to be distributed.
1 and a preference database 145 for acquiring the preference for each user. The content database 141 includes a mode selection dialog 142 for selecting a live (live broadcast) or storage (broadcast by recording) mode, a content being relayed live, or a content list 14 of stored storage content.
3 and the content 144 itself. Further, the preference database 145 stores a preference value input dialog 146 for each content for inputting a preference value (preference degree) for a subject and a preference history table 147 for each user that stores the preference history input by the user.

【００１９】付加情報提供部１５０は、ライブおよびス
トレージのコンテンツごとに視聴者に提供される配信映
像に関連した情報（被写体（対象物）のプロフィール等
の付加情報、例えば、サッカー中継のコンテンツであれ
ば、サッカー選手の生年月日等のプロフィール）をあら
かじめ格納した付属情報テーブル１５１を保持するハー
ドディスク等である。この付属情報テーブル１５１に
は、例えば、個々の選手について「生年月日」、「主な
経歴」、「特徴」、「選手のコメント」の情報があらか
じめ記録されており、配信映像マッチング部１３０から
選手名等を特定した通知があると、特定された選手に関
する付加情報を映像受信装置２０に送信する。The additional information providing unit 150 is information related to the distribution video provided to the viewer for each live and storage content (additional information such as a profile of a subject (object), for example, soccer relay content). For example, it is a hard disk or the like that holds an auxiliary information table 151 in which the profile of a soccer player's birth date etc.) is stored in advance. In the attached information table 151, for example, information of “date of birth”, “main career”, “characteristics”, and “comment of player” is recorded in advance for each player, and the distribution video matching unit 130 Upon receiving the notification specifying the player name and the like, the additional information regarding the specified player is transmitted to the video receiving device 20.

【００２０】映像情報配信部１６０は、通信ネットワー
ク３０を介して映像受信装置２０と通信するための双方
向の通信インタフェースやドライバソフト等である。The video information distribution unit 160 is a bidirectional communication interface for communicating with the video receiving device 20 via the communication network 30, driver software, and the like.

【００２１】映像受信装置２０は、ライブやストレージ
のモード選択や、嗜好値の入力等についてユーザと対話
したり、映像配信装置１０から配信されてくる映像コン
テンツをユーザに提示するパーソナルコンピュータ、携
帯電話機、携帯情報端末、デジタル放送用ＴＶ等であ
り、操作部２１０と、映像出力部２２０と、送受信部２
３０等とからなる。The video receiver 20 interacts with the user regarding live and storage mode selection, input of preference values, and the like, and presents the video content distributed from the video distribution device 10 to the user, a mobile phone. , A portable information terminal, a TV for digital broadcasting, etc., including an operation unit 210, a video output unit 220, and a transmitting / receiving unit
It consists of 30 mag.

【００２２】操作部２１０は、リモートコントローラ
や、キーボード、マウスなどのポインティングデバイス
などのデバイスであって、ユーザとの対話によってユー
ザが希望するコンテンツを指定したり、嗜好値を入力し
て嗜好値情報として送受信部２３０に送信したり、映像
出力部２２０に表示されている被写体の位置情報を送受
信部２３０に送信したりする。The operation unit 210 is a device such as a remote controller or a pointing device such as a keyboard or a mouse, and specifies the content desired by the user by interacting with the user or inputs the preference value to input preference value information. The position information of the subject displayed on the video output unit 220 is transmitted to the transmission / reception unit 230.

【００２３】送受信部２３０は、通信ネットワーク３０
を介して映像配信装置１０とシリアル通信するための送
受信回路やドライバソフト等である。The transmitting / receiving unit 230 is a communication network 30.
A transmission / reception circuit, driver software, etc. for serial communication with the video distribution device 10 via the.

【００２４】通信ネットワーク３０は、映像配信装置１
０と映像受信装置２０とを接続する双方向の伝送路であ
り、ＣＡＴＶ等の放送・通信網、電話網、データ通信網
等によるインターネット等の通信ネットワークである。The communication network 30 includes the video distribution device 1
0 is a bidirectional transmission path connecting the video receiving device 20 and a broadcasting / communication network such as CATV, a telephone network, a communication network such as the Internet such as a data communication network.

【００２５】以上のように構成された映像配信システム
１の動作について、図２に示されたシーケンス（本シス
テムの主な処理の流れ）に沿って順に説明する。なお、
本図のシーケンスにおいては、ある一時点における多視
点映像についての流れを示している。The operation of the video distribution system 1 configured as described above will be described in order along the sequence shown in FIG. 2 (main processing flow of this system). In addition,
The sequence of this figure shows the flow of multi-view video at a certain point in time.

【００２６】映像配信装置１０の映像取得部１１０は、
映像を取得することが可能なビデオカメラなどの撮影機
器が複数台で構成されており、限定された撮影空間内の
複数の被写体を様々な視点および角度からそれぞれ撮影
した複数の映像（多視点映像）を取得する（Ｓ１１）。
本実施の形態の映像配信装置１０では、限定された空間
を様々な視点および角度から撮影した映像が必要となる
ため、できる限り多くの撮影機器を分散させて撮影空間
に配置することが望ましいが、本発明は機器の台数や配
置位置などには限定されない。映像取得部１１０により
取得された多視点映像は、ケーブルや無線通信を利用す
ることにより、映像解析部１２０に伝送される。本実施
の形態では、各々の映像取得部１１０により取得された
映像はすべて１台の映像解析部１２０に伝送され、集中
的に管理されるものとするが、映像解析部１２０は、撮
影機器ごとに備えられていてもよい。The video acquisition unit 110 of the video distribution device 10 is
Multiple image capture devices such as video cameras capable of capturing images are used to capture multiple images of multiple subjects within a limited shooting space from various viewpoints and angles (multi-view images. ) Is acquired (S11).
In the video distribution device 10 of the present embodiment, it is desirable to disperse as many image-capturing devices as possible in the image-capturing space, since it is necessary to capture images of the limited space from various viewpoints and angles. The present invention is not limited to the number of devices, the arrangement position, or the like. The multi-view video acquired by the video acquisition unit 110 is transmitted to the video analysis unit 120 by using a cable or wireless communication. In the present embodiment, all the images acquired by the respective image acquisition units 110 are transmitted to one image analysis unit 120 and are centrally managed, but the image analysis unit 120 does May be equipped with.

【００２７】映像解析部１２０は、映像取得部１１０に
より取得された各々の映像を解析したりして、各映像の
内容（画面のどの位置に何の被写体（例えば、選手）が
写っているか）をフレームごとにそれぞれ取得し、取得
結果をＭＰＥＧ７などのマルチメディアコンテンツの記
述子（Ｄｅｓｃｒｉｐｔｏｒ）で記述した内容情報とし
て各映像のフレームごとに生成する（Ｓ１２）。内容情
報の生成には、（１）内容情報の抽出と、（２）内容情
報の記述との２段階のステップが必要となる。内容情報
は、撮影されている映像の内容に大きく依存するが、例
えばサッカーなどのスポーツ中継であれば、映像の大部
分は競技中の選手の映像であると考えられる。そこで、
本実施の形態では、映像を解析することによって、映像
に含まれている選手を同定し、選手名とその選手が映像
中で表示されている位置を内容情報として生成すること
を考える。以下ではまず、内容情報の抽出の例として、
映像中の選手の同定（誰が写っているか）および、その
表示位置の取得を実現するための２通りの方法（計測器
を用いた方法、画像処理を用いた方法）について述べ
る。The image analysis unit 120 analyzes each image acquired by the image acquisition unit 110, and the content of each image (what position (for example, player) appears in what position on the screen) Is acquired for each frame, and the acquisition result is generated for each frame of each video as content information described in a descriptor (Descriptor) of multimedia content such as MPEG7 (S12). The generation of the content information requires two steps of (1) extraction of the content information and (2) description of the content information. The content information largely depends on the content of the video being shot, but in the case of a sports broadcast such as soccer, most of the video is considered to be the video of a player in competition. Therefore,
In the present embodiment, it is considered that a player included in the video is identified by analyzing the video, and a player name and a position where the player is displayed in the video are generated as content information. Below, first, as an example of extraction of content information,
Two methods (method using a measuring instrument and method using image processing) for identifying the player in the video (who is in the image) and acquiring the display position will be described.

【００２８】１．計測器を用いた方法 計測器を用いた方法では、空間中の任意の点を基準点と
する座標系（以降、グローバル座標系と称す）における
３次元位置が計測可能で、固有のＩＤ番号が割り当てら
れている位置センサ（例えば、ＧＰＳ。以降、位置セン
サと称す）を、同定したい個々の対象物に装着する。こ
れにより、各々の対象物が同定でき、しかも３次元位置
を取得することが可能となる。次に、映像を取得するた
めのカメラを様々な位置・角度に設置する。1. Method using a measuring instrument With the method using a measuring instrument, it is possible to measure a three-dimensional position in a coordinate system (hereinafter referred to as a global coordinate system) with an arbitrary point in space as a reference point, and a unique ID number The assigned position sensor (for example, GPS; hereinafter referred to as a position sensor) is attached to each object to be identified. As a result, each object can be identified and the three-dimensional position can be acquired. Next, cameras for capturing images are installed at various positions and angles.

【００２９】本実施の形態１では、設置されたカメラは
固定し、パンやチルトは行わないものとする。したがっ
て、固定した状態で撮影空間をすべてカバーできるだけ
のカメラを用意しなければならない。固定位置が決定さ
れたすべてのカメラに関して、グローバル座標系におけ
る位置および、視線（視準）方向ベクトルを求め、映像
解析部１２０にあらかじめ通知しておく。なお、本実施
の形態で用いるカメラは、図３（ａ）に示されるよう
に、投影方向がカメラに固定された座標系（以降、カメ
ラ座標系と称す）で表現した場合のカメラの視線方向
（Ｚ軸）に一致し、Ｚ軸上のＺ＝０の位置に投影中心が
あり、投影面がＺ＝ｄであるとする。対象物に装着され
た位置センサからは、個々の位置センサに割り当てられ
たＩＤ番号および３次元位置座標が時系列に映像解析部
１２０に入力される。ＩＤ番号は、対象物を同定するた
めに必要である。In the first embodiment, the installed camera is fixed and panning and tilting are not performed. Therefore, it is necessary to prepare a camera that can cover the entire shooting space in a fixed state. The position in the global coordinate system and the line-of-sight (collimation) direction vector are obtained for all the cameras whose fixed positions have been determined, and the image analysis unit 120 is notified in advance. It should be noted that the camera used in the present embodiment, as shown in FIG. 3A, has a line-of-sight direction of the camera when the projection direction is represented by a coordinate system fixed to the camera (hereinafter referred to as a camera coordinate system). It is assumed that the projection center coincides with (Z axis), the projection center is located at Z = 0 on the Z axis, and the projection surface is Z = d. From the position sensor attached to the object, the ID number and the three-dimensional position coordinate assigned to each position sensor are input to the image analysis unit 120 in time series. The ID number is necessary to identify the object.

【００３０】次に、位置センサからの情報およびカメラ
の位置情報を用いて対象物が映像（画面上）のどの位置
に表示されているのかを同定する方法について説明す
る。まず、グローバル座標系における位置センサの３次
元位置座標を、カメラ座標系における表現に変換する。
グローバル座標系をｉ番目のカメラのカメラ座標系に変
換する行列をＭｖｉ、グローバル座標系における位置セ
ンサの出力をｖｗとすると、カメラ座標系における位置
センサの出力（座標）ｖｃは、ｖｃ＝Ｍｖｉ・ｖｗで求
められる。ここで、「・」は行列とベクトルの積を表
す。また、この式を行列およびベクトルの成分を用いて
表すと次のようになる。Next, a method of identifying at which position of the image (on the screen) the object is displayed using the information from the position sensor and the position information of the camera will be described. First, the three-dimensional position coordinates of the position sensor in the global coordinate system are converted into an expression in the camera coordinate system.
Assuming that Mvi is the matrix for converting the global coordinate system to the camera coordinate system of the i-th camera and vw is the output of the position sensor in the global coordinate system, the output (coordinates) vc of the position sensor in the camera coordinate system is vc = Mvi. It is calculated by vw. Here, "." Represents a product of a matrix and a vector. Further, this equation is expressed as follows using matrix and vector components.

【数１】 [Equation 1]

【００３１】次に、カメラの投影面における位置センサ
の２次元座標を、投影変換を用いることにより求める。
図３（ａ）を投影面に沿って上方から見た図３（ｂ）
と、図３（ａ）を投影面に沿って側方から見た図３
（ｃ）とより、投影面における座標ｖｐ＝（ｘｐ，ｙ
ｐ）は、ｘｐ＝ｘｃ／（ｚｃ／ｄ）、ｙｐ＝ｙｃ／（ｚ
ｃ／ｄ）となる。そして、算出されたｘｐ、ｙｐが、そ
のカメラの投影面（画面）内に収まっているか否かを判
定し、収まっている場合にはその座標を表示位置として
取得する。以上の処理を、すべてのカメラおよびすべて
の対象物に施すことにより、各々のカメラについて現在
どの対象物がどの位置に表示されているのかを決定す
る。Next, the two-dimensional coordinates of the position sensor on the projection plane of the camera are obtained by using projection conversion.
FIG. 3B is a top view of FIG. 3A along the projection plane.
3 is a side view of FIG. 3A along the projection plane.
From (c), coordinates vp = (xp, y on the projection plane
p) is xp = xc / (zc / d), yp = yc / (z
c / d). Then, it is determined whether or not the calculated xp and yp are within the projection plane (screen) of the camera, and if they are within the projection plane, the coordinates are acquired as the display position. By performing the above processing on all the cameras and all the objects, it is determined which object is currently displayed at which position for each camera.

【００３２】２．画像処理を用いた方法 画像処理を用いた方法では、位置センサなどは利用せず
カメラから取得される映像のみから内容情報の抽出を行
うため、計測器を用いた場合のようにカメラは固定され
ている必要はない。映像から対象物を同定するために
は、映像から対象物のみを切り出し、さらにその対象物
を同定する必要がある。対象物を映像から切り出す方法
に関しては特に限定しないが、上述したスポーツ中継の
例では、基本的に背景が単一色であること（例えばサッ
カーやアメリカンフットボール中継であれば背景は芝生
の色であることが殆どである。）が多いため、色情報を
用いて背景と対象物を分離することが可能である。以下
では、映像から抽出された複数の対象物を同定するため
の技術について述べる。2. Method using image processing With the method using image processing, the position information is not used and the content information is extracted only from the images acquired by the camera.Therefore, the camera is fixed as when using a measuring instrument. You don't have to. In order to identify the object from the image, it is necessary to cut out only the object from the image and further identify the object. Although there is no particular limitation on the method of cutting out the object from the image, in the above example of sports broadcasting, the background is basically a single color (for example, in the case of soccer or American football broadcasting, the background is the color of the lawn. However, it is possible to separate the background from the object using the color information. Below, the technique for identifying the some target object extracted from the image | video is described.

【００３３】（１）テンプレートマッチング 個々の選手について、数多くのテンプレート画像を用意
しておき、背景から分離された対象物とテンプレート画
像とのマッチングを図り、最も適合していると考えられ
る画像から選手を同定する。具体的にはまず、映像に含
まれるある選手に着目し、その選手を囲む最小の矩形
（以降、「対象矩形」と称す）を求める。次に、あるテ
ンプレート（矩形であるとする）について、それが対象
矩形よりも大きな場合はダウンサンプリング、小さな場
合はアップサンプリングすることにより、矩形の大きさ
を合わせる。そして、対象矩形のある位置における画素
値と、テンプレート画像のそれと同じ位置の画素値との
差分を取る。以上の処理をすべての画素で行い、その総
和Ｓを算出する。すべてのテンプレート画像に関して上
述の処理を行い、Ｓが最小となるテンプレート画像の選
手が、同定の対象となっている選手であるとする。(1) Template Matching A large number of template images are prepared for each player, the object separated from the background is matched with the template image, and the player considered to be the most suitable image. Identify. Specifically, first, attention is paid to a certain player included in the video, and the smallest rectangle (hereinafter, referred to as “target rectangle”) surrounding the player is obtained. Next, for a certain template (which is assumed to be a rectangle), the size of the rectangle is adjusted by down-sampling if it is larger than the target rectangle and up-sampling if it is smaller. Then, the difference between the pixel value at a certain position of the target rectangle and the pixel value at the same position as that of the template image is calculated. The above processing is performed for all pixels, and the sum S thereof is calculated. It is assumed that the above-described processing is performed on all the template images and the player of the template image having the smallest S is the player who is the identification target.

【００３４】（２）動き予測 スポーツ中継映像では、選手の動きは連続であるため、
フレーム間で劇的に変化することはない。また、移動す
る方向や速度に関しても制限されているため、現在のフ
レームにおける選手の位置が既知であれば、次のフレー
ムにおける位置をある程度予測することができる。した
がって、現在のフレームにおける選手の位置から次のフ
レームにおける選手の位置の取り得る値の範囲を予測
し、その範囲に対してのみテンプレートマッチングを用
いることができる。また、着目している選手の周りの選
手との位置関係も、劇的に変化することはないため、動
き予測のための情報として利用できる。例えば、１フレ
ーム前の画像で隣に表示されていた選手の現在のフレー
ムにおける位置が既知ならば、同定の対象となっている
選手もその周辺に存在する可能性が高く、現在のフレー
ムにおける位置を予測することができる。(2) Motion Prediction In the sports broadcast video, the motion of the athlete is continuous, so
It does not change dramatically between frames. Further, since the moving direction and speed are also limited, if the player's position in the current frame is known, the position in the next frame can be predicted to some extent. Therefore, it is possible to predict the range of possible values of the player position in the next frame from the player position in the current frame, and use the template matching only for that range. In addition, since the positional relationship between the player who is focused on and the players around him does not change dramatically, it can be used as information for motion prediction. For example, if the position of the player displayed next to the player in the image one frame before is known in the current frame, it is highly possible that the player being identified is also present in the vicinity, and the position in the current frame is high. Can be predicted.

【００３５】（３）事前取得情報の利用 スポーツ中継であれば、対戦するチーム同士は異なった
色のユニホームを着用していることが多い。ユニホーム
の色は事前に取得できるため、その色情報を用いてチー
ムを判別することが可能である。また、ユニホームには
背番号が付与されており、背番号は重複して用いられる
ことはないため、個々の選手を同定する上で、非常に有
効である。(3) Use of pre-acquired information In sports broadcasts, teams competing often wear uniforms of different colors. Since the color of the uniform can be acquired in advance, it is possible to distinguish the team using the color information. In addition, a uniform number is given to the uniform, and the uniform number is never used in duplicate, which is very effective in identifying each player.

【００３６】対象物の同定および、対象物が表示されて
いる位置の取得は、上述した方法を組み合わせることで
達成される。例えば、まず対象物の色情報とユニホーム
の色情報のマッチングを取ることによりチームの判別を
行う。次に、ユニホームの背番号の部分のみを切り出し
たテンプレート画像を数多く用意しておき、テンプレー
トマッチングを用いて背番号を識別する。背番号まで識
別できた選手は同定が完了する。同定できなかった選手
に関しては、前フレームの映像や、既に同定が完了した
周辺の選手との位置関係を利用して動き予測を行い、予
測範囲に対して選手の全身画像をテンプレート画像とし
たテンプレートマッチングを行う。位置は、主走査方
向、および副走査方向における対象矩形の左上の位置お
よび右下の位置で特定される。The identification of the object and the acquisition of the position where the object is displayed are achieved by combining the methods described above. For example, first, the team is discriminated by matching the color information of the object and the color information of the uniform. Next, many template images are prepared by cutting out only the uniform number of the uniform, and the uniform number is identified using template matching. The identification is completed for the players who can identify the uniform numbers. For players that could not be identified, motion prediction is performed using the image of the previous frame and the positional relationship with surrounding players that have already been identified, and a template that uses the full-body image of the player as a template image for the prediction range. Match. The position is specified by the upper left position and the lower right position of the target rectangle in the main scanning direction and the sub scanning direction.

【００３７】次に取得された内容情報の記述（Ｄｅｓｃ
ｒｉｐｔｉｏｎ）について述べる。内容情報の記述に
は、ＭＰＥＧ−７などのマルチメディアコンテンツの記
述様式を用いる。本実施の形態では、上記の手順で抽出
された選手名および、画像内における表示位置を、内容
情報として記述する。例えば、図４に示すように映像中
にＡ（例えば、Ａｎｎｄｏ），Ｂ（例えば、Ｎｉｙａｍ
ｏｔｏ）の２人の選手が含まれている場合には、内容情
報の記述形式の一例は図５に示されるようになる。Next, the description of the acquired content information (Desc)
ription). A description format of multimedia contents such as MPEG-7 is used to describe the contents information. In the present embodiment, the player name extracted in the above procedure and the display position in the image are described as the content information. For example, as shown in FIG. 4, A (for example, Anndo) and B (for example, Niyama) are displayed in the image.
In the case where the two players of (oto) are included, an example of the description format of the content information is as shown in FIG.

【００３８】本図において、＜Ｉｎｆｏｒｍａｔｉｏｎ
＞は内容情報の開始および終了を示す記述子（タグ）で
あり、＜ＩＤ＞は個々の選手を識別する記述子であり、
この記述子の中には選手の氏名を同定する＜ＩＤＮａｍ
ｅ＞記述子および所属を同定する＜ＩＤＯｒｇａｎｉｚ
ａｔｉｏｎ＞記述子が含まれている。＜ＲｅｇｉｏｎＬ
ｏｃａｔｏｒ＞記述子は、画像中における選手の表示さ
れている位置を示し、上述の方法によって取得されたも
のである。＜ＲｅｇｉｏｎＬｏｃａｔｏｒ＞記述子内に
ある＜Ｐｏｓｉｔｉｏｎ＞記述子に囲まれた値は順に、
選手を包含する矩形の左上のＸ座標、Ｙ座標、右下のＸ
座標、Ｙ座標を表す。なお、画像処理を用いた方法であ
れば選手を包含する矩形を取得することができるが、計
測器（位置センサ・ＧＰＳ）のみを用いる方法では、不
可能である。したがって、計測器のみを用いた場合に
は、左上座標と右下座標には同一の値、すなわち一点の
座標位置が記述される。映像解析部１２０は、複数台の
カメラから入力されたすべての映像に関してそれぞれ上
記の内容情報を生成する。また、内容情報はフレームご
とに生成されるため、映像と内容情報は１対１に対応す
る。In this figure, <Information
> Is a descriptor (tag) indicating the start and end of the content information, and <ID> is a descriptor for identifying each player,
This descriptor identifies the player's name <IDNam
e><IDOrganize to identify descriptors and affiliations
ation> descriptor is included. <RegionL
The ocator> descriptor indicates the displayed position of the player in the image, and is obtained by the above method. The values enclosed by the <Position> descriptor in the <RegionLocator> descriptor are
Upper left X coordinate, Y coordinate, lower right X of the rectangle containing the players
Represents coordinates and Y coordinates. It should be noted that a rectangle including a player can be acquired by a method using image processing, but it cannot be obtained by a method using only a measuring instrument (position sensor / GPS). Therefore, when only the measuring device is used, the same value, that is, the coordinate position of one point is described in the upper left coordinate and the lower right coordinate. The video analysis unit 120 generates the above content information for each of all the videos input from the plurality of cameras. Further, since the content information is generated for each frame, the video and the content information have a one-to-one correspondence.

【００３９】次に、配信映像マッチング部１３０、映像
情報配信部１６０および映像受信装置２０の映像出力部
２２０に関して説明する。視聴者は、映像情報配信部１
６０を介して映像出力部２２０に伝送されてくる映像を
視聴することができるが、逆に自身の嗜好情報を配信映
像マッチング部１３０に通知することが可能である。ス
ポーツ中継の場合、映像の中心は、競技に出場する選手
であり、どの選手が出場するのかは事前に確定してい
る。そこで、本実施の形態では、嗜好度の設定が可能な
対象を、競技に出場する選手であるとする。Next, the distribution video matching unit 130, the video information distribution unit 160 and the video output unit 220 of the video receiving device 20 will be described. The viewer is the video information distribution unit 1
Although the video transmitted to the video output unit 220 via 60 can be viewed, it is possible to notify the distribution video matching unit 130 of its own preference information. In the case of live sports, the center of the video is the athletes participating in the competition, and it is decided in advance which athlete will participate. Therefore, in the present embodiment, the target whose preference degree can be set is an athlete who participates in the competition.

【００４０】映像解析部１２０によって各内容情報が生
成されると、配信映像マッチング部１３０は、ライブコ
ンテンツに係る多視点映像とその内容情報とをコンテン
ツデータベース１４１に格納する（Ｓ１３）。そして、
配信映像マッチング部１３０は、上記テンプレートマッ
チング法で用いられたテンプレート画像や名前、背番号
により嗜好値入力ダイアログ１４６を生成して、嗜好デ
ータベース１４５に格納した後、コンテンツデータベー
ス１４１からライブやストレージのいずれかのモード選
択するためのモード選択ダイアログ１４２を読み出して
送信する（Ｓ１４）。映像受信装置２０のユーザがモー
ド選択ダイアログ１４２のスイッチボタンを操作部２１
０のマウスなどによりクリック操作していずれかのモー
ドを指定すると（Ｓ１５）、いずれのモードが指定され
たかを表すモード指定情報が映像受信装置２０から映像
配信装置１０に送信される（Ｓ１６）。When each content information is generated by the video analysis unit 120, the distribution video matching unit 130 stores the multi-view video and the content information of the live content in the content database 141 (S13). And
The distribution video matching unit 130 generates a preference value input dialog 146 using the template image, the name, and the uniform number used in the template matching method, stores the preference value input dialog 146 in the preference database 145, and then performs live or storage from the content database 141. The mode selection dialog 142 for selecting the mode is read and transmitted (S14). The user of the video receiving device 20 presses the switch button of the mode selection dialog 142 on the operation unit 21.
When one of the modes is designated by clicking with the mouse of 0 or the like (S15), the mode designation information indicating which mode is designated is transmitted from the video reception device 20 to the video distribution device 10 (S16).

【００４１】モード指定情報が送信されてくると、配信
映像マッチング部１３０は、ユーザが指定したモードの
コンテンツ一覧１４３をコンテンツデータベース１４１
から読み出して映像受信装置２０に送信すると共に（Ｓ
１７）、ライブコンテンツと映像記録部１４０に格納さ
れたストレージコンテンツとを切換配信するための図示
しないスイッチを指定側に切り換える。When the mode designation information is transmitted, the distribution video matching unit 130 stores the content list 143 of the mode designated by the user in the content database 141.
Read out from the image and transmitted to the video receiver 20 (S
17) A switch (not shown) for switching and delivering the live content and the storage content stored in the video recording unit 140 is switched to the designated side.

【００４２】映像受信装置２０のユーザが操作部２１０
のマウスなどに所望のコンテンツをクリック操作してコ
ンテンツを指定すると、映像受信装置２０から映像配信
装置１０にユーザが指定したコンテンツ名が送信される
（Ｓ１８）。The user of the video receiver 20 operates the operation unit 210.
When a desired content is clicked on the mouse or the like to specify the content, the content name designated by the user is transmitted from the video reception device 20 to the video distribution device 10 (S18).

【００４３】コンテンツが指定されると、配信映像マッ
チング部１３０は、内容情報に基づき指定されたコンテ
ンツに関する嗜好情報を設定するためのテーブル、嗜好
値入力ダイアログ１４６を嗜好データベース１４５から
読み出し、エディトプログラムなどと共に映像受信装置
２０に送信する（Ｓ１９）。この嗜好値入力ダイアログ
１４６は、例えば、エディット画像、スクリプト（氏
名、背番号等）からなり、テンプレートマッチング法に
用いるテンプレート画像や、氏名、背番号等に基づいて
配信映像マッチング部１３０により生成され、映像記録
部１４０の嗜好データベース１４５に格納される。な
お、この嗜好値入力ダイアログ１４６の送信は、ライブ
コンテンツの中継途中であってもよいが、中継が開始さ
れる以前の方が好ましい。この理由は、最新の嗜好情報
が取得されるまでの間は例えば嗜好履歴テーブル１４７
に格納されている前回行われた同一カードの際に取得し
た嗜好履歴で映像を選択する方策しかないため、できる
だけ早く最新の嗜好で映像を選択した方が、嗜好により
合致するからである。When the content is designated, the distribution video matching unit 130 reads a table for setting the preference information about the designated content based on the content information, the preference value input dialog 146 from the preference database 145, and edit program etc. At the same time, the image is transmitted to the video receiver 20 (S19). The preference value input dialog 146 is composed of, for example, an edit image and a script (name, uniform number, etc.), and is generated by the distribution image matching unit 130 based on the template image used in the template matching method, the name, uniform number, etc. It is stored in the preference database 145 of the video recording unit 140. The transmission of the preference value input dialog 146 may be performed while the live content is being relayed, but it is preferable that the transmission is performed before the relay is started. The reason for this is, for example, the preference history table 147 until the latest preference information is acquired.
This is because there is only a way to select an image based on the preference history acquired for the same card that was previously performed and stored in, so that it is better to select the image with the latest preference as soon as possible.

【００４４】図６に、嗜好値入力ダイアログ１４６のＧ
ＵＩインタフェースの一例を示す。図６のインタフェー
スは、出場する選手の「顔画像」、「氏名」、「背番
号」および、嗜好度を入力する「エディットボックス」
（スピンボックス）より構成される。視聴者は、操作部
２１０のリモートコントローラや、キーボードなどのデ
バイスを用いて、嗜好度を決定したい選手のエディット
ボックス位置にカーソルを合わせ、嗜好度を入力する。
または、エディットボックスの横にある上下の矢印アイ
コンにカーソルを合わせて、クリックして嗜好度の値を
上下させて決定する方法でもよい。本実施の形態では、
嗜好度「０」の場合に最も低く、嗜好度「１００」の場
合に最も高いとする。なお、上述の方法は絶対評価を用
いた方法であるが、出場する選手に順序付けを行うなど
の相対評価の方法でもよい。以上の方法により取得され
た嗜好情報は、映像配信装置１０に送信される（Ｓ２
０）。図７に嗜好情報の一例を示す。本図に示されるよ
うに嗜好情報は、内容情報と同様にＭＰＥＧ−７などの
マルチメディアコンテンツの記述様式を用いて記述され
ており、個々の選手を識別する記述子＜ＩＤ＞と、この
記述子の中には選手の氏名を同定する記述子＜ＩＤＮａ
ｍｅ＞と、嗜好度を同定する記述子＜Ｐｒｅｆｅｒｅｎ
ｃｅ＞とが含まれている。この嗜好情報は、映像情報配
信部１６０を介して、配信映像マッチング部１３０に通
知され、嗜好履歴テーブル１４７に更新記憶される（Ｓ
２１）。FIG. 6 shows G of the preference value input dialog 146.
An example of a UI interface is shown. The interface shown in FIG. 6 is the "face image", "name", "back number" of the participating player, and "edit box" for inputting the degree of preference.
(Spin box). The viewer uses the remote controller of the operation unit 210 or a device such as a keyboard to position the cursor on the edit box position of the player whose preference level is to be determined and input the preference level.
Alternatively, it is also possible to place the cursor on the up and down arrow icons next to the edit box and click to raise or lower the preference value to determine it. In this embodiment,
The degree of preference is “0”, the lowest, and the degree of preference “100” is the highest. Although the above method is a method using absolute evaluation, it may be a method of relative evaluation such as ordering the participating players. The preference information acquired by the above method is transmitted to the video distribution device 10 (S2).
0). FIG. 7 shows an example of preference information. As shown in the figure, the preference information is described using a description format of multimedia content such as MPEG-7 as with the content information, and a descriptor <ID> for identifying each player and this description Some children have a descriptor <IDNa that identifies the player's name.
me> and a descriptor <Preferer that identifies the degree of preference
ce> and are included. This preference information is notified to the delivery video matching unit 130 via the video information delivery unit 160 and updated and stored in the preference history table 147 (S).
21).

【００４５】嗜好情報を取得すると、配信映像マッチン
グ部１３０は、映像解析部１２０より生成された内容情
報の付与された複数の映像と、視聴者より通知された嗜
好情報やその履歴とに基づき、その視聴者にどの映像を
配信するべきかを決定するマッチング処理を実行する
（Ｓ２２）。以下、そのマッチング処理について、２通
りの方法（最も嗜好度の高い対象物を利用して決定する
方法、個々の嗜好度から総合的に決定する方法）を具体
的に説明する。When the preference information is acquired, the distribution video matching unit 130, based on the plurality of videos to which the content information generated by the video analysis unit 120 is added, and the preference information and its history notified by the viewer. A matching process is executed to determine which video should be delivered to the viewer (S22). Hereinafter, the matching process will be specifically described by two methods (a method of determining an object having the highest degree of preference and a method of comprehensively determining the degree of preference).

【００４６】１．最も嗜好度の高い対象物を利用して決
定する方法 嗜好度の最も高い選手が表示されている映像を配信する
場合には、例えば図８に示されるフローチャートの手順
にしたがう。1. Method of deciding using object having the highest degree of preference When distributing the video in which the player having the highest degree of preference is displayed, for example, follow the procedure of the flowchart shown in FIG.

【００４７】（１）視聴者より通知された嗜好情報を分
析し、最も嗜好度の高い選手（以降、配信対象選手とも
称す）を決定する（Ｓ２２０１）。(1) The preference information notified by the viewer is analyzed, and the player with the highest degree of preference (hereinafter, also referred to as distribution target player) is determined (S2201).

【００４８】（２）映像解析手段より伝送されてきた内
容情報を分析し、配信対象選手が写っている映像の数を
判断する（Ｓ２２０２）。複数の視点からの映像のう
ち、（１）で決定された配信対象選手が表示されている
映像を配信映像の候補とする。配信対象選手の表示され
ている映像が１つに限定されている場合には、そのカメ
ラからの映像に決定し（Ｓ２２０３）、この映像を視聴
者に配信する。(2) The content information transmitted from the video analysis means is analyzed to determine the number of videos showing the distribution target player (S2202). Among the videos from a plurality of viewpoints, the video in which the distribution target player determined in (1) is displayed is a distribution video candidate. When the number of videos displayed by the distribution target player is limited to one, the video from the camera is determined (S2203), and this video is distributed to the viewer.

【００４９】（３）複数の映像に配信対象選手が表示さ
れている場合には、それらの中から、最も適当だと考え
られる映像を配信するが、その決定方法は特に限定しな
い。例えば、内容情報の＜ＲｅｇｉｏｎＬｏｃａｔｏｒ
＞の記述子（Ｄｅｓｃｒｉｐｔｏｒ）で、矩形情報が取
得されている場合には（Ｓ２２０４でＹｅｓ）、配信対
象選手を包含している矩形の面積を算出し、最も面積が
大きな映像に決定し（Ｓ２２０５）、この映像を配信映
像とする。(3) When a player to be distributed is displayed in a plurality of videos, the video considered to be the most suitable is distributed from those videos, but the determination method is not particularly limited. For example, <RegionLocator of content information
When the rectangle information is acquired by the descriptor (Descriptor) of> (Yes in S2204), the area of the rectangle including the distribution target player is calculated, and the image having the largest area is determined (S2205). ), This video is the distribution video.

【００５０】また、矩形情報が取得されていない場合に
は（Ｓ２２０４でＮｏ）、配信対象選手の表示されてい
る位置を取得し、画面の中心に最も近いものを配信映像
とする（Ｓ２２０６）方法が考えられる。なお、配信対
象選手が写っている映像の数が「０」の場合には、次番
手の選手を決定し、次番手の選手についてステップＳ２
２０２〜Ｓ２２０６の処理を実行することにより配信映
像を決定すればよい（Ｓ２２０７）。If the rectangle information is not acquired (No in S2204), the displayed position of the player to be distributed is acquired, and the one closest to the center of the screen is set as the distribution image (S2206). Can be considered. When the number of videos showing the distribution target player is “0”, the next player is determined and the next player is selected in step S2.
The distribution video may be determined by executing the processes of 202 to S2206 (S2207).

【００５１】２．個々の嗜好度から総合的に決定する方
法 個々の選手の嗜好度に基づき、総合的に判断して配信映
像を決定する場合には、例えば図９に示されるフローチ
ャートの手順にしたがう。2. Method of comprehensively determining from individual preference level When comprehensively determining the distribution video based on the individual preference level of each player, for example, the procedure of the flowchart shown in FIG. 9 is followed.

【００５２】（１） すべてのカメラからの映像に関し
て、内容情報の＜ＲｅｇｉｏｎＬｏｃａｔｏｒ＞の記述
子（Ｄｅｓｃｒｉｐｔｏｒ）で矩形情報が取得されてい
るか否か判断する（Ｓ２２１１）。矩形情報が取得され
ている場合には（Ｓ２２１１でＹｅｓ）、個々の選手を
包含する矩形の面積を算出する（Ｓ２２１２）。矩形情
報が取得されていない場合には（Ｓ２２１１でＮｏ）、
画面中心で最大値を取り、画面の淵で最小値を取る関数
（例えば、ｆ（ｘ，ｙ）＝ｓｉｎ（π＊ｘ／（２＊ｘ＿
ｍｉｄ））＊ｓｉｎ（π＊ｙ／（２＊ｙ＿ｍｉｄ））は
上記の条件を満たす。 但し、ｘ、ｙは画素位置、ｘ＿
ｍｉｄ、ｙ＿ｍｉｄは画面中心の座標であり、＊は積を
示す。）を規定し、個々の選手の位置を入力して関数の
値を求める（Ｓ２２１５）。(1) It is determined whether or not rectangular information has been acquired from the <RegionLocator> descriptor (Descriptor) of the content information for the images from all cameras (S2211). If the rectangle information has been acquired (Yes in S2211), the area of the rectangle including each player is calculated (S2212). When rectangle information is not acquired (No in S2211),
A function that takes a maximum value at the center of the screen and a minimum value at the edge of the screen (for example, f (x, y) = sin (π * x / (2 * x_
mid)) * sin (π * y / (2 * y_mid)) satisfies the above condition. However, x and y are pixel positions, and x_
mid and y_mid are coordinates of the center of the screen, and * indicates a product. ) Is defined and the position of each player is input to obtain the value of the function (S2215).

【００５３】（２） （１）で求めた値と、対応する選
手の嗜好度との積を算出し、さらに画面に表示されてい
る選手の値の総和をとって、当該画像における目的関数
の値とする（Ｓ２２１３，Ｓ２２１６）。(2) The product of the value obtained in (1) and the degree of preference of the corresponding player is calculated, and the sum of the values of the players displayed on the screen is calculated to obtain the objective function of the image. The value is set (S2213, S2216).

【００５４】（３） （２）の値が最大となる視点から
の映像を配信映像に決定する（Ｓ２２１４，Ｓ２２１
７）。(3) The video from the viewpoint having the maximum value of (2) is determined as the distribution video (S2214, S221).
7).

【００５５】ここで、１フレームごとに上記の処理を行
うと、映像が次々に切り替わってしまう可能性があるた
め、配信映像マッチング部１３０では、数フレームおき
に上記の方法を適用し、視聴者に配信する映像を決定す
る。Here, if the above processing is performed for each frame, the video may be switched one after another. Therefore, the distribution video matching unit 130 applies the above method every several frames to the viewer. Determine the video to be distributed to.

【００５６】以上のようにして配信映像の決定が終わる
と、配信映像マッチング部１３０は、決定した映像をス
トリーム配信する（図２のＳ２３）。そして、映像受信
装置２０の映像出力部２２０は、送受信部２３０を介し
て配信されてきた映像をその画面上に再生する（図２の
Ｓ２４）。When the distribution video is determined as described above, the distribution video matching unit 130 streams the determined video (S23 in FIG. 2). Then, the video output unit 220 of the video reception device 20 reproduces the video delivered via the transmission / reception unit 230 on the screen (S24 of FIG. 2).

【００５７】このようにして、実施の形態１に係る映像
配信システム１によれば、映像配信装置１０において多
視点映像の中から各ユーザの嗜好に合致した映像が数フ
レームごとに選択されて映像受信装置２０に配信され、
これが映像受信装置２０の映像出力部２２０において再
生される。As described above, according to the video distribution system 1 according to the first embodiment, the video distribution apparatus 10 selects the video that matches the taste of each user from the multi-view video every several frames. Delivered to the receiving device 20,
This is reproduced in the video output unit 220 of the video receiving device 20.

【００５８】続いて、視聴者は、配信されてくる映像に
対して働きかけを行うことにより、付加情報を取得する
ことが可能である（図２のステップＳ２５〜Ｓ２９）。
以下では、例えば、操作部２１０のマウスのようなポイ
ンティングデバイスを用いて付加情報を取得する方法に
ついて述べる。Subsequently, the viewer can obtain the additional information by working on the delivered video (steps S25 to S29 in FIG. 2).
Hereinafter, for example, a method of acquiring additional information by using a pointing device such as a mouse of the operation unit 210 will be described.

【００５９】例えば、図４に示されるように映像中に
Ａ，Ｂの２人の選手が含まれている場合において、例え
ば右側の選手Ｂ（Ｎｉｙａｍｏｔｏ）の付加情報を取得
したいとき、ユーザは、ポインティングデバイスのカー
ソルを対象Ｂ上に合わせてクリックする（図２のＳ２
５）。クリックされると、その画面上での位置情報が映
像配信装置１０の映像情報配信部１６０を介して配信映
像マッチング部１３０に通知される（図２のＳ２６）。
そして、配信映像マッチング部１３０は、配信映像に付
与されている内容情報からどの対象が選択されたのかを
特定し、その結果を付加情報提供部１５０に通知する
（図２のＳ２７）。例えば、図４に示される画像が表示
されている場合に、右側の画像上の位置がクリックされ
た場合、配信映像マッチング部１３０は、図５に示され
る内容情報に基づいてＮｉｙａｍｏｔｏだけを通知す
る。付加情報提供部１５０は、選択された対象であるＮ
ｉｙａｍｏｔｏに関する付加情報を付属情報テーブル１
５１から読み出し、付加情報を配信映像マッチング部１
３０および、映像情報配信部１６０を介して、映像受信
装置２０の映像出力部２２０に送信する（図２のＳ２
８）。この付加情報は、図１０に示されるように、上記
ＭＰＥＧ７にしたがう記述子で記述されており、個々の
選手を識別する記述子＜ＩＤ＞と、この記述子の中には
選手の氏名を同定する記述子＜ＩＤＮａｍｅ＞と、生年
月日を表す記述子＜ＤａｔｅＯｆＢｉｒｔｈ＞と、主な
経歴を表す記述子＜Ｃａｒｅｅｒ＞と、特徴を表す記述
子＜ＳｐｅｃｉａｌＡｂｉｌｉｔｙ＞と、選手のコメン
トを表す記述子＜Ｃｏｍｍｅｎｔ＞とが含まれている。For example, in the case where two players A and B are included in the video as shown in FIG. 4, for example, when the user wants to obtain additional information of the player B (Niyamoto) on the right side, the user Place the cursor of the pointing device on the target B and click (S2 in FIG. 2).
5). When clicked, the position information on the screen is notified to the distribution video matching unit 130 via the video information distribution unit 160 of the video distribution device 10 (S26 in FIG. 2).
Then, the delivery video matching unit 130 identifies which target has been selected from the content information attached to the delivery video, and notifies the additional information providing unit 150 of the result (S27 of FIG. 2). For example, when the image on the right side is clicked when the image shown in FIG. 4 is displayed, the delivery video matching unit 130 notifies only Niyamoto based on the content information shown in FIG. . The additional information providing unit 150 determines N which is the selected target.
Additional information about iyamato is attached information table 1
51, the additional information is read from the distribution video matching unit 1
30 and the video information distribution unit 160 to the video output unit 220 of the video reception device 20 (S2 of FIG. 2).
8). As shown in FIG. 10, this additional information is described in the descriptor according to the MPEG7, and the descriptor <ID> for identifying each player and the player's name are identified in this descriptor. Descriptor <IDName>, descriptor <DateOfBirth> that represents the date of birth, descriptor <Carer> that represents the main career, descriptor <SpecialAbility> that represents the characteristics, and descriptor <that represents the player's comment Comment> is included.

【００６０】なお、選択された対象に関連する情報が記
録されていない場合には、情報が存在しないことを通知
するメッセージを送信する。最後に、映像出力部２２０
は、送受信部２３０を介して配信されてきた付加情報を
その画面上に再生する（図２のＳ２９）。When the information related to the selected object is not recorded, a message notifying that the information does not exist is transmitted. Finally, the video output unit 220
Reproduces the additional information distributed via the transmitting / receiving unit 230 on the screen (S29 of FIG. 2).

【００６１】このように、実施の形態１に係る映像配信
システム１によれば、視聴者は複数の視点から撮影され
た映像の中から、好みに合致した映像を視聴することが
できるだけでなく、さらに、配信される映像に働きかけ
を行うことによって、興味をもっている対象に関連する
情報（付加情報）を取得することが可能となる。As described above, according to the video distribution system 1 according to the first embodiment, not only the viewer can view the video that matches his or her taste, but also the video taken from a plurality of viewpoints. Further, by acting on the distributed video, it becomes possible to acquire information (additional information) related to the object of interest.

【００６２】（実施の形態２）次いで、本発明の実施の
形態２に係る映像配信システムを、図面に基づいて説明
する。なお、この実施の形態２においても、限定された
空間の撮影対象として、サッカーなどのスポーツ中継の
場合の選手を中心とした映像を例に挙げて説明するが、
本発明は任意の撮影空間および撮影対象に対して適用可
能である。(Second Embodiment) Next, a video distribution system according to a second embodiment of the present invention will be described with reference to the drawings. It should be noted that, also in the second embodiment, as an image capturing target in a limited space, an image centering on a player in the case of sports relay such as soccer will be described as an example.
The present invention can be applied to any photographing space and subject.

【００６３】図１１は、本発明の実施の形態２における
映像配信システム２の機能構成を示すブロック図であ
る。実施の形態１の映像配信システム１と対応する機能
構成については同じ番号を付し、その詳細な説明を省略
する。この映像配信システム２は、映像配信装置４０
と、映像受信装置５０と、これらを接続する通信ネット
ワーク３０とから構成され、多視点映像の中からユーザ
の嗜好に合致した映像を再生するシステムである点で実
施の形態１の映像配信システム１と同様であるが、実施
の形態１では、映像配信装置１０が利用者の嗜好に応じ
た映像等のコンテンツを決定しストリーム配信したのに
対して、この映像配信システム２では、映像配信装置４
０は多視点映像のコンテンツ等のすべて（選択される可
能性のあるすべてのコンテンツ）をストリーム配信して
おき、映像受信装置５０が利用者の嗜好に応じた映像等
を選択決定し再生するようにした点で異なっている。FIG. 11 is a block diagram showing a functional configuration of the video distribution system 2 according to the second embodiment of the present invention. The same numbers are assigned to the functional configurations corresponding to those of the video distribution system 1 of the first embodiment, and detailed description thereof will be omitted. The video distribution system 2 includes a video distribution device 40.
The video distribution system 1 according to the first embodiment in that it is a system configured to include a video reception device 50 and a communication network 30 that connects them, and reproduces a video that matches a user's preference from multi-view video. However, in the first embodiment, the video distribution apparatus 10 determines the content such as the video according to the taste of the user and stream-distributes it, whereas in the video distribution system 2, the video distribution apparatus 4
In 0, all contents (all contents that may be selected) of multi-view video are streamed in advance, and the video receiving device 50 selects and determines the video or the like according to the taste of the user and reproduces it. It is different in that it is set.

【００６４】この映像配信システム２の映像配信装置４
０は、内容情報および付加情報を付加した複数の映像
（多視点映像）の映像コンテンツ等を映像受信装置５０
に向けてストリーム配信するコンピュータ等からなる配
信サーバであり、映像取得部１１０と、映像解析部１２
０と、付加情報提供部４１０と、映像記録部４２０と、
映像多重化部４３０と、多重化映像情報配信部４４０と
を備えている。Video distribution device 4 of this video distribution system 2
0 represents the video content of a plurality of videos (multi-view video) to which the content information and the additional information are added, and the like.
Is a distribution server including a computer and the like for stream distribution to a video, and includes a video acquisition unit 110 and a video analysis unit 12.
0, an additional information providing unit 410, a video recording unit 420,
A video multiplexing unit 430 and a multiplexed video information distribution unit 440 are provided.

【００６５】付加情報提供部４１０は、映像解析部１２
０によって生成された内容情報をサーチし、内容情報に
含まれる被写体（対象物）の付加情報を付属情報テーブ
ル１５１に基づいて生成したり、内容情報および付加情
報が付加された映像を映像記録部４２０のコンテンツデ
ータベース４２１に格納したり、嗜好値入力ダイアログ
１４６を生成して嗜好データベース１４５に格納したり
する。The additional information providing unit 410 includes the video analysis unit 12
0, the content information generated by 0 is searched, the additional information of the subject (object) included in the content information is generated based on the attached information table 151, or the image to which the content information and the added information are attached is recorded on the image recording unit. The content is stored in the content database 421 of 420, or the preference value input dialog 146 is generated and stored in the preference database 145.

【００６６】映像記録部４２０は、入力側が付加情報提
供部４１０に接続されると共に出力側が映像多重化部４
３０に接続されており、内部にコンテンツデータベース
４２１と、嗜好データベース１４５とを備えている。コ
ンテンツデータベース４２１には、内容情報および付加
情報が付加された映像コンテンツ４２４自体が格納され
る。なお、嗜好データベース１４５から嗜好履歴テーブ
ル１４７が削除されている。これは、映像受信装置５０
において、利用者の嗜好に応じた映像を選択するので、
映像配信装置４０で嗜好履歴テーブル１４７を保持して
おく必要がないからである。The video recording section 420 has an input side connected to the additional information providing section 410 and an output side connected to the video multiplexing section 4.
The content database 421 and the preference database 145 are internally provided. The content database 421 stores the video content 424 itself to which the content information and the additional information are added. The preference history table 147 has been deleted from the preference database 145. This is the video receiver 50
In, in order to select the video according to the taste of the user,
This is because the video distribution device 40 does not need to hold the preference history table 147.

【００６７】映像多重化部４３０は、付加情報提供部４
１０から出力される内容情報および付加情報が付加され
たライブの多視点映像と、コンテンツデータベース４２
１に格納されたストレージの映像コンテンツ４２４とを
ユーザのモード指定に応じて選択し、映像と内容情報と
付加情報とをカメラごとに多重化し、さらにそれらの情
報を多重化することにより、１つのビットストリームを
生成したりする（図１３参照）。また、映像多重化部４
３０は、嗜好値入力ダイアログ１４６を映像受信装置５
０にストリーム配信したりする。The video multiplexing unit 430 includes the additional information providing unit 4
Live multi-view video with content information and additional information output from the content database 42.
The video content 424 of the storage stored in No. 1 is selected according to the user's mode designation, the video, the content information, and the additional information are multiplexed for each camera, and the information is further multiplexed to obtain one. A bitstream is generated (see FIG. 13). Also, the video multiplexing unit 4
30 indicates the preference value input dialogue 146 by the video receiving device 5
Streamed to 0.

【００６８】多重化映像情報配信部４４０は、通信ネッ
トワーク３０を介して映像受信装置５０と通信するため
の双方向の通信インタフェースやドライバソフト等であ
る。The multiplexed video information distribution unit 440 is a bidirectional communication interface or driver software for communicating with the video receiving device 50 via the communication network 30.

【００６９】映像受信装置５０は、ライブやストレージ
のモード選択や、嗜好値の入力等についてユーザと対話
したり、映像配信装置４０からストリーム配信されてく
る映像と内容情報と付加情報とを分離したり、複数の映
像（多視点映像）の中からユーザの嗜好や嗜好履歴に合
致した１つの映像を数フレームごとに切換・選択するよ
うな編集を行った映像コンテンツをリアルタイムに構築
し、ユーザに提示したりするパーソナルコンピュータ、
携帯電話機、携帯情報端末、デジタル放送用ＴＶ等であ
り、操作部２１０と、映像出力部２２０と、送受信部２
３０と、表示映像マッチング部５１０と、映像記録部５
２０とを備える。The video receiving device 50 interacts with the user regarding live or storage mode selection, input of preference values, and the like, and separates the video streamed from the video delivery device 40 from the content information and the additional information. Or, a video content that is edited by switching and selecting one video that matches the user's preference or preference history from several videos (multi-view video) every few frames is constructed in real time, and Personal computer to present,
A mobile phone, a personal digital assistant, a digital broadcasting TV, etc., including an operation unit 210, a video output unit 220, and a transmission / reception unit 2.
30, the display image matching unit 510, and the image recording unit 5
And 20.

【００７０】表示映像マッチング部５１０は、映像配信
装置４０からストリーム配信されてくる映像、内容情報
および付加情報をカメラごとに分離し（図１３参照）、
これらを映像記録部５２０に格納したり、映像配信装置
４０から配信されてくる嗜好値入力ダイアログ１４６を
映像記録部５２０に格納したり、操作部２１０から送ら
れてきたユーザの嗜好等と映像配信装置４０から送られ
てくる各映像の内容情報とを比較し、複数の映像（多視
点映像）の中からユーザの嗜好や嗜好履歴に合致した１
つの映像を数フレームごとに切換・選択するような編集
を行った映像コンテンツをリアルタイムに構築したりす
る。The display video matching unit 510 separates the video, content information and additional information stream-distributed from the video distribution device 40 for each camera (see FIG. 13).
These are stored in the video recording unit 520, the preference value input dialog 146 distributed from the video distribution device 40 is stored in the video recording unit 520, and the user's preference and the like sent from the operation unit 210 and the video distribution. The content information of each image sent from the device 40 is compared, and the user's preference or preference history is matched from among a plurality of images (multi-view images) 1
Video content is edited in real time by switching and selecting one video every several frames.

【００７１】映像記録部５２０は、映像配信装置４０か
ら配信されてくるライブあるいはストレージのコンテン
ツなどを保持するコンテンツデータベース５２１と、ユ
ーザごとの嗜好を取得するための嗜好データベース５２
５とを保持するハードディスク等である。コンテンツデ
ータベース５２１は、保持しているストレージコンテン
ツのコンテンツ一覧５２３およびコンテンツ５２４自体
を記憶する。また、嗜好データベース５２５は、映像配
信装置４０から送られてきたコンテンツごとの嗜好値入
力ダイアログ１４６およびユーザが入力した嗜好履歴を
格納する嗜好履歴テーブル１４７を記憶する。The video recording unit 520 has a content database 521 for holding live or storage contents distributed from the video distribution device 40, and a preference database 52 for acquiring the preference for each user.
5 is a hard disk or the like that holds The content database 521 stores the content list 523 of the stored storage content and the content 524 itself. Further, the preference database 525 stores a preference value input dialog 146 for each content sent from the video distribution device 40 and a preference history table 147 storing the preference history input by the user.

【００７２】以上のように構成された本実施の形態の映
像配信システム２の動作について、図１２に示されたシ
ーケンス（本システムの主な処理の流れ）に沿って順に
説明する。なお、本図のシーケンスにおいても、ある一
時点における多視点映像についての流れを示しており、
実施の形態１のシーケンスと対応する処理については、
詳細な説明を省略する。The operation of the video distribution system 2 of the present embodiment configured as described above will be described in order along the sequence shown in FIG. 12 (main processing flow of this system). Note that the sequence of this figure also shows the flow of multi-view video at a certain point in time,
Regarding the processing corresponding to the sequence of the first embodiment,
Detailed description is omitted.

【００７３】映像取得部１１０による複数の映像（多視
点映像）の取得が終わると（Ｓ１１）、映像解析部１２
０は多視点映像を解析して映像ごとに内容情報を生成
し、付加情報提供部４１０は内容情報をサーチし、内容
情報に含まれる被写体（対象物）の付加情報を生成する
（Ｓ３２）。例えば、映像中にＡ，Ｂの２人写っている
場合には、このＡ，Ｂ２人の付加情報を生成する。付加
情報の生成が終わると、付加情報提供部４１０は、内容
情報および付加情報が付加された映像を映像記録部４２
０のコンテンツデータベース４２１に格納する（Ｓ３
３）。そして、実施の形態１の場合と同様に、モード選
択ダイアログの送信（Ｓ１４）や、映像受信装置５０に
おけるモード指定（Ｓ１５）、モード指定情報の送信
（Ｓ１６）、コンテンツ一覧情報の送信（Ｓ１７）、コ
ンテンツ指定の送信（Ｓ１８）が順次行われる。When the acquisition of a plurality of videos (multi-view videos) by the video acquisition unit 110 is completed (S11), the video analysis unit 12
0 analyzes the multi-view video and generates content information for each video, and the additional information providing unit 410 searches the content information and generates additional information of the subject (object) included in the content information (S32). For example, when two persons A and B are shown in the video, the additional information of the two persons A and B is generated. When the generation of the additional information is completed, the additional information providing unit 410 displays the video to which the content information and the additional information are added in the video recording unit 42.
0 in the content database 421 (S3
3). Then, as in the case of the first embodiment, transmission of a mode selection dialog (S14), mode designation in the video reception device 50 (S15), transmission of mode designation information (S16), transmission of content list information (S17). , And transmission of content designation (S18) is sequentially performed.

【００７４】コンテンツの指定が行われると、映像多重
化部４３０は、指定されたライブあるいはストレージの
コンテンツの多視点映像（複数の映像）と各映像ごとの
内容情報と各映像ごとの付加情報とを多重化して送信し
た後（Ｓ３９）、このコンテンツの嗜好値入力ダイアロ
グ１４６を送信する。When the content is designated, the video multiplexing unit 430 determines the multi-view video (plural videos) of the designated live or storage content, the content information for each video, and the additional information for each video. Are transmitted after being multiplexed (S39), the preference value input dialog 146 of this content is transmitted.

【００７５】表示映像マッチング部５１０は、映像配信
装置４０から送られてきた多視点映像と各映像ごとの内
容情報と各映像ごとの付加情報とを各カメラごとに分離
してコンテンツデータベース５２１に格納し（Ｓ４
０）、さらに嗜好値入力ダイアログ１４６を嗜好データ
ベース５２５に格納する。次いで、表示映像マッチング
部５１０は、嗜好値入力ダイアログ１４６を嗜好データ
ベース５２５から読み出して映像出力部２２０に送り表
示させ（Ｓ４１）、ユーザが入力した嗜好情報を嗜好履
歴テーブル１４７に格納した後（Ｓ４２）、嗜好情報と
内容情報とを比較し、多視点映像の中からユーザの嗜好
に合致した１つの視点の映像を決定する（Ｓ４３）。な
お、この映像の決定方法は、本実施の形態１と同様であ
る。そして、表示映像マッチング部５１０は、決定した
映像を映像出力部２２０に送りその画面上に再生させる
（Ｓ４４）。The display video matching unit 510 separates the multi-view video transmitted from the video distribution device 40, the content information for each video, and the additional information for each video for each camera and stores them in the content database 521. (S4
0), and further stores the preference value input dialog 146 in the preference database 525. Next, the display image matching unit 510 reads the preference value input dialog 146 from the preference database 525, sends it to the image output unit 220 to display it (S41), and stores the preference information input by the user in the preference history table 147 (S42). ), The preference information and the content information are compared with each other, and an image of one viewpoint that matches the user's preference is determined from the multi-view images (S43). The method of determining the video is the same as in the first embodiment. Then, the display image matching unit 510 sends the determined image to the image output unit 220 and reproduces it on the screen (S44).

【００７６】このように、実施の形態２に係る映像配信
システム２によれば、映像配信装置４０は複数の映像
（多視点映像）を映像受信装置５０に送信しておき、映
像受信装置５０において多視点映像の中からユーザの嗜
好に合致した１つの映像が数フレームごとに選択決定さ
れ、再生される。As described above, according to the video delivery system 2 according to the second embodiment, the video delivery apparatus 40 transmits a plurality of videos (multi-viewpoint videos) to the video reception apparatus 50, and the video reception apparatus 50 uses the video reception apparatus 50. One video that matches the user's preference is selected and determined for every several frames from the multi-view video, and is reproduced.

【００７７】続いて、ユーザは、配信されてきた映像に
対して働きかけを行うことにより、付加情報を取得する
ことが可能である（図１２のステップＳ４５〜Ｓ４
７）。例えば、ユーザの嗜好に合致した映像が再生さ
れ、配信されている映像に付加情報を取得したい対象が
表示されている状態において、ユーザが操作部２１０の
ポインティングデバイスのカーソルを画面に映し出され
た対象の上に合わせてクリックすると、その画面上での
位置情報が表示映像マッチング部５１０に通知される
（Ｓ４５）。そして、表示映像マッチング部５１０は、
映像に付与されている内容情報からどの対象が選択され
たのかを特定し（Ｓ４６）、対応する付加情報の中から
その特定した付加情報だけを映像出力部２２０に送る。
例えば、図４に示される対象Ａ，Ｂが表示されている場
合に、右側の対象Ｂ上の位置がクリックされた場合、表
示映像マッチング部５１０は、まず、図５に示される内
容情報に基づいてＮｉｙａｍｏｔｏを特定する。する
と、表示映像マッチング部５１０は、２人についての付
加情報の中からＮｉｙａｍｏｔｏに関する付加情報だけ
を読み出し、映像出力部２２０に送る。これによって、
映像出力部２２０には、取得したい対象の付加情報だけ
が表示される（Ｓ４７）。Subsequently, the user can obtain additional information by working on the delivered image (steps S45 to S4 in FIG. 12).
7). For example, in the state where the video that matches the user's taste is reproduced and the target for which the additional information is to be acquired is displayed in the distributed video, the target displayed by the user on the screen of the cursor of the pointing device of the operation unit 210. When it is clicked on the screen, the display image matching unit 510 is notified of the position information on the screen (S45). Then, the display image matching unit 510,
Which target is selected is specified from the content information added to the video (S46), and only the specified additional information is sent to the video output unit 220 from the corresponding additional information.
For example, when the objects A and B shown in FIG. 4 are displayed and the position on the object B on the right side is clicked, the display image matching unit 510 first determines based on the content information shown in FIG. And specify Niyamoto. Then, the display image matching unit 510 reads only the additional information regarding Niyamato from the additional information regarding the two persons, and sends it to the image output unit 220. by this,
Only the additional information of the target to be acquired is displayed on the video output unit 220 (S47).

【００７８】このように、実施の形態２に係る多視点映
像配信システム２によれば、視聴者は複数の視点から撮
影された映像の中から、好みに合致した映像を視聴する
ことができるだけでなく、さらに、配信される映像に働
きかけを行うことによって、興味をもっている対象に関
連する情報（付加情報）を取得することが可能となる。As described above, according to the multi-view video distribution system 2 according to the second embodiment, the viewer can only view the video that matches his or her preference from the videos shot from a plurality of viewpoints. Instead, by further acting on the distributed video, it becomes possible to obtain information (additional information) related to the object of interest.

【００７９】ところで、映像記録部５２０のコンテンツ
データベース５２１には、映像配信装置４０から送られ
てきた多視点映像と、各映像ごとの内容情報と、各映像
ごとの付加情報とがすべて揃ったコンテンツ５２４が格
納されている。したがって、このコンテンツについて
は、映像配信装置４０から再配信を受けるまでもなく、
映像受信装置５０において、繰り返し再生することがで
きる。By the way, in the content database 521 of the video recording unit 520, the contents in which all the multi-viewpoint videos sent from the video distribution device 40, the content information for each video, and the additional information for each video are all collected. 524 is stored. Therefore, it is not necessary to re-distribute this content from the video distribution device 40.
The video receiving device 50 can repeatedly reproduce.

【００８０】また、繰り返し再生の際に、表示映像マッ
チング部５１０が、映像記録部５２０の嗜好データベー
ス５２５から嗜好値入力ダイアログ１４６を読み出し
て、ユーザが入力した前回と異なる嗜好情報に基づいて
複数の視点から撮影された映像の中から、この嗜好に合
致した映像を再生することもでき、この場合には、ユー
ザは前回とは異なる対象（選手）を中心とした別の編集
の映像を視聴することができる。Further, at the time of repeated reproduction, the display video matching unit 510 reads the preference value input dialog 146 from the preference database 525 of the video recording unit 520, and a plurality of preference information different from the previous time inputted by the user are used to output a plurality of preference information. A video that matches this preference can be reproduced from the video taken from the viewpoint, and in this case, the user views another edited video centered on a target (player) different from the previous time. be able to.

【００８１】以上、本発明に係る映像配信システムを実
施形態に基づいて説明したが、本発明は実施の形態に限
定されるものでなく、以下に述べる変形例についても適
用される。Although the video distribution system according to the present invention has been described above based on the embodiments, the present invention is not limited to the embodiments and the following modified examples are also applied.

【００８２】上記実施の形態では、映像コンテンツの配
信ごとに、嗜好値入力ダイアログ１４６を表示し、視聴
者の嗜好情報を取得するようにしたが、このようなタイ
ミングではなく、嗜好の履歴を用いて多視点映像の中か
ら１つの映像を選択するようにしてもよい。例えば、過
去に取得された視聴者の嗜好情報等を映像配信装置４０
に蓄積しておき、その情報を参照することで、映像コン
テンツの配信の度に視聴者から嗜好情報を取得するとい
う手間を省くことができる。In the above embodiment, the preference value input dialog 146 is displayed and the preference information of the viewer is acquired for each distribution of the video content, but the preference history is used instead of such timing. One image may be selected from the multi-view images. For example, the viewer's preference information or the like acquired in the past may be used as the video distribution device 40.
It is possible to save the trouble of acquiring the preference information from the viewer every time the video content is distributed, by storing the information in the above and referring to the information.

【００８３】また、上記実施の形態１では、付加情報提
供部１５０は、映像受信装置２０において位置指定がさ
れた場合にだけ、付加情報が映像配信装置１０から映像
受信装置２０に送信されたが、視聴者の指定を待たず
に、配信が決定された映像についての付加情報を映像コ
ンテンツとともにあらかじめ配信しておいてもよい。こ
れによって、視聴者が指示を発してから付加情報を取得
するまでの時間が短縮されるので、早い応答性を有する
映像配信システムが実現できる。In the first embodiment, the additional information providing section 150 sends the additional information from the video distribution apparatus 10 to the video receiving apparatus 20 only when the position is designated in the video receiving apparatus 20. Alternatively, the additional information about the video to be distributed may be distributed together with the video content in advance without waiting for the designation of the viewer. As a result, the time from when the viewer gives an instruction to when the additional information is acquired is shortened, so that a video distribution system having a quick response can be realized.

【００８４】さらに、これとは逆に、上記実施の形態２
では、付加情報提供部４１０が多視点映像のそれぞれに
ついて付加情報が添付されたが、映像受信装置５０にお
いて位置指定がされた場合にだけ付加情報を配信するよ
うにしてもよい。これによって、最終的に選択されるか
否か不明な映像コンテンツの付加情報についても配信し
ておくことに起因する通信ネットワーク３０における通
信負荷が軽減される。Further, contrary to this, the second embodiment
In the above, the additional information providing unit 410 attaches the additional information for each of the multi-view images, but the additional information may be delivered only when the position is designated in the video receiving device 50. As a result, the communication load on the communication network 30 due to the distribution of the additional information of the video content which is unknown whether or not it will be finally selected is reduced.

【００８５】また、上記実施の形態１，２では、サッカ
ーのライブ中継を例に説明したが、野球等、屋外で行わ
れるスポーツ等のライブ中継や、屋内で行われる音楽
会、芝居等のライブ中継にも勿論適用できる。In the above-described first and second embodiments, live broadcasting of soccer has been described as an example. However, live broadcasting of sports such as baseball played outdoors, live concerts held indoors, plays such as plays, etc. Of course, it can be applied to relay.

【００８６】さらに、上記実施の形態１，２では、嗜好
のほか、映像中のオブジェクトごとの大きさや、位置だ
けを映像選択の際における評価の対象としたが、この評
価の対象にオブジェクトの動きを加えるようにしてもよ
い。Further, in the first and second embodiments described above, in addition to the preference, only the size and position of each object in the image are the evaluation targets when the image is selected. May be added.

【００８７】すなわち、屋内でのライブ中継の場合、こ
の施設にモーションキャプチャシステムを設置すること
により、対象（歌手等）がステージ上を走り回るような
激しい動きを検出することもできる。一方、例えば、ラ
イブステージでは、複数の被写体が混在する中で主役
（注目される人）がリアルタイムに入れ替わるような演
出が行われたりする。このような場合、じっとしている
人を見るよりは、その時点でステージ上を走り回ってい
るような激しい動きをしている人（活躍している人）を
見たいというのが、視聴者の心理であり、嗜好に合致す
る。したがって、モーションキャプチャシステムの機器
を用いて得られる映像中で表示されている対象の動き量
を映像解析部１２０で解析し、動き量を内容情報に含
め、動きの激しい被写体ほど、注目度や、関心度が高い
として、この映像を選択するようにしてもよい。That is, in the case of live broadcasting indoors, by installing a motion capture system in this facility, it is possible to detect a violent movement such as an object (singer, etc.) running around on the stage. On the other hand, for example, on a live stage, an effect is performed in which a protagonist (a person who pays attention) is switched in real time while a plurality of subjects are mixed. In such a case, rather than looking at the person who is still, it is the viewer's desire to see the person (active person) who is making a violent movement that is running around on the stage at that time. It is psychological and matches the taste. Therefore, the image analysis unit 120 analyzes the amount of movement of the target displayed in the image obtained using the device of the motion capture system, and includes the amount of movement in the content information. This video may be selected as the degree of interest is high.

【００８８】（実施の形態３）図１４は、あるグループ
「スペード」のライブコンサートのステージの様子を示
す図である。同図に示されるように、ステージの周囲に
は、複数台（図示、４台）のカメラＣ１〜Ｃ４が固定配
設され、スペードのメンバー（図１４の左から古垣、下
原、前井、陸袋）の肢体には、複数のマーカＭがそれぞ
れ取着されている。(Embodiment 3) FIG. 14 is a diagram showing a stage of a live concert of a certain group "Spade". As shown in the figure, a plurality of (four in the figure) cameras C1 to C4 are fixedly arranged around the stage, and members of spades (from the left in FIG. 14, Kogaki, Shimohara, Maei). , A bag) has a plurality of markers M attached thereto.

【００８９】各カメラＣ１〜Ｃ４は、Ｒ，Ｇ，Ｂの各色
画像を取得するほか、赤外光を射出する発光部と、マー
カＭで反射された赤外光を受光する受光部とを備えてお
り、フレームごとにマーカで反射された映像を受光部で
取り込むように構成されている。このフレームごとのマ
ーカ映像は、例えば図１に示される映像解析部１２０に
送られて、対象の動き量が解析される。Each of the cameras C1 to C4 acquires an image of each color of R, G, B, and is provided with a light emitting section for emitting infrared light and a light receiving section for receiving the infrared light reflected by the marker M. The image is reflected by the marker for each frame and is configured to be captured by the light receiving unit. The marker image for each frame is sent to, for example, the image analysis unit 120 shown in FIG. 1 to analyze the amount of movement of the target.

【００９０】図１５は、２つのマーカ画像（Ｐ１，Ｐ
２）から動き量を解析する様子を示す図である。なお、
ここでは、図１４に示されるメンバー下原だけが映って
いる２つのマーカ画像から動き量を解析する場合が示さ
れている。FIG. 15 shows two marker images (P1, P
It is a figure which shows a mode that a motion amount is analyzed from 2). In addition,
Here, a case is shown in which the amount of movement is analyzed from two marker images in which only the member Shimohara shown in FIG. 14 is shown.

【００９１】映像解析部１２０は、２つのマーカ画像Ｐ
１，Ｐ２の対応する各マーカＭを比較し、肩、肘、手
首、…、足先といった各部分の動き量Δｖ１，Δｖ２，
Δｖ３，Δｖ４，…Δｖ（ｎ−１），Δｖｎをそれぞれ
計測する。そして、映像解析部１２０は、各部分の計測
が終わると、これらの計測値の総和を計算し、この計算
結果をその時点における映像中で表示されている対象、
歌手の動き量として取得し、取得した動き量を内容情報
に含める。なお、まず腰、肩等を基準にして、腕、手
首、といった順番で動き量を計算してもよい。また、複
数の視点から得られたマーカ画像Ｍを組み合わせ、３次
元の動きベクトルを計測してもよい。この場合には、１
つのマーカ画像Ｍでマーカが重なるような場合でも、各
マーカを峻別することができ、動き量の誤計算といった
事態を避けることができ、精度の高い動き量を求めるこ
とが出きる。The video analysis unit 120 uses the two marker images P
The respective markers M corresponding to P1 and P2 are compared, and the movement amounts Δv1, Δv2 of the respective parts such as the shoulder, elbow, wrist, ..., Toes are compared.
Δv3, Δv4, ... Δv (n−1), and Δvn are measured. Then, when the measurement of each part is completed, the image analysis unit 120 calculates the sum of these measurement values, and the calculation result is the target displayed in the image at that time.
It is acquired as the movement amount of the singer, and the acquired movement amount is included in the content information. Note that the amount of movement may be calculated in the order of the arm, the wrist, and the like, with the waist, the shoulder, and the like as references. Alternatively, the marker images M obtained from a plurality of viewpoints may be combined to measure a three-dimensional motion vector. In this case, 1
Even when the markers are overlapped in one marker image M, the markers can be discriminated from each other, the situation of incorrect calculation of the motion amount can be avoided, and a highly accurate motion amount can be obtained.

【００９２】図１６は、映像解析部１２０により生成さ
れる内容情報の一例を示す図である。この例では、＜Ｒ
ｅｇｉｏｎＬｏｃａｔｏｒ＞記述子に、画像中における
歌手の表示されている大きさを有する位置＜Ｐｏｓｉｔ
ｉｏｎ＞と、計測器（位置センサ・ＧＰＳ）等によって
取得された大きさを有さないポイントの位置＜Ｌｏｃａ
ｔｉｏｎ＞とが合わせて記述されており、対象の画面上
の大きさと、中央等の位置と両者でオブジェクト単位で
の評価を行うことができるようになっている。さらに、
この内容情報では、＜ｍｏｔｉｏｎ＞記述子により、動
き量についてオブジェクト単位での評価を行うことがで
きるようになっている。FIG. 16 is a diagram showing an example of content information generated by the video analysis unit 120. In this example, <R
The position having the displayed size of the singer in the image <Posit> in the positionLocator> descriptor
ion> and the position of a point having no size acquired by a measuring device (position sensor / GPS) or the like <Loca
is also described, so that the size of the target on the screen and the position such as the center can be evaluated in object units. further,
In this content information, the <motion> descriptor can be used to evaluate the motion amount in object units.

【００９３】このように内容情報がオブジェクトの大き
さ、位置のほか、動き量が含められて構成されている場
合、個々の歌手の嗜好度や、画面上における対象の大き
さ、位置、動き等に基づき、個々の対象をオブジェクト
ごとに評価し、総合的に判断して配信映像を決定する場
合には、例えば図１７に示されるフローチャートの手順
にしたがう。In this way, when the content information is configured to include not only the size and position of the object but also the amount of movement, the degree of preference of each singer, the size, position, movement of the target on the screen, etc. On the basis of the above, when individual objects are evaluated for each object and the distribution image is decided by making a comprehensive judgment, for example, the procedure of the flowchart shown in FIG. 17 is followed.

【００９４】配信映像マッチング部１３０は、まず、す
べてのカメラからの映像に関して、内容情報の＜Ｒｅｇ
ｉｏｎＬｏｃａｔｏｒ＞の記述子（Ｄｅｓｃｒｉｐｔｏ
ｒ）で矩形情報を参照し、個々のオブジェクト、歌手を
包含する矩形の面積を算出する（Ｓ２２２１）。矩形面
積の算出が終わると、配信映像マッチング部１３０は、
画面中心で最大値を取り、画面の淵で最小値を取る関数
（例えば、ｆ（ｘ，ｙ）＝ｓｉｎ（π＊ｘ／（２＊ｘ＿
ｍｉｄ））＊ｓｉｎ（π＊ｙ／（２＊ｙ＿ｍｉｄ））を
用いて、個々の歌手の位置に関する関数の値を算出する
（Ｓ２２２２）。関数値の値の算出が終わると、配信映
像マッチング部１３０は、すべてのカメラからの映像に
関して、内容情報の＜ｍｏｔｉｏｎ＞記述子を参照し、
動き量を読み出す（Ｓ２２２３）。First, the distribution video matching unit 130 sets the content information <Reg regarding the video from all the cameras.
IonLocator> descriptor (Descripto
The area of the rectangle including the individual objects and singers is calculated by referring to the rectangle information in r) (S2221). When the calculation of the rectangular area is completed, the distribution video matching unit 130
A function that takes a maximum value at the center of the screen and a minimum value at the edge of the screen (for example, f (x, y) = sin (π * x / (2 * x_
mid)) * sin (π * y / (2 * y_mid)) is used to calculate the value of the function relating to the position of each singer (S2222). When the calculation of the value of the function value is completed, the distribution video matching unit 130 refers to the <motion> descriptor of the content information regarding the videos from all the cameras,
The amount of movement is read (S2223).

【００９５】面積の算出、関数値の算出、動き量の読み
出しが終わると、配信映像マッチング部１３０は、すべ
てのカメラからの映像に関して、面積と対応する歌手の
嗜好度との積を算出し、さらに画面に表示されている歌
手の値の総和を算出し、位置とこの位置に対応する歌手
の嗜好度との積を算出し、さらに画面に表示されている
歌手の値の総和を算出し、さらに画面に表示されている
歌手の動き量の値の総和を算出することにより、目的関
数の値を求める（Ｓ２２２４）。そして、すべてのカメ
ラからの映像に関して、目的関数の値を求めると、目的
関数の値が最大となる視点からの映像を配信映像に決定
する（Ｓ２２２５）。When the calculation of the area, the calculation of the function value, and the reading of the motion amount are completed, the distribution video matching unit 130 calculates the product of the area and the preference of the corresponding singer for the videos from all the cameras, Furthermore, the sum of the values of the singer displayed on the screen is calculated, the product of the position and the preference of the singer corresponding to this position is calculated, and the sum of the values of the singer displayed on the screen is calculated. Further, the value of the objective function is obtained by calculating the sum of the values of the movement amount of the singer displayed on the screen (S2224). Then, when the value of the objective function is obtained for the images from all the cameras, the image from the viewpoint with the maximum value of the objective function is determined as the distribution image (S2225).

【００９６】このようにして、動き量を評価値の中に含
めると、じっとしているよりも活躍しているであろう動
きの多い歌手の映像が高く評価され、高く評価された映
像が数フレームごとに選択されることにないる。この結
果、映像配信装置１０において多視点映像の中から各ユ
ーザの嗜好に合致した映像が配信されることになる。In this way, when the motion amount is included in the evaluation value, the images of the singer who has a lot of motions that are more active than still are highly evaluated, and the number of highly evaluated images is high. It is supposed to be selected for each frame. As a result, in the video distribution device 10, a video that matches the taste of each user is distributed from the multi-view video.

【００９７】[0097]

【発明の効果】以上の説明から明らかなように、本発明
に係る映像配信装置は、通信ネットワークを介して映像
受信装置と通信する映像配信装置であって、異なる視点
からの複数の映像を取得する映像取得手段と、前記映像
ごとに、その映像に含まれる内容を解析し、解析結果を
内容情報として生成する映像解析手段と、前記各内容情
報と、視聴者より通知された嗜好情報との適合度を判定
し、配信する映像を決定し、決定した映像を配信する配
信映像マッチング手段とを備えることを特徴とする。つ
まり、異なる視点からの複数の映像の中から各映像ごと
に生成された内容情報と視聴者の嗜好情報との適合度で
決定し、視聴者の嗜好に合致した１つの映像を視聴者の
映像受信装置に対して配信する。As is apparent from the above description, the video distribution apparatus according to the present invention is a video distribution apparatus that communicates with a video reception apparatus via a communication network, and acquires a plurality of videos from different viewpoints. A video acquisition unit for analyzing the content included in the video for each of the videos and generating an analysis result as content information; the content information; and preference information notified by the viewer. And a distribution video matching unit that determines the compatibility, determines the video to be distributed, and distributes the determined video. That is, it is determined by the degree of conformity between the content information generated for each video from a plurality of videos from different viewpoints and the viewer's preference information, and one video that matches the viewer's preference is selected. Deliver to the receiving device.

【００９８】これにより、視聴者は、自己の嗜好に合致
した映像を選択的に視聴することができる。したがっ
て、映像の選択に関して視聴者の要求を満足させること
ができる。しかも、映像取得手段、映像解析手段および
配信映像マッチング手段による処理を高速に繰り返して
行うことで、リアルタイム映像に関しても配信の対象と
することができる。As a result, the viewer can selectively view the video that matches his or her taste. Therefore, it is possible to satisfy the viewer's request regarding the selection of the video. Moreover, the real-time video can be targeted for distribution by repeatedly performing the processing by the video acquisition means, the video analysis means, and the distribution video matching means at high speed.

【００９９】ここで、内容情報には、被写体を同定する
情報や、被写体の表示位置または表示領域を表す情報を
含めてもよい。また、嗜好情報を得るための入れ物を映
像受信装置側に配信し、この入れ物に被写体に対する嗜
好の度合いを入力させることにより嗜好情報を取得して
もよい。また、配信した映像について視聴者から画面上
の位置が指定されると、その位置の被写体を特定し、こ
の被写体に関する付加情報を送信するようにしてもよ
い。Here, the content information may include information for identifying the subject and information indicating the display position or display area of the subject. Alternatively, the container for obtaining the preference information may be distributed to the video receiving device side, and the preference information may be acquired by inputting the degree of the preference for the subject into the container. Further, when the viewer specifies a position on the screen for the distributed video, the subject at that position may be specified and additional information regarding this subject may be transmitted.

【０１００】さらに、本発明は、通信ネットワークを介
して映像受信装置と通信する映像配信装置であって、異
なる視点からの複数の映像を取得する映像取得手段と、
前記映像ごとに、その映像に含まれる内容を解析し、解
析結果を内容情報として生成する映像解析手段と、前記
各映像および前記各内容情報を多重化して配信する映像
多重化手段とを備えることを特徴とする映像配信装置と
することもできる。この場合には、映像受信装置の側に
おいて映像配信装置から配信されてきた各内容情報と、
視聴者より通知された嗜好情報との適合度を判定し、映
像配信装置から配信されてきた複数の映像の中から再生
する１つの映像を決定し、決定した映像を再生するよう
にすればよい。Furthermore, the present invention is a video distribution device which communicates with a video reception device via a communication network, and video acquisition means for acquiring a plurality of videos from different viewpoints.
For each of the videos, there is provided video analysis means for analyzing the content included in the video and generating an analysis result as content information, and video multiplexing means for multiplexing and delivering each video and each content information. It is also possible to provide a video distribution device characterized by. In this case, each content information distributed from the video distribution device on the video reception device side,
The degree of compatibility with the preference information notified by the viewer may be determined, one video to be reproduced may be determined from the plurality of videos distributed from the video distribution device, and the determined video may be reproduced. .

【０１０１】これによって、このような映像配信装置か
ら配信した各映像および各内容情報を受信する映像受信
装置において、各内容情報と視聴者より通知された嗜好
情報との適合度を判定し、再生する映像を決定し、決定
した映像を再生することにすれば、視聴者は、自己の嗜
好に合致した映像を選択的に視聴することができる。As a result, in the video receiving device which receives each video and each content information distributed from such a video distribution device, the matching degree between each content information and the preference information notified by the viewer is judged and reproduced. By determining the video to be played and reproducing the determined video, the viewer can selectively view the video that matches his or her taste.

【０１０２】また、本発明は、このような特徴的な手段
をコンピュータに機能させるプログラムとして実現した
り、そのプログラムを記録した記録媒体として実現した
りすることもできる。そして、本発明に係るプログラム
をインターネット等の通信網や記録媒体等を介して流通
させることもできる。The present invention can also be realized as a program that causes a computer to function as such a characteristic means, or as a recording medium recording the program. The program according to the present invention can be distributed via a communication network such as the Internet or a recording medium.

【０１０３】このように、本発明により、視聴者は、例
えば、スポーツ観戦の番組において、自分がひいきにし
ている選手が頻繁に登場する映像を選択的に視聴するこ
とができ、楽しい時間を過ごすことができる。よって、
本発明は、映像配信システムが提供するサービスの価値
を飛躍的に向上させるものであり、その実用的価値は極
めて高い。As described above, according to the present invention, a viewer can, for example, selectively watch a video in which a player he / she favors frequently appears in a sports watching program, and have a good time. be able to. Therefore,
The present invention dramatically improves the value of the service provided by the video distribution system, and its practical value is extremely high.

【図面の簡単な説明】[Brief description of drawings]

【図１】本発明の実施の形態１における映像配信システ
ム１の機能構成を示すブロック図である。FIG. 1 is a block diagram showing a functional configuration of a video distribution system 1 according to a first embodiment of the present invention.

【図２】映像配信システム１の動作を示すシーケンス図
である。FIG. 2 is a sequence diagram showing an operation of the video distribution system 1.

【図３】図３（ａ）は本発明の実施の形態１で用いるカ
メラ座標系における位置と、投影面上における位置の関
係を示す斜視図であり、図３（ｂ）は図３（ａ）を投影
面に沿って上方から見た図であり、図３（ｃ）は図３
（ａ）を投影面に沿って側方から見た図である。3 (a) is a perspective view showing a relationship between a position in a camera coordinate system used in Embodiment 1 of the present invention and a position on a projection surface, and FIG. 3 (b) is shown in FIG. ) Is viewed from above along the projection surface, and FIG.
It is the figure which looked at (a) from the side along the projection surface.

【図４】図１に示される映像取得部１１０により取得さ
れた映像の一例を示す図である。4 is a diagram showing an example of a video acquired by a video acquisition unit 110 shown in FIG.

【図５】図１に示される映像解析部１２０により生成さ
れる内容情報の一例を示す図である。5 is a diagram showing an example of content information generated by the video analysis unit 120 shown in FIG.

【図６】図１に示される配信映像マッチング部１３０に
より生成される嗜好値入力ダイアログの一例を示す図で
ある。6 is a diagram showing an example of a preference value input dialog generated by a distribution image matching unit 130 shown in FIG.

【図７】図１に示される映像受信装置２０から送られて
くる嗜好情報の一例を示す図である。7 is a diagram showing an example of preference information sent from the video reception device 20 shown in FIG.

【図８】配信映像マッチング部１３０が最も嗜好度が高
い対象物を利用して配信する映像を決定する際に実行す
るフローチャートである。FIG. 8 is a flowchart executed by the distribution video matching unit 130 when determining a video to be distributed using an object having the highest degree of preference.

【図９】配信映像マッチング部１３０が個々の嗜好度か
ら総合的に判断して配信する映像を決定する際に実行す
るフローチャートである。FIG. 9 is a flowchart executed when the distribution video matching unit 130 comprehensively judges from individual preference levels and determines a video to be distributed.

【図１０】図１に示される付加情報提供部１５０から送
られる付加情報の一例を示す図である。10 is a diagram showing an example of additional information sent from an additional information providing unit 150 shown in FIG.

【図１１】本発明の実施の形態２における映像配信シス
テム２の機能構成を示すブロック図である。FIG. 11 is a block diagram showing a functional configuration of a video distribution system 2 according to Embodiment 2 of the present invention.

【図１２】映像配信システム２の動作を示すシーケンス
図である。FIG. 12 is a sequence diagram showing an operation of the video distribution system 2.

【図１３】映像、内容情報および付加情報の多重化・分
離方法の一例を示す図である。FIG. 13 is a diagram showing an example of a method of multiplexing / separating a video, content information, and additional information.

【図１４】、あるグループ「スペード」のライブコンサ
ートのステージの様子を示す図である。FIG. 14 is a diagram showing a stage of a live concert of a certain group “Spade”.

【図１５】２つのマーカ画像（Ｐ１，Ｐ２）から動き量
を解析する様子を示す図である。FIG. 15 is a diagram showing how a motion amount is analyzed from two marker images (P1, P2).

【図１６】映像解析部１２０により生成される内容情報
の一例を示す図である。16 is a diagram showing an example of content information generated by the video analysis unit 120. FIG.

【図１７】配信映像マッチング部１３０が個々の嗜好度
等から総合的に判断して配信する映像を決定する際に実
行するフローチャートである。FIG. 17 is a flowchart executed by the distribution video matching unit 130 when comprehensively judging from individual preference degrees and the like to determine a video to be distributed.

【符号の説明】[Explanation of symbols]

１，２ 映像配信システム １０，４０ 映像配信装置 ２０，５０ 映像受信装置 ３０ 通信ネットワーク １１０ 映像取得部 １２０ 映像解析部 １３０ 配信映像マッチング部 １４０，４２０，５２０ 映像記録部 １４１，４２１，５２１ コンテンツデータベース １４４，４２４，５２４ コンテンツ １４５，５２５ 嗜好データベース １４６ 嗜好値入力ダイアログ １４７ 嗜好履歴テーブル １５０，４１０ 付加情報提供部 ２１０ 操作部 ２２０ 映像出力部 ２３０ 送受信部 ４３０ 映像多重化部 ４４０ 多重化映像情報配信部 ５１０ 表示映像マッチング部 1, 2 video distribution system 10,40 Video distribution device 20,50 Video receiver 30 communication network 110 Video acquisition unit 120 Video analysis unit 130 Distribution video matching unit 140, 420, 520 Video recording unit 141,421,521 Content Database 144,424,524 contents 145,525 Preference database 146 Preference value input dialog 147 Preference history table 150,410 Additional information provision section 210 Operation unit 220 Video output section 230 Transmitter / receiver 430 Video Multiplexing Unit 440 Multiplexed video information distribution unit 510 Display image matching unit

───────────────────────────────────────────────────── フロントページの続き (72)発明者 樋尻 利紀 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 望月 義幸 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 Ｆターム(参考） 5C025 AA09 AA30 BA25 CA09 CB10 DA05 5C061 BB05 CC01 5C064 BA01 BB07 BC07 BC18 BC23 BD02 BD03 BD08 BD13    ─────────────────────────────────────────────────── ─── Continued front page    (72) Inventor Toshinori Hijiri             1006 Kadoma, Kadoma-shi, Osaka Matsushita Electric             Sangyo Co., Ltd. (72) Inventor Yoshiyuki Mochizuki             1006 Kadoma, Kadoma-shi, Osaka Matsushita Electric             Sangyo Co., Ltd. F term (reference) 5C025 AA09 AA30 BA25 CA09 CB10                       DA05                 5C061 BB05 CC01                 5C064 BA01 BB07 BC07 BC18 BC23                       BD02 BD03 BD08 BD13

Claims (36)

【特許請求の範囲】[Claims] 【請求項１】 通信ネットワークを介して映像を配信す
る映像配信装置であって、 異なる視点からの複数の映像を取得する映像取得手段
と、 前記映像ごとに、その映像に含まれる内容を解析し、解
析結果を内容情報として生成する映像解析手段と、 前記各内容情報と視聴者より通知された嗜好情報とに基
づいて、映像の内容と視聴者の嗜好との適合度を判定
し、適合度の高い映像を前記複数の映像の中から決定
し、配信する配信映像マッチング手段とを備えることを
特徴とする映像配信装置。1. A video distribution device for distributing a video via a communication network, the video acquisition means acquiring a plurality of videos from different viewpoints, and analyzing the contents included in the video for each video. A video analysis means for generating an analysis result as content information, and based on the content information and the preference information notified by the viewer, determines the compatibility between the content of the video and the viewer's preference, and the compatibility. A video distribution apparatus comprising: a distribution video matching unit that determines a high video from the plurality of videos and distributes the video. 【請求項２】 前記嗜好情報は、被写体に対する視聴者
の嗜好度を示す情報を含み、 前記映像解析手段は、画面上に表示される被写体を特定
する情報を含む内容情報を生成し、 前記配信映像マッチング手段は、前記嗜好度の高い被写
体が表示される映像を配信することを特徴とする請求項
１記載の映像配信装置。2. The preference information includes information indicating a viewer's preference for a subject, and the video analysis unit generates content information including information for identifying a subject displayed on a screen, and the distribution The video distribution device according to claim 1, wherein the video matching means distributes a video in which the subject having a high degree of preference is displayed. 【請求項３】 前記映像解析手段は、前記被写体が表示
される画面上の位置または領域を表す情報を含む内容情
報を生成し、 前記配信映像マッチング手段は、前記嗜好度の高い被写
体が表示される画面上の位置または領域に基づいて配信
する映像を決定することを特徴とする請求項２記載の映
像配信装置。3. The image analysis unit generates content information including information indicating a position or area on the screen where the subject is displayed, and the distribution image matching unit displays the subject having a high degree of preference. The video distribution apparatus according to claim 2, wherein the video to be distributed is determined based on the position or area on the screen. 【請求項４】 前記配信映像マッチング手段は、前記被
写体が、より画面の中央に表示される映像を配信するこ
とを特徴とする請求項３記載の映像配信装置。4. The video distribution apparatus according to claim 3, wherein the distribution video matching means distributes a video image of the subject displayed in the center of the screen. 【請求項５】 前記配信映像マッチング手段は、画面内
に表示される前記被写体の面積がより大きい映像を配信
することを特徴とする請求項３記載の映像配信装置。5. The video distribution apparatus according to claim 3, wherein the distribution video matching unit distributes a video in which the area of the subject displayed on the screen is larger. 【請求項６】 前記映像解析手段は、前記内容情報をあ
らかじめ定められた記述子を用いて記述し、 前記配信映像マッチング手段は、前記記述子で記述され
た内容情報に基づいて配信する映像を決定することを特
徴とする請求項１記載の映像配信装置。6. The video analysis means describes the content information using a predetermined descriptor, and the delivery video matching means renders a video to be delivered based on the content information described in the descriptor. The video distribution apparatus according to claim 1, wherein the video distribution apparatus determines. 【請求項７】 前記映像配信装置は、さらに、映像に含
まれる被写体の状態を計測する計測手段を備え、 前記映像解析手段は、前記計測手段の計測結果に基づい
て前記内容情報を生成することを特徴とする請求項１記
載の映像配信装置。7. The video distribution device further comprises a measuring means for measuring a state of a subject included in the video, and the video analyzing means generates the content information based on a measurement result of the measuring means. The video distribution device according to claim 1, wherein 【請求項８】 前記嗜好情報は、前記被写体を同定する
記述子と、前記各被写体に対する視聴者の嗜好度を定量
化して表す記述子とを含み、 前記映像解析手段は、前記計測手段の計測結果に基づい
て、特定の被写体が画面上に表示されているか否かを表
す情報を含む内容情報を生成し、 前記配信映像マッチング手段は、前記嗜好情報に基づい
て、嗜好度の高い被写体が表示される映像を配信するこ
とを特徴とする請求項７記載の映像配信装置。8. The preference information includes a descriptor that identifies the subject and a descriptor that quantifies and represents a preference degree of a viewer for each subject, and the video analysis unit measures by the measurement unit. Based on the result, content information including information indicating whether or not a specific subject is displayed on the screen is generated, and the distribution video matching unit displays the subject having a high degree of preference based on the preference information. The video distribution device according to claim 7, wherein the video is distributed. 【請求項９】 前記映像解析手段は、前記計測手段の計
測結果に基づいて、特定の前記嗜好度の高い被写体が表
示される画面上の位置または領域を表す情報を含む内容
情報を生成し、 前記配信映像マッチング手段は、前記内容情報と前記嗜
好情報とに基づいて、嗜好度の高い前記被写体が、より
画面の中央に表示される映像を配信することを特徴とす
る請求項８記載の映像配信装置。9. The image analysis unit generates content information including information indicating a position or area on a screen where a specific subject having a high degree of preference is displayed, based on a measurement result of the measurement unit, 9. The video according to claim 8, wherein the distribution video matching unit distributes a video in which the subject having a high degree of preference is displayed more in the center of the screen based on the content information and the preference information. Delivery device. 【請求項１０】 前記映像解析手段は、前記内容情報を
映像のフレームごとに生成し、 前記配信映像マッチング手段は、あらかじめ定められた
間隔で、その直前に生成された内容情報に基づいて配信
すべき映像を決定することを特徴とする請求項１記載の
映像配信装置。10. The video analysis unit generates the content information for each frame of the video, and the distribution video matching unit distributes the content information based on the content information generated immediately before the predetermined interval. The video distribution device according to claim 1, wherein the video to be determined is determined. 【請求項１１】 前記嗜好情報は、複数の被写体それぞ
れに対する視聴者の嗜好度を示す情報を含み、 前記映像解析手段は、画面上に表示される複数の被写体
それぞれを特定する情報を含む内容情報を生成し、 前記配信映像マッチング手段は、前記複数の被写体の中
から前記嗜好度の高い被写体が表示される映像を配信す
ることを特徴とする請求項１記載の映像配信装置。11. The preference information includes information indicating a viewer's preference degree for each of the plurality of subjects, and the video analysis unit includes content information including information for identifying each of the plurality of subjects displayed on a screen. 2. The video distribution apparatus according to claim 1, wherein the distribution video matching unit distributes a video in which the subject having a high degree of preference is displayed from the plurality of subjects. 【請求項１２】 前記映像解析手段は、前記複数の被写
体それぞれの動き量を表す情報を含む内容情報を生成
し、 前記配信映像マッチング手段は、前記複数の被写体の中
から、前記嗜好度と前記動き量との両方を評価する関数
値が最も大きい被写体を特定し、特定した被写体が表示
される映像を配信することを特徴とする請求項１１記載
の映像配信装置。12. The image analysis unit generates content information including information indicating the amount of movement of each of the plurality of subjects, and the distribution image matching unit includes the preference degree and the The video distribution device according to claim 11, wherein a subject having the largest function value for evaluating both the amount of motion is identified, and a video in which the identified subject is displayed is distributed. 【請求項１３】 前記映像解析手段は、一定時間間隔
で、前記映像取得手段で取得された複数の映像に基づい
て前記内容情報を生成することを繰り返し、 前記配信映像マッチング手段は、前記一定時間間隔で、
前記映像解析手段によって生成された内容情報に基づい
て前記複数の映像の中から１つの映像を選択して配信す
ることを繰り返すことを特徴とする請求項１２記載の映
像配信装置。13. The video analysis unit repeats generating the content information based on a plurality of videos acquired by the video acquisition unit at regular time intervals, and the distribution video matching unit is configured to perform the constant time. At intervals,
13. The video distribution apparatus according to claim 12, wherein selecting one video from the plurality of videos and distributing the video is repeated based on the content information generated by the video analysis unit. 【請求項１４】 前記映像解析手段は、前記複数の被写
体それぞれの動き量を表す情報を含む内容情報を生成
し、 前記配信映像マッチング手段は、前記複数の映像のう
ち、前記嗜好度の最も高い被写体が表示されている映像
の数を計測し、その数が０の場合には、次に高い嗜好度
の被写体が表示されている映像を配信し、その数が１の
場合には、その映像を配信し、その数が２以上の場合に
は、その被写体の画面上での表示位置、表示面積および
動き量の少なくとも１つに基づいて決定した映像を配信
することを特徴とする請求項１１記載の映像配信装置。14. The video analysis means generates content information including information indicating the amount of movement of each of the plurality of subjects, and the delivery video matching means has the highest degree of preference among the plurality of videos. The number of images in which the subject is displayed is measured, and when the number is 0, the image in which the subject having the next highest degree of preference is displayed is distributed. When the number is 1, the image is displayed. 12. When the number is 2 or more, the image determined based on at least one of the display position, the display area, and the movement amount of the subject on the screen is delivered. The described video distribution device. 【請求項１５】 前記映像配信装置は、さらに、前記複
数の映像それぞれに対応する付加情報を予め記憶してい
る付加情報記憶手段を備え、 前記配信映像マッチング手段は、前記複数の映像の中か
ら選択して決定した映像に対応する付加情報を前記付加
情報記憶手段から読み出し、当該映像とともに配信する
ことを特徴とする請求項１記載の映像配信装置。15. The video delivery device further comprises additional information storage means for storing in advance additional information corresponding to each of the plurality of videos, and the delivery video matching means selects from among the plurality of videos. The video distribution device according to claim 1, wherein the additional information corresponding to the selected and determined video is read from the additional information storage means and distributed together with the video. 【請求項１６】 通信ネットワークを介して映像を配信
する映像配信装置であって、 異なる視点からの複数の映像を取得する映像取得手段
と、 前記映像ごとに、その映像に含まれる内容を解析し、解
析結果を内容情報として生成する映像解析手段と、 前記複数の映像について、前記各映像および前記各内容
情報を多重化して配信する映像多重化手段とを備えるこ
とを特徴とする映像配信装置。16. A video distribution device for distributing a video via a communication network, the video acquisition means for acquiring a plurality of videos from different viewpoints, and analyzing the contents contained in the video for each video. A video distribution device comprising: a video analysis unit that generates an analysis result as content information; and a video multiplexing unit that multiplexes and distributes each video and each content information for the plurality of videos. 【請求項１７】 前記映像解析手段は、前記映像に含ま
れる被写体を同定する情報と、その被写体が画面上に表
示されているか否かを表す情報とを含んだ前記内容情報
を生成し、 前記映像多重化手段は、前記内容情報を各映像に多重化
して配信することを特徴とする請求項１６記載の映像配
信装置。17. The image analysis means generates the content information including information for identifying a subject included in the image and information indicating whether or not the subject is displayed on the screen, 17. The video distribution device according to claim 16, wherein the video multiplexing means multiplexes the content information into each video and distributes it. 【請求項１８】 前記映像解析手段は、前記被写体が表
示される画面上の位置または領域を表す情報を含んだ前
記内容情報を生成することを特徴とする請求項１７記載
の映像配信装置。18. The video distribution device according to claim 17, wherein the video analysis unit generates the content information including information indicating a position or an area on the screen where the subject is displayed. 【請求項１９】 前記映像解析手段は、あらかじめ定め
られた記述子を用いて前記内容情報を記述することを特
徴とする請求項１６記載の映像配信装置。19. The video distribution device according to claim 16, wherein the video analysis unit describes the content information using a predetermined descriptor. 【請求項２０】 前記映像解析手段は、さらに、 前記映像に含まれる前記被写体の状態を計測する計測手
段を備え、 前記映像解析手段は、前記計測手段の計測結果に基づい
て前記内容情報を生成することを特徴とする請求項１６
記載の映像配信装置。20. The video analysis means further comprises a measurement means for measuring a state of the subject included in the video, and the video analysis means generates the content information based on a measurement result of the measurement means. 16. The method according to claim 16, wherein
The described video distribution device. 【請求項２１】 前記映像解析手段は、前記内容情報を
映像のフレームごとに生成し、 前記映像多重化手段は、前記内容情報を前記映像の各フ
レームに多重化して配信することを特徴とする請求項１
６記載の映像配信装置。21. The video analysis means generates the content information for each frame of the video, and the video multiplexing means multiplexes the content information into each frame of the video for distribution. Claim 1
6. The video distribution device according to 6. 【請求項２２】 請求項１６に記載の映像配信装置から
配信される複数の映像を受信する映像受信装置であっ
て、 被写体に対する視聴者の嗜好度を示す嗜好情報の入力を
受け付ける嗜好情報受付手段と、 受け付けた嗜好情報と請求項１６記載の各内容情報とに
基づいて、映像の内容と視聴者の嗜好との適合度を判定
することにより、受信した映像の中から適合度の高い映
像を選択する選択手段と、 選択された前記映像を表示する表示手段とを備えること
を特徴とする映像受信装置。22. A video receiving device for receiving a plurality of videos distributed from the video distribution device according to claim 16, wherein the preference information accepting means accepts input of preference information indicating a preference of a viewer with respect to a subject. Then, based on the received preference information and each content information described in claim 16, the matching degree between the content of the image and the viewer's preference is determined, so that the image having the high matching degree is selected from the received images. An image receiving apparatus comprising: a selection unit for selecting and a display unit for displaying the selected image. 【請求項２３】 請求項１８に記載の映像配信装置から
配信される複数の映像を受信する映像受信装置であっ
て、 被写体に対する視聴者の嗜好度を示す嗜好情報の入力を
受け付ける嗜好情報受付手段と、 請求項１８記載の各内容情報と前記嗜好情報とに基づい
て、嗜好度の高い前記被写体が、より画面の中央に表示
される映像を前記複数の映像から選択する選択手段と、 選択された前記映像を表示する表示手段とを備えること
を特徴とする映像受信装置。23. A video receiving device for receiving a plurality of videos distributed from the video distribution device according to claim 18, wherein the preference information receiving means receives an input of preference information indicating a preference of a viewer with respect to a subject. The selection means for selecting the image displayed in the center of the screen from the plurality of images by the subject having a high degree of preference based on the content information according to claim 18 and the preference information. And a display unit for displaying the image. 【請求項２４】 請求項１８に記載の映像配信装置から
配信される複数の映像を受信する映像受信装置であっ
て、 被写体に対する視聴者の嗜好度を示す嗜好情報の入力を
受け付ける嗜好情報受付手段と、 請求項１８記載の各内容情報と前記嗜好情報とに基づい
て、嗜好度の高い前記被写体が画面内により大きく表示
される映像を前記複数の映像から選択する選択手段と、 選択された前記映像を表示する表示手段とを備えること
を特徴とする映像受信装置。24. A video receiving device for receiving a plurality of videos distributed from the video distribution device according to claim 18, wherein the preference information receiving means receives an input of preference information indicating a preference of a viewer with respect to a subject. 19. Selection means for selecting, from the plurality of videos, an image in which the subject having a high degree of preference is displayed in a larger size on the screen based on each content information according to claim 18 and the preference information. An image receiving apparatus comprising: a display unit for displaying an image. 【請求項２５】 請求項２１に記載の映像配信装置から
配信される複数の映像を受信する映像受信装置であっ
て、 被写体に対する視聴者の嗜好度を示す嗜好情報の入力を
受け付ける嗜好情報受付手段と、 あらかじめ定められた間隔で、その直前に生成された前
記各内容情報と、入力を受け付けた前記嗜好情報との適
合度を判定して、受信した映像の中から表示すべき映像
を選択する選択手段と、 選択された前記映像を表示する表示手段とを備えること
を特徴とする映像受信装置。25. A video receiving device for receiving a plurality of videos distributed from the video distribution device according to claim 21, wherein the preference information receiving means receives an input of preference information indicating a preference of a viewer with respect to a subject. Then, at a predetermined interval, the degree of conformity between each of the content information generated immediately before that and the preference information that has been input is determined, and an image to be displayed is selected from the received images. An image receiving apparatus comprising: a selection unit and a display unit that displays the selected image. 【請求項２６】 通信ネットワークを介して映像を配信
する映像配信方法であって、 異なる視点からの複数の映像を取得する映像取得ステッ
プと、 前記映像ごとに、その映像に含まれる内容を解析し、解
析結果を内容情報として生成する映像解析ステップと、 前記各内容情報と視聴者より通知された嗜好情報とに基
づいて、映像の内容と視聴者の嗜好との適合度を判定
し、適合度の高い映像を前記複数の映像の中から決定
し、配信する配信映像マッチングステップとを含むこと
を特徴とする映像配信方法。26. A video distribution method for distributing a video via a communication network, comprising: a video acquisition step of acquiring a plurality of videos from different viewpoints; and analyzing contents included in the video for each video. A video analysis step of generating an analysis result as content information, and based on the content information and the preference information notified by the viewer, determine the compatibility between the video content and the viewer's preference, and determine the compatibility. And a distribution video matching step of determining and distributing a high video from the plurality of videos. 【請求項２７】 通信ネットワークを介して映像を配信
する映像配信方法であって、 異なる視点からの複数の映像を取得する映像取得ステッ
プと、 前記映像ごとに、その映像に含まれる内容を解析し、解
析結果を内容情報として生成する映像解析ステップと、 前記複数の映像について、前記各映像および前記各内容
情報を多重化して配信する映像多重化ステップとを含む
ことを特徴とする映像配信方法。27. A video distribution method for distributing a video via a communication network, comprising: a video acquisition step of acquiring a plurality of videos from different viewpoints; and analyzing contents included in the video for each video. A video distribution method comprising: a video analysis step of generating an analysis result as content information; and a video multiplexing step of multiplexing and distributing each video and each content information for the plurality of videos. 【請求項２８】 請求項１６に記載の映像配信装置から
配信される複数の映像を受信する映像受信方法であっ
て、 被写体に対する視聴者の嗜好度を示す嗜好情報の入力を
受け付ける嗜好情報受付ステップと、 受け付けた嗜好情報と請求項１６記載の各内容情報とに
基づいて、映像の内容と視聴者の嗜好との適合度を判定
することにより、受信した映像の中から適合度の高い映
像を選択する選択ステップと、 選択された前記映像を表示する表示ステップとを含むこ
とを特徴とする映像受信方法。28. A video receiving method for receiving a plurality of videos distributed from the video distribution apparatus according to claim 16, wherein a preference information receiving step of receiving input of preference information indicating a degree of preference of a viewer for a subject. Then, based on the received preference information and each content information described in claim 16, the matching degree between the content of the image and the viewer's preference is determined, so that the image having the high matching degree is selected from the received images. A video receiving method comprising: a selection step of selecting and a display step of displaying the selected video. 【請求項２９】 通信ネットワークを介して映像を配信
する映像配信装置に用いられるプログラムであって、 請求項２６記載のステップをコンピュータに実行させる
ことを特徴とするプログラム。29. A program used in a video distribution device for distributing a video via a communication network, the program causing a computer to execute the steps according to claim 26. 【請求項３０】 通信ネットワークを介して映像を配信
する映像配信システムであって、 映像配信装置と映像受信装置とから構成され、 前記映像配信装置は、 異なる視点からの複数の映像を取得する映像取得手段
と、 前記映像ごとに、その映像に含まれる内容を解析し、解
析結果を内容情報として生成する映像解析手段と、 前記各内容情報と視聴者より通知された嗜好情報とに基
づいて、映像の内容と視聴者の嗜好との適合度を判定
し、適合度の高い映像を前記複数の映像の中から決定
し、配信する配信映像マッチング手段とを備え、 前記映像受信装置は、 前記映像配信装置に嗜好情報を送信する送信手段と、 前記映像配信装置から配信されてきた適合度の高い映像
を受信する受信手段と、 受信された前記映像を表示する表示手段とを備えること
を特徴とする映像配信システム。30. A video distribution system for distributing videos via a communication network, comprising a video distribution device and a video reception device, wherein the video distribution device acquires a plurality of videos from different viewpoints. An acquisition unit, for each of the videos, a video analysis unit that analyzes the content included in the video and generates an analysis result as content information, based on the content information and the preference information notified by the viewer, A distribution video matching unit that determines the compatibility between the content of the video and the taste of the viewer, determines a video with a high compatibility from the plurality of videos, and distributes the video; The distribution device includes a transmission unit that transmits the preference information, a reception unit that receives a video having a high degree of conformity distributed from the video distribution device, and a display unit that displays the received video. A video distribution system that features 【請求項３１】 通信ネットワークを介して映像を配信
する映像配信システムであって、 映像配信装置と映像受信装置とから構成され、 前記映像配信装置は、 異なる視点からの複数の映像を取得する映像取得手段
と、 前記映像ごとに、その映像に含まれる内容を解析し、解
析結果を内容情報として生成する映像解析手段と、 前記複数の映像について、前記各映像および前記各内容
情報を多重化して配信する映像多重化手段とを備え、 前記映像受信装置は、 前記映像配信装置から配信される複数の映像についての
映像および内容情報を受信する受信手段と、 被写体に対する視聴者の嗜好度を示す嗜好情報の入力を
受け付ける嗜好情報受付手段と、 受け付けた嗜好情報と前記受信手段が受信した内容情報
とに基づいて、映像の内容と視聴者の嗜好との適合度を
判定することにより、受信した複数の映像の中から適合
度の高い映像を選択する選択手段と、 選択された前記映像を表示する表示手段とを備えること
を特徴とする映像配信システム。31. A video distribution system for distributing videos via a communication network, comprising a video distribution device and a video reception device, wherein the video distribution device acquires a plurality of videos from different viewpoints. An acquisition unit, an image analysis unit that analyzes, for each of the images, the contents included in the image, and generates an analysis result as content information; A video multiplexing device for distributing, wherein the video receiving device receives the video and content information of a plurality of videos distributed from the video distribution device, and a preference indicating a viewer's preference for the subject. Based on the preference information receiving means for receiving the input of information, the received preference information and the content information received by the receiving means, the contents of the video and the viewer's An image characterized by comprising: a selection unit for selecting an image with a high degree of conformity from a plurality of received images by determining the degree of conformity with a taste; and a display unit for displaying the selected image. Delivery system. 【請求項３２】 前記映像解析手段は、画面上に表示さ
れる複数の被写体それぞれを特定する情報を含む内容情
報を生成し、 前記嗜好情報は、複数の被写体それぞれに対する視聴者
の嗜好度を示す情報を含み、 前記選択手段は、前記複数の被写体の中から前記嗜好度
の高い被写体が表示される映像を選択することを特徴と
する請求項３１記載の映像配信システム。32. The image analysis means generates content information including information for identifying each of a plurality of subjects displayed on the screen, and the preference information indicates a degree of preference of a viewer for each of the plurality of subjects. 32. The video distribution system according to claim 31, further comprising information, wherein the selection means selects a video in which the subject having a high degree of preference is displayed from the plurality of subjects. 【請求項３３】 前記映像解析手段は、前記複数の被写
体それぞれの動き量を表す情報を含む内容情報を生成
し、 前記選択手段は、前記複数の被写体の中から、前記嗜好
度と前記動き量との両方を評価する関数値が最も大きい
被写体を特定し、特定した被写体が表示される映像を選
択することを特徴とする請求項３２記載の映像配信シス
テム。33. The image analysis unit generates content information including information indicating a movement amount of each of the plurality of subjects, and the selection unit selects the preference degree and the movement amount from the plurality of subjects. 33. The video distribution system according to claim 32, characterized in that a subject having the largest function value for evaluating both of the above is identified, and a video in which the identified subject is displayed is selected. 【請求項３４】 前記映像解析手段は、一定時間間隔
で、前記映像取得手段で取得された複数の映像に基づい
て前記内容情報を生成することを繰り返し、 前記選択手段は、前記一定時間間隔で、前記映像解析手
段によって生成された内容情報に基づいて前記複数の映
像の中から１つの映像を選択することを繰り返すことを
特徴とする請求項３３記載の映像配信システム。34. The image analysis unit repeats generating the content information based on a plurality of images acquired by the image acquisition unit at a constant time interval, and the selection unit at the constant time interval. 34. The video distribution system according to claim 33, wherein selecting one video from the plurality of videos is repeated based on the content information generated by the video analysis means. 【請求項３５】 前記映像解析手段は、前記複数の被写
体それぞれの動き量を表す情報を含む内容情報を生成
し、 前記選択手段は、前記複数の映像のうち、前記嗜好度の
最も高い被写体が表示されている映像の数を計測し、そ
の数が０の場合には、次に高い嗜好度の被写体が表示さ
れている映像を配信し、その数が１の場合には、その映
像を配信し、その数が２以上の場合には、その被写体の
画面上での表示位置、表示面積および動き量の少なくと
も１つに基づいて決定した映像を選択することを特徴と
する請求項３２記載の映像配信システム。35. The image analysis unit generates content information including information indicating the amount of movement of each of the plurality of subjects, and the selection unit selects the subject having the highest degree of preference among the plurality of images. The number of displayed images is measured, and if the number is 0, the image showing the subject having the next highest degree of preference is distributed, and if the number is 1, the image is distributed. 33. If the number is 2 or more, the image determined based on at least one of the display position, the display area, and the amount of movement of the subject on the screen is selected. Video distribution system. 【請求項３６】 前記映像配信装置は、さらに、前記複
数の映像それぞれに対応する付加情報をあらかじめ記憶
している付加情報記憶手段を備え、 前記映像多重化手段は、前記複数の映像それぞれに対応
する付加情報を前記付加情報記憶手段から読み出し、前
記映像および前記内容情報とともに多重化して配信し、 前記選択手段は、前記映像の選択に加えて、当該映像に
対応する付加情報をも選択し、 前記表示手段は、前記映像とともに前記選択手段によっ
て選択された付加情報を表示することを特徴とする請求
項３１記載の映像配信システム。36. The video distribution device further comprises additional information storage means for storing in advance additional information corresponding to each of the plurality of videos, and the video multiplexing means corresponds to each of the plurality of videos. Read the additional information from the additional information storage means, multiplex and distribute with the video and the content information, the selection means, in addition to the selection of the video, also select the additional information corresponding to the video, 32. The video distribution system according to claim 31, wherein the display unit displays the additional information selected by the selection unit together with the video.