JP2008199557A

JP2008199557A - Stream synchronization reproducing system, stream synchronization reproducing apparatus, synchronous reproduction method, and program for synchronous reproduction

Info

Publication number: JP2008199557A
Application number: JP2007035651A
Authority: JP
Inventors: Tsutomu Kitamura; 強北村
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2007-02-16
Filing date: 2007-02-16
Publication date: 2008-08-28

Abstract

<P>PROBLEM TO BE SOLVED: To provide a technique for synchronously reproducing a plurality of streams with which a system configuration is simplified and occurrence of synchronism "deviation" that may occur between streams is suppressed when reproducing video contents of the plurality of streams. <P>SOLUTION: The present invention relates to a stream synchronization reproducing system including a determination means 105 for determining, as a reference frame for synchronization, frames of streams with a common characteristic change of scenes between contents of a plurality of streams and a reproduction control means 106 for reproducing, in the same timing, video images of the reference frames for synchronization of contents of the streams. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、ストリームの映像を再生するストリーム同期再生技術に関し、特に、複数のストリームを、簡易な構成で、かつ同期「ずれ」を抑えながら、同期を取って再生する複数ストリーム同期再生技術に関する。 The present invention relates to a stream synchronous reproduction technology for reproducing video of a stream, and more particularly to a multiple stream synchronous reproduction technology for reproducing a plurality of streams in a simple configuration and while suppressing synchronization “deviation”.

近年、ビデオカメラが普及し、動画撮影機能が付加された携帯電話やデジタルカメラも広く普及するようになった。これによって、一般の人々も動画を容易に撮影できるようになった。特に、運動会や結婚式等のイベント会場では、上述した動画撮影機器を持った人が多数集まり、同じ時間の同じ場面が複数の撮影機器によって様々な角度から撮影されることになる。 In recent years, video cameras have become widespread, and mobile phones and digital cameras to which video shooting functions have been added have become widespread. This makes it easy for ordinary people to shoot movies. In particular, at an event venue such as an athletic meet or a wedding ceremony, a large number of people having the above-described moving image photographing devices gather, and the same scene at the same time is photographed from various angles by a plurality of photographing devices.

また、サッカーや野球等のスポーツ中継においても、選手や試合の場面などが複数地点に設置されたカメラによって撮影されることが多い。このような場合も、同じ時間の同じ場面が複数のカメラによって様々な角度から撮影されることになる。 Also, in sports broadcasts such as soccer and baseball, players and game scenes are often photographed by cameras installed at a plurality of points. Even in such a case, the same scene at the same time is shot from various angles by a plurality of cameras.

このように複数地点から同じ対象物（被写体）を撮影して得られた複数のストリームは、インターネット等を利用した映像配信インフラを用いて配信されることが多い。これらの配信された複数のストリームを同時に受信することで、ユーザは、個々の意思で視点を切り替えながら同じ場面を様々な角度から視聴することが可能となる。 In this way, a plurality of streams obtained by photographing the same object (subject) from a plurality of points are often distributed using a video distribution infrastructure using the Internet or the like. By receiving these distributed streams at the same time, the user can view the same scene from various angles while switching the viewpoint according to the individual intention.

しかしながら、複数地点からストリームを同時に配信した場合、撮像装置における処理遅延や各ストリームのデータ転送に伴う伝播遅延が発生し、この為、別の視点から見た場面がずれて表示されるといった問題が生じていた。 However, when streams are distributed simultaneously from a plurality of points, processing delays in the imaging device and propagation delays associated with data transfer of each stream occur, which causes a problem that scenes viewed from different viewpoints are displayed in a shifted manner. It was happening.

このような問題点に鑑みて、近年では、ストリーム間の配信の遅延差から生じる受信時刻の「ずれ」を補正し、複数のストリームの同期を取って再生する同期処理技術が提案されてきている。 In view of such problems, in recent years, there has been proposed a synchronization processing technique that corrects a reception time “shift” caused by a difference in delivery delay between streams, and reproduces a plurality of streams in synchronization. .

例えば、特許文献１には、複数地点に設置されたカメラ等の撮像装置において映像データに対し時刻情報の関連付けを行い、この時刻情報に基づいて複数のストリームデータ間の同期処理を行うことで、複数ストリームデータを多重化して記録する装置が記載されている。具体的には、特許文献１の発明では、まず、NTP（Network Time Protocol）やGPS（Global Positioning system）等の情報を用いて撮像装置のシステム時刻の同期を取り、時刻情報を映像データに関連付ける。そして、ストリーム記録装置が受信した複数のストリームデータをそれぞれバッファリングし、さらに、映像データに関連付けられた時刻情報に基づいてバッファ間で同時刻のストリームデータを順次取り出していくことで、ストリームデータ間の同期処理を実現している。 For example, in Patent Document 1, time information is associated with video data in an imaging device such as a camera installed at a plurality of points, and synchronization processing between a plurality of stream data is performed based on the time information. An apparatus for multiplexing and recording a plurality of stream data is described. Specifically, in the invention of Patent Document 1, first, the system time of the imaging apparatus is synchronized using information such as NTP (Network Time Protocol) and GPS (Global Positioning system), and the time information is associated with video data. . Then, the plurality of stream data received by the stream recording device is buffered, and the stream data at the same time is sequentially extracted between the buffers based on the time information associated with the video data. The synchronization process is realized.

また、特許文献２には、複数地点に設置された撮像装置によって配信されるフレームレートの異なるストリームデータ間で、同期再生を実現する装置が開示されている。特許文献２の発明では、フレームレートの小さなストリームデータのフレームが存在する時刻を再生開始時刻とし、この再生開始時刻に合わせてフレームレートのより大きなストリームデータを再生することで、フレームレートの異なるストリームデータ間での同期再生を実現している。
特開２００６−１５７４９２号公報特開２００５−３２８１２８号公報 Patent Document 2 discloses an apparatus that realizes synchronous reproduction between stream data having different frame rates distributed by imaging apparatuses installed at a plurality of points. In the invention of Patent Document 2, a time at which a frame of stream data with a small frame rate exists is set as a reproduction start time, and stream data with a larger frame rate is reproduced in accordance with the reproduction start time. Synchronized playback between data is realized.
JP 2006-157492 A JP-A-2005-328128

前述したように、特許文献１及び特許文献２に示される発明では、複数ストリームデータの同期再生を実現させる目的で、撮像装置側にストリームデータに対するタイムスタンプ手段を持たせている。そして、ストリーム同期再生装置側では、撮像装置がスタンプした時刻情報に基づいて複数ストリームデータの同期再生を実施している。 As described above, in the inventions disclosed in Patent Document 1 and Patent Document 2, a time stamp unit for stream data is provided on the imaging apparatus side for the purpose of realizing synchronized reproduction of a plurality of stream data. On the stream synchronized playback apparatus side, synchronized playback of a plurality of stream data is performed based on the time information stamped by the imaging apparatus.

しかしながら、特許文献１及び特許文献２の発明を含む従来の同期再生方式では、同期の「ずれ」の発生を完全に防ぐことは困難であった。 However, with the conventional synchronized playback system including the inventions of Patent Document 1 and Patent Document 2, it is difficult to completely prevent the occurrence of synchronization “deviation”.

タイムスタンプ処理によりストリーム間の同期をとる場合、撮像装置間のシステム時刻の同期の「ずれ」やタイムスタンプ処理における同期「ずれ」の発生が避けられなかった。また、この同期の「ずれ」は、ネットワーク遅延や干渉によるゆらぎを起因として生じることも多く、視聴したユーザが違和感を覚えるようなケースも少なくなかった。 When synchronization between streams is performed by time stamp processing, system time synchronization “deviation” between image capturing apparatuses and synchronization “deviation” in time stamp processing cannot be avoided. In addition, this “synchronization” of synchronization often occurs due to fluctuations due to network delay or interference, and there are not a few cases in which a user who views the viewer feels uncomfortable.

加えて、システムが複雑化するという別の問題点もあった。例えば、撮像装置が、上述の如くタイムスタンプ手段を持たせる場合、撮像装置間のシステム時刻を同期させるため、基準時刻の生成手段を備えた基準時刻生成装置が不可欠となる。さらに、この基準時刻生成装置から基準時刻を取得するための取得手段も撮像装置において別途用意する必要がある。このため、装置の種類が多くなり、その結果システムが複雑化していた。 In addition, there is another problem that the system becomes complicated. For example, when the imaging apparatus has time stamp means as described above, a reference time generation apparatus having a reference time generation means is indispensable in order to synchronize the system time between the imaging apparatuses. Further, it is necessary to separately prepare an acquisition unit for acquiring the reference time from the reference time generation device. For this reason, the types of devices have increased, and as a result, the system has become complicated.

従って、本発明が解決しようとする課題は、複数のストリームの映像コンテンツを再生する際に複数のストリーム間に生じる同期「ずれ」の発生を抑えるストリーム同期再生技術を提供することにある。 Therefore, the problem to be solved by the present invention is to provide a stream synchronous reproduction technique that suppresses the occurrence of synchronization “deviation” that occurs between a plurality of streams when reproducing video contents of a plurality of streams.

さらに、本発明が解決しようとする課題は、システム構成を単純化したストリーム同期再生技術を提供することにある。 Furthermore, a problem to be solved by the present invention is to provide a stream synchronous reproduction technique with a simplified system configuration.

上記課題を解決する本発明は、ストリーム同期再生システムであって、複数のストリームのコンテンツ間でシーンの特徴的変化が共通する各ストリームのフレームを、同期用基準フレームとして決定する決定手段と、各ストリームのコンテンツの同期用基準フレームの映像を同じタイミングで再生する再生制御手段とを有することを特徴とする。 The present invention that solves the above-mentioned problem is a stream synchronous reproduction system, wherein a determination unit that determines, as a reference frame for synchronization, a frame of each stream in which a characteristic change of a scene is common among contents of a plurality of streams, And reproduction control means for reproducing the video of the reference frame for synchronization of the stream contents at the same timing.

また、上記課題を解決する本発明は、ストリーム同期再生装置であって、複数のストリームのコンテンツ間でシーンの特徴的変化が共通する各ストリームのフレームを、同期用基準フレームとして決定する決定手段と、各ストリームのコンテンツの同期用基準フレームの映像を同じタイミングで再生する再生制御手段とを有することを有することを特徴とする。 Further, the present invention for solving the above-mentioned problem is a stream synchronous playback device, and a determining means for determining a frame of each stream having a common scene characteristic change among contents of a plurality of streams as a synchronization reference frame And a reproduction control means for reproducing the video of the synchronization reference frame of the content of each stream at the same timing.

また、上記課題を解決する本発明は、複数のストリームのコンテンツ間でシーンの特徴的変化が共通する各ストリームのフレームを、同期用基準フレームとして決定する決定ステップと、各ストリームのコンテンツの同期用基準フレームの映像を同じタイミングで再生する再生制御ステップとを有することを特徴とする。 In addition, the present invention for solving the above-described problems includes a determination step of determining, as a synchronization reference frame, a frame of each stream in which a characteristic change of the scene is common among the contents of a plurality of streams, and synchronization of the contents of each stream A playback control step of playing back the video of the reference frame at the same timing.

また、上記課題を解決する本発明は、情報処理装置のプログラムであって、前記プログラムは情報処理装置を、複数のストリームのコンテンツ間でシーンの特徴的変化が共通する各ストリームのフレームを、同期用基準フレームとして決定する決定処理と、各ストリームのコンテンツの同期用基準フレームの映像を同じタイミングで再生する再生制御処理として機能させることを特徴とする。 Further, the present invention for solving the above-described problem is a program for an information processing apparatus, which synchronizes frames of each stream in which a characteristic change of a scene is common among contents of a plurality of streams. It is characterized by functioning as a determination process for determining as a reference frame for reproduction and a reproduction control process for reproducing the video of the reference frame for synchronization of contents of each stream at the same timing.

本発明によれば、複数のストリームの映像コンテンツを再生する際に複数のストリーム間に生じる同期「ずれ」の発生を抑えるストリーム同期再生技術を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the stream synchronous reproduction technique which suppresses generation | occurrence | production of the synchronization "deviation" which arises between several streams when reproducing | regenerating the video content of several streams can be provided.

その理由は、本発明では、複数のストリームのコンテンツ間でシーンの特徴的変化が共通する各ストリームのフレームを、同期用基準フレームとして決定し、このストリームのコンテンツの同期用基準フレームの映像を同じタイミングで再生するように制御しているからである。 The reason for this is that, in the present invention, the frames of each stream having the same scene characteristic change among the contents of the plurality of streams are determined as the synchronization reference frames, and the images of the synchronization reference frames of the contents of the streams are the same. This is because the playback is controlled at the timing.

次に、本発明の第１の実施の形態について、図１のブロック図及び図２のフローチャートを用いて説明する。 Next, a first embodiment of the present invention will be described with reference to the block diagram of FIG. 1 and the flowchart of FIG.

尚、以下では、複数のストリームのコンテンツが映像コンテンツであるものとして説明する。 In the following description, it is assumed that the contents of a plurality of streams are video contents.

図１を参照すると、１ａ，１ｂ，１ｃは撮像装置であり、物体や人物の映像を動画として撮影する。 Referring to FIG. 1, reference numerals 1a, 1b, and 1c denote imaging devices that shoot images of objects and people as moving images.

Ａ，Ｂ，Ｃは、ストリームである。Ａは、撮像装置１ａで撮影された動画によるストリームである。Ｂ，Ｃも同様に、それぞれ撮像装置１ｂ，１ｃで撮影された動画によるストリームである。 A, B, and C are streams. A is a stream of a moving image shot by the imaging device 1a. Similarly, B and C are streams of moving images shot by the imaging devices 1b and 1c, respectively.

１００は、ストリーム同期再生装置であり、撮像装置１ａ，１ｂ，１ｃのそれぞれとはネットワーク１０を介して接続されている。 Reference numeral 100 denotes a stream synchronous playback device, which is connected to each of the imaging devices 1a, 1b, and 1c via the network 10.

ストリーム同期再生装置１００は、受信部１０１と、バッファ１０２と、復号部１０３と、検出部１０４と、同期情報決定部１０５と、再生制御部１０６と、表示部１０７とを含む。 The stream synchronous reproduction apparatus 100 includes a reception unit 101, a buffer 102, a decoding unit 103, a detection unit 104, a synchronization information determination unit 105, a reproduction control unit 106, and a display unit 107.

受信部１０１は、撮像装置１ａ，１ｂ，１ｃからネットワーク経由で配信されてきたストリームを受信する。受信部１０１は、具体的には、図１に示されるように、撮像装置１ａからのストリームを受信する受信部１０１ａと、撮像装置１ｂからのストリームを受信する受信部１０１ｂと、撮像装置１ｃからのストリームを受信する受信部１０１ｃとを有する。 The receiving unit 101 receives a stream distributed from the imaging devices 1a, 1b, and 1c via the network. Specifically, as illustrated in FIG. 1, the receiving unit 101 includes a receiving unit 101a that receives a stream from the imaging device 1a, a receiving unit 101b that receives a stream from the imaging device 1b, and an imaging device 1c. Receiving section 101c for receiving the stream.

バッファ１０２ａ、１０２ｂ，１０２ｃは記憶領域であり、受信部１ａ，１ｂ，１ｃで受信した符号圧縮された状態のストリームデータを一時的に格納する。尚、ストリームデータとは、ストリームに含まれるデータであり、映像コンテンツを構成する。 The buffers 102a, 102b, and 102c are storage areas, and temporarily store the stream data in a code-compressed state received by the receiving units 1a, 1b, and 1c. The stream data is data included in the stream, and constitutes video content.

復号部１０３は、バッファに格納されている符号圧縮されたストリームデータを復号し、同期情報決定部１０５へ転送する。具体的には、復号部１０３は、バッファ１０２ａに格納されているストリームデータを復号する復号部１０３ａと、バッファ１０２ｂに格納されているストリームデータを復号する復号部１０３ｂと、バッファ１０２ｃに格納されているストリームデータを復号する復号部１０３ｃとを有する。 The decoding unit 103 decodes the code-compressed stream data stored in the buffer and transfers it to the synchronization information determination unit 105. Specifically, the decoding unit 103 is stored in the buffer 102c, a decoding unit 103a that decodes the stream data stored in the buffer 102a, a decoding unit 103b that decodes the stream data stored in the buffer 102b, and the like. A decoding unit 103c for decoding the stream data.

検出部１０４は、映像コンテンツの映像からシーンの特徴的な変化のあるフレームを検出する。具体的には、映像コンテンツ中の人物または物体の動きの変化を画像認識により認識し、この認識した人物または物体の動きの変化に基づいて、シーンの特徴的変化のあるフレームを各ストリームのコンテンツの中から検出する。ここで、シーンの特徴的変化とは、映像を構成するフレームの前後で対比したときに顕著に見られるコンテンツの内容の変化である。ここで、シーンとは、コンテンツのある場面を意味し、例えば、野球やサッカー中継等の場合、「ボールを投げた」、「ボールを蹴った」といった場面である。また、シーンの特徴的変化とは、シーン（場面）が大きく変わることを意味し、例えば、野球ではホームランのシーンや、サッカーではゴールのシーン等である。 The detection unit 104 detects a frame having a characteristic change in the scene from the video content video. Specifically, a change in the motion of a person or object in the video content is recognized by image recognition, and a frame having a characteristic change in the scene is determined based on the recognized change in the motion of the person or object. Detect from inside. Here, the characteristic change of the scene is a change in the content content that is noticeable when compared before and after the frames constituting the video. Here, the scene means a scene with content, for example, in the case of baseball or soccer broadcast, it is a scene such as “throwing the ball” or “kicking the ball”. The characteristic change of the scene means that the scene (scene) changes greatly, for example, a home run scene in baseball or a goal scene in soccer.

このとき、検出部１０４で検出された「シーンの特徴的変化」のあるフレームは、同期用基準フレームの候補となる。以降では、同期用基準フレームの候補となるこの抽出されたフレームを「候補フレーム」と呼ぶ。 At this time, a frame having a “scene characteristic change” detected by the detection unit 104 is a candidate for a synchronization reference frame. Hereinafter, this extracted frame that is a candidate for the reference frame for synchronization is referred to as a “candidate frame”.

同期情報決定部１０５は、複数のストリームのコンテンツ間で「シーンの特徴的変化」が共通する各ストリームのフレームを、同期用基準フレームとして決定する。この同期用基準フレームは、複数のストリームのコンテンツ間で同期を取る際に用いられるフレームとなる。 The synchronization information determination unit 105 determines a frame of each stream having a “scene characteristic change” in common among the contents of a plurality of streams as a synchronization reference frame. This reference frame for synchronization is a frame used when synchronization is made between contents of a plurality of streams.

ここで、シーンの特徴的変化が共通するフレームとは、各ストリームで検出されたシーンの特徴的変化が同じであるフレームであって、各ストリームのコンテンツのそれぞれに存在するフレームである。 Here, a frame having a common scene characteristic change is a frame having the same scene characteristic change detected in each stream, and is a frame existing in each content of each stream.

同期情報決定部１０５は、前述した候補フレームのうち、任意のストリームの候補フレームを選択し、この候補フレームと同じ「シーンの特徴的変化」の候補フレームが他の各ストリームに存在しているか否かを調べる。ここで、同じ「シーンの特徴的変化」の候補フレームの同定方法であるが、各候補フレームの内容を画像認識等で解析して同一のシーンの特徴的変化を検出する方法や、各候補フレームの音に着目して同様な音の変化があるものを同じシーンの特徴的変化であるとして検出するようにしても良く、また他の方法でもかまわない。 The synchronization information determination unit 105 selects a candidate frame of an arbitrary stream from the candidate frames described above, and whether or not the same candidate frame of “scene characteristic change” as the candidate frame exists in each of the other streams. Find out. Here, the same “scene characteristic change” candidate frame identification method is used, but the method of detecting the characteristic change of the same scene by analyzing the contents of each candidate frame by image recognition or the like, and each candidate frame Focusing on the sound, it may be detected that there is a similar sound change as a characteristic change of the same scene, or other methods may be used.

候補フレームのそれぞれについてこのようにチェックしていった結果、各ストリームのコンテンツのそれぞれに同じシーンの特徴的変化が見られる候補フレームが存在した場合には、この候補フレームを同期用基準フレームに決定し、フレーム番号を取得する。 As a result of checking each of the candidate frames in this way, if there is a candidate frame in which the same scene characteristic change is seen in each of the contents of each stream, this candidate frame is determined as a reference frame for synchronization. And obtain the frame number.

さらに、同期情報決定部１０５は、この決定した同期用基準フレームに基づいて同期情報を生成し、制御側へ通知する。ここで、同期情報とは、決定した同期用基準フレームのフレーム識別子（ここでは、フレーム番号）と、ストリームデータを識別するためのストリーム識別子とが少なくとも関連付けられた情報であり、具体的には図６の例に示される。 Furthermore, the synchronization information determination unit 105 generates synchronization information based on the determined reference frame for synchronization and notifies the control side. Here, the synchronization information is information in which a frame identifier (here, a frame number) of the determined reference frame for synchronization and a stream identifier for identifying stream data are associated at least. Six examples are shown.

再生制御部１０６は、同期情報決定部１０５から通知された同期情報に基づいて、各ストリームの映像コンテンツの同期用基準フレームの映像を同じタイミングで再生する同期制御をおこなう。具体的には、同期情報決定部１０５から通知されてきた同期情報に含まれるストリーム識別子及び同期用基準フレームのフレーム番号に基づいて、各ストリームの映像コンテンツの同期用基準フレームの再生が同一タイミングとなるように制御再生し、各ストリームの映像コンテンツを表示部１０７へ転送する。 Based on the synchronization information notified from the synchronization information determination unit 105, the reproduction control unit 106 performs synchronization control for reproducing the video of the reference frame for synchronization of the video content of each stream at the same timing. Specifically, based on the stream identifier and the frame number of the synchronization reference frame included in the synchronization information notified from the synchronization information determination unit 105, the reproduction of the synchronization reference frame of the video content of each stream has the same timing. The video content of each stream is transferred to the display unit 107.

表示部１０７は、同期制御部１０４から転送されてきた映像コンテンツの映像を表示する。 The display unit 107 displays the video of the video content transferred from the synchronization control unit 104.

次に、上記のように構成させたストリーム同期再生装置の動作について、図２のフローチャートに沿って、図５，図６を適宜用いながら、説明する。 Next, the operation of the stream synchronous playback apparatus configured as described above will be described with reference to the flowchart of FIG. 2 and using FIGS. 5 and 6 as appropriate.

尚、以下の説明では、３台の撮像装置１ａ〜１ｃによって野球中継における選手の動きが撮影されている状況を想定して説明するが、撮像装置は何台であっても構わない。 In addition, although the following description demonstrates the situation where the motion of the player in a baseball broadcast is image | photographed with the three imaging devices 1a-1c, it does not matter how many imaging devices.

また、ストリームの配信側の撮像装置からネットワークを介してストリーム配信される場合を例にとって説明するが、ストリーミングサーバを介してストリーム配信される場合であっても、むろん構わない。 In addition, a case where the stream is distributed from the imaging apparatus on the stream distribution side via the network will be described as an example, but it is needless to say that the stream distribution is performed via the streaming server.

また、検出部１０４は、人物の動きの変化を画像認識し、この認識した人物の動きの変化に基づいてシーンの特徴的変化を検出する構成をとるものとするが、これに限ることはない。映像コンテンツ中の音声の変化を音声認識し、この認識した音声の変化に基づいてシーンの特徴的変化を検出する構成をとってもよい。例えば、前述した野球やサッカー中継等の場合、「ホイッスルが鳴った」、「観客の歓声が上がった」といった音声の変化があった場合に、シーンの特徴的変化が有るとしてもよい。同様にして、映像中の輝度の変化に基づいてシーンの特徴的変化を検出してもよい。 The detection unit 104 recognizes an image of a change in a person's movement and detects a characteristic change in the scene based on the recognized change in the person's movement. However, the present invention is not limited to this. . A configuration may be adopted in which a change in sound in the video content is recognized as a voice, and a scene characteristic change is detected based on the recognized change in the sound. For example, in the case of the above-described baseball or soccer broadcast, there may be a characteristic change in the scene when there is a change in sound such as “whistle rang” or “the audience cheered”. Similarly, a characteristic change in the scene may be detected based on a change in luminance in the video.

また、撮像装置１ｂ，１ｃとネットワーク１０との間は、撮像装置１ａとネットワーク１０との間よりも広帯域のアクセス回線で接続されている場合を想定して説明する。また、撮像装置１ｂとネットワーク１０間の転送距離は、撮像装置１ｃの転送距離よりも幾分長いものとする。このようなネットワーク環境の違いから、ストリームＡはストリームＢよりも１フレーム転送分だけ遅れて受信され、ストリームＣはストリームＢよりも１フレーム転送分だけ早く受信された場合を想定して説明する。 Further, description will be made assuming that the imaging devices 1b and 1c and the network 10 are connected by a broadband access line than the imaging device 1a and the network 10. Further, the transfer distance between the imaging device 1b and the network 10 is somewhat longer than the transfer distance of the imaging device 1c. Description will be made on the assumption that the stream A is received by one frame transfer later than the stream B and the stream C is received earlier by one frame transfer than the stream B due to the difference in the network environment.

更に、以下では、説明の便宜の為、ある野球選手がバッターボックスに立った際に、撮像装置１ａ〜１ｃは、この選手を被写体とする撮影を同時刻に開始したものとして説明する。 Further, in the following description, for convenience of explanation, it is assumed that when a baseball player stands in a batter box, the imaging devices 1a to 1c start shooting at the same time with the player as a subject.

さて、受信部１０１ａ，１０１ｂ，１０１ｃが、撮像装置１ａ，１ｂ，１ｃによって撮影された動画のストリームＡ，Ｂ，Ｃをそれぞれ受信すると（ステップＳ１）、各ストリームのデータは、それぞれバッファ１０２ａ，１０２ｂ，１０２ｃに格納される。 When the receiving units 101a, 101b, and 101c receive the moving image streams A, B, and C photographed by the imaging devices 1a, 1b, and 1c, respectively (step S1), the data of each stream is stored in the buffers 102a and 102b, respectively. , 102c.

このとき、図６に示されるように、回線の転送速度や転送距離等の違いにより、ストリームＡはストリームＢに比べて１フレーム転送分の時間だけ遅れて受信され、ストリームＢはストリームＣに１フレーム転送分の時間だけ遅れて受信されている。 At this time, as shown in FIG. 6, the stream A is received with a delay of one frame transfer compared to the stream B due to a difference in the transfer speed of the line, the transfer distance, and the like. Received with a delay of the frame transfer time.

そして、バッファ１０２ａ，１０２ｂ，１０２ｃにそれぞれ格納され符号圧縮されているストリームデータは、それぞれ復号部１０３ａ，１０３ｂ，１０３ｃによって復号される（ステップＳ２）。 Then, the stream data stored in each of the buffers 102a, 102b, and 102c and subjected to code compression is decoded by the decoding units 103a, 103b, and 103c, respectively (step S2).

次に、検出部１０４により、ストリームＡ，Ｂ,Ｃの各映像コンテンツの映像について、シーンの特徴的な変化の有無がチェックされ、シーンの特徴的な変化のあるフレームが検出される（ステップＳ３）。 Next, the detection unit 104 checks the presence or absence of a characteristic change of the scene for the video contents of the streams A, B, and C, and detects a frame having a characteristic change of the scene (step S3). ).

ここでは、図５に示されるように、シーンの特徴的な変化の見られるフレームとして、ストリームＡの映像コンテンツについてはフレーム番号５を持ったフレームが、ストリームＢの映像コンテンツではフレーム番号１，６を持ったフレームが、ストリームＣの映像コンテンツではフレーム番号２，７を持ったフレームが検出されている。これらの検出されたフレームは、同期制御に用いるための同期用基準フレームを決定するフレームの候補（候補フレーム）となる。 Here, as shown in FIG. 5, as a frame in which a characteristic change of the scene is seen, a frame having frame number 5 for the video content of stream A and frame numbers 1 and 6 for the video content of stream B are shown. In the video content of stream C, frames having frame numbers 2 and 7 are detected. These detected frames become frame candidates (candidate frames) for determining a reference frame for synchronization to be used for synchronization control.

尚、「ボールを投げた」、「ボールを蹴った」といった人物・物体の動きは、急激な変化であったとしても、動きの開始から終了までに数秒はかかる。このため、このような動きの変化（シーンの特徴的変化）が見られるフレームは、数十枚のフレームに亘って構成されることになる。ここでは、前述した候補フレームの検出において、シーンの特徴的変化がはじまる最初の瞬間の１フレームを候補フレームとして検出するものとするが、これに限る必要はない。シーンの特徴的変化が検出されたフレームの前後連続する数フレームを候補フレームとして検出するようにしてもよい。 Even if the movement of the person / object such as “throwing the ball” or “kicking the ball” is abrupt, it takes several seconds from the start to the end of the movement. For this reason, a frame in which such a change in motion (a characteristic change in the scene) is seen is composed of several tens of frames. Here, in the above-described detection of candidate frames, one frame at the first moment when the characteristic change of the scene starts is detected as a candidate frame. However, the present invention is not limited to this. Several consecutive frames before and after the frame in which the characteristic change of the scene is detected may be detected as candidate frames.

尚、本実施の形態では、「シーンの特徴的変化」が共通するフレームの有無を各ストリームについて調べる際、注目する候補フレームを中心とする前後合計５フレームに対応する他のストリームのフレームを対象に調べるものとする。これは、経験的に見ると、複数の撮像装置で同時に撮影を開始した場合、ストリーム間に生じる同期の「ずれ」の程度は数フレーム分であることが多いため、この数フレームの範囲内に「シーンの特徴的変化」が見られるフレームが存在した場合、これらのフレームが「シーンの特徴的変化」が共通するフレームである可能性が高い点に着目したものである。もちろん、このチェック対象範囲は、例えば、注目する候補フレームの前後１０フレーム分などとしてもよい。 In this embodiment, when examining the presence or absence of a frame having a common “scene characteristic change” for each stream, frames of other streams corresponding to a total of five frames before and after the candidate frame of interest are targeted. Shall be examined. From an empirical point of view, when shooting is started simultaneously with a plurality of imaging devices, the degree of synchronization “deviation” that occurs between streams is often a few frames. When there are frames in which “scene characteristic changes” are found, the focus is on the high possibility that these frames are likely to have a common “scene characteristic change”. Of course, this check target range may be, for example, 10 frames before and after the candidate frame of interest.

続いて、同期情報決定部１０５によって、同期用基準フレームが決定され、同期用基準フレームのフレーム番号が取得される。この同期用基準フレームの決定は、具体的には以下のように行われる。 Subsequently, the synchronization information determination unit 105 determines the synchronization reference frame, and acquires the frame number of the synchronization reference frame. The determination of the reference frame for synchronization is specifically performed as follows.

まず、あるストリームで注目する候補フレームを中心とする前後５フレームに対応する他のストリームのフレームの位置に、「シーンの特徴的変化」が見られる候補フレームが存在するか否かが、候補フレーム毎にチェックされてゆく（ステップＳ４）。 First, whether or not there is a candidate frame in which a “characteristic change in the scene” is found at the position of the frame of another stream corresponding to the preceding and following five frames centering on the candidate frame of interest in a certain stream is determined as a candidate frame. Every time it is checked (step S4).

図５に示されるように、今、注目する候補フレームがストリームＡの映像コンテンツの“フレーム５”である場合、フレーム５を中心とする連続する５フレーム分はフレーム３〜フレーム７である。そこで、まず、このフレーム３〜７に対応するストリームＢのコンテンツの位置に「シーンの特徴的変化」が検出されたフレームがあるかどうかが調べられる。ここでは、ストリームＢの映像コンテンツの“フレーム６”はシーンの特徴的変化が検出されたフレームである。さらに、ストリームＣの映像コンテンツにも、シーンの特徴的変化の見られる“フレーム７”が検出されている。 As shown in FIG. 5, when the candidate frame to be focused on is “frame 5” of the video content of stream A, five consecutive frames centering on frame 5 are frames 3 to 7. Therefore, first, it is checked whether or not there is a frame in which “scene characteristic change” is detected at the position of the content of the stream B corresponding to the frames 3 to 7. Here, “frame 6” of the video content of the stream B is a frame in which a characteristic change of the scene is detected. Further, “frame 7” in which a scene characteristic change is also detected in the video content of the stream C is detected.

従って、注目する候補フレームがストリームＡの映像コンテンツの“フレーム５”である場合、フレーム５を中心とする連続する５フレームに対応する他のストリームのフレーム位置には、シーンの特徴的変化が共通するフレームが存在していることになる（ステップＳ４：Ｙｅｓ）。すなわち、ここでは、図５に示されるように、ストリームＡの映像コンテンツのフレーム５と、ストリームＢの映像コンテンツのフレーム６と、ストリームＣの映像コンテンツのフレーム７とがシーンの特徴的変化が共通するフレームである。そして、これらのフレームが同期用基準フレームとして決定される（ステップＳ５）。 Therefore, when the candidate frame of interest is “frame 5” of the video content of stream A, the characteristic change of the scene is common to the frame positions of other streams corresponding to five consecutive frames centering on frame 5. This means that there is a frame to be performed (step S4: Yes). That is, as shown in FIG. 5, the frame 5 of the video content of the stream A, the frame 6 of the video content of the stream B, and the frame 7 of the video content of the stream C share the scene characteristic change. It is a frame to do. These frames are determined as synchronization reference frames (step S5).

更に、同期情報決定部１０５ａによって、ストリームＡの映像コンテンツの同期用基準フレームのフレーム番号（ここでは、５番）が取得され、同様に、同期情報決定部１０５ｂ，１０５ｃによって、ストリームＢ，Ｃの映像コンテンツからも同期用基準フレームのフレーム番号（ここでは、６番、７番）が取得される。そして、この取得された同期用基準フレームの各フレーム番号とストリーム識別子とが少なくとも関連付けられ、その結果、図６の例で示される同期情報が生成される。そして、この同期情報は再生制御部１０６に渡される。 Further, the frame number (here, No. 5) of the reference frame for synchronization of the video content of the stream A is acquired by the synchronization information determination unit 105a. Similarly, the synchronization information determination units 105b and 105c The frame numbers (here, Nos. 6 and 7) of the reference frame for synchronization are also acquired from the video content. Then, at least the frame number of the acquired reference frame for synchronization is associated with the stream identifier, and as a result, the synchronization information shown in the example of FIG. 6 is generated. This synchronization information is passed to the reproduction control unit 106.

次に、再生制御部１０６は、この同期情報に基づいてストリームデータＡ，Ｂ，Ｃの同期を取る。具体的には、再生制御部１０６によって、同期情報が参照され、ストリームデータＡのフレーム番号５のフレーム、ストリームデータＢのフレーム番号６のフレーム、及びストリームデータＣのフレーム番号７のフレームが同一のタイミング（同一時刻）で再生される（ステップＳ６）。これにより、回線の転送速度・転送距離の違い等で生じたストリーム間の同期のずれが解消され、ストリーム間で同期が取られた映像コンテンツが表示される（ステップＳ７）。 Next, the reproduction control unit 106 synchronizes the stream data A, B, and C based on this synchronization information. Specifically, the reproduction control unit 106 refers to the synchronization information, and the frame number 5 of the stream data A, the frame number 6 of the stream data B, and the frame number 7 of the stream data C are the same. Playback is performed at the timing (same time) (step S6). As a result, the difference in synchronization between streams caused by the difference in line transfer speed and transfer distance is eliminated, and the video content synchronized between the streams is displayed (step S7).

上記第１の実施の形態では、同期用基準フレームの映像の再生タイミングが同一となるよう制御する再生制御手段をストリーム受信側に備えているので、撮像装置間のシステム時計の時差に起因する同期の「ずれ」、或いは、撮像装置間のタイムスタンプ処理時間の差に起因する同期の「ずれ」、更には、ネットワーク遅延や干渉によるゆらぎを起因とする同期の「ずれ」、といった同期再生するうえでの想定される種々の同期「ずれ」の要因の影響を無視することができる。 In the first embodiment, since the stream reception side is provided with the reproduction control means for controlling the reproduction timing of the video of the reference frame for synchronization to be the same, the synchronization caused by the time difference of the system clock between the imaging devices. In addition to synchronous playback such as “deviation” of synchronization, “synchronization” due to differences in time stamp processing time between imaging devices, and “synchronization” due to fluctuations due to network delay and interference, The effects of various possible synchronization “displacement” factors can be ignored.

さらに、上記実施の形態では、撮像装置側では映像データにタイムスタンプ処理を施す必要が無く、撮像装置間のシステム時刻を同期させる基準時刻生成装置や基準時刻生成装置から基準時刻を取得する構成部も設ける必要がない。この為、ストリーム同期再生装置の構成を簡素化することができる。 Furthermore, in the above-described embodiment, it is not necessary to perform time stamp processing on video data on the imaging device side, and a reference time generation device that synchronizes system time between imaging devices or a configuration unit that acquires a reference time from a reference time generation device Need not be provided. For this reason, the structure of a stream synchronous reproduction apparatus can be simplified.

尚、上記実施の形態では、「人物又は物体の動きの変化」に基づいてシーンの特徴的変化が検出されたフレーム候補を検出し、この中から、コンテンツ間でシーンの特徴的変化が共通するフレームを同期用基準フレームに決定するよう構成させたが、これに限る必要はない。 In the above embodiment, a frame candidate in which a characteristic change of the scene is detected based on the “change in the movement of a person or an object” is detected, and the characteristic change of the scene is common among the contents. Although the frame is determined to be the reference frame for synchronization, the present invention is not limited to this.

例えば、「人物又は物体の動きの変化に基づいてシーンの特徴的変化が検出されたフレーム」のみにまずは注目し、このフレームが複数ストリームの映像コンテンツ間で共通するか否かをチェックし、共通性が無い場合、次に「音声の変化に基づいてシーンの特徴的変化が検出されたフレーム」に注目して共通性をチェックする、といったようして同期用基準フレームを決定するようにしてもよい。 For example, first focus only on “a frame in which a characteristic change in the scene is detected based on a change in the movement of a person or object”, and check whether this frame is common among multiple streams of video content. If there is no match, the synchronization reference frame may be determined by checking the commonality by paying attention to “the frame in which the characteristic change of the scene is detected based on the change of the sound”. Good.

上記実施の形態では、注目する候補フレームの前後数フレームに対応する他のストリームのフレームについて、「シーンの特徴的変化」が見られるフレームが存在するか否かをチェックし、存在した場合には「シーンの特徴的変化」が同じであるとし、同期用基準フレームとして決定する構成をとった。しかしながら、より厳密に「シーンの特徴的変化」が同じかどうかを判断させたうえで同期用基準フレームを決定するようにしてもよい。 In the above embodiment, for the frames of other streams corresponding to several frames before and after the candidate frame of interest, it is checked whether or not there is a frame in which “scene characteristic change” can be seen. The “scene characteristic change” is assumed to be the same, and a configuration is adopted in which the scene is determined as a reference frame for synchronization. However, the synchronization reference frame may be determined after determining whether or not the “scene characteristic change” is the same.

例えば、精度の高い画像認識装置を用いて対象物の体型、顔の輪郭等の特徴量を取得し、この特徴量に基づいて複数ストリームのコンテンツ間の「シーンの特徴的変化」が同じかどうかをチェックするようにしてもよい。 For example, using a high-accuracy image recognition device, obtain feature quantities such as the body shape and facial contour of the object, and based on these feature quantities, whether the "scene characteristic changes" between multiple streams of content are the same You may make it check.

また、シーンの特徴的変化を示す物理的な量の値（例えば、音声の変化であれば、直前のフレームとの振幅変化（差分）を示す値、輝度の変化であれば、直前のフレームとの明度の変化（差分）を示す値）が、予め定められた閾値を越えているか否かで「シーンの特徴的変化」が同じかどうかをチェックし、そのうえで同期用基準フレームに決定するようにしてもよい。 In addition, a physical quantity value indicating a characteristic change of the scene (for example, a change in sound is a value indicating an amplitude change (difference) from the previous frame, and a change in luminance is the previous frame. It is checked whether the “characteristic change in the scene” is the same based on whether or not the brightness change (difference) of the image exceeds a predetermined threshold value, and then the reference frame for synchronization is determined. May be.

次に、本発明の第２の実施の形態について、図３のブロック図を用いて説明する。 Next, a second embodiment of the present invention will be described with reference to the block diagram of FIG.

図３を見ると、第２の実施の形態では、複数の撮像装置１ａ、１ｂ、１ｃからなるストリーム配信側の撮像装置１は、識別情報挿入部２０６と、同期情報決定部２０５とを有する。さらに、ストリームの受信側には、検出部２０４と、同期情報生成部２０８（２０８ａ〜２０８ｃ）とを有する。その他構成部分については第１の実施の形態の構成と同じであるため、同じ構成部分については第１の実施の形態の場合と同一の符号番号を付し、詳細な説明を省略する。 Referring to FIG. 3, in the second embodiment, the stream distribution-side imaging apparatus 1 including a plurality of imaging apparatuses 1 a, 1 b, and 1 c includes an identification information insertion unit 206 and a synchronization information determination unit 205. Furthermore, the stream receiving side includes a detection unit 204 and synchronization information generation units 208 (208a to 208c). Since the other components are the same as those of the first embodiment, the same components are denoted by the same reference numerals as those of the first embodiment, and detailed description thereof is omitted.

同期情報決定部２０５は、映像コンテンツにシーンの特徴的変化を示す識別情報を挿入し、この挿入した識別情報に基づいて、同期用基準フレームを決定する。具体的には、同期情報決定部２０５は、識別情報挿入部２０６を有する。この識別情報挿入部２０６は、赤外線等の不可視光を複数の撮像装置１ａ〜１ｃのレンズに向けて同時に照射することで、シーンの特徴的変化を識別する。この不可視光の挿入は、撮像装置１ａ，１ｂ，１ｃの全てが同じ方向を向いている時におこなうことが望ましい。これにより、シーンの特徴的変化を識別するための識別情報が同一タイミングで各ストリームのコンテンツに挿入される。 The synchronization information determination unit 205 inserts identification information indicating a characteristic change of a scene into the video content, and determines a synchronization reference frame based on the inserted identification information. Specifically, the synchronization information determination unit 205 includes an identification information insertion unit 206. The identification information insertion unit 206 identifies a characteristic change of the scene by simultaneously irradiating invisible light such as infrared rays toward the lenses of the plurality of imaging devices 1a to 1c. This invisible light insertion is desirably performed when all of the imaging devices 1a, 1b, and 1c face the same direction. As a result, identification information for identifying characteristic changes in the scene is inserted into the content of each stream at the same timing.

上述した識別情報が各ストリームのコンテンツに挿入されることで、この識別情報によりもたらされるシーンの特徴的変化も、複数ストリームの映像コンテンツ間で共通するものとなる。従って、識別情報挿入部２０６による識別情報の挿入により、映像コンテンツ間で、シーンの特徴的変化が共通するフレーム（同期用基準フレーム）が、一意に決定づけられる。 By inserting the identification information described above into the contents of each stream, the characteristic change of the scene caused by the identification information is also common among the video contents of a plurality of streams. Therefore, by inserting the identification information by the identification information insertion unit 206, a frame (synchronization reference frame) having a common scene characteristic change between video contents is uniquely determined.

尚、識別情報挿入部２０６の機能は、撮像装置とは独立したストリーム配信側にある別の装置に持たせるようにしてもよい。 Note that the function of the identification information insertion unit 206 may be provided to another device on the stream distribution side that is independent of the imaging device.

検出部２０４は、映像コンテンツの映像からシーンの特徴的な変化を検出する。具体的には、識別情報挿入部２０６により挿入された識別情報によりもたらされる赤外線や超音波等によりシーンの特徴的変化を検出する。 The detection unit 204 detects a characteristic change of the scene from the video content video. Specifically, a characteristic change of the scene is detected by infrared rays, ultrasonic waves, or the like provided by the identification information inserted by the identification information insertion unit 206.

同期情報生成部２０８は、検出部２０４で検出されたシーンの特徴的変化が見られるフレームのフレーム番号を取得する。このフレーム番号は、撮像装置１の同期情報決定部２０５で決定づけられた同期用基準フレームのフレーム番号となる。さらに、同期情報生成部２０８は、このフレーム番号をストリーム識別子と関連付けて、同期情報として再生制御部１０６に通知する。 The synchronization information generation unit 208 acquires a frame number of a frame in which a characteristic change of the scene detected by the detection unit 204 is seen. This frame number is the frame number of the reference frame for synchronization determined by the synchronization information determination unit 205 of the imaging apparatus 1. Further, the synchronization information generation unit 208 associates this frame number with the stream identifier and notifies the reproduction control unit 106 as synchronization information.

次に、第２の実施の形態における動作について、図４のフローチャートを用いて説明する。尚、以下では、赤外線を各撮像装置のレンズに照射することで識別情報の挿入をおこなうものとする。 Next, the operation in the second embodiment will be described with reference to the flowchart of FIG. In the following description, it is assumed that identification information is inserted by irradiating a lens of each imaging device with infrared rays.

まず、撮像装置１ａ〜１ｃが同じ方向を向いているタイミングで、ストリーム配信側の識別情報挿入部２０６から、撮像装置１ａ〜１ｃに赤外線が照射される（ステップＴ１）。これにより、コンテンツにシーンの特徴的変化を示す識別情報が挿入される。 First, at the timing when the imaging devices 1a to 1c are directed in the same direction, infrared rays are emitted from the identification information insertion unit 206 on the stream delivery side to the imaging devices 1a to 1c (step T1). Thereby, identification information indicating a characteristic change of the scene is inserted into the content.

次に、このコンテンツに識別情報の挿入されたストリームＡ，Ｂ，Ｃを受信したストリーム同期再生装置１００では、受信部１０１、復号部１０３において、第１の実施の形態と同様にストリームデータの受信処理／復号処理が施される（ステップＴ２〜Ｔ３）。 Next, in the stream synchronous playback apparatus 100 that has received the streams A, B, and C in which the identification information is inserted into the content, the reception unit 101 and the decoding unit 103 receive stream data as in the first embodiment. Processing / decoding processing is performed (steps T2 to T3).

さらに、検出部２０４によって、挿入された識別情報によるシーンの特徴的変化が検出される（ステップＴ４）。 Further, the scene change due to the inserted identification information is detected by the detection unit 204 (step T4).

続いて、同期情報生成部２０８によって、識別情報によってもたらされたシーンの特徴的変化が見られるフレーム番号が、各ストリームの映像コンテンツから取得される。すなわち、検出部２０４で検出されたシーンの特徴的変化が見られるフレームのフレーム番号が同期情報生成部２０８によって取得される（ステップＴ５）。さらに、この取得されたフレーム番号がストリーム識別子と関連付けられ、再生制御部１０６に送信される。 Subsequently, the synchronization information generation unit 208 acquires the frame number in which the characteristic change of the scene caused by the identification information is seen from the video content of each stream. That is, the frame number of the frame in which the characteristic change of the scene detected by the detection unit 204 is seen is acquired by the synchronization information generation unit 208 (step T5). Further, the acquired frame number is associated with the stream identifier and transmitted to the reproduction control unit 106.

以降は、実施の形態１の場合と同様、再生制御部１０６において、この同期情報に基づいてストリームデータＡ，Ｂ，Ｃの同期を取った再生制御がなされ、ストリーム間での同期が取られる（ステップＴ６〜Ｔ７）。 Thereafter, as in the case of the first embodiment, the reproduction control unit 106 performs reproduction control in which the stream data A, B, and C are synchronized based on this synchronization information, and synchronization between streams is established ( Steps T6 to T7).

上記第２の実施の形態では、シーンの特徴的変化を識別するための識別情報を各ストリームに意図的に挿入することで、複数のストリームの映像コンテンツ間で、シーンの特徴的変化が共通するフレーム（同期用基準フレーム）を確実に決定付けることができる。 In the second embodiment, the scene characteristic change is common among the video contents of a plurality of streams by intentionally inserting identification information for identifying the characteristic change of the scene into each stream. A frame (reference frame for synchronization) can be determined reliably.

上記では、識別情報を１回挿入する場合を例にとって説明したが、識別情報は定期的に複数回挿入してもよい。さらにこの場合、識別情報挿入部が識別情報を映像コンテンツに定期的に挿入する時間間隔をストリーム同期再生装置に通知しておくと好都合である。このように構成させた場合、ストリーム同期再生装置は、同期情報の生成処理を予め決められた時間にだけ行えばよいので、同期処理の負荷を低減させることができる為である。 In the above description, the case where the identification information is inserted once has been described as an example. However, the identification information may be periodically inserted a plurality of times. Further, in this case, it is convenient to notify the stream synchronized playback device of the time interval at which the identification information insertion unit periodically inserts the identification information into the video content. This is because, when configured in this way, the stream synchronous reproduction device only needs to perform the generation process of the synchronization information only at a predetermined time, so that the load of the synchronization process can be reduced.

尚、上記実施の形態では、赤外線を照射することでストリームのコンテンツに識別情報を挿入する場合を例にとったが、これに限ることはない。不可視光であれば、赤外線以外の光を照射して各ストリームに識別情報を挿入してもよい。また、超音波等の不可聴音により各ストリームに識別情報を挿入する形であってもよい。 In the above embodiment, the case where the identification information is inserted into the content of the stream by irradiating infrared rays is taken as an example, but the present invention is not limited to this. If it is invisible light, light other than infrared rays may be irradiated to insert identification information into each stream. Further, the identification information may be inserted into each stream by an inaudible sound such as an ultrasonic wave.

さて、上記実施の形態では、人物・物体の変化、音声の変化、または輝度の変化のいずれかに基づいて、シーンの特徴的変化が見られるフレームを検出する場合を例にとって説明した。しかしながら、第３の実施の形態として、音声認識や画像認識といった複数の認識手段を同時に用いることで、シーンの特徴的変化の見られる候補フレームを同時に全て洗い出し、この洗い出した全候補フレームの中から同期用基準フレームを決定するようにしてもよい。 The above embodiment has been described by taking as an example the case of detecting a frame in which a characteristic change of a scene is detected based on any of a person / object change, a sound change, or a brightness change. However, as a third embodiment, by simultaneously using a plurality of recognition means such as voice recognition and image recognition, all candidate frames in which a characteristic change of the scene is seen are simultaneously detected, and from among all the candidate frames thus detected. A reference frame for synchronization may be determined.

第３の実施の形態では、検出部１０４及び同期情報決定部１０５に替えて、検出部３０４と同期情報決定部３０５とを有する。 In the third embodiment, a detection unit 304 and a synchronization information determination unit 305 are provided instead of the detection unit 104 and the synchronization information determination unit 105.

検出部３０４は、シーンの特徴的変化の検出に加え、フレームに含まれる物理量を取得する。ここで、フレームに含まれる物理量とは、例えば、フレームに含まれる音声の大きさ（振幅）の値、フレームを構成する画像の画素数の値、明るさを示す値、等である。検出部３０４は、この取得した物理量を参照し、検出されたシーンの特徴的な変化が、「人物の動きの変化」に基づくものなのか、「音声の変化」に基づくものなのか、「輝度の変化」に基づくものなのかをそれぞれ判断する。 The detection unit 304 acquires a physical quantity included in a frame in addition to detection of a scene characteristic change. Here, the physical quantity included in the frame is, for example, a value of amplitude (amplitude) of audio included in the frame, a value of the number of pixels of an image constituting the frame, a value indicating brightness, and the like. The detection unit 304 refers to the acquired physical quantity, determines whether the characteristic change of the detected scene is based on “change in human movement” or “change in sound”, or “brightness It is judged whether it is based on "change of".

同期情報決定部３０５は、「シーンの特徴的変化」と同じ「シーンの特徴的変化」の見られるフレームがコンテンツ間で共通して存在している場合に、同期用基準フレームとして決定する。その他の構成部分の機能については、上述した第１，２の実施の形態と同一であり、同一の構成部分においては同一の符号を付して、詳細な説明は省略する。 The synchronization information determination unit 305 determines a reference frame for synchronization when a frame in which the same “characteristic change of the scene” as the “characteristic change of the scene” is seen exists in common between the contents. The functions of the other components are the same as those in the first and second embodiments described above, and the same components are denoted by the same reference numerals and detailed description thereof is omitted.

第３の実施の形態においては、検出部３０４により、図８に示されるように、「人物の動きの変化に基づいてシーンの特徴的変化が検出されたフレーム」と「音声の変化に基づいてシーンの特徴的変化が検出されたフレーム」と「輝度の変化に基づいてシーンの特徴的変化が検出されたフレーム」とがシーンの特徴的変化が見られるフレーム（候補フレーム）として混在する形で検出されることになる。 In the third embodiment, as shown in FIG. 8, the detection unit 304 “frames in which a characteristic change of a scene is detected based on a change in a person's movement” and “based on a change in sound. A frame in which a characteristic change of the scene is detected and a frame in which a characteristic change of the scene is detected based on a change in luminance are mixed as a frame (candidate frame) in which a characteristic change of the scene is seen. Will be detected.

このとき、検出部３０４は、取得したフレームの物理量に基づいて、検出された候補フレームのシーンの特徴的な変化が、「人物の動きの変化」に基づくものなのか、「音声の変化」に基づくものなのか、「輝度の変化」に基づくものなのかを、それぞれ判断する。例えば、ストリームＡのフレーム５の物理量が１００ｄＢであった場合、同じ「シーンの特徴的変化」であれば、ストリームＢのフレーム７の物理量も、ストリームＣのフレーム８の物理量も、１００ｄＢに近似する値となる為、判断することができる。 At this time, based on the acquired physical quantity of the frame, the detection unit 304 determines whether the characteristic change of the detected candidate frame scene is based on “change in human movement” or “change in sound”. Whether it is based on “change in luminance” or not is determined. For example, if the physical quantity of frame 5 of stream A is 100 dB, the physical quantity of frame 7 of stream B and the physical quantity of frame 8 of stream C approximate 100 dB if the “scene characteristic change” is the same. Since it becomes a value, it can be judged.

次に、同期情報決定部３０５は、候補フレームで検出された「シーンの特徴的変化」と同じ「シーンの特徴的変化」の見られるフレームがコンテンツ間で共通して存在している場合に、同期用基準フレームとして決定する。 Next, the synchronization information determination unit 305, when a frame in which the same “scene characteristic change” detected in the candidate frame is found in common among the contents, It is determined as a reference frame for synchronization.

図８の例では、ストリームＡのフレーム５と、ストリームＢのフレーム７と、ストリームＣのフレーム８とが同期用基準フレームに決定される。 In the example of FIG. 8, frame 5 of stream A, frame 7 of stream B, and frame 8 of stream C are determined as synchronization reference frames.

上記実施の形態では、シーンの特徴的変化の見られる候補フレームを同時に全て洗い出し、この洗い出した全候補フレームの中から同期用基準フレームを決定するよう構成させたので、シーンの特徴的変化の検出を異なる手法で個別に行うのに比べて、同期処理を効率化でき、処理時間の短縮化を図ることができる。 In the above-described embodiment, all candidate frames in which a scene characteristic change is seen are simultaneously detected, and a synchronization reference frame is determined from all the candidate frames thus detected. As compared with the case where the process is performed individually by a different method, the synchronization process can be made more efficient and the processing time can be shortened.

尚、上記実施の形態では、装置の各部をハードウェアで構成したが、各部の一部または全部をプログラムとして情報処理装置に機能させるようにすることもできる。 In the above embodiment, each part of the apparatus is configured by hardware, but part or all of each part may be caused to function as a program in the information processing apparatus.

本発明における第１の実施形態の構成を示すブロック図The block diagram which shows the structure of 1st Embodiment in this invention. 本発明における第１の実施形態の処理手順を示すフローチャートThe flowchart which shows the process sequence of 1st Embodiment in this invention. 本発明における第２の実施形態の構成を示すブロック図The block diagram which shows the structure of 2nd Embodiment in this invention. 本発明における第２の実施形態の処理手順を示すフローチャートThe flowchart which shows the process sequence of 2nd Embodiment in this invention. 第１の実施の形態におけるストリームの構成例を示す図The figure which shows the structural example of the stream in 1st Embodiment. 同期情報の例を示す図Diagram showing an example of synchronization information 本発明における第３の実施形態の構成を示すブロック図The block diagram which shows the structure of 3rd Embodiment in this invention. 第３の実施の形態におけるストリームの構成例を示す図The figure which shows the structural example of the stream in 3rd Embodiment.

符号の説明Explanation of symbols

１撮像装置
２同期情報挿入装置
１０ネットワーク
１００ストリーム同期再生装置
１０１受信部
１０２復号部
１０４検出部
１０５同期情報決定部
１０６再生制御部
１０７表示部
２０４検出部
２０８同期情報生成部
３０４検出部
３０５同期情報決定部 DESCRIPTION OF SYMBOLS 1 Imaging device 2 Synchronization information insertion device 10 Network 100 Stream synchronous reproduction device 101 Receiving unit 102 Decoding unit 104 Detection unit 105 Synchronization information determination unit 106 Playback control unit 107 Display unit 204 Detection unit 208 Synchronization information generation unit 304 Detection unit 305 Synchronization information Decision part

Claims

ストリーム同期再生システムであって、
複数のストリームのコンテンツ間でシーンの特徴的変化が共通する各ストリームのフレームを、同期用基準フレームとして決定する決定手段と、
各ストリームのコンテンツの同期用基準フレームの映像を同じタイミングで再生する再生制御手段と
を有することを特徴とするストリーム同期再生システム。 A stream synchronous playback system,
Determining means for determining, as a reference frame for synchronization, a frame of each stream in which a scene characteristic change is common among the contents of the plurality of streams;
A stream synchronous reproduction system comprising reproduction control means for reproducing video of a synchronization reference frame of content of each stream at the same timing.

前記決定手段と前記再生制御手段とをストリームの受信側に備えたことを特徴とする請求項１に記載のストリーム同期再生システム。 2. The stream synchronous reproduction system according to claim 1, wherein the determination unit and the reproduction control unit are provided on a stream reception side.

前記決定手段は、画像認識によりコンテンツの人物または物体の動きの変化を認識し、この認識した人物または物体の動きの変化に基づいてシーンの特徴的変化を検出するように構成されていることを特徴とする請求項２に記載のストリーム同期再生システム。 The determination means is configured to recognize a change in the movement of the person or object of the content by image recognition and detect a characteristic change in the scene based on the change in the movement of the recognized person or object. The stream synchronous reproduction system according to claim 2 characterized by things.

前記決定手段は、音声認識によりコンテンツの音声の変化を認識し、この認識した音声の変化に基づいてシーンの特徴的変化を検出するように構成されていることを特徴とする請求項２に記載のストリーム同期再生システム。 The said determination means is comprised so that the change of the audio | voice of a content may be recognized by audio | voice recognition, and the characteristic change of a scene may be detected based on this recognized change of the audio | voice. Stream synchronous playback system.

前記決定手段は、コンテンツの輝度の変化に基づいてシーンの特徴的変化を検出するように構成されていることを特徴とする請求項２に記載のストリーム同期再生システム。 The stream synchronous reproduction system according to claim 2, wherein the determination unit is configured to detect a characteristic change of a scene based on a change in luminance of content.

前記決定手段をストリームの配信側に備え、前記再生制御手段をストリームの受信側に備えたことを特徴とする請求項１に記載のストリーム同期再生システム。 2. The stream synchronous reproduction system according to claim 1, wherein the determination unit is provided on a stream distribution side, and the reproduction control unit is provided on a stream reception side.

コンテンツにシーンの特徴的変化を示す識別情報を挿入する挿入手段と、
前記決定手段は、前記コンテンツに挿入された識別情報に基づいて、同期用基準フレームを決定することを特徴とする請求項６に記載のストリーム同期再生システム。 Insertion means for inserting identification information indicating a characteristic change of the scene into the content;
7. The stream synchronous reproduction system according to claim 6, wherein the determination unit determines a reference frame for synchronization based on identification information inserted into the content.

前記挿入手段は、前記識別情報として不可視光をコンテンツに挿入するであることを特徴とする請求項７に記載のストリーム同期再生システム。 8. The stream synchronous reproduction system according to claim 7, wherein the inserting means inserts invisible light as the identification information into the content.

前記挿入信号は、前記識別情報として不可聴音をコンテンツに挿入することを特徴とする請求項７に記載のストリーム同期再生システム。 The stream synchronous reproduction system according to claim 7, wherein the insertion signal inserts an inaudible sound into the content as the identification information.

複数のストリームのコンテンツ間でシーンの特徴的変化が共通する各ストリームのフレームを、同期用基準フレームとして決定する決定手段と、
各ストリームのコンテンツの同期用基準フレームの映像を同じタイミングで再生する再生制御手段と
を有することを特徴とするストリーム同期再生装置。 Determining means for determining, as a reference frame for synchronization, a frame of each stream in which a scene characteristic change is common among the contents of the plurality of streams;
A stream synchronous reproduction apparatus comprising: reproduction control means for reproducing video of a synchronization reference frame of content of each stream at the same timing.

前記決定手段は、画像認識によりコンテンツの人物または物体の動きの変化を認識し、この認識した人物または物体の動きの変化に基づいてシーンの特徴的変化を検出するように構成されていることを特徴とする請求項１０に記載のストリーム同期再生装置。 The determination means is configured to recognize a change in the movement of the person or object of the content by image recognition and detect a characteristic change in the scene based on the change in the movement of the recognized person or object. The stream synchronous reproduction apparatus according to claim 10, wherein:

前記決定手段は、音声認識によりコンテンツの音声の変化を認識し、この認識した音声の変化に基づいてシーンの特徴的変化を検出するように構成されていることを特徴とする請求項１０に記載のストリーム同期再生装置。 The said determination means is comprised so that the change of the audio | voice of a content may be recognized by audio | voice recognition, and the characteristic change of a scene may be detected based on this recognized audio | voice change. Stream synchronous playback device.

前記決定手段は、コンテンツの輝度の変化に基づいてシーンの特徴的変化を検出するように構成されていることを特徴とする請求項１０に記載のストリーム同期再生装置。 11. The stream synchronous reproduction apparatus according to claim 10, wherein the determination unit is configured to detect a characteristic change of a scene based on a change in luminance of content.

複数のストリームのコンテンツ間でシーンの特徴的変化が共通する各ストリームのフレームを、同期用基準フレームとして決定する決定ステップと、
各ストリームのコンテンツの同期用基準フレームの映像を同じタイミングで再生する再生制御ステップと
を有することを特徴とするストリーム同期再生方法。 A determination step of determining, as a reference frame for synchronization, a frame of each stream in which a scene characteristic change is common among the contents of the plurality of streams;
And a playback control step of playing back the video of the reference frame for synchronization of the contents of each stream at the same timing.

前記決定ステップは、画像認識によりコンテンツの人物または物体の動きの変化を認識し、この認識した人物または物体の動きの変化に基づいてシーンの特徴的変化を検出することを特徴とする請求項１４に記載のストリーム同期再生方法。 15. The determination step of recognizing a change in motion of a person or object of content by image recognition and detecting a characteristic change in a scene based on the change in motion of the recognized person or object. Stream synchronized playback method described in 1.

前記決定ステップは、音声認識によりコンテンツの音声の変化を認識し、この認識した音声の変化に基づいてシーンの特徴的変化を検出することを特徴とする請求項１４に記載のストリーム同期再生方法。 15. The stream synchronous reproduction method according to claim 14, wherein the determining step recognizes a change in the sound of the content by sound recognition, and detects a characteristic change in the scene based on the recognized change in the sound.

前記決定ステップは、コンテンツの輝度の変化に基づいてシーンの特徴的変化を検出することを特徴とする請求項１４に記載のストリーム同期再生方法。 15. The stream synchronous reproduction method according to claim 14, wherein the determining step detects a characteristic change of a scene based on a change in luminance of content.

情報処理装置のプログラムであって、前記プログラムは情報処理装置を、
複数のストリームのコンテンツ間でシーンの特徴的変化が共通する各ストリームのフレームを、同期用基準フレームとして決定する決定処理と、
各ストリームのコンテンツの同期用基準フレームの映像を同じタイミングで再生する再生制御処理と
して機能させることを特徴とするプログラム。 A program for an information processing apparatus, wherein the program
A determination process for determining, as a reference frame for synchronization, a frame of each stream in which a scene characteristic change is common among the contents of the plurality of streams;
A program which functions as a reproduction control process for reproducing video of a reference frame for synchronization of contents of each stream at the same timing.