JP4937795B2 - Content-associated information display method, content-associated information display device, program thereof, and recording medium - Google Patents

Content-associated information display method, content-associated information display device, program thereof, and recording medium Download PDF

Info

Publication number
JP4937795B2
JP4937795B2 JP2007055885A JP2007055885A JP4937795B2 JP 4937795 B2 JP4937795 B2 JP 4937795B2 JP 2007055885 A JP2007055885 A JP 2007055885A JP 2007055885 A JP2007055885 A JP 2007055885A JP 4937795 B2 JP4937795 B2 JP 4937795B2
Authority
JP
Japan
Prior art keywords
time
content
reference time
accompanying information
playback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007055885A
Other languages
Japanese (ja)
Other versions
JP2008219608A (en
Inventor
隆行 黒住
淳司 大和
秀尚 永野
邦夫 柏野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2007055885A priority Critical patent/JP4937795B2/en
Publication of JP2008219608A publication Critical patent/JP2008219608A/en
Application granted granted Critical
Publication of JP4937795B2 publication Critical patent/JP4937795B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、コンテンツに対応する複数の付随情報のうち、時刻に基づいて選択した付随情報を表示するコンテンツ付随情報表示方法およびコンテンツ付随情報表示装置ならびにそのプログラムと記録媒体に関する。   The present invention relates to a content-associated information display method, a content-associated information display device, a program, and a recording medium for displaying associated information selected based on time among a plurality of associated information corresponding to content.

従来、再生されている音または映像の信号が、蓄積されている信号のどの箇所に対応するかを特定する高速信号探索方法が特許文献１に開示されている。また特許文献１の高速信号探索方法により求められた探索結果に対して付随情報を表示する方法が特許文献２に開示されている。
特許第３０６５３１４号公報 特開２００５−２５５７０号公報 Conventionally, Patent Document 1 discloses a high-speed signal search method for specifying to which part of a stored signal a reproduced sound or video signal corresponds. Further, Patent Document 2 discloses a method for displaying accompanying information with respect to a search result obtained by the high-speed signal search method of Patent Document 1.
Japanese Patent No. 30653314 JP 2005-25570 A

しかしながら、上述の特許文献２の方法では、特徴抽出や探索処理に時間がかかるため、探索結果を読み取った時点と、その時に再生されているデータの信号との間に遅延が発生し、再生されている情報と付随情報との同期を取ることができないという欠点があった。ここで例えば、映像コンテンツの付随情報としては、歌唱映像に対して時間毎に付随する歌詞のテキスト情報、ドラマの映像に対して時間毎に付随する出演者情報、ドラマなどの映像に対して時間毎に付随する視聴者の感想情報などがある。 However, in the method of Patent Document 2 described above, since feature extraction and search processing take time, a delay occurs between the time when the search result is read and the data signal being reproduced at that time, and the reproduction is performed. There is a drawback that it is not possible to synchronize the information and the accompanying information. Here, for example, as the accompanying information of the video content, the text information of the lyrics accompanying the singing video every hour, the performer information accompanying the hour of the drama video, the time of the video such as the drama There is a viewer's impression information accompanying each.

そこでこの発明は、再生されている情報と付随情報との同期を取って、付随情報の表示を行うことができるコンテンツ付随情報表示装置を提供することを目的としている。   Accordingly, an object of the present invention is to provide a content-associated information display device capable of displaying accompanying information in synchronization with the information being reproduced and the accompanying information.

上記目的を達成するために、本発明は、コンテンツの付随情報を表示するコンテンツ付随情報表示装置のコンテンツ付随情報表示方法であって、再生コンテンツの特徴データの抽出開始時刻となる基準時刻を取得する基準時刻取得過程と、再生コンテンツから特徴データを抽出する再生コンテンツ特徴抽出過程と、前記抽出された再生コンテンツの特徴データに基づいて、蓄積コンテンツ中の特徴データを探索し、再生コンテンツから導き出された特徴データに対応する前記蓄積コンテンツ中の時刻を該当基準時刻として特定する該当基準時刻特定過程と、前記再生コンテンツの現在の再生時刻を取得する再生時刻取得過程と、前記再生時刻と前記基準時刻の時間差を前記該当基準時刻に加えることにより、前記基準時刻から時間が経過した前記再生時刻に対応する前記蓄積コンテンツ中の時刻を計算して、その計算した時刻を再生該当基準時刻とする該当再生時刻計算過程と、前記蓄積コンテンツ中の時刻ごとに対応付けられた付随情報の中から前記再生該当基準時刻に対応する前記付随情報を選択する付随情報選択過程と、前記付随情報を表示する付随情報表示過程と、を有することを特徴とするコンテンツ付随情報表示方法である。 In order to achieve the above object, the present invention provides a content-associated information display method for a content-associated information display device that displays content-associated information, and obtains a reference time that is an extraction start time of feature data of a reproduced content Based on the reference time acquisition process, the playback content feature extraction process for extracting feature data from the playback content, and the feature data of the extracted playback content, the feature data in the stored content is searched and derived from the playback content A corresponding reference time specifying process for specifying a time in the stored content corresponding to feature data as a corresponding reference time, a playback time acquiring process for acquiring a current playback time of the playback content, the playback time and the reference time by adding the time difference to the corresponding reference time, the time from the reference time has elapsed The time in the stored content corresponding to the playback time is calculated, the corresponding playback time calculation process using the calculated time as the playback corresponding reference time, and the associated information associated with each time in the stored content A content incidental information display method comprising: an incidental information selection process for selecting the incidental information corresponding to the reproduction relevant reference time from the above, and an incidental information display process for displaying the incidental information.

また本発明は、コンテンツの付随情報を表示するコンテンツ付随情報表示装置と、該当基準時刻を特定する該当基準時刻特定装置と、付随情報を選択する付随情報選択装置と、を備えたコンテンツ付随情報表示システムにおける前記コンテンツ付随情報表示装置のコンテンツ付随情報表示方法であって、再生コンテンツの特徴データの抽出開始時刻となる基準時刻を取得する基準時刻取得過程と、再生コンテンツから特徴データを抽出する再生コンテンツ特徴抽出過程と、前記特徴データを前記該当基準時刻特定装置へ送信する特徴データ送信過程と、前記抽出された再生コンテンツの特徴データに基づいて、蓄積コンテンツ中の特徴データを探索し、再生コンテンツから導き出された特徴データに対応する前記蓄積コンテンツ中の時刻を該当基準時刻として特定する前記該当基準時刻特定装置より、前記該当基準時刻を受信する該当基準時刻受信過程と、前記再生コンテンツの現在の再生時刻を取得する再生時刻取得過程と、前記再生時刻と前記基準時刻の時間差を前記該当基準時刻に加えることにより、前記基準時刻から時間が経過した前記再生時刻に対応する前記蓄積コンテンツ中の時刻を計算して、その計算した時刻を再生該当基準時刻とする該当再生時刻計算過程と、前記再生該当基準時刻を前記付随情報選択装置へ送信する再生該当基準時刻送信手段と、前記蓄積コンテンツ中の時刻ごとに対応付けられた付随情報の中から前記再生該当基準時刻に対応する前記付随情報を選択する付随情報選択装置より、前記選択された付随情報を受信する付随情報受信過程と、前記付随情報を表示する付随情報表示過程と、を有することを特徴とするコンテンツ付随情報表示方法である。
また本発明は、上述のコンテンツ付随情報表示方法において、前記該当再生時刻計算過程において、前記基準時刻である第１の基準時刻と他の基準時刻である第２の基準時刻との差に対する、それら２つの基準時刻に対応する第１の該当基準時刻と第２の該当基準時刻の差の割合を、前記再生時刻と前記第１の基準時刻の時間差に乗じて前記第１の基準時刻に対応する前記第１の該当基準時刻に加えることにより、前記第１の基準時刻から時間が経過した前記再生時刻に対応する前記蓄積コンテンツ中の時刻を計算して、その計算した時刻を再生該当基準時刻とすることを特徴とする。 The present invention also provides a content-associated information display device comprising a content-associated information display device that displays content-associated information, a corresponding reference time specifying device that identifies a corresponding reference time, and an accompanying information selection device that selects accompanying information. A content-associated information display method of the content-associated information display device in the system, wherein a reference time acquisition process for acquiring a reference time that is an extraction start time of feature data of playback content, and playback content that extracts feature data from playback content a feature extraction step, a feature data transmission process of transmitting the characteristic data to the corresponding reference time specifying unit, based on the characteristic data of the extracted reproduced content, searches the feature data in the accumulation content, playback content The time in the stored content corresponding to the feature data derived from Than the corresponding reference time specifying unit which specifies a reference time, and the corresponding reference time receiving process of receiving the corresponding reference time, the current and the reproduction time acquisition step of acquiring a reproduction time of the reproduction content, the reproduction time and the reference By adding the time difference of the time to the corresponding reference time, the time in the stored content corresponding to the playback time that has elapsed from the reference time is calculated, and the calculated time is used as the playback corresponding reference time. A reproduction relevant reference time transmitting means for transmitting the reproduction relevant reference time to the accompanying information selection device, and the reproduction relevant reference time from among the associated information associated with each time in the stored content. An accompanying information receiving process for receiving the selected accompanying information from an accompanying information selection device that selects the accompanying information corresponding to And accompanying information display step of displaying the incidental information is content incidental information display method characterized in that it comprises a.
Further, the present invention provides the above-described content-associated information display method, in the corresponding reproduction time calculation process, for the difference between the first reference time that is the reference time and the second reference time that is another reference time. The ratio of the difference between the first corresponding reference time and the second corresponding reference time corresponding to two reference times is multiplied by the time difference between the reproduction time and the first reference time to correspond to the first reference time. By adding to the first relevant reference time, a time in the stored content corresponding to the reproduction time that has elapsed from the first reference time is calculated, and the calculated time is taken as a reproduction relevant reference time. It is characterized by doing.

また本発明は、コンテンツの付随情報を表示するコンテンツ付随情報表示装置であって、再生コンテンツの特徴データの抽出開始時刻となる基準時刻を取得する基準時刻取得手段と、再生コンテンツから特徴データを抽出する再生コンテンツ特徴抽出手段と、前記抽出された再生コンテンツの特徴データに基づいて、蓄積コンテンツ中の特徴データを探索し、再生コンテンツから導き出された特徴データに対応する前記蓄積コンテンツ中の時刻を該当基準時刻として特定する該当基準時刻特定手段と、前記再生コンテンツの現在の再生時刻を取得する再生時刻取得手段と、前記再生時刻と前記基準時刻の時間差を前記該当基準時刻に加えることにより、前記基準時刻から時間が経過した前記再生時刻に対応する前記蓄積コンテンツ中の時刻を計算して、その計算した時刻を再生該当基準時刻とする該当再生時刻計算手段と、前記蓄積コンテンツ中の時刻ごとに対応付けられた付随情報の中から前記再生該当基準時刻に対応する前記付随情報を選択する付随情報選択手段と、前記付随情報を表示する付随情報表示手段と、を備えることを特徴とするコンテンツ付随情報表示装置である。 The present invention also relates to a content-associated information display device that displays content-associated information, a reference time acquisition unit that acquires a reference time that is a start time of extraction of feature data of playback content, and extracts feature data from the playback content and reproducing content feature extraction means for, based on the characteristic data of the extracted reproduced content, searches the feature data in the accumulation content and time in the storage content corresponding to the characteristic data derived from the reproduction content The reference time specifying means for specifying the reference time, the playback time acquisition means for acquiring the current playback time of the playback content, and adding the time difference between the playback time and the reference time to the reference time, A time in the stored content corresponding to the playback time that has elapsed from a reference time; And the corresponding reproduction time calculation means that uses the calculated time as the reproduction relevant reference time, and the accompanying information corresponding to the reproduction relevant reference time among the accompanying information associated with each time in the stored content The content accompanying information display device is characterized by comprising accompanying information selecting means for selecting and accompanying information display means for displaying the accompanying information.

また本発明は、コンテンツの付随情報を表示するコンテンツ付随情報表示装置と、該当基準時刻を特定する該当基準時刻特定装置と、付随情報を選択する付随情報選択装置と、を備えたコンテンツ付随情報表示システムにおける前記コンテンツ付随情報表示装置であって、再生コンテンツの特徴データの抽出開始時刻となる基準時刻を取得する基準時刻取得手段と、再生コンテンツから特徴データを抽出する再生コンテンツ特徴抽出手段と、前記特徴データを前記該当基準時刻特定装置へ送信する特徴データ送信手段と、前記抽出された再生コンテンツの特徴データに基づいて、蓄積コンテンツ中の特徴データを探索し、再生コンテンツから導き出された特徴データに対応する前記蓄積コンテンツ中の時刻を該当基準時刻として特定する前記該当基準時刻特定装置より、前記該当基準時刻を受信する該当基準時刻受信手段と、前記再生コンテンツの現在の再生時刻を取得する再生時刻取得手段と、前記再生時刻と前記基準時刻の時間差を前記該当基準時刻に加えることにより、前記基準時刻から時間が経過した前記再生時刻に対応する前記蓄積コンテンツ中の時刻を計算して、その計算した時刻を再生該当基準時刻とする該当再生時刻計算手段と、前記再生該当基準時刻を前記付随情報選択装置へ送信する再生該当基準時刻送信手段と、前記蓄積コンテンツ中の時刻ごとに対応付けられた付随情報の中から前記再生該当基準時刻に対応する前記付随情報を選択する付随情報選択装置より、前記選択された付随情報を受信する付随情報受信手段と、前記付随情報を表示する付随情報表示手段と、を備えることを特徴とするコンテンツ付随情報表示装置である。
また本発明は、上述のコンテンツ付随情報表示装置において、前記該当再生時刻計算手段において、前記基準時刻である第１の基準時刻と他の基準時刻である第２の基準時刻との差に対する、それら２つの基準時刻に対応する第１の該当基準時刻と第２の該当基準時刻の差の割合を、前記再生時刻と前記第１の基準時刻の時間差に乗じて前記第１の基準時刻に対応する前記第１の該当基準時刻に加えることにより、前記第１の基準時刻から時間が経過した前記再生時刻に対応する前記蓄積コンテンツ中の時刻を計算して、その計算した時刻を再生該当基準時刻とすることを特徴とする。 The present invention also provides a content-associated information display device comprising a content-associated information display device that displays content-associated information, a corresponding reference time specifying device that identifies a corresponding reference time, and an accompanying information selection device that selects accompanying information. The content-associated information display device in the system, wherein a reference time acquisition unit that acquires a reference time that is an extraction start time of feature data of a playback content, a playback content feature extraction unit that extracts feature data from the playback content, and wherein data transmission means for transmitting the characteristic data to the corresponding reference time specifying unit, based on the characteristic data of the extracted reproduced content, searches the feature data in the accumulation content, feature data derived from the reproduction content Specifying the time in the stored content corresponding to the reference time From this reference time identifying device, wherein the corresponding reference time receiving means for receiving a corresponding reference time, the reproduction time obtaining means for obtaining a current reproduction time of the reproduction contents, the corresponding time difference between the reference time and the reproduction time By adding to the reference time, calculating a time in the stored content corresponding to the reproduction time that has elapsed from the reference time, and a corresponding reproduction time calculation means that uses the calculated time as a reproduction corresponding reference time; The reproduction relevant reference time transmitting means for transmitting the reproduction relevant reference time to the accompanying information selecting device, and the accompanying information corresponding to the reproduction relevant reference time from the accompanying information associated with each time in the stored content The accompanying information receiving means for receiving the selected accompanying information from the accompanying information selection device that selects the accompanying information, and the accompanying information table for displaying the accompanying information A content associated information display device characterized by comprising a means.
Further, the present invention provides the above-described content-associated information display device, wherein the corresponding reproduction time calculation means detects the difference between the first reference time that is the reference time and the second reference time that is another reference time. The ratio of the difference between the first corresponding reference time and the second corresponding reference time corresponding to two reference times is multiplied by the time difference between the reproduction time and the first reference time to correspond to the first reference time. By adding to the first relevant reference time, a time in the stored content corresponding to the reproduction time that has elapsed from the first reference time is calculated, and the calculated time is taken as a reproduction relevant reference time. It is characterized by doing.

また本発明は、上述のコンテンツ付随情報表示装置として、コンピュータを機能させるためのプログラムである。   Further, the present invention is a program for causing a computer to function as the above-described content-associated information display device.

また本発明は、上述のプログラムを記憶するコンピュータ読み取り可能な記録媒体である。   The present invention is also a computer-readable recording medium that stores the above-described program.

また、本発明によれば、遠隔に蓄積されたコンテンツの付随情報を取得して、再生しているコンテンツと同期がとれた付随情報を表示することが可能となる。   Furthermore, according to the present invention, it is possible to acquire accompanying information of content stored remotely and display the accompanying information synchronized with the content being played back.

以下、本発明の一実施形態によるコンテンツ付随情報表示装置を図面を参照して説明する。
図１は第一の実施形態によるコンテンツ付随情報表示装置の構成を示すブロック図である。この図の符号１はコンテンツ付随情報表示装置である。そしてコンテンツ付随情報表示装置１において、１０１は基準時刻取得部、１０２は再生コンテンツ特徴抽出部、１０３は該当基準時刻特定部、１０４は再生時刻取得部、１０５は該当再生時刻計算部、１０６は付随情報選択部、１０７は付随情報表示部である。 Hereinafter, a content-associated information display device according to an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing the configuration of the content-associated information display device according to the first embodiment. Reference numeral 1 in this figure is a content-associated information display device. In the content-associated information display device 1, 101 is a reference time acquisition unit, 102 is a reproduction content feature extraction unit, 103 is a corresponding reference time specifying unit, 104 is a reproduction time acquisition unit, 105 is a corresponding reproduction time calculation unit, and 106 is associated. An information selection unit 107 is an accompanying information display unit.

ここで、コンテンツ付随情報表示装置１の基準時刻取得部１０１は、再生コンテンツの特徴データの抽出開始時刻を基準時刻として取得する。また再生コンテンツ特徴抽出部１０２は、再生コンテンツから特徴データを抽出する処理を行う。また該当基準時刻特定部１０３は、再生コンテンツ特徴抽出部１０２によって抽出された再生コンテンツの特徴データを用いて、予め蓄積されたコンテンツの特徴データを探索し、当該コンテンツ中から、前記基準時刻に対応する時刻である該当基準時刻を特定する。また再生時刻取得部１０４は、コンテンツの現在の再生時刻を取得する。また該当再生時刻計算部１０５は、前記基準時刻と、前記該当基準時刻と、前記再生時刻とに基づいて、既に蓄積されたコンテンツの中の、前記再生時刻に対応する時刻である該当再生時刻を計算する。また付随情報選択部１０６は、蓄積されたコンテンツの時刻ごとに対応付けられた付随情報の中から、該当再生時刻に対応する付随情報の選択を行う処理を行う。また付随情報表示部１０７は、付随情報選択部１０６によって選択された付随情報の表示の処理を行う。   Here, the reference time acquisition unit 101 of the content-associated information display device 1 acquires the extraction start time of the feature data of the reproduction content as the reference time. The reproduction content feature extraction unit 102 performs a process of extracting feature data from the reproduction content. Further, the corresponding reference time specifying unit 103 searches the feature data of the content stored in advance using the feature data of the playback content extracted by the playback content feature extraction unit 102, and corresponds to the reference time from the content. The corresponding reference time that is the time to be specified is specified. The playback time acquisition unit 104 acquires the current playback time of the content. In addition, the corresponding playback time calculation unit 105 calculates a corresponding playback time that is a time corresponding to the playback time in the content already stored based on the reference time, the corresponding reference time, and the playback time. calculate. Further, the accompanying information selection unit 106 performs processing for selecting the accompanying information corresponding to the reproduction time from the accompanying information associated with the accumulated content time. The accompanying information display unit 107 performs processing for displaying the accompanying information selected by the accompanying information selection unit 106.

図２は第一の実施形態によるコンテンツ付随情報表示装置１の処理フローを示す図である。
次に、図２を用いて、上記コンテンツ付随情報表示装置１の各処理部における処理の詳細について説明する。
まず、事前に該当基準時刻特定部１０３は、探索処理に備えて蓄積コンテンツの特徴データを読み込み、また付随情報選択部１０６は、付随情報の選択の処理に備えて蓄積コンテンツの付随情報を読み込む（ステップＳ１０１）。 FIG. 2 is a diagram showing a processing flow of the content-associated information display device 1 according to the first embodiment.
Next, details of processing in each processing unit of the content-associated information display device 1 will be described with reference to FIG.
First, the corresponding reference time specifying unit 103 reads the feature data of the stored content in preparation for the search process in advance, and the accompanying information selection unit 106 reads the accompanying information of the stored content in preparation for the process of selecting the accompanying information ( Step S101).

そして基準時刻取得部１０１は、付随情報取得信号の入力を受付けると（ステップＳ１０２）、基準時刻として現在時刻を、例えば現在時刻のカウンタ部などから読み込む（ステップＳ１０３）。なお付随情報取得信号とは、コンテンツ付随情報表示装置を作動させるためのトリガとなる信号のことであり、例えば、付随情報表示ボタンを用意しておき、そのボタンをユーザが押下することでコンテンツ付随情報表示装置１に送信される信号である。次に再生コンテンツ特徴抽出部１０２は現在再生されているコンテンツの再生の信号を読み込み（ステップＳ１０４）、そのコンテンツの再生信号から特徴データの抽出処理を行う（ステップＳ１０５）。   When the reference time acquisition unit 101 receives an input of the accompanying information acquisition signal (step S102), the reference time acquisition unit 101 reads the current time as the reference time from, for example, the current time counter unit (step S103). The accompanying information acquisition signal is a signal that serves as a trigger for operating the content accompanying information display device. For example, an accompanying information display button is prepared and the user attaches the content by pressing the button. It is a signal transmitted to the information display device 1. Next, the reproduction content feature extraction unit 102 reads a reproduction signal of the currently reproduced content (step S104), and performs feature data extraction processing from the reproduction signal of the content (step S105).

次に該当基準時刻特定部１０３は、入力された特徴データを用いて、蓄積コンテンツの特徴データ中の該当時刻を探索する（ステップＳ１０６）。この探索においては、入力された特徴データに基づいて、蓄積コンテンツ中の一致箇所を特定し、その特徴データに対応する時刻を読み取ればよい。特徴データと時刻との関係は予めコンテンツ付随情報表示装置が記憶しているものとする。なお本実施形態における特徴データの探索法は、特許第３０６５３１４号に示される高速探索法を利用する。なおこの文献に示される高速探索法以外の手法を用いるようにしてもよい。この処理は、予め登録された参照信号（蓄積コンテンツの信号に相当）について特徴量系列を生成し、入力された入力信号（再生コンテンツの信号に相当）に対して、一定時間長の入力信号注目窓を設定し、当該入力信号注目窓内の入力信号について特徴量系列を生成し、前記生成された特徴量系列と、前記生成された特徴量系列との類似度合いを示す入力信号類似値を計算する。そして、当該計算された入力信号類似値に基づいて、入力信号注目窓を移動できる量を示す移動可能量を計算し、その移動可能量に基づいて、入力信号注目窓の位置を決定し、その位置に該入力信号注目窓を設定する。さらに、それら処理を繰り返すことによって、入力信号注目窓の各位置について、入力信号類似値を計算し、入力信号類似値と予め設定された閾値との比較結果に基づいて、入力信号上において入力信号注目窓が現在示す位置に参照信号が存在するか否かを判定する処理である。そして、ここで得られた該当時刻を基準時刻に対応する蓄積コンテンツ中の時刻である該当基準時刻とする。   Next, the corresponding reference time specifying unit 103 searches for the corresponding time in the feature data of the stored content using the input feature data (step S106). In this search, a matching point in the stored content is identified based on the input feature data, and the time corresponding to the feature data may be read. Assume that the content-associated information display device stores the relationship between the feature data and the time in advance. Note that the feature data search method in the present embodiment uses a high-speed search method disclosed in Japanese Patent No. 30653314. A method other than the fast search method shown in this document may be used. In this process, a feature amount sequence is generated for a pre-registered reference signal (corresponding to a stored content signal), and an input signal of a certain time length is focused on the input signal (corresponding to a reproduced content signal). A window is set, a feature amount series is generated for the input signal in the input signal attention window, and an input signal similarity value indicating the degree of similarity between the generated feature amount sequence and the generated feature amount sequence is calculated. To do. Then, based on the calculated input signal similarity value, a movable amount indicating an amount by which the input signal attention window can be moved is calculated, and based on the movable amount, a position of the input signal attention window is determined, The input signal attention window is set at the position. Further, by repeating these processes, the input signal similarity value is calculated for each position of the input signal attention window, and the input signal is input on the input signal based on the comparison result between the input signal similarity value and a preset threshold value. This is processing for determining whether or not a reference signal is present at the position indicated by the window of interest. And let the applicable time obtained here be the applicable reference time which is the time in the stored content corresponding to the reference time.

そして該当基準時刻が特定できたか否かを判定し（ステップＳ１０７）、特定できた場合には、次に再生時刻取得部１０４が、現在の再生されているコンテンツの再生時刻として現在時刻をカウンタ部などから読み込む（ステップＳ１０８）。そして、該当再生時刻計算部１０５が、再生時刻に対応する蓄積コンテンツ中の時刻である該当再生時刻を計算する（ステップＳ１０９）。ここでこの該当再生時刻ｓｐの計算は、基準時刻をｔ１，再生時刻をｔｐ，該当基準時刻をｓ１として、式（１）により行う。 Then, it is determined whether or not the corresponding reference time can be specified (step S107). If the reference time can be specified, the playback time acquisition unit 104 next uses the current time as the playback time of the currently played content as a counter unit. (Step S108). Then, the corresponding playback time calculation unit 105 calculates the corresponding playback time, which is the time in the stored content corresponding to the playback time (step S109). Wherein calculation of the corresponding reproduction time s p is the reference time t 1, the reproduction time t p, the corresponding reference time as s 1, performed by the equation (1).

Figure 0004937795
Figure 0004937795

なお、再生しているコンテンツの時間伸縮の処理を考慮に入れる場合には、時間伸縮率をｒとして、式（２）により該当再生時刻ｓｐの計算を行うようにしてもよい。 Incidentally, when taking into account the processing time warping of the content being played back, the time warping rate as r, it may be the calculation of the corresponding reproduction time s p by the equation (2).

Figure 0004937795
Figure 0004937795

時間伸縮率ｒは、式（３）により求めることができる。   The time expansion / contraction rate r can be obtained by the equation (3).

Figure 0004937795
Figure 0004937795

但し、式（３）におけるｔ ２ は第二の基準時刻、ｓ２はｔ２に対応する第二の該当基準時刻であり、これらを求める場合、２回の探索が必要となる。 However, t 2 in the formula (3) is a second corresponding reference time the second reference time, s 2 is corresponding to t 2, when obtaining these would require twice the search.

そして付随情報選択部１０６が、得られた該当再生時刻に対応する付随情報を選択する（ステップＳ１１０）。なお付随情報は事前に読み込まれており、テキストデータや画像データなどのデータが時刻に対応付けられて保存されている。そして付随情報表示部１０７が、選択された付随情報を表示し（ステップＳ１１１）、待ち状態に戻る。以上の処理により、再生しているコンテンツと同期が取れた付随情報を表示することが可能となる。   Then, the accompanying information selection unit 106 selects accompanying information corresponding to the obtained reproduction time (step S110). The accompanying information is read in advance, and data such as text data and image data is stored in association with the time. Then, the accompanying information display unit 107 displays the selected accompanying information (step S111) and returns to the waiting state. With the above processing, the accompanying information synchronized with the content being reproduced can be displayed.

次に、第二の実施形態によるコンテンツ付随情報表示装置を図面を参照して説明する。
図３は第二の実施形態によるコンテンツ付随情報表示システムの構成を示すブロック図である。この図において、符号１はコンテンツ付随情報表示装置である。この図におけるコンテンツ付随情報表示装置１は、図１におけるコンテンツ付随情報表示装置１の各処理部のうち、該当基準時刻特定部１０３、付随情報選択部１０６を備えず、新たに、特徴データ送信部１０８、該当基準時刻受信部１０９、該当再生時刻送信部１１０、付随情報受信部１１１を備えている。そしてコンテンツ付随情報表示装置１は音や映像などのコンテンツの信号およびコンテンツＩＤ，該当基準時刻，付随情報を入力し、特徴データ，コンテンツＩＤ，該当再生時刻を出力する。 Next, a content associated information display apparatus according to a second embodiment will be described with reference to the drawings.
FIG. 3 is a block diagram showing the configuration of the content-associated information display system according to the second embodiment. In this figure, reference numeral 1 denotes a content associated information display device. The content-associated information display device 1 in this figure does not include the corresponding reference time specifying unit 103 and the accompanying information selection unit 106 among the processing units of the content-associated information display device 1 in FIG. 108, a corresponding reference time receiving unit 109, a corresponding reproduction time transmitting unit 110, and an accompanying information receiving unit 111. The content-associated information display device 1 receives a content signal such as sound or video, a content ID, a corresponding reference time, and associated information, and outputs feature data, a content ID, and a corresponding reproduction time.

またコンテンツ付随情報表示システムは該当基準時刻特定装置２と付随情報選択装置３とを有しており、コンテンツ付随情報表示装置１と該当基準時刻特定装置２と付随情報選択装置３とが通信ネットワーク等を介して接続されることによりコンテンツ付随情報表示システムが構成されている。そして該当基準時刻特定装置２は図１においてコンテンツ付随情報表示装置１が備えていた該当基準時刻特定部１０３を備え、また特徴データ受信部２０１と該当基準時刻送信部２０２を備えている。なお該当基準時刻特定装置２は特徴データを入力とし、コンテンツＩＤ，該当基準時刻を出力とする。   The content-associated information display system includes a corresponding reference time specifying device 2 and an accompanying information selecting device 3, and the content-associated information display device 1, the corresponding reference time specifying device 2, and the accompanying information selecting device 3 are connected to a communication network or the like. The content-associated information display system is configured by being connected via. The corresponding reference time specifying device 2 includes a corresponding reference time specifying unit 103 provided in the content-associated information display device 1 in FIG. 1, and further includes a feature data receiving unit 201 and a corresponding reference time transmitting unit 202. The relevant reference time specifying device 2 receives the feature data and outputs the content ID and the relevant reference time.

また付随情報選択装置３は図１においてコンテンツ付随情報表示装置１が備えていた付随情報選択部１０６を備え、さらに該当再生時刻受信部３０１と付随情報送信部３０２を備えている。なお付随情報選択装置３はコンテンツＩＤ，該当再生時刻を入力とし、付随情報を出力とする。   Further, the accompanying information selection device 3 includes the accompanying information selection unit 106 included in the content accompanying information display device 1 in FIG. 1, and further includes a corresponding reproduction time reception unit 301 and an accompanying information transmission unit 302. The accompanying information selection device 3 receives the content ID and the corresponding reproduction time as input and outputs the accompanying information as output.

そして、コンテンツ付随情報表示装置１の基準時刻取得部１０１は、再生コンテンツの特徴データの抽出開始時刻を基準時刻として取得する。また再生コンテンツ特徴抽出部１０２は、再生コンテンツから特徴データを抽出する処理を行う。また特徴データ送信部１０８は再生コンテンツから抽出された特徴データを該当基準時刻特定装置２へ送信する。また該当時刻受信部１０９は、コンテンツＩＤおよび該当基準時刻を該当基準時刻特定装置２より受信する。また再生時刻取得部１０４は、コンテンツの現在の再生時刻を取得する。また該当再生時刻計算部１０５は、前記基準時刻と、前記該当基準時刻と、前記再生時刻とに基づいて、既に蓄積されたコンテンツの中の、前記再生時刻に対応する時刻である該当再生時刻を計算する。また該当再生時刻送信部１１０は、該当基準時刻特定装置２から受信したコンテンツＩＤと該当再生時刻計算部１０４によって計算された該当再生時刻を付随情報選択装置３へ送信する。また付随情報受信部１１１は、付随情報選択装置３へ送信したコンテンツＩＤと該当再生時刻とに対応する付随情報をその付随情報選択装置３から受信する。また付随情報表示部１０７は、付随情報選択部１０６によって選択された付随情報の表示の処理を行う。   Then, the reference time acquisition unit 101 of the content-associated information display device 1 acquires the extraction start time of the feature data of the reproduction content as the reference time. The reproduction content feature extraction unit 102 performs a process of extracting feature data from the reproduction content. Further, the feature data transmission unit 108 transmits the feature data extracted from the reproduction content to the corresponding reference time specifying device 2. Further, the corresponding time receiving unit 109 receives the content ID and the corresponding reference time from the corresponding reference time specifying device 2. The playback time acquisition unit 104 acquires the current playback time of the content. In addition, the corresponding playback time calculation unit 105 calculates a corresponding playback time that is a time corresponding to the playback time in the content already stored based on the reference time, the corresponding reference time, and the playback time. calculate. Further, the corresponding reproduction time transmission unit 110 transmits the content ID received from the corresponding reference time specifying device 2 and the corresponding reproduction time calculated by the corresponding reproduction time calculation unit 104 to the accompanying information selection device 3. Further, the accompanying information receiving unit 111 receives accompanying information corresponding to the content ID transmitted to the accompanying information selecting device 3 and the corresponding reproduction time from the accompanying information selecting device 3. The accompanying information display unit 107 performs processing for displaying the accompanying information selected by the accompanying information selection unit 106.

また該当基準時刻特定装置２の特徴データ受信部２０１は、コンテンツ付随情報表示装置１より特徴データを受信する。また該当基準時刻特定部１０３は、再生コンテンツ特徴抽出部１０２によって抽出された再生コンテンツの特徴データを用いて、予め蓄積されたコンテンツの特徴データを探索し、当該コンテンツ中から、前記基準時刻に対応する時刻である該当基準時刻を特定する。また該当基準時刻送信部２０２は、該当基準時刻特定部１０３の特定した該当基準時刻をコンテンツ付随情報表示装置１へ送信する。   The feature data receiving unit 201 of the corresponding reference time specifying device 2 receives feature data from the content-associated information display device 1. Further, the corresponding reference time specifying unit 103 searches the feature data of the content stored in advance using the feature data of the playback content extracted by the playback content feature extraction unit 102, and corresponds to the reference time from the content. The corresponding reference time that is the time to be specified is specified. Further, the corresponding reference time transmitting unit 202 transmits the corresponding reference time specified by the corresponding reference time specifying unit 103 to the content-associated information display device 1.

また付随情報選択装置３の該当再生時刻受信部３０１は、コンテンツ付随情報表示装置１よりコンテンツＩＤおよび該当再生時刻を受信する。また付随情報選択部１０６は、蓄積されたコンテンツの時刻ごとに対応付けられた付随情報の中から、該当再生時刻に対応する付随情報の選択を行う処理を行う。また付随情報送信部３０２は、付随情報選択部１０６によって選択された付随情報をコンテンツ付随情報表示装置１へ送信する。   Further, the relevant reproduction time receiving unit 301 of the accompanying information selection device 3 receives the content ID and the relevant reproduction time from the content accompanying information display device 1. Further, the accompanying information selection unit 106 performs processing for selecting the accompanying information corresponding to the reproduction time from the accompanying information associated with the accumulated content time. The accompanying information transmitting unit 302 transmits the accompanying information selected by the accompanying information selecting unit 106 to the content accompanying information display device 1.

図４は第二実施形態によるコンテンツ付随情報表示装置の処理フローを示す図である。
図５は第二実施形態による該当基準時刻特定装置の処理フローを示す図である。
図６は第二実施形態による付随情報選択装置の処理フローを示す図である。
次に、図４〜図６を用いて、コンテンツ付随情報表示システムの各装置における各処理部の処理の詳細について説明する。 FIG. 4 is a diagram showing a processing flow of the content-associated information display device according to the second embodiment.
FIG. 5 is a diagram showing a processing flow of the corresponding reference time specifying device according to the second embodiment.
FIG. 6 is a diagram showing a processing flow of the accompanying information selection device according to the second embodiment.
Next, details of processing of each processing unit in each device of the content-associated information display system will be described with reference to FIGS.

まず、図４より、コンテンツ付随情報表示装置１の基準時刻取得部１０１は、付随情報取得信号が入力されると（ステップＳ２０１）、基準時刻として現在時刻を、例えば現在時刻のカウンタ部などから読み込む（ステップＳ２０２）。次に再生コンテンツ特徴抽出部１０２は現在再生されているコンテンツの再生の信号を読み込み（ステップＳ２０３）、特徴データの抽出処理を行う（ステップＳ２０４）。なお特徴データの抽出は、例えば、特許第３０６５３１４号に示される特徴抽出方法により行われる。そして特徴データ送信部１０８が、再生コンテンツ特徴抽出部１０２の抽出した特徴データを該当基準時刻特定装置２へ送信する（ステップＳ２０５）。そして、該当基準時刻特定装置２において該当基準時刻と特定の処理が行われ、該当基準時刻特定装置２よりコンテンツＩＤと該当基準時刻が送信され、そのコンテンツＩＤと該当基準時刻とを該当基準時刻受信部１０９が受信する（ステップＳ２０６）。ここで、コンテンツＩＤと該当基準時刻が受信できたか否かを判定し（ステップＳ２０７）、できなかった場合（特徴データを送信してから所定の時間内に受信できなかった場合など）、コンテンツ付随情報表示装置１は待機状態に移行する。   First, referring to FIG. 4, when the incidental information acquisition signal is input, the reference time acquisition unit 101 of the content incidental information display device 1 reads the current time as the reference time from, for example, a counter unit of the current time, for example. (Step S202). Next, the reproduction content feature extraction unit 102 reads a reproduction signal of the currently reproduced content (step S203), and performs feature data extraction processing (step S204). The feature data is extracted by a feature extraction method disclosed in Japanese Patent No. 30653314, for example. Then, the feature data transmitting unit 108 transmits the feature data extracted by the reproduction content feature extracting unit 102 to the corresponding reference time specifying device 2 (step S205). Then, the corresponding reference time specifying device 2 performs the corresponding reference time and specific processing, the content reference time and the corresponding reference time are transmitted from the corresponding reference time specifying device 2, and the content ID and the corresponding reference time are received. The unit 109 receives (step S206). Here, it is determined whether or not the content ID and the corresponding reference time have been received (step S207). If the content ID and the reference time have not been received (if the feature data has not been received within a predetermined time after transmission), the content is attached The information display device 1 shifts to a standby state.

また、コンテンツＩＤと該当基準時刻が受信できた場合には、次にコンテンツ付随情報表示装置１の再生時刻取得部１０４が、現在の再生されているコンテンツの再生時刻として現在時刻をカウンタ部などから読み込む（ステップＳ２０８）。そして、該当再生時刻計算部１０５が、再生時刻に対応する蓄積コンテンツ中の時刻である該当再生時刻を計算する（ステップＳ２０９）。この計算は第一実施形態と同様である。そして該当再生時刻送信部１１０が、該当基準時刻特定装置２から受信したコンテンツＩＤと、該当再生時刻計算部１０２が計算した該当再生時刻とを、付随情報選択装置３へ送信する（ステップＳ２１０）。そして、付随情報選択装置３において付随情報が選択され、当該付随情報とコンテンツＩＤとが付随情報選択装置３からコンテンツ付随情報表示装置１へ送信される。そして、コンテンツ付随情報表示装置１の付随情報受信部１１１がコンテンツＩＤと付随情報を受信する（ステップＳ２１１）。そして付随情報表示部１０７が、選択された付随情報を表示し（ステップＳ２１２）、待ち状態に戻る。   When the content ID and the corresponding reference time can be received, the reproduction time acquisition unit 104 of the content-associated information display device 1 next uses the current time as the reproduction time of the currently reproduced content from the counter unit or the like. Read (step S208). Then, the corresponding playback time calculation unit 105 calculates the corresponding playback time, which is the time in the stored content corresponding to the playback time (step S209). This calculation is the same as in the first embodiment. Then, the corresponding playback time transmitting unit 110 transmits the content ID received from the corresponding reference time specifying device 2 and the corresponding playback time calculated by the corresponding playback time calculating unit 102 to the accompanying information selecting device 3 (step S210). Then, accompanying information is selected by the accompanying information selection device 3, and the accompanying information and the content ID are transmitted from the accompanying information selection device 3 to the content accompanying information display device 1. Then, the accompanying information receiving unit 111 of the content accompanying information display device 1 receives the content ID and the accompanying information (step S211). Then, the accompanying information display unit 107 displays the selected accompanying information (step S212) and returns to the waiting state.

また、図５より、該当基準時刻特定装置２においては、まず、事前に該当基準時刻特定部１０３が、探索処理に備えて蓄積コンテンツの特徴データを読み込んでいる（ステップＳ３０１）。そして、特徴データ受信部２０１が特徴データをコンテンツ付随情報表示装置１より受信する（ステップＳ３０２）。次に該当基準時刻特定部１０３が、入力された特徴データを用いて蓄積コンテンツの特徴データの中の該当時刻を特定する（ステップＳ３０３）。なおこの処理は第１実施形態と同様である。また該当基準時刻送信部２０２が、探索結果が出力された場合には、コンテンツＩＤと特定された該当基準時刻とをコンテンツ付随情報表示装置１へ送信する（ステップＳ３０４）。また探索結果が得られなかった場合には、『結果無し』の情報をコンテンツ付随情報表示装置１へ送信する。   As shown in FIG. 5, in the corresponding reference time specifying device 2, first, the corresponding reference time specifying unit 103 reads the feature data of the stored content in advance for the search process (step S301). Then, the feature data receiving unit 201 receives the feature data from the content associated information display device 1 (step S302). Next, the corresponding reference time specifying unit 103 specifies the corresponding time in the feature data of the stored content using the input feature data (step S303). This process is the same as in the first embodiment. If the search result is output, the corresponding reference time transmission unit 202 transmits the content ID and the specified corresponding reference time to the content-associated information display device 1 (step S304). If no search result is obtained, information “no result” is transmitted to the content-associated information display device 1.

また、図６より、付随情報選択装置３においては、まず、事前に付随情報選択部１０６が、付随情報の選択の処理に備えて蓄積コンテンツの付随情報を読み込んでいる（ステップＳ４０１）。そして、該当再生時刻受信部３０１が、コンテンツ付随情報表示装置１から送信されたコンテンツＩＤと該当再生時刻とを受信する（ステップＳ４０２）。そして付随情報選択部１０６が、受信した該当再生時刻に対応する付随情報を選択する（ステップＳ４０３）。そして、付随情報送信部３０２が、コンテンツＩＤと付随情報選択部１０６の選択した付随情報とを、コンテンツ付随情報表示装置１へ送信する（ステップＳ４０４）。   As shown in FIG. 6, in the incidental information selection device 3, the incidental information selection unit 106 first reads the incidental information of the stored content in preparation for the incidental information selection process (step S401). Then, the corresponding playback time receiving unit 301 receives the content ID and the corresponding playback time transmitted from the content-associated information display device 1 (step S402). Then, the accompanying information selection unit 106 selects accompanying information corresponding to the received corresponding reproduction time (step S403). Then, the accompanying information transmitting unit 302 transmits the content ID and the accompanying information selected by the accompanying information selecting unit 106 to the content accompanying information display device 1 (step S404).

図７は付随情報の表示例を示す図である。
コンテンツ付随情報表示装置１はモニタを備えており、そのモニタに図７で示すような画面を表示する。ここで、コンテンツ付随情報表示装置１が表示する画面には、再生中のコンテンツ（映像）データが表示される。また『Ｇｅｔ ｍｅｔａｄａｔａ』のボタンを押下すると、付随情報取得信号が発信される。この付随情報取得信号はコンテンツ付随情報表示装置１が受信して処理を開始する。そして付随情報取得信号を受信したコンテンツ付随情報表示装置１が、再生されているコンテンツ（映像）の信号に基づいて特徴データを生成し、その特徴データに対応する蓄積コンテンツ（例えば、音楽ＣＤ中の楽曲）の特徴データが特定され、その特徴データの時刻に基づいて、ＵＲＬで示されるコンテンツＩＤが複数表示される。なおコンテンツＩＤは予め、蓄積コンテンツの情報に対応付けられて一つまたは複数、コンテンツ付随情報表示装置１に記録されている。そしてそのＵＲＬで示されるコンテンツＩＤをユーザがクリックすると、そのＵＲＬで示される参照先のＸＭＬファイルを読み込み、そのＸＭＬファイル中に該当再生時刻に対応付けられて記載されているＵＲＬに歌詞のデータ（付随情報）が存在する。そしてその付随情報が読み込まれて、画面に表示される。 FIG. 7 is a diagram showing a display example of accompanying information.
The content-associated information display device 1 includes a monitor, and displays a screen as shown in FIG. 7 on the monitor. Here, the content (video) data being reproduced is displayed on the screen displayed by the content-associated information display device 1. Also, when the “Get metadata” button is pressed, an accompanying information acquisition signal is transmitted. This accompanying information acquisition signal is received by the contents accompanying information display device 1 and processing is started. Then, the content-associated information display device 1 that has received the accompanying information acquisition signal generates feature data based on the signal of the content (video) being reproduced, and stores content (for example, in a music CD) corresponding to the feature data. (Music) feature data is specified, and a plurality of content IDs indicated by URLs are displayed based on the time of the feature data. Note that one or more content IDs are recorded in advance in the content-associated information display device 1 in association with the stored content information. When the user clicks the content ID indicated by the URL, the reference XML file indicated by the URL is read, and lyrics data (in the URL described in the XML file in association with the reproduction time) ( Accompanying information) exists. The accompanying information is read and displayed on the screen.

図８は付随情報のデータ例を示す図である。
この図で示すように付随情報はコンテンツＩＤのＵＲＬによって特定されるＸＭＬファイルである。図８の例では、ＸＭＬファイルは、「location」の「time」属性に記載された時刻を該当再生時刻が過ぎると、「url」として記載されているｈｔｍｌファイルを「target」属性のブラウザコンポーネントに表示する。 FIG. 8 is a diagram illustrating a data example of the accompanying information.
As shown in this figure, the accompanying information is an XML file specified by the URL of the content ID. In the example of FIG. 8, the XML file changes the html file described as “url” to the browser component of the “target” attribute when the playback time has passed the time described in the “time” attribute of “location”. indicate.

図７は、歌番組における画面を示す例であり、「_right」のブラウザコンポーネントに広告が表示され、また「_bottom」のブラウザコンポーネントにカラオケの歌詞が表示される例である。   FIG. 7 shows an example of a screen in a song program, in which an advertisement is displayed in the browser component “_right” and lyrics of karaoke are displayed in the browser component “_bottom”.

以上、本発明の実施形態について説明したが、本発明によれば、遠隔に蓄積されたコンテンツの付随情報を取得して、再生しているコンテンツと同期がとれた付随情報を表示することが可能となる。つまり、特徴抽出や探索の処理時間により遅延があるために、該当基準時刻に対応する付随情報をそのまま表示すると、再生されているコンテンツに同期していない、当該再生コンテンツの過去の時刻に再生された情報に対応する付随情報を表示することとなってしまう。しかしながら、基準時刻と再生時刻の時間差分を該当基準時刻に加算した時刻に対応した付随情報を表示することで、再生コンテンツに同期させて付随情報を表示することができる。また第二の実施形態によれば、映像コンテンツに対して、その配布者以外の多数の視聴者などが、それぞれの観点から作成した付随情報（感想や他のネットワーク上のコンテンツと関連情報など）を表示することが可能となる。   Although the embodiments of the present invention have been described above, according to the present invention, it is possible to acquire accompanying information of remotely stored content and display the accompanying information synchronized with the content being reproduced. It becomes. In other words, because there is a delay due to the processing time of feature extraction and search, if the accompanying information corresponding to the relevant reference time is displayed as it is, it is played back at the past time of the playback content that is not synchronized with the content being played back. The accompanying information corresponding to the received information is displayed. However, by displaying the accompanying information corresponding to the time obtained by adding the time difference between the reference time and the reproduction time to the corresponding reference time, the accompanying information can be displayed in synchronization with the reproduction content. In addition, according to the second embodiment, accompanying information (such as impressions and other network contents and related information) created from each viewpoint by a large number of viewers other than the distributor of the video content. Can be displayed.

なお、上述の各装置は内部に、コンピュータシステムを有している。そして、上述した処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。   Each of the above devices has a computer system inside. The process described above is stored in a computer-readable recording medium in the form of a program, and the above process is performed by the computer reading and executing this program. Here, the computer-readable recording medium means a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like. Alternatively, the computer program may be distributed to the computer via a communication line, and the computer that has received the distribution may execute the program.

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。   The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.

コンテンツ付随情報表示装置の構成を示すブロック図である。It is a block diagram which shows the structure of a content accompanying information display apparatus. 第一の実施形態によるコンテンツ付随情報表示装置の処理フローを示す図である。It is a figure which shows the processing flow of the content accompanying information display apparatus by 1st embodiment. 第二の実施形態によるコンテンツ付随情報表示システムの構成を示すブロック図である。It is a block diagram which shows the structure of the content accompanying information display system by 2nd embodiment. 第二実施形態によるコンテンツ付随情報表示装置の処理フローを示す図である。It is a figure which shows the processing flow of the content accompanying information display apparatus by 2nd embodiment. 第二実施形態による該当基準時刻特定装置の処理フローを示す図である。It is a figure which shows the processing flow of the applicable reference time specific | specification apparatus by 2nd embodiment. 第二実施形態による付随情報選択装置の処理フローを示す図である。It is a figure which shows the processing flow of the accompanying information selection apparatus by 2nd embodiment. 付随情報の表示例を示す図である。It is a figure which shows the example of a display of accompanying information. 付随情報のデータ例を示す図である。It is a figure which shows the example of data of accompanying information.

符号の説明Explanation of symbols

１・・・コンテンツ付随情報表示装置
２・・・該当基準時刻特定装置
３・・・付随情報選択装置 DESCRIPTION OF SYMBOLS 1 ... Content accompanying information display apparatus 2 ... Corresponding reference time specific apparatus 3 ... Associated information selection apparatus

Claims (8)

コンテンツの付随情報を表示するコンテンツ付随情報表示装置のコンテンツ付随情報表示方法であって、
再生コンテンツの特徴データの抽出開始時刻となる基準時刻を取得する基準時刻取得過程と、
再生コンテンツから特徴データを抽出する再生コンテンツ特徴抽出過程と、
前記抽出された再生コンテンツの特徴データに基づいて、蓄積コンテンツ中の特徴データを探索し、再生コンテンツから導き出された特徴データに対応する前記蓄積コンテンツ中の時刻を該当基準時刻として特定する該当基準時刻特定過程と、
前記再生コンテンツの現在の再生時刻を取得する再生時刻取得過程と、
前記再生時刻と前記基準時刻の時間差を前記該当基準時刻に加えることにより、前記基準時刻から時間が経過した前記再生時刻に対応する前記蓄積コンテンツ中の時刻を計算して、その計算した時刻を再生該当基準時刻とする該当再生時刻計算過程と、
前記蓄積コンテンツ中の時刻ごとに対応付けられた付随情報の中から前記再生該当基準時刻に対応する前記付随情報を選択する付随情報選択過程と、
前記付随情報を表示する付随情報表示過程と、
を有することを特徴とするコンテンツ付随情報表示方法。 A content incidental information display method of a content incidental information display device for displaying content incidental information,
A reference time acquisition process for acquiring a reference time which is an extraction start time of feature data of the playback content;
Replay content feature extraction process for extracting feature data from replay content;
Corresponding reference time for searching for feature data in the stored content based on the extracted feature data of the reproduced content and identifying the time in the stored content corresponding to the feature data derived from the reproduced content as the corresponding reference time Specific process,
A playback time acquisition process for acquiring a current playback time of the playback content;
By adding the time difference between the playback time and the reference time to the corresponding reference time, the time in the stored content corresponding to the playback time that has elapsed from the reference time is calculated, and the calculated time is played back The corresponding playback time calculation process as the corresponding reference time,
An accompanying information selection step of selecting the accompanying information corresponding to the reproduction relevant reference time from the accompanying information associated with each time in the stored content;
An accompanying information display process for displaying the accompanying information;
A content accompanying information display method characterized by comprising: コンテンツの付随情報を表示するコンテンツ付随情報表示装置と、該当基準時刻を特定する該当基準時刻特定装置と、付随情報を選択する付随情報選択装置と、を備えたコンテンツ付随情報表示システムにおける前記コンテンツ付随情報表示装置のコンテンツ付随情報表示方法であって、
再生コンテンツの特徴データの抽出開始時刻となる基準時刻を取得する基準時刻取得過程と、
再生コンテンツから特徴データを抽出する再生コンテンツ特徴抽出過程と、
前記特徴データを前記該当基準時刻特定装置へ送信する特徴データ送信過程と、
前記抽出された再生コンテンツの特徴データに基づいて、蓄積コンテンツ中の特徴データを探索し、再生コンテンツから導き出された特徴データに対応する前記蓄積コンテンツ中の時刻を該当基準時刻として特定する前記該当基準時刻特定装置より、前記該当基準時刻を受信する該当基準時刻受信過程と、
前記再生コンテンツの現在の再生時刻を取得する再生時刻取得過程と、
前記再生時刻と前記基準時刻の時間差を前記該当基準時刻に加えることにより、前記基準時刻から時間が経過した前記再生時刻に対応する前記蓄積コンテンツ中の時刻を計算して、その計算した時刻を再生該当基準時刻とする該当再生時刻計算過程と、
前記再生該当基準時刻を前記付随情報選択装置へ送信する再生該当基準時刻送信手段と、
前記蓄積コンテンツ中の時刻ごとに対応付けられた付随情報の中から前記再生該当基準時刻に対応する前記付随情報を選択する付随情報選択装置より、前記選択された付随情報を受信する付随情報受信過程と、
前記付随情報を表示する付随情報表示過程と、
を有することを特徴とするコンテンツ付随情報表示方法。 The content-associated information display system comprising: a content-associated information display device that displays content-associated information; a corresponding reference time specifying device that identifies a corresponding reference time; and an accompanying information selection device that selects accompanying information. A content accompanying information display method for an information display device, comprising:
A reference time acquisition process for acquiring a reference time which is an extraction start time of feature data of the playback content;
Replay content feature extraction process for extracting feature data from replay content;
A feature data transmission process for transmitting the feature data to the corresponding reference time identification device;
Based on the characteristic data of the extracted reproduction contents, the applicable for searching the feature data in the accumulation content, to identify the time in the storage content corresponding to the characteristic data derived from the reproduction content as appropriate reference time A reference time reception process for receiving the reference time from a reference time specifying device;
A playback time acquisition process for acquiring a current playback time of the playback content;
By adding the time difference between the playback time and the reference time to the corresponding reference time, the time in the stored content corresponding to the playback time that has elapsed from the reference time is calculated, and the calculated time is played back The corresponding playback time calculation process as the corresponding reference time,
A reproduction applicable reference time transmitting means for transmitting the reproduction applicable reference time to the accompanying information selection device;
Accompanying information receiving step of receiving the selected accompanying information from the accompanying information selecting device that selects the accompanying information corresponding to the reproduction relevant reference time from the accompanying information associated with each time in the stored content. When,
An accompanying information display process for displaying the accompanying information;
A content accompanying information display method characterized by comprising: 前記該当再生時刻計算過程において、In the corresponding playback time calculation process,
前記基準時刻である第１の基準時刻と他の基準時刻である第２の基準時刻との差に対する、それら２つの基準時刻に対応する第１の該当基準時刻と第２の該当基準時刻の差の割合を、前記再生時刻と前記第１の基準時刻の時間差に乗じて前記第１の基準時刻に対応する前記第１の該当基準時刻に加えることにより、前記第１の基準時刻から時間が経過した前記再生時刻に対応する前記蓄積コンテンツ中の時刻を計算して、その計算した時刻を再生該当基準時刻とする  Difference between the first reference time corresponding to the two reference times and the second reference time corresponding to the difference between the first reference time that is the reference time and the second reference time that is another reference time Is added to the first relevant reference time corresponding to the first reference time by multiplying the time difference between the reproduction time and the first reference time by the time ratio from the first reference time. The time in the stored content corresponding to the playback time is calculated, and the calculated time is set as the playback relevant reference time.
ことを特徴とする請求項１または請求項２に記載のコンテンツ付随情報表示方法。  The content accompanying information display method according to claim 1 or 2, characterized by the above. コンテンツの付随情報を表示するコンテンツ付随情報表示装置であって、
再生コンテンツの特徴データの抽出開始時刻となる基準時刻を取得する基準時刻取得手段と、
再生コンテンツから特徴データを抽出する再生コンテンツ特徴抽出手段と、
前記抽出された再生コンテンツの特徴データに基づいて、蓄積コンテンツ中の特徴データを探索し、再生コンテンツから導き出された特徴データに対応する前記蓄積コンテンツ中の時刻を該当基準時刻として特定する該当基準時刻特定手段と、
前記再生コンテンツの現在の再生時刻を取得する再生時刻取得手段と、
前記再生時刻と前記基準時刻の時間差を前記該当基準時刻に加えることにより、前記基準時刻から時間が経過した前記再生時刻に対応する前記蓄積コンテンツ中の時刻を計算して、その計算した時刻を再生該当基準時刻とする該当再生時刻計算手段と、
前記蓄積コンテンツ中の時刻ごとに対応付けられた付随情報の中から前記再生該当基準時刻に対応する前記付随情報を選択する付随情報選択手段と、
前記付随情報を表示する付随情報表示手段と、
を備えることを特徴とするコンテンツ付随情報表示装置。 A content accompanying information display device for displaying content accompanying information,
Reference time acquisition means for acquiring a reference time that is an extraction start time of feature data of the reproduction content;
Reproduction content feature extraction means for extracting feature data from the reproduction content;
Based on the characteristic data of the extracted reproduced content, appropriate criteria to search the characteristic data in the accumulation content, to identify the time in the storage content corresponding to the characteristic data derived from the reproduction content as appropriate reference time Time identification means;
Playback time acquisition means for acquiring a current playback time of the playback content;
By adding the time difference between the playback time and the reference time to the corresponding reference time, the time in the stored content corresponding to the playback time that has elapsed from the reference time is calculated, and the calculated time is played back A corresponding playback time calculation means for the corresponding reference time;
Accompanying information selection means for selecting the accompanying information corresponding to the reproduction relevant reference time from the accompanying information associated with each time in the stored content;
Accompanying information display means for displaying the accompanying information;
A content-accompanying information display device comprising: コンテンツの付随情報を表示するコンテンツ付随情報表示装置と、該当基準時刻を特定する該当基準時刻特定装置と、付随情報を選択する付随情報選択装置と、を備えたコンテンツ付随情報表示システムにおける前記コンテンツ付随情報表示装置であって、
再生コンテンツの特徴データの抽出開始時刻となる基準時刻を取得する基準時刻取得手段と、
再生コンテンツから特徴データを抽出する再生コンテンツ特徴抽出手段と、
前記特徴データを前記該当基準時刻特定装置へ送信する特徴データ送信手段と、
前記抽出された再生コンテンツの特徴データに基づいて、蓄積コンテンツ中の特徴データを探索し、再生コンテンツから導き出された特徴データに対応する前記蓄積コンテンツ中の時刻を該当基準時刻として特定する前記該当基準時刻特定装置より、前記該当基準時刻を受信する該当基準時刻受信手段と、
前記再生コンテンツの現在の再生時刻を取得する再生時刻取得手段と、
前記再生時刻と前記基準時刻の時間差を前記該当基準時刻に加えることにより、前記基準時刻から時間が経過した前記再生時刻に対応する前記蓄積コンテンツ中の時刻を計算して、その計算した時刻を再生該当基準時刻とする該当再生時刻計算手段と、
前記再生該当基準時刻を前記付随情報選択装置へ送信する再生該当基準時刻送信手段と、
前記蓄積コンテンツ中の時刻ごとに対応付けられた付随情報の中から前記再生該当基準時刻に対応する前記付随情報を選択する付随情報選択装置より、前記選択された付随情報を受信する付随情報受信手段と、
前記付随情報を表示する付随情報表示手段と、
を備えることを特徴とするコンテンツ付随情報表示装置。 The content-associated information display system comprising: a content-associated information display device that displays content-associated information; a corresponding reference time specifying device that identifies a corresponding reference time; and an accompanying information selection device that selects accompanying information. An information display device,
Reference time acquisition means for acquiring a reference time that is an extraction start time of feature data of the reproduction content;
Reproduction content feature extraction means for extracting feature data from the reproduction content;
Characteristic data transmitting means for transmitting the characteristic data to the corresponding reference time specifying device;
Based on the characteristic data of the extracted reproduction contents, the applicable for searching the feature data in the accumulation content, to identify the time in the storage content corresponding to the characteristic data derived from the reproduction content as appropriate reference time Corresponding reference time receiving means for receiving the corresponding reference time from a reference time specifying device;
Playback time acquisition means for acquiring a current playback time of the playback content;
By adding the time difference between the playback time and the reference time to the corresponding reference time, the time in the stored content corresponding to the playback time that has elapsed from the reference time is calculated, and the calculated time is played back A corresponding playback time calculation means for the corresponding reference time;
A reproduction applicable reference time transmitting means for transmitting the reproduction applicable reference time to the accompanying information selection device;
Accompanying information receiving means for receiving the selected accompanying information from the accompanying information selecting device that selects the accompanying information corresponding to the reproduction relevant reference time from the accompanying information associated with each time in the stored content. When,
Accompanying information display means for displaying the accompanying information;
A content-accompanying information display device comprising: 前記該当再生時刻計算手段において、In the corresponding reproduction time calculation means,
前記基準時刻である第１の基準時刻と他の基準時刻である第２の基準時刻との差に対する、それら２つの基準時刻に対応する第１の該当基準時刻と第２の該当基準時刻の差の割合を、前記再生時刻と前記第１の基準時刻の時間差に乗じて前記第１の基準時刻に対応する前記第１の該当基準時刻に加えることにより、前記第１の基準時刻から時間が経過した前記再生時刻に対応する前記蓄積コンテンツ中の時刻を計算して、その計算した時刻を再生該当基準時刻とする  Difference between the first reference time corresponding to the two reference times and the second reference time corresponding to the difference between the first reference time that is the reference time and the second reference time that is another reference time Is added to the first relevant reference time corresponding to the first reference time by multiplying the time difference between the reproduction time and the first reference time by the time ratio from the first reference time. The time in the stored content corresponding to the playback time is calculated, and the calculated time is set as the playback relevant reference time.
ことを特徴とする請求項４または請求項５に記載のコンテンツ付随情報表示装置。  6. The content-associated information display device according to claim 4 or 5, wherein: 前記請求項４〜６の何れかに記載のコンテンツ付随情報表示装置として、コンピュータを機能させるためのプログラム。 A program for causing a computer to function as the content-associated information display device according to any one of claims 4 to 6 . 前記請求項７に記載のプログラムを記憶するコンピュータ読み取り可能な記録媒体。 A computer-readable recording medium storing the program according to claim 7 .
JP2007055885A 2007-03-06 2007-03-06 Content-associated information display method, content-associated information display device, program thereof, and recording medium Expired - Fee Related JP4937795B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007055885A JP4937795B2 (en) 2007-03-06 2007-03-06 Content-associated information display method, content-associated information display device, program thereof, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007055885A JP4937795B2 (en) 2007-03-06 2007-03-06 Content-associated information display method, content-associated information display device, program thereof, and recording medium

Publications (2)

Publication Number Publication Date
JP2008219608A JP2008219608A (en) 2008-09-18
JP4937795B2 true JP4937795B2 (en) 2012-05-23

Family

ID=39839093

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007055885A Expired - Fee Related JP4937795B2 (en) 2007-03-06 2007-03-06 Content-associated information display method, content-associated information display device, program thereof, and recording medium

Country Status (1)

Country Link
JP (1) JP4937795B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5303747B2 (en) * 2009-06-03 2013-10-02 日本電信電話株式会社 Metadata management device, metadata management method, and metadata management program
JP5481710B2 (en) * 2010-08-26 2014-04-23 日本電信電話株式会社 Video management apparatus, method, and program
JP2012161030A (en) * 2011-02-02 2012-08-23 Nippon Telegr & Teleph Corp <Ntt> Associated content retrieval device, system, method, and program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3994682B2 (en) * 2000-04-14 2007-10-24 日本電信電話株式会社 Broadcast information transmission / reception system
JP2005341071A (en) * 2004-05-26 2005-12-08 Nippon Telegr & Teleph Corp <Ntt> Video recording viewing system, video recording viewing apparatus, attached information management apparatus, video recording viewing method, program for the method, and recording medium the program recorded thereon

Also Published As

Publication number Publication date
JP2008219608A (en) 2008-09-18

Similar Documents

Publication Publication Date Title
US8816179B2 (en) Methods and systems for disambiguation of an identification of a sample of a media stream
JP5519117B2 (en) Method and apparatus for retrieving additional data for content data
JP4388128B1 (en) Information providing server, information providing method, and information providing system
US20050223039A1 (en) Method and apparatus for playing multimedia play list and storage medium therefor
CN100372376C (en) Signal recording/reproducing apparatus, signal recording/reproducing method, signal reproducing apparatus, signal reproducing method, and program
JP6270309B2 (en) Display control device, recording control device, and display control method
KR20070109921A (en) Content marking method, content playback apparatus, content playback method, and storage medium
TWI376948B (en) Method, device and storage medium for frame specification
JP4476786B2 (en) Search device
JP5338911B2 (en) Moving image processing apparatus, thumbnail image generation program, and thumbnail image generation method
JP4668875B2 (en) Program recording / playback apparatus, program playback position control method, and program information providing apparatus
JP4937795B2 (en) Content-associated information display method, content-associated information display device, program thereof, and recording medium
JP2004153764A (en) Meta-data production apparatus and search apparatus
JP2006340136A (en) Video image reproducing method, index information providing method, video image reproducing terminal, and video index creation and retrieval system
US9990911B1 (en) Method for creating preview track and apparatus using the same
JP4331706B2 (en) Editing apparatus and editing method
WO2009150702A1 (en) Apparatus and method for displaying log information
JP2007208651A (en) Content viewing apparatus
US8326130B2 (en) Video image data reproducing apparatus
JP2010166539A (en) Method of editing video content, editing device employing the same and remote editing device
KR100697854B1 (en) Multimedia source making and playing system and method of multimedia source making and playing thereof
JP4227866B2 (en) Recording device
JP2988433B2 (en) Data synchronous reproduction system, data synchronous reproduction method, and recording medium recording data synchronous reproduction program
JP6176933B2 (en) Recommended viewing location display system for karaoke singing videos
JP2012161030A (en) Associated content retrieval device, system, method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120214

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120222

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150302

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4937795

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150302

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees