JP2005303742A - Information processing apparatus and information processing method, program, and information processing system - Google Patents

Information processing apparatus and information processing method, program, and information processing system Download PDF

Info

Publication number
JP2005303742A
JP2005303742A JP2004118263A JP2004118263A JP2005303742A JP 2005303742 A JP2005303742 A JP 2005303742A JP 2004118263 A JP2004118263 A JP 2004118263A JP 2004118263 A JP2004118263 A JP 2004118263A JP 2005303742 A JP2005303742 A JP 2005303742A
Authority
JP
Japan
Prior art keywords
data
information
thumbnail
metadata
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004118263A
Other languages
Japanese (ja)
Inventor
Osamu Isaka
治 井坂
Keiichi Ofuji
圭一 大藤
Akira Nakamura
章 中村
Ikuo Wada
郁夫 和田
Kenichi Maruyama
健一 丸山
Akihiko Kagami
明彦 鏡
Genji Eto
厳二 江藤
Keiya Motohashi
圭哉 元橋
Tatsu Ikezawa
龍 池沢
Masahiro Shibata
正啓 柴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daikin Industries Ltd
Japan Broadcasting Corp
Original Assignee
Daikin Industries Ltd
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daikin Industries Ltd, Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Daikin Industries Ltd
Priority to JP2004118263A priority Critical patent/JP2005303742A/en
Publication of JP2005303742A publication Critical patent/JP2005303742A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To generate thumbnail data for allowing a user to select a reproduction start position desired by the user. <P>SOLUTION: Metadata are acquired in a step S171, and video recording data corresponding to program ID information of the metadata are searched and acquired in a step 172. A video image of a time corresponding to a start time of each text included in a time code of the acquired metadata is extracted one frame for each from the video recording data to form a thumbnail picture in a S173. The corresponding time code and text data are related to the generated thumbnail picture to generate thumbnail data in a step S174, and a thumbnail data file uniquely discriminable by the program ID information is generated from the generated thumbnail data in a step S175. The generated thumbnail data file is stored in a step S176. This invention can be applied to home servers. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、情報処理装置および情報処理方法、プログラム、並びに、情報処理システムに関し、特に、放送信号に含まれている字幕情報を用いて、録画した放送番組に対応するサムネイルデータを生成することができる、情報処理装置および情報処理方法、プログラム、並びに、情報処理システムに関する。   The present invention relates to an information processing apparatus, an information processing method, a program, and an information processing system, and in particular, can generate thumbnail data corresponding to a recorded broadcast program using caption information included in a broadcast signal. The present invention relates to an information processing apparatus, an information processing method, a program, and an information processing system.

放送される番組のデータには、映像データと音声データが含まれている。また、番組データには、映像データとして必ず表示される、いわゆる字幕(番組の題名やキャストなどの紹介、または、海外の作品における日本語字幕)以外に、表示させるか否かを選択可能な字幕データが含まれる。このような選択可能な字幕データは、一般に、クローズドキャプションと称され、主に、聴覚障害者用に開発され、海外の作品における日本語字幕のように、出演者の会話だけではなく、例えば、BGMや効果音などの説明も含まれる。   Broadcast program data includes video data and audio data. In addition to the so-called captions (introduction of program titles and casts, or Japanese captions in overseas works) that are always displayed as video data, the program data can be selected to be displayed or not. Contains data. Such selectable subtitle data is generally referred to as closed captioning, and is mainly developed for hearing-impaired people. Like Japanese subtitles in overseas works, not only the conversation of performers, for example, Explanation of BGM and sound effects is also included.

例えば、NTSC方式のアナログの地上波放送では、映像信号に525本の走査線が用いられており、この525本のうち、各フィールド(2フィールドで1フレームを構成)の最初の21本相当は、VBI(Vertical Blanking Interval:垂直帰線消去期間)と称される、走査を開始するためのインターバル用に割り当てられている。クローズドキャプションは、各フィールドのVBIのうち、VBIの21本目に7bitの文字コードを多重化することによって伝送されるようになされており、各フィールドを使って2種類の文字セットを毎秒約60文字伝送することができるようになされている。   For example, in NTSC analog terrestrial broadcasting, 525 scanning lines are used for video signals. Of these 525 lines, the first 21 lines in each field (one field consists of two fields) And VBI (Vertical Blanking Interval), which is called an interval for starting scanning. Closed captions are transmitted by multiplexing a 7-bit character code in the 21st VBI of the VBIs in each field, and each field is used to transmit two types of character sets to approximately 60 characters per second. It can be transmitted.

また、デジタルテレビ放送の字幕情報の伝送については、国内規定であるBSデジタル放送運用規定・技術資料(ARIB TR−B15)で規定されているように、字幕情報用のトランスポートストリームを使って映像情報の伝送と同時に字幕情報を伝送できるようになされている。そして、デジタルテレビ放送用受信機において、字幕情報に対応する符号がデコードされ、字幕を構成する文字、図形が生成されて、映像に重畳されて表示されるようになされている。   As for the transmission of caption information for digital television broadcasting, as defined in the BS digital broadcasting operation regulations and technical materials (ARIB TR-B15), which are domestic regulations, video using a transport stream for caption information is used. Caption information can be transmitted simultaneously with information transmission. Then, in the digital television broadcast receiver, the code corresponding to the caption information is decoded, characters and figures constituting the caption are generated, and displayed superimposed on the video.

デジタルテレビ放送において、字幕情報用のトランスポートストリームを使って映像情報の伝送と同時に伝送されたテキスト情報を、内部に保存したり、内部に保存したテキスト情報をテレビモニタでいつでも表示閲覧することができるようにすることにより、ユーザが、表示された字幕のメモを取らなくても、字幕の情報を活用することができるようにした技術がある(例えば、特許文献1)。   In digital television broadcasting, text information transmitted simultaneously with video information transmission using a transport stream for subtitle information can be stored internally, and the text information stored internally can be displayed and viewed on a TV monitor at any time. By making it possible, there is a technique that allows a user to utilize subtitle information without taking a note of the displayed subtitle (for example, Patent Document 1).

特開2003−78889号公報JP 2003-78889 A

また、視聴者の操作、または、受信した字幕放送により、自動的にCM番組、文字情報、または、通信データを保存し、視聴者が保存された情報を利用して、放送局あるいはCM提供者に通信することにより、CM商品の購入を行うことができるようにした技術がある(例えば、特許文献2)。   Also, the CM program, text information, or communication data is automatically saved by the viewer's operation or received subtitle broadcast, and the broadcast station or CM provider uses the saved information by the viewer. There is a technique that enables the purchase of CM merchandise by communicating with (for example, Patent Document 2).

特開2002−77872号公報Japanese Patent Laid-Open No. 2002-77872

なお、放送信号中の映像データと音声データとには、例えば、放送時にリアルタイムで視聴される以外に、録画されて再生された場合において時間軸がずれてしまうことがないように、例えば、それぞれが対応するようなリンク情報を有しているか、相対時刻のタイムスタンプを有するようになされている。これに対して、字幕データは、映像データまたは音声データに対するリンクデータや、相対時刻のタイムスタンプなどを有していない。   In addition, the video data and the audio data in the broadcast signal are, for example, not to be watched in real time at the time of broadcasting, for example, so that the time axis is not shifted when recorded and reproduced, for example, Have corresponding link information or have a time stamp of relative time. On the other hand, caption data does not have link data for video data or audio data, a time stamp of relative time, or the like.

上述したように、放送される字幕データは、さまざまなサービスに利用され始めている。   As described above, the caption data to be broadcast has begun to be used for various services.

しかしながら、クローズドキャプションなどの放送される字幕データを、録画された番組を検索することに利用しようとした場合、字幕データと映像データまたは音声データとには、アナログ放送またはデジタル放送のいずれにおいても、両者を対応させるようなタイムスタンプが付加されていないため、映像データからクローズドキャプションに対応するテキストデータを分離してしまった後、分離されたテキストと映像データとの対応をとることは不可能であり、したがって、クローズドキャプションから取得されるテキストを録画データの検索に利用することはできなかった。   However, when subtitle data that is broadcast such as closed captions is used to search for recorded programs, subtitle data and video data or audio data are either analog broadcast or digital broadcast. Since a time stamp that matches the two is not added, after separating the text data corresponding to the closed caption from the video data, it is impossible to take a correspondence between the separated text and the video data. Therefore, the text obtained from the closed caption cannot be used for searching the recorded data.

また、いわゆる検索処理を実行するためには、ユーザが、検索キーとなるテキストデータを入力する必要がある。しかしながら、キーボードやボタンなどを用いたテキストデータの入力は、例えば、高齢者や子供には困難であり、ユーザが、より簡単に直感的に、所望するシーンを検索するためのユーザインターフェースが求められている。   In addition, in order to execute a so-called search process, the user needs to input text data as a search key. However, inputting text data using a keyboard, buttons, or the like is difficult for elderly people or children, for example, and a user interface is required for a user to search for a desired scene more easily and intuitively. ing.

更に、録画された放送番組の大まかな内容を、ユーザが、より簡単に直感的に、短い時間で理解することができるような情報を生成し、ユーザに対して提供するための技術が求められている。   Furthermore, there is a need for a technique for generating and providing to the user information that allows the user to easily and intuitively understand the rough contents of the recorded broadcast program in a short time. ing.

また、クローズドキャプションなど、聴覚障害者向けの字幕データは全ての放送信号に添付させることが求められている。しかしながら、このような字幕データは、通常、健常者には必要ではないため、字幕データ作成に必要な費用を捻出するためにスポンサーがつく可能性はほぼなく、作成にかかる費用を放送局が負担しているのが現状である。したがって、聴覚障害者にとって不利益であるにもかかわらず、クローズドキャプションなど、聴覚障害者向けの字幕データが放送信号に添付されている割合は低迷したままであり、問題となっている。ここで、これらの字幕データを2次的に利用することにより、字幕データ作成に対する放送局への対価を回収することが可能なシステムが構築されることは、産業の発展に貢献可能であるのみならず、字幕データが放送信号に添付される割合を向上することにつながるため、聴覚障害者にとっても有益である。   In addition, caption data for the hearing impaired, such as closed captions, is required to be attached to all broadcast signals. However, such subtitle data is usually not necessary for healthy people, so there is almost no possibility that a sponsor will be charged to generate the necessary cost for subtitle data creation, and the broadcasting station bears the cost of creation. This is the current situation. Therefore, although it is disadvantageous for the hearing impaired, the ratio that closed captions and other caption data for the hearing impaired are attached to the broadcast signal remains stagnant. Here, by using these subtitle data secondarily, the construction of a system capable of collecting the compensation to the broadcasting station for subtitle data creation can only contribute to the development of the industry. In addition, since it leads to an improvement in the rate at which caption data is attached to a broadcast signal, it is also beneficial for the hearing impaired.

本発明はこのような状況に鑑みてなされたものであり、いわゆるクローズドキャプションなどの字幕データを利用して、例えば、ユーザが検索処理を簡単に実行したり、ユーザに対して録画された放送番組の大まかな内容をユーザが直感的に理解することができるような情報を提供するために利用することができるサムネイルデータを生成することができるようにするものである。   The present invention has been made in view of such a situation. For example, a user can easily perform a search process using subtitle data such as so-called closed captions, or a broadcast program recorded for a user. Thus, it is possible to generate thumbnail data that can be used to provide information that allows the user to intuitively understand the general contents of.

本発明の情報処理装置は、第1の時刻情報が対応付けられた録画データを記憶する録画データ記憶手段と、録画データの番組を区別するための区別情報、録画データに関するテキストデータ、および、テキストデータに対応する第2の時刻情報を含むメタデータを記憶するメタデータ記憶手段と、録画データ記憶手段により記憶されている録画データと、メタデータ記憶手段により記憶されているメタデータを基に、サムネイル画像データ、テキストデータ、および、テキストデータに対応する第2の時刻情報で構成されるサムネイルデータを生成するサムネイルデータ生成手段とを備え、メタデータは、複数のテキストデータ、および、テキストデータに対応する第2の時刻情報を含み、第2の時刻情報は、録画データ記憶手段により記憶されている録画データが表示され、複数のテキストデータが表示される場合の、それぞれのテキストデータの表示開始時刻を少なくとも含み、サムネイルデータ生成手段は、複数のテキストデータそれぞれに対応する第2の時刻情報の表示開始時刻に基づいた所定の時刻の録画データの画像情報を抽出して、サムネイル画像データを生成することを特徴とする。   An information processing apparatus according to the present invention includes recorded data storage means for storing recorded data associated with first time information, distinction information for distinguishing programs of recorded data, text data relating to recorded data, and text Based on metadata storage means for storing metadata including second time information corresponding to the data, recording data stored by the recording data storage means, and metadata stored by the metadata storage means, Thumbnail data generation means for generating thumbnail data composed of thumbnail image data, text data, and second time information corresponding to the text data, and the metadata includes a plurality of text data and text data. Corresponding second time information is stored by the recorded data storage means. At least including a display start time of each text data when the recorded data is displayed and a plurality of text data is displayed, and the thumbnail data generating means has a second time corresponding to each of the plurality of text data. It is characterized in that thumbnail image data is generated by extracting image information of recorded data at a predetermined time based on the display start time of information.

サムネイルデータ生成手段により生成されたサムネイルデータのうちの少なくとも一部の表示を制御する表示制御手段を更に設けさせるようにすることができる。   Display control means for controlling the display of at least a part of the thumbnail data generated by the thumbnail data generation means can be further provided.

表示制御手段により表示が制御されているサムネイルデータに対応する表示画面を参照したユーザの操作入力を受ける操作入力手段と、操作入力手段により入力された、表示制御手段により表示が制御されているサムネイルデータに対応する位置を再生開始位置として指定する操作入力を基に、録画データ記憶手段により記憶されている録画データから、サムネイルデータに含まれている第2の時刻情報に基づいて再生開始位置を検索し、検索された再生開始位置から開始される録画データを読み出す検索手段とを更に設けさせるようにすることができる。   An operation input unit that receives a user operation input referring to a display screen corresponding to thumbnail data whose display is controlled by the display control unit, and a thumbnail that is input by the operation input unit and whose display is controlled by the display control unit Based on the operation input designating the position corresponding to the data as the reproduction start position, the reproduction start position is determined based on the second time information included in the thumbnail data from the recording data stored in the recording data storage means. Search means for searching and reading recorded data starting from the searched reproduction start position can be further provided.

表示制御手段には、録画データ記憶手段により記憶されている録画データに対応する動画像の表示を更に制御させるようにするとともに、動画像と、サムネイルデータ生成手段により生成された複数のサムネイルデータに含まれているサムネイル画像のうちの少なくとも1つ、およびサムネイル画像に対応するテキストデータが、1画面中に表示されるように、サムネイルデータおよび動画像の表示を制御させるようにすることができる。   The display control means further controls the display of the moving image corresponding to the recording data stored in the recording data storage means, and also displays the moving image and the plurality of thumbnail data generated by the thumbnail data generation means. It is possible to control the display of thumbnail data and moving images so that at least one of the included thumbnail images and text data corresponding to the thumbnail image are displayed in one screen.

表示制御手段には、サムネイルデータ生成手段により生成された複数のサムネイルデータに含まれているサムネイル画像が表示画面中に1つ表示され、サムネイル画像に対応するテキストデータが、サムネイル画像上に重畳されて表示されるように、サムネイルデータの表示を制御させるようにすることができる。   The display control means displays one thumbnail image included in the plurality of thumbnail data generated by the thumbnail data generating means on the display screen, and text data corresponding to the thumbnail image is superimposed on the thumbnail image. The display of thumbnail data can be controlled so that it is displayed.

表示制御手段には、サムネイルデータ生成手段により生成された複数のサムネイルデータに含まれている複数のサムネイル画像と、サムネイル画像に対応するテキストデータが、所定の配列で表示されるように、サムネイルデータの表示を制御させるようにすることができる。   The display control means displays the thumbnail data so that the plurality of thumbnail images included in the plurality of thumbnail data generated by the thumbnail data generation means and the text data corresponding to the thumbnail images are displayed in a predetermined arrangement. Can be controlled.

表示制御手段には、サムネイルデータ生成手段により生成された複数のサムネイルデータに含まれている複数のサムネイル画像が、所定の配列で表示されるように、サムネイルデータの表示を制御させるようにすることができる。   The display control means controls the display of the thumbnail data so that a plurality of thumbnail images included in the plurality of thumbnail data generated by the thumbnail data generation means are displayed in a predetermined arrangement. Can do.

表示制御手段には、サムネイルデータ生成手段により生成された複数のサムネイルデータに含まれている複数のテキストデータが、所定の配列で表示されるように、サムネイルデータの表示を制御させるようにすることができる。   The display control means controls the display of the thumbnail data so that a plurality of text data included in the plurality of thumbnail data generated by the thumbnail data generating means are displayed in a predetermined arrangement. Can do.

本発明の情報処理方法は、録画データの番組を区別するための区別情報、録画データに関するテキストデータ、および、テキストデータに対応する第2の時刻情報を含むメタデータの記憶を制御するメタデータ記憶制御ステップと、録画データと、メタデータ記憶制御ステップの処理により記憶が制御されているメタデータを基に、サムネイル画像データ、テキストデータ、および、テキストデータに対応する第2の時刻情報で構成されるサムネイルデータを生成するサムネイルデータ生成ステップとを含み、メタデータは、複数のテキストデータ、および、テキストデータに対応する第2の時刻情報を含み、第2の時刻情報は、所定の記憶部により記憶されている録画データが表示され、複数のテキストデータが表示される場合の、それぞれのテキストデータの表示開始時刻を少なくとも含み、サムネイルデータ生成ステップの処理では、複数のテキストデータそれぞれに対応する第2の時刻情報の表示開始時刻に基づいた所定の時刻の録画データの画像情報が抽出されて、サムネイル画像データが生成されることを特徴とする。   The information processing method of the present invention is a metadata storage for controlling storage of metadata including discrimination information for distinguishing programs of recorded data, text data related to the recorded data, and second time information corresponding to the text data. Based on the control step, the recording data, and the metadata whose storage is controlled by the processing of the metadata storage control step, it is composed of thumbnail image data, text data, and second time information corresponding to the text data. A thumbnail data generating step for generating thumbnail data, wherein the metadata includes a plurality of text data and second time information corresponding to the text data, and the second time information is stored in a predetermined storage unit. When recorded data is displayed and multiple text data are displayed, each In the process of the thumbnail data generation step, image information of recording data at a predetermined time is extracted based on the display start time of the second time information corresponding to each of the plurality of text data. Thus, thumbnail image data is generated.

本発明のプログラムは、コンピュータに、録画データの番組を区別するための区別情報、録画データに関するテキストデータ、および、テキストデータに対応する第2の時刻情報を含むメタデータの記憶を制御するメタデータ記憶制御ステップと、録画データと、メタデータ記憶制御ステップの処理により記憶が制御されているメタデータを基に、サムネイル画像データ、テキストデータ、および、テキストデータに対応する第2の時刻情報で構成されるサムネイルデータを生成するサムネイルデータ生成ステップとを実行させ、メタデータは、複数のテキストデータ、および、テキストデータに対応する第2の時刻情報を含み、第2の時刻情報は、所定の記憶部により記憶されている録画データが表示され、複数のテキストデータが表示される場合の、それぞれのテキストデータの表示開始時刻を少なくとも含み、サムネイルデータ生成ステップの処理では、複数のテキストデータそれぞれに対応する第2の時刻情報の表示開始時刻に基づいた所定の時刻の録画データの画像情報が抽出されて、サムネイル画像データが生成されることを特徴とする。   The program of the present invention is a metadata for controlling the storage of metadata including discrimination information for discriminating programs of recorded data, text data related to the recorded data, and second time information corresponding to the text data. Consists of thumbnail image data, text data, and second time information corresponding to the text data based on the storage control step, the recording data, and the metadata whose storage is controlled by the processing of the metadata storage control step A thumbnail data generation step of generating thumbnail data to be performed, wherein the metadata includes a plurality of text data and second time information corresponding to the text data, and the second time information is stored in a predetermined memory Recorded data is displayed, and multiple text data are displayed. Recording data at a predetermined time based on the display start time of the second time information corresponding to each of the plurality of text data in the processing of the thumbnail data generation step. The image information is extracted and thumbnail image data is generated.

本発明の情報処理装置および情報処理方法、並びに、プログラムにおいては、録画データの番組を区別するための区別情報、録画データに関するテキストデータ、および、テキストデータに対応する第2の時刻情報を含むメタデータが記憶され、録画データとメタデータを基に、サムネイル画像データ、テキストデータ、および、テキストデータに対応する第2の時刻情報で構成されるサムネイルデータが生成され、メタデータは、複数のテキストデータ、および、テキストデータに対応する第2の時刻情報を含み、第2の時刻情報は、録画データが表示され、テキストデータが表示される場合の、それぞれのテキストデータの表示開始時刻を少なくとも含み、複数のテキストデータそれぞれに対応する第2の時刻情報の表示開始時刻に基づいた所定の時刻の録画データの画像情報が抽出されて、サムネイル画像データが生成される。   In the information processing apparatus, the information processing method, and the program according to the present invention, the meta information including the discrimination information for discriminating the program of the recording data, the text data related to the recording data, and the second time information corresponding to the text data. Data is stored, and thumbnail data including thumbnail image data, text data, and second time information corresponding to the text data is generated based on the recording data and the metadata. The metadata includes a plurality of texts. Data and second time information corresponding to the text data, and the second time information includes at least a display start time of each text data when the recorded data is displayed and the text data is displayed. , Based on the display start time of the second time information corresponding to each of the plurality of text data Predetermined time recorded data image information is extracted for the thumbnail image data is generated.

本発明の情報処理システムは、第1の情報処理装置が、放送信号を取得する第1の放送信号取得手段と、放送信号の番組を固有に区別可能な区別情報を取得する第1の区別情報取得手段と、第1の放送信号取得手段により取得された放送信号に、第1の時刻情報と、第1の区別情報取得手段により取得された区別情報とを対応付けて録画データを生成する録画データ生成手段とを備え、第2の情報処理装置が、第1の時刻情報が対応付けられた録画データを記憶する録画データ記憶手段と、暗号化されたメタデータを取得するメタデータ取得手段と、暗号化されたメタデータを復号するために用いられる復号鍵を取得する復号鍵取得手段と、メタデータ取得手段により取得された暗号化されたメタデータを、復号鍵取得手段により取得された復号鍵を用いて復号する復号処理手段と、復号処理手段により復号された、区別情報、録画データに関するテキストデータ、および、テキストデータに対応する第2の時刻情報を含むメタデータを記憶するメタデータ記憶手段と、録画データ記憶手段により記憶されている録画データと、メタデータ記憶手段により記憶されているメタデータを基に、サムネイル画像データ、テキストデータ、および、テキストデータに対応する第2の時刻情報で構成されるサムネイルデータを生成するサムネイルデータ生成手段とを備え、第3の情報処理装置は、放送信号を取得する第2の放送信号取得手段と、区別情報を取得する第2の区別情報取得手段と、第2の放送信号取得手段により取得された放送信号から、ユーザにより表示するか否かを選択することが可能な字幕データを抽出してデコードする字幕データデコード手段と、字幕データデコード手段によりデコードされた字幕データに対応するテキストデータにタイムコードを対応付けるタイムコード対応付け処理手段と、タイムコード対応付け処理手段によりタイムコードが対応付けられたテキストデータに、第2の区別情報取得手段により取得された区別情報を対応付けて、メタデータを生成するメタデータ生成手段と、メタデータ生成手段により生成されたメタデータを暗号化する暗号化手段とを備え、第4の情報処理装置は、ユーザの登録情報を記憶する登録情報記憶手段と、第2の情報処理装置から、ユーザの認証に関する情報を取得する認証情報取得手段と、認証情報取得手段により取得されたユーザの認証に関する情報、および、登録情報記憶手段により記憶されているユーザの登録情報を基に、認証処理を実行する認証処理手段と、認証処理手段によりユーザが正しく認証された場合、第2の情報処理装置への、メタデータを復号する復号鍵の供給を制御する復号鍵供給制御手段とを備えることを特徴とする。   In the information processing system of the present invention, the first information processing apparatus acquires first broadcast signal acquisition means for acquiring a broadcast signal, and first identification information for acquiring identification information that can uniquely distinguish a program of the broadcast signal. Recording for generating recording data by associating the broadcast signal acquired by the acquisition means and the first broadcast signal acquisition means with the first time information and the discrimination information acquired by the first discrimination information acquisition means Data generation means, wherein the second information processing apparatus stores recording data associated with the first time information, and metadata acquisition means for acquiring encrypted metadata. A decryption key acquisition unit for acquiring a decryption key used for decrypting the encrypted metadata, and an encrypted metadata acquired by the metadata acquisition unit is acquired by the decryption key acquisition unit Decoding processing means for decoding using a key, and metadata for storing metadata including distinction information, text data related to recorded data, and second time information corresponding to the text data, decoded by the decoding processing means A second time corresponding to the thumbnail image data, the text data, and the text data based on the storage means, the recording data stored in the recording data storage means, and the metadata stored in the metadata storage means; Thumbnail data generating means for generating thumbnail data composed of information, and the third information processing device includes second broadcast signal acquisition means for acquiring a broadcast signal and second distinction information for obtaining distinction information The user selects whether or not to display from the acquisition means and the broadcast signal acquired by the second broadcast signal acquisition means. Subtitle data decoding means for extracting and decoding subtitle data capable of decoding, time code association processing means for associating a time code with text data corresponding to the subtitle data decoded by the subtitle data decoding means, and time code association The text data associated with the time code by the processing means is associated with the distinction information acquired by the second distinction information acquisition means, and generated by the metadata generation means and the metadata generation means. The fourth information processing apparatus obtains information relating to user authentication from the registration information storage means for storing user registration information and the second information processing apparatus. Authentication information acquisition means, and information related to user authentication acquired by the authentication information acquisition means, And, based on the user registration information stored in the registration information storage means, when the authentication processing means for executing the authentication processing and the user is correctly authenticated by the authentication processing means, to the second information processing apparatus, And decryption key supply control means for controlling supply of a decryption key for decrypting the metadata.

第4の情報処理装置には、復号鍵供給制御手段により復号鍵の供給が制御されたことに伴って発生する課金に関する情報を記憶する課金情報記憶手段と、課金情報記憶手段により記憶された課金に関する情報を基に、ユーザに対する課金処理を実行する課金処理手段とを更に設けさせるようにすることができる。   The fourth information processing apparatus includes a billing information storage unit that stores information related to billing that is generated when the decryption key supply control unit controls the decryption key supply, and the billing information stored by the billing information storage unit. On the basis of the information related to the above, it is possible to further provide a billing processing means for performing billing processing for the user.

本発明の情報処理システムにおいては、第1の情報処理装置で、放送信号が取得され、放送信号の番組を固有に区別可能な区別情報が取得され、放送信号に、第1の時刻情報と、第1の区別情報取得手段により取得された区別情報とが対応付けられて録画データが生成され、第2の情報処理装置で、第1の時刻情報が対応付けられた録画データが記憶され、暗号化されたメタデータが取得され、暗号化されたメタデータを復号するために用いられる復号鍵が取得され、暗号化されたメタデータが復号鍵を用いて復号され、区別情報、録画データに関するテキストデータ、および、テキストデータに対応する第2の時刻情報を含むメタデータが記憶され、録画データとメタデータを基に、サムネイル画像データ、テキストデータ、および、テキストデータに対応する第2の時刻情報で構成されるサムネイルデータが生成され、第3の情報処理装置で、放送信号が取得され、放送信号の番組を固有に区別可能な区別情報が取得され、放送信号から、ユーザにより表示するか否かを選択することが可能な字幕データが抽出されてデコードされ、デコードされた字幕データに対応するテキストデータにタイムコードが対応付けられ、タイムコードが対応付けられたテキストデータに、区別情報が対応付けられて、メタデータが生成され、メタデータが暗号化され、第4の情報処理装置で、ユーザの登録情報が記憶され、第2の情報処理装置から、ユーザの認証に関する情報が取得され、ユーザの認証に関する情報、および、ユーザの登録情報を基に、認証処理が実行され、ユーザが正しく認証された場合、第2の情報処理装置へ、メタデータを復号する復号鍵が供給される。   In the information processing system of the present invention, in the first information processing apparatus, the broadcast signal is acquired, the discrimination information capable of uniquely distinguishing the program of the broadcast signal is acquired, and the broadcast signal includes the first time information, Recording data is generated in association with the identification information acquired by the first identification information acquisition means, and recording data associated with the first time information is stored in the second information processing apparatus, and is encrypted. The encrypted metadata is obtained, the decryption key used for decrypting the encrypted metadata is obtained, the encrypted metadata is decrypted using the decryption key, and the text relating to the discrimination information and the recorded data The metadata including the second time information corresponding to the data and the text data is stored. Based on the recording data and the metadata, the thumbnail image data, the text data, and the text are stored. Thumbnail data composed of the second time information corresponding to the broadcast data is generated, the third information processing device acquires the broadcast signal, acquires the identification information that can uniquely distinguish the program of the broadcast signal, and broadcasts From the signal, subtitle data that can be selected by the user as to whether or not to display is extracted and decoded, the time code is associated with the text data corresponding to the decoded subtitle data, and the time code is associated The discriminating information is associated with the text data, metadata is generated, the metadata is encrypted, user registration information is stored in the fourth information processing device, and from the second information processing device, Information related to user authentication is acquired, and based on the information related to user authentication and user registration information, authentication processing is executed and the user is correctly authenticated. If it is, the second information processing apparatus, the decryption key for decrypting the metadata is supplied.

本発明によれば、サムネイルデータが生成される。特に、字幕データを基に生成されたメタデータを用いてサムネイルデータが生成されるので、ユーザは、例えば、生成されたサムネイルデータにより、録画された放送番組の大まかな内容を簡単に理解することができたり、テキスト入力を行うことなく、録画データの所望の再生開始位置を指令することができる。   According to the present invention, thumbnail data is generated. In particular, since the thumbnail data is generated using the metadata generated based on the caption data, the user can easily understand the rough contents of the recorded broadcast program by using the generated thumbnail data, for example. The desired playback start position of the recorded data can be commanded without performing text input or text input.

他の本発明によれば、供給された暗号化されたメタデータが復号されて、復号されたメタデータを基にサムネイルデータが生成される。特に、字幕データを基に生成されたメタデータを用いてサムネイルデータが生成されるので、ユーザは、例えば、生成されたサムネイルデータにより、録画された放送番組の大まかな内容を簡単に理解することができたり、テキスト入力を行うことなく、録画データの所望の再生開始位置を指令することができる。   According to another aspect of the present invention, the supplied encrypted metadata is decrypted, and thumbnail data is generated based on the decrypted metadata. In particular, since the thumbnail data is generated using the metadata generated based on the caption data, the user can easily understand the rough contents of the recorded broadcast program by using the generated thumbnail data, for example. The desired playback start position of the recorded data can be commanded without performing text input or text input.

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が、本明細書に記載されていることを確認するためのものである。したがって、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。   Embodiments of the present invention will be described below. The correspondence relationship between the invention described in this specification and the embodiments of the invention is exemplified as follows. This description is intended to confirm that the embodiments supporting the invention described in this specification are described in this specification. Therefore, even if there is an embodiment that is described in the embodiment of the invention but is not described here as corresponding to the invention, the fact that the embodiment is not It does not mean that it does not correspond to the invention. Conversely, even if an embodiment is described herein as corresponding to an invention, that means that the embodiment does not correspond to an invention other than the invention. Absent.

更に、この記載は、本明細書に記載されている発明の全てを意味するものでもない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。   Further, this description does not mean all the inventions described in this specification. In other words, this description is for the invention described in the present specification, which is not claimed in this application, that is, for the invention that will be applied for in the future or that will appear and be added by amendment. It does not deny existence.

請求項1に記載の情報処理装置(例えば、図3の録画装置9、図29の録画装置362、または、図33の録画装置402)は、第1の時刻情報(例えば、図4の録画開始時刻情報95)が対応付けられた録画データを記憶する録画データ記憶手段(例えば、図3、図29、または、図33の録画データ記憶部72)と、録画データの番組を区別するための区別情報(例えば、図7の番組ID情報167)、録画データに関するテキストデータ(例えば、図7のテキストデータ165)、および、テキストデータに対応する第2の時刻情報(例えば、図7のタイムコード166)を含むメタデータを記憶するメタデータ記憶手段(例えば、図3、図29、または、図33のメタデータ記憶部78)と、録画データ記憶手段により記憶されている録画データと、メタデータ記憶手段により記憶されているメタデータを基に、サムネイル画像データ、テキストデータ、および、テキストデータに対応する第2の時刻情報で構成されるサムネイルデータを生成するサムネイルデータ生成手段(例えば、図3、図29、または、図33のサムネイル生成部79)とを備え、メタデータは、複数のテキストデータ、および、テキストデータに対応する第2の時刻情報を含み、第2の時刻情報は、録画データ記憶手段により記憶されている録画データが表示され、複数のテキストデータが表示される場合の、それぞれのテキストデータの表示開始時刻を少なくとも含み、サムネイルデータ生成手段は、複数のテキストデータそれぞれに対応する第2の時刻情報の表示開始時刻に基づいた所定の時刻(例えば、開始時刻に対応する時刻、もしくは、開始時刻に対して、所定の時間だけ前または後の所定の時刻)の録画データの画像情報を抽出して、サムネイル画像データを生成することを特徴とする。   The information processing apparatus according to claim 1 (for example, the recording apparatus 9 in FIG. 3, the recording apparatus 362 in FIG. 29, or the recording apparatus 402 in FIG. 33) has first time information (for example, recording start in FIG. 4). Recording data storage means (for example, the recording data storage unit 72 in FIG. 3, FIG. 29, or FIG. 33) for storing the recording data associated with the time information 95) and the discrimination for distinguishing the program of the recording data Information (for example, program ID information 167 in FIG. 7), text data related to the recording data (for example, text data 165 in FIG. 7), and second time information corresponding to the text data (for example, time code 166 in FIG. 7) ) Including the metadata storage unit (for example, the metadata storage unit 78 in FIG. 3, FIG. 29 or FIG. 33) and the recorded data storage unit. Thumbnail data generation for generating thumbnail data composed of thumbnail image data, text data, and second time information corresponding to the text data, based on the recorded data and the metadata stored in the metadata storage means Means (for example, the thumbnail generation unit 79 of FIG. 3, FIG. 29, or FIG. 33), the metadata includes a plurality of text data and second time information corresponding to the text data, The time information includes at least the display start time of each text data when the recorded data stored in the recorded data storage means is displayed and a plurality of text data is displayed. A predetermined time based on the display start time of the second time information corresponding to each of the text data The thumbnail image data is generated by extracting image information of recorded data at a time corresponding to the start time (or a predetermined time before or after the predetermined time). And

サムネイルデータ生成手段により生成されたサムネイルデータのうちの少なくとも一部の表示を制御する表示制御手段(例えば、図3、図29、または、図33のサムネイル画面表示制御部80)を更に備えるようにすることができる。   Display control means for controlling the display of at least a part of the thumbnail data generated by the thumbnail data generation means (for example, the thumbnail screen display control unit 80 of FIG. 3, FIG. 29 or FIG. 33) is further provided. can do.

表示制御手段により表示が制御されているサムネイルデータに対応する表示画面を参照したユーザの操作入力を受ける操作入力手段(例えば、図3、図29、または、図33の操作入力部71)と、操作入力手段により入力された、表示制御手段により表示が制御されているサムネイルデータに対応する位置を再生開始位置として指定する操作入力を基に、録画データ記憶手段により記憶されている録画データから、サムネイルデータに含まれている第2の時刻情報に基づいた再生開始位置(例えば、開始時刻に対応する時刻、もしくは、開始時刻に対して、所定の時間だけ前または後の所定の時刻に対応する再生開始位置や、2つのサムネイル画像に対応する開始時刻(タイムコード)の真ん中となる所定の時刻に対応する再生開始位置)を検索し、検索された再生開始位置から開始される録画データを読み出す検索手段(例えば、図3、図29、または、図33の録画データ検索出力部81)とを更に備えるようにすることができる。   An operation input means (for example, the operation input unit 71 in FIG. 3, FIG. 29, or FIG. 33) for receiving a user operation input referring to a display screen corresponding to the thumbnail data whose display is controlled by the display control means; Based on the operation input for designating the position corresponding to the thumbnail data whose display is being controlled by the display control means, which is input by the operation input means, from the recorded data stored by the recorded data storage means, A reproduction start position based on the second time information included in the thumbnail data (for example, a time corresponding to the start time, or a predetermined time before or after a predetermined time with respect to the start time) Playback start position and playback start position corresponding to a predetermined time that is the middle of the start time (time code) corresponding to two thumbnail images) Search means (for example, the recorded data search output unit 81 of FIG. 3, FIG. 29, or FIG. 33) for searching and reading the recorded data starting from the searched reproduction start position can be further provided. .

請求項9の情報処理方法は、所定の記憶部に録画データを記憶可能な情報処理装置(例えば、図3の録画装置9、図29の録画装置362、または、図33の録画装置402)の情報処理方法であって、録画データの番組を区別するための区別情報(例えば、図7の番組ID情報167)、録画データに関するテキストデータ(例えば、図7のテキストデータ165)、および、テキストデータに対応する第2の時刻情報(例えば、図7のタイムコード166)を含むメタデータの記憶を制御するメタデータ記憶制御ステップ(例えば、図17のステップS150の処理)と、録画データと、メタデータ記憶制御ステップの処理により記憶が制御されているメタデータを基に、サムネイル画像データ、テキストデータ、および、テキストデータに対応する第2の時刻情報で構成されるサムネイルデータを生成するサムネイルデータ生成ステップ(例えば、図19を用いて説明した処理)とを含み、メタデータは、複数のテキストデータ、および、テキストデータに対応する第2の時刻情報を含み、第2の時刻情報は、所定の記憶部により記憶されている録画データが表示され、複数のテキストデータが表示される場合の、それぞれのテキストデータの表示開始時刻を少なくとも含み、サムネイルデータ生成ステップの処理では、複数のテキストデータそれぞれに対応する第2の時刻情報の表示開始時刻に基づいた所定の時刻(例えば、開始時刻に対応する時刻、もしくは、開始時刻に対して、所定の時間だけ前または後の所定の時刻)の録画データの画像情報が抽出されて、サムネイル画像データが生成されることを特徴とする。   The information processing method according to claim 9 is an information processing apparatus (for example, the recording apparatus 9 in FIG. 3, the recording apparatus 362 in FIG. 29, or the recording apparatus 402 in FIG. 33) capable of storing recording data in a predetermined storage unit. Discrimination information (for example, program ID information 167 in FIG. 7) for distinguishing programs of recorded data, text data related to recorded data (for example, text data 165 in FIG. 7), and text data A metadata storage control step (for example, the process of step S150 in FIG. 17) for controlling the storage of metadata including the second time information (for example, the time code 166 in FIG. 7) corresponding to the recording data, the metadata Based on the metadata whose storage is controlled by the processing of the data storage control step, thumbnail image data, text data, and text data are stored. A thumbnail data generation step (for example, the process described with reference to FIG. 19) for generating thumbnail data composed of second time information corresponding to the metadata, and the metadata includes a plurality of text data and text data The second time information includes the second time information, and the second time information is a display of each text data when the recorded data stored in the predetermined storage unit is displayed and a plurality of text data is displayed. In the processing of the thumbnail data generation step including at least the start time, the predetermined time based on the display start time of the second time information corresponding to each of the plurality of text data (for example, the time corresponding to the start time or the start time The image information of the recorded data (predetermined time before or after the predetermined time) is extracted and the thumbnail is extracted. Characterized in that Le image data is generated.

また、請求項10に記載のプログラムにおいても、各ステップが対応する実施の形態(但し一例)は、請求項9に記載の情報処理方法と同様である。   In the program according to claim 10, the embodiment (however, an example) to which each step corresponds is the same as the information processing method according to claim 9.

請求項11に記載の情報処理システムは、放送信号を取得して処理する第1の情報処理装置(例えば、図3の表示選択字幕デコーダ8)と、サムネイルデータを生成する第2の情報処理装置(例えば、図3の録画装置9)と、第2の情報処理装置で利用されるメタデータを生成する第3の情報処理装置(例えば、図5および図6のメタデータ作成サーバ6)と、第2の情報処理装置に、メタデータを復号する復号鍵を供給する第4の情報処理装置(例えば、図9および図10の認証サーバ7)とによって構成され、第1の情報処理装置は、放送信号を取得する第1の放送信号取得手段(例えば、図3の入力端子21−1および21−2)と、放送信号の番組を固有に区別可能な区別情報(例えば、番組ID)を取得する第1の区別情報取得手段(例えば、図3の番組ID情報抽出部39)と、第1の放送信号取得手段により取得された放送信号に、第1の時刻情報(たとえば、図4の録画開始時刻情報95)と、第1の区別情報取得手段により取得された区別情報とを対応付けて録画データを生成する録画データ生成手段(例えば、図3の出力信号生成部33)とを備え、第2の情報処理装置は、第1の時刻情報(例えば、図4の録画開始時刻情報95)が対応付けられた録画データを記憶する録画データ記憶手段(例えば、図3の録画データ記憶部72)と、暗号化されたメタデータを取得するメタデータ取得手段(例えば、図3のネットワークインターフェース73)と、暗号化されたメタデータを復号するために用いられる復号鍵を取得する復号鍵取得手段(例えば、図3のネットワークインターフェース73)と、メタデータ取得手段により取得された暗号化されたメタデータを、復号鍵取得手段により取得された復号鍵を用いて復号する復号処理手段(例えば、図3の復号処理部77)と、復号処理手段により復号された、区別情報(例えば、図7の番組ID情報167)、録画データに関するテキストデータ(例えば、図7のテキストデータ165)、および、テキストデータに対応する第2の時刻情報(例えば、図7のタイムコード166)を含むメタデータを記憶するメタデータ記憶手段(例えば、図3のメタデータ記憶部78)と、録画データ記憶手段により記憶されている録画データと、メタデータ記憶手段により記憶されているメタデータを基に、サムネイル画像データ、テキストデータ、および、テキストデータに対応する第2の時刻情報で構成されるサムネイルデータを生成するサムネイルデータ生成手段(例えば、図3のサムネイル生成部79)とを備え、第3の情報処理装置は、放送信号を取得する第2の放送信号取得手段(例えば、図6の放送データ取得部141)と、区別情報(例えば、番組ID)を取得する第2の区別情報取得手段(例えば、図6の番組ID情報抽出部143)と、第2の放送信号取得手段により取得された放送信号から、ユーザにより表示するか否かを選択することが可能な字幕データ(例えば、図2の表示選択字幕データ17)を抽出してデコードする字幕データデコード手段(例えば、図6の表示選択字幕データデコーダ145)と、字幕データデコード手段によりデコードされた字幕データに対応するテキストデータにタイムコードを対応付けるタイムコード対応付け処理手段(例えば、図6のタイムコード対応付け処理部147)と、タイムコード対応付け処理手段によりタイムコードが対応付けられたテキストデータに、第2の区別情報取得手段により取得された区別情報を対応付けて、メタデータを生成するメタデータ生成手段(例えば、図6のメタデータ生成部144)と、メタデータ生成手段により生成されたメタデータを暗号化する暗号化手段(例えば、図6の暗号化処理部149)とを備え、第4の情報処理装置は、ユーザの登録情報を記憶する登録情報記憶手段(例えば、図10のユーザ情報データベース206)と、第2の情報処理装置から、ユーザの認証に関する情報を取得する認証情報取得手段(例えば、図10の操作入力情報取得部204)と、認証情報取得手段により取得されたユーザの認証に関する情報、および、登録情報記憶手段により記憶されているユーザの登録情報を基に、認証処理を実行する認証処理手段(例えば、図10の認証処理部207)と、認証処理手段によりユーザが正しく認証された場合、第2の情報処理装置への、メタデータを復号する復号鍵の供給を制御する復号鍵供給制御手段(例えば、図10の鍵供給処理部208)とを備えることを特徴とする。   The information processing system according to claim 11 includes a first information processing apparatus (for example, a display selection subtitle decoder 8 in FIG. 3) that acquires and processes a broadcast signal, and a second information processing apparatus that generates thumbnail data. (For example, the recording device 9 in FIG. 3), a third information processing device (for example, the metadata creation server 6 in FIGS. 5 and 6) that generates metadata used in the second information processing device, The second information processing apparatus is configured by a fourth information processing apparatus (for example, the authentication server 7 in FIGS. 9 and 10) that supplies a decryption key for decrypting the metadata. First broadcast signal acquisition means (for example, input terminals 21-1 and 21-2 in FIG. 3) for acquiring a broadcast signal and identification information (for example, program ID) that can uniquely distinguish the program of the broadcast signal is acquired. The first distinction information acquisition hand (For example, the program ID information extraction unit 39 in FIG. 3) and the broadcast signal acquired by the first broadcast signal acquisition means include first time information (for example, recording start time information 95 in FIG. 4), The second information processing apparatus includes a recording data generation unit (for example, the output signal generation unit 33 in FIG. 3) that generates recording data in association with the identification information acquired by the one identification information acquisition unit. Recording data storage means (for example, the recording data storage unit 72 of FIG. 3) for storing the recording data associated with the first time information (for example, the recording start time information 95 of FIG. 4), and the encrypted meta Metadata acquisition means for acquiring data (for example, the network interface 73 in FIG. 3) and decryption key acquisition means for acquiring the decryption key used for decrypting the encrypted metadata (for example, in FIG. 3) Network interface 73) and decryption processing means for decrypting the encrypted metadata acquired by the metadata acquisition means using the decryption key acquired by the decryption key acquisition means (for example, the decryption processing unit in FIG. 3) 77), the discriminating information (for example, the program ID information 167 in FIG. 7), the text data related to the recording data (for example, the text data 165 in FIG. 7), and the first data corresponding to the text data decoded by the decoding processing means. Metadata storage means (for example, metadata storage section 78 in FIG. 3) for storing metadata including time information (for example, time code 166 in FIG. 7) and recorded data stored in the recording data storage means. And, based on the metadata stored by the metadata storage means, thumbnail image data, text data, and Thumbnail data generating means (for example, the thumbnail generating unit 79 in FIG. 3) that generates thumbnail data composed of second time information corresponding to the text data, and the third information processing apparatus acquires a broadcast signal. Second broadcast signal acquisition means (for example, the broadcast data acquisition unit 141 in FIG. 6) and second distinction information acquisition means (for example, the program ID information extraction in FIG. 6) for acquiring the differentiation information (for example, program ID). Section 143) and subtitle data (for example, display selection subtitle data 17 in FIG. 2) that can be selected by the user to be displayed is extracted from the broadcast signal acquired by the second broadcast signal acquisition means. Subtitle data decoding means (for example, display selection subtitle data decoder 145 of FIG. 6) and subtitle data decoded by the subtitle data decoding means Time code association processing means (for example, the time code association processing section 147 in FIG. 6) for associating the time code with the text data to be stored, and the text data in which the time code is associated with the time code association processing means. The metadata generation unit (for example, the metadata generation unit 144 in FIG. 6) that generates the metadata by associating the identification information acquired by the identification information acquisition unit with the metadata generated by the metadata generation unit. The fourth information processing apparatus includes a registration information storage unit (for example, the user information database of FIG. 10) that stores the registration information of the user, and an encryption unit (for example, the encryption processing unit 149 of FIG. 6) for encryption. 206) and authentication information acquisition means (for example, FIG. 10) for acquiring information related to user authentication from the second information processing apparatus. Authentication processing means for executing authentication processing based on the user input information acquired by the operation input information acquisition unit 204), the authentication information acquisition means, and the user registration information stored in the registration information storage means (For example, when the user is correctly authenticated by the authentication processing unit 207 in FIG. 10 and the authentication processing unit, the decryption key supply control for controlling the supply of the decryption key for decrypting the metadata to the second information processing apparatus. Means (for example, key supply processing unit 208 in FIG. 10).

第4の情報処理装置は、復号鍵供給制御手段により復号鍵の供給が制御されたことに伴って発生する課金に関する情報を記憶する課金情報記憶手段(例えば、図10の課金情報データベース211)と、課金情報記憶手段により記憶された課金に関する情報を基に、ユーザに対する課金処理を実行する課金処理手段(例えば、図10の課金処理部210)とを更に備えることができる。   The fourth information processing apparatus includes a billing information storage unit (for example, the billing information database 211 in FIG. 10) that stores information related to billing that occurs when the decryption key supply control unit controls the decryption key supply. Further, it may further include a billing processing unit (for example, billing processing unit 210 in FIG. 10) that performs billing processing for the user based on the billing information stored by the billing information storage unit.

以下、図を参照して、本発明の実施の形態について説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図1は、本発明を適用した情報処理システムの構成について説明するためのシステム図である。   FIG. 1 is a system diagram for explaining the configuration of an information processing system to which the present invention is applied.

放送局1は、地上波、または、衛星波などを用いて、番組を放送する。放送される番組のデータには、映像データと音声データが含まれる。また、番組データには、映像データとして必ず表示される、いわゆる字幕(番組の題名やキャストなどの紹介、または、海外の作品における日本語字幕)以外に、表示させるか否かを選択可能な字幕データが含まれる。このような選択可能な字幕データ(いわゆる、クローズドキャプション)には、海外の作品における日本語字幕のような出演者の会話に対応するテキストデータのみならず、例えば、BGMや効果音などの説明も含まれていてもよい。   The broadcasting station 1 broadcasts a program using terrestrial waves or satellite waves. Broadcast program data includes video data and audio data. In addition to the so-called captions (introduction of program titles and casts, or Japanese captions in overseas works) that are always displayed as video data, the program data can be selected to be displayed or not. Contains data. Such selectable subtitle data (so-called closed captions) includes not only text data corresponding to performers' conversations such as Japanese subtitles in overseas works, but also explanations such as BGM and sound effects. It may be included.

例えば、NTSC方式のアナログの地上波放送では、映像信号に525本の走査線が用いられており、この525本のうち、各フィールド(2フィールドで1フレームを構成)の最初の21本相当は、VBI(Vertical Blanking Interval:垂直帰線消去期間)と称される、走査を開始するためのインターバル用に割り当てられている。クローズドキャプションは、各フィールドのVBIのうち、VBIの21本目に7bitの文字コードを多重化することによって伝送されるようになされており、各フィールドを使って2種類の文字セットを毎秒約60文字伝送することができるようになされている。以下、クローズドキャプションに代表される、表示と非表示を選択可能な字幕データを、表示選択字幕データと称するものとする。   For example, in NTSC analog terrestrial broadcasting, 525 scanning lines are used for video signals. Of these 525 lines, the first 21 lines in each field (one field consists of two fields) And VBI (Vertical Blanking Interval), which is called an interval for starting scanning. Closed captions are transmitted by multiplexing a 7-bit character code in the 21st VBI of the VBIs in each field, and each field is used to transmit two types of character sets to approximately 60 characters per second. It can be transmitted. Hereinafter, subtitle data typified by closed captions and capable of selecting display and non-display will be referred to as display selection subtitle data.

映像データ、音声データ、表示選択字幕データの具体的な例について、図2を用いて説明する。   Specific examples of video data, audio data, and display selection subtitle data will be described with reference to FIG.

映像データ15は、動画像データであり、図2においては、動画像データ中の、いくつかのタイミングにおけるフレーム画像データを抽出して図示している。音声データ16は、映像データ15と同時再生されるべき音声データである。表示選択字幕データ17は、例えば、音声データ16に対応するテキストデータであってもかまわないし、音声データに対応するテキストデータ以外の、音声データが会話である場合に、発話者を説明するためのテキストデータなどが含まれるようにしても良い。映像データ15と音声データ16は、例えば、それぞれ対応するようなリンク情報を有しているか、相対時刻のタイムスタンプを有することにより、例えば、放送時にリアルタイムで視聴される以外に、録画されて再生された場合においても時間軸がずれてしまうことがないようになされている。これに対して、表示選択字幕データ17は、再生時にデコードされるまで、映像データと同一に扱われることしか想定されていないため、映像データ15または音声データ16に対するリンクデータや、相対時刻のタイムスタンプなどを有していない。   The video data 15 is moving image data, and in FIG. 2, frame image data at several timings is extracted from the moving image data. The audio data 16 is audio data to be reproduced simultaneously with the video data 15. The display selection subtitle data 17 may be, for example, text data corresponding to the voice data 16, and is used to explain the speaker when the voice data other than the text data corresponding to the voice data is a conversation. Text data or the like may be included. The video data 15 and the audio data 16 are recorded and reproduced, for example, in addition to being viewed in real time at the time of broadcasting, for example, by having corresponding link information or having a relative time stamp. Even in such a case, the time axis is not shifted. On the other hand, since the display selection subtitle data 17 is assumed to be treated in the same way as the video data until it is decoded at the time of reproduction, the link data for the video data 15 or the audio data 16 or the time of the relative time is assumed. Does not have stamps.

再び、図1の説明に戻る。   Returning again to the description of FIG.

ユーザは、テレビジョン受像機2を用いて、図2を用いて説明した表示選択字幕データ17を含む映像データ15、および、音声データ16で構成される放送信号を受信する。表示選択字幕データを表示させる必要がなく、かつ、表示選択字幕データを用いた、後述するサムネイル画面表示および検索処理を行わないユーザは、ホームサーバ3、または、表示選択字幕デコーダ8を用いなくても、チューナ11によって選局された放送信号を、映像および音声信号処理部12において復調し、映像信号を出力部13のディスプレイに表示するとともに、音声信号を出力部13のスピーカに出力して、番組を視聴することが可能である。   Using the television receiver 2, the user receives a broadcast signal composed of the video data 15 including the display selection subtitle data 17 described with reference to FIG. 2 and the audio data 16. The user who does not need to display the display selection subtitle data and does not perform the thumbnail screen display and search processing described below using the display selection subtitle data does not need to use the home server 3 or the display selection subtitle decoder 8. Also, the broadcast signal selected by the tuner 11 is demodulated by the video and audio signal processing unit 12, the video signal is displayed on the display of the output unit 13, and the audio signal is output to the speaker of the output unit 13. The program can be viewed.

ホームサーバ3は、表示選択字幕デコーダ8、および、録画装置9によって構成されている。表示選択字幕デコーダ8は、テレビジョン受像機2のチューナ11によって選局された放送信号の入力を受け、映像信号および音声信号をデコードするとともに、ユーザの操作入力に基づいて、表示選択字幕データを抽出してデコードし、出力部13に出力して表示および音声出力させることができる。更に、表示選択字幕デコーダ8は、テレビジョン受像機2のチューナ11によって選局された放送信号の入力を受け、放送信号を処理することにより、録画装置9がインターネット5を介してメタデータ作成サーバ6から取得したメタデータを用いて検索処理を実行することが可能な、録画開始時刻を示す情報(以下、録画開始時刻情報と称する)が対応付けられた録画データを生成して、録画装置9に供給することができる。また、表示選択字幕デコーダ8は、録画装置9により録画され、検索処理により再生位置が指定された録画データの供給を受け、表示選択字幕を必要に応じてデコードして、出力部13に出力して表示および音声出力させることができる。   The home server 3 includes a display selection subtitle decoder 8 and a recording device 9. The display selection subtitle decoder 8 receives an input of a broadcast signal selected by the tuner 11 of the television receiver 2, decodes the video signal and the audio signal, and displays the display selection subtitle data based on the user's operation input. It can be extracted and decoded, and output to the output unit 13 for display and audio output. Furthermore, the display selection subtitle decoder 8 receives the input of the broadcast signal selected by the tuner 11 of the television receiver 2 and processes the broadcast signal, so that the recording device 9 can transmit the metadata creation server via the Internet 5. 6, recording data associated with information indicating the recording start time (hereinafter referred to as recording start time information) capable of executing the search process using the metadata acquired from 6 is generated. Can be supplied to. Further, the display selection subtitle decoder 8 receives the supply of the recording data recorded by the recording device 9 and the reproduction position specified by the search process, decodes the display selection subtitle as necessary, and outputs it to the output unit 13. Display and audio output.

録画装置9は、ユーザの操作入力に基づいて、表示選択字幕デコーダ8により生成された録画開始時刻情報つき録画データの供給を受けて内部の記録媒体に記録(すなわち、録画)する。また、録画装置9は、インターネット5を介して、メタデータ作成サーバ6から、表示選択字幕データに対応するテキストデータと、テキストデータに対応するタイムコードにより構成されるメタデータの供給を受けるとともに、認証サーバ7から、メタデータを復号するための復号鍵の供給を受けてメタデータを復号し、復号されたメタデータを用いて、サムネイルデータファイルを生成し、内部の記録媒体に記録する。サムネイルデータファイルを構成するサムネイルデータは、サムネイル画像データに、表示選択字幕データに対応するテキストデータとタイムコードとが関連付けられているものである。そして、録画装置9は、ユーザが指定した番組に対応するサムネイルデータファイルを基に、出力部13に、サムネイル画像および表示選択字幕データに対応するテキストデータの両方、または、少なくともいずれか1つを表示させるための表示制御処理を実行する。   The recording device 9 receives the recording data with the recording start time information generated by the display selection subtitle decoder 8 based on the user's operation input, and records (i.e., records) on the internal recording medium. In addition, the recording device 9 receives supply of metadata including text data corresponding to display selection subtitle data and a time code corresponding to the text data from the metadata creation server 6 via the Internet 5. When the decryption key for decrypting the metadata is supplied from the authentication server 7, the metadata is decrypted, and a thumbnail data file is generated using the decrypted metadata and recorded on an internal recording medium. The thumbnail data constituting the thumbnail data file is obtained by associating the thumbnail image data with the text data corresponding to the display selection subtitle data and the time code. Based on the thumbnail data file corresponding to the program designated by the user, the recording device 9 causes the output unit 13 to receive both the thumbnail image and the text data corresponding to the display selection subtitle data, or at least one of them. Display control processing for display is executed.

ユーザは、出力部13に表示されるサムネイル画像、または、テキストデータを参照し、録画されている番組の内容を理解したり、再生開始位置を指令することができる。そして、ユーザにより、サムネイルデータのうちのいずれかが、再生開始位置として選択された場合、録画装置9において、ユーザが指令した再生開始位置に対応するタイムコードが検出され、タイムコードを基に、録画データが検索されて、表示選択字幕デコーダ8に供給される。サムネイルデータの表示と検索処理の詳細については後述する。ここで、検索される「番組」とは、例えば、2時間ドラマなどのプログラムの全体であっても、1つのプログラムがコマーシャルなどで区切られている場合の区切られた1単位ごとでも、複数のプログラムを含むものであっても、更に、コマーシャルを含むものやコマーシャルのみを示すものであっても良い。   The user can refer to the thumbnail image or text data displayed on the output unit 13 to understand the contents of the recorded program or to instruct the playback start position. When any of the thumbnail data is selected by the user as the playback start position, the recording device 9 detects a time code corresponding to the playback start position commanded by the user, and based on the time code, The recorded data is retrieved and supplied to the display selection subtitle decoder 8. Details of the thumbnail data display and search processing will be described later. Here, the searched “program” is, for example, a whole program such as a two-hour drama, or a plurality of units even when each program is divided by a commercial or the like. Even a program may be included, or a commercial may be included or only a commercial may be indicated.

なお、テレビジョン受像機2およびホームサーバ3が実行可能な機能の一部または全部を、例えば、携帯型電話機やPDAなどの携帯端末を用いて実行するようにしても良い。   Note that some or all of the functions that can be executed by the television receiver 2 and the home server 3 may be executed using a mobile terminal such as a mobile phone or a PDA.

メタデータ作成サーバ6は、インターネット5を介して、または、所定の媒体を介して、もしくは、図示しないアンテナより受信することにより、放送局1が作成した表示選択字幕データつきの放送信号を取得し、それを基に、メタデータを作成して、作成したメタデータを暗号化する。また、メタデータ作成サーバ6は、暗号化されたメタデータを、インターネット5を介してユーザに配布するためのウェブページをインターネット5に公開し、例えば、録画装置9や、図示しないパーソナルコンピュータ、携帯型電話機、または、PDAなどを用いたユーザからのアクセスを受け、ユーザが所望した番組の検索に利用される暗号化されたメタデータを、インターネット5を介してダウンロードさせる。   The metadata creation server 6 obtains a broadcast signal with display selection subtitle data created by the broadcast station 1 by receiving it via the Internet 5, via a predetermined medium, or from an antenna (not shown), Based on that, metadata is created and the created metadata is encrypted. Also, the metadata creation server 6 publishes a web page for distributing encrypted metadata to users via the Internet 5 on the Internet 5, for example, a recording device 9, a personal computer (not shown), a mobile phone, etc. In response to access from a user using a portable telephone or a PDA, the encrypted metadata used for searching for a program desired by the user is downloaded via the Internet 5.

なお、メタデータのユーザへの配布方法は、ウェブページをインターネット5に公開する以外にも、例えば、ホストコンピュータを中心に、複数の情報処理装置を電話回線で接続し、データ通信を行う、いわゆる、パソコン通信や、その他、専用線を介した通信や、リムーバブルな記録媒体を介したデータの配布など、いかなる媒体を介するものであっても良い。   The method of distributing metadata to users is not limited to publishing a web page on the Internet 5, for example, a so-called data communication is performed by connecting a plurality of information processing devices through a telephone line with a host computer at the center. It may be via any medium such as personal computer communication, communication via a dedicated line, or distribution of data via a removable recording medium.

認証サーバ7は、メタデータ作成サーバ6が作成し暗号化してユーザに配布したメタデータを復号するための復号鍵を、インターネット5を介してユーザに配布するためのウェブページをインターネット5に公開し、例えば、録画装置9や、図示しないパーソナルコンピュータ、携帯型電話機、または、PDAなどを用いたユーザからのアクセスを受け、ユーザが所望したメタデータの復号鍵に対する対価の決済を行ったうえで、ユーザに復号鍵を配布する。また、認証サーバ7は、表示選択字幕データを作成した放送局1に対する対価を放送局1に対して支払うための課金処理を実行する。   The authentication server 7 publishes on the Internet 5 a web page for distributing to the user via the Internet 5 a decryption key for decrypting the metadata created by the metadata creation server 6 and encrypted and distributed to the user. For example, after receiving access from a recording device 9 or a user using a personal computer (not shown), a portable phone, or a PDA, and paying for the decryption key of the metadata desired by the user, Distribute the decryption key to the user. In addition, the authentication server 7 executes a billing process for paying the broadcasting station 1 a fee for the broadcasting station 1 that created the display selection subtitle data.

なお、復号鍵のユーザへの配布方法も、ウェブページをインターネット5に公開する以外にも、例えば、ホストコンピュータを中心に、複数の情報処理装置を電話回線で接続し、データ通信を行う、いわゆる、パソコン通信や、その他、専用線を介した通信や、リムーバブルな記録媒体を介したデータの配布など、いかなる媒体を介するものであっても良い。   The method of distributing the decryption key to the user is not limited to publishing the web page on the Internet 5, for example, a so-called data communication is performed by connecting a plurality of information processing devices through a telephone line, mainly with a host computer. It may be via any medium such as personal computer communication, communication via a dedicated line, or distribution of data via a removable recording medium.

図3は、図1の表示選択字幕デコーダ8と、録画装置9とにより構成されているホームサーバ3の構成を示すブロック図である。   FIG. 3 is a block diagram showing a configuration of the home server 3 configured by the display selection subtitle decoder 8 and the recording device 9 of FIG.

テレビジョン受像機2のチューナ11により選局された放送信号のうち、表示選択字幕データを含む映像信号は、入力端子21−1より映像信号デコーダ31に供給され、音声信号は、入力端子21−2より音声信号デコーダ34に入力される。   Of the broadcast signals selected by the tuner 11 of the television receiver 2, a video signal including display selection caption data is supplied to the video signal decoder 31 from the input terminal 21-1, and an audio signal is input to the input terminal 21-. 2 is input to the audio signal decoder 34.

映像信号デコーダ31は、供給された映像信号をデコードし、デコードされた映像データをメモリ32に供給する。メモリ32は、供給された映像信号を一時保持するフレームメモリである。音声信号デコーダ34は、供給された音声信号をデコードし、デコードされた音声データを出力する。   The video signal decoder 31 decodes the supplied video signal and supplies the decoded video data to the memory 32. The memory 32 is a frame memory that temporarily holds the supplied video signal. The audio signal decoder 34 decodes the supplied audio signal and outputs the decoded audio data.

操作入力部41により入力されたユーザの操作により、受信された放送信号をリアルタイムに出力する、すなわち、現在放送中の番組を視聴することが指令された場合、表示選択字幕データデコーダ35は、メモリ32から映像データを取得する。そして、操作入力部41により入力されたユーザの操作により、表示選択字幕データの表示が指令された場合、表示選択字幕データデコーダ35は、取得した映像データに含まれる表示選択字幕データをデコードして、対応するテキストデータをOSD(On Screen Display)36に供給するとともに、映像データを合成処理部37に供給する。   When an instruction to output the received broadcast signal in real time by the user's operation input by the operation input unit 41, that is, to view a program currently being broadcast, the display selection subtitle data decoder 35 stores the memory Video data is acquired from 32. When the display selection subtitle data is instructed by the user's operation input from the operation input unit 41, the display selection subtitle data decoder 35 decodes the display selection subtitle data included in the acquired video data. The corresponding text data is supplied to the OSD (On Screen Display) 36 and the video data is supplied to the composition processing unit 37.

また、表示選択字幕データデコーダ35は、入力端子24−1を介して、録画装置9から供給された再生された映像データを取得した場合においても、操作入力部41により入力されたユーザの操作により、表示選択字幕データの表示が指令されたとき、取得した映像データに含まれる表示選択字幕データをデコードして、対応するテキストデータをOSD36に供給するとともに、映像データを合成処理部37に供給する。   In addition, the display selection subtitle data decoder 35 also receives the reproduced video data supplied from the recording device 9 via the input terminal 24-1, and the user's operation input from the operation input unit 41 is performed. When the display selection subtitle data is instructed to be displayed, the display selection subtitle data included in the acquired video data is decoded, the corresponding text data is supplied to the OSD 36, and the video data is supplied to the composition processing unit 37. .

OSD36は、供給されたテキストデータを、表示画面に重畳して表示させるための画像データであるOSDデータに変換して、合成処理部37に供給する。合成処理部37は、供給された映像データに、供給されたOSDデータを重畳して、出力端子22−1からテレビジョン受像機2の出力部13のディスプレイに出力する。また、このとき、音声出力処理部38は、音声信号デコーダ34によりデコードされた音声データ、または、入力端子24−2を介して供給された音声データを取得して、出力端子22−2から、テレビジョン受像機2の出力部13のスピーカに出力する。   The OSD 36 converts the supplied text data into OSD data, which is image data to be displayed superimposed on the display screen, and supplies the OSD data to the composition processing unit 37. The composition processing unit 37 superimposes the supplied OSD data on the supplied video data, and outputs it from the output terminal 22-1 to the display of the output unit 13 of the television receiver 2. At this time, the audio output processing unit 38 acquires the audio data decoded by the audio signal decoder 34 or the audio data supplied via the input terminal 24-2, and from the output terminal 22-2, Output to the speaker of the output unit 13 of the television receiver 2.

更に、表示選択字幕データデコーダ35は、入力端子24−1を介して、録画装置9から供給された、サムネイルデータファイルの映像データを取得した場合、取得された映像データを、合成処理部37を介して出力端子22−1に供給し、OSD36による合成処理を施さない状態で、テレビジョン受像機の出力部13のディスプレイに出力させる。また、このとき、音声出力処理部38は、入力端子24−2を介して供給された音声データを取得して、出力端子22−2から、テレビジョン受像機2の出力部13のスピーカに出力する。   Furthermore, when the display selection subtitle data decoder 35 acquires the video data of the thumbnail data file supplied from the recording device 9 via the input terminal 24-1, the display selection subtitle data decoder 35 converts the acquired video data to the synthesis processing unit 37. To the output terminal 22-1 and output to the display of the output unit 13 of the television receiver without performing the synthesis process by the OSD 36. At this time, the audio output processing unit 38 acquires audio data supplied via the input terminal 24-2, and outputs the audio data from the output terminal 22-2 to the speaker of the output unit 13 of the television receiver 2. To do.

操作入力部41により入力されたユーザの操作に基づいて、または、データ端子61−3を介して、録画装置9から供給された制御信号に基づいて、供給された映像信号および音声信号を録画装置9に出力して録画させることが指令された場合、出力信号生成部33は、番組ID情報抽出部39に、メモリ32に保持されている映像データから番組管理情報に含まれる番組IDを抽出させるように制御する。番組ID情報抽出部39は、映像信号デコーダ31によりデコードされた映像データに含まれる番組管理情報から、番組(ここでも、「番組」とは、検索される単位を示し、例えば、2時間ドラマなどのプログラムの全体であっても、1つのプログラムがコマーシャルなどで区切られている場合の区切られた1単位ごとでも、複数のプログラムを含むものであっても、更に、コマーシャルを含むものやコマーシャルのみを示すものであっても良い)を固有に区別可能な番組ID情報を抽出し、出力信号生成部33に供給する。   Based on a user operation input from the operation input unit 41 or based on a control signal supplied from the recording device 9 via the data terminal 61-3, the supplied video signal and audio signal are recorded on the recording device. 9, the output signal generation unit 33 causes the program ID information extraction unit 39 to extract the program ID included in the program management information from the video data held in the memory 32. To control. The program ID information extraction unit 39 indicates a unit to be searched from the program management information included in the video data decoded by the video signal decoder 31 (here, “program” indicates a unit to be searched, for example, a two-hour drama, etc. Even if it is the whole program, even if one program is divided by commercials, etc., each unit divided, or those that contain multiple programs, and those that contain commercials or only commercials The program ID information that can be uniquely distinguished is extracted and supplied to the output signal generation unit 33.

なお、映像データに番組管理情報が含まれていない場合、番組ID情報抽出部39は、出力信号生成部33を介して、タイマ40から時刻情報を取得し、取得した時刻情報から、番組ID情報を生成することができるようにしても良い。   When the program management information is not included in the video data, the program ID information extraction unit 39 acquires time information from the timer 40 via the output signal generation unit 33, and program ID information is obtained from the acquired time information. May be generated.

出力信号生成部33は、タイマ40を参照して、録画が開始された時刻(絶対時刻)を取得し、メモリ32から供給される映像データ、または、音声信号デコーダ34から供給される音声データのうちの少なくともいずれか一方に、取得した時刻情報である録画開始時刻情報を対応付けるとともに、映像データおよび音声データに対して、番組ID情報抽出部39から供給された番組IDを対応付けて、録画される出力信号を生成し、出力端子23−1および23−2から録画装置9に供給する。この録画開始時刻情報は、後述するサムネイル画面表示および検索処理において用いられる。   The output signal generation unit 33 refers to the timer 40 to acquire the time (absolute time) when the recording was started, and the video data supplied from the memory 32 or the audio data supplied from the audio signal decoder 34 Recording start time information, which is acquired time information, is associated with at least one of them, and the program ID supplied from the program ID information extraction unit 39 is associated with the video data and the audio data. Output signal is generated and supplied to the recording device 9 from the output terminals 23-1 and 23-2. This recording start time information is used in a thumbnail screen display and search process described later.

録画される出力信号について、図4を用いて説明する。   The output signal to be recorded will be described with reference to FIG.

出力信号生成部33において、録画される出力信号のうち、映像データ15または音声データ16のうちのいずれか少なくとも一方に、録画開始時刻情報95が対応付けられる。そして、映像データ15には、表示選択字幕データ17が含まれている。そして、これらのデータに番組ID情報が関連つけられて、録画用の出力信号が生成される。   In the output signal generation unit 33, the recording start time information 95 is associated with at least one of the video data 15 and the audio data 16 among the output signals to be recorded. The video data 15 includes display selection subtitle data 17. Then, program ID information is associated with these data, and an output signal for recording is generated.

図3に戻って、録画装置9の構成について説明する。   Returning to FIG. 3, the configuration of the recording device 9 will be described.

操作入力部71は、例えば、ボタン、キー、タッチパネル、タッチパッド、レバーなどの入力デバイスで構成され、ユーザの操作入力を受ける。録画データ記憶部72は、入力端子61−1および入力端子61−2から供給される、番組IDと録画開始時刻情報が対応付けられた映像データおよび音声データを記憶する。録画データ記憶部72は、例えば、ハードディスクなどの大容量記録媒体により構成されるようにしても、DVD(Digital Versatile Disc)やビデオテープなどのリムーバブルな記録媒体に構成されるようにしても良い。   The operation input unit 71 includes, for example, input devices such as buttons, keys, a touch panel, a touch pad, and a lever, and receives user operation inputs. The recording data storage unit 72 stores video data and audio data, which are supplied from the input terminal 61-1 and the input terminal 61-2, in which the program ID is associated with the recording start time information. For example, the recorded data storage unit 72 may be configured by a large-capacity recording medium such as a hard disk, or may be configured by a removable recording medium such as a DVD (Digital Versatile Disc) or a video tape.

録画制御部82は、ユーザが、操作入力部71に対して、放送番組の録画を指令したとき、表示選択字幕デコーダ8に供給された映像信号および音声信号を検索可能な情報として録画することができるように、番組IDおよび録画開始時刻情報を対応付けて、録画装置9に出力させるための制御信号を生成し、データ端子61−3およびデータ端子23−3を介して、表示選択字幕デコーダ8の出力信号生成部33に供給する。   When the user instructs the operation input unit 71 to record a broadcast program, the recording control unit 82 records the video signal and audio signal supplied to the display selection subtitle decoder 8 as searchable information. In order to be able to do so, the control ID for generating the recording device 9 in association with the program ID and the recording start time information is generated, and the display selection subtitle decoder 8 is connected via the data terminal 61-3 and the data terminal 23-3. To the output signal generation unit 33.

ネットワークインターフェース73は、インターネット5に公開されているウェブページの情報を取得して、表示部74に表示させたり、表示部74を参照したユーザが、操作入力部71に入力した操作に基づいて、所定の情報を、メタデータ作成サーバ6、または、認証サーバ7に送信したり、メタデータ作成サーバ6から、メタデータをダウンロードして、暗号化メタデータ記憶部75に出力して記憶させたり、認証サーバ7から取得した復号鍵を、復号鍵記憶部76に出力して記憶させたりする。また、ネットワークインターフェース73は、ユーザが保有する図示しないパーソナルコンピュータ、携帯型電話機、または、PDAなどを用いて取得された、暗号化されたメタデータや復号鍵などを、有線または無線を介した通信により、図示しないパーソナルコンピュータ、携帯型電話機、または、PDAから受信することも可能である。   The network interface 73 acquires information on a web page published on the Internet 5 and displays the information on the display unit 74, or based on an operation input to the operation input unit 71 by a user who refers to the display unit 74. Send predetermined information to the metadata creation server 6 or the authentication server 7, download metadata from the metadata creation server 6, output it to the encrypted metadata storage unit 75, store it, The decryption key acquired from the authentication server 7 is output to the decryption key storage unit 76 and stored. The network interface 73 communicates encrypted metadata or decryption key acquired by using a personal computer (not shown), a portable phone, or a PDA owned by the user via wired or wireless communication. Thus, it is possible to receive from a personal computer (not shown), a portable phone, or a PDA.

表示部74は、例えば、LCD(Liquid Crystal Display)またはCRT(Cathode Ray Tube)などで構成され、ネットワークインターフェース73を介して取得されたインターネット5に公開されているウェブページの情報や、操作入力部71によりユーザが入力した情報などを表示する。   The display unit 74 is configured by, for example, an LCD (Liquid Crystal Display) or a CRT (Cathode Ray Tube), and information on a web page published on the Internet 5 acquired via the network interface 73 and an operation input unit. 71 displays information input by the user.

暗号化メタデータ記憶部75は、取得された暗号化されたメタデータを記憶する。復号鍵記憶部76は、取得された復号鍵を記憶する。復号処理部77は、暗号化メタデータ記憶部75に記憶されている暗号化されたメタデータを、復号鍵記憶部76に記憶されている復号鍵を用いて復号し、メタデータ記憶部78に出力して記憶させる。メタデータ記憶部78は、復号されたメタデータの供給を受け、これを記憶する。   The encrypted metadata storage unit 75 stores the acquired encrypted metadata. The decryption key storage unit 76 stores the acquired decryption key. The decryption processing unit 77 decrypts the encrypted metadata stored in the encrypted metadata storage unit 75 using the decryption key stored in the decryption key storage unit 76 and stores it in the metadata storage unit 78. Output and store. The metadata storage unit 78 receives the supplied metadata and stores it.

サムネイル生成部79は、メタデータ記憶部78に記憶されているメタデータを参照して、録画データ記憶部72に記憶されている録画データから、映像信号のうちの1フレームの画像データであるサムネイル画像データとサムネイル画像データに対応するテキストデータとにより構成されるサムネイルデータを複数生成し、番組IDで区別される1つの番組分のサムネイルデータより生成されたサムネイルデータファイルを、録画データ記憶部72に記憶させる。   The thumbnail generation unit 79 refers to the metadata stored in the metadata storage unit 78, and from the recorded data stored in the recorded data storage unit 72, a thumbnail that is image data of one frame of the video signal. A plurality of thumbnail data composed of image data and text data corresponding to the thumbnail image data are generated, and a thumbnail data file generated from the thumbnail data for one program identified by the program ID is recorded in the recording data storage unit 72. Remember me.

サムネイル画像表示制御部80は、操作入力部71から、録画データの番組IDを指定する情報の入力を受け、番組IDで区別される番組のサムネイルデータファイルを録画データ記憶部72から読み出し、操作入力部71により供給されるユーザの操作入力により選択された表示方法で、サムネイルデータに含まれるサムネイル画像またはテキストのうちの少なくともいずれか一方が表示されるような表示データを生成し、出力端子62−1を介して、表示選択字幕デコーダ8に供給する。また、ユーザにより選択されたサムネイルの表示方法に、動画像が含まれているとき、サムネイル画像表示制御部は、表示される動画像に対応する音声データを、録画データ記憶部72から読み出して、出力端子62−2を介して、表示選択字幕デコーダ8に供給するようにしてもよい。   The thumbnail image display control unit 80 receives input of information specifying the program ID of the recorded data from the operation input unit 71, reads out the thumbnail data file of the program distinguished by the program ID from the recorded data storage unit 72, and inputs the operation input. Display data that displays at least one of the thumbnail image and the text included in the thumbnail data by the display method selected by the user's operation input supplied by the unit 71 is generated, and the output terminal 62- 1 is supplied to the display selection subtitle decoder 8. In addition, when a moving image is included in the thumbnail display method selected by the user, the thumbnail image display control unit reads audio data corresponding to the displayed moving image from the recording data storage unit 72, and You may make it supply to the display selection subtitle decoder 8 via the output terminal 62-2.

録画データ検索出力部81は、サムネイル画面表示制御部80の制御に基づいて表示されたサムネイル画像またはテキストを参照したユーザの操作入力を基に、ユーザが再生開始位置として指定したタイムコードを検出し、検出されたタイムコードを基に、例えば、タイムコードに示される時刻、もしくは、タイムコードより所定の時間だけ前または後などの所定の時刻に対応する位置から再生される録画データを録画データ記憶部72を検索して読み出し、出力端子62−1および出力端子62−2を介して、表示選択字幕デコーダ8に供給する。録画データ記憶部72に記憶されている録画データには、図4を用いて説明した録画開始時刻情報95が付与されているので、録画データ検索出力部81は、録画開始時刻情報95を基準として、タイムコードに対応する再生開始位置を検出することができる。   The recorded data search output unit 81 detects a time code specified as a playback start position by the user based on a user operation input referring to a thumbnail image or text displayed under the control of the thumbnail screen display control unit 80. Based on the detected time code, for example, the recording data reproduced from the time indicated by the time code or a position corresponding to a predetermined time such as before or after a predetermined time from the time code is stored as the recording data. The unit 72 is searched and read, and supplied to the display selection subtitle decoder 8 via the output terminal 62-1 and the output terminal 62-2. Since the recording data stored in the recording data storage unit 72 has the recording start time information 95 described with reference to FIG. 4, the recording data search output unit 81 uses the recording start time information 95 as a reference. The reproduction start position corresponding to the time code can be detected.

次に、図5は、メタデータ作成サーバ6の構成を示すブロック図である。   Next, FIG. 5 is a block diagram showing the configuration of the metadata creation server 6.

CPU(Central Processing Unit)101は、ROM(Read Only Memory)102に記憶されているプログラム、または記憶部108からRAM(Random Access Memory)103にロードされたプログラムに従って、各種の処理を実行する。RAM103にはまた、CPU101が各種の処理を実行するうえにおいて必要なデータなども適宜記憶される。   A CPU (Central Processing Unit) 101 executes various processes according to a program stored in a ROM (Read Only Memory) 102 or a program loaded from a storage unit 108 to a RAM (Random Access Memory) 103. The RAM 103 also appropriately stores data necessary for the CPU 101 to execute various processes.

CPU101、ROM102、およびRAM103は、バス104を介して相互に接続されている。このバス104にはまた、入出力インタフェース105も接続されている。   The CPU 101, ROM 102, and RAM 103 are connected to each other via a bus 104. An input / output interface 105 is also connected to the bus 104.

入出力インタフェース105には、キーボード、マウスなどよりなる入力部106、ディスプレイやスピーカなどよりなる出力部107、ハードディスクなどより構成される記憶部108、モデム、ターミナルアダプタなどより構成される通信部109が接続されている。通信部109は、インターネット5を含むネットワークを介しての通信処理を行う。   The input / output interface 105 includes an input unit 106 including a keyboard and a mouse, an output unit 107 including a display and a speaker, a storage unit 108 including a hard disk, and a communication unit 109 including a modem and a terminal adapter. It is connected. The communication unit 109 performs communication processing via a network including the Internet 5.

入出力インタフェース105にはまた、必要に応じてドライブ110が接続され、磁気ディスク121、光ディスク122、光磁気ディスク123、もしくは、半導体メモリ124などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部108にインストールされる。   A drive 110 is connected to the input / output interface 105 as necessary, and a magnetic disk 121, an optical disk 122, a magneto-optical disk 123, a semiconductor memory 124, or the like is appropriately mounted, and a computer program read from them is loaded. These are installed in the storage unit 108 as necessary.

図6は、メタデータを作成する処理を実行する、図5を用いて説明したメタデータ作成サーバ6の機能(CPU101が実行するプログラムによって実現される機能を含む)について説明するための機能ブロック図である。   FIG. 6 is a functional block diagram for explaining functions (including functions implemented by a program executed by the CPU 101) of the metadata creation server 6 described with reference to FIG. It is.

放送データ取得部141は、図5の通信部109に対応し、インターネット5を介して、または、図示しないアンテナを介して、放送データを取得して、デコーダ142に供給する。   The broadcast data acquisition unit 141 corresponds to the communication unit 109 in FIG. 5, acquires broadcast data via the Internet 5 or via an antenna (not shown), and supplies the broadcast data to the decoder 142.

デコーダ142は、供給された放送データをデコードする。ここで、デコーダ142は、放送データのうち、メタデータの作成に必要となる番組ID情報を含む番組管理情報や表示選択字幕データが含まれている映像信号のみをデコードすればよい。   The decoder 142 decodes the supplied broadcast data. Here, the decoder 142 may decode only the video signal including the program management information including the program ID information necessary for creating the metadata and the display selection subtitle data in the broadcast data.

番組ID情報抽出部143は、デコーダ142によりデコードされた映像データに含まれる番組管理情報から、放送番組(ここでも、「番組」とは、検索される単位を示し、例えば、2時間ドラマなどのプログラムの全体であっても、1つのプログラムがコマーシャルなどで区切られている場合の区切られた1単位ごとでも、複数のプログラムを含むものであっても、更に、コマーシャルを含むものやコマーシャルのみを示すものであっても良い)を固有に区別可能な番組ID情報を抽出し、メタデータ生成部144に供給するとともに、供給された映像データを表示選択字幕データデコーダ145に供給する。   The program ID information extracting unit 143 indicates a unit to be searched for from the program management information included in the video data decoded by the decoder 142 (here, “program” is a unit to be searched for, such as a two-hour drama). Even if it is the whole program, even if one program is divided by commercials, etc., each unit divided, including multiple programs, only those containing commercials or only commercials The program ID information that can be uniquely distinguished is extracted and supplied to the metadata generation unit 144, and the supplied video data is supplied to the display selection subtitle data decoder 145.

なお、映像データに番組管理情報が含まれていない場合、番組ID情報抽出部143は、図示しないタイマから時刻情報を取得し(または、タイマ148から時刻情報を取得することができるようにして)、取得した時刻情報から、番組ID情報を生成することができるようにしても良い。   If the video data does not include program management information, the program ID information extraction unit 143 acquires time information from a timer (not shown) (or allows time information to be acquired from the timer 148). The program ID information may be generated from the acquired time information.

表示選択字幕データデコーダ145は、取得した映像データに含まれる表示選択字幕データをデコードして、対応するテキストデータを表示選択字幕データ解析部146に供給する。表示選択字幕データ解析部146は、表示選択字幕データデコーダ145から供給された、表示選択字幕データに対応するテキストデータを、適切な長さのテキスト群に分割(例えば、一度に表示されるテキストを1つのテキスト群として分割)し、分割されたテキスト群をタイムコード対応付け処理部147に供給する。   The display selection subtitle data decoder 145 decodes the display selection subtitle data included in the acquired video data and supplies the corresponding text data to the display selection subtitle data analysis unit 146. The display selection subtitle data analysis unit 146 divides the text data corresponding to the display selection subtitle data supplied from the display selection subtitle data decoder 145 into a text group of an appropriate length (for example, the text displayed at one time). Are divided as one text group), and the divided text group is supplied to the time code association processing unit 147.

タイムコード対応付け処理部147は、タイマ148を参照して、供給されたテキスト群のそれぞれに対して、テキストの開始位置および終了位置に対応するタイムコードを対応付ける処理を実行する。タイムコード対応付け処理部147は、放送データ取得部141が、ユーザが放送データを取得する場合と同様に、リアルタイムで(すなわち、番組の放送時刻に)放送信号を取得した場合、タイマ148が示す現在時刻に基づいて、タイムコードをテキストデータに対応付けるものとする。また、タイムコード対応付け処理部147は、放送データ取得部141が、番組の放送時刻から遅れて放送信号を取得した場合、または、デコーダ142乃至表示選択字幕データ解析部146の処理にかかる時間が、一般的なテレビジョン受像機を用いた放送信号の出力処理と比較して長くなってしまう場合、タイマ148が示す現在時刻と放送信号の取得の遅延時間、または、処理にかかる時間による遅延時間に基づいて、番組の放送時刻に対応するタイムコードを算出し、テキストデータに対応付けるものとする。   The time code association processing unit 147 refers to the timer 148 and executes a process of associating each of the supplied text groups with a time code corresponding to the start position and end position of the text. The time code association processing unit 147 indicates that the timer 148 indicates that the broadcast data acquisition unit 141 acquires a broadcast signal in real time (that is, at the broadcast time of the program) in the same manner as when the user acquires broadcast data. It is assumed that the time code is associated with the text data based on the current time. In addition, the time code association processing unit 147, when the broadcast data acquisition unit 141 acquires a broadcast signal with a delay from the broadcast time of the program, or the time required for processing by the decoder 142 to the display selection subtitle data analysis unit 146 In the case where it becomes longer than the output processing of a broadcast signal using a general television receiver, the current time indicated by the timer 148 and the delay time for acquiring the broadcast signal, or the delay time due to the time required for the processing Based on the above, a time code corresponding to the broadcast time of the program is calculated and associated with the text data.

メタデータ生成部144は、タイムコード対応付け処理部147から供給されたタイムコードが対応付けられたテキストデータに、番組ID情報抽出部143から供給された番組ID情報を対応付けてメタデータを生成し、暗号化処理部149に供給する。   The metadata generation unit 144 generates metadata by associating the program ID information supplied from the program ID information extraction unit 143 with the text data associated with the time code supplied from the time code association processing unit 147. And supplied to the encryption processing unit 149.

図7を用いて、メタデータについて説明する。   The metadata will be described with reference to FIG.

表示選択字幕データ解析部146により、適切な長さのテキスト群であるテキスト1、テキスト2、・・・に分割されたテキストデータ165に対して、タイムコード対応付け処理部147において、それぞれのテキスト群の開始時刻と終了時刻が記載されたタイムコード166が対応付けられる。例えば、テキスト1として、“「7時のニュースです」「今日の初めの話題は、・・・」”の部分のテキストが分割された場合、番組の放送において、この部分の表示選択字幕が表示される時刻に対応する開始時刻および終了時刻が、タイムコード166に記載される。そして、更に、番組ID情報抽出部143から供給された番組ID情報167が対応付けられて、メタデータ161が生成される。   For the text data 165 divided into text 1, text 2,..., Which is a text group of an appropriate length by the display selection subtitle data analysis unit 146, the time code association processing unit 147 uses the respective texts. A time code 166 describing the start time and end time of the group is associated. For example, when the text of ““ This is the news at 7 o'clock ”and“ Today's first topic is ... ”” is divided as text 1, the display selection subtitle of this portion is displayed in the broadcast of the program. The start time and end time corresponding to the received time are described in the time code 166. Further, the program ID information 167 supplied from the program ID information extraction unit 143 is associated with each other to generate the metadata 161. Is done.

また、テキストデータ165のうち、キーワードとなる所定のテキストに対して、キーワードリンク情報を付与するようにしても良い。キーワードリンク情報は、キーワードを固有に区別可能なキーワードIDと、同一のキーワードIDを有するテキストの発生順(すなわち、タイムコード166に記載される時刻が早い順)の連続番号などで構成され、後述するサムネイル画面表示および検索処理において利用される。キーワードリンク情報は、例えば、図8に示されるように、タグとして記述することなどにより、メタデータ161のテキストデータ165に含まれるようにしても良い。また、キーワードリンク情報には、メタデータ161の番組ID167と同一の番組IDが付与されるものとして、メタデータ161とは別にユーザに供給されるようにしても良い。以下、キーワードリンク情報は、メタデータ161のテキストデータ165に含まれるものとして説明する。   In addition, keyword link information may be assigned to a predetermined text as a keyword in the text data 165. The keyword link information includes a keyword ID that can uniquely identify the keyword, and a serial number in the order of occurrence of text having the same keyword ID (that is, the order in which the times described in the time code 166 are earlier). Used in thumbnail screen display and search processing. The keyword link information may be included in the text data 165 of the metadata 161, for example, by describing it as a tag as shown in FIG. Further, the keyword link information may be supplied to the user separately from the metadata 161 on the assumption that the same program ID as the program ID 167 of the metadata 161 is given. Hereinafter, the keyword link information will be described as being included in the text data 165 of the metadata 161.

キーワードリンク情報が、タグとして記述されて、テキストデータ165に含まれるとき、キーワードリンク情報は、例えば、<Key(キーワードID)−(リンクされるテキストにおける発生順番を示す数値、すなわち、1以上の整数)>テキスト</Key(キーワードID)−(リンクされるテキストにおける発生順番を示す数値、すなわち、1以上の整数)>という形式で記載される。キーワードIDとは、キーワードとなるテキスト固有のIDであり、例えば、数字などであってもよい。   When the keyword link information is described as a tag and is included in the text data 165, the keyword link information includes, for example, <Key (keyword ID)-(a numerical value indicating the order of occurrence in the linked text, that is, one or more (Integer)> text </ Key (keyword ID)-(numerical value indicating the order of occurrence in the linked text, that is, an integer of 1 or more)>. The keyword ID is an ID unique to a text that becomes a keyword, and may be, for example, a number.

図8に示されるテキストデータ165のテキスト1乃至テキスト3においては、”車椅子””東京””A区”の3つのテキストに対して、キーワードリンク情報が付与されている。図8のテキストデータ165においては、”車椅子”に対しては、<Key1−n(nは、1以上の整数)>,</Key1−n>のタグが付与され、”東京” に対しては、<Key2−m(mは、1以上の整数)>,</Key2−m>のタグが付与され、”A区” に対しては、<Key3−p(pは、1以上の整数)>,</Key3−p>のタグが付与されて、他のテキストと区別される。後述する処理において、タグが付与されたテキストがユーザにより選択されたとき、録画装置9は、タグ情報を参照することにより、メタデータ161のうちのテキストデータ165から、選択されたテキストとリンク付けられている他のテキストを抽出することができる。   In text 1 to text 3 of text data 165 shown in FIG. 8, keyword link information is assigned to three texts of “wheelchair”, “Tokyo”, and “A-ku”. In the text data 165 of FIG. 8, the tag <Key1-n (n is an integer of 1 or more)>, </ Key1-n> is assigned to “wheelchair”, and “Tokyo” Are tagged with <Key2-m (m is an integer of 1 or more)>, </ Key2-m>, and <Key3-p (p is an integer of 1 or more) for "A section" )>, </ Key3-p> tags are added to distinguish them from other texts. In a process to be described later, when a text to which a tag is attached is selected by the user, the recording apparatus 9 links the selected text from the text data 165 of the metadata 161 by referring to the tag information. Other texts that have been extracted can be extracted.

なお、ここでは、同一のテキストデータに対して、キーワードリンク情報が付加されるものとして説明したが、同一のテキストデータではなくても、関連性の深いテキストデータ同士に、同一のテキスト固有のIDナンバーを有するキーワードリンク情報を付加するようにしてもよい。   Here, the description has been made assuming that keyword link information is added to the same text data. However, even if the text data is not the same, the IDs unique to the same text may be used for closely related text data. You may make it add the keyword link information which has a number.

図6の説明に戻る。   Returning to the description of FIG.

暗号化処理部149は、メタデータ作成部144から供給されたメタデータを、暗号鍵記憶部150に予め記憶されている、番組IDに対応する暗号鍵で暗号化し、メタデータ記憶部151に供給する。メタデータ供給制御部152は、通信部153から供給されるメタデータを要求する信号に基づいて、ユーザが所望する番組に対応する暗号化されたメタデータをメタデータ記憶部151から検索して、ユーザが保有する録画装置9、もしくは、図示しないパーソナルコンピュータ、携帯型電話機、または、PDAなどに、インターネット5を介して供給する。   The encryption processing unit 149 encrypts the metadata supplied from the metadata creation unit 144 with the encryption key corresponding to the program ID stored in advance in the encryption key storage unit 150, and supplies the encrypted metadata to the metadata storage unit 151. To do. The metadata supply control unit 152 searches the metadata storage unit 151 for encrypted metadata corresponding to a program desired by the user based on a signal for requesting metadata supplied from the communication unit 153, and The data is supplied to the recording device 9 owned by the user or a personal computer (not shown), a portable phone, or a PDA via the Internet 5.

ページ情報記憶部155は、例えば、ダウンロード可能なメタデータの一覧や、メタデータを利用するために必要な復号鍵の取得方法など、ユーザにメタデータをダウンロードさせて利用させるために必要な情報を提供するためのウェブページに対応する情報を記憶している。ウェブページ公開処理部154は、ページ情報記憶部155に記憶されているウェブページをインターネット5に公開する。   The page information storage unit 155 stores information necessary for downloading and using metadata such as a list of metadata that can be downloaded and a method of obtaining a decryption key necessary for using the metadata. Information corresponding to the web page to be provided is stored. The web page publication processing unit 154 publishes the web page stored in the page information storage unit 155 to the Internet 5.

通信部153は、図5の通信部109に対応するものであり、インターネット5を介して、ユーザが保有する録画装置9、もしくは、図示しないパーソナルコンピュータ、携帯型電話機、または、PDAなどと情報を授受するものである。   The communication unit 153 corresponds to the communication unit 109 of FIG. 5, and transmits information to the recording device 9 owned by the user, a personal computer (not shown), a portable phone, a PDA, or the like via the Internet 5. To give and receive.

次に、図9は、認証サーバ7の構成を示すブロック図である。   Next, FIG. 9 is a block diagram showing a configuration of the authentication server 7.

CPU(Central Processing Unit)171は、ROM(Read Only Memory)172に記憶されているプログラム、または記憶部178からRAM(Random Access Memory)173にロードされたプログラムに従って、各種の処理を実行する。RAM173にはまた、CPU171が各種の処理を実行するうえにおいて必要なデータなども適宜記憶される。   A CPU (Central Processing Unit) 171 executes various processes according to a program stored in a ROM (Read Only Memory) 172 or a program loaded from a storage unit 178 to a RAM (Random Access Memory) 173. The RAM 173 also appropriately stores data necessary for the CPU 171 to execute various processes.

CPU171、ROM172、およびRAM173は、バス174を介して相互に接続されている。このバス174にはまた、入出力インタフェース175も接続されている。   The CPU 171, ROM 172, and RAM 173 are connected to each other via a bus 174. An input / output interface 175 is also connected to the bus 174.

入出力インタフェース175には、キーボード、マウスなどよりなる入力部176、ディスプレイやスピーカなどよりなる出力部177、ハードディスクなどより構成される記憶部178、モデム、ターミナルアダプタなどより構成される通信部179が接続されている。通信部179は、インターネット5を含むネットワークを介しての通信処理を行う。   The input / output interface 175 includes an input unit 176 including a keyboard and a mouse, an output unit 177 including a display and a speaker, a storage unit 178 including a hard disk, and a communication unit 179 including a modem and a terminal adapter. It is connected. The communication unit 179 performs communication processing via a network including the Internet 5.

入出力インタフェース175にはまた、必要に応じてドライブ180が接続され、磁気ディスク121、光ディスク122、光磁気ディスク123、もしくは、半導体メモリ124などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部178にインストールされる。   A drive 180 is connected to the input / output interface 175 as necessary, and a magnetic disk 121, an optical disk 122, a magneto-optical disk 123, a semiconductor memory 124, or the like is appropriately mounted, and a computer program read from them is loaded. The storage unit 178 is installed as necessary.

次に、図10は、認証処理および課金処理を実行する、図9の認証サーバ7の機能(CPU171が実行するプログラムによって実現される機能を含む)について説明するための機能ブロック図である。   Next, FIG. 10 is a functional block diagram for explaining functions (including functions realized by a program executed by the CPU 171) of the authentication server 7 of FIG. 9 for executing authentication processing and billing processing.

ページ情報記憶部202は、例えば、ユーザ登録用のユーザ情報および課金情報の入力、メタデータを利用するために必要な復号鍵の取得方法、復号鍵の購入要求の送信など、ユーザがダウンロードしたメタデータを復号するために必要な復号鍵を提供し、その課金を行うためのウェブページに対応する情報を記憶している。ウェブページ公開処理部201は、ページ情報記憶部202に記憶されているウェブページをインターネット5に公開する。   The page information storage unit 202 includes, for example, input of user information and billing information for user registration, a method of obtaining a decryption key necessary for using the metadata, and transmission of a decryption key purchase request. A decryption key necessary for decrypting data is provided, and information corresponding to a web page for charging the data is stored. The web page publication processing unit 201 publishes the web page stored in the page information storage unit 202 to the Internet 5.

通信部203は、図9の通信部179に対応するものであり、インターネット5を介して、ユーザが保有する録画装置9、もしくは、図示しないパーソナルコンピュータ、携帯型電話機、または、PDAなどと情報を授受するものである。   The communication unit 203 corresponds to the communication unit 179 in FIG. 9, and transmits information to the recording device 9 owned by the user, a personal computer (not shown), a portable phone, a PDA, or the like via the Internet 5. To give and receive.

操作入力情報取得部204は、通信部203を介して、ユーザが送信した操作入力情報を取得し、操作入力情報が、ウェブページの操作に関するものである場合は、ウェブページ公開処理部201に、ユーザ登録のための個人情報である場合は、ユーザ情報登録処理部205に、認証処理に必要な情報である場合は、認証処理部207に、鍵の購入を要求する情報である場合は、鍵供給処理部208に、課金処理に関する情報であるときは、課金処理部210に、操作入力情報を、それぞれ供給する。   The operation input information acquisition unit 204 acquires the operation input information transmitted by the user via the communication unit 203. When the operation input information relates to the operation of the web page, the operation input information acquisition unit 204 In the case of personal information for user registration, in the user information registration processing unit 205, in the case of information necessary for authentication processing, in the case of information that requests authentication processing unit 207 to purchase a key, When the information is related to the charging process to the supply processing unit 208, the operation input information is supplied to the charging processing unit 210, respectively.

ユーザ情報登録処理部205は、操作入力情報取得部204から、ユーザ登録のための個人情報の供給を受けて、ユーザ情報データベース206に個人情報を供給する。ユーザ情報データベース206は、ユーザ登録のための個人情報であるユーザ登録情報を記憶する。認証処理部207は、新たに登録されたユーザに対して、ユーザを固有に区別可能なユーザIDを発行し、ユーザ情報データベース206に登録するとともに、発行したユーザIDを、通信部203を介して、ユーザが保有する録画装置9、もしくは、図示しないパーソナルコンピュータ、携帯型電話機、または、PDAなどに送出する。また、認証処理部207は、操作入力情報取得部204から、認証処理に必要な情報の供給を受け、ユーザ情報データベース206に登録されているユーザ情報を参照して認証処理を実行し、認証処理結果を鍵供給処理部208に出力する。   The user information registration processing unit 205 receives the supply of personal information for user registration from the operation input information acquisition unit 204 and supplies the personal information to the user information database 206. The user information database 206 stores user registration information that is personal information for user registration. The authentication processing unit 207 issues a user ID that can uniquely identify a user to a newly registered user, registers the user ID in the user information database 206, and sends the issued user ID via the communication unit 203. The data is sent to the recording device 9 owned by the user, a personal computer (not shown), a portable telephone, or a PDA. The authentication processing unit 207 receives supply of information necessary for the authentication process from the operation input information acquisition unit 204, executes the authentication process with reference to the user information registered in the user information database 206, and performs the authentication process. The result is output to the key supply processing unit 208.

鍵供給処理部208は、操作入力情報取得部204から、鍵の購入を要求する情報の供給を受け、認証処理部207からユーザの認証処理が正しく終了したことを示す認証結果の入力を受けた場合、復号鍵記憶部209から対応する復号鍵を読み込んで、通信部203を介して、ユーザが保有する録画装置9、もしくは、図示しないパーソナルコンピュータ、携帯型電話機、または、PDAなどに供給するとともに、課金処理部210に、鍵の供給に関する情報を出力する。   The key supply processing unit 208 receives supply of information requesting key purchase from the operation input information acquisition unit 204, and receives an input of an authentication result indicating that the user authentication processing has been correctly completed from the authentication processing unit 207. In this case, the corresponding decryption key is read from the decryption key storage unit 209 and supplied via the communication unit 203 to the recording device 9 owned by the user, a personal computer (not shown), a portable phone, or a PDA. , Information related to key supply is output to the billing processing unit 210.

復号鍵記憶部209は、番組IDごとに、暗号化されたメタデータを復号するための復号鍵を保存している。すなわち、復号鍵記憶部209は、図6を用いて説明した、暗号鍵記憶部150に予め記憶されている、暗号化処理部149がメタデータを暗号化する場合に用いられる番組IDごとの暗号鍵に対応する復号鍵を保存している。   The decryption key storage unit 209 stores a decryption key for decrypting encrypted metadata for each program ID. That is, the decryption key storage unit 209 stores the encryption for each program ID, which is stored in advance in the encryption key storage unit 150 and is used when the encryption processing unit 149 encrypts the metadata described with reference to FIG. A decryption key corresponding to the key is stored.

課金処理部210は、操作入力情報取得部204および鍵供給処理部208から供給された課金に関する情報を基に、課金処理を行い、課金に必要な情報を課金情報データベース211に登録したり、ユーザ情報データベース206および課金情報データベース211に登録されている内容を基に、ユーザに対する供給された復号鍵の対価の決済処理や、放送局1に対する表示選択字幕の提供の対価の支払い処理などを実行する。課金情報データベース211には、課金処理のために必要な情報が登録される。   The billing processing unit 210 performs billing processing based on the information related to billing supplied from the operation input information acquisition unit 204 and the key supply processing unit 208, registers information necessary for billing in the billing information database 211, Based on the contents registered in the information database 206 and the billing information database 211, a process for paying the price of the supplied decryption key to the user, a process for paying the price for providing the display selection subtitle to the broadcast station 1, etc. are executed. . Information necessary for the accounting process is registered in the accounting information database 211.

次に、図11のフローチャートを参照して、図3を用いて説明した、表示選択字幕デコーダ8が実行する処理である表示選択字幕デコーダの処理1について説明する。   Next, with reference to the flowchart of FIG. 11, the process 1 of the display selection subtitle decoder which is the process which the display selection subtitle decoder 8 performed using FIG. 3 is demonstrated.

ステップS1において、映像信号デコーダ31および音声信号デコーダ34は、番組放送信号(映像信号および音声信号)の入力を受けて、デコードを行う。映像信号デコーダ31は、デコードした映像データをメモリ32に供給する。   In step S1, the video signal decoder 31 and the audio signal decoder 34 receive the program broadcast signal (video signal and audio signal) and decode it. The video signal decoder 31 supplies the decoded video data to the memory 32.

ステップS2において、表示選択字幕データデコーダ35および音声出力処理部38は、操作入力部41から供給されるユーザの操作入力を基に、番組の視聴が指令されているか否かを判断する。   In step S <b> 2, the display selection subtitle data decoder 35 and the audio output processing unit 38 determine whether viewing of the program is instructed based on the user's operation input supplied from the operation input unit 41.

ステップS2において、番組の視聴が指令されていると判断された場合、ステップS3において、表示選択字幕データデコーダ35は、操作入力部41から供給されるユーザの操作入力を基に、表示選択字幕の表示が指令されているか否かを判断する。   If it is determined in step S2 that viewing of the program is instructed, in step S3, the display selection subtitle data decoder 35 determines the display selection subtitle based on the user's operation input supplied from the operation input unit 41. Determine whether display is commanded.

ステップS3において、表示選択字幕の表示が指令されていると判断された場合、ステップS4において、表示選択字幕データデコーダ35は、表示選択字幕データをデコードして、OSD36に供給するとともに、映像データを合成処理部37に供給する。OSD36は、供給されたテキストデータを画像データであるOSDデータに変換し、合成処理部37に出力する。合成処理部37は、供給されたOSDデータを映像データに合成して、出力端子22−1を介して、テレビジョン受像機2に出力する。また、音声出力処理部38も、音声信号デコーダ34によりデコードされた音声データを取得して、出力端子22−2を介して、テレビジョン受像機2に出力する。   If it is determined in step S3 that display of the display selection subtitle is instructed, in step S4, the display selection subtitle data decoder 35 decodes the display selection subtitle data and supplies it to the OSD 36, and also the video data. This is supplied to the synthesis processing unit 37. The OSD 36 converts the supplied text data into OSD data that is image data, and outputs the OSD data to the composition processing unit 37. The composition processing unit 37 synthesizes the supplied OSD data with video data, and outputs it to the television receiver 2 via the output terminal 22-1. The audio output processing unit 38 also acquires the audio data decoded by the audio signal decoder 34 and outputs it to the television receiver 2 via the output terminal 22-2.

ステップS3において、表示選択字幕の表示が指令されていないと判断された場合、ステップS5において、表示選択字幕データデコーダ35は、表示選択字幕データをデコードせず、映像データを、合成処理部37および出力端子22−1を介して、テレビジョン受像機2に出力する。また、音声出力処理部38も、音声信号デコーダ34によりデコードされた音声データを取得して、出力端子22−2を介して、テレビジョン受像機2に出力する。   If it is determined in step S3 that the display selection subtitle display is not instructed, in step S5, the display selection subtitle data decoder 35 does not decode the display selection subtitle data, and the video data is combined with the synthesis processing unit 37 and The data is output to the television receiver 2 via the output terminal 22-1. The audio output processing unit 38 also acquires the audio data decoded by the audio signal decoder 34 and outputs it to the television receiver 2 via the output terminal 22-2.

ステップS2において、番組の視聴が指令されていないと判断された場合、もしくは、ステップS4またはステップS5の処理の終了後、ステップS6において、出力信号生成部33は、操作入力部41から供給されるユーザの操作入力、または、データ端子23−3を介して供給される、録画装置9の録画制御部82からの制御信号を基に、番組の録画が指令されているか否かを判断する。ステップS6において、番組の録画が指令されていないと判断された場合、処理が終了される。   In step S2, if it is determined that viewing of the program is not instructed, or after the processing of step S4 or step S5 is completed, the output signal generation unit 33 is supplied from the operation input unit 41 in step S6. Based on the user's operation input or a control signal supplied from the recording control unit 82 of the recording device 9 supplied via the data terminal 23-3, it is determined whether or not recording of the program is instructed. If it is determined in step S6 that recording of a program has not been instructed, the process ends.

ステップS6において、番組の録画が指令されたと判断された場合、ステップS7において、図12を用いて後述する録画データ作成処理が実行される。   If it is determined in step S6 that the recording of the program has been instructed, in step S7, recorded data creation processing described later with reference to FIG. 12 is executed.

ステップS8において、出力信号生成部33は、ステップS7の処理により作成された録画データを、出力端子23−1および出力端子23−2を介して、録画装置9に供給し、処理が終了される。   In step S8, the output signal generation unit 33 supplies the recording data created by the process of step S7 to the recording device 9 via the output terminal 23-1 and the output terminal 23-2, and the process ends. .

このような処理により、表示選択字幕デコーダ8は、ユーザの操作入力に基づいて、受信された放送信号を視聴するときに、表示選択字幕をデコードして映像に重畳させて表示させたり、表示選択字幕に対応するテキストデータを検索処理に用いることが可能な録画データを生成して、録画装置9に供給して録画させることが可能となる。   Through such processing, the display selection subtitle decoder 8 decodes the display selection subtitle and superimposes it on the video when viewing the received broadcast signal based on the user's operation input, or displays the display selection. Recording data that can use text data corresponding to subtitles for search processing can be generated and supplied to the recording device 9 for recording.

次に、図12のフローチャートを参照して、図11のステップS7において実行される録画データ作成処理について説明する。   Next, the recording data creation process executed in step S7 in FIG. 11 will be described with reference to the flowchart in FIG.

ステップS21において、番組ID情報抽出部39は、メモリ32に保持されているデコードされた映像データに含まれる番組管理情報から、録画される番組を個別に識別可能な番組ID情報を抽出して、出力信号生成部33に供給する。   In step S21, the program ID information extraction unit 39 extracts program ID information capable of individually identifying the recorded program from the program management information included in the decoded video data held in the memory 32, and This is supplied to the output signal generator 33.

ステップS22において、出力信号生成部33は、タイマ40を参照して、メモリ32から供給された映像データ、または、音声信号デコーダ34から供給された音声データのうちの少なくともいずれか一方に、録画開始時刻情報95を対応付ける。   In step S <b> 22, the output signal generation unit 33 refers to the timer 40 and starts recording on at least one of the video data supplied from the memory 32 or the audio data supplied from the audio signal decoder 34. The time information 95 is associated.

ステップS23において、出力信号生成部33は、録画開始時刻情報95が対応付けられた映像データまたは音声データに、更に、番組IDを関連付け、図4を用いて説明した録画用の出力信号を生成して、処理は、図11のステップS8に進む。   In step S23, the output signal generation unit 33 further associates the program ID with the video data or audio data associated with the recording start time information 95, and generates an output signal for recording described with reference to FIG. Then, the process proceeds to step S8 in FIG.

このような処理により、表示選択字幕に対応するテキストデータを検索処理に用いることが可能な、番組IDおよび録画開始時刻情報95が対応付けられた録画データが生成される。   By such processing, recorded data in which the program ID and the recording start time information 95 are associated with each other can be used for the search processing using the text data corresponding to the display selection subtitle.

なお、映像データに番組管理情報が含まれていない場合、番組ID情報抽出部39は、出力信号生成部33を介して、タイマ40から時刻情報を取得し、取得した時刻情報から、番組ID情報を生成することができるようにしても良い。   When the program management information is not included in the video data, the program ID information extraction unit 39 acquires time information from the timer 40 via the output signal generation unit 33, and program ID information is obtained from the acquired time information. May be generated.

次に、図13のフローチャートを参照して、図5および図6を用いて説明したメタデータ作成サーバ6が実行するメタデータ作成処理1について説明する。   Next, the metadata creation process 1 executed by the metadata creation server 6 described with reference to FIGS. 5 and 6 will be described with reference to the flowchart of FIG.

ステップS61において、放送データ取得部141は、番組放送信号(少なくとも、映像信号)の入力を受け、デコーダ142に供給する。デコーダ142は、供給された映像信号をデコードして、番組ID情報抽出部143に供給する。   In step S <b> 61, the broadcast data acquisition unit 141 receives a program broadcast signal (at least a video signal) and supplies it to the decoder 142. The decoder 142 decodes the supplied video signal and supplies it to the program ID information extraction unit 143.

ステップS62において、番組ID情報抽出部143は、供給された映像データに含まれる番組管理情報から、番組を認識するための番組固有の情報である番組IDを抽出し、番組IDをメタデータ生成部144に供給するとともに、デコードされた映像データを、表示選択字幕データデコーダ145に供給する。   In step S62, the program ID information extraction unit 143 extracts a program ID, which is program-specific information for recognizing the program, from the program management information included in the supplied video data, and generates the program ID as a metadata generation unit. And the decoded video data is supplied to the display selection subtitle data decoder 145.

ステップS63において、表示選択字幕データデコーダ145は、供給された映像データから表示選択字幕データを抽出してデコードし、表示選択字幕データ解析部146に供給する。   In step S <b> 63, the display selection subtitle data decoder 145 extracts and decodes the display selection subtitle data from the supplied video data, and supplies the extracted data to the display selection subtitle data analysis unit 146.

ステップS64において、表示選択字幕データ解析部146は、表示選択字幕データに対応するテキストデータを解析し、所定の長さ(例えば、表示が選択された場合に一度に表示される所定の文字数や、ユーザが所定の時間で読解することが可能な程度の長さ)のテキスト群に分解して、タイムコード対応付け処理部147に供給する。   In step S64, the display selection subtitle data analysis unit 146 analyzes the text data corresponding to the display selection subtitle data, and determines a predetermined length (for example, a predetermined number of characters displayed at a time when display is selected, It is divided into a text group of a length that can be read by the user for a predetermined time, and supplied to the time code association processing unit 147.

ステップS65において、タイムコード対応付け処理部147は、供給されたテキスト群に対して、開始時刻と終了時刻のタイムコードをそれぞれ対応付け、メタデータ生成部144に供給する。   In step S <b> 65, the time code association processing unit 147 associates the time codes of the start time and the end time with the supplied text group, and supplies them to the metadata generation unit 144.

ステップS66において、メタデータ生成部144は、タイムコード対応付け処理部147から供給されたタイムコード付のテキストデータ群に、番組ID情報抽出部143から供給された番組IDを対応付けて、図7を用いて説明したメタデータ161を作成して、暗号化処理部149に供給する。   In step S 66, the metadata generation unit 144 associates the program ID supplied from the program ID information extraction unit 143 with the text data group with the time code supplied from the time code association processing unit 147, so that FIG. The metadata 161 described using the above is created and supplied to the encryption processing unit 149.

また、メタデータ生成部144は、テキストデータ165のうちの所定のキーワードに対して、キーワードリンク情報を付与するようにしても良い。キーワードリンク情報は、キーワードを固有に区別可能なキーワードIDと、同一のキーワードIDを有するテキストの発生順(すなわち、タイムコード166に記載される時刻が早い順)の連続番号などで構成され、後述する、サムネイル画面表示および検索処理において利用される。キーワードリンク情報は、例えば、タグとして記述することなどにより、メタデータ161のテキストデータ165に含まれるものとするが、キーワードリンク情報を、メタデータ161とは別の情報(例えば、キーワードIDと対応するタイムコードとのテーブル情報など)として、ユーザに供給するようにしても良い。   Further, the metadata generation unit 144 may add keyword link information to a predetermined keyword in the text data 165. The keyword link information includes a keyword ID that can uniquely identify the keyword, and a serial number in the order of occurrence of text having the same keyword ID (that is, the order in which the times described in the time code 166 are earlier). Used in thumbnail screen display and search processing. The keyword link information is included in the text data 165 of the metadata 161 by, for example, describing it as a tag. However, the keyword link information corresponds to information different from the metadata 161 (for example, a keyword ID). The table may be supplied to the user as table information with a time code to be performed).

ステップS67において、暗号化処理部149は、供給されたメタデータ161を、暗号鍵記憶部150に記憶されている、番組IDに対応する鍵を用いて暗号化し、メタデータ記憶部151に供給する。   In step S <b> 67, the encryption processing unit 149 encrypts the supplied metadata 161 using the key corresponding to the program ID stored in the encryption key storage unit 150 and supplies the encrypted metadata 161 to the metadata storage unit 151. .

ステップS68において、メタデータ記憶部151は、暗号化されたメタデータ161を記憶して、処理が終了される。   In step S68, the metadata storage unit 151 stores the encrypted metadata 161, and the process ends.

このような処理により、表示選択字幕データに対応するテキストデータ165、テキストデータに対応するタイムコード166、および、番組ID167により構成されるメタデータ161が生成され、暗号化されて記憶される。また、メタデータ161には、必要に応じて、キーワードリンク情報が付与されるようにしてもよい。更に、メタデータ161にはキーワードリンク情報を付与せず、キーワードリンク情報と同様のデータを、メタデータ161とは別に、ユーザに供給するようにしてもよい。暗号化されて記憶されたメタデータ161は、後述する処理により、ユーザが保有する録画装置9にダウンロードされる。   By such processing, text data 165 corresponding to the display selection subtitle data, time code 166 corresponding to the text data, and metadata 161 including the program ID 167 are generated, encrypted, and stored. The metadata 161 may be assigned keyword link information as necessary. Further, the keyword 161 may not be assigned to the metadata 161, and the same data as the keyword link information may be supplied to the user separately from the metadata 161. The metadata 161 that is stored after being encrypted is downloaded to the recording device 9 owned by the user by a process that will be described later.

なお、図13の処理においても、映像データに番組管理情報が含まれていない場合、番組ID情報抽出部143は、時刻情報を取得して、番組ID情報を生成することができるようにしても良い。   In the process of FIG. 13 also, when the program management information is not included in the video data, the program ID information extraction unit 143 may acquire the time information and generate the program ID information. good.

次に、図14のフローチャートを参照して、図9および図10を用いて説明した認証サーバ7が実行するユーザ登録処理について説明する。   Next, user registration processing executed by the authentication server 7 described with reference to FIGS. 9 and 10 will be described with reference to the flowchart of FIG.

ステップS81において、ウェブページ公開処理部201は、ページ情報記憶部202に記憶されているユーザ登録のためのウェブページを、インターネット5に公開する。   In step S <b> 81, the web page publication processing unit 201 publishes the web page for user registration stored in the page information storage unit 202 to the Internet 5.

ステップS82において、操作入力情報取得部204は、ユーザが保有する録画装置9、もしくは、図示しないパーソナルコンピュータ、携帯型電話機、または、PDAなどから、通信部203を介して、ユーザ登録要求を受けたか否かを判断する。ステップS82において、ユーザ登録要求を受けていないと判断された場合、処理は、ステップS81に戻り、それ以降の処理が繰り返される。   In step S82, the operation input information acquisition unit 204 has received a user registration request via the communication unit 203 from the recording device 9 owned by the user or a personal computer (not shown), a portable phone, or a PDA. Judge whether or not. If it is determined in step S82 that a user registration request has not been received, the process returns to step S81, and the subsequent processes are repeated.

ステップS82において、ユーザ登録要求を受けたと判断された場合、操作入力情報取得部204は、ユーザ登録要求を受けたことをウェブページ公開処理部201に通知するので、ステップS83において、ウェブページ公開処理部201は、ユーザ登録画面に対応するデータを、通信部203およびインターネット5を介して、ユーザが保有する録画装置9、もしくは、図示しないパーソナルコンピュータ、携帯型電話機、または、PDAなどに送出する。   If it is determined in step S82 that a user registration request has been received, the operation input information acquisition unit 204 notifies the web page publication processing unit 201 that the user registration request has been received. The unit 201 sends data corresponding to the user registration screen to the recording device 9 owned by the user, a personal computer (not shown), a portable phone, or a PDA via the communication unit 203 and the Internet 5.

ステップS84において、操作入力情報取得部204は、例えば、決済方法などの課金方法に関する情報や、ユーザの氏名やメールアドレスなどの個人情報を含む、ユーザ登録情報の供給を受け、ユーザ情報登録処理部205に供給する。   In step S84, the operation input information acquisition unit 204 receives supply of user registration information including information related to a charging method such as a payment method and personal information such as a user's name and email address. 205.

ステップS85において、ユーザ情報登録処理部205は、ユーザ情報データベース206にユーザ登録情報を供給して記憶させる。ユーザ情報データベース206は供給されたユーザ登録情報を記憶する。   In step S85, the user information registration processing unit 205 supplies the user registration information to the user information database 206 to be stored. The user information database 206 stores the supplied user registration information.

ステップS86において、認証処理部207は、新たに登録されたユーザに対して、ユーザを固有に区別可能なユーザIDを発行し、ユーザ情報データベース206に登録するとともに、発行したユーザIDを、通信部203およびインターネット5を介して、ユーザが保有する録画装置9、もしくは、図示しないパーソナルコンピュータ、携帯型電話機、または、PDAなどに送出して、処理が終了される。   In step S86, the authentication processing unit 207 issues a user ID that can uniquely identify the user to the newly registered user, registers the user ID in the user information database 206, and sends the issued user ID to the communication unit. Through 203 and the Internet 5, the data is sent to the recording device 9 owned by the user, a personal computer (not shown), a portable telephone, a PDA, or the like, and the processing is terminated.

このような処理により、認証サーバ7にユーザ登録情報が登録される。登録されたユーザ登録情報は、後述する復号鍵の供給時、および、課金処理時に利用される。   Through such processing, user registration information is registered in the authentication server 7. The registered user registration information is used at the time of supplying a decryption key, which will be described later, and at the time of billing processing.

次に、図15のフローチャートを参照して、図5および図6を用いて説明したメタデータ作成サーバ6が実行するメタデータ供給処理について説明する。   Next, the metadata supply process executed by the metadata creation server 6 described with reference to FIGS. 5 and 6 will be described with reference to the flowchart of FIG.

ステップS101において、ウェブページ公開処理部154は、ページ情報記憶部155に記憶されている、ユーザがメタデータを要求するためのウェブページを、インターネット5に公開する。   In step S <b> 101, the web page publication processing unit 154 publishes to the Internet 5 a web page stored in the page information storage unit 155 for a user to request metadata.

ステップS102において、メタデータ供給制御部152は、通信部153を介して、ユーザが保有する録画装置9、もしくは、図示しないパーソナルコンピュータ、携帯型電話機、または、PDAなどから、所定の番組IDにより区別される番組に対応するメタデータを要求する操作入力を示す信号の入力を受けたか否かを判断する。ステップS102において、メタデータを要求する操作入力を示す信号の入力を受けていないと判断された場合、処理は、ステップS101に戻り、それ以降の処理が繰り返される。   In step S102, the metadata supply control unit 152 distinguishes by a predetermined program ID from the recording device 9 owned by the user, a personal computer (not shown), a portable phone, a PDA, or the like via the communication unit 153. It is determined whether or not an input of a signal indicating an operation input for requesting metadata corresponding to the program to be executed has been received. If it is determined in step S102 that a signal indicating an operation input requesting metadata is not received, the process returns to step S101, and the subsequent processes are repeated.

ステップS102において、メタデータを要求する操作入力を示す信号の入力を受けたと判断された場合、ステップS103において、メタデータ供給制御部152は、要求された番組に対応する暗号化されたメタデータを、メタデータ記憶部151から読み出して、通信部153およびインターネット5を介して、ユーザが保有する録画装置9、もしくは、図示しないパーソナルコンピュータ、携帯型電話機、または、PDAなどに送出し、処理が終了される。   If it is determined in step S102 that a signal indicating an operation input for requesting metadata has been received, in step S103, the metadata supply control unit 152 transmits encrypted metadata corresponding to the requested program. The data is read out from the metadata storage unit 151 and sent to the recording device 9 owned by the user or a personal computer (not shown), a portable telephone, or a PDA via the communication unit 153 and the Internet 5 to complete the processing. Is done.

このような処理により、暗号化されたメタデータが、ユーザが保有する録画装置9、もしくは、図示しないパーソナルコンピュータ、携帯型電話機、または、PDAなどに送出される。送出されたメタデータは、録画装置9に記憶され、後述する処理により復号されて、検索処理に用いられる。   Through such processing, the encrypted metadata is sent to the recording device 9 owned by the user, a personal computer (not shown), a portable telephone, or a PDA. The transmitted metadata is stored in the recording device 9, decrypted by processing to be described later, and used for search processing.

次に、図16のフローチャートを参照して、図9および図10を用いて説明した認証サーバ7が実行する復号鍵供給制御処理について説明する。   Next, the decryption key supply control process executed by the authentication server 7 described with reference to FIGS. 9 and 10 will be described with reference to the flowchart of FIG.

ステップS121において、ウェブページ公開処理部201は、ページ情報記憶部202に記憶されているメタデータを復号するための復号鍵の購入要求を受けるためのウェブページを、インターネット5に公開する。   In step S <b> 121, the web page publication processing unit 201 publishes a web page for receiving a purchase request for a decryption key for decrypting metadata stored in the page information storage unit 202 to the Internet 5.

ステップS122において、操作入力情報取得部204は、ユーザが保有する録画装置9、もしくは、図示しないパーソナルコンピュータ、携帯型電話機、または、PDAなどから、通信部203を介して、復号鍵を要求する操作入力を受けたか否かを判断する。ステップS122において、復号鍵を要求する操作入力を受けていないと判断された場合、処理は、ステップS121に戻り、それ以降の処理が繰り返される。   In step S122, the operation input information acquisition unit 204 requests an operation for requesting a decryption key via the communication unit 203 from the recording device 9 owned by the user or a personal computer (not shown), a mobile phone, or a PDA. It is determined whether or not an input has been received. If it is determined in step S122 that an operation input requesting a decryption key has not been received, the process returns to step S121, and the subsequent processes are repeated.

ステップS122において、復号鍵を要求する操作入力を受けたと判断された場合、操作入力情報取得部204は、復号鍵を要求する操作入力を受けたことを認証処理部207に通知するので、ステップS123において、認証処理部207は、例えば、通信部203を介して、ユーザが保有する録画装置9、もしくは、図示しないパーソナルコンピュータ、携帯型電話機、または、PDAなどに、ユーザIDの送出を要求して、ユーザ情報データベース206に登録されているユーザIDを照会することなどにより、認証処理を実行する。   If it is determined in step S122 that an operation input requesting a decryption key has been received, the operation input information acquisition unit 204 notifies the authentication processing unit 207 that an operation input requesting a decryption key has been received. The authentication processing unit 207 requests the recording apparatus 9 owned by the user or a personal computer (not shown), a portable phone, a PDA, or the like to send a user ID via the communication unit 203, for example. The authentication process is executed by inquiring the user ID registered in the user information database 206.

ステップS124において、鍵供給処理部208は、認証処理部207から供給される認証処理の結果を基に、ユーザが保有する録画装置9、もしくは、図示しないパーソナルコンピュータ、携帯型電話機、または、PDAなどを用いて復号鍵を要求する操作入力を実行したユーザが、正しく認証されたか否かを判断する。   In step S124, the key supply processing unit 208, based on the result of the authentication processing supplied from the authentication processing unit 207, the recording device 9 owned by the user, a personal computer (not shown), a portable phone, a PDA, or the like It is determined whether or not the user who has performed the operation input requesting the decryption key is correctly authenticated.

ステップS124において、正しく認証されたと判断された場合、ステップS125において、鍵供給処理部208は、課金処理部210を制御して、ユーザから入力された情報、もしくは、ユーザ情報データベース206または課金情報データベース211に登録されている情報を基に、決済処理を実行させる。決済処理には、例えば、クレジットカード決済、電子マネー決済などがある。課金処理部210は、一般的なこれらの決済方法を用いて、決済処理を実行する。   If it is determined in step S124 that the authentication has been correctly performed, in step S125, the key supply processing unit 208 controls the charging processing unit 210 to input information input from the user, or the user information database 206 or the charging information database. Based on the information registered in 211, the settlement processing is executed. Payment processing includes, for example, credit card payment and electronic money payment. The billing processing unit 210 executes settlement processing using these general settlement methods.

ステップS126において、鍵供給処理部208は、課金処理部210から供給される信号を基に、正しく決済が終了したか否かを判断する。   In step S <b> 126, the key supply processing unit 208 determines whether or not the settlement is correctly completed based on the signal supplied from the charging processing unit 210.

ステップS126において、正しく決済が終了したと判断された場合、ステップS127において、鍵供給処理部208は、操作入力情報取得部204から供給される、ユーザからの復号鍵の要求を示す信号から、要求された復号鍵に対応するメタデータの番組IDを取得する。   If it is determined in step S126 that the payment has been correctly completed, in step S127, the key supply processing unit 208 receives a request from the signal indicating the request for the decryption key from the user supplied from the operation input information acquisition unit 204. The program ID of metadata corresponding to the decrypted key is acquired.

ステップS128において、鍵供給処理部208は、番組IDに対応する復号鍵を復号鍵記憶部209から読み出し、通信部203およびインターネット5を介して、ユーザが保有する録画装置9、もしくは、図示しないパーソナルコンピュータ、携帯型電話機、または、PDAなどに送信する。   In step S128, the key supply processing unit 208 reads the decryption key corresponding to the program ID from the decryption key storage unit 209, and the recording device 9 owned by the user or a personal computer (not shown) via the communication unit 203 and the Internet 5. Send to a computer, portable phone, PDA, etc.

ステップS129において、課金処理部210は、ユーザが選択した決済方法、金額、または、決済結果などを、課金情報データベース211に登録する。課金情報データベース211は、登録された課金情報を記憶して、処理が終了される。   In step S129, the charging processing unit 210 registers the payment method, amount, or payment result selected by the user in the charging information database 211. The billing information database 211 stores the registered billing information, and the process ends.

ステップS124において、正しく認証されなかったと判断された場合、または、ステップS126において、正しく決済が終了しなかったと判断された場合、ステップS130において、認証処理部207または課金処理部210は、通信部203およびインターネット5を介して、ユーザが保有する録画装置9、もしくは、図示しないパーソナルコンピュータ、携帯型電話機、または、PDAなどに、処理が正しく終了しなかったことをユーザに通知するためのエラーメッセージを出力して、処理が終了される。   If it is determined in step S124 that the authentication has not been correctly performed, or if it is determined in step S126 that the payment has not been correctly completed, in step S130, the authentication processing unit 207 or the billing processing unit 210 causes the communication unit 203 to And an error message for notifying the user that the process has not been properly completed via the Internet 5 to the recording device 9 owned by the user or a personal computer (not shown), a portable phone, or a PDA. The processing is terminated.

このような処理により、メタデータを復号するための復号鍵が、ユーザにより購入されて、ユーザが保有する録画装置9、もしくは、図示しないパーソナルコンピュータ、携帯型電話機、または、PDAなどに送信される。この復号鍵は、後述する処理により、メタデータの復号に用いられる。また、この復号鍵の購入によりユーザから得られた対価のうちの少なくとも一部は、表示選択字幕データを作成した放送局1に支払われるので、表示選択字幕が付加された番組の割合が増えることが予測され、聴覚障害者がより多くの番組を楽しむことができるようになる。   Through such processing, a decryption key for decrypting the metadata is purchased by the user and transmitted to the recording device 9 owned by the user, a personal computer (not shown), a portable telephone, a PDA, or the like. . This decryption key is used for decrypting metadata by a process described later. Further, since at least a part of the consideration obtained from the user by purchasing the decryption key is paid to the broadcasting station 1 that created the display selection subtitle data, the ratio of the program with the display selection subtitle added increases. Is predicted, and hearing-impaired persons can enjoy more programs.

なお、図16においては、ユーザが復号鍵を購入するときの課金のための決済処理が、1トランザクションごとに実行されるものとして説明したが、ユーザが復号鍵を購入するにあたっての課金の方法は、例えば、月額や年額、または、固定料金制などの、いずれの方法であっても良い。   In FIG. 16, the payment processing for charging when the user purchases the decryption key has been described as being executed for each transaction. However, the charging method when the user purchases the decryption key is as follows. For example, any method such as a monthly fee, an annual fee, or a fixed fee system may be used.

次に、図17のフローチャートを参照して、図15のメタデータ供給処理、および、図16の復号鍵供給制御処理と並行して、図3を用いて説明した、ユーザが保有する録画装置9において実行される、メタデータ記憶処理1について説明する。   Next, referring to the flowchart of FIG. 17, in parallel with the metadata supply process of FIG. 15 and the decryption key supply control process of FIG. 16, the recording apparatus 9 possessed by the user described with reference to FIG. The metadata storage process 1 executed in FIG.

ステップS141において、図18を用いて後述するメタデータ取得処理が実行される。なお、メタデータ取得処理は、ここでは、ステップS141において実行されるものとしているが、後述するステップS149が実行される前であれば、いかなるタイミングで実行されても良い。   In step S141, a metadata acquisition process described later with reference to FIG. 18 is executed. Here, the metadata acquisition processing is executed in step S141 here, but may be executed at any timing as long as step S149 described later is executed.

ステップS142において、ネットワークインターフェース73は、インターネット5において公開されている、ユーザがメタデータを復号するための復号鍵の購入を要求するためのウェブページにアクセスして、ウェブページを表示部74に表示する。ユーザは、表示部74に表示されたウェブページを参照して、操作入力部71を用いて、メタデータの利用を希望する番組を指定するので、ネットワークインターフェース73は、操作入力部71から供給されるメタデータの利用を希望する番組を指定する情報、すなわち、番組IDで指定される、暗号化されたメタデータを復号するための復号鍵の購入を要求する信号を、インターネット5を介して、認証サーバ7に送信する。   In step S <b> 142, the network interface 73 accesses a web page published on the Internet 5 for a user to request the purchase of a decryption key for decrypting metadata, and displays the web page on the display unit 74. To do. Since the user refers to the web page displayed on the display unit 74 and uses the operation input unit 71 to specify a program for which metadata is desired, the network interface 73 is supplied from the operation input unit 71. A signal for requesting the purchase of a decryption key for decrypting the encrypted metadata designated by the program ID, that is, the information designating the program for which the metadata desired to be used is transmitted via the Internet 5 It transmits to the authentication server 7.

ネットワークインターフェース73は、認証サーバ7から、ユーザに認証処理に必要な情報を入力させるためのウェブページに対応するデータを受信して、ウェブページを表示部74に表示させる。ユーザは、表示部74に表示されたウェブページを参照して、操作入力部71を用いて、例えば、ユーザIDなどの、認証処理に必要な情報を入力するので、ステップS143において、ネットワークインターフェース73は、操作入力部71から供給される認証処理に必要な情報を、インターネット5を介して、認証サーバ7に送信する。   The network interface 73 receives data corresponding to a web page for allowing the user to input information necessary for authentication processing from the authentication server 7 and causes the display unit 74 to display the web page. The user refers to the web page displayed on the display unit 74 and uses the operation input unit 71 to input information necessary for authentication processing, such as a user ID, for example. In step S143, the network interface 73 Transmits information necessary for the authentication process supplied from the operation input unit 71 to the authentication server 7 via the Internet 5.

ステップS144において、ネットワークインターフェース73は、認証サーバ7から供給される信号を基に、正しく認証されたか否かを判断する。   In step S144, the network interface 73 determines whether or not the authentication has been correctly performed based on the signal supplied from the authentication server 7.

ステップS144において、正しく認証されたと判断された場合、ネットワークインターフェース73は、認証サーバ7から、ユーザに決済処理に必要な情報を入力させるためのウェブページに対応するデータを受信して、ウェブページを表示部74に表示させる。ユーザは、表示部74に表示されたウェブページを参照して、操作入力部71を用いて、決済処理に必要な情報を入力するので、ステップS145において、ネットワークインターフェース73は、例えば、決済方法の指定や、決済のための金融機関などとの契約において設定されているユーザIDやパスワードなどの、操作入力部71から供給される決済処理に必要な情報を、インターネット5を介して、認証サーバ7に送信する。   If it is determined in step S144 that the authentication has been correctly performed, the network interface 73 receives data corresponding to the web page for allowing the user to input information necessary for the settlement processing from the authentication server 7, and the web page is displayed. It is displayed on the display unit 74. The user refers to the web page displayed on the display unit 74 and inputs information necessary for the payment process using the operation input unit 71. Therefore, in step S145, the network interface 73 displays, for example, a payment method. Information necessary for the payment processing supplied from the operation input unit 71 such as a user ID and password set in a contract with a financial institution for designation or payment is sent via the Internet 5 to the authentication server 7. Send to.

ステップS146において、ネットワークインターフェース73は、認証サーバ7から供給される信号を基に、正しく決済が終了したか否かを判断する。   In step S146, the network interface 73 determines whether or not the payment is correctly completed based on the signal supplied from the authentication server 7.

ステップS146において、正しく決済が終了したと判断された場合、ステップS147において、ネットワークインターフェース73は、指定された番組IDに対応する復号鍵を、インターネット5を介して、認証サーバ7から受信し、復号鍵記憶部76に供給する。   If it is determined in step S146 that the payment has been correctly completed, in step S147, the network interface 73 receives the decryption key corresponding to the designated program ID from the authentication server 7 via the Internet 5, and decrypts it. This is supplied to the key storage unit 76.

ステップS148において、復号鍵記憶部76は、供給された復号鍵を番組IDに対応付けて記憶する。   In step S148, the decryption key storage unit 76 stores the supplied decryption key in association with the program ID.

ステップS149において、復号処理部77は、復号鍵記憶部76に記憶された復号鍵を用いて、暗号化メタデータ記憶部75に記憶されている暗号化されたメタデータを復号して、メタデータ記憶部78に供給する。   In step S 149, the decryption processing unit 77 decrypts the encrypted metadata stored in the encrypted metadata storage unit 75 using the decryption key stored in the decryption key storage unit 76, and generates metadata. The data is supplied to the storage unit 78.

ステップS150において、メタデータ記憶部78は、復号済みのメタデータを記憶して、処理が終了される。   In step S150, the metadata storage unit 78 stores the decrypted metadata, and the process ends.

ステップS144において、正しく認証されなかったと判断された場合、または、ステップS146において、正しく決済が終了しなかったと判断された場合、ステップS151において、ネットワークインターフェース73は、インターネット5を介して、認証サーバ7から、処理が正しく終了されなかったことを示すエラーメッセージを受信して、表示部74に出力して表示させ、処理が終了される。   If it is determined in step S144 that the authentication has not been correctly performed, or if it is determined in step S146 that the payment has not been correctly completed, in step S151, the network interface 73 is connected via the Internet 5 to the authentication server 7. Then, an error message indicating that the process has not been terminated properly is received, output and displayed on the display unit 74, and the process is terminated.

このような処理により、暗号化されたメタデータがメタデータ作成サーバ6からダウンロードされ、メタデータを復号するための復号鍵の購入のための処理が実行されて、認証サーバ7から復号鍵が取得されるので、この復号鍵を用いてメタデータが復号されて、検索処理に利用するために、録画装置9の内部に記憶される。   Through such processing, the encrypted metadata is downloaded from the metadata creation server 6, the processing for purchasing the decryption key for decrypting the metadata is executed, and the decryption key is obtained from the authentication server 7. Therefore, the metadata is decrypted using this decryption key and stored in the recording device 9 for use in the search process.

なお、図17の処理においては、例えば、ユーザが復号鍵を要求するためのウェブページにアクセスすることにより、録画装置9が復号鍵を取得して記憶することができるものとして説明したが、録画装置9は、録画された番組に対応するメタデータを復号するための復号鍵を、自動的に取得することができるようにしても良い。   In the processing of FIG. 17, for example, the recording device 9 has been described as being able to acquire and store the decryption key by accessing a web page for requesting the decryption key. The device 9 may be configured to automatically obtain a decryption key for decrypting metadata corresponding to the recorded program.

次に、図18のフローチャートを参照して、図17のステップS141において実行されるメタデータ取得処理について説明する。   Next, the metadata acquisition process executed in step S141 in FIG. 17 will be described with reference to the flowchart in FIG.

ステップS161において、ネットワークインターフェース73は、インターネット5において公開されている、ユーザがメタデータを要求するためのウェブページにアクセスして、ウェブページを表示部74に表示する。ユーザは、表示部74に表示されたウェブページを参照して、操作入力部71を用いて、メタデータの利用を希望する番組を指定するので、ネットワークインターフェース73は、操作入力部71から供給されるユーザの操作入力によって指定された番組に対応する番組名または番組IDを、インターネット5を介して、メタデータ作成サーバ6に供給する。   In step S <b> 161, the network interface 73 accesses a web page published on the Internet 5 for a user to request metadata, and displays the web page on the display unit 74. Since the user refers to the web page displayed on the display unit 74 and uses the operation input unit 71 to specify a program for which metadata is desired, the network interface 73 is supplied from the operation input unit 71. The program name or program ID corresponding to the program designated by the user's operation input is supplied to the metadata creation server 6 via the Internet 5.

ステップS162において、ネットワークインターフェース73は、インターネット5を介して、メタデータ作成サーバ6から、暗号化されたメタデータを受信したか否かを判断する。ステップS162において、メタデータを受信していないと判断された場合、処理は、ステップS161に戻り、それ以降の処理が繰り返される。   In step S <b> 162, the network interface 73 determines whether or not encrypted metadata has been received from the metadata creation server 6 via the Internet 5. If it is determined in step S162 that metadata has not been received, the process returns to step S161, and the subsequent processes are repeated.

ステップS162において、メタデータを受信したと判断された場合、ステップS163において、ネットワークインターフェース73は、受信した暗号化されたメタデータを、暗号化メタデータ記憶部75に供給する。暗号化メタデータ記憶部75は、供給された暗号化メタデータを記憶して、処理が終了される。   If it is determined in step S162 that metadata has been received, the network interface 73 supplies the received encrypted metadata to the encrypted metadata storage unit 75 in step S163. The encrypted metadata storage unit 75 stores the supplied encrypted metadata, and the process ends.

このような処理により、暗号化されたメタデータをメタデータ作成サーバ6からダウンロードすることができる。   Through such processing, the encrypted metadata can be downloaded from the metadata creation server 6.

なお、図18の処理においては、例えば、ユーザがメタデータを要求するためのウェブページにアクセスすることにより、録画装置9がメタデータを取得して記憶することができるものとして説明したが、録画装置9は、録画された番組に対応するメタデータを自動的に取得することができるようにしても良い。   In the processing of FIG. 18, for example, it has been described that the recording device 9 can acquire and store metadata by accessing a web page for requesting metadata by the user. The device 9 may be able to automatically acquire metadata corresponding to the recorded program.

次に、図19のフローチャートを参照して、図3を用いて説明した、ユーザが保有する録画装置9において実行されるサムネイル生成処理について説明する。   Next, with reference to the flowchart of FIG. 19, the thumbnail generation process executed in the recording device 9 owned by the user described with reference to FIG. 3 will be described.

ステップS171において、サムネイル生成部79は、メタデータ記憶部78に記憶されているメタデータ161を取得する。   In step S <b> 171, the thumbnail generation unit 79 acquires the metadata 161 stored in the metadata storage unit 78.

ステップS172において、サムネイル生成部79は、ステップS171において取得したメタデータ161の番組ID情報167に対応する録画データを、録画データ記憶部72から検索して取得する。   In step S172, the thumbnail generation unit 79 searches the recording data storage unit 72 for recording data corresponding to the program ID information 167 of the metadata 161 acquired in step S171.

ステップS173において、サムネイル生成部79は、取得したメタデータ161のタイムコード166に含まれるそれぞれのテキストの開始時刻を基に、例えば、開始時刻に対応する時刻、もしくは、開始時刻に対して、所定の時間だけ前または後の所定の時刻の映像を、録画データから1フレームずつ抽出して、サムネイル画像とする。   In step S173, the thumbnail generation unit 79 determines, for example, a time corresponding to the start time or a start time based on the start time of each text included in the time code 166 of the acquired metadata 161. A video at a predetermined time before or after is extracted frame by frame from the recorded data to obtain a thumbnail image.

ステップS174において、サムネイル生成部79は、ステップS173において生成されたサムネイル画像に、タイムコード166およびテキストデータ165に記載されている、対応するタイムコードおよびテキストデータを関連付けて、サムネイルデータとする。   In step S174, the thumbnail generation unit 79 associates the corresponding time code and text data described in the time code 166 and the text data 165 with the thumbnail image generated in step S173 to obtain thumbnail data.

ステップS175において、サムネイル生成部79は、ステップS174において生成されたサムネイルデータを基に、番組ID情報167で固有に区別可能なサムネイルデータファイルを生成する。すなわち、サムネイル生成部79は、タイムコード166を構成するテキスト群と同一の数のサムネイルデータを、サムネイル画像、タイムコード、テキストデータによって構成し、これらのサムネイルデータに番組ID情報167を付与して、サムネイルデータファイルとする。   In step S175, the thumbnail generation unit 79 generates a thumbnail data file that can be uniquely distinguished by the program ID information 167 based on the thumbnail data generated in step S174. That is, the thumbnail generation unit 79 configures the same number of thumbnail data as the text group constituting the time code 166 by the thumbnail image, the time code, and the text data, and gives the program ID information 167 to these thumbnail data. , A thumbnail data file.

ステップS176において、サムネイル生成部79は、生成されたサムネイルデータファイルを録画データ記憶部72に出力して記憶させて、処理が終了される。   In step S176, the thumbnail generation unit 79 outputs the generated thumbnail data file to the recording data storage unit 72 and stores it, and the process ends.

このような処理により、画像、テキスト、タイムコードが関連付けられたサムネイルデータが生成され、同一の番組のサムネイルデータ群により、サムネイルデータファイルが生成される。   By such processing, thumbnail data in which an image, text, and time code are associated is generated, and a thumbnail data file is generated from the thumbnail data group of the same program.

図20乃至図26を用いて、サムネイル画面の表示形式について説明する。   The display format of the thumbnail screen will be described with reference to FIGS.

図20を用いて、動画像とサムネイル画像の両方が表示されるようになされている、サムネイル画面の第1の表示形式について説明する。   A first display format of a thumbnail screen in which both moving images and thumbnail images are displayed will be described with reference to FIG.

サムネイル画像/テキストデータ表示画面251は、動画像が表示される動画像表示エリア261、サムネイル画像が表示されるサムネイル画像表示エリア262−1乃至262−4、それぞれのサムネイル画像に対応するテキストが表示されるテキスト表示エリア263−1乃至263−4、現在表示されているサムネイル画像およびテキストよりも、時間的に早いシーンに対応するサムネイル画像およびテキストの表示を指令するための矢印ボタン264−1、並びに、現在表示されているサムネイル画像およびテキストよりも、時間的に後のシーンに対応するサムネイル画像およびテキストの表示を指令するための矢印ボタン264−2を含み、テキスト表示エリア263−1乃至263−4に表示されるテキストのうち、キーワードリンク情報が付与されたテキストであるリンクテキスト265−1乃至265−4は、他のテキストと異なる色で表示される。   The thumbnail image / text data display screen 251 displays a moving image display area 261 in which moving images are displayed, thumbnail image display areas 262-1 to 262-4 in which thumbnail images are displayed, and texts corresponding to the respective thumbnail images. Text display areas 263-1 to 263-4, arrow buttons 264-1 for instructing display of thumbnail images and text corresponding to scenes earlier in time than the currently displayed thumbnail images and text, In addition, it includes an arrow button 264-2 for instructing to display a thumbnail image and text corresponding to a scene later in time than the currently displayed thumbnail image and text, and includes text display areas 263-1 to 263. -4 of the text displayed in -4 Link text 265-1 to 265-4 link information is a text granted is displayed in a color different from the other text.

例えば、サムネイル画像表示エリア262−3が選択されている状態であるとき、動画像表示エリア261には、サムネイル画像表示エリア262-3のシーンから始まる動画像を表示させるようにしてもよい。   For example, when the thumbnail image display area 262-3 is selected, the moving image starting from the scene of the thumbnail image display area 262-3 may be displayed in the moving image display area 261.

ユーザは、適宜、矢印ボタン264−1または矢印ボタン264−2に対して操作入力を行うことにより、表示されるサムネイル画像とテキストデータを変更させ、サムネイル画像およびテキストデータを参照することにより、録画データを再生させることなく、録画された番組の内容を理解することができ、更に、所望の再生開始位置に対応するサムネイル画像、または、テキストを選択して、確定する処理を行うことにより、検索キーとなるテキストを入力することなく、ユーザが所望する再生開始位置を検索して、再生開始を指令することが可能となる。   The user appropriately inputs an operation to the arrow button 264-1 or the arrow button 264-2, changes the displayed thumbnail image and text data, and refers to the thumbnail image and text data to record. The contents of the recorded program can be understood without playing back the data, and further, the thumbnail image or text corresponding to the desired playback start position is selected and processed to perform the search. It is possible to search for the reproduction start position desired by the user and input the reproduction start without inputting the key text.

また、リンクテキスト265−1乃至265-4は、所定のテキストに、例えば、図8を用いて説明したような、キーワードリンク情報が付与されたものであり、例えば、リンクテキスト265−1が選択された場合、テキスト「XX」に付与されたキーワードIDと同一のキーワードIDを有し、テキストの発生順(すなわち、タイムコード166に記載される時刻が早い順)の連続番号が次の番号であるキーワードリンク情報が付与されたテキストデータ、および、対応するサムネイル画像が検出されて、サムネイル画像/テキストデータ表示画面251に表示される。また、リンクテキスト265−2が選択された場合、テキスト「YY」に付与されたキーワードIDと同一のキーワードIDを有し、テキストの発生順の連続番号が次の番号であるキーワードリンク情報が付与されたテキストデータ、および、対応するサムネイル画像が検出されて、サムネイル画像/テキストデータ表示画面251に表示される。リンクテキスト265−3またはリンクテキスト265−4が選択された場合、テキスト「井松」に付与されたキーワードIDと同一のキーワードIDを有し、テキストの発生順の連続番号が次の番号であるキーワードリンク情報が付与されたテキストデータ、および、対応するサムネイル画像が検出されて、サムネイル画像/テキストデータ表示画面251に表示される。   The link texts 265-1 to 265-4 are obtained by adding keyword link information as described with reference to FIG. 8 to a predetermined text. For example, the link text 265-1 is selected. If the text ID is the same as the keyword ID assigned to the text “XX”, the sequential number in the order of text occurrence (that is, the order in which the times described in the time code 166 are earlier) is the next number. Text data to which certain keyword link information is assigned and a corresponding thumbnail image are detected and displayed on the thumbnail image / text data display screen 251. When the link text 265-2 is selected, keyword link information having the same keyword ID as the keyword ID assigned to the text “YY” and having the next consecutive number in the text generation order is given. The text data and the corresponding thumbnail image are detected and displayed on the thumbnail image / text data display screen 251. When link text 265-3 or link text 265-4 is selected, it has the same keyword ID as the keyword ID assigned to the text “Imatsu”, and the sequential number in the order of occurrence of the text is the next number. The text data to which the keyword link information is assigned and the corresponding thumbnail image are detected and displayed on the thumbnail image / text data display screen 251.

例えば、リンクテキスト265−3が選択されたとき、同一のキーワードIDを有し、次に発生するキーワードリンク情報が付与されたテキストを含むテキスト表示エリアは、テキスト表示エリア263−4であるので、このテキストデータに対応するサムネイル画像が表示されるサムネイル画像表示エリア262−4が選択された状態となり、動画像表示エリア261には、サムネイル画像表示エリア262−4に表示されているサムネイル画像に対応するシーンからの動画像が表示される。また、リンクテキスト265−1、リンクテキスト265−2、または、リンクテキスト265−4が選択されたとき、同一のキーワードIDを有し、次に発生するキーワードリンク情報が付与されたテキストは、現在、サムネイル画像/テキストデータ表示画面251には表示されていないので、サムネイル画面表示制御部80により、同一のキーワードIDを有し、次に発生するキーワードリンク情報が付与されたテキストと、対応するサムネイル画像が検索され、サムネイル画像/テキストデータ表示画面251に表示される。   For example, when the link text 265-3 is selected, the text display area including the text having the same keyword ID and the keyword link information to be generated next is the text display area 263-4. A thumbnail image display area 262-4 in which a thumbnail image corresponding to the text data is displayed is selected, and the moving image display area 261 corresponds to the thumbnail image displayed in the thumbnail image display area 262-4. A moving image from the scene to be displayed is displayed. When the link text 265-1, the link text 265-2, or the link text 265-4 is selected, the text having the same keyword ID and the keyword link information to be generated next is the current text Since it is not displayed on the thumbnail image / text data display screen 251, the thumbnail screen display control unit 80 uses the same keyword ID and the next generated keyword link information and the corresponding thumbnail. The image is retrieved and displayed on the thumbnail image / text data display screen 251.

第1の表示形式が用いられた場合、ユーザは、選択したサムネイル画像から再生処理が始まった場合の動画像を参照しながら、番組の内容を理解したり、再生開始位置とするサムネイル画像を選択することができる。また、サムネイル画像に付随して、サムネイル画像に対応する再生位置における表示選択字幕から生成されたテキストデータが表示されるので、ユーザは、画像情報のみからでは得られない情報を、テキストデータを基に得ることができる。すなわち、ユーザは、サムネイル画像のみを用いた情報の選択と比較して、より多くの情報の提供を受けるので、録画データを再生させることなく、録画された番組の内容を理解することができ、更に、所望の再生開始位置を容易に選択することができる。   When the first display format is used, the user can understand the contents of the program or select a thumbnail image as a playback start position while referring to a moving image when playback processing starts from the selected thumbnail image. can do. In addition, since the text data generated from the display selection caption at the playback position corresponding to the thumbnail image is displayed along with the thumbnail image, the user can obtain information that cannot be obtained from only the image information based on the text data. Can get to. That is, the user is provided with more information compared to the selection of information using only thumbnail images, so that the user can understand the contents of the recorded program without reproducing the recorded data, Further, a desired reproduction start position can be easily selected.

なお、図20においては、サムネイル画像およびテキストデータを、それぞれ4つずつ表示するものとして図示したが、動画像表示エリア261とともに表示されるサムネイル画像およびテキストデータの数は、4つ以外のいかなる数値でもよいことはもちろんである。   In FIG. 20, four thumbnail images and text data are shown as being displayed, but the number of thumbnail images and text data displayed together with the moving image display area 261 is any numerical value other than four. But of course.

次に、図21を用いて、サムネイル画像/テキストデータ表示画面251全体に、1枚のサムネイル画像と、対応するテキストデータが表示されるようになされている、サムネイル画面の第2の表示形式について説明する。   Next, referring to FIG. 21, a second display format of a thumbnail screen in which one thumbnail image and corresponding text data are displayed on the entire thumbnail image / text data display screen 251. explain.

サムネイル画像/テキストデータ表示画面251は、サムネイル画像が表示されるサムネイル画像表示エリア262と、サムネイル画像表示エリア262内に重畳されて表示される、サムネイル画像に対応するテキストが表示されるテキスト表示エリア263、現在表示されているサムネイル画像およびテキストよりも、時間的に早いシーンに対応するサムネイル画像およびテキストの表示を指令するための矢印ボタン264−1、並びに、現在表示されているサムネイル画像およびテキストよりも、時間的に後のシーンに対応するサムネイル画像およびテキストの表示を指令するための矢印ボタン264−2を含む。また、図20を用いて説明した場合と同様に、テキスト表示エリア263に表示されるテキストのうち、キーワードリンク情報を有するリンクテキスト265は、他のテキストと異なる色で表示されている。   The thumbnail image / text data display screen 251 includes a thumbnail image display area 262 in which thumbnail images are displayed, and a text display area in which text corresponding to the thumbnail images is displayed superimposed on the thumbnail image display area 262. 263, an arrow button 264-1 for instructing display of a thumbnail image and text corresponding to a scene earlier than the currently displayed thumbnail image and text, and the currently displayed thumbnail image and text In addition, an arrow button 264-2 for instructing display of thumbnail images and text corresponding to a scene later in time is included. Similarly to the case described with reference to FIG. 20, among the texts displayed in the text display area 263, the link text 265 having keyword link information is displayed in a different color from the other texts.

ユーザは、適宜、矢印ボタン264−1または矢印ボタン264−2に対して操作入力を行うことにより、表示されるサムネイル画像とテキストデータを変更させ、サムネイル画像およびテキストデータを参照することにより、録画データを再生させることなく、録画された番組の内容を理解することができ、更に、所望の再生開始位置に対応するサムネイル画像、または、テキストを選択して、確定する処理を行うことにより、検索キーとなるテキストを入力することなく、ユーザが所望する再生開始位置を検索して、再生開始を指令することが可能となる。   The user appropriately inputs an operation to the arrow button 264-1 or the arrow button 264-2, changes the displayed thumbnail image and text data, and refers to the thumbnail image and text data to record. The contents of the recorded program can be understood without playing back the data, and further, the thumbnail image or text corresponding to the desired playback start position is selected and processed to perform the search. It is possible to search for the reproduction start position desired by the user and input the reproduction start without inputting the key text.

また、リンクテキスト265が選択された場合、テキスト「井松」に付与されるキーワードIDと同一のキーワードIDを有し、次に発生するキーワードリンク情報が付与されたリンクテキストが含まれているテキストデータが、テキスト表示エリア263に表示されるとともに、そのテキストデータに対応するサムネイル画像が、サムネイル画像表示エリア262に表示される。   Further, when the link text 265 is selected, the text includes the same keyword ID as the keyword ID assigned to the text “Imatsu” and includes the link text to which the next generated keyword link information is assigned. Data is displayed in the text display area 263, and a thumbnail image corresponding to the text data is displayed in the thumbnail image display area 262.

第2の表示形式が用いられた場合、ユーザは、表示画面全体にサムネイル画像を表示させることができるので、詳細にサムネイル画像を観察することができる。また、ユーザ自身がテキストを読むために必要とする時間や、画像を参照するために必要な時間によって、スライドショーのように次々と表示画面を変更していくことができるので、興味のありそうな部分は、ゆっくり見たり、興味のない部分は、次々と画面を変えていくなど、ユーザが所望の再生開始位置を検索するためのサムネイル画像およびテキストの表示速度の自由度が高くなる。また、サムネイル画像に付随して、サムネイル画像に対応する再生位置における表示選択字幕から生成されたテキストデータが表示されるので、ユーザは、画像情報のみからでは得られない情報を、テキストデータを基に得ることができる。すなわち、ユーザは、サムネイル画像のみを用いた情報の選択と比較して、より多くの情報の提供を受けるので、録画データを再生させることなく、録画された番組の内容を理解することができ、更に、所望の再生開始位置を容易に選択することができる。   When the second display format is used, the user can display thumbnail images on the entire display screen, so that the thumbnail images can be observed in detail. Also, the user can change the display screen one after another like a slide show depending on the time required for the user to read the text and the time required to refer to the image. The portion can be viewed slowly, and the portion of the user who is not interested can change the screen one after another, and the degree of freedom of the display speed of the thumbnail image and the text for the user to search for the desired reproduction start position becomes high. In addition, since the text data generated from the display selection caption at the playback position corresponding to the thumbnail image is displayed along with the thumbnail image, the user can obtain information that cannot be obtained from only the image information based on the text data. Can get to. That is, the user is provided with more information compared to the selection of information using only thumbnail images, so that the user can understand the contents of the recorded program without reproducing the recorded data, Further, a desired reproduction start position can be easily selected.

次に、図22を用いて、3つのサムネイル画像と、それらに対応するテキストデータが表示されるようになされている、サムネイル画面の第3の表示形式について説明する。   Next, a third display format of a thumbnail screen in which three thumbnail images and text data corresponding to them are displayed will be described with reference to FIG.

サムネイル画像/テキストデータ表示画面251は、サムネイル画像が表示されるサムネイル画像表示エリア262−1乃至サムネイル画像表示エリア262−3と、サムネイル画像に対応するテキストが表示されるテキスト表示エリア263−1乃至テキスト表示エリア263−3、現在表示されているサムネイル画像およびテキストよりも、時間的に早いシーンに対応するサムネイル画像およびテキストの表示を指令するための矢印ボタン264−1、並びに、現在表示されているサムネイル画像およびテキストよりも、時間的に後のシーンに対応するサムネイル画像およびテキストの表示を指令するための矢印ボタン264−2により構成されている。   The thumbnail image / text data display screen 251 includes a thumbnail image display area 262-1 to thumbnail image display area 262-3 in which thumbnail images are displayed, and a text display area 263-1 to 263-1 in which texts corresponding to the thumbnail images are displayed. A text display area 263-3, an arrow button 264-1 for instructing display of a thumbnail image and text corresponding to a scene earlier in time than the currently displayed thumbnail image and text, and the currently displayed thumbnail image and text It consists of an arrow button 264-2 for instructing to display a thumbnail image and text corresponding to a scene later in time than the existing thumbnail image and text.

サムネイル画像表示エリア262−1乃至サムネイル画像表示エリア262−3は、表示画面内の左側に、時間的に早いものが上になるように配置されて表示され、テキスト表示エリア263−1乃至テキスト表示エリア263−3は、対応するサムネイル画像の右側に配置されて表示される。そして、矢印ボタン264−1は、サムネイル画像表示エリア262−1の画面上上方に配置されて表示され、矢印ボタン264−2は、サムネイル画像表示エリア262−3の画面上下方に配置されて表示される。また、図20および図21を用いて説明した場合と同様に、テキスト表示エリア263−1乃至テキスト表示エリア263−3に表示されるテキストのうち、キーワードリンク情報を有するリンクテキスト265は、他のテキストと異なる色で表示される。   The thumbnail image display area 262-1 to thumbnail image display area 262-3 are arranged and displayed on the left side of the display screen so that the one that is earlier in time is on the upper side, and the text display area 263-1 to text display. The area 263-3 is arranged and displayed on the right side of the corresponding thumbnail image. The arrow button 264-1 is arranged and displayed above the screen of the thumbnail image display area 262-1, and the arrow button 264-2 is arranged and displayed below the screen of the thumbnail image display area 262-3. Is done. Similarly to the case described with reference to FIGS. 20 and 21, among the texts displayed in the text display area 263-1 to the text display area 263-3, the link text 265 having the keyword link information is the other text. Displayed in a different color from the text.

第3の表示形式が用いられた場合、ユーザは、ある程度の大きさのサムネイル画像を観察することができるとともに、第2の表示形式が用いられた場合と比較して、数多くのサムネイル画像およびテキストを1画面中に表示させることができるので、所定の時間の番組の内容を理解するために、または、所望の再生開始位置を選択するために、矢印ボタン264−1または矢印ボタン264−2を操作する回数を減らすことができ、迅速に番組の内容を理解したり、所望のシーンを探すことができる。また、サムネイル画像に付随して、サムネイル画像に対応する再生位置における表示選択字幕から生成されたテキストデータが表示されるので、ユーザは、画像情報のみからでは得られない情報を、テキストデータを基に得ることができる。すなわち、ユーザは、サムネイル画像のみを用いた情報の選択と比較して、より多くの情報の提供を受けることができるので、録画データを再生させることなく、録画された番組の内容を理解することができ、更に、所望の再生開始位置を容易に選択することができる。   When the third display format is used, the user can observe a thumbnail image of a certain size, and more thumbnail images and texts than when the second display format is used. Can be displayed on one screen, the arrow button 264-1 or the arrow button 264-2 is used to understand the contents of a program for a predetermined time or to select a desired playback start position. The number of operations can be reduced, the contents of the program can be quickly understood, and a desired scene can be searched for. In addition, since the text data generated from the display selection caption at the playback position corresponding to the thumbnail image is displayed along with the thumbnail image, the user can obtain information that cannot be obtained from only the image information based on the text data. Can get to. That is, the user can receive more information as compared with the selection of information using only thumbnail images, so that the user understands the contents of the recorded program without reproducing the recorded data. In addition, a desired reproduction start position can be easily selected.

次に、図23を用いて、6つのサムネイル画像と、それらに対応するテキストデータが表示されるようになされている、サムネイル画面の第4の表示形式について説明する。   Next, a fourth display format of the thumbnail screen in which six thumbnail images and text data corresponding to them are displayed will be described with reference to FIG.

サムネイル画像/テキストデータ表示画面251は、サムネイル画像が表示されるサムネイル画像表示エリア262−1乃至サムネイル画像表示エリア262−6と、サムネイル画像に対応するテキストが表示されるテキスト表示エリア263−1乃至テキスト表示エリア263−6、現在表示されているサムネイル画像およびテキストよりも、時間的に早いシーンに対応するサムネイル画像およびテキストの表示を指令するための矢印ボタン264−1、並びに、現在表示されているサムネイル画像およびテキストよりも、時間的に後のシーンに対応するサムネイル画像およびテキストの表示を指令するための矢印ボタン264−2により構成されている。   The thumbnail image / text data display screen 251 includes thumbnail image display areas 262-1 to 262-6 where thumbnail images are displayed and text display areas 263-1 to 263-1 where texts corresponding to the thumbnail images are displayed. A text display area 263-6, an arrow button 264-1 for instructing display of a thumbnail image and text corresponding to a scene earlier in time than the currently displayed thumbnail image and text, and the currently displayed thumbnail image and text It consists of an arrow button 264-2 for instructing to display a thumbnail image and text corresponding to a scene later in time than the existing thumbnail image and text.

サムネイル画像表示エリア262−1乃至サムネイル画像表示エリア262−3は、表示画面内の左側に、時間的に早いものが上になるように配置されて表示され、サムネイル画像表示エリア262−4乃至サムネイル画像表示エリア262−6は、表示画面内の右側に、時間的に早いものが上になるように配置されて表示される。テキスト表示エリア263−1乃至テキスト表示エリア263−6は、サムネイル画像表示エリア262−1乃至サムネイル画像表示エリア262−3と、サムネイル画像表示エリア262−4乃至サムネイル画像表示エリア262−6との間、すなわち、サムネイル画像/テキストデータ表示画面251の中央部に、時間的に早いものが上になるように配置されて表示される。そして、矢印ボタン264−1は、サムネイル画像表示エリア262−1の画面上上方に配置されて表示され、矢印ボタン264−2は、サムネイル画像表示エリア262−6の画面上下方に配置されて表示される。また、図20および図21を用いて説明した場合と同様に、テキスト表示エリア263−1乃テキスト表示エリア263−6に表示されるテキストのうち、キーワードリンク情報を有するリンクテキスト265は、他のテキストと異なる色で表示される。   The thumbnail image display area 262-1 to thumbnail image display area 262-3 are arranged and displayed on the left side of the display screen so that the one that is earlier in time is on the upper side, and the thumbnail image display area 262-4 to thumbnail 262-thumbnail. The image display area 262-6 is arranged and displayed on the right side in the display screen so that the earlier one in time is on the upper side. The text display area 263-1 through text display area 263-6 are between the thumbnail image display area 262-1 through thumbnail image display area 262-3 and the thumbnail image display area 262-4 through thumbnail image display area 262-6. That is, the thumbnail image / text data display screen 251 is arranged and displayed at the center of the thumbnail image / text data display screen 251 so that the one with the earliest time is on top. The arrow button 264-1 is arranged and displayed above the screen of the thumbnail image display area 262-1, and the arrow button 264-2 is arranged and displayed below the top of the screen of the thumbnail image display area 262-6. Is done. Similarly to the case described with reference to FIGS. 20 and 21, among the texts displayed in the text display area 263-1-text display area 263-6, the link text 265 having keyword link information is Displayed in a different color from the text.

第4の表示形式が用いられた場合、サムネイル画像1枚の表示面積は小さくなってしまうが、第3の表示形式が用いられた場合と比較して、数多くのサムネイル画像およびテキストを1画面中に表示させることができるので、ユーザは、所定の時間の番組の内容を理解するために、または、所望の再生開始位置を選択するために、矢印ボタン264−1または矢印ボタン264−2を操作する回数を更に減らすことができ、更に迅速に番組の内容を理解したり、所望のシーンを探すことができる。また、サムネイル画像に付随して、サムネイル画像に対応する再生位置における表示選択字幕から生成されたテキストデータが表示されるので、ユーザは、画像情報のみからでは得られない情報を、テキストデータを基に得ることができる。すなわち、ユーザは、サムネイル画像のみを用いた情報の選択と比較して、より多くの情報の提供を受けることができるので、録画データを再生させることなく、録画された番組の内容を理解することができ、更に、所望の再生開始位置を容易に選択することができる。   When the fourth display format is used, the display area of one thumbnail image is reduced. However, compared with the case where the third display format is used, a larger number of thumbnail images and texts are displayed in one screen. The user can operate the arrow button 264-1 or the arrow button 264-2 in order to understand the contents of the program for a predetermined time or to select a desired reproduction start position. It is possible to further reduce the number of times the program is performed, and to understand the contents of the program more quickly and search for a desired scene. In addition, since the text data generated from the display selection caption at the playback position corresponding to the thumbnail image is displayed along with the thumbnail image, the user can obtain information that cannot be obtained from only the image information based on the text data. Can get to. That is, the user can receive more information as compared with the selection of information using only thumbnail images, so that the user understands the contents of the recorded program without reproducing the recorded data. In addition, a desired reproduction start position can be easily selected.

次に、図24を用いて、6つのサムネイル画像と、それらに対応するテキストデータが表示されるようになされている、ハイビジョン画面に対応したサムネイル画面の第5の表示形式について説明する。   Next, a fifth display format of a thumbnail screen corresponding to a high-definition screen in which six thumbnail images and text data corresponding to them are displayed will be described with reference to FIG.

サムネイル画像/テキストデータ表示画面251は、サムネイル画像が表示されるサムネイル画像表示エリア262−1乃至サムネイル画像表示エリア262−6と、サムネイル画像に対応するテキストが表示されるテキスト表示エリア263−1乃至テキスト表示エリア263−6、現在表示されているサムネイル画像およびテキストよりも、時間的に早いシーンに対応するサムネイル画像およびテキストの表示を指令するための矢印ボタン264−1、並びに、現在表示されているサムネイル画像およびテキストよりも、時間的に後のシーンに対応するサムネイル画像およびテキストの表示を指令するための矢印ボタン264−2により構成されている。   The thumbnail image / text data display screen 251 includes thumbnail image display areas 262-1 to 262-6 where thumbnail images are displayed and text display areas 263-1 to 263-1 where texts corresponding to the thumbnail images are displayed. A text display area 263-6, an arrow button 264-1 for instructing display of a thumbnail image and text corresponding to a scene earlier in time than the currently displayed thumbnail image and text, and the currently displayed thumbnail image and text It consists of an arrow button 264-2 for instructing to display a thumbnail image and text corresponding to a scene later in time than the existing thumbnail image and text.

サムネイル画像表示エリア262−1乃至サムネイル画像表示エリア262−3は、表示画面内の左側に、時間的に早いものが上になるように配置されて表示され、テキスト表示エリア263−1乃至テキスト表示エリア263−3は、対応するサムネイル画像の右側に配置されて表示され、サムネイル画像表示エリア262−4乃至サムネイル画像表示エリア262−6は、テキスト表示エリア263−1乃至テキスト表示エリア263−3の右側に、時間的に早いものが上になるように配置されて表示され、テキスト表示エリア263−4乃至テキスト表示エリア263−6は、対応するサムネイル画像の右側に配置されて表示される。矢印ボタン264−1は、サムネイル画像表示エリア262−1の画面上上方に配置されて表示され、矢印ボタン264−2は、サムネイル画像表示エリア262−6の画面上下方に配置されて表示される。また、図20および図21を用いて説明した場合と同様に、テキスト表示エリア263−1乃至テキスト表示エリア263−6に表示されるテキストのうち、キーワードリンク情報を有するリンクテキスト265は、他のテキストと異なる色で表示される。   The thumbnail image display area 262-1 to thumbnail image display area 262-3 are arranged and displayed on the left side of the display screen so that the one that is earlier in time is on the upper side, and the text display area 263-1 to text display. The area 263-3 is arranged and displayed on the right side of the corresponding thumbnail image, and the thumbnail image display area 262-4 to thumbnail image display area 262-6 are the text display area 263-1 to text display area 263-3. The text display area 263-4 through the text display area 263-6 are arranged and displayed on the right side of the corresponding thumbnail image on the right side so that the one that is earlier in time is placed on the upper side. The arrow button 264-1 is arranged and displayed above the screen of the thumbnail image display area 262-1, and the arrow button 264-2 is arranged and displayed below the top of the screen of the thumbnail image display area 262-6. . Similarly to the case described with reference to FIGS. 20 and 21, among the texts displayed in the text display areas 263-1 to 263-6, the link text 265 having the keyword link information Displayed in a different color from the text.

第5の表示形式が用いられた場合、サムネイル画像1枚の表示面積は小さくなってしまうが、第3の表示形式が用いられた場合と比較して、数多くのサムネイル画像およびテキストを1画面中に表示させることができるので、ユーザは、所定の時間の番組の内容を理解するために、または、所望の再生開始位置を選択するために、矢印ボタン264−1または矢印ボタン264−2を操作する回数を更に減らすことができ、更に迅速に番組の内容を理解したり、所望のシーンを探すことができるとともに、ハイビジョン対応の表示画面に対して、バランスのよいレイアウトで、サムネイル画像およびテキストを表示させるようにすることができる。また、サムネイル画像に付随して、サムネイル画像に対応する再生位置における表示選択字幕から生成されたテキストデータが表示されるので、ユーザは、画像情報のみからでは得られない情報を、テキストデータを基に得ることができる。すなわち、ユーザは、サムネイル画像のみを用いた情報の選択と比較して、より多くの情報の提供を受けることができるので、録画データを再生させることなく、録画された番組の内容を理解することができ、更に、所望の再生開始位置を容易に選択することができる。   When the fifth display format is used, the display area of one thumbnail image is reduced. However, compared to the case where the third display format is used, a larger number of thumbnail images and texts are displayed in one screen. The user can operate the arrow button 264-1 or the arrow button 264-2 in order to understand the contents of the program for a predetermined time or to select a desired reproduction start position. The number of operations can be further reduced, the contents of the program can be understood more quickly, a desired scene can be searched for, and thumbnail images and text can be displayed in a well-balanced layout on a high-definition display screen. It can be displayed. In addition, since the text data generated from the display selection caption at the playback position corresponding to the thumbnail image is displayed along with the thumbnail image, the user can obtain information that cannot be obtained from only the image information based on the text data. Can get to. That is, the user can receive more information as compared with the selection of information using only thumbnail images, so that the user understands the contents of the recorded program without reproducing the recorded data. In addition, a desired reproduction start position can be easily selected.

次に、図25を用いて、9つのサムネイル画像が表示されるようになされている、サムネイル画面の第6の表示形式について説明する。   Next, the sixth display format of the thumbnail screen in which nine thumbnail images are displayed will be described with reference to FIG.

サムネイル画像/テキストデータ表示画面251は、サムネイル画像が表示されるサムネイル画像表示エリア262−1乃至サムネイル画像表示エリア262−9、現在表示されているサムネイル画像よりも、時間的に早いシーンに対応するサムネイル画像の表示を指令するための矢印ボタン264−1、並びに、現在表示されているサムネイル画像よりも、時間的に後のシーンに対応するサムネイル画像の表示を指令するための矢印ボタン264−2により構成されている。   The thumbnail image / text data display screen 251 corresponds to a thumbnail image display area 262-1 to thumbnail image display area 262-9 in which thumbnail images are displayed and a scene that is earlier in time than the currently displayed thumbnail image. An arrow button 264-1 for instructing display of a thumbnail image, and an arrow button 264-2 for instructing display of a thumbnail image corresponding to a scene later in time than the currently displayed thumbnail image It is comprised by.

サムネイル画像表示エリア262−1乃至サムネイル画像表示エリア262−9は、表示画面内の左側上から、時間的に早いものより、縦と横が3×3となるように、順次配置されて表示され、矢印ボタン264−1は、サムネイル画像表示エリア262−1の画面上左側に配置されて表示され、矢印ボタン264−2は、サムネイル画像表示エリア262−9の画面上右側に配置されて表示される。   The thumbnail image display area 262-1 to thumbnail image display area 262-9 are arranged and displayed sequentially from the upper left side in the display screen so that the vertical and horizontal directions are 3 × 3 from the one earlier in time. The arrow button 264-1 is arranged and displayed on the left side of the thumbnail image display area 262-1 on the screen, and the arrow button 264-2 is arranged and displayed on the right side of the thumbnail image display area 262-9 on the screen. The

第6の表示形式が用いられた場合、テキストデータは表示されなくなってしまうが、1画面に数多くのサムネイル画像を表示させることができるので、ユーザが、テキストデータよりもサムネイル画像を参照することにより、録画されている番組の内容を理解したり、所望の再生開始位置の検索を行うことを好む場合や、例えば、幼い子供など、まだ充分に文字を読むことができないユーザであっても、迅速に番組の内容を理解したり、所望のシーンを探すことができる。   When the sixth display format is used, the text data will not be displayed, but many thumbnail images can be displayed on one screen, so that the user can refer to the thumbnail images rather than the text data. If you prefer to understand the contents of the recorded program, search for the desired playback start position, or even a user who still cannot read characters, such as a young child, You can understand the contents of the program and search for the desired scene.

次に、図26を用いて、9つのテキストデータが表示されるようになされているサムネイル画面の第7の表示形式について説明する。   Next, a seventh display format of the thumbnail screen on which nine text data are displayed will be described with reference to FIG.

サムネイル画像/テキストデータ表示画面251は、テキストデータが表示されるテキスト表示エリア263−1乃至テキスト表示エリア263−9、現在表示されているテキストよりも、時間的に早いシーンに対応するテキストの表示を指令するための矢印ボタン264−1、並びに、現在表示されているテキストよりも、時間的に後のシーンに対応するテキストの表示を指令するための矢印ボタン264−2により構成されている。   The thumbnail image / text data display screen 251 displays text corresponding to a scene that is earlier in time than the text display area 263-1 to text display area 263-9, where text data is displayed. And an arrow button 264-2 for instructing display of text corresponding to a scene temporally later than the currently displayed text.

テキスト表示エリア263−1乃至テキスト表示エリア263−9は、時間的に早いものが上になるようにサムネイル画像/テキストデータ表示画面251の左側に配置されて表示され、矢印ボタン264−1は、テキスト表示エリア263−1の画面上上方に配置されて表示され、矢印ボタン264−2は、テキスト表示エリア263−9の画面上下方に配置されて表示される。また、図20および図21を用いて説明した場合と同様に、テキスト表示エリア263−1乃至テキスト表示エリア263−9に表示されるテキストのうち、キーワードリンク情報を有するリンクテキスト265は、他のテキストと異なる色で表示される。   The text display area 263-1 to text display area 263-9 are arranged and displayed on the left side of the thumbnail image / text data display screen 251 so that the one with the earliest time is at the top, and the arrow button 264-1 is The text display area 263-1 is arranged and displayed above the screen, and the arrow button 264-2 is arranged and displayed below the text display area 263-9 on the screen. Similarly to the case described with reference to FIGS. 20 and 21, among the texts displayed in the text display areas 263-1 to 263-9, the link text 265 having the keyword link information is the other text. Displayed in a different color from the text.

なお、図26においては、テキストデータは9行表示されているものとして図示されているが、例えば、文字の大きさやレイアウトなどにより、表示可能なテキストデータの行数は、変更可能であることは言うまでもない。   In FIG. 26, the text data is illustrated as being displayed in 9 lines. However, for example, the number of lines of text data that can be displayed can be changed depending on the character size, layout, and the like. Needless to say.

第7の表示形式が用いられた場合、サムネイル画像は表示されないが、1画面に数多くのテキストデータを表示させることができるので、サムネイル画像を参照するよりも、テキストデータを参照することにより、確実に録画されている番組の内容を理解したり、所望の再生開始位置を検索することを好むユーザにとっては、迅速に、かつ、確実に番組の内容を理解したり、所望のシーンを探すことができる。   When the seventh display format is used, thumbnail images are not displayed, but a large number of text data can be displayed on one screen. Therefore, it is more reliable to refer to text data than to refer to thumbnail images. For users who prefer to understand the contents of programs recorded on the TV and search for the desired playback start position, they can quickly and reliably understand the contents of programs or search for desired scenes. it can.

なお、図22を用いて説明した場合においては、サムネイル画像およびテキストデータをそれぞれ3つずつ表示させるものとして説明し、図23および図24を用いて説明した場合においては、サムネイル画像およびテキストデータをそれぞれ6つずつ表示させるものとして説明し、図25を用いて説明した場合においては、サムネイル画像を9つ表示するものとして説明し、図26を用いて説明した場合においては、テキストデータを9つ表示するものとして説明したが、サムネイル画像またはテキストデータの1画面における表示数は、3つ、6つ、9つ以外のいかなる数であってもよいことは、言うまでもない。   In the case described with reference to FIG. 22, it is assumed that three thumbnail images and text data are displayed, and in the case described with reference to FIGS. 23 and 24, the thumbnail image and text data are displayed. In the case described with reference to FIG. 25, nine thumbnail images are displayed. In the case described with reference to FIG. 26, nine text data are displayed. Although described as being displayed, it goes without saying that the number of thumbnail images or text data displayed on one screen may be any number other than three, six, and nine.

例えば、図2を用いて説明した放送番組が録画されており、ユーザが、その「7時のニュース」のサムネイル画像を、図23を用いて説明した形式で表示させることを望んだ場合、操作入力部71は、「7時のニュース」という番組を指定するための操作入力を受けるとともに、「7時のニュース」のサムネイル画面の表示形式を示す操作入力を受け、番組を指定する情報(番組ID)および、サムネイル画面の表示形式を示す信号を、サムネイル画面表示制御部80に供給する。   For example, when the broadcast program described with reference to FIG. 2 is recorded and the user desires to display the thumbnail image of the “7 o'clock news” in the format described with reference to FIG. The input unit 71 receives an operation input for designating a program “7 o'clock news” and receives an operation input indicating a display format of a thumbnail screen of “7 o'clock news”, and designates information (program ID) and a signal indicating the display format of the thumbnail screen are supplied to the thumbnail screen display control unit 80.

以下、サムネイル画像表示エリア262−1乃至サムネイル画像表示エリア262−9を特に区別する必要がない場合、単に、サムネイル画像表示エリア262と総称し、テキスト表示エリア263−1乃至テキスト表示エリア263−9を特に区別する必要がない場合、単にテキスト表示エリア263と総称する。   Hereinafter, when there is no need to particularly distinguish the thumbnail image display area 262-1 to the thumbnail image display area 262-9, they are simply referred to as the thumbnail image display area 262, and are collectively referred to as the text display area 263-1 to the text display area 263-9. Are collectively referred to simply as text display area 263.

次に、図27のフローチャートを参照して、録画装置9において実行されるサムネイル画面表示および検索処理について説明する。   Next, a thumbnail screen display and search process executed in the recording device 9 will be described with reference to the flowchart of FIG.

操作入力部71は、ステップS181において、ユーザから、サムネイル画面の表示を希望する番組、すなわち、録画された番組の内容を確認したり、再生開始位置を検索したい番組を指定する入力を受け、ステップS182において、サムネイル画面の表示スタイルを選択する入力を受け、サムネイル画面表示制御部80に供給する。   In step S181, the operation input unit 71 receives an input from the user specifying a program for which a thumbnail screen is desired to be displayed, that is, a program for confirming the contents of the recorded program or searching for a reproduction start position. In S 182, an input for selecting a thumbnail screen display style is received and supplied to the thumbnail screen display control unit 80.

ステップS183において、サムネイル画面表示制御部80は、例えば、図20を用いて説明したサムネイル画像/テキストデータ表示画面251のように、動画像をサムネイル画像とともに表示させる表示スタイルが選択されているか否かを判断する。   In step S183, the thumbnail screen display control unit 80 determines whether or not the display style for displaying the moving image together with the thumbnail image is selected as in the thumbnail image / text data display screen 251 described with reference to FIG. Judging.

ステップS183において、動画像をサムネイル画像とともに表示させる表示スタイルが選択されていないと判断された場合、ステップS184において、サムネイル画面表示制御部80は、録画データ記憶部72に記憶されているサムネイルデータファイルのうち、ユーザにより選択された番組に対応するサムネイルデータファイルを読み出し、操作入力部71から供給されるユーザの操作入力に基づいて、図21乃至図26を用いて説明したいずれかの表示スタイルのサムネイル画面データを生成して、出力端子62−1を介して、表示選択字幕デコーダ8に供給し、テレビジョン受像機2の出力部13に出力させて、表示させ、処理は、後述するステップS187に進む。   If it is determined in step S183 that the display style for displaying the moving image together with the thumbnail image is not selected, the thumbnail screen display control unit 80 stores the thumbnail data file stored in the recorded data storage unit 72 in step S184. Among them, the thumbnail data file corresponding to the program selected by the user is read out, and one of the display styles described with reference to FIGS. 21 to 26 is based on the user's operation input supplied from the operation input unit 71. Thumbnail screen data is generated, supplied to the display selection subtitle decoder 8 via the output terminal 62-1, and output to the output unit 13 of the television receiver 2 to be displayed. The processing is described later in step S187. Proceed to

ステップS183において、動画像をサムネイル画像とともに表示させる表示スタイルが選択されていると判断された場合、ステップS185において、サムネイル画面表示制御部80は、録画データ記憶部72に記憶されているサムネイルデータファイルのうち、ユーザにより選択された番組に対応するサムネイルデータファイルを読み出し、操作入力部71から供給されるユーザの操作入力に基づいて、選択されているサムネイル画像(第1回目の表示であるときは、最初のサムネイル画像などとしてもよい)に関連付けられている開始時刻(タイムコード166のそれぞれのテキストに対応する開始時刻と終了時刻のうちの開始時刻、以下、開始時刻(タイムコード)と称する)を抽出する。   If it is determined in step S183 that the display style for displaying the moving image together with the thumbnail image is selected, the thumbnail screen display control unit 80 stores the thumbnail data file stored in the recorded data storage unit 72 in step S185. Among them, the thumbnail data file corresponding to the program selected by the user is read, and based on the user's operation input supplied from the operation input unit 71, the selected thumbnail image (when it is the first display) , Which may be the first thumbnail image, etc.) (start time of start time and end time corresponding to each text of time code 166, hereinafter referred to as start time (time code)) To extract.

ステップS186において、サムネイル画面表示制御部80は、ステップS185において検出された開始時刻(タイムコード)を基に、録画データ記憶部72に記憶されている録画データを検索し、例えば、図20を用いて説明したサムネイル画像/テキストデータ表示画面251の動画像表示エリア261に、動画像を表示させるようにして、動画像をサムネイル画像とともに表示させる表示スタイルのサムネイル画面データを生成し、出力端子62−1を介して、表示選択字幕デコーダ8に供給し、テレビジョン受像機2の出力部13に出力させて、表示させる。   In step S186, the thumbnail screen display control unit 80 searches the recording data stored in the recording data storage unit 72 based on the start time (time code) detected in step S185, and uses, for example, FIG. As described above, the moving image is displayed in the moving image display area 261 of the thumbnail image / text data display screen 251 to generate the display style thumbnail screen data for displaying the moving image together with the thumbnail image. 1 is supplied to the display selection subtitle decoder 8 and output to the output unit 13 of the television receiver 2 for display.

ステップS184、または、ステップS186の処理の終了後、ステップS187において、サムネイル画面表示制御部80は、操作入力部71から供給されるユーザの操作入力に基づいて、サムネイル画像/テキストデータ表示画面251のテキスト表示エリア263に表示されているキーワード、すなわち、キーワードリンク情報を有するリンクテキスト265のうちのいずれかが選択されたか否かを判断する。   After the processing of step S184 or step S186 is completed, in step S187, the thumbnail screen display control unit 80 displays the thumbnail image / text data display screen 251 on the basis of the user operation input supplied from the operation input unit 71. It is determined whether any of the keywords displayed in the text display area 263, that is, the link text 265 having keyword link information has been selected.

ステップS187において、テキストのうちのいずれかのキーワード(リンクテキスト265)が選択されたと判断された場合、ステップS188において、サムネイル画面表示制御部80は、選択されたキーワードに付与されているキーワードリンク情報を参照して、選択されたキーワードに関連付けられた、すなわち、同一のキーワードIDを有するテキストデータを含む、次のサムネイルデータを抽出し、サムネイル画像/テキストデータ表示画面251に表示させる。   If it is determined in step S187 that any keyword (link text 265) of the text has been selected, in step S188, the thumbnail screen display control unit 80 provides keyword link information attached to the selected keyword. , The next thumbnail data associated with the selected keyword, that is, including text data having the same keyword ID, is extracted and displayed on the thumbnail image / text data display screen 251.

ステップS187において、テキストのうちのいずれかのキーワード(リンクテキスト265)が選択されていないと判断された場合、または、ステップS188の処理の終了後、ステップS189において、サムネイル画面表示制御部80は、操作入力部71から供給されるユーザの操作入力に基づいて、例えば、矢印ボタン264−1または矢印ボタン264−2が操作されることなどにより、サムネイル画像の選択が変更されたか否かを判断する。ステップS189において、サムネイル画像の選択が変更されたと判断された場合、処理は、ステップS183に戻り、それ以降の処理が繰り返される。   If it is determined in step S187 that any keyword (link text 265) of the text has not been selected, or after the process of step S188 ends, in step S189, the thumbnail screen display control unit 80 Based on the user's operation input supplied from the operation input unit 71, for example, it is determined whether or not the selection of the thumbnail image has been changed by operating the arrow button 264-1 or the arrow button 264-2. . If it is determined in step S189 that the thumbnail image selection has been changed, the process returns to step S183, and the subsequent processing is repeated.

すなわち、矢印ボタン264−1または矢印ボタン264−2が操作されることなどにより、サムネイル画像の選択が変更されて、ステップS183乃至ステップS189の処理が繰り返された場合、ユーザは、録画した放送番組を再生させることなく、サムネイル画像とテキストのうちの少なくともいずれかによって、番組の内容を理解することができる。また、ユーザは、自分がサムネイル画像を参照し、テキストを読むペースに合わせて、好きなペースで表示される画面を変更することができる。なお、ここでは、ユーザの操作入力により、画面の表示が変更されるものとして説明しているが、所定の秒数ごとに自動的に表示画面が変更されるものとしても良い。   That is, when the selection of the thumbnail image is changed by operating the arrow button 264-1 or the arrow button 264-2, and the processing in steps S183 to S189 is repeated, the user can record the recorded broadcast program. The contents of the program can be understood from at least one of the thumbnail image and the text without reproducing the program. Further, the user can change the screen displayed at his / her favorite pace according to the pace at which he / she refers to the thumbnail image and reads the text. Note that, here, it is described that the screen display is changed by a user's operation input, but the display screen may be automatically changed every predetermined number of seconds.

ステップS189において、サムネイル画像の選択が変更されていないと判断された場合、ステップS190において、サムネイル画面表示制御部80は、操作入力部71から供給されるユーザの操作入力に基づいて、サムネイル画面の表示の終了が指令されたか否かを判断する。ステップS190において、サムネイル画面の表示の終了が指令されたと判断された場合、処理が終了される。   If it is determined in step S189 that the selection of the thumbnail image has not been changed, in step S190, the thumbnail screen display control unit 80 determines the thumbnail screen based on the user's operation input supplied from the operation input unit 71. It is determined whether or not the display end is instructed. If it is determined in step S190 that the display of the thumbnail screen has been instructed, the process ends.

ステップS190において、サムネイル画面の表示の終了が指令されていないと判断された場合、ステップS191において、サムネイル画面表示制御部80は、操作入力部71から供給されるユーザの操作入力に基づいて、再生開始位置に対応するサムネイル画像、または、テキストが決定されたか否かを判断する。ステップS191において、再生開始位置に対応するサムネイル画像、または、テキストが決定されていないと判断された場合、処理は、ステップS189に戻り、それ以降の処理が繰り返される。   When it is determined in step S190 that the display of the thumbnail screen display is not instructed, in step S191, the thumbnail screen display control unit 80 reproduces based on the user's operation input supplied from the operation input unit 71. It is determined whether a thumbnail image or text corresponding to the start position has been determined. If it is determined in step S191 that the thumbnail image or text corresponding to the reproduction start position has not been determined, the process returns to step S189, and the subsequent processes are repeated.

ステップS191において、再生開始位置に対応するサムネイル画像、または、テキストが決定されたと判断された場合、ステップS192において、サムネイル画面表示制御部80は、決定されたサムネイル画像またはテキストデータに対応する開始時刻(タイムコード)を抽出し、録画データ検索出力部81に供給する。   If it is determined in step S191 that the thumbnail image or text corresponding to the reproduction start position has been determined, in step S192, the thumbnail screen display control unit 80 starts the start time corresponding to the determined thumbnail image or text data. (Time code) is extracted and supplied to the recorded data search output unit 81.

ステップS193において、録画データ検索出力部81は、抽出された開始時刻(タイムコード)に基づいて、録画データ記憶部72に記憶されている録画データから、番組IDで指定される録画データの再生開始位置(開始時刻(タイムコード)に示される時刻であっても、開始時刻(タイムコード)に示される時刻よりも所定の時間だけ前または後の所定の時刻であっても、2つのサムネイル画像に対応する開始時刻(タイムコード)の真ん中となる時刻であってもよい)を検索して、出力端子62−1および出力端子62−2を介して、表示選択字幕デコーダ14に出力して、処理が終了される。   In step S193, the recorded data search / output unit 81 starts reproduction of the recorded data specified by the program ID from the recorded data stored in the recorded data storage unit 72 based on the extracted start time (time code). Even if it is the time indicated by the position (start time (time code) or the predetermined time before or after the time indicated by the start time (time code), the two thumbnail images are displayed. The corresponding start time (time code) may be the middle time), and is output to the display selection subtitle decoder 14 via the output terminal 62-1 and the output terminal 62-2 for processing. Is terminated.

このような処理により、サムネイルデータを利用して、番組の内容をユーザが簡単に直感的に理解することができる表示画面を表示することができるので、録画データを再生させることなく、録画された番組の内容を理解することができ、更に、ユーザが選択したサムネイル画像、または、テキストデータに対応する開始時刻(タイムコード)が検出され、検出された開始時刻(タイムコード)に基づいて、録画再生の開始位置が検索される。本発明を適用することにより、例えば、録画データに含まれる字幕データに対応するテキストデータを全て検索して、ユーザが入力したテキストデータに対応する録画再生の開始位置が決定される場合と比較して、簡単に、高速に、ユーザが所望する再生開始位置を検索することが可能となる。   By such processing, the thumbnail data can be used to display a display screen that allows the user to easily and intuitively understand the contents of the program, so that the recorded data can be recorded without being played back. The contents of the program can be understood, and the thumbnail image selected by the user or the start time (time code) corresponding to the text data is detected, and recording is performed based on the detected start time (time code). The playback start position is searched. By applying the present invention, for example, all text data corresponding to subtitle data included in the recorded data is searched, and compared with a case where the start position of recording / playback corresponding to the text data input by the user is determined. Thus, the reproduction start position desired by the user can be searched easily and at high speed.

更に、キーワードリンク情報が付与された、キーワードとなるテキストが選択された場合、ユーザに対して、同一、または、関連の深いテキストがそれ以降の時刻に出現したときのサムネイル画像を提示することができるようになされているので、ユーザが、録画されている番組の中で、所望のキーワードに関連する部分をピックアップして理解したり、所望の再生位置を検索する処理を更に簡単にすることができる。   Further, when a keyword text with keyword link information is selected, a thumbnail image when the same or closely related text appears at a later time may be presented to the user. Since it is made possible, the user can further simplify the process of picking up and understanding a portion related to a desired keyword in a recorded program and searching for a desired reproduction position. it can.

次に、図28のフローチャートを参照して、図9および図10を用いて説明した認証サーバ7が実行する課金処理について説明する。   Next, with reference to the flowchart of FIG. 28, the accounting process executed by the authentication server 7 described with reference to FIGS. 9 and 10 will be described.

ステップS201において、課金処理部210は、課金情報データベース211に登録されている情報を参照して、復号鍵を購入したユーザの課金情報を生成する。具体的には、課金処理部210は、課金情報データベース211に登録されている情報を参照して、ユーザ別に、決算を行う金融機関(例えば、クレジットカード会社、電子マネーのサービス提供元など)ごとに、復号鍵の購入により発生した代金を集計して、課金情報を生成する。   In step S <b> 201, the billing processing unit 210 refers to information registered in the billing information database 211 and generates billing information for the user who purchased the decryption key. Specifically, the billing processing unit 210 refers to information registered in the billing information database 211 for each financial institution (for example, credit card company, electronic money service provider, etc.) that performs settlement for each user. In addition, the billing information is generated by collecting the charges generated by the purchase of the decryption key.

ステップS202において、課金処理部210は、所定の金融機関などに対する課金処理を実行する。具体的には、課金処理部210は、例えば、カード会社などの金融機関が保有する、決済処理を実行する図示しない課金サーバに、インターネット5、または、所定の専用線を介してアクセスし、ステップS201において生成されたユーザの課金情報を送信する。   In step S202, the billing processing unit 210 executes billing processing for a predetermined financial institution or the like. Specifically, the billing processing unit 210 accesses, for example, a billing server (not shown) that executes a settlement process that is held by a financial institution such as a card company via the Internet 5 or a predetermined dedicated line, The user billing information generated in S201 is transmitted.

ステップS203において、課金処理部210は、課金情報データベース211に登録されている情報を参照して、番組ごとの表示選択字幕データに対応するメタデータを復号するための復号鍵の供給数を算出する。   In step S203, the billing processing unit 210 refers to the information registered in the billing information database 211 and calculates the number of decryption keys supplied to decrypt the metadata corresponding to the display-selected caption data for each program. .

ステップS204において、課金処理部210は、ステップS203の算出結果に基づいて、放送局1ごとに、提供された表示選択字幕データに対応するメタデータを復号するための復号鍵の供給数を算出する。   In step S204, the accounting processing unit 210 calculates the supply number of the decryption key for decrypting the metadata corresponding to the provided display selection subtitle data for each broadcasting station 1 based on the calculation result of step S203. .

ステップS205において、課金処理部210は、ステップS204の算出結果に基づいて、放送局ごとの支払い金額を算出する。具体的には、課金処理部210は、ユーザから得られた復号鍵の対価から、認証サーバ7を保有するサービス提供者が得る利益(放送局1と認証サーバ7を保有するサービス提供者との契約により決められるものであり、所定の金額であっても、復号鍵の対価のうちの何割かであっても良い)を引いた金額を算出し、放送局ごとの支払い金額とする。   In step S205, the billing processing unit 210 calculates a payment amount for each broadcasting station based on the calculation result in step S204. Specifically, the billing processing unit 210 obtains profits (between the broadcasting station 1 and the service provider holding the authentication server 7) that the service provider holding the authentication server 7 obtains from the consideration of the decryption key obtained from the user. It is determined by the contract, and even if it is a predetermined amount, it may be a fraction of the consideration of the decryption key), and the amount is calculated as a payment amount for each broadcasting station.

ステップS206において、課金処理部210は、ステップS205の処理によって算出された支払い金額を基に、それぞれの放送局へ対価を支払う処理を実行し、処理が終了される。具体的には、課金処理部210は、放送局1により指定された金融機関(例えば、銀行など)が保有する図示しない課金サーバに、インターネット5、または、所定の専用線を介してアクセスし、ステップS205において算出された支払い金額を、指定された口座に振り込むために必要な情報を送信する。   In step S206, the billing processing unit 210 executes a process of paying consideration to each broadcasting station based on the payment amount calculated by the process of step S205, and the process is terminated. Specifically, the billing processing unit 210 accesses a billing server (not shown) owned by a financial institution (for example, a bank) designated by the broadcasting station 1 via the Internet 5 or a predetermined dedicated line, Information necessary for transferring the payment amount calculated in step S205 to the designated account is transmitted.

このような処理により、メタデータの復号に用いられる復号鍵の配布に対する対価の課金処理を行うことができる。また、この復号鍵の購入によりユーザから得られた対価のうちの少なくとも一部は、表示選択字幕データを作成した放送局1に支払われるので、表示選択字幕が付加された番組の割合が増えることが予測され、聴覚障害者がより多くの番組を楽しむことができるようになる。   With such a process, it is possible to perform a billing process for a fee for distributing a decryption key used for decrypting metadata. Further, since at least a part of the consideration obtained from the user by purchasing the decryption key is paid to the broadcasting station 1 that created the display selection subtitle data, the ratio of the program with the display selection subtitle added increases. Is predicted, and hearing-impaired persons can enjoy more programs.

以上説明した処理においては、ユーザが保有する録画装置9は、インターネット5を介して、メタデータ生成サーバ6により生成された、暗号化されたメタデータをダウンロードし、認証サーバ7から、メタデータを復号するための復号鍵を購入して、メタデータを復号して検索処理に利用するものとして説明したが、メタデータは、表示選択字幕データに対応するテキストデータを基に生成されるので、表示選択字幕デコーダにおいて表示選択字幕データをデコードするとともに、メタデータを作成し、録画装置において、表示選択字幕デコーダで作成されたメタデータを用いて、サムネイルを生成して表示させる処理、および、ユーザが所望する再生開始位置を検索する処理を行うようにしても良い。   In the processing described above, the recording device 9 owned by the user downloads the encrypted metadata generated by the metadata generation server 6 via the Internet 5 and receives the metadata from the authentication server 7. Although it has been explained that a decryption key for decryption is purchased and the metadata is decrypted and used for the search process, the metadata is generated based on the text data corresponding to the display selection subtitle data. The selected subtitle decoder decodes the display selected subtitle data, generates metadata, and the recording device uses the metadata generated by the display selected subtitle decoder to generate and display a thumbnail, and the user A process for searching for a desired reproduction start position may be performed.

図29は、表示選択字幕データをデコードするとともに、メタデータを作成することができるようになされている表示選択字幕デコーダ361と、表示選択字幕デコーダ361で作成されたメタデータを用いて検索処理を行うことができるようになされている録画装置362とで構成された、ホームサーバ351の構成を示すブロック図である。   In FIG. 29, the display selection subtitle data is decoded and the search processing is performed using the display selection subtitle decoder 361 capable of generating metadata and the metadata generated by the display selection subtitle decoder 361. It is a block diagram which shows the structure of the home server 351 comprised by the video recording apparatus 362 made so that it can perform.

なお、図3における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。   Note that portions corresponding to those in FIG. 3 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.

すなわち、図29の表示選択字幕デコーダ361は、表示選択字幕データデコーダ35によりデコードされた表示選択字幕データからメタデータを作成するために必要な、表示選択字幕データ解析部371、タイムコード対応付け処理部372、タイマ373、メタデータ生成部374、および、作成されたメタデータを録画装置362に出力するための出力端子361が新たに備えられている以外は、図3における表示選択字幕デコーダ8と基本的に同様の構成を有するものであり、録画装置362は、作成されたメタデータの選択を受け、メタデータ生成部78に供給する入力端子381が新たに備えられ、ネットワークインターフェース73、暗号化メタデータ記憶部75、復号鍵記憶部76、および復号処理部77が省略されている以外は、図3における録画装置9と基本的に同様の構成を有するものである。   That is, the display selection subtitle decoder 361 shown in FIG. 29 includes a display selection subtitle data analysis unit 371 and a time code association process necessary for creating metadata from the display selection subtitle data decoded by the display selection subtitle data decoder 35. 3 except that a display unit 372, a timer 373, a metadata generation unit 374, and an output terminal 361 for outputting the created metadata to the recording device 362 are newly provided. The recording device 362 basically has the same configuration, and the recording device 362 is newly provided with an input terminal 381 that receives selection of the created metadata and supplies it to the metadata generation unit 78, and includes a network interface 73, encryption. The metadata storage unit 75, the decryption key storage unit 76, and the decryption processing unit 77 are omitted. Outside those having basically the same configuration as the recording apparatus 9 in FIG.

表示選択字幕データ解析部371は、表示選択字幕データデコーダ35から供給された、表示選択字幕データに対応するテキストデータを、適切な長さのテキスト群に分割(例えば、一度に表示されるテキストを1つのテキスト群として分割)し、分割されたテキスト群をタイムコード対応付け処理部372に供給する。   The display selection subtitle data analysis unit 371 divides the text data corresponding to the display selection subtitle data supplied from the display selection subtitle data decoder 35 into a text group of an appropriate length (for example, text displayed at a time). Are divided as one text group), and the divided text group is supplied to the time code association processing unit 372.

タイムコード対応付け処理部372は、タイマ373を参照して、供給されたテキスト群のそれぞれに対して、テキストの開始位置および終了位置に対応するタイムコードを対応付ける。タイムコード対応付け処理部372は、リアルタイムで(すなわち、番組の放送時刻に)放送信号が取得された場合、タイマ373が示す現在時刻に基づいて、タイムコードをテキストデータに対応付けるものとする。   The time code association processing unit 372 refers to the timer 373 and associates a time code corresponding to the start position and end position of the text with each of the supplied text groups. When the broadcast signal is acquired in real time (that is, at the broadcast time of the program), the time code association processing unit 372 associates the time code with the text data based on the current time indicated by the timer 373.

メタデータ生成部374は、タイムコード対応付け処理部372から供給されたタイムコードが対応付けられたテキストデータに、番組ID情報抽出部39から供給された番組ID情報を対応付けてメタデータを生成し、出力端子361を介して、録画装置362に供給する。   The metadata generation unit 374 generates metadata by associating the program ID information supplied from the program ID information extraction unit 39 with the text data associated with the time code supplied from the time code association processing unit 372. Then, the data is supplied to the recording device 362 via the output terminal 361.

なお、タイマ373は、絶対時刻がカウント可能なものであれば、タイマ40と同一であっても、異なるタイマであっても良いことは言うまでもない。   Needless to say, the timer 373 may be the same as or different from the timer 40 as long as the absolute time can be counted.

図29の表示選択字幕デコーダ361と、録画装置362とが用いられている場合、図1のメタデータ作成サーバ6および認証サーバ7の処理は省略される。したがって、図29の表示選択字幕デコーダ361と、録画装置362とが用いられているシステムにおいては、図13を用いて説明したメタデータ作成処理1、図14を用いて説明したユーザ登録処理、図15を用いて説明したメタデータ供給処理、および、図16を用いて説明した復号鍵供給制御処理が省略され、図11を用いて説明した表示選択字幕デコーダの処理1に代わって、図30を用いて後述する表示選択字幕デコーダの処理2が実行され、図17を用いて説明したメタデータ記憶処理1に代わって、図32を用いて後述するメタデータ記憶処理2が実行される。   When the display selection subtitle decoder 361 and the recording device 362 of FIG. 29 are used, the processes of the metadata creation server 6 and the authentication server 7 of FIG. 1 are omitted. Therefore, in the system in which the display selection subtitle decoder 361 and the recording device 362 shown in FIG. 29 are used, the metadata creation process 1 described using FIG. 13 and the user registration process described using FIG. The metadata supply process described with reference to FIG. 15 and the decryption key supply control process described with reference to FIG. 16 are omitted, and instead of the process 1 of the display selection subtitle decoder described with reference to FIG. The display selection subtitle decoder process 2 described later is executed, and the metadata storage process 2 described later with reference to FIG. 32 is executed instead of the metadata storage process 1 described with reference to FIG.

また、録画装置362においては、図19を用いて説明したサムネイル生成処理、並びに、図27を用いて説明したサムネイル画面表示および検索処理と同様の処理が実行されるので、その説明は省略する。   In the recording device 362, the thumbnail generation process described with reference to FIG. 19 and the thumbnail screen display and search process described with reference to FIG. 27 are executed.

次に、図30のフローチャートを参照して、図29の表示選択字幕デコーダ361が実行する表示選択字幕デコーダの処理2について説明する。   Next, processing 2 of the display selection subtitle decoder executed by the display selection subtitle decoder 361 of FIG. 29 will be described with reference to the flowchart of FIG.

ステップS241乃至ステップS246において、図11を用いて説明したステップS1乃至ステップS6と同様の処理が実行される。   In steps S241 through S246, the same processing as in steps S1 through S6 described with reference to FIG. 11 is executed.

すなわち、映像信号デコーダ31および音声信号デコーダ34において、番組放送信号(映像信号および音声信号)の入力を受けて、入力された番組放送信号がデコードされ、ユーザにより番組の視聴が指令されているか否かが判断される。番組の視聴が指令されていると判断された場合、表示選択字幕の表示が指令されているか否かが判断され、表示選択字幕の表示が指令されていると判断された場合、表示選択字幕データデコーダ35で、表示選択字幕データがデコードされて、映像データに重畳されて、テレビジョン受像機2に出力される。表示選択字幕の表示が指令されていないと判断された場合、表示選択字幕データはデコードされず、デコードされた映像データおよび音声データが、テレビジョン受像機2に出力される。   That is, the video signal decoder 31 and the audio signal decoder 34 receive the input of the program broadcast signal (video signal and audio signal), the input program broadcast signal is decoded, and whether or not the user is instructed to view the program. Is judged. When it is determined that viewing of the program is instructed, it is determined whether display subtitle display is instructed. When it is determined that display subtitle display is instructed, display subtitle data is displayed. The decoder 35 decodes the display selection subtitle data, superimposes it on the video data, and outputs it to the television receiver 2. When it is determined that the display selection subtitle display is not instructed, the display selection subtitle data is not decoded, and the decoded video data and audio data are output to the television receiver 2.

そして、ステップS246において、番組の録画が指令されているか否かが判断される。ステップS246において、番組の録画が指令されていないと判断された場合、処理が終了される。   Then, in step S246, it is determined whether or not recording of a program is instructed. If it is determined in step S246 that recording of a program has not been instructed, the process ends.

ステップS246において、番組の録画が指令されたと判断された場合、ステップS247において、上述した録画データ作成処理が実行される。   If it is determined in step S246 that the recording of the program has been instructed, the above-described recording data creation process is executed in step S247.

ステップS248において、出力信号生成部33は、ステップS247の処理により作成された録画データを、出力端子23−1および出力端子23−2を介して、録画装置362に供給する。   In step S248, the output signal generation unit 33 supplies the recording data created by the process of step S247 to the recording device 362 via the output terminal 23-1 and the output terminal 23-2.

ステップS249において、図31を用いて後述するメタデータ作成処理2が実行される。   In step S249, metadata creation processing 2 described later with reference to FIG. 31 is executed.

ステップS250において、メタデータ生成部374は、ステップS249の処理によって作成されたメタデータを、出力端子361を介して録画装置362に出力し、処理が終了される。   In step S250, the metadata generation unit 374 outputs the metadata created by the process of step S249 to the recording device 362 via the output terminal 361, and the process ends.

次に、図31のフローチャートを参照して、図30のステップS249において実行される、メタデータ作成処理2について説明する。   Next, the metadata creation process 2 executed in step S249 in FIG. 30 will be described with reference to the flowchart in FIG.

ステップS261において、番組ID情報抽出部39は、メモリ32に保存された映像データに含まれる番組管理情報から、番組を認識するための番組固有の情報である番組IDを抽出し、番組IDをメタデータ生成部374に供給する   In step S261, the program ID information extraction unit 39 extracts a program ID, which is program-specific information for recognizing the program, from the program management information included in the video data stored in the memory 32, and converts the program ID into the meta data. Supply to data generator 374

ステップS262において、表示選択字幕データデコーダ35は、メモリ32に保存された映像データを取得し、取得された映像データから表示選択字幕データを抽出してデコードし、表示選択字幕データ解析部371に供給する。   In step S262, the display selection subtitle data decoder 35 acquires the video data stored in the memory 32, extracts the display selection subtitle data from the acquired video data, decodes it, and supplies it to the display selection subtitle data analysis unit 371. To do.

ステップS263において、表示選択字幕データ解析部371は、表示選択字幕データに対応するテキストデータを解析し、所定の長さ(例えば、表示が選択された場合に一度に表示される所定の文字数や、ユーザが所定の時間で読解することが可能な程度の長さ)のテキスト群に分解して、タイムコード対応付け処理部372に供給する。   In step S263, the display selection subtitle data analysis unit 371 analyzes text data corresponding to the display selection subtitle data, and determines a predetermined length (for example, a predetermined number of characters displayed at a time when display is selected, It is divided into text groups of such a length that can be read by the user in a predetermined time, and supplied to the time code association processing unit 372.

ステップS264において、タイムコード対応付け処理部372は、供給されたテキスト群に対して、タイマ373を参照して、開始時刻と終了時刻のタイムコードをそれぞれ対応付け、メタデータ生成部374に供給する。   In step S264, the time code association processing unit 372 refers to the timer 373 with respect to the supplied text group, associates the time codes of the start time and the end time, and supplies them to the metadata generation unit 374. .

ステップS265において、メタデータ生成部374は、タイムコード対応付け処理部372から供給されたタイムコード付のテキストデータ群に、番組ID情報抽出部39から供給された番組IDを対応付けて、図7を用いて説明したメタデータ161を作成して、出力端子361を介して、録画装置362に供給して、処理が終了される。   In step S265, the metadata generation unit 374 associates the program ID supplied from the program ID information extraction unit 39 with the text data group with the time code supplied from the time code association processing unit 372, so that FIG. The metadata 161 described with reference to is created and supplied to the recording device 362 via the output terminal 361, and the processing is terminated.

このような処理により、表示選択字幕デコーダ361は、ユーザの操作入力に基づいて、受信された放送信号を視聴するときに、表示選択字幕をデコードして映像に重畳させて表示させたり、表示選択字幕に対応するテキストデータを検索処理に用いることが可能な録画データを生成して、録画装置362に供給して録画させるのみならず、デコードされた表示選択字幕に対応するテキストデータを用いて、メタデータを生成して、録画装置362に供給することが可能となる。そして、録画装置362は、表示選択字幕デコーダ361からメタデータの供給を受けて、メタデータ記憶部78に記憶させ、図3を用いて説明した録画装置9と同様にして、サムネイル作成処理、並びに、サムネイル画面表示および検索処理を実行する。   By such processing, the display selection subtitle decoder 361 decodes the display selection subtitles and displays them on the video when viewing the received broadcast signal based on the user's operation input, Recording data that can use text data corresponding to subtitles for search processing is generated and supplied to the recording device 362 for recording, as well as using text data corresponding to decoded display selection subtitles, Metadata can be generated and supplied to the recording device 362. Then, the recording device 362 receives the supply of metadata from the display selection subtitle decoder 361, stores it in the metadata storage unit 78, and performs the thumbnail creation process, as well as the recording device 9 described with reference to FIG. Execute thumbnail screen display and search processing.

なお、映像データに番組管理情報が含まれていない場合、番組ID情報抽出部39は、時刻情報を取得して、番組ID情報を生成することができるようにしても良い。   When the program management information is not included in the video data, the program ID information extraction unit 39 may acquire the time information and generate the program ID information.

次に、図32を参照して、録画装置362で実行されるメタデータ記憶処理2について説明する。   Next, with reference to FIG. 32, the metadata storage process 2 executed by the recording device 362 will be described.

ステップS281において、入力端子381は、表示選択字幕デコーダ361で生成されたメタデータを取得して、メタデータ記憶部78に供給する。   In step S281, the input terminal 381 acquires the metadata generated by the display selection subtitle decoder 361 and supplies the metadata to the metadata storage unit 78.

ステップS282において、メタデータ記憶部78は、供給されたメタデータを記憶して、処理が終了される。   In step S282, the metadata storage unit 78 stores the supplied metadata, and the process ends.

このようにして録画装置362に記憶されたメタデータは、録画装置362において、図19を用いて説明したサムネイル生成処理、並びに、図27を用いて説明したサムネイル画面表示および検索処理が実行される場合に利用される。   The metadata stored in the recording device 362 in this way is executed by the recording device 362 in the thumbnail generation process described with reference to FIG. 19 and the thumbnail screen display and search process described with reference to FIG. Used in cases.

また、表示選択字幕デコーダにおいて作成されたメタデータを暗号化して録画装置に供給することにより、認証サーバ7による復号鍵の配布と課金処理を実行させるようにすることができる。   Also, by encrypting the metadata created in the display selection subtitle decoder and supplying it to the recording device, it is possible to execute the distribution of the decryption key and the billing process by the authentication server 7.

図33は、表示選択字幕データをデコードするとともに、メタデータを作成して暗号化することができるようになされている表示選択字幕デコーダ401と、表示選択字幕デコーダ401で作成されたメタデータを用いて検索処理を行うことができるようになされている録画装置402とで構成された、ホームサーバ391の構成を示すブロック図である。   FIG. 33 uses the display selection subtitle decoder 401 configured to decode the display selection subtitle data and generate and encrypt the metadata, and the metadata generated by the display selection subtitle decoder 401. It is a block diagram which shows the structure of the home server 391 comprised with the video recording apparatus 402 comprised so that search processing can be performed.

なお、図3、または、図29における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。   Note that portions corresponding to those in FIG. 3 or FIG. 29 are denoted by the same reference numerals, and description thereof is omitted as appropriate.

すなわち、図33の表示選択字幕デコーダ401は、番組ID情報抽出部411から供給された情報を用いて暗号鍵を生成して、メタデータ生成部374により作成されたメタデータを暗号化する暗号化処理部412が新たに備えられ、番組ID情報抽出部39に代わって、番組管理情報から、番組を固有に区別可能な番組ID情報を抽出し、更に、番組管理情報に含まれる情報のうち、暗号鍵を生成するために利用される情報を抽出して、暗号化処理部412に供給する番組ID情報抽出部411が設けられている以外は、図29における表示選択字幕デコーダ361と基本的に同様の構成を有するものであり、録画装置402は、入力端子381から供給された暗号化メタデータが暗号化メタデータ記憶部75に記憶される以外は、図3における録画装置9と基本的に同様の構成を有するものである。   That is, the display selection subtitle decoder 401 in FIG. 33 generates an encryption key using the information supplied from the program ID information extraction unit 411, and encrypts the metadata created by the metadata generation unit 374. A processing unit 412 is newly provided, and instead of the program ID information extraction unit 39, program ID information that can uniquely distinguish a program is extracted from the program management information, and among the information included in the program management information, Basically the display selection subtitle decoder 361 in FIG. 29 is provided except that a program ID information extraction unit 411 that extracts information used to generate an encryption key and supplies the information to the encryption processing unit 412 is provided. The recording apparatus 402 has the same configuration as that shown in FIG. 3 except that the encrypted metadata supplied from the input terminal 381 is stored in the encrypted metadata storage unit 75. And it has a definitive recording apparatus 9 basically the same configuration.

図33の表示選択字幕デコーダ401と、録画装置402とが用いられている場合、図1のメタデータ作成サーバ6の処理は省略される。したがって、図33の表示選択字幕デコーダ401と、録画装置402とが用いられているシステムにおいては、図13を用いて説明したメタデータ作成処理1、および、図15を用いて説明したメタデータ供給処理が省略され、図30を用いて説明した表示選択字幕デコーダの処理2が実行されるが、そのステップS249において実行されたメタデータ作成処理2に代わって、図34を用いて後述するメタデータ作成処理3が実行され、図17または図32を用いて説明したメタデータ記憶処理に代わって、図35を用いて後述するメタデータ記憶処理3が実行される。   When the display selection subtitle decoder 401 and the recording device 402 in FIG. 33 are used, the processing of the metadata creation server 6 in FIG. 1 is omitted. Therefore, in the system in which the display selection subtitle decoder 401 and the recording device 402 in FIG. 33 are used, the metadata creation process 1 described with reference to FIG. 13 and the metadata supply described with reference to FIG. The processing is omitted, and the processing 2 of the display selection subtitle decoder described with reference to FIG. 30 is executed. Instead of the metadata generation processing 2 executed in step S249, metadata described later with reference to FIG. Creation processing 3 is executed, and metadata storage processing 3 described later with reference to FIG. 35 is executed instead of the metadata storage processing described with reference to FIG. 17 or FIG.

また、認証サーバ7においては、図14を用いて説明したユーザ登録処理、および、図16を用いて説明した復号鍵供給制御処理が実行され、録画装置402においては、図19を用いて説明したサムネイル生成処理、並びに、図27を用いて説明したサムネイル画面表示および検索処理と同様の処理が実行されるので、その説明は省略する。   Further, the user registration process described with reference to FIG. 14 and the decryption key supply control process described with reference to FIG. 16 are executed in the authentication server 7, and the recording apparatus 402 has been described with reference to FIG. Since thumbnail generation processing and processing similar to the thumbnail screen display and search processing described with reference to FIG. 27 are executed, description thereof will be omitted.

図34のフローチャートを参照して、図30のステップS249において実行される、メタデータ作成処理3について説明する。   The metadata creation process 3 executed in step S249 in FIG. 30 will be described with reference to the flowchart in FIG.

ステップS301において、番組ID情報抽出部411は、メモリ32に保存された映像データに含まれる番組管理情報から、番組を認識するための番組固有の情報である番組IDと、暗号鍵を作成するための情報(認証サーバ7の復号鍵記憶部209に保存される復号鍵に対応する暗号鍵を、番組ごとに区別して生成するために利用することが可能な情報であれば、例えば、番組IDでもかまわない)を抽出し、番組IDをメタデータ生成部374に、暗号化に利用する情報を暗号化処理部412に供給する   In step S301, the program ID information extraction unit 411 creates a program ID, which is program-specific information for recognizing a program, and an encryption key from the program management information included in the video data stored in the memory 32. Information (if the information can be used to distinguish and generate the encryption key corresponding to the decryption key stored in the decryption key storage unit 209 of the authentication server 7 for each program, for example, the program ID The program ID is supplied to the metadata generation unit 374 and the information used for encryption is supplied to the encryption processing unit 412.

ステップS302において、表示選択字幕データデコーダ35は、メモリ32に保存された映像データを取得し、取得された映像データから表示選択字幕データを抽出してデコードし、表示選択字幕データ解析部371に供給する。   In step S302, the display selection subtitle data decoder 35 acquires the video data stored in the memory 32, extracts the display selection subtitle data from the acquired video data, decodes it, and supplies it to the display selection subtitle data analysis unit 371. To do.

ステップS303において、表示選択字幕データ解析部371は、表示選択字幕データに対応するテキストデータを解析し、所定の長さ(例えば、表示が選択された場合に一度に表示される所定の文字数や、ユーザが所定の時間で読解することが可能な程度の長さ)のテキスト群に分解して、タイムコード対応付け処理部372に供給する。   In step S303, the display selection subtitle data analysis unit 371 analyzes text data corresponding to the display selection subtitle data, and determines a predetermined length (for example, a predetermined number of characters displayed at one time when display is selected, It is divided into text groups of such a length that can be read by the user in a predetermined time, and supplied to the time code association processing unit 372.

ステップS304において、タイムコード対応付け処理部372は、供給されたテキスト群に対して、タイマ373を参照して、開始時刻と終了時刻のタイムコードをそれぞれ対応付け、メタデータ生成部374に供給する。   In step S304, the time code association processing unit 372 refers to the timer 373 for the supplied text group, associates the time code of the start time and the end time, and supplies the associated time code to the metadata generation unit 374. .

ステップS305において、メタデータ生成部374は、タイムコード対応付け処理部372から供給されたタイムコード付のテキストデータ群に、番組ID情報抽出部39から供給された番組IDを対応付けて、図7を用いて説明したメタデータ161を作成して、暗号化処理部412に供給する。   In step S305, the metadata generation unit 374 associates the program ID supplied from the program ID information extraction unit 39 with the text data group with the time code supplied from the time code association processing unit 372, so that FIG. The metadata 161 described using the above is created and supplied to the encryption processing unit 412.

ステップS306において、暗号化処理部412は、番組ID情報抽出部411から供給された暗号化に利用する情報を基に、認証サーバ7の復号鍵記憶部209に保存される復号鍵に対応する暗号鍵を作成する。   In step S306, the encryption processing unit 412 uses the encryption key corresponding to the decryption key stored in the decryption key storage unit 209 of the authentication server 7 based on the information used for encryption supplied from the program ID information extraction unit 411. Create a key.

ステップS307において、暗号化処理部412は、メタデータ生成部374から供給されたメタデータ161を、ステップS306の処理により生成された暗号鍵で暗号化し、出力端子361を介して、録画装置402に供給して、処理が終了される。   In step S307, the encryption processing unit 412 encrypts the metadata 161 supplied from the metadata generation unit 374 with the encryption key generated by the processing in step S306, and transmits it to the recording device 402 via the output terminal 361. Then, the process is terminated.

このような処理により、表示選択字幕デコーダ401は、ユーザの操作入力に基づいて、受信された放送信号を視聴するときに、表示選択字幕をデコードして映像に重畳させて表示させたり、表示選択字幕に対応するテキストデータを検索処理に用いることが可能な録画データを生成して、録画装置402に供給して録画させるのみならず、デコードされた表示選択字幕に対応するテキストデータを用いて、メタデータを生成して、暗号化を施して、録画装置402に供給することが可能となる。そして、録画装置402は、表示選択字幕デコーダ401から暗号化されたメタデータの供給を受けて、図35を用いて後述する処理により、暗号化されたメタデータを復号してメタデータ記憶部78に記憶させ、図3を用いて説明した録画装置9と同様にして、サムネイル作成処理、並びに、サムネイル画面表示および検索処理を実行する。   By such processing, the display selection subtitle decoder 401 decodes the display selection subtitle and superimposes it on the video when viewing the received broadcast signal based on the user's operation input, or displays selection. Recording data that can use text data corresponding to subtitles for search processing is generated and supplied to the recording device 402 for recording, and using text data corresponding to decoded display selection subtitles, Metadata can be generated, encrypted, and supplied to the recording device 402. Then, the recording apparatus 402 receives supply of the encrypted metadata from the display selection subtitle decoder 401, decrypts the encrypted metadata by a process described later with reference to FIG. In the same manner as the recording device 9 described with reference to FIG. 3, thumbnail creation processing, thumbnail screen display and search processing are executed.

なお、映像データに番組管理情報が含まれていない場合、番組ID情報抽出部411は、時刻情報を取得して、番組ID情報を生成することができるようにしても良い。   If the video data does not include program management information, the program ID information extraction unit 411 may acquire time information and generate program ID information.

次に、図35のフローチャートを参照して、図33の録画装置402において実行される、メタデータ記憶処理3について説明する。   Next, the metadata storage process 3 executed in the recording device 402 of FIG. 33 will be described with reference to the flowchart of FIG.

ステップS321において、入力端子381は、表示選択字幕デコーダ401で生成されたメタデータを取得して、暗号化メタデータ記憶部75に供給する。なお、ステップS321の処理は、後述するステップS329が実行される前であれば、いかなるタイミングで実行されても良い。   In step S321, the input terminal 381 acquires the metadata generated by the display selection subtitle decoder 401 and supplies the metadata to the encrypted metadata storage unit 75. Note that the processing in step S321 may be executed at any timing as long as step S329 described later is executed.

ステップS322乃至ステップS331において、図17を用いて説明したステップS142乃至ステップS151と同様の処理が実行されて、処理が終了される。   In steps S322 to S331, processing similar to that in steps S142 to S151 described with reference to FIG. 17 is executed, and the processing is terminated.

すなわち、インターネット5において公開されている、ユーザがメタデータを復号するための復号鍵の購入を要求するためのウェブページにアクセスして、メタデータの利用を希望する番組を指定する情報、すなわち、番組IDで指定される、暗号化されたメタデータを復号するための復号鍵の購入を要求する信号と、例えば、ユーザIDなどの認証処理に必要な情報が、インターネット5を介して、認証サーバ7に送信され、認証サーバ7から供給される信号を基に、正しく認証されたか否かが判断される。正しく認証されたと判断された場合、決済処理に必要な情報が、認証サーバ7に送信され、正しく決済が終了したか否かが判断される。正しく決済が終了したと判断された場合、指定された番組IDに対応する復号鍵が認証サーバ7から送信され、復号鍵記憶部76に記憶され、この復号鍵が用いられて、暗号化メタデータ記憶部75に記憶されている暗号化されたメタデータが復号され、メタデータ記憶部78に、復号済みのメタデータが記憶される。そして、正しく認証されなかったと判断された場合、または、正しく決済が終了しなかったと判断された場合、処理が正しく終了されなかったことを示すエラーメッセージが受信されて、表示部74に表示され、処理が終了される。   That is, information that designates a program that the user desires to use the metadata by accessing a web page for requesting the purchase of a decryption key for decrypting the metadata, which is published on the Internet 5, ie, A signal for requesting the purchase of a decryption key for decrypting the encrypted metadata specified by the program ID and information necessary for authentication processing such as a user ID are sent via the Internet 5 to the authentication server. 7 is determined based on the signal transmitted to the authentication server 7 and supplied from the authentication server 7. When it is determined that the authentication has been correctly performed, information necessary for the settlement process is transmitted to the authentication server 7 and it is determined whether or not the settlement has been correctly completed. When it is determined that the payment has been correctly completed, the decryption key corresponding to the designated program ID is transmitted from the authentication server 7 and stored in the decryption key storage unit 76, and this decryption key is used to encrypt the metadata. The encrypted metadata stored in the storage unit 75 is decrypted, and the decrypted metadata is stored in the metadata storage unit 78. When it is determined that the authentication has not been correctly performed or when it has been determined that the payment has not been correctly completed, an error message indicating that the process has not been correctly completed is received and displayed on the display unit 74. Processing is terminated.

このような処理により、暗号化されたメタデータが表示選択字幕デコーダ401から供給され、メタデータを復号するための復号鍵の購入のための処理が実行されて認証サーバ7から取得されるので、表示選択字幕デコーダ401により生成されて暗号化されたメタデータが復号されて、録画装置402の内部に記憶され、図19を用いて説明したサムネイル生成処理、並びに、図27を用いて説明したサムネイル画面表示および検索処理が実行される場合に利用される。   As a result of such processing, encrypted metadata is supplied from the display selection subtitle decoder 401, processing for purchasing a decryption key for decrypting the metadata is executed, and acquired from the authentication server 7. The metadata generated and encrypted by the display selection subtitle decoder 401 is decrypted and stored in the recording device 402, and the thumbnail generation process described with reference to FIG. 19 and the thumbnail described with reference to FIG. Used when screen display and search processing is executed.

以上説明した処理により、表示選択字幕データを用いて、サムネイル画像および対応するテキストデータにより構成されるサムネイルデータが生成され、1番組分のサムネイルデータと番組IDを有するサムネイルデータファイルが生成されて、サムネイル画像/テキストデータ表示画面251の表示が制御される。そして、ユーザは、サムネイル画像/テキストデータ表示画面251を参照することにより、録画した番組を再生することなく、その内容を、簡単に、直感的に理解することができ、更に、サムネイル画像/テキストデータ表示画面251を参照したユーザが、所望のサムネイル画像、または、テキストデータを選択し、確定することにより、ユーザの所望する録画データの再生位置を検索することが可能となる。また、検索処理に利用されるメタデータを復号するための復号鍵を認証サーバ7により有料でユーザに配布するようにすることにより、放送局に対して、表示選択字幕データの作成に対する対価を支払うようにすることができるので、産業の発展に貢献可能であるのみならず、字幕データが放送信号に添付される割合を向上することにつながり、聴覚障害者にとっても非常に有益となる。   Through the processing described above, thumbnail data composed of thumbnail images and corresponding text data is generated using the display-selected caption data, and a thumbnail data file having a program ID and thumbnail data for one program is generated. The display of the thumbnail image / text data display screen 251 is controlled. Then, by referring to the thumbnail image / text data display screen 251, the user can easily and intuitively understand the contents of the recorded program without reproducing it, and further, the thumbnail image / text. The user who refers to the data display screen 251 selects and confirms a desired thumbnail image or text data, thereby searching for the playback position of the recording data desired by the user. In addition, the authentication server 7 distributes a decryption key for decrypting the metadata used for the search process to the user for a fee, thereby paying the broadcast station for the creation of the display selection subtitle data. Therefore, not only can it contribute to the development of the industry, but it also leads to an improvement in the ratio of subtitle data attached to the broadcast signal, which is very useful for the hearing impaired.

上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。   The series of processes described above can also be executed by software. The software is a computer in which the program constituting the software is incorporated in dedicated hardware, or various functions can be executed by installing various programs, for example, a general-purpose personal computer For example, it is installed from a recording medium.

この記録媒体は、図5または図9に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク121(フレキシブルディスクを含む)、光ディスク122(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む)、光磁気ディスク123(MD(Mini-Disc)(商標)を含む)、もしくは半導体メモリ124などよりなるパッケージメディアなどにより構成される。   As shown in FIG. 5 or FIG. 9, the recording medium includes a magnetic disk 121 (including a flexible disk) on which a program is recorded and an optical disk 122 distributed to provide a program to a user separately from the computer. (Including CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc)), magneto-optical disc 123 (including MD (Mini-Disc) (trademark)), or semiconductor memory 124 Etc.

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。   Further, in the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the described order, but may be performed in parallel or It also includes processes that are executed individually.

なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。   In the present specification, the term “system” represents the entire apparatus constituted by a plurality of apparatuses.

また、本明細書において、複数の装置により構成されるシステムの一部、または、全部が実行する処理が、同一の情報処理装置の処理によって実現される場合であっても、または、本明細書において、1つの装置が実行する処理が、複数の情報処理装置の処理によって実現される場合であっても、本発明は適用可能であることは言うまでもない。   Further, in this specification, even when a process executed by a part or all of a system configured by a plurality of apparatuses is realized by the process of the same information processing apparatus, However, it goes without saying that the present invention is applicable even when processing executed by one device is realized by processing of a plurality of information processing devices.

本発明を適用した情報処理システムの構成について説明するための図である。It is a figure for demonstrating the structure of the information processing system to which this invention is applied. 図1の放送局から放送される放送信号について説明するための図である。It is a figure for demonstrating the broadcast signal broadcast from the broadcasting station of FIG. 図1の表示選択字幕デコーダおよび録画装置について説明するためのブロック図である。It is a block diagram for demonstrating the display selection subtitle decoder and recording device of FIG. 図3の表示選択字幕デコーダによって生成される録画データについて説明するための図である。It is a figure for demonstrating the video recording data produced | generated by the display selection subtitle decoder of FIG. 図1のメタデータ作成サーバの構成について説明するためのブロック図である。It is a block diagram for demonstrating the structure of the metadata production server of FIG. 図5のメタデータ作成サーバが実行する処理について説明するための機能ブロック図である。It is a functional block diagram for demonstrating the process which the metadata production server of FIG. 5 performs. メタデータ作成サーバにより作成されるメタデータについて説明するためのブロック図である。It is a block diagram for demonstrating the metadata produced by a metadata production server. メタデータに含まれるキーワードリンク情報について説明するためのブロック図である。It is a block diagram for demonstrating the keyword link information contained in metadata. 図1の認証サーバの構成について説明するためのブロック図である。It is a block diagram for demonstrating the structure of the authentication server of FIG. 図9の認証サーバが実行する処理について説明するための機能ブロック図である。It is a functional block diagram for demonstrating the process which the authentication server of FIG. 9 performs. 表示選択字幕デコーダの処理1について説明するためのフローチャートである。It is a flowchart for demonstrating the process 1 of a display selection subtitle decoder. 録画データ作成処理について説明するためのフローチャートである。It is a flowchart for demonstrating recording data creation processing. メタデータ作成処理1について説明するためのフローチャートである。10 is a flowchart for explaining metadata creation processing 1; ユーザ登録処理について説明するためのフローチャートである。It is a flowchart for demonstrating a user registration process. メタデータ供給処理について説明するためのフローチャートである。It is a flowchart for demonstrating a metadata supply process. 復号鍵供給制御処理について説明するためのフローチャートである。It is a flowchart for demonstrating a decryption key supply control process. メタデータ記憶処理1について説明するためのフローチャートである。5 is a flowchart for explaining metadata storage processing 1; メタデータ取得処理について説明するためのフローチャートである。It is a flowchart for demonstrating a metadata acquisition process. サムネイル生成処理について説明するためのフローチャートである。It is a flowchart for demonstrating a thumbnail production | generation process. サムネイル生成処理において作成されたサムネイル画像およびテキストデータを表示する表示画面について説明するための図である。It is a figure for demonstrating the display screen which displays the thumbnail image and text data which were produced in the thumbnail production | generation process. サムネイル生成処理において作成されたサムネイル画像およびテキストデータを表示する表示画面について説明するための図である。It is a figure for demonstrating the display screen which displays the thumbnail image and text data which were produced in the thumbnail production | generation process. サムネイル生成処理において作成されたサムネイル画像およびテキストデータを表示する表示画面について説明するための図である。It is a figure for demonstrating the display screen which displays the thumbnail image and text data which were produced in the thumbnail production | generation process. サムネイル生成処理において作成されたサムネイル画像およびテキストデータを表示する表示画面について説明するための図である。It is a figure for demonstrating the display screen which displays the thumbnail image and text data which were produced in the thumbnail production | generation process. サムネイル生成処理において作成されたサムネイル画像およびテキストデータを表示する表示画面について説明するための図である。It is a figure for demonstrating the display screen which displays the thumbnail image and text data which were produced in the thumbnail production | generation process. サムネイル生成処理において作成されたサムネイル画像を表示する表示画面について説明するための図である。It is a figure for demonstrating the display screen which displays the thumbnail image produced in the thumbnail production | generation process. サムネイル生成処理において作成されたテキストデータを表示する表示画面について説明するための図である。It is a figure for demonstrating the display screen which displays the text data produced in the thumbnail production | generation process. サムネイル画面表示および検索処理について説明するためのフローチャートである。It is a flowchart for demonstrating a thumbnail screen display and a search process. 課金処理について説明するためのフローチャートである。It is a flowchart for demonstrating an accounting process. 表示選択字幕デコーダおよび録画装置の異なる構成について説明するためのブロック図である。It is a block diagram for demonstrating the different structure of a display selection subtitle decoder and a video recording apparatus. 表示選択字幕デコーダの処理2について説明するためのフローチャートである。It is a flowchart for demonstrating the process 2 of a display selection subtitle decoder. メタデータ作成処理2について説明するためのフローチャートである。10 is a flowchart for explaining metadata creation processing 2; メタデータ記憶処理2について説明するためのフローチャートである。10 is a flowchart for explaining metadata storage processing 2; 表示選択字幕デコーダおよび録画装置の異なる構成について説明するためのブロック図である。It is a block diagram for demonstrating the different structures of a display selection subtitle decoder and a video recording apparatus. メタデータ作成処理3について説明するためのフローチャートである。10 is a flowchart for explaining metadata creation processing 3; メタデータ記憶処理3について説明するためのフローチャートである。10 is a flowchart for explaining metadata storage processing 3;

符号の説明Explanation of symbols

1 放送局
2 テレビジョン受像機
3 ホームサーバ
5 インターネット
6 メタデータ作成サーバ
7 認証サーバ
8 表示選択字幕デコーダ
9 録画装置
15 映像データ
16 音声データ
17 表示選択字幕データ
21 入力端子
33 出力信号生成部
35 表示選択字幕データデコーダ
36 OSD
37 合成処理部
39 番組ID情報抽出部
40 タイマ
41 操作入力部
71 操作入力部
72 録画データ記憶部
73 ネットワークインターフェース
77 復号処理部
78 メタデータ記憶部
79 サムネイル生成部
80 サムネイル画面表示制御部
81 録画データ検索出力部
95 録画開始時刻情報
141 放送データ取得部
143 番組ID情報抽出部
144 メタデータ生成部
145 表示選択字幕データデコーダ
147 タイムコード対応付け処理部
149 暗号化処理部
152 メタデータ供給制御部
161 メタデータ
165 テキストデータ
166 タイムコード
167 番組ID
204 操作入力情報取得部
205 ユーザ情報登録処理部
206 ユーザ情報データベース
207 認証処理部
208 鍵供給処理部
210 課金処理部
211 課金情報データベース
251 サムネイル画像/テキストデータ表示画面
261 動画像表示エリア
262 サムネイル画像表示エリア
263 テキスト表示エリア
264 矢印ボタン
265 リンクテキスト
351 ホームサーバ
361 表示選択字幕デコーダ
362 録画装置
372 タイムコード対応付け処理部
374 メタデータ生成部
391 ホームサーバ
401 表示選択字幕デコーダ
402 録画装置
412 暗号化処理部
DESCRIPTION OF SYMBOLS 1 Broadcasting station 2 Television receiver 3 Home server 5 Internet 6 Metadata production server 7 Authentication server 8 Display selection subtitle decoder 9 Recording apparatus 15 Video data 16 Audio data 17 Display selection subtitle data 21 Input terminal 33 Output signal generation part 35 Display Selected subtitle data decoder 36 OSD
37 Compositing processing section 39 Program ID information extracting section 40 Timer 41 Operation input section 71 Operation input section 72 Recording data storage section 73 Network interface 77 Decoding processing section 78 Metadata storage section 79 Thumbnail generation section 80 Thumbnail screen display control section 81 Recording data Search output unit 95 Recording start time information 141 Broadcast data acquisition unit 143 Program ID information extraction unit 144 Metadata generation unit 145 Display selection subtitle data decoder 147 Time code association processing unit 149 Encryption processing unit 152 Metadata supply control unit 161 Meta Data 165 Text data 166 Time code 167 Program ID
204 Operation Input Information Acquisition Unit 205 User Information Registration Processing Unit 206 User Information Database 207 Authentication Processing Unit 208 Key Supply Processing Unit 210 Charging Processing Unit 211 Accounting Information Database 251 Thumbnail Image / Text Data Display Screen 261 Moving Image Display Area 262 Thumbnail Image Display Area 263 Text display area 264 Arrow button 265 Link text 351 Home server 361 Display selection subtitle decoder 362 Recording device 372 Time code association processing unit 374 Metadata generation unit 391 Home server 401 Display selection subtitle decoder 402 Recording device 412 Encryption processing unit

Claims (12)

第1の時刻情報が対応付けられた録画データを記憶する録画データ記憶手段と、
前記録画データの番組を区別するための区別情報、前記録画データに関するテキストデータ、および、前記テキストデータに対応する第2の時刻情報を含むメタデータを記憶するメタデータ記憶手段と、
前記録画データ記憶手段により記憶されている前記録画データと、前記メタデータ記憶手段により記憶されている前記メタデータを基に、サムネイル画像データ、前記テキストデータ、および、前記テキストデータに対応する前記第2の時刻情報で構成されるサムネイルデータを生成するサムネイルデータ生成手段と
を備え、
前記メタデータは、複数の前記テキストデータ、および、前記テキストデータに対応する前記第2の時刻情報を含み、
前記第2の時刻情報は、前記録画データ記憶手段により記憶されている前記録画データが表示され、複数の前記テキストデータが表示される場合の、それぞれの前記テキストデータの表示開始時刻を少なくとも含み、
前記サムネイルデータ生成手段は、複数の前記テキストデータそれぞれに対応する前記第2の時刻情報の前記表示開始時刻に基づいた所定の時刻の前記録画データの画像情報を抽出して、前記サムネイル画像データを生成する
ことを特徴とする情報処理装置。
Recording data storage means for storing recording data associated with the first time information;
Metadata storage means for storing identification information for distinguishing programs of the recorded data, text data relating to the recorded data, and metadata including second time information corresponding to the text data;
Based on the recording data stored by the recording data storage means and the metadata stored by the metadata storage means, thumbnail image data, the text data, and the text data corresponding to the text data Thumbnail data generating means for generating thumbnail data composed of time information of 2,
The metadata includes a plurality of the text data and the second time information corresponding to the text data,
The second time information includes at least a display start time of each of the text data when the recorded data stored by the recorded data storage means is displayed and a plurality of the text data is displayed.
The thumbnail data generation means extracts image information of the recorded data at a predetermined time based on the display start time of the second time information corresponding to each of the plurality of text data, and extracts the thumbnail image data. An information processing apparatus characterized by generating.
前記サムネイルデータ生成手段により生成された前記サムネイルデータのうちの少なくとも一部の表示を制御する表示制御手段を更に備える
ことを特徴とする請求項1に記載の情報処理装置。
The information processing apparatus according to claim 1, further comprising display control means for controlling display of at least a part of the thumbnail data generated by the thumbnail data generation means.
前記表示制御手段により表示が制御されている前記サムネイルデータに対応する表示画面を参照したユーザの操作入力を受ける操作入力手段と、
前記操作入力手段により入力された、前記表示制御手段により表示が制御されている前記サムネイルデータに対応する位置を再生開始位置として指定する操作入力を基に、前記録画データ記憶手段により記憶されている前記録画データから、前記サムネイルデータに含まれている前記第2の時刻情報に基づいて再生開始位置を検索し、検索された再生開始位置から開始される前記録画データを読み出す検索手段と
を更に備えることを特徴とする請求項2に記載の情報処理装置。
An operation input means for receiving a user operation input referring to a display screen corresponding to the thumbnail data whose display is controlled by the display control means;
Based on the operation input that is input by the operation input unit and that specifies the position corresponding to the thumbnail data whose display is controlled by the display control unit as the playback start position, the recorded data is stored by the recording data storage unit. Search means for searching from the recorded data for a playback start position based on the second time information included in the thumbnail data, and for reading the recorded data starting from the searched playback start position. The information processing apparatus according to claim 2.
前記表示制御手段は、
前記録画データ記憶手段により記憶されている前記録画データに対応する動画像の表示を更に制御するとともに、
前記動画像と、前記サムネイルデータ生成手段により生成された複数の前記サムネイルデータに含まれている前記サムネイル画像のうちの少なくとも1つ、および前記サムネイル画像に対応する前記テキストデータが、1画面中に表示されるように、前記サムネイルデータおよび前記動画像の表示を制御する
ことを特徴とする請求項2に記載の情報処理装置。
The display control means includes
While further controlling the display of the moving image corresponding to the recording data stored by the recording data storage means,
The moving image, at least one of the thumbnail images included in the plurality of thumbnail data generated by the thumbnail data generation unit, and the text data corresponding to the thumbnail image are included in one screen. The information processing apparatus according to claim 2, wherein display of the thumbnail data and the moving image is controlled so as to be displayed.
前記表示制御手段は、前記サムネイルデータ生成手段により生成された複数の前記サムネイルデータに含まれている前記サムネイル画像が表示画面中に1つ表示され、前記サムネイル画像に対応する前記テキストデータが、前記サムネイル画像上に重畳されて表示されるように、前記サムネイルデータの表示を制御する
ことを特徴とする請求項2に記載の情報処理装置。
The display control means displays one thumbnail image included in the plurality of thumbnail data generated by the thumbnail data generation means on a display screen, and the text data corresponding to the thumbnail image The information processing apparatus according to claim 2, wherein display of the thumbnail data is controlled so that the thumbnail data is superimposed on the thumbnail image.
前記表示制御手段は、前記サムネイルデータ生成手段により生成された複数の前記サムネイルデータに含まれている複数の前記サムネイル画像と、前記サムネイル画像に対応する前記テキストデータが、所定の配列で表示されるように、前記サムネイルデータの表示を制御する
ことを特徴とする請求項2に記載の情報処理装置。
The display control unit displays the plurality of thumbnail images included in the plurality of thumbnail data generated by the thumbnail data generation unit and the text data corresponding to the thumbnail images in a predetermined arrangement. The information processing apparatus according to claim 2, wherein display of the thumbnail data is controlled as described above.
前記表示制御手段は、前記サムネイルデータ生成手段により生成された複数の前記サムネイルデータに含まれている複数の前記サムネイル画像が、所定の配列で表示されるように、前記サムネイルデータの表示を制御する
ことを特徴とする請求項2に記載の情報処理装置。
The display control unit controls display of the thumbnail data so that a plurality of the thumbnail images included in the plurality of thumbnail data generated by the thumbnail data generation unit are displayed in a predetermined arrangement. The information processing apparatus according to claim 2.
前記表示制御手段は、前記サムネイルデータ生成手段により生成された複数の前記サムネイルデータに含まれている複数の前記テキストデータが、所定の配列で表示されるように、前記サムネイルデータの表示を制御する
ことを特徴とする請求項2に記載の情報処理装置。
The display control unit controls the display of the thumbnail data so that the plurality of text data included in the plurality of thumbnail data generated by the thumbnail data generation unit are displayed in a predetermined arrangement. The information processing apparatus according to claim 2.
所定の記憶部に録画データを記憶可能な情報処理装置の情報処理方法において、
前記録画データの番組を区別するための区別情報、前記録画データに関するテキストデータ、および、前記テキストデータに対応する第2の時刻情報を含むメタデータの記憶を制御するメタデータ記憶制御ステップと、
前記録画データと、前記メタデータ記憶制御ステップの処理により記憶が制御されている前記メタデータを基に、サムネイル画像データ、前記テキストデータ、および、前記テキストデータに対応する前記第2の時刻情報で構成されるサムネイルデータを生成するサムネイルデータ生成ステップと
を含み、
前記メタデータは、複数の前記テキストデータ、および、前記テキストデータに対応する前記第2の時刻情報を含み、
前記第2の時刻情報は、前記所定の記憶部により記憶されている前記録画データが表示され、複数の前記テキストデータが表示される場合の、それぞれの前記テキストデータの表示開始時刻を少なくとも含み、
前記サムネイルデータ生成ステップの処理では、複数の前記テキストデータそれぞれに対応する前記第2の時刻情報の前記表示開始時刻に基づいた所定の時刻の前記録画データの画像情報が抽出されて、前記サムネイル画像データが生成される
ことを特徴とする情報処理方法。
In an information processing method of an information processing apparatus capable of storing recorded data in a predetermined storage unit,
Metadata storage control step for controlling storage of metadata including discrimination information for distinguishing programs of the recorded data, text data related to the recorded data, and second time information corresponding to the text data;
Based on the recorded data and the metadata whose storage is controlled by the processing of the metadata storage control step, the thumbnail image data, the text data, and the second time information corresponding to the text data A thumbnail data generation step for generating thumbnail data to be configured, and
The metadata includes a plurality of the text data and the second time information corresponding to the text data,
The second time information includes at least a display start time of each of the text data when the recorded data stored in the predetermined storage unit is displayed and a plurality of the text data is displayed.
In the processing of the thumbnail data generation step, image information of the recording data at a predetermined time based on the display start time of the second time information corresponding to each of the plurality of text data is extracted, and the thumbnail image is extracted. An information processing method characterized in that data is generated.
サムネイルデータを生成する処理をコンピュータに実行させるためのプログラムであって、
前記録画データの番組を区別するための区別情報、前記録画データに関するテキストデータ、および、前記テキストデータに対応する第2の時刻情報を含むメタデータの記憶を制御するメタデータ記憶制御ステップと、
前記録画データと、前記メタデータ記憶制御ステップの処理により記憶が制御されている前記メタデータを基に、サムネイル画像データ、前記テキストデータ、および、前記テキストデータに対応する前記第2の時刻情報で構成される前記サムネイルデータを生成するサムネイルデータ生成ステップと
を含み、
前記メタデータは、複数の前記テキストデータ、および、前記テキストデータに対応する前記第2の時刻情報を含み、
前記第2の時刻情報は、所定の記憶部により記憶されている前記録画データが表示され、複数の前記テキストデータが表示される場合の、それぞれの前記テキストデータの表示開始時刻を少なくとも含み、
前記サムネイルデータ生成ステップの処理では、複数の前記テキストデータそれぞれに対応する前記第2の時刻情報の前記表示開始時刻に基づいた所定の時刻の前記録画データの画像情報が抽出されて、前記サムネイル画像データが生成される
ことを特徴とする処理をコンピュータに実行させるためのプログラム。
A program for causing a computer to execute processing for generating thumbnail data,
Metadata storage control step for controlling storage of metadata including discrimination information for distinguishing programs of the recorded data, text data related to the recorded data, and second time information corresponding to the text data;
Based on the recorded data and the metadata whose storage is controlled by the processing of the metadata storage control step, the thumbnail image data, the text data, and the second time information corresponding to the text data A thumbnail data generation step for generating the thumbnail data configured;
The metadata includes a plurality of the text data and the second time information corresponding to the text data,
The second time information includes at least a display start time of each of the text data when the recorded data stored in a predetermined storage unit is displayed and a plurality of the text data is displayed.
In the processing of the thumbnail data generation step, image information of the recording data at a predetermined time based on the display start time of the second time information corresponding to each of the plurality of text data is extracted, and the thumbnail image is extracted. A program for causing a computer to execute a process characterized by generating data.
放送信号を取得して処理する第1の情報処理装置と、
サムネイルデータを生成する第2の情報処理装置と、
前記第2の情報処理装置で利用されるメタデータを生成する第3の情報処理装置と、
前記第2の情報処理装置に前記メタデータを復号する復号鍵を供給する第4の情報処理装置と
によって構成される情報処理システムにおいて、
前記第1の情報処理装置は、
前記放送信号を取得する第1の放送信号取得手段と、
前記放送信号の番組を固有に区別可能な区別情報を取得する第1の区別情報取得手段と、
前記第1の放送信号取得手段により取得された放送信号に、第1の時刻情報と、前記第1の区別情報取得手段により取得された区別情報とを対応つけて録画データを生成する録画データ生成手段と
を備え、
前記第2の情報処理装置は、
前記第1の時刻情報が対応付けられた前記録画データを記憶する録画データ記憶手段と、
暗号化された前記メタデータを取得するメタデータ取得手段と、
暗号化された前記メタデータを復号するために用いられる前記復号鍵を取得する復号鍵取得手段と、
前記メタデータ取得手段により取得された暗号化された前記メタデータを、前記復号鍵取得手段により取得された前記復号鍵を用いて復号する復号処理手段と、
前記復号処理手段により復号された、前記区別情報、前記録画データに関するテキストデータ、および、前記テキストデータに対応する第2の時刻情報を含む前記メタデータを記憶するメタデータ記憶手段と、
前記録画データ記憶手段により記憶されている前記録画データと、前記メタデータ記憶手段により記憶されている前記メタデータを基に、サムネイル画像データ、前記テキストデータ、および、前記テキストデータに対応する前記第2の時刻情報で構成される前記サムネイルデータを生成するサムネイルデータ生成手段と
を備え、
前記第3の情報処理装置は、
前記放送信号を取得する第2の放送信号取得手段と、
前記区別情報を取得する第2の区別情報取得手段と、
前記第2の放送信号取得手段により取得された前記放送信号から、ユーザにより表示するか否かを選択することが可能な字幕データを抽出してデコードする字幕データデコード手段と、
字前記幕データデコード手段によりデコードされた前記字幕データに対応するテキストデータにタイムコードを対応付けるタイムコード対応付け処理手段と、
前記タイムコード対応付け処理手段により前記タイムコードが対応付けられた前記テキストデータに、前記第2の区別情報取得手段により取得された前記区別情報を対応付けて、前記メタデータを生成するメタデータ生成手段と、
前記メタデータ生成手段により生成された前記メタデータを暗号化する暗号化手段と
を備え、
前記第4の情報処理装置は、
前記ユーザの登録情報を記憶する登録情報記憶手段と、
前記第2の情報処理装置から、前記ユーザの認証に関する情報を取得する認証情報取得手段と、
前記認証情報取得手段により取得された前記ユーザの認証に関する情報、および、前記登録情報記憶手段により記憶されている前記ユーザの前記登録情報を基に、認証処理を実行する認証処理手段と、
前記認証処理手段により前記ユーザが正しく認証された場合、前記第2の情報処理装置への、前記メタデータを復号する前記復号鍵の供給を制御する復号鍵供給制御手段と
を備えることを特徴とする情報処理システム。
A first information processing apparatus for acquiring and processing a broadcast signal;
A second information processing device for generating thumbnail data;
A third information processing device for generating metadata used in the second information processing device;
An information processing system including: a fourth information processing apparatus that supplies a decryption key for decrypting the metadata to the second information processing apparatus;
The first information processing apparatus includes:
First broadcast signal acquisition means for acquiring the broadcast signal;
First distinction information obtaining means for obtaining distinction information capable of uniquely distinguishing the program of the broadcast signal;
Recording data generation for generating recording data by associating the broadcast signal acquired by the first broadcast signal acquisition unit with the first time information and the discrimination information acquired by the first discrimination information acquisition unit Means and
The second information processing apparatus
Recording data storage means for storing the recording data associated with the first time information;
Metadata acquisition means for acquiring the encrypted metadata;
Decryption key obtaining means for obtaining the decryption key used for decrypting the encrypted metadata;
Decryption processing means for decrypting the encrypted metadata acquired by the metadata acquisition means using the decryption key acquired by the decryption key acquisition means;
Metadata storage means for storing the metadata including the distinction information, the text data related to the recorded data, and the second time information corresponding to the text data, decoded by the decoding processing means;
Based on the recording data stored by the recording data storage means and the metadata stored by the metadata storage means, thumbnail image data, the text data, and the text data corresponding to the text data Thumbnail data generating means for generating the thumbnail data composed of time information of 2;
The third information processing apparatus
Second broadcast signal acquisition means for acquiring the broadcast signal;
Second distinction information acquisition means for acquiring the distinction information;
Subtitle data decoding means for extracting and decoding subtitle data that can be selected by the user from the broadcast signal acquired by the second broadcast signal acquisition means;
A time code association processing means for associating a time code with text data corresponding to the subtitle data decoded by the curtain data decoding means;
Metadata generation for generating the metadata by associating the discrimination information acquired by the second discrimination information acquisition unit with the text data in which the time code is associated by the time code association processing unit Means,
And encryption means for encrypting the metadata generated by the metadata generation means,
The fourth information processing apparatus
Registration information storage means for storing the registration information of the user;
Authentication information acquisition means for acquiring information related to authentication of the user from the second information processing apparatus;
Authentication processing means for executing authentication processing based on the information about the authentication of the user acquired by the authentication information acquisition means and the registration information of the user stored by the registration information storage means;
And a decryption key supply control means for controlling supply of the decryption key for decrypting the metadata to the second information processing apparatus when the user is correctly authenticated by the authentication processing means. Information processing system.
前記第4の情報処理装置は、
前記復号鍵供給制御手段により前記復号鍵の供給が制御されたことに伴って発生する課金に関する情報を記憶する課金情報記憶手段と、
前記課金情報記憶手段により記憶された前記課金に関する情報を基に、前記ユーザに対する課金処理を実行する課金処理手段と
を更に備えることを特徴とする請求項11に記載の情報処理システム。
The fourth information processing apparatus
Billing information storage means for storing information relating to billing that occurs when the supply of the decryption key is controlled by the decryption key supply control means;
12. The information processing system according to claim 11, further comprising billing processing means for executing billing processing for the user based on the billing information stored by the billing information storage means.
JP2004118263A 2004-04-13 2004-04-13 Information processing apparatus and information processing method, program, and information processing system Pending JP2005303742A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004118263A JP2005303742A (en) 2004-04-13 2004-04-13 Information processing apparatus and information processing method, program, and information processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004118263A JP2005303742A (en) 2004-04-13 2004-04-13 Information processing apparatus and information processing method, program, and information processing system

Publications (1)

Publication Number Publication Date
JP2005303742A true JP2005303742A (en) 2005-10-27

Family

ID=35334739

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004118263A Pending JP2005303742A (en) 2004-04-13 2004-04-13 Information processing apparatus and information processing method, program, and information processing system

Country Status (1)

Country Link
JP (1) JP2005303742A (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008140242A (en) * 2006-12-04 2008-06-19 Canon Inc Information processor
WO2008087742A1 (en) * 2007-01-16 2008-07-24 Metacast Inc. Moving picture reproducing system, information terminal device and information display method
US7979432B2 (en) 2006-09-28 2011-07-12 Kabushiki Kaisha Toshiba Apparatus, computer program product and system for processing information
JP2011524108A (en) * 2008-05-08 2011-08-25 ソニー エリクソン モバイル コミュニケーションズ, エービー Electronic device and method for inserting addressable heading marks relative to advertising content in a video stream
JP2013061748A (en) * 2011-09-13 2013-04-04 Yahoo Japan Corp Information display device, method, and program
JP2013536528A (en) * 2010-08-23 2013-09-19 チャン,ジェフリー How to create and navigate link-based multimedia
CN104135628A (en) * 2013-05-03 2014-11-05 安凯(广州)微电子技术有限公司 Video editing method and terminal
JP2015053589A (en) * 2013-09-06 2015-03-19 株式会社東芝 Electronic apparatus, electronic apparatus control method, and scene control program
JP2018117328A (en) * 2017-01-20 2018-07-26 株式会社ミクシィ Information processing apparatus, control method for the same, and control program
JP6382423B1 (en) * 2017-10-05 2018-08-29 株式会社リクルートホールディングス Information processing apparatus, screen output method, and program
JP2020145762A (en) * 2017-01-20 2020-09-10 株式会社ミクシィ Information processing apparatus, control method for the same, and control program

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7979432B2 (en) 2006-09-28 2011-07-12 Kabushiki Kaisha Toshiba Apparatus, computer program product and system for processing information
JP2008140242A (en) * 2006-12-04 2008-06-19 Canon Inc Information processor
WO2008087742A1 (en) * 2007-01-16 2008-07-24 Metacast Inc. Moving picture reproducing system, information terminal device and information display method
KR101519694B1 (en) 2008-05-08 2015-05-12 소니 모빌 커뮤니케이션즈 에이비 Electronic devices and methods that insert addressable chapter marks relative to advertising content in video streams
JP2011524108A (en) * 2008-05-08 2011-08-25 ソニー エリクソン モバイル コミュニケーションズ, エービー Electronic device and method for inserting addressable heading marks relative to advertising content in a video stream
JP2013536528A (en) * 2010-08-23 2013-09-19 チャン,ジェフリー How to create and navigate link-based multimedia
JP2013061748A (en) * 2011-09-13 2013-04-04 Yahoo Japan Corp Information display device, method, and program
CN104135628A (en) * 2013-05-03 2014-11-05 安凯(广州)微电子技术有限公司 Video editing method and terminal
JP2015053589A (en) * 2013-09-06 2015-03-19 株式会社東芝 Electronic apparatus, electronic apparatus control method, and scene control program
JP2018117328A (en) * 2017-01-20 2018-07-26 株式会社ミクシィ Information processing apparatus, control method for the same, and control program
JP2020145762A (en) * 2017-01-20 2020-09-10 株式会社ミクシィ Information processing apparatus, control method for the same, and control program
JP6382423B1 (en) * 2017-10-05 2018-08-29 株式会社リクルートホールディングス Information processing apparatus, screen output method, and program
JP2019066785A (en) * 2017-10-05 2019-04-25 株式会社リクルートホールディングス Information processing device, screen output method and program

Similar Documents

Publication Publication Date Title
KR101706832B1 (en) Method for transceiving media files and device for transmitting/receiving using same
US6487543B1 (en) Media-integrating system, terminal device, recording medium and broadcasting method for use in the media-integrating system
CN101578862B (en) Media systems with integrated content searching
CN100407786C (en) Television broadcast device and method
JP3606794B2 (en) Digital data copyright protection system
JP5770408B2 (en) Video content viewing terminal
US20050240530A1 (en) Content distribution system, playback apparatus, content server, usage rule server, accounting server, playback method, content transmission method, usage rule transmission method, accounting method, program, and storage medium
JPWO2006022304A1 (en) Content activation control device
JP2004326459A (en) Content delivery system and method, content processing device and method, storage medium, and program
JP2006253960A (en) Information processing apparatus, mobile apparatus, information processing method, and program
JP5059616B2 (en) Method and apparatus for secure transfer and playback of multimedia content
JP2005303742A (en) Information processing apparatus and information processing method, program, and information processing system
JP2005303743A (en) Information processing apparatus and information processing method, program, and information processing system
JP2008182674A (en) Content providing device and image outputting device
JP2005159703A (en) Contents distribution system and method, contents processor and method, recording medium, and program
JP3884016B2 (en) Information processing apparatus, information processing method, program, and information processing system
JP2005157893A (en) Contents distribution system and method, contents distribution apparatus and method, contents processing apparatus and method, recording medium and program
US20080163295A1 (en) Content providing device and image outputting device
JP3833670B2 (en) Information processing apparatus, information processing method, program, and information processing system
JP3884017B2 (en) Information processing apparatus, information processing method, program, and information processing system
JP3806836B2 (en) Travel product information system, product information system
JP4396248B2 (en) Information processing apparatus and method, recording medium, and manufacturing method thereof
JP3884015B2 (en) Information processing system
JP4632079B2 (en) CONTENT DISTRIBUTION SYSTEM, CONTENT DISTRIBUTION DEVICE AND METHOD, CONTENT RECEPTION DEVICE AND METHOD, CONTENT REPRODUCTION DEVICE AND METHOD, RECORDING MEDIUM, AND PROGRAM
JP2001359060A (en) Data broadcast service transmitter, data broadcast service receiver, data broadcast service transmission method, data broadcast service reception method, data broadcast service production aid system, index information generator and digital broadcast reception system

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20050623

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060224

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20060224

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20060324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060411

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060609

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060718