CN1816879A - 视频处理装置、视频处理装置的ic电路、视频处理方法和视频处理程序 - Google Patents

视频处理装置、视频处理装置的ic电路、视频处理方法和视频处理程序 Download PDF

Info

Publication number
CN1816879A
CN1816879A CNA2004800189198A CN200480018919A CN1816879A CN 1816879 A CN1816879 A CN 1816879A CN A2004800189198 A CNA2004800189198 A CN A2004800189198A CN 200480018919 A CN200480018919 A CN 200480018919A CN 1816879 A CN1816879 A CN 1816879A
Authority
CN
China
Prior art keywords
frame
content
frames
appointed information
explanatory note
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2004800189198A
Other languages
English (en)
Inventor
谷川贤太郎
津坂优子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1816879A publication Critical patent/CN1816879A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147—PVR [Personal Video Recorder]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

规则存储单元106存储了多条指定信息，其中每条所述指定信息示出将被指定为起始帧的帧的特征，并且每条所述指定信息对应于不同的内容类型。节目获取单元104获取内容，其中所述内容的起始帧将被指定。信息获取单元105获取示出所获取的内容的类型的类型信息。选择单元107从规则存储单元106获取与所获取的类型信息相对应的指定信息。指定单元108指定在所获取的内容中具有由所获取的指定信息示出的特征的帧作为起始帧。

Description

视频处理装置、视频处理装置的IC电路、视频处理方法和视频处理 程序
技术领域
本发明涉及索引技术，该技术基于内容的视频和音频分析，将该内容分成多个片段。
背景技术
近年来，诸如HDD记录器和DVD记录器这样的大容量记录装置普遍被家庭使用。正在变得普遍的是，这样的记录装置具有根据用户的兴趣和喜好来自动地和选择性地记录广播内容的功能。因为这个功能，所以期望这样的记录装置能够存储比以前更大量的内容。
利用这样的功能，如EPG(电子节目指南)所显示的广播节目被作为内容而记录。通常，用户很少从头到尾观看已记录的内容，而是选择性地观看内容中特定的部分。例如，用户可能观看新闻节目中使该用户感兴趣的特定一段新闻或音乐演出中用户喜爱的歌手出场的特定一部分。这样，用户可以有效地从大量数据内容中检索想要的信息。
为此目的，已经做出尝试来分析内容以提取视频音频数据的各种特征。然后使用所提取出的特征的结合来对内容做出索引，并因此将内容分成多个片段(下文中称为“观看片段”)。
特别地，例如，一种检测过渡帧(transition frame)的技术与一种检测其中出现telop(television opaque projector，电视反射放映机)效果或文字说明(caption)的帧的技术结合使用，在所述过渡帧中，当一个画面改变为另一个画面时，一系列帧被依次拍摄。这些技术的使用允许在文字说明帧之前的所有过渡帧中，检测每个离文字说明帧最近的帧。然后将这样检测到的帧相互比较来衡量其间的相似性。以每个相似帧属于不同观看片段的方式而进行分段。
然而，作为地面电视频道数量的增加、以及包括卫星广播、电缆广播和视频流在内的可用广播形式的多样性的结果，出现了一个问题。也就是，越来越多的类型的内容可以在家观看，所以传统的已知技术不足以适当地对所有类型的内容做出索引。
这是因为每个种类或广播节目在与特征有关的分段模式上是不同的，诸如大小、布局、文字说明出现时间。
发明内容
考虑到上述问题，本发明的目的是提供一种视频处理装置、一个视频处理装置的IC电路、一种视频处理方法和一个视频处理程序，这些中的每一个都可以比传统的已知技术更适合地对不同类型的内容做出索引。
为实现上述目的，本发明提供了一种视频处理装置，用于在将内容分段时，指定将作为多个观看片段的起始帧的多个帧。该视频处理装置包括：指定信息存储器，用于存储多个指定信息，每个指定信息示出将被指定为起始帧的帧的特征，并且每个指定信息都与不同的内容类型相对应；内容获取单元，用于获取内容；信息获取单元，用于获取示出所获取的内容的类型的类型信息；提取单元，用于从指定信息存储器中提取出与由所获取的类型信息示出的类型相对应的指定信息；以及指定单元，用于根据所提取出的指定信息，指定出现在内容中的起始帧。
利用上述结构，视频处理装置存储多条指定信息，并根据内容的类型使用不同的指定信息。这意味着根据特定的指定信息来对内容做出索引，所述特定的指定信息是考虑到内容的音频和图像数据的特征而选择出的。因此，确保了该视频处理装置能够适当地把各种类型的内容分成多个观看片段。
这里，每条指定信息还可以示出将被指定为展示帧(presentationframe)的帧的特征，每个展示帧将被作为各自的观看片断的有代表性的静止图像而显示。指定单元还可以根据所提取出的指定信息，指定出现在内容中的展示帧。
利用上述结构，为每个观看片段指定一对起始帧和展示帧。当起始帧的图像并不适合于作为对应片段的代表性图像时，更适合的帧被指定为展示帧。利用这样指定的展示帧的静止图像显示，用户可以容易地识别该观看片段中记录了什么。
这里，视频处理装置还可以包括索引存储单元，其用于与内容相对应，来存储由指定单元指定的每个起始帧和展示帧的显示时间。
利用上述结构，内容的观看片段被根据显示时间来管理。
这里，可以通过视频分析、静止图像分析和音频分析中的至少一个检测到指定信息所示出的特征。指定单元可通过视频分析、静止图像分析和音频分析中的至少一个来指定起始帧和展示帧。
利用上述结构，确保了使用图像分析技术和/或音频分析技术对各种类型的内容适当地做出索引。
这里，指定信息可以包括：第一条件，其示出将作为展示帧的候选而被检测到的帧的特征；排除条件，其示出将被从展示帧的候选中排除的帧的特征；第二条件，其示出将作为起始帧的候选而被检测到的帧的特征；和选择条件，其示出展示帧和将作为起始帧而被选择出的帧之间的关系。指定单元可以通过从所有出现在该内容中的帧中检测满足第一条件的帧，并随后从所检测到的帧中排除满足排除条件的帧，来指定展示帧，并通过从所有出现在该内容中的帧中检测满足第二条件的帧，并随后从所检测到的帧中选择相对于所指定的展示帧而满足由选择条件示出的关系的帧，来指定起始帧。
此外，指定单元可以包括：多个检测子单元，每个检测子单元用于检测具有不同特征的帧；排除子单元，用于从满足第一条件的帧中排除满足排除条件的帧；选择子单元，用于从满足第二条件的帧中选择满足由选择条件示出的关系的帧。第一条件、排除条件和第二条件，每个都可以是将使用的检测子单元中的一个的标识符。
利用上述结构，通过基于组合考虑的多个特征而指定第一帧，将内容分成多个观看片段。这使得要基于画面接画面(scene-by-scene)进行的分段比基于单特征的分段更精确。
这里，当根据与预定内容类型相对应的指定信息操作时，指定单元可以(i)从所有出现在所述内容中的帧中检测：大文字说明起始帧，其中每个所述大文字说明起始帧都是一系列帧中的第一帧，在该一系列帧中，比阈值尺寸大的文字说明连续出现在预定区域中；小文字说明帧，其中在每个所述小文字说明帧中，比阈值尺寸小的文字说明出现在所述预定区域之外的区域中；CM帧，其构成商业消息；和过渡帧，其中每个所述过渡帧都是一系列相似图像的帧中的第一帧，(ii)将在从大文字说明起始帧中移除小文字说明帧和CM帧之后剩余的每个帧指定为展示帧，和(iii)对于每个展示帧，将该展示帧的最近前驱过渡帧指定为起始帧。
利用上述结构，每个指定的展示帧是这样的一个帧，它不是CM帧，而是不带有小文字说明的大文字说明帧。此外，每个指定的起始帧是在展示帧之前的所有过渡帧中离该展示帧最近过渡帧。
假设预定内容类型是一个广播节目，所述广播节目被构造为包含多个观看片段以及在毗连的片段之间的画面过渡。另外，介绍相应片段的概要或标题的文字说明在每个画面过渡后立刻出现。在该情况下，每个其中出现这样的文字说明的帧被确定为展示帧，而每个其中发生了画面过渡的帧被指定为起始帧。更明确地说，该预定内容类型的一个例子是新闻节目，其中在两个连续的新闻故事之间发生画面过渡，并且在画面过渡之后显示新闻标题。因此，这样的一个新闻节目被适当地分成多个观看片段，每个所述观看片段精确地对应于一个新闻故事。
这里，当根据与预定内容类型相对应的指定信息操作时，指定单元可以(i)从所有出现在所述内容中的帧中排除构成商业消息的帧，(ii)从剩余的帧中检测：大文字说明起始帧，其中每个所述大文字说明起始帧都是一系列帧中的第一帧，在该一系列帧中，比阈值尺寸大的文字说明连续出现在预定区域中；小文字说明帧，其中在每个所述小文字说明帧中，比阈值尺寸小的文字说明出现在所述预定区域之外的区域中；和过渡帧，其中每个所述过渡帧都是一系列相似图像的帧中的第一帧，(iii)将在从大文字说明起始帧中移除小文字说明帧之后剩余的每个帧指定为展示帧，和(iv)对于每个展示帧，将该展示帧的最近前驱过渡帧指定为起始帧。
利用上述结构，确保了对广播节目适当地做出索引，其中在所述广播节目中，在毗连的观看片段之间发生了画面过渡，并且介绍相应片段的标题的文字说明在画面过渡后立刻出现。这也确保减少了检测具有指定信息所示出的特征的帧所需的处理量，并因此缩短了处理时间。
这里，当根据与预定内容类型相对应的指定信息操作时，指定单元可以(i)从所有出现在所述内容中的帧中检测：大文字说明起始帧，其中每个所述大文字说明起始帧都是一系列帧中的第一帧，在该一系列帧中，比阈值尺寸大的文字说明连续出现在预定区域中；小文字说明帧，其中在每个所述小文字说明帧中，比阈值尺寸小的文字说明出现在所述预定区域之外的区域中；CM帧，其构成商业消息；和无声帧，其音频数据低于预定音量级，(ii)将在从大文字说明起始帧中移除小文字说明帧和CM帧之后剩余的每个帧指定为展示帧，和(iii)对于每个展示帧，将离该展示帧最近的无声帧指定为起始帧。
利用上述结构，每个指定的展示帧是这样的一个帧，它不是CM帧，而是不带有小文字说明的大文字说明帧。此外，每个指定的起始帧是这样的一个帧，在该帧位置上，直接在展示帧之前的无声片断结束。
假设预定内容类型是一个广播节目，其中包含了多条音频数据，并且每条音频数据的开端都与一个观看片段的开端一致。另外，在观看片段开始后显示示出各自的观看片段的标题的文字说明。在该情况下，每个在其中出现这样的文字说明的帧被确定为展示帧，而每个其中由音频数据表示的声音开始的帧被指定为起始帧。更明确地说，该预定内容类型的一个例子是新闻节目，其中无声发生在两个连续新闻故事之间，并且在报道新闻故事的声音开始后显示新闻文字说明。这样的一个新闻节目被适当地分成多个观看片段，每个观看片段都精确地与一个新闻故事相对应。
这里，当根据与预定内容类型相对应的指定信息操作时，指定单元可以(i)从所有出现在所述内容中的帧中排除构成商业消息的帧，(ii)从剩余的帧中检测：大文字说明起始帧，其中每个所述大文字说明起始帧都是一系列帧中的第一帧，在该一系列帧中，比阈值尺寸大的文字说明连续出现在预定区域中；小文字说明帧，其中在每个所述小文字说明帧中，比阈值尺寸小的文字说明出现在所述预定区域之外的区域中；和无声帧，其音频数据低于预定音量级，(iii)将在从大文字说明起始帧中移除小文字说明帧之后剩余的每个帧指定为展示帧，和(iv)对于每个展示帧，将该展示帧的最近前驱无声帧指定为起始帧。
利用上述结构，确保了对广播节目适当地做出索引，其中在所述广播节目中，无声发生在毗连的观看片段之间，并且在声音开始后立刻显示介绍各自的观看片段的标题的文字说明。另外，减少了检测具有指定信息所示出的特征的帧所需的处理量，并因此缩短了处理时间。
这里，当根据与预定音乐节目类型相对应的指定信息操作时，指定单元可以(i)从所有出现在所述内容中的帧中检测：大文字说明起始帧，其中每个所述大文字说明起始帧都是一系列帧中的第一帧，在该一系列帧中，比阈值尺寸大的文字说明连续出现在预定区域中；小文字说明帧，其中在每个所述小文字说明帧中，比阈值尺寸小的文字说明出现在所述预定区域之外的区域中；CM帧，其构成商业消息；和音乐起始帧，其中每个所述音乐起始帧都是一系列帧中的第一帧，该一系列帧的音频数据表示音乐数据，(ii)将在从大文字说明起始帧中移除小文字说明帧和CM帧之后剩余的每个帧指定为展示帧，和(iii)对于每个展示帧，将该展示帧的最近前驱音乐起始帧指定为起始帧。
利用上述结构，每个指定的展示帧是这样的一个帧，它不是CM帧，而是不带有小文字说明的大文字说明帧。每个指定的起始帧是一系列帧中的第一帧，该一系列帧构成一个音乐片段，该音乐片段是展示帧的最近前驱音乐片段。
假设预定内容类型是一个音乐演出，其中演奏多首音乐，并且介绍相应音乐的名称或作者的文字说明在音乐开始后很快出现。在该情况下，每个其中出现这样的文字说明的帧被指定为展示帧，而每个与音乐开端相对应的帧都被指定为起始帧。因此，这样的一个音乐演出被适当地分成多个观看片段，每个所述观看片段都精确地对应于一首音乐。
这里，当根据与预定音乐节目类型相对应的指定信息操作时，指定单元可以(i)从所有出现在所述内容中的帧中排除构成商业消息的帧，(ii)从剩余的帧中检测：大文字说明起始帧，其中每个所述大文字说明起始帧都是一系列帧中的第一帧，在该一系列帧中，比阈值尺寸大的文字说明连续出现在预定区域中；小文字说明帧，其中在每个所述小文字说明帧中，比阈值尺寸小的文字说明出现在所述预定区域之外的区域中；和音乐起始帧，其中每个所述音乐起始帧都是一系列帧中的第一帧，该一系列帧的音频数据表示音乐数据，(iii)将在从大文字说明起始帧中移除小文字说明帧之后剩余的每个帧指定为展示帧，和(iv)对于每个展示帧，将该展示帧的最近前驱音乐起始帧指定为起始帧。
利用上述结构，确保了对音乐演出适当地做出索引，其中在所述音乐演出中，播放了多首音乐，并且介绍相应音乐的名称或作者的文字说明在该首音乐开始后很快出现。也确保减少了检测具有指定信息所示出的特征的帧所需的处理量，并因此缩短了处理时间。
这里，当根据与预定内容类型相对应的指定信息操作时，指定单元可以(i)从所有出现在所述内容中的帧中检测：大文字说明起始帧，其中每个所述大文字说明起始帧都是一系列帧中的第一帧，在该一系列帧中，比阈值尺寸大的文字说明连续出现在预定区域中；小文字说明帧，其中在每个所述小文字说明帧中，比阈值尺寸小的文字说明出现在所述预定区域之外的区域中；CM帧，其构成商业消息；和语音起始帧，其中每个所述语音起始帧都是一系列帧中的第一帧，该一系列帧的音频数据表示特定发言人的语音，(ii)将从大文字说明起始帧中移除小文字说明帧和CM帧之后剩余的每个帧指定为展示帧，和(iii)对于每个展示帧，将该展示帧的最近前驱语音起始帧指定为起始帧。
利用上述结构，每个指定的展示帧是这样的一个帧，它不是CM帧，而是不带有小文字说明的大文字说明帧。此外，每个指定的起始帧是一系列帧中的第一帧，该一系列帧构成一个语音片段，该语音片段是展示帧的最近前驱语音片段。
假设预定内容类型是一个广播节目，其中特定发言人在每个观看片段的开始时讲话，并且介绍片段观看的标题的文字说明在其后出现。在该情况下，每个其中出现这样的文字说明的帧被指定为展示帧，而每个其中发言人开始讲话的帧都被指定为起始帧。更明确地说，该预定内容类型的一个例子是新闻节目或教育节目，其中一个发言人针对多个话题进行谈话，且在两个相连的话题之间有一个无声间隙，并且介绍话题标题的文字说明在关于该话题的语音开始后显示。这样的一个新闻节目被适当地分成多个观看片段，每个所述观看片段都精确的与一个话题相对应。
这里，当根据与预定内容类型相对应的指定信息操作时，指定单元可以(i)从所有出现在所述内容中的帧中排除构成商业消息的帧，(ii)从剩余的帧中检测：大文字说明起始帧，其中每个所述大文字说明起始帧都是一系列帧中的第一帧，在该一系列帧中，比阈值尺寸大的文字说明连续出现在预定区域中；小文字说明帧，其中在每个所述小文字说明帧中，比阈值尺寸小的文字说明出现在所述预定区域之外的区域中；和语音起始帧，其中每个所述语音起始帧都是一系列帧中的第一帧，该一系列帧的音频数据表示特定发言人的语音，(iii)将在从大文字说明起始帧中移除小文字说明帧之后剩余的每个帧指定为展示帧，和(iv)对于每个展示帧，将该展示帧的最近前驱语音起始帧指定为起始帧。
利用上述结构，确保了对广播节目适当地做出索引，在所述广播节目中，对于每个话题，文字说明出现来介绍相对应的话题标题。也确保减少了检测具有指定信息所示出的特征的帧所需的处理量，并因此缩短了处理时间。
这里，当根据与预定内容类型相对应的指定信息操作时，指定单元可以(i)从所有出现在所述内容中的帧中检测：CM起始帧，其中每个所述CM起始帧都是一系列帧中的第一帧，该一系列帧构成商务消息；和过渡帧，每个所述过渡帧都是一系列相似图像的帧中的第一帧，(ii)将每个CM起始帧指定为起始帧，和(iii)对于每个起始帧，将该起始帧的最近后继过渡帧指定为展示帧。
利用上述结构，每个包含在内容中的CM都被分段为一个观看片段。
这里，视频处理装置还可以包括回放单元，用于从由所述指定单元指定的起始帧开始回放内容
利用上述结构，视频处理装置能够从一个观看片段的开端开始回放内容。因此，用户被允许观看从一个观看片段的开端开始的内容。
这里，视频处理装置还可以包括：索引存储单元，用于存储由指定单元为各个观看片段指定的每个起始帧和展示帧的显示时间对；显示单元，用于显示由指定单元为每个观看片断指定的展示帧；和用户选择单元，用于根据用户选择，选择至少一个显示的展示帧。回放单元可以从用户选择的展示帧所属的观看片段的起始帧开始回放内容。
利用上述结构，用户被允许通过观看展示帧来选择用户感兴趣的观看片段，其中每个展示帧，例如利用其文字说明，帮助用户识别各个观看片段中记录了什么。此外，用户被允许观看从这样选择的观看片段的开端开始的内容。
这里，显示单元可以通过生成每个展示帧的缩略图像并以列表形式显示缩略图像来显示展示帧。
利用上述结构，用户被允许通过检查以列表形式显示的展示帧的缩略图像来容易地选择用户感兴趣的观看片段。
这里，用户选择单元可以将所选择的展示帧作为参考图像存储在指定信息存储器中。指定单元可以通过相对于其中出现文字说明的区域的位置检测与参考图像相似的帧，来指定展示帧。
利用上述结构，用户为了观看而选择的展示帧，被用作未来指定展示帧的参考帧。也就是，当下一次做索引时，每个其图像与参考帧的图像相似的帧被指定为展示帧。由于用户已经观看了参考帧，这样指定的与参考帧相似的展示帧，将帮助用户来识别各个观看片段中记录了什么。另外，每次重复回放和做索引时，对于用户，更容易地识别各个观看片段中记录了什么。
这里，视频处理装置还可以包括记录单元，其用于获取内容和该内容的类型信息，并且与类型信息相对应地将内容记录到记录介质中。在记录单元记录类型信息和至少部分内容后，内容获取单元继而可以从记录介质中获取该部分内容。指定单元继而可以指定出现在由内容获取单元获取的该部分内容中的起始帧。
利用上述结构，指定起始帧的处理与记录内容并行地执行。
也就是，不等待将被记录的整个内容，就开始对内容做出索引，从而不再需要花费时间在记录结束之后对整个内容做出索引。因此，视频记录装置使得用户可以使用内容而不用担心做索引所需的时间。
这里，视频处理装置还可以包括记录单元，其用于获取内容和该内容的类型信息，对内容进行编码，并且与类型信息相对应地记录已编码的内容。在记录单元记录类型信息并且对至少部分内容进行编码后，内容获取单元继而可以获取已编码的部分内容。指定单元可以获取由记录单元为了编码而做出的对已编码的部分的分析，并且继而使用该分析来指定出现在已编码的部分中的起始帧。
利用上述结构，在对内容进行压缩编码的处理中所获取的分析被使用在文字说明出现和画面过渡的检测中。
结果，减少了做索引所需的处理量，并因此缩短了处理时间。
这里，视频处理装置还可以包括更新单元，其用于获取新版本的与特定的内容类型相对应的指定信息，并将新版本的指定信息记录到指定信息存储器中。
利用上述结构，本发明的视频处理装置能够获取新版本的指定信息，并且使用新版本的指定信息来指定内容的起始帧。
这里，当通过通信网络连接到用于提供指定信息的供应装置，并且判断有新版本的指定信息可用时，更新单元可以获取新版本的指定信息。通过将存储在指定信息存储器中的与特定的类型相对应的指定信息更新成新版本，将新版本的指定信息记录在指定信息存储器中。
利用上述结构，本发明的视频处理装置能够判断供应装置是否有新版本的指定信息，并如果有的话，获取该新版本。
因此，本发明的视频处理装置能够尝试以期望的定时更新指定信息。
这里，可以在每次指定单元处理特定内容类型的时候，进行对是否有新版本的指定信息可用的判断。
利用上述结构，确保了总是根据最新版本的指定信息对内容进行分段。
在另一个方面中，本发明提供一种用于在视频处理装置中使用的集成电路，该视频处理装置在将内容分段时，指定将作为多个观看片段的起始帧的多个帧。该视频处理装置具有指定信息存储器，其存储了多条指定信息，每条指定信息示出将被指定为起始帧的帧的特征，并且每条指定信息与不同的内容类型相对应。该集成电路包括：内容获取模块，用于获取内容；信息获取模块，用于获取示出所获取的内容的类型的类型信息；提取模块，用于从指定信息存储器中提取出一条与由所获取的类型信息示出的类型相对应的指定信息；和指定模块，用于根据所提取出的指定信息，指定出现在该内容中的起始帧
利用上述结构，根据内容类型，使用多条指定信息中的不同的一条。这意味着根据一条特定的指定信息对内容做出索引，该特定的指定信息是考虑到该内容的音频和图像数据的特征而被选择出的。因此，确保了视频处理装置能够适当地把不同类型的内容分成多个观看片段。
在另一个方面中，本发明提供一种由视频处理装置使用的视频处理方法，该视频处理装置在将内容分段时，指定作为多个观看片段的起始帧的多个帧。该视频处理装置具有指定信息存储器，其存储了多条指定信息，每条指定信息示出将被指定为起始帧的帧的特征，并且每条指定信息与不同的内容类型相对应。该视频处理方法包括以下步骤：获取内容；获取示出所获取的内容的类型的类型信息；从指定信息存储器中提取出一条与由所获取的类型信息示出的类型相对应的指定信息；和根据所提取出的指定信息，指定出现在该内容中的起始帧。
利用上述结构，根据内容类型，使用多条指定信息中的不同的一条。这意味着根据一条特定的指定信息对内容做出索引，该特定的指定信息是考虑到该内容的音频和图像数据的特征而被选择出的。因此，确保了视频处理装置能够适当地把不同类型的内容分成多个观看片段。
在另一个方面中，本发明提供一种视频处理程序，用于使一个设备在将内容分段时，指定将作为多个观看片段的起始帧的多个帧。该设备具有指定信息存储器，其存储了多条指定信息，每条指定信息示出将被指定为起始帧的帧的特征，并且每条指定信息与不同的内容类型相对应。该视频处理程序包括以下步骤：获取内容；获取示出所获取的内容的类型的类型信息；从指定信息存储器中提取出一条与由所获取的类型信息示出的类型相对应的指定信息；和根据所提取出的指定信息，指定出现在该内容中的起始帧。
利用上述结构，根据内容类型，使用多条指定信息中的不同的一条。这意味着根据一条特定的指定信息对内容做出索引，该特定的指定信息是考虑到该内容的音频和图像数据的特征而被选择出的。因此，确保了视频处理装置能够适当地把不同类型的内容分成多个观看片段。
附图简述
图1是示出根据本发明的实施例1的记录装置的使用模式的视图；
图2是示出记录装置100的功能块的视图；
图3是示出类型信息的数据结构的视图；
图4是示出存储在规则存储单元106中的规则表301的数据结构的视图；
图5是示出存储在规则存储单元106中的检测操作表302的数据结构的视图；
图6是由记录装置100执行的检索操作的流程图；
图7是分段处理的流程图；
图8是帧检测处理的流程图；
图9是示意性示出内容401的图像数据特征的视图，该内容401是内容的一个例子；
图10是示出大文字说明检测单元142根据具有操作ID 001的检测操作指令检测到的大文字说明起始帧的显示时间的列表的视图；
图11是示出具有操作ID 001的检测操作指令处理之后内容401的索引信息的视图；
图12是示出CM检测单元145根据具有操作ID 004的操作检测指令检测到的CM帧的显示时间的列表的视图；
图13是示出具有操作ID 004的检测操作指令处理之后内容401的索引信息的视图；
图14是示出小文字说明检测单元143根据具有操作ID 002的检测操作指令检测到的小文字说明帧的显示时间的列表的视图；
图15是示出具有操作ID 002的检测操作指令处理之后内容401的索引信息的视图；
图16是示出过渡检测单元141根据具有操作ID 003的操作检测指令检测到的过渡帧的显示时间的列表的视图；
图17是根据对应于“新闻节目1”的规则完成索引处理以后，内容401的索引信息；
图18A、18B和18C是示出包含在内容401中的帧的例子的视图；
图19是示出根据本发明的实施例2的回放装置200的使用模式的视图；
图20是示出回放装置200的功能块的视图；
图21是根据本发明的实施例3的记录装置300的功能块；
图22是示出作为实施例2的指示装置而实现的LSI 400的视图；和
图23是作为实施例3的记录控制单元102和指定单元111而实现的LSI 500。
具体实施方式
下文中，将参考附图来描述本发明的实施例。
实施例1
概述
在本发明的实施例1中，描述了对内容做索引的记录装置100。更具体地说，记录装置100从一系列构成内容的帧中指定展示帧和起始帧，从而将该内容分成多个观看片段。注意，展示帧是用户可以从中容易地知道相应的观看片段中记录了什么的一个帧，而起始帧是观看片段的第一帧。
此外，在该描述中的观看片段指的是以每个单元代表一个相关的或连续的画面的方式将一个内容分段而获取的视频数据单元。
记录装置100存储多条指定信息，每条所述指定信息都示出将被指定为展示帧和起始帧的帧的条件，并根据内容的类型(种类/或节目名称)，使用不同的指定信息。
结构
图1示出记录装置100的使用模式。
广播站10广播诸如关于广播节目的种类、名称、广播时间表的EPG数据这样的数据，并且在广播波上广播内容。
供应装置20可以是通过诸如互联网这样的通讯网络连接到记录装置100的计算机。供应装置20在诸如内置HDD这样的存储器中存储了最新版本的指定信息(也就是，规则和检测操作指令)，如内置HDD(Hard Disc Drive，硬盘驱动器)，并一经要求就将指定信息供应到记录装置100中。注，指定信息的细节将会在后面描述。
特别地，记录装置100可以是带有内置HDD的DVD记录器、DVD记录器、或HDD记录器。记录装置100接收从广播站10传送的广播波，并记录广播波携带的内容。记录装置100具有自动记录功能，该功能可根据在广播波上接收的EPG，有选择地记录可能符合用户的兴趣和喜好的内容。另外，记录装置100具有将一个已记录内容分成多个观看片段的索引功能。
记录装置100包括处理器、RAM和其中记录了程序的ROM，并通过处理器执行该程序来执行索引功能。
在下文中，将就记录装置100的结构进行描述。
图2示出记录装置100与索引功能有关的功能块。如图所示，记录装置100包括接收单元101、记录控制单元102、内容存储单元103、节目获取单元104、信息获取单元105、规则存储单元106、选择单元107、指定单元108、索引存储单元109和规则更新单元110。
接收单元101可由天线和接收电路构成。接收单元101接收从广播站10传送的广播波，并将从接收到的广播波中获取的内容和EPG输出到记录控制单元102中。
记录控制单元102是用于控制记录操作的功能块，所述记录操作诸如应用户要求来记录内容、预设记录和自动记录符合用户兴趣和喜好的内容。记录控制单元102将从接收单元101接收的内容数字化，然后通过使用诸如MPEG-2(Moving Picture Experts Group phase 2，运动图像专家组—阶段2)这样的压缩编码方式进行编码，来压缩该数字内容，并将压缩的内容记录到内容存储单元103中。在记录内容的时候，记录控制单元102参照EPG生成类型信息，该类型信息由内容的种类和节目名称构成，并且与内容相对应地将类型信息记录到内容存储单元103中。
因为在本领域中已经是公知的技术，所以不再详细介绍根据用户兴趣喜好进行自动记录的技术和预设记录的技术。
特别地，内容存储单元103是诸如硬盘或DVD这样的记录介质，并且与内容的类型信息相对应地存储该内容。每个存储在内容存储单元103中的内容由视频和音频数据构成。视频数据依次由一组以时间顺序排列的帧(静止图像)构成，并且音频数据包含每个帧的声音。如图3所示，该类型信息由内容ID、种类和节目名称构成。内容ID是唯一标识存储在内容存储单元103中的相应内容的标识符。内容ID可以在记录内容的时候，通过记录装置100来分配。替代地，在EPG中使用的节目ID可以简单地被用作内容ID。
通常，符合NTSC(National Television System Committee，全国电视***委员会)的内容广播***每秒由30帧构成，并且每帧的显示时间(从内容的开始经过的时间)可以被指定为大约33ms的间隔。然而，在该实施例中，为了简明，每一帧的显示时间被指定为秒。
每次新内容被存储到内容存储单元103中时，节目获取单元104从内容存储单元103获取内容，并将所获取的内容输出到指定单元108中。
每次节目获取单元104获取内容时，信息获取单元105从内容存储单元103中获取与该内容相对应的类型信息，并将所获取的类型信息输出到选择单元107中。
特别地，规则存储单元106是诸如硬盘或DVD这样的记录介质，或诸如EEPROM这样的可重写非易失存储器。规则存储单元106存储了规则表301和检测操作表302。另外，规则存储单元106具有参考帧存储区，并为每个包含在规则表301中的规则存储带有帧ID的一个参考帧。参考帧被后面介绍的相似图像检测单元147使用以进行图像分析。
在实施例1中，每条指定信息都有一条规则和该规则所指定的检测操作指令构成。
每个检测操作指令指示将展示帧的显示时间(下文中称为“展示时间”)注册到索引存储单元109中，从索引存储单元109中删除已注册的展示时间，或将起始帧的显示时间(下文中称为“片段起始时间”)注册到索引存储单元109中。更明确地说，每个检测操作指令包括，示出其显示时间将被注册到索引存储单元109中或要从索引存储单元109中将其显示时间删除的帧的条件的信息，以及示出要执行的操作的信息(也就是，示出展示时间注册、展示时间删除或片段起始时间注册中的一个的信息)。
每个规则都是示出检测操作指令数量以及其将被检测控制单元121执行的顺序的信息，其中检测控制单元121执行检测操作指令以用于对相应类型的内容做出索引，从而将该内容分成多个观看片段。
下文中，将就规则表301和检测操作表302进行详细描述。
图4示出存储在规则存储单元106中的规则表301的数据结构。
规则表301包含对于每个内容种类的不同的规则。
每个规则由节目类型，操作指令的数量，和与该数量一样多的操作ID构成。
节目类型示出相应的内容种类，操作的数量示出有多少检测操作指令被指定。
操作ID是检测操作指令的标识，并且以将被执行以用于索引的顺序被列出。
例如，“新闻节目1”的规则示出由操作ID 001、004、002和003标识的检测操作指令需将被以所表明的顺序执行。
图5示出存储在规则存储单元106中的检测操作表302的数据结构。
检测操作表302包含检测操作指令。每个检测操作指令示出其显示时间将被注册到索引存储单元109中或要从索引存储单元109中将其显示时间删除的帧的条件，以及示出要执行的操作(也就是，展示时间注册、展示时间删除和片段起始时间注册)的信息。
每个检测操作指令是由操作ID、检测目标帧、检测参数、索引操作、选择帧和索引帧构成的信息。
操作ID唯一地标识一个检测操作指令。
检测目标帧示出将被特征帧检测单元123检测到的帧的特征。检测参数是被特征帧检测单元123用于特征帧检测的参数。
索引操作是指示检测处理单元124执行或者展示时间注册、展示时间删除或者片段起始时间注册的信息。更明确地说，索引操作被设置为：当展示时间需将被注册时，是“展示时间注册”；当展示时间需将被删除时，是“展示时间删除”；当片段起始时间需将被注册时，是“片段起始时间注册”。
选择帧是示出被用于指定索引帧的帧的信息，其中该索引帧的显示时间将被检测处理单元124注册或删除。选择帧被设成值0、1和2中的一个。值0表示检测目标帧，值1表示已注册的展示，以及值2表示已注册的起始帧。
索引帧示出一个索引帧，该索引帧是其显示时间需将被注册或删除的帧。索引帧由选择帧和检测目标帧之间的关系来示出。更明确地说，索引帧被设成值0、1和2中的一个。值0表示与选择帧相匹配的检测目标帧被确定为索引帧。值1表示选择帧的最近前驱检测目标帧(也就是，在选择帧之前的所有检测目标帧中离该选择帧最近的帧)被确定为索引帧。值2表示选择帧的直接后继检测目标帧(也就是，位于选择帧之后的所有检测目标帧中离该选择帧最近的帧)被确定为索引帧。
例如，具有操作ID 001的检测操作指令指示特征帧检测单元123来检测每个“大文字说明起始帧”。大文字说明起始帧是一系列帧中的第一帧，在该一系列帧中，一个比阈值[(X，Y)]尺寸大的文字说明连续的出现在由检测参数[(x-y)，(x，y)]定义的区域中。另外，检测处理单元124被指示来指定每个与选择帧(在该情况下，也就是大文字说明起始帧)相匹配的检测目标帧(在该情况下，也就是大文字说明起始帧)作为索引帧，并且将这样指定的索引帧的显示时间作为展示时间注册到索引存储单元109中。
此外，具有操作ID 002的检测操作指令指示特征帧检测单元123来检测每个“小文字说明帧”。“小文字说明帧”是这样的一个帧，其中比阈值[(X，Y)]尺寸小的文字说明出现在由检测参数[(x，y)-(x，y)]定义的区域中。另外，检测处理单元124被指示来指定，每个与选择帧(已注册的展示帧)相匹配的检测目标帧(小文字说明帧)作为索引帧，并且从在索引存储单元109中注册的展示时间中删除这样指定的索引帧的显示时间。
此外，具有操作ID 003的检测操作指令指示特征帧检测单元123来检测过渡帧，在该过渡帧中发生从一个连续的画面到另一个的过渡(也就是，画面边界的帧)。另外，检测处理单元124被指示来指定，选择帧(已注册的展示帧)的最近前驱检测目标帧(过渡帧)作为索引帧，并且将这样指定的索引帧的显示时间作为片段起始时间注册到索引存储单元109中。
图2中所示的选择单元107从规则表301获取与从节目获取单元104中获取的类型信息相对应的规则。另外，选择单元107从检测操作表302获取由每个包含在所获取的规则中的操作ID标识的检测操作指令。所获取的规则和检测操作指令被输出到指定单元108中。在所获取的规则包含多个操作ID的情况下，选择单元107以在规则中列出的操作ID的顺序，将相应的检测操作指令输出到指定单元108中。
指定单元108包括检测控制单元121、数据分析单元122、特征帧检测单元123和检测处理单元124。指定单元108是一个功能块，其从由节目获取单元104获取的内容中构成图像数据的多个帧中，指定将作为观看片段的起始帧的帧，以用于将一个内容分成多个观看片段。
检测控制单元121以规则所示出的顺序从选择单元107中一个接一个获取检测操作指令。对于所获取的每个检测操作指令，检测控制单元121向特征帧检测单元123输出由该检测操作指令示出的检测参数，并控制特征帧检测单元123和检测处理单元124。
数据分析单元122是一个功能块，其用于对节目获取单元104所获取的内容进行解码，以及在特征帧检测单元123的控制下分析已解码内容，以便提取视频和音频数据的特征。为此目的，数据分析单元包括以下功能块：静止图像分析单元131、视频分析单元132和音频分析单元133。
静止图像分析单元131分析每个帧的亮度和颜色分布。
视频分析单元132分析毗连的帧对之间亮度和颜色上的变化。
音频分析单元133基于已解码音频数据，执行音量级测量、波形分析和语音识别。
特征帧检测单元123包括以下功能块：过渡检测单元141、大文字说明检测单元142、小文字说明检测单元143、无声检测单元144、CM(商业消息)检测单元145、音乐起始检测单元146、相似图像检测单元147和语音起始检测单元148。特征帧检测单元123在检测控制单元121的控制之下，从内容中检测具有后面描述的特征的帧。帧检测是基于由数据分析单元122获取的分析而执行的。特征帧检测单元123向检测处理单元124输出每个检测到的帧的显示时间。
更明确地说，过渡检测单元141检测其中发生了从一个画面到另一个的过渡的过渡帧。注意，一个画面由连续拍摄的一系列帧来表示。更明确地说，过渡检测单元141通过预定算法，使用毗连的帧对之间的颜色分布上的变化，来检索内容中的所有过渡帧。每个检测到的过渡帧的显示时间被输出到检测处理单元124中。
大文字说明检测单元142是检测大文字说明起始帧的功能块。为此目的，大文字说明检测单元142从检测控制单元121获取参数，也就是，定义了预定区域的坐标和文字说明尺寸的阈值。大文字说明检测单元142然后通过预定算法，使用所获取的参数，以及使用毗连的帧对之间在基于亮度的水平边缘像素的数目上基于时间的变化，来检索所有的大文字说明起始帧。每个检测到的大文字说明起始帧的显示时间被输出到检测处理单元124中。
小文字说明检测单元143是检测小文字说明帧的功能块。为此目的，小文字说明检测单元142从检测控制单元121获取参数，也就是，定义了预定区域的坐标和文字说明尺寸的阈值。小文字说明检测单元142然后通过预定算法，使用所获取的参数，以及使用基于亮度的水平边缘像素的数目，来检索所有的小文字说明帧。每个检测到的小文字说明帧的显示时间被输出到检测处理单元124中。
如上，大文字说明检测单元142和小文字说明检测单元143通过图像分析执行检测。然而，一个内容可以包含关于其文字说明的元数据，如隐藏文字说明(closed-caption)。在该情况下，可以使用元数据来执行检测，并且这样不需要进行图像分析。
无声检测单元144使用预定算法来检测声音等级低于阈值的无声帧。每个检测到的无声帧的显示时间被输出到检测处理单元124中。
CM检测单元145使用预定算法检测构成CM的CM帧。更明确地说，CM检测单元145检测与一个片段相对应的帧作为CM帧，其中在该片段中，无声以预定时间间隔(例如，15秒)重复。每个检测到的CM帧的显示时间被输出到检测处理单元124中。
音乐起始检测单元146使用预定算法检测音乐起始帧，所述音乐起始帧是一系列帧中的第一帧，在该一系列帧中，特征声音周期性地重复。每个检测到的音乐起始帧的显示时间被输出到检测处理单元124中。
相似图像检测单元147首先从规则存储单元146的参考帧存储区获取由从检测控制单元121获取的参数指定的参考帧。然后相似图像检测单元147比较与在索引信息单元109中注册的展示时间相对应的每个帧，来检查该展示帧的图像是否与参考帧图像相似。这样，相似图像检测单元147从展示帧中检测在图像数据上与参考帧图像相似的帧。每个检测到的相似图像帧被输出到检测处理单元124中。
相似图像帧的检测可以被以不同的方式执行。例如，参考帧特有的主要文字说明的显示位置被指定为参考区域，并且该区域中水平边缘帧的数目被指定为特征索引。基于该特征索引来测量每对帧之间的相似性。作为选择，参考帧中的文字说明的显示位置可以被指定为特征索引，以便来检测带有在相似位置上显示的文字说明的帧。此外，可以基于其它特征来测量每对帧之间的相似性。
语音起始检测单元148基于音频数据，检测语音起始帧，所述语音起始帧是一系列帧中的第一帧，在该一系列帧中，特定发言人的语音持续。使用预定算法来执行检测，并且每个检测到的语音起始帧的显示时间被输出到检测处理单元124中。
检测处理单元124包括以下功能块：候选指定单元151、候选删除单元152和起始帧指定单元153。在检测控制单元121的控制下，检测处理单元124重写索引存储单元109中保存的索引信息。
候选指定单元151向索引信息注册一个展示时间。候选删除单元152从索引信息删除一个已注册的展示时间。起始帧指定单元153向索引信息注册一个片段起始时间。
特别地，索引存储单元109是诸如硬盘或DVD这样的记录介质，并为存储在内容存储单元103中的每个内容存储索引信息。索引信息由各个内容的每个观看片断的片段起始时间和展示时间构成。
规则更新单元110是一个功能块，其用于通过在通讯网络上从供应装置20获取最新版本的指定信息(规则和检测操作指令)，来更新存储在规则存储单元106中的规则表301和检测操作表302。
每次记录控制单元102开始记录内容时，规则更新单元110询问供应装置20，是否有与正在处理的内容相对应的指定信息的新版本。
该询问是在选择单元107选择一条相应的指定信息之前进行的。当有新版本时，规则更新单元110获取该新版本。
利用上述结构，记录装置100存储多条指定信息，并为每个种类的内容使用适当的一条指定信息。这确保了利用所提供的由每个内容种类的适当算法构成的多条指定信息，能够对不同类型的内容适当地做出索引。
如上所述，记录控制单元102、节目获取单元104、信息获取单元105、选择单元107、指定单元108和规则更新单元110的功能通过处理器执行存储在ROM中的程序而被执行。然而可选地，可以使用例如布线逻辑或ASIC(专用集成电路)来执行那些功能。
处理
接着，将描述记录装置100为了对一个内容做出索引而执行的处理。
图6是记录装置100执行的索引处理的流程图。
首先，节目获取单元104从内容存储单元103中获取一个已记录内容，并将所获取的内容输出到指定单元108中(S1)。
接着，信息获取单元105从内容存储单元103中获取一条与步骤S1中所获取的内容相对应的类型信息，并将所获取的类型信息输出到选择单元107中(S2)。然后选择单元107搜索包含在规则存储单元106中的规则表301来取回一条与由所获取的类型信息示出的“种类”相对应的规则。选择单元107还搜索检测操作表302来取回一条由包含在所获取的规则中的每个操作ID标识的检测操作指令。所获取的规则和检测操作指令被输出到指定单元108中(S3)。
指定单元108基于从选择单元107获取的规则和检测操作指令，通过从所有的帧中指定每个观看片段的起始帧，来执行分段处理，其中所述所有的帧共同构成从节目获取单元104中获取的内容的视频数据。利用以上方法，索引处理完成。
通过上述步骤，确保了实施例1的记录装置100使用一条与一个内容的类型相对应的指定信息，对该内容适当地做出索引。
接着，将就如图6的步骤S4所示的分段处理进行更详细的描述。分段处理是要指定起始帧，由此将一个内容分成多个观看片段。
图7是分段处理的流程图。
首先，检测控制单元121判断是否有任何由选择单元107获取的检测操作指令还没有被处理(S11)。
当还有未处理的检测操作指令时(S11：是)，检测控制单元121以在规则中所列顺序来选择未处理检测操作指令中的第一条(S12)。基于这样选择的检测操作指令，检测控制单元121通过控制特征帧检测单元123以及检测处理单元124来执行帧检测处理。通过帧检测处理，满足当前检测操作指令所示出的条件的帧被指定，并且保存在索引存储单元109中的索引信息被相应更新(S13)。
帧检测处理后，检测控制单元121回到步骤S11，对下个检测操作指令进行相似处理。
检测控制单元121重复上述步骤，直到再没有未处理检测操作指令剩下(S11：否)。结果，多个观看片段中的每一个的片段起始时间和展示时间被注册到索引信息中。
通过上述步骤，指定单元108以选择单元107所选择的规则所示出的顺序来一条接一条地处理检测操作指令。
接着，将更详细地描述如图7中步骤S13所示的帧检测处理。为了检测满足检测操作指令所示出的条件的帧和使用所检测到的帧来更新索引信息，帧检测处理由特征帧检测单元123和检测处理单元124来执行。
图8是帧检测处理的流程图。
首先，特征帧检测单元123判断是否有任何构成由节目获取单元104获取的内容的帧没有被分析(S21)。
当有未分析帧时(S21：是)，特征帧检测单元123选择未分析帧中的第一个(S22)。然后通过使用其功能块，特征帧检测单元判断是否当前帧是一个满足当前检测操作指令所示出的条件的检测目标帧(步骤S23)。当被分析的帧不是检测目标帧时(S23：否)，特征帧检测单元123回到步骤S21来分析下一帧。另一方面，当被分析的帧是检测目标帧时(S23：是)，特征帧检测单元123将该帧的显示时间记录到存储器中保护的工作区中(S24)。然后处理回到步骤S21来分析下一帧。
特征帧检测单元123重复上述步骤，以在该工作区中生成一个内容中找到的所有检测目标帧的显示时间列表。当整个内容的帧分析结束时(S21：否)，检测处理单元124从工作区获取该显示时间列表，并使用所获取的检测目标帧的显示时间和当前检测操作指令所示出的选择帧，根据该检测操作指令来更新索引信息(S25)。
通过上述步骤，确保了特征帧检测单元123根据检测操作指令，适当地从构成内容的图像数据的帧中检测所有的目标帧。
例1
下文中，将就记录装置100对内容401执行的索引处理的一个特定实例进行描述。在该例中，内容401是一个60分钟的新闻节目。
图9是示意性地示出内容401的图像数据特征的视图。图中的水平轴是时间轴。时间轴上的数字表示从内容401开始的所经历的时间(以分钟为单位)。
每个沿时间轴402的矩形代表了一个片段，在该片段中，一个大文字说明出现在每个帧底部的区域中。每个沿时间轴403的矩形代表了一个与为了广告的目的而***的CM相对应的片段。每个沿时间轴404的矩形代表了一个片段，在该片段中，一个小文字说明出现在底部区域之外的区域中。每个沿时间轴405的垂直线代表一个画面过渡，在该画面过渡中，发生了从一个连续画面到另一个的过渡。
这里，将将被做索引的内容401属于种类“新闻节目1”。因此，选择单元107从图4中所示的从规则表301中获取与“新闻节目1”相对应的规则。该规则包含四个操作ID 001、004、002和003。因此，选择单元107还从图5中所示的检测操作表302中获取由操作ID标识的四个检测操作指令。然后，选择单元107将所获取的规则和检测操作指令输出到指定单元108中。
指定单元108根据各个检测操作指令，以在与“新闻节目1”相对应的规则中列出的操作ID的顺序，一个接一个地顺序地执行帧检测处理。
首先，帧检测处理根据由操作ID 001标识的检测操作指令而执行，该操作ID 001是该规则所示出的第一个ID。为此目的，大文字说明检测单元142检测包含在内容401中的所有大文字说明起始帧。然后，候选指定单元151将每个检测到的帧的显示时间作为展示时间注册到索引信息中。
图10示出大文字说明检测单元142根据具有操作ID 001的检测操作指令而检测到的大文字说明起始帧的显示时间列表。图11示出在具有操作ID 001的检测操作指令被处理以后，内容401的索引信息。
接着，处理由第二操作ID 004标识的检测操作指令。因此，CM检测单元145从内容401中检测所有的CM帧。图12示出由CM检测单元145根据具有操作ID 004的操作检测指令而检测到的CM帧的显示时间列表。实际上，CM检测单元145检测包含在内容401中的所有CM帧。然而，为了简洁，图12只示出每个CM片段的起始时间和结束时间。
当CM检测单元145进行的CM帧检测结束时，候选删除单元152通过删除每个与任何检测到的CM帧的显示时间相匹配的片段起始时间来改变索引信息。
更明确地说，从图11所示的索引信息中，展示时间“13:00”、“29:00”、“45:00”和“58:00”被删除。图13示出具有操作ID004的检测操作指令被执行后，内容401的索引信息。
接着，处理由第三操作ID 002标识的检测操作指令。为此目的，小文字说明检测单元143检测包含在内容401中的所有小文字说明帧。图14示出由小文字说明检测单元143根据具有操作ID 002的检测操作指令而检测到的小文字说明帧的显示时间列表。与图12相似，图14示出在其中小文字说明连续出现的每个片段的起始和结束时间，从而指示每个小文字说明帧的显示时间。
当小文字说明检测单元143进行的小文字说明检测结束时，候选删除单元152通过删除每个与任何检测到的小文字说明帧的显示时间相匹配的片段起始时间来改变索引信息。
更明确地说，从图11所示的索引信息中，展示时间“08:00”、“24:00”、“33:00”、“40:00”和“45:30”被删除。图15示出具有操作ID 002的检测操作指令被执行后，内容401的索引信息。
接着，处理由第四操作ID 003标识的检测操作指令。为此目的，过渡检测单元141检测包含在内容401中的所有过渡帧。图16示出由过渡检测单元141根据具有操作ID 003的检测操作指令而检测到的过渡帧的显示时间列表。实际上，过渡检测单元141检测包含在内容401中的过渡帧，包括包含在CM片段中的过渡帧。然而，出于以下原因，CM片段中的任何过渡帧的显示时间并没有被包含在该列表中。根据具有操作ID 002的检测操作指令，包含在CM片段中的展示帧已经被从索引信息中排除了。就是说，CM片段中出现的过渡帧不会被指定为索引帧(它是展示帧的最近前驱过渡帧)。由于这个原因，图6省略了包含在CM片段中的过渡帧的显示时间。
当过渡检测单元141进行的过渡帧检测完成时，起始帧指定单元153给每个已注册的展示帧指定一个最近前驱过渡帧，并注册每个这样指定的索引帧的显示时间作为片段起始时间。
更明确地说，当如图15中所示的索引时间包括展示时间“00:45”、“19:30”、“30:30”和“51:15”时，片段起始时间“00:00”、“19:00”、“30:30”和“50:00”被注册。图17示出根据与“新闻节目1”相对应的规则，索引处理结束后，内容401的索引信息。
在图9中，沿时间轴406的黑点代表被指定为起始帧的帧，而沿时间轴407的黑三角形代表被指定为展示帧的帧。
通过上述步骤，确保了对一个新闻节目适当地做出索引，其中在该新闻节目中，对于每个新闻故事出现一个文字说明，来介绍该新闻故事的概要或标题。
更明确地说，当对这样的一个新闻节目做索引时，展示帧将是每个其中提供一个新闻故事的标题的文字说明出现的帧，而起始帧将是每个在其位置上一个画面过渡到一幅报道新闻故事的广播员的图像的帧。
图18A示出一幅典型的起始帧的图像，而图18B示出一幅典型的展示帧的图像。图18C是一幅典型的帧的图像，该帧的显示时间一旦根据具有操作ID 001的检测操作指令被注册为一个展示帧，然后就会根据具有操作ID 002的检测操作指令被删除。结果，图18C中所示的帧没有被指定为展示帧。
例2
接着，将会就由记录装置100执行的索引处理的另一个例子来进行描述。
假设，该例中的内容401属于种类“新闻节目3”。从而，从规则表301中获取对应于“新闻节目3”的规则。
对应于“新闻节目3”的规则包括按照所表明的顺序的操作ID001、004、002和005。因此，当根据对应于“新闻节目3”的规则而执行索引处理时，头三个检测操作指令(其操作ID是001、004和002)被以与例1中相同的方式来执行。
此后，执行由第四操作ID 005标识的检测操作指令。为此目的，无声检测单元144从内容401中检测所有无声帧。
当完成无声帧检测时，起始帧指定单元153从所有的检测到的无声帧中指定每个展示帧的最近前驱帧。然后，起始帧指定单元153将每个这样指定的无声帧的显示时间作为片段起始时间注册到索引信息中。
上述步骤确保了对这样的一个新闻节目适当地做出索引，其中在该新闻节目中，对于每个新闻故事，出现一个文字说明来介绍该新闻故事的标题。
更明确地说，为每个新闻故事指定一个展示帧和一个起始帧。每个在该情况下指定的展示帧，是其中介绍标题的文字说明出现的第一帧。每个在该情况下指定的起始帧是构成一个无声片段的一系列帧中的最后帧，所述无声片段直接在报道新闻故事的音频数据之前。
例3
下文中，将会就由记录装置100执行的索引处理的另一个例子进行描述。
假设，该例中的内容401属于种类“音乐演出1”。从而，从规则表301中获取对应于“音乐演出1”的规则。
对应于“音乐演出1”的规则包括按照所表明的顺序的操作ID001、004、002和006。因此，当根据对应于“音乐演出1”的规则而对内容401做索引时，头三个检测操作指令(其操作ID是001、004和002)被与例1中相同的方式来执行。
此后，执行由第四操作ID 006标识的检测操作指令。为此目的，音乐起始检测单元146从内容401中检测所有音乐起始帧。
当完成音乐起始检测时，起始帧指定单元153为每个在索引信息中注册的展示帧指定一个起始帧。在该情况下指定的起始帧是在所有音乐起始帧中离每个展示帧的最近前驱帧。
上述步骤确保了对这样的一个音乐演出适当地做出索引，其中在该音乐演出中，一个表示每首音乐的名称和作者的文字说明在音乐开始后出现。
更明确地说，为音乐演出中演奏的每首音乐指定一个展示帧和一个起始帧。每个在该情况下指定的每个起始帧是其中一首音乐开始的帧。每个在该情况下指定的展示帧是其中关于该首音乐的文字说明，如名称，首次出现的帧。
例4
接着，将就由记录装置100执行的索引处理的另一个例子进行描述。
假设，该例中的内容401属于种类“新闻节目5”。从而，从规则表301中获取对应于“新闻节目5”的规则。
对应于“新闻节目5”的规则包括按照所表明的顺序的操作ID001、004、002和010。因此，当根据对应于“新闻节目5”的规则而对内容401做索引时，头三个检测操作指令(其操作ID是001、004和002)被与例1中相同的方式来执行。
此后，执行由第四操作ID 010标识的检测操作指令。为此目的，语音起始检测单元146从内容401中检测所有语音起始帧。
当完成语音起始帧检测时，起始帧指定单元153从所有检测到的语音起始帧中指定每个展示帧的最近前驱帧。然后，起始帧指定单元153将每个这样指定的帧的显示时间作为片段起始时间注册到索引信息中。
上述步骤确保了对这样的一个新闻节目适当地做出索引，其中在该新闻节目中，对于每个新闻故事，出现一个文字说明来介绍该新闻故事的标题。
更明确地说，为每个新闻故事指定一个展示帧和一个起始帧。每个在该情况下指定的展示帧，是其中介绍标题的文字说明出现的第一帧。每个在该情况下指定的起始帧，是在其位置上新闻故事开始的报道开始的帧。
当根据各自与“新闻节目1”、“新闻节目3”、“音乐演出1”和“新闻节目5”相对应的规则做索引时，记录装置100检测整个内容401中的检测目标帧。就是说，构成CM的帧可以被作为检测目标帧而检测到。然而，CM与广播节目无关，所以没有CM帧可以被指定为起始帧或展示帧。
考虑到以上所述，可以首先执行这样的检测操作指令来从内容401中检测所有的CM帧。因此，可以执行后面的检测操作指令，以便从移除所有的CM帧后剩余的帧中检测目标帧。这样，降低了强加于数据分析单元122的处理负载，并且因此缩短了处理时间。
在对应于“新闻节目2”的规则的情况下，例如，指示首先处理用于移除所有的CM帧的检测操作指令，其后一个接一个地处理由操作ID 001、002和003标识的检测操作指令。此外，在对应于“新闻节目4”的规则的情况下，指示首先处理用于移除所有的CM帧的检测操作指令，其后一个接一个的处理由操作ID 001、002和005标识的检测操作指令。在对应于“音乐演出2”的规则的情况下，指示首先处理用于移除所有的CM帧的检测操作指令，其后一个接一个地执行由操作ID 001、002和006识别的检测操作指令。在对应于“新闻节目6”的规则的情况下，指示首先处理用于移除所有的CM帧的检测操作指令，其后一个接一个地执行由操作ID 001、002和010标识的检测操作指令。
此外，记录装置100可以根据除了上述规则以外的规则来执行索引处理。
例如，具有操作ID 001的检测操作指令可以首先被处理，以便每个大文字说明起始帧的显示时间被注册到索引信息中。接着，处理具有操作ID 004的检测操作指令，以便如果相同的显示时间被注册到索引信息中时，移除每个CM帧的显示时间。接着，处理具有操作ID 009的检测操作指令。这样，每个与已注册的展示时间相对应的帧被与存储在规则存储单元106的参考帧存储区中的参考帧相比较。基于该比较，对于文字说明区域的位置，与参考帧相似的帧，被作为相似图像帧而检测，并且每个除了这样检测到的相似图像帧以外的帧的显示时间被从索引信息中删除。这样，每个其显示时间仍被注册的帧被指定为展示帧。
此外，在每个与已注册的展示时间相对应的帧中进行比较，来检查文字说明区域的重叠程度，或文字说明区域的矩心之间的距离。基于该比较，较低相似度的帧被从展示帧中删除，因此减少了展示帧的数量。
在另一个例子中，每个CM帧系列中的第一帧被从一个内容中检测到，并被指定为起始帧。另外，从该内容中检测过渡帧。然后，对于每个指定的起始帧，在所有检测到的过渡帧中，每个起始帧的最近后继被指定为展示帧。这样，每个包含在内容中的CM被作为一个片段而做出索引。
如上所述，实施例1的记录装置100使用特征帧检测单元123来检测过渡帧、小文字说明帧、大文字说明起始帧、无声帧、CM帧、音乐起始帧和相似图像帧。然而记录装置100也可以检测具有其它特征的帧。
此外，检测操作指令并不限于包含在图5所示的检测操作表302中特定例子。记录装置100可以配备有其它指示不同操作的检测操作指令。
这样的检测操作指令的例子包括以下内容。
1、指示进行以下处理的检测操作指令：从索引信息中，删除每个在一个CM帧之前的所有展示时间中离该CM帧最近的展示时间。
2、指示进行以下处理的检测操作指令：从索引信息中，删除落入每个CM帧之前一个预定时间段内的展示时间。
3、指示进行以下处理的检测操作指令：从索引信息中，删除落入一个预定时间段的所有展示时间，除了这些展示时间中的第一个以外。
4、指示进行以下处理的检测操作指令：将每个短期文字说明起始帧的展示时间作为一个展示时间注册到索引信息中。短期文字说明起始帧是一系列帧中的第一帧，在该一系列帧中，一个文字说明连续出现在一个预定的显示区域中，但是持续时间比一个预定时间段要短。
5、指示进行以下处理的检测操作指令：从索引信息中，删除每个与垂直文字说明帧的显示时间相匹配的展示时间。垂直文字说明帧是其中一个垂直或从顶部到底部方向的文字说明出现在预定显示区域的帧。
6、指示进行以下处理的检测操作指令：从索引信息中，删除一个CM帧后继的所有展示时间，除了最接近于该CM帧的展示时间以外。
7、指示进行以下处理的检测操作指令：检测位于每个展示时间之前的预定时间段内的最长无声片段，并指定构成该最长无声片段的一系列帧中的第一帧。这样指定的帧的显示时间被作为片段起始时间注册到索引信息中。
8、指示进行以下处理的检测操作指令：检测每个同时是无声帧的过渡帧。在这样检测到的帧中，每个展示帧的最近前驱帧被指定为起始帧，并因此其显示时间被作为一个片段起始时间注册到索引信息中。
9、指示进行以下处理的检测操作指令：删除同时是音乐起始帧的过渡帧。在这样检测到的帧中，每个展示帧的最近前驱帧被指定为起始帧，并因此其显示时间被作为一个片段起始时间注册到索引信息中。
提供了多种检测操作指令，使得实施例1的记录装置100可以为每个具有不同特征的多种内容，使用适当的检测操作指令的组合。结果，可以以很高的准确性来执行对内容的分段。这里所使用的分段的准确性指的是视频处理装置进行的分段与基于人类感知的内容结构进行的分段匹配得有多好。
注意，实施例1的记录装置100通过顺序地执行多个检测操作指令来指定起始帧和展示帧。作为选择，记录装置100可以首先根据所有相关的检测操作指令来检测所有的检测目标帧，然后从这样检测到的目标帧中选择满足检测操作指令所示出的条件的起始帧和展示帧。
此外，不需要总是检测整个内容中的检测目标帧。而是，可以为在时间顺序上在一个已知帧之前的帧，来执行目标帧检测。假设，例如，在过渡帧中，一个展示帧的最近前驱帧被指定为起始帧。在该情况下，上面期望从整个内容检测过渡帧，并且一个展示帧的最近驱帧被从这样选择的过渡帧中选择出来。作为选择，从每个展示帧开始的逆时顺序上检测一个过渡帧也是可行的。第一个检测到的过渡帧被指定为起始帧。利用这样的安排，减少了视频分析的所需的处理量。
此外，对于内容中的多个部分，可以并行地执行对该内容做索引。利用这样的安排，缩短了对内容做索引所花的时间。
实施例2
在实施例2中，将会把回放装置200作为与本发明的视频处理装置相一致的例子来描述。
图19示出回放装置200的使用模式。
回放装置200具有在监视器30上回放存储在内容存储单元103中的内容的功能。另外，回放装置200具有将存储在内容存储单元103中的内容分段的索引功能，以及在监视器30上以列表形式显示展示帧的缩略图像的功能。此外，响应于用户对远程控制器40操作，回放装置200接收用户对所显示的缩略图像的选择，并从所选择的缩略图像的展示帧所属的观看片段的开始回放内容。
图20示出回放装置200的功能块。
回放装置200与记录装置100的不同之处在于，与记录功能相关联的接收单元101和记录单元102被移除，并且与回放功能有关的缩略图生成单元201、缩略图显示单元202、用户选择单元203和回放控制单元204被添加。
在图20中，相同参考数字被用于表示与记录装置100相同的功能块。因此，省略对那些功能块的描述。
缩略图生成单元201是用于生成内容的展示帧的缩略图像的功能块。缩略图像被用作为各个观看片段的代表性的静止图像。缩略图生成单元201参考存储在信息存储单元109中的索引信息所示出的每个观看片段的展示时间，以便从存储在内容存储单元103中的内容的图像数据中取回每个观看片段的展示帧。缩略图生成单元103然后根据这样获取的展示帧来生成缩略图像。
缩略图显示单元202是用于显示由缩略图生成单元201为每个观看片段生成的缩略图像的功能块。缩略图像被以列表形式显示在监视器30上。另外，缩略图显示单元202为每个缩略图像管理相应的观看片段的片段起始时间和展示时间。当从用户选择单元203接收到缩略图像的用户选择时，缩略图显示单元202向回放控制单元204通知由用户选择的缩略图像的片段起始时间。
用户选择单元203是用于接收用户操作、从而选择一个或多个显示的缩略图像、并向缩略图显示单元202通知所选择的(多个)缩略图像的功能块。此外，当选择缩略图像时，用户选择单元将所选择的缩略图像记录到规则存储单元106的参考帧存储区中。
回放控制单元204是用于控制内容回放的功能块。当接收到片段起始时间的通知时，回放控制单元204从与所接收到的片段起始时间相对应的帧开始回放存储在内容存储单元103中的内容。
利用上述结构，回放装置200以列表形式显示缩略图像。缩略图像是这样的帧，例如，通过这些帧(也就是展示帧)，利用各个观看片段的文字说明，用户可以容易地了解各个观看片段中记录了什么。当用户选择显示的缩略图像中的一个时，回放装置200并不从与所选择的缩略图像相对应的帧(也就是展示帧)开始，而是从所选择的缩略图像所属的观看片段的开端(也就是起始帧)开始回放内容。
下文中，利用图9所示的内容401，就缩略图显示处理和回放处理进行详细说明。这里，假设内容401已经被做出索引并且因此索引存储单元109存储了内容401的索引信息。
首先，缩略图生成单元201参考存储在索引信息装置109中的索引信息以获取内容401的展示时间。然后缩略图生成单元201获取其显示时间与每个展示时间相对应的帧，并生成这样获取的帧的缩略图像。
更明确地说，四个展示时间“00:45”、“19:30”、“30:30”和“51:15”被注册到索引信息中，以便根据与已注册的展示时间相对应的四个展示帧来生成四幅缩略图像。
缩略图显示单元202获取由缩略图生成单元201生成的缩略图像，并在监视器30上以列表形式显示所获取的图像。
用户选择单元203根据用户选择来选择缩略图像之一。此外，用户选择单元203向缩略图显示单元202通知所选择的缩略图像，并将所选择的缩略图像记录到规则存储单元106的参考帧存储区中。这里，这样也是可行的，即只记录指定了内容401的一个帧的信息，而没有记录所选择的缩略图像的图像数据，其中所选择的缩略图像是根据该帧生成的。
当从用户选择单元203接收到关于所选择的缩略图像的通知时，缩略图显示单元202通知回放控制单元204关于与所选择的缩略图像相对应的帧的片段起始时间。
回放控制单元204从所的片段起始时间开始回放内容401。
更明确地说，当所选择的缩略图像是根据与展示时间“00:45”相对应的帧而生成的图像时，内容401的回放从片段起始时间00:00开始。当所选择的缩略图像是根据与展示时间“19:30”相对应的帧而生成的图像时，内容401的回放从片段起始时间19:00开始。当所选择的缩略图像是根据与展示时间“30:30”相对应的帧而生成的图像时，内容401的回放从片段起始时间30:30开始。当所选择的缩略图像是根据与展示时间“51:15”相对应的帧而生成的图像时，内容401的回放从片段起始时间50:00开始。
在多于一幅缩略图像被用户选择单元203选择的情况下，所选择的缩略图像都被记录在规则存储单元106的参考帧存储区中。
此外，回放控制单元204可以配备有用于顺序回放观看片段的播放列表功能。这样，在多于一幅缩略图像被选择的情况下，回放控制单元204顺序地回放与选择的缩略图像相对应的观看片段。
实施例3
概要
将数据压缩编码为MPEG-2格式涉及图像和音频数据分析以便测量特征。在实施例3中，基于在压缩编码处理中进行的图像和音频数据分析来执行将内容分段。利用该安排，可以简化指定单元。下面将就具有这样的简化指定单元的记录装置进行描述。
结构
图21示出根据本发明中的实施例3的记录装置300的功能块。记录装置300与记录装置100的不同之处在于，节目获取单元104被移除，并且指定单元108被指定单元111代替。在图21中，相同参考数字被用于表示与记录装置100的相同功能块。因此，省略了对那些功能块的描述。
指定单元111与指定单元108的不同之处在于，数据分析单元122被移除。指定单元111获取图像和音频数据分析，该分析是在对内容进行压缩编码的处理中获取的。然后，指定单元111使用这样获取的分析来生成该内容的索引信息。
利用上述结构，记录装置300使用在记录内容的处理中获取的分析来生成该内容的索引信息。另外，索引信息的生成与该内容的记录并行执行。这使得与回放装置200的结构相比，记录装置300在结构上得到简化。
此外，不需要已记录内容的音频和图像分析，索引可以通过处理比其他方式所需要的更小数量的数据而进行。
修改
已经通过上述实施例对本发明进行了描述。然而，可以很自然地理解，本发明并不限于那些特定的实施例并且包括以下在内的各种修改仍旧落入本发明的范围之内。
(1)本发明可以被实施为如上所述的方法。此外，本发明可以被实施为由计算机来实现所述方法的计算机程序，或者表示所述计算机程序的数字信号。
此外，本发明可以被实施为存储了所述计算机程序或所述数字信号的计算机可读记录介质。这样的记录介质的例子包括软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(蓝光盘)和半导体存储器。
此外，本发明可以被实施为记录在任何上述记录介质上的所述计算机程序或所述数字信号。
此外，本发明可以被实施为通过电子通信线路、无线通信、有线通信线路或由因特网所代表的网络来传输的所述计算机程序或所述数字信号。
此外，本发明可以被实施为由微处理器和存储器构成的计算机***。存储器存储上述计算机程序，并且微处理器可以根据所述计算机程序来操作。
此外，所述程序或所速回数字信号可以被以上述记录介质的形式传输，或通过上述网络来传输，从而所述程序或所述数字信号可以由另一个独立的计算机***来执行。
(2)本发明可以被实施为控制视频处理装置的LSI。可以通过集成在如图2、20和21所示的虚线框中包含的部分或全部功能块，而实现这样的LSI。功能块可以被集成为分开的IC芯片或整个被集成为一个单片IC。
例如，图22示出一个被实施作为实施例2的指定单元108的LSI400。当接收到索引命令时，LSI 400分析从内容存储单元103读出的回放信号来生成索引信息，并将该索引信息输出到索引存储单元109中。
图23示出一个被实施作为实施例3的记录控制单元102和指定单元111的LSI 500。当接收到记录命令时，LSI 500把由接收单元101接收的音频和视频数据数字化，并通过音频和视频编码器将该数字化的数据进行编码，来生成基本码流(下文中称为“ES”)。然后，LSI 500使用***编码器多路复用音频ES和视频ES，从而生成节目码流(下文中称为“PS”)。这样生成的PS被输出到内容存储单元103中。记录命令可以被附加一个指示执行索引的标签。当接收到附有这样标签的记录命令时，LSI 500使用音频和视频编码器在压缩编码处理中获取的分析，利用特征帧检测单元和检测处理单元来生成索引信息。所生成的索引信息被输出到索引信息存储单元109中。
这里，作为一个实例给出的LSI可以指的是IC、***LSI、超大规模集成电路(super LSI)或甚大规模集成电路(ultra LSI)，这取决于集成度。
并且，集成模式并不限于大规模集成，并且可以被实现为专用电路或通用处理器。作为选择，可以采用在制造出LSI后可编程的FPGA(现场可编程门阵列)、能够重新配置LSI内的电路单元的连接和设定的可重配置处理器等等。
此外，作为半导体技术进步或派生技术出现的结果，如果代替大规模集成的集成技术变得可用，功能块的集成可以自然地使用该技术来执行。该领域内生物科技等的应用也是有可能的。
(3)可以很自然地理解，本发明并不限于记录装置和回放装置。本发明也可以应用于配备有记录装置100和回放装置200二者的功能块的记录/回放装置。
(4)在上述实施例中，描述了从广播波上接收内容。广播的例子包括地面模拟广播、卫星广播、卫星数字广播和电缆广播。作为选择，可以一经要求就在以因特网为代表的通信网络之上分发内容。作为选择，可以从记录在诸如DVD、CD或SD卡这样的记录介质上的信息中获取内容。作为选择，内容可以是由用户使用家用摄像机拍摄的视频数据。
(5)在上述实施例中，每条指定信息与一个内容种类相对应。作为选择，每条指定信息可以直接与一个广播节目的名称相对应。
此外，一些指定信息可以直接与广播节目相对应，而其他一些对应于广播节目的种类。两种指定信息都存储在规则存储单元中，在存储了基于广播节目名称而选择的一条指定信息的情况下，根据这样的一条指定信息来执行内容的索引处理。如果不是，那么基于种类而选择一条适当的指定信息。
(6)根据上述实施例的记录装置可以在内容的记录处理结束时开始对内容做索引。作为选择，索引处理可以在开始记录处理时开始。
在索引处理在开始记录处理的时候开始的情况下，对于每个预定的记录周期或每个预定的已记录数据量来，可以一部分接一部分地获取内容。每次获取部分内容时，对所获取的那部分做出索引。当使用写缓冲区和读缓冲区而执行所谓的“追逐回放(chasing playback)”功能时，这样的索引处理被执行，并且通过交替执行下面的两个步骤来执行。
步骤1：将保存在写缓冲区中的数据记录到内容存储单元中，并对保存在读缓冲区中的数据执行索引处理。
步骤2：将部分内容写入到写缓冲区中，并从内容存储单元中将所写入的部分内容读取到读缓冲区中。
(7)根据上述实施例的记录装置可以在预定内容的记录被预设的时候，更新与预定内容相对应的指定信息。
此外，上述实施例的记录装置可以周期性地询问供应装置是否有新版本的指定信息可用。当接收到肯定回应时，记录装置可以获取新版本的指定信息。
此外，上述实施例的记录装置可以周期性地获取最新版本的指定信息。根据这样获取的最新版本，记录装置对内容重新做索引，其中该内容已经被根据较早版本的指定信息做出了索引。
(8)在上述实施例中，每条指定信息由规则和多个检测操作指令构成。然而，指定信息并不限于上述特定的实施例，并可以以其他形式实现。
指定信息可以采取任何形式，只要包括以下：多个算法，每个所述算法都用于检测具有特定特征的帧；所述算法的执行序列；和示出所述特征的参数。例如，指定信息可以是一个机器语言程序，其描述了用于指定展示帧和起始帧的次序。
(9)此外，上述实施例和修改可以以各种组合来使用。
工业实用性
例如，本发明可应用于一种记录装置，该记录装置用于将一个已记录内容分成多个观看片段，并一个片段接一个片段地回放该内容。

Claims (27)

1、一种视频处理装置，用于当将内容分段时，指定将作为多个观看片段的起始帧的多个帧，所述视频处理装置包括：
指定信息存储器，用于存储多条指定信息，其中每条所述指定信息示出将被指定为起始帧的帧的特征，并且每条所述指定信息与不同的内容类型相对应；
内容获取单元，用于获取内容；
信息获取单元，用于获取示出所述获取的内容的类型的类型信息；
提取单元，用于从所述指定信息存储器中提取出与由所述获取的类型信息示出的所述类型相对应的指定信息；以及
指定单元，用于根据所述提取出的指定信息来指定出现在所述内容中的起始帧。
2、根据权利要求1所述的视频处理装置，其中
每条指定信息还示出将被指定为展示帧的帧的特征，每个所述展示帧都将被显示为各个观看片段的有代表性的静止图像，以及
所述指定单元还根据所述提取出的指定信息，指定出现在所述内容中的展示帧。
3、根据权利要求2所述的视频处理装置，还包括：
索引存储单元，用于与所述内容相对应，来存储每个由所述指定单元指定的起始帧和展示帧的显示时间。
4、根据权利要求2所述的视频处理装置，其中
可以通过视频分析、静止图像分析和音频分析中的至少一种检测到由所述指定信息示出的所述特征，以及
所述指定单元通过视频分析、静止图像分析和音频分析中的至少一种来指定所述起始帧和展示帧。
5、根据权利要求4所述的视频处理装置，其中
所述指定信息包括：
第一条件，其示出将作为展示帧的候选而被检测到的帧的特征；
排除条件，其示出将被从展示帧的候选中排除的帧的特征；
第二条件，其示出将作为起始帧的候选而被检测到的帧的特征；以及
选择条件，其示出展示帧和将作为起始帧而被选择出的帧之间的关系，以及
所述指定单元通过从所有出现在所述内容中的帧中检测满足所述第一条件的帧，并随后从所述检测到的帧中排除满足所述排除条件的帧，来指定所述展示帧，并通过从所有出现在所述内容中的帧中检测满足所述第二条件的帧，并随后从所述检测到的帧中选择相对于所述已指定的展示帧而满足由所述选择条件示出的所述关系的帧，来指定所述起始帧。
6、根据权利要求5所述的视频处理装置，其中
所述指定单元包括：
多个检测子单元，其中每个所述检测子单元用于检测具有不同特征的帧；
排除子单元，用于从满足所述第一条件的帧中排除满足所述排除条件的帧；以及
选择子单元，用于从满足所述第二条件的帧中选择满足由所述选择条件示出的所述关系的帧，以及
所述第一条件、所述排除条件和所述第二条件，每个都是将要使用的所述检测子单元中的一个的标识符。
7、根据权利要求4所述的视频处理装置，其中
当根据与预定内容类型相对应的指定信息操作时，所述指定单元(i)从所有出现在所述内容中的所述帧中检测：大文字说明起始帧，其中每个所述大文字说明起始帧都是一系列帧中的第一帧，在该一系列帧中，比阈值尺寸大的文字说明连续出现在预定区域中；小文字说明帧，其中在每个所述小文字说明帧中，比阈值尺寸小的文字说明出现在所述预定区域之外的区域中；CM帧，其构成商业消息；和过渡帧，其中每个所述过渡帧都是一系列相似图像的帧中的第一帧，(ii)将在从所述大文字说明起始帧中移除所述小文字说明帧和所述CM帧之后剩余的每个帧指定为展示帧，和(iii)对于每个展示帧，将该展示帧的最近前驱过渡帧指定为起始帧。
8、根据权利要求4所述的视频处理装置，其中
当根据与预定内容类型相对应的指定信息操作时，所述指定单元(i)从所有出现在所述内容中的所述帧中排除构成商业消息的帧，(ii)从剩余的帧中检测：大文字说明起始帧，其中每个所述大文字说明起始帧都是一系列帧中的第一帧，在该一系列帧中，比阈值尺寸大的文字说明连续出现在预定区域中；小文字说明帧，其中在每个所述小文字说明帧中，比阈值尺寸小的文字说明出现在所述预定区域之外的区域中；和过渡帧，其中每个所述过渡帧都是一系列相似图像的帧中的第一帧，(iii)将在从所述大文字说明起始帧中移除所述小文字说明帧之后剩余的每个帧指定为展示帧，和(iv)对于每个展示帧，将该展示帧的最近前驱过渡帧指定为起始帧。
9、根据权利要求4所述的视频处理装置，其中
当根据与预定内容类型相对应的指定信息操作时，所述指定单元(i)从所有出现在所述内容中的所述帧中检测：大文字说明起始帧，其中每个所述大文字说明起始帧都是一系列帧中的第一帧，在该一系列帧中，比阈值尺寸大的文字说明连续出现在预定区域中；小文字说明帧，其中在每个所述小文字说明帧中，比阈值尺寸小的文字说明出现在所述预定区域之外的区域中；CM帧，其构成商业消息；和无声帧，其音频数据低于预定音量级，(ii)将在从所述大文字说明起始帧中移除所述小文字说明帧和所述CM帧之后剩余的每个帧指定为展示帧，和(iii)对于每个展示帧，将离该展示帧最近的无声帧指定为起始帧。
10、根据权利要求4所述的视频处理装置，其中
当根据与预定内容类型相对应的指定信息操作时，所述指定单元(i)从所有出现在所述内容中的所述帧中排除构成商业消息的帧，(ii)从剩余的帧中检测：大文字说明起始帧，其中每个所述大文字说明起始帧都是一系列帧中的第一帧，在该一系列帧中，比阈值尺寸大的文字说明连续出现在预定区域中；小文字说明帧，其中在每个所述小文字说明帧中，比阈值尺寸小的文字说明出现在所述预定区域之外的区域中；和无声帧，其音频数据低于预定音量级，(iii)将在从所述大文字说明起始帧中移除所述小文字说明帧之后剩余的每个帧指定为展示帧，和(iv)对于每个展示帧，将该展示帧的最近前驱无声帧指定为起始帧。
11、根据权利要求4所述的视频处理装置，其中
当根据与预定音乐节目类型相对应的指定信息操作时，所述指定单元(i)从所有出现在所述内容中的所述帧中检测：大文字说明起始帧，其中每个所述大文字说明起始帧都是一系列帧中的第一帧，在该一系列帧中，比阈值尺寸大的文字说明连续出现在预定区域中；小文字说明帧，其中在每个所述小文字说明帧中，比阈值尺寸小的文字说明出现在所述预定区域之外的区域中；CM帧，其构成商业消息；和音乐起始帧，其中每个所述音乐起始帧都是一系列帧中的第一帧，该一系列帧的音频数据表示音乐数据，(ii)将在从所述大文字说明起始帧中移除所述小文字说明帧和所述CM帧之后剩余的每个帧指定为展示帧，和(iii)对于每个展示帧，将该展示帧的最近前驱音乐起始帧指定为起始帧。
12、根据权利要求4所述的视频处理装置，其中
当根据与预定音乐节目类型相对应的指定信息操作时，所述指定单元(i)从所有出现在所述内容中的所述帧中排除构成商业消息的帧，(ii)从剩余的帧中检测：大文字说明起始帧，其中每个所述大文字说明起始帧都是一系列帧中的第一帧，在该一系列帧中，比阈值尺寸大的文字说明连续出现在预定区域中；小文字说明帧，其中在每个所述小文字说明帧中，比阈值尺寸小的文字说明出现在所述预定区域之外的区域中；和音乐起始帧，其中每个所述音乐起始帧都是一系列帧中的第一帧，该一系列帧的音频数据表示音乐数据，(iii)将在从所述大文字说明起始帧中移除所述小文字说明帧之后剩余的每个帧指定为展示帧，和(iv)对于每个展示帧，将该展示帧的最近前驱音乐起始帧指定为起始帧。
13、根据权利要求4所述的视频处理装置，其中
当根据与预定内容类型相对应的指定信息操作时，所述指定单元(i)从所有出现在所述内容中的所述帧中检测：大文字说明起始帧，其中每个所述大文字说明起始帧都是一系列帧中的第一帧，在该一系列帧中，比阈值尺寸大的文字说明连续出现在预定区域中；小文字说明帧，其中在每个所述小文字说明帧中，比阈值尺寸小的文字说明出现在所述预定区域之外的区域中；CM帧，其构成商业消息；和语音起始帧，其中每个所述语音起始帧都是一系列帧中的第一帧，该一系列帧的音频数据表示特定发言人的语音，(ii)将从所述大文字说明起始帧中移除所述小文字说明帧和所述CM帧之后剩余的每个帧指定为展示帧，和(iii)对于每个展示帧，将该展示帧的最近前驱语音起始帧指定为起始帧。
14、根据权利要求4所述的视频处理装置，其中
当根据与预定内容类型相对应的指定信息操作时，所述指定单元(i)从所有出现在所述内容中的所述帧中排除构成商业消息的帧，(ii)从剩余的帧中检测：大文字说明起始帧，其中每个所述大文字说明起始帧都是一系列帧中的第一帧，在该一系列帧中，比阈值尺寸大的文字说明连续出现在预定区域中；小文字说明帧，其中在每个所述小文字说明帧中，比阈值尺寸小的文字说明出现在所述预定区域之外的区域中；和语音起始帧，其中每个所述语音起始帧都是一系列帧中的第一帧，该一系列帧的音频数据表示特定发言人的语音，(iii)将在从所述大文字说明起始帧中移除所述小文字说明帧之后剩余的每个帧指定为展示帧，和(iv)对于每个展示帧，将该展示帧的最近前驱语音起始帧指定为起始帧。
15、根据权利要求4所述的视频处理装置，其中
当根据与预定内容类型相对应的指定信息操作时，所述指定单元(i)从所有出现在所述内容中的所述帧中检测：CM起始帧，其中每个所述CM起始帧都是一系列帧中的第一帧，该一系列帧构成商务消息；和过渡帧，其中每个所述过渡帧都是一系列相似图像的帧中的第一帧，(ii)将每个CM起始帧指定为起始帧，和(iii)对于每个起始帧，将该起始帧的最近后继过渡帧指定为展示帧。
16、根据权利要求2所述的视频处理装置，还包括：
回放单元，用于从由所述指定单元指定的起始帧开始回放内容。
17、根据权利要求16所述的视频处理装置，还包括：
索引存储单元，用于存储由所述指定单元为各个观看片段指定的每个起始帧和展示帧的显示时间对；
显示单元，用于显示由所述指定单元为每个观看片断指定的展示帧；以及
用户选择单元，用于根据用户选择，选择至少一个显示的所述展示帧，其中
所述回放单元从所述用户选择出的展示帧所属的观看片段的起始帧开始回放内容。
18、根据权利要求17所述的视频处理装置，其中
所述显示单元通过生成每个展示帧的缩略图像并以列表形式显示所述缩略图像来显示所述展示帧。
19、根据权利要求17所述的视频处理装置，其中
所述用户选择单元将所述选择出的展示帧作为参考图像存储在所述指定信息存储器中，以及
所述指定单元通过相对于其中出现文字说明的区域的位置检测与所述参考图像相似的帧，来指定所述展示帧。
20、根据权利要求1所述的视频处理装置，还包括：
记录单元，用于获取内容和所述内容的类型信息，并且与所述类型信息相对应地将所述内容记录到记录介质中，其中
在所述记录单元记录所述类型信息和至少部分所述内容后，所述内容获取单元继而从所述记录介质中获取所述部分内容，以及
所述指定单元继而指定出现在由所述内容获取单元获取的所述部分内容中的起始帧。
21、根据权利要求1所述的视频处理装置，还包括：
记录单元，用于获取内容和所述内容的类型信息，对所述内容进行编码，并且与所述类型信息相对应地记录所述已编码的内容，其中
在所述记录单元记录所述类型信息并且对至少部分所述内容进行编码后，所述内容获取单元继而获取所述已编码的部分内容，以及
所述指定单元获取由所述记录单元为了所述编码而做出的对所述已编码的部分的分析，并且继而使用所述分析来指定出现在所述已编码的部分中的起始帧。
22、根据权利要求1所述的视频处理装置，还包括：
更新单元，用于获取新版本的与特定的内容类型相对应的指定信息，并且将所述新版本的指定信息记录到所述指定信息存储器中。
23、根据权利要求22所述的视频处理装置，其中
当通过通信网络连接到用于提供指定信息的供应装置，并且判断有所述新版本的指定信息可用时，所述更新单元获取所述新版本的指定信息，以及
通过将存储在所述指定信息存储器中的与所述特定的类型相对应的指定信息更新成所述新版本，将所述新版本的指定信息记录在所述指定信息存储器中。
24、根据权利要求23所述的视频处理装置，其中
每次所述指定单元处理所述特定的内容类型时，进行对是否有所述新版本的指定消息可用的判断。
25、一种用于在视频处理装置中使用的集成电路，其中所述视频处理装置在将内容分段时，指定将作为多个观看片段的起始帧的多个帧，所述视频处理装置具有指定信息存储器，其中所述指定信息存储器用于存储多条指定信息，每条所述指定信息示出将被指定为起始帧的帧的特征，并且每条所述指定信息与不同的内容类型相对应，所述集成电路包括：
内容获取模块，用于获取内容；
信息获取模块，用于获取示出所述获取的内容的类型的类型信息；
提取模块，用于从所述指定信息存储器中提取出与由所述获取的类型信息示出的所述类型相对应的指定信息；以及
指定模块，用于根据所述提取出的指定信息，指定出现在所述内容中的起始帧。
26、一种由视频处理装置使用的视频处理方法，其中所述视频处理装置在将内容分段时，指定将作为多个观看片段的起始帧的多个帧，所述视频处理设备具有指定信息存储器，其中所述指定信息存储器用于存储多条指定信息，每条所述指定信息示出将被指定为起始帧的帧的特征，并且每条所述指定信息与不同的内容类型相对应，所述视频处理方法包括以下步骤：
获取内容；
获取示出所述获取的内容的类型的类型信息；
从所述指定信息存储器中提取出与由所述获取的类型信息示出的所述类型相对应的指定信息；以及
根据所述提取出的指定信息，指定出现在所述内容中的起始帧。
27、一种视频处理程序，用于使一个设备在将内容分段时，指定将作为多个观看片段的起始帧的多个帧，所述设备具有指定信息存储器，其中所述指定信息存储器用于存储多条指定信息，每条所述指定信息示出将被指定为起始帧的帧的特征，并且每条所述指定信息与不同的内容类型相对应，所述视频处理程序包括以下步骤：
获取内容；
获取示出所述获取的内容的类型的类型信息；
从所述指定信息存储器中提取出与由所述获取的类型信息示出的所述类型相对应的指定信息；以及
根据所述提取出的指定信息，指定出现在所述内容中的起始帧。
CNA2004800189198A 2003-07-03 2004-07-02 视频处理装置、视频处理装置的ic电路、视频处理方法和视频处理程序 Pending CN1816879A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP191430/2003 2003-07-03
JP2003191430 2003-07-03

Publications (1)

Publication Number Publication Date
CN1816879A true CN1816879A (zh) 2006-08-09

Family

ID=33562360

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2004800189198A Pending CN1816879A (zh) 2003-07-03 2004-07-02 视频处理装置、视频处理装置的ic电路、视频处理方法和视频处理程序

Country Status (7)

Country Link
US (1) US7941031B2 (zh)
EP (1) EP1642295A1 (zh)
JP (1) JP4584250B2 (zh)
KR (1) KR20060027826A (zh)
CN (1) CN1816879A (zh)
TW (1) TW200509676A (zh)
WO (1) WO2005004159A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103686032A (zh) * 2012-09-14 2014-03-26 晨星软件研发(深圳)有限公司 产生略缩图的方法与装置

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US8574074B2 (en) 2005-09-30 2013-11-05 Sony Computer Entertainment America Llc Advertising impression determination
US7966078B2 (en) 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
US8458754B2 (en) 2001-01-22 2013-06-04 Sony Computer Entertainment Inc. Method and system for providing instant start multimedia content
US8751310B2 (en) 2005-09-30 2014-06-10 Sony Computer Entertainment America Llc Monitoring advertisement impressions
US8763157B2 (en) 2004-08-23 2014-06-24 Sony Computer Entertainment America Llc Statutory license restricted digital media playback on portable devices
JP4613867B2 (ja) * 2005-05-26 2011-01-19 ソニー株式会社 コンテンツ処理装置及びコンテンツ処理方法、並びにコンピュータ・プログラム
US8626584B2 (en) * 2005-09-30 2014-01-07 Sony Computer Entertainment America Llc Population of an advertisement reference list
US8676900B2 (en) 2005-10-25 2014-03-18 Sony Computer Entertainment America Llc Asynchronous advertising placement based on metadata
US11004089B2 (en) 2005-10-25 2021-05-11 Sony Interactive Entertainment LLC Associating media content files with advertisements
US10657538B2 (en) 2005-10-25 2020-05-19 Sony Interactive Entertainment LLC Resolution of advertising rules
US20070118425A1 (en) 2005-10-25 2007-05-24 Podbridge, Inc. User device agent for asynchronous advertising in time and space shifted media network
EP2006795A4 (en) * 2006-03-24 2012-06-13 Nec Corp VIDEO DATA INDICATION SYSTEM, VIDEO DATA INDEXING PROCESS AND PROGRAM
JPWO2007114241A1 (ja) * 2006-03-29 2009-08-13 パイオニア株式会社 映像処理装置
EP2018728A4 (en) 2006-05-05 2011-07-06 Sony Comp Entertainment Us ADVERTISEMENT ROTATION
JP4327827B2 (ja) * 2006-07-28 2009-09-09 株式会社東芝 映像記録再生システムおよび映像記録再生方法
JP4945236B2 (ja) * 2006-12-27 2012-06-06 株式会社東芝 映像コンテンツ表示装置、映像コンテンツ表示方法及びそのプログラム
US20080235587A1 (en) * 2007-03-23 2008-09-25 Nextwave Broadband Inc. System and method for content distribution
US8955030B2 (en) * 2007-03-23 2015-02-10 Wi-Lan, Inc. System and method for personal content access
US9483405B2 (en) 2007-09-20 2016-11-01 Sony Interactive Entertainment Inc. Simplified run-time program translation for emulating complex processor pipelines
US8769558B2 (en) 2008-02-12 2014-07-01 Sony Computer Entertainment America Llc Discovery and analytics for episodic downloaded media
US8320717B2 (en) 2008-03-31 2012-11-27 Brother Kogyo Kabushiki Kaisha Image processor
JP5091806B2 (ja) * 2008-09-01 2012-12-05 株式会社東芝 映像処理装置及びその方法
JP2010109852A (ja) * 2008-10-31 2010-05-13 Hitachi Ltd 映像インデクシング方法、映像録画再生装置、及び映像再生装置
GB2470570B (en) * 2009-05-27 2014-07-16 Snell Ltd Determining a regional shot change parameter
US9565479B2 (en) * 2009-08-10 2017-02-07 Sling Media Pvt Ltd. Methods and apparatus for seeking within a media stream using scene detection
US8763090B2 (en) 2009-08-11 2014-06-24 Sony Computer Entertainment America Llc Management of ancillary content delivery and presentation
US8126987B2 (en) 2009-11-16 2012-02-28 Sony Computer Entertainment Inc. Mediation of content-related services
US8433759B2 (en) 2010-05-24 2013-04-30 Sony Computer Entertainment America Llc Direction-conscious information sharing
US10372758B2 (en) * 2011-12-22 2019-08-06 Tivo Solutions Inc. User interface for viewing targeted segments of multimedia content based on time-based metadata search criteria
US9680689B2 (en) 2013-02-14 2017-06-13 Comcast Cable Communications, Llc Fragmenting media content
US9549208B1 (en) 2013-03-14 2017-01-17 Tribune Broadcasting Company, Llc Systems and methods for causing a stunt switcher to run a multi-video-source DVE
US9185309B1 (en) 2013-03-14 2015-11-10 Tribune Broadcasting Company, Llc Systems and methods for causing a stunt switcher to run a snipe-overlay DVE
US9473801B1 (en) 2013-03-14 2016-10-18 Tribune Broadcasting Company, Llc Systems and methods for causing a stunt switcher to run a bug-removal DVE
US9049386B1 (en) 2013-03-14 2015-06-02 Tribune Broadcasting Company, Llc Systems and methods for causing a stunt switcher to run a bug-overlay DVE
US9094618B1 (en) * 2013-03-14 2015-07-28 Tribune Broadcasting Company, Llc Systems and methods for causing a stunt switcher to run a bug-overlay DVE with absolute timing restrictions
US9532086B2 (en) 2013-11-20 2016-12-27 At&T Intellectual Property I, L.P. System and method for product placement amplification
CN111050201B (zh) * 2019-12-10 2022-06-14 Oppo广东移动通信有限公司 数据处理方法、装置、电子设备及存储介质
KR20210107480A (ko) * 2020-02-24 2021-09-01 삼성전자주식회사 전자장치 및 그 제어방법

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3407840B2 (ja) * 1996-02-13 2003-05-19 日本電信電話株式会社 映像要約方法
JP3131560B2 (ja) * 1996-02-26 2001-02-05 沖電気工業株式会社 動画像処理システムにおける動画像情報検出装置
US6496228B1 (en) * 1997-06-02 2002-12-17 Koninklijke Philips Electronics N.V. Significant scene detection and frame filtering for a visual indexing system using dynamic thresholds
JPH11167583A (ja) * 1997-12-04 1999-06-22 Nippon Telegr & Teleph Corp <Ntt> テロップ文字認識方法および映像蓄積表示装置、テロップ文字認識・検索端末、映像検索端末
JP3439105B2 (ja) * 1998-01-20 2003-08-25 日本電信電話株式会社 映像中字幕文字検出方法およびその装置および記録媒体
JP3435334B2 (ja) * 1998-02-23 2003-08-11 日本電信電話株式会社 映像中文字領域抽出装置および方法および記録媒体
US6366699B1 (en) * 1997-12-04 2002-04-02 Nippon Telegraph And Telephone Corporation Scheme for extractions and recognitions of telop characters from video data
JPH11250081A (ja) 1998-02-27 1999-09-17 Toshiba Corp マルチメディア情報処理装置および記録媒体
WO1999051022A1 (en) * 1998-03-31 1999-10-07 Mate - Media Access Technologies Ltd. Method of selecting key-frames from a video sequence
JP2000250944A (ja) 1998-12-28 2000-09-14 Toshiba Corp 情報提供方法、情報提供装置、情報受信装置、並びに情報記述方法
US7209942B1 (en) 1998-12-28 2007-04-24 Kabushiki Kaisha Toshiba Information providing method and apparatus, and information reception apparatus
US7184100B1 (en) * 1999-03-24 2007-02-27 Mate - Media Access Technologies Ltd. Method of selecting key-frames from a video sequence
JP4227241B2 (ja) * 1999-04-13 2009-02-18 キヤノン株式会社 画像処理装置及び方法
JP4253410B2 (ja) 1999-10-27 2009-04-15 シャープ株式会社 ニュース記事切り出し装置
JP2002044572A (ja) 2000-07-21 2002-02-08 Sony Corp 情報信号処理装置及び情報信号処理方法および情報信号記録装置
US7548565B2 (en) * 2000-07-24 2009-06-16 Vmark, Inc. Method and apparatus for fast metadata generation, delivery and access for live broadcast program
JP2002199333A (ja) * 2000-12-27 2002-07-12 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
JP2002330392A (ja) * 2001-04-27 2002-11-15 Toshiba Corp 映像概要作成装置および方法およびプログラム
JP4615166B2 (ja) * 2001-07-17 2011-01-19 パイオニア株式会社 映像情報要約装置、映像情報要約方法及び映像情報要約プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103686032A (zh) * 2012-09-14 2014-03-26 晨星软件研发(深圳)有限公司 产生略缩图的方法与装置

Also Published As

Publication number Publication date
US7941031B2 (en) 2011-05-10
JP4584250B2 (ja) 2010-11-17
JP2007521736A (ja) 2007-08-02
WO2005004159A8 (en) 2006-04-20
TW200509676A (en) 2005-03-01
WO2005004159A1 (en) 2005-01-13
KR20060027826A (ko) 2006-03-28
EP1642295A1 (en) 2006-04-05
US20060143650A1 (en) 2006-06-29

Similar Documents

Publication Publication Date Title
CN1816879A (zh) 视频处理装置、视频处理装置的ic电路、视频处理方法和视频处理程序
CN1178469C (zh) 图像信息编辑方法和编辑设备
CN1290323C (zh) 屏幕控制方法及其设备
CN1991834A (zh) 内容检索方法
CN1700336A (zh) 信息处理设备、方法及程序
CN1977536A (zh) 节目选择***
CN1738440A (zh) 用于处理信息的设备，方法和计算机程序
CN1756337A (zh) 记录和/或回放内容数据的方法、设备和程序
CN1351444A (zh) 记录和再现设备
CN1856993A (zh) 信息信号处理设备和信息信号处理方法
CN1922605A (zh) 辞典制作装置以及辞典制作方法
CN1547848A (zh) 图像检测设备、图像检测方法和图像检测程序
CN101053252A (zh) 信息信号处理方法和设备以及计算机程序产品
CN1381133A (zh) 虚拟节目表呈现***
CN1906694A (zh) 再现装置、再现方法、程序、记录介质和数据结构
CN1685719A (zh) 广播***、记录装置、记录方法、程序、记录媒体
CN100348044C (zh) 不同帧速率多流混合视频流的无缝译码装置
CN1801908A (zh) 信息处理装置、信息处理方法、及程序
CN1706187A (zh) 数据处理装置
CN1728792A (zh) 信息处理设备、信息处理方法及其程序
CN1901638A (zh) 信息处理装置、方法和程序
CN1812548A (zh) 记录器及其方法,播放器及其方法,程序和记录介质
CN101046818A (zh) 信息处理设备、方法和程序产品
CN1134935C (zh) 数据处理同步装置
CN1756334A (zh) 用于处理信息的设备、方法和程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20060809