JP2003339010A - 信号記録再生装置及び方法、信号再生装置及び方法、並びにプログラム及び記録媒体 - Google Patents
信号記録再生装置及び方法、信号再生装置及び方法、並びにプログラム及び記録媒体Info
- Publication number
- JP2003339010A JP2003339010A JP2002145263A JP2002145263A JP2003339010A JP 2003339010 A JP2003339010 A JP 2003339010A JP 2002145263 A JP2002145263 A JP 2002145263A JP 2002145263 A JP2002145263 A JP 2002145263A JP 2003339010 A JP2003339010 A JP 2003339010A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- recording
- feature vector
- vector
- recorded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 105
- 239000013598 vector Substances 0.000 claims abstract description 328
- 230000005236 sound signal Effects 0.000 claims abstract description 129
- 238000001514 detection method Methods 0.000 claims abstract description 39
- 230000008569 process Effects 0.000 claims description 67
- 238000006243 chemical reaction Methods 0.000 claims description 63
- 238000004364 calculation method Methods 0.000 claims description 43
- 238000001228 spectrum Methods 0.000 claims description 5
- 230000002123 temporal effect Effects 0.000 claims 1
- 238000000605 extraction Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000000875 corresponding effect Effects 0.000 description 10
- 239000000284 extract Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 102100028780 AP-1 complex subunit sigma-2 Human genes 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 101100055680 Homo sapiens AP1S2 gene Proteins 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 238000010972 statistical evaluation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
- G11B27/327—Table of contents
- G11B27/329—Table of contents on a disc [VTOC]
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/107—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating tapes
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
- G11B27/327—Table of contents
- G11B27/328—Table of contents on a tape [TTOC]
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/90—Tape-like record carriers
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/36—Monitoring, i.e. supervising the progress of recording or reproducing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
- Y10S707/99935—Query augmenting and refining, e.g. inexact access
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
- Y10S707/99936—Pattern matching access
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99941—Database schema or data structure
- Y10S707/99944—Object-oriented database structure
- Y10S707/99945—Object-oriented database structure processing
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Television Signal Processing For Recording (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Abstract
ら、ユーザの所望の再生位置を検索して再生する。 【解決手段】 信号記録再生装置1において、特徴ベク
トル生成部20は、映像信号/音響信号を記録する際
に、その映像信号及び/又は音響信号を特徴付ける特徴
ベクトルを生成し、この特徴ベクトルについても記録部
10に記録する。登録部40は、記録されている映像信
号/音響信号を再生した際にユーザから指定された位置
近傍の特徴ベクトル等を、ブックマークとして登録す
る。ユーザがブックマークの何れかを指定すると、一致
検出部60は、そのブックマークの特徴ベクトルと記録
されている特徴ベクトルとに基づいて一致位置を検索
し、再生部20は、その一致位置に基づいて再生点決定
部70によって設定された再生位置から映像信号及び/
又は音響信号の再生を開始する。
Description
は音響信号を記録再生すると共に、ユーザの所望の再生
位置を検索する信号記録再生装置、信号記録再生方法、
プログラム及び記録媒体、並びにユーザの所望の位置か
らの再生を可能とする信号再生装置及び信号再生方法に
関する。
コーダ等の信号記録再生装置により、放送番組を録音録
画した映像音声をユーザ(視聴者)の都合のよい時間に
視聴することが行われている。通常、このような装置に
は早送り再生機能や巻き戻し再生機能が付加されている
ため、ユーザは、不要な部分を高速再生しながら必要な
部分の頭出しを行い、必要な部分から通常再生を行うこ
とで、検索時間の短縮化を図っている。
閲覧する際には、ブックマーク機能と検索機能がよく用
いられている。ブックマーク機能は、一度何らかの方法
で閲覧したホームページを自分のブラウザ内に簡単に登
録できる仕組みであり、ブックマークを呼び出すだけで
再びそのページを閲覧することができる。また、検索機
能は、あるキーワードを指定することで、そのキーワー
ドと一致する部分を持つホームページを自動的に探索し
てくれる仕組みである。この両者とも、膨大なホームペ
ージの中から目的のホームページを効率的に閲覧するた
めのユーザ補助機能を提供するものである。
たホームページ検索と比較して、映像音声の検索では、
ユーザは、高速再生中もずっと視聴している必要があ
り、また頭出し位置付近では位置合わせのために早送り
/巻き戻しを繰り返すこともあり、ユーザの負担となっ
ている。特に近年では、記録技術の進歩により録画録音
可能な記録容量が非常に大きくなっているため、必要な
部分の頭出しに費やす時間と負担とが著しく増大してい
る。
て、インターネットにおけるブックマーク機能及び検索
機能に類似する機能を付加することが求められている。
リモートコントローラのボタン1つでブックマークし、
別のボタン1つで、ブックマークされた映像や音声と概
ね一致する部分を探索し、再生する機能が付加されれ
ば、例えば、タイトル映像や音楽など、シリーズで放送
される番組に共通した映像や音声を初回にブックマーク
することで、次回以降、その番組の頭出しを高速に行う
ことが可能となる。
そのまま比較することでも実現することができるが、検
索時間がかかり過ぎ、現実的な機能とはならないため、
検索時間の高速化が必要である。
提案されたものであり、ユーザが一度視聴した映像信号
及び/又は音響信号にブックマークを付加し、このブッ
クマークが付加された映像信号及び/又は音響信号、或
いはこれに類似する映像信号及び/又は音響信号を高速
に検索することを可能とする信号記録再生装置、信号記
録再生方法、プログラム及び記録媒体、並びにユーザの
所望の位置への頭出しを高速化して再生を行う信号再生
装置及び信号再生方法を提供することを目的とする。
生装置は、上述した目的を達成するために、映像信号及
び/又は音響信号から特徴量を抽出してベクトル化する
ことにより特徴ベクトルを生成する特徴ベクトル生成手
段と、上記映像信号及び/又は上記音響信号と上記特徴
ベクトル生成手段によって生成された上記特徴ベクトル
とを記録する記録手段と、上記記録手段に記録された上
記特徴ベクトルの少なくとも一部を登録する登録手段
と、上記記録手段に記録されている上記特徴ベクトルか
ら、上記登録手段によって登録された特徴ベクトルのう
ち少なくとも1つと略々一致する特徴ベクトルを検出す
る一致検出手段と、当該検出された特徴ベクトルに基づ
いて、再生開始点を設定する再生点設定手段と、上記再
生点設定手段によって設定された再生開始点から上記映
像信号及び/又は上記音響信号を再生する再生手段とを
備える。
記録された上記映像信号及び/又は上記音響信号を再生
する際に、例えばユーザが指定する信号位置に対応する
上記特徴ベクトルを登録し、上記一致検出手段は、上記
記録手段に記録されている特徴ベクトルから、上記登録
された特徴ベクトルの少なくとも1つとの相関値が所定
の閾値を超える特徴ベクトルを検出する。
及び/又は音響信号を記録する際に、その特徴ベクトル
についても記録し、また、記録された映像信号及び/又
は音響信号を再生する際に、例えばユーザが指定する信
号位置に対応する特徴ベクトルを登録しておく。そし
て、記録手段に記録されている特徴ベクトルから、登録
された特徴ベクトルの少なくとも1つとの相関値が所定
の閾値を超える特徴ベクトルを検出し、その検出された
特徴ベクトルに基づいて再生点を設定して当該再生点か
ら映像信号及び/又は音響信号を再生する。
上述した目的を達成するために、映像信号及び/又は音
響信号から特徴量を抽出してベクトル化することにより
特徴ベクトルを生成する特徴ベクトル生成工程と、上記
映像信号及び/又は上記音響信号と上記特徴ベクトル生
成工程にて生成された上記特徴ベクトルとを記録手段に
記録する記録工程と、上記記録手段に記録された上記特
徴ベクトルの少なくとも一部を登録する登録工程と、上
記記録手段に記録されている上記特徴ベクトルから、上
記登録工程にて登録された特徴ベクトルのうち少なくと
も1つと略々一致する特徴ベクトルを検出する一致検出
工程と、当該検出された特徴ベクトルに基づいて、再生
開始点を設定する再生点設定工程と、上記再生点設定工
程にて設定された再生開始点から上記映像信号及び/又
は上記音響信号を再生する再生工程とを有する。
に記録された上記映像信号及び/又は上記音響信号を再
生する際に、例えばユーザが指定する信号位置に対応す
る上記特徴ベクトルが登録され、上記一致検出工程で
は、上記記録手段に記録されている特徴ベクトルから、
上記登録された特徴ベクトルの少なくとも1つとの相関
値が所定の閾値を超える特徴ベクトルが検出される。
号及び/又は音響信号が記録される際に、その特徴ベク
トルについても記録され、また、記録された映像信号及
び/又は音響信号が再生される際に、例えばユーザが指
定する信号位置に対応する特徴ベクトルが登録される。
そして、記録手段に記録されている特徴ベクトルから、
登録された特徴ベクトルの少なくとも1つとの相関値が
所定の閾値を超える特徴ベクトルが検出され、その検出
された特徴ベクトルに基づいて再生点が設定され当該再
生点から映像信号及び/又は音響信号が再生される。
信号記録再生処理をコンピュータに実行させるものであ
り、本発明に係る記録媒体は、そのようなプログラムが
記録されたコンピュータ読み取り可能なものである。
した目的を達成するために、記録媒体に記録された映像
信号及び/又は音響信号を再生する信号再生装置におい
て、上記映像信号及び/又は音響信号の再生開始位置を
指定する指定手段と、上記指定手段によって指定された
位置より時間的に前の位置を再生開始点として設定する
再生点設定手段と、上記再生点設定手段によって設定さ
れた再生開始点から上記映像信号及び/又は上記音響信
号の再生を開始する再生手段とを備える。
号内及び/又は上記音響信号内におけるコマーシャルメ
ッセージを検出するコマーシャルメッセージ検出手段を
備えることができ、上記再生点設定手段は、上記指定手
段によって指定された位置より時間的に前のコマーシャ
ルメッセージの終了位置を再生開始点として設定する。
及び/又は上記音響信号が上記記録媒体に記録された時
刻を検出する時刻検出手段を備えることができ、上記再
生点設定手段は、上記指定手段によって指定された位置
より時間的に前の所定の時刻、例えば上記指定手段によ
って指定された位置を含む番組の開始時刻、又は毎時0
分、毎時15分若しくは毎時30分を再生開始点として
設定する。
信号及び/又は音響信号の再生開始位置が指定される
と、指定された位置より時間的に前の位置、例えばコマ
ーシャルメッセージ検出手段を有する場合には指定され
た位置より時間的に前のコマーシャルメッセージの終了
位置を再生開始点として設定し、また、時刻検出手段を
有する場合には指定された位置を含む番組の開始時刻、
又は例えば毎時0分、毎時15分若しくは毎時30分を
再生開始点として設定し、その再生開始点から映像信号
及び/又は音響信号の再生を開始する。
した目的を達成するために、記録媒体に記録された映像
信号及び/又は音響信号を再生する信号再生方法におい
て、上記映像信号及び/又は音響信号の再生開始位置を
指定する指定工程と、上記指定工程にて指定された位置
より時間的に前の位置を再生開始点として設定する再生
点設定工程と、上記再生点設定工程にて設定された再生
開始点から上記映像信号及び/又は上記音響信号の再生
を開始する再生工程とを有する。
号内及び/又は上記音響信号内におけるコマーシャルメ
ッセージを検出するコマーシャルメッセージ検出工程を
有することができ、上記再生点設定工程では、上記指定
工程にて指定された位置より時間的に前のコマーシャル
メッセージの終了位置が再生開始点として設定される。
及び/又は上記音響信号が上記記録媒体に記録された時
刻を検出する時刻検出工程を有することができ、上記再
生点設定工程では、上記指定工程にて指定された位置よ
り時間的に前の所定の時刻、例えば上記指定工程にて指
定された位置を含む番組の開始時刻、又は毎時0分、毎
時15分若しくは毎時30分が再生開始点として設定さ
れる。
像信号及び/又は音響信号の再生開始位置が指定される
と、指定された位置より時間的に前の位置、例えばコマ
ーシャルメッセージ検出工程を有する場合には指定され
た位置より時間的に前のコマーシャルメッセージの終了
位置が再生開始点として設定され、また、時刻検出工程
を有する場合には指定された位置を含む番組の開始時
刻、又は例えば毎時0分、毎時15分若しくは毎時30
分が再生開始点として設定され、その再生開始点から映
像信号及び/又は音響信号の再生が開始される。
実施の形態について、図面を参照しながら詳細に説明す
る。以下に説明する第1の実施の形態は、本発明を、映
像信号及び/又は音響信号を記録再生すると共に、ユー
ザの所望の再生位置を検索する機能を有する信号記録再
生装置に適用したものである。
再生装置の概略構成を図1に示す。図1に示すように、
信号記録再生装置1は、記録部10と、再生部20と、
特徴ベクトル生成部30と、登録部40と、検索部50
と、一致検出部60と、再生点設定部70とから構成さ
れる。
動作は、図2のフローチャートに示すような3つのステ
ップに分類される。
1では、映像信号/音響信号と共にその特徴量(特徴ベ
クトル)を予め記録する記録処理が行われる。次にステ
ップS2では、記録されている映像信号/音響信号を再
生し、その中からユーザが指定した位置近傍の特徴量
を、いわゆるブックマークとして登録する再生/登録処
理が行われる。続いてステップS3では、ユーザが指定
したブックマークの特徴量に基づいて映像信号/音響信
号を検索し、その特徴量と概ね一致する位置からの再生
を可能とする検索処理が行われる。
とその際の信号記録再生装置1における各部の動作につ
いて、順に説明する。
響信号と共にその特徴量(特徴ベクトル)を予め記録す
る記録処理が行われる。この記録処理では、記録部10
と特徴ベクトル生成部30とが使用される。
3のフローチャートを用いて説明する。先ずステップS
10において、特徴ベクトル生成部30は、図示しない
同調/復調装置等から映像信号/音響信号を入力し、続
くステップS11において、後述するようにして映像特
徴ベクトル及び音響特徴ベクトルを生成する。
響信号が記録部10に記録され、ステップS13では、
映像特徴ベクトル及び音響特徴ベクトルが記録部10に
記録される。なお、この記録部10は、例えば磁気テー
プ、磁気ディスク又は光ディスク等である。
かが判別される。ステップS14において記録終了しな
い場合(No)には、ステップS10に戻って記録処理を
続け、ユーザ操作又はタイマ動作等によって記録終了指
示がなされた場合(Yes)には、記録処理を終了する。
構成を図4に示す。図4に示すように、特徴ベクトル生
成部30は、映像特徴抽出部31と、音響特徴抽出部3
2と、階層的ベクトル変換部33,34とにより構成さ
れる。なお、2つの階層的ベクトル変換部33,34
は、同様の処理を行うものである。
号から所定の時間区間内の映像を特徴付ける特徴量を抽
出する。
図5のフローチャート及び図6を用いて説明する。先ず
ステップS20において、映像特徴抽出部31は、図6
に示すように、入力される映像時系列から所定時間長T
の時間区間内の映像フレームを取得する。
映像フレームに基づいて、時間平均画像100を作成す
る。
間平均画像100を横縦X×Y個の小ブロックに分割
し、各ブロック内の画素値を平均したブロック平均画像
101を作成する。
ば左上から右下へ向かう順に並べて、1次元の映像特徴
ベクトルviを生成する。この映像特徴ベクトルv
iは、例えば以下の式(1)のように表される。
て、時間シフトを行いながら順次繰り返されるため、映
像特徴量としては,特徴ベクトルの時系列vi(i=
0,1,…)が順次生成される。時間シフトを行う際に
は、隣接する時間区間と若干オーバーラップさせるよう
にしても構わない。ここでiは、離散時間を表すインデ
ックスである。
0を分割したブロック平均画像101の画素値を並べ替
えて1次元の映像特徴ベクトルviを生成する例につい
て説明したが、これに限定されるものではなく、ブロッ
ク平均画像101を作成せずに、時間平均画像100の
画素値を並べ替えて1次元の映像特徴ベクトルviを生
成するようにしても構わない。また、抽出する特徴量も
画素値に限定されず、例えばエッジ、輪郭、テクスチャ
又はカラーヒストグラム等の、画像を特徴付ける特徴量
として従来から知られている他の特徴量を用いることも
できる。
力される音響信号から所定の時間区間内の音響信号を特
徴付ける特徴量を抽出する。
図7のフローチャートと図8を用いて説明する。先ずス
テップS30において、音響特徴抽出部32は、図8に
示すように、入力される音響信号から所定時間長Tの時
間区間の音響信号を取得する。
号に対してスペクトル演算を施し、短時間パワースペク
トル係数Sq(q=0,1,…,Q−1)を求める。こ
こで、qは離散周波数を表すインデックスであり、Qは
最大離散周波数である。
ワースペクトル係数Sqをベクトル化し、音響特徴ベク
トルaiを生成する。 この音響特徴ベクトルaiは、
例えば以下の式(2)のように表される。
ついて、時間シフトを行いながら順次繰り返されるた
め、音響特徴量としては、特徴ベクトルの時系列a
i(i=0,1,…)が順次生成される。ここでiは、
離散時間を表すインデックスである。この場合にも、時
間シフトを行う際に、隣接する時間区間と若干オーバー
ラップさせるようにしても構わない。
クトル係数を用いた例について説明したが、これに限定
されるものではなく、例えばピッチ周波数、フォルマン
ト周波数、線形予測係数又はケプストラム係数等の、従
来から音響信号を特徴付けるとして知られている、より
高次の特徴量を用いることもできる。
33,34は、それぞれ上述した映像特徴ベクトルvi
及び音響特徴ベクトルaiに対して、第0段階から第K
(=1og2N)段階まで、階層的な変換を施す。ここ
で、階層的ベクトル変換部33,34の動作は、入力さ
れるベクトルが異なる他は同様であるため、以下では、
ベクトルfが映像特徴ベクトルvi又は音響特徴ベクト
ルaiを表すものとして説明する。なお、ベクトルfの
成分数はNであり、Nは、N=2Kで表されるような2
の巾乗個であるとする。そうでない場合には、ベクトル
の成分として0を付加することで2の巾乗個にそろえ
る。また、f[0]、f[1]は、ベクトルfの各成分を表す
ものとする。
の式(3)に示すように、入力ベクトルfの各成分をそ
のまま第0段階の成分とする。
続くステップS42においてkがK以下であるか否かが
判別される。ステップS42においてkがK以下である
場合(Yes)にはステップ43に進み、kがKよりも大
きい場合(No)にはステップS45に進む。
から以下の式(4)に従って第k番目の要素が生成され
る。
る各成分について和と差をとり、1/√2を乗ずる演算
であり、隣接成分間の和成分をn(0≦n<2K−k)
番目の成分とし、隣接成分間の差成分をn(2K−k≦
n<2K−k+1)番目の成分とする。但し、この演算
は、0番目から2K−k+1番目の成分までのみ行い、
それ以外の成分に関しては、第k−1段階の成分をその
まま第k段階の成分とする。
加させ、ステップS42に戻って変換処理を続ける。
生成が終了しているため、変換の各段階で得られた各成
分をまとめて、以下の式(5)に示すような変換後のベ
クトルFを生成して変換処理を終了する。
図10に具体的な演算を示す。変換の第0段階(k=
0)では、ベクトルfがそのまま第0段階の要素とな
る。
の要素全てについて、隣接成分間の和と差をとり、1/
√2を乗ずる演算を行う。ここで、f(1)[0]〜f
(1)[3]には和成分を代入し、f(1)[4]〜f(1)
[7]には差成分を代入する。
目から3番目までの成分、すなわち第1段階の演算で和
がとられた成分について、隣接成分間の和と差をとり、
1/√2を乗ずる演算を行う。ここで、f(2)[0]、
f(2)[1]には和成分を代入し、f(2)[2]、f
(2)[3]には差成分を代入する。また、f(2)[4]〜
f (2)[7]については、f(1)[4]〜f(1)[7]を
そのまま代入する。
目から1番目までの成分、すなわち第2段階の演算で和
がとられた成分について、隣接成分間の和と差をとり、
1/√2を乗ずる演算を行う。ここで、f(3)[0]に
は和成分を代入し、f(3)[1]には差成分を代入す
る。また、f(3)[2]〜f(3)[7]については、f
(2 )[2]〜f(2)[7]をそのまま代入する。
[0]〜F[7]に代入して終了する。
は、映像特徴ベクトルViに変換され、音響特徴ベクト
ルaiは、音響特徴ベクトルAiに変換される。
換された音響特徴ベクトルAiとは、映像信号/音響信
号と共に記録部10(図1)に記録される。この記録さ
れる信号を図11に模式的に示す。図11に示すよう
に、記録部10には、記録開始位置RSから記録終了位
置REまでの映像信号/音響信号と共に、映像特徴ベク
トルVi及び音響特徴ベクトルAiが記録される。この
映像特徴ベクトルVi及び音響特徴ベクトルAiは、上
述したように所定時間長T毎に求められたものであり、
例えば離散時間を表すインデックスiが0からI−1ま
でのI個が記録される。
る映像信号/音響信号を再生し、その中からユーザが指
定した位置近傍の特徴量を、いわゆるブックマークとし
て登録する再生/登録処理が行われる。この再生/登録
処理では、記録部10、再生部20、登録部40が使用
される。
て、図12のフローチャート及び図13を用いて説明す
る。先ずステップS50において、再生部20は、ユー
ザからの再生指令に基づいて映像信号/音響信号を再生
する。
は、ユーザから再生終了指令がなされたか否かを判別す
る。ステップS51において再生終了指令がなされてい
る場合(Yes)には再生を終了し、再生終了指令がなさ
れていない場合(No)には、ステップS52に進む。
ユーザから登録指令(ブックマーク)がなされたか否か
を判別する。ステップS52において登録指令がなされ
ていない場合(No)には、ステップS50に戻り、登録
指令がなされている場合(Yes)には、ステップS53
に進む。
3(A)に示すように、指令された位置(ブックマーク
位置)近傍の所定時間長TRの映像信号/音響信号を切
出し、記録部10に登録する。
0は、図13(A)に示すように、指令された位置近傍
の所定時間長TRの映像特徴ベクトルVi及び音響特徴
ベクトルAiを切出し、記録部10に登録する。すなわ
ち、例えば所定時間長TRが所定時間長Tの4倍(TR
=4T)である場合、登録部40は、映像特徴ベクトル
Vi及び音響特徴ベクトルAiを4つずつ切り出して記
録部10に登録する。
加する際には、通常、ブックマークを行いたい位置より
も後に登録指令がなされるため、図13(B)に示すよ
うに、指定された位置よりも所定時間TBだけ手前の位
置を中心に、所定時間長TRの映像特徴ベクトルVi及
び音響特徴ベクトルAi等を登録するようにしても構わ
ない。
ように、記録された映像信号/音響信号や映像特徴ベク
トル/音響特徴ベクトルから実際に抽出して登録するよ
うにしてもよいが、記憶容量を節約するために、ブック
マーク位置のみを登録するようにしても構わない。この
場合、映像信号/音響信号や特徴ベクトルが実際に必要
な場合には、ブックマーク位置を実際の映像信号/音響
信号や特徴ベクトルヘのポインタとして用いればよい。
但し、記録された映像信号/音響信号が消去されるよう
な場合には、上述のように実際に抽出して登録する方が
よい。
定したブックマークの特徴ベクトルに基づいて映像信号
/音響信号を検索し、その特徴ベクトルと概ね一致する
位置からの再生を可能とする検索処理が行われる。この
検索処理では、記録部10、検索部50、一致検出部6
0及び再生点設定部70が使用される。
14のフローチャートを用いて説明する。図示しないユ
ーザインターフェースを通じてユーザからの検索指令が
与えられると、先ずステップS60において、検索部5
0は、登録されているブックマークの選択をユーザから
受ける。なお、登録されているブックマークが1つの場
合、登録されているブックマーク全てに関して検索を行
う場合、或いは予めブックマークの優先順位が設定され
ている場合等には、このステップを省略しても構わな
い。
0は、記録されている映像信号/音響信号中のどの部分
を検索するかを表す検索範囲の指定、及びどの程度の違
いまでを一致と認めるかを表す検索精度の指定をユーザ
から受ける。なお、検索範囲及び検索精度が予め設定さ
れている場合等には、このステップを省略しても構わな
い。
0は、指定されたブックマークの特徴ベクトルを記録部
10から取得する。なお、以下では簡単のため、特徴ベ
クトルが1つである場合について説明するが、図13に
示すように、1回のブックマークで映像特徴ベクトルV
i及び音響特徴ベクトルAiが複数登録される場合に
は、以下の操作は、それぞれに対して順に行う。
された検索範囲の検索が終了したか否かを判別する。ス
テップS63において、検索が終了していない場合(N
o)にはステップS64に進み、検索が終了している場
合(Yes)にはステップS68に進む。
検索範囲の中の記録された特徴ベクトルを1つ取得す
る。
部60は、その特徴ベクトルをブックマークの特徴ベク
トルと比較して後述するように相関値を計算し、ステッ
プS66において、その相関値が予め設定した閾値を超
えているか否かを判別する。ステップS66において閾
値を超えていない場合(No)には、ステップS63に戻
り、さらに別の特徴ベクトルとの比較を繰り返す。ステ
ップS66において閾値を超えている場合(Yes)に
は、一致しているとしてステップS67でその位置を記
憶した後ステップS63に戻り、さらに別の特徴ベクト
ルとの比較を繰り返す。なお、この一致検出部60にお
ける一致検出処置についての詳細は、後述する。
置が表示され、再生点設定部70は、どの位置から再生
するかの指定をユーザから受け、再生を開始する。な
お、一致位置が1つであった場合や、予め再生の優先順
位が決まっている場合にはステップS68を省略して再
生するようにしても構わない。また、一致する位置がな
い場合には、その旨を表示し、再生は行わないものとす
る。
図15(A)に示すように、登録されたブックマークの
映像特徴ベクトルVBook及び音響特徴ベクトルA
Boo kについて、離散時間を表すインデックスiがs
である検索開始位置tsからインデックスiがeである
検索終了位置teに亘って、記録されている映像特徴ベ
クトルVi及び音響特徴ベクトルAiと比較していく。
ベクトルVi又は音響特徴ベクトルAiの何れかで一致
が検出された位置をユーザに提示する。図15(B)で
は、インデックスiがpである位置tpで映像特徴ベク
トルVp及び音響特徴ベクトルApが共にブックマーク
の映像特徴ベクトルVBook及び音響特徴ベクトルA
Bookと一致し、インデックスiがqである位置tq
で音響特徴ベクトルA qがブックマークの音響特徴ベク
トルABookと一致し、インデックスiがrである位
置trで映像特徴ベクトルVrがブックマークの映像特
徴ベクトルVB ookと一致した例を示している。具体
的には、映像信号については、一致が検出された位置の
映像信号を例えばサムネイル表示する。また、音響信号
については、例えば一致が検出した最初の位置からしば
らく再生し、ユーザからの指示により次の一致位置に移
ってその位置から同様にしばらく再生する。なお、図1
5(B)の例では、映像特徴ベクトルVi又は音響特徴
ベクトルAiの何れかで一致が検出された位置を提示す
るものとしたが、これに限定されるものではなく、映像
特徴ベクトルViと音響特徴ベクトルAiとの双方で一
致が検出された位置のみを提示するようにしても構わな
い。
から再生点の選択を受け、その点を再生開始点として再
生を開始する。図15(C)では、位置tpが選択され
た例を示している。
理について、図16のフローチャートを用いて詳細に説
明する。この一致検出処理では、ブックマークの特徴ベ
クトル(複数ある場合にはそのうち1つ)と、検索範囲
にある記録された特徴ベクトルの1つとの間で、階層的
に相関演算を行い、その相関値を予め設定した閾値と比
較することで一致するか否かを検出するものである。な
お、閾値を超える場合にはその相関値が出力され、閾値
を超えない場合には便宜上0が出力される。
特徴ベクトルVBook又はブックマークの音響特徴ベ
クトルABookを表すものとし、ベクトルGは、記録
されている映像特徴ベクトルVi又は音響特徴ベクトル
Aiを表すものとする。
索精度を表す相関の閾値Rthを設定する。この際、非
負値のベクトルの相関値は0から1の間に正規化されて
いるため、例えば0.8などに設定する。
kをKとする。このように、上述の階層的ベクトル変換
部33,34との対応から、一致検出部60では、最上
位の段階から最下位の段階へとkが減少する順番に処理
が行われる。
上であるか否かが判別され、0以上の場合(Yes)には
ステップS73に進み、0未満である場合にはステップ
S77に進む。
す第k段階の相関演算を行い、第k段階の相関値R
(k) fgを求める。
びベクトルGのうち、0から2k−1番までを用いて相
関値を計算するものである。
(k) fgが閾値Rth以上であるか否かが判別され
る。ステップS74において、相関値R(k) fgが閾
値Rt hよりも小さい場合(No)には、ステップS76
において閾値より相関が小さい旨(=0)を出力し終了
する。一方、相関値R(k) fgが閾値Rth以上であ
る場合(Yes)には、ステップS75においてkを1つ
減らした上でステップS72に戻り、次の段階の相関値
を求める。
fgが閾値Rthよりも大きい場合には、ステップS7
7において相関値Rfg(=R(0) fg)を出力し、
終了する。
具体的な演算を図17に示す。演算の第3段階(k=
3)では、1個目(F[0]及びG[0])の要素間の相関を
計算し、相関値R(3) fgを求める。ここで、相関値
R(3) fgが閾値Rth以上である場合には、第2段
階に進む。
F[1]及びG[0],G[1])の要素間の相関演算を行う。
この際、上述した式(6)における積和計算には、第1
段階における積和計算の結果を流用する。すなわち、式
(6)の分子では、F[0]G[0]とF[1]G[1]との和演算
が行われるが、このうちF[0]G[0]については、第1段
階目で計算した値を流用する。また、式(6)の分母で
は、例えばF2[0]とF 2[1]との和演算が行われるが、
このうちF2[0]については、第1段階目で計算した値
を流用する。
ら4個目(F[0]〜F[3]及びG[0]〜G[3])の要素間の
相関を計算することになり、さらに続く場合、第0段階
では、1個目から8個目(F[0]〜F[7]及びG[0]〜G
[7])の要素間の相関を計算することになる。この際に
も、上述した式(6)における積和計算には、前段階に
おける積和計算の結果を流用する。途中の段階で閾値を
下回った場合には、そこで演算を終了して0を出力し、
全ての段階で閾値を超えていた場合には、相関値Rfg
(=R(0) fg)を出力する。以上の一致検出処理に
より、所定の閾値を上回る場合にはその相関値が出力さ
れ、下回る場合には0が出力される。
像信号/音響信号を記録する際に、その特徴ベクトルに
ついても記録され、また、記録されている映像信号/音
響信号を再生した際にユーザから指定された位置近傍の
特徴ベクトル等が、いわゆるブックマークとして登録さ
れる。そして、ユーザがブックマークの何れかを指定す
ると、そのブックマークの特徴ベクトルと記録されてい
る特徴ベクトルとの相関値が計算され、その相関値と閾
値とが比較される。これにより、ユーザは、容易に映像
信号/音響信号を検索し、再生することができる。
前に特徴各ベクトルを階層的に鈍らせる演算が施されて
おり、一致検出の際には鈍らせたベクトル間の相関値が
所定の閾値以上の場合にのみ一段詳細な特徴ベクトル間
の相関を計算し、所定の閾値を超えないものについては
閾値以下であることのみを検出して実際の相関値の算出
を省略することにより、相関演算の高速化を図ることが
できる。
階層的な変換は、Harr基底による直交ウェーブレッ
ト変換であり、階層的な相関演算は、最低周波数成分の
ウェーブレット係数から出発し、高周波成分のウェーブ
レット係数を含むようにベクトルを順次拡大しながら相
関をとるものである。
分の相関値が高周波を含むものより高い性質と、直交変
換により相関値が保存される性質とを利用したものであ
り、ウェーブレット変換を施した特徴ベクトルに対し、
最低周波数成分から帯域を拡大しながら階層的に相関演
算を行い、所定の閾値を下回ったところで相関演算を打
ち切ることにより、相関演算の高速化を図ることができ
る。また、ウェーブレット変換の核関数をHarr基底
とすることにより、ほぼ漏れなく閾値を超える相関値を
検出することができる。
中からブックマークの特徴ベクトルと略々一致する特徴
ベクトルを検出するような場合には、殆どの特徴ベクト
ルは不一致であり閾値を超えないため相関演算を早期に
打ち切ることができ、検出時間を大幅に短縮することが
できる。
な放送パターンを図18に示す。このうち、図18
(A)〜(D)は、何れも民放番組で典型的な放送パタ
ーンである。すなわち、図18(A)は、番組開始予定
時刻丁度からオープニング音楽/映像が始まり、引き続
き、提供の案内、コマーシャルメッセージ(以下、単に
コマーシャルという。)、そして番組本編と続くもので
ある。また、図18(B)は、番組開始予定時刻丁度か
ら番組が始まらず、コマーシャルが数本入った後、オー
プニング音楽/映像が始まり、提供の案内、コマーシャ
ル、そして番組本編と続くものである。また、図18
(C)は、番組開始予定時刻丁度から番組本編が始まる
パターンである。通常、前回番組の要約や今回の番組の
イントロダクションが放送され、その後オープニング音
楽/映像、提供案内、コマーシャル、再び番組本編と続
く。また、図18(D)は、番組開始予定時刻丁度から
番組本編が始まらず、コマーシャルが数本入った後、番
組本編が放送されるパターンである。その後、オープニ
ング音楽/映像、提供案内、コマーシャル、再び番組本
編と続く。また、図18(E)は、コマーシャルのない
放送局や番組編成で典型的な放送パターンであり、この
場合、コマーシャルが入らないため、通常は番組開始予
定時刻丁度からオープニング映像/音楽又は番組本編が
始まる。
で、シリーズ番組について毎回の放送で共通の映像/音
楽としてオープニング映像/音楽を登録する場合を想定
する。上述した図18(A)、(B)のパターンでは、
オープニング音楽の途中から再生が開始されるため、そ
れほど大きな問題は生じないが、図18(C)〜(E)
のパターンでは、オープニング映像/音楽の前に既に番
組本編の一部が放送されているため、このままでは、こ
れらを視聴できないという問題が生じる。なお、手動で
巻き戻し再生をしながら頭出しを行うことはできるが、
ユーザの負担となる。そこで、以下に説明する第2の実
施の形態では、このような問題を解決する手法を示す。
記録再生装置2は、基本構造を図1に示した信号記録再
生装置1と同様とするが、コマーシャル検出部80と時
計90とを有する点に特徴を有している。したがって、
先に図1に示した信号記録再生装置1と同様の構成につ
いては同一符号を付して詳細な説明を省略する。
における各部の動作について、図20のフローチャート
を用いて説明する。ステップS80において、特徴ベク
トル生成部30は、図示しない同調/復調装置等から映
像信号/音響信号を入力し、続くステップS81におい
て、後述するようにして映像特徴ベクトル及び音響特徴
ベクトルを生成する。
響信号が記録部10に記録され、ステップS83では、
映像特徴ベクトル及び音響特徴ベクトルが記録部10に
記録される。
ャル検出部80は、映像信号/音響信号がコマーシャル
部分であるか否かを検出し、コマーシャル部分である場
合には、その位置を記録部10に記録する。ここで、本
明細書中におけるコマーシャルは、例えばコマーシャル
のない放送局や番組編成での番組案内等を含むものであ
る。
れた時刻情報が記録部10に記録される。
るか否かが判別される。ステップS86において記録終
了しない場合(No)には、ステップS80に戻って記録
処理を続け、ユーザ操作又はタイマ動作等によって記録
終了指示がなされた場合(Yes)には、記録処理を終了
する。
の際に映像信号/音響信号、映像特徴ベクトル/音響特
徴ベクトルと共に、コマーシャル位置や時刻情報を記録
部10に記録する。
は、例えば本件出願人が先に提案している特願2000
−127658の明細書及び図面に記載された技術を用
いることができる。この技術は、以下のように要約され
る。
を除くほぼ全てのコマーシャルが15秒、30秒、60
秒の長さで製作されており、また、各コマーシャルの前
後では必然的に音声レベルが下がり、映像信号が切り替
わるため、これらを検出の「必須条件」とする。また、
規格に基づいて製作されるという制約、短い時間で宣伝
効果を上げるためのものであるという制約、及び番組構
成上の都合などによる制約の元で製作された結果として
現れる一定の傾向を示す特徴を検出の「付加条件」とす
る。さらに、上記付加条件を満たす区間がオーバーラッ
プして存在する場合には、少なくともその何れかの区間
は正しいコマーシャル区間では有り得ないという条件を
検出の「論理条件」とする。そして、「必須条件」に基
づき決定論的にコマーシャル候補を抽出し、「付加条
件」に基づくコマーシャルらしさの統計論的な評価によ
り候補を選択し、「論理条件」により候補のオーバーラ
ップ関係を解消することにより、高精度にコマーシャル
を検出することができる。
例えば特開平3‐158086号公報や特開平3―26
22872号公報等に記載されている技術を用いること
もできる。すなわち、日本国内においてはコマーシャル
がステレオ放送されることが多く、また、テレビジョン
放送信号には音声がモノラルモード/ステレオモード/
音声多重モードの何れであるかを示すパイロット信号が
多重されているため、例えば音声がモノラルモード又は
音声多重モードとなされている番組本編を記録するよう
な場合には、ステレオモード区間を検出することでコマ
ーシャル区間を検出することができる。
理は上述した第1の実施の形態と同様である。すなわ
ち、記録されている映像信号/音響信号が再生され、そ
の中からユーザが指定した位置近傍の映像信号/音響信
号と共に、映像特徴ベクトル/音響特徴ベクトルが切り
出され、いわゆるブックマークとして登録される。
における各部の動作について、図21のフローチャート
を用いて説明する。図示しないユーザインターフェース
を通じてユーザからの検索指令が与えられると、先ずス
テップS90において、検索部50は、登録されている
ブックマークの選択をユーザから受ける。なお、登録さ
れているブックマークが1つの場合、登録されているブ
ックマーク全てに関して検索を行う場合、或いは予めブ
ックマークの優先順位が設定されている場合等には、こ
のステップを省略しても構わない。
0は、記録されている映像信号/音響信号中のどの部分
を検索するかを表す検索範囲の指定、及びどの程度の違
いまでを一致と認めるかを表す検索精度の指定をユーザ
から受ける。なお、検索範囲及び検索精度が予め設定さ
れている場合等には、このステップを省略しても構わな
い。
0は、指定されたブックマークの特徴ベクトルを記録部
10から取得する。この場合にも第1の実施の形態と同
様に、1回のブックマークで映像特徴ベクトルVi及び
音響特徴ベクトルAiが複数登録される場合には、以下
の操作は、それぞれに対して順に行う。
された検索範囲の検索が終了したか否かを判別する。ス
テップS93において、検索が終了していない場合(N
o)にはステップS94に進み、検索が終了している場
合(Yes)にはステップS98に進む。
検索範囲の中の記録された特徴ベクトルを1つ取得す
る。
部60は、その特徴ベクトルをブックマークの特徴ベク
トルと比較して後述するように相関値を計算し、ステッ
プS96において、その相関値が予め設定した閾値を超
えているか否かを判別する。ステップS96において閾
値を超えていない場合(No)には、ステップS93に戻
り、さらに別の特徴ベクトルとの比較を繰り返す。ステ
ップS96において閾値を超えている場合(Yes)に
は、一致しているとしてステップS97でその位置を記
憶した後ステップS93に戻り、さらに別の特徴ベクト
ルとの比較を繰り返す。
置が表示され、再生点設定部70は、どの位置から再生
するかの指定をユーザから受ける。なお、一致位置が1
つであった場合や、予め再生の優先順位が決まっている
場合にはステップS98を省略しても構わない。また、
一致する位置がない場合には、その旨を表示し、再生は
行わないものとする。
は、一致位置に対して、直前のコマーシャルの終了位
置、又は所定の時刻にあたる位置を設定し、検索処理を
終了する。なお、両者の時刻を調べ、一致位置に近い方
の位置を設定するようにしてもよい。そして再生部20
は、この設定された位置からの再生を開始する。
め電子番組ガイド等から得た該当する番組の開始予定時
刻を設定することができ、電子番組ガイド等がない場合
には、毎時0分、15分、30分といった切りのよい時
刻等を設定することができる。
(E)のパターンでの再生位置を図22に模式的に示
す。上述のようにオープニング映像/音楽の途中の離散
時間を表すインデックスiがpである位置tpが一致し
た位置であっても、例えば図18(D)のようなパター
ンでは、直前のコマーシャルの終了位置tqから再生す
ることで番組の最初から視聴することができる。また、
図18(E)のパターンでも、電子番組ガイド等による
番組開始予定時刻trから再生することで、番組の最初
から視聴することができる。
する際のみに限定されず、例えばブックマーク位置を指
定する際などに広く用いることができる。すなわち、例
えば番組の最初をブックマークする場合、再生中に番組
本編が始まっても、頭出し位置付近で位置合わせのため
に早送り/巻き戻しを繰り返すことなく、瞬時に頭出し
を行うことができる。
形態で説明したように、本実施の形態における信号記録
再生装置1,2によれば、映像信号/音響信号を記録す
る際に、その特徴ベクトルについても記録し、また、記
録されている映像信号/音声信号を再生した際にユーザ
から指定された位置近傍の特徴ベクトル等を、いわゆる
ブックマークとして登録しておくことで、ユーザは、ブ
ックマークの何れかを指定することで、所望の映像信号
/音響信号を有する部分を高速に検索し、再生すること
ができるようになる。
に、コマーシャルの位置や時刻についても予め記録して
おくことで、頭出しの結果として番組冒頭からの視聴が
可能となる。
限定されるものではなく、本発明の要旨を逸脱しない範
囲において種々の変更が可能であることは勿論である。
と音響信号との両方を用いるものとして説明したが、こ
れに限定されるものではなく、例えばラジオ放送等に対
しては、音響信号のみを用いるなど、何れか一方を用い
ても同様の効果が得られる。
例として説明したが、これに限定されるものではなく、
映画や販売されたビデオ又はDVD(Digital Versatil
e Disk)など、放送によらない映像音声に対して適用し
ても、同様の効果が得られる。
音響信号の記録時に特徴抽出を行うものとして説明した
が、これに限定されるものではなく、ブックマークの登
録時又は検索時に、特徴抽出を行うようにすることも可
能である。これにより、記録時には、映像信号/音響信
号のみを記録すればよいため、例えば既に記録された映
像や音声にも適用できるようになる。但し、検索に要す
る演算時間は増加する。
アの構成として説明したが、これに限定されるものでは
なく、信号記録再生装置1,2における処理を、CPU
(Central Processing Unit)にコンピュータプログラ
ムを実行させることにより実現することも可能である。
この場合、そのコンピュータプログラムは、記録媒体に
記録して提供することも可能であり、また、インターネ
ットその他の伝送媒体を介して伝送することにより提供
することも可能である。
信号記録再生装置は、映像信号及び/又は音響信号から
特徴量を抽出してベクトル化することにより特徴ベクト
ルを生成する特徴ベクトル生成手段と、上記映像信号及
び/又は上記音響信号と上記特徴ベクトル生成手段によ
って生成された上記特徴ベクトルとを記録する記録手段
と、上記記録手段に記録された上記特徴ベクトルの少な
くとも一部を登録する登録手段と、上記記録手段に記録
されている上記特徴ベクトルから、上記登録手段によっ
て登録された特徴ベクトルのうち少なくとも1つと略々
一致する特徴ベクトルを検出する一致検出手段と、当該
検出された特徴ベクトルに基づいて、再生開始点を設定
する再生点設定手段と、上記再生点設定手段によって設
定された再生開始点から上記映像信号及び/又は上記音
響信号を再生する再生手段とを備える。
記録された上記映像信号及び/又は上記音響信号を再生
する際に、例えばユーザが指定する信号位置に対応する
上記特徴ベクトルを登録し、上記一致検出手段は、上記
記録手段に記録されている特徴ベクトルから、上記登録
された特徴ベクトルの少なくとも1つとの相関値が所定
の閾値を超える特徴ベクトルを検出する。
及び/又は音響信号を記録する際に、その特徴ベクトル
についても記録し、また、記録された映像信号及び/又
は音響信号を再生する際に、例えばユーザが指定する信
号位置に対応する特徴ベクトルを登録しておく。そし
て、記録手段に記録されている特徴ベクトルから、登録
された特徴ベクトルの少なくとも1つとの相関値が所定
の閾値を超える特徴ベクトルを検出し、その検出された
特徴ベクトルに基づいて再生点を設定して当該再生点か
ら映像信号及び/又は音響信号を再生する。
ルの何れかを指定することで、所望の映像信号及び/又
は音響信号を有する部分を高速に検索し、再生すること
が可能となる。
映像信号及び/又は音響信号から特徴量を抽出してベク
トル化することにより特徴ベクトルを生成する特徴ベク
トル生成工程と、上記映像信号及び/又は上記音響信号
と上記特徴ベクトル生成工程にて生成された上記特徴ベ
クトルとを記録手段に記録する記録工程と、上記記録手
段に記録された上記特徴ベクトルの少なくとも一部を登
録する登録工程と、上記記録手段に記録されている上記
特徴ベクトルから、上記登録工程にて登録された特徴ベ
クトルのうち少なくとも1つと略々一致する特徴ベクト
ルを検出する一致検出工程と、当該検出された特徴ベク
トルに基づいて、再生開始点を設定する再生点設定工程
と、上記再生点設定工程にて設定された再生開始点から
上記映像信号及び/又は上記音響信号を再生する再生工
程とを有する。
に記録された上記映像信号及び/又は上記音響信号を再
生する際に、例えばユーザが指定する信号位置に対応す
る上記特徴ベクトルが登録され、上記一致検出工程で
は、上記記録手段に記録されている特徴ベクトルから、
上記登録された特徴ベクトルの少なくとも1つとの相関
値が所定の閾値を超える特徴ベクトルが検出される。
号及び/又は音響信号が記録される際に、その特徴ベク
トルについても記録され、また、記録された映像信号及
び/又は音響信号が再生される際に、例えばユーザが指
定する信号位置に対応する特徴ベクトルが登録される。
そして、記録手段に記録されている特徴ベクトルから、
登録された特徴ベクトルの少なくとも1つとの相関値が
所定の閾値を超える特徴ベクトルが検出され、その検出
された特徴ベクトルに基づいて再生点が設定され当該再
生点から映像信号及び/又は音響信号が再生される。
ルの何れかを指定することで、所望の映像信号及び/又
は音響信号を有する部分を高速に検索し、再生すること
が可能となる。
信号記録再生処理をコンピュータに実行させるものであ
り、本発明に係る記録媒体は、そのようなプログラムが
記録されたコンピュータ読み取り可能なものである。
ば、上述した信号記録再生処理をソフトウェアにより実
現することができる。
媒体に記録された映像信号及び/又は音響信号を再生す
る信号再生装置において、上記映像信号及び/又は音響
信号の再生開始位置を指定する指定手段と、上記指定手
段によって指定された位置より時間的に前の位置を再生
開始点として設定する再生点設定手段と、上記再生点設
定手段によって設定された再生開始点から上記映像信号
及び/又は上記音響信号の再生を開始する再生手段とを
備える。
号内及び/又は上記音響信号内におけるコマーシャルメ
ッセージを検出するコマーシャルメッセージ検出手段を
備えることができ、上記再生点設定手段は、上記指定手
段によって指定された位置より時間的に前のコマーシャ
ルメッセージの終了位置を再生開始点として設定する。
及び/又は上記音響信号が上記記録媒体に記録された時
刻を検出する時刻検出手段を備えることができ、上記再
生点設定手段は、上記指定手段によって指定された位置
より時間的に前の所定の時刻、例えば上記指定手段によ
って指定された位置を含む番組の開始時刻、又は毎時0
分、毎時15分若しくは毎時30分を再生開始点として
設定する。
信号及び/又は音響信号の再生開始位置が指定される
と、指定された位置より時間的に前の位置、例えばコマ
ーシャルメッセージ検出手段を有する場合には指定され
た位置より時間的に前のコマーシャルメッセージの終了
位置を再生開始点として設定し、また、時刻検出手段を
有する場合には指定された位置を含む番組の開始時刻、
又は例えば毎時0分、毎時15分若しくは毎時30分を
再生開始点として設定し、その再生開始点から映像信号
及び/又は音響信号の再生を開始する。
音響信号の頭出しの結果として、番組冒頭からの視聴が
可能となる。
媒体に記録された映像信号及び/又は音響信号を再生す
る信号再生方法において、上記映像信号及び/又は音響
信号の再生開始位置を指定する指定工程と、上記指定工
程にて指定された位置より時間的に前の位置を再生開始
点として設定する再生点設定工程と、上記再生点設定工
程にて設定された再生開始点から上記映像信号及び/又
は上記音響信号の再生を開始する再生工程とを有する。
号内及び/又は上記音響信号内におけるコマーシャルメ
ッセージを検出するコマーシャルメッセージ検出工程を
有することができ、上記再生点設定工程では、上記指定
工程にて指定された位置より時間的に前のコマーシャル
メッセージの終了位置が再生開始点として設定される。
及び/又は上記音響信号が上記記録媒体に記録された時
刻を検出する時刻検出工程を有することができ、上記再
生点設定工程では、上記指定工程にて指定された位置よ
り時間的に前の所定の時刻、例えば上記指定工程にて指
定された位置を含む番組の開始時刻、又は毎時0分、毎
時15分若しくは毎時30分が再生開始点として設定さ
れる。
像信号及び/又は音響信号の再生開始位置が指定される
と、指定された位置より時間的に前の位置、例えばコマ
ーシャルメッセージ検出工程を有する場合には指定され
た位置より時間的に前のコマーシャルメッセージの終了
位置が再生開始点として設定され、また、時刻検出工程
を有する場合には指定された位置を含む番組の開始時
刻、又は例えば毎時0分、毎時15分若しくは毎時30
分が再生開始点として設定され、その再生開始点から映
像信号及び/又は音響信号の再生が開始される。
音響信号の頭出しの結果として、番組冒頭からの視聴が
可能となる。
概略構成を説明する図である。
ローチャートである。
説明するフローチャートである。
部の詳細な構成を説明する図である。
の動作を説明するフローチャートである。
の動作を説明するフローチャートである。
動作を説明するフローチャートである。
する図である。
される信号を説明する図である。
る動作を説明するフローチャートである。
音響特徴ベクトル等の切り出し処理を説明する図であ
り、同図(A)は、登録指令位置の近傍を切り出す例を
示し、同図(B)は、登録指令位置よりも所定時間前の
近傍位置を切り出す例を示す。
を説明するフローチャートである。
であり、同図(A)は、検索処理を示し、同図(B)
は、検索後の一致位置を示し、同図(C)は、設定され
た再生位置を示す。
作を説明するフローチャートである。
る図である。
を説明する図であり、同図(A)〜(D)は、コマーシ
ャルメッセージがある場合の放送パターンを示し、同図
(E)は、コマーシャルメッセージがない場合の放送パ
ターンを示す。
の概略構成を説明する図である。
を説明するフローチャートである。
を説明するフローチャートである。
出しの一例を説明する図である。
部、30 特徴ベクトル生成部、40 登録部、50
検索部、60 一致検出部、70 再生点設定部、80
コマーシャル検出部、90 時計
Claims (41)
- 【請求項1】 映像信号及び/又は音響信号から特徴量
を抽出してベクトル化することにより特徴ベクトルを生
成する特徴ベクトル生成手段と、 上記映像信号及び/又は上記音響信号と上記特徴ベクト
ル生成手段によって生成された上記特徴ベクトルとを記
録する記録手段と、 上記記録手段に記録された上記特徴ベクトルの少なくと
も一部を登録する登録手段と、 上記記録手段に記録されている上記特徴ベクトルから、
上記登録手段によって登録された特徴ベクトルのうち少
なくとも1つと略々一致する特徴ベクトルを検出する一
致検出手段と、 当該検出された特徴ベクトルに基づいて、再生開始点を
設定する再生点設定手段と、 上記再生点設定手段によって設定された再生開始点から
上記映像信号及び/又は上記音響信号を再生する再生手
段とを備えることを特徴とする信号記録再生装置。 - 【請求項2】 上記特徴ベクトルは、上記映像信号の所
定時間区間内における少なくとも1枚のフレームの平均
画像の画素値をベクトル化したものの時系列、又は上記
平均画像を所定のブロック単位の小画像に分割し、当該
小画像の画素値をベクトル化したものの時系列であるこ
とを特徴とする請求項1記載の信号記録再生装置。 - 【請求項3】 上記特徴ベクトルは、上記音響信号の短
時間パワースペクトラムをベクトル化したものの時系列
であることを特徴とする請求項1記載の信号記録再生装
置。 - 【請求項4】 上記登録手段は、上記記録手段に記録さ
れた上記映像信号及び/又は上記音響信号を再生する際
に、ユーザが指定する信号位置に対応する上記特徴ベク
トルを登録することを特徴とする請求項1記載の信号記
録再生装置。 - 【請求項5】 上記登録手段は、上記記録手段に記録さ
れた上記映像信号及び/又は上記音響信号を再生する際
に、ユーザが指定する信号位置から所定時間長前の信号
位置に対応する上記特徴ベクトルを登録することを特徴
とする請求項1記載の信号記録再生装置。 - 【請求項6】 上記一致検出手段は、上記記録手段に記
録されている特徴ベクトルから、上記登録された特徴ベ
クトルの少なくとも1つとの相関値が所定の閾値を超え
る特徴ベクトルを検出することを特徴とする請求項1記
載の信号記録再生装置。 - 【請求項7】 上記特徴ベクトルに対して階層的な変換
を施し変換ベクトルを生成する階層的変換手段を備え、 上記記録手段は、上記映像信号及び/又は上記音響信号
と上記階層的変換手段によって生成された上記変換ベク
トルとを記録し、 上記登録手段は、上記記録手段に記録された上記変換ベ
クトルの少なくとも一部を登録することを特徴とする請
求項1記載の信号記録再生装置。 - 【請求項8】 上記階層的変換手段は、上記特徴ベクト
ルに対して、当該特徴ベクトルの成分を隣接成分間の和
成分と差成分に分割し、当該和成分をさらに隣接成分間
の和成分と差成分に分割する処理を繰り返す階層的な変
換を施して上記変換ベクトルを生成することを特徴とす
る請求項7記載の信号記録再生装置。 - 【請求項9】 上記一致検出手段は、登録された上記変
換ベクトルの少なくとも1つと上記記録手段に記録され
た変換ベクトルとの間で階層的な相関演算を行い、上記
記録手段に記録されている変換ベクトルから、登録され
た上記変換ベクトルの少なくとも1つとの相関値が所定
の閾値を超える特徴ベクトルを検出することを特徴とす
る請求項8記載の信号記録再生装置。 - 【請求項10】 上記一致検出手段は、上記変換ベクト
ルの上位階層の和成分同士から順次差成分を含むように
成分数を増やして相関演算を行う階層的な相関演算を行
い、当該階層的な相関演算の途中階層における相関値が
上記閾値を下回った場合には、さらなる階層の相関演算
を行わないことを特徴とする請求項9記載の信号記録再
生装置。 - 【請求項11】 映像信号及び/又は音響信号から特徴
量を抽出してベクトル化することにより特徴ベクトルを
生成する特徴ベクトル生成工程と、 上記映像信号及び/又は上記音響信号と上記特徴ベクト
ル生成工程にて生成された上記特徴ベクトルとを記録手
段に記録する記録工程と、 上記記録手段に記録された上記特徴ベクトルの少なくと
も一部を登録する登録工程と、 上記記録手段に記録されている上記特徴ベクトルから、
上記登録工程にて登録された特徴ベクトルのうち少なく
とも1つと略々一致する特徴ベクトルを検出する一致検
出工程と、 当該検出された特徴ベクトルに基づいて、再生開始点を
設定する再生点設定工程と、 上記再生点設定工程にて設定された再生開始点から上記
映像信号及び/又は上記音響信号を再生する再生工程と
を有することを特徴とする信号記録再生方法。 - 【請求項12】 上記登録工程では、上記記録手段に記
録された上記映像信号及び/又は上記音響信号を再生す
る際に、ユーザが指定する信号位置に対応する上記特徴
ベクトルが登録されることを特徴とする請求項11記載
の信号記録再生方法。 - 【請求項13】 上記一致検出工程では、上記記録手段
に記録されている特徴ベクトルから、上記登録された特
徴ベクトルの少なくとも1つとの相関値が所定の閾値を
超える特徴ベクトルが検出されることを特徴とする請求
項11記載の信号記録再生方法。 - 【請求項14】 上記特徴ベクトルに対して階層的な変
換を施し変換ベクトルを生成する階層的変換工程を有
し、 上記記録工程では、上記映像信号及び/又は上記音響信
号と上記階層的変換手段によって生成された上記変換ベ
クトルとが上記記録手段に記録され、 上記登録工程では、上記記録手段に記録された上記変換
ベクトルの少なくとも一部が登録されることを特徴とす
る請求項11記載の信号記録再生方法。 - 【請求項15】 上記階層的変換工程では、上記特徴ベ
クトルに対して、当該特徴ベクトルの成分を隣接成分間
の和成分と差成分に分割し、当該和成分をさらに隣接成
分間の和成分と差成分に分割する処理を繰り返す階層的
な変換を施して上記変換ベクトルが生成されることを特
徴とする請求項14記載の信号記録再生方法。 - 【請求項16】 上記一致検出工程では、登録された上
記変換ベクトルの少なくとも1つと上記記録手段に記録
された変換ベクトルとの間で階層的な相関演算が行わ
れ、上記記録手段に記録されている変換ベクトルから、
登録された上記変換ベクトルの少なくとも1つとの相関
値が所定の閾値を超える特徴ベクトルが検出されること
を特徴とする請求項15記載の信号記録再生方法。 - 【請求項17】 上記一致検出工程では、上記変換ベク
トルの上位階層の和成分同士から順次差成分を含むよう
に成分数を増やして相関演算を行う階層的な相関演算が
行われ、当該階層的な相関演算の途中階層における相関
値が上記閾値を下回った場合には、さらなる階層の相関
演算が行われないことを特徴とする請求項16記載の信
号記録再生方法。 - 【請求項18】 所定の処理をコンピュータに実行させ
るプログラムであって、 映像信号及び/又は音響信号から特徴量を抽出してベク
トル化することにより特徴ベクトルを生成する特徴ベク
トル生成工程と、 上記映像信号及び/又は上記音響信号と上記特徴ベクト
ル生成工程にて生成された上記特徴ベクトルとを記録手
段に記録する記録工程と、 上記記録手段に記録された上記特徴ベクトルの少なくと
も一部を登録する登録工程と、 上記記録手段に記録されている上記特徴ベクトルから、
上記登録工程にて登録された特徴ベクトルのうち少なく
とも1つと略々一致する特徴ベクトルを検出する一致検
出工程と、 当該検出された特徴ベクトルに基づいて、再生開始点を
設定する再生点設定工程と、 上記再生点設定工程にて設定された再生開始点から上記
映像信号及び/又は上記音響信号を再生する再生工程と
を有することを特徴とするプログラム。 - 【請求項19】 上記登録工程では、上記記録手段に記
録された上記映像信号及び/又は上記音響信号を再生す
る際に、ユーザが指定する信号位置に対応する上記特徴
ベクトルが登録されることを特徴とする請求項18記載
のプログラム。 - 【請求項20】 上記一致検出工程では、上記記録手段
に記録されている特徴ベクトルから、上記登録された特
徴ベクトルの少なくとも1つとの相関値が所定の閾値を
超える特徴ベクトルが検出されることを特徴とする請求
項18記載のプログラム。 - 【請求項21】 上記特徴ベクトルに対して階層的な変
換を施し変換ベクトルを生成する階層的変換工程を有
し、 上記記録工程では、上記映像信号及び/又は上記音響信
号と上記階層的変換手段によって生成された上記変換ベ
クトルとが上記記録手段に記録され、 上記登録工程では、上記記録手段に記録された上記変換
ベクトルの少なくとも一部が登録されることを特徴とす
る請求項18記載のプログラム。 - 【請求項22】 上記階層的変換工程では、上記特徴ベ
クトルに対して、当該特徴ベクトルの成分を隣接成分間
の和成分と差成分に分割し、当該和成分をさらに隣接成
分間の和成分と差成分に分割する処理を繰り返す階層的
な変換を施して上記変換ベクトルが生成されることを特
徴とする請求項21記載のプログラム。 - 【請求項23】 上記一致検出工程では、登録された上
記変換ベクトルの少なくとも1つと上記記録手段に記録
された変換ベクトルとの間で階層的な相関演算が行わ
れ、上記記録手段に記録されている変換ベクトルから、
登録された上記変換ベクトルの少なくとも1つとの相関
値が所定の閾値を超える特徴ベクトルが検出されること
を特徴とする請求項22記載のプログラム。 - 【請求項24】 上記一致検出工程では、上記変換ベク
トルの上位階層の和成分同士から順次差成分を含むよう
に成分数を増やして相関演算を行う階層的な相関演算が
行われ、当該階層的な相関演算の途中階層における相関
値が上記閾値を下回った場合には、さらなる階層の相関
演算が行われないことを特徴とする請求項23記載のプ
ログラム。 - 【請求項25】 所定の処理をコンピュータに実行させ
るプログラムが記録された記録媒体であって、 映像信号及び/又は音響信号から特徴量を抽出してベク
トル化することにより特徴ベクトルを生成する特徴ベク
トル生成工程と、 上記映像信号及び/又は上記音響信号と上記特徴ベクト
ル生成工程にて生成された上記特徴ベクトルとを記録手
段に記録する記録工程と、 上記記録手段に記録された上記特徴ベクトルの少なくと
も一部を登録する登録工程と、 上記記録手段に記録されている上記特徴ベクトルから、
上記登録工程にて登録された特徴ベクトルのうち少なく
とも1つと略々一致する特徴ベクトルを検出する一致検
出工程と、 当該検出された特徴ベクトルに基づいて、再生開始点を
設定する再生点設定工程と、 上記再生点設定工程にて設定された再生開始点から上記
映像信号及び/又は上記音響信号を再生する再生工程と
を有することを特徴とするプログラムが記録された記録
媒体。 - 【請求項26】 上記登録工程では、上記記録手段に記
録された上記映像信号及び/又は上記音響信号を再生す
る際に、ユーザが指定する信号位置に対応する上記特徴
ベクトルが登録されることを特徴とする請求項25記載
の記録媒体。 - 【請求項27】 上記一致検出工程では、上記記録手段
に記録されている特徴ベクトルから、上記登録された特
徴ベクトルの少なくとも1つとの相関値が所定の閾値を
超える特徴ベクトルが検出されることを特徴とする請求
項25記載の記録媒体。 - 【請求項28】 上記プログラムは、上記特徴ベクトル
に対して階層的な変換を施し変換ベクトルを生成する階
層的変換工程を有し、 上記記録工程では、上記映像信号及び/又は上記音響信
号と上記階層的変換手段によって生成された上記変換ベ
クトルとが上記記録手段に記録され、 上記登録工程では、上記記録手段に記録された上記変換
ベクトルの少なくとも一部が登録されることを特徴とす
る請求項25記載の記録媒体。 - 【請求項29】 上記階層的変換工程では、上記特徴ベ
クトルに対して、当該特徴ベクトルの成分を隣接成分間
の和成分と差成分に分割し、当該和成分をさらに隣接成
分間の和成分と差成分に分割する処理を繰り返す階層的
な変換を施して上記変換ベクトルが生成されることを特
徴とする請求項28記載の記録媒体。 - 【請求項30】 上記一致検出工程では、登録された上
記変換ベクトルの少なくとも1つと上記記録手段に記録
された変換ベクトルとの間で階層的な相関演算が行わ
れ、上記記録手段に記録されている変換ベクトルから、
登録された上記変換ベクトルの少なくとも1つとの相関
値が所定の閾値を超える特徴ベクトルが検出されること
を特徴とする請求項29記載の記録媒体。 - 【請求項31】 上記一致検出工程では、上記変換ベク
トルの上位階層の和成分同士から順次差成分を含むよう
に成分数を増やして相関演算を行う階層的な相関演算が
行われ、当該階層的な相関演算の途中階層における相関
値が上記閾値を下回った場合には、さらなる階層の相関
演算が行われないことを特徴とする請求項30記載の記
録媒体。 - 【請求項32】 記録媒体に記録された映像信号及び/
又は音響信号を再生する信号再生装置において、 上記映像信号及び/又は音響信号の再生開始位置を指定
する指定手段と、 上記指定手段によって指定された位置より時間的に前の
位置を再生開始点として設定する再生点設定手段と、 上記再生点設定手段によって設定された再生開始点から
上記映像信号及び/又は上記音響信号の再生を開始する
再生手段とを備えることを特徴とする信号再生装置。 - 【請求項33】 上記映像信号内及び/又は上記音響信
号内におけるコマーシャルメッセージを検出するコマー
シャルメッセージ検出手段を備え、 上記再生点設定手段は、上記指定手段によって指定され
た位置より時間的に前のコマーシャルメッセージの終了
位置を再生開始点として設定することを特徴とする請求
項32記載の信号再生装置。 - 【請求項34】 上記映像信号及び/又は上記音響信号
が上記記録媒体に記録された時刻を検出する時刻検出手
段を備え、 上記再生点設定手段は、上記指定手段によって指定され
た位置より時間的に前の所定の時刻を再生開始点として
設定することを特徴とする請求項32記載の信号再生装
置。 - 【請求項35】 上記所定の時刻は、上記指定手段によ
って指定された位置を含む番組の開始時刻であることを
特徴とする請求項34記載の信号再生装置。 - 【請求項36】 上記所定の時刻は、毎時0分、毎時1
5分、又は毎時30分であることを特徴とする請求項3
4記載の信号再生装置。 - 【請求項37】 記録媒体に記録された映像信号及び/
又は音響信号を再生する信号再生方法において、 上記映像信号及び/又は音響信号の再生開始位置を指定
する指定工程と、 上記指定工程にて指定された位置より時間的に前の位置
を再生開始点として設定する再生点設定工程と、 上記再生点設定工程にて設定された再生開始点から上記
映像信号及び/又は上記音響信号の再生を開始する再生
工程とを有することを特徴とする信号再生方法。 - 【請求項38】 上記映像信号内及び/又は上記音響信
号内におけるコマーシャルメッセージを検出するコマー
シャルメッセージ検出工程を有し、 上記再生点設定工程では、上記指定工程にて指定された
位置より時間的に前のコマーシャルメッセージの終了位
置が再生開始点として設定されることを特徴とする請求
項37記載の信号再生方法。 - 【請求項39】 上記映像信号及び/又は上記音響信号
が上記記録媒体に記録された時刻を検出する時刻検出工
程を有し、 上記再生点設定工程では、上記指定工程にて指定された
位置より時間的に前の所定の時刻が再生開始点として設
定されることを特徴とする請求項37記載の信号再生方
法。 - 【請求項40】 上記所定の時刻は、上記指定工程にて
指定された位置を含む番組の開始時刻であることを特徴
とする請求項39記載の信号再生方法。 - 【請求項41】 上記所定の時刻は、毎時0分、毎時1
5分、又は毎時30分であることを特徴とする請求項3
9記載の信号再生方法。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002145263A JP3744464B2 (ja) | 2002-05-20 | 2002-05-20 | 信号記録再生装置及び方法、信号再生装置及び方法、並びにプログラム及び記録媒体 |
KR1020047000885A KR100943398B1 (ko) | 2002-05-20 | 2003-05-20 | 신호 기록 재생 장치, 신호 기록 재생 방법, 및 기록 매체 |
CNB03800819XA CN100372376C (zh) | 2002-05-20 | 2003-05-20 | 信号记录/再现装置和记录/再现方法、信号再现装置和再现方法 |
EP03752928.6A EP1523180B1 (en) | 2002-05-20 | 2003-05-20 | Signal recording/reproducing apparatus, signal recording/reproducing method, signal reproducing apparatus, signal reproducing method, and program |
US10/484,132 US7502547B2 (en) | 2002-05-20 | 2003-05-20 | Signal recording/reproducing apparatus and recording/reproducing method, signal reproducing apparatus and reproducing method, and program |
PCT/JP2003/006294 WO2003098928A1 (fr) | 2002-05-20 | 2003-05-20 | Appareil et procede d'enregistrement/reproduction de signaux, appareil et procede de reproduction de signaux et programme associe |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002145263A JP3744464B2 (ja) | 2002-05-20 | 2002-05-20 | 信号記録再生装置及び方法、信号再生装置及び方法、並びにプログラム及び記録媒体 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2003339010A true JP2003339010A (ja) | 2003-11-28 |
JP2003339010A5 JP2003339010A5 (ja) | 2005-04-07 |
JP3744464B2 JP3744464B2 (ja) | 2006-02-08 |
Family
ID=29545074
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002145263A Expired - Fee Related JP3744464B2 (ja) | 2002-05-20 | 2002-05-20 | 信号記録再生装置及び方法、信号再生装置及び方法、並びにプログラム及び記録媒体 |
Country Status (6)
Country | Link |
---|---|
US (1) | US7502547B2 (ja) |
EP (1) | EP1523180B1 (ja) |
JP (1) | JP3744464B2 (ja) |
KR (1) | KR100943398B1 (ja) |
CN (1) | CN100372376C (ja) |
WO (1) | WO2003098928A1 (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007013361A (ja) * | 2005-06-29 | 2007-01-18 | Sanyo Electric Co Ltd | 携帯電話機 |
KR100724984B1 (ko) | 2005-06-16 | 2007-06-04 | 삼성전자주식회사 | 디지털 멀티미디어 방송을 다양한 방식으로 재생하는 방법및 그에 따른 디지털 멀티미디어 방송 수신장치 |
JP2007235572A (ja) * | 2006-03-01 | 2007-09-13 | Sony Corp | 画像処理装置および方法、プログラム記録媒体、並びにプログラム |
JP2007235374A (ja) * | 2006-02-28 | 2007-09-13 | Sony Corp | 画像処理装置および方法、データ記録媒体、プログラム記録媒体、並びにプログラム |
JP2007300477A (ja) * | 2006-05-01 | 2007-11-15 | Sony Corp | 画像処理装置および方法、並びにプログラム |
WO2007145281A1 (ja) * | 2006-06-14 | 2007-12-21 | Nec Corporation | 映像再生装置、映像再生方法および映像再生プログラム |
JP2009089032A (ja) * | 2007-09-28 | 2009-04-23 | Toshiba Corp | 電子機器およびシーン種類表示方法 |
JP2010258615A (ja) * | 2009-04-22 | 2010-11-11 | Fujitsu Ltd | 再生装置及びプログラム |
US8249434B2 (en) | 2005-06-27 | 2012-08-21 | Nec Corporation | Contents playing method and apparatus with play starting position control |
US8312489B2 (en) | 2005-02-23 | 2012-11-13 | Sony Corporation | CM searching method and apparatus, and CM-appendant information supplying method and apparatus |
WO2014049989A1 (ja) * | 2012-09-28 | 2014-04-03 | パナソニック株式会社 | 映像出力装置 |
US20160182589A1 (en) * | 2005-12-13 | 2016-06-23 | Audio Pod Inc. | Method and system for rendering digital content across multiple client devices |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8225194B2 (en) | 2003-01-09 | 2012-07-17 | Kaleidescape, Inc. | Bookmarks and watchpoints for selection and presentation of media streams |
US8159561B2 (en) * | 2003-10-10 | 2012-04-17 | Nikon Corporation | Digital camera with feature extraction device |
US20090162940A1 (en) * | 2004-05-28 | 2009-06-25 | Wardlaw Stephen C | Specimen Analysis Tube |
JP4476786B2 (ja) * | 2004-11-10 | 2010-06-09 | 株式会社東芝 | 検索装置 |
JP4432877B2 (ja) * | 2005-11-08 | 2010-03-17 | ソニー株式会社 | 情報処理システム、および、情報処理方法、情報処理装置、プログラム、並びに、記録媒体 |
JP4187011B2 (ja) | 2006-06-01 | 2008-11-26 | ソニー株式会社 | 情報処理システム、情報処理装置および方法、並びにプログラム |
KR20080038630A (ko) * | 2006-10-30 | 2008-05-07 | 삼성전자주식회사 | 프로그램 탐색용 북마크 기능을 갖는 영상기기 및 북마크설정방법 |
KR100939215B1 (ko) * | 2007-12-17 | 2010-01-28 | 한국전자통신연구원 | 인덱스 데이터베이스 생성 장치 및 검색 장치 |
JP2011198348A (ja) * | 2010-02-24 | 2011-10-06 | Sanyo Electric Co Ltd | 録音装置 |
EP2638701B1 (en) * | 2010-11-11 | 2020-09-09 | Google LLC | Vector transformation for indexing, similarity search and classification |
KR101315970B1 (ko) | 2012-05-23 | 2013-10-08 | (주)엔써즈 | 오디오 신호를 이용한 콘텐츠 인식 장치 및 방법 |
CN110914864A (zh) * | 2017-07-31 | 2020-03-24 | 富士通株式会社 | 信息处理装置、信息处理程序和信息处理方法 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5577191A (en) * | 1994-02-17 | 1996-11-19 | Minerva Systems, Inc. | System and method for digital video editing and publishing, using intraframe-only video data in intermediate steps |
JPH087208A (ja) * | 1994-06-22 | 1996-01-12 | Sony Corp | 磁気テープ記録再生装置 |
JPH0983588A (ja) * | 1995-09-18 | 1997-03-28 | Mitsubishi Electric Corp | 復調器及び変復調システム及び復調方法 |
JPH0993588A (ja) * | 1995-09-28 | 1997-04-04 | Toshiba Corp | 動画像処理方法 |
JPH1153785A (ja) | 1997-07-31 | 1999-02-26 | Hitachi Ltd | テレビジョン信号記録再生装置 |
US6366699B1 (en) * | 1997-12-04 | 2002-04-02 | Nippon Telegraph And Telephone Corporation | Scheme for extractions and recognitions of telop characters from video data |
US6833865B1 (en) * | 1998-09-01 | 2004-12-21 | Virage, Inc. | Embedded metadata engines in digital capture devices |
JP3267249B2 (ja) | 1998-10-30 | 2002-03-18 | 日本電気株式会社 | 番組録画再生装置および番組録画再生方法 |
JP2001014790A (ja) | 1999-06-28 | 2001-01-19 | Victor Co Of Japan Ltd | 光ディスク記録再生装置 |
DE69934605T2 (de) * | 1999-11-29 | 2007-10-11 | Sony Corp. | Verfahren und Vorrichtung zur Bearbeitung von Videosignalen durch Charakteristischen Punkten Extraktion im komprimierten Bereich. |
EP1161098B1 (en) * | 2000-04-27 | 2011-06-22 | Nippon Telegraph And Telephone Corporation | Signal detection method and apparatus |
US7028250B2 (en) * | 2000-05-25 | 2006-04-11 | Kanisa, Inc. | System and method for automatically classifying text |
US6934334B2 (en) * | 2000-10-02 | 2005-08-23 | Kabushiki Kaisha Toshiba | Method of transcoding encoded video data and apparatus which transcodes encoded video data |
JP2002117037A (ja) * | 2000-10-06 | 2002-04-19 | Nec Corp | 画像検索装置、並びに画像検索方法及びこれが書き込まれた記録媒体 |
JP2002145263A (ja) | 2000-11-07 | 2002-05-22 | Daiwa Can Co Ltd | 安全端付き開口容易缶蓋及びその製造方法 |
GB0029880D0 (en) * | 2000-12-07 | 2001-01-24 | Sony Uk Ltd | Video and audio information processing |
GB0029861D0 (en) * | 2000-12-07 | 2001-01-24 | Sony Uk Ltd | Replaying video information |
US6993532B1 (en) * | 2001-05-30 | 2006-01-31 | Microsoft Corporation | Auto playlist generator |
AU2002351310A1 (en) * | 2001-12-06 | 2003-06-23 | The Trustees Of Columbia University In The City Of New York | System and method for extracting text captions from video and generating video summaries |
KR100846770B1 (ko) * | 2002-03-05 | 2008-07-16 | 삼성전자주식회사 | 동영상 부호화 방법 및 이에 적합한 장치 |
-
2002
- 2002-05-20 JP JP2002145263A patent/JP3744464B2/ja not_active Expired - Fee Related
-
2003
- 2003-05-20 KR KR1020047000885A patent/KR100943398B1/ko not_active IP Right Cessation
- 2003-05-20 CN CNB03800819XA patent/CN100372376C/zh not_active Expired - Fee Related
- 2003-05-20 WO PCT/JP2003/006294 patent/WO2003098928A1/ja active Application Filing
- 2003-05-20 EP EP03752928.6A patent/EP1523180B1/en not_active Expired - Lifetime
- 2003-05-20 US US10/484,132 patent/US7502547B2/en active Active
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8312489B2 (en) | 2005-02-23 | 2012-11-13 | Sony Corporation | CM searching method and apparatus, and CM-appendant information supplying method and apparatus |
KR100724984B1 (ko) | 2005-06-16 | 2007-06-04 | 삼성전자주식회사 | 디지털 멀티미디어 방송을 다양한 방식으로 재생하는 방법및 그에 따른 디지털 멀티미디어 방송 수신장치 |
JP5145937B2 (ja) * | 2005-06-27 | 2013-02-20 | 日本電気株式会社 | 再生開始位置制御付きコンテンツ再生方法および装置 |
US8249434B2 (en) | 2005-06-27 | 2012-08-21 | Nec Corporation | Contents playing method and apparatus with play starting position control |
JP2007013361A (ja) * | 2005-06-29 | 2007-01-18 | Sanyo Electric Co Ltd | 携帯電話機 |
US9954922B2 (en) * | 2005-12-13 | 2018-04-24 | Audio Pod Inc. | Method and system for rendering digital content across multiple client devices |
US20160182589A1 (en) * | 2005-12-13 | 2016-06-23 | Audio Pod Inc. | Method and system for rendering digital content across multiple client devices |
JP4670683B2 (ja) * | 2006-02-28 | 2011-04-13 | ソニー株式会社 | 画像処理装置および方法、データ記録媒体、プログラム記録媒体、並びにプログラム |
US8068672B2 (en) | 2006-02-28 | 2011-11-29 | Sony Corporation | Image processing apparatus and method, data recording medium, program recording medium, and program therefor |
JP2007235374A (ja) * | 2006-02-28 | 2007-09-13 | Sony Corp | 画像処理装置および方法、データ記録媒体、プログラム記録媒体、並びにプログラム |
JP4720544B2 (ja) * | 2006-03-01 | 2011-07-13 | ソニー株式会社 | 画像処理装置および方法、プログラム記録媒体、並びにプログラム |
JP2007235572A (ja) * | 2006-03-01 | 2007-09-13 | Sony Corp | 画像処理装置および方法、プログラム記録媒体、並びにプログラム |
JP2007300477A (ja) * | 2006-05-01 | 2007-11-15 | Sony Corp | 画像処理装置および方法、並びにプログラム |
WO2007145281A1 (ja) * | 2006-06-14 | 2007-12-21 | Nec Corporation | 映像再生装置、映像再生方法および映像再生プログラム |
JP2009089032A (ja) * | 2007-09-28 | 2009-04-23 | Toshiba Corp | 電子機器およびシーン種類表示方法 |
US8559683B2 (en) | 2007-09-28 | 2013-10-15 | Kabushiki Kaisha Toshiba | Electronic apparatus and scene-type display method |
JP2010258615A (ja) * | 2009-04-22 | 2010-11-11 | Fujitsu Ltd | 再生装置及びプログラム |
WO2014049989A1 (ja) * | 2012-09-28 | 2014-04-03 | パナソニック株式会社 | 映像出力装置 |
Also Published As
Publication number | Publication date |
---|---|
EP1523180A1 (en) | 2005-04-13 |
KR20050006121A (ko) | 2005-01-15 |
EP1523180B1 (en) | 2016-06-08 |
CN100372376C (zh) | 2008-02-27 |
KR100943398B1 (ko) | 2010-02-22 |
JP3744464B2 (ja) | 2006-02-08 |
WO2003098928A1 (fr) | 2003-11-27 |
CN1545807A (zh) | 2004-11-10 |
US7502547B2 (en) | 2009-03-10 |
US20040218896A1 (en) | 2004-11-04 |
EP1523180A4 (en) | 2008-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3744464B2 (ja) | 信号記録再生装置及び方法、信号再生装置及び方法、並びにプログラム及び記録媒体 | |
JP4905103B2 (ja) | 動画再生装置 | |
KR101109023B1 (ko) | 콘텐트 분석을 사용하여 뮤직 비디오를 요약하는 방법 및 장치 | |
US6970639B1 (en) | System and method for editing source content to produce an edited content sequence | |
JP4873018B2 (ja) | データ処理装置、データ処理方法、及び、プログラム | |
US20060184963A1 (en) | Method and apparatus for similar video content hopping | |
JP3891111B2 (ja) | 音響信号処理装置及び方法、信号記録装置及び方法、並びにプログラム | |
CN101137030A (zh) | 回放装置、搜索方法及程序 | |
EP1843262A2 (en) | Recording and reproduction apparatus and recording and reproduction method | |
JP2007525900A (ja) | 番組内のコンテンツを位置特定する方法及び装置 | |
WO2000036833A1 (fr) | Procede et appareil permettant de retrouver vocalement des scenes video ou audio | |
CN101568968B (zh) | 用于创建已包括摘要和报道的视听文献的新摘要的方法以及可实现所述方法的接收器 | |
GB2354105A (en) | System and method for navigating source content | |
KR20040026634A (ko) | 특징량 추출장치 | |
JP3781715B2 (ja) | メタデータ制作装置及び検索装置 | |
JP4174056B2 (ja) | 映像再生方法、映像再生端末 | |
US20050229204A1 (en) | Signal processing method and arragement | |
JP4331706B2 (ja) | 編集装置及び編集方法 | |
US20050144164A1 (en) | System for storing and searching for tags in data stream and method for storing and searching for tags in data stream | |
WO2007013407A1 (ja) | ダイジェスト生成装置、ダイジェスト生成方法、ダイジェスト生成プログラムを格納した記録媒体、およびダイジェスト生成装置に用いる集積回路 | |
JP2004289530A (ja) | 記録再生装置 | |
JP2004334160A (ja) | 特徴量抽出装置 | |
JP4937795B2 (ja) | コンテンツ付随情報表示方法およびコンテンツ付随情報表示装置ならびにそのプログラムと記録媒体 | |
JP2005167456A (ja) | Avコンテンツ興趣特徴抽出方法及びavコンテンツ興趣特徴抽出装置 | |
JP2004333605A (ja) | 前後の検索結果利用型類似音楽検索装置,前後の検索結果利用型類似音楽検索処理方法,前後の検索結果利用型類似音楽検索プログラムおよびそのプログラムの記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040428 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050712 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050909 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051114 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 3744464 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081202 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091202 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091202 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101202 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111202 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111202 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121202 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131202 Year of fee payment: 8 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |