JP4026100B2 - 情報処理装置および方法、並びに記録媒体 - Google Patents

情報処理装置および方法、並びに記録媒体 Download PDF

Info

Publication number
JP4026100B2
JP4026100B2 JP33927398A JP33927398A JP4026100B2 JP 4026100 B2 JP4026100 B2 JP 4026100B2 JP 33927398 A JP33927398 A JP 33927398A JP 33927398 A JP33927398 A JP 33927398A JP 4026100 B2 JP4026100 B2 JP 4026100B2
Authority
JP
Japan
Prior art keywords
section
commercial
detecting
scene change
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP33927398A
Other languages
English (en)
Other versions
JP2000165796A (ja
Inventor
正志 太田
太郎 水藤
勝成 宮田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP33927398A priority Critical patent/JP4026100B2/ja
Priority to US09/448,837 priority patent/US6449021B1/en
Publication of JP2000165796A publication Critical patent/JP2000165796A/ja
Application granted granted Critical
Publication of JP4026100B2 publication Critical patent/JP4026100B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/58Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of audio
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/032Electronic editing of digitised analogue information signals, e.g. audio or video signals on tapes
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/22Means responsive to presence or absence of recorded information signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/10Arrangements for replacing or switching information during the broadcast or the distribution
    • H04H20/106Receiver-side switching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/59Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/812Monomedia components thereof involving advertisement data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2525Magneto-optical [MO] discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/60Solid state media
    • G11B2220/61Solid state media wherein solid state memory is used for storing A/V content
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/90Tape-like record carriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/147Scene change detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Television Signal Processing For Recording (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、情報処理装置および方法、並びに記録媒体に関し、特に、テレビジョン放送に含まれるコマーシャルを検出する情報処理装置および方法、並びに記録媒体に関する。
【0002】
【従来の技術】
例えば、録画されたテレビジョン放送を再生するとき、本編(番組)だけを連続して見たいというユーザのニーズに対応して、コマーシャル(以下、CMと記述する)を早送りする、いわゆるCMカット機能付きVCR(Video Cassette Recorder)が存在する。
【0003】
そのようなVCRに用いられているCM検出アルゴリズムは、次に示すような、絶対的な、または大多数のCMが有する特徴に基づくものである。すなわち、各CMの開始時および終了時には0.1乃至2.0秒程度の無音区間が存在する、無音区間には画像のシーンチェンジ点が存在する、各CMの所要時間は15秒の整数倍である、CMは音声多重モードがステレオモードである、等の特徴が確認された場合、その部分がCMとして検出される。
【0004】
また、欧米におけるテレビジョン放送では、本編とCMの間に、ブラックフレームまたはブルーフレームが存在するという絶対的な条件に基づいてCMが検出されている。
【0005】
【発明が解決しようとする課題】
したがって、従来のCM検出アルゴリズムによれば、例えば、音声多重モードがモノラルであるCMのように、上述した特徴が含まれていないCMは検出できない課題があった。
【0006】
また、従来のCM検出アルゴリズムによれば、本編の中に上述した特徴が含まれていた場合、その部分をCMとして検出してしまう課題があった。
【0007】
さらに、例えば、CMの所要時間が14秒の整数倍となったり、欧米においてブラックフレームやブルーフレームの挿入が廃止される等、従来のアルゴリズムにおいて用いていたCMの特徴が変更、または廃止された場合、CMを検出することができなくなる課題があった。
【0008】
また、従来のCM検出アルゴリズムにおける無音区間の検出方法は、ある一定区間の音声の平均レベルを求め、その平均レベルが所定の閾値以下である場合、その区間を無音区間として検出していた。このため、テレビジョン放送の受信状況が悪いとき、すなわち、弱電界で音声信号のS/Nが悪い状況と、弱電界ではないときで無音声区間の検出精度が異なるので、結果的に正確にCMを検出できない課題があった。
【0009】
また、従来のCM検出アルゴリズムにおけるCMの所要時間の計測は、1秒当たり約30フレームとして、フレーム数をカウントすることにより行われているが、実際の放送においては、数フレーム程度の誤差が生じるので、所要時間を判定する閾値には誤差に対応するあそびが設けられている。したがって、そのあそびに起因して、CMの誤検出、または未検出が発生する課題があった。
【0010】
さらに、CMと本編の間に5秒程度のテレビ局の宣伝用スポットが放送された場合、そのスポットは視聴者にとってはCMと同様なものであるが、上述したCMの特徴を有していないので検出できない課題があった。
【0011】
本発明はこのような状況に鑑みてなされたものであり、テレビジョン放送に含まれるCMを確実に検出できるようにするものである。
【0012】
【課題を解決するための手段】
本発明の第1の情報処理装置は、番組の無音区間を判定する無音区間判定手段と、番組のシーンチェンジを検出するシーンチェンジ検出手段と、シーンチェンジ検出手段の検出結果、および無音区間判定手段の判定結果に基づいてコマーシャル候補区間を検出するコマーシャル候補区間検出手段と、コマーシャル候補区間検出手段により検出されたコマーシャル候補区間におけるシーンチェンジの回数をカウントし、シーンチェンジの回数が所定の閾値よりも多いコマーシャル候補区間を、コマーシャル区間と判定するコマーシャル判定手段とを備えることを特徴とする。
本発明の第1の情報処理方法は、番組の無音区間を判定する無音区間判定ステップと、番組のシーンチェンジを検出するシーンチェンジ検出ステップと、シーンチェンジ検出ステップの検出結果、および無音区間判定ステップの判定結果に基づいてコマーシャル候補区間を検出するコマーシャル候補区間検出ステップと、コマーシャル候補区間検出ステップにより検出されたコマーシャル候補区間におけるシーンチェンジの回数をカウントし、シーンチェンジの回数が所定の閾値よりも多いコマーシャル候補区間を、コマーシャル区間と判定するコマーシャル判定ステップとを含むことを特徴とする。
本発明の第1の記録媒体は、番組の無音区間を判定する無音区間判定ステップと、番組のシーンチェンジを検出するシーンチェンジ検出ステップと、シーンチェンジ検出ステップの検出結果、および無音区間判定ステップの判定結果に基づいてコマーシャル候補区間を検出するコマーシャル候補区間検出ステップと、コマーシャル候補区間検出ステップにより検出されたコマーシャル候補区間におけるシーンチェンジの回数をカウントし、シーンチェンジの回数が所定の閾値よりも多いコマーシャル候補区間を、コマーシャル区間と判定するコマーシャル判定ステップとを含む処理を情報処理装置のコンピュータに実行させるプログラムが記録されていることを特徴とする。
【0013】
本発明の第1の情報処理装置および方法、並びに記録媒体のプログラムにおいては、番組の無音区間が判定されて、番組のシーンチェンジが検出され、シーンチェンジの検出結果、および無音区間の判定結果に基づいてコマーシャル候補区間が検出される。そして、検出されたコマーシャル候補区間におけるシーンチェンジの回数がカウントされ、シーンチェンジの回数が所定の閾値よりも多いコマーシャル候補区間が、コマーシャル区間と判定される。
【0014】
本発明の第2の情報処理装置は、番組の無音区間を判定する無音区間判定手段と、番組のシーンチェンジを検出するシーンチェンジ検出手段と、シーンチェンジ検出手段の検出結果、および無音区間判定手段の判定結果に基づいてコマーシャル候補区間を検出するコマーシャル候補区間検出手段と、コマーシャル候補区間検出手段により検出された隣接する1以上のコマーシャル候補区間を、その合計時間が所定時間の整数倍となるようにグループ化することにより、グループ化コマーシャル候補区間を生成するグループ化手段と、隣接する複数のグループ化コマーシャル候補区間のフレーム数を合計し、合計したフレーム数が所定の誤差許容範囲に収まる場合、隣接する複数のグループ化コマーシャル候補区間をコマーシャル区間と判定するコマーシャル判定手段とを備えることを特徴とする。
本発明の第2の情報処理方法は、番組の無音区間を判定する無音区間判定ステップと、番組のシーンチェンジを検出するシーンチェンジ検出ステップと、シーンチェンジ検出ステップの検出結果、および無音区間判定ステップの判定結果に基づいてコマーシャル候補区間を検出するコマーシャル候補区間検出ステップと、コマーシャル候補区間検出ステップにより検出された隣接する1以上のコマーシャル候補区間を、その合計時間が所定時間の整数倍となるようにグループ化することにより、グループ化コマーシャル候補区間を生成するグループ化ステップと、隣接する複数のグループ化コマーシャル候補区間のフレーム数を合計し、合計したフレーム数が所定の誤差許容範囲に収まる場合、隣接する複数のグループ化コマーシャル候補区間をコマーシャル区間と判定するコマーシャル判定ステップとを含むことを特徴とする。
本発明の第2の記録媒体は、番組の無音区間を判定する無音区間判定ステップと、番組のシーンチェンジを検出するシーンチェンジ検出ステップと、シーンチェンジ検出ステップの検出結果、および無音区間判定ステップの判定結果に基づいてコマーシャル候補区間を検出するコマーシャル候補区間検出ステップと、コマーシャル候補区間検出ステップにより検出された隣接する1以上のコマーシャル候補区間を、その合計時間が所定時間の整数倍となるようにグループ化することにより、グループ化コマーシャル候補区間を生成するグループ化ステップと、隣接する複数のグループ化コマーシャル候補区間のフレーム数を合計し、合計したフレーム数が所定の誤差許容範囲に収まる場合、隣接する複数のグループ化コマーシャル候補区間をコマーシャル区間と判定するコマーシャル判定ステップとを含む処理を情報処理装置のコンピュータに実行させるプログラムが記録されていることを特徴とする。
【0015】
本発明の第2の情報処理装置および方法、並びに記録媒体のプログラムにおいては、番組の無音区間が判定されて、番組のシーンチェンジが検出され、シーンチェンジの検出結果、および無音区間の判定結果に基づいてコマーシャル候補区間が検出される。そして、検出された隣接する1以上のコマーシャル候補区間が、その合計時間が所定時間の整数倍となるようにグループ化されてグループ化コマーシャル候補区間が生成され、隣接する複数のグループ化コマーシャル候補区間のフレーム数の合計が所定の誤差許容範囲に収まる場合、隣接する複数のグループ化コマーシャル候補区間がコマーシャル区間と判定される。
【0016】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態(但し一例)を付加して本発明の特徴を記述すると、次のようになる。但し勿論この記載は、各手段を記載したものに限定することを意味するものではない。
【0017】
本発明の第1の情報処理装置は、番組の無音区間を判定する無音区間判定手段(例えば、図2の無音区間検出部13)と、番組のシーンチェンジを検出するシーンチェンジ検出手段(例えば、図2のシーンチェンジ検出部15)と、シーンチェンジ検出手段の検出結果、および無音区間判定手段の判定結果に基づいてコマーシャル候補区間を検出するコマーシャル候補区間検出手段(例えば、図2のCM候補区間検出部16)と、コマーシャル候補区間検出手段により検出されたコマーシャル候補区間におけるシーンチェンジの回数をカウントし、シーンチェンジの回数が所定の閾値よりも多いコマーシャル候補区間を、コマーシャル区間と判定するコマーシャル判定手段(例えば、図2のCM候補区間検出部16)とを備えることを特徴とする。
【0018】
本発明の第2の情報処理装置は、番組の無音区間を判定する無音区間判定手段(例えば、図16の無音区間検出部13)と、番組のシーンチェンジを検出するシーンチェンジ検出手段(例えば、図16のシーンチェンジ検出部15)と、シーンチェンジ検出手段の検出結果、および無音区間判定手段の判定結果に基づいてコマーシャル候補区間を検出するコマーシャル候補区間検出手段(例えば、図16のCM候補区間検出部16)と、コマーシャル候補区間検出手段により検出された隣接する1以上のコマーシャル候補区間を、その合計時間が所定時間の整数倍となるようにグループ化することにより、グループ化コマーシャル候補区間を生成するグループ化手段(例えば、図16のCMブロック検出部21)と、隣接する複数のグループ化コマーシャル候補区間のフレーム数を合計し、合計したフレーム数が所定の誤差許容範囲に収まる場合、隣接する複数のグループ化コマーシャル候補区間をコマーシャル区間と判定するコマーシャル判定手段(例えば、図16のCMブロック検出部21)とを備えることを特徴とする。
【0019】
本発明を適用したVCRの第1の構成例について、図1を参照して説明する。記録系のチューナ2は、端子1から入力されるテレビジョン放送のRF信号を復調し、得られた映像信号、音声信号、AGC信号、および音声多重モードを示す信号(以下、音声多重モード信号と記述する)を、CM検出回路3に出力する。また、チューナ2は、映像信号および音声信号を遅延回路4に出力する。
【0020】
CM検出回路3は、チューナ2から入力された信号がCMであるか否かを判定し、その結果に対応し、スイッチ6へ制御信号として0または1を出力する。スイッチ6は、制御信号が1である場合、オフとされ、制御信号が0である場合、オンとされる。
【0021】
遅延回路4は、CM検出回路3の処理に要する時間(本実施の形態においては、1分間)だけ、チューナ2から入力された映像信号および音声信号を遅延して変調回路5に出力する。変調回路5は、遅延回路4から入力された映像信号および音声信号を、所定の方式(例えば、MPEG2方式)で圧縮符号化し、さらに、所定の変調方法(例えば、EFM変調)で変調し、得られた変調信号をスイッチ6を介して書き込み回路7に出力する。書き込み回路7は、入力された変調信号を磁気テープ8に記録する。
【0022】
再生系の読み取り回路9は、ユーザから入力されるコマンドに対応して、磁気テープ8に記録されている信号を読み取って復調し、図示せぬモニタに供給する。
【0023】
なお、映像信号および音声信号を記録する媒体は、磁気テープに限定されるものではなく、光ディスク、光磁気ディスク、ハードディスク、半導体メモリ等であってもかまわない。
【0024】
図2は、図1のCM検出回路3の第1の構成例を示している。このCM検出回路3において、チューナ2から入力される音声多重モード信号は無音閾値決定部11およびCM候補区間検出部16に供給され、映像信号は遅延部14およびシーンチェンジ検出部15の供給され、音声信号はA/D変換部12に供給され、AGC信号は無音閾値決定部11に供給される。
【0025】
無音閾値決定部11は、音声多重モード信号、A/D変換部12でデジタル化された音声信号、AGC信号、またはシーンチェンジ検出部15から入力される信号のいずれかを用いて無音区間検出処理に用いられる閾値を演算し、無音区間検出部13に供給する。
【0026】
無音区間検出部13は、A/D変換部12から入力されるデジタル化された音声信号のレベルと、無音閾値決定部11から供給された閾値を比較することにより、無音区間を検出し、その結果をシーンチェンジ検出部15に出力する。
【0027】
シーンチェンジ検出部15は、同時に入力される2枚のフレーム画像(現フレームと、遅延部14により1フレーム時間(1/30秒)だけ遅延された前フレーム)を比較して、無音区間におけるシーンチェンジの有無を検出し、その結果をCM候補区間検出部16に出力する。
【0028】
CM候補区間検出部16は、音声多重モード信号と、シーンチェンジ検出部15から供給されたシーンチェンジの情報をフレーム毎に2値化して、内蔵するメモリに記憶し、その情報に基づいてCM候補区間を検出し、CM候補区間においてはスイッチ6への制御信号として1を出力し、CM候補区間以外においては制御信号として0を出力する。なお、CM候補区間検出部16が内蔵するメモリには、過去1分間の情報を記憶させておく、その場合、内蔵されるメモリの容量は、
60(秒)×30(フレーム)×2(データ)×1(ビット)
となる。
【0029】
次に、CM検出回路3の動作について、図3のフローチャートを参照して説明する。このCM検出処理は、チューナ2からCM検出回路3に各信号が入力されたときに開始される。ステップS1において、CM検出回路3の無音閾値決定部11は、予め演算した(後述)、無音区間検出処理(ステップS2)に用いられる閾値を無音区間検出部13に出力する。
【0030】
ここで、無音閾値決定処理の詳細について、図4のフローチャートを参照して説明する。ステップS11において、A/D変換部12は、チューナ2から入力された所定の微少時間の音声信号(アナログ)を、所定のサンプリング周波数、所定の量子化レベルでデジタル化し、得られたデジタル音声信号(例えば、図5(A))を無音閾値決定部11に出力する。無音閾値決定部11は、ステップS12において、A/D変換部12から入力されたデジタル音声信号を、図5(B)に示すように絶対値化し、ステップS13において、絶対値化されたサンプルのレベルの平均値(図5(C))を演算する。
【0031】
ステップS14において、無音閾値決定部11は、ステップS13で得た平均値と、それまで記憶していた閾値とを比較して、小さい方の値を新たな閾値として記憶する。
【0032】
ステップS15において、無音閾値決定部11は、全てのチャンネルに対してステップS11乃至S14の処理を実行したか否かを判定し、全てのチャンネルに対して処理を実行していないと判定した場合、ステップS16に進む。ステップS16において、無音閾値決定部11は、チューナ2にチャンネル切換信号を出力する。このチャンネル切換信号に対応して、チャンネルが切り替えられる。
【0033】
その後、ステップS15において、全てのチャンネルに対して、ステップS11乃至S14の処理を実行したと判定された場合、無音閾値決定処理を終了する。なお、この無音閾値決定処理は、常に所定の間隔(例えば、10分毎)で繰り返して実行される。
【0034】
なお、無音閾値決定処理の方法は、上述した方法以外にも考えられる。例えば、映像信号は存在するが、音声信号のレベルは確実に0となる、各チャンネルの放送開始時刻、および放送終了時刻において、音声信号を受信し、そのレベルnに所定のオフセット値Δを加えた値n+Δを無音閾値としてもよい。ただし、各チャンネルの放送開始時刻および放送終了時刻は既知であるものとする。
【0035】
また、チューナ2からのAGC信号を用いて無音閾値を決定してもよい。すなわち、チューナ2からのAGC信号のレベルは、図6に示すように、AGC信号のレベルと音声信号のS/Nは反比例の関係にある。したがって、AGC信号のレベルから音声信号のS/Nを推定すれば、推定されたS/Nに対応する閾値を一意的に決定することができる。
【0036】
さらに、音声信号のバズ成分は、映像信号の輝度レベルに依存しているので、映像信号の輝度レベルの平均値を用いて無音閾値を決定してもよい。例えば、輝度レベルの平均値が高い場合、音声信号のバズ成分が増加し、結果的に一定期間の音声信号のレベルが高くなるので、閾値を通常よりも高めに設定し、輝度レベルの平均値が低い場合、音声信号のバズ成分が減少し、結果的に一定期間の音声信号のレベルが低くなるので、閾値を通常よりも低めに設定する。なお、映像信号の輝度の平均値YAは、次式のように、シーンチェンジ検出部15で演算する。
A=(ΣDij)/n×m
ただし、i=1乃至n,j=1乃至mであり、Dijは、図7に示すように、音声信号に対応する画像の座標(i,j)画素値である。
【0037】
さらに、音声多重モード信号に基づいて無音閾値を決定してもよい。すなわち、音声多重モードが2カ国語放送からステレオに切り替わるときの音声信号のレベルを無音閾値としてもよい。
【0038】
図3に戻る。ステップS2において、無音区間検出部13は、ステップS1で無音閾値決定部11から入力された閾値に基づいて無音区間を検出する。この無音区間検出処理の詳細について、図8のフローチャートを参照して説明する。
【0039】
ステップS21において、A/D変換部12は、チューナ2から入力された、所定の微少時間の音声信号(アナログ)を所定のサンプリング周波数、および所定の量子化レベルでデジタル化し、得られたデジタル音声信号(例えば、図5(A))を無音閾値決定部11に出力する。無音区間検出部13は、ステップS22において、A/D変換部12から入力されたデジタル音声信号を、図5(B)に示すように絶対値化し、ステップS23において、絶対値化されたサンプルのレベルの平均値(図5(C))を演算する。
【0040】
ステップS24において、無音閾値決定部11は、ステップS23で得た平均値が、無音閾値決定部11から入力された閾値よりも小さいか否かを判定し、平均値が閾値よりも小さいと判定した場合、ステップS25に進む。ステップS25において、無音区間検出部13は、この区間を無音区間と判定し、その情報をシーンチェンジ検出部15に出力する。
【0041】
反対に、ステップS24において、平均値が閾値よりも小さくないと判定した場合、ステップS26に進む。ステップS26において、無音区間検出部13は、この区間を無音区間ではない(有音区間である)と判定し、その情報をシーンチェンジ検出部15に出力する。
【0042】
図3のステップS3にリターンする。ステップS3において、シーンチェンジ検出部15は、入力された前後する2枚のフレームにおけるシーンチェンジを検出し、その結果をCM候補区間検出部16に出力する。このシーンチェンジ検出処理の詳細について、図9のフローチャートを参照して説明する。
【0043】
ステップS31において、シーンチェンジ検出部15は、無音区間検出部13から入力された情報が無音区間を示すものであるか否かを判定し、入力された情報が無音区間を示す情報であると判定した場合、ステップS32に進む。
【0044】
ステップS32において、シーンチェンジ検出部15は、入力された前後する2枚のフレーム画像の相関値Eを演算する。具体的には、図10に示すように、遅延部14を介して入力された画像(遅延画像)と、遅延部14を介さずに入力された画像(スルー画像)の対応する画素の画素値の差の絶対値の総和が相関値として次式により演算される。
E=Σ|Dij−Sij|
ただし、Dij,Sijは、それぞれ、遅延画像またはスルー画像の座標(i,j)の画素値を表している。なお、この相関値は、フレーム間の相関の程度が小さいくなると、その値は大きくなり、フレーム間の相関の程度が大きくなると、その値は小さくなる。
【0045】
ところで、相関値Eを演算する他の方法として、遅延画像とスルー画像の画素値のヒストグラムを用いる方法や、遅延画像とスルー画像を所定のブロックに分割し、ブロック毎に相関値を画素値の差分を求める方法を用いてもよい。
【0046】
ステップS33において、シーンチェンジ検出部15は、ステップS32で得られた相関値が所定の閾値よりも大きいか否かを判定し、相関値が所定の閾値よりも大きい(フレーム間の相関の程度が小さい)と判定した場合、ステップS34に進む。
【0047】
ステップS34において、シーンチェンジ検出部15は、入力された前後する2枚のフレーム間にはシーンチェンジが存在すると判定して、その情報をCM候補区間検出部16に出力する。
【0048】
反対に、ステップS33において、相関値が所定の閾値よりも大きくない(フレーム間の相関の程度が大きい)と判定された場合、ステップS35に進む。
【0049】
ステップS35において、シーンチェンジ検出部15は、入力された前後する2枚のフレーム間にはシーンチェンジがないと判定して、その情報をCM候補区間検出部16に出力する。
【0050】
なお、ステップS31において、無音区間を示す情報ではないと判定された場合、その情報がCM候補区間検出部16に出力されて、図3のステップS4にリターンする。
【0051】
ステップS4において、CM候補区間検出部16は、内蔵するメモリに2値化して記憶している過去1分間のフレーム単位の音声多重モード信号およびシ−ンチェンジ検出部15からの情報に基づいてCM候補区間を判定する。
【0052】
すなわち、CM候補区間検出部16に内蔵されるメモリには、図11に示すように、音声多重モード信号(Audio_Multi[])については、ステレオモードが1、モノラルモードおよび2カ国語モードが0として記録され、シーンチェンジ検出部15から入力された情報(Scene_Change[]))については、シーンチェンジであるフレームが1、シーンチェンジではないフレームが0として記録されている。
【0053】
CM候補区間検出部16は、内蔵するメモリを参照し、図12(A)に示すように、シーンチェンジを示す信号が1であるフレーム(シーンチェンジ点)毎に区間(いまの場合、シーンチェンジ区間0乃至10)を区切り、各シーンチェンジ区間を構成するフレーム数を30で除算することにより、その区間の時間を演算する。また、CM候補区間検出部16は、図12(B)に示すように、音声多重モード信号が1である連続するフレームをステレオ区間とする。さらに、CM候補区間検出部16は、図12(C)に示すように、単独のシーンチェンジ区間の時間、または隣接する複数のシーンチェンジ区間の合計時間が15秒の整数倍であり、且つ、ステレオ区間である区間をCM候補区間と判定し、CM候補区間においてはスイッチ6への制御信号として1を出力し、CM候補区間以外においてはスイッチ6への制御信号として0を出力する。
【0054】
なお、スイッチ6は、この制御信号が1であるときオフとされ、0であるときオンとされるが、スイッチ6には、遅延回路4で1分間だけ遅延されたことにより、CM候補区間検出部16からの制御信号に同期している、変調された映像信号および音声信号が変調回路5から入力されているので、スイッチ6の後段には、本編の映像信号および音声信号だけが供給され、CM候補区間の映像信号および音声信号は供給されない。したがって、磁気テープ8には、テレビジョン放送のうちのCM候補区間を除いた本編だけが記録される。
【0055】
次に、CM候補区間検出部16の他の動作例について説明する。この動作例は、CMが有する絶対的な特徴ではないが、CMの一般的な傾向(CMにおいてはシーンチェンジが複数回行われる)をCM候補区間の検出条件に追加したものである。
【0056】
この動作例において、CM候補区間検出部16が内蔵するメモリには、図13に示すように、図11に示した情報に、無音区間検出部13の出力である無音区間を示す情報(No_Sound[])(有音部分は0、無音区間は1)が追加されて記録される。なお、この場合、内蔵されるメモリの容量は、
60(秒)×30(フレーム)×3(データ)×1(ビット)
だけ必要となる。
【0057】
CM候補区間検出部16は、内蔵するメモリを参照し、図14(A)に示すように、無音区間を抽出し、図14(B)に示すように、シーンチェンジ点を抽出して、図14(C)に示すように、無音区間におけるシーンチェンジ点毎にシーンチェンジ区間(図14(C)の場合、シーンチェンジ区間0乃至10)を区切り、各シーンチェンジ区間を構成するフレーム数を30で除算することにより、その区間の時間を演算する。
【0058】
また、CM候補区間検出部16は、図14(D)に示すように、単独のシーンチェンジ区間の時間、または隣接する複数のシーンチェンジ区間の合計時間が15秒の整数倍となるようにグループ化し、図14(E)に示すように、音声多重モード信号が1である区間を抽出し、図14(F)に示すように、15秒の整数倍にグループ化され、且つ、ステレオ区間である区間(いまの場合、区間a乃至c、および区間d,e)をCM候補区間と判定する。さらに、CM候補区間検出部16は、図14(G)に示すように、隣接するCM候補区間の両端のCM候補区間(いまの場合、CM候補区間a,c,d,e)におけるシーンチェンジの回数を所定の閾値(例えば、1)と比較して、シーンチェンジの回数が閾値よりも大きいCM候補区間(いまの場合、CM候補区間a,c)をCM区間と判定する。なお、CM候補区間a,cに挟まれているCM候補区間bもCM区間と判定される。
【0059】
CM候補区間検出部16は、CM区間においてはスイッチ6への制御信号として1を出力し、CM区間ではない区間においてはスイッチ6への制御信号として0を出力する。
【0060】
次に、CM候補区間検出部16のさらに他の動作例について説明する。この動作例は、CMが有する絶対的な特徴が変更された場合(例えば、CMの時間が15秒の整数倍から、14秒の整数倍に変更された等)、特徴の変更に対応してCM候補区間の判定に用いる基準値を変更するものである。
【0061】
この動作例において、CM候補区間検出部16は、内蔵するメモリ(図11)を参照し、図15(A)に示すように、シーンチェンジを示す信号が1であるフレーム毎にシーンチェンジ区間(いまの場合、シーンチェンジ区間0乃至10)を区切り、各シーンチェンジ区間を構成するフレーム数を30で除算することにより、その区間の時間を演算する。また、CM候補区間検出部16は、図15(B)に示すように、音声多重モード信号が1である連続するフレームをステレオ区間とする。
【0062】
ここで、CM候補区間検出部16は、ステレオ区間の時間と、そのステレオ区間に隣接するステレオ区間ではない区間の時間を比較し、ステレオ区間の時間が十分に短い場合、そのステレオ区間(例えば、シーンチェンジ区間1乃至4、シーンチェンジ区間8,9)をCM候補区間と判定する。
【0063】
次に、CM候補区間検出部16は、CM候補区間(シーンチェンジ区間1乃至4)の合計時間が56秒であることから、CMの時間は7秒単位、14秒単位、または28秒単位のいずれかであると判定し、さらに、CM候補区間検出部16は、シーンチェンジが14秒または28秒の間隔で行われていることから、最終的に、CMの時間が14秒の整数倍であると判定する。
【0064】
以上のような結果(CMの時間が14秒の整数倍であると判定される)が所定の回数以上連続して得られた場合、CM候補区間検出部16は、CMの時間は14秒の整数倍に変更されたと判定して、以後、14秒の整数倍をCM区間検出の基準値として使用する。
【0065】
なお、CMが有する絶対的な特徴が変更された場合(上述したようなCM時間の変更や欧米におけるブラックフレーム、ブルーフレーム挿入の廃止等)、変更された絶対的な特徴に対応して変更したCM区間判定用の基準値を、装置外部からCM候補区間検出部16に供給するようにしてもよい。この場合、CM候補区間検出部16においては、CM区間検出用の基準値をフラッシュメモリのような書き換え可能な記録媒体に格納しておけばよい。
【0066】
次に、CM検出回路3の第2の構成例について、図16を参照して説明する。この構成例は、図2に示した構成例にCMブロック検出部21を追加したものである。CMブロック検出部21は、CM候補区間検出部16で検出された単独のCM候補区間のフレーム数を用いて、本編と本編の間に挟まれた複数のCMからなるCMブロックを検出し、その結果に基づいてスイッチ6へ制御信号を出力する。
【0067】
この構成例によれば、以下に記述するようなCMの特徴を利用してCMブロックを検出することができる。すなわち、複数のCMが連続して放送される場合、個々のCMとしては標準的なフレーム数に対して5フレーム程度の誤差を有しているが、CMブロック(連続する複数のCM)としては、標準的なフレーム数に対する誤差が3フレーム程度である。例えば、15秒間のCMが4本連続して放送される場合、個々のCMのフレーム数は、450±5(=15×30±5)であるが、CMブロックのフレーム数は、1800±20(=15×4×30±5×4)とはならずに、1800±3となる。
【0068】
次に、その動作について図17,図18を参照して説明する。CMブロック検出部21は、CM候補区間検出部16が検出した各CM候補区間(図17(A)のシーンチェンジ区間1+2,3,4,8,9)について、そのフレーム数をCM候補区間検出部16から読み出し、隣接するCM候補区間のフレーム数を合計して、その値が上述した誤差の許容範囲(±3)に収まっているか否かを判定する。CMブロック検出部21は、合計したフレーム数が誤差の許容範囲に収まっていると判定した場合、その隣接するCM候補区間をCMブロックであると判定し、反対に、合計したフレーム数が誤差の許容範囲に収まっていないと判定した場合、その隣接するCM候補区間をCMブロックではないと判定する。
【0069】
いまの場合、図17(D)に示すように、隣接するCM候補区間(シーンチェンジ区間1乃至4)のフレーム数の合計は、1803(=453+446+904)であり、標準的なフレーム数1800(=60秒×30フレーム)に対する誤差(3)は、許容範囲内であるので、隣接するCM候補区間(シーンチェンジ区間1乃至4)は、CMブロックであると判定される。
【0070】
一方、隣接するCM候補区間(シーンチェンジ区間8,9)のフレーム数の合計は、910(=455+455)であり、標準的なフレーム数900(=30秒×30フレーム)に対する誤差(10)は、許容範囲外であるので、隣接するCM候補区間(シーンチェンジ区間8,9)は、CMブロックではないと判定される。
【0071】
図18(C)に示すようなCM候補区間がCM候補区間検出部16から入力された場合、CMブロック検出部21は、上述した図17の場合と同様に、シーンチェンジ区間1乃至4(CMブロックAとする)、およびシーンチェンジ区間7乃至10(CMブロックBとする)を、CMブロックであると判定する。
【0072】
さらに、CMブロック検出部21は、CMブロックA,Bに挟まれたCM候補区間ではない区間(シーンチェンジ区間5,6)のフレーム数をCM候補区間検出部16から読み出して、そのフレーム数(いまの場合、150)が所定の閾値(例えば、300フレーム(10秒))以下である場合、その区間は本編ではなく、ユーザにとってはCMと同様なものであると判断して、前後するCMブロックA,Bに包含する。すなわち、CMブロック検出部21は、図18(D)に示すように、シーンチェンジ区間1乃至10を、1つのCMブロックであると判定する。
【0073】
なお、CMブロック検出部21は、CMブロックにおいてはスイッチ6への制御信号として1を出力し、CMブロック以外においてはスイッチ6への制御信号として0を出力する。
【0074】
次に、CM検出回路3の第3の構成例について、図19を参照して説明する。この構成例は、図2に示した第1の構成例にCM特徴量検出部31を追加したものである。CM特徴量検出部31には、前後する2枚のフレーム画像(映像信号)、デジタル化された音声信号、CM候補区間検出部16に内蔵されるメモリに記憶されている情報(図11)、およびCM候補区間検出部16が検出したCM候補区間の情報が供給される。CM特徴量検出部31は、供給される情報が、CMの様々な特徴を有しているか否かを判定し、その結果に基づいて、CM区間を検出する。さらに、CM特徴量検出部31は、検出結果に対応してスイッチ6に制御信号を出力する。
【0075】
CM特徴量検出部31の動作について、図20のフローチャートを参照して説明する。この特徴量検出処理は、CM候補区間検出部16が検出した各CM候補区間に対して実行される。
【0076】
ステップS41において、CM特徴量検出部31は、評価値を0に初期化する。ステップS42において、CM特徴量検出部31は、CM候補区間検出部16から入力されたCM候補区間のシーンチェンジ回数をカウントして、シーンチェンジ回数が所定の閾値(15秒当たり5回)以上であるか否かを判定し、計測したシーンチェンジ回数が所定の閾値以上であると判定した場合、評価値に1を加算する。反対に、計測したシーンチェンジ回数が所定の閾値以上ではないと判定された場合、評価値への加算は行われない。この処理は、CMにおいては頻繁にシーンチェンジが行われるという、一般的な特徴に基づくものである。
【0077】
ステップS42において、CM特徴量検出部31は、CM候補区間の音声信号の周期性を検出する。この音声信号の周期性検出処理は、CMにおいてはBGMが用いられるという、一般的な特徴に基づくものである。
【0078】
この音声信号の周期性検出処理について、図21のフローチャートを参照して説明する。ステップS61において、CM特徴量検出部31は、図22に示すように、A/D変換部12から入力された音声信号のレベルが所定の閾値以上である点とピークとして検出する(図22(B))。ただし、図22(A)は音声信号をアナログで表示している。
【0079】
ステップS62において、CM特徴量検出部31は、ステップS61で検出したピークが所定の期間(数秒)よりも長く周期性を有しているか否かを判定する。周期性を判定するには、例えば、FFT(Fast Fourier Transform)を用いてもよいし、単にピークの間隔を計測してもよい。検出したピークが所定の期間よりも長く周期性を有していると判定された場合、ステップS63に進む。
【0080】
ステップS63において、CM特徴量検出部31は、評価値に1を加算する。
【0081】
ステップS62において、検出したピークが所定の期間よりも長く周期性を有していないと判定された場合、評価値への加算は行われないので、ステップS63はスキップされる。
【0082】
図20のステップS44にリターンする。ステップS44において、CM特徴量検出部31は、CM候補区間の音声信号および映像信号の連続性を検出する。この連続性検出処理について、図23のフローチャートを参照して説明する。
【0083】
ステップS71において、CM特徴量検出部31は、音声信号のピークの周期性が、CM候補区間の95%以上の時間よりも長く継続しているか否かを判定する。ピークの周期性の継続時間の計測については、上述したステップS43で得られた情報を利用する。音声信号のピークの周期性が、CM候補区間の95%以上の時間よりも長く継続していると判定された場合、ステップS72に進む。
【0084】
ステップS72において、CM特徴量検出部31は、評価値に1を加算する。
【0085】
ステップS73において、CM特徴量検出部31は、前後する2枚の画像の対応する画素の画素値の差分を演算し、その差分が所定に閾値以下である画素、すなわち、2枚の画像間で動きがない画素を検出する。ステップS74において、CM特徴量検出部31は、ステップS73で検出した画素の画素値のヒストグラムを生成し、その最大値を示す画素値を背景の代表色として検出する。なお、ステップS73,S74の処理は、CM候補区間において、所定の間隔で繰り返し実行される。
【0086】
ステップS75において、CM特徴量検出部31は、ステップS74で検出した複数の背景の代表色を参照し、同じ画素値が連続して背景の代表色として検出されているか否かを判定する。同じ画素値が連続して背景の代表色として検出されていると判定された場合、ステップS76に進む。
【0087】
ステップS76において、CM特徴量検出部31は、評価値に1を加算する。
【0088】
なお、ステップS71において、音声信号のピークの周期性が、CM候補区間の95%以上の時間よりも長く継続していないと判定された場合、評価値に加算を行わないので、ステップS72はスキップされる。
【0089】
また、ステップS75において、同じ画素値が連続して背景の代表色として検出されていないと判定された場合、評価値への加算は行われないので、ステップS76はスキップされる。
【0090】
図20のステップS45にリターンする。ステップS45において、CM特徴量検出部31は、画像の再現性を検出する。この再現性検出処理は、例えば、15秒間のケチャップのCMが、緑色の森のシーン(3秒)、青色の空のシーン(2秒)、緑色の森のシーン(2秒)、赤色のケチャップのシーン(3秒)、緑色の森のシーン(2秒)、および、赤色のケチャップのシーン(3秒)で構成されるように、CMにおいては、同じ画像が再現されるという、一般的な特徴に基づくものである。
【0091】
この画像の再現性検出処理について、図24のフローチャートを参照して説明する。ステップS81において、CM特徴量検出部31は、CM候補区間をシーンチェンジ点で区分する。ステップS82において、CM特徴量検出部31は、ステップS81で区分した各シーンの画素値のヒストグラムを16階調で生成し、最大値を示す画素値を、そのシーンの代表色として検出する。
【0092】
ステップS83において、CM特徴量検出部31は、CM候補区間において、シーンの代表色が再現されているか(異なるシーンで同じ代表色が検出されているか)否かを判定する。シーンの代表色が再現されていると判定された場合、ステップS84に進む。
【0093】
ステップS84において、CM特徴量検出部31は、評価値に1を加算する。
【0094】
なお、ステップS83において、シーンの代表色が再現されていないと判定された場合、評価値への加算は行われないので、ステップS84はスキップされる。
【0095】
図20のステップS46にリターンする。ステップS46において、CM特徴量検出部31は、図26(A)に示すようなテロップ(字幕)を検出する。このテロップ検出処理は、CMの終了時にはテロップが表示するという、一般的な特徴に基づくものである。
【0096】
このテロップ検出処理について、図25のフローチャートを参照して説明する。ステップS91において、CM特徴量検出部31は、CM候補区間の終了側の所定の時間(例えば、5秒間)の各フレーム画像において、図26(B)に示すように、等しい画素値をもち、且つ、所定の数よりも多く隣接している画素を検出する。
【0097】
ステップS92において、CM特徴量検出部31は、図26(C)に示すように、ステップS91で検出した画素と等しい画素値をもつ画素を検索して領域化する。
【0098】
ステップS93において、CM特徴量検出部31は、ステップS92で得られた領域が時間方向に連続しているか(前後するフレームにも同じ領域が存在するか)否かを判定する。領域が時間方向に連続していると判定された場合、ステップS94に進む。
【0099】
ステップS94において、CM特徴量検出部31は、画像上の全ての領域の重心を検出し、その重心と領域上の各点との距離の平均値を演算して、さらに、その平均値と所定の閾値とを比較することにより、領域が密集しているか否かを判定する。領域が密集していると判定された場合、ステップS95に進む。
【0100】
ステップS95において、CM特徴量検出部31は、評価値に1を加算する。
【0101】
なお、ステップS93において、領域が時間方向に連続していないと判定された場合、評価値への加算は行われないので、ステップS95はスキップされる。
【0102】
図20のステップS47に戻る。ステップS47において、CM特徴量検出部31は、上述したテロップ検出処理と同様に方法を用いて、CM候補区間の開始から終了までの全区間において、画像上に文字(テロップを含む)が所定の時間よりも長く存在するか否かを判定する。画像上に文字が所定の時間よりも長く存在すると判定された場合、評価値に1が加算される。反対に、画像上に文字が所定の時間よりも長く存在しないと判定された場合、評価値への加算は行われない。なお、この処理は、CMにおいては文字が表示されるという、一般的な特徴に基づくものである。
【0103】
ステップS48において、CM特徴量検出部31は、CM候補区間の開始点および終了点以外の無音区間の割合を検出する。この無音率検出処理は、CMにおいては無音区間が少ないという、一般的な特徴に基づくものである。無音率検出処理について、図27のフローチャートを参照して説明する。
【0104】
ステップS101において、CM特徴量検出部31は、CM候補区間検出部16に内蔵されているメモリに記憶されている情報(図11)を読み出して、図28に示すように、CM候補区間の開始点および終了点以外の無音区間のフレーム数を検出する。さらに、CM特徴量検出部31は、江検出した無音区間のフレーム数を、CM候補区間を構成する全フレーム数で除算することにより、無音率を演算する。
【0105】
ステップS102において、CM特徴量検出部31は、ステップS101で演算した無音率が所定の閾値よりも小さいか否かを判定する。無音率が所定の閾値よりも小さいと判定された場合、ステップS103に進む。
【0106】
ステップS103において、CM特徴量検出部31は、評価値に1を加算する。
【0107】
なお、ステップS102において、無音率が所定の閾値よりも小さくないと判定された場合、評価値への加算は行われないので、ステップS103はスキップされる。
【0108】
図20のステップS49にリターンする。ステップS49において、CM特徴量検出部31は、評価値が所定の閾値よりも大きいか否かを判定し、評価値が所定の閾値よりも大きいと判定した場合、ステップS50に進む。ステップS50において、CM特徴量検出部31は、CM候補区間をCM区間であると判定する。
【0109】
なお、ステップS49において、評価値が所定の閾値よりも大きくないと判定された場合、ステップS51に進む。ステップS51において、CM特徴量検出部31は、CM候補区間をCM区間ではないと判定する。
【0110】
この判定結果に対応して、CM特徴量検出部31は、CM区間においてはスイッチ6への制御信号として1を出力し、CM区間以外においてはスイッチ6への制御信号として0を出力する。
【0111】
以上のように、本実施の形態であるVCR(図1)においては、テレビジョン放送のうちの本編だけが磁気テープ8に録画され、CMは録画されない。したがって、この磁気テープ8を再生した場合、本編だけが連続して表示される。
【0112】
ところで、CMを再生時には早送りするものの、録画はしておきたいというユーザのニーズが存在するので、そのようなニーズに対応する、本発明を適用したVCRの第2の構成例について、図29を参照して説明する。この構成例は、図1に示した構成例からスイッチ6を削除し、CM検出回路3のCM検出結果を書き込み回路7に供給するようにしたものである。
【0113】
この構成例の記録系において、書き込み回路7は、変調回路5から入力される全て(テレビジョン放送の本編とCM)の映像信号と音声信号を磁気テープ8に記録とともに、CM検出回路3からの情報に基づいて、磁気テープ8の所定の位置に、CMの関する情報(CMの時間的な位置等)を記録する。
【0114】
再生系において、読み取り回路9は、ユーザから本編だけを再生するコマンド(CMを除去するコマンド)が入力された場合、磁気テープ9の所定の位置に記録されているCMに関する情報に基づいてCMを除去(早送り等)し、本編だけを復調して図示せぬモニタに供給する。
【0115】
なお、本発明の適用は、VCRに限定されるものではなく、テレビジョン受像機やチューナ等に適用することが可能である。
【0116】
また、上記各処理を行うコンピュータプログラムは、磁気ディスク、CD-ROM等の情報記録媒体よりなる提供媒体のほか、インターネット、デジタル衛星などのネットワーク提供媒体を介してユーザに提供することができる。
【0117】
【発明の効果】
以上のように、本発明によれば、レビジョン放送に含まれるCMを確実に検出することが可能となる。
【図面の簡単な説明】
【図1】本発明を適用したVCRの第1の構成例を示すブロック図である。
【図2】図1のCM検出回路3の第1の構成例を示すブロック図である。
【図3】CM検出回路3の動作を説明するフローチャートである。
【図4】図2の無音閾値決定部11の処理を説明するフローチャートである。
【図5】図2の無音閾値決定部11の動作を説明するための図である。
【図6】図2の無音閾値決定部11の動作を説明するための図である。
【図7】図2の無音閾値決定部11の動作を説明するための図である。
【図8】図3のステップS2の無音区間検出処理を説明するフローチャートである。
【図9】図3のステップS3のシーンチェンジ検出処理を説明するフローチャートである。
【図10】シーンチェンジ検出処理を説明するための図である。
【図11】CM候補区間検出部16に内蔵されるメモリに記録されている情報を説明するための図である。
【図12】CM候補区間検出部16の処理を説明するための図である。
【図13】CM候補区間検出部16に内蔵されるメモリに記録されている情報を説明するための図である。
【図14】CM候補区間検出部16の処理を説明するための図である。
【図15】CM候補区間検出部16の処理を説明するための図である。
【図16】図1のCM検出回路3の第2の構成例を示すブロック図である。
【図17】図16のCMブロック検出部21の処理を説明するための図である。
【図18】図16のCMブロック検出部21の処理を説明するための図である。
【図19】図1のCM検出回路3の第3の構成例を示すブロック図である。
【図20】図19のCM特徴量検出部31の動作を説明するフローチャートである。
【図21】図20のステップS43の音声信号の周期性検出処理を説明するフローチャートである。
【図22】音声信号の周期性検出処理を説明するための図である。
【図23】図20のステップS44の連続性検出処理を説明するフローチャートである。
【図24】図20のステップS45の再現性検出処理を説明するフローチャートである。
【図25】図20のステップS46のテロップ検出処理を説明するフローチャートである。
【図26】テロップ転出処理を説明するための図である。
【図27】図20のステップS48の無音率検出処理を説明するフローチャートである。
【図28】無音率検出処理を説明するための図である。
【図29】本発明を適用したVCRの第2の構成例を示すブロック図である。
【符号の説明】
2 チューナ, 3 CM検出回路, 4 遅延回路, 5 変調回路, 6スイッチ, 7 書き込み回路, 8 磁気テープ, 9 読み取り回路, 11 無音閾値決定部, 12 A/D変換部, 13 無音区間検出部, 14遅延部, 15 シーンチェンジ検出部, 16 CM候補区間検出部, 21 CMブロック検出部, 31 CM特徴量検出部

Claims (9)

  1. 番組に含まれるコマーシャル区間を検出する情報処理装置において、
    番組の無音区間を判定する無音区間判定手段と、
    前記番組のシーンチェンジを検出するシーンチェンジ検出手段と、
    前記シーンチェンジ検出手段の検出結果、および前記無音区間判定手段の判定結果に基づいてコマーシャル候補区間を検出するコマーシャル候補区間検出手段と、
    前記コマーシャル候補区間検出手段により検出された前記コマーシャル候補区間におけるシーンチェンジの回数をカウントし、シーンチェンジの回数が所定の閾値よりも多いコマーシャル候補区間を、コマーシャル区間と判定するコマーシャル判定手段と
    を備えることを特徴とする情報処理装置。
  2. 前記コマーシャル候補区間検出手段により検出された隣接する1以上のコマーシャル候補区間を、その合計時間が所定時間の整数倍となるようにグループ化することにより、グループ化コマーシャル候補区間を生成するグループ化手段をさらに備え、
    前記コマーシャル判定手段は、前記グループ化コマーシャル候補区間におけるシーンチェンジの回数をカウントし、シーンチェンジの回数が所定の閾値より多いグループ化コマーシャル候補区間をコマーシャル区間と判定する
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記コマーシャル判定手段は、コマーシャル区間と判定された2つのグループ化コマーシャル候補区間に挟まれているグループ化コマーシャル候補区間をコマーシャル区間と判定する
    ことを特徴とする請求項2に記載の情報処理装置。
  4. 番組に含まれるコマーシャル区間を検出する情報処理装置の情報処理方法において、
    番組の無音区間を判定する無音区間判定ステップと、
    前記番組のシーンチェンジを検出するシーンチェンジ検出ステップと、
    前記シーンチェンジ検出ステップの検出結果、および前記無音区間判定ステップの判定結果に基づいてコマーシャル候補区間を検出するコマーシャル候補区間検出ステップと、
    前記コマーシャル候補区間検出ステップにより検出された前記コマーシャル候補区間におけるシーンチェンジの回数をカウントし、シーンチェンジの回数が所定の閾値よりも多いコマーシャル候補区間を、コマーシャル区間と判定するコマーシャル判定ステップと
    を含むことを特徴とする情報処理方法。
  5. 番組に含まれるコマーシャル区間を検出する情報処理装置の制御用のプログラムであって、
    番組の無音区間を判定する無音区間判定ステップと、
    前記番組のシーンチェンジを検出するシーンチェンジ検出ステップと、
    前記シーンチェンジ検出ステップの検出結果、および前記無音区間判定ステップの判定結果に基づいてコマーシャル候補区間を検出するコマーシャル候補区間検出ステップと、
    前記コマーシャル候補区間検出ステップにより検出された前記コマーシャル候補区間におけるシーンチェンジの回数をカウントし、シーンチェンジの回数が所定の閾値よりも多いコマーシャル候補区間を、コマーシャル区間と判定するコマーシャル判定ステップと
    を含む処理を情報処理装置のコンピュータに実行させるプログラムが記録されていることを特徴とする記録媒体。
  6. 番組に含まれるコマーシャル区間を検出する情報処理装置において、
    前記番組の無音区間を判定する無音区間判定手段と、
    前記番組のシーンチェンジを検出するシーンチェンジ検出手段と、
    前記シーンチェンジ検出手段の検出結果、および前記無音区間判定手段の判定結果に基づいてコマーシャル候補区間を検出するコマーシャル候補区間検出手段と、
    前記コマーシャル候補区間検出手段により検出された隣接する1以上のコマーシャル候補区間を、その合計時間が所定時間の整数倍となるようにグループ化することにより、グループ化コマーシャル候補区間を生成するグループ化手段と、
    隣接する複数のグループ化コマーシャル候補区間のフレーム数を合計し、合計したフレーム数が所定の誤差許容範囲に収まる場合、前記隣接する複数のグループ化コマーシャル候補区間をコマーシャル区間と判定するコマーシャル判定手段と
    を備えることを特徴とする情報処理装置。
  7. 前記コマーシャル判定手段は、コマーシャル区間と判定された2つのグループ化コマーシャル候補区間に挟まれた非コマーシャル候補区間のフレーム数が所定の閾値以下である場合、前記非コマーシャル候補区間をコマーシャル区間と判定する
    ことを特徴とする請求項6に記載の情報処理装置。
  8. 番組に含まれるコマーシャル区間を検出する情報処理装置の情報処理方法において、
    前記番組の無音区間を判定する無音区間判定ステップと、
    前記番組のシーンチェンジを検出するシーンチェンジ検出ステップと、
    前記シーンチェンジ検出ステップの検出結果、および前記無音区間判定ステップの判定結果に基づいてコマーシャル候補区間を検出するコマーシャル候補区間検出ステップと、
    前記コマーシャル候補区間検出ステップにより検出された隣接する1以上のコマーシャル候補区間を、その合計時間が所定時間の整数倍となるようにグループ化することにより、グループ化コマーシャル候補区間を生成するグループ化ステップと、
    隣接する複数のグループ化コマーシャル候補区間のフレーム数を合計し、合計したフレーム数が所定の誤差許容範囲に収まる場合、前記隣接する複数のグループ化コマーシャル候補区間をコマーシャル区間と判定するコマーシャル判定ステップと
    を含むことを特徴とする情報処理方法。
  9. 番組に含まれるコマーシャル区間を検出する情報処理装置の制御用のプログラムであって、
    前記番組の無音区間を判定する無音区間判定ステップと、
    前記番組のシーンチェンジを検出するシーンチェンジ検出ステップと、
    前記シーンチェンジ検出ステップの検出結果、および前記無音区間判定ステップの判定結果に基づいてコマーシャル候補区間を検出するコマーシャル候補区間検出ステップと、
    前記コマーシャル候補区間検出ステップにより検出された隣接する1以上のコマーシャル候補区間を、その合計時間が所定時間の整数倍となるようにグループ化することにより、グループ化コマーシャル候補区間を生成するグループ化ステップと、
    隣接する複数のグループ化コマーシャル候補区間のフレーム数を合計し、合計したフレーム数が所定の誤差許容範囲に収まる場合、前記隣接する複数のグループ化コマーシャル候補区間をコマーシャル区間と判定するコマーシャル判定ステップと
    を含む処理を情報処理装置のコンピュータに実行させるプログラムが記録されていることを特徴とする記録媒体。
JP33927398A 1998-11-30 1998-11-30 情報処理装置および方法、並びに記録媒体 Expired - Lifetime JP4026100B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP33927398A JP4026100B2 (ja) 1998-11-30 1998-11-30 情報処理装置および方法、並びに記録媒体
US09/448,837 US6449021B1 (en) 1998-11-30 1999-11-23 Information processing apparatus, information processing method, and distribution media

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP33927398A JP4026100B2 (ja) 1998-11-30 1998-11-30 情報処理装置および方法、並びに記録媒体

Publications (2)

Publication Number Publication Date
JP2000165796A JP2000165796A (ja) 2000-06-16
JP4026100B2 true JP4026100B2 (ja) 2007-12-26

Family

ID=18325900

Family Applications (1)

Application Number Title Priority Date Filing Date
JP33927398A Expired - Lifetime JP4026100B2 (ja) 1998-11-30 1998-11-30 情報処理装置および方法、並びに記録媒体

Country Status (2)

Country Link
US (1) US6449021B1 (ja)
JP (1) JP4026100B2 (ja)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4178629B2 (ja) * 1998-11-30 2008-11-12 ソニー株式会社 情報処理装置および方法、並びに記録媒体
JP2000165806A (ja) * 1998-11-30 2000-06-16 Sony Corp 情報処理装置および方法、並びに提供媒体
JP2001005675A (ja) * 1999-06-21 2001-01-12 Matsushita Electric Ind Co Ltd プログラム変換装置及びプロセッサ
KR100842541B1 (ko) * 2000-06-26 2008-07-01 마츠시타 덴끼 산교 가부시키가이샤 디지털 비디오 레코딩장치 및 방법
JP2002044572A (ja) * 2000-07-21 2002-02-08 Sony Corp 情報信号処理装置及び情報信号処理方法および情報信号記録装置
US7266287B2 (en) * 2001-12-14 2007-09-04 Hewlett-Packard Development Company, L.P. Using background audio change detection for segmenting video
US7386217B2 (en) * 2001-12-14 2008-06-10 Hewlett-Packard Development Company, L.P. Indexing video by detecting speech and music in audio
US20030123841A1 (en) * 2001-12-27 2003-07-03 Sylvie Jeannin Commercial detection in audio-visual content based on scene change distances on separator boundaries
US7260308B2 (en) * 2002-05-09 2007-08-21 Thomson Licensing Content identification in a digital video recorder
AU2003230353A1 (en) * 2002-05-09 2003-11-11 Thomson Licensing S.A. Content identification in a digital video recorder
US7206494B2 (en) * 2002-05-09 2007-04-17 Thomson Licensing Detection rules for a digital video recorder
JP4296503B2 (ja) * 2004-10-04 2009-07-15 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4293105B2 (ja) * 2004-10-06 2009-07-08 ソニー株式会社 情報処理装置および方法、並びにプログラム
US7400364B2 (en) * 2005-04-26 2008-07-15 International Business Machines Corporation Sub-program avoidance redirection for broadcast receivers
JP4381345B2 (ja) 2005-05-17 2009-12-09 株式会社東芝 音声モードを利用した映像信号の区切り情報設定方法及び装置
JP4707713B2 (ja) * 2005-08-11 2011-06-22 三菱電機株式会社 映像記録装置及びシーンチェンジ抽出方法
US20070157238A1 (en) * 2006-01-04 2007-07-05 Avermedia Technologies, Inc. Advertising method in a DVR system
JP4698453B2 (ja) * 2006-02-28 2011-06-08 三洋電機株式会社 コマーシャル検出装置、映像再生装置
JP4637042B2 (ja) * 2006-02-28 2011-02-23 三洋電機株式会社 映像再生装置
JP4547678B2 (ja) * 2006-03-29 2010-09-22 日本ビクター株式会社 Cm検出装置
JP4187011B2 (ja) * 2006-06-01 2008-11-26 ソニー株式会社 情報処理システム、情報処理装置および方法、並びにプログラム
US20080055467A1 (en) * 2006-09-03 2008-03-06 Wei-Hung Huang Method for detecting a program deviation period during a television broadcast
US8233048B2 (en) 2006-09-19 2012-07-31 Mavs Lab. Inc. Method for indexing a sports video program carried by a video stream
JP4611952B2 (ja) 2006-09-26 2011-01-12 株式会社日立製作所 番組録画装置及びコマーシャル検出方法
JP4336364B2 (ja) * 2006-11-17 2009-09-30 三菱電機株式会社 テレビジョン受像機
US20080123955A1 (en) * 2006-11-29 2008-05-29 Chia-Hung Yeh Method for estimating boundary of video segment in video streams
JP2010526504A (ja) * 2007-05-08 2010-07-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオセグメント間の遷移を検出するための方法及び装置
JP5277582B2 (ja) * 2007-07-31 2013-08-28 富士通モバイルコミュニケーションズ株式会社 放送受信装置
JP4428424B2 (ja) * 2007-08-20 2010-03-10 ソニー株式会社 情報処理装置、情報処理方法、プログラムおよび記録媒体
JP4840325B2 (ja) * 2007-10-19 2011-12-21 三菱電機株式会社 映像音声記録装置
US8925024B2 (en) * 2009-12-31 2014-12-30 The Nielsen Company (Us), Llc Methods and apparatus to detect commercial advertisements associated with media presentations
JP5556262B2 (ja) * 2010-03-15 2014-07-23 オムロン株式会社 画像属性判別装置、属性判別支援装置、画像属性判別方法、属性判別支援装置の制御方法、および、制御プログラム
JP5036882B2 (ja) * 2011-01-14 2012-09-26 三菱電機株式会社 映像記録装置、映像記録方法、映像音声記録装置、及び映像音声記録方法
JP5425972B2 (ja) * 2012-06-08 2014-02-26 三菱電機株式会社 映像音声記録装置及び映像音声記録方法
US20160232579A1 (en) 2015-02-11 2016-08-11 The Nielsen Company (Us), Llc Methods and apparatus to detect advertisements embedded in online media
JP6506230B2 (ja) * 2016-09-28 2019-04-24 Necプラットフォームズ株式会社 音声無音検知装置、音声無音検知方法、音声無音検知プログラム、及び音声無音検知システム
JP6710476B2 (ja) * 2018-01-17 2020-06-17 日本電信電話株式会社 コマーシャル境界判定装置、コマーシャル境界判定方法、及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2884189A (en) 1988-01-26 1989-07-27 Integrated Circuit Technologies Ltd. Method and apparatus for identifying and eliminating specific material from video signals
US5436653A (en) * 1992-04-30 1995-07-25 The Arbitron Company Method and system for recognition of broadcast segments
US5696866A (en) 1993-01-08 1997-12-09 Srt, Inc. Method and apparatus for eliminating television commercial messages
US5455630A (en) 1993-08-06 1995-10-03 Arthur D. Little Enterprises, Inc. Method and apparatus for inserting digital data in a blanking interval of an RF modulated video signal
US5999688A (en) * 1993-01-08 1999-12-07 Srt, Inc. Method and apparatus for controlling a video player to automatically locate a segment of a recorded program
US5692093A (en) 1993-01-08 1997-11-25 Srt, Inc. Method and apparatus for eliminating television commercial messages
US5333091B2 (en) 1993-01-08 1996-12-17 Arthur D Little Enterprises Method and apparatus for controlling a videotape player to automatically scan past recorded commercial messages
US6002831A (en) * 1995-05-16 1999-12-14 Hitachi, Ltd. Image recording/reproducing apparatus
US5959697A (en) * 1996-06-07 1999-09-28 Electronic Data Systems Corporation Method and system for detecting dissolve transitions in a video signal
JPH10224722A (ja) * 1997-02-07 1998-08-21 Sony Corp コマーシャル検出装置及び検出方法
US6100941A (en) * 1998-07-28 2000-08-08 U.S. Philips Corporation Apparatus and method for locating a commercial disposed within a video data stream

Also Published As

Publication number Publication date
JP2000165796A (ja) 2000-06-16
US6449021B1 (en) 2002-09-10

Similar Documents

Publication Publication Date Title
JP4026100B2 (ja) 情報処理装置および方法、並びに記録媒体
JP4178629B2 (ja) 情報処理装置および方法、並びに記録媒体
JP2000165806A (ja) 情報処理装置および方法、並びに提供媒体
KR100519866B1 (ko) 광고방송검출장치및광고방송검출방법
KR100563746B1 (ko) Tv신호기록방법및장치,tv신호재생방법및장치,tv신호기록재생장치,및기록매체
EP0848383B1 (en) Information recording and reproduction
US7742680B2 (en) Apparatus and method for processing signals
KR20080096464A (ko) 정보 처리 장치 및 정보 처리 방법, 프로그램, 및 기록매체
KR100763685B1 (ko) 방송 신호 기록 재생 장치 및 방법과 기록 매체
JP2000165798A (ja) 情報処理装置および方法、並びに提供媒体
US20090269029A1 (en) Recording/reproducing device
JP4752855B2 (ja) 情報処理装置および方法
JPH09284706A (ja) 信号処理方法及び装置
JP4000623B2 (ja) 映像信号記録装置及び映像信号記録方法
JP4158250B2 (ja) 情報記録再生装置および方法、並びに提供媒体
JP2000165797A (ja) 情報処理装置および方法、並びに提供媒体
JP2002044573A (ja) 情報信号処理装置および情報信号処理方法
KR970011829B1 (ko) 광디스크플레이어와 vcr(video cassette recorder)의 복합제품에서의 비스자동삽입장치
JP3321804B2 (ja) 記録および再生装置
KR20050068688A (ko) 요약 재생을 위한 비디오 비트스트림의 기록 및 재생방법과 이를 구현하기 위한 프로그램이 기록된 기록 매체
JPH0622340A (ja) 画像処理装置
MXPA99001516A (en) Method and apparatus for eliminating television commercial messages
JPH08237604A (ja) 垂直同期信号挿入装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050927

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070620

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070914

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070927

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101019

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101019

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111019

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121019

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131019

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term