JP2002058049A - 放送確認システム、放送確認装置および方法、放送確認プログラムを記録した記録媒体 - Google Patents

放送確認システム、放送確認装置および方法、放送確認プログラムを記録した記録媒体

Info

Publication number
JP2002058049A
JP2002058049A JP2000243316A JP2000243316A JP2002058049A JP 2002058049 A JP2002058049 A JP 2002058049A JP 2000243316 A JP2000243316 A JP 2000243316A JP 2000243316 A JP2000243316 A JP 2000243316A JP 2002058049 A JP2002058049 A JP 2002058049A
Authority
JP
Japan
Prior art keywords
content
broadcast
feature amount
unit
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000243316A
Other languages
English (en)
Other versions
JP3775186B2 (ja
Inventor
Eiji Kasuya
英司 粕谷
Akio Yamada
昭雄 山田
Masahiro Iwadare
正宏 岩垂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2000243316A priority Critical patent/JP3775186B2/ja
Priority to PCT/JP2001/006931 priority patent/WO2002015596A1/ja
Priority to EP01965553A priority patent/EP1324622A4/en
Priority to US10/344,147 priority patent/US20040013401A1/en
Publication of JP2002058049A publication Critical patent/JP2002058049A/ja
Application granted granted Critical
Publication of JP3775186B2 publication Critical patent/JP3775186B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/12Arrangements for observation, testing or troubleshooting
    • H04H20/14Arrangements for observation, testing or troubleshooting for monitoring programmes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/7864Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using domain-transform features, e.g. DCT or wavelet transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/37Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/59Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331Caching operations, e.g. of an advertisement for later insertion during playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6582Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/812Monomedia components thereof involving advertisement data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/002Special television systems not provided for by H04N7/007 - H04N7/18
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/162Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/165Centralised control of user terminal ; Registering at central
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Marketing (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

(57)【要約】 【課題】 放送局とは独立した第三者が依頼主へ報告す
るための放送確認を安価に行える放送確認システムを構
築する。 【解決手段】 CM特徴量抽出手段22は受信設備21
により受信した放送信号からCMに該当する区間の特徴
量24を抽出する。照合部23はこの特徴量24をDB
3に登録されているCMの特徴量と照合して、DB3に
含まれないと判断したCMの特徴量24を新CMとして
DB3に登録する。また、特徴量算出部42は受信設備
41より受信した放送波から特徴量44を抽出し、照合
手段43はこの特徴量44とDB3に蓄えられたCMの
特徴量を照合する。両者が一致した場合、照合部4は照
合結果45を記録部5に送出し、記録部5が照合結果4
5からレポート51を作成して依頼主1に提出し、放送
確認業者6はレポート51の対価として放送確認委託料
11を受け取る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明はラジオ・テレビ等の
有線・無線の放送波を監視する放送確認システムに関す
るものである。
【0002】
【従来の技術】コマーシャル(以下「CM」と記すこと
がある)放送は、広告主や広告代理店などの依頼主が放
送局と契約を結び、放送局が依頼主から提供を受けた音
声データやビデオデータを番組の合間に放送するもので
ある。コマーシャルの放送時間は大まかに決まってはい
るものの、番組のスケジュール自体が緊急ニュースや番
組自身の都合で変更されることが多いために、厳密には
決められてはいない。
【0003】依頼主にとって、放送を委託したコマーシ
ャルが意図した時間に希望した本数分だけ放送されたか
否かを知ることは重要である。現在、放送局は月末ごと
に放送確認書を依頼主に提出することで、契約通りの放
送が行われたことを保証するシステムになっている。
【0004】
【発明が解決しようとする課題】しかしながら、放送確
認書の内容は放送局側の自己申告であって第三者による
検証を経たものではない。こうしたシステムは商習慣に
よって支えられてきたものであるため、契約と異なる放
送を行いながら、実態と異なる放送確認書を出す等の不
正が行われても依頼主側で容易にチェックすることは出
来ない。現に、そうした不正があったことがニュースと
して報じられてもいる。
【0005】従来、契約通りに放送が為されたかどうか
を確認するための方法としては、人間が放送を目視しな
がらチェックするということが一般的に行われてきてい
る。しかし、こうした方法はコストが高くつくという問
題がある上に、チェックすべきチャンネル数やコマーシ
ャルの量が増えるとそれだけチェックを行う人間も増や
す必要がある。しかも、目視する人間の体調によって検
証精度が上下するという問題もある。また、広告主にと
っては、自社のコマーシャルだけに留まらず、ライバル
会社や他業種のコマーシャルの放送実績を調査すること
がマーケティング上の理由から必要となることもある
が、上記のような方法ではやはりコストが高くつく。
【0006】以上のような話は、コマーシャル以外の映
像配信についても同様である。例えば、ニュース映像に
ソース放送局のロゴを入れてそのまま外国の他局で配信
することは今日ではよく行われている。しかし、コマー
シャルと同様に、何時何処で何回放映されたのかをソー
ス放送局が把握するシステムは整備されていない。この
ため、ソース放送局としては、ニュース映像の配信を受
けた他局の報告を信じるか、コマーシャルの場合と同様
にして人間による目視に頼るしかなかったという問題が
ある。
【0007】こうしたことから、放送確認を行うための
システムとして例えば特開平7−79206号公報など
に開示された放送確認技術が提案されている。この技術
によれば、テレビ放送の受信音声が無音となり、且つ映
像が大幅に変化したことをもってCMの開始又は終了と
判断して、これらの間の音声信号を抜き出し、予め蓄積
しておいた音声信号と比較することによって、放送され
たCMの自動識別を行っている。
【0008】しかし、音声照合だけで放送確認をすると
次のような問題が生じてくる。すなわち、ある種のドリ
ンク剤や清涼飲料水のCMでは幾つものバージョンが存
在しているが、それらのCMは音声が全て同じであって
画像だけが変わっている。このような場合、音声認識に
よる放送確認ではバージョンの違いを判別できないた
め、CMのバージョンを新しくした場合に古いバージョ
ンのCMが流されていてもそれを判別することができな
い。
【0009】また、特開昭56−8938号公報には、
スポンサとの契約通りにCMが放送されたかを確認する
ために、CM放送に挿入しておいた識別番号を検出し
て、契約通りの時間帯,回数,日時で検知されたかをチ
ェックするシステムが開示されている。しかし、このよ
うな識別番号はそれぞれの放送局毎に決められているも
のであり、他社のCMの放送確認を行うことができない
などの不具合がある。
【0010】本発明は上述した事情に鑑みてなされたも
のであって、その目的は、放送局や依頼主とは独立した
第三者が、依頼主へ報告するためのコマーシャルやニュ
ース映像などのコンテンツについての放送確認を人手に
頼らず安価に行うことが可能な放送確認システムを提供
することにある。また、本発明の目的はこうした放送確
認システムに適用される放送確認装置,放送確認方法及
びこれらを実現するコンピュータプログラムを記録した
記録媒体を提供することにある。
【0011】
【課題を解決するための手段】上記の課題を解決するた
めに、請求項1に記載の発明は、映像を含むコンテンツ
の放送を確認する放送確認装置であって、前記コンテン
ツの特徴量を蓄える蓄積手段と、放送信号から前記コン
テンツの特徴量を抽出するコンテンツ特徴量抽出手段
と、前記コンテンツ特徴量抽出手段により抽出された前
記コンテンツの特徴量を前記蓄積手段に登録するコンテ
ンツ登録手段と、放送信号から特徴量を算出する第1の
特徴量算出手段と、前記第1の特徴量算出手段により算
出された特徴量と前記蓄積手段上の特徴量とを照合する
照合手段と、該照合によって得られた照合結果を記録す
る記録手段とを備えることを特徴とする。
【0012】また、請求項2に記載の発明は、映像を含
むコンテンツの放送を確認する放送確認装置であって、
前記コンテンツの特徴量を蓄える蓄積手段と、放送信号
から前記コンテンツの特徴量を抽出するコンテンツ特徴
量抽出手段と、前記コンテンツ特徴量抽出手段により抽
出された前記コンテンツの特徴量と前記蓄積手段上の特
徴量とを照合する登録照合手段と、前記登録照合手段の
照合の結果、前記蓄積手段に含まれないと判断された前
記コンテンツの特徴量を前記蓄積手段に登録するコンテ
ンツ登録手段と、放送信号から特徴量を算出する第1の
特徴量算出手段と、前記第1の特徴量算出手段により算
出された特徴量と前記蓄積手段上の特徴量とを照合する
照合手段と、前記照合手段の照合結果を記録する記録手
段とを備えることを特徴とする。
【0013】また、請求項3に記載の発明は、映像を含
むコンテンツの放送を確認する放送確認装置であって、
前記コンテンツの特徴量を蓄える蓄積手段と、放送信号
から前記コンテンツの特徴量を抽出するコンテンツ特徴
量抽出手段と、前記コンテンツ特徴量抽出手段により抽
出された前記コンテンツの特徴量と前記蓄積手段上の特
徴量とを照合する照合手段と、前記照合手段の照合の結
果、前記蓄積手段に含まれないと判断された前記コンテ
ンツの特徴量を前記蓄積手段に登録するコンテンツ登録
手段と、前記照合手段の照合結果を記録する記録手段と
を備えることを特徴とする。
【0014】また、請求項4に記載の発明は、請求項1
乃至請求項3のいずれかの項に記載の発明において、前
記コンテンツ特徴量抽出手段は、放送信号から前記コン
テンツを抽出するコンテンツ抽出手段と、前記コンテン
ツ抽出手段により抽出された前記コンテンツの特徴量を
算出する第2の特徴量算出手段とを備えることを特徴と
する。また、請求項5に記載の発明は、請求項1乃至請
求項3のいずれかの項に記載の発明において、前記コン
テンツ特徴量抽出手段は、放送信号から特徴量を算出す
る第2の特徴量算出手段と、前記第2の特徴量算出手段
により算出された特徴量からコンテンツ区間を推定し、
該コンテンツ区間に相当する特徴量を切り出すコンテン
ツ特徴量切り出し手段とを備えることを特徴とする。
【0015】また、請求項6に記載の発明は、映像を含
むコンテンツの放送を確認する放送確認装置であって、
前記コンテンツの特徴量を蓄える蓄積手段と、放送信号
から特徴量を算出する第1の特徴量算出手段と、前記第
1の特徴量算出手段により算出された特徴量と前記蓄積
手段上の特徴量とを照合する照合手段と、前記照合手段
の照合結果を記録する記録手段と、前記照合手段の照合
の結果、前記蓄積手段に含まれないと判断された特徴量
に対して、前記コンテンツの特徴量であるか否かを判定
するコンテンツ判定手段と、前記コンテンツ判定手段に
より前記コンテンツの特徴量であると判定された特徴量
を前記蓄積手段に登録するコンテンツ登録手段とを備え
ることを特徴とする。また、請求項7に記載の発明は、
請求項6に記載の発明において、前記コンテンツ判定手
段は、前記照合手段の照合結果に基づいて、前記判定を
行うことを特徴とする。
【0016】また、請求項8に記載の発明は、請求項1
乃至請求項7のいずれかの項に記載の発明において、前
記特徴量算出手段は、コンテンツの映像データに含まれ
る全てまたは一部のフレームについて縮小画像を生成
し、該縮小画像に対して周波数変換および量子化を施す
ことによって前記特徴量を生成することを特徴とする。
また、請求項9に記載の発明は、請求項1乃至請求項8
のいずれかの項に記載の発明において、前記特徴量算出
手段は、受信される全てのフレームについて前記特徴量
を算出することを特徴とする。また、請求項10に記載
の発明は、請求項1乃至請求項8のいずれかの項に記載
の発明において、前記特徴量算出手段は、受信される一
部のフレームについて前記特徴量を算出することを特徴
とする。
【0017】また、請求項11に記載の発明は、請求項
1乃至請求項10のいずれかの項に記載の発明におい
て、前記照合手段の照合結果が、前記蓄積手段上の特徴
量との一致であったときの時刻情報を生成する時刻情報
生成手段と、前記蓄積手段上の特徴量と一致した特徴量
のコンテンツに、前記時刻情報を付加する時刻情報付加
手段と、前記時刻情報が付加されたコンテンツを記録す
る記録手段とをさらに具備することを特徴とする。ま
た、請求項12に記載の発明は、請求項1乃至請求項1
1のいずれかの項に記載の発明において、前記特徴量算
出手段は、前記コンテンツに含まれた音声データを検出
し、前記蓄積手段は、前記コンテンツに含まれた音声デ
ータを蓄積し、前記照合手段は、前記検出された音声デ
ータと前記蓄積された音声データとを照合して照合結果
を出力することを特徴とする。
【0018】また、請求項13に記載の発明は、依頼主
により放送確認を希望されたコンテンツの放送を確認す
る放送確認システムであって、請求項1乃至請求項12
のいずれかの項に記載の放送確認装置と、前記放送確認
装置によって記録された照合結果を前記依頼主に報告す
る報告手段とを具備することを特徴とする。また、請求
項14に記載の発明は、請求項13に記載の発明におい
て、前記報告手段は、前記照合結果が示されたデータを
前記依頼主に送付することを特徴とする。また、請求項
15に記載の発明は、請求項13に記載の発明におい
て、前記報告手段は、前記放送確認装置によって記録さ
れた照合結果から、前記依頼主が希望するコンテンツの
照合結果を検索して報告することを特徴とする。
【0019】また、請求項16に記載の発明は、映像を
含むコンテンツの放送を確認する放送確認方法であっ
て、前記放送確認方法は、放送信号から前記コンテンツ
の特徴量を抽出する手順と、この抽出されたコンテンツ
の特徴量を蓄える手順と、放送信号から特徴量を算出す
る手順と、この算出された特徴量と前記蓄えられた特徴
量とを照合する手順と、この照合によって得られた照合
結果を記録する手順とを含むことを特徴とする。
【0020】また、請求項17に記載の発明は、映像を
含むコンテンツの放送を確認する放送確認方法であっ
て、前記放送確認方法は、前記コンテンツの特徴量を蓄
える手順と、放送信号から前記コンテンツの特徴量を抽
出する手順と、この抽出された特徴量と前記蓄えられた
特徴量とを照合する手順と、この照合の結果、前記蓄え
られた特徴量に含まれないと判断された前記抽出された
特徴量を新たに蓄える手順と、放送信号から特徴量を算
出する手順と、この算出された特徴量と前記蓄えられた
特徴量とを照合する手順と、この照合によって得られた
照合結果を記録する手順とを含むことを特徴とする。ま
た、請求項18に記載の発明は、映像を含むコンテンツ
の放送を確認する放送確認方法であって、前記放送確認
方法は、前記コンテンツの特徴量を蓄える手順と、放送
信号から前記コンテンツの特徴量を抽出する手順と、こ
の抽出されたコンテンツの特徴量と前記蓄えられた特徴
量とを照合する手順と、この照合の結果、前記蓄えられ
た特徴量に含まれないと判断された前記抽出された特徴
量を新たに蓄える手順と、前記照合によって得られた照
合結果を記録する手順とを含むことを特徴とする。
【0021】また、請求項19に記載の発明は、映像を
含むコンテンツの放送を確認する放送確認方法であっ
て、前記放送確認方法は、前記コンテンツの特徴量を蓄
える手順と、放送信号から特徴量を算出する手順と、こ
の算出された特徴量と前記蓄えられた特徴量とを照合す
る手順と、この照合によって得られた照合結果を記録す
る記録手順と、前記照合の結果、前記蓄えられた特徴量
に含まれないと判断された前記算出された特徴量に対し
て、前記コンテンツの特徴量であるか否かを判定する手
順と、この判定の結果、前記コンテンツの特徴量である
と判定された前記算出された特徴量を新たに蓄える手順
とを含むことを特徴とする。また、請求項20に記載の
発明は、放送確認プログラムを記録したコンピュータ読
み取り可能な記録媒体であって、請求項16乃至19の
いずれかの項に記載の放送確認方法を実行することを特
徴とする。
【0022】
【発明の実施の形態】以下、図面を参照して本発明の各
実施形態について順次説明してゆく。 〔第1実施形態〕図1は、本発明の第1実施形態による
放送確認システムの構成を示すブロック図である。同図
において、放送確認業者6は依頼主1の希望するCMの
放送確認レポート(以下、レポートと記す)51を報告
する。放送確認業者6は照合基地7を保有しており,照
合基地7はCM登録部2、CMデータベース(以下、D
Bと記す)3、CM照合部4、及び記録部5から構成さ
れている。
【0023】CM登録部2は、放送を受信するための受
信設備21、CM特徴量抽出部22、及び照合部23か
ら構成される。受信設備21は、アンテナ、チューナな
どで構成される。このCM登録部2において、CM特徴
量抽出部22は、受信設備21により受信した放送信号
からCMに該当する区間の特徴量24を抽出する。照合
部23は、この得られた特徴量24をDB3に登録され
ているCMの特徴量と照合し、この照合の結果、DB3
に含まれないと判断したCMの特徴量24を新CMの特
徴量としてDB3に登録する。なお、上記放送はテレビ
放送,ラジオ放送のいずれで行ってもよく、また、無
線,有線を問わない。ただし、従来の放送確認システム
のように、テレビ放送でのCM放送確認において音声に
よる照合だけでは、CMの識別に関して不十分な面があ
るため、本実施形態をテレビ放送に適用するほうがより
有用である。なお、上記照合部23が、特徴量24をD
B3へ登録する際、CM特徴量抽出部22により抽出さ
れた全てまたは一部のCMの特徴量24をそのまま登録
するようにしてもよい。
【0024】DB3は、個々のCMを識別するためのI
D(Identifier;識別子),人間がCMの内容を一見し
て分かるようにするためのタイトル,CMの特徴量で構
成されている。いま、コンテンツが例えばCMであると
する。この場合、IDは、CMをDB3へ登録するとき
に逐一発行するものであって、シリアルかつユニークに
与えられる番号である。また、タイトルはCMで流され
る個々の商品名などである。さらに、特徴量は1秒間に
16バイト、10秒であれば160バイト、30秒であ
れば480バイト程度の情報であって、DB3にはこれ
らの情報が多数並べられている。
【0025】ここで、受信した放送信号からCMに該当
する区間の特徴量を抽出するための一実現手法について
詳述する。CM特徴量抽出部22はCM抽出部221
(図示せず)と特徴量算出部222(図示せず)から構
成される。CM抽出部221は、入力された放送信号か
らCMに該当する区間を抽出する。この手法としては、
従来より広く知られている、テレビ放送の受信音声が無
音となることをもってCMの開始又は終了と判断し、抽
出する手法などを用いることが可能である。次いで、特
徴量算出部222は、CM抽出部221により抽出され
たCMから特徴量24を算出する。
【0026】さらに、受信した放送信号からCMに該当
する区間の特徴量を抽出するための実現手法として、上
記実現手法とは異なる他の一実現手法について詳述す
る。この場合のCM特徴量抽出部22は、特徴量算出部
223(図示せず)とCM特徴量切り出し部224(図
示せず)とから構成される。特徴量算出部223は、入
力された放送信号から特徴量を算出する。次いで、CM
特徴量切り出し部224は、特徴量算出部223により
算出された特徴量からCM区間を推定し、このCM区間
に相当する特徴量24を切り出す。
【0027】ここで、特徴量を算出するための一実現手
法について詳述する。特徴量を算出するためには、例え
ば、本発明の出願人が先に出願した特願平11−059
432号(「画像特徴量生成装置、画像検索装置、並び
にその生成方法及び検索方法」;以下、「関連技術」と
いう)等に開示された手法を用いることができる。た
だ、この関連技術に開示された技術の詳細を述べること
は煩雑であるため、ここでは当該技術を具体例を挙げて
概説することにする。
【0028】いまある画像があったときにこの画像を8
×8=64個のブロックに分割したのち、個々のブロッ
クについて平均値を算出して、8画素×8画素のサムネ
イル画像(すなわち、アイコンのような親指大の画像)
のイメージを作成する。このサムネイル画像はCM画像
がぼやけたような画像として見え、ちょうどLPF(ロ
ーパスフィルタ)を通したような画像となる。なお、C
M画像はRGBの3原色からなる普通のカラー画像であ
ることから、各色について8画素×8画素のサムネイル
画像を生成する。もっとも、実際にはCM画像はテレビ
信号であることから、RGBではなくY(輝度信号),
R−Y及びB−Y(色差信号)の3種類の信号に対応し
た3つの画像となる。
【0029】次に、サムネイル画像に対してDCT(離
散コサイン変換)を施して周波数変換を行い、8×8画
素に対応する周波数表現された情報を得る。次いで、こ
の8×8画素に対応した情報から低周波数成分を選択す
る。例えば、Y信号から6個,R−Y信号及びB−Y信
号からそれぞれ3個ずつ選択して合計12個とする。そ
してこれら12個の係数を粗く量子化して合計64ビッ
トの情報を特徴量として抽出する。なお、量子化にあた
っては係数毎に量子化特性を変えるとともに、量子化レ
ベル数も変えるようにする。以上のようにして、CM画
像に含まれる低周波成分で表現された情報が特徴量とし
て得られる。
【0030】ここで、ビデオ信号は1秒間に30枚のフ
レームで構成されるため、本実施形態では各フレームに
ついて特徴量を生成することになる。もっとも、必ずし
も全てのフレームについて特徴量を生成しなければなら
ないわけでなく、例えば、2秒に1回程度の割合で特徴
量を付加しても良い。これは、一つには全てのフレーム
について特徴量を算出すると計算量が増大することと、
全てのフレームについて特徴量を格納するとそれだけD
B3に登録可能なCMの件数が減ってしまうことによ
る。したがって、放送確認を行うシステムに応じてどの
程度のフレーム間隔で特徴量を生成するかを決定してゆ
くことになる。
【0031】さて、図1に戻って、CM照合部4は、放
送を受信するための受信設備41、特徴量算出部42お
よび照合部43を有している。特徴量算出部42は、受
信設備41により受信した放送信号から特徴量44を算
出する。また、照合部43はDB3に登録されているC
Mの特徴量を算出し、これら2つの特徴量を照合してそ
の照合結果45を記録部5に出力する。なお、この照合
結果45は、電子メールなどを利用して、依頼主1へ直
接送付されるようにしてもよい。
【0032】ここで、放送確認におけるコンテンツの照
合を行うにあたっては、基本的に映像照合によって行
う。すなわち、上述したようにある種のドリンク剤や清
涼飲料水のCMでは音声が全て同じで画像だけが変わっ
ている幾つものバージョンが存在することがある。この
ため、音声照合に頼った放送確認ではこうしたCMのバ
ージョンの違いを切り分けることができない。したがっ
て、音声照合ではなく映像照合によって放送確認を行う
ことが望ましい。近年、CPU(中央処理装置)の処理
能力が飛躍的に向上してきており、計算量の多い映像照
合による放送確認を充分に行える環境にある。
【0033】もっとも、照合の際に、音声照合を併用し
た方が検出精度を高めることができるため、従来から知
られている音声認識の技術を利用して、映像照合及び音
声照合の双方を用いることがさらに望ましい。例えば、
音声照合を行うことによってCMの始まりを検出するこ
とができるので、映像照合によって得たCMの開始時点
と音声照合によって得たCMの開始時点を互いに照合し
ても良い。もし両者が一致していれば、映像照合によっ
て得たCMが本当にCMであるという確証が得られるこ
とになる。これに対して、両者が不一致していれば映像
照合においてCMを誤検出している可能性があることが
わかる。
【0034】さて、照合部43は、上記の関連技術など
に開示された方法によって、リアルタイムに映像信号を
照合することが可能になっている。そして、記録部5は
照合結果45を集計した後にこれをレポート51として
依頼主1へ提出する。なお、照合部43が照合結果45
を郵送や電子メール等で即時に依頼主1へ送付するよう
にしても良い。ここで、レポート51の内容としては、
コンテンツの登録番号,放映チャネル,放映日,放映時
刻,放映状態等が含まれる。そして、放送確認業者6は
照合結果45又はレポート51の対価として依頼主1か
ら放送確認委託料11を受け取る。
【0035】ここで、放映状態とは、フレームが落ちて
いないかや音声が途切れていないかどうかといった放送
状況を指している。放送確認を行う目的は、決められた
時間帯に契約通りの回数だけCMが放送されているかど
うかにある。したがって、本当にCMが正しく放送され
ているかどうかが依頼主1の関心事でもある。ここで、
放送局がCMを流す場合、登録されているCMの最初の
1乃至2フレームは別のCMからの切り替えるタイミン
グで切れる場合があるが、この程度のフレーム落ちであ
れば一般に許容されている。
【0036】しかし、3フレーム以上フレームが欠けた
場合には放送局2から依頼主1に対してペナルティを払
うなどの慣例があるため、こうしたフレーム落ちを検出
した場合にはこれを放映状態として報告することにな
る。なお、上述したように特徴量は全てのフレームにつ
いて生成する必要はないが、1フレームないし2フレー
ム程度のフレーム落ちを検出するためには全てのフレー
ムについて特徴量を生成することが望ましい。このほ
か、放映中に音声が途切れるなどの事故も時々発生する
ことから、上述した音声認識技術を用いた音声照合を併
用することによって、音声が途切れていないかどうかを
報告することになる。
【0037】ここで、CM照合部4が行う映像信号の照
合処理についてその手順の詳細を説明する。図2はCM
照合部4が一枚の画像を抽出して映像照合を行う場合の
フローチャートであり、図3はCM照合部4が画像シー
ケンスを抽出して映像照合を行う場合のフローチャート
である。つまり、図2は1フレームの静止画像を検出し
て映像照合する場合を示したものであり、図3は動画像
を検出して映像照合する場合を示している。ただいずれ
の場合も、チューナを通じてテレビ信号を受信し、この
テレビ信号から特徴量を抽出してDB3中の特徴量と照
合して、照合度のより高いものを候補として選択して、
両者のマッチングの度合いがある閾値より高ければCM
であると判定することは同じである。
【0038】最初に図2の場合について説明すると、ま
ず受信設備41でテレビ信号を受信し、受信したテレビ
信号からフレーム毎の特徴量を抽出する(ステップS
1)。次に、DB3に蓄えられている特徴量を登録ID
とともにDB3から取り出し(ステップS2)てゆき、
ステップS1で抽出された特徴量と逐一比較する。そし
て、比較の度にマッチング度(すなわち、画像が似てい
るか似ていないかの尺度)を計算し、入力されたTV信
号の特徴量に類似したDB3内の特徴量を選択し、その
登録IDとマッチング度を出力する(ステップS3)。
なお、マッチングにあたっては、例えば特徴量間の距離
の平均値を算出してマッチング度とすれば良い。
【0039】次に、得られたマッチング度をある閾値と
比較し、類似の度合いが少なければ不適と判断する。一
方、両者の類似度合いが上記閾値を超えていればCMが
検出されたものと見なして登録IDを出力する(ステッ
プS4)。そして、出力された登録IDは記録部5へ送
信されて記録されることになる。このとき、CMが何時
検出されたかを示す時刻も必要となってくるため、CM
照合部4内に設置してある時計から時刻情報S5を取り
出して登録IDに付加して記録部5へ送信するようにす
る(ステップS5)。但し、この時刻情報S5は図2に
示した各ステップの何れの段階で付加しても良く、ある
いは、記録部5が時刻情報S5を登録IDへ付加するよ
うにしても良い。
【0040】次に図3の場合について説明するが、画像
シーケンスの検出の場合も1フレームの静止画像を検出
する場合とほぼ同様の手順である。図2に示した場合と
の相違点は、フレーム毎の特徴量を抽出(ステップS1
1)してから、フレーム一枚分の特徴量をバッファに溜
めてゆき(ステップS12)、複数のフレームの特徴量
をまとめた特徴量シーケンスをバッファから出力する点
である。これ以降のステップS13乃至S16は図2に
示したステップS2乃至S5と全く同じであるので説明
は省略する。
【0041】このように、画像シーケンスを検出する場
合には、すべての時刻において、過去数十フレームある
いは過去数百フレームの特徴量をまとめたものを特徴量
シーケンスとして、この特徴量シーケンスを単位として
照合を行っている。なお、この場合は当然ながらDB3
に登録されているのも特徴量シーケンスとなっている。
なお、上述したように、全てのフレームの特徴量から特
徴量シーケンスを作らねばならないわけではなく、数フ
レームおきに算出した特徴量から特徴量シーケンスを生
成するようにしても良い。
【0042】なお、照合結果45を集計したレポート5
1には、CM毎に付与されたID,CMのタイトル,検
出されたCMの開始時刻及び終了時刻などが記載され
る。もっとも、終了時刻は必ずしも必要ではなく、ID
及び開始時刻が分かっていればどのCMであるかを特定
することができる。また、記録部5がレポート51を作
成する集計処理の実現手法としては様々なものが考えら
れる。例えば、CMを検出する度に電子メールなどで依
頼主1へレポート51を送付しても良く、あるいは、毎
日深夜に1日の結果を集計しても良く、さらには、1週
間又は1ヶ月毎に集計を行っても良い。また、記録部5
は、記録する照合結果から、依頼主が希望するCMの照
合結果を検索してレポート51を作成するようにしても
よい。
【0043】ここで、CMは5秒,15秒,30秒など
様々な長さのものがあるが、CMが登録されたものであ
るか否かを判定するにあたっては、CM全体を対象とし
なければならないわけではない。例えばCMの長さが3
0秒の場合には最初の10秒間に基づいてCMが登録さ
れるものかどうかを判定すれば十分である。そして、例
えば1秒間に2フレームだけ判定に使用するとした場
合、最初の10秒で判別に使用されるのは20フレーム
となる。
【0044】したがって、20フレーム中の1フレーム
について特徴量が偶然に一致したとしても、それ以外の
フレームについての特徴量が不一致であれば、CMとし
て誤検出することはなくなる。本発明者による実用段階
にあるシステムでは実際上も最初の10秒間の判定だけ
で99%以上の検出率が得られている。なお、CMの長
さが30秒以外の場合についてもCMの長さに合わせて
判定時間を適宜増減させるようにすれば良い。
【0045】なお、CMによってはCMの最後の部分だ
けをバージョンによって変えているものも存在する。例
えば、ウィークデイは毎日同じ内容のCMを流すが、週
末に流すものは「お近くの○○神奈川へ」など地域毎に
CMの最後の部分を変えたりする場合がよくある。こう
した場合にはCM全体を判別対象とするのが好ましいと
言える。したがって、CMを検出するにあたってはCM
毎に検出すべき長さをDB3へ登録しておき、検出すべ
きCMに応じて判定時間の長さを可変させることが望ま
しい。
【0046】また、本実施形態ではCMの検出にあたっ
てやや過剰検出ぎみとなるように閾値の設定を行ってい
る。こうすることで、実際にCMが流れたにもかかわら
ずこれを検出できないという事態を回避することができ
る。過剰に誤検出されたCMは、後述するようにCM画
像を別途ハードディスクやVTR(ビデオテープレコー
ダ)などに記録しておくことで、記録されているCMの
全フレームについて特徴量の判別を行うか、特徴量の判
別ではなく各フレームの全ての画像データについて照合
を行うか、あるいは、人間が記録されているCMを目視
で確認するなどして検証可能である。
【0047】なお、本実施形態では、パーソナルコンピ
ュータなどで容易に放送確認することができるように、
コンテンツの特徴量を用いて照合を行っている。しか
し、近々、BS(Broadcasting by Satellite)デジタ
ル放送が開始され、2003年からは地上波もデジタル
放送に移行されることが予定されている。こうしたこと
からすると、コンテンツそのものがデジタル化される可
能性がある。したがって、映像信号の全部とは言わない
までもその一部を照合して放送確認を行うことは十分想
定されうる。
【0048】確かに、コンテンツに含まれる全ての画素
を照合すると計算量が大きくなるため、リアルタイムに
放送確認するにはメインフレームやスーパーコンピュー
タなどを利用する必要が生じてくる可能性はある。しか
しながら、近年におけるマイクロプロセッサ等の性能向
上を考えればパーソナルコンピュータで実現することも
十分考えられる。また、CM画像そのものをDB3に登
録するとDB3としても大容量のものが要求されること
になるが、DB3に登録可能なCMの件数が限定されて
も良い場合には問題ないと考えられる。
【0049】このようにコンテンツの全部又は一部をそ
のまま照合に用いる場合、DB3にはコンテンツの特徴
量ではなくコンテンツそのものが登録されることにな
る。また、CM照合部4はコンテンツの画像データその
もののマッチングをとることになり、DB3に登録され
ているCM画像と放送波から抽出した映像をフレーム毎
に比較してそれらの間のマッチング度を算出することに
なる。ここで、画像検出のための手法としてはカラーヒ
ストグラム方式やドミナントカラー方式などの既存の類
似画像検索技術を用いれば良い。前者は色の構成割合を
利用するもので、色空間を分割してそれぞれのレベルに
含まれる画素数の割合を求めて検索を行う。一方、後者
は前者の方式を簡易化したものであって、色の空間的な
配置状況を利用して検索を行うものである。
【0050】また、図1では受信設備21および受信設
備41をそれぞれ一組だけ設ける構成としている。しか
し、実際には多数のチャネルが同時に放送されているた
め、これら多チャネルを同時に確認するためには、図1
に示した照合基地7の構成をチャネル数分だけ設けるこ
とになる。あるいは、CM登録部2,CM照合部4,記
録部5をチャネル毎に設けてDB3を共有する構成でも
良く、さらにはCM登録部2,CM照合部4をチャネル
毎に設けてDB3及び記録部5を共用する構成などであ
っても良い。そして、多チャネルについて放送確認する
場合には、レポート51にCMを検出したチャネルの情
報(例えば、1チャネル,3チャネル,4チャネルな
ど)を付加する。
【0051】さらに、図1において放送確認委託料11
の支払いなどは人間が行うことが当然考えられるが、そ
れ以外にも電子メール,電子マネー,電子商取引などの
技術を利用して自動化を図るようにしても良い。
【0052】以上のように、本実施形態ではコンテンツ
から特徴量を抽出して照合を行っているため、受信した
コンテンツだけを使用して放送確認を実現することがで
きる。つまり本実施形態では、従来技術のようにコンテ
ンツに対して識別番号といった特別な情報を埋め込まな
くて良いという利点がある。従来技術のように、識別信
号をコンテンツに埋め込んでしまうと、識別信号を知っ
ているものでなければ放送確認を実施できなくなる。こ
のため、依頼者の依頼したCM放送が確実に放送されて
いるかどうかを確認できる。さらに、一度放映されたC
Mは自動登録され、次回から照合の対象となるため、一
度放映されたどのCMを調査するような場合であって
も、放送確認を容易に行うことができる。
【0053】〔第2実施形態〕図4は、本発明の第2実
施形態による放送確認システムの構成を示すブロック図
であって、図1と同じ構成要素については同一の符号を
付してある。本実施形態では、図1に示したCM登録部
2に対して機能変更を行ったものをCM登録照合部20
として備える。また、本実施形態は図1のCM照合部4
を備えていない。さらにこうした構成上の違いがあるこ
とから、図4では、図1に示した照合基地7の代わりに
照合基地70として示してある。
【0054】CM登録照合部20は、放送を受信するた
めの受信設備21、CM特徴量抽出部22、及び照合部
30から構成される。放送を受信するための受信設備2
1はアンテナ、チューナなどで構成される。このCM登
録照合部20において、CM特徴量抽出部22は、受信
設備21により受信した放送信号からCMに該当する区
間の特徴量24を抽出する。照合部30は、この得られ
た特徴量24をDB3に登録されているCMの特徴量と
照合して、照合結果301を記録部5に出力する。ま
た、照合部30は、照合の結果、DB3に登録されたど
のCMの特徴量とも一致とみなされないCMの特徴量2
4を、新CMの特徴量としてDB3に登録する。以上の
ように、本実施形態によれば、1つの受信設備21によ
り新CMの登録と放送中のCMの放送確認を同時に行う
ことができる。
【0055】〔第3実施形態〕図5は、本発明の第3実
施形態による放送確認システムの構成を示すブロック図
であって、図1と同じ構成要素については同一の符号を
付してある。本実施形態では、図1に示したCM照合部
4に対して機能変更を行ったものをCM登録照合部40
として備える。また、本実施形態は図1のCM登録部2
を備えていない。さらにこうした構成上の違いがあるこ
とから、図5では図1に示した照合基地7の代わりに照
合基地71として示してある。
【0056】CM登録照合部40は、放送を受信するた
めの受信設備41、特徴量算出部42、照合部403、
及びCM判定部404を有している。特徴量算出部42
は、受信設備41により受信した放送信号から特徴量4
4を抽出する。また、照合部403は、DB3に登録さ
れているCMの特徴量を算出し、これら2つの特徴量を
照合してその照合結果405を記録部5に出力する。な
お、照合結果405は、電子メールなどを利用して、依
頼主1へ直接送付されるようにしてもよい。また、CM
判定部404は、照合部403の照合によりどのCMの
特徴量とも一致とみなされなかった特徴量44に対して
CMの特徴量であるか否かを判定し、CMの特徴量であ
るとみなした場合には、その特徴量44を新CMの特徴
量としてDB3に登録する。このCMであるか否かの判
定手法としては、従来より広く知られている手法であっ
て、特徴量抽出のタイミングとテレビ放送の受信音声が
無音となるタイミングとの一致または近似により、CM
の開始又は終了を判断する手法などを適用可能である。
【0057】さらに、CM判定部404は、照合結果4
05を参照してCM判定を行うこともできる。また、こ
の照合結果405から既知CMを検出した場合、CM判
定部404は、検出されたCMの時刻の前後一定の間隔
でCMの存在する確率が高いことから、検出されたCM
の時間位置の前後を対象にしてさらにCM判定を行うよ
うにしてもよい。また、CM判定部404は、検出され
たCMの時間位置から、例えば特徴量44の時間位置が
検出されたCMの一部と重複する場合などにおいて、C
Mとなりえないと判断することもできる。以上のよう
に、本実施形態によれば、1つの受信設備41により新
CMの登録と放送中のCMの放送確認を同時に行うこと
ができる。さらに、照合結果405を利用することによ
り新CMの抽出精度を向上させることができる。
【0058】〔第4実施形態〕上述した各実施形態で
は、放送確認業者6側の照合基地として専用に設計され
た装置を想定していたが、本発明は一般的なパーソナル
コンピュータ上で実現することも可能である。図6は本
実施形態による放送確認システムの構成を示したブロッ
ク図である。同図では本実施形態を第1実施形態に適用
した例を示してあり、図1に示したものと同じ構成要素
については同一の符号を付してある。なお、本実施形態
を第1実施形態以外の各実施形態に適用しても良い。
【0059】本実施形態では、放送確認業者6における
処理内容を実行するプログラム(以下「放送確認プログ
ラム」という)やデータを記録媒体に記録しておき、こ
の記録媒体から放送確認プログラムをパーソナルコンピ
ュータ上にロードして実行する。これにより、パーソナ
ルコンピュータを構成するハードウェア各部の動作を制
御して、放送確認プログラムによって指令された特定の
処理を行うことになる。このため、本実施形態における
放送確認業者6側の装置構成は、アンテナ及びチューナ
から成る受信設備21、41と、図1に示した照合基地
7の内、受信設備21、41以外の各部に相当するパー
ソナルコンピュータ91と、コンピュータ読み取り可能
な記録媒体92が装着される記録装置93となる。
【0060】パーソナルコンピュータ91は照合基地7
内の各部(受信設備21、41は除く)に相当する機能
を備えている。例えば、DB3はパーソナルコンピュー
タ91内のハードディスク上のファイルとして実現する
ことができる。また、CM登録部2、CM照合部4及び
記録部5は記録媒体92に格納しておいた放送確認プロ
グラムをパーソナルコンピュータ91上で実行すること
によって実現される。この放送確認プログラムの処理内
容は第1実施形態で説明したのと全く同様である。
【0061】なお、特に図示していないがパーソナルコ
ンピュータ91には周辺機器として入力装置や表示装置
などが接続される。入力装置はキーボードやマウスなど
の入力デバイスであり、表示装置はCRT(Cathode Ra
y Tube)や液晶表示装置などである。ここで、放送確認
プログラムをコンピュータ読み取り可能な記録媒体に記
録して、この記録媒体に記録された放送確認プログラム
をコンピュータシステムに読み込ませて実行することで
放送確認を行っても良い。図6ではこの場合を例示して
ある。なお、ここでいう「コンピュータシステム」と
は、OS(オペレーティングシステム)や周辺機器等の
ハードウェアを含む。
【0062】また、コンピュータ読み取り可能な記録媒
体は、フロッピー(登録商標)ディスクやハードディス
クや光磁気ディスク,フラッシュメモリ等の不揮発性メ
モリ,CDROM(コンパクトディスク読み出し専用メ
モリ)などの読み出しのみが可能な記録媒体,RAM
(ランダムアクセスメモリ)のような揮発性のメモリ,
あるいはこれらの組み合わせにより構成される。また、
パーソナルコンピュータ91はCPU及び主記憶メモリ
などから構成され、図1に示した照合基地7が行ったの
と同等の機能を実現するための放送確認プログラムを主
記憶上にロードしてこれを実行する。
【0063】さらに、コンピュータ読み取り可能な記録
媒体は、インターネット等のネットワークや電話回線等
の通信回線を介して放送確認プログラムが送信された場
合のサーバやクライアントとなるコンピュータシステム
内部のメモリのように、一定時間プログラムを保持して
いるものも含む。また、放送確認プログラムは、この放
送確認プログラムを記憶装置などに格納したコンピュー
タシステムから伝送媒体を介して、あるいは、伝送媒体
中の伝送波により他のコンピュータシステムに伝送され
ても良い。
【0064】ここで、プログラムを伝送する「伝送媒
体」は、インターネット等のネットワークや電話回線等
の通信回線のように、情報を伝送する機能を有する媒体
のことをいう。また、放送確認プログラムは、前述した
機能の一部を実現するためのものであっても良く、さら
には前述した機能をコンピュータシステムに既に記録さ
れているプログラムとの組み合わせで実現できるもの
(いわゆる差分プログラム)であっても良い。
【0065】なお、本実施形態の動作は基本的に第1実
施形態と同じであって、放送確認にあたって記録媒体9
2から放送確認プログラムがパーソナルコンピュータ9
1上に読み出される点が異なっているだけである。ちな
みに、本発明者らは1万本程度のCMをDB3に登録し
ている場合であっても、パーソナルコンピュータ1台で
リアルタイムにCMを検出可能であることを確認してい
る。
【0066】上記各実施形態は本発明を説明するための
一例であって、本発明は、上記実施形態に限定されるも
のではなく、発明の要旨の範囲で種々の変形が可能であ
る。例えば、上述した各実施形態では、実際の運用形態
に沿って受信した放送波をもとにリアルタイムに放送確
認するものとしていた。しかし、CM画像をビデオテー
プに記録しておいて、ビデオテープを再生して放送確認
を行うようにしても良い。
【0067】
【発明の効果】以上説明したように、請求項1から請求
項12および請求項16から請求項19記載の発明で
は、放送波からコンテンツを自動抽出し、コンテンツか
らその特徴量を算出し、算出された特徴量と放送局から
の放送波より検出したコンテンツの特徴量を照合して、
映像を含むコンテンツ放送の実施状態を確認することが
できる。また、特徴量を登録しておくためのデータベー
スなどを小規模にできるとともに、コンテンツデータそ
のものを照合する場合に比べて照合に要する時間を大幅
に削減することが可能である。さらに、一度放映された
コンテンツは自動登録され、次回から照合の対象となる
ため、他社コンテンツも含め一度放映されたどのコンテ
ンツを調査するような場合であっても、放送確認を容易
に行うことができる。
【0068】また、請求項13から請求項15の発明で
は、放送波からコンテンツを自動抽出し、コンテンツか
らその特徴量を算出し、算出された特徴量と放送局から
の放送波より検出したコンテンツの特徴量を照合して、
その結果を依頼主に報告している。したがって、依頼主
は、報告された照合結果に基づいて、コンテンツの放送
状況を知ることができる。
【0069】また、請求項3記載の発明では、1つの受
信設備により新コンテンツの登録と放送中のコンテンツ
の放送確認を同時に行うことができるため、比較的処理
能力の低いコンピュータ等を用いた場合にも放送確認を
行うことが可能となる。また、請求項9記載の発明で
は、受信される全てのフレームについて特徴量を算出し
ている。このため、コンテンツ放送等においてフレーム
が欠けていることを検出でき、これを放映状態として依
頼主へ報告することが可能となる。
【0070】また、請求項10記載の発明では、受信さ
れるフレームのうちの一部のフレームについてのみ特徴
量を算出している。このため、特徴量の算出に要する時
間を短くすることが可能となり、比較的処理能力の低い
コンピュータ等を用いた場合にも放送確認を行うことが
可能となる。
【0071】また、請求項12記載の発明では、コンテ
ンツには映像に加えて音声が含まれており、コンテンツ
の音声データを蓄積しておき、放送波から音声データを
検出して蓄積されている音声データと照合するようにし
ている。このように、音声照合を併用することで映像の
みの照合を行う場合に比べてコンテンツの検出精度を高
めることができる。例えば、音声照合と映像照合の照合
結果を突き合わせることで、両者が一致していれば映像
照合によって得たコンテンツが放送確認すべきコンテン
ツであることの確証が得られる。一方、両者が不一致し
ていれば映像照合によって得たコンテンツが誤検出され
たものであるという疑いを持つことができる。
【図面の簡単な説明】
【図1】 本発明の第1実施形態による放送確認システ
ムの構成を示すブロック図である。
【図2】 同実施形態において、CM照合部4が一枚の
画像を抽出して照合を行う場合の手順を示したフローチ
ャートである。
【図3】 同実施形態において、CM照合部4が画像シ
ーケンスとして抽出して照合を行う場合の手順を示した
フローチャートである。
【図4】 本発明の第2実施形態による放送確認システ
ムの構成を示すブロック図である。
【図5】 本発明の第3実施形態による放送確認システ
ムの構成を示すブロック図である。
【図6】 本発明の第4実施形態による放送確認システ
ムの構成を示すブロック図である。
【符号の説明】
1 依頼主 2 CM登録部 3 CMデータベース(DB) 4 CM照合部 5 記録部 6 放送確認業者 7、70、71 照合基地 11 放送確認委託料 20、40 CM登録照合部 21、41 受信設備 22 CM特徴量抽出部 23、30、43、403 照合部 24、44 特徴量 42 特徴量算出部 45、301、405 照合結果 51 レポート 91 パーソナルコンピュータ 92 記録媒体 93 記録装置 404 CM判定部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 岩垂 正宏 東京都港区芝五丁目7番1号 日本電気株 式会社内 Fターム(参考) 5C061 BB01 BB13

Claims (20)

    【特許請求の範囲】
  1. 【請求項1】 映像を含むコンテンツの放送を確認する
    放送確認装置であって、 前記コンテンツの特徴量を蓄える蓄積手段と、 放送信号から前記コンテンツの特徴量を抽出するコンテ
    ンツ特徴量抽出手段と、 前記コンテンツ特徴量抽出手段により抽出された前記コ
    ンテンツの特徴量を前記蓄積手段に登録するコンテンツ
    登録手段と、 放送信号から特徴量を算出する第1の特徴量算出手段
    と、 前記第1の特徴量算出手段により算出された特徴量と前
    記蓄積手段上の特徴量とを照合する照合手段と、 該照合によって得られた照合結果を記録する記録手段
    と、 を備えることを特徴とする放送確認装置。
  2. 【請求項2】 映像を含むコンテンツの放送を確認する
    放送確認装置であって、 前記コンテンツの特徴量を蓄える蓄積手段と、 放送信号から前記コンテンツの特徴量を抽出するコンテ
    ンツ特徴量抽出手段と、 前記コンテンツ特徴量抽出手段により抽出された前記コ
    ンテンツの特徴量と前記蓄積手段上の特徴量とを照合す
    る登録照合手段と、 前記登録照合手段の照合の結果、前記蓄積手段に含まれ
    ないと判断された前記コンテンツの特徴量を前記蓄積手
    段に登録するコンテンツ登録手段と、 放送信号から特徴量を算出する第1の特徴量算出手段
    と、 前記第1の特徴量算出手段により算出された特徴量と前
    記蓄積手段上の特徴量とを照合する照合手段と、 前記照合手段の照合結果を記録する記録手段と、 を備えることを特徴とする放送確認装置。
  3. 【請求項3】 映像を含むコンテンツの放送を確認する
    放送確認装置であって、 前記コンテンツの特徴量を蓄える蓄積手段と、 放送信号から前記コンテンツの特徴量を抽出するコンテ
    ンツ特徴量抽出手段と、 前記コンテンツ特徴量抽出手段により抽出された前記コ
    ンテンツの特徴量と前記蓄積手段上の特徴量とを照合す
    る照合手段と、 前記照合手段の照合の結果、前記蓄積手段に含まれない
    と判断された前記コンテンツの特徴量を前記蓄積手段に
    登録するコンテンツ登録手段と、 前記照合手段の照合結果を記録する記録手段と、 を備えることを特徴とする放送確認装置。
  4. 【請求項4】 前記コンテンツ特徴量抽出手段は、 放送信号から前記コンテンツを抽出するコンテンツ抽出
    手段と、 前記コンテンツ抽出手段により抽出された前記コンテン
    ツの特徴量を算出する第2の特徴量算出手段と、 を備えることを特徴とする請求項1乃至請求項3のいず
    れかの項に記載の放送確認装置。
  5. 【請求項5】 前記コンテンツ特徴量抽出手段は、 放送信号から特徴量を算出する第2の特徴量算出手段
    と、 前記第2の特徴量算出手段により算出された特徴量から
    コンテンツ区間を推定し、該コンテンツ区間に相当する
    特徴量を切り出すコンテンツ特徴量切り出し手段と、 を備えることを特徴とする請求項1乃至請求項3のいず
    れかの項に記載の放送確認装置。
  6. 【請求項6】 映像を含むコンテンツの放送を確認する
    放送確認装置であって、 前記コンテンツの特徴量を蓄える蓄積手段と、 放送信号から特徴量を算出する第1の特徴量算出手段
    と、 前記第1の特徴量算出手段により算出された特徴量と前
    記蓄積手段上の特徴量とを照合する照合手段と、 前記照合手段の照合結果を記録する記録手段と、 前記照合手段の照合の結果、前記蓄積手段に含まれない
    と判断された特徴量に対して、前記コンテンツの特徴量
    であるか否かを判定するコンテンツ判定手段と、 前記コンテンツ判定手段により前記コンテンツの特徴量
    であると判定された特徴量を前記蓄積手段に登録するコ
    ンテンツ登録手段と、 を備えることを特徴とする放送確認装置。
  7. 【請求項7】 前記コンテンツ判定手段は、 前記照合手段の照合結果に基づいて、前記判定を行うこ
    とを特徴とする請求項6に記載の放送確認装置。
  8. 【請求項8】 前記特徴量算出手段は、 コンテンツの映像データに含まれる全てまたは一部のフ
    レームについて縮小画像を生成し、該縮小画像に対して
    周波数変換および量子化を施すことによって前記特徴量
    を生成することを特徴とする請求項1乃至請求項7のい
    ずれかの項に記載の放送確認装置。
  9. 【請求項9】 前記特徴量算出手段は、 受信される全てのフレームについて前記特徴量を算出す
    ることを特徴とする請求項1乃至請求項8のいずれかの
    項に記載の放送確認装置。
  10. 【請求項10】 前記特徴量算出手段は、 受信される一部のフレームについて前記特徴量を算出す
    ることを特徴とする請求項1乃至請求項8のいずれかの
    項に記載の放送確認装置。
  11. 【請求項11】 前記照合手段の照合結果が、前記蓄積
    手段上の特徴量との一致であったときの時刻情報を生成
    する時刻情報生成手段と、 前記蓄積手段上の特徴量と一致した特徴量のコンテンツ
    に、前記時刻情報を付加する時刻情報付加手段と、 前記時刻情報が付加されたコンテンツを記録する記録手
    段と、 をさらに具備することを特徴とする請求項1乃至請求項
    10のいずれかの項に記載の放送確認装置。
  12. 【請求項12】 前記特徴量算出手段は、前記コンテン
    ツに含まれた音声データを検出し、 前記蓄積手段は、前記コンテンツに含まれた音声データ
    を蓄積し、 前記照合手段は、前記検出された音声データと前記蓄積
    された音声データとを照合して照合結果を出力すること
    を特徴とする請求項1乃至請求項11のいずれかの項に
    記載の放送確認装置。
  13. 【請求項13】 依頼主により放送確認を希望されたコ
    ンテンツの放送を確認する放送確認システムであって、 請求項1乃至請求項12のいずれかの項に記載の放送確
    認装置と、 前記放送確認装置によって記録された照合結果を前記依
    頼主に報告する報告手段と、 を具備することを特徴とする放送確認システム。
  14. 【請求項14】 前記報告手段は、 前記照合結果が示されたデータを前記依頼主に送付する
    ことを特徴とする請求項13に記載の放送確認システ
    ム。
  15. 【請求項15】 前記報告手段は、 前記放送確認装置によって記録された照合結果から、前
    記依頼主が希望するコンテンツの照合結果を検索して報
    告することを特徴とする請求項13に記載の放送確認シ
    ステム。
  16. 【請求項16】 映像を含むコンテンツの放送を確認す
    る放送確認方法であって、 前記放送確認方法は、 放送信号から前記コンテンツの特徴量を抽出する手順
    と、 この抽出されたコンテンツの特徴量を蓄える手順と、 放送信号から特徴量を算出する手順と、 この算出された特徴量と前記蓄えられた特徴量とを照合
    する手順と、 この照合によって得られた照合結果を記録する手順と、 を含むことを特徴とする放送確認方法。
  17. 【請求項17】 映像を含むコンテンツの放送を確認す
    る放送確認方法であって、 前記放送確認方法は、 前記コンテンツの特徴量を蓄える手順と、 放送信号から前記コンテンツの特徴量を抽出する手順
    と、 この抽出された特徴量と前記蓄えられた特徴量とを照合
    する手順と、 この照合の結果、前記蓄えられた特徴量に含まれないと
    判断された前記抽出された特徴量を新たに蓄える手順
    と、 放送信号から特徴量を算出する手順と、 この算出された特徴量と前記蓄えられた特徴量とを照合
    する手順と、 この照合によって得られた照合結果を記録する手順と、 を含むことを特徴とする放送確認方法。
  18. 【請求項18】 映像を含むコンテンツの放送を確認す
    る放送確認方法であって、 前記放送確認方法は、 前記コンテンツの特徴量を蓄える手順と、 放送信号から前記コンテンツの特徴量を抽出する手順
    と、 この抽出されたコンテンツの特徴量と前記蓄えられた特
    徴量とを照合する手順と、 この照合の結果、前記蓄えられた特徴量に含まれないと
    判断された前記抽出された特徴量を新たに蓄える手順
    と、 前記照合によって得られた照合結果を記録する手順と、 を含むことを特徴とする放送確認方法。
  19. 【請求項19】 映像を含むコンテンツの放送を確認す
    る放送確認方法であって、 前記放送確認方法は、 前記コンテンツの特徴量を蓄える手順と、 放送信号から特徴量を算出する手順と、 この算出された特徴量と前記蓄えられた特徴量とを照合
    する手順と、 この照合によって得られた照合結果を記録する記録手順
    と、 前記照合の結果、前記蓄えられた特徴量に含まれないと
    判断された前記算出された特徴量に対して、前記コンテ
    ンツの特徴量であるか否かを判定する手順と、 この判定の結果、前記コンテンツの特徴量であると判定
    された前記算出された特徴量を新たに蓄える手順と、 を含むことを特徴とする放送確認方法。
  20. 【請求項20】 請求項16乃至19のいずれかの項に
    記載の放送確認方法を実行することを特徴とする放送確
    認プログラムを記録したコンピュータ読み取り可能な記
    録媒体。
JP2000243316A 2000-08-10 2000-08-10 放送確認システム、放送確認装置および方法、放送確認プログラムを記録した記録媒体 Expired - Fee Related JP3775186B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2000243316A JP3775186B2 (ja) 2000-08-10 2000-08-10 放送確認システム、放送確認装置および方法、放送確認プログラムを記録した記録媒体
PCT/JP2001/006931 WO2002015596A1 (fr) 2000-08-10 2001-08-10 Systeme, dispositif et procede de confirmation de diffusion, support d'enregistrement enregistrant ce programme de confirmation de diffusion
EP01965553A EP1324622A4 (en) 2000-08-10 2001-08-10 "ROUND SEND CONFIRMATION SYSTEM, ROUND SEND CONFIRMATION APPARATUS AND METHOD, RECORDING MEDIUM IN WHICH THE ROUND SEND CONFIRMATION PROGRAM IS RECORDED"
US10/344,147 US20040013401A1 (en) 2000-08-10 2001-08-10 Broadcast confirmation system, broadcast confirmation device and method, recorded medium where broadcast confirmation program is recorded

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000243316A JP3775186B2 (ja) 2000-08-10 2000-08-10 放送確認システム、放送確認装置および方法、放送確認プログラムを記録した記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2005009704A Division JP2005198326A (ja) 2005-01-17 2005-01-17 映像確認装置および方法、放送確認装置および方法、コンピュータプログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JP2002058049A true JP2002058049A (ja) 2002-02-22
JP3775186B2 JP3775186B2 (ja) 2006-05-17

Family

ID=18734190

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000243316A Expired - Fee Related JP3775186B2 (ja) 2000-08-10 2000-08-10 放送確認システム、放送確認装置および方法、放送確認プログラムを記録した記録媒体

Country Status (4)

Country Link
US (1) US20040013401A1 (ja)
EP (1) EP1324622A4 (ja)
JP (1) JP3775186B2 (ja)
WO (1) WO2002015596A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005519540A (ja) * 2002-03-07 2005-06-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 個人向けコマーシャルチャネルを生成する方法及び装置
JP2005198326A (ja) * 2005-01-17 2005-07-21 Nec Corp 映像確認装置および方法、放送確認装置および方法、コンピュータプログラムを記録した記録媒体
JP2006229508A (ja) * 2005-02-17 2006-08-31 Hitachi Ltd 放送内容の監視装置
JP2008176705A (ja) * 2007-01-22 2008-07-31 Fujitsu Ltd Cm調査装置、cm調査システム、cm調査利用者端末及びcm調査プログラム
US7920164B2 (en) 2003-07-28 2011-04-05 Nec Corporation Viewing surveillance system for carrying out surveillance independent of a broadcasting form
JP2014053848A (ja) * 2012-09-10 2014-03-20 Nec Corp 映像データ処理装置、映像処理システム、映像処理方法、及びプログラム
JP2016032237A (ja) * 2014-07-30 2016-03-07 株式会社ビデオリサーチコムハウス 放送照合装置及びシステム及び方法及びプログラム
JP2018107787A (ja) * 2017-05-19 2018-07-05 株式会社Cygames 情報処理システム、情報処理装置及びプログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7716714B2 (en) * 2004-12-01 2010-05-11 At&T Intellectual Property I, L.P. System and method for recording television content at a set top box
US8434116B2 (en) 2004-12-01 2013-04-30 At&T Intellectual Property I, L.P. Device, system, and method for managing television tuners
KR101027159B1 (ko) * 2008-07-28 2011-04-05 뮤추얼아이피서비스(주) 타겟 영상 검출 장치 및 그 방법
US20130160043A1 (en) * 2010-05-24 2013-06-20 Vubites India Private Limited System and method for image matching for analysis and processing of a broadcast stream

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3919479A (en) * 1972-09-21 1975-11-11 First National Bank Of Boston Broadcast signal identification system
US4677466A (en) 1985-07-29 1987-06-30 A. C. Nielsen Company Broadcast program identification method and apparatus
US4739398A (en) * 1986-05-02 1988-04-19 Control Data Corporation Method, apparatus and system for recognizing broadcast segments
JPH0666738B2 (ja) * 1990-04-06 1994-08-24 株式会社ビデオ・リサーチ Cm自動確認装置
US5436653A (en) 1992-04-30 1995-07-25 The Arbitron Company Method and system for recognition of broadcast segments
CA2119970A1 (en) * 1994-03-25 1995-09-26 Michael A. Lyons Program monitoring system
WO1998020675A1 (en) * 1996-11-01 1998-05-14 Jerry Iggulden Method and apparatus for automatically identifying and selectively altering segments of a television broadcast signal in real-time
US5826165A (en) * 1997-01-21 1998-10-20 Hughes Electronics Corporation Advertisement reconciliation system
JP3496559B2 (ja) * 1999-01-06 2004-02-16 日本電気株式会社 画像特徴量生成装置、並びに画像特徴量生成方法
CA2293957C (en) 1999-01-07 2011-05-17 Nielsen Media Research, Inc. Detection of media links in broadcast signals
JP2001326952A (ja) * 2000-05-15 2001-11-22 Nec Corp 放送確認システム、放送確認方法及び装置、放送確認プログラムを記録した記録媒体

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005519540A (ja) * 2002-03-07 2005-06-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 個人向けコマーシャルチャネルを生成する方法及び装置
US7920164B2 (en) 2003-07-28 2011-04-05 Nec Corporation Viewing surveillance system for carrying out surveillance independent of a broadcasting form
JP2005198326A (ja) * 2005-01-17 2005-07-21 Nec Corp 映像確認装置および方法、放送確認装置および方法、コンピュータプログラムを記録した記録媒体
JP2006229508A (ja) * 2005-02-17 2006-08-31 Hitachi Ltd 放送内容の監視装置
JP2008176705A (ja) * 2007-01-22 2008-07-31 Fujitsu Ltd Cm調査装置、cm調査システム、cm調査利用者端末及びcm調査プログラム
JP2014053848A (ja) * 2012-09-10 2014-03-20 Nec Corp 映像データ処理装置、映像処理システム、映像処理方法、及びプログラム
JP2016032237A (ja) * 2014-07-30 2016-03-07 株式会社ビデオリサーチコムハウス 放送照合装置及びシステム及び方法及びプログラム
JP2018107787A (ja) * 2017-05-19 2018-07-05 株式会社Cygames 情報処理システム、情報処理装置及びプログラム

Also Published As

Publication number Publication date
EP1324622A4 (en) 2009-04-01
WO2002015596A1 (fr) 2002-02-21
US20040013401A1 (en) 2004-01-22
JP3775186B2 (ja) 2006-05-17
EP1324622A1 (en) 2003-07-02

Similar Documents

Publication Publication Date Title
US6880082B2 (en) Broadcast verification system, broadcast verification method, broadcast verification apparatus and storage medium storing broadcast verification program
US8181194B2 (en) Cooperative system for measuring electronic media
US10419809B2 (en) Selection and presentation of context-relevant supplemental content and advertising
US8302120B2 (en) Methods and apparatus to monitor advertisement exposure
US8966516B2 (en) Determining automatically generated channel tunes based on channel tune dwell times
JP5824007B2 (ja) キーワード検索に基づく媒体挿入のためのシステム及び方法
US20030023972A1 (en) Method for charging advertisers based on adaptive commercial switching between TV channels
US8677393B2 (en) Methods and apparatus to verify consumption of programming content
JP3775186B2 (ja) 放送確認システム、放送確認装置および方法、放送確認プログラムを記録した記録媒体
JP2021519557A (ja) ローカルコマーシャル挿入機会の識別のための方法、コンピュータ可読記憶媒体及び装置
US8595760B1 (en) System, method and computer program product for presenting an advertisement within content
JP6082716B2 (ja) 放送照合システム及び方法
US8555308B1 (en) System, method and computer program product for calculating the cost of an advertisement
JP2005198326A (ja) 映像確認装置および方法、放送確認装置および方法、コンピュータプログラムを記録した記録媒体
KR102362889B1 (ko) 콘텐츠의 노출 정보 제공 서비스 방법 및 시스템
US20100306062A1 (en) Tracking public performances using unique identifiers

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041116

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050117

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050830

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20050929

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051024

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20050929

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20051124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060213

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100303

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100303

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110303

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120303

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120303

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130303

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130303

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140303

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees