JP4547678B2 - CM detection device - Google Patents
CM detection device Download PDFInfo
- Publication number
- JP4547678B2 JP4547678B2 JP2006090501A JP2006090501A JP4547678B2 JP 4547678 B2 JP4547678 B2 JP 4547678B2 JP 2006090501 A JP2006090501 A JP 2006090501A JP 2006090501 A JP2006090501 A JP 2006090501A JP 4547678 B2 JP4547678 B2 JP 4547678B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- block
- change
- detected
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、ＣＭを含んで放送される番組コンテンツを受信する際、またはＣＭを含んで録画された番組コンテンツを再生する際に、それぞれの番組コンテンツ中のＣＭ部分を、自動的に検出するＣＭ検出装置に関するものである。 The present invention automatically detects a CM portion in each program content when receiving program content broadcast including CM or reproducing program content recorded including CM. The present invention relates to a detection device.
ビデオディスクレコーダー（ＶＤＲ）等の番組記録再生装置で番組コンテンツを録画する場合、通常は番組コンテンツ中に挿入されるコマーシャル（以下ＣＭと呼ぶ）も同時に録画される。しかし、ＣＭは番組本編とは関係の無い内容であるため、本編のみを連続して観たいというユーザーニーズがある。このユーザーニーズに対応するため、録画する番組コンテンツ中のＣＭ区間を自動的に検出し、そのＣＭ区間をカットして録画したり、検出したＣＭと番組本編との切り替り位置にチャプターを打ち、このチャプターを基にＣＭ区間をスキップして再生したりする機能を持つ番組記録装置が存在する。
従来のＣＭ検出技術としては、例えば特許文献１に記載されているような、モノラルモードと音声多重モードという音声モードの違いを検出する方法がある。この方法は、番組本編はモノラルモードで放送されることが多く、ＣＭは音声多重モードで放送されることが多いことに着目したもので、音声多重モードで放送される区間をＣＭ区間として検出する。しかし、近年は番組本編も音声多重モードで放送される番組コンテンツが増えてきているために、この方法が有効となるケースが少なくなっているという問題がある。
上記問題を解決するために、音声モードの違いを用いなくてもＣＭを検出できる方法として、例えば特許文献２に記載の方法が提案されている。この方法は、無音区間およびショットチェンジを利用したＣＭ区間検出法である。ＣＭを伴う番組コンテンツを放送する場合、一般的に番組本編とＣＭとの切り替り時点やＣＭ同士の切り替り時点に１０〜２０ｍｓ程度の無音の区間をつけて放送するケースが多い。また、1つのＣＭの放送時間は１５秒、３０秒等、一般的に１５秒の整数倍にするケースが多い。特許文献２に記載の方法は、これらの放送上の特徴に着目し、無音区間とショットチェンジとを検出することによってＣＭ区間を推定するという提案である。具体的には、無音区間とショットチェンジとが同時に発生したと判断した時点から、次に無音区間とショットチェンジとが同時に発生したと判断する時点までの秒数が、ＣＭ放送秒数として予め定められた秒数（１５秒の整数倍）と一致した場合にＣＭ候補と判定するものである。
ショットチェンジとは、「ショット（カメラの切り替えなどにより物理的に区切られた映像）」の切り替りのことである。このショットチェンジには「シーン（意味的に区切られた映像）」の切り替りであるシーンチェンジも含まれる。
As a conventional CM detection technique, there is a method for detecting a difference between a sound mode such as a monaural mode and a sound multiplex mode as described in
In order to solve the above problem, for example, a method described in Patent Document 2 has been proposed as a method for detecting a CM without using a difference in audio mode. This method is a CM section detection method using a silent section and a shot change. When broadcasting program content accompanied by a CM, generally, there are many cases in which a silent section of about 10 to 20 ms is added at the time of switching between the main program and the CM and the time of switching between CMs. Also, in many cases, the broadcast time of one CM is generally an integral multiple of 15 seconds, such as 15 seconds or 30 seconds. The method described in Patent Document 2 is a proposal of estimating a CM section by focusing on these broadcast characteristics and detecting a silence section and a shot change. Specifically, the number of seconds from the time when it is determined that the silent section and the shot change occur simultaneously to the time when it is determined that the silent section and the shot change occur simultaneously is determined in advance as the CM broadcast seconds. When the number of seconds matches (an integer multiple of 15 seconds), the CM candidate is determined.
A shot change is a change of “shot (video physically separated by camera switching etc.)”. This shot change includes a scene change which is a change of “scene (semantically divided video)”.
しかしながら、特許文献２に記載の方法では、ＣＭではなく番組本編の中で無音区間とショットチェンジが同時に発生し、かつ、その発生間隔が１５秒の整数倍であった場合、そのすべての区間をＣＭとして検出してしまう。そのため、例えば３０分の番組コンテンツ中に、本来検出すべきＣＭ区間以外にも、番組本編中に上記した条件に合致した区間をＣＭ区間として誤検出してしまうという課題が残る。
また、ＣＭには１５秒の整数倍の放送時間の通常のＣＭの他に、５秒とか１０秒という短い放送時間の番組宣伝ＣＭもある。この番組宣伝ＣＭも、番組本編とは無関係の場合が多いので、通常のＣＭと同様に検出することが望ましいが、特許文献２に記載の方法では検出することができないという課題がある。
本発明は、上記課題を鑑みてなされたものであり、従来の技術よりも、より正確なＣＭ区間の検出が可能なＣＭ検出装置を提供することを目的とする。
However, in the method described in Patent Document 2, if a silent section and a shot change occur simultaneously in the main part of the program instead of the CM and the generation interval is an integral multiple of 15 seconds, all the sections are determined. It will be detected as CM. Therefore, for example, in the 30-minute program content, there remains a problem that, in addition to the CM section that should be detected originally, a section that matches the above-described conditions in the main part of the program is erroneously detected as a CM section.
In addition to regular commercials with broadcast times that are integral multiples of 15 seconds, there are also program advertisement commercials with short broadcast times of 5 seconds or 10 seconds. Since this program advertisement CM is often unrelated to the main program, it is desirable to detect it in the same way as a normal CM, but there is a problem that it cannot be detected by the method described in Patent Document 2.
The present invention has been made in view of the above problems, and an object of the present invention is to provide a CM detection apparatus capable of detecting a CM section more accurately than the conventional technique.
そこで上記課題を解決するために本発明は、下記の装置を提供するものである。
（１）所定単位時間の倍数として予め定められている放送時間を有するＣＭが挿入されている、映像信号と音声信号とで構成される１つ以上の番組コンテンツと、この番組コンテンツの放送チャンネル、放送時間、ジャンルを含む番組情報とが放送又は録画されたコンテンツから、１つ以上の前記ＣＭからなるＣＭブロックの前記コンテンツへの挿入期間であるＣＭ挿入期間の開始時刻と挿入終了時刻とを検出するＣＭ検出装置において、
前記番組情報を記憶する番組情報保持手段と、(125)
前記コンテンツのうちの音声信号を、所定期間に設定された監視窓に逐次入力させ、この監視窓内での音声信号の音量の変化を用いて谷部を逐次検出し、この谷部を検出した時刻を中心時刻とする前後の所定期間を無音区間として検出すると共に、その谷部の音量をその無音区間の最小音量として検出する無音区間検出手段と、(112)
前記番組情報保持手段から前記コンテンツに含まれる各番組コンテンツ毎の番組情報のうちのジャンルを取得すると共に、前記無音区間検出手段で検出した全ての前記無音区間の最小音量を参照し、その最小音量の小さい方から順番に、それぞれ直近の最小音量の大きい方から小さい方への最小音量の差分値を算出していき、この差分値が、前回までに算出した差分値のうちの最も大きい差分値に対して、予め番組のジャンル毎に設定されている倍率以上の値になる差分値が検出された場合は、この検出された差分値を算出した最小音量間の中間値を閾値として検出し、前記最大倍率での差分値が検出されなかった場合は、前記閾値が検出されるまで前記倍率を漸次小さくして前記閾値の検出処理を繰り返し行って、前記閾値を検出し、この検出した閾値よりも小さい最小音量を有する各無音区間を選択する無音区間選択手段と、(115)
前記選択した無音区間の最小音量と中心時刻とをそれぞれ記憶する無音区間情報保持手段と、（122)
前記コンテンツのうちの映像信号を構成する各画像において、連続する前後の画像間の相関の度合いを示す相関値を算出し、この算出した相関値が予め決定している所定値を下回った時点をショットチェンジとして検出するショットチェンジ検出手段と、(111)
前記ショットチェンジを検出した時刻であるショットチェンジ検出時刻を記憶するショットチェンジ情報保持手段と、(121)
前記無音区間情報保持手段に記憶されている各無音区間の中心時刻を読み出すと共に、前記ショットチェンジ情報保持部に記憶されているショットチェンジ検出時刻を読み出して、読み出した前記各中心時刻から得られる各無音区間内に、前記ショットチェンジ検出時刻が含まれた場合、この含まれたショットチェンジ検出時刻をＣＭチェンジ候補時刻として検出し、このショットチェンジ検出時刻が含まれた無音区間の最小音量をＣＭチェンジ候補音量として検出するＣＭチェンジ候補検出手段と、(113)
検出した前記ＣＭチェンジ候補時刻と前記ＣＭチェンジ候補音量とをＣＭチェンジ候補情報として記憶するＣＭチェンジ候補情報保持手段と、（123)
検出された前記ＣＭチェンジ候補時刻のうち一のＣＭチェンジ候補時刻から、前記ＣＭ挿入期間分経過した時刻が、他のＣＭチェンジ候補時刻と一致した場合に、その一のＣＭチェンジ候補時刻から他のＣＭチェンジ候補時刻までの期間をＣＭブロック候補として各番組コンテンツ毎に検出するＣＭブロック候補検出手段と、(114)
前記番組情報保持手段から前記ＣＭブロック候補を検出した各番組コンテンツ毎の番組情報を取得して、この取得した番組情報のうちの放送チャンネル、放送時間、ジャンルの組み合わせによって前記各番組コンテンツに挿入されるべきＣＭブロックの個数上限、各ＣＭブロックの時間上限、各ＣＭブロックのトータル時間上限を類推し、これらの各上限値を、前記各番組コンテンツのうち一の番組コンテンツで検出したＣＭブロック候補の個数、各ＣＭブロック候補の時間、各ＣＭブロック候補のトータル時間のうち少なくとも１つが超えている場合に、各ＣＭブロック候補内のＣＭチェンジ候補音量を基にして、予め決定してある優先順位に従って、前記上限値を越えたもの対して、その上限値を超えないように各ＣＭブロック候補を削除または時間を削減して前記一の番組コンテンツ内のＣＭブロックを決定するＣＭブロック決定手段と、(114)
前記ＣＭブロック決定手段により決定されたＣＭブロックの開始時刻と終了時刻とをＣＭブロック情報として記憶するＣＭブロック情報保持手段と、(124)
を有することを特徴とするＣＭ検出装置。
Therefore, in order to solve the above problems, the present invention provides the following apparatus.
( 1 ) One or more program contents composed of a video signal and an audio signal in which a CM having a predetermined broadcast time as a multiple of a predetermined unit time is inserted, a broadcast channel of the program content, The start time and insertion end time of the CM insertion period, which is the insertion period of the CM block composed of one or more CMs, are detected from the content that is broadcast or recorded with program information including broadcast time and genre. In the CM detection device
Program information holding means for storing the program information; (125)
The audio signal of the content is sequentially input to a monitoring window set for a predetermined period, and a valley is sequentially detected using a change in the volume of the audio signal in the monitoring window, and the valley is detected. A silent period detecting means for detecting a predetermined period before and after the time as a central time as a silent period, and detecting the volume of the valley as the minimum volume of the silent period, (112)
The genre of the program information for each program content included in the content is acquired from the program information holding unit, and the minimum volume of all the silent sections detected by the silent section detecting unit is referred to, and the minimum volume is obtained. In order from the smallest, the difference value of the minimum volume from the most recent smallest volume to the smallest is calculated, and this difference value is the largest difference value calculated up to the previous time. On the other hand, if a difference value that is greater than or equal to the magnification set in advance for each genre of the program is detected, an intermediate value between the minimum volumes for calculating the detected difference value is detected as a threshold, When the difference value at the maximum magnification is not detected, the threshold is detected by repeating the threshold detection process by gradually reducing the magnification until the threshold is detected. A silent interval selecting means for selecting each silent section having a smaller minimum volume than out threshold, (115)
Silent section information holding means for storing the minimum volume and the center time of the selected silent section, respectively (122)
In each image constituting the video signal of the content, a correlation value indicating a degree of correlation between consecutive images is calculated, and a point in time when the calculated correlation value falls below a predetermined value determined in advance. Shot change detection means for detecting as a shot change, (111)
Shot change information holding means for storing a shot change detection time which is a time when the shot change is detected, (121)
The center time of each silence section stored in the silence section information holding means is read out, and the shot change detection time stored in the shot change information holding unit is read out, and each obtained from each read center time When the shot change detection time is included in a silence section, the included shot change detection time is detected as a CM change candidate time, and the minimum volume of the silence section including the shot change detection time is detected as a CM change. CM change candidate detecting means for detecting as a candidate volume; (113)
CM change candidate information holding means for storing the detected CM change candidate time and the CM change candidate volume as CM change candidate information; (123)
When the time that has passed for the CM insertion period from one CM change candidate time among the detected CM change candidate times coincides with another CM change candidate time, the other CM change candidate time is changed to another CM block candidate detecting means for detecting a period until the CM change candidate time as a CM block candidate for each program content; (114)
Program information for each program content in which the CM block candidate is detected is acquired from the program information holding means, and inserted into each program content by a combination of broadcast channel, broadcast time, and genre in the acquired program information. By analogizing the upper limit of the number of CM blocks to be processed, the upper limit of the time of each CM block, and the upper limit of the total time of each CM block, these upper limit values are the CM block candidates detected in one program content among the program contents. When at least one of the number, the time of each CM block candidate, and the total time of each CM block candidate is exceeded, the priority is determined in advance based on the CM change candidate volume in each CM block candidate. For each block that exceeds the upper limit, each CM block candidate is deleted so that the upper limit is not exceeded. Or a CM block determining means for determining the CM blocks in the one program content to reduce the time, (114)
CM block information holding means for storing the start time and end time of the CM block determined by the CM block determination means as CM block information; (124)
A CM detection device comprising:
本発明のＣＭ検出装置によれば、受信／または再生されるあらゆる番組コンテンツにおいて、誤検出の極めて少ないＣＭ検出を行なうことができるという効果を得ることができる。 According to the CM detection apparatus of the present invention, it is possible to obtain an effect that CM detection with very few false detections can be performed in any program content received / reproduced.
また音量の平均値等から閾値を計算する必要がなくなるため、リアルタイムでの無音部検出が可能となり、従来例と比較して、使用メモリを減らすことができる効果がある。
また、無音区間中にショットチェンジが起こった時刻をＣＭチェンジ候補とし、この間隔によってＣＭブロック候補を検出することで、無音区間の間隔によりＣＭ候補を検出し、その後でショットチェンジにＣＭ候補を取捨選択する特許文献２に記載の従来例よりも、ＣＭブロック候補検出にかける処理量を低減することができる。
In addition, since it is not necessary to calculate the threshold value from the average value of the sound volume or the like, it is possible to detect the silent part in real time, and there is an effect that the used memory can be reduced compared to the conventional example.
Also, the time when a shot change occurred during a silent section is taken as a CM change candidate, and by detecting the CM block candidate based on this interval, the CM candidate is detected based on the interval of the silent section, and then the CM candidate is discarded in the shot change. Compared to the conventional example described in Patent Document 2 to be selected, the amount of processing applied to CM block candidate detection can be reduced.
本発明のＣＭ検出装置の実施の形態を以下に詳細に説明する。
＜全体構成＞
図１は、本発明のＣＭ検出装置の実施の形態の構成例を示すブロック図である。
このＣＭ検出装置１００は、放送番組コンテンツ受信装置２００、または録画コンテンツ再生装置３００から出力される、映像信号、音声信号、及びこの映像信号と音声信号に対応する番組コンテンツの放送時間、ジャンル等を示す番組情報を入力とするものである。
ショットチェンジ検出部１１１は、入力された映像信号の各フレームの特徴量によって、ショットの切り替りであるショットチェンジを検出する。そして、このショットチェンジを検出した時刻であるショットチェンジ時刻を、ショットチェンジ情報としてショットチェンジ情報保持部１２１に記録する。
無音区間検出部１１２は、入力された音声信号の音量によって、無音区間を検出する。そして、この無音区間の中心となる位置の時刻を無音区間検出時刻として記憶しておく。ここで検出する「無音区間」とは、音量が０である真の「無音」の区間ではなく、予め設定している条件に合致した、小音量の区間のことである。
番組情報保持部１２５は、入力された番組情報を記録する。
無音区間選択部１１５は、無音区間検出部１１２で検出した無音区間の中から、番組本編とＣＭとの切り替り位置であるＣＭチェンジ位置で発生したと予想される無音区間を、番組情報保持部１２５に記録されている番組情報を用いて選択する。そして、この選択した無音区間の無音区間検出時刻と、この無音区間での最小音量とを無音区間情報として無音区間情報保持部１２２に記録する。
An embodiment of the CM detection apparatus of the present invention will be described in detail below.
<Overall configuration>
FIG. 1 is a block diagram showing a configuration example of an embodiment of a CM detection apparatus of the present invention.
The
The shot
The
The program
The silent
ＣＭチェンジ候補検出部１１３は、ショットチェンジ情報保持部１２１に記録されているショットチェンジ時刻と、無音区間情報保持部１２２に記録されている無音区間検出時刻及び最小音量とから、ＣＭ同士、又はＣＭと番組本編との切換わりと予想されるＣＭチェンジ候補を検出する。そして、ＣＭチェンジ候補を検出した無音区間の無音区間検出時刻をＣＭチェンジ候補時刻とし、同様にこの無音区間での最小音量をこのＣＭチェンジ候補の音量とし、このＣＭチェンジ候補時刻とＣＭチェンジ候補の音量とをＣＭチェンジ候補情報としてＣＭチェンジ候補情報保持部１２３に記録する。
ＣＭブロック候補検出部１１４は、ＣＭチェンジ候補情報保持部１２３に記録されているＣＭチェンジ候補情報を用いて、単体のＣＭ、又は連続する複数のＣＭが放送される区間であるＣＭブロック候補を検出する。
ＣＭブロック決定部１１６は、番組情報保持部１２５に記録されている番組情報を用いて、ＣＭブロック候補検出部１１４で検出されたＣＭブロック候補から、真のＣＭブロックであると推定されるものを決定し、この決定したＣＭブロック候補をＣＭブロックとして決定する。
ＣＭブロック情報保持部１２４は、ＣＭブロック決定部１１６で決定されたＣＭブロックの開始時刻及び終了時刻の情報を記録する。
以上が本実施例のＣＭ検出装置の概略構成である。
［各部の詳細］
次に、上記で説明した構成の各部の詳細について説明する。
＜ショットチェンジ検出部１１１＞
ショットチェンジ検出部１１１では、入力される映像信号の連続するフレーム間でのショットの切り替りであるショットチェンジを検出し、このショットチェンジを検出した時刻を取得する。
ショットチェンジの検出方法としては、連続する２枚のフレームの相関を用いる方法がある。通常の動画の場合、連続する２枚のフレーム間には強い相関があるが、ショットチェンジが発生すると、そのショットチェンジの前後のフレームには相関が無くなるか若しくは非常に弱くなる。この相関の強弱の変化に着目し、この相関の度合いを表す相関値を算出してこの値によってショットチェンジを検出する。
なお、フレームとは動画における１枚の画像を構成する単位を示す意味あいで使用しており、インターレース方式におけるフィールドもフレーム（画像）と同義である。
相関値の算出方法には、例えば
（１）各フレームの信号レベルのヒストグラムの相関を使う方法。
（２）それぞれのフレームの各画素について差分をとり、その積分値を相関値にする方法。
（３）それぞれのフレームを複数の領域に分け、各領域での相関を計算し多数決をとる方法。
などがある。
本実施例では（１）の方法を用いてショットチェンジを検出する場合を説明するが、もちろん（２）（３）の方法を用いても良い。
フレーム内の全画素を用いると計算量が多くなるため、フレーム内の画素を、例えば横方向に２０画素おき、縦方向に１０画素おきに間引いてサンプリングし、このサンプリングした各画素の色相のレベル及び輝度のレベルを算出する。
色相レベルを３６段階に分割し、各段階のレベルの範囲内の色相レベルを有する画素の個数を度数とする色相ヒストグラムを作成する。同様に輝度レベルを３２段階に分割し、輝度ヒストグラムを作成する。
この色相ヒストグラムと輝度ヒストグラムについて、連続する２枚のフレームであるＦｌａとＦｌｂとの相関値を算出する。相関値は下記数式１で求められる。
The CM change
The CM block
The CM block determination unit 116 uses the program information recorded in the program
The CM block
The above is the schematic configuration of the CM detection apparatus of the present embodiment.
[Details of each part]
Next, details of each part of the configuration described above will be described.
<Shot
The shot
As a shot change detection method, there is a method using the correlation of two consecutive frames. In the case of a normal moving image, there is a strong correlation between two consecutive frames, but when a shot change occurs, the frames before and after the shot change have no correlation or become very weak. Focusing on the change in the strength of this correlation, a correlation value representing the degree of this correlation is calculated, and a shot change is detected based on this value.
Note that the term “frame” is used to indicate a unit constituting one image in a moving image, and a field in the interlace method is also synonymous with a frame (image).
As a correlation value calculation method, for example, (1) a method of using the correlation of the histogram of the signal level of each frame.
(2) A method in which a difference is obtained for each pixel of each frame and the integrated value is used as a correlation value.
(3) A method in which each frame is divided into a plurality of areas, the correlation in each area is calculated, and a majority decision is taken.
and so on.
In this embodiment, the case of detecting a shot change using the method (1) will be described, but the methods (2) and (3) may be used.
When all the pixels in the frame are used, the amount of calculation increases. Therefore, for example, the pixels in the frame are sampled by thinning out every 20 pixels in the horizontal direction and every 10 pixels in the vertical direction, and the hue level of each sampled pixel And the luminance level is calculated.
The hue level is divided into 36 stages, and a hue histogram is created with the number of pixels having hue levels within the range of each stage as the frequency. Similarly, the luminance level is divided into 32 levels, and a luminance histogram is created.
For this hue histogram and luminance histogram, a correlation value between Fla and Flb, which are two consecutive frames, is calculated. The correlation value is determined by the following
a(i)：ヒストグラムaの要素iの度数
b(i)：ヒストグラムbの要素iの度数
n ：ヒストグラムa，bの要素数
上記数式１で算出した２枚のフレーム間の色相または輝度のいずれかの相関値が、予め決定した閾値以下であった場合、この２枚のフレーム間でショットチェンジが起こったと判断する。
a (i): Frequency of element i of histogram a
b (i): Frequency of element i of histogram b
n: Number of elements in histograms a and b
If the correlation value of either hue or luminance between the two frames calculated by
なお、上記のように、フレーム内の全画素ではなく、間引いてサンプリングした画素のみで相関値を算出した場合でも、ショットチェンジの検出精度としては、全画素を使用した場合に比べてほとんど劣らないことは、詳細な実験によって確認済みである。
＜無音区間検出部１１２＞
無音区間検出部１１２では、入力された音声信号の音量によって、無音区間を検出する。番組本編とＣＭとの切り替り目、及びＣＭ同士の切り替り目では、音量が非常に低くなる極短い区間が発生することに着目して、この音量が低下する区間を無音区間として検出する。このように、本実施例の説明で使用する「無音区間」とは、音量が０である真の「無音」の区間ではなく、上記で述べたように非常に音量が低くなる区間のことを示す。
As described above, even when the correlation value is calculated using only the pixels sampled by sampling instead of all the pixels in the frame, the accuracy of shot change detection is almost inferior to that when using all the pixels. This has been confirmed by detailed experiments.
<Silence
The
番組本編とＣＭとの切り替り目、及びＣＭ同士の切り替り目の無音区間は、一般的に数１００ミリ秒程度である。従って特許文献２に記載の方法のように、録画する番組コンテンツの最初から最後まですべての音声信号を記録し、番組終了後に無音区間を検出する方法では、１００ミリ秒単位で音声信号をサンプリングし、そのサンプリングポイントでの音声信号の音量のデータを記録しておく必要がある。しかし、番組の開始から終了までにわたって、１００ミリ秒単位でサンプリングした音量データを記録するのは、計算速度の点においても、メモリ使用量の点においても、効率が悪い。また、単純に閾値を設け、音量が閾値より低くなった区間を無音区間とする方法では、ノイズが発生した場合、このノイズが原因で音量があまり低くならず、正確な無音区間を検出できないという課題がある。 The silent section between the program main part and the CM and between the CMs is generally about several hundred milliseconds. Therefore, as in the method described in Patent Document 2, in the method of recording all audio signals from the beginning to the end of the program content to be recorded and detecting the silent section after the end of the program, the audio signal is sampled in units of 100 milliseconds. It is necessary to record the sound volume data of the audio signal at the sampling point. However, recording the volume data sampled in units of 100 milliseconds from the start to the end of the program is inefficient in terms of calculation speed and memory usage. In addition, in a method in which a threshold is simply set and a section in which the volume is lower than the threshold is set as a silent section, when noise occurs, the volume is not so low due to the noise, and an accurate silent section cannot be detected. There are challenges.
そこで、本実施例では、連続してサンプリングした音声信号の音量の変化を監視して、その変化の軌跡が谷状態になった部分の音量データのみを保持するようにした。この方法によれば、音量の絶対値に関係なく、相対的に谷部となった部分を無音区間として検出することができる。 Therefore, in this embodiment, the change in the volume of the continuously sampled audio signal is monitored, and only the volume data of the part where the locus of the change is in the valley state is retained. According to this method, a relatively valley portion can be detected as a silent section regardless of the absolute value of the volume.
図２はこの谷部検出手法の動作アルゴリズムのイメージを示す図である。
この谷部検出は、図２に示すとおり、Sliding Windowを用いて行なう。
Sliding Windowは、所定区間（窓：Window）を有し、この所定区間内でサンプリングされた音声信号のそれぞれの音量を比較する監視窓である。そして、図２に示すようにこの窓を右方向に移動（Sliding)させる。なお、図２ではこのSliding Window内で音声信号をサンプリングする数は簡単のために３個としている。
なお、図２ではイメージがわかり易いようにSliding Windowが移動するような表現になっているが、実動作おいては、Sliding Windowが移動するわけではない。
Sliding Windowは、ハードウエア（またはソフトウエア）上のリングバッファとして構成され、このリングバッファに音声信号を入力させることで実現する。つまり、このリングバッファの音声信号入力側が上記したSliding Windowの左端となる。そして、例えば、このリングバッファが保持するサンプリングデータ（音量データ）の個数を１０個とし、入力される音声信号をサンプリングする周期を１００ミリ秒とすると、このリングバッファが保持する音声信号の時間（所定期間）は１００ミリ秒×１０個＝１０００ミリ秒となる。
FIG. 2 is a diagram showing an image of an operation algorithm of this valley detection method.
This valley detection is performed using a sliding window as shown in FIG.
The Sliding Window is a monitoring window that has a predetermined section (window) and compares the sound volumes of the audio signals sampled within the predetermined section. Then, as shown in FIG. 2, this window is moved to the right (Sliding). In FIG. 2, the number of audio signals sampled in this sliding window is three for simplicity.
In FIG. 2, the expression is such that the sliding window moves so that the image is easy to understand. However, in the actual operation, the sliding window does not move.
The Sliding Window is configured as a ring buffer on hardware (or software), and is realized by inputting an audio signal to this ring buffer. That is, the audio signal input side of this ring buffer is the left end of the above-mentioned Sliding Window. For example, if the number of sampling data (volume data) held by the ring buffer is 10 and the period of sampling the input audio signal is 100 milliseconds, the time of the audio signal held by the ring buffer ( The predetermined period is 100 milliseconds × 10 pieces = 1000 milliseconds.
図２の説明に戻る。
Sliding Windowが、図２に示すようにaからｄへスライドするとき、この動作を最小値探索モードとする。この最小値探索モードは、それぞれのSliding Windowの左端（最新のサンプリングデータに相当する）でサンプリングする音声信号の音量と、それ以前にサンプリングされている他の２個の音声信号の音量のうちの最小のものとを比較する動作モードである。
Returning to the description of FIG.
When the sliding window slides from a to d as shown in FIG. 2, this operation is set to the minimum value search mode. This minimum value search mode is the volume of the audio signal sampled at the left end of each sliding window (corresponding to the latest sampling data) and the volume of the other two audio signals sampled before that. This is an operation mode for comparing with the smallest one.
例えばａのSliding Windowの場合は、左端でサンプリングしているＡでの音量と、それ以前にサンプリングしているＣ、Ｄのうち音量の小さいＣとを比較する。このＡとＣの比較の結果はＡの方が大きい。この場合はこの最小値探索モードを継続して、１サンプル分スライドしたｂで、同様の比較を行なう。そして同様の比較を繰り返しながらｄの位置までSliding Windowがスライドすると、このｄの位置では、左端でサンプリングしているＤでの音量と、それ以前にサンプリングしているＥ、Ｆのうち音量の小さいＥとを比較するとＡの方が小さくなるように比較結果が変化する。 For example, in the case of a Sliding Window a, the volume of A sampled at the left end is compared with C, which has a lower volume of C and D sampled before that. The result of comparison between A and C is greater for A. In this case, the minimum value search mode is continued, and the same comparison is performed with b slided by one sample. When the sliding window slides to the position d while repeating the same comparison, at the position d, the volume at D sampled at the left end and the volume of E and F sampled before that is low. When comparing with E, the comparison result changes so that A is smaller.
つまり、図２で明らかなように、ｄの位置でSliding Windowの左端が音声信号の音量の変化が右下がりから左上がりになる谷部分になると、比較結果が逆になることがわかる。このように最小値探索モードでの比較結果が、左端でサンプリングした音量がそれ以前にサンプリングした音量の最小値以下であると判断した時点を谷部であると判断し、この谷部を中心時刻としてその前後それぞれ５０ミリ秒（合計１００ミリ秒）の区間を無音区間とする。また、この谷部での音量をこの無音区間での最小音量とする。 That is, as is apparent from FIG. 2, it can be seen that the comparison result is reversed when the left end of the sliding window at the position d is a valley where the volume of the audio signal changes from lower right to upper left. Thus, when the comparison result in the minimum value search mode determines that the volume sampled at the left end is equal to or less than the minimum value of the previously sampled volume, it is determined to be a valley, and this valley is defined as the central time. As a silent section, a section of 50 milliseconds (total 100 milliseconds) before and after each of them is defined. Further, the volume at this valley is the minimum volume at this silent section.
そして、以降は最大値探索モードに動作モードを切り換える。
この最大値探索モードは、最小値探索モードとは逆に、それぞれのSliding Windowの左端（最新のサンプリングデータに相当する）でサンプリングする音声信号の音量と、それ以前にサンプリングされている他の２個の音声信号の音量のうちの最大のものとを比較する動作モードである。そして、左端でサンプリングした音量が、それ以前にサンプリングした音量のうち最大の音量以上であると判断されるまで、この最大値探索モードで動作させ、この判断がなされたときの左端でのサンプリング位置が山部であると判断する。
Thereafter, the operation mode is switched to the maximum value search mode.
This maximum value search mode is contrary to the minimum value search mode, and the volume of the audio signal sampled at the left end of each sliding window (corresponding to the latest sampling data) and the other two previously sampled. This is an operation mode for comparing the maximum volume of the sound signals. Then, it is operated in this maximum value search mode until it is determined that the volume sampled at the left end is equal to or higher than the maximum volume sampled before that, and the sampling position at the left end when this determination is made Is determined to be Yamabe.
そして、以降は再び最小値探索モードに動作モードを切り換える。
このように最小値探索モードと最大値探索モードとを交互に切り替えることで音声信号の山部及び谷部を検出することが可能となる。
＜無音区間選択部１１５＞
無音区間選択部１１５では、無音区間検出部１１２で検出されたそれぞれの無音区間での最小音量を比較することで、ＣＭ同士の切り替り及びＣＭと番組本編との切り替りで検出した無音区間と、番組本編中で検出した無音区間とを判別して、ＣＭ同士の切り替り区間及びＣＭと番組本編との切り替り区間での無音区間のみを選択し、この選択した無音区間の最小音量と検出時刻とを無音区間情報保持部１２２に記録する。
Thereafter, the operation mode is switched again to the minimum value search mode.
In this way, by alternately switching between the minimum value search mode and the maximum value search mode, it is possible to detect peaks and valleys of the audio signal.
<Silent
The silent
無音区間の選択には以下のような方法を用いる。
ＣＭ同士の切り替りやＣＭと番組本編との切り替りで検出した無音区間の最小音量は、音量が非常に小さい。一方、番組本編中で検出した無音区間の最小音量は、ＣＭ同士の切り替り及びＣＭと番組本編との切り替りで検出した無音区間の最小音量と比較して、一般的に大きい。この最小音量の違いに着目して判別する。
The following method is used to select the silent section.
The minimum volume of the silent section detected by switching between CMs or switching between CMs and the main program is very low. On the other hand, the minimum volume of the silent section detected in the main part of the program is generally larger than the minimum volume of the silent period detected by switching between CMs and switching between the CM and the main part of the program. The determination is made by paying attention to the difference in the minimum volume.
以下にその一例を説明する。検出した無音区間を最小音量低いものから順に並べて、その順番の各ステップ間の最小音量の差分値を取っていくと、このステップ間の最小音量の差分値が、それまでのステップ間の最小音量の差分値に比べて大きくなるステップ間が現れる。この大きくなったステップ間で、ＣＭ同士及びＣＭと番組本編との切り替り区間での無音区間と、番組本編で検出した無音区間とを判別できる。具体的には、最小音量の低いものから順番に各ステップ間の最小音量の差分値を取っていったとき、それまでの差分値のうちのもっとも大きい値に比較して値が２倍以上になったとき、この差分値が２倍以上になったステップ間の中央付近の音量のレベルを閾値として、この閾値よりも最小音量が小さい無音区間をＣＭチェンジ候補検出に用いる。 One example will be described below. When the detected silence intervals are arranged in order from the lowest volume, and the difference value of the minimum volume between each step in that order is taken, the difference value of the minimum volume between the steps is the minimum volume between the previous steps. A step that becomes larger than the difference value of appears. Between the increased steps, it is possible to discriminate between the silent section in the switching section between the CMs and between the CM and the main program and the silent section detected in the main program. Specifically, when taking the difference value of the minimum volume between each step in order from the lowest minimum volume, the value is more than doubled compared to the largest difference value so far Then, the volume level near the center between the steps where the difference value is doubled or more is used as a threshold value, and a silent section having a minimum volume level smaller than the threshold value is used for CM change candidate detection.
上記の例では、判断基準として、差分値がそれまでの最も大きな差分値に比較して２倍以上になったときと、固定的な判断基準としているが、判断方法はこの例に限らず、最初は判断基準を大きな倍率にしておいて、この判断基準での閾値が検出されなかったならば徐々にその倍率を下げていくといった方法も考えられる。 In the above example, the determination criterion is a fixed determination criterion when the difference value is twice or more compared to the largest difference value so far, but the determination method is not limited to this example, A method is conceivable in which the criterion is initially set to a large magnification, and if the threshold value based on this criterion is not detected, the magnification is gradually decreased.
また、番組本編中の最小音量は、アニメ、ニュース、スポーツ等、番組のジャンルによってその音量のレベルに違いがある。従って、番組情報保持部に記憶した番組情報から、現在受信中又は再生中の番組のジャンルを参照し、このジャンルによって、ＣＭチェンジ候補検出に用いる無音区間を検出しても良い。 Further, the minimum volume in the main part of the program varies in the level of the volume depending on the genre of the program such as animation, news, and sports. Accordingly, the genre of the program currently being received or reproduced may be referred to from the program information stored in the program information holding unit, and the silent section used for CM change candidate detection may be detected based on this genre.
以下にその具体例を説明する。
通常の場合、放送される番組のジャンル毎に、本編中の無音区間での最小音量の大きさに違いがある。スポーツなどの中継番組やバラエティ番組では、本編中でＢＧＭや人の声がなくなり人間の耳には音が聞こえなくなった状態になっても、実際にはノイズがあるためにさほど音量は下がっていないので、無音区間の最小音量も大きい。
Specific examples will be described below.
In the normal case, there is a difference in the minimum volume in the silent section in the main part for each genre of the broadcast program. In sports programs such as sports programs and variety programs, the volume does not decrease so much because there is noise in the main volume even though the BGM and human voice disappear and the human ear can no longer hear sound. Therefore, the minimum volume of the silent section is also large.
一方、ＣＭ同士の切り替りやＣＭと番組本編との切り替りでは、音量が大きく低下する。
また、アニメ番組やニュース番組では、アニメの音声編集の継ぎ目や、ニュース番組のスタジオとＶＴＲの切り替り時は、ＣＭ同士の切り替りやＣＭと番組本編との切り替り程は最小音量が低下しないが、スポーツなどの中継番組やバラエティ番組での無音区間の最小音量よりは音量のレベルが小さい。
On the other hand, when switching between commercials or switching between commercials and the main part of the program, the volume is greatly reduced.
In addition, in animation programs and news programs, the minimum volume does not decrease when switching between CMs or switching between CMs and the main part of the program when switching between voice editing of animes or switching between news program studios and VTRs. The volume level is lower than the minimum volume of silent sections in sports programs and other broadcast programs and variety programs.
従って、無音区間の選別にこのジャンルの情報を用いると、より精度良く無音区間を選別可能である。
具体的には、ジャンルがアニメの場合は、最初の判断基準の倍率を１．５倍、ニュース、ドキュメンタリーの場合は２倍、その他のジャンルは５倍に設定し、それぞれで閾値が検出されなかった場合、判断基準の倍率を閾値が検出されるまで順次、５倍、２倍、１．５倍、１．２倍と小さくしていく。
＜ＣＭチェンジ候補検出部１１３＞
ＣＭチェンジ候補検出部１１３では、ショットチェンジ情報保持部１２１と無音区間情報保持部１２２に記録されている情報とから、ＣＭチェンジであると推定されるＣＭチェンジ候補を検出する。なお、本実施例で用いるＣＭチェンジとは、ＣＭ同士の切り替りおよびＣＭと番組本編の切り替りのことと定義する。
Therefore, if the information of this genre is used for selecting the silent section, the silent section can be selected with higher accuracy.
Specifically, when the genre is animation, the first criterion is set to 1.5 times, news and documentary are set to 2 times, other genres are set to 5 times, and no threshold is detected for each. In this case, the magnification of the criterion is sequentially reduced to 5, 2, 1.5, and 1.2 times until a threshold is detected.
<CM change
The CM change
ＣＭチェンジは次の二つの特徴を有する。一つはＣＭチェンジの前後の映像間でショットチェンジが起こること、そしてもう一つはＣＭチェンジの発生する時点は無音区間に含まれることである。 CM change has the following two features. One is that a shot change occurs between images before and after the CM change, and the other is that the point in time when the CM change occurs is included in the silent section.
この二つの特徴に着目してＣＭチェンジ候補を検出する。
図３はＣＭチェンジ候補の検出方法を示す図である。図で明らかなように、無音区間中にショットチェンジが発生していたら、その時点は、上記二つのＣＭチェンジの特徴を満たすので、このショットチェンジはＣＭチェンジ候補であると推定できる。そしてこのＣＭチェンジ候補の発生時刻をＣＭチェンジ候補情報としてＣＭチェンジ候補情報保持部１２３に記録する。
＜ＣＭブロック候補検出部１１４＞
ＣＭブロック候補検出部１１４では、ＣＭチェンジ候補情報保持部１２３に記録されているＣＭチェンジ候補発生時刻を用いて、ＣＭブロックと推定されるＣＭブロック候補を検出する。なお、本実施例で用いるＣＭブロックとは、番組本編からＣＭに切り替ってから再び番組本編に切り替るまでに放送される１つ以上のＣＭの放送期間のことと定義する。
ＣＭブロックの時間は、そのブロック内で放送される各ＣＭの放送時間の合計時間となる。従って、この合計時間が、１５秒の倍数となることに着目し、１つのＣＭチェンジ候補の発生時刻から６０秒後、３０秒後、１５秒後、の順にその時刻に一致した時刻ＣＭチェンジ候補が発生するか（又は発生していたか）を調べることでＣＭブロック候補を検出する。なお、ここで言う「一致」とは、完全一致の意味ではなく、実動作上は当然許容誤差を含んだものである。例えば、通常のＣＭの場合は、１５秒毎にプラスマイナス３００ミリ秒の誤差を含み得るので、３０秒の場合は、誤差はこの２倍のプラスマイナス６００ミリ秒の範囲は誤差範囲である。
ＣＭブロック候補の具体的な検出方法を、図４を用いて説明する。
＜Ａ＿ＢＬＫ＞
まず、最初のＣＭチェンジ候補の発生時刻ａから６０秒後にＣＭチェンジ候補が発生するか否かを調べる。図４によれば、この時刻においてｂなるＣＭチェンジ候補が発生している。次に、引き続きこのｂの時刻から６０秒後にＣＭチェンジ候補が発生するか否かを調べる。図４によれば、この時刻にはＣＭチェンジ候補が発生しなかったので、次に、ＣＭチェンジ候補情報保持部１２３に記憶されているＣＭチェンジ候補の発生時刻情報を参照して、ｂの時刻から３０秒後、１５秒後の順に過去に遡った時刻にＣＭチェンジが発生していたか否かを調べる。図４ではいずれの時刻にもＣＭチェンジ候補は発生していない。従って、最初に検出したaの時刻から６０秒後のｂの時刻までをＣＭブロック候補（Ａ＿ＢＬＫ）として確定する。
＜無検出＞
次に、ｂのＣＭチェンジ候補発生時刻からはＣＭブロック候補を検出しなかったので、ｂの直後に発生したｃのＣＭチェンジ候補の発生時刻からＣＭブロックが検出するか否かを上記と同様に調べる。図４では、このｃの時刻からも６０秒後、３０秒後、１５秒後、いずれの時刻においてもＣＭチェンジ候補は発生していない。
＜Ｂ＿ＢＬＫ＞
次に、ｃのＣＭチェンジ候補発生時刻からもＣＭブロック候補を検出しなかったので、ｃの直後に発生したｄのＣＭチェンジ候補の発生時刻からＣＭブロックが検出するか否かを上記と同様に調べる。図４では、このｄの時刻から１５秒後の時刻においてＣＭチェンジ候補が発生している。次に、引き続きこのｄの時刻から６０秒後にＣＭチェンジ候補が発生するか否かを調べる。図４によれば、この時刻にはＣＭチェンジ候補が発生しなかったので、次に、ＣＭチェンジ候補情報保持部１２３に記憶されているＣＭチェンジ候補の発生時刻情報を参照して、ｄの時刻から３０秒後、１５秒後の順に過去に遡った時刻にＣＭチェンジが発生していたか否かを調べる。図４ではいずれの時刻にもＣＭチェンジ候補は発生していない。従って、最初に検出したｄの時刻から１５秒後のｅの時刻までをＣＭブロック候補（Ｂ＿ＢＬＫ）として確定する。
＜Ｃ＿ＢＬＫ＞
次に、ｅのＣＭチェンジ候補発生時刻からはＣＭブロック候補が検出しなかったので、ｅの直後に発生したｆのＣＭチェンジ候補の発生時刻からＣＭブロックが検出するか否かを上記と同様に調べる。図４では、このｆの時刻から３０秒後の時刻においてＣＭチェンジ候補が発生している。次に、引き続きこのｆの時刻から６０秒後にＣＭチェンジ候補が発生するか否かを調べる。図４によれば、６０秒後のｈの時刻に再度ＣＭチェンジ候補が発生している。従って、最初に検出したｆの時刻から３０秒＋６０秒＝９０秒後のｈの時刻までをＣＭブロック候補（Ｃ＿ＢＬＫ）として確定する。
＜ＣＭブロック決定部１１６＞
ＣＭブロック決定部１１６では、全てのＣＭブロック候補が検出された後に、ＣＭブロック候補検出部１１４で検出した各ＣＭブロック候補が真のＣＭブロックであるか否かを決定する。また、ＣＭブロック候補検出部１１４では検出できない番組宣伝ＣＭ等の特殊なＣＭの検出も行う。
このＣＭブロックの決定には以下のＣＭの特徴を用いる。
（１）番組本編開始直前、終了直後には５秒間または１０秒間の番組宣伝ＣＭが入ることがある。
（２）ＣＭブロックは最短３０秒である。
（３）番組宣伝ＣＭが無い限り、ＣＭブロックの長さは１５秒の整数倍である。
（４）ほぼすべてのＣＭブロックは複数のＣＭの連続により構成される。
以上の特徴から真のＣＭブロックを検出する。
CM change candidates are detected by paying attention to these two characteristics.
FIG. 3 is a diagram showing a CM change candidate detection method. As is apparent from the figure, if a shot change has occurred during the silent period, since the characteristics of the two CM changes are satisfied at that time, it can be estimated that this shot change is a CM change candidate. The occurrence time of the CM change candidate is recorded in the CM change candidate
<CM block
The CM block
The time of the CM block is the total time of the broadcast time of each CM broadcast in the block. Therefore, paying attention to the fact that this total time is a multiple of 15 seconds, the time CM change candidates that coincide with that time in the order of 60 seconds, 30 seconds, and 15 seconds after the occurrence time of one CM change candidate CM block candidates are detected by examining whether (or has) occurred. Here, “match” does not mean complete match, but naturally includes an allowable error in actual operation. For example, in the case of a normal CM, an error of plus or
A specific method for detecting CM block candidates will be described with reference to FIG.
<A_BLK>
First, it is checked whether or not a CM change candidate is generated 60 seconds after the first CM change candidate generation time a. According to FIG. 4, a CM change candidate b is generated at this time. Next, it is checked whether a CM change candidate is generated 60 seconds after the time b. According to FIG. 4, since no CM change candidate has occurred at this time, the time of b is then referenced with reference to the CM change candidate occurrence time information stored in the CM change candidate
<No detection>
Next, since the CM block candidate is not detected from the CM change candidate occurrence time of b, whether or not the CM block is detected from the occurrence time of the CM change candidate generated immediately after b is the same as described above. Investigate. In FIG. 4, CM change candidates are not generated at any time after 60 seconds, 30 seconds, and 15 seconds after the time c.
<B_BLK>
Next, since no CM block candidate is detected from the CM change candidate occurrence time of c, whether or not a CM block is detected from the occurrence time of the CM change candidate d immediately after c is determined in the same manner as described above. Investigate. In FIG. 4, CM change candidates are generated at a
<C_BLK>
Next, since the CM block candidate is not detected from the CM change candidate occurrence time of e, whether or not the CM block is detected from the occurrence time of the CM change candidate of f generated immediately after e is the same as described above. Investigate. In FIG. 4, CM change candidates are generated at a time 30 seconds after the time f. Next, it is checked whether or not a CM change candidate is generated 60 seconds after the time f. According to FIG. 4, CM change candidates are generated again at time h after 60 seconds. Accordingly, the first detected f time to the time h after 30 seconds + 60 seconds = 90 seconds is determined as a CM block candidate (C_BLK).
<CM block determination unit 116>
The CM block determination unit 116 determines whether each CM block candidate detected by the CM block
The following CM features are used to determine this CM block.
(1) A program advertisement CM for 5 seconds or 10 seconds may enter immediately before the start of the main program and immediately after the end.
(2) The CM block is the shortest 30 seconds.
(3) Unless there is a program advertisement CM, the length of the CM block is an integral multiple of 15 seconds.
(4) Almost all CM blocks are composed of a series of CMs.
A true CM block is detected from the above features.
また、チャンネル毎に決まっている、番組の放送時間の違いやジャンルの違いによる各ＣＭブロックのそれぞれの放送時間の上限（ブロック長上限）や、番組中の挿入される全ＣＭのトータルの放送時間の上限（トータル長上限）を予め決定しておく。そして、これらの上限を超えた場合は、誤検出が起こっていると考え、ＣＭブロックを短縮または削除して誤検出を減らす。
以下の真のＣＭブロックの判断例を説明する。
現在放送されている各ＣＭブロックの期間は、ほとんど３０秒以上なので、２０秒以下のＣＭブロック候補は棄却する。
次に、２０秒から４０秒の長さとなっているＣＭブロック候補は、そのＣＭブロック候補開始時刻の１５秒後にＣＭチェンジ候補が発生していたか否かを調べ、発生していた場合はこのＣＭブロック候補を真のＣＭブロックであると判断する。これは上記した特徴（４）によるものである。実際に放送される３０秒のＣＭブロックの多くは１５秒のＣＭ２つが連続することにより構成されている。そこで、ＣＭブロック候補開始時刻の１５秒後にＣＭチェンジ候補が発生したか否かを調べることにより、２つ以上のＣＭが連続したＣＭブロックであるか否かを決定できる。これにより、偶然に３０秒間隔で誤検出したＣＭチェンジ候補によって検出したＣＭブロック候補を除外することができる。
同様に、４０秒から７０秒の長さとなっているＣＭブロック候補では、そのＣＭブロック開始時刻から１５秒後、３０秒後にＣＭチェンジ候補が発生していたか否かを調べ、どちらにもＣＭチェンジ候補が発生していなかった場合は、このＣＭブロック候補は真のＣＭブロックとは判断せずに除外する。また、７０秒以上のＣＭブロック候補はすべて真のＣＭブロックとする。これは、７０秒以上のＣＭブロック候補は２つ以上の連続したＣＭを検出しなければ存在しないためである。
続いて、番組情報保持部１２５で保持している、現在受信中、または再生中の番組コンテンツに対応する番組情報のうち、番組放送時間、ジャンル、チャンネル等を用いて、各ＣＭブロックのそれぞれの放送時間の上限（ブロック長上限）や、番組コンテンツ中に挿入される全ＣＭのトータルの放送時間の上限（トータル長上限）の条件によりＣＭブロック候補の短縮、削除を行なう。
Also, the upper limit (block length upper limit) of each CM block due to the difference in program broadcast time and genre, which is determined for each channel, and the total broadcast time of all CMs inserted in the program Is determined in advance (total length upper limit). When these upper limits are exceeded, it is considered that a false detection has occurred, and the CM block is shortened or deleted to reduce the false detection.
The following is an example of determining a true CM block.
Since the period of each CM block currently being broadcast is almost 30 seconds or more, CM block candidates of 20 seconds or less are rejected.
Next, the CM block candidate having a length of 20 to 40 seconds checks whether or not a CM change candidate has occurred 15 seconds after the CM block candidate start time. The block candidate is determined to be a true CM block. This is due to the above feature (4). Many of the 30-second CM blocks that are actually broadcasted are composed of two consecutive 15-second CMs. Therefore, it is possible to determine whether or not two or more CMs are continuous CM blocks by examining whether or not a CM change candidate has occurred 15 seconds after the CM block candidate start time. Thereby, CM block candidates detected by CM change candidates erroneously detected at intervals of 30 seconds by chance can be excluded.
Similarly, in the case of a CM block candidate having a length of 40 to 70 seconds, it is checked whether or not a CM change candidate has occurred 15 seconds and 30 seconds after the CM block start time. If no candidate has occurred, this CM block candidate is excluded without being judged as a true CM block. All CM block candidates of 70 seconds or longer are assumed to be true CM blocks. This is because CM block candidates of 70 seconds or longer do not exist unless two or more consecutive CMs are detected.
Subsequently, among the program information corresponding to the program content currently being received or being played back, which is held in the program
番組コンテンツ中に挿入するＣＭブロックの挿入回数やトータルの放送時間は、放映される番組コンテンツの長さ等によって決められている場合がある。例えばプライムタイム（各放送局が定める午後６時から午後１１時までの間の連続した３時間半をいう）では、図５のように、番組コンテンツの長さに対するＣＭのトータル長上限が日本民間放送連盟の放送基準により定められている。
また、経験的に、午後７時から午後１１時における、放送時間が６０分のジャンルがドラマの番組コンテンツでは、ＣＭブロックの１回の放送時間のブロック長上限は２分３０秒で、挿入される回数は最大４回であることや、放送時間が３０分でジャンルがアニメの番組コンテンツでは、ＣＭブロックの１回の放送時間のブロック長上限は２分３０秒で、挿入される回数は最大３回であることなどの一定のパターンが確認できる。
＜ＣＭブロックの時間による判断＞
上記のような条件によって決められた各ブロック長上限よりも放送時間が長いＣＭブロック候補があった場合には、そのＣＭブロック候補の開始時刻と終了時刻のうち、それぞれの時刻において、ＣＭチェンジ候補情報保持部１２３に記録されている各ＣＭチェンジ候補の音量が大きい方の時刻を変更する。開始時刻でのＣＭチェンジ候補の音量のほうが大きければ、その開始時刻の１５秒後、３０秒後、６０秒後後のうち最も近いＣＭチェンジ候補の発生時刻に開始時刻を変更する。終了時刻でのＣＭチェンジ候補の音量のほうが大きければ、その１５秒前、３０秒前、６０秒前のうちもっとも近くにあるＣＭチェンジ候補の発生時刻に終了時刻を変更する。
この例を図６に示す。最上段部の音量の軸では、各ＣＭチェンジ候補の発生時刻での音量を棒グラフで表わしている。この例では、ＣＭブロックのブロック長上限が１５０秒と決められている番組コンテンツ中で、長さが１８０秒のＣＭブロック候補を検出したとする。従って、ＣＭブロック開始時刻または終了時刻のどちらかのＣＭチェンジ候補が誤検出していると判断する。
まず、ＣＭブロック開始時刻と終了時刻でのＣＭチェンジ候補の音量を比較する。図６では、終了時刻での音量の方が開始時刻での音量より大きい。従って、この終了時刻の方が誤検出していると判断し、この終了時刻の１５秒前、３０秒前、６０秒前の順に各ＣＭチェンジ候補が発生しているか否かを調べる。図６では、１５秒前にＣＭチェンジ候補があるので、ＣＭブロック候補の終了時刻をこの時刻に変更する。
しかし、まだＣＭブロック候補の長さは１６５秒であり、ブロック長上限である１６０秒より長いため、まだ誤検出していると判断する。そして、再び、開始時刻と新たに設定した終了時刻での音量を比較する。今回は、開始時刻での音量の方が大きい。従って、この開始時刻の方が誤検出していると判断し、この開始時刻の１５秒後、３０秒後、６０秒後の順に各ＣＭチェンジ候補が発生しているか否かを調べる。図６では、３０秒前にＣＭチェンジ候補があるので、ＣＭブロック候補の開始時刻をこの時刻に変更する。
以上の処理により、ＣＭブロック候補の時間が１３５秒に短縮され、これを真のＣＭブロックとする。
There are cases where the number of insertions of CM blocks to be inserted into the program content and the total broadcast time are determined by the length of the program content to be broadcast. For example, at the prime time (which means three and a half hours between 6 pm and 11 pm as determined by each broadcasting station), as shown in FIG. It is defined by the broadcasting standards of the Broadcasting Federation.
Also, empirically, in the case of drama program content in which the broadcast time is 60 minutes from 7 pm to 11 pm, the block length upper limit for one broadcast time of the CM block is 2 minutes 30 seconds, which is inserted. The maximum number of broadcasts is 4 times, and in the case of program content whose broadcast time is 30 minutes and the genre is animation, the block length upper limit of one broadcast time of CM block is 2 minutes 30 seconds, and the maximum number of insertions is A certain pattern such as three times can be confirmed.
<Judgment by CM block time>
When there is a CM block candidate whose broadcasting time is longer than the upper limit of each block length determined by the above conditions, among the CM block candidate start time and end time, the CM change candidate at each time The time when the volume of each CM change candidate recorded in the
An example of this is shown in FIG. On the volume axis at the top, the volume at the time of occurrence of each CM change candidate is represented by a bar graph. In this example, it is assumed that a CM block candidate having a length of 180 seconds is detected in the program content whose CM block block length upper limit is determined to be 150 seconds. Therefore, it is determined that the CM change candidate at either the CM block start time or the end time is erroneously detected.
First, the volume of CM change candidates at the CM block start time and end time is compared. In FIG. 6, the volume at the end time is larger than the volume at the start time. Accordingly, it is determined that the end time is erroneously detected, and it is checked whether each CM change candidate is generated in the order of 15 seconds, 30 seconds, and 60 seconds before the end time. In FIG. 6, since there is a
However, since the length of the CM block candidate is still 165 seconds, which is longer than the block length upper limit of 160 seconds, it is determined that the erroneous detection is still in progress. Then, the sound volume at the start time and the newly set end time are compared again. This time, the volume at the start time is higher. Accordingly, it is determined that the start time is erroneously detected, and it is checked whether each CM change candidate is generated in the order of 15 seconds, 30 seconds, and 60 seconds after the start time. In FIG. 6, since there is a CM change candidate 30 seconds ago, the start time of the CM block candidate is changed to this time.
With the above processing, the CM block candidate time is shortened to 135 seconds, and this is regarded as a true CM block.
＜ＣＭブロックの個数による判断＞
上記は、各ＣＭブロック候補の時間によって真のＣＭブロックを判断する例であったが、番組コンテンツ中で検出したＣＭブロック候補の個数によって真のＣＭブロックを判断する方法もある。内容を以下に説明する。
１つの番組コンテンツ中で検出したＣＭブロック候補の個数が、予め決められている上限の個数を超えた場合は、各ＣＭブロック候補を比較し、真のＣＭブロックではないと判断できる順に上限の個数を超えない数までＣＭブロック候補を除外していく。
例えば、各ＣＭブロック候補中に含まれるＣＭチェンジ候補の音量を比較し、もっとも音量が大きいＣＭチェンジ候補を含むＣＭブロックを除外すれば良い。
以上の処理により、各ＣＭブロックのブロック長上限とブロックの個数の上限が条件を満たしても、まだ番組全体で挿入されるＣＭブロックの合計時間がトータル長上限を超える場合がある。この場合は、全ＣＭブロックの開始時点と終了時点のＣＭチェンジ候補の音量のうち最も音量が大きいものを選び、ＣＭブロックの時間を短縮したのと同じ方法で変更する。
＜チャンネルによる判断＞
放送チャンネルの特徴によってＣＭ検出方法を変更しても良い。
例えばＮＨＫの放送番組は、本編中にＣＭが挿入されないため、ＣＭブロック検出を行なうのは番組本編開始前と本編終了後のみでよい。そのため、ＣＭブロック検出対象区間が一つの番組の最初から最後までを含む場合は、最初のＣＭチェンジが含まれるＣＭブロックと、最後のＣＭチェンジが含まれるＣＭブロックのみ検出すれば良い。
また、通常のＣＭの前後に５秒あるいは１０秒の番組宣伝ＣＭが挿入されることがある。番組宣伝ＣＭと通常のＣＭ、および番組宣伝ＣＭと番組本編との間にもＣＭチェンジ候補が検出される。この番組宣伝ＣＭを各ＣＭブロックの前後で検出する必要がある。通常のＣＭにおける放送時間の誤差は数フレームであるが、番組宣伝ＣＭは、その放送時間の誤差が通常のＣＭよりも大きい。従って、番組宣伝ＣＭを検出する際は、通常のＣＭブロック候補より検出範囲を広くする。例えば、通常のＣＭの場合は、ＣＭチェンジ候補の検出間隔の単位を１５秒プラスマイナス３００ミリ秒の区間として検出するが、５秒間の番組宣伝ＣＭを検出する場合は、５秒プラスマイナス５００ミリ秒の区間とする。
＜最初及び最後のＣＭブロック検出対応＞
最初に検出されたＣＭチェンジ候補がＣＭ検出区間の開始から６０秒以内にあった場合、番組コンテンツの受信または再生の開始時点から最初のＣＭチェンジ候補までの区間を、ＣＭブロックと判断する。こうすることで番組コンテンツの受信または再生の開始時点がＣＭブロックの途中であった場合のＣＭブロックを検出する。
また、最後に検出されたＣＭチェンジ候補がＣＭ検出区間の終了から６０秒前までの間にあった場合、最後のＣＭチェンジ候補からＣＭ検出区間の終了までの区間をＣＭブロックと判断する。こうすることでＣＭブロックの途中で番組コンテンツの受信または再生が終了したために途中で終わってしまうＣＭブロックを検出する。
<Judgment based on the number of CM blocks>
The above is an example of determining a true CM block based on the time of each CM block candidate, but there is also a method of determining a true CM block based on the number of CM block candidates detected in the program content. The contents will be described below.
When the number of CM block candidates detected in one program content exceeds the predetermined upper limit number, the CM block candidates are compared, and the upper limit number is determined in the order in which it can be determined that the block is not a true CM block. CM block candidates are excluded until the number does not exceed.
For example, the volume of CM change candidates included in each CM block candidate may be compared, and the CM block including the CM change candidate with the highest volume may be excluded.
By the above processing, even if the upper limit of the block length and the upper limit of the number of blocks of each CM block satisfy the conditions, the total time of CM blocks inserted in the entire program may exceed the total length upper limit. In this case, the loudest volume of CM change candidates at the start and end times of all CM blocks is selected, and the change is made in the same manner as when the time of the CM block is shortened.
<Judgment by channel>
The CM detection method may be changed according to the characteristics of the broadcast channel.
For example, in the case of NHK broadcast programs, CMs are not inserted into the main part. Therefore, CM block detection is performed only before the main part of the program and after the end of the main part. Therefore, when the CM block detection target section includes from the beginning to the end of one program, it is only necessary to detect only the CM block including the first CM change and the CM block including the last CM change.
In addition, a program advertisement CM of 5 seconds or 10 seconds may be inserted before and after a normal CM. CM change candidates are also detected between the program advertisement CM and the normal CM, and between the program advertisement CM and the program main part. This program advertisement CM needs to be detected before and after each CM block. The error of the broadcast time in the normal CM is several frames, but the error in the broadcast time of the program advertisement CM is larger than that of the normal CM. Therefore, when detecting a program advertisement CM, the detection range is made wider than a normal CM block candidate. For example, in the case of a normal CM, the unit of the CM change candidate detection interval is detected as a section of 15 seconds plus or
<First and last CM block detection support>
If the first detected CM change candidate is within 60 seconds from the start of the CM detection section, the section from the start of reception or reproduction of program content to the first CM change candidate is determined as a CM block. In this way, the CM block is detected when the program content reception or playback start time is in the middle of the CM block.
If the last CM change candidate detected is between 60 seconds before the end of the CM detection section, the section from the last CM change candidate to the end of the CM detection section is determined as a CM block. By doing this, a CM block that ends in the middle because the reception or playback of the program content ends in the middle of the CM block is detected.
以上の各処理によって決定した真のＣＭブロックのそれぞれの開始時刻と終了時刻とをＣＭブロック情報として、ＣＭブロック情報保持部１２４に記憶する。
［実施例］
以下に上記したそれぞれの検出方法を用いてＣＭブロックを検出する具体的な実施例を説明する。
＜実施例１＞
実施例１は、上記した検出方法のうち番組情報を用いない場合の実施例である。
The start time and end time of each true CM block determined by the above processes are stored in the CM block
[Example]
A specific embodiment for detecting a CM block using each of the detection methods described above will be described below.
<Example 1>
The first embodiment is an embodiment in which program information is not used in the above detection method.
図９はこの実施例１のＣＭ検出装置の構成を示すブロック図である。図１のＣＭ検出装置のブロック図から、番組情報保持部１２５、無音区間選択部１１５、ＣＭブロック決定部１１７を省いたものである。またＣＭブロック候補検出部１１４は、処理内容は同一であるが名称をＣＭブロック検出部４１４に置き換えている。その他の構成部は図１と同様である。
図７は、ドラマ番組のコンテンツ中のＣＭブロックを検出する際の、無音区間検出部１１２により検出された時刻を中心とした無音区間と、ショットチェンジ検出部１１１により検出されたショットチェンジのうち無音区間内で検出したものを示した表である。
ＣＭチェンジ候補検出部１１３では、ショットチェンジ情報と無音区間情報からＣＭチェンジ候補を検出する。ＣＭチェンジ候補はショットチェンジの中で、無音区間内にあるものである。検出したＣＭチェンジ候補の時刻とその時刻が含まれる無音区間での最小音量をＣＭチェンジ候補情報保持部１２３に記録する。
FIG. 9 is a block diagram showing the configuration of the CM detection apparatus according to the first embodiment. The program
FIG. 7 shows the silent section centered on the time detected by the silent
CM change
番組中に検出された無音区間は、図７に示すとおり全部で６３箇所あるが、ショットチェンジと組み合わせて検出したＣＭチェンジ候補は半分以下の２８箇所に減っている。これにより、ＣＭチェンジ候補の間隔によるＣＭ検出処理の時間短縮や本編誤検出の低減の効果が期待できる。 As shown in FIG. 7, there are 63 silent sections detected in the program in total, but the number of CM change candidates detected in combination with shot changes is reduced to 28 or less. As a result, it is possible to expect the effect of shortening the time of the CM detection process by the interval of the CM change candidates and reducing the erroneous detection of the main part.
ＣＭブロック検出部４１４では、このＣＭチェンジ候補を用いてＣＭブロックを検出する。
図８は、図７に対応して検出したＣＭチェンジ候補からＣＭブロックを検出する際の関係を表した図である。検出したＣＭチェンジ候補の時刻を左の列に示し、ＣＭチェンジ候補から検出されるＣＭブロックを右の列に示す。
The CM
FIG. 8 is a diagram showing a relationship when a CM block is detected from CM change candidates detected corresponding to FIG. The time of the detected CM change candidate is shown in the left column, and the CM block detected from the CM change candidate is shown in the right column.
以下に図８で示したＣＭブロック検出の内容を説明する。
まず、００：０４のＣＭチェンジ候補を検出した時点から６０秒、３０秒、１５秒後の順にＣＭチェンジ候補を探索する。しかし、どの間隔でも検出できないため、次のＣＭチェンジ候補（０２：０４）の時点で同様の探索を行なう。ここでも検出はできず、また次のＣＭチェンジ候補（０２：１４）の時点で同様の探索を行なう。このＣＭチェンジ候補の時点では、６０秒後の０３：１４にＣＭチェンジ候補が検出されたため、このＣＭチェンジ候補の時点（０３：１４）で同様の探索を行なう。６０秒後にはＣＭチェンジ候補は検出されないが、３０秒後の０３：４４でＣＭチェンジ候補が検出される。続いて０３：４４の６０秒、３０秒、１５秒後にＣＭチェンジ候補を探索するがここではＣＭチェンジ候補は検出されない。従って、０２：１４〜０３：１４の６０秒間と０３：１４〜０３：４４の３０秒間で連続してＣＭブロック候補が検出されたため、この二つを合わせて９０秒間のＣＭブロックを検出できたことになる。
上記と同様の処理を行って、１６：１５〜１７：４５、２６：１９〜２７：１９、２８：０４〜２９：４９の合計４つのＣＭブロックが検出できている。
次に、検出された各ＣＭブロックについて、その前後の番組宣伝ＣＭを検出する。０２：１４の１０秒前である０２：０４にＣＭチェンジ候補が存在するため０２：０４〜０２：１４を番組宣伝ＣＭとし、０２：０４〜０２：１４の１０秒間を一つのＣＭブロックとする。また２８：０４の５秒前である２７：５９にＣＭチェンジ候補が存在するため２７：５９〜２８：０４を番組宣伝ＣＭとし、２７：５９〜２９：４９を一つのＣＭブロックとする。
次に、受信中又は再生中の番組コンテンツの最初と最後のＣＭブロックの検出を行なう。最初のＣＭチェンジ候補は００：０４にある。これはＣＭ検出開始６０秒以内であるため番組コンテンツの受信又は再生の開始時点（００：００）から００：０４までを途中から始まるＣＭであるとし、この区間をＣＭブロックとする。最後のＣＭチェンジ候補は２９：４９にある。これは受信中又は再生中の番組コンテンツの終了時点（３０：００）から、その６０秒前までの間にあるため、２９：４９〜３０：００を途中で終わるＣＭであるとし、この区間をＣＭブロックとする。また、このＣＭブロックは２７：５９〜２９：４９のＣＭブロックと連続しているため、２７：５９〜３０：００までを一つのＣＭブロックとする。
以上の処理により検出された、番組コンテンツの本編開始前及び終了後に１つずつ、本編中に３つ、合計５つのＣＭブロックの開始時刻、終了時刻をＣＭブロック情報保持部１２５に記録する。
この実施例１によるＣＭ検出装置は、ＣＭブロックの検出精度は、図１のブロック図のＣＭ検出装置には及ばないものの、番組情報を用いないため、指定したＣＭ検出区間が１番組全体ではない場合や、複数の番組を含む場合でもＣＭ検出ができるという利点がある。また、番組情報の無いビデオのダビング映像からでもＣＭの検出ができるという利点もある。
＜実施例２＞
実施例２は、上記した検出方法のうちＣＭチェンジ候補の検出には番組情報を使用し、ＣＭブロックの検出には番組情報を用いない場合の実施例である。
The contents of the CM block detection shown in FIG. 8 will be described below.
First, CM change candidates are searched in the order of 60 seconds, 30 seconds, and 15 seconds after the detection of the 00:04 CM change candidate. However, since it cannot be detected at any interval, the same search is performed at the time of the next CM change candidate (02:04). Again, detection is not possible, and a similar search is performed at the time of the next CM change candidate (02:14). At the time of this CM change candidate, since a CM change candidate was detected at 03:14 after 60 seconds, a similar search is performed at the time of this CM change candidate (03:14). The CM change candidate is not detected after 60 seconds, but the CM change candidate is detected at 03:44 after 30 seconds. Subsequently, CM change candidates are searched after 60:30, 15 seconds of 03:44, but no CM change candidates are detected here. Therefore, CM block candidates were detected continuously for 60 seconds from 02:14 to 03:14 and for 30 seconds from 03:14 to 03:44. Therefore, the CM block for 90 seconds could be detected by combining these two. It will be.
By performing the same process as described above, a total of four CM blocks of 16:15 to 17:45, 26:19 to 27:19, and 28:04 to 29:49 can be detected.
Next, for each detected CM block, the program advertisement CM before and after the block is detected. Since there is a CM change candidate at 02:04, 10 seconds before 02:14, 02: 04-02: 14 is set as a program advertisement CM, and 10 seconds between 02: 04-02: 14 is set as one CM block. . Also, since there is a CM change candidate at 27:59, which is 5 seconds before 28:04, 27:59 to 28:04 is set as a program advertisement CM, and 27:59 to 29:49 is set as one CM block.
Next, the first and last CM blocks of the program content being received or reproduced are detected. The first CM change candidate is at 00:04. Since this is within 60 seconds of the start of CM detection, it is assumed that the CM starts from the middle from the start (00:00) of program content reception or playback to 00:04, and this section is a CM block. The last CM change candidate is at 29:49. Since this is from the end time (30:00) of the program content being received or played back to 60 seconds before, it is assumed that the CM ends from 29:49 to 33:00, and this section is CM block. Further, since this CM block is continuous with the 27:59 to 29:49 CM block, 27:59 to 33:00 is regarded as one CM block.
The start time and end time of a total of five CM blocks are recorded in the CM block
The CM detection apparatus according to the first embodiment does not use the program information, although the CM block detection accuracy is not as high as that of the CM detection apparatus shown in the block diagram of FIG. There is an advantage that CM detection can be performed even when a plurality of programs are included. There is also an advantage that CM can be detected even from a video dubbed video without program information.
<Example 2>
The second embodiment is an embodiment in which the program information is used for detecting CM change candidates and the program information is not used for detecting CM blocks among the detection methods described above.
図１３はこの実施例２のＣＭ検出装置の構成を示すブロック図である。図１のＣＭ検出装置のブロック図から、番組情報保持部１２５、無音区間選択部１１５を省いたものである。またＣＭブロック候補検出部１１４は、処理内容は同一であるが名称をＣＭブロック検出部４１４に置き換えている。その他の構成部は図１と同様である。
FIG. 13 is a block diagram showing the configuration of the CM detection apparatus according to the second embodiment. The program
３０分のアニメ番組におけるＣＭブロック検出の動作を例に挙げて説明する。
番組情報保持部１２５は、チャンネル、番組の放送時間、ジャンル等の番組情報を記録する。
無音区間選択部１１５は、無音区間検出部２２で検出された無音区間からＣＭチェンジ候補検出に用いるものを選択する。
An operation of detecting a CM block in a 30-minute animation program will be described as an example.
The program
The silent
図１０は実施例１でサンプルとしたドラマ番組の無音区間の中心時刻および最小音量を、音量が小さい順に並べた表である。この表によると各無音区間の最小音量が０．０００５６までは音量の差が０．００００１から０．００００６までと小さいのに対して、０．０００５６とその次の０．０００８５の間の差は０．０００２９と非常に大きくなっている。この間が番組本編中に検出した無音区間（誤検出した無音区間）と、ＣＭチェンジ候補の無音区間との境目であると判断できる。そこで、この間に閾値を設け、最小音量が０．０００５６までの無音区間の情報を無音区間情報保持部１２２に記録する。
この方法により選択された無音区間と、ショットチェンジと合わせることでＣＭチェンジ候補を検出した結果を図１１の表に示す。この表より、選択された無音区間はすべてＣＭチェンジと一致していることが分かる。よって、選択によりＣＭチェンジ候補検出の精度が向上したことが確認できる。
次に、図１２に実施例１で用いたドラマ番組とは別ジャンルの、アニメ番組の無音区間の中心時刻および最小音量を、音量が小さい順に並べた表を示す。このアニメ番組は、ドラマ番組とは異なり最小音量に大きな差がある部分がない。そこで、番組の放送時間およびジャンルから無音区間の個数の閾値を決定し、音量が低いものから順にその数だけ無音区間の情報を無音区間情報保持部１２２に記録する。
この実施例２に挙げたＣＭ検出方法により本編部分の無音区間（誤検出した無音区間）を除去することで、本編部分をＣＭブロックとして誤検出してしまうのを減らすことができる。
＜実施例３＞
実施例３は、上記した検出方法を全て用いた場合の実施例である。
FIG. 10 is a table in which the center time and the minimum volume of the silent section of the drama program sampled in Example 1 are arranged in ascending order of volume. According to this table, the difference in volume is small from 0.00001 to 0.00006 until the minimum volume of each silent section is 0.00056, whereas the difference between 0.00056 and the next 0.00085 is It is very large as 0.00029. It can be determined that this period is the boundary between the silent section detected during the main part of the program (silent section detected in error) and the silent section of the CM change candidate. Therefore, a threshold value is provided between them, and information on a silent section up to a minimum volume of 0.00056 is recorded in the silent section
The table of FIG. 11 shows the result of detecting CM change candidates by combining the silent section selected by this method and the shot change. From this table, it can be seen that all of the selected silent sections coincide with the CM change. Therefore, it can be confirmed that the accuracy of CM change candidate detection is improved by the selection.
Next, FIG. 12 shows a table in which the center time and the minimum volume of a silent section of an animation program of a genre different from that of the drama program used in Example 1 are arranged in ascending order of volume. Unlike the drama program, this anime program has no significant difference in the minimum volume. Therefore, the threshold of the number of silent sections is determined from the broadcast time and genre of the program, and the silent section information is recorded in the silent section
By removing the silent section (silently detected silence section) of the main part by the CM detection method described in the second embodiment, it is possible to reduce erroneous detection of the main part as a CM block.
<Example 3>
Example 3 is an example in which all the detection methods described above are used.
実施の形態で説明した図１がこの実施例３のＣＭ検出装置のブロック図である。
３０分のアニメ番組におけるＣＭ検出の動作を例に挙げて説明する。
ＣＭブロック決定部１１７は、ＣＭブロック候補から番組ジャンル等の番組情報を用いて真ＣＭブロックの選択を行なう。
FIG. 1 described in the embodiment is a block diagram of the CM detection apparatus according to the third embodiment.
The operation of CM detection in a 30-minute animation program will be described as an example.
The CM
図１４に、ＣＭブロック候補検出部１１４が検出した３０分のアニメ番組の本編中のＣＭブロック区間に存在するＣＭチェンジ候補の発生時刻及びこのＣＭチェンジ候補が含まれる無音区間での最小音量を示す。図１４で判る通り、ＣＭブロック候補検出部１１４は４個のＣＭブロック候補を検出している。しかし、３０分のアニメ番組には本編中に挿入されるＣＭブロックは３個までという放送上の特徴がある。従って、番組情報のジャンルを参照することにより、ＣＭ検出対象の番組が、アニメ番組であると判れば、検出された４個のＣＭブロック候補のうち少なくとも１つは本編部分がＣＭブロック候補として誤って検出されてしまっていると判断できる。
FIG. 14 shows the occurrence time of a CM change candidate existing in the CM block section in the main part of the 30-minute animation program detected by the CM block
そこで検出された各ＣＭブロック候補に含まれるＣＭチェンジ候補の音量を比較して、最も音量が大きいＣＭチェンジ候補を含むＣＭブロック候補を除外する。４つのＣＭブロック候補の中ではＣＭブロック２の０９：５８でのＣＭチェンジ候補がもっとも音量が大きいため、このＣＭブロック２は誤検出されたものとして除外する。
この実施例３によれば、ＣＭブロックの検出精度が極めて高いＣＭ検出装置を実現することができる。
Therefore, the volume of CM change candidates included in each detected CM block candidate is compared, and CM block candidates including the CM change candidate with the highest volume are excluded. Among the four CM block candidates, the CM change candidate at 09:58 of CM block 2 has the highest volume, so this CM block 2 is excluded as being erroneously detected.
According to the third embodiment, a CM detection apparatus with extremely high CM block detection accuracy can be realized.
１００ ＣＭ検出装置
１１１ ショットチェンジ検出部
１１２ 無音区間検出部
１１３ ＣＭチェンジ候補検出部
１１４ ＣＭブロック候補検出部
１１５ 無音区間選択部
１１７ ＣＭブロック決定部
１２１ ショットチェンジ情報保持部
１２２ 無音区間情報保持部
１２３ ＣＭチェンジ候補情報保持部
１２４ ＣＭブロック情報保持部
１２５ 番組情報保持部
２００ 放送番組コンテンツ受信装置
３００ 録画コンテンツ再生装置
４１４ ＣＭブロック検出部
100
Claims (1)
前記番組情報を記憶する番組情報保持手段と、
前記コンテンツのうちの音声信号を、所定期間に設定された監視窓に逐次入力させ、この監視窓内での音声信号の音量の変化を用いて谷部を逐次検出し、この谷部を検出した時刻を中心時刻とする前後の所定期間を無音区間として検出すると共に、その谷部の音量をその無音区間の最小音量として検出する無音区間検出手段と、
前記番組情報保持手段から前記コンテンツに含まれる各番組コンテンツ毎の番組情報のうちのジャンルを取得すると共に、前記無音区間検出手段で検出した全ての前記無音区間の最小音量を参照し、その最小音量の小さい方から順番に、それぞれ直近の最小音量の大きい方から小さい方への最小音量の差分値を算出していき、この差分値が、前回までに算出した差分値のうちの最も大きい差分値に対して、予め番組のジャンル毎に設定されている倍率以上の値になる差分値が検出された場合は、この検出された差分値を算出した最小音量間の中間値を閾値として検出し、前記最大倍率での差分値が検出されなかった場合は、前記閾値が検出されるまで前記倍率を漸次小さくして前記閾値の検出処理を繰り返し行って、前記閾値を検出し、この検出した閾値よりも小さい最小音量を有する各無音区間を選択する無音区間選択手段と、
前記選択した無音区間の最小音量と中心時刻とをそれぞれ記憶する無音区間情報保持手段と、
前記コンテンツのうちの映像信号を構成する各画像において、連続する前後の画像間の相関の度合いを示す相関値を算出し、この算出した相関値が予め決定している所定値を下回った時点をショットチェンジとして検出するショットチェンジ検出手段と、
前記ショットチェンジを検出した時刻であるショットチェンジ検出時刻を記憶するショットチェンジ情報保持手段と、
前記無音区間情報保持手段に記憶されている各無音区間の中心時刻を読み出すと共に、前記ショットチェンジ情報保持部に記憶されているショットチェンジ検出時刻を読み出して、読み出した前記各中心時刻から得られる各無音区間内に、前記ショットチェンジ検出時刻が含まれた場合、この含まれたショットチェンジ検出時刻をＣＭチェンジ候補時刻として検出し、このショットチェンジ検出時刻が含まれた無音区間の最小音量をＣＭチェンジ候補音量として検出するＣＭチェンジ候補検出手段と、
検出した前記ＣＭチェンジ候補時刻と前記ＣＭチェンジ候補音量とをＣＭチェンジ候補情報として記憶するＣＭチェンジ候補情報保持手段と、
検出された前記ＣＭチェンジ候補時刻のうち一のＣＭチェンジ候補時刻から、前記ＣＭ挿入期間分経過した時刻が、他のＣＭチェンジ候補時刻と一致した場合に、その一のＣＭチェンジ候補時刻から他のＣＭチェンジ候補時刻までの期間をＣＭブロック候補として各番組コンテンツ毎に検出するＣＭブロック候補検出手段と、
前記番組情報保持手段から前記ＣＭブロック候補を検出した各番組コンテンツ毎の番組情報を取得して、この取得した番組情報のうちの放送チャンネル、放送時間、ジャンルの組み合わせによって前記各番組コンテンツに挿入されるべきＣＭブロックの個数上限、各ＣＭブロックの時間上限、各ＣＭブロックのトータル時間上限を類推し、これらの各上限値を、前記各番組コンテンツのうち一の番組コンテンツで検出したＣＭブロック候補の個数、各ＣＭブロック候補の時間、各ＣＭブロック候補のトータル時間のうち少なくとも１つが超えている場合に、各ＣＭブロック候補内のＣＭチェンジ候補音量を基にして、予め決定してある優先順位に従って、前記上限値を越えたもの対して、その上限値を超えないように各ＣＭブロック候補を削除または時間を削減して前記一の番組コンテンツ内のＣＭブロックを決定するＣＭブロック決定手段と、
前記ＣＭブロック決定手段により決定されたＣＭブロックの開始時刻と終了時刻とをＣＭブロック情報として記憶するＣＭブロック情報保持手段と、
を有することを特徴とするＣＭ検出装置。 One or more program contents composed of a video signal and an audio signal in which a CM having a predetermined broadcast time as a multiple of a predetermined unit time is inserted, a broadcast channel of this program content, a broadcast time, CM detection for detecting a start time and an insertion end time of a CM insertion period, which is an insertion period of one or more CM blocks composed of CMs, into the content from broadcasted or recorded program information including a genre In the device
Program information holding means for storing the program information;
The audio signal of the content is sequentially input to a monitoring window set for a predetermined period, and a valley is sequentially detected using a change in the volume of the audio signal in the monitoring window, and the valley is detected. A silent period detecting means for detecting a predetermined period before and after the time as the central time as a silent section, and detecting the volume of the valley as the minimum volume of the silent section;
The genre of the program information for each program content included in the content is acquired from the program information holding unit, and the minimum volume of all the silent sections detected by the silent section detecting unit is referred to, and the minimum volume is obtained. In order from the smallest, the difference value of the minimum volume from the most recent smallest volume to the smallest is calculated, and this difference value is the largest difference value calculated up to the previous time. On the other hand, if a difference value that is greater than or equal to the magnification set in advance for each genre of the program is detected, an intermediate value between the minimum volumes for calculating the detected difference value is detected as a threshold, When the difference value at the maximum magnification is not detected, the threshold is detected by repeating the threshold detection process by gradually reducing the magnification until the threshold is detected. A silent interval selecting means for selecting each silent section having a smaller minimum volume than out threshold,
Silent section information holding means for storing the minimum volume and the central time of the selected silent section,
In each image constituting the video signal of the content, a correlation value indicating a degree of correlation between consecutive images is calculated, and a point in time when the calculated correlation value falls below a predetermined value determined in advance. Shot change detection means for detecting as a shot change;
Shot change information holding means for storing a shot change detection time which is a time when the shot change is detected;
The center time of each silence section stored in the silence section information holding means is read out, and the shot change detection time stored in the shot change information holding unit is read out, and each obtained from each read center time When the shot change detection time is included in a silence section, the included shot change detection time is detected as a CM change candidate time, and the minimum volume of the silence section including the shot change detection time is detected as a CM change. CM change candidate detection means for detecting as a candidate volume;
CM change candidate information holding means for storing the detected CM change candidate time and the CM change candidate volume as CM change candidate information;
When the time that has passed for the CM insertion period from one CM change candidate time among the detected CM change candidate times coincides with another CM change candidate time, the other CM change candidate time is changed to another CM block candidate detection means for detecting a period until the CM change candidate time as a CM block candidate for each program content;
Program information for each program content in which the CM block candidate is detected is acquired from the program information holding means, and inserted into each program content by a combination of broadcast channel, broadcast time, and genre in the acquired program information. By analogizing the upper limit of the number of CM blocks to be processed, the upper limit of the time of each CM block, and the upper limit of the total time of each CM block, these upper limit values are the CM block candidates detected in one program content among the program contents. When at least one of the number, the time of each CM block candidate, and the total time of each CM block candidate is exceeded, the priority is determined in advance based on the CM change candidate volume in each CM block candidate. For each block that exceeds the upper limit, each CM block candidate is deleted so that the upper limit is not exceeded. And CM block determining means or which reduce the time to determine the CM block of said one program content,
CM block information holding means for storing, as CM block information, the start time and end time of the CM block determined by the CM block determining means;
A CM detection device comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006090501A JP4547678B2 (en) | 2006-03-29 | 2006-03-29 | CM detection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006090501A JP4547678B2 (en) | 2006-03-29 | 2006-03-29 | CM detection device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007267121A JP2007267121A (en) | 2007-10-11 |
| JP4547678B2 true JP4547678B2 (en) | 2010-09-22 |
Family
ID=38639651
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006090501A Expired - Fee Related JP4547678B2 (en) | 2006-03-29 | 2006-03-29 | CM detection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4547678B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4760962B2 (en) * | 2009-06-24 | 2011-08-31 | 三菱電機株式会社 | Video / audio recording and playback device |
| JP5506507B2 (en) * | 2010-03-31 | 2014-05-28 | Ｎｅｃパーソナルコンピュータ株式会社 | CM detection system, server, CM detection method, program, and recording medium |
| JP6710476B2 (en) * | 2018-01-17 | 2020-06-17 | 日本電信電話株式会社 | Commercial boundary determination device, commercial boundary determination method, and program |
| JP7268848B2 (en) * | 2019-02-28 | 2023-05-08 | 大学共同利用機関法人情報・システム研究機構 | commercial detector |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000165796A (en) * | 1998-11-30 | 2000-06-16 | Sony Corp | Information processor and information processing method and providing medium |
| JP2003047031A (en) * | 2001-08-03 | 2003-02-14 | Nec Corp | Commercial detection method and apparatus therefor |
| WO2005098818A1 (en) * | 2004-04-06 | 2005-10-20 | Matsushita Electric Industrial Co., Ltd. | Particular program detection device, method, and program |
| WO2005125217A1 (en) * | 2004-06-21 | 2005-12-29 | Mitsubishi Denki Kabushiki Kaisha | Moving picture encoding device, moving picture recording device, and moving picture reproduction device |
-
2006
- 2006-03-29 JP JP2006090501A patent/JP4547678B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000165796A (en) * | 1998-11-30 | 2000-06-16 | Sony Corp | Information processor and information processing method and providing medium |
| JP2003047031A (en) * | 2001-08-03 | 2003-02-14 | Nec Corp | Commercial detection method and apparatus therefor |
| WO2005098818A1 (en) * | 2004-04-06 | 2005-10-20 | Matsushita Electric Industrial Co., Ltd. | Particular program detection device, method, and program |
| WO2005125217A1 (en) * | 2004-06-21 | 2005-12-29 | Mitsubishi Denki Kabushiki Kaisha | Moving picture encoding device, moving picture recording device, and moving picture reproduction device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007267121A (en) | 2007-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6993245B1 (en) | Iterative, maximally probable, batch-mode commercial detection for audiovisual content | |
| US20030016945A1 (en) | Apparatus and method for summarizing video information, and processing program for summarizing video information | |
| US20090279840A1 (en) | Image Digesting Apparatus | |
| KR101237229B1 (en) | Contents processing device and contents processing method | |
| US20090088878A1 (en) | Method and Device for Detecting Music Segment, and Method and Device for Recording Data | |
| US7742680B2 (en) | Apparatus and method for processing signals | |
| JP2004517518A (en) | System and method for locating program boundaries and commercial boundaries using audio categories | |
| US20020197053A1 (en) | Apparatus and method for summarizing video information, and processing program for summarizing video information | |
| US8682132B2 (en) | Method and device for detecting music segment, and method and device for recording data | |
| WO2003055202A1 (en) | Family histogram based techniques for detection of commercials and other video content | |
| KR20000035766A (en) | Information processing apparatus, information processing method, and distribution media | |
| US7149365B2 (en) | Image information summary apparatus, image information summary method and image information summary processing program | |
| JP4698453B2 (en) | Commercial detection device, video playback device | |
| US7751681B2 (en) | Time-series data recording device and time-series data recording method | |
| US20070179786A1 (en) | Av content processing device, av content processing method, av content processing program, and integrated circuit used in av content processing device | |
| EP1906661A2 (en) | Picture recorder and commercial message detection method | |
| JP4547678B2 (en) | CM detection device | |
| US20060263045A1 (en) | Video image recording and reproducing apparatus and video image recording and reproducing method | |
| JP4259500B2 (en) | Video / audio recording device | |
| JP2005086734A (en) | Image recorder | |
| JP4712812B2 (en) | Recording / playback device | |
| US8234278B2 (en) | Information processing device, information processing method, and program therefor | |
| JP2007267211A (en) | Commercial detection method, commercial detection device and medium for recording commercial detection program | |
| JP4840325B2 (en) | Video / audio recording device | |
| JPWO2007013407A1 (en) | Digest generating apparatus, digest generating method, recording medium storing digest generating program, and integrated circuit used for digest generating apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080630 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100126 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100310 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100611 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100624 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4547678 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130716 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130716 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130716 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |