JP2019213064A - Cm区間検出装置、cm区間検出方法、及びプログラム - Google Patents
Cm区間検出装置、cm区間検出方法、及びプログラム Download PDFInfo
- Publication number
- JP2019213064A JP2019213064A JP2018108004A JP2018108004A JP2019213064A JP 2019213064 A JP2019213064 A JP 2019213064A JP 2018108004 A JP2018108004 A JP 2018108004A JP 2018108004 A JP2018108004 A JP 2018108004A JP 2019213064 A JP2019213064 A JP 2019213064A
- Authority
- JP
- Japan
- Prior art keywords
- section
- credit display
- provided credit
- unit
- program
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 167
- 238000012937 correction Methods 0.000 claims abstract description 20
- 230000005236 sound signal Effects 0.000 claims description 34
- 239000000284 extract Substances 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 13
- 238000000605 extraction Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000003442 weekly effect Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/812—Monomedia components thereof involving advertisement data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/233—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Marketing (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Acoustics & Sound (AREA)
- Finance (AREA)
- Computational Linguistics (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
次に、CM区間検出部120の詳細について説明する。図3は、CM区間検出部120の構成例を示す図である。CM区間検出部120は、検出用データ作成部121と、音量算出部122と、CM境界候補区間決定部123と、カット点抽出部124と、CM区間決定部125とを備える。
Call=C_1×C_2×・・・×C_k×・・・×C_n (1)
そして、CM区間決定部125は、隣接するCM境界候補区間において、1個ずつ選択されたカット点の間の時間である隣接カット点時間の差の合計が最小となるカット点系列を決定し、該カット点系列のカット点の間の区間をCM区間と決定する。隣接カット点時間とは、CM境界候補区間Tk内の1つのカット点とCM境界候補区間Tk-1内の1つのカット点との間の時間である。
次に、画像認識部200の詳細について説明する。図9は、画像認識部200の構成例を示す図である。図9に示す画像認識部200は、正解メタデータ蓄積部210と、パラメータ蓄積部220と、学習データ作成部230と、学習部240と、検出用画像データ作成部250と、提供クレジット表示区間推定部260とを備える。
次に、画像認識部の変形例について説明する。図10は、画像認識部の他の構成例を示す図である。図10において、図9と同様の構成については同じ符号を付し、説明を省略する。図10に示す画像認識部200Aは、図9示す画像認識部200と比較して、学習データ作成部230を学習データ作成部230Aに変更した点と、学習部240を学習部240Aに変更した点と、提供クレジット表示区間推定部260を提供クレジット表示区間推定部260Aに変更した点とが異なる。
次に、音声認識部300の詳細について説明する。図11は、音声認識部300の構成例を示す図である。図11に示す音声認識部300は、関連語句蓄積部310と、音声データ作成部320と、音声認識処理部330と、関連語句検出部340と、提供クレジット表示区間推定部350とを備える。
次に、CM区間検出装置100によるCM区間検出方法について、図13を参照して説明する。図13は、本発明の一実施形態に係るCM区間検出方法の一例を示すフローチャートである。
110 放送映像/音声信号蓄積部
120 CM区間検出部
121 検出用データ作成部
122 音量算出部
123 CM境界候補区間決定部
124 カット点抽出部
125 CM区間決定部
130 提供クレジット表示区間推定部
140 CM区間修正部
200 画像認識部
210 正解メタデータ蓄積部
220 パラメータ蓄積部
230,230A 学習データ作成部
231A 初期学習用学習データ作成部
232A 曜日別再学習用学習データ作成部
240,240A 学習部
241A 初期学習部
242A 曜日別再学習部
250 検出用画像データ作成部
260,260A 提供クレジット表示区間推定部
300 音声認識部
310 関連語句蓄積部
320 音声データ作成部
330 音声認識処理部
340 関連語句検出部
350 提供クレジット表示区間推定部
400 提供クレジット表示区間出力部
Claims (9)
- 番組に含まれるCMの区間を検出するCM区間検出装置であって、
番組の音量と音量閾値とを比較することにより、前記番組内の1以上のCM区間を検出し、検出したCM区間を示す検出CM区間を生成するCM区間検出部と、
前記検出CM区間を、前記番組における、該番組のスポンサーを示す提供クレジットが表示された区間である提供クレジット表示区間に基づいて修正するCM区間修正部と、
を備えることを特徴とするCM区間検出装置。 - 請求項1に記載のCM区間検出装置において、
前記CM区間修正部は、前記CM区間検出部により検出されたCM区間内に前記提供クレジット表示区間が含まれる場合には、該CM区間を前記検出CM区間から除外することを特徴とするCM区間検出装置。 - 請求項1又は2に記載のCM区間検出装置において、
前記CM区間修正部は、前記CM区間検出部により検出されたCM区間外に前記提供クレジット表示区間が存在する場合には、該CM区間及び該提供クレジット表示区間の間隔と、所定時間とを比較することにより、該間隔を前記検出CM区間に追加するか否かを決定することを特徴とするCM区間検出装置。 - 請求項1から3のいずれか一項に記載のCM区間検出装置において、
前記CM区間検出部は、前記番組の音量が音量閾値未満であり、かつ前フレームからの変化量が画素変化閾値以上であるフレームが再生される時点であるカット点を抽出し、該カット点の間隔とCM規定長とを比較することにより1以上のCM区間を検出し、検出したCM区間を示す検出CM区間を生成することを特徴とするCM区間検出装置。 - 請求項1から4のいずれか一項に記載のCM区間検出装置において、
検出モデルを用いて、前記提供クレジット表示区間を推定する提供クレジット表示区間推定部をさらに備え
前記検出モデルに適用されるパラメータは、前記提供クレジット表示が検出済みの学習用番組における、前記提供クレジット表示が表示された静止画及び前記提供クレジット表示が表示されていない静止画を含む学習データを用いて、あらかじめ学習されていることを特徴とするCM区間検出装置。 - 請求項1から4のいずれか一項に記載のCM区間検出装置において、
前記番組の音声信号の音声認識の結果から、前記提供クレジット表示のアナウンスに含まれ、前記提供クレジット表示に関連する関連語句を検出し、該関連語句の出現時刻を起点として、所定の期間を前記提供クレジット表示区間と推定する提供クレジット表示区間推定部をさらに備えることを特徴とするCM区間検出装置。 - 請求項1から4のいずれか一項に記載のCM区間検出装置において、
検出モデルを用いて、前記番組における第1の提供クレジット表示区間を推定するとともに、前記番組の音声信号の音声認識の結果から、前記提供クレジット表示のアナウンスに含まれ、前記提供クレジット表示に関連する関連語句を検出し、該関連語句の出現時刻を起点として、所定の期間を第2の提供クレジット表示区間と推定し、前記第1の提供クレジット表示区間及び前記第2の提供クレジット表示区間の共通部分又は和集合を前記提供クレジット表示区間と推定する提供クレジット表示区間推定部をさらに備え、
前記検出モデルに適用されるパラメータは、前記提供クレジット表示が検出済みの学習用番組における、前記提供クレジット表示が表示された静止画及び前記提供クレジット表示が表示されていない静止画を含む学習データを用いて、あらかじめ学習されていることを特徴とするCM区間検出装置。 - 番組に含まれるCMの区間を検出するCM区間検出装置におけるCM区間検出方法であって、
番組の音量と音量閾値とを比較することにより、1以上のCM区間を検出し、検出したCM区間を示す検出CM区間を生成するステップと、
前記検出CM区間を、前記番組における、該番組のスポンサーを示す提供クレジットが表示された区間である提供クレジット表示区間に基づいて修正するステップと、
を含むことを特徴とするCM区間検出方法。 - コンピュータを、請求項1から7のいずれか一項に記載のCM区間検出装置として機能させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018108004A JP6966705B2 (ja) | 2018-06-05 | 2018-06-05 | Cm区間検出装置、cm区間検出方法、及びプログラム |
PCT/JP2019/021929 WO2019235405A1 (ja) | 2018-06-05 | 2019-06-03 | Cm区間検出装置、cm区間検出方法、及びプログラム |
US15/734,807 US11368762B2 (en) | 2018-06-05 | 2019-06-03 | Commercial section detection device, commercial section detection method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018108004A JP6966705B2 (ja) | 2018-06-05 | 2018-06-05 | Cm区間検出装置、cm区間検出方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019213064A true JP2019213064A (ja) | 2019-12-12 |
JP6966705B2 JP6966705B2 (ja) | 2021-11-17 |
Family
ID=68770410
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018108004A Active JP6966705B2 (ja) | 2018-06-05 | 2018-06-05 | Cm区間検出装置、cm区間検出方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11368762B2 (ja) |
JP (1) | JP6966705B2 (ja) |
WO (1) | WO2019235405A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7011170B2 (ja) * | 2018-06-05 | 2022-01-26 | 日本電信電話株式会社 | 提供クレジット表示検出装置、提供クレジット表示検出方法及びプログラム |
US11930063B2 (en) * | 2020-12-09 | 2024-03-12 | Nagravision S.A. | Content completion detection for media content |
US11469840B1 (en) * | 2020-12-23 | 2022-10-11 | Meta Platforms, Inc. | Systems and methods for repairing a live video recording |
US11935300B2 (en) * | 2021-11-05 | 2024-03-19 | Netflix, Inc. | Techniques for generating candidate match cuts |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3513424B2 (ja) | 1999-05-10 | 2004-03-31 | 日本電信電話株式会社 | コマーシャル部分認識方法及びそのプログラム記録媒体 |
JP2001118297A (ja) * | 1999-10-14 | 2001-04-27 | Funai Electric Co Ltd | 記録制御装置および記録制御方法 |
JP4512969B2 (ja) * | 2001-07-18 | 2010-07-28 | ソニー株式会社 | 信号処理装置及び方法、記録媒体、並びにプログラム |
US8155498B2 (en) * | 2002-04-26 | 2012-04-10 | The Directv Group, Inc. | System and method for indexing commercials in a video presentation |
JP3894940B2 (ja) * | 2005-08-11 | 2007-03-22 | 三菱電機株式会社 | 映像音声記録装置 |
JP2007266838A (ja) * | 2006-03-28 | 2007-10-11 | Sharp Corp | 記録再生装置、記録再生方法、及び、記録再生プログラムを記録した記録媒体 |
US9554061B1 (en) * | 2006-12-15 | 2017-01-24 | Proctor Consulting LLP | Smart hub |
JP4929127B2 (ja) * | 2007-11-07 | 2012-05-09 | 株式会社日立製作所 | Cm検出方法及びこれを用いた動画再生装置 |
JP5658964B2 (ja) * | 2010-09-29 | 2015-01-28 | Necパーソナルコンピュータ株式会社 | コマーシャル検出方法および装置 |
-
2018
- 2018-06-05 JP JP2018108004A patent/JP6966705B2/ja active Active
-
2019
- 2019-06-03 WO PCT/JP2019/021929 patent/WO2019235405A1/ja active Application Filing
- 2019-06-03 US US15/734,807 patent/US11368762B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2019235405A1 (ja) | 2019-12-12 |
JP6966705B2 (ja) | 2021-11-17 |
US11368762B2 (en) | 2022-06-21 |
US20210235166A1 (en) | 2021-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019235405A1 (ja) | Cm区間検出装置、cm区間検出方法、及びプログラム | |
JP5698318B2 (ja) | オ−ディオ及びビデオ署名生成及び検出のための特徴の最適化及び信頼性予測 | |
KR101456926B1 (ko) | 핑거프린트에 기반한 광고 검출 시스템 및 방법 | |
US20160337691A1 (en) | System and method for detecting streaming of advertisements that occur while streaming a media program | |
JP6557592B2 (ja) | 映像シーン分割装置及び映像シーン分割プログラム | |
TW200833116A (en) | Extracting features of video and audio signal content to provide a reliable identification of the signals | |
CN104853244A (zh) | 用于管理音视频、音频或视频内容的方法和装置 | |
US20240214640A1 (en) | Systems and methods for displaying subjects of a video portion of content | |
CN107133266B (zh) | 视频镜头类别的检测方法及装置和数据库更新方法及装置 | |
US11728914B2 (en) | Detection device, detection method, and program | |
WO2019235407A1 (ja) | 提供クレジット表示検出装置、提供クレジット表示検出方法、及びプログラム | |
JP6713229B2 (ja) | Cm情報生成装置、cm情報生成方法、及びプログラム | |
WO2019235138A1 (ja) | 提供クレジット表示検出装置、提供クレジット表示検出方法及びプログラム | |
CN107277645A (zh) | 一种字幕内容的纠错方法和装置 | |
JP2010526504A (ja) | ビデオセグメント間の遷移を検出するための方法及び装置 | |
US12028573B2 (en) | Device and method for detecting display of provided credit, and program | |
JP6710476B2 (ja) | コマーシャル境界判定装置、コマーシャル境界判定方法、及びプログラム | |
WO2019156043A1 (ja) | コンテンツ判定装置、コンテンツ判定方法、及びプログラム | |
JP7196656B2 (ja) | クレジット区間特定装置、クレジット区間特定方法及びプログラム | |
CN115880737B (zh) | 一种基于降噪自学习的字幕生成方法、***、设备及介质 | |
CN112437340A (zh) | 一种音视频中确定有无变种长广告的方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191028 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201215 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210405 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210921 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211004 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6966705 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |