JP7174755B2 - 要求時におけるオーディオレコーディングへの補足オーディオコンテンツの動的挿入 - Google Patents
要求時におけるオーディオレコーディングへの補足オーディオコンテンツの動的挿入 Download PDFInfo
- Publication number
- JP7174755B2 JP7174755B2 JP2020519272A JP2020519272A JP7174755B2 JP 7174755 B2 JP7174755 B2 JP 7174755B2 JP 2020519272 A JP2020519272 A JP 2020519272A JP 2020519272 A JP2020519272 A JP 2020519272A JP 7174755 B2 JP7174755 B2 JP 7174755B2
- Authority
- JP
- Japan
- Prior art keywords
- content
- audio
- spot
- processing system
- data processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003780 insertion Methods 0.000 title claims description 20
- 230000037431 insertion Effects 0.000 title claims description 20
- 230000000153 supplemental effect Effects 0.000 title description 83
- 238000012545 processing Methods 0.000 claims description 156
- 230000005236 sound signal Effects 0.000 claims description 108
- 238000000034 method Methods 0.000 claims description 89
- 230000009471 action Effects 0.000 claims description 87
- 230000003993 interaction Effects 0.000 claims description 60
- 230000004044 response Effects 0.000 claims description 50
- 238000006243 chemical reaction Methods 0.000 claims description 47
- 238000001514 detection method Methods 0.000 claims description 45
- 230000008569 process Effects 0.000 claims description 25
- 230000005540 biological transmission Effects 0.000 claims description 11
- 239000003550 marker Substances 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 235000014510 cooky Nutrition 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000003058 natural language processing Methods 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 6
- 238000013213 extrapolation Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 238000013515 script Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 230000002730 additional effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013179 statistical model Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- IRLPACMLTUPBCL-KQYNXXCUSA-N 5'-adenylyl sulfate Chemical compound C1=NC=2C(N)=NC=NC=2N1[C@@H]1O[C@H](COP(O)(=O)OS(O)(=O)=O)[C@@H](O)[C@H]1O IRLPACMLTUPBCL-KQYNXXCUSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011143 downstream manufacturing Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/233—Processing of audio elementary streams
- H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/61—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/54—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for retrieval
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/022—Electronic editing of analogue information signals, e.g. audio or video signals
- G11B27/029—Insert-editing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
- H04L51/10—Multimedia information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Computer Networks & Wireless Communication (AREA)
- Artificial Intelligence (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
102 データ処理システム
104 クライアントデバイス
106 コンテンツパブリッシャ
108 コンテンツプロバイダ
110 デジタルアシスタントアプリケーション
112 ネットワーク
114 インターフェース
116 NLPコンポーネント
118 オーディオ信号ジェネレータコンポーネント
120 ダイレクトアクションハンドラコンポーネント
122 応答セレクタコンポーネント
124 データリポジトリ
126 正規表現
128 パラメータ
130 ポリシ
132 応答データ
134 テンプレート
136 識別子
138 レコードインデクサコンポーネント
140 コンテンツ配置コンポーネント
142 コンバージョン検出コンポーネント
144 データリポジトリ
146 オーディオレコーディング
148 コンテンツスポット
150 オーディオコンテンツアイテム
152 スピーカ
154 マイク
200 データフロー
205 オーディオ信号
210 データパケット
215 オーディオファイル
220 フェッチ要求
225 値パラメータ
230 アクションデータ構造
235 オーディオ信号
300 構成
305 テキストコンテンツアイテム
310 テキストコンテンツアイテム
315 メディアプレーヤインターフェース
320 プライマリオーディオコンテンツ
325 補足オーディオコンテンツ
400 方法
500 コンピューティングシステム、コンピューティングデバイス
505 バス
510 プロセッサ
515 メインメモリ
520 読取り専用メモリ(ROM)
525 ストレージデバイス
530 入力デバイス
535 ディスプレイ、タッチスクリーンディスプレイ
Claims (20)
- デジタルアシスタントアプリケーションを介してオーディオコンテンツアイテムをプライマリオーディオコンテンツに挿入するシステムであって、
データベース上で、コンテンツパブリッシャのオーディオレコーディングと、前記オーディオレコーディングの提示中にオーディオコンテンツアイテムを挿入する時間を定義するコンテンツスポットを指定するために前記コンテンツパブリッシャによって設定されたコンテンツスポットマーカとを維持管理するように1つまたは複数のプロセッサを有するデータ処理システム上で実行されるレコードインデクサコンポーネントと、
自然言語プロセッサコンポーネントであって、
クライアントデバイスのセンサによって検出される入力オーディオ信号を含むオーディオデータパケットを受信することと、
前記入力オーディオ信号が前記コンテンツパブリッシャからの前記オーディオレコーディングの要求に対応することを決定するために、前記オーディオデータパケットからの前記入力オーディオ信号を解析することと、
前記入力オーディオ信号から決定された前記要求に基づいて、前記データベースからの前記コンテンツパブリッシャの前記オーディオレコーディングを識別することと
を行うように前記データ処理システム上で実行される自然言語プロセッサコンポーネントと、
コンテンツ配置コンポーネントであって、
前記入力オーディオ信号が前記オーディオレコーディングの前記要求に対応するという前記決定に応答して、前記クライアントデバイスに関連付けられる識別子をコンテンツ選択パラメータとして識別することと、
前記オーディオレコーディングのリスニングの数および前記オーディオコンテンツアイテムのリスニングの数に基づいて、前記オーディオレコーディングにおける前記コンテンツスポットのコンテンツスポットパラメータを決定することと、
前記オーディオレコーディングの前記コンテンツスポットについて、前記コンテンツ選択パラメータおよび前記コンテンツスポットパラメータを使用して、複数のオーディオコンテンツアイテムからコンテンツプロバイダのオーディオコンテンツアイテムを選択することと
を行うように前記データ処理システム上で実行されるコンテンツ配置コンポーネントと、
アクションハンドラコンポーネントであって、
前記コンテンツスポットマーカによって指定された前記オーディオレコーディングの前記コンテンツスポットに前記オーディオコンテンツアイテムを挿入することと、
前記コンテンツスポットマーカによって定義された前記時間にオーディオコンテンツアイテムが挿入された前記オーディオレコーディングを含むアクションデータ構造を生成することと、
前記コンテンツスポットにおいて前記オーディオコンテンツアイテムが挿入された前記オーディオレコーディングを提示するために、前記アクションデータ構造を前記クライアントデバイスに送信することと
を行うように前記データ処理システム上で実行されるアクションハンドラコンポーネントと
を備える、システム。 - 前記アクションデータ構造の前記送信に続いて、前記オーディオレコーディングへの挿入のために選択された前記オーディオコンテンツアイテムの事前定義されたインタラクションと一致する前記クライアントデバイスを介して実行されるインタラクションイベントを監視することと、
前記事前定義されたインタラクションと一致する前記クライアントデバイスからの前記インタラクションイベントの検出に応答して、前記オーディオレコーディングに挿入された前記オーディオコンテンツアイテムが前記クライアントデバイスを介して聴取されていると決定することと
を行うように前記データ処理システム上で実行されるコンバージョン検出コンポーネントを備える、請求項1に記載のシステム。 - 前記アクションデータ構造の前記送信に続いて、前記識別子を使用して前記クライアントデバイス上で動作しているアプリケーションのアプリケーションプログラミングインターフェイス(API)を介して前記オーディオコンテンツアイテムが挿入された前記オーディオレコーディングの再生内の位置を監視することであって、前記アプリケーションが、前記オーディオレコーディングの前記再生を処理する、ことと、
前記APIを介して検出された前記オーディオレコーディングの期間と一致する前記位置に応答して、前記オーディオコンテンツアイテムが挿入された前記オーディオレコーディングの前記再生が完了したことを決定することと
を行うように前記データ処理システム上で実行されるコンバージョン検出コンポーネントを備える、請求項1または2に記載のシステム。 - 事前定義されたインタラクションイベントが検出されるクライアントデバイスの測定される数に基づいて、前記オーディオレコーディングの再生に続いて複数のオーディオコンテンツアイテムの1つに対する前記事前定義されたインタラクションイベントが検出されるクライアントデバイスにわたる前記オーディオコンテンツアイテムの予想されるリスニング数を決定することと、
前記オーディオレコーディングの前記再生の完了が検出されたことから測定されたクライアントデバイスの数に基づいて、前記複数のオーディオコンテンツアイテムのうちの1つが挿入された前記オーディオレコーディングの前記再生が完了されるであろうクライアントデバイスにわたる前記オーディオコンテンツアイテムの予想されるリスニング数を決定することと
を行うように前記データ処理システム上で実行されるコンバージョン検出コンポーネントを備える、請求項1から3のいずれか一項に記載のシステム。 - トレーニングデータを使用して、前記複数のオーディオコンテンツアイテムの1つが挿入されたオーディオレコーディングの再生に続いて前記複数のオーディオコンテンツアイテムの1つに対する事前定義されたインタラクションイベントが検出されると予想されるクライアントデバイスにわたる前記オーディオレコーディングのリスニングの数および前記オーディオコンテンツアイテムのリスニングの数を推定する予測モデルを確立することと、
前記コンテンツスポットにおいて前記オーディオレコーディングに挿入された前記複数のオーディオコンテンツアイテムの各々に対する事前定義されたインタラクションと一致する、インタラクションイベントが検出された、クライアントデバイスの予想される数から測定される前記オーディオコンテンツアイテムのリスニングの数に比例するコンテンツスポットパラメータを決定するために、前記コンテンツスポットマーカによって指定された前記コンテンツスポットを有する前記オーディオレコーディングに前記予測モデルを適用することと、
前記コンテンツスポットの前記コンテンツスポットパラメータおよび前記複数のオーディオコンテンツアイテムの各々のコンテンツ提案パラメータに基づいて、前記複数のオーディオコンテンツアイテムから前記コンテンツプロバイダの前記オーディオコンテンツアイテムを選択することと
を行う、前記コンテンツ配置コンポーネントを備える、請求項1から4のいずれか一項に記載のシステム。 - 前記コンテンツスポットにおいて前記オーディオレコーディングに挿入された前記複数のオーディオコンテンツアイテムの各々に対する事前定義されたインタラクションと一致する、インタラクションイベントが検出された、クライアントデバイスにわたる前記オーディオレコーディングのリスニングの数および前記オーディオコンテンツアイテムのリスニングの数を識別することと、
前記インタラクションイベントが前記事前定義されたインタラクションと一致する前記クライアントデバイスにわたる前記オーディオレコーディングのリスニングの数および前記オーディオコンテンツアイテムのリスニングの数に基づいて、前記オーディオレコーディングにおいて定義された前記コンテンツスポットのコンテンツスポットパラメータを決定することと、
前記コンテンツスポットの前記コンテンツスポットパラメータおよび前記複数のオーディオコンテンツアイテムの各々のコンテンツ提案パラメータに基づいて、前記複数のオーディオコンテンツアイテムから前記コンテンツプロバイダの前記オーディオコンテンツアイテムを選択することと
を行う、前記コンテンツ配置コンポーネントを備える、請求項1から5のいずれか一項に記載のシステム。 - 前記複数のオーディオコンテンツアイテムの1つが挿入された前記オーディオレコーディングの再生が完了したクライアントデバイスにわたる前記オーディオレコーディングのリスニングの数および前記オーディオコンテンツアイテムのリスニングの数を識別することと、
前記再生が完了した前記クライアントデバイスにわたる前記オーディオレコーディングのリスニングの数および前記オーディオコンテンツアイテムのリスニングの数に基づいて、前記オーディオレコーディングにおいて定義された前記コンテンツスポットのコンテンツスポットパラメータを決定することと、
前記コンテンツスポットの前記コンテンツスポットパラメータおよび前記複数のオーディオコンテンツアイテムの各々のコンテンツ提案パラメータに基づいて、前記複数のオーディオコンテンツアイテムから前記コンテンツプロバイダの前記オーディオコンテンツアイテムを選択することと
を行う、前記コンテンツ配置コンポーネントを備える、請求項1から6のいずれか一項に記載のシステム。 - 前記入力オーディオ信号が前記要求に対応するという前記決定に応答して、デバイス識別子と、前記クライアントデバイスのセッションに関連付けられるクッキー識別子と、前記オーディオレコーディングを再生するように前記クライアントデバイス上で実行されるアプリケーションを認証するために使用されるアカウント識別子と、前記アカウント識別子に関連付けられる特性とのうちの少なくとも1つを含む、複数のコンテンツ選択パラメータを識別することと、
前記複数のコンテンツ選択パラメータを使用して、前記複数のオーディオコンテンツアイテムから前記オーディオコンテンツアイテムを選択することと
を行う、前記コンテンツ配置コンポーネントを備える、請求項1から7のいずれか一項に記載のシステム。 - 前記入力オーディオ信号が前記要求に対応しているという前記決定に応答して、前記クライアントデバイス上で動作しているアプリケーションとのアプリケーションプログラミングインターフェイス(API)を介して前記クライアントデバイスに関連付けられる前記識別子を識別する、前記コンテンツ配置コンポーネントを備える、請求項1から8のいずれか一項に記載のシステム。
- 前記クライアントデバイスに関連付けられる前記識別子を含む前記オーディオデータパケットを受信する、前記自然言語プロセッサコンポーネントであって、前記識別子が、前記オーディオレコーディングを取得する前記クライアントデバイスを認証するために使用される、自然言語プロセッサコンポーネントと
前記入力オーディオ信号が前記要求に対応するという前記決定に応答して、前記識別子を前記コンテンツ選択パラメータとして識別するために前記オーディオデータパケットを解析する、前記コンテンツ配置コンポーネントと
を備える、請求項1から9のいずれか一項に記載のシステム。 - 提示のために前記クライアントデバイスにダウンロードされる少なくとも1つのオーディオファイルに対応する前記コンテンツパブリッシャの前記オーディオレコーディングを前記データベース上で維持管理する、前記レコードインデクサコンポーネントを備える、請求項1から10のいずれか一項に記載のシステム。
- 前記コンテンツスポットにおいて前記オーディオコンテンツアイテムが挿入された前記オーディオレコーディングをストリーミングせずに前記クライアントデバイスにロードするために、前記アクションデータ構造を送信する、前記アクションハンドラコンポーネントを備える、請求項1から11のいずれか一項に記載のシステム。
- デジタルアシスタントアプリケーションを介してオーディオコンテンツアイテムをプライマリオーディオコンテンツに挿入する方法であって、
1つまたは複数のプロセッサを有するデータ処理システムによって、データベース上で、コンテンツパブリッシャのオーディオレコーディングと、前記オーディオレコーディングの提示中にオーディオコンテンツアイテムを挿入する時間を定義するコンテンツスポットを指定するために前記コンテンツパブリッシャによって設定されたコンテンツスポットマーカとを維持管理するステップと、
前記データ処理システムによって、クライアントデバイスのセンサによって検出される入力オーディオ信号を含むオーディオデータパケットを受信するステップと、
前記データ処理システムによって、前記入力オーディオ信号が前記コンテンツパブリッシャからの前記オーディオレコーディングの要求に対応することを決定するために、前記オーディオデータパケットからの前記入力オーディオ信号を解析するステップと、
前記データ処理システムによって、前記入力オーディオ信号から決定された前記要求に基づいて、前記データベースからの前記コンテンツパブリッシャの前記オーディオレコーディングを識別するステップと、
前記データ処理システムによって、前記入力オーディオ信号が前記オーディオレコーディングの前記要求に対応するという決定に応答して、前記クライアントデバイスに関連付けられる識別子をコンテンツ選択パラメータとして識別するステップと、
前記オーディオレコーディングのリスニングの数および前記オーディオコンテンツアイテムのリスニングの数に基づいて、前記オーディオレコーディングにおける前記コンテンツスポットのコンテンツスポットパラメータを決定するステップと、
前記データ処理システムによって、前記オーディオレコーディングの前記コンテンツスポットについて、前記コンテンツ選択パラメータおよび前記コンテンツスポットパラメータを使用して、複数のオーディオコンテンツアイテムからコンテンツプロバイダのオーディオコンテンツアイテムを選択するステップと、
前記データ処理システムによって、前記コンテンツスポットマーカによって指定された前記時間を定義する前記オーディオレコーディングの前記コンテンツスポットに前記オーディオコンテンツアイテムを挿入するステップと、
前記データ処理システムによって、前記コンテンツスポットマーカによって定義された前記時間にオーディオコンテンツアイテムが挿入された前記オーディオレコーディングを含むアクションデータ構造を生成するステップと、
前記データ処理システムによって、前記コンテンツスポットにおいて前記オーディオコンテンツアイテムが挿入された前記オーディオレコーディングを提示するために、前記アクションデータ構造を前記クライアントデバイスに送信するステップと
を備える、方法。 - 前記データ処理システムによって、前記アクションデータ構造の送信に続いて、前記オーディオレコーディングへの挿入のために選択された前記オーディオコンテンツアイテムの事前定義されたインタラクションと一致する前記クライアントデバイスを介して実行されるインタラクションイベントを監視するステップと、
前記データ処理システムによって、前記事前定義されたインタラクションと一致する前記クライアントデバイスからの前記インタラクションイベントの検出に応答して、前記オーディオレコーディングに挿入された前記オーディオコンテンツアイテムが前記クライアントデバイスを介して聴取されていると決定するステップと
を備える、請求項13に記載の方法。 - 前記データ処理システムによって、前記アクションデータ構造の前記送信に続いて、前記識別子を使用して前記クライアントデバイス上で動作しているアプリケーションのアプリケーションプログラミングインターフェイス(API)を介して前記オーディオコンテンツアイテムが挿入された前記オーディオレコーディングの再生内の位置を監視するステップであって、前記アプリケーションが、前記オーディオレコーディングの前記再生を処理する、ステップと、
前記データ処理システムによって、前記APIを介して検出された前記オーディオレコーディングの期間と一致する前記位置に応答して、前記オーディオコンテンツアイテムが挿入された前記オーディオレコーディングの前記再生が完了したことを決定するステップと
を備える、請求項13または14に記載の方法。 - 前記データ処理システムによって、トレーニングデータを使用して、前記複数のオーディオコンテンツアイテムの1つが挿入されたオーディオレコーディングの再生に続いて前記複数のオーディオコンテンツアイテムの1つに対する事前定義されたインタラクションイベントが検出されると予想されるクライアントデバイスにわたる前記オーディオレコーディングのリスニングの数および前記オーディオコンテンツアイテムのリスニングの数を推定する予測モデルを確立するステップと、
前記データ処理システムによって、前記コンテンツスポットにおいて前記オーディオレコーディングに挿入された前記複数のオーディオコンテンツアイテムの各々に対する事前定義されたインタラクションと一致する、インタラクションイベントが検出された、クライアントデバイスの予想される数から測定される前記オーディオコンテンツアイテムのリスニングの数に比例するコンテンツスポットパラメータを決定するために、前記コンテンツスポットマーカによって指定された前記コンテンツスポットを有する前記オーディオレコーディングに前記予測モデルを適用するステップと、
前記データ処理システムによって、前記コンテンツスポットの前記コンテンツスポットパラメータおよび前記複数のオーディオコンテンツアイテムの各々のコンテンツ提案パラメータに基づいて、前記複数のオーディオコンテンツアイテムから前記コンテンツプロバイダの前記オーディオコンテンツアイテムを選択するステップと
を備える、請求項13から15のいずれか一項に記載の方法。 - 前記データ処理システムによって、前記コンテンツスポットにおいて前記オーディオレコーディングに挿入された前記複数のオーディオコンテンツアイテムの各々に対する事前定義されたインタラクションと一致する、インタラクションイベントが検出された、クライアントデバイスにわたる前記オーディオレコーディングのリスニングの数および前記オーディオコンテンツアイテムのリスニングの数を識別するステップと、
前記データ処理システムによって、前記インタラクションイベントが前記事前定義されたインタラクションと一致する前記クライアントデバイスにわたる前記オーディオレコーディングのリスニングの数および前記オーディオコンテンツアイテムのリスニングの数に基づいて、前記オーディオレコーディングにおいて定義された前記コンテンツスポットのコンテンツスポットパラメータを決定するステップと、
前記データ処理システムによって、前記コンテンツスポットの前記コンテンツスポットパラメータおよび前記複数のオーディオコンテンツアイテムの各々のコンテンツ提案パラメータに基づいて、前記複数のオーディオコンテンツアイテムから前記コンテンツプロバイダの前記オーディオコンテンツアイテムを選択するステップと
を備える、請求項13から16のいずれか一項に記載の方法。 - 前記データ処理システムによって、前記複数のオーディオコンテンツアイテムの1つが挿入された前記オーディオレコーディングの再生が完了したクライアントデバイスの数を識別するステップと、
前記データ処理システムによって、前記再生が完了した前記クライアントデバイスの数に基づいて、前記オーディオレコーディングにおいて定義された前記コンテンツスポットのコンテンツスポットパラメータを決定するステップと、
前記データ処理システムによって、前記コンテンツスポットの前記コンテンツスポットパラメータおよび前記複数のオーディオコンテンツアイテムの各々のコンテンツ提案パラメータに基づいて、前記複数のオーディオコンテンツアイテムから前記コンテンツプロバイダの前記オーディオコンテンツアイテムを選択するステップと
を備える、請求項13から17のいずれか一項に記載の方法。 - 前記データ処理システムによって、前記入力オーディオ信号が前記要求に対応するという決定に応答して、デバイス識別子と、前記クライアントデバイスのセッションに関連付けられるクッキー識別子と、前記オーディオレコーディングを再生するように前記クライアントデバイス上で実行されるアプリケーションを認証するために使用されるアカウント識別子と、前記アカウント識別子に関連付けられる特性とのうちの少なくとも1つを含む、複数のコンテンツ選択パラメータを識別するステップと、
前記データ処理システムによって、前記複数のコンテンツ選択パラメータを使用して、前記複数のオーディオコンテンツアイテムから前記オーディオコンテンツアイテムを選択するステップと
を備える、請求項13から18のいずれか一項に記載の方法。 - 前記データ処理システムによって、前記コンテンツスポットにおいて前記オーディオコンテンツアイテムが挿入された前記オーディオレコーディングをストリーミングせずに前記クライアントデバイスにロードするために、前記アクションデータ構造を送信するステップを備える、請求項13から19のいずれか一項に記載の方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2019/063317 WO2021107932A1 (en) | 2019-11-26 | 2019-11-26 | Dynamic insertion of supplemental audio content into audio recordings at request time |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022515686A JP2022515686A (ja) | 2022-02-22 |
JP7174755B2 true JP7174755B2 (ja) | 2022-11-17 |
Family
ID=69061445
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020519272A Active JP7174755B2 (ja) | 2019-11-26 | 2019-11-26 | 要求時におけるオーディオレコーディングへの補足オーディオコンテンツの動的挿入 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11949946B2 (ja) |
EP (1) | EP3854037B1 (ja) |
JP (1) | JP7174755B2 (ja) |
KR (1) | KR102389776B1 (ja) |
CN (1) | CN113196384A (ja) |
WO (1) | WO2021107932A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003244677A (ja) | 2002-02-13 | 2003-08-29 | Red Rice Medium Inc | 動画配信・再生制御システム及び動画配信・再生制御用コンピュータプログラム |
JP2007201742A (ja) | 2006-01-25 | 2007-08-09 | Ntt Software Corp | コンテンツ配信システム |
WO2011049235A1 (ja) | 2009-10-23 | 2011-04-28 | シャープ株式会社 | コンテンツ配信システム、コンテンツ配信装置、コンテンツ視聴装置、コンテンツ配信方法およびコンテンツ視聴方法 |
JP2015029271A (ja) | 2005-01-12 | 2015-02-12 | インビディ テクノロジーズ コーポレイションInvidi Technologies Corporation | 放送網のアセット配信のためのターゲット・インプレッション・モデル |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5625570A (en) * | 1994-06-07 | 1997-04-29 | Technicolor Videocassette, Inc. | Method and system for inserting individualized audio segments into prerecorded video media |
US6223210B1 (en) * | 1998-10-14 | 2001-04-24 | Radio Computing Services, Inc. | System and method for an automated broadcast system |
US6684249B1 (en) * | 2000-05-26 | 2004-01-27 | Sonicbox, Inc. | Method and system for adding advertisements over streaming audio based upon a user profile over a world wide area network of computers |
US8626588B2 (en) | 2005-09-30 | 2014-01-07 | Google Inc. | Advertising with audio content |
US8676900B2 (en) | 2005-10-25 | 2014-03-18 | Sony Computer Entertainment America Llc | Asynchronous advertising placement based on metadata |
US20150154632A1 (en) | 2007-04-30 | 2015-06-04 | Deepak Jindal | Determining a number of view-through conversions for an online advertising campaign |
CN102945074B (zh) * | 2011-10-12 | 2016-04-27 | 微软技术许可有限责任公司 | 根据所捕捉的语音和音频内容来填充列表和任务 |
US9348554B2 (en) * | 2011-12-20 | 2016-05-24 | Audible, Inc. | Managing playback of supplemental information |
US11218434B2 (en) * | 2013-06-12 | 2022-01-04 | Google Llc | Audio data packet status determination |
US10504135B2 (en) * | 2014-01-23 | 2019-12-10 | Apple Inc. | Technologies for inserting dynamic content into podcast episodes |
WO2016018787A1 (en) * | 2014-07-31 | 2016-02-04 | Dolby Laboratories Licensing Corporation | Audio processing systems and methods |
US10387488B2 (en) * | 2016-12-07 | 2019-08-20 | At7T Intellectual Property I, L.P. | User configurable radio |
KR102425411B1 (ko) | 2017-06-09 | 2022-07-26 | 구글 엘엘씨 | 오디오 기반 컴퓨터 프로그램 출력의 수정 |
WO2019173573A1 (en) | 2018-03-08 | 2019-09-12 | Bose Corporation | User-interfaces for audio-augmented-reality |
WO2019173577A1 (en) | 2018-03-08 | 2019-09-12 | Bose Corporation | Audio content engine for audio augmented reality |
-
2019
- 2019-11-26 WO PCT/US2019/063317 patent/WO2021107932A1/en unknown
- 2019-11-26 US US16/621,334 patent/US11949946B2/en active Active
- 2019-11-26 KR KR1020207009966A patent/KR102389776B1/ko active IP Right Grant
- 2019-11-26 EP EP19829374.8A patent/EP3854037B1/en active Active
- 2019-11-26 JP JP2020519272A patent/JP7174755B2/ja active Active
- 2019-11-26 CN CN201980004868.XA patent/CN113196384A/zh active Pending
-
2024
- 2024-02-23 US US18/585,962 patent/US20240196048A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003244677A (ja) | 2002-02-13 | 2003-08-29 | Red Rice Medium Inc | 動画配信・再生制御システム及び動画配信・再生制御用コンピュータプログラム |
JP2015029271A (ja) | 2005-01-12 | 2015-02-12 | インビディ テクノロジーズ コーポレイションInvidi Technologies Corporation | 放送網のアセット配信のためのターゲット・インプレッション・モデル |
JP2007201742A (ja) | 2006-01-25 | 2007-08-09 | Ntt Software Corp | コンテンツ配信システム |
WO2011049235A1 (ja) | 2009-10-23 | 2011-04-28 | シャープ株式会社 | コンテンツ配信システム、コンテンツ配信装置、コンテンツ視聴装置、コンテンツ配信方法およびコンテンツ視聴方法 |
Also Published As
Publication number | Publication date |
---|---|
KR20210068316A (ko) | 2021-06-09 |
US20240196048A1 (en) | 2024-06-13 |
CN113196384A (zh) | 2021-07-30 |
US20220286732A1 (en) | 2022-09-08 |
WO2021107932A1 (en) | 2021-06-03 |
EP3854037A1 (en) | 2021-07-28 |
KR102389776B1 (ko) | 2022-04-22 |
US11949946B2 (en) | 2024-04-02 |
EP3854037B1 (en) | 2024-04-17 |
JP2022515686A (ja) | 2022-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230402029A1 (en) | Systems and methods for providing notifications within a media asset without breaking immersion | |
JP7044916B2 (ja) | データ送信のためのフィードバックコントローラ | |
JP7139295B2 (ja) | パケット化されたデータのマルチモーダル送信のシステムおよび方法 | |
US20180121547A1 (en) | Systems and methods for providing information discovery and retrieval | |
US11908459B2 (en) | Detection of potential exfiltration of audio data from digital assistant applications | |
WO2019027914A1 (en) | CONVERSATIONAL AUDIO ASSISTANT | |
US11842721B2 (en) | Systems and methods for generating synthesized speech responses to voice inputs by training a neural network model based on the voice input prosodic metrics and training voice inputs | |
US20220027124A1 (en) | Verifying operational statuses of agents interfacing with digital assistant applications | |
US20240004608A1 (en) | Automatic adjustment of muted response setting | |
CN110889008B (zh) | 一种音乐推荐方法、装置、计算装置和存储介质 | |
KR102471071B1 (ko) | 오디오 기반 컴퓨터 프로그램 출력의 수정 | |
JP7174755B2 (ja) | 要求時におけるオーディオレコーディングへの補足オーディオコンテンツの動的挿入 | |
CN110858234A (zh) | 一种根据人物情感进行信息推送的方法及装置 | |
JP7262565B2 (ja) | ネットワーク化環境における遅延2要素認証 | |
KR20230014680A (ko) | 서드파티 디지털 어시스턴트 액션을 위한 비트 벡터 기반 콘텐츠 매칭 | |
CN110830595A (zh) | 一种个性化音乐推送方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200603 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220530 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221011 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221107 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7174755 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |