JP5227382B2 - 類似のビデオコンテンツへの乗り換えのための方法および装置 - Google Patents
類似のビデオコンテンツへの乗り換えのための方法および装置 Download PDFInfo
- Publication number
- JP5227382B2 JP5227382B2 JP2010207426A JP2010207426A JP5227382B2 JP 5227382 B2 JP5227382 B2 JP 5227382B2 JP 2010207426 A JP2010207426 A JP 2010207426A JP 2010207426 A JP2010207426 A JP 2010207426A JP 5227382 B2 JP5227382 B2 JP 5227382B2
- Authority
- JP
- Japan
- Prior art keywords
- scene
- video
- characteristic
- stream
- overlapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/732—Query formulation
- G06F16/7328—Query by example, e.g. a complete video frame or video sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
- G11B27/327—Table of contents
- G11B27/329—Table of contents on a disc [VTOC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/26603—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel for automatically generating descriptors from content, e.g. when it is not made available by its provider, using content analysis techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/4147—PVR [Personal Video Recorder]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
- H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
- H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
- H04N7/163—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/482—End-user interface for program selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/781—Television signal recording using magnetic recording on disks or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は娯楽芸術に関する。特に、高容量パーソナルビデオレコーダーのユーザーが同じまたは異なるストリーム内の類似のコンテンツに切り換える、あるいは乗り換えるのを便利にすることに関する。しかし、本発明はより一般には、デジタル放送テレビ受信機、デジタルケーブルテレビ受信機、コンパクトオーディオディスクプレーヤーおよびレコーダー、デジタルラジオ放送受信機、インターネットブラウザー、コンピュータネットワークブラウザーなどにおけるコンテンツ間の乗り換え(content hopping)を可能にすることに関する。
パーソナルビデオ録画再生機は現在のところ40時間以上ものビデオコンテンツを記録する容量があり、その容量は近い将来大幅に増加することが見込まれている。こうした大きな記録容量に鑑みると、ビデオコンテンツを合理的に管理し、再生し、ブラウズするツールや機能があればユーザーに裨益するところが大きい。
幸運な偶然によっておもしろい娯楽コンテンツを「発見」することは視聴者にとって有益である。放送、ケーブルテレビ、衛星テレビを視聴する間、ユーザーは一般にチャンネルサーフィン、すなわちチャンネル間の乗り換えを行う。リモコンのチャンネル切り換えを操作してテレビのチャンネルを切り換えながらおもしろい演目をさがすのである。テレビの演目を同定する印刷された番組表や電子番組表がすぐ利用できる場合であっても、ユーザーはしばしばチャンネル間の乗り換えを行う。ただし、そのようなチャンネル乗り換えは完全に無作為ではない可能性がある。ユーザーはあるチャンネルで典型的に放送されるのがどんな演目であるかを知っている可能性があるからである。
たとえばパーソナルビデオカメラ(すなわちカムコーダー)またはパーソナルビデオレコーダーを使ってユーザーによって記録されたビデオコンテンツは、一般にはコンテンツのガイドは含んでいない。再生の間、ユーザーは録画されたコンテンツのコンテンツ乗り換えをしたくなることがある。そのようなコンテンツ乗り換えは一般にチャンネル間の乗り換えと同様であるが、テレビチャンネルの間ではなく、ビデオストリームの部分の間またはビデオストリームの間で乗り換えるという点だけが異なっている。
問題が起こるのは、典型的にはユーザーはあるビデオストリーム内、あるいはストリーム間での望ましいコンテンツの乗り換え先を同定する便利な方法がないためである。特定の種類のコンテンツの範囲内で、あるいは現在視聴中のコンテンツと類似したコンテンツの範囲内でのコンテンツ乗り換えができればユーザーにとって有益であろう。その上、ユーザーは、現在視聴中の演目との類似性に基づいて、あるいは乗り換え先のコンテンツの特定の種類(アクションシーン、スポーツ番組など)を指定することによって、コンテンツ乗り換えを限定したいと思うかもしれない。
本発明は上述の制限その他を克服する改良された装置および方法を考察する。
一つの側面では、ビデオコンテンツを再生する装置が開示される。少なくとも一つのビデオストリームを保存〔記憶〕するよう、ビデオコンテンツ手段が設けられる。各ビデオストリームには複数のシーンが含まれ、各シーンは対応するシーン特性によって記述される。ユーザーが視聴したいシーンのビデオコンテンツを記述するシーン特性を選択するための選択手段が設けられている。選択されたシーン特性を保存されているビデオストリームのシーン特性と比較して、シーン特性が選択されたシーン特性と類似する一つ以上のシーンを同定するための手段が設けられている。選択されたシーン特性と類似と同定されたシーン特性をもつ少なくとも一つのシーンを再生する手段が設けられている。
別の側面では、ビデオコンテンツを再生する方法が提供される。ビデオシーンのフレームの特徴の合成を記述するシーン特性が選択される。選択されたシーン特性は、少なくとも一つの保存されているビデオストリームのシーンを記述するさまざまな保存シーン特性と比較され、選択されたシーン特性と類似する少なくとも一つのシーン特性を同定する。シーン特性が選択されたストリーム特性と類似と同定された少なくとも一つのシーンが再生される。
一つの利点は、録画済みのビデオストリーム内で、あるいはビデオストリーム間で、コンテンツに基づくチャンネル乗り換えを可能にすることにある。
もう一つの利点は、定量的な、ユーザーが指定できる乗り換え基準に基づいてコンテンツに基づく乗り換えを可能にすることにある。
さらにもう一つの利点は、コンテンツに基づく乗り換えの際に使えるよう柔軟で正確なコンテンツ要約情報が提供されることにある。
好ましい実施形態に関する以下の詳細な記述を読めば、通常の技量のある当業者にはさらに数多くの利点や恩恵があることが明らかとなるだろう。
好ましい実施形態に関する以下の詳細な記述を読めば、通常の技量のある当業者にはさらに数多くの利点や恩恵があることが明らかとなるだろう。
本発明は、さまざまな構成要素および構成要素の編成において、ならびにさまざまなプロセス動作およびプロセス動作の編成において、実施することができる。図面は好ましい実施形態を解説する目的のためだけのものであり、発明を限定するものと解してはならない。
図1を参照すると、パーソナルビデオレコーダー(PVR)10はハードディスク12およびコンピュータ処理装置をベースとする制御手段14とを有している。レコーダー10は入力オーディオビデオデータの一つ以上のストリームを記録し、その一方、該入力データ、遅延させた該入力データ、またはその他の録画済みのデータを同時に再生する。現在の技術では、40時間の記録容量のハードディスクはすぐ手にはいる。より高密度の記録装置、複数ディスク録画システムなどによってより大きな記録容量も利用可能になるだろう。パーソナルビデオレコーダーとの関連で記述されているが、この技術は記録済みオーディオビデオ媒体、読み書き可能な光ディスク、パーソナルビデオ録画タスクを実行するよう構成されているコンピュータシステムなどにも適用可能であることは認識されるであろう。
パーソナルビデオレコーダー10は再生映像を娯楽システム20に出力する。20は好ましくは高解像度ディスプレイであるビデオ表示装置22および好ましくはハイファイのオーディオシステムであるオーディオスピーカーシステム24を有している。別個に図示されているが、実施形態によってはオーディオスピーカーやそのセットは物理的にビデオ表示装置に統合されていることもある。その上、パーソナルビデオレコーダーが娯楽システム20に物理的に統合されていてもよい。パーソナルビデオレコーダー10はまた、ビデオとオーディオの一方または両方の外部源に接続されている。外部源というのは、衛星36によって放送される衛星テレビ信号34を受信する衛星パラボラアンテナ32と連携する衛星テレビチューナー30などである。他の適切なオーディオビデオ入力としては、通常放送テレビ、ケーブルテレビ、通常放送ラジオ、デジタルラジオなどがある。任意的に、テレビチューナー30はパーソナルビデオレコーダー10に、あるいは娯楽システム20に統合されていてもよい。
ユーザーはパーソナルビデオレコーダー10、娯楽システム20、テレビチューナー30、および任意的に他の構成要素を、手で持って操作するリモコン40を使って制御する。リモコン40は赤外線信号42を送信し、それがパーソナルビデオレコーダー10、娯楽システム20、テレビチューナー30、または制御すべきその他の構成要素によって受信される。リモコン40はボタン、回転ダイヤルなど、ユーザーの指令を入力するのに適した制御要素を有している。特に、リモコン40はシーン乗り換えボタン44およびビデオストリーム乗り換えボタン46を有しており、ユーザーはこれらを作動させることによってハードディスク12上にあるそれぞれ類似のシーンまたは類似のビデオストリームへのコンテンツ乗り換えを開始させる。より複雑な制御動作では、任意的な画面ポインタ48がパーソナルビデオレコーダー10によって表示装置22上に表示され、リモコン40を使ってこれを操作することにより、パーソナルビデオレコーダー10によって生成された、表示中の選択メニューからの選択を実行する。
引き続き図1を参照しつつさらに図2も参照すると、パーソナルビデオレコーダー10はビデオ録画コンポーネント50を有している。これは、衛星テレビチューナー30またはその他の外部ビデオ入力源から受け取ったビデオ入力52をハードディスク12またはその他の大容量記憶装置に記録する。これと同時に、あるいは記録ののちに、シーン定義プロセッサ54がビデオコンテンツ中で重なり合うシーンを定義する。
引き続き図2を参照しつつさらに図3も参照すると、前記シーン定義プロセッサ54はビデオコンテンツを受け取り、各シーンに対応する重なり合う区間を定義する。具体的には、図3は二つのビデオストリーム601、602を示しており、これらは、ビデオストリーム601の重なり合うシーン621、641、661、681、またはビデオストリーム602の重なり合うシーン622、642、662、682、といったシーン群に対応する重なり合うシーン区間に分解されている。ある好適な実施例では、各シーンは30秒から10分の長さである。一つの好ましい実施例では、2分のシーンが10秒の間隔をおいて重なり合う仕方で始まるよう配置される。シーンの長さと配置は、ビデオコンテンツ中で生起する活動の量といったビデオコンテンツの特徴に基づいて好適に決定される。たとえば、アクションビデオは、よりテンポの遅い映画ジャンルのビデオに比べ、より短く、狭い間隔で重なり合っているシーンを有することが好ましい。前記シーン定義プロセッサ54は、当該ビデオコンテンツの動きパラメータその他の特徴に基づいてシーンの長さおよび重なり合いの間隔を選択するよう考えられている。
図2の参照に戻ると、各シーンはシーン特性を生成するために処理される。低レベル特徴プロセッサ80は、低レベルのオーディオビデオコンテンツの特徴を、フレームごと、または少数のフレームの群(たとえば、ピクチャーグループ(GOP))を単位として計算する。好適な低レベル特徴としては、絶対平均輝度パラメータ、映像輝度差分パラメータ、フレーム複雑度パラメータ、平均差分絶対値(MAD)動き予測〔推定〕パラメータ、動きパラメータ、映像テクスチャーパラメータ、色分布パラメータ、シーン合成パラメータ(たとえば、オブジェクトに基づいて、あるいは音響心理学的特徴に基づいて定義される)などがある。各シーンについて、主成分解析手段(PCA)82が低レベル特徴を主成分空間に主成分ベクトルとして射影する。当分野で公知のように、低レベルの特徴についてのかなりの量の情報を表現するような少数の主成分を選択することが可能である。これによりメモリの使用が著しく軽減され、類似性尺度の堅牢さおよび類似性計算の複雑さが改善される。その上、PCAで使う特徴は表現の精度と連動しているので、低レベルのPCA特徴の数とその結果としての表現の正確さを一方とし、メモリ使用、堅牢さ、および計算量を他方として比較考量を行う余地がある。シーン特性を計算するにあたっては、主成分解析が好ましい枠組みであるが、他の方法を用いてもよい。たとえば、平均だとか、一つまたは少数の選ばれた低レベル特徴のその他の統計的な要約だとかを用いてシーン特性を計算してもよい。
シーン特性生成手段84は、各シーンについて、当該シーンの個々のフレームまたはフレーム群の主成分ベクトルに基づいて好適な定量的シーン特性を計算する。そのような特性は、フレーム群内にわたる短期特性(すなわち、一つのGOPレベルPCA特徴の長さ程度の特徴)から、GOPレベルPCA特徴を数分間(すなわち、シーンの長さ程度)にわたって合成した中期特性、ビデオストリーム全体またはそのかなりの部分を代表する長期特性までの範囲がある。好ましくは、当該シーンを表現する中期特性が用いられる。そのような中期特性はGOPレベルのPCAの枠組み内で、次式によって好適に計算される:
シーン乗り換えの際にシーン特性の高速比較を容易にするため、ビデオコンテンツのシーン特性は好ましくはシーン特性相関プロセッサ90によって処理される。これはシーン特性を並べ替えまたは配列して高速検索可能なシーン特性表92を作成し、この92はビデオ録画コンポーネント50によってハードディスク12その他の記憶媒体に書き込まれる。シーン特性の事前相関は、検索可能データベースを生成するのに典型的に用いられているアルゴリズムを使って好適に実行される。好ましくは、シーン特性はオーディオビデオデータが記録される際に生成され、該シーン特性はハードディスク12上の検索可能なシーン特性表92に保存される。シーン特性を相対的な類似性によって整理することにより、類似したシーンがのちによりすばやく同定できる。あるいはまた、前記制御手段が最近記録されたデータを処理する録画後動作を行って特性を生成することもできる。
図1の参照に戻り、さらに図4を参照すると、パーソナルビデオレコーダー10のビデオ再生コンポーネント100は、ハードディスク12その他の大容量記憶装置に保存されている録画済みのマルチメディアコンテンツを再生し、オーディオビデオ出力101のような出力を生成し、該出力は娯楽システム20に送られる。ユーザーはリモコン40のシーン乗り換えボタン44を操作してシーン乗り換えを選択する。シーン乗り換えボタン44は好ましくはビデオ再生中のいつでも選択することができ、コンテンツに基づくシーン乗り換えを開始させることができる。シーン乗り換えボタン44が作動すると、該シーン乗り換えボタン44作動時にビデオ再生コンポーネント100によって再生されていたシーンに対応する現在シーン102が同定される。
類似シーン乗り換えプロセッサ104は前記の現在シーン102を受け取り、検索可能なシーン特性表92にアクセスして、対応する類似シーン特性を同定する。パーソナルビデオレコーダー10の記憶媒体がハードディスク12の場合、当該ビデオコンテンツはパーソナルビデオレコーダー10によって録画され、検索可能なシーン特性表92は好適に生成され、ハードディスク12にあらかじめ記録されている。これは先に図2を参照して述べたとおりである。商業的販売元によって製作されたビデオコンテンツを含む読み出し専用光ディスクのような読み出し専用媒体の場合、前記検索可能なシーン特性表92は前記商業的販売元によって当該光ディスク上に好適にあらかじめ記録される。
現在シーン特性が選ばれると、シーンの突き合せは現在シーン特性と他の利用可能な特性との間のユークリッド距離を計算することによって好適に実行される。現在シーン特性と他のシーン特性との間のユークリッド距離は次式によって定義される:
引き続き図4を参照し、さらに図5を参照すると、乗り換えしきい値プロセッサ108は好適には前記類似シーン乗り換えプロセッサ104によって使用される乗り換えしきい値をユーザーが選択することを可能にする。図5に示す一つの好適な方法では、乗り換えしきい値プロセッサ108はユーザーに対して乗り換えしきい値目盛り110を、表示装置22上に示す形で提示する。この目盛りは連続的に、あるいは離散的なきざみで、類似性が高い設定に対応する最小しきい値からより相違の大きな設定に対応する最大しきい値までの値をとりうる。好ましい実施形態においては、最小しきい値はコピー検出設定であり、この場合、厳密に一致するものがみつかった場合にのみ乗り換えが起こる。最大しきい値は好ましくは常時乗り換え設定114であり、この場合、相手がどんなに違うものであっても乗り換えが起こる。このコピー検出112と常時乗り換え114が極限設定である。最大、中間、最小しきい値は、大規模なオーディオビデオコンテンツ標本にわたって類似性尺度値の分布を分析することによって設計段階で好適に選択される。類似性が高い、すなわちコピー検出設定112に対しては、類似シーン乗り換えプロセッサ104が著しく類似したシーンまたは同じシーンのコピー、すなわち現在シーン特性と定量的に著しく類似した、あるいは同一のシーン特性をもつシーンを見出さない限り、シーン乗り換えは実行されない。より相違の大きい、すなわち常時乗り換え設定114に対しては、相手シーンの現在シーン特性との類似性がずっと低くても、シーン乗り換えが生起する。ユーザーは、表示装置22上に表示される画面上のポインタ48を使ってしきい値ポインタ116を操作することによって、あるいはリモコン40の他のボタンや制御要素を操作することによって乗り換えしきい値を選択する。
一つの実施形態では、前記しきい値は、現在シーン特性に最も近い特性のシーンにジャンプするかどうかを決めるのに使われる。これは、最も近いシーンでも現在シーンと著しく異なっていた場合には別のシーンへのジャンプを行わせないようにする。しかし、乗り換えしきい値は他の用途に使うこともできる。たとえば、類似シーン乗り換えプロセッサ104は、当該ビデオストリーム中の他のすべてのシーンを調べるのではなく、ランダムに(あるいは擬似ランダムに)他のシーンの特性を現在シーン特性と比較し、そのランダムサンプリングのうちに現在シーン特性から乗り換えしきい値の範囲内にある特性をもつシーンがあれば、最初に出会ったものを類似シーン106として選択する。この方法では、類似シーン106は最も類似したシーンではないかもしれないが、しきい値の範囲内の類似性はある。この方法だと、ユーザーはより広い範囲のシーンに乗り換え対象を好適に拡大することができる。特に乗り換えしきい値が常時乗り換え設定114近くに設定されている場合はそうである。任意的に、類似シーン乗り換えプロセッサ104は二つ以上の動作様式のうち選択した一つを用いて乗り換えを実行するよう構成することもできる。その様式とは次のようなものである:(i)全シーンを調べ、最も近いシーンが乗り換えしきい値の範囲内にあればそこに乗り換える(ii)ランダムにシーンを調べ、現在シーン特性から乗り換えしきい値の範囲内にあるシーンがみつかったらそこに乗り換える(iii)ランダムに選んだシーンに乗り換える。最後の(iii)の様式では、類似性の比較は全く行われず、純粋にランダムまたは擬似ランダムな乗り換えが起こるだけである。
その上、乗り換えしきい値プロセッサ108は任意的に省略することもできる。これはたとえば、固定した乗り換えしきい値を用いることによって、あるいは乗り換えしきい値を使わないことによって行われる。乗り換えしきい値を使わなければ、ユークリッド距離dscene(i,j)が最小の、差分絶対値距離が最小の、または他の特性比較性能指数が最良のシーンが類似シーン106として選択され、ユークリッド距離、差分絶対値距離、または他の特性比較性能指数の値には関わりなくシーン乗り換えが実行される。
引き続き図4を参照し、さらに図6を参照すると、比較の基準として現在シーンを使うのでなく、ある選ばれた種類のシーンを基準として使うことができる。意味的シーン選択プロセッサ120はシーン比較のために特徴的なシーンを好適に選択する。この意味的シーン選択プロセッサ120は、一般的に見られる映画のシーンに対する代表例となるシーンまたはシーン特性を含む意味的シーン表122にアクセスする。代表例となるシーンとは、爆発シーン、アクションシーン、恋愛シーン、スポーツの得点シーン、テレビ番組のオープニングなどであり、各シーンまたは各シーン特性についての意味的ラベルとともに表に含まれている。意味的シーン選択プロセッサ120は、意味的シーン選択メニュー124を表示装置22上に表示し(図6参照)、ユーザーは画面上のポインタ48または他の選択手段を用いてアクションシーンなど興味のあるシーンを選択する。このシーンが現在シーン102として選択され、ビデオコンテンツ中で対応する類似のシーンが類似シーン乗り換えプロセッサ104によって先述したようにして選択される。ユーザーまたは外部サービスによって提供される複数の特性(シーン)例から意味的シーン類が構成されることもできる。みつかった最も類似したシーンとは、その類の中の例の一つに対して距離が最小となるシーンとなる。
図1の参照に戻り、さらに図7を参照すると、ビデオストリーム乗り換えボタン46は好ましくはやはりビデオ再生コンポーネント100の動作中のいつでも選択することができ、類似ビデオストリームへの乗り換えを開始させることができる。ユーザーはリモコン40のビデオストリーム乗り換えボタン46を操作してビデオストリームの乗り換えを選択する。ビデオストリーム乗り換えボタン46が作動すると、該ビデオストリーム乗り換えボタン46作動時にビデオ再生コンポーネント100によって再生されていたビデオストリームに対応する現在ビデオストリーム202が同定される。
ビデオストリーム乗り換えプロセッサ204は現在ビデオストリーム202を受け取り、そのストリームをハードディスク12上に記録された他のビデオストリームと比較する。一つの好適な方法では、二つのビデオストリームの相関を調べるのは、シーン特性の各クロス対の類似性を計算し、それらのクロス対の類似性を平均その他の方法によって要約することによって行われる。つまり、ビデオストリームAおよびBの相関を計算するために、ビデオストリームAの第一のシーン特性とビデオストリームBのそれぞれのシーン特性とのクロス対の間の類似性が計算される。ビデオストリームAのシーン特性それぞれについてクロス対をつくって同じことが繰り返され、その結果が平均される。
より具体的には、現在ビデオストリーム202が選択されているとき、ビデオストリームの突き合せは次式を用いてストリームどうしを定量的に比較することによって好適に実行される。
図4のシーン乗り換えと同様に、図7のストリーム乗り換えは任意的にストリーム乗り換えしきい値を組み込むことができる。一つの好適な方法では、ストリーム距離値の最小値dstream(k,mbest)がビデオストリーム乗り換えしきい値よりも大きければ、最も類似したビデオストリーム206への乗り換えは実行されない。別の好適な方法では、前記ビデオストリーム乗り換えプロセッサ204は、定量的なビデオストリーム比較性能指数(数8で与えられる代表例としてのビデオストリーム性能指数dstream(k,m)のような)がビデオストリーム乗り換えしきい値より小さくなる最初のストリームを選択する。ビデオストリーム乗り換えしきい値は、ビデオストリーム乗り換えしきい値プロセッサ208によって作り出される視覚的なビデオストリーム乗り換えしきい値目盛りによって好適に選択される。この208は前記のシーン乗り換えしきい値プロセッサ108と概して同様である。ストリーム乗り換えは任意的に二つ以上のストリーム乗り換え様式を可能にするよう構成可能であってもよい。その様式とは次のようなものである:(i)全ストリームを調べ、最も近いストリームに対応する距離値がストリーム乗り換えしきい値の範囲内にあればそこに乗り換える(ii)ランダムにストリームを調べ、対応する距離値がストリーム乗り換えしきい値の範囲内にある最初のストリームに乗り換える(iii)ランダムに別のストリームに乗り換える。最後の様式(iii)では、類似性の比較は全く行われず、純粋にランダムまたは擬似ランダムなストリーム乗り換えが起こるだけである。
これに加え、図7のストリーム乗り換えは任意的に、比較のための特徴的なビデオストリームを選択する意味的ビデオストリーム選択プロセッサ220を使った意味的ストリーム乗り換えオプションを組み込むことができる。意味的ビデオストリーム選択プロセッサ220は一般的に見られる映画の種類に対する意味的にラベル付けした代表例となるビデオストリーム類を含む意味的ビデオストリーム表222にアクセスする。映画の種類とは、アクション映画、恋愛映画、スポーツ番組、テレビコメディなどである。好ましくは、意味的ビデオストリーム選択プロセッサ220は、図6の意味的シーン選択メニュー124と同様のビデオストリーム選択メニューを用いる。ユーザーは特徴的なビデオストリーム類を選択し、これが現在ビデオストリーム202としてビデオストリーム乗り換えプロセッサ204に入力され、ハードディスク12上で類似したビデオストリームが検索される。好適な意味的ストリーム類は、ユーザーまたは外部サービスによって提供される、その類と一致する代表例となるビデオストリームを表す複数の特性列を含んでいてもよい。みつかった最も類似したストリームとは、その類の中の例の一つに対して距離が最小となるストリームとなる。
実施例はパーソナルビデオレコーダーを念頭に記述してきたが、同様のコンテンツに基づく乗り換えは記録機能のないビデオまたはマルチメディアプレーヤーに組み込むこともできる。コンテンツに基づく乗り換えはまた、磁気テープや光ディスク、電子記憶装置といったハードディスク以外の他の記録媒体とともに使うこともできる。さらに、同様のコンテンツに基づく乗り換えは、オーディオストリーム、電子文書、コンピュータソフトウェアなどといった他の種類のコンテンツとともに使うこともできる。コンテンツ乗り換えはまた、選択された種類のコンテンツについて複数のリアルタイムのコンテンツストリームを監視するのに使うこともできる。たとえば、ケーブルテレビ、通常放送、または衛星テレビシステムを監視してテレビ中継されるスポーツ試合の得点シーンをさがすこともできる。(これはたとえば、意味的シーン表122に保存された代表例となる得点シーンの特性を参照することによってできる。)同様に、通常放送またはデジタルラジオシステムを監視して選択した楽曲や音楽の種類をさがすこともできる。選択された目標コンテンツが監視中のストリームの一つに感知されると、表示装置は感知された目標コンテンツのあるストリームへと乗り換える。
本発明を好ましい実施形態を参照しつつ記述してきた。明らかに、上の詳細な記述を読み、理解すれば他の者にも修正や変更が思い浮かぶであろう。本発明は、付属の特許請求やその等価物の範囲内にはいるそのようなすべての修正や変更を含んでいると解釈されることを意図している。
Claims (21)
- ビデオコンテンツを再生する装置であって:
複数のビデオストリームを保存するビデオコンテンツ手段と、
複数の重なり合うシーン区間を定義するシーン定義プロセッサであって、前記複数の重なり合うシーン区間は前記複数のビデオストリームの各ビデオストリーム中で前記複数の重なり合うシーン区間の先頭どうしの間に時間間隔を含み、ここで、前記複数の重なり合うシーン区間の先頭どうしの間の前記時間間隔は前記複数のビデオストリームの各ビデオストリームの特徴に基づいて選択される、シーン定義プロセッサと、
前記複数の重なり合うシーン区間のそれぞれに対するシーン特性を計算する特性プロセッサであって、前記複数のビデオストリームの各ビデオストリームの前記複数の重なり合うシーン区間の諸シーン特性を前記ビデオコンテンツ手段が保存する、特性プロセッサと、
ユーザーが視聴したいシーンのビデオコンテンツを記述するシーン特性を選択する選択手段と、
選択されたシーン特性を保存されている前記複数のビデオストリームの各ビデオストリームの前記複数の重なり合うシーン区間の諸シーン特性と比較して、シーン特性が前記選択されたシーン特性と類似する一つまたは複数のシーンを同定する比較手段と、
前記選択されたシーン特性と類似していると同定されたシーン特性をもつ少なくとも一つのシーンを再生する手段と、
前記再生手段が再生中の現在ストリームを選択するストリーム乗り換え選択手段と、
現在ストリームの諸シーンの諸シーン特性を前記複数のビデオストリームの諸シーン特性と比較して類似のビデオストリームを同定するストリーム乗り換え手段とを有し、該ストリーム乗り換え手段が前記再生手段に再生を前記類似ストリームへと移行させる、
装置。 - 請求項1記載の装置であって、各シーンが30秒から10分の長さを有し、前記保存されている複数のビデオストリームの諸シーンが1秒から2分の間隔だけずらして重なり合っていることを特徴とする装置。
- 前記保存されている複数のビデオストリームの前記諸シーン特性が主成分ベクトルを用いて構築され、該主成分ベクトルが当該シーン内のビデオコンテンツの選択された低レベル特徴の主成分解析によって計算され、ここで、低レベル特徴とは、オーディオおよび/またはビデオコンテンツから、フレームごと、または少数のフレームの群ごとに計算される特徴である、請求項1記載の装置。
- 前記低レベル特徴が、絶対平均輝度パラメータ、映像輝度差分パラメータ、フレーム複雑度パラメータ、平均差分絶対値(MAD)動き予測パラメータ、動きパラメータ、映像テクスチャーパラメータ、色分布パラメータ、シーン合成パラメータからなる群から選択されることを特徴とする、請求項3記載の装置。
- 前記選択手段が、前記選択されたシーン特性として、現在再生中のシーンのシーン特性を選択することを特徴とする、請求項1記載の装置。
- 前記比較手段が、選択されたシーン特性と最も近いシーン特性をもつ類似シーンを同定する、請求項1記載の装置。
- 前記比較手段が、前記保存されている複数のビデオストリームの保存されているシーン特性が前記の選択された特性と所定のしきい値の範囲内において類似しているかどうかを判定し、前記再生手段が、特性が前記しきい値の範囲内であるシーンを再生することを特徴とする、請求項1記載の装置。
- 前記しきい値を選択するしきい値選択手段をさらに有することを特徴とする:
請求項7記載の装置。 - 請求項1記載の装置であって:
シーン特性間の類似性によって配列されたシーン特性を記憶するシーン特性表をさらに有し、前記比較手段が類似シーンを同定するために前記シーン特性表にアクセスすることを特徴とする装置。 - 請求項9記載の装置であって:
シーン特性を計算し、該シーン特性を前記シーン特性表に記憶する特性計算手段をさらに有すること特徴とする装置。 - 請求項10記載の装置であって、前記特性計算手段が:
一つまたは複数の低レベルのビデオコンテンツ特徴を計算する低レベル特徴プロセッサであって、ここで、低レベルのビデオコンテンツ特徴とは、ビデオコンテンツから、フレームごと、または少数のフレームの群ごとに計算される特徴である、低レベル特徴プロセッサと、
前記低レベルのビデオコンテンツ特徴を主成分空間に射影して主成分ベクトルを決定する主成分射影手段と、
各シーンの主成分ベクトルを組み合わせて対応するシーン特性を決定するシーン特性生成手段とを有することを特徴とする装置。 - 請求項10記載の装置であって:
さらにビデオコンテンツを記録する記録手段を有し、前記特性計算手段が前記シーン特性をビデオコンテンツが記録される際に計算することを特徴とする装置。 - 請求項10記載の装置であって、前記シーン定義プロセッサが、前記複数の重なり合う各シーン区間の先頭どうしの間の前記間隔を、アクションビデオが、よりテンポの遅い映画ジャンルのビデオに比べてより短く狭い間隔で重なり合うシーン区間を有するように選択する、装置。
- 請求項1記載の装置であって、前記シーン定義プロセッサが、前記複数の重なり合う各シーン区間の先頭どうしの間の前記間隔を、当該ビデオコンテンツの特徴に基づいて選択することを特徴とする装置。
- 請求項1記載の装置であって、前記選択手段が前記シーン特性を、意味的内容によって特定されたシーンの群から選択されたシーンのシーン特性として選択することを特徴とする装置。
- ビデオコンテンツを再生する装置の動作方法であって:
定義手段によって、複数の重なり合うシーン区間を定義し、前記複数の重なり合うシーン区間は複数のビデオストリームのうちの各ビデオストリーム中で、複数の重なり合うシーン区間の先頭どうしの間に時間間隔を含み、ここで、各シーン区間はシーンを定義し、複数の重なり合うシーン区間を定義することは、複数の重なり合うシーン区間の先頭どうしの間の前記時間間隔を前記複数のビデオストリームの各ビデオストリームの特徴に基づいて選択することを含み、
計算手段によって、重なり合うシーン区間のそれぞれに対するシーン特性を計算し、ここで、計算されたシーン特性は当該シーンの諸フレームの特徴の合成を記述し、
計算されたシーン特性を記憶装置に保存し、
選択手段によって、あるシーン特性を選択し、
比較手段によって、選択されたシーン特性を、少なくとも一つの保存されているビデオストリームの重なり合うシーンを記述する前記の保存されたシーン特性と比較して、前記選択されたシーン特性と類似する少なくとも一つのシーン特性を同定し、
再生手段によって、前記選択されたストリーム特性と類似していると同定されたシーン特性をもつ少なくとも一つのシーンを再生し、
前記再生手段が再生している現在ストリームを選択し、
現在ストリームの諸シーンの諸シーン特性を前記複数のビデオストリームの諸シーン特性と比較して類似のビデオストリームを同定し、再生を前記類似ストリームへと移行させるステップを有することを特徴とする方法。 - 請求項16記載の方法であって、選択されたシーン特性の保存されたシーン特性との比較が:
計算手段によって、前記選択されたシーン特性と保存されたシーン特性のうち比較対象となる各シーン特性とを比較するシーン比較の定量的指標を計算し、
比較手段によって、前記シーン比較の定量的指標をしきい値と定量的に比較し、
前記計算および定量的比較に基づき前記の類似するシーン特性を選択するステップを有することを特徴とする方法。 - 請求項16記載の方法であって:
計算手段によって、前記保存されたシーン特性を、前記少なくとも一つのビデオストリームの低レベル特徴に基づいて計算するステップを有し、ここで、低レベル特徴とは、ビデオストリームのオーディオおよび/またはビデオコンテンツから、フレームごと、または少数のフレームの群ごとに計算される特徴である、
方法。 - 請求項18記載の方法であって、前記保存されたシーン特性の計算が:
動きパラメータの主成分解析を実行して主成分値を算出し、
各シーン内の主成分値を組み合わせて対応するシーン特性を決定するステップを有することを特徴とする方法。 - 請求項18記載の方法であって:
記録手段によって、前記選択に先立って前記少なくとも一つの保存されているビデオストリームを記録するステップをさらに有し、前記保存されたシーン特性の前記計算が前記記録の間に実行されることを特徴とする方法。 - 請求項16記載の方法であって、複数の重なり合うシーン区間を定義することが、複数の重なり合う各シーン区間の先頭どうしの間の前記間隔を、前記少なくとも一つのビデオストリーム中で生起する活動の量に基づいて選択することを含む、方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US43822003P | 2003-01-06 | 2003-01-06 | |
US60/438,220 | 2003-01-06 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004564378A Division JP4662779B2 (ja) | 2003-01-06 | 2003-12-19 | 類似のビデオコンテンツへの乗り換えのための装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011041299A JP2011041299A (ja) | 2011-02-24 |
JP5227382B2 true JP5227382B2 (ja) | 2013-07-03 |
Family
ID=32713298
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004564378A Expired - Fee Related JP4662779B2 (ja) | 2003-01-06 | 2003-12-19 | 類似のビデオコンテンツへの乗り換えのための装置 |
JP2010207426A Expired - Fee Related JP5227382B2 (ja) | 2003-01-06 | 2010-09-16 | 類似のビデオコンテンツへの乗り換えのための方法および装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004564378A Expired - Fee Related JP4662779B2 (ja) | 2003-01-06 | 2003-12-19 | 類似のビデオコンテンツへの乗り換えのための装置 |
Country Status (7)
Country | Link |
---|---|
US (1) | US7676820B2 (ja) |
EP (1) | EP1584048A1 (ja) |
JP (2) | JP4662779B2 (ja) |
KR (1) | KR101001172B1 (ja) |
CN (1) | CN1735887B (ja) |
AU (1) | AU2003288643A1 (ja) |
WO (1) | WO2004061711A1 (ja) |
Families Citing this family (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6735253B1 (en) * | 1997-05-16 | 2004-05-11 | The Trustees Of Columbia University In The City Of New York | Methods and architecture for indexing and editing compressed video over the world wide web |
US7143434B1 (en) * | 1998-11-06 | 2006-11-28 | Seungyup Paek | Video description system and method |
US9038108B2 (en) | 2000-06-28 | 2015-05-19 | Verizon Patent And Licensing Inc. | Method and system for providing end user community functionality for publication and delivery of digital media content |
US20060236221A1 (en) * | 2001-06-27 | 2006-10-19 | Mci, Llc. | Method and system for providing digital media management using templates and profiles |
US8972862B2 (en) | 2001-06-27 | 2015-03-03 | Verizon Patent And Licensing Inc. | Method and system for providing remote digital media ingest with centralized editorial control |
US8990214B2 (en) * | 2001-06-27 | 2015-03-24 | Verizon Patent And Licensing Inc. | Method and system for providing distributed editing and storage of digital media over a network |
US7970260B2 (en) * | 2001-06-27 | 2011-06-28 | Verizon Business Global Llc | Digital media asset management system and method for supporting multiple users |
WO2003051031A2 (en) * | 2001-12-06 | 2003-06-19 | The Trustees Of Columbia University In The City Of New York | Method and apparatus for planarization of a material by growing and removing a sacrificial film |
EP1532812A4 (en) * | 2002-04-26 | 2007-10-10 | Univ Columbia | OPTIMAL VIDEO TRANSCODING METHOD AND SYSTEM BASED ON UTILITY PROGRAM FUNCTION DESCRIPTERS |
WO2006096612A2 (en) * | 2005-03-04 | 2006-09-14 | The Trustees Of Columbia University In The City Of New York | System and method for motion estimation and mode decision for low-complexity h.264 decoder |
US9401080B2 (en) | 2005-09-07 | 2016-07-26 | Verizon Patent And Licensing Inc. | Method and apparatus for synchronizing video frames |
US8631226B2 (en) * | 2005-09-07 | 2014-01-14 | Verizon Patent And Licensing Inc. | Method and system for video monitoring |
US9076311B2 (en) * | 2005-09-07 | 2015-07-07 | Verizon Patent And Licensing Inc. | Method and apparatus for providing remote workflow management |
US8594429B2 (en) | 2005-10-11 | 2013-11-26 | Hewlett-Packard Development Company, L.P. | Method and apparatus for processing a video stream |
US20070292023A1 (en) * | 2006-06-20 | 2007-12-20 | Baer Richard L | Data reduction for wireless communication |
GB0623961D0 (en) * | 2006-11-30 | 2007-01-10 | Univ St Andrews | Video fingerprinting |
EP1975938A1 (en) * | 2007-03-31 | 2008-10-01 | Sony Deutschland Gmbh | Method for determining a point in time within an audio signal |
ATE494587T1 (de) * | 2007-05-17 | 2011-01-15 | Dolby Lab Licensing Corp | Ableitung von gegen bildbearbeitung und rahmenratenumwandlung unempfindlichen videosignaturen |
CN101540881B (zh) * | 2008-03-19 | 2011-04-13 | 华为技术有限公司 | 实现流媒体定位播放的方法、装置及*** |
WO2009126785A2 (en) * | 2008-04-10 | 2009-10-15 | The Trustees Of Columbia University In The City Of New York | Systems and methods for image archaeology |
WO2009155281A1 (en) | 2008-06-17 | 2009-12-23 | The Trustees Of Columbia University In The City Of New York | System and method for dynamically and interactively searching media data |
US8671069B2 (en) | 2008-12-22 | 2014-03-11 | The Trustees Of Columbia University, In The City Of New York | Rapid image annotation via brain state decoding and visual pattern mining |
US20100195978A1 (en) * | 2009-02-03 | 2010-08-05 | Ekchian Gregory J | System to facilitate replay of multiple recordings of a live event |
JP5388631B2 (ja) * | 2009-03-03 | 2014-01-15 | 株式会社東芝 | コンテンツ提示装置、及び方法 |
US8135221B2 (en) * | 2009-10-07 | 2012-03-13 | Eastman Kodak Company | Video concept classification using audio-visual atoms |
JP2011188342A (ja) | 2010-03-10 | 2011-09-22 | Sony Corp | 情報処理装置、情報処理方法及びプログラム |
US8959071B2 (en) | 2010-11-08 | 2015-02-17 | Sony Corporation | Videolens media system for feature selection |
WO2013003485A1 (en) * | 2011-06-28 | 2013-01-03 | Inview Technology Corporation | Image sequence reconstruction based on overlapping measurement subsets |
US8938393B2 (en) | 2011-06-28 | 2015-01-20 | Sony Corporation | Extended videolens media engine for audio recognition |
US9264760B1 (en) | 2011-09-30 | 2016-02-16 | Tribune Broadcasting Company, Llc | Systems and methods for electronically tagging a video component in a video package |
US8842910B2 (en) * | 2012-08-17 | 2014-09-23 | Tandent Vision Science, Inc. | Spatially varying log-chromaticity normals for use in an image process |
GB2498238B (en) * | 2012-09-14 | 2013-12-25 | Canon Europa Nv | Image duplication prevention apparatus and image duplication prevention method |
CN102932693B (zh) * | 2012-11-09 | 2015-06-10 | 北京邮电大学 | 一种预取视频段的方法和装置 |
WO2016098187A1 (ja) * | 2014-12-17 | 2016-06-23 | 株式会社日立製作所 | 画像検索装置および画像検索方法 |
US10535029B2 (en) | 2015-01-23 | 2020-01-14 | Sprinklr, Inc. | Multi-dimensional command center |
US20180302680A1 (en) * | 2016-12-16 | 2018-10-18 | Google Inc. | On-Demand Video Surfing |
US10942697B2 (en) * | 2017-03-07 | 2021-03-09 | Sprinklr, Inc. | System for discovering configuration of display wall |
US10176846B1 (en) * | 2017-07-20 | 2019-01-08 | Rovi Guides, Inc. | Systems and methods for determining playback points in media assets |
US10666954B2 (en) * | 2018-06-19 | 2020-05-26 | International Business Machines Corporation | Audio and video multimedia modification and presentation |
CN110830852B (zh) * | 2018-08-07 | 2022-08-12 | 阿里巴巴(中国)有限公司 | 一种视频内容的处理方法及装置 |
US11244363B1 (en) | 2018-10-25 | 2022-02-08 | Sprinklr, Inc. | Rating and review integration system |
US11386178B2 (en) | 2019-06-20 | 2022-07-12 | Sprinklr, Inc. | Enhanced notification system for real time control center |
CN112099725A (zh) * | 2019-06-17 | 2020-12-18 | 华为技术有限公司 | 一种数据处理方法、装置及计算机可读存储介质 |
US11397923B1 (en) | 2019-10-07 | 2022-07-26 | Sprinklr, Inc. | Dynamically adaptive organization mapping system |
CN112866810B (zh) * | 2021-01-05 | 2023-04-21 | 三星电子(中国)研发中心 | 视频播放方法及视频播放装置 |
CN114584840B (zh) * | 2022-02-28 | 2024-02-23 | 北京梧桐车联科技有限责任公司 | 音视频播放方法、装置及存储介质 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5436653A (en) * | 1992-04-30 | 1995-07-25 | The Arbitron Company | Method and system for recognition of broadcast segments |
US5521841A (en) * | 1994-03-31 | 1996-05-28 | Siemens Corporate Research, Inc. | Browsing contents of a given video sequence |
JPH10509298A (ja) * | 1995-09-15 | 1998-09-08 | インターヴァル リサーチ コーポレイション | 複数のビデオ画像の圧縮方法 |
US20030093790A1 (en) * | 2000-03-28 | 2003-05-15 | Logan James D. | Audio and video program recording, editing and playback systems using metadata |
CA2196930C (en) * | 1997-02-06 | 2005-06-21 | Nael Hirzalla | Video sequence recognition |
CA2280163A1 (en) * | 1997-02-06 | 1998-08-13 | Telexis Corporation | Method and apparatus for recognising video sequences |
JP3738939B2 (ja) * | 1998-03-05 | 2006-01-25 | Kddi株式会社 | 動画像のカット点検出装置 |
US6366296B1 (en) * | 1998-09-11 | 2002-04-02 | Xerox Corporation | Media browser using multimodal analysis |
US6774917B1 (en) * | 1999-03-11 | 2004-08-10 | Fuji Xerox Co., Ltd. | Methods and apparatuses for interactive similarity searching, retrieval, and browsing of video |
US7194752B1 (en) * | 1999-10-19 | 2007-03-20 | Iceberg Industries, Llc | Method and apparatus for automatically recognizing input audio and/or video streams |
JP2001177788A (ja) * | 1999-12-20 | 2001-06-29 | Sony Corp | 情報信号再生方法及び情報信号再生装置 |
US6542546B1 (en) * | 2000-02-02 | 2003-04-01 | Mitsubishi Electric Research Laboratories, Inc. | Adaptable compressed bitstream transcoder |
KR20040041082A (ko) * | 2000-07-24 | 2004-05-13 | 비브콤 인코포레이티드 | 멀티미디어 북마크와 비디오의 가상 편집을 위한 시스템및 방법 |
DE60140755D1 (de) * | 2000-09-08 | 2010-01-21 | Koninkl Philips Electronics Nv | Vorrichtung zur wiedergabe eines auf einem aufzeichnungsmedium gespeicherten informationssignals |
US6931595B2 (en) * | 2000-11-02 | 2005-08-16 | Sharp Laboratories Of America, Inc. | Method for automatic extraction of semantically significant events from video |
EP1421792B1 (en) * | 2001-06-08 | 2011-11-09 | Grotuit Media Inc. | Audio and video program recording, editing and playback systems using metadata |
US7064796B2 (en) * | 2001-12-21 | 2006-06-20 | Eloda Inc. | Method and system for re-identifying broadcast segments using statistical profiles |
US7103222B2 (en) * | 2002-11-01 | 2006-09-05 | Mitsubishi Electric Research Laboratories, Inc. | Pattern discovery in multi-dimensional time series using multi-resolution matching |
-
2003
- 2003-12-19 WO PCT/IB2003/006241 patent/WO2004061711A1/en active Application Filing
- 2003-12-19 EP EP03780486A patent/EP1584048A1/en not_active Ceased
- 2003-12-19 AU AU2003288643A patent/AU2003288643A1/en not_active Abandoned
- 2003-12-19 CN CN2003801083266A patent/CN1735887B/zh not_active Expired - Fee Related
- 2003-12-19 KR KR1020057012629A patent/KR101001172B1/ko not_active IP Right Cessation
- 2003-12-19 JP JP2004564378A patent/JP4662779B2/ja not_active Expired - Fee Related
- 2003-12-19 US US10/540,313 patent/US7676820B2/en not_active Expired - Fee Related
-
2010
- 2010-09-16 JP JP2010207426A patent/JP5227382B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
KR101001172B1 (ko) | 2010-12-15 |
CN1735887A (zh) | 2006-02-15 |
AU2003288643A1 (en) | 2004-07-29 |
KR20050088490A (ko) | 2005-09-06 |
JP2006514451A (ja) | 2006-04-27 |
EP1584048A1 (en) | 2005-10-12 |
WO2004061711A1 (en) | 2004-07-22 |
CN1735887B (zh) | 2010-04-28 |
US7676820B2 (en) | 2010-03-09 |
JP4662779B2 (ja) | 2011-03-30 |
US20060184963A1 (en) | 2006-08-17 |
JP2011041299A (ja) | 2011-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5227382B2 (ja) | 類似のビデオコンテンツへの乗り換えのための方法および装置 | |
US7346264B2 (en) | Non-linear reproduction control method of multimedia stream and apparatus thereof | |
US8103149B2 (en) | Playback system, apparatus, and method, information processing apparatus and method, and program therefor | |
JP2004519968A (ja) | 画像シーケンス中の位置を選択する方法及びシステム | |
US20060110128A1 (en) | Image-keyed index for video program stored in personal video recorder | |
KR20040040480A (ko) | 비디오 세그먼트 우선순위에 기초하여 기록된 비디오의감소된 재생을 위한 시스템 및 방법 | |
JP4735413B2 (ja) | コンテンツ再生装置およびコンテンツ再生方法 | |
JP4925938B2 (ja) | ダイジェスト映像情報作成方法、ダイジェスト映像情報作成プログラム、および、映像装置 | |
JP2010514302A (ja) | サマリ及びレポートを既に含んでいるオーディオビジュアル文書について新たなサマリを作成する方法及び該方法を使用する受信機 | |
JP5444611B2 (ja) | 信号処理装置、信号処理方法及びプログラム | |
WO2007086408A1 (ja) | 画像再生システム、画像再生方法および画像再生プログラム | |
GB2430597A (en) | An Image Stream Search Tool | |
JP4485805B2 (ja) | 所要時間により記録を選択する方法 | |
JP4230402B2 (ja) | サムネイル画像抽出方法、装置、プログラム | |
US8170397B2 (en) | Device and method for recording multimedia data | |
JP2009239322A (ja) | 映像再生装置、映像再生方法および映像再生プログラム | |
JP5266981B2 (ja) | 電子機器、情報処理方法及びプログラム | |
JP4341503B2 (ja) | 情報信号処理方法、情報信号処理装置及びプログラム記録媒体 | |
JP2006054622A (ja) | 情報信号処理方法、情報信号処理装置及びプログラム記録媒体 | |
JP2007189448A (ja) | 映像蓄積再生装置 | |
JP2006115224A (ja) | ビデオ記録装置 | |
JP2003319314A (ja) | ハードディスクレコーダ、映像記録再生装置 | |
KR20040102962A (ko) | Pvr에서의 하이라이트 스트림 생성 장치 및 그 방법 | |
AU2005201690A1 (en) | Method for Creating Highlights for Recorded and Streamed Programs | |
JP2006054620A (ja) | 情報信号処理方法、情報信号処理装置及びプログラム記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130315 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160322 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160322 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |