JP2000182065A - 動画像リアルタイム変換方法、キ―フレ―ム選択方法、及び動画像変換システム - Google Patents
動画像リアルタイム変換方法、キ―フレ―ム選択方法、及び動画像変換システムInfo
- Publication number
- JP2000182065A JP2000182065A JP11353798A JP35379899A JP2000182065A JP 2000182065 A JP2000182065 A JP 2000182065A JP 11353798 A JP11353798 A JP 11353798A JP 35379899 A JP35379899 A JP 35379899A JP 2000182065 A JP2000182065 A JP 2000182065A
- Authority
- JP
- Japan
- Prior art keywords
- frames
- key
- moving image
- static
- global motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 動画像を１組の静止画像フレームにリアルタ
イムで変換する方法を提供する。 【解決手段】 この方法は、動画像を複数のフレームに
デジタル化するステップ（１２）と、主要点から成る、
フレームの重要部分を選択するステップ（１４）と、主
要点に関する変化をリアルタイムで計算することによ
り、重要部分の大域動作を識別するステップ（１６、１
８）と、大域動作を含むフレームから、動画像を表す１
組の静的フレームから成るキーフレームを選択するステ
ップ（２０）とから成る。
イムで変換する方法を提供する。 【解決手段】 この方法は、動画像を複数のフレームに
デジタル化するステップ（１２）と、主要点から成る、
フレームの重要部分を選択するステップ（１４）と、主
要点に関する変化をリアルタイムで計算することによ
り、重要部分の大域動作を識別するステップ（１６、１
８）と、大域動作を含むフレームから、動画像を表す１
組の静的フレームから成るキーフレームを選択するステ
ップ（２０）とから成る。
Description
【０００１】
【発明の属する技術分野】本発明は、動画像データ(dyn
amic video data)を、動画像内の選択された重要な情報
から成る、静的フレームの表現コンパイルに変換するこ
とに関する。このようなコンパイルは、消費するメモリ
スペースがより少なくて済むだけでなく、好都合なイン
デックスを動画像に付与することもできる。より具体的
には、本発明は、データ処理を動画像のかなり主要な点
のみに限定することにより、大域動作を含む動画像の一
部分から、静的キーフレームをリアルタイムで選択する
ことに関する。
amic video data)を、動画像内の選択された重要な情報
から成る、静的フレームの表現コンパイルに変換するこ
とに関する。このようなコンパイルは、消費するメモリ
スペースがより少なくて済むだけでなく、好都合なイン
デックスを動画像に付与することもできる。より具体的
には、本発明は、データ処理を動画像のかなり主要な点
のみに限定することにより、大域動作を含む動画像の一
部分から、静的キーフレームをリアルタイムで選択する
ことに関する。
【０００２】
【従来の技術】動画像データを動的なものから静的なも
のへ変換するには、動的媒体（動画像、アニメーショ
ン）を、動的媒体内の選択された重要な情報を含む多数
の静止画像で表す。例えば、単なるパン又はズームシー
ケンス（即ち、大域動作）から成る動画像の場合には、
パン又はズームの開始、中間、及び終了フレームを含む
のが効率的な表現である。会社により製造されるいろい
ろな製品のショートクリップから成る商用の動画像の場
合には、動画像に示されている各製品から１つの画像を
含むのが効率的な表現である。オペレータが動画像全体
を見れば、これらの画像を見出すことは容易であるが、
このような編集精製は非常に時間がかかる。従って、動
的媒体情報をリアルタイムで分析して、動的媒体を表し
ているキーフレームを適切に選択することのできる方法
及びシステムが、かなり必要とされている。
のへ変換するには、動的媒体（動画像、アニメーショ
ン）を、動的媒体内の選択された重要な情報を含む多数
の静止画像で表す。例えば、単なるパン又はズームシー
ケンス（即ち、大域動作）から成る動画像の場合には、
パン又はズームの開始、中間、及び終了フレームを含む
のが効率的な表現である。会社により製造されるいろい
ろな製品のショートクリップから成る商用の動画像の場
合には、動画像に示されている各製品から１つの画像を
含むのが効率的な表現である。オペレータが動画像全体
を見れば、これらの画像を見出すことは容易であるが、
このような編集精製は非常に時間がかかる。従って、動
的媒体情報をリアルタイムで分析して、動的媒体を表し
ているキーフレームを適切に選択することのできる方法
及びシステムが、かなり必要とされている。
【０００３】従って本発明は、動画像内の大域動作を含
むシーンから、複数のキーフレームをリアルタイムで選
択する、改良された方法に特に適用することができる。
むシーンから、複数のキーフレームをリアルタイムで選
択する、改良された方法に特に適用することができる。
【０００４】キーフレームを選択する際の重要な問題
は、フレーム間における大域動作の概算である。時間領
域大域動作概算方法は、特徴対応方法、オプティカルフ
ロー方法、及び直接的方法の３つのグループに分類する
ことができる。特徴対応方法は、２つ又は３つのフレー
ム間において多数の点を対応させる必要があり、これ
は、アプリオリとして知られる又は概算される。動作パ
ラメータは、これらの対応から計算される。その他の２
つの方法は、異なる特徴点を決定する必要はないが、そ
の代わりに、２つの対応するビュー間においてオプティ
カルフロー制約(optical flow constraint)を用いる。
オプティカルフロー方法は、２つのステップ、つまり、
オプティカルフローフィールドを概算するステップと、
この概算されたオプティカルフローを用いて動作パラメ
ータを再生するステップとから成る。一方、直接的方法
は、時空画像輝度勾配のみを用いて動作を概算する。こ
れらのカテゴリーのそれぞれに関して、多くの動作概算
器が文献に提案されてきたが、これらの方法は全て何ら
かの欠点があり、専らオフラインで計算するように設計
されている。
は、フレーム間における大域動作の概算である。時間領
域大域動作概算方法は、特徴対応方法、オプティカルフ
ロー方法、及び直接的方法の３つのグループに分類する
ことができる。特徴対応方法は、２つ又は３つのフレー
ム間において多数の点を対応させる必要があり、これ
は、アプリオリとして知られる又は概算される。動作パ
ラメータは、これらの対応から計算される。その他の２
つの方法は、異なる特徴点を決定する必要はないが、そ
の代わりに、２つの対応するビュー間においてオプティ
カルフロー制約(optical flow constraint)を用いる。
オプティカルフロー方法は、２つのステップ、つまり、
オプティカルフローフィールドを概算するステップと、
この概算されたオプティカルフローを用いて動作パラメ
ータを再生するステップとから成る。一方、直接的方法
は、時空画像輝度勾配のみを用いて動作を概算する。こ
れらのカテゴリーのそれぞれに関して、多くの動作概算
器が文献に提案されてきたが、これらの方法は全て何ら
かの欠点があり、専らオフラインで計算するように設計
されている。
【０００５】動画像における全てのピクセル位置に対す
る特定の値を識別するのに必要とされるデータの量によ
り、上述した従来技術の方法はいずれも、リアルタイム
で動作を概算し、動画像を表す静的キーフレームを判断
することができない。従って、リアルタイムで計算を行
って、遅れるオフライン計算という欠点を回避できるよ
うに、必要な計算を減らすことのできる方法もまた必要
とされている。
る特定の値を識別するのに必要とされるデータの量によ
り、上述した従来技術の方法はいずれも、リアルタイム
で動作を概算し、動画像を表す静的キーフレームを判断
することができない。従って、リアルタイムで計算を行
って、遅れるオフライン計算という欠点を回避できるよ
うに、必要な計算を減らすことのできる方法もまた必要
とされている。
【０００６】
【発明が解決しようとする課題】本発明は、上述した問
題及びその他の問題を克服する新しい改良された方法及
びシステムを意図し、動画像における大域動作を識別す
る新しい方法を提供する。この方法において、動画像の
大域動作部分を表す複数の静的キーフレームを生成する
ための基本的な計算は、リアルタイムで行うことができ
る。
題及びその他の問題を克服する新しい改良された方法及
びシステムを意図し、動画像における大域動作を識別す
る新しい方法を提供する。この方法において、動画像の
大域動作部分を表す複数の静的キーフレームを生成する
ための基本的な計算は、リアルタイムで行うことができ
る。
【０００７】
【課題を解決するための手段】本発明によれば、動画像
を、動画像の大域動作部分を表す１組の静的キーフレー
ムに、リアルタイムで変換する方法が提供される。この
方法は、動画像を時間的に連続する静止画像フレームに
デジタル化するステップと、主要点から成るフレームの
重要部分を指定するステップと、主要点に関する変化を
リアルタイムで計算して、主要点の動作軌道をトラッキ
ングすることにより、大域動作を識別するステップと、
大域動作を含むフレームから、動画像を表す１組の静的
フレームから成るキーフレームを選択するステップとか
ら成る。この重要部分は、高勾配領域を含む動画像内の
画像フレームの部分又はエッジから成るのが好ましい。
計算処理が行われる主要点は、フレームを分散格子で仕
切り、各格子セルから主要点を１つだけ選択することに
より、さらに減らされる。従って、最小化された主要
点、即ち減らされた数のピクセルにおける差を計算する
だけで、計算時間を最小化し、動画像を１組の静的フレ
ームにリアルタイムで迅速に処理することができる。
を、動画像の大域動作部分を表す１組の静的キーフレー
ムに、リアルタイムで変換する方法が提供される。この
方法は、動画像を時間的に連続する静止画像フレームに
デジタル化するステップと、主要点から成るフレームの
重要部分を指定するステップと、主要点に関する変化を
リアルタイムで計算して、主要点の動作軌道をトラッキ
ングすることにより、大域動作を識別するステップと、
大域動作を含むフレームから、動画像を表す１組の静的
フレームから成るキーフレームを選択するステップとか
ら成る。この重要部分は、高勾配領域を含む動画像内の
画像フレームの部分又はエッジから成るのが好ましい。
計算処理が行われる主要点は、フレームを分散格子で仕
切り、各格子セルから主要点を１つだけ選択することに
より、さらに減らされる。従って、最小化された主要
点、即ち減らされた数のピクセルにおける差を計算する
だけで、計算時間を最小化し、動画像を１組の静的フレ
ームにリアルタイムで迅速に処理することができる。
【０００８】本発明のもう１つ別の態様によれば、予め
決定された時間における動作軌道に沿った主要点の一定
輝度を概算して、大域動作を識別する。この概算は、動
作軌道を、選択されたオプティカルフロー式からの複数
のアフィンパラメータで表すことにより、行われる。こ
のアフィンパラメータにおける変化は、予め選択された
しきい値と比較されて、大域動作が生じているかいない
かが判断される。大域動作が検出される場合には、大域
動作時間中に、予め決定された割合でフレームを捕らえ
ることにより、キーフレームが選択される。
決定された時間における動作軌道に沿った主要点の一定
輝度を概算して、大域動作を識別する。この概算は、動
作軌道を、選択されたオプティカルフロー式からの複数
のアフィンパラメータで表すことにより、行われる。こ
のアフィンパラメータにおける変化は、予め選択された
しきい値と比較されて、大域動作が生じているかいない
かが判断される。大域動作が検出される場合には、大域
動作時間中に、予め決定された割合でフレームを捕らえ
ることにより、キーフレームが選択される。
【０００９】本発明の請求項２の態様は、動画像から複
数のキーフレームを選択する方法であって、前記複数の
キーフレームは動画像を表す一連の複数の静止画像から
成っており、この方法は、動画像を表す１つのデータス
トリームを、処理デバイスで受信するステップと、前記
データストリームを、各々動画像に対応する複数のピク
セルから成る一連の複数のフレームにセグメント化する
ステップと、画像の重要な特徴と関連するフレームか
ら、一定のピクセルを選択するステップと、前記一定の
ピクセルを選択された時間にわたり比較して、前記重要
な特徴の大域動作を識別するステップと、前記大域動作
中に、前記連続フレームからキーフレームを選択するス
テップとを含む。
数のキーフレームを選択する方法であって、前記複数の
キーフレームは動画像を表す一連の複数の静止画像から
成っており、この方法は、動画像を表す１つのデータス
トリームを、処理デバイスで受信するステップと、前記
データストリームを、各々動画像に対応する複数のピク
セルから成る一連の複数のフレームにセグメント化する
ステップと、画像の重要な特徴と関連するフレームか
ら、一定のピクセルを選択するステップと、前記一定の
ピクセルを選択された時間にわたり比較して、前記重要
な特徴の大域動作を識別するステップと、前記大域動作
中に、前記連続フレームからキーフレームを選択するス
テップとを含む。
【００１０】本発明の請求項３の態様は、動画像を静的
キーフレームのコンパイルから成る表現に変換するシス
テムであって、動画像を、各々複数のピクセルから成る
複数の静的フレームにセグメント化する手段と、高勾配
位置におけるピクセルを識別する複数の手段を含み、前
記複数のピクセルから重要な主要ピクセルを選択する手
段と、前記重要な主要ピクセルから、１組の連続静的フ
レームが大域動作をイメージングしているかどうかを決
定する手段と、前記大域動作をイメージングしている静
的フレームから、静的キーフレームを選択する手段とを
備える。
キーフレームのコンパイルから成る表現に変換するシス
テムであって、動画像を、各々複数のピクセルから成る
複数の静的フレームにセグメント化する手段と、高勾配
位置におけるピクセルを識別する複数の手段を含み、前
記複数のピクセルから重要な主要ピクセルを選択する手
段と、前記重要な主要ピクセルから、１組の連続静的フ
レームが大域動作をイメージングしているかどうかを決
定する手段と、前記大域動作をイメージングしている静
的フレームから、静的キーフレームを選択する手段とを
備える。
【００１１】本発明を用いることにより得られる１つの
利点は、動画像データのストリームを受信すると同時に
主要点のピクセル値を比較して、キーフレームをリアル
タイムで選択することができる点である。
利点は、動画像データのストリームを受信すると同時に
主要点のピクセル値を比較して、キーフレームをリアル
タイムで選択することができる点である。
【００１２】本発明により得られるもう１つ別の利点
は、主要点を予め選択された重要な領域、即ち、例えば
黒から白への変わり目のような、高勾配を有しエッジ部
分を示す領域に限定することにより、フレームにおいて
得られる全てのピクセルから主要点を選択して、リアル
タイムでの計算を容易にする方法である。フレームを格
子に分割し、各格子セルに対して主要点を１つだけ選択
することにより、主要点はさらに限定される。誤差を概
算する従来の処理オペレータで、主要点の値における変
化を判断することにより、フレーム全体にわたって分散
された主要点を観察し、大域動作を識別することができ
る。
は、主要点を予め選択された重要な領域、即ち、例えば
黒から白への変わり目のような、高勾配を有しエッジ部
分を示す領域に限定することにより、フレームにおいて
得られる全てのピクセルから主要点を選択して、リアル
タイムでの計算を容易にする方法である。フレームを格
子に分割し、各格子セルに対して主要点を１つだけ選択
することにより、主要点はさらに限定される。誤差を概
算する従来の処理オペレータで、主要点の値における変
化を判断することにより、フレーム全体にわたって分散
された主要点を観察し、大域動作を識別することができ
る。
【００１３】
【発明の実施の形態】本発明は、一定の部分及びステッ
プ、並びにアレンジした部分及びステップにおいて、物
理的形式を取り得る。本発明の好適な実施の形態及び別
の実施の形態について、本明細書中に詳細に説明し、本
発明の一部を形成する添付した図面に示す。
プ、並びにアレンジした部分及びステップにおいて、物
理的形式を取り得る。本発明の好適な実施の形態及び別
の実施の形態について、本明細書中に詳細に説明し、本
発明の一部を形成する添付した図面に示す。
【００１４】ここで図面を参照するが、これらの図面
は、本発明の好適な実施の形態を例示する目的で示され
ているにすぎず、本発明を限定する目的で示されている
のではない。本発明は、動画像のより小さな静的表現、
即ちドキュメントコンパイルを生成する方法及びシステ
ムに関する。このようなコンパイルは、メモリスペース
の消費、並びに処理における容易性及び利便性に関して
大きな利点を有し、また、好都合なインデックスをオリ
ジナル動画像データベースに付与することもできる。本
発明は特に、動画像の特定の部分、即ち、一般的に動画
像の、例えばパノラマ式走査、ズーミング、又はトラッ
キングというような大域動作を含む部分に対する、静的
フレームコンパイルを生成することに関する。上述した
ように、時間と共に変化して大域動作を含むピクセルデ
ータは、全てのピクセルデータにおける変化を測定しよ
うとすることが実現不可能になるほど大量のデータから
成り得る。しかし、本発明は、動画像全体から比較的少
数の選択されたキーフレームのみを選んで、必要とされ
る完全な大域動作の適切な表現をもたらす場合には、大
域動作全体の十分な静的表現を得るのに、このような変
化の全てが必要なわけではない、ということを利用す
る。
は、本発明の好適な実施の形態を例示する目的で示され
ているにすぎず、本発明を限定する目的で示されている
のではない。本発明は、動画像のより小さな静的表現、
即ちドキュメントコンパイルを生成する方法及びシステ
ムに関する。このようなコンパイルは、メモリスペース
の消費、並びに処理における容易性及び利便性に関して
大きな利点を有し、また、好都合なインデックスをオリ
ジナル動画像データベースに付与することもできる。本
発明は特に、動画像の特定の部分、即ち、一般的に動画
像の、例えばパノラマ式走査、ズーミング、又はトラッ
キングというような大域動作を含む部分に対する、静的
フレームコンパイルを生成することに関する。上述した
ように、時間と共に変化して大域動作を含むピクセルデ
ータは、全てのピクセルデータにおける変化を測定しよ
うとすることが実現不可能になるほど大量のデータから
成り得る。しかし、本発明は、動画像全体から比較的少
数の選択されたキーフレームのみを選んで、必要とされ
る完全な大域動作の適切な表現をもたらす場合には、大
域動作全体の十分な静的表現を得るのに、このような変
化の全てが必要なわけではない、ということを利用す
る。
【００１５】本発明の記述において注目するべきもう１
つ別の重要な態様は、選択されたキーフレームを識別す
る処理がリアルタイムで、即ち、オリジナル動画像デー
タ自体を得るのと本質的に同時に行われるということで
ある。これにより、従来技術のシステムで行われていた
ような、大量の動画像データを得て格納し、このデータ
をオフラインで長時間にわたって処理して、キーフレー
ムを識別するという、周知である従来の問題が克服され
る。
つ別の重要な態様は、選択されたキーフレームを識別す
る処理がリアルタイムで、即ち、オリジナル動画像デー
タ自体を得るのと本質的に同時に行われるということで
ある。これにより、従来技術のシステムで行われていた
ような、大量の動画像データを得て格納し、このデータ
をオフラインで長時間にわたって処理して、キーフレー
ムを識別するという、周知である従来の問題が克服され
る。
【００１６】特に図１を参照すると、本発明の処理方法
のフローチャートが示されている。この方法では第１の
ステップにおいて、動画像を受信し（１０）、この動画
像を時間的に連続する複数の静止画像フレームにデジタ
ル化することにより、動画像ストリームを異なるセグメ
ントに分割する（１２）。各画像フレームは、シーン内
容に対応する関連したピクセル信号レベルを有する、多
数のデジタル化された画素又はピクセルの２次元座標ア
レイから成る。
のフローチャートが示されている。この方法では第１の
ステップにおいて、動画像を受信し（１０）、この動画
像を時間的に連続する複数の静止画像フレームにデジタ
ル化することにより、動画像ストリームを異なるセグメ
ントに分割する（１２）。各画像フレームは、シーン内
容に対応する関連したピクセル信号レベルを有する、多
数のデジタル化された画素又はピクセルの２次元座標ア
レイから成る。
【００１７】図２は、２人の人間を示しているデジタル
化された静止画像フレームをごく簡単に表しているが、
本発明の原理を伝えるにはこれで十分である。図２の複
数のフレームは、それぞれがデジタル値を有する複数の
ピクセルから成る。従来技術の動作概算システムのほと
んどは、画像全体のピクセルデータを処理する必要があ
った。本発明は、画像全体の一部分のみに対するピクセ
ルデータの差を識別することにより、計算時間を短縮す
るという、重要な特徴を有する。選択された差は大域動
作を概算するのに用いられ、この計算はリアルタイムで
行うことができる。注目するべき重要な点は、画像の観
察しやすい部分だけでなく、動作を示す可能性が高い部
分も見る、また、選択された時間にわたりトラッキング
された場合には、最終的に大域動作部分を見る、という
ことだけである。従って、図１の方法における第３のス
テップでは、適切な主要点を選択する（１４）。
化された静止画像フレームをごく簡単に表しているが、
本発明の原理を伝えるにはこれで十分である。図２の複
数のフレームは、それぞれがデジタル値を有する複数の
ピクセルから成る。従来技術の動作概算システムのほと
んどは、画像全体のピクセルデータを処理する必要があ
った。本発明は、画像全体の一部分のみに対するピクセ
ルデータの差を識別することにより、計算時間を短縮す
るという、重要な特徴を有する。選択された差は大域動
作を概算するのに用いられ、この計算はリアルタイムで
行うことができる。注目するべき重要な点は、画像の観
察しやすい部分だけでなく、動作を示す可能性が高い部
分も見る、また、選択された時間にわたりトラッキング
された場合には、最終的に大域動作部分を見る、という
ことだけである。従って、図１の方法における第３のス
テップでは、適切な主要点を選択する（１４）。
【００１８】図２に関して、画像に示されている人々の
エッジラインは高勾配領域から成る。この領域は従来の
さまざまなオペレータで容易に識別され、主要点から成
るピクセル位置が識別される。例えば、画像エッジライ
ン上の“ｘ”で示された領域３０、３２、及び３４は全
て、図２の画像フレームにおいて識別することのできる
主要点全体の一部から成る。これらの主要点は、時間の
経過に伴う大域動作を示すように意図されている、とい
うことに注目することは重要である。動作概算オペレー
タは典型的には画像微分係数に依存するので、高勾配点
位置が、このタイプの計算処理の好都合な要素として選
択される。高勾配点は従来のさまざまなオペレータ（図
示せず）で得られ、得られた高勾配点はしきい値処理さ
れて、最終的に選択される主要点の候補となり得る全て
の点が得られる。以下のプロセッサは本質的には、画像
全体にわたって格子３６を配置し、主要点の候補数を各
格子セル即ちます目につき１つに減らすことによって、
主要点の総数を減らすだけでなく、画像全体にわたって
主要点を確実に均一に分散させる。格子は画像全体にわ
たって配置されるので、３０、３２、及び３４で識別さ
れる主要点は、選択される主要点の候補となり得る。格
子の各セルは、８×８ピクセルから成るのが好ましい
が、その他の格子サイズも可能である。
エッジラインは高勾配領域から成る。この領域は従来の
さまざまなオペレータで容易に識別され、主要点から成
るピクセル位置が識別される。例えば、画像エッジライ
ン上の“ｘ”で示された領域３０、３２、及び３４は全
て、図２の画像フレームにおいて識別することのできる
主要点全体の一部から成る。これらの主要点は、時間の
経過に伴う大域動作を示すように意図されている、とい
うことに注目することは重要である。動作概算オペレー
タは典型的には画像微分係数に依存するので、高勾配点
位置が、このタイプの計算処理の好都合な要素として選
択される。高勾配点は従来のさまざまなオペレータ（図
示せず）で得られ、得られた高勾配点はしきい値処理さ
れて、最終的に選択される主要点の候補となり得る全て
の点が得られる。以下のプロセッサは本質的には、画像
全体にわたって格子３６を配置し、主要点の候補数を各
格子セル即ちます目につき１つに減らすことによって、
主要点の総数を減らすだけでなく、画像全体にわたって
主要点を確実に均一に分散させる。格子は画像全体にわ
たって配置されるので、３０、３２、及び３４で識別さ
れる主要点は、選択される主要点の候補となり得る。格
子の各セルは、８×８ピクセルから成るのが好ましい
が、その他の格子サイズも可能である。
【００１９】本発明の全体的な目的は、画像の大域動作
を識別することであり、像におけるただ１つの対象が移
動するかどうかを識別することではない、ということに
留意されたい。格子３６の各セルに対して主要点を１つ
に制限することにより、主要点を十分に分散させ、主要
点が極度に集まってしまうのを避けることができる。
を識別することであり、像におけるただ１つの対象が移
動するかどうかを識別することではない、ということに
留意されたい。格子３６の各セルに対して主要点を１つ
に制限することにより、主要点を十分に分散させ、主要
点が極度に集まってしまうのを避けることができる。
【００２０】主要点が選択された後、本発明の方法（図
１）における次の重要なステップでは、その主要点の構
成が時間と共に異なっているかどうかを検出する（１
６）。より具体的には、動作概算オペレータが、時間の
経過に伴う主要点の動作、即ちオプティカルフローをト
ラッキングするのに用いられる。実際の計算において、
大域動作は、動作軌道をトラッキングする動作概算オペ
レータによって、軌道に沿った一定輝度を概算すること
により、特に、オプティカルフロー式の概算における誤
差を定義することにより、検出される。下の式は、従来
の動作概算オペレータから成り、ここで、大域動作は６
つのアフィンパラメータで表すことができるとする。ま
た、ピクセルデータの輝度は動作軌道に沿って一定であ
るとすると、オプティカルフロー式における誤差は、次
のように定義される。
１）における次の重要なステップでは、その主要点の構
成が時間と共に異なっているかどうかを検出する（１
６）。より具体的には、動作概算オペレータが、時間の
経過に伴う主要点の動作、即ちオプティカルフローをト
ラッキングするのに用いられる。実際の計算において、
大域動作は、動作軌道をトラッキングする動作概算オペ
レータによって、軌道に沿った一定輝度を概算すること
により、特に、オプティカルフロー式の概算における誤
差を定義することにより、検出される。下の式は、従来
の動作概算オペレータから成り、ここで、大域動作は６
つのアフィンパラメータで表すことができるとする。ま
た、ピクセルデータの輝度は動作軌道に沿って一定であ
るとすると、オプティカルフロー式における誤差は、次
のように定義される。
【数１】 ここで、Ｉx、Ｉyはそれぞれｘ及びｙ方向における画像
微分係数を示し、Ｉtは時間ｔ及びｔ＋１におけるフレ
ーム間のピクセル差を示し、Ｓは演算において用いられ
る画像ピクセルの組を示し、ａ0及びａ3はそれぞれ水平
方向及び垂直方向における移動を表し、ａ1、ａ2、
ａ4、ａ5は回転及び均一なスケーリングを表す。アフィ
ンパラメータａ0〜ａ5は基本的には変換の係数である。
この変換は本質的には、オプティカルフローの最小誤差
を計算する機能を果たし、これにより、選択された主要
点のピクセルデータの移動、スケーリング、及び回転を
トラッキングすることができる。言い換えれば、２つの
画像間における時間の経過に伴うピクセルデータの差に
関して、アフィンパラメータのゼロ点誤差値を計算する
ことにより、その画像間における動作をトラッキングす
ることができ、しきい値処理が行われている場合には、
大域動作が生じているかどうかを決定するのに、しきい
値を用いることができる。上記組“Ｓ”は、演算処理で
きる可能性のある全てのピクセル位置の主要点を表して
いる、ということに留意されたい。というのは、画像デ
ータフレーム全体は、アフィンパラメータに関して式
（１）を式（２）に最小化することが実現不可能なほど
大量のデータから成っており、また、１組の主要点
“Ｂ”が、下の式（２）を解くのに必要とされる計算を
実質的に減らして、アフィンパラメータに対する概算を
もたらすからである。
微分係数を示し、Ｉtは時間ｔ及びｔ＋１におけるフレ
ーム間のピクセル差を示し、Ｓは演算において用いられ
る画像ピクセルの組を示し、ａ0及びａ3はそれぞれ水平
方向及び垂直方向における移動を表し、ａ1、ａ2、
ａ4、ａ5は回転及び均一なスケーリングを表す。アフィ
ンパラメータａ0〜ａ5は基本的には変換の係数である。
この変換は本質的には、オプティカルフローの最小誤差
を計算する機能を果たし、これにより、選択された主要
点のピクセルデータの移動、スケーリング、及び回転を
トラッキングすることができる。言い換えれば、２つの
画像間における時間の経過に伴うピクセルデータの差に
関して、アフィンパラメータのゼロ点誤差値を計算する
ことにより、その画像間における動作をトラッキングす
ることができ、しきい値処理が行われている場合には、
大域動作が生じているかどうかを決定するのに、しきい
値を用いることができる。上記組“Ｓ”は、演算処理で
きる可能性のある全てのピクセル位置の主要点を表して
いる、ということに留意されたい。というのは、画像デ
ータフレーム全体は、アフィンパラメータに関して式
（１）を式（２）に最小化することが実現不可能なほど
大量のデータから成っており、また、１組の主要点
“Ｂ”が、下の式（２）を解くのに必要とされる計算を
実質的に減らして、アフィンパラメータに対する概算を
もたらすからである。
【数２】
【００２１】式（１）を式（２）に最小化すると、高勾
配領域から成る選択された主要点のみが計算の対象とな
る効果があり、演算及び計算全体から、画像の主要点で
ない点全てが取り除かれる。このように計算対象を減ら
すことにより、動作をリアルタイムで概算し、所望の大
域動作を検出し、最終的にはキーフレームを選択するこ
とができる。
配領域から成る選択された主要点のみが計算の対象とな
る効果があり、演算及び計算全体から、画像の主要点で
ない点全てが取り除かれる。このように計算対象を減ら
すことにより、動作をリアルタイムで概算し、所望の大
域動作を検出し、最終的にはキーフレームを選択するこ
とができる。
【００２２】ステップ１８（図１）は最後の計算ステッ
プであり、アフィンパラメータをしきい値処理し、この
しきい値と、選択された時間にわたり前に概算した値と
を比較して、大域動作があるかないかを決定する。しき
い値は経験的に選択されるが、これにはノイズを最小化
する効果がある。比較によって、概算された動作はパタ
ーンを伴うか伴わないかが決定される。パターンが検出
される場合、システムは、動作の終わりまで１秒あたり
予め選択された割合でフレームを捕らえる。このように
フレームを捕らえることによって、大域動作フレームか
らキーフレームを選択する（２０）。捕らえる割合とし
ては、大域動作の終わりまで１秒あたり４フレームが適
当である。
プであり、アフィンパラメータをしきい値処理し、この
しきい値と、選択された時間にわたり前に概算した値と
を比較して、大域動作があるかないかを決定する。しき
い値は経験的に選択されるが、これにはノイズを最小化
する効果がある。比較によって、概算された動作はパタ
ーンを伴うか伴わないかが決定される。パターンが検出
される場合、システムは、動作の終わりまで１秒あたり
予め選択された割合でフレームを捕らえる。このように
フレームを捕らえることによって、大域動作フレームか
らキーフレームを選択する（２０）。捕らえる割合とし
ては、大域動作の終わりまで１秒あたり４フレームが適
当である。
【００２３】特に図３を参照すると、連続フレーム間に
おける動作ベクトルの差を計算するステップを説明す
る、フローチャートが示されている。ステップ４０で計
算処理は初期化される。ここで、“ｉ”はフレームの数
を表し、“ｎ”は大域動作が判断されるフレームの数を
表す。連続フレーム間における動作情報ｍiが、ステッ
プ４２で計算され、ステップ４３でしきい値０によるし
きい値処理される。すぐ次のフレームに対する動作情報
が、ステップ４４で計算され、ステップ４５でしきい値
０によるしきい値処理される。このようなしきい値処理
によって、これらのフレームは大域動作状態にあるとみ
なすことができるほど、十分な動作がフレーム間にある
かどうかが決定される。ステップ４６で差の計算Ｋiが
行われ、この動作ベクトルの差が、ステップ４８で示さ
れているように、予め決定されたしきい値、即ちしきい
値１よりも小さい場合には、大域動作が存在する可能性
があるということがわかる。しかし、しきい値計算はノ
イズにも応じてしまうことがあるので、動作が一定数の
フレーム（パラメータｎ）に及んでいるかどうかを検出
するのに、パラメータを１つ余分に増やす必要がある。
ｎが一定のしきい値、即ち同じく予め選択された値であ
るしきい値２よりも大きい場合には、システムは、大域
動作パターンが検出されたということを示している。従
って、ステップ５０でｎがインクリメントされ、ステッ
プ５２で比較が行われて、評価されたフレームの数が予
め選択されたしきい値、即ちしきい値２よりも大きいか
どうかが決定される。しきい値２よりも大きい場合に
は、大域動作が検出される（５４）。あるいはまた、動
作ベクトルの差Ｋiがしきい値１では十分でない場合に
は、ｎは再度初期化される（４９）。また、適切な数の
フレームが評価されなかったため、ｎがしきい値２より
も小さい場合には、その次の増加されたフレームとの間
における動作情報が計算される（５６）。次に、動画像
の終わりまで、動画像における動作情報の領域全てを識
別することができる（５８）。１つの好適な実施の形態
において、動画像が２０フレーム／秒であった場合、し
きい値２として７が選択された。
おける動作ベクトルの差を計算するステップを説明す
る、フローチャートが示されている。ステップ４０で計
算処理は初期化される。ここで、“ｉ”はフレームの数
を表し、“ｎ”は大域動作が判断されるフレームの数を
表す。連続フレーム間における動作情報ｍiが、ステッ
プ４２で計算され、ステップ４３でしきい値０によるし
きい値処理される。すぐ次のフレームに対する動作情報
が、ステップ４４で計算され、ステップ４５でしきい値
０によるしきい値処理される。このようなしきい値処理
によって、これらのフレームは大域動作状態にあるとみ
なすことができるほど、十分な動作がフレーム間にある
かどうかが決定される。ステップ４６で差の計算Ｋiが
行われ、この動作ベクトルの差が、ステップ４８で示さ
れているように、予め決定されたしきい値、即ちしきい
値１よりも小さい場合には、大域動作が存在する可能性
があるということがわかる。しかし、しきい値計算はノ
イズにも応じてしまうことがあるので、動作が一定数の
フレーム（パラメータｎ）に及んでいるかどうかを検出
するのに、パラメータを１つ余分に増やす必要がある。
ｎが一定のしきい値、即ち同じく予め選択された値であ
るしきい値２よりも大きい場合には、システムは、大域
動作パターンが検出されたということを示している。従
って、ステップ５０でｎがインクリメントされ、ステッ
プ５２で比較が行われて、評価されたフレームの数が予
め選択されたしきい値、即ちしきい値２よりも大きいか
どうかが決定される。しきい値２よりも大きい場合に
は、大域動作が検出される（５４）。あるいはまた、動
作ベクトルの差Ｋiがしきい値１では十分でない場合に
は、ｎは再度初期化される（４９）。また、適切な数の
フレームが評価されなかったため、ｎがしきい値２より
も小さい場合には、その次の増加されたフレームとの間
における動作情報が計算される（５６）。次に、動画像
の終わりまで、動画像における動作情報の領域全てを識
別することができる（５８）。１つの好適な実施の形態
において、動画像が２０フレーム／秒であった場合、し
きい値２として７が選択された。
【００２４】このような進歩性のある方法を、動画像デ
ータ全体に対してシーンカット処理を行うプロセッサに
組み込むことにより、オペレータは、大域動作がある場
合には２つ以上のフレームを、動作が全くない又は局所
動作しかない場合には１つのフレームのみを捕らえて、
動画像全体を表す選択されたキーフレームの適切なコン
パイルをもたらすことができる。
ータ全体に対してシーンカット処理を行うプロセッサに
組み込むことにより、オペレータは、大域動作がある場
合には２つ以上のフレームを、動作が全くない又は局所
動作しかない場合には１つのフレームのみを捕らえて、
動画像全体を表す選択されたキーフレームの適切なコン
パイルをもたらすことができる。
【００２５】本発明の大域動作及び識別方法は、関連す
るヒストグラム及びピクセルの差に基づいたシーンカッ
ト検出アルゴリズムと、組み合わせることができる。こ
のような検出アルゴリズムは、まずヒストグラム及びフ
レームの差を分析することができるので、その両方が一
定のしきい値よりも大きい場合には、そのフレームはキ
ーフレームとして識別される。しきい値よりも小さい場
合には、その動作情報は本発明を用いて分析されて、大
域動作が検出される場合には、２つ以上のフレームがキ
ーフレームとして選択される。このように総合的に組み
合わせることにより、動画像を、シーンカット及び大域
動作の選択されたキーフレームに精製して、キーフレー
ムがパンニング、ズーミング、及び急激なシーンカット
から成るようにすることができる。
るヒストグラム及びピクセルの差に基づいたシーンカッ
ト検出アルゴリズムと、組み合わせることができる。こ
のような検出アルゴリズムは、まずヒストグラム及びフ
レームの差を分析することができるので、その両方が一
定のしきい値よりも大きい場合には、そのフレームはキ
ーフレームとして識別される。しきい値よりも小さい場
合には、その動作情報は本発明を用いて分析されて、大
域動作が検出される場合には、２つ以上のフレームがキ
ーフレームとして選択される。このように総合的に組み
合わせることにより、動画像を、シーンカット及び大域
動作の選択されたキーフレームに精製して、キーフレー
ムがパンニング、ズーミング、及び急激なシーンカット
から成るようにすることができる。
【００２６】本発明は、さまざまな実施の形態に関して
詳細に説明されてきた。本発明の趣旨から逸脱しなけれ
ばさまざまな変更を行ってもよい、ということが意図さ
れる。例えば、この好適な実施の形態は、プリントシス
テムに関して言えるような、画像ではなくドキュメント
形態を生成することに関して述べられてきたが、本発明
は、ディスプレイシステムにおいても適用することがで
き、容易に実行することができる。さらに、本発明は、
ＡＳＩＣ、即ちプログラム可能なゲートアレイにおい
て、又はソフトウェアにおいても容易に実行することが
できるので、この処理を走査デバイス、電子サブシステ
ム、プリンタ、又はディスプレイデバイスに組み込むこ
とができる。さらに、本発明は、高勾配主要点を識別す
るのに適した範囲内に動画像があり、二進又はデジタル
処理システムには必ずというわけではないが、あらゆる
レンダリングシステムに適用することができるような、
処理システムにおいても実行することができる、という
ことが意図される。
詳細に説明されてきた。本発明の趣旨から逸脱しなけれ
ばさまざまな変更を行ってもよい、ということが意図さ
れる。例えば、この好適な実施の形態は、プリントシス
テムに関して言えるような、画像ではなくドキュメント
形態を生成することに関して述べられてきたが、本発明
は、ディスプレイシステムにおいても適用することがで
き、容易に実行することができる。さらに、本発明は、
ＡＳＩＣ、即ちプログラム可能なゲートアレイにおい
て、又はソフトウェアにおいても容易に実行することが
できるので、この処理を走査デバイス、電子サブシステ
ム、プリンタ、又はディスプレイデバイスに組み込むこ
とができる。さらに、本発明は、高勾配主要点を識別す
るのに適した範囲内に動画像があり、二進又はデジタル
処理システムには必ずというわけではないが、あらゆる
レンダリングシステムに適用することができるような、
処理システムにおいても実行することができる、という
ことが意図される。
【００２７】特に、本発明の概念は、モノクローム即ち
白黒環境に対してだけでなく、カラー環境に対しても、
容易に適用することができる。
白黒環境に対してだけでなく、カラー環境に対しても、
容易に適用することができる。
【００２８】本発明は、好適な実施の形態に関して説明
されてきた。明らかに、第三者が本明細書を読み理解す
れば、変更した形態及び別の形態を思いつくであろう。
上記の特許請求の範囲又はそれと同等の範囲内であれ
ば、そのような変更した形態及び別の形態は全て本発明
に含まれる、ということが意図される。
されてきた。明らかに、第三者が本明細書を読み理解す
れば、変更した形態及び別の形態を思いつくであろう。
上記の特許請求の範囲又はそれと同等の範囲内であれ
ば、そのような変更した形態及び別の形態は全て本発明
に含まれる、ということが意図される。
【図１】本発明の処理方法のフローチャートである。
【図２】選択された主要点を特に示している、定型化さ
れた静的フレームを表す図である。
れた静的フレームを表す図である。
【図３】キーフレーム選択処理の処理方法のフローチャ
ートである。
ートである。
３０、３２、３４ 領域 ３６ 格子
Claims (3)
- 【請求項１】 動画像を１組の静止画像フレームにリア
ルタイムで変換する方法であって、 前記動画像を複数のフレームにデジタル化するステップ
と、 主要点から成る、フレームの重要部分を選択するステッ
プと、 前記主要点に関する変化をリアルタイムで計算すること
により、前記重要部分の大域動作を識別するステップ
と、 前記大域動作を含むフレームから、動画像を表す１組の
静的フレームから成るキーフレームを選択するステップ
と、 から成る前記方法。 - 【請求項２】 動画像から複数のキーフレームを選択す
る方法であって、前記複数のキーフレームは動画像を表
す一連の複数の静止画像から成っており、 動画像を表す１つのデータストリームを、処理デバイス
で受信するステップと、 前記データストリームを、各々動画像に対応する複数の
ピクセルから成る一連の複数のフレームにセグメント化
するステップと、 画像の重要な特徴と関連するフレームから、一定のピク
セルを選択するステップと、 前記一定のピクセルを選択された時間にわたり比較し
て、前記重要な特徴の大域動作を識別するステップと、 前記大域動作中に、前記連続フレームからキーフレーム
を選択するステップと、 を含む前記方法。 - 【請求項３】 動画像を静的キーフレームのコンパイル
から成る表現に変換するシステムであって、 動画像を、各々複数のピクセルから成る複数の静的フレ
ームにセグメント化する手段と、 高勾配位置におけるピクセルを識別する複数の手段を含
み、前記複数のピクセルから重要な主要ピクセルを選択
する手段と、 前記重要な主要ピクセルから、１組の連続静的フレーム
が大域動作をイメージングしているかどうかを決定する
手段と、 前記大域動作をイメージングしている静的フレームか
ら、静的キーフレームを選択する手段と、 を備える前記システム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US215594 | 1998-12-17 | ||
| US09/215,594 US6252975B1 (en) | 1998-12-17 | 1998-12-17 | Method and system for real time feature based motion analysis for key frame selection from a video |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000182065A true JP2000182065A (ja) | 2000-06-30 |
| JP4666706B2 JP4666706B2 (ja) | 2011-04-06 |
Family
ID=22803599
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP35379899A Expired - Fee Related JP4666706B2 (ja) | 1998-12-17 | 1999-12-14 | 動画像リアルタイム変換方法、キーフレーム選択方法、及び動画像変換システム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6252975B1 (ja) |
| EP (1) | EP1011074B1 (ja) |
| JP (1) | JP4666706B2 (ja) |
| DE (1) | DE69932489T2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018051243A (ja) * | 2016-09-30 | 2018-04-05 | 株式会社ニデック | 眼底画像観察プログラム |
| JP2019521547A (ja) * | 2016-05-02 | 2019-07-25 | フェイスブック，インク． | コンテンツを提示するためのシステムおよび方法 |
Families Citing this family (52)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6735253B1 (en) * | 1997-05-16 | 2004-05-11 | The Trustees Of Columbia University In The City Of New York | Methods and architecture for indexing and editing compressed video over the world wide web |
| US6924832B1 (en) * | 1998-08-07 | 2005-08-02 | Be Here Corporation | Method, apparatus & computer program product for tracking objects in a warped video image |
| US7143434B1 (en) | 1998-11-06 | 2006-11-28 | Seungyup Paek | Video description system and method |
| JP4226730B2 (ja) | 1999-01-28 | 2009-02-18 | 株式会社東芝 | 物体領域情報生成方法及び物体領域情報生成装置並びに映像情報処理方法及び情報処理装置 |
| US7006569B1 (en) * | 1999-02-05 | 2006-02-28 | Samsung Electronics Co., Ltd. | Digital video processing method and apparatus thereof |
| US6647535B1 (en) * | 1999-03-18 | 2003-11-11 | Xerox Corporation | Methods and systems for real-time storyboarding with a web page and graphical user interface for automatic video parsing and browsing |
| US6766098B1 (en) * | 1999-12-30 | 2004-07-20 | Koninklijke Philip Electronics N.V. | Method and apparatus for detecting fast motion scenes |
| US6665423B1 (en) * | 2000-01-27 | 2003-12-16 | Eastman Kodak Company | Method and system for object-oriented motion-based video description |
| US6842196B1 (en) * | 2000-04-04 | 2005-01-11 | Smith & Nephew, Inc. | Method and system for automatic correction of motion artifacts |
| JP3681157B2 (ja) * | 2000-06-27 | 2005-08-10 | 株式会社東芝 | 電子透かし検出方法、電子透かし検出装置、領域決定方法、および、記憶媒体 |
| EP1168840A3 (en) * | 2000-06-30 | 2003-12-17 | Kabushiki Kaisha Toshiba | Method and apparatus for special video reproduction modes |
| US6834080B1 (en) * | 2000-09-05 | 2004-12-21 | Kabushiki Kaisha Toshiba | Video encoding method and video encoding apparatus |
| US20040151250A1 (en) * | 2001-06-11 | 2004-08-05 | Witterbrood Rimmert B. | Feature point selection |
| KR100396558B1 (ko) * | 2001-10-25 | 2003-09-02 | 삼성전자주식회사 | 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법 |
| AU2002351310A1 (en) | 2001-12-06 | 2003-06-23 | The Trustees Of Columbia University In The City Of New York | System and method for extracting text captions from video and generating video summaries |
| US7035435B2 (en) * | 2002-05-07 | 2006-04-25 | Hewlett-Packard Development Company, L.P. | Scalable video summarization and navigation system and method |
| US7047494B2 (en) * | 2002-05-07 | 2006-05-16 | Hewlett-Packard Development Company, L.P. | Scalable video summarization |
| JP4070104B2 (ja) * | 2002-10-16 | 2008-04-02 | 独立行政法人情報通信研究機構 | 動画像符号化復号方法及び動画像符号化装置並びに動画像復号装置 |
| EP1569170A4 (en) * | 2002-12-05 | 2007-03-28 | Seiko Epson Corp | DEVICE, METHOD AND PROGRAM FOR EXTRACTING CHARACTERISTIC REGION |
| US7784083B2 (en) * | 2003-07-08 | 2010-08-24 | Panasonic Corporation | Receiving/generating section information for multimedia contents based on level of performance |
| US7664292B2 (en) * | 2003-12-03 | 2010-02-16 | Safehouse International, Inc. | Monitoring an output from a camera |
| US7843512B2 (en) * | 2004-03-31 | 2010-11-30 | Honeywell International Inc. | Identifying key video frames |
| US7542588B2 (en) * | 2004-04-30 | 2009-06-02 | International Business Machines Corporation | System and method for assuring high resolution imaging of distinctive characteristics of a moving object |
| CN100356781C (zh) * | 2004-07-07 | 2007-12-19 | 华晶科技股份有限公司 | 动态影像取样的方法与装置 |
| US7382417B2 (en) * | 2004-12-23 | 2008-06-03 | Intel Corporation | Method and algorithm for detection of scene cuts or similar images in video images |
| WO2006096612A2 (en) | 2005-03-04 | 2006-09-14 | The Trustees Of Columbia University In The City Of New York | System and method for motion estimation and mode decision for low-complexity h.264 decoder |
| US8666661B2 (en) * | 2006-03-31 | 2014-03-04 | The Boeing Company | Video navigation |
| US20070291985A1 (en) * | 2006-06-20 | 2007-12-20 | Nils Oliver Krahnstoever | Intelligent railyard monitoring system |
| US20080019661A1 (en) * | 2006-07-18 | 2008-01-24 | Pere Obrador | Producing output video from multiple media sources including multiple video sources |
| US20080019669A1 (en) * | 2006-07-18 | 2008-01-24 | Sahra Reza Girshick | Automatically editing video data |
| CN101112320B (zh) * | 2006-07-28 | 2010-07-21 | 深圳迈瑞生物医疗电子股份有限公司 | 波束合成的接收聚焦参数的实时计算方法及其装置 |
| CN101116622B (zh) | 2006-08-02 | 2010-12-01 | 深圳迈瑞生物医疗电子股份有限公司 | 波束合成的接收变迹参数的实时计算方法及其装置 |
| JP4909840B2 (ja) * | 2007-08-21 | 2012-04-04 | 株式会社東芝 | 映像処理装置、プログラムおよび方法 |
| CN101373181B (zh) * | 2007-08-24 | 2012-03-21 | 深圳迈瑞生物医疗电子股份有限公司 | 实时计算逐点变迹系数的方法及装置 |
| US20090091564A1 (en) * | 2007-10-03 | 2009-04-09 | Raju Thevan | System and method for rendering electronic documents having overlapping primitives |
| WO2009126785A2 (en) | 2008-04-10 | 2009-10-15 | The Trustees Of Columbia University In The City Of New York | Systems and methods for image archaeology |
| WO2009155281A1 (en) * | 2008-06-17 | 2009-12-23 | The Trustees Of Columbia University In The City Of New York | System and method for dynamically and interactively searching media data |
| WO2009154597A1 (en) * | 2008-06-19 | 2009-12-23 | Thomson Licensing | Adaptive video key frame selection |
| US8671069B2 (en) | 2008-12-22 | 2014-03-11 | The Trustees Of Columbia University, In The City Of New York | Rapid image annotation via brain state decoding and visual pattern mining |
| US20110191679A1 (en) * | 2010-02-02 | 2011-08-04 | Futurewei Technologies, Inc. | System and Method for Online Media Preview |
| US8451384B2 (en) * | 2010-07-08 | 2013-05-28 | Spinella Ip Holdings, Inc. | System and method for shot change detection in a video sequence |
| US9445135B2 (en) | 2010-09-17 | 2016-09-13 | Futurewei Technologies, Inc. | Method and apparatus for scrub preview services |
| US8990690B2 (en) | 2011-02-18 | 2015-03-24 | Futurewei Technologies, Inc. | Methods and apparatus for media navigation |
| CN102819528B (zh) * | 2011-06-10 | 2016-06-29 | 中国电信股份有限公司 | 生成视频摘要的方法和装置 |
| AU2011253913A1 (en) | 2011-12-08 | 2013-06-27 | Canon Kabushiki Kaisha | Band-based patch selection with a dynamic grid |
| CN106030657B (zh) * | 2014-02-19 | 2019-06-28 | 皇家飞利浦有限公司 | 医学4d成像中的运动自适应可视化 |
| KR101650153B1 (ko) * | 2015-03-19 | 2016-08-23 | 네이버 주식회사 | 만화 데이터 편집 방법 및 만화 데이터 편집 장치 |
| CN106851302B (zh) * | 2016-12-22 | 2019-06-25 | 国网浙江省电力公司杭州供电公司 | 一种基于帧内编码压缩域的监控视频运动目标检测方法 |
| CN108288015B (zh) * | 2017-01-10 | 2021-10-22 | 武汉大学 | 基于时间尺度不变性的视频中人体动作识别方法及*** |
| US11205078B2 (en) | 2018-02-26 | 2021-12-21 | Videonetics Technology Private Limited | System for computationally efficient analysis of traffic details in traffic video stream and a method thereof |
| TWI820194B (zh) | 2018-08-31 | 2023-11-01 | 日商索尼半導體解決方案公司 | 電子機器及固體攝像裝置 |
| JP6638852B1 (ja) | 2018-08-31 | 2020-01-29 | ソニー株式会社 | 撮像装置、撮像システム、撮像方法および撮像プログラム |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05145823A (ja) * | 1991-11-25 | 1993-06-11 | Matsushita Electric Ind Co Ltd | 動体追尾装置 |
| JPH07220082A (ja) * | 1994-02-04 | 1995-08-18 | Hitachi Ltd | パターン処理装置及び降雨量予測システム |
| JPH09223234A (ja) * | 1996-02-19 | 1997-08-26 | Oki Electric Ind Co Ltd | 動画像処理システムにおける動画像情報検出装置 |
| JPH09233422A (ja) * | 1996-02-26 | 1997-09-05 | Oki Electric Ind Co Ltd | 動画像処理システムにおける動画像情報検出装置 |
| JPH10320566A (ja) * | 1997-05-19 | 1998-12-04 | Canon Inc | 画像処理装置、画像処理方法及びその方法を記憶した記憶媒体 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3679426B2 (ja) * | 1993-03-15 | 2005-08-03 | マサチューセッツ・インスティチュート・オブ・テクノロジー | 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム |
| WO1995010915A1 (en) * | 1993-10-12 | 1995-04-20 | Orad, Inc. | Sports event video |
| US5635982A (en) | 1994-06-27 | 1997-06-03 | Zhang; Hong J. | System for automatic video segmentation and key frame extraction for video sequences having both sharp and gradual transitions |
| US6037988A (en) * | 1996-03-22 | 2000-03-14 | Microsoft Corp | Method for generating sprites for object-based coding sytems using masks and rounding average |
| US5767922A (en) * | 1996-04-05 | 1998-06-16 | Cornell Research Foundation, Inc. | Apparatus and process for detecting scene breaks in a sequence of video frames |
| US5943445A (en) * | 1996-12-19 | 1999-08-24 | Digital Equipment Corporation | Dynamic sprites for encoding video data |
| US5784115A (en) | 1996-12-31 | 1998-07-21 | Xerox Corporation | System and method for motion compensated de-interlacing of video frames |
-
1998
- 1998-12-17 US US09/215,594 patent/US6252975B1/en not_active Expired - Lifetime
-
1999
- 1999-12-14 EP EP99124925A patent/EP1011074B1/en not_active Expired - Lifetime
- 1999-12-14 DE DE69932489T patent/DE69932489T2/de not_active Expired - Lifetime
- 1999-12-14 JP JP35379899A patent/JP4666706B2/ja not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05145823A (ja) * | 1991-11-25 | 1993-06-11 | Matsushita Electric Ind Co Ltd | 動体追尾装置 |
| JPH07220082A (ja) * | 1994-02-04 | 1995-08-18 | Hitachi Ltd | パターン処理装置及び降雨量予測システム |
| JPH09223234A (ja) * | 1996-02-19 | 1997-08-26 | Oki Electric Ind Co Ltd | 動画像処理システムにおける動画像情報検出装置 |
| JPH09233422A (ja) * | 1996-02-26 | 1997-09-05 | Oki Electric Ind Co Ltd | 動画像処理システムにおける動画像情報検出装置 |
| JPH10320566A (ja) * | 1997-05-19 | 1998-12-04 | Canon Inc | 画像処理装置、画像処理方法及びその方法を記憶した記憶媒体 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019521547A (ja) * | 2016-05-02 | 2019-07-25 | フェイスブック，インク． | コンテンツを提示するためのシステムおよび方法 |
| JP2018051243A (ja) * | 2016-09-30 | 2018-04-05 | 株式会社ニデック | 眼底画像観察プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4666706B2 (ja) | 2011-04-06 |
| EP1011074A2 (en) | 2000-06-21 |
| DE69932489T2 (de) | 2006-11-23 |
| US6252975B1 (en) | 2001-06-26 |
| DE69932489D1 (de) | 2006-09-07 |
| EP1011074B1 (en) | 2006-07-26 |
| EP1011074A3 (en) | 2001-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4666706B2 (ja) | 動画像リアルタイム変換方法、キーフレーム選択方法、及び動画像変換システム | |
| US6757328B1 (en) | Motion information extraction system | |
| KR100814424B1 (ko) | 폐색영역 검출장치 및 검출방법 | |
| KR100901904B1 (ko) | 카메라 움직임 추정 방법 및 비디오 움직임 식별 장치 | |
| US6335985B1 (en) | Object extraction apparatus | |
| JP3612227B2 (ja) | 物体抽出装置 | |
| KR100721543B1 (ko) | 통계적 정보를 이용하여 노이즈를 제거하는 영상 처리 방법및 시스템 | |
| EP1639829B1 (en) | Optical flow estimation method | |
| US5654772A (en) | Method for change detection in moving images | |
| KR100869497B1 (ko) | 계층적 움직임 추정방법 및 이를 적용한 초음파 영상장치 | |
| Kim et al. | Moving object segmentation in video sequences by user interaction and automatic object tracking | |
| JPH08307820A (ja) | インタレースされたビデオから高画質静止画像を生成するためのシステム及び方法 | |
| KR19990077203A (ko) | 이미지 세그멘테이션 | |
| EP3251086A1 (en) | Method and apparatus for generating an initial superpixel label map for an image | |
| JP2005176381A (ja) | 適応的動き補償の補間方法及び装置 | |
| JP4156084B2 (ja) | 移動物体追跡装置 | |
| JP3930504B2 (ja) | 物体抽出装置 | |
| JPH10320566A (ja) | 画像処理装置、画像処理方法及びその方法を記憶した記憶媒体 | |
| US8582882B2 (en) | Unit for and method of segmentation using average homogeneity | |
| Wang et al. | Automatic TV logo detection, tracking and removal in broadcast video | |
| KR100566629B1 (ko) | 이동물체 검출 시스템 및 방법 | |
| JP3763279B2 (ja) | 物体抽出システム、物体抽出方法および物体抽出プログラム | |
| Kunter et al. | Super-resolution mosaicing using embedded hybrid recursive folow-based segmentation | |
| Morier et al. | Relative depth estimation of video objects for image interpolation | |
| JP3255656B2 (ja) | 動画像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061212 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090929 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100126 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100422 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100427 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100526 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100810 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101029 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101214 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140121 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |