JP2006146926A - 2次元画像の表現方法、画像表現、画像の比較方法、画像シーケンスを処理する方法、動き表現を導出する方法、動き表現、画像の位置を求める方法、表現の使用、制御デバイス、装置、コンピュータプログラム、システム、及びコンピュータ読み取り可能な記憶媒体 - Google Patents
2次元画像の表現方法、画像表現、画像の比較方法、画像シーケンスを処理する方法、動き表現を導出する方法、動き表現、画像の位置を求める方法、表現の使用、制御デバイス、装置、コンピュータプログラム、システム、及びコンピュータ読み取り可能な記憶媒体 Download PDFInfo
- Publication number
- JP2006146926A JP2006146926A JP2005334523A JP2005334523A JP2006146926A JP 2006146926 A JP2006146926 A JP 2006146926A JP 2005334523 A JP2005334523 A JP 2005334523A JP 2005334523 A JP2005334523 A JP 2005334523A JP 2006146926 A JP2006146926 A JP 2006146926A
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional
- representation
- motion
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 230000033001 locomotion Effects 0.000 title claims abstract description 70
- 238000012545 processing Methods 0.000 title claims description 14
- 238000004590 computer program Methods 0.000 title claims 2
- 230000006641 stabilisation Effects 0.000 claims description 6
- 238000011105 stabilization Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 230000001419 dependent effect Effects 0.000 claims 2
- 230000005540 biological transmission Effects 0.000 claims 1
- 230000014509 gene expression Effects 0.000 claims 1
- 230000010354 integration Effects 0.000 description 15
- 238000013519 translation Methods 0.000 description 14
- 238000006073 displacement reaction Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012300 Sequence Analysis Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】2次元画像を表現する方法は、画像を少なくとも1つの軸上に投影することによって画像の少なくとも1つの1次元表現を導出すること、及びこの1次元表現にフーリエ変換を適用することを含む。この表現は、画像間の主要な動きの推定に用いることができる。
【選択図】 図1
Description
本発明は、画像シーケンス又はビデオシーケンス中のフレーム間の主要な動き(dominant motion)を推定する方法に関する。実際的な用途としては、カメラ画像の安定化、ビデオ符号化及び規格変換がある。
主要な動きの効率的な推定は、ビデオ符号化、カメラ画像の安定化、動きに基づくビデオ区分化、規格変換又はノイズ低減を含む多くのタスクに重要なプロセスである。
本発明は、ビデオシーケンス又は他の画像若しくは2Dデータシーケンス中の動きを推定する新規の超高速な方法を提案する。本推定プロセスは非常に高速であり、通常、位相相関手法を用いる従来技術の推定方法よりも10倍〜500倍速く、ノイズの多い画像においてさえ、また大きく速い動きを伴うビデオシーケンスについて信頼できる結果を生じる。本発明はまた、動き解析及び他のビデオシーケンス解析タスクに適用可能なフレーム又はフレームビデオデータの非常に簡潔な記述を提供する。
一態様によれば、本発明は、装置を用いて画像に対応する信号を処理することによって画像を表現する方法であって、画像の少なくとも2つの1次元表現を導出することを含み、各1次元画像は、画像をそれぞれの軸上に投影することによって導出される、画像を表現する方法を提供する。
現フレームの投影を抽出したら、これらの投影を窓掛け処理して(window)フーリエ領域に変換し、マルチプロジェクション(multi-projection)画像記述子を形成する。現フレームと前フレームのマルチプロジェクション画像記述子を使用して、フレーム間の動き(変位)を推定する。
ビデオシーケンス中の複数のフレーム1、2、...、Kを「位置合わせする」ことが望ましい場合が多く、1番目のフレームと位置合わせされた座標系に対するK番目のフレームの変位ベクトルTKは、次式のような全てのフレーム間変位の総和として求めることができることが知られている。
表1は、640×480の解像度の2つのビデオフレーム間の大域的な動き推定に必要な時間の比較を示す。この処理は、3GHzのPentium(登録商標)IVプロセッサで行った。
Claims (31)
- 2次元画像の表現方法であって、
前記画像を少なくとも1つの軸上に投影することによって、前記画像の少なくとも1つの1次元表現を導出することと、
前記1次元表現にフーリエ変換を適用することと
を含む、2次元画像の表現方法。 - 前記画像を少なくとも2つの軸上に投影することによって、少なくとも2つの1次元表現をそれぞれ導出することを含む請求項1に記載の2次元画像の表現方法。
- 少なくとも1つの軸は、前記画像の縁に平行である請求項1又は2に記載の2次元画像の表現方法。
- 少なくとも2つの軸は、垂直である請求項1〜3のいずれか一項に記載の2次元画像の表現方法。
- 前記画像の縁に位置合わせされた垂直なX軸及びY軸上に、前記画像を投影することを含む、請求項1〜4のいずれか一項に記載の2次元画像の表現方法。
- 軸Aへの投影が、軸A上の位置a毎に、位置aにおける軸Aに垂直な線に沿って画素の画像値を総和することを含む、請求項1〜5のいずれか一項に記載の2次元画像の表現方法。
- 前記1次元表現に適用される窓を適用することを含む、請求項1〜7のいずれか一項に記載の2次元画像の表現方法。
- ハン窓を使用することを含む、請求項8に記載の2次元画像の表現方法。
- 少なくとも1つの色成分に適用される、請求項1〜9のいずれか一項に記載の2次元画像の表現方法。
- 少なくとも緑色の色成分に適用される、請求項8に記載の2次元画像の表現方法。
- 明度値に適用される、請求項1〜11のいずれか一項に記載の2次元画像の表現方法。
- 請求項1〜12のいずれか一項に記載の方法を用いて導出される、少なくとも1つの1次元表現を含む画像表現。
- 請求項13に記載の表現の各画像について対応する1次元表現を比較することを含む、画像の比較方法。
- 1次元表現を比較することは、前記1次元表現間のシフトを求めるために位置合わせすることを含む、請求項14に記載の画像の比較方法。
- 前記1次元表現間でシフトを求めることは位相相関を含む、請求項15に記載の画像の比較方法。
- 位相相関は、逆フーリエ変換及びシフト値に対応するピークの検出を含む請求項16に記載の画像の比較方法。
- 画像間の動きを推定するための、請求項14〜17のいずれか一項に記載の画像の比較方法。
- 少なくとも1つの画像を複数の他の画像の各々と比較することであって、それによって、不連続な画像間のものを含む複数の動き推定値を導出する、画像を比較することを含む、請求項18に記載の画像の比較方法。
- 動き推定値の各々について信頼測度を求めることを含む請求項19に記載の画像の比較方法。
- 請求項14〜20のいずれか一項に記載の方法を用いて画像シーケンスを処理する方法であって、
前記1次元投影に対して窓掛け処理が適用され、
異なる画像対に対して同一の窓が用いられる
画像シーケンスを処理する方法。 - 請求項18〜20のいずれか一項に記載の方法を用いて画像間の動きを推定することを含む、画像シーケンスにおいて動き表現を導出する方法。
- 請求項22に記載の方法を用いて導出される画像シーケンスにおける動き表現。
- 少なくとも1つの基準画像を参照して、画像の位置を求める方法であって、
請求項14〜20のいずれか一項に記載の方法を用いて導出された画像間のシフトを総和することを含む
画像の位置を求める方法。 - 請求項19又は請求項20に従属し、
複数の動き推定値を用いて、複数の画像位置を求めることと、
前記動き推定値を、例えば平均化を用いて、結合することと
を含む、請求項24に記載の画像の位置を求める方法。 - 信頼測度が閾値を下回る動き推定値を除外することを含む、請求項25に記載の画像の位置を求める方法。
- 請求項13又は請求項23に記載の表現の、記憶、送信、受信のような、使用。
- カメラの安定化のための、請求項27に記載の使用。
- 請求項1〜12、14〜22、又は24〜26のいずれか一項に記載の方法を実行するようにプログラムされた制御デバイス。
- 請求項1〜12、14〜22、又は24〜26のいずれか一項に記載の方法を実行する装置。
- 請求項1〜12、14〜22、又は24〜26のいずれか一項に記載の方法を実行するための、コンピュータプログラム、システム又はコンピュータ読み取り可能な記憶媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB0425430.6 | 2004-11-18 | ||
GBGB0425430.6A GB0425430D0 (en) | 2004-11-18 | 2004-11-18 | Dominant motion analysis |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006146926A true JP2006146926A (ja) | 2006-06-08 |
JP4744276B2 JP4744276B2 (ja) | 2011-08-10 |
Family
ID=33548496
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005334523A Expired - Fee Related JP4744276B2 (ja) | 2004-11-18 | 2005-11-18 | 2次元画像の表現方法、2次元画像の比較方法、画像シーケンスを処理する方法、動き表現を導出する方法、画像の位置を求める方法、制御デバイス、装置、及びコンピュータ読み取り可能な記憶媒体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US7751591B2 (ja) |
EP (1) | EP1659535A3 (ja) |
JP (1) | JP4744276B2 (ja) |
CN (1) | CN1784010A (ja) |
GB (1) | GB0425430D0 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009545794A (ja) * | 2006-08-03 | 2009-12-24 | ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィ | 動き解析への用途を有するスパース積分画像記述子 |
WO2012115826A1 (en) * | 2011-02-24 | 2012-08-30 | Eastman Kodak Company | Extracting motion information from digital video sequences |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8923400B1 (en) | 2007-02-16 | 2014-12-30 | Geo Semiconductor Inc | Method and/or apparatus for multiple pass digital image stabilization |
US8149911B1 (en) * | 2007-02-16 | 2012-04-03 | Maxim Integrated Products, Inc. | Method and/or apparatus for multiple pass digital image stabilization |
US8488007B2 (en) * | 2010-01-19 | 2013-07-16 | Sony Corporation | Method to estimate segmented motion |
US8792559B2 (en) | 2010-10-26 | 2014-07-29 | Sony Corporation | Method to improve accuracy and reliability of motion estimated with phase correlation |
US8896759B2 (en) | 2010-10-26 | 2014-11-25 | Sony Corporation | Method to increase the accuracy of phase correlation motion estimation in low-bit-precision circumstances |
US8842735B2 (en) * | 2010-10-26 | 2014-09-23 | Sony Corporation | Method to improve detection of motion with phase correlation |
US9224202B2 (en) | 2011-04-14 | 2015-12-29 | Koninklijke Philips N.V. | Device and method for extracting information from characteristic signals |
AU2011205087B2 (en) * | 2011-07-29 | 2014-09-25 | Canon Kabushiki Kaisha | Multi-hypothesis projection-based shift estimation |
KR101783990B1 (ko) | 2012-12-21 | 2017-10-10 | 한화테크윈 주식회사 | 디지털 영상 처리 장치 및 영상의 대표 움직임 예측 방법 |
US9948859B2 (en) | 2015-08-19 | 2018-04-17 | Optimum Semiconductor Technologies, Inc. | Video image alignment for video stabilization |
US10445862B1 (en) * | 2016-01-25 | 2019-10-15 | National Technology & Engineering Solutions Of Sandia, Llc | Efficient track-before detect algorithm with minimal prior knowledge |
US11494881B2 (en) * | 2020-12-29 | 2022-11-08 | Hb Innovations, Inc. | Global movement image stabilization systems and methods |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06224293A (ja) * | 1993-01-27 | 1994-08-12 | Sumitomo Electric Ind Ltd | 半導体ウェーハの切断ライン位置検出方法及び装置 |
US7359563B1 (en) * | 2004-04-05 | 2008-04-15 | Louisiana Tech University Research Foundation | Method to stabilize a moving image |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1194047A (zh) * | 1995-03-22 | 1998-09-23 | 德国Idt国际数字技术有限公司 | 在多帧幅上协调确定移动的方法和设备 |
US5973733A (en) * | 1995-05-31 | 1999-10-26 | Texas Instruments Incorporated | Video stabilization system and method |
EP1050850A1 (en) * | 1999-05-03 | 2000-11-08 | THOMSON multimedia | Process for estimating a dominant motion between two frames |
US7020351B1 (en) * | 1999-10-08 | 2006-03-28 | Sarnoff Corporation | Method and apparatus for enhancing and indexing video and audio signals |
US7187810B2 (en) * | 1999-12-15 | 2007-03-06 | Medispectra, Inc. | Methods and systems for correcting image misalignment |
EP1216939B1 (de) | 2000-12-22 | 2003-11-05 | SIG Pack Systems AG | Vorrichtung zum Fördern und Zwischenspeichern von Produkten |
US6925195B2 (en) * | 2002-05-28 | 2005-08-02 | Eastman Kodak Company | Stabilization of three-dimensional images in a scannerless range imaging system |
-
2004
- 2004-11-18 GB GBGB0425430.6A patent/GB0425430D0/en not_active Ceased
-
2005
- 2005-11-16 EP EP05257079.3A patent/EP1659535A3/en not_active Withdrawn
- 2005-11-17 US US11/280,398 patent/US7751591B2/en not_active Expired - Fee Related
- 2005-11-18 JP JP2005334523A patent/JP4744276B2/ja not_active Expired - Fee Related
- 2005-11-18 CN CNA2005101236775A patent/CN1784010A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06224293A (ja) * | 1993-01-27 | 1994-08-12 | Sumitomo Electric Ind Ltd | 半導体ウェーハの切断ライン位置検出方法及び装置 |
US7359563B1 (en) * | 2004-04-05 | 2008-04-15 | Louisiana Tech University Research Foundation | Method to stabilize a moving image |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009545794A (ja) * | 2006-08-03 | 2009-12-24 | ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィ | 動き解析への用途を有するスパース積分画像記述子 |
WO2012115826A1 (en) * | 2011-02-24 | 2012-08-30 | Eastman Kodak Company | Extracting motion information from digital video sequences |
Also Published As
Publication number | Publication date |
---|---|
CN1784010A (zh) | 2006-06-07 |
US20060159311A1 (en) | 2006-07-20 |
GB0425430D0 (en) | 2004-12-22 |
JP4744276B2 (ja) | 2011-08-10 |
US7751591B2 (en) | 2010-07-06 |
EP1659535A2 (en) | 2006-05-24 |
EP1659535A3 (en) | 2016-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4744276B2 (ja) | 2次元画像の表現方法、2次元画像の比較方法、画像シーケンスを処理する方法、動き表現を導出する方法、画像の位置を求める方法、制御デバイス、装置、及びコンピュータ読み取り可能な記憶媒体 | |
US7349583B2 (en) | Global motion estimation image coding and processing | |
US7729563B2 (en) | Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames | |
Luisier et al. | SURE-LET for orthonormal wavelet-domain video denoising | |
US7831065B2 (en) | Method for motion estimation | |
US9210445B2 (en) | Method and apparatus for periodic structure handling for motion compensation | |
US20060066728A1 (en) | Motion stabilization | |
US20100123792A1 (en) | Image processing device, image processing method and program | |
Jin et al. | Quaternion-based impulse noise removal from color video sequences | |
WO2010024479A1 (en) | Apparatus and method for converting 2d image signals into 3d image signals | |
US8711938B2 (en) | Methods and systems for motion estimation with nonlinear motion-field smoothing | |
US20130022288A1 (en) | Image processing apparatus and method for reducing edge-induced artefacts | |
JP2005509230A (ja) | オクルージョン領域を検出するオクルージョン検出器および方法 | |
EP2297702B1 (en) | Complex wavelet tracker | |
Zhang et al. | An edge and color oriented optical flow estimation using block matching | |
Zheng et al. | Superpixel based patch match for differently exposed images with moving objects and camera movements | |
Pham et al. | Resolution enhancement of low-quality videos using a high-resolution frame | |
Su et al. | A practical and adaptive framework for super-resolution | |
Gurrala et al. | Enhancing Safety and Security: Face Tracking and Detection in Dehazed Video Frames Using KLT and Viola-Jones Algorithms. | |
Zlokolica et al. | Wavelet domain noise-robust motion estimation and noise estimation for video denoising | |
Kopernik et al. | Improved disparity estimation for the coding of stereoscopic television | |
Sibiryakov et al. | Real-time multi-frame analysis of dominant translation | |
Fazli et al. | A novel object based Super-Resolution using Phase Template Matching | |
KR101576369B1 (ko) | 영상 왜곡 측정 시스템 및 그 측정 방법 | |
Zlokolica et al. | Wavelet based motion compensated filtering of color video sequences |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081105 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100622 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100922 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101019 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110412 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110510 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140520 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4744276 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |