JP5547739B2 - オプティカルフローの決定のためのデジタル処理方法およびシステム - Google Patents
オプティカルフローの決定のためのデジタル処理方法およびシステム Download PDFInfo
- Publication number
- JP5547739B2 JP5547739B2 JP2011532112A JP2011532112A JP5547739B2 JP 5547739 B2 JP5547739 B2 JP 5547739B2 JP 2011532112 A JP2011532112 A JP 2011532112A JP 2011532112 A JP2011532112 A JP 2011532112A JP 5547739 B2 JP5547739 B2 JP 5547739B2
- Authority
- JP
- Japan
- Prior art keywords
- optical flow
- pyramid
- image
- flow field
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Description
本出願は、全体として参照によりその開示が本明細書に組み込まれている、2008年10月15日に出願した米国仮特許出願第61/105,515号の権利を主張するものである。
I(x,y,t)=オブジェクト(x+ut,y+vt) (1)
ただし、x、yおよびtは、観察された光照射野の連続領域時空間位置であり、Iは、x、yおよびtによって指定された位置のオブジェクトの強度または輝度であり、uおよびvは、オブジェクトの並進運動を記述するベクトルを表す。明るさの恒常性の仮定に基づく拘束方程式が、偏導関数に関して、式2で示される。
[∂I(x,y,t)/∂x]・u+[∂I(x,y,t)/∂y]・v+[∂I/(x,y,t)/∂t]=0 (2)
[∂L(x,y,t)/∂x]・u+[∂L(x,y,t)/∂y]・v+[∂L/(x,y,t)/∂t]=0 (3)
bmw
L(x,y,t)=∇(I(x,y,t))
I(x,y,t)=[0.30,0.59,0.11]T・[IR(x,y,t),IG(x,y,t),IB(x,y,t)]T (4)
DRGB(x1,y1,t1,x2,y2,t2)=I1(x1,y1,t1)−I2(x2,y2,t2) (5)
ただし、式5における減算は、R3上の減算のベクトルの向きにおける意味である。色距離関数Dは、3次元の色キューブ内の2つの3ベクトル色の間の距離の大きさを効果的に定義することは、当業者には理解されよう。色距離関数Dを使用する利点は、なお単一のスカラー値に縮小しながら、輝度に加えて、クロミナンス/色を追加の制約として導入することである。大部分のオブジェクトが固有の明るさにおいて変化する場合、これらは固有の色および明るさを変更しないと仮定することは、妥当である。加えて、ビデオおよび画像処理システムに共通している、多数の同時代のGPUおよびDSPハードウェア・プラットフォームは、このタイプの演算を、単一クロックサイクルの原始的なマシン命令として実装する。
LR(x,y,t)=∇(IR(x,y,t)) (6)
LG(x,y,t)=∇(IG(x,y,t))
LB(x,y,t)=∇(IB(x,y,t))
拘束方程式(複数可)はこのとき、したがって、式7のそれになる。
[∂LR(x,y,t)/∂x]・u+[∂LR(x,y,t)/∂y]・v+[∂LR(x,y,t)/∂t]=0
...
[∂LG(x,y,t)/∂x]・u+[∂LG(x,y,t)/∂y]・v+[∂LG(x,y,t)/∂t]=0
...
[∂LB(x,y,t)/∂x]・u+[∂LB(x,y,t)/∂y]・v+[∂LB(x,y,t)/∂t]=0
W’=フロア(floor)(W/N)×ピラミッド_係数N
H’=フロア(W/N)×ピラミッド_係数N (10)
重み(n,m)={0.125,0.75,0.125}×{0.125,0.75,0.125}T (12)
ただし、式15のIは、前述の非線形処理の後で、生のオプティカルフロー場推定からの動きベクトル場の画像サンプルとして解釈される。この手法の利点は、オプティカルフロー場の本来の計算から後処理ステップを分離するL2ノルム全変動の制約と共に非線形統計的演算(メジアンなど)の使用を可能とし、それにより、並列処理のためのさらなる機会を与えることである。
Claims (28)
- 画像の対の間のオプティカルフロー場を決定するための方法であって、
(a)非オクターブ・ピラミッド係数を使用して、前記画像の対の各々を画像ピラミッドに分解するステップ、
(b)前記分解された画像の対における画素の明るさの勾配が一定であるという仮定の下に、前記分解された画像の対を、最初のピラミッド・スケールで、二次導関数表現に変換するステップ、
(c)前記二次導関数画像表現の離散時間導関数を推定するステップ、
(d)生のオプティカルフロー場を発生させるために、オプティカルフロー推定処理を前記離散時間導関数に適用するステップ、
(e)前記生のオプティカルフロー場を、前記非オクターブ・ピラミッド係数によってスケーリングするステップ、および
(f)最後のオプティカルフロー場を発生させるために、すべてのピラミッド・スケールが訪問されるまで、前記画像の対に対して、別のピラミッド・スケールで、ステップ(b)〜(e)を繰り返すステップを備え、ステップ(c)における時空間勾配推定は、以前の生のオプティカルフロー推定によってワープされる方法。 - (g)前記二次導関数画像表現を、色空間からスカラー色距離空間へ変換するステップをさらに備える、請求項1に記載の方法。
- ステップ(g)は、色距離のベクトル減算のラプラシアンを使用して実装される、請求項2に記載の方法。
- ラプラシアン演算子は、前記二次導関数画像表現のすべての色チャネルの強度に別々に適用される、請求項3に記載の方法。
- 前記非オクターブ・ピラミッド係数は、1.5以上2.0未満になるように選択される、請求項1に記載の方法。
- 前記最初のピラミッド・スケールは、最低解像度のピラミッド・スケールであり、別のピラミッド・スケールは、次のより高い解像度のピラミッド・スケールである、請求項1に記載の方法。
- ステップ(c)は、時空間勾配推定方法を使用して実施される、請求項1に記載の方法。
- 前記オプティカルフロー推定処理は、最小二乗適合法を採用する、請求項1に記載の方法。
- 非線形の区分線形制約を前記オプティカルフロー場に課す、少なくとも1つの非線形フィルタにより、前記生のオプティカルフロー場を処理するステップをさらに備える、請求項1に記載の方法。
- 前記少なくとも1つの非線形フィルタは、全変動最小化(L1およびL2ノルム)フィルタ、異方性拡散フィルタ、局所的画像構造に反応する楕円ステアラブル・フィルタ、および、カーネル回帰フィルタのうち、少なくとも1つである、請求項9に記載の方法。
- 画素サンプル毎に、前記生のオプティカルフロー場の逆の無矛盾性をチェックするために、複数画素動き補償および差分二乗和計算を、前記生のオプティカルフロー場において行うステップをさらに備える、請求項1に記載の方法。
- 後続のより低い解像度のピラミッド・スケールで、1.5以上2.0未満で非オクターブ(2.0)ピラミッド・スケーリング係数を選択するためのフィードバック機構を提供するために、2D構造テンソル固有システム解析を前記離散時間導関数に適用するステップをさらに備える、請求項1に記載の方法。
- 前記2D構造テンソル固有システム解析中に、他のピラミッド・スケールを超える単一のピラミッド・スケールについて、閾値画素割合を下回る小さい固有値に遭遇するとき、前記後続のピラミッド・スケールのうち少なくとも1つについて、より細かいピラミッド・スケールが使用される、請求項12に記載の方法。
- 前記生のオプティカルフロー場は逆の順序で処理される、請求項1に記載の方法。
- 動きベクトルは、前記画像の対のうち第2の画像を、ロバートのクロス・コンフィギュレーションの5つ以上の位置においてサンプルするために使用される、請求項14に記載の方法。
- 単一画素アウトライアを除去するために、すべてのピラミッド・スケールについての前記生のオプティカルフロー場を、(非線形)3x3メジアンフィルタ演算によって処理し、前記フィルタされた生のオプティカルフロー場を、L2ノルム全変動演算子により、可変数の反復の間、処理するステップをさらに備える、請求項1に記載の方法。
- 画像の対の間のオプティカルフロー場を決定するコンピュータコードを格納するコンピュータ可読媒体であって、前記コードは少なくとも1つのプロセッサによって実行され、前記コンピュータコードは、
(a)非オクターブ・ピラミッド係数を使用して、前記画像の対の各々を画像ピラミッドに分解すること、
(b)前記分解された画像の対における画素の明るさの勾配が一定であるという仮定の下に、前記分解された画像の対を、最初のピラミッド・スケールで、二次導関数表現に変換すること、
(c)前記二次導関数画像表現の離散時間導関数を推定すること、
(d)生のオプティカルフロー場を発生させるために、オプティカルフロー推定処理を前記離散時間導関数に適用すること、
(e)前記生のオプティカルフロー場を、前記非オクターブ・ピラミッド係数によってスケーリングすること、および
(f)最後のオプティカルフロー場を発生させるために、すべてのピラミッド・スケールが訪問されるまで、前記画像の対に対して、別のピラミッド・スケールで、ステップ(b)〜(e)を繰り返すことを行うためのコードを備え、ステップ(c)における時空間勾配推定は、以前の生のオプティカルフロー推定によってワープされる、コンピュータ可読媒体。 - (g)前記二次導関数画像表現を、色空間からスカラー色距離空間へ変換するためのコードをさらに備える、請求項17に記載のコンピュータ可読媒体。
- (g)は、色距離のベクトル減算のラプラシアンを使用して実装される、請求項18に記載のコンピュータ可読媒体。
- 前記非オクターブ・ピラミッド係数は、1.5以上2.0未満になるように選択される、請求項17に記載のコンピュータ可読媒体。
- 前記最初のピラミッド・スケールは、最低解像度のピラミッド・スケールであり、別のピラミッド・スケールは、次のより高い解像度のピラミッド・スケールである、請求項17に記載のコンピュータ可読媒体。
- (c)は、時空間勾配推定方法を使用して実施される、請求項17に記載のコンピュータ可読媒体。
- 前記オプティカルフロー推定処理は、最小二乗適合法を採用する、請求項17に記載のコンピュータ可読媒体。
- 非線形の区分線形制約を前記オプティカルフロー場に課す、少なくとも1つの非線形フィルタにより、前記生のオプティカルフロー場を処理するためのコードをさらに備える、請求項17に記載のコンピュータ可読媒体。
- 前記少なくとも1つの非線形フィルタは、全変動最小化(L1およびL2ノルム)フィルタ、異方性拡散フィルタ、局所的画像構造に反応する楕円ステアラブル・フィルタ、および、カーネル回帰フィルタのうち、少なくとも1つである、請求項24に記載のコンピュータ可読媒体。
- 前記後続のより低い解像度のピラミッド・スケールで、1.5以上2.0未満で非オクターブ(2.0)ピラミッド・スケーリング係数を選択するためのフィードバック機構を提供するために、2D構造テンソル固有システム解析を前記離散時間導関数に適用するためのコードをさらに備える、請求項17に記載のコンピュータ可読媒体。
- 前記生のオプティカルフロー場は逆の順序で処理される、請求項17に記載のコンピュータ可読媒体。
- 動きベクトルは、前記画像の対のうち第2の画像を、ロバートのクロス・コンフィギュレーションの5つ以上の位置においてサンプルするために使用される、請求項27に記載のコンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10551508P | 2008-10-15 | 2008-10-15 | |
US61/105,515 | 2008-10-15 | ||
PCT/US2009/056209 WO2010044963A1 (en) | 2008-10-15 | 2009-09-08 | Digital processing method and system for determination of optical flow |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014096424A Division JP5861949B2 (ja) | 2008-10-15 | 2014-05-08 | オプティカルフローの決定のためのデジタル処理方法およびシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012506092A JP2012506092A (ja) | 2012-03-08 |
JP5547739B2 true JP5547739B2 (ja) | 2014-07-16 |
Family
ID=42106823
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011532112A Expired - Fee Related JP5547739B2 (ja) | 2008-10-15 | 2009-09-08 | オプティカルフローの決定のためのデジタル処理方法およびシステム |
JP2014096424A Expired - Fee Related JP5861949B2 (ja) | 2008-10-15 | 2014-05-08 | オプティカルフローの決定のためのデジタル処理方法およびシステム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014096424A Expired - Fee Related JP5861949B2 (ja) | 2008-10-15 | 2014-05-08 | オプティカルフローの決定のためのデジタル処理方法およびシステム |
Country Status (6)
Country | Link |
---|---|
US (3) | US8355534B2 (ja) |
JP (2) | JP5547739B2 (ja) |
KR (1) | KR101498532B1 (ja) |
GB (1) | GB2476397B (ja) |
HK (1) | HK1159291A1 (ja) |
WO (1) | WO2010044963A1 (ja) |
Families Citing this family (94)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8866920B2 (en) | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
KR101733443B1 (ko) | 2008-05-20 | 2017-05-10 | 펠리칸 이매징 코포레이션 | 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리 |
KR101498532B1 (ko) * | 2008-10-15 | 2015-03-04 | 스피넬라 아이피 홀딩스, 인코포레이티드 | 광학 흐름의 결정을 위한 디지털 처리 방법 및 시스템 |
WO2010080121A1 (en) * | 2008-12-18 | 2010-07-15 | The Regents Of The University Of California, Santa Cruz | Training-free generic object detection in 2-d and 3-d using locally adaptive regression kernels |
US8805023B2 (en) * | 2009-02-24 | 2014-08-12 | Kyushu Institute Of Technology | Object motion estimating device, object motion estimating method, program, and recording medium |
JP5161845B2 (ja) * | 2009-07-31 | 2013-03-13 | 富士フイルム株式会社 | 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム |
US8514491B2 (en) | 2009-11-20 | 2013-08-20 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
CN103004180A (zh) | 2010-05-12 | 2013-03-27 | 派力肯影像公司 | 成像器阵列和阵列照相机的架构 |
FR2961601B1 (fr) * | 2010-06-22 | 2012-07-27 | Parrot | Procede d'evaluation de la vitesse horizontale d'un drone, notamment d'un drone apte au vol stationnaire autopilote |
US8451384B2 (en) | 2010-07-08 | 2013-05-28 | Spinella Ip Holdings, Inc. | System and method for shot change detection in a video sequence |
US8878950B2 (en) | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
JP5843474B2 (ja) * | 2011-05-09 | 2016-01-13 | キヤノン株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
JP5801598B2 (ja) * | 2011-05-09 | 2015-10-28 | キヤノン株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
KR101973822B1 (ko) | 2011-05-11 | 2019-04-29 | 포토네이션 케이맨 리미티드 | 어레이 카메라 이미지 데이터를 송신 및 수신하기 위한 시스템들 및 방법들 |
US8553943B2 (en) | 2011-06-14 | 2013-10-08 | Qualcomm Incorporated | Content-adaptive systems, methods and apparatus for determining optical flow |
JP6049098B2 (ja) * | 2011-06-27 | 2016-12-21 | イスム リサーチ ディべロップメント カンパニー オブ ザ ヒーブリュー ユニバーシティ オブ エルサレム エルティーディー | 画像処理目的のためのフィルタによるコンボルーションの高速数値近似の適用 |
US20130265459A1 (en) | 2011-06-28 | 2013-10-10 | Pelican Imaging Corporation | Optical arrangements for use with an array camera |
US20130070060A1 (en) | 2011-09-19 | 2013-03-21 | Pelican Imaging Corporation | Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion |
JP6140709B2 (ja) | 2011-09-28 | 2017-05-31 | ペリカン イメージング コーポレイション | 明視野画像ファイルを符号化および復号するためのシステムおよび方法 |
US9412206B2 (en) | 2012-02-21 | 2016-08-09 | Pelican Imaging Corporation | Systems and methods for the manipulation of captured light field image data |
US20140063314A1 (en) * | 2012-02-28 | 2014-03-06 | Aswin C Sankaranarayanan | System And Method Of Video Compressive Sensing For Spatial-Multiplexing Cameras |
US9210392B2 (en) | 2012-05-01 | 2015-12-08 | Pelican Imaging Coporation | Camera modules patterned with pi filter groups |
US8942452B2 (en) * | 2012-05-18 | 2015-01-27 | Kabushiki Kaisha Toshiba | Apparatus and method for smoothing random event data obtained from a Positron Emission Tomography scanner |
KR20150023907A (ko) | 2012-06-28 | 2015-03-05 | 펠리칸 이매징 코포레이션 | 결함있는 카메라 어레이들, 광학 어레이들 및 센서들을 검출하기 위한 시스템들 및 방법들 |
US20140002674A1 (en) | 2012-06-30 | 2014-01-02 | Pelican Imaging Corporation | Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors |
EP4296963A3 (en) | 2012-08-21 | 2024-03-27 | Adeia Imaging LLC | Method for depth detection in images captured using array cameras |
CN104685513B (zh) | 2012-08-23 | 2018-04-27 | 派力肯影像公司 | 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计 |
US9214013B2 (en) | 2012-09-14 | 2015-12-15 | Pelican Imaging Corporation | Systems and methods for correcting user identified artifacts in light field images |
US20140092281A1 (en) | 2012-09-28 | 2014-04-03 | Pelican Imaging Corporation | Generating Images from Light Fields Utilizing Virtual Viewpoints |
US9143711B2 (en) | 2012-11-13 | 2015-09-22 | Pelican Imaging Corporation | Systems and methods for array camera focal plane control |
US9008363B1 (en) | 2013-01-02 | 2015-04-14 | Google Inc. | System and method for computing optical flow |
US9462164B2 (en) | 2013-02-21 | 2016-10-04 | Pelican Imaging Corporation | Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information |
US9253380B2 (en) | 2013-02-24 | 2016-02-02 | Pelican Imaging Corporation | Thin form factor computational array cameras and modular array cameras |
WO2014138697A1 (en) | 2013-03-08 | 2014-09-12 | Pelican Imaging Corporation | Systems and methods for high dynamic range imaging using array cameras |
US8866912B2 (en) | 2013-03-10 | 2014-10-21 | Pelican Imaging Corporation | System and methods for calibration of an array camera using a single captured image |
US9521416B1 (en) | 2013-03-11 | 2016-12-13 | Kip Peli P1 Lp | Systems and methods for image data compression |
US9106784B2 (en) | 2013-03-13 | 2015-08-11 | Pelican Imaging Corporation | Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing |
US9519972B2 (en) | 2013-03-13 | 2016-12-13 | Kip Peli P1 Lp | Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies |
WO2014164550A2 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | System and methods for calibration of an array camera |
US9888194B2 (en) | 2013-03-13 | 2018-02-06 | Fotonation Cayman Limited | Array camera architecture implementing quantum film image sensors |
US9100586B2 (en) | 2013-03-14 | 2015-08-04 | Pelican Imaging Corporation | Systems and methods for photometric normalization in array cameras |
US9578259B2 (en) | 2013-03-14 | 2017-02-21 | Fotonation Cayman Limited | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
US10122993B2 (en) | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
WO2014150856A1 (en) | 2013-03-15 | 2014-09-25 | Pelican Imaging Corporation | Array camera implementing quantum dot color filters |
US9633442B2 (en) | 2013-03-15 | 2017-04-25 | Fotonation Cayman Limited | Array cameras including an array camera module augmented with a separate camera |
EP2973476A4 (en) | 2013-03-15 | 2017-01-18 | Pelican Imaging Corporation | Systems and methods for stereo imaging with camera arrays |
US9445003B1 (en) | 2013-03-15 | 2016-09-13 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
US9497429B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Extended color processing on pelican array cameras |
KR20160016812A (ko) * | 2013-05-28 | 2016-02-15 | 톰슨 라이센싱 | 조밀한 모션 필드들을 통한 기저 비디오 시퀀스로의 이미지 편집들 전파 |
US9898856B2 (en) | 2013-09-27 | 2018-02-20 | Fotonation Cayman Limited | Systems and methods for depth-assisted perspective distortion correction |
WO2015070105A1 (en) | 2013-11-07 | 2015-05-14 | Pelican Imaging Corporation | Methods of manufacturing array camera modules incorporating independently aligned lens stacks |
WO2015074078A1 (en) | 2013-11-18 | 2015-05-21 | Pelican Imaging Corporation | Estimating depth from projected texture using camera arrays |
US9456134B2 (en) | 2013-11-26 | 2016-09-27 | Pelican Imaging Corporation | Array camera configurations incorporating constituent array cameras and constituent cameras |
CN104680552B (zh) * | 2013-11-29 | 2017-11-21 | 展讯通信(天津)有限公司 | 一种基于肤色检测的跟踪方法及装置 |
CN104680122B (zh) * | 2013-11-29 | 2019-03-19 | 展讯通信(天津)有限公司 | 一种基于肤色检测的跟踪方法及装置 |
CN104680551B (zh) * | 2013-11-29 | 2017-11-21 | 展讯通信(天津)有限公司 | 一种基于肤色检测的跟踪方法及装置 |
US10089740B2 (en) | 2014-03-07 | 2018-10-02 | Fotonation Limited | System and methods for depth regularization and semiautomatic interactive matting using RGB-D images |
US9247117B2 (en) | 2014-04-07 | 2016-01-26 | Pelican Imaging Corporation | Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array |
US9521319B2 (en) | 2014-06-18 | 2016-12-13 | Pelican Imaging Corporation | Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor |
US9836831B1 (en) * | 2014-07-30 | 2017-12-05 | Google Inc. | Simulating long-exposure images |
EP3001685A1 (en) * | 2014-09-24 | 2016-03-30 | Thomson Licensing | Method and apparatus for estimating absolute motion values in image sequences |
US10250871B2 (en) | 2014-09-29 | 2019-04-02 | Fotonation Limited | Systems and methods for dynamic calibration of array cameras |
US9942474B2 (en) | 2015-04-17 | 2018-04-10 | Fotonation Cayman Limited | Systems and methods for performing high speed video capture and depth estimation using array cameras |
AU2015202937A1 (en) * | 2015-05-29 | 2016-12-15 | Canon Kabushiki Kaisha | Systems and methods for registration of images |
US10074151B2 (en) * | 2015-09-30 | 2018-09-11 | Intel Corporation | Dense optical flow acceleration |
US10755380B2 (en) * | 2015-11-11 | 2020-08-25 | Texas Instruments Incorporated | Down scaling images in a computer vision system |
JP6838918B2 (ja) * | 2015-11-24 | 2021-03-03 | キヤノン株式会社 | 画像データ処理装置及び方法 |
US10268901B2 (en) * | 2015-12-04 | 2019-04-23 | Texas Instruments Incorporated | Quasi-parametric optical flow estimation |
US10089788B2 (en) | 2016-05-25 | 2018-10-02 | Google Llc | Light-field viewpoint and pixel culling for a head mounted display device |
JP6854629B2 (ja) * | 2016-11-24 | 2021-04-07 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
US10235763B2 (en) | 2016-12-01 | 2019-03-19 | Google Llc | Determining optical flow |
US10424069B2 (en) | 2017-04-07 | 2019-09-24 | Nvidia Corporation | System and method for optical flow estimation |
WO2018199468A1 (ko) * | 2017-04-24 | 2018-11-01 | 에스케이텔레콤 주식회사 | 움직임 보상을 위한 옵티컬 플로우 추정 방법 및 장치 |
US10482618B2 (en) | 2017-08-21 | 2019-11-19 | Fotonation Limited | Systems and methods for hybrid depth regularization |
US10977809B2 (en) | 2017-12-11 | 2021-04-13 | Dolby Laboratories Licensing Corporation | Detecting motion dragging artifacts for dynamic adjustment of frame rate conversion settings |
CN108040217B (zh) * | 2017-12-20 | 2020-01-24 | 深圳岚锋创视网络科技有限公司 | 一种视频解码的方法、装置及相机 |
EP3785225B1 (en) | 2018-04-24 | 2023-09-13 | Snap Inc. | Efficient parallel optical flow algorithm and gpu implementation |
CN109756690B (zh) * | 2018-12-21 | 2020-11-20 | 西北工业大学 | 基于特征级别光流的轻量级视频插值方法 |
WO2021055585A1 (en) | 2019-09-17 | 2021-03-25 | Boston Polarimetrics, Inc. | Systems and methods for surface modeling using polarization cues |
US11525906B2 (en) | 2019-10-07 | 2022-12-13 | Intrinsic Innovation Llc | Systems and methods for augmentation of sensor systems and imaging systems with polarization |
US11176682B2 (en) * | 2019-11-27 | 2021-11-16 | Nvidia Corporation | Enhanced optical flow estimation using a varied scan order |
KR20230116068A (ko) | 2019-11-30 | 2023-08-03 | 보스턴 폴라리메트릭스, 인크. | 편광 신호를 이용한 투명 물체 분할을 위한 시스템및 방법 |
WO2021154386A1 (en) | 2020-01-29 | 2021-08-05 | Boston Polarimetrics, Inc. | Systems and methods for characterizing object pose detection and measurement systems |
US11797863B2 (en) | 2020-01-30 | 2023-10-24 | Intrinsic Innovation Llc | Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images |
US11953700B2 (en) | 2020-05-27 | 2024-04-09 | Intrinsic Innovation Llc | Multi-aperture polarization optical systems using beam splitters |
CN112381860B (zh) * | 2020-11-21 | 2023-04-11 | 西安交通大学 | 一种旋转叶片动频测量的无标记计算机视觉方法 |
CN112446179B (zh) * | 2020-12-10 | 2024-05-14 | 华中科技大学 | 一种基于变分光流模型的流体速度测量方法 |
US12020455B2 (en) | 2021-03-10 | 2024-06-25 | Intrinsic Innovation Llc | Systems and methods for high dynamic range image reconstruction |
US11638025B2 (en) | 2021-03-19 | 2023-04-25 | Qualcomm Incorporated | Multi-scale optical flow for learned video compression |
US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
CN114581493A (zh) * | 2022-03-04 | 2022-06-03 | 三星电子(中国)研发中心 | 双向光流估计方法和装置 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5680487A (en) * | 1991-12-23 | 1997-10-21 | Texas Instruments Incorporated | System and method for determining optical flow |
US5500904A (en) * | 1992-04-22 | 1996-03-19 | Texas Instruments Incorporated | System and method for indicating a change between images |
JP2991878B2 (ja) * | 1992-11-27 | 1999-12-20 | 三菱電機株式会社 | オプティカルフロー演算回路 |
US5627905A (en) | 1994-12-12 | 1997-05-06 | Lockheed Martin Tactical Defense Systems | Optical flow detection system |
GB2311182A (en) | 1996-03-13 | 1997-09-17 | Innovision Plc | Improved gradient based motion estimation |
JPH09261490A (ja) * | 1996-03-22 | 1997-10-03 | Minolta Co Ltd | 画像形成装置 |
US6847737B1 (en) * | 1998-03-13 | 2005-01-25 | University Of Houston System | Methods for performing DAF data filtering and padding |
JP3960694B2 (ja) * | 1998-10-26 | 2007-08-15 | 富士通株式会社 | 色信号変換方法、色信号変換装置、記録媒体、デバイスドライバ及び色変換テーブル |
JP3548071B2 (ja) * | 2000-02-08 | 2004-07-28 | 三洋電機株式会社 | 中間画像合成方法、中間画像合成装置、中間画像合成プログラムを記録した記録媒体 |
CN1565118A (zh) * | 2001-10-08 | 2005-01-12 | 皇家飞利浦电子股份有限公司 | 用于运动估计的装置和方法 |
JP4138345B2 (ja) * | 2002-03-22 | 2008-08-27 | セイコーエプソン株式会社 | 画像処理装置および画像出力装置 |
US7558320B2 (en) * | 2003-06-13 | 2009-07-07 | Microsoft Corporation | Quality control in frame interpolation with motion analysis |
US7408986B2 (en) * | 2003-06-13 | 2008-08-05 | Microsoft Corporation | Increasing motion smoothness using frame interpolation with motion analysis |
JP3944647B2 (ja) * | 2003-10-21 | 2007-07-11 | コニカミノルタホールディングス株式会社 | 物体計測装置、物体計測方法、およびプログラム |
US20070126932A1 (en) * | 2005-12-05 | 2007-06-07 | Kiran Bhat | Systems and methods for utilizing idle display area |
KR101498532B1 (ko) * | 2008-10-15 | 2015-03-04 | 스피넬라 아이피 홀딩스, 인코포레이티드 | 광학 흐름의 결정을 위한 디지털 처리 방법 및 시스템 |
-
2009
- 2009-09-08 KR KR1020117011135A patent/KR101498532B1/ko not_active IP Right Cessation
- 2009-09-08 WO PCT/US2009/056209 patent/WO2010044963A1/en active Application Filing
- 2009-09-08 JP JP2011532112A patent/JP5547739B2/ja not_active Expired - Fee Related
- 2009-09-08 GB GB1101399.2A patent/GB2476397B/en not_active Expired - Fee Related
- 2009-09-08 US US12/555,472 patent/US8355534B2/en not_active Expired - Fee Related
-
2011
- 2011-12-20 HK HK11113736.9A patent/HK1159291A1/xx not_active IP Right Cessation
-
2012
- 2012-12-12 US US13/712,030 patent/US8483438B2/en not_active Expired - Fee Related
-
2013
- 2013-05-30 US US13/905,592 patent/US8712095B2/en not_active Expired - Fee Related
-
2014
- 2014-05-08 JP JP2014096424A patent/JP5861949B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US8483438B2 (en) | 2013-07-09 |
GB201101399D0 (en) | 2011-03-09 |
JP2014194797A (ja) | 2014-10-09 |
US20100124361A1 (en) | 2010-05-20 |
JP2012506092A (ja) | 2012-03-08 |
GB2476397A (en) | 2011-06-22 |
HK1159291A1 (en) | 2012-07-27 |
KR101498532B1 (ko) | 2015-03-04 |
JP5861949B2 (ja) | 2016-02-16 |
WO2010044963A1 (en) | 2010-04-22 |
US8355534B2 (en) | 2013-01-15 |
KR20110111362A (ko) | 2011-10-11 |
US20130259317A1 (en) | 2013-10-03 |
US8712095B2 (en) | 2014-04-29 |
GB2476397B (en) | 2014-04-30 |
US20130101178A1 (en) | 2013-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5861949B2 (ja) | オプティカルフローの決定のためのデジタル処理方法およびシステム | |
Takeda et al. | Super-resolution without explicit subpixel motion estimation | |
Papenberg et al. | Highly accurate optic flow computation with theoretically justified warping | |
Brox et al. | High accuracy optical flow estimation based on a theory for warping | |
Chaudhuri | Super-resolution imaging | |
US8768069B2 (en) | Image enhancement apparatus and method | |
Burger et al. | A variational model for joint motion estimation and image reconstruction | |
Xu et al. | A segmentation based variational model for accurate optical flow estimation | |
Wasza et al. | Real-time preprocessing for dense 3-D range imaging on the GPU: defect interpolation, bilateral temporal averaging and guided filtering | |
Sellent et al. | Motion field estimation from alternate exposure images | |
Unger et al. | A convex approach for variational super-resolution | |
Al Ismaeil et al. | Enhancement of dynamic depth scenes by upsampling for precise super-resolution (UP-SR) | |
GB2510709A (en) | Determining an optical flow field between a pair of images by warping spatiotemporal gradient estimations | |
Sadaghiani et al. | Image interpolation based on 2D-DWT with novel regularity-preserving algorithm using RLS adaptive filters | |
CN103618904B (zh) | 基于像素的运动估计方法及装置 | |
Malczewski et al. | Super resolution for multimedia, image, and video processing applications | |
Sim et al. | Robust reweighted MAP motion estimation | |
Choi et al. | Discrete and continuous optimizations for depth image super-resolution | |
Guðmundsson et al. | TOF-CCD image fusion using complex wavelets | |
Telea et al. | A variational approach to joint denoising, edge detection and motion estimation | |
Xiang et al. | Real-time spatial and depth upsampling for range data | |
Balure et al. | Depth image super-resolution: a review and wavelet perspective | |
Metwalli et al. | Combining superresolution and fusion methods for sharpening misrsat-1 data | |
Khan et al. | Comparison of reconstruction and example-based super-resolution | |
Le et al. | A super-resolution imaging method based on dense subpixel-accurate motion fields |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20120713 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120906 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130620 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130625 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20130925 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20131002 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20131025 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20131101 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20131125 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20131202 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140417 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140515 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5547739 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |