JP6505501B2 - ローリングシャッタ回転歪み補正と映像安定化処理方法 - Google Patents
ローリングシャッタ回転歪み補正と映像安定化処理方法 Download PDFInfo
- Publication number
- JP6505501B2 JP6505501B2 JP2015104074A JP2015104074A JP6505501B2 JP 6505501 B2 JP6505501 B2 JP 6505501B2 JP 2015104074 A JP2015104074 A JP 2015104074A JP 2015104074 A JP2015104074 A JP 2015104074A JP 6505501 B2 JP6505501 B2 JP 6505501B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- distortion
- camera
- motion
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
このようにすると、回転を含む剛体歪み変換のみならず、より高自由度な相似、アフィン、射影変換による動き歪みについても同様にモデル化できる(
隣接する2画像間の動きを推定して、歪みのない第1フレーム基準画像に対して位置合わせを行うことにより、動き歪み補正とともに映像の安定化を行う。まず、第n+1フレーム歪み画像
上付き添字”−1”は、図1中の矢印とは逆向きであることを意味する。この場合も、これらの変換を合成すると、動き歪み補正と安定化は、すべてのパラメータの推定結果の累積加算により行えばよい。パラメータの推定方法等の詳細は後述する。
に対して、時系列フィルタ処理(LPF)を行う。時系列フィルタ処理結果
(Abstract)
ローリングシャッターに起因する映像の動き歪み変形を隣接する画像間のグローバルな動きの変換としてモデル化する。そして、従来の並進動きの場合[5]から、回転を含む一般的な運動の場合に拡張する。動きパラメータを“逆結合Lucas-Kanadeアルゴリズム[1]”の更新量を1次近似した”近似逆結合Lucas-Kanadeアルゴリズム[7]”により推定する。動き歪み補正とともに、歪みのない基準フレームに対する映像の安定化を同時に行うために、推定した隣接2画像間の動きパラメータを累積加算した結果で補正する。移動カメラの場合に、推定した並進パラメータの時系列変化に対して、“巡回型バイラテラルフイルタ[5,6]”により揺れ成分を除去して、カメラの移動を保持したまま、映像中の揺れのみを補正する。移動カメラから固定カメラヘ遷移する際にも、変化に忠実な安定化処理を実現する。
近年、低価格な携帯電話カメラからハイエンドのディジタル一眼レフカメラ(Digital Single Lens Reflexcamera、DSLR)まで、CMOSセンサが多く使われてきている。CMOSセンサは、低価格化、低消費電力化、大判化が可能であるが、これが従来のCCDセンサと大きく異なる点は、ローリングシャッターと呼ばれる順次露光機構であり、それに起因して映像に動き歪み変形が生じる点である。
1)回転を含む剛体歪み変換モデルを定式化する。これは、歪みのない画像と歪み画像間における歪み変換と、歪みのない画像間における動き変換の合成の1次近似によるものである。これによって、さらに高自由度な相似、アフィン、射影変換による動き歪み変換のモデル化も可能となる。
CMOSセンサはCCDセンサとは異なるシャッター機構を持つ。CCDセンサではすべての画素が同時に露光されるが、CMOSセンサの場合、小型、低価格を達成するためにライン走査による順次露光を用いている。したがって、カメラの動きが走査時間に比較して非常に大きい場合、CMOSセンサの最初と最後のラインの時間差のために、CMOSカメラ映像はカメラの動きによって歪む。図3では、そのようなローリングシャッター機構において、走査時間の間にシーン中の物体が動くと、画像中では、どのように歪んで見えるのかを示している(物体とカメラの動きは相対的である)。
画像縦横サイズがV×HのCMOSカメラが動くと、撮影されたシーン中の物体の任意の点xが1フレーム期間中に画像の動きuによって動くとする。その速度vは1フレーム時間Tfで割ることによって得られる。
(3.1並進歪みの場合)
1フレーム期間中の画像の動きを、並進動きと仮定すると、
(3.2回転歪みの場合)
本書面では、回転運動を含む、より高自由度な動き歪みの場合に拡張する。純粋回転を仮定すると、
したがって、回転歪み画像を生成することは可能である。計算されるサブピクセル精度の画像位置における画素値は、ピクセル精度の近傍画素位置の画素値を用いて内挿補間生成すればよい[5]。注意すべきは、回転中心が左上画像原点になることである。図5に回転歪み画像例を示す。
図5は、シミュレーションにより生成したCMOS回転歪み画像を説明する図であり、図5(a)がカメラ動きなし(基準画像)を示し、図5(b)がカメラが3度回転(時計回りの回転)すると画像は左に変形する状態を示し、図5(c)がカメラが−3度回転(反時計回りの回転)すると画像は右に変形する状態を示している。
並進成分を加えた剛体歪みの場合は、式(10)に、
式(16)(17)の剛体歪み変換をパラメータ同士の積項を無視する1次近似をすると、次のようになる。
(4.CMOS動き歪みの推定)
剛体歪み変換
第n+1フレームの剛体歪み画像
だから、Lucas-Kanadeアルゴリズムにより、次の差分二乗総和を最小化するpnを推定する。
∂w/∂pnはヤコビ行列と呼ばれ、剛体歪み変換の場合には、次のようになる。
そこで、第nフレーム画像と第n+1フレーム画像の役割を次のように交換する。
しかし、高次項を含む多項式変換である剛体歪み変換の逆変換を解析的に求めることはできない。そこで、逆変換を1次近似して、さらに、変換との合成結果を1次近似する。そのようにしても、通常は問題ないことが実験的に確認される[7]。すなわち、
(5.CMOS動き歪み補正と安定化処理)
(5.1固定カメラの場合)
隣接する2画像間の動きを推定して、歪みのない第1フレーム基準画像に対して位置合わせを行うことにより、動き歪み補正とともに映像の安定化を行う。まず、第n+1フレーム歪み画像
(5.2移動カメラの場合)
問題は、移動カメラの場合であり、映像に含まれる動きが不要な揺れなのか、有意なカメラの動きなのかを判別しなければならない。なぜなら、第1フレームを基準画像として固定すると、移動カメラの場合には、カメラが移動するに従って、補正ができなくなる。
松永[5]は、隣接する並進歪み2画像間の並進パラメータの推定結果に対して時系列フィルタ処理を行うことによって、移動カメラにおける安定化処理を行った。時系列フィルタには、信号のレベル差に応じた重み係数を導入した巡回型フィルタを用いた。低域通過フィルタとして巡回型フィルタを用いると、現在と過去のデータしか使わないので余分なフレーム遅延が発生せず、処理全体の遅延量の観点から優位であり、レベル適応により静止から移動、あるいは、移動から静止へのカメラの状態の遷移にも追従が可能となる。
これは、バイラテラルフィルタ[9]の巡回型フィルタへの拡張と見なすことができる(詳細は[5,6]参照)。松永は、これを“拡張バイラテラルフィルタ”と呼んで、画像ノイズ除去処理にも用いた[6]。
図7は、CMOSカメラ映像の動き歪み補正および映像安定化処理のブロック図である(文献[5]では誤りがあったので修正している)。図7中、動き推定(Motion Estimaiton)により隣接する2画像
時系列フィルタ処理が完全であれば、固定カメラの場合の低域通過フィルタの出力は厳密に0となり(不要な揺れによる移動量が期待値0の正規分布に従うと仮定する)、フィルタ処理結果との差分は並進パラメータそのものになる。しかし、実際にはそうとは限らないので、現在のフレームと前フレームにおけるフィルタ出力結果の差分絶対値のしきい値処理によって、固定/移動カメラの判別を行う。固定カメラと判定された場合には、並進パラメータの累積加算値によって補正する。最終的な補正パラメータによるサブピクセル精度の画素座標における画素値は、近傍画素による内挿補間により計算する[5]。
(6.画像シミュレーション)
(6.1人工画像シミュレーション)
図8は、図5の格子画像を歪み変形させたシミュレーション画像において、カメラの動きなしの画像を基準画像として、回転歪み補正した結果である。図8(a)が、CMOS回転歪み補正画像のカメラ動きなしの場合(基準画像)を示し、(b)(c)が、図5のカメラの動きによる回転歪み画像(b)(c)の補正結果を示すものである。図8においては、画像境界は歪み変形の補正がわかりやすいように黒のままとしている。図8によれば、回転歪み変形が補正できているのがわかる。
(6.2実画像列シミュレーション(固定カメラの場合))
ディジタルカメラ(ニコンD40)で撮影した3008×2000画素の画像に対して、剛体歪みパラメータを与えて、その一部分を切り出して、剛体歪み画像を生成する。水平および垂直方向にそれぞれ平均0、標準偏差1画素の正規乱数による並進パラメータ、平均0、標準偏差0.2度の正規乱数による回転パラメータを用いて剛体歪み画像列を生成する。生成した画像サイズは640×480画素である。これは、固定カメラによる定点監視映像と見なすことができる。
図9(a)はそのようにして生成した剛体歪み画像列の加算平均画像である(60フレーム)。歪み変形と揺れにより輪郭が重なって見える。第1フレームを基準画像として、第2フレーム以降、順次隣接する2画像間の剛体歪みパラメータを推定した結果を用いて歪み補正および安定化処理を行った。図9(b)は処理結果の画像列の加算平均画像である。処理前の加算平均画像に対して、安定化処理によって加算平均画像は明瞭に見
える。画像境界付近の黒は補正処理による見切れのためである。
図10(a)〜(c)は、剛体歪み画像列の生成に用いたフレームに対する並進および回転パラメータである。剛体歪みパラメータの推定結果(estimate (rigid))とともに、真の値(true)も表示している。並進に関しては、並進歪み補正モデルによる推定結果(estimate(trans))も表示している。剛体歪みパラメータの推定結果は、ほぼ真の値に一致しているが、並進歪み補正モデルによる推定結果は、モデル化誤差のため十分ではない。
第1フレーム基準画像と補正画像の間の二乗誤差画像のピークSN比により定量的に評価する。ピークSN比PSNRは二乗誤差画像の平均輝度値(平均ノイズ電力)MSEおよび最大輝度値(最大信号電力)
次のように求められる(実験では、Imaxを8ビット最大画素値255とした)。
(6.3実画像列シミュレーション(移動カメラの場合))
図11は、ディジタルカメラ(キヤノンIXY DIGITAL500(登録商標))で撮影した2592×1944画素の画像に対して、剛体歪みパラメータを与えて、その一部分を切り出して生成した剛体歪み画像列の一部である。水平および垂直方向の基準となる並進パラメータ
固定カメラとして行った歪み補正および安定化処理の結果は、第1フレームを基準として安定しているが、入力が移動カメラによる画像列のため、基準フレームから大きく移動すると、次第に見切れる領域が大きくなって行く。一方、移動カメラとして行った歪み補正および安定化処理の結果は、カメラの移動に伴い、補正処理が追従しているのがわかる。ここでは、不要な揺れ成分を除去して、カメラの軌跡を滑らかにするために、隣接2画像間において推定した並進パラメータの時系列変化に対して1次バタワース巡回型バイラテラルフィルタ処理[5]を行い、その結果の並進パラメータを用いて各フレームを補正した。1次バタワース巡回型バイラテラルフィルタにおけるカットオフ周波数は水平および垂直方向いずれも0.01Hz、
さらに、並進パラメータを
(まとめ)
本文書では、CMOSセンサを用いたカメラにより撮影された映像における動き歪み変形と揺れの補正を同時に行うために、ローリングシヤッターに起因する動き歪み変形を隣接する画像間のグローバルな動きの変換としてモデル化し、回転を含む一般的な運動の場合に拡張した。近似逆結合Lucas-Kanadeアルゴリズムを用いて、何らの画像特徴や対応付けを用いることなく、画素を直接的に処理することにより推定を行った。
画像シミュレーション実験を行い、固定カメラ、移動カメラいずれの映像に含まれる剛体歪み変形を補正するとともに揺れを除去して安定化した。移動カメラの場合には、推定した並進パラメータの時系列変化に対して、巡回型バイラテラルフイルタにより揺れ成分を除去して、カメラの移動を保持したまま、映像中の揺れのみを補正した。移動カメラから固定カメラヘ遷移する際にも、変化に忠実な安定化処理を実現した。
今後の課題としては、次のものが挙げられる。
・局所移動物体や輝度変動に対してロバストな推定補正の実現
・マルチコアCPU/GPUによる実時間処理の実現。
なお、図13〜図30には、本発明を説明するスライドを示した。
また、本文書中に[*](*は数字)で示した参照先は、*の数字に該当する下記論文を意味するものである。
[1]S. Baker and l. Matthews, Lucas-Kanade 20 years on: A unifying framework, International Journal of Computer Vision,56-3(2004),221-265.
[2]M. Grundmann, V. Kwatra, D. Caistro, and l. Essa,Calibration-free rolling shutter removal, Proceedings of IEEE Conference on Computational Photography(ICCP2012),April, 2012.
[3]金谷健一,これなら分かる最適化数学−基礎原理から計算手法まで−」,共立出版, 2005年9月.
[4]B. D. Lucas and T. Kanade, An iterative image registration technique with an application to stereo vision,Proceedings of the 1981 DARPA Image Understanding Workshop, April 1981, 121-130.
[5]松永力,対応点を用いないローリングシャッタ歪み補正と映像安定化,第19回画像センシングシンポジウム(SSII2013)講演論文集,横浜(パシフィコ横浜), 2013年6月.
[6]松永力,無限インパルス応答システムによる拡張バイラテラルフィルタ,第19回画像センシングシンポジウム(SSII2013)講演論文集,横浜(パシフィコ横浜), 2013年6月.
[7]松永力,画像からの倍率色収差の自動推定補正,第20回画像センシングシンポジウム(SSII2014)講演論文集,横浜(パシフィコ横浜), 2014年6月.
[8]E. Ringaby and P.-E. Forssen, Efficient video rectification and stabilisation for cell-phones,International Journal of Computer Vision, 96-3 (2012), 335-352.
[9]C. Tomasi and R. Manduchi, Bilateral filtering for gray and color images,Proceedings of the Sixth IEEE International Conference on Computer Vision(ICCV'98), Bombay, India, January, 1998.
Claims (6)
- CMOSセンサから取得された映像に対して、ローリングシャッタに起因する回転動き歪み変形を含む隣接する2画像間の動きを、前記回転動き歪みのない仮想的な2画像間の動きとして、逆結合Lucas−Kanadeアルゴリズムの更新量を1次近似することにより並進及び回転パラメータを推定する
ことを特徴とする映像安定化処理方法。 - 請求項1に記載の映像安定化処理方法において、
移動カメラの場合には、推定した前記並進パラメータの時系列処理を遂行する
ことを特徴とする映像安定化処理方法。 - 請求項1または請求項2に記載の映像安定化処理方法において、
CMOSセンサから取得された映像における回転動き歪み変形と、揺れの補正と、を同時に行うこと
ことを特徴とする映像安定化処理方法。 - 請求項1乃至請求項3のいずれか一項に記載の映像安定化処理方法をコンピュータに実行させるためのプログラム。
- 請求項4に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
- 請求項1乃至請求項3のいずれか一項に記載の映像安定化処理方法を実行するビデオスタビライザー。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015104074A JP6505501B2 (ja) | 2015-05-22 | 2015-05-22 | ローリングシャッタ回転歪み補正と映像安定化処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015104074A JP6505501B2 (ja) | 2015-05-22 | 2015-05-22 | ローリングシャッタ回転歪み補正と映像安定化処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016220083A JP2016220083A (ja) | 2016-12-22 |
JP6505501B2 true JP6505501B2 (ja) | 2019-04-24 |
Family
ID=57581687
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015104074A Active JP6505501B2 (ja) | 2015-05-22 | 2015-05-22 | ローリングシャッタ回転歪み補正と映像安定化処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6505501B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7023490B2 (ja) * | 2017-10-20 | 2022-02-22 | 株式会社朋栄 | 高精度色補正処理方法及び高精度色補正処理装置 |
JP2020031264A (ja) | 2018-08-20 | 2020-02-27 | ソニーセミコンダクタソリューションズ株式会社 | 信号処理装置、撮像装置、信号処理方法 |
WO2023123371A1 (en) * | 2021-12-31 | 2023-07-06 | Qualcomm Incorporated | Image correction based on activity detection |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008028500A (ja) * | 2006-07-19 | 2008-02-07 | Sony Corp | 画像処理装置、方法、およびプログラム |
JP6202879B2 (ja) * | 2013-05-20 | 2017-09-27 | 株式会社朋栄 | ローリングシャッタ歪み補正と映像安定化処理方法 |
-
2015
- 2015-05-22 JP JP2015104074A patent/JP6505501B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016220083A (ja) | 2016-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10192347B2 (en) | 3D photogrammetry | |
JP6202879B2 (ja) | ローリングシャッタ歪み補正と映像安定化処理方法 | |
US8428390B2 (en) | Generating sharp images, panoramas, and videos from motion-blurred videos | |
JP6448218B2 (ja) | 撮像装置、その制御方法および情報処理システム | |
Shimizu et al. | Super-resolution from image sequence under influence of hot-air optical turbulence | |
KR102563750B1 (ko) | 영상 블러링 제거 방법 및 장치 | |
EP3296952B1 (en) | Method and device for blurring a virtual object in a video | |
JP2011217044A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP6253280B2 (ja) | 撮像装置およびその制御方法 | |
JP6236259B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
KR20150011938A (ko) | 멀티-카메라 플랫폼 기반으로 캡쳐된 파노라마 영상의 안정화 방법 및 장치 | |
JP6505501B2 (ja) | ローリングシャッタ回転歪み補正と映像安定化処理方法 | |
CN104202603B (zh) | 一种应用于视频帧速率上转换的运动向量场生成方法 | |
JP2000152073A (ja) | ひずみ補正方法 | |
JP2009520975A (ja) | ステレオビジョンにおいて密な視差場を求める方法 | |
CN116091868A (zh) | 在线视频防抖设备、在线视频防抖方法及其学习方法 | |
CN109729263B (zh) | 基于融合运动模型的视频除抖方法 | |
KR102003460B1 (ko) | 왜곡제거장치 및 방법 | |
JP4661514B2 (ja) | 画像処理装置、および、画像処理方法、プログラム、並びに、記録媒体 | |
CN114429191A (zh) | 基于深度学习的电子防抖方法、***及存储介质 | |
CN113763544A (zh) | 图像确定方法、装置、电子设备和计算机可读存储介质 | |
Tico et al. | Method of motion estimation for image stabilization | |
WO2021106499A1 (ja) | ローリングシャッター映像の安定化及びモーションブラー除去処理方法とその装置 | |
TWI632814B (zh) | 視訊畫幀產生方法及其系統 | |
KR102236473B1 (ko) | 영상 처리 방법 및 그 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180517 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190304 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190327 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6505501 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |