JP5731911B2 - 画像処理装置及びその制御方法 - Google Patents
画像処理装置及びその制御方法 Download PDFInfo
- Publication number
- JP5731911B2 JP5731911B2 JP2011127658A JP2011127658A JP5731911B2 JP 5731911 B2 JP5731911 B2 JP 5731911B2 JP 2011127658 A JP2011127658 A JP 2011127658A JP 2011127658 A JP2011127658 A JP 2011127658A JP 5731911 B2 JP5731911 B2 JP 5731911B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- image
- correction amount
- amount
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
対象画像について、該対象画像を撮像した撮像装置の動きに起因して生じる、基準画像とのずれを補正する補正量を出力する画像処理装置であって、対象画像を複数の領域に分割する分割手段と、基準画像に基づいて、複数の領域の各々について、該領域におけるずれを補正するための変換係数を決定する決定手段と、複数の領域のうちの1つの領域について、該領域内の注目点を該領域について決定手段により決定された変換係数で補正する場合の第1の補正量と、注目点を該領域の近傍領域について決定された変換係数で補正する場合の第2の補正量との差分が、予め定められた限界量に収まるように設定した変換係数で該領域におけるずれを補正する補正量を出力する出力手段と、を有することを特徴とする。
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、撮像された画像において撮像装置の動きに起因して生じている被写体像のずれを、画像を分割した複数の領域ごとに補正可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、入力された基準画像及び補正の対象画像において、当該画像を撮像した撮像装置の動きに起因して生じる基準画像に対する対象画像のずれを、対象画像を分割した複数の領域ごとに補正することが可能な任意の機器に適用可能である。また、本明細書において、対象画像における「局所領域」とは、当該対象画像を分割した領域のうち、撮像において所謂「あおり現象」が発生した場合に、被写体像のずれが顕著に現れるであろう対象画像の四隅に位置する領域として予め定められているものとする。しかしながら、本発明において局所領域として設定する領域は、対象画像の四隅に限らず、任意の領域が設定可能であってよい。
制御部101は、例えばCPUであり、デジタルカメラ100が備える各ブロックの動作プログラムをROM102より読み出し、RAM103に展開して実行することによりデジタルカメラ100が備える各ブロックの動作を制御する。ROM102は、書き換え可能な不揮発性メモリであり、デジタルカメラ100が備える各ブロックの動作プログラムに加え、例えば画像の分割数等、各ブロックの動作に必要なパラメータ等を記憶する。RAM103は、書き換え可能な揮発性メモリであり、デジタルカメラ100が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。本実施形態ではRAM103には、撮像装置の動きに起因して生じている対象画像における被写体像のずれを検出するために必要となる基準画像や、補正前の対象画像等が一時的に記憶される。
・・・・式1
と表すことができる。ここで、a,b,c,d,e,fは、アフィン係数を示している。
となる。このとき、当該ブロックnについての誤差εnは、ブロックnについて得られた動きベクトル
を用いて、
と表すことができるため、誤差の総和εは、
となる。
より、
・・・式2
ただし、
nはブロックの総和、
が得られる。
と得られる。同様にアフィン係数d,e,fは
ただし
と得られる。
U3を局所領域及び近傍領域のアフィン係数でアフィン変換して得られる局所ベクトルV31及び近傍ベクトルV30はそれぞれ、
となる。このとき差分を表す差分ベクトルΔV3errは、
であり、そのスカラ量|ΔV3err|は、
となる。
上述した実施形態1では、局所領域に含まれる1つの注目点について、局所領域のアフィン係数及び近傍領域のアフィン係数を用いて算出される補正量の差分により、各領域のアフィン係数を変更するか否かを判断する方法について説明した。本変形例では、局所領域に含まれる複数の注目点について算出された補正量の差分に基づいて、各領域のアフィン係数を変更するか否かを判断する形態について説明する。
であり、このとき差分を表す差分ベクトルのスカラ量|ΔV0err|は
となる。ΔVthが例えば|ΔV0err|の半分にあたる71である場合、アフィン係数修正部206は補正量の差分がΔVthとなるように、局所ベクトルがV’01となるような、局所領域のアフィン係数を計算する。同様に、U1に対してはV’11、U2に対してはV’21、U3に対してはV’31、が局所ベクトルとなるような、局所領域のアフィン係数を計算する。具体的には、上述したアフィン係数算出手法を用いて、U0とV’01、U1とV’11、U2とV’21、U3とV’31、の4組の座標から、局所領域のアフィン係数を計算する。例えばこの場合の、局所領域のアフィン係数を計算すると、
となる。なお、アフィン係数修正部206は局所領域のアフィン係数の変更に伴い、対象画像の全ての領域のアフィン係数を新たに算出する。
上述した実施形態1及び変形例では、局所領域についてのみ補正量の差分を算出することで、対象画像の各領域のアフィン係数を調整する方法について説明した。本実施形態では、局所領域のアフィン係数の算出に用いた領域のそれぞれについて、当該領域及びその隣接する領域のアフィン係数を用いて補正量の差分を算出することにより、局所領域及びその近傍領域において被写体像のずれを補正する方法について説明する。
(1−1)局所領域の少なくとも1つの注目点か、
(1−2)局所領域及びその近傍領域それぞれの、少なくとも1つの注目点
について、
(2−1)局所領域と近傍領域のアフィン係数か、
(2−2)注目点が存在する領域と、当該領域に隣接する領域のアフィン係数
を用いてアフィン変換を行った場合に得られる補正量の差分が、対象画像を領域ごとに被写体像のずれを補正した場合に、補正した領域間において、被写体像の位置ずれが目立たない量として予め定められた限界量に収まるか否かを判断する。このとき、補正量の差分が予め定められた限界量を超える場合、補正量の差分が予め定められた限界量に収まるように、
(3−1)局所領域のアフィン係数を近傍領域のアフィン係数に変更するか、
(3−2)補正量の差分が予め定められた限界量となるように、局所領域のアフィン係数を変更するか、
(3−3)局所領域及びその近傍領域をさらに細かく分割して、アフィン係数を補間する
ことにより、画像内において被写体像が不連続となるような画質劣化を引き起こすことなく、被写体像のずれを補正することができる。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (10)
- 対象画像について、該対象画像を撮像した撮像装置の動きに起因して生じる、基準画像とのずれを補正する補正量を出力する画像処理装置であって、
前記対象画像を複数の領域に分割する分割手段と、
前記基準画像に基づいて、前記複数の領域の各々について、該領域におけるずれを補正するための変換係数を決定する決定手段と、
前記複数の領域のうちの1つの領域について、該領域内の注目点を該領域について前記決定手段により決定された変換係数で補正する場合の第1の補正量と、前記注目点を該領域の近傍領域について決定された変換係数で補正する場合の第2の補正量との差分が、予め定められた限界量に収まるように設定した変換係数で該領域におけるずれを補正する補正量を出力する出力手段と、を有する
ことを特徴とする画像処理装置。 - 前記出力手段は、前記第1の補正量と前記第2の補正量との差分が前記予め定められた限界量に収まらない場合に、該差分が前記予め定められた限界量に収まるような新たな変換係数を前記1つの領域に設定することを特徴とする請求項1に記載の画像処理装置。
- 前記出力手段は、
前記1つの領域内の複数の前記注目点について、前記第1の補正量と前記第2の補正量とをそれぞれ算出し、
前記複数の注目点の少なくとも1つについて前記第1の補正量と前記第2の補正量との差分が前記予め定められた限界量に収まらない場合に、前記複数の注目点の全てについて前記第1の補正量と前記第2の補正量との差分が前記予め定められた限界量に収まるように変換係数を前記1つの領域に設定することを特徴とする請求項1または2に記載の画像処理装置。 - 前記出力手段は、前記第1の補正量と前記第2の補正量との差分が前記予め定められた限界量に収まらない場合に、当該差分が前記予め定められた限界量となるように変換係数を前記1つの領域に設定することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
- 前記出力手段は、前記第1の補正量と前記第2の補正量との差分が前記予め定められた限界量に収まらない場合に、前記近傍領域について決定された変換係数に前記1つの領域の変換係数を変更することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
- 前記決定手段は、前記複数の領域の各々について前記基準画像の対応する領域との動きベクトルを検出する検出手段を備え、
前記決定手段は、前記検出手段により検出された前記動きベクトルに基づいて前記複数の領域の各々についての変換係数を算出することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。 - 前記予め定められた限界量が、前記1つの領域と前記近傍領域の各々について前記基準画像とのずれを補正した場合に、補正後の領域間において、被写体像の位置ずれが目立たないとして定められた量であることを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
- 前記近傍領域が、前記1つの領域に隣接する領域であることを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
- 前記出力手段により出力された補正量を用いて、前記複数の領域の各々におけるずれを補正する補正手段をさらに有することを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
- 対象画像について、該対象画像を撮像した撮像装置の動きに起因して生じる、基準画像とのずれを補正する補正量を出力する画像処理装置の制御方法であって、
分割手段が、前記対象画像を複数の領域に分割する分割工程と、
決定手段が、前記基準画像に基づいて、前記複数の領域の各々について、該領域におけるずれを補正するための変換係数を決定する決定工程と、
出力手段が、前記複数の領域のうちの1つの領域について、該領域内の注目点を該領域について前記決定工程において決定された変換係数で補正する場合の第1の補正量と、前記注目点を該領域の近傍領域について決定された変換係数で補正する場合の第2の補正量との差分が、予め定められた限界量に収まるように設定した変換係数で該領域におけるずれを補正する補正量を出力する出力工程と、を有する
ことを特徴とする画像処理装置の制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011127658A JP5731911B2 (ja) | 2010-07-14 | 2011-06-07 | 画像処理装置及びその制御方法 |
US13/169,752 US8363118B2 (en) | 2010-07-14 | 2011-06-27 | Image processing device and method for controlling the same |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010160097 | 2010-07-14 | ||
JP2010160097 | 2010-07-14 | ||
JP2011127658A JP5731911B2 (ja) | 2010-07-14 | 2011-06-07 | 画像処理装置及びその制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012039600A JP2012039600A (ja) | 2012-02-23 |
JP2012039600A5 JP2012039600A5 (ja) | 2014-07-24 |
JP5731911B2 true JP5731911B2 (ja) | 2015-06-10 |
Family
ID=45466664
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011127658A Active JP5731911B2 (ja) | 2010-07-14 | 2011-06-07 | 画像処理装置及びその制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8363118B2 (ja) |
JP (1) | JP5731911B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5269143B2 (ja) * | 2010-07-16 | 2013-08-21 | キヤノン株式会社 | 像ブレ補正装置及びその制御方法及び撮像装置 |
JP2013153813A (ja) * | 2012-01-27 | 2013-08-15 | Olympus Corp | 内視鏡装置、画像処理方法及びプログラム |
EP2757527B1 (en) | 2013-01-16 | 2018-12-12 | Honda Research Institute Europe GmbH | System and method for distorted camera image correction |
JP6332951B2 (ja) * | 2013-11-29 | 2018-05-30 | キヤノン株式会社 | 画像処理装置および画像処理方法、およびプログラム |
KR101959062B1 (ko) * | 2017-03-08 | 2019-03-18 | 주식회사유넷컨버전스 | 활주로 감시 카메라의 작동 오차 보정 방법 |
CN110736911B (zh) * | 2018-07-18 | 2022-01-25 | 深圳市大族数控科技股份有限公司 | 飞针测试方法、飞针测试装置、飞针测试设备及存储介质 |
JP2023072212A (ja) * | 2021-11-12 | 2023-05-24 | 旭化成エレクトロニクス株式会社 | プログラム、制御装置、撮像装置、及び制御方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04178481A (ja) | 1990-11-13 | 1992-06-25 | Sekisui Chem Co Ltd | 塩化ビニル粘着テープ用粘着剤 |
US6108440A (en) * | 1996-06-28 | 2000-08-22 | Sony Corporation | Image data converting method |
US7175285B2 (en) * | 2003-07-29 | 2007-02-13 | Sharp Laboratories Of America, Inc. | Projection system that adjusts for keystoning |
US20070248260A1 (en) * | 2006-04-20 | 2007-10-25 | Nokia Corporation | Supporting a 3D presentation |
JP4178481B2 (ja) | 2006-06-21 | 2008-11-12 | ソニー株式会社 | 画像処理装置、画像処理方法、撮像装置および撮像方法 |
JP4982799B2 (ja) | 2007-09-03 | 2012-07-25 | コニカミノルタアドバンストレイヤー株式会社 | ズームレンズ |
US8886206B2 (en) * | 2009-05-01 | 2014-11-11 | Digimarc Corporation | Methods and systems for content processing |
-
2011
- 2011-06-07 JP JP2011127658A patent/JP5731911B2/ja active Active
- 2011-06-27 US US13/169,752 patent/US8363118B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US8363118B2 (en) | 2013-01-29 |
US20120013752A1 (en) | 2012-01-19 |
JP2012039600A (ja) | 2012-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5731911B2 (ja) | 画像処理装置及びその制御方法 | |
US7636106B2 (en) | Image processing apparatus and method, and program used therewith | |
CN101562704B (zh) | 图像处理装置和图像处理方法 | |
JP4658711B2 (ja) | 動きベクトル検出装置及び方法 | |
US8466969B2 (en) | Imaging apparatus and shake correcting method | |
US7945091B2 (en) | Image processor correcting color misregistration, image processing program, image processing method, and electronic camera | |
JP5531194B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP6326180B1 (ja) | 画像処理装置 | |
JP2010041419A (ja) | 画像処理装置、画像処理プログラム、画像処理方法、および電子機器 | |
US7499082B2 (en) | Distortion correction circuit for generating distortion-corrected image using data for uncorrected image | |
US20180077354A1 (en) | Image processing device, image processing method, and computer program product | |
US20120133786A1 (en) | Image processing method and image processing device | |
JP6045767B1 (ja) | 撮像装置、画像取得方法、画像取得プログラムおよび記憶媒体 | |
JP2005135096A (ja) | 画像処理方法および画像処理装置、並びにプログラム | |
JP4020093B2 (ja) | 縁検出方法及び装置及びプログラム及び記憶媒体及び枠検出方法及び装置及びプログラム及び記憶媒体 | |
CN110910301A (zh) | 图像处理装置及方法、和保存有图像处理程序的记录介质 | |
JP2010232710A (ja) | 画像処理装置および画像処理方法 | |
JP6532328B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
US8768066B2 (en) | Method for image processing and apparatus using the same | |
JP2003078808A (ja) | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 | |
JP2010177832A (ja) | 画像処理装置及び画像処理方法 | |
JP5645704B2 (ja) | 画像処理装置、及びその制御方法 | |
US11061200B2 (en) | Imaging apparatus, image processing apparatus, image processing method, and image processing program | |
JP5359814B2 (ja) | 画像処理装置 | |
JP2008235958A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140605 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140605 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150311 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150313 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150410 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5731911 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |