JP6041651B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP6041651B2 JP6041651B2 JP2012269403A JP2012269403A JP6041651B2 JP 6041651 B2 JP6041651 B2 JP 6041651B2 JP 2012269403 A JP2012269403 A JP 2012269403A JP 2012269403 A JP2012269403 A JP 2012269403A JP 6041651 B2 JP6041651 B2 JP 6041651B2
- Authority
- JP
- Japan
- Prior art keywords
- coordinate
- image
- coordinate calculation
- coordinates
- calculation means
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 68
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000012937 correction Methods 0.000 claims description 58
- 239000013598 vector Substances 0.000 claims description 52
- 238000006243 chemical reaction Methods 0.000 claims description 22
- 230000009466 transformation Effects 0.000 claims description 18
- 230000004075 alteration Effects 0.000 claims description 17
- 238000005096 rolling process Methods 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 description 34
- 238000000034 method Methods 0.000 description 26
- 230000015572 biosynthetic process Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 15
- 238000003786 synthesis reaction Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 238000005070 sampling Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000013507 mapping Methods 0.000 description 6
- 230000006641 stabilisation Effects 0.000 description 5
- 238000011105 stabilization Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Geometry (AREA)
Description
図1は、本発明に係る画像処理装置の一例であるデジタルカメラの概略構成を示すブロック図である。デジタルカメラの全体的制御はCPU15によって行われる。
第1実施形態では、座標演算回路31の演算順序は、光学像に対する物理的な影響の逆順、つまり、リサイズと切り出し、射影変換、RS歪補正、歪曲補正の順とした。また、RS歪補正の幾何変形パラメータPwを算出する際に、座標演算の出力座標の像高に対応させるべきカメラモーションの変化を座標演算の入力画像座標の像高に対応させる近似を導入した。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
12 絞り
13 撮像素子
14 フロントエンド
15 CPU
16 メモリ
17 アセンブラ
18 姿勢センサ
19 光学補正データベース
20 幾何変形回路
31 座標演算回路
32 補間回路
33 メモリ制御回路
51 リサイズ処理回路
52 射影変換回路
53 RS歪補正回路
54 歪曲補正回路
55 座標移動ベクトル合成回路
56 幾何変形量制御回路
Claims (10)
- 画像の座標に対してそれぞれ異なる幾何変形による座標演算を行い、変換後の座標と、該座標の移動ベクトルとを演算する複数の座標演算手段と、
前記複数の座標演算手段が演算した移動ベクトルを合成することにより、合成された移動ベクトルを生成するベクトル合成手段と、
前記合成された移動ベクトルを用いて、出力画像の座標を入力画像の座標に変換する変換手段と、を備え、
前記複数の座標演算手段は、リサイズのための座標演算手段、射影変換を行うための座標演算手段、前記画像を撮像する際に用いた撮像素子のローリングシャッタ歪み補正を行うための座標演算手段、および、前記画像を撮像する際に用いたレンズの収差補正を行うための座標演算手段であって、この順に接続され、前記複数の座標演算手段のうち第2段以降の座標演算手段には前段の座標演算手段から出力された変換後の座標が入力されることにより、前記リサイズ、前記射影変換、前記ローリングシャッタ歪み補正および前記収差補正の順に座標演算を行うことを特徴とする画像処理装置。 - 前記ベクトル合成手段は、前記複数の座標演算手段が演算した移動ベクトルに重み付けを行って合成することを特徴とする請求項1に記載の画像処理装置。
- 前記複数の座標演算手段の少なくとも1つに対して、対応する幾何変形のための幾何変形パラメータを出力する制御手段を有することを特徴とする請求項1又は2に記載の画像処理装置。
- 前記複数の座標演算手段の少なくとも1つは、前記幾何変形パラメータに基づいて、前記画像の座標に対して前記幾何変形による座標演算を行うことを特徴とする請求項3に記載の画像処理装置。
- 前記複数の座標演算手段はそれぞれ、前記複数の座標演算手段が行うそれぞれの幾何変形に必要な精度で前記変換後の座標の移動ベクトルを出力することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
- 前記複数の座標演算手段はそれぞれ、前記変換後の座標を、後段に接続された座標演算手段に応じた精度で出力することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
- 前記複数の座標演算手段はそれぞれ、後段に接続された座標演算手段の精度を下回ることがない精度で、前記変換後の座標を出力することを特徴とする請求項6記載の画像処理装置。
- 前記変換手段によって変換された前記入力画像の座標に基づいて、前記入力画像の画素の画素値を用いて補間処理を行う補間手段を有することを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
- 複数の座標演算手段が、画像の座標に対してそれぞれ異なる幾何変形による座標演算を行うことによって、変換後の座標と、該座標の移動ベクトルを演算するステップと、
ベクトル合成手段が、前記複数の座標演算手段が演算した移動ベクトルを合成することにより、合成された移動ベクトルを生成するステップと、
変換手段が、前記合成された移動ベクトルを用いて、出力画像の座標を入力画像の座標に変換するステップと、を有し、
前記複数の座標演算手段は、リサイズのための座標演算手段、射影変換を行うための座標演算手段、前記画像を撮像する際に用いた撮像素子のローリングシャッタ歪み補正を行うための座標演算手段、および、前記画像を撮像する際に用いたレンズの収差補正を行うための座標演算手段であって、この順に接続され、
前記移動ベクトルを演算するステップでは、前記複数の座標演算手段のうち第2段以降の座標演算手段には前段の座標演算手段から出力された変換後の座標が入力されることにより前記リサイズ、前記射影変換、前記ローリングシャッタ歪み補正および前記収差補正の順に座標演算が行われることを特徴とする画像処理方法。 - コンピュータを画像の幾何変形を行う画像処理装置として機能させるためのプログラムであって、
前記コンピュータを、
画像の座標に対してそれぞれ異なる幾何変形による座標演算を行うことによって、変換後の座標と、該座標の移動ベクトルを演算する複数の座標演算手段と、
前記複数の座標演算手段が演算した移動ベクトルを合成することにより、合成された移動ベクトルを生成するベクトル合成手段と、
前記合成された移動ベクトルを用いて、出力画像の座標を入力画像の座標に変換する変換手段として機能させ、
前記複数の座標演算手段は、リサイズのための座標演算手段、射影変換を行うための座標演算手段、前記画像を撮像する際に用いた撮像素子のローリングシャッタ歪み補正を行うための座標演算手段、および、前記画像を撮像する際に用いたレンズの収差補正を行うための座標演算手段であって、この順に接続され、前記複数の座標演算手段のうち第2段以降の座標演算手段には前段の座標演算手段から出力された変換後の座標が入力されることにより前記リサイズ、前記射影変換、前記ローリングシャッタ歪み補正および前記収差補正の順に座標演算を行うことを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012269403A JP6041651B2 (ja) | 2012-12-10 | 2012-12-10 | 画像処理装置、画像処理方法及びプログラム |
US14/096,787 US9269131B2 (en) | 2012-12-10 | 2013-12-04 | Image processing apparatus with function of geometrically deforming image, image processing method therefor, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012269403A JP6041651B2 (ja) | 2012-12-10 | 2012-12-10 | 画像処理装置、画像処理方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014115824A JP2014115824A (ja) | 2014-06-26 |
JP2014115824A5 JP2014115824A5 (ja) | 2015-10-15 |
JP6041651B2 true JP6041651B2 (ja) | 2016-12-14 |
Family
ID=50881028
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012269403A Active JP6041651B2 (ja) | 2012-12-10 | 2012-12-10 | 画像処理装置、画像処理方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9269131B2 (ja) |
JP (1) | JP6041651B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10438331B2 (en) * | 2014-06-26 | 2019-10-08 | Intel Corporation | Distortion meshes against chromatic aberrations |
US20160189350A1 (en) * | 2014-12-30 | 2016-06-30 | Texas Instruments Incorporated | System and method for remapping of image to correct optical distortions |
CN107924558B (zh) * | 2016-03-14 | 2019-04-30 | Realop株式会社 | 图像处理装置、图像处理方法、记录介质以及拍摄装置 |
JP6645949B2 (ja) * | 2016-11-01 | 2020-02-14 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理システム、および情報処理方法 |
US10565778B2 (en) | 2017-08-22 | 2020-02-18 | Samsung Electronics Co., Ltd. | Electronic devices for and methods of implementing memory transfers for image warping in an electronic device |
JP2020031264A (ja) * | 2018-08-20 | 2020-02-27 | ソニーセミコンダクタソリューションズ株式会社 | 信号処理装置、撮像装置、信号処理方法 |
CN111179180B (zh) * | 2018-11-13 | 2023-06-27 | 创惟科技股份有限公司 | 影像的修正方法及其装置 |
CN111462331B (zh) * | 2020-03-31 | 2023-06-27 | 四川大学 | 扩展对极几何并实时计算三维点云的查找表方法 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6757446B1 (en) * | 2000-11-27 | 2004-06-29 | Microsoft Corporation | System and process for image-based relativistic rendering |
JP4378994B2 (ja) | 2003-04-30 | 2009-12-09 | ソニー株式会社 | 画像処理装置、画像処理方法ならびに撮像装置 |
JP2005202593A (ja) * | 2004-01-14 | 2005-07-28 | Seiko Epson Corp | 画像処理装置、プログラム及び方法 |
KR100519779B1 (ko) * | 2004-02-10 | 2005-10-07 | 삼성전자주식회사 | 깊이영상기반 3차원 그래픽 데이터의 고속 시각화 방법 및장치 |
JP4566591B2 (ja) * | 2004-03-19 | 2010-10-20 | キヤノン株式会社 | 画像変形推定方法および画像変形推定装置 |
JP4310645B2 (ja) | 2004-12-28 | 2009-08-12 | ソニー株式会社 | 撮像画像信号の歪み補正方法および撮像画像信号の歪み補正装置 |
JP2006295626A (ja) * | 2005-04-12 | 2006-10-26 | Canon Inc | 魚眼像処理装置及びその方法並びに魚眼像撮像装置 |
EP1742459A1 (en) * | 2005-06-13 | 2007-01-10 | SONY DEUTSCHLAND GmbH | Method for geometry distorsion correction |
JP2007013791A (ja) * | 2005-07-01 | 2007-01-18 | Canon Inc | 画像処理装置及びその方法並びに撮像装置 |
US7777782B2 (en) * | 2005-11-04 | 2010-08-17 | Nokia Corporation | Stabilization of an image produced by optics |
US20070200873A1 (en) * | 2006-02-27 | 2007-08-30 | Microsoft Corporation | Pixel and vector layer interaction |
US7692660B2 (en) * | 2006-06-28 | 2010-04-06 | Microsoft Corporation | Guided performance optimization for graphics pipeline state management |
US8059894B1 (en) * | 2006-12-19 | 2011-11-15 | Playvision Technologies, Inc. | System and associated methods of calibration and use for an interactive imaging environment |
US7953294B2 (en) * | 2007-01-23 | 2011-05-31 | Accenture Global Services Limited | Reshaping a camera image |
JP4940111B2 (ja) * | 2007-11-26 | 2012-05-30 | 富士フイルム株式会社 | 撮影装置及び画像記録方法 |
GB0818561D0 (en) * | 2008-10-09 | 2008-11-19 | Isis Innovation | Visual tracking of objects in images, and segmentation of images |
TWI441514B (zh) * | 2008-11-12 | 2014-06-11 | Avisonic Technology Corp | 魚眼影像校正及減輕透視變形的影像處理方法及相關影像處理裝置 |
JP2011114649A (ja) * | 2009-11-27 | 2011-06-09 | Sanyo Electric Co Ltd | 撮像装置 |
JP5742179B2 (ja) * | 2010-11-05 | 2015-07-01 | ソニー株式会社 | 撮像装置、画像処理装置、および画像処理方法、並びにプログラム |
WO2013169384A1 (en) * | 2012-05-11 | 2013-11-14 | Intel Corporation | Systems, methods, and computer program products for compound image demosaicing and warping |
US9280810B2 (en) * | 2012-07-03 | 2016-03-08 | Fotonation Limited | Method and system for correcting a distorted input image |
-
2012
- 2012-12-10 JP JP2012269403A patent/JP6041651B2/ja active Active
-
2013
- 2013-12-04 US US14/096,787 patent/US9269131B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US9269131B2 (en) | 2016-02-23 |
JP2014115824A (ja) | 2014-06-26 |
US20140161357A1 (en) | 2014-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6041651B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6960238B2 (ja) | 像ブレ補正装置及びその制御方法、プログラム、記憶媒体 | |
JP5517746B2 (ja) | 画像処理装置およびその方法 | |
JP5914813B2 (ja) | カメラ、歪み補正装置、及び歪み補正方法 | |
JP6253280B2 (ja) | 撮像装置およびその制御方法 | |
JP2010152871A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6151930B2 (ja) | 撮像装置およびその制御方法 | |
JP2004362069A (ja) | 画像処理装置 | |
JP2017011327A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2009157733A (ja) | 画像歪み補正方法、画像歪み補正装置及び画像形成装置 | |
JP5393877B2 (ja) | 撮像装置および集積回路 | |
JP6271969B2 (ja) | 撮像装置および画像補正方法 | |
JP2015114438A (ja) | 画像処理装置およびそれを備えた撮像装置、画像処理方法 | |
JP6257289B2 (ja) | 画像処理装置およびそれを備えた撮像装置、画像処理方法 | |
JP5047915B2 (ja) | 車載用画像処理装置及びその画像処理方法 | |
JP6645949B2 (ja) | 情報処理装置、情報処理システム、および情報処理方法 | |
JP2014072797A (ja) | 撮像装置およびその制御方法 | |
JP2021071516A (ja) | 撮像装置および撮像装置の制御方法 | |
JP6516574B2 (ja) | 像ブレ補正装置、撮像装置、像ブレ補正方法 | |
JP6440465B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2018098612A (ja) | 画像処理装置及び画像処理方法、撮像装置、プログラム、記憶媒体 | |
JP2011182040A (ja) | 画像処理用データの圧縮方法および圧縮装置とこれを備えた撮像装置 | |
JP2009033498A (ja) | 光学歪み補正装置とその方法及びプログラム並びに撮像装置 | |
JP2008191921A (ja) | 光学歪み補正方法及びその装置並びに動画撮影機能付撮像装置と光学歪み補正プログラム | |
JP2023124471A (ja) | 撮像装置、情報処理装置、制御方法、プログラム及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150831 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150831 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160704 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160712 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160909 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161011 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161108 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6041651 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |