JPWO2012063469A1 - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JPWO2012063469A1 JPWO2012063469A1 JP2012512146A JP2012512146A JPWO2012063469A1 JP WO2012063469 A1 JPWO2012063469 A1 JP WO2012063469A1 JP 2012512146 A JP2012512146 A JP 2012512146A JP 2012512146 A JP2012512146 A JP 2012512146A JP WO2012063469 A1 JPWO2012063469 A1 JP WO2012063469A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature point
- movement amount
- correction
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
図3は、本発明の実施の形態1における全体構成を示すブロック図である。
実施の形態1では、揺れ量(移動量)を移動量推定部22で画像処理を行うことにより算出していたが、それに限らない。揺れ量(移動量)をセンサでも同時に推定するとしてもよい。以下、本発明の実施の形態2における画像処理装置および画像処理方法について、図を参照しながら説明する。
20、30 画像処理装置
20a 画像処理部
21 画像取得部
22 移動量推定部
23 判定部
24 画像補正部
31 センサ推定部
32 補正手段決定部
221 特徴点抽出部
222 特徴点座標変換部
223 特徴点マッチング部
224 メモリ
231 特徴点判定部
232 ブラー判定部
233 テクスチャ判定部
Claims (13)
- 時間的に連続して撮影された複数の画像間の位置ずれを補正する画像処理装置であって、
第1の画像の時間的に後に撮影された第2の画像の前記第1の画像に対する位置ずれ量を示す移動量を、前記第1の画像および前記第2の画像それぞれから抽出される特徴点を用いて、推定する移動量推定部と、
前記移動量推定部により推定された前記移動量を用いて補正を行うか否かの判定を、前記特徴点に基づいて行う判定部と、
前記判定部により前記移動量を用いて補正を行うと判定された場合に、前記第2の画像の前記第1の画像に対する位置ずれを、前記移動量を用いて補正することにより、前記複数の画像間の位置ずれを補正する画像補正部とを備える
画像処理装置。 - 前記移動量推定部は、
前記第1の画像から第1特徴点を抽出し、前記第2の画像から第2特徴点を抽出する特徴点抽出部と、
前記特徴点抽出部により抽出された前記第1特徴点と前記第2特徴点とでマッチングを行うことにより、前記第1の画像に対する前記第2の画像の位置ずれ量を示す移動量を推定する特徴点マッチング部とを備える
請求項1に記載の画像処理装置。 - 前記複数の画像は、魚眼光学系を用いて撮影されており、
前記移動量推定部は、さらに、前記特徴点抽出部により抽出された前記第1特徴点と前記第2特徴点との座標を魚眼光学系の射影方式に応じた座標に変換する特徴点座標変換部を備え、
前記特徴点マッチング部は、前記特徴点座標変換部により変換された前記第1特徴点の座標と前記第2特徴点の座標とでマッチングを行うことにより、前記第1の画像に対する前記第2の画像の位置ずれ量を示す移動量を推定する
請求項2に記載の画像処理装置。 - 前記判定部は、前記特徴点に基づいて、前記移動量推定部により推定された前記移動量が前記第1の画像に対する前記第2の画像の位置ずれ量を示していると判定した場合に、前記移動量推定部により推定された前記移動量を用いて補正を行うと判定する
請求項1〜3のいずれか1項に記載の画像処理装置。 - 前記判定部は、前記第1の画像または前記第2の画像で抽出される特徴点の数が所定の数より多いと判定した場合に、前記移動量推定部により推定された前記移動量を用いて補正を行うと判定する
請求項1〜4のいずれか1項に記載の画像処理装置。 - 前記判定部は、前記第1の画像から抽出される第1特徴点と前記第2の画像から抽出される第2特徴点との座標が3次元投影された3次元座標上における前記第1特徴点の特徴点分布と前記第2特徴点の特徴点分布との一致度が所定の一致度よりも高いか否かを判定し、当該一致度が所定の一致度より高いと判定した場合に、前記移動量推定部により推定された前記移動量を用いて補正を行うと判定する
請求項1〜5のいずれか1項に記載の画像処理装置。 - 前記判定部は、前記第1の画像から抽出される第1特徴点と前記第2の画像から抽出される第2特徴点との座標が投影された3次元座標上における前記第1特徴点の特徴点分布と前記第2特徴点の特徴点分布の一致度が所定の一致度より高い場合に、
さらに、前記第1の画像および前記第2の画像を領域分割し、分割した領域ごとに前記所定の一致度より高い前記第1特徴点と前記第2特徴点との特徴点分布を確認し、当該特徴点分布が前記分割した領域のうちの一部の領域に偏在する場合には、前記移動量推定部により推定された前記移動量を用いて補正を行わないと判定する
請求項1〜6のいずれか1項に記載の画像処理装置。 - 前記画像処理装置は、さらに、撮影に用いた光学系の光軸周りの回転角度または前記光学系の光軸に対して互いに垂直な2軸のうち少なくとも1つの軸周りの回転角度を計測し、計測した前記回転角度を、前記第2の画像の前記第1の画像に対する移動量と推定するセンサ推定部を備える
請求項1に記載の画像処理装置。 - 前記センサ推定部は、角加速度センサ、角速度センサ、加速度センサおよび方位センサのうち少なくとも1種類のセンサによって構成される
請求項8に記載の画像処理装置。 - 前記画像処理装置は、さらに、前記判定部が前記移動量推定部により推定された移動量用いて補正を行わないと判定した場合に、前記センサ推定部により推定された移動量を用いて補正を行うか否かを決定する補正手段決定部を備える
請求項8に記載の画像処理装置。 - 時間的に連続して撮影された複数の画像間の位置ずれを補正する画像処理方法であって、
第1の画像の時間的に後に撮影された第2の画像の前記第1の画像に対する位置ずれ量を示す移動量を、前記第1の画像および前記第2の画像それぞれから抽出される特徴点を用いて、推定する移動量推定ステップと、
前記移動量推定ステップにおいて推定された前記移動量を用いて補正を行うか否かの判定を、前記特徴点に基づいて行う判定ステップと、
前記判定ステップにおいて前記移動量を用いて補正を行うと判定された場合に、前記第2の画像の前記第1の画像に対する位置ずれを、前記移動量を用いて補正することにより、前記複数の画像間の位置ずれを補正する画像補正ステップとを含む
画像処理方法。 - 時間的に連続して撮影された複数の画像間の位置ずれを補正するためのプログラムであって、
第1の画像の時間的に後に撮影された第2の画像の前記第1の画像に対する位置ずれ量を示す移動量を、前記第1の画像および前記第2の画像それぞれから抽出される特徴点を用いて、推定する移動量推定ステップと、
前記移動量推定ステップにおいて推定された前記移動量を用いて補正を行うか否かの判定を、前記特徴点に基づいて行う判定ステップと、
前記判定ステップにおいて前記移動量を用いて補正を行うと判定された場合に、前記第2の画像の前記第1の画像に対する位置ずれを、前記移動量を用いて補正することにより、前記複数の画像間の位置ずれを補正する画像補正ステップと
をコンピュータに実行させるプログラム。 - 時間的に連続して撮影された複数の画像間の位置ずれを補正する集積回路であって、
第1の画像の時間的に後に撮影された第2の画像の前記第1の画像に対する位置ずれ量を示す移動量を、前記第1の画像および前記第2の画像それぞれから抽出される特徴点を用いて、推定する移動量推定部と、
前記移動量推定部により推定された前記移動量を用いて補正を行うか否かの判定を、前記特徴点に基づいて行う判定部と、
前記判定部により前記移動量を用いて補正を行うと判定された場合に、前記第2の画像の前記第1の画像に対する位置ずれを、前記移動量を用いて補正することにより、前記複数の画像間の位置ずれを補正する画像補正部とを備える
集積回路。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012512146A JP5694300B2 (ja) | 2010-11-11 | 2011-11-08 | 画像処理装置、画像処理方法およびプログラム |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010253259 | 2010-11-11 | ||
JP2010253259 | 2010-11-11 | ||
JP2012512146A JP5694300B2 (ja) | 2010-11-11 | 2011-11-08 | 画像処理装置、画像処理方法およびプログラム |
PCT/JP2011/006230 WO2012063469A1 (ja) | 2010-11-11 | 2011-11-08 | 画像処理装置、画像処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2012063469A1 true JPWO2012063469A1 (ja) | 2014-05-12 |
JP5694300B2 JP5694300B2 (ja) | 2015-04-01 |
Family
ID=46050634
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012512146A Expired - Fee Related JP5694300B2 (ja) | 2010-11-11 | 2011-11-08 | 画像処理装置、画像処理方法およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US9001222B2 (ja) |
EP (1) | EP2640059B1 (ja) |
JP (1) | JP5694300B2 (ja) |
CN (1) | CN102714697B (ja) |
WO (1) | WO2012063469A1 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104123716B (zh) * | 2013-04-28 | 2016-08-10 | 腾讯科技(深圳)有限公司 | 检测图像稳定性的方法、装置和终端 |
CN103325109B (zh) * | 2013-05-29 | 2016-02-17 | 湖南源信光电科技有限公司 | 适用于墙装式全景摄像机的鱼眼图像的畸变校正方法 |
JP6376873B2 (ja) * | 2014-07-16 | 2018-08-22 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN105635552B (zh) * | 2014-10-30 | 2019-10-11 | 宇龙计算机通信科技(深圳)有限公司 | 一种防抖拍照方法、装置及终端 |
KR102281184B1 (ko) * | 2014-11-20 | 2021-07-23 | 삼성전자주식회사 | 영상 보정 방법 및 장치 |
CN104700400A (zh) * | 2015-01-30 | 2015-06-10 | 天津科技大学 | 一种基于特征点训练的高精度图像匹配方法 |
US10580166B2 (en) * | 2015-07-15 | 2020-03-03 | Nippon Telegraph And Telephone Corporation | Image retrieval device and method, photograph time estimation device and method, repetitive structure extraction device and method, and program |
WO2017020150A1 (zh) * | 2015-07-31 | 2017-02-09 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、装置及摄像机 |
JP6504036B2 (ja) * | 2015-11-27 | 2019-04-24 | カシオ計算機株式会社 | 移動検出装置、移動検出方法、及び、プログラム |
CA3029541A1 (en) * | 2016-06-30 | 2018-01-04 | Magic Leap, Inc. | Estimating pose in 3d space |
KR20180005528A (ko) * | 2016-07-06 | 2018-01-16 | 삼성전자주식회사 | 영상 처리를 위한 디스플레이 장치 및 방법 |
US10453204B2 (en) * | 2016-12-06 | 2019-10-22 | Adobe Inc. | Image alignment for burst mode images |
CN110612720B (zh) | 2017-05-18 | 2022-04-12 | 索尼公司 | 信息处理装置、信息处理方法以及可读存储介质 |
CN107292849B (zh) * | 2017-06-30 | 2020-01-03 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
CN109672818B (zh) * | 2017-10-16 | 2020-12-22 | 华为技术有限公司 | 一种调整图像质量的方法及装置 |
JP2019133318A (ja) * | 2018-01-30 | 2019-08-08 | トヨタ自動車株式会社 | 位置推定システム |
JP7194534B2 (ja) * | 2018-08-24 | 2022-12-22 | セコム株式会社 | 対象検知装置、画像処理装置、対象検知方法、画像処理方法、及びプログラム |
CN109194878B (zh) * | 2018-11-08 | 2021-02-19 | 深圳市闻耀电子科技有限公司 | 视频图像防抖方法、装置、设备和存储介质 |
CN110475067B (zh) * | 2019-08-26 | 2022-01-18 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
CN111698421B (zh) * | 2020-06-09 | 2021-12-17 | 展讯通信(上海)有限公司 | 一种图像处理方法、装置及计算机可读存储介质 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4284570B2 (ja) | 1999-05-31 | 2009-06-24 | ソニー株式会社 | 撮像装置及びその方法 |
JP4566591B2 (ja) | 2004-03-19 | 2010-10-20 | キヤノン株式会社 | 画像変形推定方法および画像変形推定装置 |
JP4418317B2 (ja) * | 2004-07-21 | 2010-02-17 | オリンパス株式会社 | 撮像装置 |
JP2006295626A (ja) | 2005-04-12 | 2006-10-26 | Canon Inc | 魚眼像処理装置及びその方法並びに魚眼像撮像装置 |
JP4719553B2 (ja) * | 2005-11-04 | 2011-07-06 | キヤノン株式会社 | 撮像装置、撮像方法、コンピュータプログラム、及びコンピュータ読み取り可能な記憶媒体 |
JP2008219124A (ja) * | 2007-02-28 | 2008-09-18 | Sanyo Electric Co Ltd | 撮像装置 |
JP2008236645A (ja) * | 2007-03-23 | 2008-10-02 | Fujifilm Corp | 撮影装置 |
JP4958610B2 (ja) * | 2007-04-06 | 2012-06-20 | キヤノン株式会社 | 画像防振装置、撮像装置及び画像防振方法 |
JP4969349B2 (ja) * | 2007-07-13 | 2012-07-04 | 三洋電機株式会社 | 撮像装置及び撮像方法 |
ATE531196T1 (de) * | 2007-08-03 | 2011-11-15 | Panasonic Corp | Bilderzeugungsvorrichtung, bilderzeugungsverfahren und entsprechendes programm |
JP4926920B2 (ja) * | 2007-11-16 | 2012-05-09 | キヤノン株式会社 | 防振画像処理装置及び防振画像処理方法 |
JP2009171341A (ja) * | 2008-01-17 | 2009-07-30 | Sanyo Electric Co Ltd | ぶれ補正装置及び撮像装置 |
US20100079605A1 (en) * | 2008-09-29 | 2010-04-01 | William Marsh Rice University | Sensor-Assisted Motion Estimation for Efficient Video Encoding |
-
2011
- 2011-11-08 EP EP11840319.5A patent/EP2640059B1/en not_active Not-in-force
- 2011-11-08 WO PCT/JP2011/006230 patent/WO2012063469A1/ja active Application Filing
- 2011-11-08 CN CN201180005738.1A patent/CN102714697B/zh not_active Expired - Fee Related
- 2011-11-08 JP JP2012512146A patent/JP5694300B2/ja not_active Expired - Fee Related
- 2011-11-08 US US13/521,133 patent/US9001222B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20120281146A1 (en) | 2012-11-08 |
US9001222B2 (en) | 2015-04-07 |
EP2640059B1 (en) | 2018-08-29 |
JP5694300B2 (ja) | 2015-04-01 |
EP2640059A4 (en) | 2014-04-09 |
WO2012063469A1 (ja) | 2012-05-18 |
CN102714697A (zh) | 2012-10-03 |
EP2640059A1 (en) | 2013-09-18 |
CN102714697B (zh) | 2016-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5694300B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP5859958B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US10789676B2 (en) | Image processing device, image processing method, and program | |
JP5960595B2 (ja) | 画像処理装置、画像処理方法、プログラム及び撮影装置 | |
JP5756455B2 (ja) | 画像処理装置および画像処理方法 | |
EP1578116B1 (en) | Image processor | |
US8417059B2 (en) | Image processing device, image processing method, and program | |
US20070132856A1 (en) | Image processing apparatus, image-pickup apparatus, and image processing method | |
US8774550B2 (en) | Picture processing device, picture processing method, integrated circuit, and program | |
US8441554B2 (en) | Image capturing apparatus capable of extracting subject region from captured image | |
US10535193B2 (en) | Image processing apparatus, image synthesizing apparatus, image processing system, image processing method, and storage medium | |
JP6768416B2 (ja) | 画像処理装置、画像合成装置、画像処理システム、画像処理方法、及びプログラム | |
JP7493302B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2011259044A (ja) | 画像処理装置、方法 | |
US10885348B2 (en) | Information processing device, information processing method, and storage medium | |
JP2008060974A (ja) | 撮像装置及びプログラム | |
JP6525693B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2012199814A (ja) | 撮像装置、ぶれ補正方法、制御プログラム、及び制御プログラムを記録する記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20140606 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140701 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150127 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150204 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5694300 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |