JP4930304B2 - 画像処理装置、画像処理方法、プログラム、及び記録媒体 - Google Patents
画像処理装置、画像処理方法、プログラム、及び記録媒体 Download PDFInfo
- Publication number
- JP4930304B2 JP4930304B2 JP2007241542A JP2007241542A JP4930304B2 JP 4930304 B2 JP4930304 B2 JP 4930304B2 JP 2007241542 A JP2007241542 A JP 2007241542A JP 2007241542 A JP2007241542 A JP 2007241542A JP 4930304 B2 JP4930304 B2 JP 4930304B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- super
- resolution
- motion vector
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
- Adjustment Of Camera Lenses (AREA)
- Image Processing (AREA)
Description
本発明に係る好適な実施形態について詳細な説明をするのに先立ち、手振れ補正処理、及び超解像処理の概略について簡単に説明する。
まず、手振れ補正処理の概略について説明する。ここで説明する手振れ補正処理は、電子的な手振れ補正処理である。この手振れ補正処理は、撮影画像に対するデジタル画像処理の一部として実行される。まず、連続して撮影された撮影画像を利用して撮像装置の移動量が検出され、次いで、その移動量を利用して被写体に中心が合うように各撮影画像がシフトされる。そして、シフトされた撮影画像が合成されることで手振れ補正される。但し、シフトされた撮影画像は、シフト前に比べてシフトした面積分だけ画角が狭くなり、解像度が低下してしまう。
次に、超解像処理の概略について説明する。通常の解像度変換は、拡大処理する際に増やした画素の画素値を隣接画素の情報により推定して用いるため、エッジ部分の色調や明るさが鈍ってしまい、解像度感が低下してしまう。一方、超解像処理によると、一連の撮影画像が撮影された際の撮像装置や被写体の「動き」に関する情報を利用してエッジ部分の高周波成分がより正確に再現されるため、解像度感の向上が実現される。
以下、本発明の一実施形態に係る画像処理技術について詳細に説明する。当該技術は、例えば、コンピュータ等の情報処理装置、携帯電話等の携帯端末、デジタルカメラやデジタルビデオカメラ等の撮像装置、情報家電、或いは、その他の情報機器や通信装置等に適用可能であり、その形態に特別な制限を有するものではない。
まず、図1を参照しながら、本実施形態に係る画像処理装置100の機能構成について説明する。図1は、本実施形態に係る画像処理装置100の機能構成を示す説明図である。尚、画像処理装置100には、説明の都合上、固定画枠サイズの撮影画像が入力されるものと仮定する。また、撮影画像は、例えば、映像データを構成するプログレッシブ・フレームであってもよいし、或いは、インターレース・フレーム(フィールド)であってもよい。以下では、撮影画像のことを単にフレームと表現する場合がある。
解像度変換部102は、入力されたフレーム(以下、入力フレーム)の解像度を所定の解像度に変換する手段である。このとき、解像度変換部102は、後段の超解像処理部110により出力される出力画像と同じ解像度に変換する。例えば、解像度変換部102は、Bi−cubic補間等の単純補間処理を入力フレームに施して解像度変換する。そして、解像度変換部102は、解像度変換された入力フレーム(以下、現フレーム)の情報を動き検出部104、及び超解像処理部110に提供する。
動き検出部104は、解像度変換部102により出力された現フレームと、後段のスティッチング画像生成部112により過去に生成されたスティッチングバッファSB、及び重み付け情報蓄積バッファWBとを利用して動き検出する手段である。つまり、動き検出部104は、過去のフレームから生成されたスティッチングバッファSBを前フレーム情報として利用する。動き検出部104は、上記の動き検出を実行して動きベクトルを算出し、その動きベクトルの情報を動き補償部106、及び手振れ補正情報生成部108に提供する。また、動き検出部104は、動き検出の際にシーンチェンジであるか否かを判断し、その判断結果をスティッチング画像生成部112に提供する。
ここで、スティッチングバッファSBについて説明する。スティッチングバッファSBとは、複数のフレームがスティッチング合成された画像バッファ領域である。また、スティッチングバッファSBは、手振れ補正用のマージン領域を有しており、現フレームよりも大きなサイズの画像バッファ領域である。スティッチングバッファSBには、後述するように、超解像処理部110により出力された超解像画像が上書きで書き込まれる。そして、上書きされた領域は書き込み済領域Awになる。
ここで、重み付け情報蓄積バッファWBについて説明する。重み付け情報蓄積バッファWBとは、スティッチングバッファSBを複数のブロックに分けて、各ブロックに対する重み付け値を保持するためのバッファ手段である。例えば、重み付け情報蓄積バッファWBには、Mピクセルの正方ブロック単位でスティッチングバッファSBを分けた際の各ブロックに対する重み付け値が保持される。例えば、スティッチングバッファSBがw×hピクセルのサイズである場合、Mはwとhの公約数に設定され、重み付け情報蓄積バッファWBは、横にw/M個、縦にh/M個のブロックで構成される。尚、この重み付け値は、新しいフレームほど大きい値に設定される。
再び図1を参照する。動き補償部106は、動き検出部104により出力された動きベクトル情報に基づいて動き補償を実行する手段である。例えば、動き補償部106は、動きベクトル情報に基づき、スティッチングバッファSB内の参照領域に動き補償を施して動き補償フレーム(以下、MCフレーム)を生成する。そして、動き補償部106は、MCフレームを超解像処理部110に提供する。
手振れ補正情報生成部108は、動き検出部104により算出された動きベクトル情報に基づいてカメラ移動情報と手振れ情報とを生成する手段である。このカメラ移動情報とは、入力フレームを撮影した際に発生した撮像装置の移動情報である(図6を参照)。図6に示すように、このカメラ移動情報には、撮像装置10の視点が前フレームの時点と比較して、どの程度移動したかを表す移動量、撮像装置10の傾き変化、及びズーム機能等による拡大率の変化等が含まれる。そのため、カメラ移動情報は、動きベクトル情報と実質的に同数のパラメータにより構成される。一方、手振れ情報とは、入力フレームを撮影した際に発生した手振れによる移動量を表す情報である。この手振れ情報には、撮像装置10が手振れによって移動した移動量が含まれる。もちろん、手振れ情報にも、回転等の情報が含まれるため、動きベクトル情報と実質的に同数のパラメータにより構成される。
再び図1を参照する。超解像処理部110は、解像度変換部102により出力された現フレームと、動き補償部106により出力されたMCフレームとを利用して超解像処理を実行する手段である。まず、超解像処理部110は、現フレームとMCフレームとを比較し、両フレームの色差情報から保護マスクを設定する。この保護マスクとは、色差値が離れている領域にMCフレームを使用しないように保護するための手段である。超解像処理部110は、保護マスクが設定されていない領域に関してMCフレームと現フレームとを合成して超解像画像を生成する。
スティッチング画像生成部112は、記憶部116に格納されるスティッチングバッファSB、及び重み付け情報蓄積バッファWBを生成又は更新する手段である。例えば、スティッチング画像生成部112は、手振れ補正情報生成部108により出力されたカメラ移動情報に基づいてスティッチングバッファSB、及び重み付け情報蓄積バッファWBを更新する。さらに、スティッチング画像生成部112は、手振れ補正情報生成部108により出力された手振れ情報に基づき、超解像処理部110により出力された超解像画像をスティッチングバッファSBに書き込む。また、スティッチング画像生成部112は、動き検出部104からシーンチェンジを表すシーンチェンジ情報を取得した場合、スティッチングバッファSB、及び重み付け情報蓄積バッファWBをクリアする。
ここで、図2及び図4を参照しながら、スティッチングバッファSBの更新処理について具体的に説明する。但し、説明の都合上、スティッチング画像生成部112による更新処理前のスティッチングバッファSBは、図2に示すように2枚のフレームが書き込まれている状態(Step.A)であると仮定する。次いで、図4に示すように、(Step.B)→(Step.C)へとスティッチング画像生成部112の処理ステップが進行するものと仮定する。
ここで、図9を参照しながら、重み付け情報蓄積バッファWBの更新処理について具体的に説明する。まず、(Step.A)→(Step.B)の処理過程において、スティッチング画像生成部112は、カメラ移動情報(MVc)に基づくスティッチングバッファSBの移動と同様に重み付け情報蓄積バッファWBを更新する。次いで、(Step.B)→(Step.C)の処理過程において、スティッチング画像生成部112は、超解像画像を上書きした領域のブロックに重み付け値を設定する。
再び図1を参照する。切り取り処理部114は、スティッチング画像生成部112により生成されたスティッチングバッファSB上の所定領域を切り出して出力する手段である。図5に示すように、切り取り処理部114は、例えば、スティッチングバッファSBの絶対基準座標Caを中心として切り取り枠Fcで囲まれた矩形領域(表示領域)を切り出し、出力フレームとして出力する。
再び図1を参照する。境界処理部118は、重み付け情報蓄積バッファWBの重み付け値を参照して、スティッチングされた複数の超解像画像の境界部分にフィルタ処理を施す手段である。このフィルタ処理は、スティッチングによって発生する境界部分の違和感を緩和するための処理である。尚、境界処理部118によるフィルタ処理は、上記の切り取り処理部114による切り取り処理の後に実行されてもよい。その場合、切り取り処理部114では、スティッチングバッファSBから大きめに出力フレームが切り出される。
上記装置が有する各構成要素の機能は、例えば、図11に示すハードウェア構成を有する情報処理装置により実現することが可能である。図11は、上記装置の各構成要素が有する機能を実現することが可能な情報処理装置のハードウェア構成を示す説明図である。尚、当該情報処理装置の一部又は全部を備える撮像装置によっても実現可能である。
100 画像処理装置
102 解像度変換部
104 動き検出部
106 動き補償部
108 手振れ補正情報生成部
110 超解像処理部
112 スティッチング画像生成部
114 切り取り処理部
116 記憶部
118 境界処理部
A0 未書き込み領域
Aw 書き込み済領域
Ca 絶対基準座標
Cr 参照基準座標
SB スティッチングバッファ
MVc カメラ移動情報
MVs 手振れ情報
Fc 切り取り枠
WB 重み付け情報蓄積バッファ
Claims (6)
- 連続して撮影された画像を用いて手振れ補正を実現する画像処理装置であって、
前記画像間の動きベクトルを検出する動き検出部と、
前記動きベクトルに基づいて超解像画像を生成する超解像画像生成部と、
前記動きベクトルの情報に基づいて前記連続して撮影された画像に対応する複数の超解像画像の位置関係を互いに整合させて画像平面に配置し、当該画像平面の配置に基づいて前記複数の超解像画像の合成画像を生成する合成画像生成部と、
前記画像平面を分割した複数のブロックのそれぞれに対し、新しい前記超解像画像が配置されたブロックほど大きな値となる重み付け値を割り当て、隣接するブロック間で重み付け値が異なる部分に対応する前記合成画像の部分領域に対して画素値のシームレスな補間を実現するためのフィルタ処理を施す境界処理部と、
を備える、
画像処理装置。 - 前記動き検出部は、前記合成画像生成部により過去に生成された前記合成画像を利用して動きベクトルを検出し、
前記超解像画像生成部は、前記動きベクトルの一端に対応する前記過去に生成された合成画像に基づいて前記超解像画像を生成する、
請求項1に記載の画像処理装置。 - 前記境界処理部は、前記超解像画像が配置されなかったブロックに所定の重み付け値を割り当て、前記所定の重み付け値が割り当てられたブロックを含む部分に対応する前記合成画像の部分領域に対しては前記フィルタ処理を施さない、
請求項1又は2に記載の画像処理装置。 - 連続して撮影された画像を用いて手振れ補正を実現するための画像処理方法であって、
前記画像間の動きベクトルを検出する動き検出ステップと、
前記動きベクトルに基づいて超解像画像を生成する超解像画像生成ステップと、
前記動きベクトルの情報に基づいて前記連続して撮影された画像に対応する複数の超解像画像の位置関係を互いに整合させて画像平面に配置し、当該画像平面の配置に基づいて前記複数の超解像画像の合成画像を生成する合成画像生成ステップと、
前記画像平面を分割した複数のブロックのそれぞれに対し、新しい前記超解像画像が配置されたブロックほど大きな値となる重み付け値を割り当て、隣接するブロック間で重み付け値が異なる部分に対応する前記合成画像の部分領域に対して画素値のシームレスな補間を実現するためのフィルタ処理を施す境界処理ステップと、
を含む、
画像処理方法。 - 連続して撮影された画像を用いて手振れ補正を実現する画像処理装置の機能をコンピュータに実現させるためのプログラムであって、
前記画像間の動きベクトルを検出する動き検出機能と、
前記動きベクトルに基づいて超解像画像を生成する超解像画像生成機能と、
前記動きベクトルの情報に基づいて前記連続して撮影された画像に対応する複数の超解像画像の位置関係を互いに整合させて画像平面に配置し、当該画像平面の配置に基づいて前記複数の超解像画像の合成画像を生成する合成画像生成機能と、
前記画像平面を分割した複数のブロックのそれぞれに対し、新しい前記超解像画像が配置されたブロックほど大きな値となる重み付け値を割り当て、隣接するブロック間で重み付け値が異なる部分に対応する前記合成画像の部分領域に対して画素値のシームレスな補間を実現するためのフィルタ処理を施す境界処理機能と、
をコンピュータに実現させるためのプログラム。 - 連続して撮影された画像を用いて手振れ補正を実現する画像処理装置の機能をコンピュータに実現させるためのプログラムが記録された、コンピュータにより読み取り可能な記録媒体であって、
前記画像間の動きベクトルを検出する動き検出機能と、
前記動きベクトルに基づいて超解像画像を生成する超解像画像生成機能と、
前記動きベクトルの情報に基づいて前記連続して撮影された画像に対応する複数の超解像画像の位置関係を互いに整合させて画像平面に配置し、当該画像平面の配置に基づいて前記複数の超解像画像の合成画像を生成する合成画像生成機能と、
前記画像平面を分割した複数のブロックのそれぞれに対し、新しい前記超解像画像が配置されたブロックほど大きな値となる重み付け値を割り当て、隣接するブロック間で重み付け値が異なる部分に対応する前記合成画像の部分領域に対して画素値のシームレスな補間を実現するためのフィルタ処理を施す境界処理機能と、
をコンピュータに実現させるためのプログラムが記録された記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007241542A JP4930304B2 (ja) | 2007-09-18 | 2007-09-18 | 画像処理装置、画像処理方法、プログラム、及び記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007241542A JP4930304B2 (ja) | 2007-09-18 | 2007-09-18 | 画像処理装置、画像処理方法、プログラム、及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009076984A JP2009076984A (ja) | 2009-04-09 |
JP4930304B2 true JP4930304B2 (ja) | 2012-05-16 |
Family
ID=40611570
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007241542A Expired - Fee Related JP4930304B2 (ja) | 2007-09-18 | 2007-09-18 | 画像処理装置、画像処理方法、プログラム、及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4930304B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102348046B (zh) * | 2010-07-30 | 2014-08-27 | 富士通株式会社 | 一种视频去抖动方法和视频去抖动装置 |
JP2012186593A (ja) * | 2011-03-04 | 2012-09-27 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
CN102501665A (zh) * | 2011-10-26 | 2012-06-20 | 苏州工业园区鑫海胜电子有限公司 | 基于便携式打印机的多图像的拼凑打印方法 |
KR101538313B1 (ko) * | 2012-12-21 | 2015-07-22 | 서울시립대학교 산학협력단 | 블록단위 영상 정합을 이용한 초해상도 영상 복원 방법 및 장치 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5008421B2 (ja) * | 2006-03-03 | 2012-08-22 | パナソニック株式会社 | 画像処理方法、画像処理装置、集積回路、カメラおよびプログラム |
-
2007
- 2007-09-18 JP JP2007241542A patent/JP4930304B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009076984A (ja) | 2009-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110622497B (zh) | 具备具有不同焦距的相机的设备及实现相机的方法 | |
JP4720859B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US7961222B2 (en) | Image capturing apparatus and image capturing method | |
JP5906028B2 (ja) | 画像処理装置、画像処理方法 | |
JP5859958B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
WO2014068779A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 | |
WO2013005316A9 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2009290827A (ja) | 画像処理装置および画像処理方法 | |
US8494217B2 (en) | Image processing apparatus, image processing method, and program | |
KR102141290B1 (ko) | 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기억 매체 | |
US8861846B2 (en) | Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image | |
KR20210110679A (ko) | 이미지 융합 프로세싱 모듈 | |
JP2013020527A (ja) | 画像処理装置および方法、並びにプログラム | |
JP2008091979A (ja) | 画像高画質化装置、及びその方法、並びに画像表示装置 | |
JP2000298300A (ja) | 手ぶれ画像補正方法、記録媒体及び撮像装置 | |
JP2011119974A (ja) | パノラマ画像合成装置、パノラマ画像合成方法、及びプログラム | |
CN110889809A (zh) | 图像处理方法及装置、电子设备、存储介质 | |
JP4930304B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び記録媒体 | |
JPWO2018189971A1 (ja) | 画像処理装置、撮像装置、端末装置、画像補正方法および画像処理プログラム | |
JP2017207818A (ja) | 画像処理装置、画像処理方法、プログラム | |
JP2010152518A (ja) | 画像処理装置及び画像処理方法 | |
JP6369461B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2010193154A (ja) | 画像処理装置および画像処理方法 | |
JP2005094614A (ja) | 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録した記録媒体 | |
JP2010016580A (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100722 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110809 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110929 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120117 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120130 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150224 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |