JP5417290B2 - 画像超解像処理装置及びそのプログラム - Google Patents
画像超解像処理装置及びそのプログラム Download PDFInfo
- Publication number
- JP5417290B2 JP5417290B2 JP2010203480A JP2010203480A JP5417290B2 JP 5417290 B2 JP5417290 B2 JP 5417290B2 JP 2010203480 A JP2010203480 A JP 2010203480A JP 2010203480 A JP2010203480 A JP 2010203480A JP 5417290 B2 JP5417290 B2 JP 5417290B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- spectrum
- original image
- band
- reduced
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 54
- 238000001228 spectrum Methods 0.000 claims description 160
- 230000003595 spectral effect Effects 0.000 claims description 77
- 238000000034 method Methods 0.000 claims description 36
- 238000005070 sampling Methods 0.000 claims description 29
- 238000012937 correction Methods 0.000 claims description 24
- 230000009466 transformation Effects 0.000 claims description 12
- 238000000354 decomposition reaction Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000006866 deterioration Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
図1は、本発明による一実施例の画像超解像処理装置のブロック図である。本実施例の画像超解像処理装置1は、原画像に対して予め縮小された縮小画像を画像拡大するための装置であり、直交変換部10と、高周波スペクトル生成部20と、代表値判定部30と、原画像帯域毎スペクトルパワー決定部40と、スペクトルパワー補正部50と、逆直交変換部60とを備える。本実施例では、直交変換として離散ウェーブレット分解を用い、縮小画像(縮小画像F)を水平2倍、垂直2倍に画像拡大する場合について説明する。
まず、本発明の理解を高めるために、従来技術における超解像処理の問題点を明らかにする。図2には、周波数再構成型の超解像処理の概念図を示している。図2(a)は、原画像の空間標本化周波数において、特に水平方向のスペクトルを例示する図である。例えば、原画像が最大標本化周波数ωx0に従って徐々に減衰するようなスペクトルパワーを有していたとする。一方、図2(b)は、原画像に対して1/2に縮小された縮小画像についての空間標本化周波数において、特に水平方向のスペクトルを例示する図である。この場合、縮小画像がその最大標本化周波数ωx0/2に従って徐々に減衰するようなスペクトルパワーを有していたとする。図2(c)に示すように、従来技術における超解像処理(以下、「単純超解像度処理」とも称する)では、2倍の拡大倍率値を用いて縮小画像を画像拡大して再構成後の画像を得たとすると、この再構成後の画像のスペクトルは、DC成分及び原画像の最大標本化周波数ωx0のパワーPが一致しても、DC成分から原画像の最大標本化周波数ωx0までの帯域内においてパワー誤差ΔPが生じることがよくある。従って、単純超解像度処理では、高周波スペクトルパワーが過大となり、アーティファクトが発生する問題や、逆に高周波スペクトルパワーが過小となり高精細感がほとんど得られないという問題が生じ、原画像の復元に関して画質改善の余地があった。
ケース1は、原画像帯域毎スペクトルパワー代表値がNULLの場合(入力されない場合又は値がゼロの場合)である。この場合、原画像帯域毎スペクトルパワー代表値P(O)を生成する必要がある。ここで、原画像と縮小画像のスペクトルは、自己相似性があると仮定している。縮小画像Fをn階離散ウェーブレット分解して各帯域のスペクトルパワー代表値を求め(図5(a)参照)、そのまま水平・垂直方向に2倍した帯域のスペクトラムパワー値として原画像帯域毎スペクトルパワー代表値P(O)とする(図5(b)参照)。
ケース2は、原画像帯域毎スペクトルパワー代表値が入力され、この原画像帯域毎スペクトルパワー代表値を持つ帯域幅が、直交変換部10を経て得られる縮小画像スペクトル及び高周波スペクトル生成部20を経て得られる空間高周波スペクトルの帯域幅と対応している場合である。この場合、入力された原画像帯域毎スペクトルパワー代表値を、原画像帯域毎スペクトルパワー代表値P(O)とする。
ケース3は、原画像帯域毎スペクトルパワー代表値が入力されるが、この原画像帯域毎スペクトルパワー代表値を持つ帯域幅が、直交変換部10を経て得られる縮小画像スペクトル及び高周波スペクトル生成部20を経て得られる空間高周波スペクトルの帯域幅と対応していない場合である。この場合、入力された原画像帯域毎スペクトルパワー代表値P(O)を、直交変換部10を経て得られる縮小画像スペクトル及び高周波スペクトル生成部20を経て得られる空間高周波スペクトルの帯域幅と対応するように補間して、補間後の原画像帯域毎スペクトルパワー代表値を生成する。例えば、水平・垂直・斜め方向に最小二乗法による線形補間によって、入力される原画像帯域毎スペクトルパワー代表値P(O)を補間して、補間後の原画像帯域毎スペクトルパワー代表値を算出することができる。図6に示すように、入力された原画像帯域毎スペクトルパワー代表値P(O)のうち水平方向の帯域の代表値を抽出して得られる帯域幅が(図6(a)参照)、直交変換部10を経て得られる縮小画像スペクトル及び高周波スペクトル生成部20を経て得られる空間高周波スペクトルの帯域幅と対応していない場合に(尚、代表値が1つの帯域幅内に複数ある場合も対応していないと判断する)、最小二乗法による線形補間によって補間して新たな原画像帯域毎スペクトルパワー代表値を算出する例を示している(図6(b)参照)。
10 直交変換部
20 高周波スペクトル生成部
30 代表値判定部
40 原画像帯域毎スペクトルパワー決定部
50 スペクトルパワー補正部
60 逆直交変換部
Claims (5)
- 原画像に対して予め縮小された縮小画像を画像拡大する画像超解像処理装置であって、
原画像に対して予め縮小された縮小画像を入力して直交変換処理を施し、縮小画像の帯域幅の縮小画像スペクトルに変換する直交変換部と、
当該原画像のサイズに戻すための拡大倍率に従って、前記縮小画像スペクトルから、当該縮小画像の空間標本化周波数から当該原画像の空間標本化周波数までの帯域幅の空間高周波スペクトルを推定して生成する高周波スペクトル生成部と、
予め決定される当該原画像の帯域毎のスペクトルパワー代表値を表す原画像帯域毎スペクトルパワー代表値に対して、前記拡大倍率に従って、前記縮小画像スペクトル及び前記空間高周波スペクトルの各帯域幅内の代表値となるように補正して、原画像帯域毎スペクトルパワー補正値を生成する原画像帯域毎スペクトルパワー決定部と、
前記原画像帯域毎スペクトルパワー補正値によって、前記縮小画像スペクトル及び前記空間高周波スペクトルを補正するスペクトルパワー補正部と、
当該補正した縮小画像スペクトル及び空間高周波スペクトルに対して逆直交変換処理を施し、当該縮小画像を拡大した画像を生成する逆直交変換部と、
を備えることを特徴とする画像超解像処理装置。 - また、本発明の画像超解像処理装置において、前記高周波スペクトル生成部は、ウェーブレット変換を用いて推定することを特徴とする、請求項1に記載の画像超解像処理装置。
- 前記直交変換部は、前記直交変換処理として、離散フーリエ変換、離散コサイン変換、離散ウェーブレット変換、離散ウェーブレットパケット変換のうちのいずれかとし、
前記直交変換部は、前記逆直交変換処理として、前記直交変換処理に対応する逆離散フーリエ変換、逆離散コサイン変換、逆離散ウェーブレット変換、逆離散ウェーブレットパケット変換のうちのいずれかとすることを特徴とする、請求項1又は2に記載の画像超解像処理装置。 - 前記原画像帯域毎スペクトルパワー決定部は、
原画像帯域毎スペクトルパワー代表値が事前に用意されていない場合に、前記縮小画像をオクターブ分解し、各帯域におけるスペクトルパワーの平均値を各帯域における当該原画像帯域毎スペクトルパワー代表値として求める手段と、
原画像帯域毎スペクトルパワー代表値が事前に用意されている場合に、該原画像帯域毎スペクトルパワー代表値を持つ帯域幅が前記縮小画像スペクトル及び前記空間高周波スペクトルの帯域幅と対応している際には、各帯域における当該原画像帯域毎スペクトルパワー代表値とし、該原画像帯域毎スペクトルパワー代表値を持つ帯域幅が前記縮小画像スペクトル及び前記空間高周波スペクトルの帯域幅と対応していない際には、事前に用意された原画像帯域毎スペクトルパワー代表値を、前記縮小画像スペクトル及び前記空間高周波スペクトルの帯域幅と対応するように補間して、各帯域における当該原画像帯域毎スペクトルパワー代表値として決定する手段と、
を有することを特徴とする、請求項1〜3のいずれか一項に記載の画像超解像処理装置。 - 原画像に対して予め縮小された縮小画像を画像拡大する画像超解像処理装置として構成するコンピュータに、
原画像に対して予め縮小された縮小画像を入力して直交変換処理を施し、縮小画像の帯域幅の縮小画像スペクトルに変換するステップと、
当該原画像のサイズに戻すための拡大倍率に従って、前記縮小画像スペクトルから、当該縮小画像の空間標本化周波数から当該原画像の空間標本化周波数までの帯域幅の空間高周波スペクトルを推定して生成するステップと、
予め決定される当該原画像の帯域毎のスペクトルパワー代表値を表す原画像帯域毎スペクトルパワー代表値に対して、前記拡大倍率に従って、前記縮小画像スペクトル及び前記空間高周波スペクトルの各帯域幅内の代表値となるように補正して、原画像帯域毎スペクトルパワー補正値を生成するステップと、
前記原画像帯域毎スペクトルパワー補正値によって、前記縮小画像スペクトル及び前記空間高周波スペクトルを補正するステップと、
当該補正した縮小画像スペクトル及び空間高周波スペクトルに対して逆直交変換処理を施し、当該縮小画像を拡大した画像を生成するステップと、
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010203480A JP5417290B2 (ja) | 2010-09-10 | 2010-09-10 | 画像超解像処理装置及びそのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010203480A JP5417290B2 (ja) | 2010-09-10 | 2010-09-10 | 画像超解像処理装置及びそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012059138A JP2012059138A (ja) | 2012-03-22 |
JP5417290B2 true JP5417290B2 (ja) | 2014-02-12 |
Family
ID=46056134
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010203480A Active JP5417290B2 (ja) | 2010-09-10 | 2010-09-10 | 画像超解像処理装置及びそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5417290B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6088235B2 (ja) * | 2012-12-17 | 2017-03-01 | 日本放送協会 | 超解像装置及びプログラム |
KR101434530B1 (ko) | 2013-03-05 | 2014-08-29 | 광운대학교 산학협력단 | 적응적 가중치 보간 및 이산 웨이블릿 변환 기반 초해상도 영상 생성 방법 |
JP6174903B2 (ja) * | 2013-05-14 | 2017-08-02 | 日本放送協会 | 空間・階調超解像装置及びプログラム |
CN112054798B (zh) * | 2019-06-06 | 2023-09-19 | 中国科学院苏州纳米技术与纳米仿生研究所 | 信号采集电路及其采样频率调节方法、计算机存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03204268A (ja) * | 1990-01-05 | 1991-09-05 | Dainippon Printing Co Ltd | 高画質画像拡大方法 |
JP2639323B2 (ja) * | 1993-11-29 | 1997-08-13 | 日本電気株式会社 | 画像拡大装置 |
JP3600750B2 (ja) * | 1999-02-12 | 2004-12-15 | ペンタックス株式会社 | 画像圧縮装置および画像伸張装置 |
-
2010
- 2010-09-10 JP JP2010203480A patent/JP5417290B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012059138A (ja) | 2012-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ravishankar et al. | Efficient blind compressed sensing using sparsifying transforms with convergence guarantees and application to magnetic resonance imaging | |
JP5140638B2 (ja) | 空間ダウンサンプリング処理装置、空間アップサンプリング処理装置、符号化装置、復号装置及びプログラム | |
US7787754B2 (en) | Continuous extension of discrete transform for data processing | |
JP5727873B2 (ja) | 動きベクトル検出装置、符号化装置、及びこれらのプログラム | |
JP2011237997A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP5417290B2 (ja) | 画像超解像処理装置及びそのプログラム | |
JP2011180798A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP2012060517A (ja) | 画像処理装置、画像処理方法 | |
JP2021184594A (ja) | ビデオフレームの補間装置及び方法 | |
KR20160005723A (ko) | 업샘플링 및 신호 향상 | |
JP2020027557A (ja) | 超解像装置およびそのプログラム | |
O'Leary et al. | Discrete polynomial moments and savitzky-golay smoothing | |
Rahim et al. | An analysis of interpolation methods for super resolution images | |
JP2007519273A (ja) | オーバーコンプリート・ウェーブレット符号化と循環予測写像とを用いてビデオ処理を行うシステム及び方法 | |
KR101653098B1 (ko) | 패치기반 최소 랭크 블락 한켈 행렬을 이용한 영상 채우기 | |
JP5717548B2 (ja) | 超解像補助情報生成装置、符号化装置、復号装置、及びこれらのプログラム | |
JP6174903B2 (ja) | 空間・階調超解像装置及びプログラム | |
JP5213896B2 (ja) | 画像処理方法及び画像処理装置及びプログラム | |
JP6276596B2 (ja) | 空間超解像・階調補間装置及びプログラム | |
JP5514132B2 (ja) | 画像縮小装置、画像拡大装置、及びこれらのプログラム | |
JP2018190145A (ja) | 空間・階調超解像装置及びプログラム | |
JP5331643B2 (ja) | 動きベクトル検出装置及びプログラム | |
JP5498970B2 (ja) | 画像縮小装置、画像拡大装置、及びこれらのプログラム | |
JP2015138553A (ja) | 画像平滑化方法及び画像平滑化装置 | |
JP5140637B2 (ja) | 時空間ダウンサンプリング処理装置、時空間アップサンプリング処理装置、符号化装置、復号装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130121 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131011 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131022 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5417290 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |