JP2013152583A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2013152583A JP2013152583A JP2012012639A JP2012012639A JP2013152583A JP 2013152583 A JP2013152583 A JP 2013152583A JP 2012012639 A JP2012012639 A JP 2012012639A JP 2012012639 A JP2012012639 A JP 2012012639A JP 2013152583 A JP2013152583 A JP 2013152583A
- Authority
- JP
- Japan
- Prior art keywords
- component
- image
- filter
- total variation
- regularization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000035939 shock Effects 0.000 claims abstract description 21
- 238000000926 separation method Methods 0.000 claims description 23
- 238000000034 method Methods 0.000 abstract description 20
- 238000004364 calculation method Methods 0.000 abstract description 14
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
【課題】
デジタル画像の鮮鋭化に要する演算時間を短くし、鮮鋭で且つ平滑なデジタル静止拡大画像及び動画を得る。
【解決手段】
Total Variation正則化方法を用いるデジタル画像装置において、デジタル画像の入力信号を骨格成分及びテクスチャ成分に分離し、前記骨格成分を線形拡大フィルタ、Shockフィルタ、Total Variation正則化フィルタで順に処理することにより鮮鋭化する。
【選択図】図２
デジタル画像の鮮鋭化に要する演算時間を短くし、鮮鋭で且つ平滑なデジタル静止拡大画像及び動画を得る。
【解決手段】
Total Variation正則化方法を用いるデジタル画像装置において、デジタル画像の入力信号を骨格成分及びテクスチャ成分に分離し、前記骨格成分を線形拡大フィルタ、Shockフィルタ、Total Variation正則化フィルタで順に処理することにより鮮鋭化する。
【選択図】図２
Description
本発明は、デジタル画像の画像処理を行う画像処理装置に関するものである。
デジタル画像の画僧数を増やし、当該画像を拡大する際、元のデジタル信号成分には存在しない高周波成分を復元することにより高精細なデジタル画像を得るための様々な方法が研究されている。これらの方法は超解像技術と言われている。
非特許文献１、２及び３によると、超解像技術の一つであるTV正則化方法（Total Variation正則化方法）を用いた超解像画像拡大法は、拡大画像のエッジ成分を鮮鋭化する上で非常に大きな効果が確認されており、TV正則化方法は高精細な拡大画像を得る方法の１つとして有用である。
齊藤隆弘："１枚の画像からの超解像度オーバーサンプリング"、映像メディア学会誌、Vol.62、No.2、pp.181-189、2008
桜井優、吉川明博、鈴木彰太郎、後藤富朗、平野智："Total Variation正則化と事例学習法を組合せた超解像度画像の復元"、映像メディア学会誌、Vol. 61、No. 9、pp. 1363-1366、2007
作田泰隆、後藤富朗、平野智、桜井優、"Total Variation 正則化法を用いた超解像拡大法の高速化"、FIT（情報科学技術フォーラム）、I-023、2011、9月
A. Chambolle, "An algorithm for total variation minimization and applications", J. Mathematical Imaging and Vision, Vol.20, No.1, pp.89-97, 2004
S. J. Osher and L. I. Rudin: "Feature-oriented image enhancement using shock filters", SIAM Journal on Numerical Analysis, Vol. 27, pp. 910-940, 1990.
非特許文献１及び２による方法は、拡大画像のエッジ成分を鮮鋭化させるためには大きな効果があるが、エッジ成分を鮮鋭化するための演算時間が非常に長くなるという欠点があった。非特許文献３による方法は、非特許文献１及び２による方法と比べて、拡大画像のエッジ成分を鮮鋭化させるための演算時間を短くすることは可能になるが、画質の鮮鋭度で少し劣ることと、動画へ応用するためには演算時間が長過ぎるという欠点があった。
本発明は上記課題に鑑みて、拡大画像のエッジ成分を鮮鋭化するための演算時間を短くし、静止画のみならず動画においても鮮鋭な画像を得ることを目的とする。
上記課題を解決するため、本発明は、非特許文献３で用いられているTV正則化拡大部のHPF（ハイパスフィルタ）の代わりに、非特許文献５で用いられているShockフィルタを用いることを第１の特徴とし、前記ShockフィルタをTV正則化フィルタと縦続接続して用いることを第２の特徴とする。
具体的には、本発明は、入力画像の骨格成分を得るTotal Variation正則化成分分離手段と、前記Total Variation正則化成分分離手段により得られた骨格成分に対し、画像のエッジ成分を鮮鋭化するShockフィルタとを備えたことを特徴とする。
また、本発明は、入力画像の骨格成分を得るTotal Variation正則化成分分離手段と、前記Total Variation正則化成分分離手段により得られた骨格成分を拡大するTotal Variation正則化拡大手段とを備え、前記Total Variation正則化拡大手段は、前記Total Variation正則化成分分離手段により得られた骨格成分に対し、画像を拡大する拡大フィルタと、前記拡大フィルタにより拡大された画像のエッジ成分を鮮鋭化するShockフィルタとを有することを特徴とする。
また、本発明は、入力画像の骨格成分を得るTotal Variation正則化成分分離手段と、前記Total Variation正則化成分分離手段により得られた骨格成分を拡大するTotal Variation正則化拡大手段とを備え、前記Total Variation正則化拡大手段は、前記Total Variation正則化成分分離手段により得られた骨格成分に対し、画像を拡大する拡大フィルタと、前記拡大フィルタにより拡大された画像のエッジ成分を鮮鋭化するShockフィルタと、前記Shockフィルタにより鮮鋭化された画像を平滑化するTotal Variation正則化フィルタとを有することを特徴とする。
本発明によれば、Shockフィルタにより画像が鮮鋭化される。また、Shockフィルタにより画像が鮮鋭化された後、TV正則化フィルタにより鮮鋭化された画像が平滑化されるように構成した場合には、２つのフィルタによって処理される前の画像と比べ、エッジ部が鮮鋭で且つ平滑な画像を得ることができる。また、非特許文献３の方法とは異なり、TV正則化フィルタで何度も画像を平滑化処理しなくても済むので、画像処理に要するトータルの演算時間を短くすることができる。
（第１実施形態）
以下、図１〜図５に従って、本発明の第１実施形態を詳細に説明する。
以下、図１〜図５に従って、本発明の第１実施形態を詳細に説明する。
本発明の第１実施形態は、図１に示すように、入力画像fをエッジ成分と低周波成分（以下では両成分を合せて「骨格成分」という）及び細かい振動成分とノイズ成分（以下では両成分を合せて「テクスチャ成分」という）に分離するためのTV正則化成分分離部1と、TV正則化拡大部2と、線形補間拡大部3と、拡大骨格成分U及び拡大テクスチャ成分Vとを加算するための加算器4から構成される。
前記TV正則化拡大部2は、図２に示すように、線形拡大フィルタ5と、Shockフィルタ７と、TV正則化フィルタ8が縦続接続された構成である。
TV正則化成分分離部1において入力信号fが骨格成分u及びテクスチャ成分vに分離される状況を図３により模式的に示す。
分離された第一成分である骨格成分uはTV正則化拡大部２によって、エッジ成分が急峻化され且つ拡大される。一方、分離された第二成分であるテクスチャ成分vは、例えばBicubic法などの線形補間法を用いて、線形補間拡大部３によって拡大される。TV正則化拡大部２からの出力で、エッジ成分が急峻化され且つ拡大された拡大骨格成分Uと線形補間拡大部３からの出力で、線形補間法により拡大されたテクスチャ成分Vは加算器4により加算され、出力画像となる。
TV正則化成分分離は非特許文献４で用いられているChambolleの射影法と呼ばれる繰り返し演算によって、式（１）に従って求められる。
（１）
式（１）中で、pi,jは入力画素信号ｆi,jに対応した双対ベクトルと呼ばれる２次元のベクトルである。i,jは画素の位置を表す。
式（１）中で、pi,jは入力画素信号ｆi,jに対応した双対ベクトルと呼ばれる２次元のベクトルである。i,jは画素の位置を表す。
式（１）における各記号は、夫々式（２）及び式（３）のとおり定義される。
（２）
（３）
pi,jを、式（１）に従って全画素i=1〜K、j=1〜Lまで演算し、その後、n=1〜Nまで繰り返し演算を行う。K及びLは画素数を表す。繰り返し演算の回数Nは通常は10〜30回くらいの値が取られる。繰り返し演算の終わった後のpi,jの値より、テクチャ成分ｖi,jが式（４）に従って求められる。
pi,jを、式（１）に従って全画素i=1〜K、j=1〜Lまで演算し、その後、n=1〜Nまで繰り返し演算を行う。K及びLは画素数を表す。繰り返し演算の回数Nは通常は10〜30回くらいの値が取られる。繰り返し演算の終わった後のpi,jの値より、テクチャ成分ｖi,jが式（４）に従って求められる。
（４）
一方、骨格成分ｕは式（５）に従って求められる。
一方、骨格成分ｕは式（５）に従って求められる。
（５）
上記式（１）〜式（４）の演算を行うフローチャートを図４に示す。
上記式（１）〜式（４）の演算を行うフローチャートを図４に示す。
次に、Shockフィルタ７における演算処理を説明する。繰り返し演算を行う画素の値を
と表す。
は式（６）の繰り返し演算によって求められる。
（６）
式（６）の第２項の各要素は夫々式（７）及び式（８）のとおり定義される。
式（６）の第２項の各要素は夫々式（７）及び式（８）のとおり定義される。
（７）
（８）
式（７）及び式（８）中の各要素は夫々式（９）、式（１０）、式（１１）及び式（１２）のとおり定義される。
式（７）及び式（８）中の各要素は夫々式（９）、式（１０）、式（１１）及び式（１２）のとおり定義される。
（９）
（１０）
（１１）
（１２）
式（９）及び式（１０）の関数ｍは式（１３）のとおり定義される。
式（９）及び式（１０）の関数ｍは式（１３）のとおり定義される。
（１３）
上記式（６）〜式（１３）の演算を行うフローチャートを図５に示す。
上記式（６）〜式（１３）の演算を行うフローチャートを図５に示す。
Shockフィルタ７の演算を数回繰り返した後の画像
は、もとの画像のエッジが強調されるが、同時に平面的な方向に画像の縁にギザギザの形とエッジ付近にオーバシュートとアンダーシュートによる輝度変化が現れる。前記ギザギザの形と輝度変化は、次段のTV正則化フィルタ８により平滑化される。
Shockフィルタ７では演算が５回ほど繰り返し行われ、TV正則化フィルタ８では演算が２０回ほどの繰り返し行なわれ、その後TV正則化フィルタでは演算が１回行われる。
（第２実施形態）
図６に示すように、図１のTV正則化拡大部２からTV正則化フィルタ８を省き、線形拡大フィルタ５とShockフィルタ７のみによって構成しても構わない。
（第３実施形態）
第１及び第２実施形態では、画像の拡大を行うものを示したが、画像の拡大を行わない、すなわち、線形拡大フィルタ５を省いた構成としても構わない。前記構成では画像の拡大を行わずに画像の鮮鋭度を増すこととなり、用途としては、現行のテレビジョン信号例の画素数を変えずに鮮鋭度を向上させる手段としても使用が可能である。
（その他の実施形態）
第１、第２及び第３実施形態は何れもハードウェアではなく、ソフトウェアのみで構成しても構わないし、ハードウェアとソフトウェアの組み合わせで構成しても構わない。ソフトウェアで構成した場合、図１、図２、図４、図５、図６等で示される構成は、各機能を実現するための画像処理プログラムとして実現される。
（第２実施形態）
図６に示すように、図１のTV正則化拡大部２からTV正則化フィルタ８を省き、線形拡大フィルタ５とShockフィルタ７のみによって構成しても構わない。
（第３実施形態）
第１及び第２実施形態では、画像の拡大を行うものを示したが、画像の拡大を行わない、すなわち、線形拡大フィルタ５を省いた構成としても構わない。前記構成では画像の拡大を行わずに画像の鮮鋭度を増すこととなり、用途としては、現行のテレビジョン信号例の画素数を変えずに鮮鋭度を向上させる手段としても使用が可能である。
（その他の実施形態）
第１、第２及び第３実施形態は何れもハードウェアではなく、ソフトウェアのみで構成しても構わないし、ハードウェアとソフトウェアの組み合わせで構成しても構わない。ソフトウェアで構成した場合、図１、図２、図４、図５、図６等で示される構成は、各機能を実現するための画像処理プログラムとして実現される。
本発明の方法はテレビジョン画像を始め、デジタルカメラ画像、医療用画像、監視カメラ画像、衛星伝送画像などを拡大して表示する際の高精細化画像の復元に利用することができる。
1 TV正則化成分分離部（TV正則化成分分離手段）
2 TV正則化拡大部（TV正則化拡大手段）
3 線形補間拡大部
4 加算器
5 線形拡大フィルタ（拡大フィルタ）
6 ＴＶ正則化フィルタ
7 Shockフィルタ
2 TV正則化拡大部（TV正則化拡大手段）
3 線形補間拡大部
4 加算器
5 線形拡大フィルタ（拡大フィルタ）
6 ＴＶ正則化フィルタ
7 Shockフィルタ
Claims (3)
- 入力画像の骨格成分を得るTotal Variation正則化成分分離手段と、前記Total Variation正則化成分分離手段により得られた骨格成分に対し、入力画像のエッジ成分を鮮鋭化するShockフィルタとを備えたことを特徴とする画像処理装置。
- 入力画像の骨格成分を得るTotal Variation正則化成分分離手段と、前記Total Variation正則化成分分離手段により得られた骨格成分を拡大するTotal Variation正則化拡大手段とを備え、前記Total Variation正則化拡大手段は、前記Total Variation正則化成分分離手段により得られた骨格成分に対し、画像を拡大する拡大フィルタと、前記拡大フィルタにより拡大された画像のエッジ成分を鮮鋭化するShockフィルタとを有することを特徴とする画像処理装置。
- 入力画像の骨格成分を得るTotal Variation正則化成分分離手段と、前記Total Variation正則化成分分離手段により得られた骨格成分を拡大するTotal Variation正則化拡大手段とを備え、前記Total Variation正則化拡大手段は、前記Total Variation正則化成分分離手段により得られた骨格成分に対し、画像を拡大する拡大フィルタと、前記拡大フィルタにより拡大された画像のエッジ成分を鮮鋭化するShockフィルタと、前記Shockフィルタにより鮮鋭化された画像を平滑化するTotal Variation正則化フィルタとを有することを特徴とする画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012012639A JP2013152583A (ja) | 2012-01-25 | 2012-01-25 | 画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012012639A JP2013152583A (ja) | 2012-01-25 | 2012-01-25 | 画像処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013152583A true JP2013152583A (ja) | 2013-08-08 |
Family
ID=49048878
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012012639A Pending JP2013152583A (ja) | 2012-01-25 | 2012-01-25 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013152583A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016144535A (ja) * | 2015-02-06 | 2016-08-12 | 国立大学法人名古屋大学 | 骨間距離測定装置、骨間距離測定方法、コンピュータを骨間距離測定装置として機能させるためのプログラム及び該プログラムを記憶した記録媒体 |
| CN114237000A (zh) * | 2021-12-15 | 2022-03-25 | 中国工程物理研究院激光聚变研究中心 | 一种离轴数字全息优化重建方法及*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009093386A1 (ja) * | 2008-01-21 | 2009-07-30 | Olympus Corporation | 画像処理装置、画像処理プログラム、画像処理プログラムを記憶したコンピュータ読取り可能な記憶媒体、及び画像処理方法 |
| JP2010157210A (ja) * | 2008-12-31 | 2010-07-15 | Postech Academy-Industry Foundation | 画像のブラー除去方法および記録媒体 |
| JP2011076274A (ja) * | 2009-09-30 | 2011-04-14 | Casio Computer Co Ltd | 画像処理装置、画像処理方法及びプログラム |
-
2012
- 2012-01-25 JP JP2012012639A patent/JP2013152583A/ja active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009093386A1 (ja) * | 2008-01-21 | 2009-07-30 | Olympus Corporation | 画像処理装置、画像処理プログラム、画像処理プログラムを記憶したコンピュータ読取り可能な記憶媒体、及び画像処理方法 |
| JP2010157210A (ja) * | 2008-12-31 | 2010-07-15 | Postech Academy-Industry Foundation | 画像のブラー除去方法および記録媒体 |
| JP2011076274A (ja) * | 2009-09-30 | 2011-04-14 | Casio Computer Co Ltd | 画像処理装置、画像処理方法及びプログラム |
Non-Patent Citations (1)
| Title |
|---|
| JPN6015033349; Ｓａｋｕｔａ， Ｙ．: 'Ｓｕｐｅｒ-ｒｅｓｏｌｕｔｉｏｎ ｕｔｉｌｉｚｉｎｇ Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ ｒｅｇｕｌａｒｉｚａｔｉｏｎ ｏｎ ＣＥＬＬ ｐｒｏｃｅｓｓｏｒ' Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ （ＩＣＣＥ）， ２０１２ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ , 20120116, ｐ．７２３-７２４, ＩＥＥＥ * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016144535A (ja) * | 2015-02-06 | 2016-08-12 | 国立大学法人名古屋大学 | 骨間距離測定装置、骨間距離測定方法、コンピュータを骨間距離測定装置として機能させるためのプログラム及び該プログラムを記憶した記録媒体 |
| CN114237000A (zh) * | 2021-12-15 | 2022-03-25 | 中国工程物理研究院激光聚变研究中心 | 一种离轴数字全息优化重建方法及*** |
| CN114237000B (zh) * | 2021-12-15 | 2023-05-23 | 中国工程物理研究院激光聚变研究中心 | 一种离轴数字全息优化重建方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ma et al. | Handling motion blur in multi-frame super-resolution | |
| US9076234B2 (en) | Super-resolution method and apparatus for video image | |
| WO2010098054A1 (ja) | 画像補正装置及び画像補正方法 | |
| WO2011111819A1 (ja) | 画像処理装置、画像処理プログラム、および、画像を生成する方法 | |
| JP6462372B2 (ja) | 超解像装置及びプログラム | |
| Wang et al. | A graph-based joint bilateral approach for depth enhancement | |
| Jeong et al. | Multi-frame example-based super-resolution using locally directional self-similarity | |
| JPWO2016075914A1 (ja) | 画像信号処理装置、画像信号処理方法及び画像信号処理プログラム | |
| JP2013152583A (ja) | 画像処理装置 | |
| Zhao et al. | Single depth image super-resolution with multiple residual dictionary learning and refinement | |
| JP2015228113A (ja) | 画像処理装置および画像処理方法 | |
| JP2017076240A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP6344651B2 (ja) | フォーカスアシスト機能付き撮像装置 | |
| JP2011182094A (ja) | 画像処理装置および画像処理プログラム | |
| JP5076758B2 (ja) | 画像処理方法およびプログラム | |
| Qian et al. | Blind super-resolution restoration with frame-by-frame nonparametric blur estimation | |
| JP2012113398A (ja) | 画像処理装置及び画像処理システム | |
| Munezawa et al. | Super-resolution method for enlarged images utilizing non-linear filtering | |
| Salahieh et al. | Single-image full-focus reconstruction using depth-based deconvolution | |
| JP2015049588A (ja) | ｎ乗フィルタを用いた超解像画像処理装置 | |
| Yousef et al. | Mathematical model development of super-resolution image Wiener restoration | |
| CN112435192B (zh) | 一种轻量级的图像清晰度增强方法 | |
| Liu et al. | MAP-based image super-resolution reconstruction | |
| KR101332030B1 (ko) | 영상 확대방법 및 이를 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 | |
| Watanabe et al. | Super-resolution image processing with total variation regularization and shock filters |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141125 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150813 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150908 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160223 |