JP2011182094A - 画像処理装置および画像処理プログラム - Google Patents

画像処理装置および画像処理プログラム Download PDF

Info

Publication number
JP2011182094A
JP2011182094A JP2010042639A JP2010042639A JP2011182094A JP 2011182094 A JP2011182094 A JP 2011182094A JP 2010042639 A JP2010042639 A JP 2010042639A JP 2010042639 A JP2010042639 A JP 2010042639A JP 2011182094 A JP2011182094 A JP 2011182094A
Authority
JP
Japan
Prior art keywords
component
image
enlarged
regularization
downsampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010042639A
Other languages
English (en)
Inventor
Yu Sakurai
優 櫻井
Tomiaki Goto
富朗 後藤
Akihiro Yoshikawa
明博 吉川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nagoya Institute of Technology NUC
Original Assignee
Nagoya Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nagoya Institute of Technology NUC filed Critical Nagoya Institute of Technology NUC
Priority to JP2010042639A priority Critical patent/JP2011182094A/ja
Publication of JP2011182094A publication Critical patent/JP2011182094A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Abstract

【課題】ＴＶ正則化手法を用いて画像拡大を行う画像処理装置において、全体の計算時間を削減する。
【解決手段】入力画像から拡大骨格成分を得るＴＶ正則化拡大部５と、このＴＶ正則化拡大部で得られた拡大骨格成分をダウンサンプリングして、入力画像と同じサンプル数の画像となる骨格成分を得るダウンサンプリング部７と、ダウンサンプリング部７にて得られた骨格成分を入力画像から減算してテクスチャ成分を得る減算部６と、減算部６にて得られたテクスチャ成分から線形補間を用いて拡大テクスチャ成分を得る線形補間拡大部８と、ＴＶ正則化拡大部５にて得られた拡大骨格成分と線形補間拡大部８にて得られた拡大テクスチャ成分とを合成し拡大出力画像を得る成分合成部９と、を備える。
【選択図】図１

Description

本発明は、テレビジョン、デジタルカメラ、医療画像などの画像を処理する画像処理装置および画像処理プログラムに関し、特にTotal variation（以下、ＴＶと記す）正則化手法を用いて画像を拡大する装置に関する。
非特許文献１〜３にはＴＶ正則化手法を用いた画像拡大法が示されており、その方法はテレビジョンやカメラ画像などの超解像度拡大法として非常に有用である。
図４に、非特許文献１〜３に示された、ＴＶ正則化手法を用いて画像拡大を行う画像処理装置の構成を示す。入力画像はＴＶ正則化成分分離部１にて画像の骨格成分とテクスチャ成分に分離される。骨格成分はＴＶ正則化拡大部２にて拡大骨格成分となる。テクスチャ成分は線形補間拡大部３にて拡大テクスチャ成分となる。拡大骨格成分と拡大テクスチャ成分は成分合成部４にて合成され、最終拡大画像が得られる。
図５に、ＴＶ正則化成分分離部１の処理をフローチャートで示す。ステップ１０１で演算回数Ｎが０に初期設定された後、ステップ１０２でＴＶ正則化演算のための修正項αが図中の式のように計算される。ステップ１０３で画素値ｕ(N)が−εαによって新しい画素値ｕ(N+1)に更新される。そして、ステップ１０４で演算回数Ｎがインクリメントされ、ステップ１０５で予め定められた値ＮstopにＮが達したか否かが判定される。Ｎが値Ｎstopに達していない場合はステップ１０２に戻る。Ｎが値Ｎstopに達した場合は画素値ｕが最終骨格成分として出力され、またステップ１０６で入力画像ｆからｕが引き算されて、テクスチャ成分ｖが出力される。
齊藤隆弘: "1 枚の画像からの超解像度オーバーサンプリング"，映像メディア学会誌, Vol.62, No.2, pp.181-189, 2008 石井勇樹，中川陽介，小松隆，斎藤隆弘: "乗算型骨格テクスチャ画像分離の画像処理への応用", 電子情報通信学会論文誌，Vol.J90-D, No.7, pp. 1682-1685, 2007 T. Saito and T. Komatsu : "Image Processing Approach Based on Nonlinear Image-Decomposition"，IEICE Trans. Fundamentals, Vol.E92-A, NO.3, pp.696-707, March 2009
非特許文献１〜３に示されたＴＶ正則化手法を用いた画像拡大法は、繰り返し演算にて膨大な計算時間のかかる、ＴＶ正則化演算処理部を２個有している。すなわち、ＴＶ正則化手法によって骨格成分とテクスチャ成分を分離するＴＶ正則化成分分離部１と、ＴＶ正則化手法によるＴＶ正則化拡大部２の２つである。したがって、この手法をテレビジョンのような動画像に用いる際には、その計算時間が問題となる。
本発明は上記点に鑑みて、ＴＶ正則化手法を用いて画像拡大を行う画像処理装置において、全体の計算時間を削減することを目的とする。
上記目的を達成するため、請求項１に記載の発明は、
入力画像から拡大骨格成分を得るＴＶ正則化拡大手段と、
前記拡大骨格成分をダウンサンプリングして、前記入力画像と同じサンプル数の画像となる骨格成分を得るダウンサンプリング手段と、
前記ダウンサンプリング手段にて得られた骨格成分を前記入力画像から減算してテクスチャ成分を得る減算手段と、
前記減算手段にて得られたテクスチャ成分から拡大テクスチャ成分を得る手段と、
この手段にて得られた拡大テクスチャ成分と前記ＴＶ正則化拡大手段にて得られた拡大骨格成分とを合成する成分合成手段と、を備えた画像処理装置ことを特徴とする。
請求項２に記載の発明は、
コンピュータを、
入力画像から拡大骨格成分を得るＴＶ正則化拡大手段と、
前記拡大骨格成分をダウンサンプリングして、前記入力画像と同じサンプル数の画像となる骨格成分を得るダウンサンプリング手段と、
前記ダウンサンプリング手段にて得られた骨格成分を前記入力画像から減算してテクスチャ成分を得る減算手段と、
前記減算手段にて得られたテクスチャ成分から拡大テクスチャ成分を得る手段と、
この手段にて得られた拡大テクスチャ成分と前記ＴＶ正則化拡大手段にて得られた拡大骨格成分とを合成する成分合成手段として機能させる画像処理プログラムを特徴とする。
本発明の一実施形態に係る画像処理装置の構成を示す図である。 ダウンサンプリングを説明するための図である。 図１中のＴＶ正則化拡大部５の処理を示すフローチャートである。 従来例の画像処理装置の全体構成を示す図である。 図４中のＴＶ正則化成分分離部１の処理を示すフローチャートである。
以下、本発明を図に示す実施形態について説明する。図１に、本発明の一実施形態に係る画像処理装置の構成を示す。
この画像処理装置は、入力画像から拡大骨格成分を得るＴＶ正則化拡大部５と、このＴＶ正則化拡大部５で得られた拡大骨格成分をダウンサンプリングして、入力画像と同じサンプル数の画像となる骨格成分を得るダウンサンプリング部７と、ダウンサンプリング部７にて得られた骨格成分を入力画像から減算してテクスチャ成分を得る減算部６と、減算部６にて得られたテクスチャ成分から線形補間を用いて拡大テクスチャ成分を得る線形補間拡大部８と、ＴＶ正則化拡大部５にて得られた拡大骨格成分と線形補間拡大部８にて得られた拡大テクスチャ成分とを合成し拡大出力画像を得る成分合成部９と、を備えている。なお、線形補間拡大部８と成分合成部９は、図４に示す従来のものと同じである。
この画像処理装置は、次のように作動する。入力画像はＴＶ正則化拡大部５で拡大骨格成分となる。拡大骨格成分はダウンサンプリング部７で図２に示すように画素数が間引きされてもとの入力画像と同じサンプル数の画像となる。例えば、図の左側に示す６×６の拡大画像について、ダウンサンプリングを行うことにより、図中の黒丸を削除して、３×３の半分のサイズの画像を作成する。このダウンサンプリングにより得られた骨格成分は入力画像から減算されてテクスチャ成分となる。テクスチャ成分は線形補間拡大部８にて拡大テクスチャ成分となる。拡大骨格成分と拡大テクスチャ成分は成分合成部９にて合成されて最終拡大画像となる。
図３に、ＴＶ正則化拡大部５での処理を示す。このＴＶ正則化拡大部５では、拡大演算を行うため、例えば、ｉ，ｊそれぞれを２倍にして、ｕの画素数を入力画像の画素数の４倍とするような演算を行う。なお、このような拡大演算は、従来（例えば、図４に示すＴＶ正則化拡大部２）と同様のものである。具体的には、その拡大演算は次の通りである。
まず、ステップ２０１で演算回数Ｎが０に初期設定された後、ステップ２０２でＴＶ正則化演算のための修正項αが図中の式のように計算される。ただしここでは、拡大演算をしているので、ｕの画素数は入力画像の画素数をｎ×ｎ倍（例えば、２×２＝４倍）したものとなっている。このため、ステップ２０２では、右辺第２項のｕ＊（Ｎ）を例えば図２のようにダウンサンプルしたものとし、入力画像ｆと画素数が同じになるようにしている。ステップ２０３で画素値ｕ(N)が−εαによって新しい画素値ｕ(N+1)に更新される。そして、ステップ２０４で演算回数Ｎがインクリメントされ、ステップ２０５で予め定められた値ＮstopにＮが達したか否かが判定される。Ｎが値Ｎstopに達していない場合はステップ２０２に戻る。Ｎが値Ｎstopに達した場合は画素値ｕが最終骨格成分として出力される。
この実施形態によれば、図４に示す従来の画像処理装置と比べ、計算時間のかかる、ＴＶ正則化成分分離部１が削除されているので、計算量を大幅に減らし、全体の計算時間を削減（例えば、半減）することができる。
なお、図１に示す画像処理装置は、コンピュータを用いたソフトウェアにより実現することができる。その場合、図１に示す各構成部は、それぞれの機能を実現するための手段として把握され、それらにより画像処理プログラムが構成される。つまり、入力画像から拡大骨格成分を得るＴＶ正則化拡大手段と、拡大骨格成分をダウンサンプリングして、入力画像と同じサンプル数の画像となる骨格成分を得るダウンサンプリング手段と、ダウンサンプリング手段にて得られた骨格成分を入力画像から減算してテクスチャ成分を得る減算手段と、減算手段にて得られたテクスチャ成分から線形補間を用いて拡大テクスチャ成分を得る線形補間拡大手段と、ＴＶ正則化拡大手段にて得られた拡大骨格成分と線形補間拡大手段にて得られた拡大テクスチャ成分とを合成する成分合成手段として、コンピュータを機能させる画像処理プログラムとして構成される。
また、本発明は上記した実施形態に限定されるものではない。例えば、減算部にて得られたテクスチャ成分から拡大テクスチャ成分を得る手段としては、拡大骨格成分と同様の拡大を行った拡大テクスチャ成分を得るものであれば、線形補間拡大部８以外のものを用いてもよい。
５ ＴＶ正則化拡大部
６ 減算部
７ ダウンサンプリング部
８ 線形補間拡大部
９ 成分合成部

Claims (2)

  1. 入力画像から拡大骨格成分を得るＴＶ正則化拡大手段と、
    前記拡大骨格成分をダウンサンプリングして、前記入力画像と同じサンプル数の画像となる骨格成分を得るダウンサンプリング手段と、
    前記ダウンサンプリング手段にて得られた骨格成分を前記入力画像から減算してテクスチャ成分を得る減算手段と、
    前記減算手段にて得られたテクスチャ成分から拡大テクスチャ成分を得る手段と、
    この手段にて得られた拡大テクスチャ成分と前記ＴＶ正則化拡大手段にて得られた拡大骨格成分とを合成する成分合成手段と、を備えたことを特徴とする画像処理装置。
  2. コンピュータを、
    入力画像から拡大骨格成分を得るＴＶ正則化拡大手段と、
    前記拡大骨格成分をダウンサンプリングして、前記入力画像と同じサンプル数の画像となる骨格成分を得るダウンサンプリング手段と、
    前記ダウンサンプリング手段にて得られた骨格成分を前記入力画像から減算してテクスチャ成分を得る減算手段と、
    前記減算手段にて得られたテクスチャ成分から拡大テクスチャ成分を得る手段と、
    この手段にて得られた拡大テクスチャ成分と前記ＴＶ正則化拡大手段にて得られた拡大骨格成分とを合成する成分合成手段として機能させることを特徴とする画像処理プログラム。
JP2010042639A 2010-02-26 2010-02-26 画像処理装置および画像処理プログラム Pending JP2011182094A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010042639A JP2011182094A (ja) 2010-02-26 2010-02-26 画像処理装置および画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010042639A JP2011182094A (ja) 2010-02-26 2010-02-26 画像処理装置および画像処理プログラム

Publications (1)

Publication Number Publication Date
JP2011182094A true JP2011182094A (ja) 2011-09-15

Family

ID=44693162

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010042639A Pending JP2011182094A (ja) 2010-02-26 2010-02-26 画像処理装置および画像処理プログラム

Country Status (1)

Country Link
JP (1) JP2011182094A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102378014A (zh) * 2011-09-28 2012-03-14 福建华映显示科技有限公司 显示面板的影像分辨率提升装置及方法
US8515197B2 (en) 2011-09-05 2013-08-20 Chunghwa Picture Tubes, Ltd. Image resolution enhancing device and method for display panel
CN104853059A (zh) * 2014-02-17 2015-08-19 台达电子工业股份有限公司 超分辨率图像处理方法及其装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8515197B2 (en) 2011-09-05 2013-08-20 Chunghwa Picture Tubes, Ltd. Image resolution enhancing device and method for display panel
CN102378014A (zh) * 2011-09-28 2012-03-14 福建华映显示科技有限公司 显示面板的影像分辨率提升装置及方法
CN104853059A (zh) * 2014-02-17 2015-08-19 台达电子工业股份有限公司 超分辨率图像处理方法及其装置
CN104853059B (zh) * 2014-02-17 2018-12-18 台达电子工业股份有限公司 超分辨率图像处理方法及其装置

Similar Documents

Publication Publication Date Title
JP5385969B2 (ja) 画像の超解像のための方法及び装置
US9609181B2 (en) Image signal processor and method for synthesizing super-resolution images from non-linear distorted images
JP4018601B2 (ja) 内蔵形システムのデジタル画像スケーリング方法
WO2011111819A1 (ja) 画像処理装置、画像処理プログラム、および、画像を生成する方法
CN106412669B (zh) 一种全景视频渲染的方法和设备
JP4915317B2 (ja) 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP2011180798A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2009100373A (ja) ノイズ低減処理装置、ノイズ低減処理方法、及び電子機器
JP2011237998A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2008091979A (ja) 画像高画質化装置、及びその方法、並びに画像表示装置
Jeong et al. Multi-frame example-based super-resolution using locally directional self-similarity
Qin et al. Video superresolution reconstruction based on subpixel registration and iterative back projection
US20090295818A1 (en) Method and Apparatus for Rendering Images With and Without Radially Symmetric Distortions
JP2011182094A (ja) 画像処理装置および画像処理プログラム
WO2007071882A2 (fr) Procede pour fournir des donnees a un moyen de traitement numerique
Tanaka et al. A fast MAP-based super-resolution algorithm for general motion
Liu et al. Directional fractional-order total variation hybrid regularization for image deblurring
JP2008293388A (ja) 画像処理方法、画像処理装置、及びこの画像処理装置を備えた電子機器
Yau et al. Robust deep learning-based multi-image super-resolution using inpainting
JP5181345B2 (ja) 画像処理装置及び画像処理方法
Joshi et al. Simultaneous estimation of super-resolved depth map and intensity field using photometric cue
JP2013152583A (ja) 画像処理装置
Su et al. Adaptive incremental video super-resolution with temporal consistency
JP5327176B2 (ja) 画像処理方法及び画像処理装置
Sriram et al. A FPGA implementation of variable kernel convolution