JP2012018688A - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2012018688A JP2012018688A JP2011211454A JP2011211454A JP2012018688A JP 2012018688 A JP2012018688 A JP 2012018688A JP 2011211454 A JP2011211454 A JP 2011211454A JP 2011211454 A JP2011211454 A JP 2011211454A JP 2012018688 A JP2012018688 A JP 2012018688A
- Authority
- JP
- Japan
- Prior art keywords
- image
- enlarged
- component
- final
- skeleton
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
【課題】拡大画像の高精細化を適正に図る。
【解決手段】撮像装置100であって、原画像から分離された骨格成分及びテクスチャ成分の各々を中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成する中間画像生成部5gと、中間拡大画像から分離された骨格成分を最終拡大倍率となるように拡大して生成された最終拡大骨格成分と、原画像のテクスチャ成分を最終拡大倍率に拡大して生成された最終拡大テクスチャ成分とを合成して最終拡大画像を生成する最終画像生成部5hとを備えている。
【選択図】 図1
【解決手段】撮像装置100であって、原画像から分離された骨格成分及びテクスチャ成分の各々を中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成する中間画像生成部5gと、中間拡大画像から分離された骨格成分を最終拡大倍率となるように拡大して生成された最終拡大骨格成分と、原画像のテクスチャ成分を最終拡大倍率に拡大して生成された最終拡大テクスチャ成分とを合成して最終拡大画像を生成する最終画像生成部5hとを備えている。
【選択図】 図1
Description
本発明は、画像処理装置、この画像処理装置を用いた画像処理方法及びプログラムに関する。
従来、画像を拡大する処理にて、二アレストネイバーやバイキュービック法などの補間方法に替えて、Total Variation(TV)法を用いることで拡大画像を高精細化する画像処理装置が知られている(例えば、特許文献1参照)。
しかしながら、上記特許文献1のTV法を用いた拡大方法では、二アレストネイバーやバイキュービック法などの補間方法よりも拡大画像の高精細化を図ることができるものの、拡大率が大きくなると画像エッジがぼやけて拡大画像に高精細感が現れ難くなってしまうといった問題がある。また、拡大率が大きくなるとノイズ量が増大してしまうことから、拡大画像の精細感が薄れてしまうといった問題もある。
そこで、本発明の課題は、拡大画像の高精細化を適正に図ることができる画像処理装置、画像処理方法及びプログラムを提供することである。
上記課題を解決するため、請求項1に記載の発明の画像処理装置は、
原画像を取得する取得手段と、この取得手段により取得された原画像の最終拡大倍率を指定する指定手段と、前記取得手段により取得された原画像から骨格成分及びテクスチャ成分を分離する第1分離手段と、この第1分離手段により分離された前記原画像の骨格成分及びテクスチャ成分の各々を前記最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成する中間画像生成手段と、この中間画像生成手段により生成された前記中間拡大画像から骨格成分を分離する第2分離手段と、この第2分離手段により分離された前記中間拡大画像の骨格成分を前記最終拡大倍率となるように拡大して最終拡大骨格成分を生成する骨格拡大手段と、前記第1分離手段により分離された前記原画像のテクスチャ成分を前記最終拡大倍率に拡大して最終拡大テクスチャ成分を生成するテクスチャ拡大手段と、前記骨格拡大手段により生成された前記最終拡大骨格成分と前記テクスチャ拡大手段により生成された前記最終拡大テクスチャ成分とを合成して最終拡大画像を生成する最終画像生成手段と、を備えることを特徴としている。
原画像を取得する取得手段と、この取得手段により取得された原画像の最終拡大倍率を指定する指定手段と、前記取得手段により取得された原画像から骨格成分及びテクスチャ成分を分離する第1分離手段と、この第1分離手段により分離された前記原画像の骨格成分及びテクスチャ成分の各々を前記最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成する中間画像生成手段と、この中間画像生成手段により生成された前記中間拡大画像から骨格成分を分離する第2分離手段と、この第2分離手段により分離された前記中間拡大画像の骨格成分を前記最終拡大倍率となるように拡大して最終拡大骨格成分を生成する骨格拡大手段と、前記第1分離手段により分離された前記原画像のテクスチャ成分を前記最終拡大倍率に拡大して最終拡大テクスチャ成分を生成するテクスチャ拡大手段と、前記骨格拡大手段により生成された前記最終拡大骨格成分と前記テクスチャ拡大手段により生成された前記最終拡大テクスチャ成分とを合成して最終拡大画像を生成する最終画像生成手段と、を備えることを特徴としている。
請求項2に記載の発明は、請求項1に記載の画像処理装置において、
前記指定手段により指定された前記最終拡大倍率を所定数で除算することで前記中間拡大倍率を少なくとも一つ算出する算出手段を更に備え、前記中間画像生成手段は、前記原画像の骨格成分及びテクスチャ成分の各々を前記算出手段により算出された前記少なくとも一の中間拡大倍率となるように拡大することを特徴としている。
前記指定手段により指定された前記最終拡大倍率を所定数で除算することで前記中間拡大倍率を少なくとも一つ算出する算出手段を更に備え、前記中間画像生成手段は、前記原画像の骨格成分及びテクスチャ成分の各々を前記算出手段により算出された前記少なくとも一の中間拡大倍率となるように拡大することを特徴としている。
請求項3に記載の発明は、請求項2に記載の画像処理装置において、
前記中間画像生成手段は、前記原画像の骨格成分及びテクスチャ成分の各々を、前記算出手段により算出された第1中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成し、前記算出手段により算出された前記第1中間拡大倍率よりも大きい第2中間拡大倍率が少なくとも一つある場合に、前記中間画像生成手段により生成された中間拡大画像から骨格成分及びテクスチャ成分を分離する再分離手段を更に備え、前記中間画像生成手段は、更に、前記再分離手段により分離された前記中間拡大画像の骨格成分及びテクスチャ成分の各々を、前記算出手段により算出された前記少なくとも一の第2中間拡大倍率の中で何れか一の第2中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して新たな中間拡大画像を生成し、前記再分離手段による骨格成分及びテクスチャ成分の分離、並びに前記中間画像生成手段による新たな中間拡大画像の生成は、前記算出手段により算出された前記少なくとも一の第2中間拡大倍率が全て用いられるまで行われることを特徴としている。
前記中間画像生成手段は、前記原画像の骨格成分及びテクスチャ成分の各々を、前記算出手段により算出された第1中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成し、前記算出手段により算出された前記第1中間拡大倍率よりも大きい第2中間拡大倍率が少なくとも一つある場合に、前記中間画像生成手段により生成された中間拡大画像から骨格成分及びテクスチャ成分を分離する再分離手段を更に備え、前記中間画像生成手段は、更に、前記再分離手段により分離された前記中間拡大画像の骨格成分及びテクスチャ成分の各々を、前記算出手段により算出された前記少なくとも一の第2中間拡大倍率の中で何れか一の第2中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して新たな中間拡大画像を生成し、前記再分離手段による骨格成分及びテクスチャ成分の分離、並びに前記中間画像生成手段による新たな中間拡大画像の生成は、前記算出手段により算出された前記少なくとも一の第2中間拡大倍率が全て用いられるまで行われることを特徴としている。
請求項4に記載の発明の画像処理方法は、
画像処理装置を用いた画像処理方法であって、原画像を取得するステップと、取得された原画像の最終拡大倍率を指定するステップと、取得された原画像から骨格成分及びテクスチャ成分を分離するステップと、分離された前記原画像の骨格成分及びテクスチャ成分の各々を前記最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成するステップと、生成された前記中間拡大画像から骨格成分を分離するステップと、分離された前記中間拡大画像の骨格成分を前記最終拡大倍率となるように拡大して最終拡大骨格成分を生成するステップと、分離された前記原画像のテクスチャ成分を前記最終拡大倍率に拡大して最終拡大テクスチャ成分を生成するステップと、生成された前記最終拡大骨格成分と前記最終拡大テクスチャ成分とを合成して最終拡大画像を生成するステップと、を実行することを特徴としている。
画像処理装置を用いた画像処理方法であって、原画像を取得するステップと、取得された原画像の最終拡大倍率を指定するステップと、取得された原画像から骨格成分及びテクスチャ成分を分離するステップと、分離された前記原画像の骨格成分及びテクスチャ成分の各々を前記最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成するステップと、生成された前記中間拡大画像から骨格成分を分離するステップと、分離された前記中間拡大画像の骨格成分を前記最終拡大倍率となるように拡大して最終拡大骨格成分を生成するステップと、分離された前記原画像のテクスチャ成分を前記最終拡大倍率に拡大して最終拡大テクスチャ成分を生成するステップと、生成された前記最終拡大骨格成分と前記最終拡大テクスチャ成分とを合成して最終拡大画像を生成するステップと、を実行することを特徴としている。
請求項5に記載の発明のプログラムは、
画像処理装置のコンピュータを、原画像を取得する取得手段、この取得手段により取得された原画像の最終拡大倍率を指定する指定手段、前記取得手段により取得された原画像から骨格成分及びテクスチャ成分を分離する第1分離手段、この第1分離手段により分離された前記原画像の骨格成分及びテクスチャ成分の各々を前記最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成する中間画像生成手段、この中間画像生成手段により生成された前記中間拡大画像から骨格成分を分離する第2分離手段、この第2分離手段により分離された前記中間拡大画像の骨格成分を前記最終拡大倍率となるように拡大して最終拡大骨格成分を生成する骨格拡大手段、前記第1分離手段により分離された前記原画像のテクスチャ成分を前記最終拡大倍率に拡大して最終拡大テクスチャ成分を生成するテクスチャ拡大手段、前記骨格拡大手段により生成された前記最終拡大骨格成分と前記テクスチャ拡大手段により生成された前記最終拡大テクスチャ成分とを合成して最終拡大画像を生成する最終画像生成手段、として機能させることを特徴としている。
画像処理装置のコンピュータを、原画像を取得する取得手段、この取得手段により取得された原画像の最終拡大倍率を指定する指定手段、前記取得手段により取得された原画像から骨格成分及びテクスチャ成分を分離する第1分離手段、この第1分離手段により分離された前記原画像の骨格成分及びテクスチャ成分の各々を前記最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成する中間画像生成手段、この中間画像生成手段により生成された前記中間拡大画像から骨格成分を分離する第2分離手段、この第2分離手段により分離された前記中間拡大画像の骨格成分を前記最終拡大倍率となるように拡大して最終拡大骨格成分を生成する骨格拡大手段、前記第1分離手段により分離された前記原画像のテクスチャ成分を前記最終拡大倍率に拡大して最終拡大テクスチャ成分を生成するテクスチャ拡大手段、前記骨格拡大手段により生成された前記最終拡大骨格成分と前記テクスチャ拡大手段により生成された前記最終拡大テクスチャ成分とを合成して最終拡大画像を生成する最終画像生成手段、として機能させることを特徴としている。
本発明によれば、画像エッジを強調して拡大画像の高精細化を適正に図ることができる。
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図1は、本発明を適用した一実施形態の撮像装置100の概略構成を示すブロック図である。
図1は、本発明を適用した一実施形態の撮像装置100の概略構成を示すブロック図である。
本実施形態の撮像装置100は、原画像(例えば、原画像Go;図4(a)参照)から分離された骨格成分(例えば、骨格成分Gs;図4(b)参照)及びテクスチャ成分(例えば、テクスチャ成分Gt;図4(c)参照)の各々を中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成する。そして、撮像装置100は、中間拡大画像から分離された骨格成分を最終拡大倍率となるように拡大して最終拡大骨格成分を生成し、原画像のテクスチャ成分を最終拡大倍率に拡大して最終拡大テクスチャ成分を生成し、生成された最終拡大骨格成分と最終拡大テクスチャ成分とを合成して最終拡大画像(例えば、最終拡大画像Gf;図5(a)参照)を生成する。
具体的には、図1に示すように、撮像装置100は、撮像部1と、撮像制御部2と、画像データ生成部3と、メモリ4と、画像処理部5と、表示制御部6と、表示部7と、記録媒体8と、操作入力部9と、中央制御部10とを備えている。
具体的には、図1に示すように、撮像装置100は、撮像部1と、撮像制御部2と、画像データ生成部3と、メモリ4と、画像処理部5と、表示制御部6と、表示部7と、記録媒体8と、操作入力部9と、中央制御部10とを備えている。
撮像部1は、被写体を撮像して画像フレームを生成する。具体的には、撮像部1は、図示は省略するが、ズームレンズやフォーカスレンズ等の複数のレンズから構成されたレンズ部と、レンズ部を通過する光の量を調整する絞りと、CCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等のイメージセンサから構成され、レンズ部の各種レンズを通過した光学像を二次元の画像信号に変換する電子撮像部を備えている。
撮像制御部2は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部2は、タイミング発生器、ドライバにより電子撮像部を走査駆動して、所定周期毎に光学像を電子撮像部により二次元の画像信号に変換させ、当該電子撮像部の撮像領域から1画面分ずつ画像フレームを読み出して画像データ生成部3に出力させる。
また、撮像制御部2は、撮像条件の調整制御として、AE(自動露出処理)、AF(自動合焦処理)、AWB(自動ホワイトバランス)等を行う。
また、撮像制御部2は、撮像条件の調整制御として、AE(自動露出処理)、AF(自動合焦処理)、AWB(自動ホワイトバランス)等を行う。
画像データ生成部3は、電子撮像部から転送された画像データのアナログ値の信号に対してRGBの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路(図示略)でサンプルホールドしてA/D変換器(図示略)でデジタルデータに変換し、カラープロセス回路(図示略)で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Y及び色差信号Cb,Cr(YUV色空間の画像データ)を生成する。
カラープロセス回路から出力される輝度信号Y及び色差信号Cb,Crは、図示しないDMAコントローラを介して、バッファメモリとして使用されるメモリ4にDMA転送される。
カラープロセス回路から出力される輝度信号Y及び色差信号Cb,Crは、図示しないDMAコントローラを介して、バッファメモリとして使用されるメモリ4にDMA転送される。
メモリ4は、例えば、DRAM等により構成され、画像処理部5や中央制御部10等によって処理されるデータ等を一時記憶する。
画像処理部5は、画像取得部5aと、画像分離部5bと、中間倍率算出部5cと、骨格拡大部5dと、フィルタ処理部5eと、テクスチャ拡大部5fと、中間画像生成部5gと、最終画像生成部5hとを具備している。
画像取得部5aは、取得手段として、撮像部1により撮像された原画像(例えば、原画像Go等)を処理対象画像として取得する。
具体的には、画像取得部5aは、例えば、記録媒体8に記録されている少なくとも一の画像データの中からユーザによる操作入力部9の所定操作に基づいて指定された何れか一の画像データを取得する。
具体的には、画像取得部5aは、例えば、記録媒体8に記録されている少なくとも一の画像データの中からユーザによる操作入力部9の所定操作に基づいて指定された何れか一の画像データを取得する。
画像分離部5bは、処理対象画像(例えば、原画像Go等)から骨格成分(例えば、骨格成分Gs等)及びテクスチャ成分(例えば、テクスチャ成分Gt等)の少なくとも一方を分離する。即ち、画像分離部5bは、処理対象画像からTotal Variation法によって当該処理対象画像内のオブジェクトの形状や大きさを表すエッジ部と平坦部を含む骨格成分、及び当該処理対象画像内のオブジェクトの輝度の変化による精細部を表す細かな模様(テクスチャ:表面の質感を表現する繰り返しの輝度パターン)を含むテクスチャ成分の少なくとも一方を分離する。
具体的には、画像分離部5bは、第1分離手段として、画像取得部5aにより取得された処理対象画像としての原画像からTotal Variation法により骨格成分及びテクスチャ成分を分離する。また、画像分離部5bは、第2分離手段として、中間画像生成部5gにより生成された処理対象画像としての中間拡大画像からTotal Variation法により骨格成分を分離する。
なお、画像分離部5bによる処理対象画像からの骨格成分やテクスチャ成分の分離手法として例示したものは、一例であってこれに限られるものではない。
具体的には、画像分離部5bは、第1分離手段として、画像取得部5aにより取得された処理対象画像としての原画像からTotal Variation法により骨格成分及びテクスチャ成分を分離する。また、画像分離部5bは、第2分離手段として、中間画像生成部5gにより生成された処理対象画像としての中間拡大画像からTotal Variation法により骨格成分を分離する。
なお、画像分離部5bによる処理対象画像からの骨格成分やテクスチャ成分の分離手法として例示したものは、一例であってこれに限られるものではない。
中間倍率算出部5cは、原画像(例えば、原画像Go等)の最終拡大倍率よりも小さい中間拡大倍率を算出する。即ち、中間倍率算出部5cは、画像再生モードにて、ユーザによる操作入力部9の選択決定ボタンの所定操作に基づいて設定された原画像(処理対象画像)の拡大倍率(最終拡大倍率)を所定数で除算することで中間拡大倍率を少なくとも一つ算出する。具体的には、中間倍率算出部5cは、最終拡大倍率を約分することにより少なくとも一の約数を中間拡大倍率として算出する。このとき、「1」(等倍)以外の約数が複数算出された場合には、中間倍率算出部5cは、「1」以外で最小の約数を第1中間拡大倍率とし、当該最小の約数以外の約数を第2中間拡大倍率とする。
例えば、最終拡大倍率が「8倍」に設定された場合には、中間倍率算出部5cは、「8」の約数である1、2、4の中で、第1中間拡大倍率として「2倍」を設定し、第2中間拡大倍率として「4倍」を設定する。また、例えば、最終拡大倍率が「50倍」に設定された場合には、中間倍率算出部5cは、「50」の約数である1、2、5、10、25の中で、第1中間拡大倍率として「2倍」を設定し、第2中間拡大倍率として「5倍」、「10倍」及び「25倍」を設定する。ここで、必ずしも最小の約数以外の約数(例えば、「5倍」、「10倍」及び「25倍」)の全てを第2中間拡大倍率として設定する必要はない。また、複数の第2中間拡大倍率の中で処理に用いられる順序は、例えば、小さい順となるが、これに限られるものではなく、大きい順等適宜任意に変更することができる。
例えば、最終拡大倍率が「8倍」に設定された場合には、中間倍率算出部5cは、「8」の約数である1、2、4の中で、第1中間拡大倍率として「2倍」を設定し、第2中間拡大倍率として「4倍」を設定する。また、例えば、最終拡大倍率が「50倍」に設定された場合には、中間倍率算出部5cは、「50」の約数である1、2、5、10、25の中で、第1中間拡大倍率として「2倍」を設定し、第2中間拡大倍率として「5倍」、「10倍」及び「25倍」を設定する。ここで、必ずしも最小の約数以外の約数(例えば、「5倍」、「10倍」及び「25倍」)の全てを第2中間拡大倍率として設定する必要はない。また、複数の第2中間拡大倍率の中で処理に用いられる順序は、例えば、小さい順となるが、これに限られるものではなく、大きい順等適宜任意に変更することができる。
なお、中間拡大倍率は、正の整数に限られるものではなく、最終拡大倍率を所定数で除算することで算出された数であれば良く、正の小数や分数であっても良い。また、最終拡大倍率の除数も整数に限られるものではなく、正の小数や分数であっても良い。
ここで、中間倍率算出部5cは、ユーザによる操作入力部9の所定操作に基づいて指定された最終拡大倍率を所定数で除算することで中間拡大倍率を少なくとも一つ算出する算出手段を構成している。
ここで、中間倍率算出部5cは、ユーザによる操作入力部9の所定操作に基づいて指定された最終拡大倍率を所定数で除算することで中間拡大倍率を少なくとも一つ算出する算出手段を構成している。
骨格拡大部5dは、画像分離部5bにより原画像(例えば、原画像Go等)から分離された骨格成分(例えば、骨格成分Gs等)を中間拡大倍率となるように所定の拡大方法により拡大する。ここで、原画像の第2中間拡大倍率が設定されている場合には、骨格拡大部5dは、中間画像生成部5gの再分離部5i(後述)により第1中間拡大画像から分離された骨格成分を原画像比で第2中間拡大倍率となるように所定の拡大方法により拡大する。
また、骨格拡大部5dは、画像分離部5bにより中間拡大画像(例えば、第1中間拡大画像や第2中間拡大画像(後述)等)から分離された骨格成分を原画像比で最終拡大倍率となるように所定の拡大方法により拡大する。
なお、骨格拡大部5dによる拡大方法としては、例えば、より自然な高精細化を図ることができるバイキュービック法による補間処理を用いた方法が挙げられる。
また、骨格拡大部5dは、画像分離部5bにより中間拡大画像(例えば、第1中間拡大画像や第2中間拡大画像(後述)等)から分離された骨格成分を原画像比で最終拡大倍率となるように所定の拡大方法により拡大する。
なお、骨格拡大部5dによる拡大方法としては、例えば、より自然な高精細化を図ることができるバイキュービック法による補間処理を用いた方法が挙げられる。
フィルタ処理部5eは、骨格拡大部5dにより拡大された骨格成分に対して所定のフィルタリング処理を行う。
具体的には、フィルタ処理部5eは、先ず、所定の鮮鋭化フィルタ(例えば、ラプラシアンフィルタ等)を用いて、骨格拡大部5dにより拡大された骨格成分の画像エッジ(輪郭)を強調する鮮鋭化処理を行う。次に、フィルタ処理部5eは、所定の非等方拡散フィルタ(例えば、Total Variationフィルタ等)を用いて、鮮鋭化処理後の骨格成分の画像エッジの接線方向とエッジの垂直方向とで重みを異ならせて平滑化する非等方拡散処理を行う。
ここで、フィルタ処理部5eが、骨格拡大部5dにより最終拡大倍率となるように拡大された骨格成分を処理対象とした場合には、非等法拡散処理後の骨格成分を最終拡大骨格成分とする。
即ち、骨格拡大部5d及びフィルタ処理部5eは、画像分離部5bにより分離された中間拡大画像の骨格成分を最終拡大倍率となるように拡大して最終拡大骨格成分を生成する骨格拡大手段を構成している。
具体的には、フィルタ処理部5eは、先ず、所定の鮮鋭化フィルタ(例えば、ラプラシアンフィルタ等)を用いて、骨格拡大部5dにより拡大された骨格成分の画像エッジ(輪郭)を強調する鮮鋭化処理を行う。次に、フィルタ処理部5eは、所定の非等方拡散フィルタ(例えば、Total Variationフィルタ等)を用いて、鮮鋭化処理後の骨格成分の画像エッジの接線方向とエッジの垂直方向とで重みを異ならせて平滑化する非等方拡散処理を行う。
ここで、フィルタ処理部5eが、骨格拡大部5dにより最終拡大倍率となるように拡大された骨格成分を処理対象とした場合には、非等法拡散処理後の骨格成分を最終拡大骨格成分とする。
即ち、骨格拡大部5d及びフィルタ処理部5eは、画像分離部5bにより分離された中間拡大画像の骨格成分を最終拡大倍率となるように拡大して最終拡大骨格成分を生成する骨格拡大手段を構成している。
テクスチャ拡大部5fは、画像分離部5bにより原画像(例えば、原画像Go等)から分離されたテクスチャ成分(例えば、テクスチャ成分Gt等)を中間拡大倍率となるように所定の拡大方法により拡大する。ここで、原画像の第2中間拡大倍率が設定されている場合には、テクスチャ拡大部5fは、中間画像生成部5gの再分離部5i(後述)により第1中間拡大画像から分離されたテクスチャ成分を原画像比で第2中間拡大倍率となるように所定の拡大方法により拡大する。
また、テクスチャ拡大部5fは、テクスチャ拡大手段として、画像分離部5bにより原画像(例えば、原画像Go等)から分離されたテクスチャ成分(例えば、テクスチャ成分Gt等)を最終拡大倍率となるように所定の拡大方法により拡大して最終拡大テクスチャ成分を生成する。
なお、テクスチャ拡大部5fによる拡大方法としては、例えば、より自然な高精細化を図ることができるバイキュービック法による補間処理を用いた方法が挙げられる。
また、テクスチャ拡大部5fは、テクスチャ拡大手段として、画像分離部5bにより原画像(例えば、原画像Go等)から分離されたテクスチャ成分(例えば、テクスチャ成分Gt等)を最終拡大倍率となるように所定の拡大方法により拡大して最終拡大テクスチャ成分を生成する。
なお、テクスチャ拡大部5fによる拡大方法としては、例えば、より自然な高精細化を図ることができるバイキュービック法による補間処理を用いた方法が挙げられる。
中間画像生成部5gは、骨格拡大部5dにより拡大された骨格成分とテクスチャ拡大部5fにより拡大されたテクスチャ成分とを合成して中間拡大画像を生成する。
即ち、中間画像生成部5gは、原画像(例えば、原画像Go等)から画像分離部5bにより分離され骨格拡大部5dにより中間拡大倍率となるように拡大された後、フィルタ処理部5eにより所定のフィルタリング処理が施された原画像の骨格成分と、テクスチャ拡大部5fにより中間拡大倍率となるように拡大された原画像のテクスチャ成分とを合成して中間拡大画像を生成する。
ここで、骨格拡大部5d、テクスチャ拡大部5f及び中間画像生成部5gは、画像分離部5bにより分離された原画像の骨格成分及びテクスチャ成分の各々を最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成する中間画像生成手段を構成している。
即ち、中間画像生成部5gは、原画像(例えば、原画像Go等)から画像分離部5bにより分離され骨格拡大部5dにより中間拡大倍率となるように拡大された後、フィルタ処理部5eにより所定のフィルタリング処理が施された原画像の骨格成分と、テクスチャ拡大部5fにより中間拡大倍率となるように拡大された原画像のテクスチャ成分とを合成して中間拡大画像を生成する。
ここで、骨格拡大部5d、テクスチャ拡大部5f及び中間画像生成部5gは、画像分離部5bにより分離された原画像の骨格成分及びテクスチャ成分の各々を最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成する中間画像生成手段を構成している。
また、原画像(例えば、原画像Go等)の第2中間拡大倍率が設定されている場合には、中間画像生成部5gは、骨格拡大部5d及びテクスチャ拡大部5fにより第1中間拡大倍率となるように拡大された原画像の骨格成分及びテクスチャ成分を合成して第1中間拡大画像を生成する。そして、中間画像生成部5gは、再分離部5iにより、第1中間拡大画像から骨格成分及びテクスチャ成分を分離する。ここで、再分離部5iによる骨格成分及びテクスチャ成分の分離は、例えば、Total Variation法により行われるが、画像分離部5bとは処理対象が異なるだけであり、実質的な処理内容は略等しくなっている。なお、再分離部5iによる処理対象画像からの骨格成分やテクスチャ成分の分離手法として例示したものは、一例であってこれに限られるものではない。
そして、再分離部5iによる骨格成分及びテクスチャ成分の分離は、中間倍率算出部5cにより算出された少なくとも一の第2中間拡大倍率が全て用いられるまで行われる。
ここで、再分離部5iは、中間倍率算出部5cにより算出された第1中間拡大倍率よりも大きい第2中間拡大倍率が少なくとも一つある場合に、中間画像生成部5gにより生成された中間拡大画像(例えば、第1中間拡大画像)から骨格成分及びテクスチャ成分を分離する再分離手段を構成している。
そして、再分離部5iによる骨格成分及びテクスチャ成分の分離は、中間倍率算出部5cにより算出された少なくとも一の第2中間拡大倍率が全て用いられるまで行われる。
ここで、再分離部5iは、中間倍率算出部5cにより算出された第1中間拡大倍率よりも大きい第2中間拡大倍率が少なくとも一つある場合に、中間画像生成部5gにより生成された中間拡大画像(例えば、第1中間拡大画像)から骨格成分及びテクスチャ成分を分離する再分離手段を構成している。
また、再分離部5iにより分離された中間拡大画像(例えば、第1中間拡大画像)の骨格成分及びテクスチャ成分の各々については、中間画像生成部5gは、中間倍率算出部5cにより算出された何れか一の第2中間拡大倍率(例えば、第1中間拡大倍率の次に大きい拡大倍率等)となるように骨格拡大部5d及びテクスチャ拡大部5fによって拡大された骨格成分及びテクスチャ成分を合成することで、第2中間拡大画像を新たに生成する。
ここで、中間画像生成部5gによる第2中間拡大画像の新たな生成は、中間倍率算出部5cにより算出された少なくとも一の第2中間拡大倍率が全て用いられるまで行われる。
ここで、中間画像生成部5gによる第2中間拡大画像の新たな生成は、中間倍率算出部5cにより算出された少なくとも一の第2中間拡大倍率が全て用いられるまで行われる。
最終画像生成部5hは、最終拡大骨格成分と最終拡大テクスチャ成分とを合成して最終拡大画像(例えば、最終拡大画像Gf;図5(a)参照)を生成する。
即ち、最終画像生成部5hは、骨格拡大部5dにより最終拡大倍率となるように拡大された骨格成分に対してフィルタ処理部5eにより所定のフィルタリング処理が施されることで生成された最終拡大骨格成分と、テクスチャ拡大部5fにより最終拡大倍率となるように拡大された最終拡大テクスチャ成分とを合成して最終拡大画像を生成する。
ここで、最終画像生成部5hは、骨格拡大部5d及びフィルタ処理部5eにより生成された最終拡大骨格成分と、テクスチャ拡大部5fにより生成された最終拡大テクスチャ成分とを合成して最終拡大画像を生成する最終画像生成手段を構成している。
即ち、最終画像生成部5hは、骨格拡大部5dにより最終拡大倍率となるように拡大された骨格成分に対してフィルタ処理部5eにより所定のフィルタリング処理が施されることで生成された最終拡大骨格成分と、テクスチャ拡大部5fにより最終拡大倍率となるように拡大された最終拡大テクスチャ成分とを合成して最終拡大画像を生成する。
ここで、最終画像生成部5hは、骨格拡大部5d及びフィルタ処理部5eにより生成された最終拡大骨格成分と、テクスチャ拡大部5fにより生成された最終拡大テクスチャ成分とを合成して最終拡大画像を生成する最終画像生成手段を構成している。
表示制御部6は、メモリ4に一時的に記憶されている表示用の画像データを読み出して表示部7に表示させる制御を行う。
具体的には、表示制御部6は、VRAM、VRAMコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部10の制御下にてメモリ4から読み出されてVRAM(図示略)に記憶されている輝度信号Y及び色差信号Cb,Crを、VRAMコントローラを介してVRAMから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部7に出力する。
具体的には、表示制御部6は、VRAM、VRAMコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部10の制御下にてメモリ4から読み出されてVRAM(図示略)に記憶されている輝度信号Y及び色差信号Cb,Crを、VRAMコントローラを介してVRAMから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部7に出力する。
表示部7は、例えば、液晶表示装置であり、表示制御部6からのビデオ信号に基づいて電子撮像部により撮像された画像などを表示画面に表示する。具体的には、表示部7は、静止画撮像モードや動画撮像モードにて、撮像部1による被写体の撮像により生成された複数の画像フレームを所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部7は、記録媒体8に記録されている複数の画像データの中で、ユーザによる操作入力部9の所定操作に基づいて表示指示された画像データを表示する。
記録媒体8は、例えば、不揮発性メモリ(フラッシュメモリ)等により構成され、画像処理部5の符号化部(図示略)により所定の圧縮形式で符号化された記録用の静止画像データや複数の画像フレームからなる動画像データを記憶する。
操作入力部9は、当該撮像装置100の所定操作を行うためのものである。具体的には、操作入力部9は、被写体の撮影指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等を備え(何れも図示略)、これらのボタンの操作に応じて所定の操作信号を中央制御部10に出力する。
また、操作入力部9の選択決定ボタンは、画像再生モードにて、ユーザによる所定操作に基づいて表示部7に表示された原画像(処理対象画像)の拡大倍率(最終拡大倍率)の設定指示を入力する。そして、操作入力部9は、当該選択決定ボタンの操作に応じて所定の設定信号を中央制御部10に出力する。
中央制御部10は、入力された設定信号に従って、ユーザ所望の画像の拡大倍率を設定する。
ここで、操作入力部9及び中央制御部10は、処理対象画像(原画像)の最終拡大倍率を指定する指定手段を構成している。
なお、最終拡大倍率は、正の整数(例えば、「8倍」や「25倍」等)に限られるものではなく、正の小数や分数であっても良い。
中央制御部10は、入力された設定信号に従って、ユーザ所望の画像の拡大倍率を設定する。
ここで、操作入力部9及び中央制御部10は、処理対象画像(原画像)の最終拡大倍率を指定する指定手段を構成している。
なお、最終拡大倍率は、正の整数(例えば、「8倍」や「25倍」等)に限られるものではなく、正の小数や分数であっても良い。
中央制御部10は、撮像装置100の各部を制御するものである。具体的には、中央制御部10は、CPU(図示略)を備え、撮像装置100用の各種処理プログラム(図示略)に従って各種の制御動作を行う。
次に、撮像装置100による画像拡大処理について、図2及び図3を参照して説明する。
図2及び図3は、画像拡大処理に係る動作の一例を示すフローチャートである。
図2及び図3は、画像拡大処理に係る動作の一例を示すフローチャートである。
画像拡大処理は、ユーザによる操作入力部9の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から画像再生モードが選択指示された場合に実行される処理である。
図2に示すように、先ず、ユーザによる操作入力部9の選択決定ボタンの所定操作に基づいて、記録媒体8に記録されている少なくとも一の画像データの中から何れか一の画像データが指定されると、画像処理部5の画像取得部5aは、ユーザにより指定された画像データを処理対象画像として取得する(ステップS1)。これにより、表示部7に処理対象画像(例えば、原画像Go等)が表示された状態となる。
図2に示すように、先ず、ユーザによる操作入力部9の選択決定ボタンの所定操作に基づいて、記録媒体8に記録されている少なくとも一の画像データの中から何れか一の画像データが指定されると、画像処理部5の画像取得部5aは、ユーザにより指定された画像データを処理対象画像として取得する(ステップS1)。これにより、表示部7に処理対象画像(例えば、原画像Go等)が表示された状態となる。
その後、ユーザによる操作入力部9の所定操作に基づいて、表示部7に表示された処理対象画像(例えば、原画像Go等)の最終拡大倍率(例えば、8倍等)が指定されると、操作入力部9は、所定の設定信号を中央制御部10に出力して、中央制御部10は、入力された設定信号に従ってユーザ所望の画像の最終拡大倍率を設定する(ステップS2)。
次に、画像処理部5の中間倍率算出部5cは、設定された処理対象画像の最終拡大倍率を所定数で除算することで中間拡大倍率を少なくとも一つ算出する(ステップS3)。具体的には、例えば、最終拡大倍率が「8倍」に設定された場合、中間倍率算出部5cは、「8」の約数である1、2、4の中で、第1中間拡大倍率として「2倍」を設定し、第2中間拡大倍率として「4倍」を設定する。
次に、画像処理部5の中間倍率算出部5cは、設定された処理対象画像の最終拡大倍率を所定数で除算することで中間拡大倍率を少なくとも一つ算出する(ステップS3)。具体的には、例えば、最終拡大倍率が「8倍」に設定された場合、中間倍率算出部5cは、「8」の約数である1、2、4の中で、第1中間拡大倍率として「2倍」を設定し、第2中間拡大倍率として「4倍」を設定する。
続けて、画像処理部5の画像分離部5bは、処理対象画像としての原画像(例えば、原画像Go等)からTotal Variation法により骨格成分(例えば、骨格成分Gs等)及びテクスチャ成分(例えば、テクスチャ成分Gt等)を分離する(ステップS4)。
なお、分離された骨格成分及びテクスチャ成分の各々は、画像処理部5により並行して、或いは、分離された順に逐次処理されることとなるが、以下の説明では、先ず、骨格成分の処理内容について説明し、その後、テクスチャ成分の処理内容について説明する。
なお、分離された骨格成分及びテクスチャ成分の各々は、画像処理部5により並行して、或いは、分離された順に逐次処理されることとなるが、以下の説明では、先ず、骨格成分の処理内容について説明し、その後、テクスチャ成分の処理内容について説明する。
<骨格成分の処理>
先ず、画像処理部5の骨格拡大部5dは、原画像(例えば、原画像Go等)から分離された骨格成分(例えば、骨格成分Gs等)を第1中間拡大倍率(例えば、「2倍」)となるように所定の拡大方法により拡大する(ステップS51A)。
次に、画像処理部5のフィルタ処理部5eは、骨格拡大部5dにより拡大された骨格成分の画像エッジ(輪郭)を強調する鮮鋭化処理を行った後(ステップS51B)、鮮鋭化処理後の骨格成分の画像エッジの接線方向とエッジの垂直方向とで重みを異ならせて平滑化する非等方拡散処理を行う(ステップS51C)。
先ず、画像処理部5の骨格拡大部5dは、原画像(例えば、原画像Go等)から分離された骨格成分(例えば、骨格成分Gs等)を第1中間拡大倍率(例えば、「2倍」)となるように所定の拡大方法により拡大する(ステップS51A)。
次に、画像処理部5のフィルタ処理部5eは、骨格拡大部5dにより拡大された骨格成分の画像エッジ(輪郭)を強調する鮮鋭化処理を行った後(ステップS51B)、鮮鋭化処理後の骨格成分の画像エッジの接線方向とエッジの垂直方向とで重みを異ならせて平滑化する非等方拡散処理を行う(ステップS51C)。
<テクスチャ成分の処理>
画像処理部5は、原画像(例えば、原画像Go等)から分離されたテクスチャ成分(例えば、テクスチャ成分Gt等)を複製してメモリ4に一時記憶した後(ステップS52A)、テクスチャ拡大部5fは、原画像から分離されたテクスチャ成分を第1中間拡大倍率(例えば、「2倍」)となるように所定の拡大方法により拡大する(ステップS52B)。
画像処理部5は、原画像(例えば、原画像Go等)から分離されたテクスチャ成分(例えば、テクスチャ成分Gt等)を複製してメモリ4に一時記憶した後(ステップS52A)、テクスチャ拡大部5fは、原画像から分離されたテクスチャ成分を第1中間拡大倍率(例えば、「2倍」)となるように所定の拡大方法により拡大する(ステップS52B)。
そして、骨格成分の処理及びテクスチャ成分の処理の終了後、画像処理部5の中間画像生成部5gは、フィルタ処理部5eによる非等方拡散処理後の骨格成分と、テクスチャ拡大部5fにより拡大されたテクスチャ成分とを合成して、第1中間拡大倍率に拡大された第1中間拡大画像を生成する(ステップS6)。
次に、画像処理部5は、中間倍率算出部5cにより算出された第2中間拡大倍率が少なくとも一つあるか否かを判定する(ステップS7)。
次に、画像処理部5は、中間倍率算出部5cにより算出された第2中間拡大倍率が少なくとも一つあるか否かを判定する(ステップS7)。
ステップS7にて、第2中間拡大倍率が少なくとも一つあると判定されると(ステップS7;YES)、即ち、例えば、最終拡大倍率が「8倍」に設定され、中間倍率算出部5cにより「4倍」が第2中間拡大倍率として設定されている場合、第2中間拡大倍率が一つあることから、図3に示すように、中間画像生成部5gの再分離部5iは、第1中間拡大画像からTotal Variation法により骨格成分及びテクスチャ成分を分離する(ステップS8)。
なお、分離された骨格成分及びテクスチャ成分の各々は、画像処理部5により並行して、或いは、分離された順に逐次処理されることとなるが、以下の説明では、先ず、骨格成分の処理内容について説明し、その後、テクスチャ成分の処理内容について説明する。
なお、分離された骨格成分及びテクスチャ成分の各々は、画像処理部5により並行して、或いは、分離された順に逐次処理されることとなるが、以下の説明では、先ず、骨格成分の処理内容について説明し、その後、テクスチャ成分の処理内容について説明する。
<骨格成分の処理>
以下に説明する第1中間拡大画像から分離された骨格成分の処理は、拡大倍率が異なる以外は、原画像から分離された骨格成分の処理(ステップS51A〜S51C)と略同様となっている。
即ち、先ず、画像処理部5の骨格拡大部5dは、第1中間拡大画像から分離された骨格成分を原画像比で第2中間拡大倍率(例えば、「4倍」)となるように所定の拡大方法により拡大する(ステップS91A)。具体的には、例えば、画像処理部5の骨格拡大部5dは、第1中間拡大画像から分離された骨格成分を「2倍」に拡大することで、原画像比で「4倍」となる第2中間拡大倍率の骨格成分を生成する。
以下に説明する第1中間拡大画像から分離された骨格成分の処理は、拡大倍率が異なる以外は、原画像から分離された骨格成分の処理(ステップS51A〜S51C)と略同様となっている。
即ち、先ず、画像処理部5の骨格拡大部5dは、第1中間拡大画像から分離された骨格成分を原画像比で第2中間拡大倍率(例えば、「4倍」)となるように所定の拡大方法により拡大する(ステップS91A)。具体的には、例えば、画像処理部5の骨格拡大部5dは、第1中間拡大画像から分離された骨格成分を「2倍」に拡大することで、原画像比で「4倍」となる第2中間拡大倍率の骨格成分を生成する。
次に、画像処理部5のフィルタ処理部5eは、骨格拡大部5dにより拡大された骨格成分の画像エッジ(輪郭)を強調する鮮鋭化処理を行った後(ステップS91B)、鮮鋭化処理後の骨格成分の画像エッジの接線方向とエッジの垂直方向とで重みを異ならせて平滑化する非等方拡散処理を行う(ステップS91C)。
<テクスチャ成分の処理>
画像処理部5のテクスチャ拡大部5fは、原画像から分離されたテクスチャ成分の処理(ステップS52B)と略同様に、第1中間拡大画像から分離されたテクスチャ成分を原画像比で第2中間拡大倍率(例えば、「4倍」)となるように所定の拡大方法により拡大する(ステップS92)。具体的には、例えば、画像処理部5のテクスチャ拡大部5fは、第1中間拡大画像から分離されたテクスチャ成分を「2倍」に拡大することで、原画像比で「4倍」となる第2中間拡大倍率のテクスチャ成分を生成する。
画像処理部5のテクスチャ拡大部5fは、原画像から分離されたテクスチャ成分の処理(ステップS52B)と略同様に、第1中間拡大画像から分離されたテクスチャ成分を原画像比で第2中間拡大倍率(例えば、「4倍」)となるように所定の拡大方法により拡大する(ステップS92)。具体的には、例えば、画像処理部5のテクスチャ拡大部5fは、第1中間拡大画像から分離されたテクスチャ成分を「2倍」に拡大することで、原画像比で「4倍」となる第2中間拡大倍率のテクスチャ成分を生成する。
そして、骨格成分の処理及びテクスチャ成分の処理の終了後、画像処理部5の中間画像生成部5gは、フィルタ処理部5eによる非等方拡散処理後の骨格成分と、テクスチャ拡大部5fにより拡大されたテクスチャ成分とを合成して、第2中間拡大倍率に拡大された第2中間拡大画像を生成する(ステップS10)。
次に、画像処理部5は、中間倍率算出部5cにより算出された第2中間拡大倍率が他にあるか否かを判定する(ステップS11)。
次に、画像処理部5は、中間倍率算出部5cにより算出された第2中間拡大倍率が他にあるか否かを判定する(ステップS11)。
ステップS11にて、第2中間拡大倍率が他にあると判定されると(ステップS7;YES)、画像処理部5は、処理をステップS8に移行して、それ以降の処理を実行する。
ステップS8以降の処理は、ステップS11にて、第2中間拡大倍率が他にないと判定されるまで(ステップS11;NO)、繰り返し行われる。これにより、画像処理部5は、中間倍率算出部5cにより算出された全ての第2中間拡大倍率を処理に用いることで、最終的に、最終拡大倍率の次に小さい第2中間拡大倍率に拡大された第2中間拡大画像を生成する。
ステップS8以降の処理は、ステップS11にて、第2中間拡大倍率が他にないと判定されるまで(ステップS11;NO)、繰り返し行われる。これにより、画像処理部5は、中間倍率算出部5cにより算出された全ての第2中間拡大倍率を処理に用いることで、最終的に、最終拡大倍率の次に小さい第2中間拡大倍率に拡大された第2中間拡大画像を生成する。
そして、ステップS11にて、第2中間拡大倍率が他にないと判定されると(ステップS11;NO)、骨格成分及びテクスチャ成分の各々について処理を個別に行う。また、ステップS7にて、第2中間拡大倍率が少なくとも一つないと判定された場合にも(ステップS7;NO)、骨格成分及びテクスチャ成分の各々について処理を個別に行う。
なお、骨格成分及びテクスチャ成分の各々は、画像処理部5により並行して、或いは、分離された順に逐次処理されることとなるが、以下の説明では、先ず、骨格成分の処理内容について説明し、その後、テクスチャ成分の処理内容について説明する。
なお、骨格成分及びテクスチャ成分の各々は、画像処理部5により並行して、或いは、分離された順に逐次処理されることとなるが、以下の説明では、先ず、骨格成分の処理内容について説明し、その後、テクスチャ成分の処理内容について説明する。
<骨格成分の処理>
先ず、画像処理部5の画像分離部5bは、第2中間拡大画像からTotal Variation法により骨格成分を分離する(ステップS121A)。
次に、第1中間拡大画像から分離された骨格成分の処理(ステップS91A)と略同様に、画像処理部5の骨格拡大部5dは、第2中間拡大画像から分離された骨格成分を原画像比で最終拡大倍率(例えば、「8倍」)となるように所定の拡大方法により拡大する(ステップS121B)。具体的には、例えば、画像処理部5の骨格拡大部5dは、第2中間拡大画像から分離された骨格成分を「2倍」に拡大することで、原画像比で「8倍」となる最終拡大倍率の骨格成分を生成する。
先ず、画像処理部5の画像分離部5bは、第2中間拡大画像からTotal Variation法により骨格成分を分離する(ステップS121A)。
次に、第1中間拡大画像から分離された骨格成分の処理(ステップS91A)と略同様に、画像処理部5の骨格拡大部5dは、第2中間拡大画像から分離された骨格成分を原画像比で最終拡大倍率(例えば、「8倍」)となるように所定の拡大方法により拡大する(ステップS121B)。具体的には、例えば、画像処理部5の骨格拡大部5dは、第2中間拡大画像から分離された骨格成分を「2倍」に拡大することで、原画像比で「8倍」となる最終拡大倍率の骨格成分を生成する。
次に、第1中間拡大画像から分離された骨格成分の処理(ステップS91B〜S91C)と略同様に、画像処理部5のフィルタ処理部5eは、骨格拡大部5dにより拡大された骨格成分の画像エッジ(輪郭)を強調する鮮鋭化処理を行った後(ステップS121C)、鮮鋭化処理後の骨格成分の画像エッジの接線方向とエッジの垂直方向とで重みを異ならせて平滑化する非等方拡散処理を行う(ステップS121D)。
そして、非等法拡散処理後の骨格成分を最終拡大骨格成分とする。
そして、非等法拡散処理後の骨格成分を最終拡大骨格成分とする。
<テクスチャ成分の処理>
画像処理部5は、原画像(例えば、原画像Go等)から分離されたテクスチャ成分(例えば、テクスチャ成分Gt等)の複製をメモリ4から取得した後(ステップS122A)、テクスチャ拡大部5fは、原画像から分離されたテクスチャ成分を最終拡大倍率(例えば、「8倍」)となるように所定の拡大方法により拡大して、最終拡大テクスチャ成分を生成する(ステップS122B)。
画像処理部5は、原画像(例えば、原画像Go等)から分離されたテクスチャ成分(例えば、テクスチャ成分Gt等)の複製をメモリ4から取得した後(ステップS122A)、テクスチャ拡大部5fは、原画像から分離されたテクスチャ成分を最終拡大倍率(例えば、「8倍」)となるように所定の拡大方法により拡大して、最終拡大テクスチャ成分を生成する(ステップS122B)。
そして、骨格成分の処理及びテクスチャ成分の処理の終了後、画像処理部5の最終画像生成部5hは、最終拡大骨格成分と最終拡大テクスチャ成分とを合成して、最終拡大倍率(例えば、「8倍」)に拡大された最終拡大画像(例えば、最終拡大画像Gf;図5(a)参照)を生成する(ステップS13)。
これにより、画像拡大処理を終了する。
これにより、画像拡大処理を終了する。
以上のように、本実施形態の撮像装置100によれば、原画像(例えば、原画像Go等)からTotal Variation法により分離された骨格成分(例えば、骨格成分Gs等)及びテクスチャ成分(例えば、テクスチャ成分Gt等)の各々を中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成した後、中間拡大画像からTotal Variation法により分離された骨格成分を最終拡大倍率となるように拡大して生成された最終拡大骨格成分と、原画像のテクスチャ成分を最終拡大倍率に拡大して生成された最終拡大テクスチャ成分とを合成して最終拡大画像(例えば、最終拡大画像Gf;図5(a)参照)を生成するので、実質的にテクスチャ成分を重ねて足し込むことで細かな模様(テクスチャ)を強調しつつ、ノイズの目立ち難い最終拡大画像を生成することができる。
即ち、中間拡大画像の生成段階及び最終拡大画像の生成段階の各々にて、細かな模様(テクスチャ)を含むテクスチャ成分を足し込んで合成することで、各画像にて細かな模様を強調させることができる。また、骨格成分を指定された最終拡大倍率となるように一回で拡大するのではなく段階的に拡大することにより、従来の手法により拡大された画像(例えば、画像Ge等;図5(b)参照)に比べて画質の劣化を抑制して高精細化を図ることができる。この結果、より高精細な最終拡大骨格成分を生成することができ、当該最終拡大骨格成分とノイズを含む最終拡大テクスチャ成分とを合成して生成される最終拡大画像(例えば、最終拡大画像Gf)に生じるノイズを相対的に目立ち難くすることができる。
従って、原画像の拡大倍率を大きくしても、従来の手法により拡大された画像のように画像エッジがぼやけたりノイズの増大により拡大画像の画質を劣化させることなく、最終拡大画像の画像エッジを強調して当該最終拡大画像の高精細化を適正に図ることができる。
即ち、中間拡大画像の生成段階及び最終拡大画像の生成段階の各々にて、細かな模様(テクスチャ)を含むテクスチャ成分を足し込んで合成することで、各画像にて細かな模様を強調させることができる。また、骨格成分を指定された最終拡大倍率となるように一回で拡大するのではなく段階的に拡大することにより、従来の手法により拡大された画像(例えば、画像Ge等;図5(b)参照)に比べて画質の劣化を抑制して高精細化を図ることができる。この結果、より高精細な最終拡大骨格成分を生成することができ、当該最終拡大骨格成分とノイズを含む最終拡大テクスチャ成分とを合成して生成される最終拡大画像(例えば、最終拡大画像Gf)に生じるノイズを相対的に目立ち難くすることができる。
従って、原画像の拡大倍率を大きくしても、従来の手法により拡大された画像のように画像エッジがぼやけたりノイズの増大により拡大画像の画質を劣化させることなく、最終拡大画像の画像エッジを強調して当該最終拡大画像の高精細化を適正に図ることができる。
また、第1中間拡大倍率よりも大きい第2中間拡大倍率が少なくとも一つある場合に、中間拡大画像からTotal Variation法により骨格成分及びテクスチャ成分を再分離して、当該中間拡大画像の骨格成分及びテクスチャ成分の各々を何れか一の第2中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して新たな中間拡大画像を生成するので、指定される最終拡大倍率が大きくなっても中間拡大倍率を複数設定して中間拡大画像を複数回生成することができる。これにより、最終拡大倍率となるように一回で拡大する場合に比べて拡大画像の画質の劣化を抑制して高精細化を図ることができ、より高精細な最終拡大骨格成分を生成することで、最終拡大画像(例えば、最終拡大画像Gf)に生じるノイズを相対的に目立ち難くすることができる。
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、原画像にバイラテラルフィルタを数回施すことで骨格画像を得て、この骨格画像を原画像から差し引くことでテクスチャ画像を得るようにしても良い。又、テクスチャ画像を輝度のみではなく色差を含むものとしても良い。また、中間拡大倍率として、第1中間拡大倍率と第2中間拡大倍率を設定するようにしたが、これに限られるものではなく、中間拡大倍率を少なくとも一つ設定すれば良い。例えば、最終拡大倍率が「4倍」等に設定された場合には、「4」の約数である1、2の中で、「1」以外の「2倍」のみを中間拡大倍率として設定する。
例えば、原画像にバイラテラルフィルタを数回施すことで骨格画像を得て、この骨格画像を原画像から差し引くことでテクスチャ画像を得るようにしても良い。又、テクスチャ画像を輝度のみではなく色差を含むものとしても良い。また、中間拡大倍率として、第1中間拡大倍率と第2中間拡大倍率を設定するようにしたが、これに限られるものではなく、中間拡大倍率を少なくとも一つ設定すれば良い。例えば、最終拡大倍率が「4倍」等に設定された場合には、「4」の約数である1、2の中で、「1」以外の「2倍」のみを中間拡大倍率として設定する。
また、撮像装置100の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。例えば、処理対象画像の撮像は、当該撮像装置100とは異なる撮像装置にて行い、この撮像装置から転送された処理対象画像の画像データを取得して、画像拡大処理を行う画像処理装置であっても良い。
加えて、上記実施形態にあっては、取得手段、指定手段、第1分離手段、中間画像生成手段、第2分離手段、骨格拡大手段、テクスチャ拡大手段、最終画像生成手段としての機能を、中央制御部10、操作入力部9、画像処理部5の画像取得部5a、画像分離部5b、骨格拡大部5d、テクスチャ拡大部5f、中間画像生成部5g、最終画像生成部5hが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部10のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ4(図示略)に、取得処理ルーチン、指定処理ルーチン、第1分離処理ルーチン、中間画像生成処理ルーチン、第2分離処理ルーチン、骨格拡大処理ルーチン、テクスチャ拡大処理ルーチン、最終画像生成処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部10のCPUを、画像を取得する取得手段として機能させるようにしても良い。また、指定処理ルーチンにより中央制御部10のCPUを、取得手段により取得された原画像の最終拡大倍率を指定する指定手段として機能させるようにしても良い。また、第1分離処理ルーチンにより中央制御部10のCPUを、取得手段により取得された原画像から骨格成分及びテクスチャ成分を分離する第1分離手段として機能させるようにしても良い。また、中間画像生成処理ルーチンにより中央制御部10のCPUを、第1分離手段により分離された原画像の骨格成分及びテクスチャ成分の各々を最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成する中間画像生成手段として機能させるようにしても良い。また、第2分離処理ルーチンにより中央制御部10のCPUを、中間画像生成手段により生成された中間拡大画像から骨格成分を分離する第2分離手段として機能させるようにしても良い。また、骨格拡大処理ルーチンにより中央制御部10のCPUを、第2分離手段により分離された中間拡大画像の骨格成分を最終拡大倍率となるように拡大して最終拡大骨格成分を生成する骨格拡大手段として機能させるようにしても良い。また、テクスチャ拡大処理ルーチンにより中央制御部10のCPUを、第1分離手段により分離された原画像のテクスチャ成分を最終拡大倍率に拡大して最終拡大テクスチャ成分を生成するテクスチャ拡大手段として機能させるようにしても良い。また、骨格拡大処理ルーチンにより中央制御部10のCPUを、骨格拡大手段により生成された最終拡大骨格成分とテクスチャ拡大手段により生成された最終拡大テクスチャ成分とを合成して最終拡大画像を生成する最終画像生成手段として機能させるようにしても良い。
即ち、プログラムを記憶するプログラムメモリ4(図示略)に、取得処理ルーチン、指定処理ルーチン、第1分離処理ルーチン、中間画像生成処理ルーチン、第2分離処理ルーチン、骨格拡大処理ルーチン、テクスチャ拡大処理ルーチン、最終画像生成処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部10のCPUを、画像を取得する取得手段として機能させるようにしても良い。また、指定処理ルーチンにより中央制御部10のCPUを、取得手段により取得された原画像の最終拡大倍率を指定する指定手段として機能させるようにしても良い。また、第1分離処理ルーチンにより中央制御部10のCPUを、取得手段により取得された原画像から骨格成分及びテクスチャ成分を分離する第1分離手段として機能させるようにしても良い。また、中間画像生成処理ルーチンにより中央制御部10のCPUを、第1分離手段により分離された原画像の骨格成分及びテクスチャ成分の各々を最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成する中間画像生成手段として機能させるようにしても良い。また、第2分離処理ルーチンにより中央制御部10のCPUを、中間画像生成手段により生成された中間拡大画像から骨格成分を分離する第2分離手段として機能させるようにしても良い。また、骨格拡大処理ルーチンにより中央制御部10のCPUを、第2分離手段により分離された中間拡大画像の骨格成分を最終拡大倍率となるように拡大して最終拡大骨格成分を生成する骨格拡大手段として機能させるようにしても良い。また、テクスチャ拡大処理ルーチンにより中央制御部10のCPUを、第1分離手段により分離された原画像のテクスチャ成分を最終拡大倍率に拡大して最終拡大テクスチャ成分を生成するテクスチャ拡大手段として機能させるようにしても良い。また、骨格拡大処理ルーチンにより中央制御部10のCPUを、骨格拡大手段により生成された最終拡大骨格成分とテクスチャ拡大手段により生成された最終拡大テクスチャ成分とを合成して最終拡大画像を生成する最終画像生成手段として機能させるようにしても良い。
100 撮像装置
5 画像処理部
5a 画像取得部
5b 画像分離部
5c 中間倍率算出部
5d 骨格拡大部
5f テクスチャ拡大部
5g 中間画像生成部
5h 最終画像生成部
5i 再分離部
9 操作入力部
10 中央制御部
5 画像処理部
5a 画像取得部
5b 画像分離部
5c 中間倍率算出部
5d 骨格拡大部
5f テクスチャ拡大部
5g 中間画像生成部
5h 最終画像生成部
5i 再分離部
9 操作入力部
10 中央制御部
Claims (5)
- 原画像を取得する取得手段と、
この取得手段により取得された原画像の最終拡大倍率を指定する指定手段と、
前記取得手段により取得された原画像から骨格成分及びテクスチャ成分を分離する第1分離手段と、
この第1分離手段により分離された前記原画像の骨格成分及びテクスチャ成分の各々を前記最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成する中間画像生成手段と、
この中間画像生成手段により生成された前記中間拡大画像から骨格成分を分離する第2分離手段と、
この第2分離手段により分離された前記中間拡大画像の骨格成分を前記最終拡大倍率となるように拡大して最終拡大骨格成分を生成する骨格拡大手段と、
前記第1分離手段により分離された前記原画像のテクスチャ成分を前記最終拡大倍率に拡大して最終拡大テクスチャ成分を生成するテクスチャ拡大手段と、
前記骨格拡大手段により生成された前記最終拡大骨格成分と前記テクスチャ拡大手段により生成された前記最終拡大テクスチャ成分とを合成して最終拡大画像を生成する最終画像生成手段と、
を備えることを特徴とする画像処理装置。 - 前記指定手段により指定された前記最終拡大倍率を所定数で除算することで前記中間拡大倍率を少なくとも一つ算出する算出手段を更に備え、
前記中間画像生成手段は、
前記原画像の骨格成分及びテクスチャ成分の各々を前記算出手段により算出された前記少なくとも一の中間拡大倍率となるように拡大することを特徴とする請求項1に記載の画像処理装置。 - 前記中間画像生成手段は、
前記原画像の骨格成分及びテクスチャ成分の各々を、前記算出手段により算出された第1中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成し、
前記算出手段により算出された前記第1中間拡大倍率よりも大きい第2中間拡大倍率が少なくとも一つある場合に、前記中間画像生成手段により生成された中間拡大画像から骨格成分及びテクスチャ成分を分離する再分離手段を更に備え、
前記中間画像生成手段は、更に、
前記再分離手段により分離された前記中間拡大画像の骨格成分及びテクスチャ成分の各々を、前記算出手段により算出された前記少なくとも一の第2中間拡大倍率の中で何れか一の第2中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して新たな中間拡大画像を生成し、
前記再分離手段による骨格成分及びテクスチャ成分の分離、並びに前記中間画像生成手段による新たな中間拡大画像の生成は、前記算出手段により算出された前記少なくとも一の第2中間拡大倍率が全て用いられるまで行われることを特徴とする請求項2に記載の画像処理装置。 - 画像処理装置を用いた画像処理方法であって、
原画像を取得するステップと、
取得された原画像の最終拡大倍率を指定するステップと、
取得された原画像から骨格成分及びテクスチャ成分を分離するステップと、
分離された前記原画像の骨格成分及びテクスチャ成分の各々を前記最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成するステップと、
生成された前記中間拡大画像から骨格成分を分離するステップと、
分離された前記中間拡大画像の骨格成分を前記最終拡大倍率となるように拡大して最終拡大骨格成分を生成するステップと、
分離された前記原画像のテクスチャ成分を前記最終拡大倍率に拡大して最終拡大テクスチャ成分を生成するステップと、
生成された前記最終拡大骨格成分と前記最終拡大テクスチャ成分とを合成して最終拡大画像を生成するステップと、
を実行することを特徴とする画像処理方法。 - 画像処理装置のコンピュータを、
原画像を取得する取得手段、
この取得手段により取得された原画像の最終拡大倍率を指定する指定手段、
前記取得手段により取得された原画像から骨格成分及びテクスチャ成分を分離する第1分離手段、
この第1分離手段により分離された前記原画像の骨格成分及びテクスチャ成分の各々を前記最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成する中間画像生成手段、
この中間画像生成手段により生成された前記中間拡大画像から骨格成分を分離する第2分離手段、
この第2分離手段により分離された前記中間拡大画像の骨格成分を前記最終拡大倍率となるように拡大して最終拡大骨格成分を生成する骨格拡大手段、
前記第1分離手段により分離された前記原画像のテクスチャ成分を前記最終拡大倍率に拡大して最終拡大テクスチャ成分を生成するテクスチャ拡大手段、
前記骨格拡大手段により生成された前記最終拡大骨格成分と前記テクスチャ拡大手段により生成された前記最終拡大テクスチャ成分とを合成して最終拡大画像を生成する最終画像生成手段、
として機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011211454A JP2012018688A (ja) | 2011-09-27 | 2011-09-27 | 画像処理装置、画像処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011211454A JP2012018688A (ja) | 2011-09-27 | 2011-09-27 | 画像処理装置、画像処理方法及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009225732A Division JP4844664B2 (ja) | 2009-09-30 | 2009-09-30 | 画像処理装置、画像処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012018688A true JP2012018688A (ja) | 2012-01-26 |
Family
ID=45603852
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011211454A Pending JP2012018688A (ja) | 2011-09-27 | 2011-09-27 | 画像処理装置、画像処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012018688A (ja) |
-
2011
- 2011-09-27 JP JP2011211454A patent/JP2012018688A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4844664B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US9058640B2 (en) | Image processing apparatus, image processing method and recording medium | |
JP4947136B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2011114823A (ja) | 画像処理装置及び撮像装置 | |
JP2011109496A (ja) | 撮像装置 | |
JP2017175319A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5212046B2 (ja) | デジタルカメラおよび画像処理装置並びに画像処理プログラム | |
JP2013219589A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP5589660B2 (ja) | 画像処理装置、撮像装置及び画像処理プログラム | |
JP6929711B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
JP5943613B2 (ja) | 画像処理装置及び画像処理装置の制御方法 | |
JP2010041497A (ja) | 画像処理装置、電子機器及び画像処理方法 | |
JP5197064B2 (ja) | ビデオカメラ | |
JP2005117399A (ja) | 画像処理装置 | |
JP7183015B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6157274B2 (ja) | 撮像装置、情報処理方法及びプログラム | |
JP5952573B2 (ja) | 画像処理装置およびその制御方法 | |
JP2012018688A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2011151454A (ja) | 画像処理装置、撮像機器及び画像処理方法 | |
JP2020149589A (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP6087720B2 (ja) | 撮像装置及びその制御方法 | |
JP5191941B2 (ja) | 撮像装置、画像処理装置、画像処理方法、および、画像処理プログラム | |
JP5676972B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体 | |
JP5836109B2 (ja) | 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム | |
JP2017091044A (ja) | 画像処理装置および画像処理方法 |