JP2015166976A - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2015166976A JP2015166976A JP2014041521A JP2014041521A JP2015166976A JP 2015166976 A JP2015166976 A JP 2015166976A JP 2014041521 A JP2014041521 A JP 2014041521A JP 2014041521 A JP2014041521 A JP 2014041521A JP 2015166976 A JP2015166976 A JP 2015166976A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frequency component
- high frequency
- interpolation
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 94
- 238000003672 processing method Methods 0.000 title claims description 4
- 230000035939 shock Effects 0.000 claims abstract description 31
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 230000004069 differentiation Effects 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 abstract description 4
- 238000000034 method Methods 0.000 description 53
- 230000008569 process Effects 0.000 description 25
- 101000983850 Homo sapiens Phosphatidate phosphatase LPIN3 Proteins 0.000 description 24
- 102100025728 Phosphatidate phosphatase LPIN3 Human genes 0.000 description 24
- KXRZBTAEDBELFD-UHFFFAOYSA-N sulfamethopyrazine Chemical compound COC1=NC=CN=C1NS(=O)(=O)C1=CC=C(N)C=C1 KXRZBTAEDBELFD-UHFFFAOYSA-N 0.000 description 24
- 102100036250 GPI mannosyltransferase 4 Human genes 0.000 description 11
- 101001074618 Homo sapiens GPI mannosyltransferase 4 Proteins 0.000 description 11
- 101000648528 Homo sapiens Transmembrane protein 50A Proteins 0.000 description 11
- 102100028770 Transmembrane protein 50A Human genes 0.000 description 11
- 230000008859 change Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 238000011158 quantitative evaluation Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
【課題】演算量がより少なく、実装性がより高い超解像技術を実現すること。【解決手段】入力された画像を線形補間する補間手段と、前記補間手段によって線形補間された画像の高周波数成分を抽出する高周波数成分抽出手段と、前記高周波数成分抽出手段によって抽出された高周波数成分をショックフィルタによって鮮鋭化する高周波数成分鮮鋭化手段と、前記補間手段によって線形補間された画像と、前記高周波数成分鮮鋭化手段によって鮮鋭化された高周波数成分とを加算して高解像度画像を生成する高解像度画像生成手段と、を備えることを特徴とする画像処理装置。【選択図】図２
Description
本発明は、画像のサイズを変更する画像処理装置、画像処理方法及びプログラムに関する。
従来、デジタル画像のサイズを拡大し、より大きいサイズの画像として表示する技術が知られている。
例えば、非特許文献１に記載の技術では、入力された低解像度の画像を線形補間により所望サイズに拡大した後に、高周波数成分を強調し、高い鮮鋭感の画像を生成する手法が提案されている。
非特許文献１に記載の技術では、線形補間により拡大した初期画像に対して高域通過フィルタを適用して高周波数成分を算出し、その高周波数成分に対してｙ=ａｘ３（０＜ａ＜１）の非線形処理を適用している。そして、修正された高周波数成分を初期画像に加算することにより、高解像度画像を生成している。
例えば、非特許文献１に記載の技術では、入力された低解像度の画像を線形補間により所望サイズに拡大した後に、高周波数成分を強調し、高い鮮鋭感の画像を生成する手法が提案されている。
非特許文献１に記載の技術では、線形補間により拡大した初期画像に対して高域通過フィルタを適用して高周波数成分を算出し、その高周波数成分に対してｙ=ａｘ３（０＜ａ＜１）の非線形処理を適用している。そして、修正された高周波数成分を初期画像に加算することにより、高解像度画像を生成している。
Ｓ． Ｇｏｈｓｈｉ， Ｍ． Ｔｅｒａｇａｗａ． Ｈ． Ｍｉｋａｍｉ， ａｎｄ Ｓ． Ｉｍａｉ，"非線形特性を応用した画像の超解像度化"，情報科学技術フォーラム,ｐｐ.７-１２,２００９.
しかしながら、非特許文献１に記載された技術においては、非線形処理によって変調が行われることで、より高い周波数成分を生成しているものの、その生成された周波数成分を加算した結果の高解像度画像が、自然画像として違和感がなく鮮鋭感の高い画像となるかは保証されていない。そのため、非特許文献１に記載された技術では、優れた高解像度画像を生成するためには、画像に依存する様々なパラメータの調整が必要となる。さらに、３次の非線形処理には多くの演算量が必要であり、非特許文献１に記載の技術は、実装性が低く実用性が高いとは言えない。
即ち、従来の技術においては、演算量が多く、実装性の高い超解像技術を実現することは困難であった。
即ち、従来の技術においては、演算量が多く、実装性の高い超解像技術を実現することは困難であった。
本発明の課題は、演算量がより少なく、実装性がより高い超解像技術を実現することである。
上記課題を解決するため、本発明の一態様の画像処理装置は、
入力された画像を線形補間する補間手段と、
前記補間手段によって線形補間された画像の高周波数成分を抽出する高周波数成分抽出手段と、
前記高周波数成分抽出手段によって抽出された高周波数成分をショックフィルタによって強調する高周波数成分強調手段と、
前記補間手段によって線形補間された画像と、前記高周波数成分強調手段によって強調された高周波数成分とを加算して高解像度画像を生成する高解像度画像生成手段と、
を備える。
入力された画像を線形補間する補間手段と、
前記補間手段によって線形補間された画像の高周波数成分を抽出する高周波数成分抽出手段と、
前記高周波数成分抽出手段によって抽出された高周波数成分をショックフィルタによって強調する高周波数成分強調手段と、
前記補間手段によって線形補間された画像と、前記高周波数成分強調手段によって強調された高周波数成分とを加算して高解像度画像を生成する高解像度画像生成手段と、
を備える。
本発明によれば、演算量がより少なく、実装性がより高い超解像技術を実現することが可能となる。
以下、本発明の実施形態について、図面を用いて説明する。
［第１実施形態］
［ハードウェア構成］
図１は、本発明における画像処理装置１のハードウェア構成例を示すブロック図である。
なお、画像処理装置１は、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）によって構成される。
図１において、画像処理装置１は、制御部１０と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０と、入力部４０と、出力部５０と、通信部６０と、ドライブ７０と、記憶部８０と、を備えている。
［第１実施形態］
［ハードウェア構成］
図１は、本発明における画像処理装置１のハードウェア構成例を示すブロック図である。
なお、画像処理装置１は、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）によって構成される。
図１において、画像処理装置１は、制御部１０と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０と、入力部４０と、出力部５０と、通信部６０と、ドライブ７０と、記憶部８０と、を備えている。
制御部１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算処理装置によって構成され、画像処理装置１全体の動作を制御する。例えば、制御部１０は、解像度変更処理（後述）のためのプログラム等、ＲＯＭ３０に記憶されている各種プログラムに従って各種の処理を実行する。
ＲＡＭ２０は、制御部１０が各種処理を実行するためのワークエリアを形成する。
ＲＯＭ３０は、制御部１０が実行するプログラムや画像処理装置１の各種設定に関するデータ等の情報を記憶する。
ＲＡＭ２０は、制御部１０が各種処理を実行するためのワークエリアを形成する。
ＲＯＭ３０は、制御部１０が実行するプログラムや画像処理装置１の各種設定に関するデータ等の情報を記憶する。
入力部４０は、キーボードやマウス、あるいはタッチパネル等、画像処理装置１に対して各種情報の入力を行う装置によって構成される。
出力部５０は、ディスプレイやスピーカー等、画像や音声の出力を行う装置によって構成される。
通信部６０は、インターネット等のネットワークや赤外線通信等のリンクを介して他の装置（図示せず）との間で行う通信を制御する。
ドライブ７０には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等のリムーバブルメディア７１が適宜装着される。そして、ドライブ７０は、装着されたリムーバブルメディア７１におけるデータの読み出し及びデータの書き込みを行う。ドライブ７０によってリムーバブルメディア７１から読み出されたプログラムは、必要に応じて記憶部８０にインストールされる。また、リムーバブルメディア７１は、記憶部８０に記憶されている画像のデータ等の各種データも、記憶部８０と同様に記憶することができる。
出力部５０は、ディスプレイやスピーカー等、画像や音声の出力を行う装置によって構成される。
通信部６０は、インターネット等のネットワークや赤外線通信等のリンクを介して他の装置（図示せず）との間で行う通信を制御する。
ドライブ７０には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等のリムーバブルメディア７１が適宜装着される。そして、ドライブ７０は、装着されたリムーバブルメディア７１におけるデータの読み出し及びデータの書き込みを行う。ドライブ７０によってリムーバブルメディア７１から読み出されたプログラムは、必要に応じて記憶部８０にインストールされる。また、リムーバブルメディア７１は、記憶部８０に記憶されている画像のデータ等の各種データも、記憶部８０と同様に記憶することができる。
記憶部８０は、ハードディスクあるいはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のストレージデバイスによって構成され、各種プログラムやデータを記憶する。本実施形態において、解像度変更処理の対象となる画像のデータは、通信部６０あるいはドライブ７０を介して取得され、記憶部８０に記憶されている。
［機能的構成］
次に、画像処理装置１の機能的構成について説明する。
図２は、第１実施形態における画像処理装置１の機能的構成を示すブロック図である。
図２に示す機能的構成は、制御部１０が解像度変更処理のためのプログラムを実行することによって実現される。
図２において、画像処理装置１は、機能的構成として、画像取得部１１０と、補間処理部１２０と、高周波数成分画像生成部１３０と、ショックフィルタ処理部１４０と、高解像度画像生成部１５０と、を備えている。
次に、画像処理装置１の機能的構成について説明する。
図２は、第１実施形態における画像処理装置１の機能的構成を示すブロック図である。
図２に示す機能的構成は、制御部１０が解像度変更処理のためのプログラムを実行することによって実現される。
図２において、画像処理装置１は、機能的構成として、画像取得部１１０と、補間処理部１２０と、高周波数成分画像生成部１３０と、ショックフィルタ処理部１４０と、高解像度画像生成部１５０と、を備えている。
画像取得部１１０は、記憶部８０に記憶された画像の中から、高解像度画像を生成するための原画像を取得する。なお、取得する原画像は、入力部４０等を介して、ユーザによって指定される。画像取得部１１０が取得する画像としては、静止画像の他、動画像を構成するフレームの画像とすることができる。また、画像取得部１１０は、高解像度画像を生成するための原画像を通信部６０を介して外部から適宜取得したり、ドライブ７０を介してリムーバブルメディア７１から適宜取得したりすることができる。
補間処理部１２０は、画像取得部１１０によって取得された原画像を線形補間することにより拡大し、目的とする高解像度画像と同サイズの初期画像を生成する。例えば、補間処理部１２０は、Ｂｉｌｉｎｅａｒ法あるいはＢｉｃｕｂｉｃ法によって、原画像を線形補間する。
補間処理部１２０は、画像取得部１１０によって取得された原画像を線形補間することにより拡大し、目的とする高解像度画像と同サイズの初期画像を生成する。例えば、補間処理部１２０は、Ｂｉｌｉｎｅａｒ法あるいはＢｉｃｕｂｉｃ法によって、原画像を線形補間する。
高周波数成分画像生成部１３０は、補間処理部１２０によって生成された初期画像において、ローパスフィルタによって低周波数成分を抽出し、抽出した低周波数成分を初期画像から減算することで、初期画像の高周波数成分からなる高周波数成分画像を生成する。
高周波数成分画像をＩｈ、初期画像をＩ、ローパスフィルタをＧＬＬとすると、高周波数成分画像生成部１３０における処理は、畳み込みを表す演算子「＊」を用いて、式（１）で表される。
高周波数成分画像をＩｈ、初期画像をＩ、ローパスフィルタをＧＬＬとすると、高周波数成分画像生成部１３０における処理は、畳み込みを表す演算子「＊」を用いて、式（１）で表される。
式（２）における係数は２の乗数であるため、コンピュータにおける演算処理ではビットシフトによる処理となり、小さい処理負荷で実現することができる。
ショックフィルタ処理部１４０は、高周波数成分画像生成部１３０によって生成された高周波数成分画像にショックフィルタを１回または複数回施すことにより、高周波数成分を強調する。本実施形態においては、高周波数成分画像生成部１３０によって生成された高周波数成分画像にショックフィルタを３回施すことする。ショックフィルタを施すことで、画像の変動成分の変動幅が急峻になり、画像の鮮鋭化が実現される。ショックフィルタは、少ない繰り返し処理で鮮鋭化の効果が得られ、ほぼ線形処理によって構成される低演算量で実現可能なフィルタである。具体的には、ショックフィルタは、式（３）で表される。
式（３）における第１項（ローパスフィルタと入力画像との畳み込みの項）は、フィルタ処理の注目画素を周囲となじませる効果（入力画像をぼかす効果）を有している。
また、式（３）における第２項（符号関数の項）は、画素値の２階微分を基に画素値の変化方向を決定する効果を有している。
さらに、式（３）における第３項（各画素の勾配の絶対値の項）は、画素値の縦横方向の１階微分を基に画素値の変化量を決定する効果を有している。
式（３）による処理は、画素毎に複数回適用して画像全体を処理したり、全画素に一度適用して画像全体を複数回処理したりすることが可能である。式（３）を画素毎に複数回適用して画像全体を処理する場合、より少ないメモリ量で演算を行うことができる。
また、式（３）における第２項（符号関数の項）は、画素値の２階微分を基に画素値の変化方向を決定する効果を有している。
さらに、式（３）における第３項（各画素の勾配の絶対値の項）は、画素値の縦横方向の１階微分を基に画素値の変化量を決定する効果を有している。
式（３）による処理は、画素毎に複数回適用して画像全体を処理したり、全画素に一度適用して画像全体を複数回処理したりすることが可能である。式（３）を画素毎に複数回適用して画像全体を処理する場合、より少ないメモリ量で演算を行うことができる。
高解像度画像生成部１５０は、補間処理部１２０によって生成された初期画像と、ショックフィルタ処理部１４０によって高周波数成分が鮮鋭化された高周波数成分画像とを加算することにより、高解像度画像を生成する。
即ち、本実施形態において生成された高解像度画像は、原画像が線形補間された初期画像に対して、ショックフィルタによって高周波数成分を自然に鮮鋭化し、２次の非線形処理によって高周波数成分を変調したものとなる。そのため、初期画像においてテクスチャを保存しつつ、ショックフィルタによって鮮鋭化された高周波数成分を加算して、より鮮鋭度の高い高解像度画像を生成することができる。
即ち、本実施形態において生成された高解像度画像は、原画像が線形補間された初期画像に対して、ショックフィルタによって高周波数成分を自然に鮮鋭化し、２次の非線形処理によって高周波数成分を変調したものとなる。そのため、初期画像においてテクスチャを保存しつつ、ショックフィルタによって鮮鋭化された高周波数成分を加算して、より鮮鋭度の高い高解像度画像を生成することができる。
［動作］
次に、画像処理装置１の動作について説明する。
図３は、画像処理装置１が実行する解像度変更処理を示すフローチャートである。
解像度変更処理は、入力部４０を介して、処理の実行が指示入力されることに対応して開始される。
解像度変更処理が開始されると、ステップＳ１において、画像取得部１１０は、記憶部８０から処理対象とする原画像を取得する。
ステップＳ２において、補間処理部１２０は、取得された原画像を線形補間することにより拡大し、初期画像を生成する。
次に、画像処理装置１の動作について説明する。
図３は、画像処理装置１が実行する解像度変更処理を示すフローチャートである。
解像度変更処理は、入力部４０を介して、処理の実行が指示入力されることに対応して開始される。
解像度変更処理が開始されると、ステップＳ１において、画像取得部１１０は、記憶部８０から処理対象とする原画像を取得する。
ステップＳ２において、補間処理部１２０は、取得された原画像を線形補間することにより拡大し、初期画像を生成する。
ステップＳ３において、高周波数成分画像生成部１３０は、ローパスフィルタによって初期画像における低周波数成分を抽出し、抽出した低周波数成分を初期画像から減算することで、高周波数成分画像を生成する。
ステップＳ４において、ショックフィルタ処理部１４０は、ショックフィルタの適用回数を示すパラメータｎに１をセットする（ｎ＝１）。
ステップＳ５において、ショックフィルタ処理部１４０は、入力画像に対してショックフィルタを適用し、高周波数成分を鮮鋭化する。
ステップＳ６において、ショックフィルタ処理部１４０は、ショックフィルタの適用回数を示すパラメータｎを１インクリメントする（ｎ＝ｎ＋１）。
ステップＳ４において、ショックフィルタ処理部１４０は、ショックフィルタの適用回数を示すパラメータｎに１をセットする（ｎ＝１）。
ステップＳ５において、ショックフィルタ処理部１４０は、入力画像に対してショックフィルタを適用し、高周波数成分を鮮鋭化する。
ステップＳ６において、ショックフィルタ処理部１４０は、ショックフィルタの適用回数を示すパラメータｎを１インクリメントする（ｎ＝ｎ＋１）。
ステップＳ７において、ショックフィルタ処理部１４０は、ショックフィルタの適用回数を示すパラメータｎが３より大きい（ｎ＞３）か否かの判定を行う。
ステップＳ７において、ショックフィルタの適用回数を示すパラメータｎが３以下である（ＮＯ）と判定された場合、処理はステップＳ５に移行する。
一方、ステップＳ７において、ショックフィルタの適用回数を示すパラメータｎが３より大きい（ＹＥＳ）と判定された場合、処理はステップＳ８に移行する。
ステップＳ８において、高解像度画像生成部１５０は、補間処理部１２０によって生成された初期画像と、ショックフィルタ処理部１４０によって高周波数成分が鮮鋭化された高周波数成分画像とを加算し、高解像度画像を生成する。
ステップＳ８の後、解像度変更処理は終了となる。
ステップＳ７において、ショックフィルタの適用回数を示すパラメータｎが３以下である（ＮＯ）と判定された場合、処理はステップＳ５に移行する。
一方、ステップＳ７において、ショックフィルタの適用回数を示すパラメータｎが３より大きい（ＹＥＳ）と判定された場合、処理はステップＳ８に移行する。
ステップＳ８において、高解像度画像生成部１５０は、補間処理部１２０によって生成された初期画像と、ショックフィルタ処理部１４０によって高周波数成分が鮮鋭化された高周波数成分画像とを加算し、高解像度画像を生成する。
ステップＳ８の後、解像度変更処理は終了となる。
以上のように、本実施形態における画像処理装置１は、小さいサイズの原画像を線形補間によって拡大し、拡大して得られた初期画像の高周波数成分を抽出して高周波数成分画像を得る。そして、画像処理装置１は、高周波数成分画像にショックフィルタを適用することにより、高周波数成分を鮮鋭化し、高周波数成分を鮮鋭化した高周波数成分画像を初期画像に加算することにより、高解像度画像を生成する。
そのため、線形補間によって得られた初期画像の高周波数成分を低演算量で鮮鋭化の効果が得られるショックフィルタによって鮮鋭化し、高解像度画像を得ることができる。
したがって、演算量がより少なく、実装性がより高い超解像技術を実現することが可能となる。
また、画像処理装置１では、ショックフィルタを対象の画像の内容等に応じて、１回または複数回適用することができる。
そのため、対象の画像に応じた適切な高周波数成分の鮮鋭化を行うことができ、より適切な高解像度画像を生成することが可能となる。
そのため、線形補間によって得られた初期画像の高周波数成分を低演算量で鮮鋭化の効果が得られるショックフィルタによって鮮鋭化し、高解像度画像を得ることができる。
したがって、演算量がより少なく、実装性がより高い超解像技術を実現することが可能となる。
また、画像処理装置１では、ショックフィルタを対象の画像の内容等に応じて、１回または複数回適用することができる。
そのため、対象の画像に応じた適切な高周波数成分の鮮鋭化を行うことができ、より適切な高解像度画像を生成することが可能となる。
［第１実施形態の効果］
図４は、本実施形態における画像処理装置１によって、サンプル画像から生成した高解像度画像の定量的評価を行った結果を示す図である。
また、図５は、サンプル画像の例を示す図であり、図５（ａ）はサンプル画像ＳＭＰ１、図５（ｂ）はサンプル画像ＳＭＰ２、図５（ｃ）はサンプル画像ＳＭＰ３を示している。
図４は、本実施形態における画像処理装置１によって、サンプル画像から生成した高解像度画像の定量的評価を行った結果を示す図である。
また、図５は、サンプル画像の例を示す図であり、図５（ａ）はサンプル画像ＳＭＰ１、図５（ｂ）はサンプル画像ＳＭＰ２、図５（ｃ）はサンプル画像ＳＭＰ３を示している。
図４においては、図５に示すサンプル画像ＳＭＰ１〜ＳＭＰ３の画素を間引いて得た低解像度の画像から、画像処理装置１によって生成した高解像度画像と、単純に線形補間して得た拡大画像とをオリジナルのサンプル画像ＳＭＰ１〜ＳＭＰ３と比較した場合の定量的評価の値を示している。なお、図４においては、式（３）のλ＝０．５とし、図４（ａ）が１．５倍の拡大率の場合、図４（ｂ）が２倍の拡大率の場合、図４（ｃ）が２倍×２回＝４倍の拡大率の場合の定量的評価の値をそれぞれ示している。また、図４においては、低解像度としたサンプル画像ＳＭＰ１〜ＳＭＰ３をＢｉｃｕｂｉｃ法によって単純に拡大した場合及び画像処理装置１によって高解像度画像とした場合のＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ）及びＳＳＩＭ（Ｓｔｒｕｃｔｕｒａｌ ＳＩＭｉｌａｒｉｔｙ）の値を定量的評価の一例として示している。
図５（ａ）に示すように、サンプル画像ＳＭＰ１は、自転車やテニスラケットを含む被写体の画像である。また、図５（ｂ）に示すように、サンプル画像ＳＭＰ２は、女性を含む被写体の画像である。さらに、図５（ｃ）に示すように、サンプル画像ＳＭＰ３は、複数の野菜を含む被写体の画像である。
これらサンプル画像ＳＭＰ１〜ＳＭＰ３を低解像度とした後、線形補間によって拡大画像とした場合と、画像処理装置１によって高解像度画像とした場合との比較結果では、ＰＳＮＲの値及びＳＳＩＭの値は、サンプル画像ＳＭＰ１〜ＳＭＰ３の全ての拡大率の場合において、画像処理装置１によって高解像度画像とした場合の方がより大きい値となっている。これは、画像処理装置１によって高解像度画像とした画像の方が、単純に線形補間して得た拡大画像に比べて、より高画質であることを意味している。
これらサンプル画像ＳＭＰ１〜ＳＭＰ３を低解像度とした後、線形補間によって拡大画像とした場合と、画像処理装置１によって高解像度画像とした場合との比較結果では、ＰＳＮＲの値及びＳＳＩＭの値は、サンプル画像ＳＭＰ１〜ＳＭＰ３の全ての拡大率の場合において、画像処理装置１によって高解像度画像とした場合の方がより大きい値となっている。これは、画像処理装置１によって高解像度画像とした画像の方が、単純に線形補間して得た拡大画像に比べて、より高画質であることを意味している。
図６〜８は、サンプル画像ＳＭＰ２の低解像度画像から生成した高解像度画像及び線形補間して得た拡大画像を比較して示す図である。なお、図６は、サンプル画像ＳＭＰ２の低解像度画像から１．５倍にサイズを拡大した場合、図７は、サンプル画像ＳＭＰ２の低解像度画像から２倍にサイズを拡大した場合、図８は、サンプル画像ＳＭＰ２の低解像度画像から２倍×２回（４倍）にサイズを拡大した場合を表している。
図６〜８に示すように、いずれの拡大率の場合においても、サンプル画像ＳＭＰ２を低解像度とした画像を画像処理装置１によって高解像度画像とした画像の方が、単純に線形補間した拡大画像よりも、画像の鮮鋭感がより高いものとなっている。
図６〜８に示すように、いずれの拡大率の場合においても、サンプル画像ＳＭＰ２を低解像度とした画像を画像処理装置１によって高解像度画像とした画像の方が、単純に線形補間した拡大画像よりも、画像の鮮鋭感がより高いものとなっている。
［第２実施形態］
次に、本発明の第２実施形態について説明する。
本実施形態に係る画像処理装置１のハードウェア構成は、図１に示す第１実施形態のハードウェア構成と同様である。
一方、本実施形態においては、画像処理装置１の機能的構成及び解像度変更処理の内容が第１実施形態と異なっている。
したがって、以下、画像処理装置１の機能的構成及び解像度変更処理の内容について、主として説明する。
次に、本発明の第２実施形態について説明する。
本実施形態に係る画像処理装置１のハードウェア構成は、図１に示す第１実施形態のハードウェア構成と同様である。
一方、本実施形態においては、画像処理装置１の機能的構成及び解像度変更処理の内容が第１実施形態と異なっている。
したがって、以下、画像処理装置１の機能的構成及び解像度変更処理の内容について、主として説明する。
図９は、第２実施形態における画像処理装置１の機能的構成を示すブロック図である。
図９に示す機能的構成は、制御部１０が解像度変更処理のためのプログラムを実行することによって実現される。
図９において、画像処理装置１は、機能的構成として、画像取得部２１０と、高周波数成分強調画像生成部２２０と、補間処理部２３０と、を備えている。
画像取得部２１０は、記憶部８０に記憶された画像の中から、高解像度画像を生成するための原画像を取得する。なお、取得する原画像は、入力部４０等を介して、ユーザによって指定される。画像取得部２１０が取得する画像としては、静止画像の他、動画像を構成するフレームの画像とすることができる。また、画像取得部２１０は、高解像度画像を生成するための原画像を通信部６０を介して外部から適宜取得したり、ドライブ７０を介してリムーバブルメディア７１から適宜取得したりすることができる。
図９に示す機能的構成は、制御部１０が解像度変更処理のためのプログラムを実行することによって実現される。
図９において、画像処理装置１は、機能的構成として、画像取得部２１０と、高周波数成分強調画像生成部２２０と、補間処理部２３０と、を備えている。
画像取得部２１０は、記憶部８０に記憶された画像の中から、高解像度画像を生成するための原画像を取得する。なお、取得する原画像は、入力部４０等を介して、ユーザによって指定される。画像取得部２１０が取得する画像としては、静止画像の他、動画像を構成するフレームの画像とすることができる。また、画像取得部２１０は、高解像度画像を生成するための原画像を通信部６０を介して外部から適宜取得したり、ドライブ７０を介してリムーバブルメディア７１から適宜取得したりすることができる。
高周波数成分強調画像生成部２２０は、画像取得部２１０によって取得された原画像において、行方向及び列方向それぞれの２階微分によって高周波数成分を強調し、高周波数成分強調画像を生成する。
高周波数成分強調画像をＩ’、原画像をＩ、λを０〜１の設計パラメータ、Ｉｖｖを縦方向の２階微分、Ｉｈｈを横方向の２階微分とすると、高周波数成分強調画像生成部２２０における処理は、式（４）で表される。
高周波数成分強調画像をＩ’、原画像をＩ、λを０〜１の設計パラメータ、Ｉｖｖを縦方向の２階微分、Ｉｈｈを横方向の２階微分とすると、高周波数成分強調画像生成部２２０における処理は、式（４）で表される。
補間処理部２３０は、高周波数成分強調画像生成部２２０によって生成された高周波数成分強調画像を線形補間することにより拡大し、高解像度画像を生成する。例えば、補間処理部２３０は、Ｂｉｌｉｎｅａｒ法あるいはＢｉｃｕｂｉｃ法によって、高周波数成分強調画像を線形補間する。
即ち、本実施形態において生成された高解像度画像は、低解像度の原画像の高周波数成分を強調した後、線形補間することによりサイズが拡大されたものとなる。そのため、少ない演算量で、より鮮鋭度の高い高解像度画像を生成することができる。
即ち、本実施形態において生成された高解像度画像は、低解像度の原画像の高周波数成分を強調した後、線形補間することによりサイズが拡大されたものとなる。そのため、少ない演算量で、より鮮鋭度の高い高解像度画像を生成することができる。
［動作］
次に、画像処理装置１の動作について説明する。
図１０は、画像処理装置１が実行する解像度変更処理を示すフローチャートである。
解像度変更処理は、入力部４０を介して、処理の実行が指示入力されることに対応して開始される。
解像度変更処理が開始されると、ステップＳ１０１において、画像取得部２１０は、記憶部８０から処理対象とする原画像を取得する。
ステップＳ１０２において、高周波数成分強調画像生成部２２０は、行方向及び列方向それぞれの２階微分によって、取得された原画像の高周波数成分を強調し、高周波数成分強調画像を生成する。
次に、画像処理装置１の動作について説明する。
図１０は、画像処理装置１が実行する解像度変更処理を示すフローチャートである。
解像度変更処理は、入力部４０を介して、処理の実行が指示入力されることに対応して開始される。
解像度変更処理が開始されると、ステップＳ１０１において、画像取得部２１０は、記憶部８０から処理対象とする原画像を取得する。
ステップＳ１０２において、高周波数成分強調画像生成部２２０は、行方向及び列方向それぞれの２階微分によって、取得された原画像の高周波数成分を強調し、高周波数成分強調画像を生成する。
ステップＳ１０３において、補間処理部２３０は、生成された高周波数成分強調画像を線形補間することにより拡大し、高解像度画像を生成する。
ステップＳ１０３の後、解像度変更処理は終了となる。
ステップＳ１０３の後、解像度変更処理は終了となる。
以上のように、本実施形態にける画像処理装置１は、入力された低解像度の原画像の高周波数成分を強調した後、線形補間することによりサイズを拡大して、高解像度画像を生成する。
そのため、演算量をより少ないものとしながら、より鮮鋭度の高い高解像度画像を得ることができる。
即ち、演算量がより少なく、実装性がより高い超解像技術を実現することが可能となる。
また、画像処理装置１は、画素値の２階微分によって画像の高周波数成分を強調するため、より少ない演算量で画像の高周波数成分を強調することができる。
そのため、演算量をより少ないものとしながら、より鮮鋭度の高い高解像度画像を得ることができる。
即ち、演算量がより少なく、実装性がより高い超解像技術を実現することが可能となる。
また、画像処理装置１は、画素値の２階微分によって画像の高周波数成分を強調するため、より少ない演算量で画像の高周波数成分を強調することができる。
［第２実施形態の効果］
図１１は、本実施形態における画像処理装置１によって、サンプル画像から生成した高解像度画像の定量的評価を行った結果を示す図である。
なお、ここで用いるサンプル画像は、図５に示すサンプル画像ＳＭＰ１〜ＳＭＰ３と同様である。
図１１は、本実施形態における画像処理装置１によって、サンプル画像から生成した高解像度画像の定量的評価を行った結果を示す図である。
なお、ここで用いるサンプル画像は、図５に示すサンプル画像ＳＭＰ１〜ＳＭＰ３と同様である。
図１１においては、図５に示すサンプル画像ＳＭＰ１〜ＳＭＰ３の画素を間引いて得た低解像度の画像から、Ｂｉｌｉｎｅａｒ法及びＢｉｃｕｂｉｃ法を用いた場合のそれぞれを用いて、画像処理装置１によって生成した高解像度画像と、単純に線形補間して得た拡大画像とをオリジナルのサンプル画像と比較した場合の定量的評価の値を示している。なお、図１１においては、式（４）のλ＝１．０とし、図１１（ａ）が１．５倍の拡大率の場合、図１１（ｂ）が２倍の拡大率の場合、図１１（ｃ）が２倍×２回＝４倍の拡大率の場合の定量的評価の値をそれぞれ示している。また、図１１においては、低解像度としたサンプル画像ＳＭＰ１〜ＳＭＰ３をＢｉｌｉｎｅａｒ法及びＢｉｃｕｂｉｃ法によって単純に拡大した場合及び画像処理装置１によって高解像度画像とした場合のＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ）及びＳＳＩＭ（Ｓｔｒｕｃｔｕｒａｌ ＳＩＭｉｌａｒｉｔｙ）の値を定量的評価の一例として示している。
これらサンプル画像ＳＭＰ１〜ＳＭＰ３を低解像度とした後、線形補間によって拡大画像とした場合と、画像処理装置１によって高解像度画像とした場合との比較結果では、ＰＳＮＲの値及びＳＳＩＭの値は、サンプル画像ＳＭＰ１〜ＳＭＰ３のほとんどの拡大率の場合において、画像処理装置１によって高解像度画像とした場合の方が同等以上の値となっている。これは、画像処理装置１によって高解像度画像とした画像の方が、単純に線形補間して得た拡大画像に比べて、おおむね同等以上の画質であることを意味している。
図１２〜１７は、サンプル画像ＳＭＰ２の低解像度画像から生成した高解像度画像及び線形補間して得た拡大画像を比較して示す図である。なお、図１２は、Ｂｉｌｉｎｅａｒ法を用いてサンプル画像ＳＭＰ２の低解像度画像から１．５倍にサイズを拡大した場合、図１３は、Ｂｉｃｕｂｉｃ法を用いてサンプル画像ＳＭＰ２の低解像度画像から１．５倍にサイズを拡大した場合を表している。また、図１４は、Ｂｉｌｉｎｅａｒ法を用いてサンプル画像ＳＭＰ２の低解像度画像から２倍にサイズを拡大した場合、図１５は、Ｂｉｃｕｂｉｃ法を用いてサンプル画像ＳＭＰ２の低解像度画像から２倍にサイズを拡大した場合を表している。さらに、図１６は、Ｂｉｌｉｎｅａｒ法を用いてサンプル画像ＳＭＰ２の低解像度画像から２倍×２回＝４倍にサイズを拡大した場合、図１７は、Ｂｉｃｕｂｉｃ法を用いてサンプル画像ＳＭＰ２の低解像度画像から２倍×２回＝４倍にサイズを拡大した場合を表している。
図１２〜１７に示すように、いずれの拡大率の場合においても、線形補間の方法に関わらず、サンプル画像ＳＭＰ２を低解像度とした画像を画像処理装置１によって高解像度画像とした画像の方が、単純に線形補間した拡大画像よりも、画像の鮮鋭感が同等以上となっている。
なお、本発明は、本発明の効果を奏する範囲で変形、改良等を適宜行うことができ、上述の実施形態に限定されない。
例えば、本発明は、画像処理機能を有する各種電子機器に適用することができる。具体的には、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
特に、携帯電話機やスマートフォンで撮影された小さいサイズの画像をパーソナルコンピュータやテレビジョン受像機等のより大きい画面に適したサイズに変更する場合に、本発明を用いることができる。また、いわゆる４Ｋテレビあるいは８Ｋテレビでの表示に適する高い解像度への変更にも、本発明を適用することができる。
例えば、本発明は、画像処理機能を有する各種電子機器に適用することができる。具体的には、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
特に、携帯電話機やスマートフォンで撮影された小さいサイズの画像をパーソナルコンピュータやテレビジョン受像機等のより大きい画面に適したサイズに変更する場合に、本発明を用いることができる。また、いわゆる４Ｋテレビあるいは８Ｋテレビでの表示に適する高い解像度への変更にも、本発明を適用することができる。
上述の実施形態における処理は、ハードウェア及びソフトウェアのいずれにより実行させることも可能である。
即ち、上述の処理を実行できる機能が画像処理装置１に備えられていればよく、この機能を実現するためにどのような機能構成及びハードウェア構成とするかは上述の例に限定されない。
上述の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータにネットワークや記憶媒体からインストールされる。
即ち、上述の処理を実行できる機能が画像処理装置１に備えられていればよく、この機能を実現するためにどのような機能構成及びハードウェア構成とするかは上述の例に限定されない。
上述の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータにネットワークや記憶媒体からインストールされる。
プログラムを記憶する記憶媒体は、装置本体とは別に配布されるリムーバブルメディア、あるいは、装置本体に予め組み込まれた記憶媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ Ｄｉｓｃ（ブルーレイディスク）（登録商標）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた記憶媒体は、例えば、プログラムが記憶されているＲＯＭやハードディスク等で構成される。
１ 画像処理装置、１０ 制御部、２０ ＲＡＭ、３０ ＲＯＭ、４０ 入力部、５０ 出力部、６０ 通信部、７０ ドライブ、７１ リムーバブルメディア、８０ 記憶部、１１０，２１０ 画像取得部、１２０，２３０ 補間処理部、１３０ 高周波数成分画像生成部、１４０ ショックフィルタ処理部、１５０ 高解像度画像生成部、２２０ 高周波数成分強調画像生成部
Claims (8)
- 入力された画像を線形補間する補間手段と、
前記補間手段によって線形補間された画像の高周波数成分を抽出する高周波数成分抽出手段と、
前記高周波数成分抽出手段によって抽出された高周波数成分をショックフィルタによって鮮鋭化する高周波数成分鮮鋭化手段と、
前記補間手段によって線形補間された画像と、前記高周波数成分鮮鋭化手段によって鮮鋭化された高周波数成分とを加算して高解像度画像を生成する高解像度画像生成手段と、
を備えることを特徴とする画像処理装置。 - 高周波数成分鮮鋭化手段は、前記ショックフィルタを複数回適用することによって高周波数成分を鮮鋭化することを特徴とする請求項１に記載の画像処理装置。
- 入力された画像の高周波数成分を強調する高周波数成分強調手段と、
前記高周波数成分強調手段によって高周波数成分が強調された画像を線形補間する補間手段と、
を備えることを特徴とする画像処理装置。 - 前記高周波数成分強調手段は、画素値の２階微分によって画像の高周波数成分を強調することを特徴とする請求項３に記載の画像処理装置。
- 入力された画像を線形補間する補間ステップと、
前記補間ステップにおいて線形補間された画像の高周波数成分を抽出する高周波数成分抽出ステップと、
前記高周波数成分抽出ステップにおいて抽出された高周波数成分をショックフィルタによって鮮鋭化する高周波数成分鮮鋭化ステップと、
前記補間ステップにおいて線形補間された画像と、前記高周波数成分鮮鋭化ステップにおいて鮮鋭化された高周波数成分とを加算して高解像度画像を生成する高解像度画像生成ステップと、
を含むことを特徴とする画像処理方法。 - 入力された画像の高周波数成分を強調する高周波数成分強調ステップと、
前記高周波数成分強調ステップにおいて高周波数成分が強調された画像を線形補間する補間ステップと、
を含むことを特徴とする画像処理方法。 - コンピュータに、
入力された画像を線形補間する補間機能と、
前記補間機能によって線形補間された画像の高周波数成分を抽出する高周波数成分抽出機能と、
前記高周波数成分抽出機能によって抽出された高周波数成分をショックフィルタによって鮮鋭化する高周波数成分鮮鋭化機能と、
前記補間機能によって線形補間された画像と、前記高周波数成分鮮鋭化機能によって鮮鋭化された高周波数成分とを加算して高解像度画像を生成する高解像度画像生成機能と、
を実現させることを特徴とするプログラム。 - コンピュータに、
入力された画像の高周波数成分を強調する高周波数成分強調機能と、
前記高周波数成分強調機能によって高周波数成分が強調された画像を線形補間する補間機能と、
を実現させることを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014041521A JP2015166976A (ja) | 2014-03-04 | 2014-03-04 | 画像処理装置、画像処理方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014041521A JP2015166976A (ja) | 2014-03-04 | 2014-03-04 | 画像処理装置、画像処理方法及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015166976A true JP2015166976A (ja) | 2015-09-24 |
Family
ID=54257810
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014041521A Pending JP2015166976A (ja) | 2014-03-04 | 2014-03-04 | 画像処理装置、画像処理方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015166976A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7482253B2 (ja) | 2020-08-25 | 2024-05-13 | 深▲セン▼思謀信息科技有限公司 | 画像処理方法、装置、コンピュータ機器及び記憶媒体 |
-
2014
- 2014-03-04 JP JP2014041521A patent/JP2015166976A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7482253B2 (ja) | 2020-08-25 | 2024-05-13 | 深▲セン▼思謀信息科技有限公司 | 画像処理方法、装置、コンピュータ機器及び記憶媒体 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9338331B2 (en) | Riesz pyramids for fast phase-based video magnification | |
| JP5281690B2 (ja) | 画像強調装置、画像強調方法、画像強調プログラム、および信号処理装置 | |
| WO2011111819A1 (ja) | 画像処理装置、画像処理プログラム、および、画像を生成する方法 | |
| JP2011211474A (ja) | 画像処理装置および画像信号処理方法 | |
| JP5306061B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記憶媒体 | |
| WO2010140281A1 (ja) | 信号処理装置、信号処理装置の制御方法、制御プログラム、および該制御プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2013518336A (ja) | 入力画像から増加される画素解像度の出力画像を生成する方法及びシステム | |
| JP6116291B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| JP2012060517A (ja) | 画像処理装置、画像処理方法 | |
| JP2007281767A (ja) | 画像処理装置、画像処理プログラムおよび画像処理方法 | |
| JP5460987B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| JP5640071B2 (ja) | 画像拡大装置、画像拡大プログラム、画像拡大プログラムを記憶した記憶媒体、及び表示装置 | |
| JP5289540B2 (ja) | 画像処理装置、及び画像処理方法 | |
| JP6276596B2 (ja) | 空間超解像・階調補間装置及びプログラム | |
| JP2013246460A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP2015166976A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| WO2012124591A1 (ja) | 信号処理装置、制御プログラム、および集積回路 | |
| KR20150090515A (ko) | 고주파수 성분의 위상 변조를 통한 영상 질감 향상 방법 및 그 장치 | |
| JP6135937B2 (ja) | 画像処理方法および画像処理装置 | |
| KR101332030B1 (ko) | 영상 확대방법 및 이를 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 | |
| JP6575742B2 (ja) | 画像処理方法および画像処理装置 | |
| Schiemenz et al. | Scalable high quality nonlinear up-scaler with guaranteed real time performance | |
| JP6529102B1 (ja) | 画像処理方法およびプログラム | |
| JP5396626B1 (ja) | 画像強調装置、画像強調方法 | |
| JP6661434B2 (ja) | 画像処理装置 |