JP3695291B2 - 画像処理装置、画像表示装置、および画像処理方法 - Google Patents
画像処理装置、画像表示装置、および画像処理方法 Download PDFInfo
- Publication number
- JP3695291B2 JP3695291B2 JP2000184816A JP2000184816A JP3695291B2 JP 3695291 B2 JP3695291 B2 JP 3695291B2 JP 2000184816 A JP2000184816 A JP 2000184816A JP 2000184816 A JP2000184816 A JP 2000184816A JP 3695291 B2 JP3695291 B2 JP 3695291B2
- Authority
- JP
- Japan
- Prior art keywords
- interpolation
- conversion
- image
- pixels
- conversion magnification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、デジタル画像を任意の倍率に拡大あるいは縮小する画像処理装置および画像表示装置，画像処理方法および画像表示方法に係わる。
【０００２】
【従来の技術】
図１４は、従来の画素数変換方法で画素数を３倍に変換した場合を示す図である。図において横軸は、画像の水平位置または垂直位置を示し、縦軸は、画像データのレベル（明るさ）を示す。水平方向と垂直方向の画素数の変換は、動作が同じであるので、水平方向の画素数変換の動作のみ説明する。
【０００３】
図１４のように入力画像データが平坦部（ｈ）と輪郭部（ｊ、ｋ）で構成されている場合、平坦部（ｈ）もレベル変化部（ｊ、ｋ）も一律に３倍に変換されるため、輪郭部は、ｊ１、ｋ１のように滑らかな輪郭に変換される。
【０００４】
図１５および図１６は、従来の画素数変換方法の詳細な動作を説明する図である。図においてｐ（ｎ）、ｐ（ｎ＋１）は入力画像データの隣接した２画素、ｑ（ｍ）は出力画像データの１画素、Ｆ（ｘ）は画素数変換に用いるフィルタのレスポンス特性の一例である。
【０００５】
ｐ（ｎ）とｐ（ｎ＋１）の距離を１とし、出力画像ｑ（ｍ）がｐ（ｎ）から距離ｒの位置の場合、出力画像ｑ（ｍ）は以下の式により求められる。
ｑ（ｍ）＝Ｆ（ｒ）×ｐ（ｎ）＋Ｆ（１−ｒ）×ｐ（ｎ＋１）
【０００６】
図１６に示したように出力画像データの画素ごと（ｑ１からｑ７）に上記演算を実施することで画素数を変換することができる。
【０００７】
上記実施の説明では、フィルタのレスポンス特性として図１５に示した線形フィルタを用いた場合を示したが、図１７のようなレスポンス特性のフィルタを用いて、輪郭部（ｊ１、ｋ１）の鮮鋭度を改善する場合もある。
【０００８】
また、図１８に示すように複数のレスポンス特性のフィルタを用意し、画像に応じて切り替える方式が、特開平９−２６６５３１号公報に開示されている。
【０００９】
【発明が解決しようとする課題】
従来の画像処理方法は、以上のように構成されているので、画像を拡大する場合に輪郭部分の鮮鋭度の低下や鮮鋭度を改善するために新たにアンダーシュート（プリシュート）やオーバーシュートが発生し、また、画像を縮小する場合に輪郭部の画素が欠けるなどのいわゆる輪郭部の画質劣化が発生するといった問題点がある。
【００１０】
また、画像に応じてフィルタを切り替えることで、フィルタの切り替わり部分で画像の連続性が損なわれるといった問題点もある。
【００１１】
この発明は、以上のような問題点を解決するためになされたもので、輪郭部の画質劣化を抑えて画像処理を行うこと、より詳しくは任意の倍率に変倍することを目的とする。
【００１２】
【課題を解決するための手段】
本発明に係る画像処理装置は、入力画像を表す画像データに補間演算処理を行うことにより、上記入力画像の画素数を変換する画像処理装置であって、
上記入力画像を構成する画素データの水平および／または垂直方向における一次微分および二次微分を検出する高域成分検出手段と、
上記入力画像を補間する補間画素の各々について求められる変換倍率であって、当該補間画素の密度を局所的に変化させる上記変換倍率の値を、上記一次微分および上記二次微分の積を用いて算出する変換倍率制御手段と、
上記変換倍率に基づいて上記補間画素の各々の補間位置を求め、当該補間位置における補間演算により上記補間画素の画素データを算出する画素数変換手段とを備えたものである。
【００１３】
また、本発明に係る画像処理装置は、入力画像の輪郭を補正して出力する画像処理装置であって、
上記入力画像の輪郭部を構成する画素データの水平および／または垂直方向における一次微分および二次微分を検出する高域成分検出手段と、
上記特徴量に基づいて、上記入力画像の輪郭部を補正する補間画素の各々について求められる変換倍率であって、当該補間画素の密度を局所的に変化させる上記変換倍率の値を、上記一次微分および上記二次微分の積を用いて算出する変換倍率制御手段と、
上記変換倍率に基づいて上記補間画素の各々の補間位置を求め、当該補間位置における補間演算により上記補間画素の画素データを算出する補間演算手段とを備えたものである。
【００１４】
本発明に係る画像処理方法は、入力画像を表す画像データに補間演算処理を行うことにより、上記入力画像の画素数を変換する画像処理方法であって、
上記入力画像を構成する画素データの水平および／または垂直方向における一次微分および二次微分を検出する工程と、
上記入力画像を補間する補間画素の各々について求められる変換倍率であって、当該補間画素の密度を局所的に変化させる上記変換倍率の値を、上記一次微分および上記二次微分の積を用いて算出する工程と、
上記変換倍率に基づいて上記補間画素の各々の補間位置を求め、当該補間位置における補間演算により上記補間画素の画素データを算出する工程とを備えたものである。
【００１５】
また、本発明に係る画像処理方法は、入力画像の輪郭を補正して出力する画像処理方法であって、
上記入力画像の輪郭部を構成する画素データの水平および／または垂直方向における一次微分および二次微分を検出する工程と、
上記入力画像の輪郭部を補正する補間画素の各々について求められる変換倍率であって、当該補間画素の密度を局所的に変化させる上記変換倍率の値を、上記一次微分および上記二次微分の積を用いて算出する工程と、
上記変換倍率に基づいて上記補間画素の各々の補間位置を求め、当該補間位置における補間演算により上記補間画素の画素データを算出する工程とを備えたものである。
【００１６】
【発明の実施の形態】
実施の形態１．
図１は、この発明の実施の形態１における画像処理方法を説明するための説明図である。
図において横軸は、画像の水平位置あるいは垂直位置、縦軸は、画像データのレベル（明るさ）を示している。また、図中上段は、入力画像データ、下段は、前記入力画像データを拡大した場合を示している。
【００１７】
次に動作について説明する。
画素数の変換において、垂直画素数の変換と水平画素数の変換は、同様の動作によって実現されるので、ここでは、水平画素数の変換の動作について説明する。
【００１８】
入力画像データから画像のレベルの変化を検出し、平坦部（期間ａ）とレベル変化部に相当する輪郭部（期間ｂおよびｃ）を判別する（以降、簡単のためレベル変化部を輪郭部として説明する）。
【００１９】
さらに輪郭部は、画像のレベルが変化する前部（期間ｂ）と後部（期間ｃ）に判別する（この場合、入力画像データが元画像データであり、この元画像データ間のレベル変化より、元画像データにおける輪郭部を検出する（レベル変化検出工程）。ここで検出された輪郭部は複数の領域に分けられる）。
【００２０】
判別された画像の平坦部ａは、一定の変換倍率ｎで画素数を変換する。ここで、一定の変換倍率ｎとは、画像のフォーマット変換や画像を任意の倍率で拡大あるいは縮小するために必要な任意の倍率である。画像のフォーマット変換の一例として、パーソナルコンピュータ（ＰＣ）の出力フォーマットの１つである６４０画素×４８０ラインの画像を１０２４画素×７６８ラインの画像に変換する場合、変換倍率ｎは、１．６倍である。
【００２１】
一方、画像の輪郭部（ｂ、ｃ）では、画像の変化量に応じて変換倍率を制御する。すなわち、複数の領域に分けられた輪郭部では、それぞれの領域に対応する新たな画像データを生成する際の生成条件（ここでいう生成条件とは、例えば、変換倍率である）が異なる。より具体的には、輪郭の前部ｂは、平坦部ａより高い倍率で変換し、後部ｃは、平坦部ａより低い倍率で画素数を変換する（レベル変化検出工程により得られる検出結果に基づいて輪郭部に対応する元画像データからレベル変化（輪郭）部に対応する新たな画像データを生成する際の生成条件を生成する生成条件工程、生成条件に基づいてレベル変化（輪郭）部に対応する元画像データからレベル変化（輪郭）部に対応する新たな画像データを生成する画像データ生成工程を含む）。
【００２２】
図２は、入力画像データを縮小する場合を示した図である。画像の平坦部ａは、一定の変換倍率で縮小し、輪郭の前部ｂは、平坦部ａより高い倍率で変換し、輪郭の後部ｃは、平坦部ａより低い倍率で変換する（輪郭部が複数の領域に分けられ、それぞれの領域に対応する生成条件を異ならせている（あるいは生成条件が異なっている）。この場合、複数の領域の内の、少なくとも隣接する２つの領域に関して異なっていることが必要である。
【００２３】
上記動作を画像の水平方向と垂直方向に実施することで、画素数を変換することができる。
【００２４】
なお、水平方向の画素数変換と垂直方向の画素数変換は、順次実施することも同時に実施することもできる。
【００２５】
また、水平方向の変換倍率と垂直方向の変換倍率は、異なる倍率でも良い。
【００２６】
なお、以上に説明した動作は、表示画面上の水平方向について説明しているが、垂直方向に同様の動作を施せば、垂直方向の画像処理を実現できる。
【００２７】
また、表示画面上の水平方向（垂直方向）について輪郭部を検出した場合には、水平方向（輪郭部の検出が垂直方向の場合には垂直方向）における新たな画像データの生成条件を出力するが、輪郭検出を行う場合に水平方向（垂直方向）に対応する互いに隣接する元画像データ間のレベル変化を検出すると、処理が単純化され、装置を簡略化することができる。
【００２８】
以下、さらに図面を参照しながら、より詳細な形態について説明する。
図３は、この発明の実施の形態１における画像表示装置を表す図である。図において、１は画像信号の入力端子、２は同期信号の入力端子、３はＡ／Ｄ変換手段、４は画像調整手段、５は入力された元画像データを記憶するメモリ手段、６は画素数変換器、７は画像調整手段、８はＤ／Ａ変換手段、９は表示手段、１０は制御手段である。
【００２９】
画像信号と同期信号が入力端子１、２に入力される。制御手段１０は、入力端子２に入力された同期信号を基準に所定の周波数のサンプリングクロックと画像調整手段４以降を制御するクロックやタイミング信号を発生する。Ａ／Ｄ変換手段３は、入力端子１に入力された画像信号を制御手段１０が出力したサンプリングクロックでサンプリングし、デジタルの画像データに変換する。Ａ／Ｄ変換手段３で変換された画像データは、画像調整手段４に入力され、所望の画像調整が施される。
【００３０】
ここで、所望の画像調整とは、例えばメモリ手段５以降を３原色のデータとして処理する場合に、入力画像信号として輝度信号と色信号が入力される場合やコンポジット信号が入力される場合は、輝度信号と色信号から３原色のデータへの変換やコンポジット信号から３原色のデータへの変換、あるいは、その逆に３原色の信号が入力され，メモリ手段５以降を輝度信号と色信号で処理する場合は、３原色のデータから処理に適した形式のデータへの変換などが考えられる。さらに、明るさやコントラストの調整など、画素数変換とは独立した任意の画像調整が施されても良い。
【００３１】
画像調整手段４で処理された画像データは、メモリ手段５に一時的に記憶される（記憶工程）。ここで、メモリ手段５は、以降の画素数変換に必要な画素を記憶できるだけ（少なくとも２ライン以上）の容量を持つ。
【００３２】
次に、制御手段１０の制御によって、メモリ手段５から所定のタイミングで画像データが読み出されるが、必ずしもサンプリングクロックと同一のタイミングでなくても良く、表示手段９を制御するのに必要な任意の周波数で読み出すことができる。
【００３３】
メモリ手段５から読み出された画像データＰｉは、画素数変換器６に入力され、前述したように、画像の輪郭部において、画像のレベルの変化量に応じて変換倍率が制御されながら画素数の変換が行われ、変換後の画像データＰｏが出力される。
【００３４】
画素数変換器６が出力した画像データは、画像調整手段７に入力され、所望の画像調整が施される。ここで、所望の画像調整とは、明るさ、コントラスト、彩度の調整や階調制御などの画素数変換に独立した各種処理および補正や、表示手段９に入力するための信号形式の変換などが含まれる。
【００３５】
画像調整手段７で処理された画像データは、Ｄ／Ａ変換手段８に入力され、アナログの画像信号に変換される。Ｄ／Ａ変換手段８で変換された画像信号は、表示手段９に入力され、制御手段１０の制御により所定のタイミングで表示される。
【００３６】
なお、図３では、Ｄ／Ａ変換手段８でアナログの画像信号に変換して、表示手段９に入力する構成について示したが、表示手段９がデジタルの画像データを直接入力して表示できる場合は、Ｄ／Ａ変換手段８を省略することができる（この表示手段９における動作が表示工程に対応する）。
【００３７】
次に、画素数変換器６のより詳細な動作について説明する。
ここで画素数変換器６は水平、垂直のそれぞれの方向に独立に画素数変換を行うように構成して良いが、ここでは垂直方向および水平方向の両方向に対して画素数変換を行う場合について説明する。
【００３８】
図４は、この発明の実施の形態１における画素数変換器６の詳細な構成を示す図である。
図において、１１は、垂直画素数変換手段、１２は、垂直高域成分検出手段、１３は、垂直変換倍率制御手段、１４は、水平画素数変換手段、１５は、水平高域成分検出手段、１６は、水平変換倍率制御手段である。
【００３９】
垂直高域成分検出手段１２は、画像データＰｉの垂直方向の高域成分（レベルの変化量）として、垂直方向の１次微分結果ｖｄ１と２次微分結果ｖｄ２を出力する。ここで、画像データＰｉは、図３に示したメモリ手段５から読み出された画像データで、垂直画素数変換手段１１および垂直高域成分検出手段１２が必要とする複数の画素で構成される。
【００４０】
垂直変換倍率制御手段１３は、垂直高域成分検出手段１２が出力する垂直方向の高域成分ｖｄ１、ｖｄ２から垂直方向の変換倍率ｖｃ１を求め、垂直画素数変換手段１１に出力する。垂直画素数変換手段１１は、垂直方向の変換倍率ｖｃ１に基づいて入力画像の垂直方向の画素数を変換し、変換結果Ｐｖを出力する。
【００４１】
次に、水平高域成分検出手段１５は、垂直画素数変換手段１１が出力した画像データＰｖの水平方向の高域成分（レベルの変化量）として、水平方向の１次微分結果ｈｄ１と水平方向の２次微分結果ｈｄ２を出力する。水平変換倍率制御手段１６は、水平高域成分検出手段１５が出力する水平方向の高域成分ｈｄ１、ｈｄ２から水平方向の変換倍率ｈｃ１を求め、水平画素数変換手段１４に出力する。水平画素数変換手段１４は、水平方向の変換倍率ｈｃ１に基づいて入力画像の水平方向の画素数を変換し、変換結果Ｐｏを出力する。
【００４２】
上述の説明においては、垂直および水平の両方向に画素数変換を施す構成例について述べたが、以下では画素数変換の動作について述べる。なお、理解し易くするために水平方向の画素数変換の動作について説明する。
【００４３】
図４に示す構成において、垂直高域成分検出手段１２、水平高域検出手段１５は輪郭検出手段として機能し、垂直変換倍率制御手段１３、水平変換倍率制御手段１６は生成条件生成手段として機能し、垂直画素数変換手段１１、水平画素数変換手段１４は画像データ生成手段として機能する（もちろん、垂直、水平のいずれか一方のデータ処理のための構成、例えば垂直方向に対する新たな画像データ生成においては、垂直高域成分検出手段１２、垂直変換倍率制御手段１３、垂直画素数変換手段１１のみによって画像処理系が構成されていても良く、水平方向に関しても同様である）。
【００４４】
なお、図３、４に示した構成を参照して説明したが、メモリ手段５からの出力Ｐｉに対して、垂直高域成分検出手段１２の直前に雑音除去のための低域濾波器（ローパスフィルタ：ＬＰＦ）を設けても良い。この場合、垂直画素数変換手段１１には出力Ｐｉをそのまま入力し、垂直高域成分検出手段１２にはこの直前に設けられるＬＰＦの出力を入力する。このようにすると、出力Ｐｉ上に存在する雑音を輪郭部として処理することがなくなり、輪郭部のみ的確に処理することが可能となる（この場合には、垂直高域成分検出手段１２およびＬＰＦにより輪郭検出手段が構成される）。
【００４５】
もちろん、このようなＬＰＦは水平高域成分検出手段１５の直前に配置することもでき、垂直方向のデータ処理と同様の効果を水平方向に対して得ることができる（この場合には、水平高域成分検出手段１５およびＬＰＦにより輪郭検出手段が構成される）。もちろん垂直方向、水平方向のいずれか一方向、あるいは両方向に対してこれらの構成を採用することが可能である。
【００４６】
なお、以上の説明においては、垂直方向には垂直高域成分検出手段１２あるいはその前段にＬＰＦを設けるものについて述べたが、垂直変換倍率制御手段１３の前段がバンドパスフィルタ（ＢＰＦ）であっても同様の効果を期待できる（これは言うまでもなく、水平方向に対しても同様の構成を採用すれば同様の効果を得ることができる）。この場合には、垂直高域成分検出手段１２およびＬＰＦ（あるいは水平高域成分検出手段１５およびＬＰＦ）により輪郭検出手段が構成される。
【００４７】
また、垂直高域成分検出手段１２（あるいは水平高域成分検出手段１５）、あるいは垂直高域成分検出手段１２およびＬＰＦ（あるいは水平高域成分検出手段１５およびＬＰＦ）により輪郭検出手段を構成したが、垂直高域成分検出手段１２（あるいは水平高域成分検出手段１５）の後段あるいは垂直変換倍率制御手段１３（あるいは水平変換倍率制御手段１６）の前段に不感帯を設けるためのコアリング手段を設けることもでき、これによっても上述したものと同様の効果を得ることができる。
【００４８】
図５は、水平画素数の変換の動作を詳細に説明する図である。
図５のｈｄ１およびｈｄ２は、画像データＰｖに対応する水平方向の１次微分結果と２次微分結果を示す。水平変換倍率ｈｃ１は、
ｈｃ１＝ｎ＋ｋ×ｈｄ１×ｈｄ２
で示されるように、任意の変換倍率ｎに１次微分結果ｈｄ１と２次微分結果ｈｄ２を掛け合わせたものに任意の数ｋを乗じた結果を加算したものである。この結果、期間ａは、任意の変換倍率ｎ、期間ｂでは、ｎより高い倍率、期間ｃでは、ｎより低い倍率で画素数が変換されることになる。ただし、以下の式で示されるように１ラインにおける水平変換倍率ｈｃ１の平均値は、ｎであるので、画像の変換倍率は局部的に上下するが、画像全体の変換倍率はｎとなる。
ＡＶＥ（ｈｃ１）＝ｎ
ただし、ＡＶＥ（ｘ）は変倍率ｘの１ラインの平均値を示す。
【００４９】
なお、以上の説明においては、水平変換倍率ｈｃ１を任意の倍率ｎに１次微分結果ｈｄ１と２次微分結果ｈｄ２の掛け合わせたものに任意の数ｋを乗じた結果を加算する場合について示したが、任意の数ｋを乗じた結果に最大値と最小値の制限を設けたり、任意の数ｋを乗ずる代わりに非線形の変換を行うことで、任意の特性を有する輪郭部分において変換倍率を自由に制御することができるようになる。
【００５０】
なお、垂直方向においても、上述の水平方向の画素数変換と同様の動作であり、この垂直の場合においても垂直方向の画素数の平均値はｎとなる（垂直方向の変換倍率がｎの場合。もちろん水平方向、垂直方向の変換倍率はそれぞれ独立に設定することができる）。
【００５１】
図６は、図５の輪郭部分における画素数変換の動作をより詳細に説明するための説明図である。
【００５２】
画像データＰｖの画素の一部（ｐ１、ｐ２、ｐ３）は、上記動作によって、ｑ１１〜ｑ１７のように変換される。期間ｂでは、期間ａより画素の密度が高くなり、期間ｃでは、期間ａより画素の密度が低くなる。この結果（ｑ１１〜ｑ１７）が表示手段９では、ｓ１１〜ｓ１７に示したように等しい間隔で表示されるので、画素密度が高い部分は、ｎより高い倍率で拡大され、画素密度の低い部分では、ｎより低い倍率で拡大されることになる。
【００５３】
更に述べると、ｑ１１とｑ１２の距離は，ｐ１とｐ２の距離（処理前の画素の間隔）を１とした場合，ｑ１２における変換倍率の逆数で示される。また、ｑ１１からｑ１３の距離は，ｑ１１からｑ１２の距離にｑ１３における変換倍率の逆数を加算すればよい。このように、水平変換倍率制御手段１６が出力する変換倍率ｈｃ１の逆数を水平方向に累積加算することで，各画素の位置が求められる。
【００５４】
より具体的には，この累積加算結果から，処理に必要な画素（例えば，ｐ１、ｐ２、ｐ１などの画素が記憶されたメモリ手段のアドレス）やフィルタ係数（フィルタ係数の番号やフィルタ係数そのものを指し示す）を求めることができる。
【００５５】
上記動作によって、画像データＰｖの画素の一部（ｐ１、ｐ２、ｐ３）は、ｑ１１〜ｑ１７のように変換される。期間ｂでは、期間ａより画素の密度が高くなり、期間ｃでは、期間ａより画素の密度が低くなる。より具体的には，この結果（ｑ１１〜ｑ１７）が表示手段９では、ｓ１１〜ｓ１７に示したように等しい間隔で表示されるので、画素密度が高い部分は、ｎより高い倍率で拡大され、画素密度の低い部分では、ｎより低い倍率で拡大されることになる。
【００５６】
なお、上記動作の説明では、画像を拡大する場合について説明したが、画像を縮小する場合も同様で、期間ｂでｎより高い倍率で縮小され、期間ｃでは、ｎより低い倍率で縮小される。
【００５７】
したがって、任意の変換倍率ｎが１より大きい場合は、輪郭部の鮮鋭度を損なうことなく画像が拡大され、１より小さい場合は、輪郭部の画像の欠けが減るように画像が縮小される。すなわち、拡大、縮小の両方において入力画像の輪郭情報を保存する効果がある。
【００５８】
また、任意の数ｋを大きく取ることで、入力画像の輪郭の鮮鋭度を高くすることができ、任意の数ｋによって輪郭部の鮮鋭度を制御することができる。
【００５９】
また、任意の変換倍率ｎが１の時は、画像全体の拡大・縮小は行われず、輪郭部の鮮鋭度のみが制御される。
【００６０】
また、任意の変換倍率ｎと任意の数ｋを垂直方向と水平方向で独立に設定することで、水平方向の変換倍率と水平方向の輪郭の鮮鋭度、および垂直方向の変換倍率と垂直方向の輪郭の鮮鋭度を独立に制御することができる。
【００６１】
例えば、垂直方向の変換倍率ｎを２に設定し、水平方向の変換倍率ｎを１に設定することで、インタレース画像からノンインタレース画像に変換（走査線補間）することができ、水平方向と垂直方向の輪郭を独立に所望の鮮鋭度に制御できる。
【００６２】
なお、上記動作の説明では、画素数変換の動作として垂直方向の画素数変換と水平方向の画素数変換の動作を順次実施する場合について説明したが、水平方向の画素数を変換した後に垂直方向の画素数を変換しても同様の効果を得ることができる。
【００６３】
また、垂直方向の画素数変換と水平方向の画素数変換を同時に実施しても同様の効果を得ることができる。
【００６４】
また、上記動作の説明では、画素数の変換に用いるフィルタとして線形フィルタの場合について説明したが、非線形などの任意の形のフィルタを用いることができる。
【００６５】
図７は、画素数変換器６で垂直方向と水平方向の画素数変換を同時に行う場合の構成を示す図である。図において１７は、画素数変換手段、１８は、高域成分検出手段、１９は、変換倍率制御手段である。高域成分検出手段１８は、画像データＰｉの垂直および水平方向の変化量として１次微分結果ｄ１と２次微分結果ｄ２を出力する。変換倍率制御手段１９は、１次微分結果ｄ１と２次微分結果ｄ２に基づいて変換倍率ｃ１を決定し、画素数変換手段１７に出力する。画素数変換手段１７は、変換倍率ｃ１に基づいて垂直方向と水平方向の画素数を同時に二次元的に変換する。
【００６６】
なお、高域成分検出結果ｄ１、ｄ２と変換倍率ｃ１の関係は、図５のｈｄ１、ｈｄ２およびｈｃ１の関係と同様であるので、詳細な説明は省略する。
【００６７】
実施の形態２．
実施の形態１においては、画像の高域成分（レベルの変化量）として１次微分結果と２次微分結果を用いて、変換倍率を制御する構成について説明したが、隣接する画素の１次微分結果のみを用いて変換倍率を制御することにより、構成を簡略化することができる。
【００６８】
以下、画素数変換器６のより詳細な動作について説明する。
ここで画素数変換器６は水平、垂直のそれぞれの方向に独立に画素数変換を行うように構成して良いが、ここでは垂直方向および水平方向の両方向に対して画素数変換を行う場合について説明する。
【００６９】
図８は、実施の形態２における画素数変換器６を示す図である。
図において２０は、垂直高域成分検出手段、２１は、垂直変換倍率制御手段、２２は、水平高域成分検出手段、２３は、水平変換倍率制御手段である。
【００７０】
垂直高域成分検出手段２０は、画像データＰｉの垂直方向の高域成分（レベルの変化量）として、垂直方向に隣接する画素の１次微分結果ｖｄ１を出力する。垂直変換倍率制御手段２１は、垂直高域成分検出手段２０が出力する垂直方向の１次微分結果ｖｄ１から垂直方向の変換倍率ｖｃ２を求め、垂直画素数変換手段１１に出力する。垂直画素数変換手段１１は、垂直方向の変換倍率ｖｃ２に基づいて入力画像の垂直方向の画素数を変換し、変換結果Ｐｖを出力する。
【００７１】
次に水平高域成分検出手段２２は、垂直画素数変換手段１１が出力した画像データＰｖの水平方向の高域成分（レベルの変化量）として、水平方向に隣接した画素の１次微分結果ｈｄ１を出力する。水平変換倍率制御手段２３は、水平高域成分検出手段２２が出力する水平方向の一次微分結果ｈｄ１から水平方向の変換倍率ｈｃ２を求め、水平画素数変換手段１４に出力する。水平画素数変換手段１４は、水平方向の変換倍率ｈｃ２に基づいて入力画像の水平方向の画素数を変換し、変換結果Ｐｏを出力する。
【００７２】
上述の説明においては、垂直および水平の両方向に画素数変換を施す構成例について述べたが、以下では画素数変換の動作について述べる。なお、理解し易くするために水平方向の画素数変換の動作について説明する。
【００７３】
図９は、水平画素数の変換の動作を詳細に説明する図である。
図９のｈｄ１は、画像データＰｖに対応する水平方向の１次微分結果である。水平変換倍率ｈｃ２は、任意の変換倍率ｎに１次微分結果ｈｄ１の前半を正、後半を負に変換した結果に任意の数ｋを乗じたものを加算する。１次微分結果ｈｄ１の具体的な極性変換の方法は、後述する。なお、任意の変換倍率ｎと任意の数ｋは、実施の形態１と同様である（輪郭検出工程。ここで検出された輪郭部は複数の領域に分けられる）。
【００７４】
この結果、ｈｃ２の期間ａは、任意の変換倍率ｎ、期間ｂでは、ｎより高い倍率、期間ｃでは、ｎより低い倍率で画素数が変換されることになる。すなわち、複数の領域に分けられた輪郭部それぞれの領域に対応する新たな画像データを生成する際の生成条件（例えば、ここでいう生成条件とは変換倍率である）が異なる。
【００７５】
ここでは、輪郭検出工程により得られる検出結果に基づいて輪郭部に対応する元画像データ（入力画像データ）から輪郭部に対応する新たな画像データを生成する際の生成条件を生成する生成条件工程、生成条件に基づいて輪郭部に対応する元画像データから輪郭部に対応する新たな画像データを生成する画像データ生成工程を含む。
【００７６】
なお、以上に説明した動作は、表示画面上の水平方向について説明しているが、垂直方向に同様の動作を施せば、垂直方向の画像処理を実現できる。
【００７７】
図１０は、図９の輪郭部分における画素数変換の動作をより詳細に説明する図である。
図１０を用いて前述したｈｄ１の極性変換の具体例を説明する。
【００７８】
１次微分結果ｈｄ１は、入力画像データｐ４、ｐ５の微分結果であり、ｈｄ１の極性の変換は、ｐ４、ｐ５の中央付近を境に前半が正、後半が負になるように変換すればよい。より具体的には、ｈｃ２は以下の式で示すことができる。
０≦ｒ＜０．５のとき
ｈｃ２＝ｎ＋ｋ×ａｂｓ（ｈｄ１）
０．５≦ｒ＜１．０のとき
ｈｃ２＝ｎ−ｋ×ａｂｓ（ｈｄ１）
ここで、ａｂｓ（ｘ）は、ｘの絶対値を表し、ｒは、ｐ４とｐ５の距離を１とした場合の、変換倍率ｎにおける出力画像の画素の位置を示す。ただし、以下の式で示されるように１ラインにおける水平変換倍率ｈｃ２の平均値は、ｎであるので、画像の変倍率は局部的に上下するが、画像全体の変換倍率はｎとなる。
ＡＶＥ（ｈｃ２）＝ｎ
【００７９】
上記式では、ｐ４、ｐ５の中央付近を境に１次微分結果ｈｄ１の極性を変換する場合について示したが、これに限るものではなく、任意の境界を設定して、境界の前後で個別の係数を乗じて画面全体の変換倍率がｎになるようにしても良い。ｈｄ１の極性を変換する境界をｉ（ただし、０＜ｉ＜１）とすると、以下の式で示すことができる。
０≦ｒ＜ｉのとき
ｈｃ２＝ｎ＋（１−ｉ）×ｋ×ａｂｓ（ｈｄ１）
ｉ≦ｒ＜１．０のとき
ｈｃ２＝ｎ−ｉ×ｋ×ａｂｓ（ｈｄ１）
【００８０】
なお、垂直方向についても、上述の水平方向の画素数変換と同様の動作であり、この垂直の場合においても垂直方向の画素数の平均値はｎとなる（垂直方向の変換倍率がｎの場合。もちろん水平方向、垂直方向の変換倍率はそれぞれ独立に設定することができる）。
【００８１】
図１０におけるｑ２０とｑ２１の距離は，ｐ４とｐ５の距離（処理前の画素の間隔）を１とした場合，ｑ２１における変換倍率ｈｃ２の逆数で示される。また、ｑ２０からｑ２２の距離は，ｑ２０からｑ２１の距離にｑ２２における変換倍率ｈｃ２の逆数を加算すればよい。このように、水平変換倍率制御手段２３が出力する変換倍率ｈｃ２の逆数を水平方向に累積加算することで，各画素の位置が求められる。より具体的には，この累積加算結果から，処理に必要な画素（例えば，ｐ４、ｐ５などの画素が記憶されたメモリ手段のアドレス）やフィルタ係数（フィルタ係数の番号やフィルタ係数そのものを指し示す）を求めることができる。
【００８２】
上記動作によって、入力画像データの画素の一部（ｐ４、ｐ５）は、ｑ２０〜ｑ２５のように変換される。期間ｂでは、期間ａより画素の密度が高く、期間ｃでは、期間ａより画素の密度が低くなる。この結果（ｑ２０〜ｑ２５）が表示手段９では、ｓ２０〜ｓ２５に示したように等しい間隔で表示されるので、画素密度が高い部分は、ｎより高い倍率で拡大され、画素密度の低い部分では、ｎより低い倍率で拡大されることになる。
【００８３】
なお、図１０および上記動作の説明では，１次微分で参照する画素が２画素（ｐ４、ｐ５）の場合について説明したが、これに限るものではなく，１次微分で参照する画素は、任意の数でよく、このとき，上記式で示したｒおよびｉは、参照する画素の両端の距離を１として考えればよい。
【００８４】
その他の動作については、実施の形態１と同様であるので、説明を省略する。
【００８５】
図１１は、垂直方向と水平方向の画素数変換を同時に行う場合の構成を示す図である。図において２４は、高域成分検出手段、２５は、変換倍率制御手段である。高域成分検出手段２４は、画像データＰｉの垂直および水平方向の変化量として１次微分結果ｄ１を出力する。変換倍率制御手段２５は、１次微分結果ｄ１に基づいて変換倍率ｃ２を決定し、画素数変換手段１７に出力する。画素数変換手段１７は、変換倍率ｃ２に基づいて垂直方向と水平方向の画素数を同時に変換する（二次元的に変換する）。
【００８６】
なお、高域成分検出結果ｄ１と変換倍率ｃ２の関係は、図９および図１０のｈｄ１、ｈｃ２と同様であるので、詳細な説明は省略する。
【００８７】
実施の形態３．
なお、上記実施の形態１および２においては、入力される画像信号がアナログ信号の場合について示したが、これに限るものではなく、デジタルの画像データが入力されても良い。
【００８８】
図１２は、この発明の実施の形態３における画像表示装置を示す図である。
図において、２６は、デジタル画像データの入力端子、２７は、デジタルデータを直接入力することができる表示手段、２８は、制御手段である。
【００８９】
次に動作について説明する。
デジタルの画像データが入力端子２６に入力され、入力端子２６に入力された画像データは、画像調整手段４に入力される。また、同期信号が入力端子２に入力され、入力端子２に入力された同期信号は、制御手段２８に入力される。
【００９０】
画像調整手段４、メモリ手段５、画素数変換器６、画像調整手段７は、制御手段２８の制御により、実施の形態１および実施の形態２と同様の動作により、画素数の変換とその他の画像処理を行う。画像調整手段７が出力した画像データは、表示手段２７に直接入力され、制御手段２８の制御により所定のタイミングで表示される。その他の詳細な動作の説明は、実施の形態１および実施の形態２と同様であるので、説明は省略する。
【００９１】
なお、上記実施の形態３における動作の説明では、デジタル画像データを直接入力できる表示手段２７を用いて説明したが、表示手段２７の代わりに実施の形態１に示したＤ／Ａ変換手段８および表示手段９を用いて構成することもできる。
【００９２】
実施の形態４．
なお、上記実施の形態１から３では、ハードウェアによって画素数を変換する構成について説明したが、ソフトウェアによって画素数の変換を行うこともできる。図１３は、ソフトウェア処理（もちろん、ソフトウェア、ハードウェアが混在していても良い）による画素数変換の動作（画像処理方法・画像表示方法）を説明するフローチャートである。
【００９３】
次に動作について説明する。
ここで、画素数変換は、水平、垂直のそれぞれの方向に独立に画素数変換を行うように構成して良いが、ここでは垂直方向および水平方向の両方向に対して画素数変換を行う場合について説明する。
【００９４】
（図中Ａのフローによる垂直方向のデータ生成動作の開始）データ抽出部において、画素数を変換する画像データ（図４のＰｉに相当）から着目画素に対する垂直高域成分の算出とフィルタ演算に必要な複数の画素データを抽出する。
【００９５】
垂直高域成分算出部において、データ抽出部で抽出された複数の画素データから垂直方向の１次微分結果（図４のｖｄ１に相当）と垂直方向の２次微分結果（図４のｖｄ２に相当）を算出する（ここまでがレベル変化検出工程に相当する）。
【００９６】
垂直変換倍率算出部では、垂直高域成分算出部で算出された１次微分結果と２次微分結果および画像全体の変換倍率（図５のｎに相当）から着目画素に対する垂直方向の変換倍率（図４のｖｃ２に相当）を算出する（生成条件生成工程）。
【００９７】
フィルタ演算部では、垂直変換倍率演算部で算出された変換倍率とデータ抽出部で抽出された複数の画素データからフィルタ演算を実施し、演算結果を保存する（画像データ生成工程）。
【００９８】
上記動作を着目画素が画像の端に達するまで繰り返す。ここで、画像の端とは、画像の左側から演算する場合は、画像の右端を示す。
【００９９】
着目画素が画像の端に達した場合は、着目画素を次のラインに移動し上記演算を実施する。この動作を全画素に実施することで、垂直方向の画素数の変換が完了する（図中Ａのフローによる動作の終了）。
【０１００】
（図中Ｂのフローによる水平方向のデータ生成動作の開始）次のデータ抽出部では、垂直方向の画素数が変換された画像データ（図４のＰｖに相当）から、着目画素に対する水平高域成分の算出とフィルタ演算に必要な複数の画素データを抽出する。水平高域成分算出部において、データ抽出部で抽出された複数の画素データから水平方向の１次微分結果（図４のｈｄ１に相当）と水平方向の２次微分結果（図４のｈｄ２に相当）を算出する。水平変換倍率算出部では、水平高域成分算出部で算出された１次微分結果と２次微分結果および画像全体の変換倍率（図５のｎに相当）から着目画素に対する水平方向の変換倍率（図４のｈｃ２に相当）を算出する。フィルタ演算部では、水平変換倍率演算部で算出された変換倍率（新たな画像データを生成する際の生成条件）とデータ抽出部で抽出された複数の画素データからフィルタ演算を実施し、演算結果を保存する。
【０１０１】
次に上記動作を着目画素が画像の端に達するまで繰り返す。
【０１０２】
着目画素が画像の端に達した場合は、着目画素を次のラインに移動し上記演算を実施する。この動作を全着目画素に実施することで、画素数の変換が完了する（図中Ｂのフローによる動作の終了）。
【０１０３】
なお、上記動作の説明では、垂直方向の画素数を変換した後に水平方向の画素数を変換する場合について示したが、水平方向の画素数を変換した後に垂直方向の画素数を変換しても良い（すなわち、図中Ｂのフローによる動作を先に実施した後、図中Ａのフローによる動作が行われても良い）。また、先に述べたように、図中Ａのフローによる動作と、図中Ｂのフローによる動作のいずれか一方の動作が実施されても良い。
【０１０４】
また、上記動作の説明では、垂直および水平の画素数を変換する際に着目画素を画像の左から右、上から下の順番で演算する場合について示したが、この限りではなく、任意の方向から演算しても同様の結果を得ることができる。
【０１０５】
なお、先に述べた変倍率に対応する１ラインの平均値ｎ（垂直、水平のいずれかの方向の変換倍率がｎのとき。もちろん、垂直、水平各方向の変換倍率はそれぞれ独立に設定することができる）は、垂直、水平の両方向（両方向に変換倍率がｎであるとき）あるいはいずれか一方の方向において成立するように構成する。
【０１０６】
【発明の効果】
本発明に係る画像処理装置および画像処理方法によれば、画素データの変化を表す特徴量に基づいて各補間画素の変換倍率を指定し、指定された変換倍率に基づいて補間画素の画素データを算出するので画像の輪郭部における鮮鋭度を損なうことなく画像の拡大処理を行うことができる。
また、入力画像の輪郭部を構成する画素データの変化を表す特徴量に基づいて入力画像の輪郭部を補正する補間画素の変換倍率を当該補間画素の各々について指定し、指定された変換倍率に基づいて補間画素の画素データを算出するので、画像の輪郭部の鮮鋭度を向上させ、より鮮明な画像を得ることができる。
【図面の簡単な説明】
【図１】 実施の形態１における画像処理動作を示す図である。
【図２】 実施の形態１における画像処理動作を示す図である。
【図３】 実施の形態１における画像表示装置の構成を示す図である。
【図４】 実施の形態１における画像処理装置の構成を示す図である。
【図５】 実施の形態１における画像処理動作を示す図である。
【図６】 実施の形態１における画像処理動作を示す図である。
【図７】 実施の形態１における画像処理装置の別の構成を示す図である。
【図８】 実施の形態２における画像処理装置の構成を示す図である。
【図９】 実施の形態２における画像処理動作を示す図である。
【図１０】 実施の形態２における画像処理動作を示す図である。
【図１１】 実施の形態２における画像処理装置の別の構成を示す図である。
【図１２】 実施の形態３における画像表示装置の構成を示す図である。
【図１３】 実施の形態４における画像処理動作のフローチャートである。
【図１４】 従来の画像処理動作を示す図である。
【図１５】 従来の画像処理動作を示す図である。
【図１６】 従来の画像処理動作を示す図である。
【図１７】 従来の画像処理手段のレスポンス特性の一例を示す図である。
【図１８】 従来の画像処理手段のレスポンス特性の一例を示す図である。
【符号の説明】
１ 入力端子、２ 入力端子、３ Ａ／Ｄ変換手段、４ 画像調整手段、５ メモリ手段、６ 画素数変換器、７ 画像調整手段、８ Ｄ／Ａ変換手段、９ 表示手段、１０ 制御手段、１１ 垂直画素数変換手段、１２ 垂直高域成分検出手段、１３ 垂直変換倍率制御手段、１４ 水平画素数変換手段、１５ 水平高域成分検出手段、１６ 水平変換倍率制御手段、１７ 画素数変換手段、１８ 高域成分検出手段、１９ 変換倍率制御手段、２０ 垂直高域成分検出手段、２１ 垂直変換倍率制御手段、２２ 水平高域成分検出手段、２３ 水平変換倍率制御手段、２４ 高域成分検出手段、２５ 変換倍率制御手段、２６ 入力端子、２７ 表示手段、２８ 制御手段。
【発明の属する技術分野】
この発明は、デジタル画像を任意の倍率に拡大あるいは縮小する画像処理装置および画像表示装置，画像処理方法および画像表示方法に係わる。
【０００２】
【従来の技術】
図１４は、従来の画素数変換方法で画素数を３倍に変換した場合を示す図である。図において横軸は、画像の水平位置または垂直位置を示し、縦軸は、画像データのレベル（明るさ）を示す。水平方向と垂直方向の画素数の変換は、動作が同じであるので、水平方向の画素数変換の動作のみ説明する。
【０００３】
図１４のように入力画像データが平坦部（ｈ）と輪郭部（ｊ、ｋ）で構成されている場合、平坦部（ｈ）もレベル変化部（ｊ、ｋ）も一律に３倍に変換されるため、輪郭部は、ｊ１、ｋ１のように滑らかな輪郭に変換される。
【０００４】
図１５および図１６は、従来の画素数変換方法の詳細な動作を説明する図である。図においてｐ（ｎ）、ｐ（ｎ＋１）は入力画像データの隣接した２画素、ｑ（ｍ）は出力画像データの１画素、Ｆ（ｘ）は画素数変換に用いるフィルタのレスポンス特性の一例である。
【０００５】
ｐ（ｎ）とｐ（ｎ＋１）の距離を１とし、出力画像ｑ（ｍ）がｐ（ｎ）から距離ｒの位置の場合、出力画像ｑ（ｍ）は以下の式により求められる。
ｑ（ｍ）＝Ｆ（ｒ）×ｐ（ｎ）＋Ｆ（１−ｒ）×ｐ（ｎ＋１）
【０００６】
図１６に示したように出力画像データの画素ごと（ｑ１からｑ７）に上記演算を実施することで画素数を変換することができる。
【０００７】
上記実施の説明では、フィルタのレスポンス特性として図１５に示した線形フィルタを用いた場合を示したが、図１７のようなレスポンス特性のフィルタを用いて、輪郭部（ｊ１、ｋ１）の鮮鋭度を改善する場合もある。
【０００８】
また、図１８に示すように複数のレスポンス特性のフィルタを用意し、画像に応じて切り替える方式が、特開平９−２６６５３１号公報に開示されている。
【０００９】
【発明が解決しようとする課題】
従来の画像処理方法は、以上のように構成されているので、画像を拡大する場合に輪郭部分の鮮鋭度の低下や鮮鋭度を改善するために新たにアンダーシュート（プリシュート）やオーバーシュートが発生し、また、画像を縮小する場合に輪郭部の画素が欠けるなどのいわゆる輪郭部の画質劣化が発生するといった問題点がある。
【００１０】
また、画像に応じてフィルタを切り替えることで、フィルタの切り替わり部分で画像の連続性が損なわれるといった問題点もある。
【００１１】
この発明は、以上のような問題点を解決するためになされたもので、輪郭部の画質劣化を抑えて画像処理を行うこと、より詳しくは任意の倍率に変倍することを目的とする。
【００１２】
【課題を解決するための手段】
本発明に係る画像処理装置は、入力画像を表す画像データに補間演算処理を行うことにより、上記入力画像の画素数を変換する画像処理装置であって、
上記入力画像を構成する画素データの水平および／または垂直方向における一次微分および二次微分を検出する高域成分検出手段と、
上記入力画像を補間する補間画素の各々について求められる変換倍率であって、当該補間画素の密度を局所的に変化させる上記変換倍率の値を、上記一次微分および上記二次微分の積を用いて算出する変換倍率制御手段と、
上記変換倍率に基づいて上記補間画素の各々の補間位置を求め、当該補間位置における補間演算により上記補間画素の画素データを算出する画素数変換手段とを備えたものである。
【００１３】
また、本発明に係る画像処理装置は、入力画像の輪郭を補正して出力する画像処理装置であって、
上記入力画像の輪郭部を構成する画素データの水平および／または垂直方向における一次微分および二次微分を検出する高域成分検出手段と、
上記特徴量に基づいて、上記入力画像の輪郭部を補正する補間画素の各々について求められる変換倍率であって、当該補間画素の密度を局所的に変化させる上記変換倍率の値を、上記一次微分および上記二次微分の積を用いて算出する変換倍率制御手段と、
上記変換倍率に基づいて上記補間画素の各々の補間位置を求め、当該補間位置における補間演算により上記補間画素の画素データを算出する補間演算手段とを備えたものである。
【００１４】
本発明に係る画像処理方法は、入力画像を表す画像データに補間演算処理を行うことにより、上記入力画像の画素数を変換する画像処理方法であって、
上記入力画像を構成する画素データの水平および／または垂直方向における一次微分および二次微分を検出する工程と、
上記入力画像を補間する補間画素の各々について求められる変換倍率であって、当該補間画素の密度を局所的に変化させる上記変換倍率の値を、上記一次微分および上記二次微分の積を用いて算出する工程と、
上記変換倍率に基づいて上記補間画素の各々の補間位置を求め、当該補間位置における補間演算により上記補間画素の画素データを算出する工程とを備えたものである。
【００１５】
また、本発明に係る画像処理方法は、入力画像の輪郭を補正して出力する画像処理方法であって、
上記入力画像の輪郭部を構成する画素データの水平および／または垂直方向における一次微分および二次微分を検出する工程と、
上記入力画像の輪郭部を補正する補間画素の各々について求められる変換倍率であって、当該補間画素の密度を局所的に変化させる上記変換倍率の値を、上記一次微分および上記二次微分の積を用いて算出する工程と、
上記変換倍率に基づいて上記補間画素の各々の補間位置を求め、当該補間位置における補間演算により上記補間画素の画素データを算出する工程とを備えたものである。
【００１６】
【発明の実施の形態】
実施の形態１．
図１は、この発明の実施の形態１における画像処理方法を説明するための説明図である。
図において横軸は、画像の水平位置あるいは垂直位置、縦軸は、画像データのレベル（明るさ）を示している。また、図中上段は、入力画像データ、下段は、前記入力画像データを拡大した場合を示している。
【００１７】
次に動作について説明する。
画素数の変換において、垂直画素数の変換と水平画素数の変換は、同様の動作によって実現されるので、ここでは、水平画素数の変換の動作について説明する。
【００１８】
入力画像データから画像のレベルの変化を検出し、平坦部（期間ａ）とレベル変化部に相当する輪郭部（期間ｂおよびｃ）を判別する（以降、簡単のためレベル変化部を輪郭部として説明する）。
【００１９】
さらに輪郭部は、画像のレベルが変化する前部（期間ｂ）と後部（期間ｃ）に判別する（この場合、入力画像データが元画像データであり、この元画像データ間のレベル変化より、元画像データにおける輪郭部を検出する（レベル変化検出工程）。ここで検出された輪郭部は複数の領域に分けられる）。
【００２０】
判別された画像の平坦部ａは、一定の変換倍率ｎで画素数を変換する。ここで、一定の変換倍率ｎとは、画像のフォーマット変換や画像を任意の倍率で拡大あるいは縮小するために必要な任意の倍率である。画像のフォーマット変換の一例として、パーソナルコンピュータ（ＰＣ）の出力フォーマットの１つである６４０画素×４８０ラインの画像を１０２４画素×７６８ラインの画像に変換する場合、変換倍率ｎは、１．６倍である。
【００２１】
一方、画像の輪郭部（ｂ、ｃ）では、画像の変化量に応じて変換倍率を制御する。すなわち、複数の領域に分けられた輪郭部では、それぞれの領域に対応する新たな画像データを生成する際の生成条件（ここでいう生成条件とは、例えば、変換倍率である）が異なる。より具体的には、輪郭の前部ｂは、平坦部ａより高い倍率で変換し、後部ｃは、平坦部ａより低い倍率で画素数を変換する（レベル変化検出工程により得られる検出結果に基づいて輪郭部に対応する元画像データからレベル変化（輪郭）部に対応する新たな画像データを生成する際の生成条件を生成する生成条件工程、生成条件に基づいてレベル変化（輪郭）部に対応する元画像データからレベル変化（輪郭）部に対応する新たな画像データを生成する画像データ生成工程を含む）。
【００２２】
図２は、入力画像データを縮小する場合を示した図である。画像の平坦部ａは、一定の変換倍率で縮小し、輪郭の前部ｂは、平坦部ａより高い倍率で変換し、輪郭の後部ｃは、平坦部ａより低い倍率で変換する（輪郭部が複数の領域に分けられ、それぞれの領域に対応する生成条件を異ならせている（あるいは生成条件が異なっている）。この場合、複数の領域の内の、少なくとも隣接する２つの領域に関して異なっていることが必要である。
【００２３】
上記動作を画像の水平方向と垂直方向に実施することで、画素数を変換することができる。
【００２４】
なお、水平方向の画素数変換と垂直方向の画素数変換は、順次実施することも同時に実施することもできる。
【００２５】
また、水平方向の変換倍率と垂直方向の変換倍率は、異なる倍率でも良い。
【００２６】
なお、以上に説明した動作は、表示画面上の水平方向について説明しているが、垂直方向に同様の動作を施せば、垂直方向の画像処理を実現できる。
【００２７】
また、表示画面上の水平方向（垂直方向）について輪郭部を検出した場合には、水平方向（輪郭部の検出が垂直方向の場合には垂直方向）における新たな画像データの生成条件を出力するが、輪郭検出を行う場合に水平方向（垂直方向）に対応する互いに隣接する元画像データ間のレベル変化を検出すると、処理が単純化され、装置を簡略化することができる。
【００２８】
以下、さらに図面を参照しながら、より詳細な形態について説明する。
図３は、この発明の実施の形態１における画像表示装置を表す図である。図において、１は画像信号の入力端子、２は同期信号の入力端子、３はＡ／Ｄ変換手段、４は画像調整手段、５は入力された元画像データを記憶するメモリ手段、６は画素数変換器、７は画像調整手段、８はＤ／Ａ変換手段、９は表示手段、１０は制御手段である。
【００２９】
画像信号と同期信号が入力端子１、２に入力される。制御手段１０は、入力端子２に入力された同期信号を基準に所定の周波数のサンプリングクロックと画像調整手段４以降を制御するクロックやタイミング信号を発生する。Ａ／Ｄ変換手段３は、入力端子１に入力された画像信号を制御手段１０が出力したサンプリングクロックでサンプリングし、デジタルの画像データに変換する。Ａ／Ｄ変換手段３で変換された画像データは、画像調整手段４に入力され、所望の画像調整が施される。
【００３０】
ここで、所望の画像調整とは、例えばメモリ手段５以降を３原色のデータとして処理する場合に、入力画像信号として輝度信号と色信号が入力される場合やコンポジット信号が入力される場合は、輝度信号と色信号から３原色のデータへの変換やコンポジット信号から３原色のデータへの変換、あるいは、その逆に３原色の信号が入力され，メモリ手段５以降を輝度信号と色信号で処理する場合は、３原色のデータから処理に適した形式のデータへの変換などが考えられる。さらに、明るさやコントラストの調整など、画素数変換とは独立した任意の画像調整が施されても良い。
【００３１】
画像調整手段４で処理された画像データは、メモリ手段５に一時的に記憶される（記憶工程）。ここで、メモリ手段５は、以降の画素数変換に必要な画素を記憶できるだけ（少なくとも２ライン以上）の容量を持つ。
【００３２】
次に、制御手段１０の制御によって、メモリ手段５から所定のタイミングで画像データが読み出されるが、必ずしもサンプリングクロックと同一のタイミングでなくても良く、表示手段９を制御するのに必要な任意の周波数で読み出すことができる。
【００３３】
メモリ手段５から読み出された画像データＰｉは、画素数変換器６に入力され、前述したように、画像の輪郭部において、画像のレベルの変化量に応じて変換倍率が制御されながら画素数の変換が行われ、変換後の画像データＰｏが出力される。
【００３４】
画素数変換器６が出力した画像データは、画像調整手段７に入力され、所望の画像調整が施される。ここで、所望の画像調整とは、明るさ、コントラスト、彩度の調整や階調制御などの画素数変換に独立した各種処理および補正や、表示手段９に入力するための信号形式の変換などが含まれる。
【００３５】
画像調整手段７で処理された画像データは、Ｄ／Ａ変換手段８に入力され、アナログの画像信号に変換される。Ｄ／Ａ変換手段８で変換された画像信号は、表示手段９に入力され、制御手段１０の制御により所定のタイミングで表示される。
【００３６】
なお、図３では、Ｄ／Ａ変換手段８でアナログの画像信号に変換して、表示手段９に入力する構成について示したが、表示手段９がデジタルの画像データを直接入力して表示できる場合は、Ｄ／Ａ変換手段８を省略することができる（この表示手段９における動作が表示工程に対応する）。
【００３７】
次に、画素数変換器６のより詳細な動作について説明する。
ここで画素数変換器６は水平、垂直のそれぞれの方向に独立に画素数変換を行うように構成して良いが、ここでは垂直方向および水平方向の両方向に対して画素数変換を行う場合について説明する。
【００３８】
図４は、この発明の実施の形態１における画素数変換器６の詳細な構成を示す図である。
図において、１１は、垂直画素数変換手段、１２は、垂直高域成分検出手段、１３は、垂直変換倍率制御手段、１４は、水平画素数変換手段、１５は、水平高域成分検出手段、１６は、水平変換倍率制御手段である。
【００３９】
垂直高域成分検出手段１２は、画像データＰｉの垂直方向の高域成分（レベルの変化量）として、垂直方向の１次微分結果ｖｄ１と２次微分結果ｖｄ２を出力する。ここで、画像データＰｉは、図３に示したメモリ手段５から読み出された画像データで、垂直画素数変換手段１１および垂直高域成分検出手段１２が必要とする複数の画素で構成される。
【００４０】
垂直変換倍率制御手段１３は、垂直高域成分検出手段１２が出力する垂直方向の高域成分ｖｄ１、ｖｄ２から垂直方向の変換倍率ｖｃ１を求め、垂直画素数変換手段１１に出力する。垂直画素数変換手段１１は、垂直方向の変換倍率ｖｃ１に基づいて入力画像の垂直方向の画素数を変換し、変換結果Ｐｖを出力する。
【００４１】
次に、水平高域成分検出手段１５は、垂直画素数変換手段１１が出力した画像データＰｖの水平方向の高域成分（レベルの変化量）として、水平方向の１次微分結果ｈｄ１と水平方向の２次微分結果ｈｄ２を出力する。水平変換倍率制御手段１６は、水平高域成分検出手段１５が出力する水平方向の高域成分ｈｄ１、ｈｄ２から水平方向の変換倍率ｈｃ１を求め、水平画素数変換手段１４に出力する。水平画素数変換手段１４は、水平方向の変換倍率ｈｃ１に基づいて入力画像の水平方向の画素数を変換し、変換結果Ｐｏを出力する。
【００４２】
上述の説明においては、垂直および水平の両方向に画素数変換を施す構成例について述べたが、以下では画素数変換の動作について述べる。なお、理解し易くするために水平方向の画素数変換の動作について説明する。
【００４３】
図４に示す構成において、垂直高域成分検出手段１２、水平高域検出手段１５は輪郭検出手段として機能し、垂直変換倍率制御手段１３、水平変換倍率制御手段１６は生成条件生成手段として機能し、垂直画素数変換手段１１、水平画素数変換手段１４は画像データ生成手段として機能する（もちろん、垂直、水平のいずれか一方のデータ処理のための構成、例えば垂直方向に対する新たな画像データ生成においては、垂直高域成分検出手段１２、垂直変換倍率制御手段１３、垂直画素数変換手段１１のみによって画像処理系が構成されていても良く、水平方向に関しても同様である）。
【００４４】
なお、図３、４に示した構成を参照して説明したが、メモリ手段５からの出力Ｐｉに対して、垂直高域成分検出手段１２の直前に雑音除去のための低域濾波器（ローパスフィルタ：ＬＰＦ）を設けても良い。この場合、垂直画素数変換手段１１には出力Ｐｉをそのまま入力し、垂直高域成分検出手段１２にはこの直前に設けられるＬＰＦの出力を入力する。このようにすると、出力Ｐｉ上に存在する雑音を輪郭部として処理することがなくなり、輪郭部のみ的確に処理することが可能となる（この場合には、垂直高域成分検出手段１２およびＬＰＦにより輪郭検出手段が構成される）。
【００４５】
もちろん、このようなＬＰＦは水平高域成分検出手段１５の直前に配置することもでき、垂直方向のデータ処理と同様の効果を水平方向に対して得ることができる（この場合には、水平高域成分検出手段１５およびＬＰＦにより輪郭検出手段が構成される）。もちろん垂直方向、水平方向のいずれか一方向、あるいは両方向に対してこれらの構成を採用することが可能である。
【００４６】
なお、以上の説明においては、垂直方向には垂直高域成分検出手段１２あるいはその前段にＬＰＦを設けるものについて述べたが、垂直変換倍率制御手段１３の前段がバンドパスフィルタ（ＢＰＦ）であっても同様の効果を期待できる（これは言うまでもなく、水平方向に対しても同様の構成を採用すれば同様の効果を得ることができる）。この場合には、垂直高域成分検出手段１２およびＬＰＦ（あるいは水平高域成分検出手段１５およびＬＰＦ）により輪郭検出手段が構成される。
【００４７】
また、垂直高域成分検出手段１２（あるいは水平高域成分検出手段１５）、あるいは垂直高域成分検出手段１２およびＬＰＦ（あるいは水平高域成分検出手段１５およびＬＰＦ）により輪郭検出手段を構成したが、垂直高域成分検出手段１２（あるいは水平高域成分検出手段１５）の後段あるいは垂直変換倍率制御手段１３（あるいは水平変換倍率制御手段１６）の前段に不感帯を設けるためのコアリング手段を設けることもでき、これによっても上述したものと同様の効果を得ることができる。
【００４８】
図５は、水平画素数の変換の動作を詳細に説明する図である。
図５のｈｄ１およびｈｄ２は、画像データＰｖに対応する水平方向の１次微分結果と２次微分結果を示す。水平変換倍率ｈｃ１は、
ｈｃ１＝ｎ＋ｋ×ｈｄ１×ｈｄ２
で示されるように、任意の変換倍率ｎに１次微分結果ｈｄ１と２次微分結果ｈｄ２を掛け合わせたものに任意の数ｋを乗じた結果を加算したものである。この結果、期間ａは、任意の変換倍率ｎ、期間ｂでは、ｎより高い倍率、期間ｃでは、ｎより低い倍率で画素数が変換されることになる。ただし、以下の式で示されるように１ラインにおける水平変換倍率ｈｃ１の平均値は、ｎであるので、画像の変換倍率は局部的に上下するが、画像全体の変換倍率はｎとなる。
ＡＶＥ（ｈｃ１）＝ｎ
ただし、ＡＶＥ（ｘ）は変倍率ｘの１ラインの平均値を示す。
【００４９】
なお、以上の説明においては、水平変換倍率ｈｃ１を任意の倍率ｎに１次微分結果ｈｄ１と２次微分結果ｈｄ２の掛け合わせたものに任意の数ｋを乗じた結果を加算する場合について示したが、任意の数ｋを乗じた結果に最大値と最小値の制限を設けたり、任意の数ｋを乗ずる代わりに非線形の変換を行うことで、任意の特性を有する輪郭部分において変換倍率を自由に制御することができるようになる。
【００５０】
なお、垂直方向においても、上述の水平方向の画素数変換と同様の動作であり、この垂直の場合においても垂直方向の画素数の平均値はｎとなる（垂直方向の変換倍率がｎの場合。もちろん水平方向、垂直方向の変換倍率はそれぞれ独立に設定することができる）。
【００５１】
図６は、図５の輪郭部分における画素数変換の動作をより詳細に説明するための説明図である。
【００５２】
画像データＰｖの画素の一部（ｐ１、ｐ２、ｐ３）は、上記動作によって、ｑ１１〜ｑ１７のように変換される。期間ｂでは、期間ａより画素の密度が高くなり、期間ｃでは、期間ａより画素の密度が低くなる。この結果（ｑ１１〜ｑ１７）が表示手段９では、ｓ１１〜ｓ１７に示したように等しい間隔で表示されるので、画素密度が高い部分は、ｎより高い倍率で拡大され、画素密度の低い部分では、ｎより低い倍率で拡大されることになる。
【００５３】
更に述べると、ｑ１１とｑ１２の距離は，ｐ１とｐ２の距離（処理前の画素の間隔）を１とした場合，ｑ１２における変換倍率の逆数で示される。また、ｑ１１からｑ１３の距離は，ｑ１１からｑ１２の距離にｑ１３における変換倍率の逆数を加算すればよい。このように、水平変換倍率制御手段１６が出力する変換倍率ｈｃ１の逆数を水平方向に累積加算することで，各画素の位置が求められる。
【００５４】
より具体的には，この累積加算結果から，処理に必要な画素（例えば，ｐ１、ｐ２、ｐ１などの画素が記憶されたメモリ手段のアドレス）やフィルタ係数（フィルタ係数の番号やフィルタ係数そのものを指し示す）を求めることができる。
【００５５】
上記動作によって、画像データＰｖの画素の一部（ｐ１、ｐ２、ｐ３）は、ｑ１１〜ｑ１７のように変換される。期間ｂでは、期間ａより画素の密度が高くなり、期間ｃでは、期間ａより画素の密度が低くなる。より具体的には，この結果（ｑ１１〜ｑ１７）が表示手段９では、ｓ１１〜ｓ１７に示したように等しい間隔で表示されるので、画素密度が高い部分は、ｎより高い倍率で拡大され、画素密度の低い部分では、ｎより低い倍率で拡大されることになる。
【００５６】
なお、上記動作の説明では、画像を拡大する場合について説明したが、画像を縮小する場合も同様で、期間ｂでｎより高い倍率で縮小され、期間ｃでは、ｎより低い倍率で縮小される。
【００５７】
したがって、任意の変換倍率ｎが１より大きい場合は、輪郭部の鮮鋭度を損なうことなく画像が拡大され、１より小さい場合は、輪郭部の画像の欠けが減るように画像が縮小される。すなわち、拡大、縮小の両方において入力画像の輪郭情報を保存する効果がある。
【００５８】
また、任意の数ｋを大きく取ることで、入力画像の輪郭の鮮鋭度を高くすることができ、任意の数ｋによって輪郭部の鮮鋭度を制御することができる。
【００５９】
また、任意の変換倍率ｎが１の時は、画像全体の拡大・縮小は行われず、輪郭部の鮮鋭度のみが制御される。
【００６０】
また、任意の変換倍率ｎと任意の数ｋを垂直方向と水平方向で独立に設定することで、水平方向の変換倍率と水平方向の輪郭の鮮鋭度、および垂直方向の変換倍率と垂直方向の輪郭の鮮鋭度を独立に制御することができる。
【００６１】
例えば、垂直方向の変換倍率ｎを２に設定し、水平方向の変換倍率ｎを１に設定することで、インタレース画像からノンインタレース画像に変換（走査線補間）することができ、水平方向と垂直方向の輪郭を独立に所望の鮮鋭度に制御できる。
【００６２】
なお、上記動作の説明では、画素数変換の動作として垂直方向の画素数変換と水平方向の画素数変換の動作を順次実施する場合について説明したが、水平方向の画素数を変換した後に垂直方向の画素数を変換しても同様の効果を得ることができる。
【００６３】
また、垂直方向の画素数変換と水平方向の画素数変換を同時に実施しても同様の効果を得ることができる。
【００６４】
また、上記動作の説明では、画素数の変換に用いるフィルタとして線形フィルタの場合について説明したが、非線形などの任意の形のフィルタを用いることができる。
【００６５】
図７は、画素数変換器６で垂直方向と水平方向の画素数変換を同時に行う場合の構成を示す図である。図において１７は、画素数変換手段、１８は、高域成分検出手段、１９は、変換倍率制御手段である。高域成分検出手段１８は、画像データＰｉの垂直および水平方向の変化量として１次微分結果ｄ１と２次微分結果ｄ２を出力する。変換倍率制御手段１９は、１次微分結果ｄ１と２次微分結果ｄ２に基づいて変換倍率ｃ１を決定し、画素数変換手段１７に出力する。画素数変換手段１７は、変換倍率ｃ１に基づいて垂直方向と水平方向の画素数を同時に二次元的に変換する。
【００６６】
なお、高域成分検出結果ｄ１、ｄ２と変換倍率ｃ１の関係は、図５のｈｄ１、ｈｄ２およびｈｃ１の関係と同様であるので、詳細な説明は省略する。
【００６７】
実施の形態２．
実施の形態１においては、画像の高域成分（レベルの変化量）として１次微分結果と２次微分結果を用いて、変換倍率を制御する構成について説明したが、隣接する画素の１次微分結果のみを用いて変換倍率を制御することにより、構成を簡略化することができる。
【００６８】
以下、画素数変換器６のより詳細な動作について説明する。
ここで画素数変換器６は水平、垂直のそれぞれの方向に独立に画素数変換を行うように構成して良いが、ここでは垂直方向および水平方向の両方向に対して画素数変換を行う場合について説明する。
【００６９】
図８は、実施の形態２における画素数変換器６を示す図である。
図において２０は、垂直高域成分検出手段、２１は、垂直変換倍率制御手段、２２は、水平高域成分検出手段、２３は、水平変換倍率制御手段である。
【００７０】
垂直高域成分検出手段２０は、画像データＰｉの垂直方向の高域成分（レベルの変化量）として、垂直方向に隣接する画素の１次微分結果ｖｄ１を出力する。垂直変換倍率制御手段２１は、垂直高域成分検出手段２０が出力する垂直方向の１次微分結果ｖｄ１から垂直方向の変換倍率ｖｃ２を求め、垂直画素数変換手段１１に出力する。垂直画素数変換手段１１は、垂直方向の変換倍率ｖｃ２に基づいて入力画像の垂直方向の画素数を変換し、変換結果Ｐｖを出力する。
【００７１】
次に水平高域成分検出手段２２は、垂直画素数変換手段１１が出力した画像データＰｖの水平方向の高域成分（レベルの変化量）として、水平方向に隣接した画素の１次微分結果ｈｄ１を出力する。水平変換倍率制御手段２３は、水平高域成分検出手段２２が出力する水平方向の一次微分結果ｈｄ１から水平方向の変換倍率ｈｃ２を求め、水平画素数変換手段１４に出力する。水平画素数変換手段１４は、水平方向の変換倍率ｈｃ２に基づいて入力画像の水平方向の画素数を変換し、変換結果Ｐｏを出力する。
【００７２】
上述の説明においては、垂直および水平の両方向に画素数変換を施す構成例について述べたが、以下では画素数変換の動作について述べる。なお、理解し易くするために水平方向の画素数変換の動作について説明する。
【００７３】
図９は、水平画素数の変換の動作を詳細に説明する図である。
図９のｈｄ１は、画像データＰｖに対応する水平方向の１次微分結果である。水平変換倍率ｈｃ２は、任意の変換倍率ｎに１次微分結果ｈｄ１の前半を正、後半を負に変換した結果に任意の数ｋを乗じたものを加算する。１次微分結果ｈｄ１の具体的な極性変換の方法は、後述する。なお、任意の変換倍率ｎと任意の数ｋは、実施の形態１と同様である（輪郭検出工程。ここで検出された輪郭部は複数の領域に分けられる）。
【００７４】
この結果、ｈｃ２の期間ａは、任意の変換倍率ｎ、期間ｂでは、ｎより高い倍率、期間ｃでは、ｎより低い倍率で画素数が変換されることになる。すなわち、複数の領域に分けられた輪郭部それぞれの領域に対応する新たな画像データを生成する際の生成条件（例えば、ここでいう生成条件とは変換倍率である）が異なる。
【００７５】
ここでは、輪郭検出工程により得られる検出結果に基づいて輪郭部に対応する元画像データ（入力画像データ）から輪郭部に対応する新たな画像データを生成する際の生成条件を生成する生成条件工程、生成条件に基づいて輪郭部に対応する元画像データから輪郭部に対応する新たな画像データを生成する画像データ生成工程を含む。
【００７６】
なお、以上に説明した動作は、表示画面上の水平方向について説明しているが、垂直方向に同様の動作を施せば、垂直方向の画像処理を実現できる。
【００７７】
図１０は、図９の輪郭部分における画素数変換の動作をより詳細に説明する図である。
図１０を用いて前述したｈｄ１の極性変換の具体例を説明する。
【００７８】
１次微分結果ｈｄ１は、入力画像データｐ４、ｐ５の微分結果であり、ｈｄ１の極性の変換は、ｐ４、ｐ５の中央付近を境に前半が正、後半が負になるように変換すればよい。より具体的には、ｈｃ２は以下の式で示すことができる。
０≦ｒ＜０．５のとき
ｈｃ２＝ｎ＋ｋ×ａｂｓ（ｈｄ１）
０．５≦ｒ＜１．０のとき
ｈｃ２＝ｎ−ｋ×ａｂｓ（ｈｄ１）
ここで、ａｂｓ（ｘ）は、ｘの絶対値を表し、ｒは、ｐ４とｐ５の距離を１とした場合の、変換倍率ｎにおける出力画像の画素の位置を示す。ただし、以下の式で示されるように１ラインにおける水平変換倍率ｈｃ２の平均値は、ｎであるので、画像の変倍率は局部的に上下するが、画像全体の変換倍率はｎとなる。
ＡＶＥ（ｈｃ２）＝ｎ
【００７９】
上記式では、ｐ４、ｐ５の中央付近を境に１次微分結果ｈｄ１の極性を変換する場合について示したが、これに限るものではなく、任意の境界を設定して、境界の前後で個別の係数を乗じて画面全体の変換倍率がｎになるようにしても良い。ｈｄ１の極性を変換する境界をｉ（ただし、０＜ｉ＜１）とすると、以下の式で示すことができる。
０≦ｒ＜ｉのとき
ｈｃ２＝ｎ＋（１−ｉ）×ｋ×ａｂｓ（ｈｄ１）
ｉ≦ｒ＜１．０のとき
ｈｃ２＝ｎ−ｉ×ｋ×ａｂｓ（ｈｄ１）
【００８０】
なお、垂直方向についても、上述の水平方向の画素数変換と同様の動作であり、この垂直の場合においても垂直方向の画素数の平均値はｎとなる（垂直方向の変換倍率がｎの場合。もちろん水平方向、垂直方向の変換倍率はそれぞれ独立に設定することができる）。
【００８１】
図１０におけるｑ２０とｑ２１の距離は，ｐ４とｐ５の距離（処理前の画素の間隔）を１とした場合，ｑ２１における変換倍率ｈｃ２の逆数で示される。また、ｑ２０からｑ２２の距離は，ｑ２０からｑ２１の距離にｑ２２における変換倍率ｈｃ２の逆数を加算すればよい。このように、水平変換倍率制御手段２３が出力する変換倍率ｈｃ２の逆数を水平方向に累積加算することで，各画素の位置が求められる。より具体的には，この累積加算結果から，処理に必要な画素（例えば，ｐ４、ｐ５などの画素が記憶されたメモリ手段のアドレス）やフィルタ係数（フィルタ係数の番号やフィルタ係数そのものを指し示す）を求めることができる。
【００８２】
上記動作によって、入力画像データの画素の一部（ｐ４、ｐ５）は、ｑ２０〜ｑ２５のように変換される。期間ｂでは、期間ａより画素の密度が高く、期間ｃでは、期間ａより画素の密度が低くなる。この結果（ｑ２０〜ｑ２５）が表示手段９では、ｓ２０〜ｓ２５に示したように等しい間隔で表示されるので、画素密度が高い部分は、ｎより高い倍率で拡大され、画素密度の低い部分では、ｎより低い倍率で拡大されることになる。
【００８３】
なお、図１０および上記動作の説明では，１次微分で参照する画素が２画素（ｐ４、ｐ５）の場合について説明したが、これに限るものではなく，１次微分で参照する画素は、任意の数でよく、このとき，上記式で示したｒおよびｉは、参照する画素の両端の距離を１として考えればよい。
【００８４】
その他の動作については、実施の形態１と同様であるので、説明を省略する。
【００８５】
図１１は、垂直方向と水平方向の画素数変換を同時に行う場合の構成を示す図である。図において２４は、高域成分検出手段、２５は、変換倍率制御手段である。高域成分検出手段２４は、画像データＰｉの垂直および水平方向の変化量として１次微分結果ｄ１を出力する。変換倍率制御手段２５は、１次微分結果ｄ１に基づいて変換倍率ｃ２を決定し、画素数変換手段１７に出力する。画素数変換手段１７は、変換倍率ｃ２に基づいて垂直方向と水平方向の画素数を同時に変換する（二次元的に変換する）。
【００８６】
なお、高域成分検出結果ｄ１と変換倍率ｃ２の関係は、図９および図１０のｈｄ１、ｈｃ２と同様であるので、詳細な説明は省略する。
【００８７】
実施の形態３．
なお、上記実施の形態１および２においては、入力される画像信号がアナログ信号の場合について示したが、これに限るものではなく、デジタルの画像データが入力されても良い。
【００８８】
図１２は、この発明の実施の形態３における画像表示装置を示す図である。
図において、２６は、デジタル画像データの入力端子、２７は、デジタルデータを直接入力することができる表示手段、２８は、制御手段である。
【００８９】
次に動作について説明する。
デジタルの画像データが入力端子２６に入力され、入力端子２６に入力された画像データは、画像調整手段４に入力される。また、同期信号が入力端子２に入力され、入力端子２に入力された同期信号は、制御手段２８に入力される。
【００９０】
画像調整手段４、メモリ手段５、画素数変換器６、画像調整手段７は、制御手段２８の制御により、実施の形態１および実施の形態２と同様の動作により、画素数の変換とその他の画像処理を行う。画像調整手段７が出力した画像データは、表示手段２７に直接入力され、制御手段２８の制御により所定のタイミングで表示される。その他の詳細な動作の説明は、実施の形態１および実施の形態２と同様であるので、説明は省略する。
【００９１】
なお、上記実施の形態３における動作の説明では、デジタル画像データを直接入力できる表示手段２７を用いて説明したが、表示手段２７の代わりに実施の形態１に示したＤ／Ａ変換手段８および表示手段９を用いて構成することもできる。
【００９２】
実施の形態４．
なお、上記実施の形態１から３では、ハードウェアによって画素数を変換する構成について説明したが、ソフトウェアによって画素数の変換を行うこともできる。図１３は、ソフトウェア処理（もちろん、ソフトウェア、ハードウェアが混在していても良い）による画素数変換の動作（画像処理方法・画像表示方法）を説明するフローチャートである。
【００９３】
次に動作について説明する。
ここで、画素数変換は、水平、垂直のそれぞれの方向に独立に画素数変換を行うように構成して良いが、ここでは垂直方向および水平方向の両方向に対して画素数変換を行う場合について説明する。
【００９４】
（図中Ａのフローによる垂直方向のデータ生成動作の開始）データ抽出部において、画素数を変換する画像データ（図４のＰｉに相当）から着目画素に対する垂直高域成分の算出とフィルタ演算に必要な複数の画素データを抽出する。
【００９５】
垂直高域成分算出部において、データ抽出部で抽出された複数の画素データから垂直方向の１次微分結果（図４のｖｄ１に相当）と垂直方向の２次微分結果（図４のｖｄ２に相当）を算出する（ここまでがレベル変化検出工程に相当する）。
【００９６】
垂直変換倍率算出部では、垂直高域成分算出部で算出された１次微分結果と２次微分結果および画像全体の変換倍率（図５のｎに相当）から着目画素に対する垂直方向の変換倍率（図４のｖｃ２に相当）を算出する（生成条件生成工程）。
【００９７】
フィルタ演算部では、垂直変換倍率演算部で算出された変換倍率とデータ抽出部で抽出された複数の画素データからフィルタ演算を実施し、演算結果を保存する（画像データ生成工程）。
【００９８】
上記動作を着目画素が画像の端に達するまで繰り返す。ここで、画像の端とは、画像の左側から演算する場合は、画像の右端を示す。
【００９９】
着目画素が画像の端に達した場合は、着目画素を次のラインに移動し上記演算を実施する。この動作を全画素に実施することで、垂直方向の画素数の変換が完了する（図中Ａのフローによる動作の終了）。
【０１００】
（図中Ｂのフローによる水平方向のデータ生成動作の開始）次のデータ抽出部では、垂直方向の画素数が変換された画像データ（図４のＰｖに相当）から、着目画素に対する水平高域成分の算出とフィルタ演算に必要な複数の画素データを抽出する。水平高域成分算出部において、データ抽出部で抽出された複数の画素データから水平方向の１次微分結果（図４のｈｄ１に相当）と水平方向の２次微分結果（図４のｈｄ２に相当）を算出する。水平変換倍率算出部では、水平高域成分算出部で算出された１次微分結果と２次微分結果および画像全体の変換倍率（図５のｎに相当）から着目画素に対する水平方向の変換倍率（図４のｈｃ２に相当）を算出する。フィルタ演算部では、水平変換倍率演算部で算出された変換倍率（新たな画像データを生成する際の生成条件）とデータ抽出部で抽出された複数の画素データからフィルタ演算を実施し、演算結果を保存する。
【０１０１】
次に上記動作を着目画素が画像の端に達するまで繰り返す。
【０１０２】
着目画素が画像の端に達した場合は、着目画素を次のラインに移動し上記演算を実施する。この動作を全着目画素に実施することで、画素数の変換が完了する（図中Ｂのフローによる動作の終了）。
【０１０３】
なお、上記動作の説明では、垂直方向の画素数を変換した後に水平方向の画素数を変換する場合について示したが、水平方向の画素数を変換した後に垂直方向の画素数を変換しても良い（すなわち、図中Ｂのフローによる動作を先に実施した後、図中Ａのフローによる動作が行われても良い）。また、先に述べたように、図中Ａのフローによる動作と、図中Ｂのフローによる動作のいずれか一方の動作が実施されても良い。
【０１０４】
また、上記動作の説明では、垂直および水平の画素数を変換する際に着目画素を画像の左から右、上から下の順番で演算する場合について示したが、この限りではなく、任意の方向から演算しても同様の結果を得ることができる。
【０１０５】
なお、先に述べた変倍率に対応する１ラインの平均値ｎ（垂直、水平のいずれかの方向の変換倍率がｎのとき。もちろん、垂直、水平各方向の変換倍率はそれぞれ独立に設定することができる）は、垂直、水平の両方向（両方向に変換倍率がｎであるとき）あるいはいずれか一方の方向において成立するように構成する。
【０１０６】
【発明の効果】
本発明に係る画像処理装置および画像処理方法によれば、画素データの変化を表す特徴量に基づいて各補間画素の変換倍率を指定し、指定された変換倍率に基づいて補間画素の画素データを算出するので画像の輪郭部における鮮鋭度を損なうことなく画像の拡大処理を行うことができる。
また、入力画像の輪郭部を構成する画素データの変化を表す特徴量に基づいて入力画像の輪郭部を補正する補間画素の変換倍率を当該補間画素の各々について指定し、指定された変換倍率に基づいて補間画素の画素データを算出するので、画像の輪郭部の鮮鋭度を向上させ、より鮮明な画像を得ることができる。
【図面の簡単な説明】
【図１】 実施の形態１における画像処理動作を示す図である。
【図２】 実施の形態１における画像処理動作を示す図である。
【図３】 実施の形態１における画像表示装置の構成を示す図である。
【図４】 実施の形態１における画像処理装置の構成を示す図である。
【図５】 実施の形態１における画像処理動作を示す図である。
【図６】 実施の形態１における画像処理動作を示す図である。
【図７】 実施の形態１における画像処理装置の別の構成を示す図である。
【図８】 実施の形態２における画像処理装置の構成を示す図である。
【図９】 実施の形態２における画像処理動作を示す図である。
【図１０】 実施の形態２における画像処理動作を示す図である。
【図１１】 実施の形態２における画像処理装置の別の構成を示す図である。
【図１２】 実施の形態３における画像表示装置の構成を示す図である。
【図１３】 実施の形態４における画像処理動作のフローチャートである。
【図１４】 従来の画像処理動作を示す図である。
【図１５】 従来の画像処理動作を示す図である。
【図１６】 従来の画像処理動作を示す図である。
【図１７】 従来の画像処理手段のレスポンス特性の一例を示す図である。
【図１８】 従来の画像処理手段のレスポンス特性の一例を示す図である。
【符号の説明】
１ 入力端子、２ 入力端子、３ Ａ／Ｄ変換手段、４ 画像調整手段、５ メモリ手段、６ 画素数変換器、７ 画像調整手段、８ Ｄ／Ａ変換手段、９ 表示手段、１０ 制御手段、１１ 垂直画素数変換手段、１２ 垂直高域成分検出手段、１３ 垂直変換倍率制御手段、１４ 水平画素数変換手段、１５ 水平高域成分検出手段、１６ 水平変換倍率制御手段、１７ 画素数変換手段、１８ 高域成分検出手段、１９ 変換倍率制御手段、２０ 垂直高域成分検出手段、２１ 垂直変換倍率制御手段、２２ 水平高域成分検出手段、２３ 水平変換倍率制御手段、２４ 高域成分検出手段、２５ 変換倍率制御手段、２６ 入力端子、２７ 表示手段、２８ 制御手段。
Claims (8)
- 入力画像を表す画像データに補間演算処理を行うことにより、上記入力画像の画素数を変換する画像処理装置であって、
上記入力画像を構成する画素データの水平および／または垂直方向における一次微分および二次微分を検出する高域成分検出手段と、
上記入力画像を補間する補間画素の各々について求められる変換倍率であって、当該補間画素の密度を局所的に変化させる上記変換倍率の値を、上記一次微分および二次微分の積を用いて算出する変換倍率制御手段と、
上記変換倍率に基づいて上記補間画素の各々の補間位置を求め、当該補間位置における補間演算により上記補間画素の画素データを算出する画素数変換手段とを備えたことを特徴とする画像処理装置。 - 入力画像を表す画像データに補間演算処理を行うことにより、上記入力画像の画素数を変換する画像処理装置であって、
上記入力画像を構成する画素データの水平および／または垂直方向における輪郭部に対応する一次微分を検出する高域成分検出手段と、
上記入力画像を補間する補間画素の各々について求められる変換倍率であって、当該補間画素の密度を局所的に変化させる上記変換倍率の値を、上記一次微分の中央付近を境に前半の極性を正とし、後半の特性を負として得られる値を用いて算出する変換倍率制御手段と、
上記変換倍率に基づいて上記補間画素の各々の補間位置を求め、当該補間位置における補間演算により上記補間画素の画素データを算出する画素数変換手段とを備えたことを特徴とする画像処理装置。 - 画素数変換手段は、変換倍率の逆数を水平および／または垂直方向に累積加算することにより、上記補間画素の水平および／または垂直方向における補間位置を算出することを特徴とする請求項１または２に記載の画像処理装置。
- 入力画像の輪郭を補正して出力する画像処理装置であって、
上記入力画像の輪郭部を構成する画素データの水平および／または垂直方向における一次微分および二次微分を検出する高域成分検出手段と、
上記特徴量に基づいて、上記入力画像の輪郭部を補正する補間画素の各々について求められる変換倍率であって、当該補間画素の密度を局所的に変化させる上記変換倍率の値を、上記一次微分および上記二次微分の積を用いて算出する変換倍率制御手段と、
上記変換倍率に基づいて上記補間画素の各々の補間位置を求め、当該補間位置における補間演算により上記補間画素の画素データを算出する補間演算手段とを備えたことを特徴とする画像処理装置。 - 請求項１〜４のいずれか１項に記載の画像処理装置を備えたことを特徴とする画像表示装置。
- 入力画像を表す画像データに補間演算処理を行うことにより、上記入力画像の画素数を変換する画像処理方法であって、
上記入力画像を構成する画素データの水平および／または垂直方向における一次微分および二次微分を検出する工程と、
上記入力画像を補間する補間画素の各々について求められる変換倍率であって、当該補間画素の密度を局所的に変化させる上記変換倍率の値を、上記一次微分および上記二次微分の積を用いて算出する工程と、
上記変換倍率に基づいて上記補間画素の各々の補間位置を求め、当該補間位置における補間演算により上記補間画素の画素データを算出する工程とを備えたことを特徴とする画像処理方法。 - 入力画像を表す画像データに補間演算処理を行うことにより、上記入力画像の画素数を変換する画像処理方法であって、
上記入力画像を構成する画素データの水平および／または垂直方向における輪郭部に対応する一次微分を検出する工程と、
上記入力画像を補間する補間画素の各々について求められる変換倍率であって、当該補間画素の密度を局所的に変化させる上記変換倍率の値を、一次微分の中央付近を境に前半の極性を正とし、後半の特性を負として得られる値を用いて算出する工程と、
上記変換倍率に基づいて上記補間画素の各々の補間位置を求め、当該補間位置における補間演算により上記補間画素の画素データを算出する工程とを備えたことを特徴とする画像処理方法。 - 入力画像の輪郭を補正して出力する画像処理方法であって、
上記入力画像の輪郭部を構成する画素データの水平および／または垂直方向における一次微分および二次微分を検出する工程と、
上記入力画像の輪郭部を補正する補間画素の各々について求められる変換倍率であって、当該補間画素の密度を局所的に変化させる上記変換倍率の値を、上記一次微分および上記二次微分の積を用いて算出する工程と、
上記変換倍率に基づいて上記補間画素の各々の補間位置を求め、当該補間位置における補間演算により上記補間画素の画素データを算出する工程とを備えたことを特徴とする画像処理方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000184816A JP3695291B2 (ja) | 2000-06-20 | 2000-06-20 | 画像処理装置、画像表示装置、および画像処理方法 |
| US09/883,940 US6724398B2 (en) | 2000-06-20 | 2001-06-20 | Image processing method and apparatus, and image display method and apparatus, with variable interpolation spacing |
| US10/716,634 US7330199B2 (en) | 2000-06-20 | 2003-11-20 | Image processing method and apparatus, and image display method and apparatus, with variable interpolation spacing |
| US11/013,419 US7429994B2 (en) | 2000-06-20 | 2004-12-17 | Image processing method and apparatus, and image display method and apparatus for changing edge sharpness |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000184816A JP3695291B2 (ja) | 2000-06-20 | 2000-06-20 | 画像処理装置、画像表示装置、および画像処理方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002010070A JP2002010070A (ja) | 2002-01-11 |
| JP2002010070A5 JP2002010070A5 (ja) | 2005-06-23 |
| JP3695291B2 true JP3695291B2 (ja) | 2005-09-14 |
Family
ID=18685213
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000184816A Expired - Fee Related JP3695291B2 (ja) | 2000-06-20 | 2000-06-20 | 画像処理装置、画像表示装置、および画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3695291B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1330166C (zh) * | 2002-12-20 | 2007-08-01 | 三菱电机株式会社 | 图像处理装置、图像显示装置、图像处理方法以及图像显示方法 |
| US7764839B2 (en) | 2003-08-14 | 2010-07-27 | Fujifilm Corporation | Edge detecting apparatus and method, and image size enlarging and reducing apparatus and method |
| KR100951881B1 (ko) | 2003-11-17 | 2010-04-12 | 삼성전자주식회사 | 호환형 광픽업장치 |
| JP3781050B1 (ja) | 2005-02-22 | 2006-05-31 | 三菱電機株式会社 | 画像処理装置、画像処理方法、および画像表示装置 |
| JP5398562B2 (ja) * | 2010-01-29 | 2014-01-29 | 富士フイルム株式会社 | 追尾枠の初期位置設定装置およびその動作制御方法 |
-
2000
- 2000-06-20 JP JP2000184816A patent/JP3695291B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002010070A (ja) | 2002-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4097815B2 (ja) | 画像処理装置および画像処理方法 | |
| US9185431B2 (en) | Motion detection device and method, video signal processing device and method and video display device | |
| JP2947186B2 (ja) | フリッカ軽減回路 | |
| US20090040246A1 (en) | Image processing device, display device, image processing method, and program | |
| US20040135798A1 (en) | Image processing method and apparatus, and image display method and apparatus, with variable interpolation spacing | |
| WO2006090515A1 (ja) | 画像処理装置、画像処理方法、および画像表示装置 | |
| JPH02289894A (ja) | ビデオ信号補間装置 | |
| JP4317619B2 (ja) | 画像処理装置 | |
| JP4031389B2 (ja) | 画像変換装置および画像変換方法 | |
| JP4518392B2 (ja) | カラー画像を変換するための方法および装置 | |
| US6961479B1 (en) | Image processing device, image processing method, image-processing program recorded medium | |
| JP3695291B2 (ja) | 画像処理装置、画像表示装置、および画像処理方法 | |
| JP5208381B2 (ja) | 動画像フレームレート変換装置および動画像フレームレート変換方法 | |
| KR20040058006A (ko) | 화상 신호 처리 장치 | |
| JP3692942B2 (ja) | 画像処理装置、画像表示装置、および画像処理方法 | |
| JP2005312030A (ja) | 半画像の中間列画像点の補間のための方法および装置 | |
| JP4031390B2 (ja) | 画像変換装置および画像変換方法 | |
| JP2009194721A (ja) | 画像信号処理装置、画像信号処理方法、及び撮像装置 | |
| JP2006308665A (ja) | 画像処理装置 | |
| JP3719385B2 (ja) | 画像処理装置、画像処理方法、および画像表示装置 | |
| JP3719389B2 (ja) | 画像処理装置、画像表示装置、および画像処理方法 | |
| US7567732B2 (en) | Image resolution conversion | |
| JP4689243B2 (ja) | 画像処理装置、画像処理方法、及びデジタルカメラ | |
| JP2005107437A (ja) | 液晶表示装置 | |
| KR100224859B1 (ko) | 엣지에 근거한 영상신호의 수직 보간 방법 및 그에 적합한 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040714 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040927 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040927 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20040927 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20041117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050304 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050329 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050428 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050607 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050620 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090708 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100708 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100708 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110708 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110708 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120708 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |