JP4009805B2

JP4009805B2 - 画像データ補間装置、画像データ補間方法、画像データ補間プログラムを記録した媒体

Info

Publication number: JP4009805B2
Application number: JP2000010232A
Authority: JP
Inventors: 直樹鍬田
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 1998-04-06
Filing date: 2000-01-14
Publication date: 2007-11-21
Anticipated expiration: 2018-04-06
Also published as: JP2000188681A

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の画素からなる画像データを補間する画像データ補間装置、画像データ補間方法および画像データ補間プログラムを記録した媒体に関する。
【０００２】
【従来の技術】
コンピュータなどで画像を扱う際には、画像をドットマトリクス状の複数の画素で表現し、各画素を階調値で表している。例えば、コンピュータの画面で水平方向に６４０ドット、垂直方向に４８０ドットの画素で写真やコンピュータグラフィックスを表示することが多い。
【０００３】
一方、カラープリンタの性能向上がめざましく、そのドット密度は７２０ｄｐｉ（ｄｏｔ／ｉｎｃｈ）というように極めて高精度となっている。すると、６４０×４８０ドットの画像をドット単位で対応させて印刷させようとすると極めて小さくなってしまう。この場合、階調値も異なる上、解像度の意味合い自体が異なるのであるから、ドット間を補間して印刷用のデータに変換しなければならない。
【０００４】
従来、このような場合にドットを補間する手法として、最近隣内挿法（ニアリストネイバ補間：以下、ニアリスト法と呼ぶ）や、３次たたみ込み内挿法（キュービックコンボリューション補間：以下、キュービック法と呼ぶ）などの手法が知られている。また、特開平６−２２５１４０号公報にはドットを補間したときの縁部のスムージングを行うにあたり、予め縁部がスムーズとなるような拡大形態となるようにドットパターンを用意しておく技術が開示されている。
【０００５】
【発明が解決しようとする課題】
上述した従来の補間技術においては、次のような課題があった。ニアリスト法においては処理量が少ない反面、補間倍率が大きくなると画像によっては画質の荒さが目立つようになるのが通常である。しかしながら、画像によってはたとえニアリスト法であったとしても画質の荒さが殆ど気にならないこともある。例えば、空のように画像に変化のないようなものであれば殆ど気にならない。
【０００６】
一方、キュービック法は補間する画素をなだらかに変化させるため、補間倍率が大きくなったとしてもさほど画質は悪化しない。しかしながら、多次演算を行う関係上、演算量は極めて多大となるし、もともと画像に変化が少ない部分では殆ど意味のないこともある。このように、ニアリスト法やキュービック法などの各種の手法にはそれぞれに得失があるが、利用者がそれを選択するのは難しい。また、一つの画像の中でも部分的に優劣が変化することもある。
【０００７】
なお、特開平６−２２５１４０号公報に開示された発明においては、予めパターンを要しておくことから補間倍率が固定的にならざるを得ないし、カラーの画像を前提とするとパターンの数が膨大となって予め用意しておくこと自体が困難である。本発明は、上記課題にかんがみてなされたもので、効率よく補間処理することが可能な画像データ補間装置、画像データ補間方法および画像データ補間プログラムを記録した媒体の提供を目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するため、請求項１にかかる発明は、画像を複数の画素で表現した画像データを取得する画像データ取得手段と、上記画像データに基づいて各画素の階調値の変化度合いを評価するにあたり、各画素の明るさの階調値を求めるとともに周囲の画素の明るさの階調値との比較で上記変化度合いを算出することとし、当該画素の階調値の変化度合いと近隣の画素の階調値の変化度合いのうちいずれかが所定の条件に合致すると判断されれば、当該画素については同条件が合致するものとして上記変化度合いを評価する画素変化度合評価手段と、上記画像データにおける構成画素数を増やす補間処理を行なうにあたり上記所定の条件に対応した複数の補間処理を実行可能な画素補間手段と、上記画素変化度合評価手段によって、補間される領域を取り囲む画素のうち所定数以上の画素において上記変化度合いが所定のしきい値よりも大きいと評価されているときに変化度合いの大きい画素に適用する補間処理を選択して上記画素補間手段を実行させる補間処理選択手段とを具備する構成としてある。
【０００９】
上記のように構成した請求項１にかかる発明においては、画像を複数の画素で表現した画像データの構成画素数を増やす補間処理を行うにあたり、画素補間手段は複数の補間処理の中からいずれかを選択して実行可能となっており、画像データ取得手段が対象となる画像データを取得すると、上記画素変化度合評価手段は同画像データに基づいて各画素の階調値の変化度合いを評価する。ここで、画素変化度合評価手段は当該画素の階調値の変化度合いのみならず周囲の画素の階調値の変化度合いも考慮して評価している。より具体的には、当該画素の階調値の変化度合いと近隣の画素の階調値の変化度合いのうちいずれかが所定の条件に合致すると判断されれば、当該画素については同条件が合致するものとして上記変化度合いを評価する。また、その前提として、各画素の明るさの階調値を求めるとともに周囲の画素の明るさの階調値との比較で上記変化度合いを算出している。
【００１０】
そして、上記補間処理選択手段はこの画素変化度合評価手段によって、補間される領域を取り囲む画素のうち所定数以上の画素において上記変化度合いが所定のしきい値よりも大きいと評価されているときに変化度合いの大きい画素に適用する補間処理を選択して上記画素補間手段に実行させる。この場合、予め各条件に対して最適な補間結果を得ることができるような補間処理を対応させておき、この対応関係に基づいて評価結果から補間処理を選択する。すなわち、画素の階調値の変化度合いは補間処理の具体的手法に密接に関連するので、画素の階調値の変化度合いを評価して積極的に補間処理を変更することにより、無駄のない補間処理を実現する。
【００１１】
一方、補間処理の処理内容によっては画素の階調値の変化度合い次第で影響を及ぼす範囲が異なってくる。例えば、補間処理を実行するにあたって必要とする画素の数が一つであるものもあれば、複数の画素に基づいて補間処理するものもある。後者の例であれば、一つでも変化度合いが大きい画素があると補間処理を変えるのか、あるいは一つでも変化度合いが小さい画素があると補間処理を変えるのかといったことが問題となる。そして、補間処理で要する画素が複数であり、そのうちの一つでも変化度合いが大きいときには、二つの態様が考えられる。すなわち、補間処理で対象とする範囲の残り画素については評価する必要が無くなるし、逆に既に評価した画素について変化度合いが小さかったとしても当該評価は不要となる。すなわち、変化度合いが大きい画素がある場合には他の画素における本来の評価に関わらず変化度合いが大きい場合と同様の補間処理を実行することになるので、本来の評価自体を修正する必要がある。
【００１２】
本発明では、周囲の画素の階調値の変化度合いも利用して当該画素の階調値の変化度合いを評価しているので、このような二方向の判断を簡素化することになる。ここで、画像データは画像を複数の画素で表現したものであり、各画素についてデータで表したものであればよく、カラー画像であっても良いし、モノクログレースケール画像であってもよい。画像データ取得手段は、かかる画像データを取得するものであり、上記画素補間手段が構成画素を増やすための補間処理を行うにあたり、対象となる画像データを保持するようなものであればよい。従って、その取得手法は特に限定されるものではなく、各種のものを採用可能である。例えば、インターフェイスを介して外部機器から取得するものであってもよいし、撮像手段を備えて画像を撮像するものであっても良い。また、コンピュータグラフィックアプリケーションを実行してマウスやキーボードから入力するものであってもよい。
【００１３】
画素変化度合評価手段は、画素の階調値の変化度合いが所定の条件に合致するかを判断するものであり、判断の手法や結果は特に限定されるものではない。例えば、階調値の変化度合いが大きいという条件であるとか、小さいという条件を設定可能である。また、このように単に大きいか小さいかという択一的な判定だけでなく、階調値の変化度合いが所定の範囲に属するかという条件でも良い。さらに、条件は一種類に限る必要もなく、複数としても良い。例えば、階調値の変化度合いにランク付けをして条件を設定しておき、どのランクの条件が合致するかを判断するようにしても良い。むろん、多段階の条件を設定することにより、多段階の補間処理を対応させることができるようにもなる。一方、条件に合致するか否かの判断は評価結果に基づいて行なう必要はない。所定の条件に合致する画素の近隣では同条件が合致するというように評価されているため、この評価結果を利用するとさらにその近隣画素まで条件が成立してしまうからである。むろん、判断の内容として条件が合致する場合にその画素の近隣でどの範囲まで条件が合致することにするのかという判断を含めることも可能である。
【００１４】
また、画素の階調値の変化自体については、各画素の明るさの階調値を求めるとともに周囲の画素の明るさの階調値との比較で上記変化度合いを算出する。むろん、画像の変化度合いを明るさの階調値に基づいて判断するため、比較的容易に同変化度合いを求めることができる。
【００１５】
むろん、これ以外にも画素の階調値の変化度合いを把握することは可能であるが、多要素のパラメータで表される画素を一律に把握するにあたって明るさの階調値を利用するのは比較的容易である。請求項２にかかる発明は、請求項１に記載の画像データ補間装置において、画素変化度合評価手段は、各画素の階調値の変化度合いと所定のしきい値とを比較し、当該画素の階調値の変化度合いの方が大きいと判断されるときに上記所定の条件に合致すると評価し、上記補間処理選択手段は、補間される領域を取り囲むすべての画素において上記変化度合いが大きいと評価されているときに変化度合いの大きい画素に適用する補間処理を選択する構成としてある。
【００１６】
上記のように構成した請求項２にかかる発明においては、エッジのような変化度合いが大きい画素であるか否かを判断するが、その際にエッジ画素を取り囲むすべての画素において画素の階調値の変化度合いが大きいものと判定しておく。このように各画素毎に周囲の画素の階調値の変化度合いをも含めて判定しているので、補間処理を行うときに各領域において周囲の画素がすべて変化度合いが大きいものと判定されているかだけを判断し、その場合にのみ変化度合いの大きい画素に適用する補間処理を実施する。
【００１７】
画素補間手段では、画素の階調値の変化度合いに関連する複数の補間処理を実行可能であればよく、補間処理自体としては各種の処理が可能である。その一例として、請求項３にかかる発明は、請求項１または請求項２に記載の画像データ補間装置において、上記画素補間手段は、変化度合いの小さい領域で適用して好適な補間処理として、補間処理前の最近隣画素の画像データを新たな構成画素の画像データに利用する補間処理を実行可能な構成としてある。
【００１８】
上記のように構成した請求項３にかかる発明においては、一つの補間処理として補間処理前の最近隣画素の画像データを新たな構成画素の画像データに利用するが、同じ画素のデータが増えるとしても変化度合いの小さい領域であれば何ら問題なく、処理量が少ない点で好適である。また、他の一例として、請求項４にかかる発明は、請求項１〜請求項３のいずれかに記載の画像データ補間装置において、上記画素補間手段は、変化度合いの大きい領域で適用して好適な補間処理として補間する画素の階調値がなだらかに変化するように周囲の画素の画像データから演算処理で補間画素の画像データを算出する補間処理を実行可能な構成としてある。
【００１９】
上記のように構成した請求項４にかかる発明においては、周囲の画素の画像データを利用して演算処理することにより、補間する画素の階調値はなだらかに変化する。このように、なだらかに変化させると、変化度合いの大きい画素の並びがあったとして、この間を補間したとしても段差が目立たない。補間する画素の階調値がなだらかに変化する演算手法は各種のものを採用可能であるが、その変化態様は画質に影響を与える。従って、ある意味では演算手法を変えることによって画質を調整可能となるともいえる。画質を調整可能な一例として、請求項５にかかる発明は、請求項４に記載の画像データ補間装置において、上記画素補間手段は、変化度合いの大きい画素間で補間画素の画像データを算出するにあたり、画像データの変化態様を略Ｓ字型としつつその傾斜を調整するとともに、両端部位では低い側にアンダーシュートを発生させつつ高い側にオーバーシュートを発生させて高低差を形成してその高低差を調整することにより、画像の変化度合いを最適なものとするように調整する構成としてある。
【００２０】
上記のように構成した請求項５にかかる発明においては、補間する画素の階調値をなだらかに変化させるにあたり、変化度合いの大きい画素間で画像データの変化態様を略Ｓ字型とする。従って、なだらかには変化するもののその変化態様は単に直線的に結ぶ勾配よりは急峻とさせることができ、その傾斜を調整して画像の変化度合いを最適なものとすることが可能となる。また、両端部位で低い側にアンダーシュートを発生させつつ高い側にオーバーシュートを発生させると高低差は大きくなり、かつ、その高低差を調整することによっても見かけ上の画像の変化度合いを最適なものとすることが可能となる。このような演算処理の一例としては、多次演算処理の３次たたみ込み内挿法などを使用可能であるし、かかる調整を可能とする演算処理はこれに限られず、他の演算手法を採用することもできる。
【００２１】
画素の階調値の変化度合いが画像全体にわたって一定であることはないため、補間処理選択手段は、適宜、補間処理を選択して切り換えなければならない。そして、かかる切り換えの頻度も特に限定されるものでなく、各種の手法を採用可能である。その一例として、請求項６にかかる発明は、請求項１〜請求項５のいずれかに記載の画像データ補間装置において、上記補間処理選択手段は、上記画素変化度合評価手段によって評価された画素の階調値の変化度合いに基づいて画素単位で上記補間処理を選択して実行させる構成としてある。
【００２２】
上記のように構成した請求項６にかかる発明においては、上記画素変化度合評価手段によって評価された画素の階調値の変化度合いに基づき、上記補間処理選択手段が画素単位で上記補間処理を選択して実行させる。すなわち、変化度合いが画素単位で評価される以上、これに対応して補間処理も変更する。また、他の一例として、請求項７にかかる発明は、請求項１〜請求項５のいずれかに記載の画像データ補間装置において、上記補間処理選択手段は、上記画素変化度合評価手段によって評価された画素の階調値の変化度合いに基づいて複数画素からなる所定の小領域毎に上記補間処理を選択して実行させる構成としてある。
【００２３】
上記のように構成した請求項７にかかる発明においては、上記画素変化度合評価手段によって評価された画素の階調値の変化度合いに基づき、上記補間処理選択手段が複数画素からなる所定の小領域毎に上記補間処理を選択して実行させる。このように、画像の変化度合いに応じて補間処理を選択する手法は必ずしも実体のある装置に限られる必要はなく、その方法としても機能することは容易に理解できる。このため、請求項８〜請求項１４にかかる発明は、上記画像データ補間装置が実施する補間方法に対応した構成としてある。すなわち、必ずしも実体のある装置に限らず、その方法としても有効であることに相違はない。
【００２４】
ところで、このような画像データ補間装置は単独で存在する場合もあるし、ある機器に組み込まれた状態で利用されることもあるなど、発明の思想としてはこれに限らず、各種の態様を含むものである。従って、ソフトウェアであったりハードウェアであったりするなど、適宜、変更可能である。発明の思想の具現化例として画像データ補間装置のソフトウェアとなる場合には、かかるソフトウェアを記録した記録媒体上においても当然に存在し、利用されるといわざるをえない。その意味で、請求項１７〜請求項２４にかかる発明は、上記画像データ補間装置をコンピュータで実施させる各ステップに対応した構成としてある。
【００２５】
むろん、その記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一次複製品、二次複製品などの複製段階については全く問う余地無く同等である。なお、本請求項の媒体とは異なるが、供給方法として通信回線を利用して行なう場合でも本発明が利用されていることにはかわりない。さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものはなく、一部を記録媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態のものとしてあってもよい。
【００２６】
また、本画像データ補間装置全体を組み入れる対象の一つには画像出力装置なども当然に上げられる。例えば、ディジタルスチルカメラであるとかビデオカメラなどでは光学ズームに加えてディジタルズームも利用されているが、このようなカメラに組み込んでズームをする際に利用してもよい。また、高機能なテレビジョンにおいても画面をズームすることが可能となっているものもあるが、このような場合にも画像の変化度合いに応じた補間処理でズームするようにしても良い。すなわち、アニメーションなどのように一定の範囲では同じ色が塗られる場合においてはその変化度合いは低く、主に境界部分でのみ変化度合いが大きくなるため、それぞれに応じた補間処理を適宜選択して実施すればよい。
【００２７】

【発明の効果】
以上説明したように請求項１、請求項８、請求項１５にかかる本発明は、画像の変化度合いに応じて補間処理を変更するとともに、画像の変化度合いを評価する時点で周囲の画素の階調値の変化度合いをも考慮しているので補間処理の判定を煩雑にすることもなく、極めて簡易に最適な補間結果を得ることが可能な画像データ補間装置、画像データ補間方法および画像データ補間プログラムを記録した媒体を提供することができる。
【００２８】
また、請求項２、請求項９、請求項１６にかかる発明によれば、変化度合いの大きい画素の評価を予め周囲の画素に反映させておき、その反映結果に基づいて各領域での補間処理を選択するため、選択の処理を簡易にして最適な補間結果を得ることができる。
【００２９】
さらに、請求項３、請求項１０、請求項１７にかかる発明によれば、変化度合いの小さい領域では画質に影響することなく処理量を減らすことができる。さらに、請求項４、請求項１１、請求項１８にかかる発明によれば、変化度合いの大きい画素の並びについてこの間を補間したとしても段差が目立たたず画質の劣化を防止することができる。さらに、請求項５、請求項１２、請求項１９にかかる発明によれば、Ｓ字カーブの傾斜と、アンダーシュートとオーバーシュートによる高低差とにより、画質の調整を比較的容易に実現できる。
【００３０】
さらに、請求項６、請求項１３、請求項２０にかかる発明によれば、画素単位で補間処理を選択するのできめ細かに補間結果を向上させることができる。さらに、請求項７、請求項１４、請求項２１にかかる発明によれば、小領域毎に補間処理を選択するので処理を簡易化することができる。
【００３１】
【発明の実施の形態】
以下、図面にもとづいて本発明の実施形態を説明する。図１は、本発明の画像データ補間装置を表すクレーム対応図である。ディジタル処理を前提とすると、画像はドットマトリクス状の複数の画素で表現することになり、各画素を表すデータの集まりで画像データが構成される。そして、画素単位で処理する系においては、画像の拡大縮小は画素単位で実施することになる。本画像データ補間装置はこのような画素単位での拡大処理を実施するものであり、画像データ取得手段Ｃ１は、このような画像データを取得し、画素補間手段Ｃ２はこの画像データにおける構成画素数を増やす補間処理を行う。ここで、画素補間手段Ｃ２は補間処理として画素の階調値の変化度合いに対応する複数の補間処理を実行可能となっており、画素変化度合評価手段Ｃ３が上記画像データに基づいて画素ごとの変化度合いを評価する。ただし、このときには周囲の画素の階調値の変化度合いの評価も利用した上で最終的に当該画素ごとの変化度合いを評価する。すると、補間処理選択手段Ｃ４はそのようにして評価された画素の階調値の変化度合いに対応して最適な補間結果を得ることが可能な補間処理を選択し、上記画素補間手段Ｃ２に実行させる。
【００３２】
本実施形態においてはこのような画像データ補間装置を実現するハードウェアの一例としてコンピュータシステム１０を採用している。図２は、同コンピュータシステム１０をブロック図により示している。本コンピュータシステム１０は、画像入力デバイスとして、スキャナ１１ａとデジタルスチルカメラ１１ｂとビデオカメラ１１ｃとを備えており、コンピュータ本体１２に接続されている。それぞれの入力デバイスは画像をドットマトリクス状の画素で表現した画像データを生成してコンピュータ本体１２に出力可能となっており、ここで同画像データはＲＧＢの三原色においてそれぞれ２５６階調表示することにより、約１６７０万色を表現可能となっている。
【００３３】
コンピュータ本体１２には、外部補助記憶装置としてのフロッピーディスクドライブ１３ａとハードディスク１３ｂとＣＤ−ＲＯＭドライブ１３ｃとが接続されており、ハードディスク１３ｂにはシステム関連の主要プログラムが記録されており、フロッピーディスクやＣＤ−ＲＯＭなどから適宜必要なプログラムなどを読み込み可能となっている。また、コンピュータ本体１２を外部のネットワークなどに接続するための通信デバイスとしてモデム１４ａが接続されており、外部のネットワークに同公衆通信回線を介して接続し、ソフトウェアやデータをダウンロードして導入可能となっている。この例ではモデム１４ａにて電話回線を介して外部にアクセスするようにしているが、ＬＡＮアダプタを介してネットワークに対してアクセスする構成とすることも可能である。この他、コンピュータ本体１２の操作用にキーボード１５ａやマウス１５ｂも接続されている。
【００３４】
さらに、画像出力デバイスとして、ディスプレイ１７ａとカラープリンタ１７ｂとを備えている。ディスプレイ１７ａについては水平方向に８００画素と垂直方向に６００画素の表示エリアを備えており、各画素毎に上述した１６７０万色の表示が可能となっている。むろん、この解像度は一例に過ぎず、６４０×４８０画素であったり、１０２４×７２０画素であるなど、適宜、変更可能である。
【００３５】
また、カラープリンタ１７ｂはインクジェットプリンタであり、ＣＭＹＫの四色の色インクを用いて記録媒体たる印刷用紙上にドットを付して画像を印刷可能となっている。画像密度は３６０×３６０ｄｐｉや７２０×７２０ｄｐｉといった高密度印刷が可能となっているが、階調表限については色インクを付すか否かといった２階調表現となっている。一方、このような画像入力デバイスを使用して画像を入力しつつ、画像出力デバイスに表示あるいは出力するため、コンピュータ本体１２内では所定のプログラムが実行されることになる。そのうち、基本プログラムとして稼働しているのはオペレーティングシステム（ＯＳ）１２ａであり、このオペレーティングシステム１２ａにはディスプレイ１７ａでの表示を行わせるディスプレイドライバ（ＤＳＰＤＲＶ）１２ｂとカラープリンタ１７ｂに印刷出力を行わせるプリンタドライバ（ＰＲＴＤＲＶ）１２ｃが組み込まれている。これらのドライバ１２ｂ，１２ｃの類はディスプレイ１７ａやカラープリンタ１７ｂの機種に依存しており、それぞれの機種に応じてオペレーティングシステム１２ａに対して追加変更可能である。また、機種に依存して標準処理以上の付加機能を実現することもできるようになっている。すなわち、オペレーティングシステム１２ａという標準システム上で共通化した処理体系を維持しつつ、許容される範囲内での各種の追加的処理を実現できる。
【００３６】
この基本プログラムとしてのオペレーティングシステム１２ａ上でアプリケーション１２ｄが実行される。アプリケーション１２ｄの処理内容は様々であり、操作デバイスとしてのキーボード１５ａやマウス１５ｂの操作を監視し、操作された場合には各種の外部機器を適切に制御して対応する演算処理などを実行し、さらには、処理結果をディスプレイ１７ａに表示したり、カラープリンタ１７ｂに出力したりすることになる。
【００３７】
かかるコンピュータシステム１０では、画像入力デバイスであるスキャナ１１ａなどで画像データを取得し、アプリケーション１２ｄによる所定の画像処理を実行した後、画像出力デバイスとしてのディスプレイ１７ａやカラープリンタ１７ｂに表示出力することが可能である。この場合、単に画素同士の対応に着目すると、カラープリンタ１７ｂにおける画素密度とスキャナ１１ａの画素密度が一致する場合にはスキャンした元画像の大きさと印刷される画像の大きさとが一致するが、両者にずれがあれば画像の大きさが異なることになる。スキャナ１１ａの場合はカラープリンタ１７ｂの画素密度と近似するものも多いが、高画質化のために画素密度の向上が図られているカラープリンタ１７ｂの画素密度の方が一般的な画像入力デバイスにおける画素密度よりも高密度であることが多い。特に、ディスプレイ１７ａの表示密度と比較すると各段に高密度であり、ディスプレイ１７ａ上での表示を画素単位で一致させて印刷させるとなると極めて小さな画像になりかねない。
【００３８】
このため、オペレーティングシステム１２ａで基準となる画素密度を決定しつつ実際のデバイスごとの画素密度の相違を解消するために解像度変換が実施される。例えば、ディスプレイ１７ａの解像度が７２ｄｐｉであるとするときに、オペレーティングシステム１２ａで３６０ｄｐｉを基準とするならば、ディスプレイドライバ１２ｂが両者の間の解像度変換を実施する。また、同様の状況でカラープリンタ１７ｂの解像度が７２０ｄｐｉであればプリンタドライバ１２ｃが解像度変換を実施する。
【００３９】
解像度変換は画像データにおける構成画素数を増やす処理にあたるので補間処理に該当し、これらのディスプレイドライバ１２ｂやプリンタドライバ１２ｃがその機能の一つとして補間処理を実施する。ここにおいて、ディスプレイドライバ１２ｂやプリンタドライバ１２ｃは上述した画素補間手段Ｃ２はもとより、以下に述べるように画素変化度合評価手段Ｃ３や補間処理選択手段Ｃ４を実行し、解像度変換において最もバランスの良い補間結果を得ることができるようにしている。なお、かかるディスプレイドライバ１２ｂやプリンタドライバ１２ｃは、ハードディスク１３ｂに記憶されており、起動時にコンピュータ本体１２にて読み込まれて稼働する。また、導入時にはＣＤ−ＲＯＭであるとかフロッピーディスクなどの媒体に記録されてインストールされる。従って、これらの媒体は画像データ補間プログラムを記録した媒体を構成する。
【００４０】
本実施形態においては、画像データ補間装置をコンピュータシステム１０として実現しているが、必ずしもかかるコンピュータシステムを必要とするわけではなく、同様の画像データに対して補間処理が必要なシステムであればよい。例えば、図３に示すようにデジタルスチルカメラ１１ｂ１内に補間処理する画像データ補間装置を組み込み、補間処理した画像データを用いてディスプレイ１７ａ１に表示させたりカラープリンタ１７ｂ１に印字させるようなシステムであっても良い。また、図４に示すように、コンピュータシステムを介することなく画像データを入力して印刷するカラープリンタ１７ｂ２においては、スキャナ１１ａ２やデジタルスチルカメラ１１ｂ２あるいはモデム１４ａ２等を介して入力される画像データについて自動的に解像度変換を行って印刷処理するように構成することも可能である。
【００４１】
この他、図５に示すようなカラーファクシミリ装置１８ａや図６に示すようなカラーコピー装置１８ｂといった画像データを扱う各種の装置においても当然に適用可能である。図７は、上述したプリンタドライバ１２ｃが実行する解像度変換に関連するソフトウェアフローを示している。ステップＳＴ１０２は元画像データを入力する。アプリケーション１２ｄにてスキャナ１１ａから画像を読み込み、所定の画像処理を行った後で印刷処理すると、所定の解像度の印刷データがオペレーティングシステム１２ａを介してプリンタドライバ１２ｃに引き渡されるため、この引渡の段階が該当する。むろん、スキャナ１１ａにて画像を読み込むものであってもよく、いずれにしても当該処理が画像データ取得手段Ｃ１に該当する。
【００４２】
ステップＳＴ１０４〜ＳＴ１０８は、読み込んだ画像データにおける画素の階調値の変化度合いを評価する処理である。画像データはＲＧＢ２５６階調で表され、各要素色毎の変化をとるにしても三色分の変化度合いが生じ、このままでは変化度合いを評価するのは困難である。そこで、本実施形態においては、輝度にのみ着目し、輝度勾配をもって変化度合いと判断することとする。ここで、画像データがその成分要素として輝度を持っていればその輝度値を用いて輝度勾配を算出することが可能であるが、上述したようにＲＧＢの各要素色毎に階調表示する本画像データでは直接の成分値とはなっていない。しかしながら、輝度値が直接の成分値となっていない画像データの場合でも、間接的には輝度を表す成分値を備えており、輝度値が直接の成分値となっていない表色空間から輝度値が直接の成分値となっている表色空間への変換を行えば輝度値を得ることができる。
【００４３】
異なる表色空間の間での色変換は変換式によって一義的に定まるものではなく、それぞれの成分値を座標とする色空間について相互に対応関係を求めておき、この対応関係を記憶した色変換テーブルを参照して逐次変換する必要がある。すると、厳密には１６７０万個の要素の色変換テーブルを持たなければならない。効率的な記憶資源の利用を考えた結果、すべての座標値についての対応関係を用意しておくのではなく、通常は適当なとびとびの格子点について対応関係を用意しておき、補間演算を併用することが多い。しかし、かかる補間演算はいくつかの乗算や加算を経て可能となるものであるため、演算処理量は膨大となってくる。
【００４４】
すなわち、フルサイズの色変換テーブルを使用するのであれば処理量としては少なくなるもののテーブルサイズが非現実的な問題となり、テーブルサイズを現実的なサイズにすれば演算処理量が非現実的となることが多い。このような状況に鑑み、本実施形態においては、テレビジョンなどの場合に利用されているように、ＲＧＢの三原色から輝度を求める次式の変換式を採用している。すなわち、Ｐ点での輝度ｙp についてはＲＧＢの成分値（Ｒp,Ｇp,Ｂp ）から、
ｙp＝０．３０Ｒp＋０．５９Ｇp＋０．１１Ｂp
とする。このようにすれば、三回の乗算と二回の加算だけで輝度値を求めることができるようになる。
【００４５】
本実施形態においては、ＲＧＢの画像データを対象としている結果、このような変換式を採用しているが、その背景には各成分値が色の明るさを示しているので、それぞれの成分値を単独で見た場合に輝度に線形に対応しているという性質がある。従って、よりおおざっぱに言えばそれぞれの加算割合を考慮することなく単に
ｙp＝（Ｒp＋Ｇp＋Ｂp）／３
というように簡略化することも不可能ではない。
【００４６】
このようにして輝度を求めることとした上で、図８と図９は、輝度勾配を算出するためのエッジ検出フィルタを示している。画像データはドットマトリクス状の画素から構成されているので、注目画素を中心とする近隣の八画素との間で画像の変化度合いを評価すべきである。そういった意味では図９に示すように、注目画素に８倍の重み付けを与えつつ周囲の画素を均等に評価してそれを合算することでフィルタを掛けることが好ましい。しかしながら、経験的には必ずしも周囲の八画素を評価しなくても図８に示すように注目画素と周囲の四画素だけから評価可能である。むろん、四画素を利用するか八画素を利用するかでは演算量の差が大きく、このようにして評価対象を少なくすると処理時間を減らすことができる。
【００４７】
図８や図９に示すエッジ検出フィルタを利用した結果を各画素のエッジ量Ｅと呼ぶと、その分布は図１０に示すように正規分布的となることが予想され、画像の変化度合いが大きいエッジ部分であるか否かはしきい値ｔｈと比較することによって判定できる。図８と図９に示すエッジ検出フィルタはそれぞれしきい値としてｔｈ＝３２およびｔｈ＝６４というエッジ量のしきい値が妥当する。従って、エッジの画素か否かは次式から評価する。
（Ｅ＜−ｔｈ）ｏｒ（ｔｈ＞Ｅ）
この評価をドットマトリクス状の画素の全てに実施するのがステップＳＴ１０６の処理であり、各画素単位でエッジの画素のように画像の変化度合いが大きい画素であるか否かを評価する。
【００４８】
ところで、各画素単位で画像の変化度合いが大きいか否かを判定するとしても、補間処理は一定の領域毎に画素を生成する処理であるから、その領域単位で画像の変化度合いが大きいか否かを判定する必要がある。各領域ごとにこの変化度合いを判定するのは煩雑であるから、ステップＳＴ１０８であらかじめエッジ画素であるか否かを判定してフラグを設定する。この場合、図１１に示すように、エッジ画素を取り囲む全ての画素において画像の変化度合いが大きいものと判断する。より具体的には、各画素の階調値の変化度合いが図１２（ａ）に示すようになっているとするときに、しきい値が「３２」であれば、しきい値を越える画素はｘｙ座標で示すところの（０，０）（３，０）（４，０）（１，１）（２，１）であるとしても、エッジ画素の隣接画素にはフラグを設定することになる。すると、同図（ｂ）に示すようにｙ＝０，１の全画素と、（４，２）を除くｙ＝２の画素についてはフラグが設定されることになる。この結果、後の工程で各画素単位で注目ブロックを移動させていくときにフラグだけを参照して補間処理を適宜選択できるようになる。ここではしきい値を「３２」と設定して画素の階調値の変化度合いがこれよりも大きいという条件が設定されているのであり、変化度合いをこのしきい値「３２」と比較する判断を行なう。これで大きいと判断されるのは、上述した（０，０）（３，０）（４，０）（１，１）（２，１）という５つの画素であるが、各画素と隣接する画素のいずれかでも条件が合致すれば条件が合致すると評価するのであるから、これらの隣接画素でフラグが設定される。
【００４９】
むろん、本実施形態においては、これらのステップＳＴ１０４〜ＳＴ１０８の処理が画素変化度合評価手段Ｃ３を構成することになる。以上のように設定したフラグに基づき、ステップＳＴ１１０以下ではループ処理で補間画素を生成していく。図１３は既存の画素に対して補間して生成される画素の配置を概略的に示している。既存の画素について仮に座標を（Ｘ，Ｙ）として表示し、補間で生成される画素の座標を＜Ｘ，Ｙ＞として表示している。
【００５０】
既存の四つの画素で囲まれる一つの領域をブロックと呼び、各ブロックごとに補間する画素の補間処理を選択する。ステップＳＴ１０８では各画素ごとに周囲の画素の階調値の変化度合いも考慮してフラグを設定しているので、各ブロックでは四つの画素（０，０）（１，０）（０，１）（１，１）についていずれについてもフラグが設定されていれば変化度合いの大きい場合の補間処理を選択することになり、どれか一つでもフラグが設定されていなければ変化度合いの小さい場合の補間処理を選択することになる。ステップＳＴ１１０では、この条件に基づいて当該ブロック内部に適用する補間処理を判断し、変化度合いが小さい場合にはステップＳＴ１１２にてニアリスト法による補間処理で補間を実行するし、変化度合いが大きい場合にはステップＳＴ１１４にてキュービック法による補間処理で補間を実行する。また、一つのブロックを補間処理した後、ステップＳＴ１１６とステップＳＴ１１８にて処理対象となるブロックを移動させ、全てのブロックが終了すればステップＳＴ１２０にて補間された画像データを出力する。
【００５１】
なお、図中にはステップＳＴ１１８の終了後にステップＳＴ１１０に戻るような流れを実線で示しているが、破線で示すようにブロック毎にエッジ画素を集計する処理を繰り返すようにしても良い。むろん、このような意味でステップＳＴ１１０の処理を中心としてステップＳＴ１１６，ＳＴ１１８の処理を含めて補間処理選択手段Ｃ４を構成することになる。なお、プリンタドライバ１２ｃの場合、解像度変換だけで印刷データが得られるわけではなく、色変換であるとか、ハーフトーン処理が必要になる。従って、ここで画像データを出力するというのは、次の段階へのデータの受け渡しを意味することになる。
【００５２】
本実施形態の場合は、四つの画素に囲まれる領域をブロックと呼んで補間処理を選択しているが、補間処理を変更する基準は演算能力や補間処理などに応じて適宜変更可能である。例えば、図１４に示すように、注目画素を中心とする領域を基準として補間処理する場合もある。このような場合は、かかる注目画素を矢印のように走査させて移動させながら補間処理を適宜実施していけばよい。ここで、注目画素を移動させていきながら補間処理を選択する手法について説明する。上述した例ではブロック毎に変化度合いが大きいか否かを判定するにあたり、当該領域に含まれる全てのフラグが「１」となっている場合にだけ画像の変化度合いが大きい領域と判断している。しかしながら、必ずしもこのように全てのフラグが「１」になっている必要もないともいえる。例えば、図１５（ａ）に示すように４画素で囲まれる領域に補間処理で画素を生成するものとする。この場合、図１１でエッジ画素の隣接画素にフラグを立てる関係上、本来であれば上述したように４画素全てにフラグが立っている場合だけが変化度合いの大きい領域と判定することになりえる。しかしながら、このように判断するとブロックを１画素分だ横に移動させた場合には縦の辺が共通する関係で縦の二画素について毎回判断が重複するし、縦方向に移動させれば横の辺が共通する関係で横の二画素について毎回判断が重複する。このような重複状況は演算処理において無駄である。一方、同図（ｂ）に示すように領域の隣接状況を考慮すれば、１領域ごとに左上の１画素を代表させて関連づけることが可能であるし、少なくともエッジ画素に同視しうる画素の近辺で変化度合いが大きいと判断しても対して支障はないといえる。また、隣接画素同士に囲まれる領域というのは実際には極めて微少な領域であることを鑑みても十分であるといえる。そして、このようにして１画素に１領域を対応させれば、ブロックを移動させる際に注目画素を移動させていき、その注目画素のエッジ量だけで領域の変化度合いを判定することが可能となるし、判定に要する演算処理量も低減する。
【００５３】
また、補間する画素の側でブロックを形成するようにすることも可能である。図１６はこの例を示しており、図中、□の格子点が補間する画素を示し、○の格子点が既存の画素を示している。いま、補間する画素について５×５のブロックを一つとし、その中に含まれる既存の画素のエッジ量に基づいて当該領域が画像の変化度合いの大きいものであるか否かを判断する。この場合、一つのブロックを決めて当該ブロックに含まれる既存の画素を抽出し、そのエッジ量の積算値を求め、当該ブロック内では同一の補間処理で画素を生成すればよい。
【００５４】
むろん、以上の場合においてより大きな領域毎にブロックを設定して補間処理を選択しても良く、例えば、１０×１０画素毎をブロックとすることも可能である。また、ブロックを設定せずに補間する画素毎にそれを取り囲む既存の画素についてのエッジ量を判断して補間処理を選択することも可能である。図１６の例で言えば内側に配列される３×３の□の格子点は、いずれも○で示す四つの既存の格子点の中に含まれ、それぞれの□の格子点を生成する際にこれを取り囲む○で示す四つの既存の格子点についてのエッジ量に基づいて補間処理を選択するということである。むろん、演算処理上、このような処理の方が都合よい場合に実現すればよい。すなわち、先に補間処理するブロックを特定して補間処理を決めてからその内部に画素を補間するという手法であっても良いし、補間する画素毎にブロックの状況を判定して補間処理を選択しても良い。
【００５５】
さらに、上述したフローではステップＳＴ１０８にて予めエッジ画素に隣接する画素にフラグを設定しておき、ブロック毎に同フラグを参照するようにしている。しかしながら、図７にて破線で示すようにブロックを移動させるフローとすることも可能であり、この場合には敢えてフラグを設定する必要もなく、当該ブロックの周囲の画素のエッジ量を判断して補間処理を選択するようにすれば良い。
【００５６】
上述したように別々の補間処理を備えているステップＳＴ１１２，ＳＴ１１４の処理は画素補間手段Ｃ２を構成することになる。この場合、画素補間手段Ｃ２はソフトウェアで実現されているが、その構成にオペレーティングシステムは必須ではない。すなわち、オペレーティングシステムの関数などを呼び出して所定の機能を実施するようにもできるし、オペレーティングシステムを呼び出すことなく所定の機能を実施するようにもできる。そして、媒体にプログラムが記録されて供給される過程においても、単独で本発明を構成することはいうまでもない。むろん、ソフトウェアで実現する他の構成要素についても全く同様である。
【００５７】
ここで、それぞれの補間処理について詳述する。画像の変化度合いが小さい場合に適するとともに演算処理量が極めて少ない補間処理として、ニアリスト法の補間処理がある。ニアリスト法は図１７に示すように、周囲の四つの格子点Ｐｉｊ，Ｐｉ＋１ｊ，Ｐｉｊ＋１，Ｐｉ＋１ｊ＋１と内挿したい点Ｐｕｖとの距離を求め、もっとも近い格子点のデータをそのまま移行させる。これを一般式で表すと、
Ｐｕｖ＝Ｐｉｊ
ここで、ｉ＝［ｕ＋０．５］、ｊ＝［ｖ＋０．５］である。なお、［］はガウス記号で整数部分を取ることを示している。
【００５８】
図１８は、ニアリスト法で画素数を縦横３倍ずつに補間する状況を示している。補間される画素は最初の四隅の画素のうちもっとも近い画素のデータをそのまま移行させることになる。従って、図１９に示すように白い画素を背景として黒い画素が斜めに配置される元画像は、図２０に示すように黒の画素が縦横に３倍に拡大されつつ斜め方向に配置される関係が保持される。ニアリスト法においては、画像のエッジがそのまま保持される特徴を有する。それ故に隣接する画素の差が大きい場合には、拡大するとジャギーが目立つことになる。しかし、背景の空のような部分では隣接する画素の並びにおいて両者の間にさほど変化がなく、拡大しても殆どジャギーは目立たない。また、それ以上に演算量の少なさは処理時間を短縮するうえで極めて効果が大きい。従って、画像の変化度合いが小さい部分で積極的にニアリスト法を選択するメリットは大きい。
【００５９】
一方、写真のような自然画に適する一方で演算処理量が大きい補間処理として、キュービック法の補間処理がある。キュービック法は図２１に示すように、内挿したい点Ｐｕｖを取り囲む四つの格子点のみならず、その一周り外周の格子点を含む計１６の格子点のデータを利用する。３次たたみ込み関数を用いた一般式は次式のようになる。
【００６０】
【数１】

また、ここで距離に応じた影響度合いを３次たたみ込み関数で表すとすると、f(t) = {sin(πt)}/πtとなる。なお、上述した各距離ｘ１〜ｘ４，ｙ１〜ｙ４は格子点Ｐｕｖの座標値（ｕ，ｖ）について絶対値を利用して次のように算出することになる。
x1 = 1+(u-|u|) y1 = 1+(v-|v|)
x2 = (u-|u|) y2 = (v-|v|)
x3 = 1-(u-|u|) y3 = 1-(v-|v|)
x4 = 2-(u-|u|) y4 = 2-(v-|v|)
以上の前提のもとでＰについて展開すると、
【００６１】
【数２】

となる。なお、３次たたみ込み関数と呼ばれるように距離に応じた影響度合いｆ（ｔ）は次のような三次式で近似される。
【００６２】
【数３】

このキュービック法では一方の格子点から他方の格子点へと近づくにつれて徐々に変化していき、その変化具合がいわゆる３次関数的になるという特徴を有している。
【００６３】
図２２と図２３はキュービック法にて補間される際の具体例を示している。理解を容易にするため、垂直方向についてのデータの変化はなく、水平方向についてエッジが生じているモデルについて説明する。また、補間する画素を３点とする。まず、図２３の具体的数値について説明する。補間前の画素の階調値を左列に「Ｏｒｉｇｉｎａｌ」として示しており、階調値「６４」の画素（Ｐ０、Ｐ１、Ｐ２、Ｐ３）が４点並び、階調値「１２８」の画素（Ｐ４）を１点挟み、階調値「１９２」の画素（Ｐ５、Ｐ６、Ｐ７、Ｐ８、Ｐ９）が５点並んでいる。この場合、エッジは階調値「１２８」の画素の部分である。
【００６４】
ここで各画素間に３点の画素（Ｐｎ１、Ｐｎ２、Ｐｎ３）を内挿することになると、内挿される画素間の距離は「０．２５」となり、上述したｘ１〜ｘ４は内挿点毎に表の中程の列の数値となる。ｘ１〜ｘ４に対応してｆ（ｘ１）〜ｆ（ｘ４）も一義的に計算されることになり、例えば、ｘ１，ｘ２，ｘ３，ｘ４が、それぞれ「１．２５」、「０．２５」、「０．７５」、「１．７５」となる場合、それに対するｆ（ｔ）については、概略「−０．１４」、「０．８９」、「０．３０」、「−０．０５」となる。また、ｘ１，ｘ２，ｘ３，ｘ４が、それぞれ「１．５０」、「０．５０」、「０．５０」、「１．５０」となる場合、それに対するｆ（ｔ）については、「−０．１２５」、「０．６２５」、「０．６２５」、「−０．１２５」となる。また、ｘ１，ｘ２，ｘ３，ｘ４が、それぞれ「１．７５」、「０．７５」、「０．２５」、「１．２５」となる場合、それに対するｆ（ｔ）については、概略「−０．０５」、「０．３０」、「０．８９」、「−０．１４」となる。以上の結果を用いて内挿点の階調値を演算した結果を表の右列に示しているとともに、図２２においてグラフで示している。なお、このグラフの意味するところについて後に詳述する。
【００６５】
垂直方向についてのデータの変化がないものとみなすと、演算は簡略化され、水平方向に並ぶ四つの格子点のデータ（P1,P2,P3,P4 ）だけを参照しつつ、内挿点から各格子点までの距離に応じた影響度合いｆ（ｔ）を利用して次のように算出できる。
P=P1・f(x1)+P21f(x2)+P3・f(x3)+P4・f(x4)
従って、内挿点Ｐ２１について算出する場合には、
P21=64*f(1.25)+64*f(0.25)+64*f(0.75)+128*f(1.75)
=64*(-0.14063)+64*(0.890625)+64*(0.296875)+128*(-0.04688)
=61
となる。
【００６６】
キュービック法によれば３次関数的に表せる以上、そのカーブの形状を調整することによって補間結果の品質を左右することができる。その調整の一例として、
0＜t＜0.5 f(t) = -(8/7)t**3-(4/7)t**2+1
0.5＜t＜1 f(t) = (1-t)(10/7)
1＜t＜1.5 f(t) = (8/7)(t-1)**3+(4/7)(t-1)**2-(t-1)
1.5＜t＜2 f(t) = (3/7)(t-2)
としたものをＭキュービック法と呼ぶことにする。
【００６７】
図２４はＭキュービック法にて補間される際の具体例を示しており、キュービック法の場合と同じ仮定のモデルについて補間した結果を示している。また、図２２にもＭキュービック法による補間処理結果を示しており、この例では３次関数的なカーブがわずかに急峻となり、画像全体のイメージがシャープとなる。上述したニアリスト法やキュービック法やＭキュービック法の特性の理解のために他の補間手法である共１次内挿法（バイリニア補間：以下、バイリニア法と呼ぶ）について説明する。
【００６８】
バイリニア法は、図２５に示すように、一方の格子点から他方の格子点へと近づくにつれて徐々に変化していく点でキュービック法に近いが、その変化が両側の格子点のデータだけに依存する一次関数的である点で異なる。すなわち、内挿したい点Ｐｕｖを取り囲む四つの格子点Ｐｉｊ，Ｐｉ＋１ｊ，Ｐｉｊ＋１，Ｐｉ＋１ｊ＋１で区画される領域を当該内挿点Ｐｕｖで四つの区画に分割し、その面積比で対角位置のデータに重み付けする。これを式で表すと、
Ｐ＝｛（ｉ＋１）−ｕ｝｛（ｊ＋１）−ｖ｝Ｐｉｊ
＋｛（ｉ＋１）−ｕ｝｛ｖ−ｊ｝Ｐｉｊ＋１
＋｛ｕ−ｉ｝｛（ｊ＋１）−ｖ｝Ｐｉ＋１ｊ
＋｛ｕ−ｉ｝｛ｖ−ｊ｝Ｐｉ＋１ｊ＋１
となる。なお、ｉ＝［ｕ］、ｊ＝［ｖ］である。
【００６９】
二つのキュービック法とバイリニア法は一方の格子点から他方の格子点へと近づくにつれて徐々に変化していく点で共通するが、その変化状況が３次関数的であるか１次関数的であるかが異なり、画像としてみたときの差異は大きい。図２６はニアリスト法とキュービック法とＭキュービック法とバイリニア法における補間結果の相違を理解しやすくするために二次元的に表した図である。同図において、横軸に位置を示し、縦軸に補間関数を示している。むろん、この補間関数は上述した距離に応じた影響度合いに該当する。ｔ＝０、ｔ＝１、ｔ＝２の位置に格子点が存在し、内挿点はｔ＝０〜１の位置となる。
【００７０】
バイリニア法の場合、隣接する二点間（ｔ＝０〜１）で直線的に変化するだけであるので境界をスムージングすることになり、画面の印象はぼやけてしまう。すなわち、角部のスムージングと異なり、境界がスムージングされると、本来あるべき輪郭がなくなってしまうし、写真においてはピントが甘くなってしまう。一方、キュービックにおいては、隣接する二点間（ｔ＝０〜１）においては山形の凸を描いて徐々に近接するのみならず、さらに同二点間の外側（ｔ＝１〜２）において下方に押し下げる効果をもつ。すなわち、エッジ部分は段差が生じない程度に大きな高低差を有するように変化され、写真においてはシャープさを増しつつ段差が生じないという好適な影響を及ぼす。また、Ｍキュービックではよりシャープさを増す影響を及ぼす。なお、キュービック法は演算処理量が大きく、補間倍率が大きくなって補間すべき画素数が大きくなれば多大な演算処理量を要することになる。
【００７１】
画質の面を重視すれば、キュービック法のような三次関数を選びそうであるが、コンピュータの処理では速度と画質のバランスも大きい。すなわち、画質の向上程度に応じて処理速度の低下具合の許容度が大きくなるが、画質の向上が微量あるいは多少画質が向上落ちるとしても処理速度が高速である方を好むという場合もある。一方、以上のような補間関数の比較とともに具体的な数値を示す図２２、図２３、図２４を参照するとより理解しやすい。図２２の例を参照し、もともとのエッジ部分である階調値「６４」の画素（Ｐ３）と、階調値「１２８」の画素（Ｐ４）と、階調値「１９２」の画素（Ｐ５）という三点に注目してみると、単純に直線的に連結する手法はバイリニア法に相当し、これに対してキュービック法では具体的なＳ字カーブが形成されているし、Ｍキュービック法ではそのＳ字カーブがより急峻となっている。むろん、Ｓ字カーブの方向は画素の階調値変化を急峻とするものであり、エッジが強調されている。また、このエッジ画素に隣接する領域（Ｐ２〜Ｐ３、Ｐ５〜Ｐ６）ではいわゆるアンダーシュートとオーバーシュートが生じており、低い側に生じるアンダーシュートと高い側に生じるオーバーシュートにより、エッジ画素を挟む両側の高低差が大きくなる。従って、これらの二つの要因によってエッジが強調されることが理解できる。
【００７２】
画像がシャープに見えるか否かはこのＳ字カーブにおける中央部分の傾斜角度が影響を与えることも容易に理解できる。また、エッジの両側のアンダーシュートとオーバーシュートによって生じる高低差も同様に影響を与えるものといえる。すなわち、高次関数を利用して画像データの変化態様を略Ｓ字型とし、画像データの低い側から高い側に移行するときに一旦は最低値よりも減少してから上昇して最高値を超して再び減少させている。そして、その際のアンダーシュートと傾斜度合いとオーバーシュートとを上記高次関数のパラメータで調整して画像の変化度合いを最適なものとさせている。
【００７３】
一方、このような関係は図２６に示す補間関数においてｔ＝０〜１の区間において傾斜が急となりつつ、ｔ＝１〜２の区間において増加した重み分を打ち消すように負の側へ引き寄せるカーブとなっている場合に生じる。従って、シャープさを調整しようとする場合には、（１）補間関数においてシャープさの基準となる理想的な傾斜を決定し、（２）ｔ＝０〜１の区間において上記傾斜を発生させるカーブを決定し、（３）ｔ＝１〜２の区間においてこのカーブによって増える重み付けを相殺するように負の側に引き寄せつつ、オーバーシュートとアンダーシュートが生じやすいカーブを決定することによって実現できる。むろん、この後の作業では特定されるカーブとなるように多次演算関数のパラメータを決定するが、かかるパラメータの決定方法は極めて多様であるから、実質的な意味でＳ字カーブにおける中央部分の傾斜角度とアンダーシュート及びオーバーシュートを調整することに他ならない。
【００７４】
各補間処理には以上のような特性の違いがあり、ステップＳＴ１１０にて画像の変化度合いが小さいと判断されたブロックでは、ステップＳＴ１１２にてニアリスト法の補間処理を実行するし、逆に変化度合いが大きいと判断されたブロックでは、キュービック法やＭキュービック法の補間処理を実行する。キュービック法で補間処理をする場合には演算時間が多大となってしまうものの、画像の変化度合いが小さいような部分ではニアリスト法に切り替えるため、全体としての処理時間は極めて低減する。特に、コンピュータグラフィックスのように同色で一定領域を塗りつぶしてあるような場合には一律にニアリスト法を実行しても全く問題ないので、処理時間は低減する。また、自然画であっても拡大したときにジャギーが目立ちやすい部分というのは面積比でいってもそれほど大きくないのが普通であるから、このように画像の変化度合いを逐次切り替えることによって画質を劣化させることなく処理量を低減させることができる。
【００７５】
本実施形態においては、フラグによって二種類ある補間処理のいずれかを実行するようにしているが、画素の階調値の変化度合いに対して段階的に対応する複数の補間処理を実行するようにしても良い。また、図２７に示すように、二つの補間処理を重ねて実行することとしてその拡大倍率を画像の変化度合いに対応させるようにしても良い。例えば、補間倍率が５倍であるとして画像の変化度合いが小さめであればニアリスト法で５倍に補間処理するし、画像の変化度合いが大きめであればキュービック法で５倍の補間処理する。これらの場合は上述した実施形態と同様であるが、画像の変化度合いが中間的な値である場合にはキュービック法で２倍に補間処理し、残りの２．５倍をニアリスト法で補間処理する。このようにして二つの補間処理でありながら実質的には画像の変化度合いに応じた複数の補間処理を選択できることになる。
【００７６】
なお、キュービック法のように補間処理の演算量が大きいものについては、あえて補間倍率を２倍というような整数倍とするメリットがある。図２８は水平方向と垂直方向に２倍に補間する処理例を示している。予め、補間後の画像データについての変数領域を確保するとして、整数倍の補間処理であれば元画像の画像データは整数倍した座標値に対応する画素の画像データとなる。図に示す例で言えば、旧座標値（０，０）は新座標値（０，０）に対応し、旧座標値（１，０）は新座標値（２，０）に対応し、旧座標値（０，１）は新座標値（０，２）に対応し、旧座標値（１，１）は新座標値（２，２）に対応するということである。
【００７７】
すなわち、補間処理自体は任意の倍率で実行可能であるにしても、整数倍の補間処理だけを実行するようにすると、補間すべき画素が減り、処理の高速化を図ることができる。このように、画像入力デバイスを有するとともに画像出力デバイスを有するコンピュータシステム１０において、プリンタドライバ１２ｃはステップＳＴ１０２にて元画像データを入力した後、ステップＳＴ１０４〜１０８にて画像の変化度合いをその周囲の画素の階調値の変化度合いの評価も利用しながら検出してフラグを設定しておき、ステップＳＴ１１０にて同フラグを参照することにより、画像の変化度合いの小さいブロックではステップＳＴ１１２にてニアリスト法による補間処理を実行するし、画像の変化度合いの大きいブロックではステップＳＴ１１４にてキュービック法による補間処理を実行するようにしたため、補間処理の判定を煩雑にすることなく、画質を劣化させない範囲でできる限りニアリスト法を実行するように制御され、自動的に最適な補間処理を選択しつつ演算処理量を低減させる。
【図面の簡単な説明】
【図１】本発明の一実施形態にかかる画像データ補間装置のクレーム対応図である。
【図２】同画像データ補間装置の具体的ハードウェアのブロック図である。
【図３】本発明の画像データ補間装置の他の適用例を示す概略ブロック図である。
【図４】本発明の画像データ補間装置の他の適用例を示す概略ブロック図である。
【図５】本発明の画像データ補間装置の他の適用例を示す概略ブロック図である。
【図６】本発明の画像データ補間装置の他の適用例を示す概略ブロック図である。
【図７】本発明の画像データ補間装置におけるフローチャートである。
【図８】エッジ検出フィルタの一例を示す図である。
【図９】エッジ検出フィルタの他の一例を示す図である。
【図１０】エッジ量の分布としきい値との関係を示す図である。
【図１１】注目画素とフラグの設定判断で対象とする画素の関係を示す図である。
【図１２】エッジ量とフラグの設定状況を示す図である。
【図１３】既存の画素で形成されるブロックと補間する画素との関係を示す図である。
【図１４】注目画素を基準としてブロックを形成する場合を示す図である。
【図１５】フラグの状況と領域の対応を示す図である。
【図１６】補間する画素でブロックを形成する場合を示す図である。
【図１７】ニアリスト法の概念図である。
【図１８】ニアリスト法で各格子点のデータが移行される状況を示す図である。
【図１９】ニアリスト法の補間前の状況を示す概略図である。
【図２０】ニアリスト法の補間後の状況を示す概略図である。
【図２１】キュービック法の概念図である。
【図２２】キュービック法の具体的適用時におけるデータの変化状況を示す図である。
【図２３】キュービック法の具体的適用例を示す図である。
【図２４】ハイブリッドバイキュービック法の具体的適用例を示す図である。
【図２５】バイリニア法の概念図である。
【図２６】補間関数の変化状況を示す図である。
【図２７】画像の変化度合いに応じて複数の補間処理の補間倍率を分配する関係を示す図である。
【図２８】整数倍の補間処理を示す概略図である。
【符号の説明】
１０…コンピュータシステム
１１ａ…スキャナ
１１ａ２…スキャナ
１１ｂ…デジタルスチルカメラ
１１ｂ１…デジタルスチルカメラ
１１ｂ２…デジタルスチルカメラ
１１ｃ…ビデオカメラ
１２…コンピュータ本体
１２ａ…オペレーティングシステム
１２ｂ…ディスプレイドライバ
１２ｂ…ドライバ
１２ｃ…プリンタドライバ
１２ｄ…アプリケーション
１３ａ…フロッピーディスクドライブ
１３ｂ…ハードディスク
１３ｃ…ＣＤ−ＲＯＭドライブ
１４ａ…モデム
１４ａ２…モデム
１５ａ…キーボード
１５ｂ…マウス
１７ａ…ディスプレイ
１７ａ１…ディスプレイ
１７ｂ…カラープリンタ
１７ｂ１…カラープリンタ
１７ｂ２…カラープリンタ
１８ａ…カラーファクシミリ装置
１８ｂ…カラーコピー装置

Claims

画像を複数の画素で表現した画像データを取得する画像データ取得手段と、
上記画像データに基づいて各画素の階調値の変化度合いを評価するにあたり、各画素の明るさの階調値を求めるとともに周囲の画素の明るさの階調値との比較で上記変化度合いを算出することとし、当該画素の階調値の変化度合いと近隣の画素の階調値の変化度合いのうちいずれかが所定の条件に合致すると判断されれば、当該画素については同条件が合致するものとして上記変化度合いを評価する画素変化度合評価手段と、
上記画像データにおける構成画素数を増やす補間処理を行なうにあたり上記所定の条件に対応した複数の補間処理を実行可能な画素補間手段と、
上記画素変化度合評価手段によって、補間される領域を取り囲む画素のうち所定数以上の画素において上記変化度合いが所定のしきい値よりも大きいと評価されているときに変化度合いの大きい画素に適用する補間処理を選択して上記画素補間手段を実行させる補間処理選択手段とを具備することを特徴とする画像データ補間装置。
上記請求項１に記載の画像データ補間装置において、
画素変化度合評価手段は、各画素の階調値の変化度合いと所定のしきい値とを比較し、当該画素の階調値の変化度合いの方が大きいと判断されるときに上記所定の条件に合致すると評価し、
上記補間処理選択手段は、補間される領域を取り囲むすべての画素において上記変化度合いが大きいと評価されているときに変化度合いの大きい画素に適用する補間処理を選択することを特徴とする画像データ補間装置。
上記請求項１に記載の画像データ補間装置において、
上記画素補間手段は、上記画素変化度合評価手段によって、補間される領域を取り囲む画素のうち、上記変化度合いが上記所定のしきい値よりも大きいと評価されている画素の数が上記所定数未満であるときに、補間処理前の最近隣画素の画像データを新たな構成画素の画像データに利用する補間処理を実行可能であることを特徴とする画像データ補間装置。
上記請求項１または請求項３に記載の画像データ補間装置において、
上記画素補間手段は、上記画素変化度合評価手段によって、補間される領域を取り囲む画素のうち、上記所定数以上の画素において上記変化度合いが上記所定のしきい値よりも大きいと評価されているときに、補間する画素の階調値がなだらかに変化するように周囲の画素の画像データから演算処理で補間画素の画像データを算出する補間処理を実行可能であることを特徴とする画像データ補間装置。
上記請求項４に記載の画像データ補間装置において、
上記画素補間手段は、高次関数を利用して画像データの変化態様を略Ｓ字型とし、画像データの低い側から高い側に移行するときに一旦は最低値よりも減少してから上昇して最高値を超して再び減少させ、その際のアンダーシュートと傾斜度合いとオーバーシュートとを上記高次関数のパラメータで調整して画像の変化度合いを最適なものとさせることを特徴とする画像データ補間装置。
上記請求項１〜請求項５のいずれか一項に記載の画像データ補間装置において、
上記補間処理選択手段は、上記画素変化度合評価手段によって評価された画素の階調値の変化度合いに基づいて画素単位で上記補間処理を選択して実行させることを特徴とする画像データ補間装置。
上記請求項１〜請求項５のいずれか一項に記載の画像データ補間装置において、
上記補間処理選択手段は、上記画素変化度合評価手段によって評価された画素の階調値の変化度合いに基づいて複数画素からなる所定の小領域毎に上記補間処理を選択して実行させることを特徴とする画像データ補間装置。
画像を複数の画素で表現した画像データについてその構成画素数を増やす画像データ補間方法であって、
画像データ取得手段により上記画像データを取得する工程と、
画像変化度合評価手段により上記画像データに基づいて各画素の階調値の変化度合いを評価するにあたり、各画素の明るさの階調値を求めるとともに周囲の画素の明るさの階調値との比較で上記変化度合いを算出することとし、当該画素の階調値の変化度合いと近隣の画素の階調値の変化度合いのうちいずれかが所定の条件に合致すると判断されれば、当該画素については同条件が合致するものとして上記変化度合いを評価する工程と、
上記評価に基づいて補間される領域を取り囲む画素のうち所定数以上の画素において上記変化度合いが所定のしきい値よりも大きいと評価されているときに変化度合いの大きい画素に適用する補間処理を補間処理選択手段により選択する工程と、
選択された補間処理で上記画像データにおける構成画素数を画素補間手段により増やす工程とを具備することを特徴とする画像データ補間方法。
上記請求項８に記載の画像データ補間方法において、
各画素の階調値の変化度合いと所定のしきい値とを比較し、当該画素の階調値の変化度合いの方が大きいと判断されるときに上記所定の条件に合致すると評価し、補間される領域を取り囲むすべての画素において上記変化度合いが大きいと評価されているときに変化度合いの大きい画素に適用する補間処理を選択することを特徴とする画像データ補間方法。
上記請求項８に記載の画像データ補間方法において、
上記変化度合いを評価する工程において、補間される領域を取り囲む画素のうち、上記変化度合いが上記所定のしきい値よりも大きいと評価されている画素の数が上記所定数未満であるときに、補間処理前の最近隣画素の画像データを新たな構成画素の画像データに利用する補間処理を実行可能であることを特徴とする画像データ補間方法。
上記請求項８または請求項１０に記載の画像データ補間方法において、
上記変化度合いを評価する工程において、補間される領域を取り囲む画素のうち、上記所定数以上の画素において上記変化度合いが上記所定のしきい値よりも大きいと評価されているときに、補間する画素の階調値がなだらかに変化するように周囲の画素の画像データから演算処理で補間画素の画像データを算出する補間処理を実行可能であることを特徴とする画像データ補間方法。
上記請求項１１に記載の画像データ補間方法において、
高次関数を利用して画像データの変化態様を略Ｓ字型とし、画像データの低い側から高い側に移行するときに一旦は最低値よりも減少してから上昇して最高値を超して再び減少させ、その際のアンダーシュートと傾斜度合いとオーバーシュートとを上記高次関数のパラメータで調整して画像の変化度合いを最適なものとさせることを特徴とする画像データ補間方法。
上記請求項８〜請求項１２のいずれか一項に記載の画像データ補間方法において、
評価された画素の階調値の変化度合いに基づいて画素単位で上記補間処理を選択して実行させることを特徴とする画像データ補間方法。
上記請求項８〜請求項１２のいずれか一項に記載の画像データ補間方法において、
評価された画素の階調値の変化度合いに基づいて複数画素からなる所定の小領域毎に上記補間処理を選択して実行させることを特徴とする画像データ補間方法。
画像を複数の画素で表現した画像データについてその構成画素数を増やすようにコンピュータに補間処理を実行させる画像データ補間プログラムを記録した媒体であって、
画像データ取得手段により上記画像データを取得するステップと、
画像変化度合評価手段により上記画像データに基づいて各画素の階調値の変化度合いを評価するにあたり、各画素の明るさの階調値を求めるとともに周囲の画素の明るさの階調値との比較で上記変化度合いを算出することとし、当該画素の階調値の変化度合いと近隣の画素の階調値の変化度合いのうちいずれかが所定の条件に合致すると判断されれば、当該画素については同条件が合致するものとして上記変化度合いを評価するステップと、
上記評価に基づいて補間される領域を取り囲む画素のうち所定数以上の画素において上記変化度合いが所定のしきい値よりも大きいと評価されているときに変化度合いの大きい画素に適用する補間処理を補間処理選択手段により選択するステップと、
選択された補間処理で上記画像データにおける構成画素数を画素補間手段により増やすステップとを具備することを特徴とする画像データ補間プログラムを記録した媒体。
上記請求項１５に記載の画像データ補間プログラムを記録した媒体において、
各画素の階調値の変化度合いと所定のしきい値とを比較し、当該画素の階調値の変化度合いの方が大きいと判断されるときに上記所定の条件に合致すると評価し、補間される領域を取り囲むすべての画素において上記変化度合いが大きいと評価されているときに変化度合いの大きい画素に適用する補間処理を選択することを特徴とする画像データ補間プログラムを記録した媒体。
上記請求項１５に記載の画像データ補間プログラムを記録した媒体において、
上記変化度合いを評価するステップにおいて、補間される領域を取り囲む画素のうち、上記変化度合いが上記所定のしきい値よりも大きいと評価されている画素の数が上記所定数未満であるときに、補間処理前の最近隣画素の画像データを新たな構成画素の画像データに利用する補間処理を実行可能であることを特徴とする画像データ補間プログラムを記録した媒体。
上記請求項１５または請求項１７に記載の画像データ補間プログラムを記録した媒体において、
上記変化度合いを評価するステップにおいて、補間される領域を取り囲む画素のうち、上記所定数以上の画素において上記変化度合いが上記所定のしきい値よりも大きいと評価されているときに、補間する画素の階調値がなだらかに変化するように周囲の画素の画像データから演算処理で補間画素の画像データを算出する補間処理を実行可能であることを特徴とする画像データ補間プログラムを記録した媒体。
上記請求項１８に記載の画像データ補間プログラムを記録した媒体において、
高次関数を利用して画像データの変化態様を略Ｓ字型とし、画像データの低い側から高い側に移行するときに一旦は最低値よりも減少してから上昇して最高値を超して再び減少させ、その際のアンダーシュートと傾斜度合いとオーバーシュートとを上記高次関数のパラメータで調整して画像の変化度合いを最適なものとさせることを特徴とする画像データ補間プログラムを記録した媒体。
上記請求項１５〜請求項１９のいずれか一項に記載の画像データ補間プログラムを記録した媒体において、
評価された画素の階調値の変化度合いに基づいて画素単位で上記補間処理を選択して実行させることを特徴とする画像データ補間プログラムを記録した媒体。
上記請求項１５〜請求項１９のいずれか一項に記載の画像データ補間プログラムを記録した媒体において、
評価された画素の階調値の変化度合いに基づいて複数画素からなる所定の小領域毎に上記補間処理を選択して実行させることを特徴とする画像データ補間プログラムを記録した媒体。