JP5042251B2 - 画像処理装置および画像処理方法 - Google Patents

Description

この発明は、パソコン、携帯端末、カーナビゲーションシステム等の画像の表示や編集を行う装置において、画像の部分的な拡大又は縮小を行う画像処理装置および画像処理方法に関するものである。

ディジタルカメラ等により撮影した画像はディジタルデータとしてメモリやハードディスクに保存される。撮影した画像の確認は一般に、その画像を、撮影機器に付属するモニタや、パソコンに接続されたモニタに表示することで行われる。画像の画素数や縦横比は、撮影機器の仕様や画像データの編集内容によって異なり、モニタ表示画面の画素数とは一致しない場合が多い。そこで、画像全体を一様に拡大又は縮小し、画素数および縦横比をできる限りモニタ表示画面に合わせる処理が行われている。

例えば、携帯端末で撮影されるような画像サイズの小さい画像をパソコンに接続したモニタで表示する場合、表示する画像よりもモニタ表示画面の画素数が多く、モニタ表示画面に余裕があるため、画像全体を一様の倍率で拡大して表示することで画像の視認性を高めることができる。しかし拡大倍率が大きすぎるとモニタ表示画面に表示されない部分が大きくなり、画像全体の確認が困難になってしまう。

この問題の解決策として、入力装置により拡大領域を選択し、拡大領域と非拡大領域との境界での連続性を維持しつつ拡大領域のみを部分的に拡大して画像を表示する技術がある（例えば、特許文献１参照）。ユーザーにとって重要な部分だけを選択的に拡大することにより、モニタに表示されない部分をできるだけ小さく抑えながら、ユーザーにとって重要な部分の視認性を高めることができる。

また、近年のディジタルカメラの場合、撮影できる静止画の画素数はメガピクセル（１００万画素）を超えるものがほとんどであるのに対し、携帯端末やカーナビゲーションシステムの表示画面の画素数は数１０万画素程度にとどまるものが多い。つまり、表示したい画像の画素数が表示画面の画素数よりも多いため、画像全体を表示するには画像を縮小する必要がある。この場合、画像を一様の倍率で縮小することで画像全体を表示できるようになる。

特開平１０−１０５１５３号公報（第４−７頁、第１図）

ところで、特許文献１に記載された技術では、ユーザーが入力装置を使用して拡大したい部分を指定する必要がある。そのため、マウスやカーソルのような直感的な領域指定ができる入力装置を使用できる機器であれば容易に拡大したい重要部分を指定することができるが、携帯端末やカーナビゲーションシステム等では、一般に直感的な領域指定ができる入力装置や仕組みが設けられておらず、拡大したい部分を容易に指定できないという問題があった。

また、表示したい画像の画素数が表示画面の画素数よりも多く画像を縮小する必要がある場合には、画像を一様の倍率で縮小することで画像全体を表示できるようになるが、これでは画像の視認性が悪化してしまう。そこで画像全体としては表示画面に合うように縮小しながらも重要部分については視認性を優先的に確保したいという要望があった。

この発明は、上述のような問題を解決するためになされたもので、入力装置によって重要部分を指定しなくても、画像内の重要部分を自動で検出し、当該重要部分の視認性を優先的に確保しつつ画像を拡大又は縮小できる画像処理装置を提供することを目的とする。

この発明に係る画像処理装置では、ユーザーが視認性を確保したい重要部分はエッジ強度値が大きな部分である点に着目し、画像の各画素のエッジ強度値に基づき画像を複数の部分に分け、これらの部分毎に拡大又は縮小する倍率を示す倍率係数を算出し、その倍率係数に従って部分毎に拡大又は縮小するようにした。

この発明に係る画像処理装置においては、重要部分を指定しなくても、重要部分の視認性を優先的に確保した画像を得ることができるという効果を奏する。

この発明の実施の形態１における画像処理装置の構成を示す構成図である。 この発明の実施の形態１における各段階での画像の例である。 この発明の実施の形態１における倍率係数の算出課程の説明図である。 この発明の実施の形態１における倍率係数判定閾値ＴＨｘの算出例の説明図である。 この発明の実施の形態１における水平垂直の各方向の倍率係数を画素の位置毎に表した倍率係数分布図である。 この発明の実施の形態２における画像処理装置の構成を示す構成図である。 この発明の実施の形態２における各段階での画像の例である。 この発明の実施の形態１における倍率係数の算出課程の説明図である。 この発明の実施の形態２における倍率係数の算出課程の説明図である。 この発明の実施の形態３における画像処理装置の構成を示す構成図である。 この発明の実施の形態３における各段階での処理結果を示す画像の例である。 この発明の実施の形態４における画像処理装置の構成を示す構成図である。 この発明の実施の形態４における倍率係数変更動作の説明図である。 この発明の実施の形態４における入力画像と拡大画像の説明図である。 この発明の実施の形態５における画像処理装置の構成を示す構成図である。 この発明の実施の形態６における画像処理装置の構成を示す構成図である。 この発明の実施の形態６における各段階での画像等の例である。 この発明の実施の形態６で使用される入力画像の撮影時における被写体の位置関係を説明する図である。

実施の形態１．
図１はこの発明の実施の形態１における画像処理装置の構成を示す構成図である。実施の形態１における画像処理装置は画像入力部１００、係数算出部２００、拡大／縮小処理部３００、及び画像出力部４００から構成されている。

画像入力部１００には、静止画を構成する画像データまたは動画を構成する映像データが入力される。例を挙げると、カメラによる撮像データ、メモリに記憶されている画像データまたは映像データ及びハードディスクで保持しているファイル形式の画像データまたは映像データ等が入力される。これらの画像データまたは映像データは、ＲＧＢ（赤緑青）やＹＣｂＣｒ（輝度色差）といった信号データや、ビットマップ形式やＪＰＥＧ形式といった画像ファイルフォーマット、また機器固有のデータフォーマット等の様々な形式で入力される。画像入力部１００は、入力された画像データが例えばＹＣｂＣｒ形式であれば、この輝度データから輝度信号データを抜き取り、それを係数算出部２００へ出力する。また、画像入力部１００は、ＹＣｂＣｒ形式である入力された画像データそのものを拡大／縮小処理部３００へ出力する。なお、時間的に連続する映像データが入力される場合は、いったんフレーム単位の画像データに変換することで、画像データと同様な処理を行うことができる。

以下では、カメラでの撮像画像データをＹＣｂＣｒ形式で入力し、ＲＧＢデータを出力してパソコンに付属するモニタの画面に画像データを表示するシステムを例にして説明するが、この発明は特にこれに限定されるものではない。

係数算出部２００は、エッジ抽出部２０１、特徴量算出部２０２、及び倍率係数判定部２０３からなる。エッジ抽出部２０１は、画像入力部１００の出力である輝度信号データから、画像入力部１００に入力された画像データの各画素のエッジ強度値を算出してそれを出力する。特徴量算出部２０２は、エッジ抽出部２０１が出力するエッジ強度値に対して、水平方向について画素行毎に、垂直方向について画素列毎に、エッジ強度値の総和や平均値といった特徴量を算出して出力する。倍率係数判定部２０３は、特徴量算出部２０２の出力からなる画像において、各画素について水平および垂直方向に拡大又は縮小するための倍率を表す倍率係数を決定する。

拡大／縮小処理部３００は、画像入力部１００からの画像データに対し、係数算出部２００の出力である、各画素についての水平垂直方向の倍率係数に従って、画像の拡大又は縮小を行う。

画像出力部４００は、拡大／縮小処理部３００から出力される画像データを、モニタ等に表示するために並び替えて同期信号と合わせて出力、あるいはファイル形式に変換して保存、あるいはメモリに所定のフォーマットにしたがって書き込むといった処理を必要に応じて行う。

図２は、図１の画像処理装置の各段階における画像の例であって、（ａ）は画像入力部１００に入力される原画像である。一例としてここでは、原画像（ａ）は山と雲を背景にして人物に焦点をあわせて撮影した、水平方向の画素の数がＷ，垂直方向の画素の数がＨの自然画である。（ｂ）は、原画像（ａ）の輝度信号データから、エッジ抽出部２０１でエッジ強度値を算出して得られた結果画像である。ここでは、エッジ強度値の値が大きい箇所を実線で、エッジ強度値の小さい箇所を点線で示している。（ｃ）は、画像出力部４００からの出力画像である。なお、図２（ａ）において、座標は水平方向と垂直方向の各画素の位置を(水平方向x,垂直方向y)で表しており、画像の左上端の画素の位置が(0,0)、右下端の画素の位置が(W-1,H-1)となる。特にことわりがない場合は他の図でも同様である。

原画像（ａ）において、本実施の形態に係る画像処理装置のユーザーが視認性を確保したい重要部分は人物の部分である。この画像における人物の部分は、人物に焦点をあわせて撮影されているので、（ｂ）に示すように、背景である山や雲の部分より相対的にエッジ強度値が大きい。このように、ユーザーが視認性を確保したい重要部分は一般にエッジ強度値が大きな部分であることが多い。本実施の形態では、相対的にエッジ強度値が大きいこの人物の部分を重要部分として検出し、この部分の視認性を優先的に確保した画像を得ることが目的である。

次に、この発明の実施の形態１における、各段階での動作について説明する。

画像入力部１００には、図２（ａ）のような画像データがＹＣｂＣｒ形式で入力されるものとする。これを受け、画像入力部１００は、画像データから輝度信号データＹのみを抜き取り、係数算出部２００へと出力する。また、画像入力部１００は、逆マトリクス変換によりＲＧＢデータに変換した図２（ａ）に相当する画像データを拡大／縮小処理部３００へと出力する。本実施の形態において画像入力部１００は、係数算出部２００に対しては１画素あたり８ビットの輝度信号データを、拡大／縮小処理部３００に対しては１画素あたりＲＧＢ各８ビットで合計２４ビットのデータを、画像を水平垂直に走査して順に出力する。

画像入力部１００からの輝度信号データＹは、エッジ抽出部２０１へと入力される。エッジ強度値の抽出処理には、Ｓｏｂｅｌフィルタのような一般的なフィルタを用いるものとし、フィルタの出力の絶対値を取った値をエッジ強度値として使用する。隣接する画素間の輝度の勾配差が大きいほどエッジ強度値は大きくなる。エッジ強度値は水平垂直の各方向について算出できるが、１画素あたりのエッジ強度値を１つに限定するため、水平垂直の各方向での算出値のうち、値の大きい方を選択するものとする。エッジ抽出の結果、図２（ａ）の画像は、図２（ｂ）のようになる。

特徴量算出部２０２は、画像の水平垂直の各方向について、画素行毎および画素列毎にエッジ抽出部２０１で求められたエッジ強度値の和を求める。まず画像の垂直方向について、水平方向位置がｘ＝０からｘ＝（Ｗ−１）までの間にＷ列ある各画素列について、垂直方向位置ｙ＝０からｙ＝（Ｈ−１）の画素のエッジ強度値の和である垂直方向総和Ｓｘ（ｘ）（ｘは０から（Ｗ−１）までの整数）を求める。また、水平方向についても同様に、垂直方向位置がｙ＝０からｙ＝（Ｈ−１）までの間にＨ行ある各画素行について、水平方向位置ｘ＝０からｘ＝（Ｗ−１）の画素のエッジ強度値の和である水平方向総和Ｓｙ（ｙ）（ｙは０から（Ｈ−１）までの整数）を求める。

倍率係数判定部２０３では、特徴量算出部２０２で求められた垂直方向総和Ｓｘ（ｘ）のｘ＝０からｘ＝（Ｗ−１）までの各値を所定の倍率係数判定閾値ＴＨｘと比較する。倍率係数判定閾値ＴＨｘと同じか倍率係数判定閾値ＴＨｘより大きい場合にはその画素列に含まれる各画素の水平方向の倍率係数を例えばｍ（ｍは、１より大きい数）とする。また、倍率係数判定閾値ＴＨｘより小さい場合にはその画素列に含まれる各画素の水平方向の倍率係数を例えば１とする。

同様にして、水平方向総和Ｓｙ（ｙ）のｙ＝０からｙ＝（Ｈ−１）までの各値についても、所定の倍率係数判定閾値ＴＨｙと比較する。倍率係数判定閾値ＴＨｙと同じか倍率係数判定閾値ＴＨｙより大きい場合には、その画素行に含まれる画素の垂直方向の倍率係数を例えばｎ（ｎは、１より大きい数）とする。また、倍率係数判定閾値ＴＨｙより小さい場合にはその画素行に含まれる各画素の垂直方向の倍率係数を例えば１とする。

倍率係数は、画素の水平方向あるいは垂直方向の画素数を何倍に拡大又は縮小するかを決めるものであり、倍率係数が１であれば等倍を表す。拡大又は縮小は拡大／縮小処理部３００で行われ、例えば、水平方向の倍率係数が１．５の画素が水平方向に１０個並んでいる場合は、画素が水平方向に１５個並ぶように拡大される。

以下、図３を用いて、倍率係数判定部２０３における倍率係数の判定方法を説明する。図３は、倍率係数判定部２０３で用いる倍率係数の算出課程の説明図であり、図２（ｂ）の画像に対する水平垂直の各方向について、エッジ強度値の総和および倍率係数の算出例を示している。

図３（ａ）は水平方向位置ｘが０から（Ｗ−１）である画素のそれぞれについて垂直方向総和Ｓｘ（ｘ）を求めたグラフであり、縦軸に垂直方向総和Ｓｘ（ｘ）、横軸に水平方向位置をとった。グラフの横軸である水平方向位置ｘは、画像の水平方向位置におよそ合わせて表示している。図３の画像では、人物の部分のエッジ強度値が大きいことから、人物が撮影されている画素の位置で垂直方向総和Ｓｘ（ｘ）は大きな値となっている。これに対し図３（ｃ）は、水平方向位置ｘが０から（Ｗ−１）の間の各画素列に含まれる画素に対する水平方向の倍率係数のグラフである。図３（ｃ）の横軸は水平方向位置、縦軸は各水平方向位置にある画素の水平方向の倍率係数である。また、図３（ｂ）は、図３（ａ）と同様に、横軸に垂直方向位置、縦軸に水平方向総和Ｓｙ（ｙ）をとったグラフを左方向に９０度回転させたものである。図３（ｄ）は、図３（ｃ）と同様に、横軸に垂直方向位置、縦軸に各垂直方向位置にある画素の垂直方向の倍率係数をとったグラフを左方向に９０度回転させたものである。

この垂直方向総和Ｓｘ（ｘ）に対して倍率係数判定閾値ＴＨｘとして図３（ａ）に示したように所定の値を設定する。垂直方向総和Ｓｘ（ｘ）のグラフが、倍率係数判定閾値ＴＨｘと交差する水平方向に対応する画素および倍率係数判定閾値ＴＨｘより上になる水平方向位置の画素で水平方向の倍率係数をｍとし、倍率係数判定閾値ＴＨｘより下になる水平方向位置の画素では水平方向の倍率係数を１とする。このようにして求めた水平方向の倍率係数は図３（ｃ）のようになる。

画像の垂直方向に対しても水平方向と同様な処理を行うことにより、図３（ｂ）のような水平方向総和Ｓｙ（ｙ）のグラフが求まる。水平方向総和Ｓｙ（ｙ）のグラフが、倍率係数判定閾値ＴＨｙと交差する画素行および倍率係数判定閾値ＴＨｙより上になる垂直方向位置に含まれる画素で垂直方向の倍率係数をｎとし、倍率係数判定閾値ＴＨｙより下になる垂直方向位置に含まれる画素では垂直方向の倍率係数を１とする。したがって、図３（ｄ）のように垂直方向位置ｙが０から（Ｈ−１）の間の画素に対する垂直方向の倍率係数のグラフが求まる。

次に図４を用いて、本実施の形態における倍率係数判定閾値の算出例を説明する。図４は、図３（ａ）のグラフをさらに詳細に説明するためのグラフであり、特徴量算出部２０２での倍率係数判定閾値ＴＨｘの算出例の説明図である。

まずは垂直方向総和Ｓｘ（ｘ）について、水平方向位置ｘが０から（Ｗ−１）の間での最小値ＭＩＮｘおよび平均値ＡＶＥｘを求める。次に平均値ＡＶＥｘから最小値ＭＩＮｘを差し引いた値の２分の１をＯＦＦＳＥＴｘとし、平均値ＡＶＥｘからＯＦＦＳＥＴｘを差し引いた値を、倍率係数判定閾値ＴＨｘとして設定する。エッジ強度値は絶対値を使用していることからいずれの値も０以上の値となり、倍率係数判定閾値ＴＨｘは必ず平均値ＡＶＥｘと最小値ＭＩＮｘとの間の値に設定される。

倍率係数判定閾値ＴＨｙについても、水平方向総和Ｓｙ（ｙ）に対して倍率係数判定閾値ＴＨｘと同様にして設定する。すなわち、水平方向位置ｙが０から（Ｈ−１）の間での最小値ＭＩＮｙおよび平均値ＡＶＥｙを求める。次に平均値ＡＶＥｙから最小値ＭＩＮｙを差し引いた値の２分の１をＯＦＦＳＥＴｙとし、平均値ＡＶＥｙからＯＦＦＳＥＴｙを差し引いた値を、倍率係数判定閾値ＴＨｙとして設定する。

本実施の形態では、倍率係数判定閾値ＴＨｘおよびＴＨｙについて、それぞれ独立に算出する構成としているが、同じ値を設定してもよい。また、画像データから算出する構成としているが、異なる算出式を採用する、あるいは複数の算出式での結果を受け、予め用意しておいた値の中から選択するような構成としてもよい。さらに、画像によらず固定値に設定したり、あるいは画像処理装置の外部から直接指定できるような構成としてもよい。

図５は、倍率係数判定部２０３で判定した水平垂直の各方向の倍率係数を画素の位置毎に表した倍率係数分布図である。この図において、括弧内の左側の値が水平方向の倍率係数、右側が垂直方向の倍率係数を示している。例えば、(ｍ,1)と示された領域では、その領域に含まれる画素の水平方向の倍率係数がｍで、垂直方向の倍率係数が１であることを表している。図５（ｃ）及び（ｄ）は、図３（ｃ）及び（ｄ）と同じグラフである。この例では、図５に示すように、画像は倍率係数に対応して９つの領域に分かれ、中央の領域では水平方向はｍ倍、垂直方向はｎ倍に拡大となり、左側上段、左側下段、右側上段、右側下段の４つの領域は水平方向及び垂直方向ともに等倍のままで、中央上段、中央下段の領域では水平方向にｍ倍に拡大、垂直方向は等倍のまま、左側中段と右側中段の領域では水平方向は等倍のまま、垂直方向はｎ倍に拡大となる。

このようにして係数算出部２００では、画像の各列に１つの水平方向倍率係数および各行に１つの垂直方向倍率係数が算出され、拡大／縮小処理部３００へ出力される

なお、上述の例では、水平方向の倍率係数をｍ、垂直方向の倍率係数をｎ（ｍ、ｎはともに１より大きい数）と各方向で異なる値としたが、同じ値としてもよい。

また、倍率係数は１と１より大きい数（水平方向ではｍ、垂直方向ではｎ）の２種類から選択するものとしているが、倍率係数判定閾値を複数用いることで、倍率係数を３種類以上用いるような構成としてもよい。

また、倍率係数は１と１より大きい数としているが、エッジ強度値の総和が倍率係数判定閾値より大きい画素の倍率係数が、小さい画素の倍率係数より相対的に大きな値になれば、１より小さい数にしてもよい。この場合は、次に説明する拡大／縮小処理部３００で縮小処理を行うことになる。

以上のことは、実施の形態２以降でも同様である。

次に、図１において、拡大／縮小処理部３００では、係数算出部２００で算出された水平垂直各方向の倍率係数に基づき、画像入力部１００から入力される画像に対する拡大処理や縮小処理を行う。補間方法としては、バイリニア法やバイキュービック法などの一般的な方法を用いるものとする。倍率係数が１の部分では、１画素が入力されると１画素が出力される。倍率係数が１でない部分は、１画素入力されると倍率係数と同じ数の画素が出力される。出力される画素の値は、補間方法に依存する。

図２（ｃ）は、図５に示した倍率係数に従って拡大され、画像出力部４００から出力された出力画像である。この出力画像では、画像内の人物の部分は水平方向と垂直方向に拡大され、入力された画像よりも出力される画像の画素数は多くなっている。また、画像右側上部の雲は水平方向、垂直方向ともに等倍である。一方、背景の山は垂直方向又は水平方向の倍率係数が異なる複数の領域を跨っていることにより歪みが生じている。倍率係数は入力画像の内容に依存して決まるため、縦横比は保存されていない。

画像出力部４００は、拡大／縮小処理部３００で拡大処理を実行された画像をパソコン付属のモニタの画面に表示できるよう、画像データを出力する。

なお、画像入力部１００に入力されるデータが、時間的に連続する複数の画像データや映像データの場合、複数のフレーム間で同じ部分を拡大できるようにするために、複数のフレームを代表させてひとつのフレームの輝度データを係数算出部２００へ送ってこのフレームについての倍率係数を算出し、拡大／縮小処理部３００で残りのフレームについても同じ倍率係数で拡大するようにしてもよい。

以上本実施の形態に係る画像処理装置では、画像の各画素のエッジ強度値に基づき画像を複数の部分に分け、エッジ強度値が大きい部分の倍率係数がエッジ強度値が小さい部分の倍率係数以上になるように前記部分毎に倍率係数を算出し、その倍率係数に従って前記部分毎に拡大又は縮小するようにしたので、重要部分を指定しなくても、重要部分の視認性を優先的に確保した画像を得ることができる。

実施の形態２．
図６はこの発明の実施の形態２での画像処理装置の構成を示す構成図であって、図１に示した画像処理装置と同一の部分については同一の符号を付しており、係数算出部２２０のエッジ抽出部２０１と特徴量算出部２０２の間に、閾値処理部２０４を追加している点が異なる。

以下、例として画像を拡大する場合について説明するが、縮小する場合においても本実施の形態を適用することができる。

図７は、図６の各段階での画像の例であって、（ａ）は画像入力部１００に入力される原画像、（ｂ）はエッジ抽出部２０１で得られた結果画像、（ｃ）は閾値処理部２０４で得られた結果画像である。入力される原画像（ａ）の背景には木や草があり、実施の形態１の図２（ａ）の背景よりも複雑になっている。そのため、木や草の各画素でのエッジ強度値は小さいものの、垂直方向総和Ｓｘ（ｘ）および水平方向総和Ｓｙ（ｙ）が倍率係数判定閾値ＴＨｘおよびＴＨｙを超え、木や草の部分も拡大されてしまうことになる。

そこで本実施の形態では、閾値処理部２０４において、エッジ抽出部２０１から出力される各画素のエッジ強度値と所定の閾値とを比較していき、エッジ強度値の方が小さい画素のエッジ強度値を、エッジ強度値の総和を取る前に零に置き換える。

図８は、図１の構成の実施の形態１で図７（ａ）の画像を処理した場合の係数算出部２００での倍率係数算出課程の説明図である。図８において画像は図７（ｂ）と同じエッジ抽出部２０１で得られた結果画像である。グラフの説明は図３と同様で、図８（ａ）は各水平方向位置にある画素列の垂直方向総和Ｓｘ（ｘ）、図８（ｂ）は各垂直方向位置にある画素行の水平方向総和Ｓｙ（ｙ）、図８（ｃ）は各水平方向位置にある画素の水平方向の倍率係数、図８（ｄ）は各垂直方向位置にある画素の垂直方向の倍率係数を表している。

図９は、閾値処理部２０４を追加した本実施の形態の図６の構成で図７（ａ）の画像を処理した場合の係数算出部２２０での倍率係数算出課程の説明図であって、図９において画像は図７（ｃ）と同じ閾値処理部２０４で得られた結果画像である。グラフの説明は図３および９と同様で、図９（ａ）は各水平方向位置にある画素列の垂直方向総和Ｓｘ（ｘ）、図９（ｂ）は各垂直方向位置にある画素行の水平方向総和Ｓｙ（ｙ）、図９（ｃ）は各水平方向位置にある画素の水平方向の倍率係数、図９（ｄ）は各垂直方向にある画素の垂直方向の倍率係数を表している。

まず、原画像を図７（ａ）とした場合の、実施の形態１で倍率係数を算出する場合について述べる。図７（ａ）では画像の焦点は人物に合っており背景部分のエッジ強度値は概ね小さい値を取るため、エッジ抽出部２０１でエッジ抽出処理を行うと、図７（ｂ）のような結果が得られる。

次に特徴量算出部２０２で画素行および画素列方向に対するエッジ強度値の総和を算出すると、背景部分の各画素でのエッジ強度値は小さいものの個々の画素でのエッジ強度値が加算され、その総和が図８（ａ）および（ｂ）に示したように大きくなる。すると、人物と関係ない位置においても、垂直方向総和Ｓｘ（ｘ）および水平方向総和Ｓｙ（ｙ）が倍率係数判定閾値ＴＨｘおよびＴＨｙを超える。したがって図８（ｃ）および（ｄ）のように倍率係数がｍ、ｎと判定される画素が増えるため、人物の部分以外の拡大が必要ではない部分も拡大することになる。

次に本実施の形態で図７（ａ）の画像が入力された場合の閾値処理部２０４の動作について説明する。閾値処理部２０４では、順次入力される各画素のエッジ強度値と所定の閾値とを比較し、該当する画素のエッジ強度値が閾値と同じか閾値より大きい場合はその画素のエッジ強度値を保持し、閾値より小さい場合は値を零に置き換える処理を行う。一例として、閾値は、画像全体の平均値の４倍の値を使用する。図７（ｂ）の画像では、背景の木や草の部分のエッジが弱く値が小さいため、該当する画素のエッジ強度値が零に置き換えられ、図７（ｃ）のように人物の周辺にのみエッジ強度値が残る。

したがって特徴量算出部２０２で算出されるエッジ強度値の総和Ｓｘ（ｘ）およびＳｙ（ｙ）は図９（ａ）および（ｂ）のように背景部分に相当する画素行および画素列での値が小さくなり、倍率係数判定部２０３の結果として、図９（ｃ）および（ｄ）のように人物に対応する部分のみ拡大するものと判定され、ｍまたはｎの倍率係数に決定される。

以上本実施の形態に係る画像処理装置では、閾値処理部２０４を追加することであらかじめ小さいエッジ強度値の影響を排除することで、重要部分のより適切な判定が行える。

なお、本実施の形態の閾値処理部２０４で用いる閾値は、画像全体の平均値の４倍の値を使用するものとしたが、画像によって適応的な値を使用しても、画像によらず固定としてもよい。あるいは外部から直接指定できるような構成としてもよい。

実施の形態３．
図１０はこの発明の実施の形態３での画像処理装置の構成を示す構成図であって、図１に示した実施の形態１の画素処理装置と同一の部分については同一の番号を付しており、画像サイズ調整率決定部２０５、画像サイズ調整処理部５００を追加している点が異なる。

画像サイズ調整率決定部２０５では、倍率係数判定部２０３で算出した水平垂直各方向の倍率係数の値から、画像出力部４００から出力する画像サイズ（画素数）の仕様を満たすように画像を一様に縮小（または拡大）するための縮小率（または拡大率）を算出する。

画像サイズ調整処理部５００は、拡大／縮小処理部３００から出力される画像データに対し、画像サイズ調整率決定部２０５で決定された倍率で縮小又は拡大を行う。

以下、図１１を用いて画像サイズ調整率決定部２０５での倍率を決定する例を説明する。図１１（ａ）は画像入力部への入力画像、図１１（ｂ）は拡大／縮小処理部３００の出力である拡大画像、図１１（ｃ）および図１１（ｄ）は画像サイズ調整処理部５００で縮小処理を行った結果の画像の例である。以下では例として、画像サイズ調整処理部５００において画像を画像出力部４００から出力する画像サイズ（画素数）の仕様を満たすように画像を一様に縮小する場合について説明するが、一様に拡大する場合においても本実施の形態を適用することができる。

画像入力部１００への入力画像である図１１（ａ）の画像は、図２（ａ）と同じ水平方向Ｗ画素、垂直方向Ｈ画素の画像とする。拡大／縮小処理部３００の出力である拡大画像のサイズは、図１１（ｂ）のように水平方向にＺＷ画素（ＺＷはＷより大きな数）、垂直方向にＺＨ画素（ＺＨはＨより大きな数）になるものとする。またここでは、例として、画像出力部４００から出力する画像データをモニタに表示する場合を考え、モニタ表示画面で画像全体が欠けないようにするために、画像出力部４００から出力する画像サイズを、入力画像と等しく水平方向にＷ画素、垂直方向にＨ画素としなければならないものとする。

図１１（ｂ）の拡大画像をモニタ表示画面で画像全体が欠けないようにするには、２つの方法がある。一つ目の方法では、拡大画像の画像サイズＺＷまたはＺＨのうちどちらか大きい方を出力画像サイズＷまたはＨに合わせて拡大画像の水平垂直の各方向ともに同じ倍率で縮小する。二つ目の方法では、垂直水平の各方向について異なる倍率で縮小し入力画像および出力画像と同じ縦横比となるようにする。画像サイズ調整率決定部２０５及び画像サイズ調整処理部５００では、どちらの方法をとってもよい。

まず一つ目の方法について説明する。この場合、画像サイズ調整率決定部２０５は垂直水平各方向について同じ（Ｈ／ＺＨ）の倍率を算出し、画像サイズ調整処理部５００において垂直水平各方向についてこの倍率で縮小する。図１１（ｂ）の拡大画像での水平方向の拡大率はＺＷ／Ｗ、垂直方向の拡大率はＺＨ／Ｈとなるが、例えば（ＺＷ／Ｗ）＜（ＺＨ／Ｈ）であるとすれば、垂直方向の方が水平方向よりも拡大率が大きいことになる。このとき拡大画像の垂直水平各方向について同じ（Ｈ／ＺＨ）の倍率で縮小すると、縮小画像サイズは垂直方向の画素数がＨ、水平方向の画素数が（ＺＷ×Ｈ／ＺＨ）となる。（ＺＷ／Ｗ）＜（ＺＨ／Ｈ）という前提条件から、Ｗ＞（ＺＷ×Ｈ／ＺＨ）であり、画像サイズ調整処理部５００において縮小された縮小画像の水平方向の画像サイズは入力画像の画像サイズＷよりも小さく、図１１（ｃ）のようになる。

図１１（ｃ）では、画像の右側に画像情報のない空白部分（図中斜線部分）が生じるが、この空白部分は左側であっても、左右両側に分かれてあってもよく、空白となる画素列の数は（Ｗ−（ＺＷ×Ｈ／ＺＨ））で一定である。

次に二つ目の方法について説明する。この場合、画像サイズ調整率決定部２０５は水平方向にはＷ／ＺＷ、垂直方向にはＨ／ＺＨというように異なる倍率を算出し、画像サイズ調整処理部５００において垂直水平各方向についてそれぞれの倍率で縮小する。これにより画像サイズ調整処理部５００の出力である縮小画像の画像サイズは水平方向Ｗ画素、垂直方向Ｈ画素となり、縮小後の画像は図１１（ｄ）のようになる。

このようにして本実施の形態の画像サイズ調整率決定部２０５は、倍率係数判定部２０３での判定結果と、画像出力部４００から出力する画像サイズ（画素数）とから、画像の水平および垂直の各方向でそれぞれ一様な縮小率（拡大率）を決定する。倍率係数判定部２０３での判定結果では、画像の画素列毎および画素行毎に倍率係数が決定されるため、画像全体で一様でないのに対し、画像サイズ調整率決定部２０５で決定される縮小率（拡大率）は、画像の水平および垂直の各方向についてそれぞれ画像全体で一様である。

以上本実施の形態に係る画像処理装置では、画像出力工程で出力される画像のサイズに合わせて一様に縮小又は拡大するので、出力画像の画像サイズを適切に制御することができる。

また、水平および垂直の各方向での倍率を変えられる構成とすることにより、入力画像と同じ縦横比となるように出力画像を縮小することができる。その結果、部分的に拡大した画像を、入力画像と同じ画像サイズおよび縦横比で表示することができる。

なお、本実施の形態に係る画像処理装置には、実施の形態２で説明した図６の閾値処理部２０４を組み合わせることもできる。

実施の形態４．
図１２はこの発明の実施の形態４での画像処理装置の構成を示す構成図であって、図１に示した画像処理装置と同一の部分については同一の符号を付しており、係数算出部２４０の倍率係数判定部２０３の後段に、倍率係数調整部２０６を追加している点が異なる。

実施の形態１の例では、図２（ｃ）の背景の山ように、画像出力部４００から出力する画像に歪みが生じていた。そこで本実施の形態では、倍率係数調整部２０６において、倍率係数判定部２０３で判定した各画素の倍率係数の変化が急な場合、変化が緩やかになるように倍率係数の値を変更する。これにより、画像出力部４００から出力する画像の歪みを軽減することができる。

図１３は倍率係数調整部２０６での動作を説明するための図である。図１３（ａ）は特徴量算出部２０２で求めた画像に対する垂直方向総和Ｓｘ（ｘ）のグラフ、図１３（ｂ）は図１３（ａ）倍率係数判定部２０３から出力される水平方向の倍率係数のグラフ、図１３（ｃ）は倍率係数調整部２０６により変更された水平方向の倍率係数を示すグラフで、いずれのグラフにおいても横軸は水平方向位置を示す。

図１４は本実施の形態における、画像入力部１００に入力される入力画像と拡大／縮小処理部３００の出力である拡大画像の説明図である。図１４（ａ）は本実施の形態において画像入力部１００に入力される入力画像の例である。図１４（ｂ）、（ｃ）、及び（ｄ）は、後述するように、それぞれ異なる条件下における拡大／縮小処理部３００の出力である拡大画像である。また、図１４（ｅ）は図１４（ｄ）の円で囲んだ部分を拡大した部分拡大図である。

実施の形態１で説明したように、倍率係数判定部２０３は、図１３（ａ）で示すような倍率係数判定閾値ＴＨｘと水平方向位置ｘでの垂直方向総和Ｓｘ（ｘ）とから、水平方向位置ｘでの水平方向の倍率係数として１またはｍ（１より大きい数）のいずれかを選択し、図１３（ｂ）に示すような水平方向の倍率係数を得たとする。

水平方向に拡大する部分の倍率を表す水平方向倍率係数ｍは、大きな値に設定するほど画像全体に対する拡大する部分の相対的な倍率が大きくなり、視認性が高まる。しかし、ｍの値が大きすぎると拡大画像において画像内容の変化が急峻となり、画像が歪む。

倍率係数判定部２０３での結果は倍率係数判定閾値ＴＨｘおよびＴＨｙの値によって異なる。例えば、図１４（ａ）の星型図形の画像に対する判定結果は、倍率係数判定閾値ＴＨｘおよびＴＨｙの値が異なると、水平方向にｍ倍、垂直方向にｎ倍に拡大すると判定される領域（以下、本実施の形態では拡大対象領域と呼ぶ）が、点線で囲まれた領域７０１や点線で囲まれた領域７０２のように異なってくる。以下、この例を詳しく説明する。

いずれの場合も、実施の形態１において図５を用いて説明したように、画像は倍率係数に対応して９つの領域に分かれ、中央の領域である点線で囲まれた領域７０１または点線で囲まれた領域７０２では、水平方向はｍ倍、垂直方向はｎ倍に拡大となり、それに対応する左側上段、左側下段、右側上段、右側下段の４つの領域は水平方向及び垂直方向ともに等倍のままで、中央上段、中央下段の領域では水平方向にｍ倍に拡大、垂直方向は等倍のまま、左側中段と右側中段の領域では水平方向は等倍のまま、垂直方向はｎ倍に拡大となる。

図１４（ａ）の画像が入力された場合、倍率係数判定部２０３では中央の星形の図形周辺にのみ倍率係数が１より大きい値を割り当てるが、倍率係数判定閾値ＴＨｘおよびＴＨｙの値によって領域の形状は変化し、望ましい判定にならない場合がある。図１４（ａ）の画像では、倍率係数判定閾値が適切であれば領域７０１が、倍率係数判定閾値の値が大きすぎる場合は領域７０２が拡大対象領域と判定される。いずれの場合でも倍率係数は図１３（ｂ）のような矩形状のグラフとなるが、倍率係数がｍであると判定される部分の幅が異なり、領域７０１が拡大対象領域である場合の方が幅は広くなる。

倍率係数判定部２０３の拡大対象領域が領域７０１であった場合、拡大／縮小処理部３００では星形図形全体が拡大されて図１４（ｂ）のような拡大画像が結果として得られる。

倍率係数判定部２０３の拡大対象領域が領域７０２であった場合、星型図形の端部は拡大対象ではなくなるため、拡大／縮小処理部３００では星形図形の中央付近のみ拡大され図１４（ｃ）の実線で示した星型図形ようになる。図１４（ｃ）において実線で示した星型図形の端部では倍率係数の変化により図形が歪んでいる。なお、比較のために、歪みのない星型図形を点線で示した。四角の点線で囲まれた領域７０３は、図１４（ａ）に示す拡大前の画像の領域７０２に対応する領域を示している。

一方、本実施の形態では倍率係数調整部２０６を追加し、図１３（ｂ）のように倍率係数の変化が急な画素の周囲で、変化が緩やかになるように倍率係数を変更する。変更された倍率係数を示す図１３（ｃ）では、倍率係数の変更は一次関数的に行っている。これにより、拡大／縮小処理部３００の出力の星型図形は図１４（ｄ）の実線で示したような星型図形になる。この図では、水平方向のみならず垂直方向についても同様に倍率係数の変更を行っている。なお、比較のために点線で示した星型図形は、歪みのない星型図形である。また、四角の点線で囲まれた領域７０４は、図１４（ａ）に示す拡大前の画像の領域７０２に対応する領域を示している。四角の実線で囲まれた領域７０５は、水平方向又は垂直方向の倍率係数が倍率係数調整部２０６において倍率係数が変更される領域である。

図１４（ｅ）は図１４（ｄ）の円で囲んだ部分を拡大した部分拡大図である。図１４（ｅ）において、倍率係数を倍率係数調整部２０６で調整した場合の星型図形の一部を実線７０７で、調整しない場合の星型図形の一部を破線７０６で示した。図１４（ｅ）に示されるように、倍率係数調整部２０６で倍率係数を変更した場合は、変更しない場合と比べて、星形図形の歪みを軽減できる。

以上本実施の形態では、倍率係数調整部２０６により、倍率係数の変化が急な場合、変化が緩やかになるように倍率係数を変更するようにしたため、万一拡大対象領域の判定が適切でないない場合にも、拡大対象の歪みを軽減することができる。

上の例では図１３（ｂ）のように倍率係数が１とｍの２値しか取らない極端な例を扱った。倍率係数が３値以上を取る場合には、適当な所定値をあらかじめ設けておき、画素の位置変化に対する倍率係数の変化率がその所定値以上の画素について、変化率がもとの変化率以下になるように倍率係数を変更すればよい。

また、図１３（ｃ）では単純に一次関数的に傾きを変化させているが、曲線的な変化としてもよい。

また、本実施の形態に係る画像処理装置は、実施の形態２で説明した図６の閾値処理部２０４と組み合わせることもできる。また、実施の形態３で説明した図１０の画像サイズ調整率決定部２０５および画像サイズ調整処理部５００と組み合わせることもできる。

実施の形態５．
図１５はこの発明の実施の形態５での画像処理装置の構成を示す構成図であって、図１に示した画像処理装置と同一の部分については同一の符号を付しており、エッジ抽出部２０１の後段にブロック分割部２０７を追加している点が異なる。

ブロック分割部２０７は、入力される各画素のエッジ強度値に対し、水平垂直の各方向についていくつかの画素で１つのブロックと見なし、ブロックに含まれる各画素のエッジ強度値からブロックを代表するエッジ強度値を決定する。この値をブロックのエッジ強度値と呼ぶ。ブロックのエッジ強度値を決定する方法としては、そのブロックに含まれる画素のエッジ強度値の平均値や、最大値、最小値、中間値といった特徴的な値とする。あるいはブロック内の特定の位置に配置される画素のエッジ強度値とする方法がある。

ブロック分割部２０７以後の計算や処理において、各画素のエッジ強度値の代わりにブロックのエッジ強度値を用い、画素単位で行っていた計算や処理をブロック単位で行う。これにより、特徴量算出部２０２以降の計算や処理に使用されるデータ数は入力画像の総画素数からブロック分割部２０７で分割されるブロック数にまで削減される。

具体的には、実施の形態１で説明した特徴量算出部２０２で行うのエッジ強度値総和の算出、実施の形態２で説明した閾値処理部２０４で行う閾値処理、実施の形態１で説明した倍率係数判定部２０３の倍率係数の判定、実施の形態１で説明した拡大／縮小処理部３００で行う拡大又は縮小処理、実施の形態４で説明した倍率係数調整部２０６での倍率係数の変更、実施の形態３で説明した画像サイズ調整率決定部２０５で行う縮小又は拡大倍率の決定、実施の形態３で説明した画像サイズ調整処理部５００で行う一様な縮小又は拡大処理を、画素単位ではなくブロック単位で行う。以上の計算や処理で、画素に設定されるエッジ強度値以外の値（例えば各ＲＧＢデータなど）を用いる必要がある場合は、エッジ強度値と同様にブロックの代表値を用いる。ブロックの代表値の決定する方法としては、そのブロックに含まれる画素の値の平均値や、最大値、最小値、中間値といった特徴的な値とする。あるいはブロック内の特定の位置に配置される画素の値とする方法がある。

以上本実施の形態では、画素単位で行っていた計算や処理をブロック単位で行うことで、係数算出部で必要な処理時間あるいは演算に必要な回路規模が削減できる。

実施の形態６．
図１６はこの発明の実施の形態６での画像処理装置の構成を示す構成図であって、図１に示した画像処理装置と同一の部分については同一の符号を付しており、移動体検出部６００及びエッジ変更部２０８を追加している点と、画像入力部１１０が入力された画像データを移動体検出部６００へ出力する点が異なる。

本実施の形態では、時間的に連続する複数の画像が入力される場合に、画像中の移動体部分を検出し、移動体の領域のみを重要部分として優先的に視認性を確保することを目的とする。

移動体検出部６００は、画像入力部１１０から時間的に連続する複数の画像を取得し、画像フレーム間で動きのある物体を検出して、その移動体に相当する領域の面積や形状や位置等の情報を得る。検出に用いる画像のフレーム数に制限はなく、検出方法にはパターンマッチングや動きベクトル検出等の一般的な方法を用いるものとする。

エッジ変更部２０８は、移動体検出部６００で移動体部分であると検出された領域の情報と比較してエッジ抽出部２０１が出力するエッジ強度値を変更する。

次に図１７および図１８を用いて、本実施の形態の動作の例を説明する。図１７において（ａ）および（ｂ）は画像入力部１１０に入力される連続するふたつの画像の例である。また、（ｃ）は（ｂ）においてエッジ強度値が大きい領域を示す図で、（ｄ）は（ｂ）の移動体検出部６００における移動体部分の検出結果を示す図である。（ｃ）ではエッジ強度値の大きい領域を８０１および８０２として、（ｄ）では移動体検出部６００において移動体に相当する部分として検出された領域８０３を点線で囲んで示している。（ｅ）は拡大／縮小処理部３００からの出力される拡大画像である。

図１８は、図１７（ａ）および（ｂ）の撮影時の人物と車とカメラ９００を上部から見た位置関係の説明図である。この図に示したように、車はカメラに近づくように移動しており、カメラ９００の視点では、奥の方から手前に向かって車が移動している。図１７（ａ）の画像は、図１８で車が位置Ｃにある時に、図１７（ｂ）の画像は図１８で車が位置Ｄにある時にカメラ９００により撮影された画像である。

まず、時間的に連続している複数の画像（ａ）および（ｂ）が画像入力部１１０に入力されるものとする。図１７（ａ）に続いて図１７（ｂ）が画像入力部１１０に入力される。画像入力部１１０は、エッジ抽出部２０１に輝度信号データを、拡大／縮小処理部３００に画像データを出力するほか、移動体検出部６００にも画像データを出力する。

実施の形態１で説明した動作によれば、図１７（ｂ）の画像では車の部分８０１と人物の部分８０２の両方が背景と比較してエッジ強度値が大きい部分であるため、このままでは８０１及び８０２の両方が重要部分と判定される。

一方、図１７（ａ）および（ｂ）を比較すると、人物は動いていないが車は手前に向かって移動しているため、移動体検出部６００において図１７（ｄ）の８０３の部分が移動体であると検出される。

エッジ変更部２０８では、エッジ抽出部２０１の出力データと移動体検出部６００の検出結果である移動体部分の面積や形状や位置などの比較を行い、図１７（ｂ）に対してはエッジ強度値が所定値以上の部分と移動体検出領域８０３が一致する領域８０１のエッジ強度値のみをそのままにして、その他の部分のエッジ強度値を零に変更する。

これにより、重要部分は車の部分だけとなり、拡大／縮小処理部３００では車に相当する部分のみに拡大又は縮小処理が施され、図１７（ｅ）のように車だけが拡大され人物は等倍のままである画像を得る。

以上本実施の形態では、時間的に連続する複数の画像が入力される時に画像中の移動体を検出し、移動体の領域のみを重要部分として優先的に視認性を確保することができる。

なお、本実施の形態では、優先的に視認性を確保する対象を移動体のみとする動作を説明したが、逆に静止物体のみを拡大するような構成とすることもできる。

１００ 画像入力部
２００ 係数算出部
２０１ エッジ抽出部
２０２ 特徴量算出部
２０３ 倍率係数判定部
２０４ 閾値処理部
２０５ 画像サイズ調整率決定部
２０６ 倍率係数調整部
２０７ ブロック分割部
２０８ 倍率係数変更部
３００ 拡大／縮小処理部
４００ 画像出力部
５００ 画像サイズ調整処理部
６００ 移動体検出部
９００ カメラ

Claims (10)

1. 画像が入力される画像入力部と、
   前記画像入力部に入力された画像の各画素のエッジ強度値に基づき前記画像を複数の部分に分け、これらの部分毎に拡大又は縮小する倍率を示す倍率係数を前記画像入力部に入力された画像の各画素のエッジ強度値に基づき算出して出力する係数算出部と、
   前記画像入力部に入力された画像を、前記係数算出部で算出される倍率係数に基づき前記部分毎に拡大又は縮小する拡大／縮小処理部と、
   前記拡大／縮小処理部で拡大又は縮小された画像を出力する画像出力部とを備え、
   前記係数算出部は、
   前記画像入力部に入力される画像の各画素のエッジ強度値を抽出して出力するエッジ抽出部と、
   前記画像の各画素のエッジ強度値から各行の画素のエッジ強度値の総和と各列の画素のエッジ強度値の総和とを算出する特徴量算出部と、
   前記特徴量算出部が算出した各行の画素のエッジ強度値の総和と各列の画素のエッジ強度値の総和とに基づき前記画像を複数の部分に分け、これらの部分毎に倍率係数を前記特徴量算出部が算出した各行の画素のエッジ強度値の総和と各列の画素のエッジ強度値の総和とに基づき判定する倍率係数判定部とを有すること
   を特徴とする画像処理装置。
2. 前記エッジ抽出部で出力される各画素のエッジ強度値を所定の閾値と比較し、エッジ強度値がこの所定の閾値より小さい画素についてはエッジ強度値を零に置き換えて前記特徴量算出部に対して出力する閾値処理部をさらに備えたことを特徴とする請求項１に記載の画像処理装置。
3. 前記拡大／縮小処理部で拡大又は縮小された画像を、前記画像出力部で出力される画像のサイズに合わせて一様に縮小又は拡大する画像サイズ調整処理部をさらに備えたことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記倍率係数判定部で判定した倍率係数について、画素の位置変化に対する倍率係数の変化率が所定値以上の場合、変化率が前記所定値以上の場合の変化率以下になるように倍率係数を変更する倍率係数調整部をさらに備えたことを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
5. 時間的に連続する複数の画像が入力される時に画像中の移動体を検出する移動体検出部をさらに備え、
   前記移動体検出部での検出結果に基づき前記拡大／縮小処理部で拡大又は縮小する部分を変更することを特徴とする請求項１ないし４のいずれか１項に記載の画像処理装置。
6. 画像が入力される画像入力工程と、
   前記画像入力工程で入力された画像の各画素のエッジ強度値に基づき前記画像を複数の部分に分け、これらの部分毎に拡大又は縮小する倍率を示す倍率係数を前記画像入力工程で入力された画像の各画素のエッジ強度値に基づき算出して出力する係数算出工程と、
   前記画像入力工程で入力された画像を、前記係数算出工程で算出される倍率係数に基づき前記部分毎に拡大又は縮小する拡大／縮小処理工程と、
   前記拡大／縮小処理工程で拡大又は縮小された画像を出力する画像出力工程とを有し、
   前記係数算出工程は、
   前記画像入力工程で入力される画像の各画素のエッジ強度値を抽出して出力するエッジ抽出工程と、
   前記画像の各画素のエッジ強度値から各行の画素のエッジ強度値の総和と各列の画素のエッジ強度値の総和とを算出する特徴量算出工程と、
   前記特徴量算出工程で算出した各行の画素のエッジ強度値の総和と各列の画素のエッジ強度値の総和とに基づき前記画像を複数の部分に分け、これらの部分毎に倍率係数を前記特徴量算出工程で算出した各行の画素のエッジ強度値の総和と各列の画素のエッジ強度値の総和とに基づき判定する倍率係数判定工程とを有すること
   を特徴とする画像処理方法。
7. 前記エッジ抽出工程で出力される各画素のエッジ強度値を所定の閾値と比較し、エッジ強度値がこの所定の閾値より小さい画素についてはエッジ強度値を零に置き換えて前記特徴量算出工程に対して出力する閾値処理工程をさらに有することを特徴とする請求項６に記載の画像処理方法。
8. 前記拡大／縮小処理工程で拡大又は縮小された画像を、前記画像出力工程で出力される画像のサイズに合わせて一様に縮小又は拡大する画像サイズ調整処理工程をさらに有することを特徴とする請求項６又は７に記載の画像処理方法。
9. 前記倍率係数判定工程で判定した倍率係数について、画素の位置変化に対する倍率係数の変化率が所定値以上の場合、変化率が前記所定値以上の場合の変化率以下になるように倍率係数を変更する倍率係数調整工程をさらに有することを特徴とする請求項６ないし８のいずれか１項に記載の画像処理方法。
10. 時間的に連続する複数の画像が入力される時に画像中の移動体を検出する移動体検出工程をさらに有し、
    前記移動体検出工程での検出結果に基づき前記拡大／縮小処理工程で拡大又は縮小する部分を変更することを特徴とする請求項６ないし９のいずれか１項に記載の画像処理方法。

Images