JP5581193B2 - ステレオ画像処理方法、ステレオ画像処理装置及び表示装置 - Google Patents

Description

本発明は、ステレオ画像処理方法、ステレオ画像処理装置及び表示装置に関する。

近年、３Ｄテレビなど、ステレオ画像を用いた機器が盛んに開発されている。２眼のステレオ画像、すなわちステレオペア画像から３Ｄ表示を行う際には、ステレオペア画像から深さ情報（デプス、ｄｅｐｔｈ）を抽出し、抽出した深さ情報を用いた方法が行われている。

深さ情報の抽出を行うためには、ステレオペア画像において、図１（ａ）に示すような一方の画像Ｌと他方の画像Ｒとの間で対応点検索（ステレオマッチング）を行う。ステレオマッチングにより一方の画像Ｌについて、その奥行きを表現するための深さ情報を抽出する。図１（ｂ）に示すように、一方の画像Ｌと深さ情報Ｄとして情報を保持し、その情報を用いて３Ｄ表示を行う。

ステレオマッチングを行う場合には、左右画像オブジェクトの高さ（垂直方向の位置）が揃っている場合に、効果的に対応点を検索することができる。しかし、ステレオカメラで撮影した場合、左右カメラの水平が完全に一致しないケースが多い。例えば、図２に示すよう左カメラに比べ右カメラが傾いており、左カメラの水平と右カメラの水平とが一致しない場合には、左右画像オブジェクトの高さが揃っていないため、正しく対応点が検索することができない。

また、ステレオカメラによる撮影は、平行法や交差法により撮影されるが、交差法で撮影した場合には、撮影法自体の特性により、図３で示すように、撮像した画像において、台形歪みが発生する（キーストン効果）。この場合もオブジェクトの高さが揃わない。

入力されたステレオペア画像について、撮像した左右のカメラにおいて高さのズレがある場合、そのままステレオマッチングを行って、２次元画像についての深さ情報を作成すると、正しく対応点が検索できない。

従って、ステレオカメラで撮影した画像に対して対応点検索を行う場合、何らかの前処理により左右の映像内のオブジェクトの高さを揃える必要がある。

従来、左右の映像内のオブジェクトの高さを揃えるために、様々な方法が用いられてきた。例えば、代表的に用いられてきたのは、エピポーラ幾何による平行化である。なかでも、既知パターンを用いて、撮影前にあらかじめキャリブレーション（平行化）を行う方法が一般的である。しかし、ステレオ画像について、撮影者において既知のパターンで平行化を行っておく必要があるため、例えば表示装置で３Ｄ表示する場合、すでに撮影されたステレオ画像に対しては、適用できない。

また、エピポーラ幾何による平行化による他の方法として、セルフキャリブレーションを行う方法がある（特許文献１）。この方法においては、あらかじめ既知パターンを用いて平行化を行うのではなく、ビルや道路のラインなど、直線を有する画像内の特徴的なパターンを用いて平行化を行う方法である。しかしながら、この方法では、画像内に直線的なエッジを必要とするという問題があるとともに、パターンの大きさによっては、射影行列の誤差が大きくなり、正しく平行化できないという問題もある。

さらに、他の方法として、画像の走査線方向がエピポーラ線と一致していることを前提条件として、左右画像の相関に基づいて、一方の画像の行に対応する行を他方の画像から検索して、高さを揃える方法がある（特許文献２）。しかし、この方法においては検索方向が常に走査線方向、すなわち水平方向に限定されるとともに、走査線方向がエピポーラ線に一致していることを前提条件とするから、適用される画像が限定されるという問題がある。

特開２００７−２００３６４号公報 特開２０１０−１２８５７５号公報

そこで、本発明においては、様々なタイプのステレオ画像に対して、撮影後に画像の平行化が可能なステレオ画像処理方法を提供することを目的とする。

本発明の一実施形態に係るステレオ画像処理装置は、ステレオペア画像が入力される画像入力部と、前記ステレオペア画像の一方の画像において複数の代表点を設定する代表点設定部と、前記ステレオペア画像の他方の画像において前記複数の代表点に対応する複数の対応点を検出するとともに、外れ値と判定された前記対応点を除外する対応点制御部と、前記対応点において、前記外れ値であるかを判定する外れ値算出部と、除外された前記対応点を除く前記対応点により曲線近似を行う近似曲線算出部と、前記曲線近似により作成された複数の近似曲線から高さ補正値を算出する高さ補正値算出部と、前記高さ補正値に基づき前記他方の画像の平行化を行う平行化実行部と、前記一方の画像及び平行化を行った前記他方の画像を出力する画像出力部とを有することを特徴とする。

また、本発明の一実施形態に係るステレオ画像処理方法は、ステレオペア画像が入力され、前記ステレオペア画像の一方の画像において複数の代表点を設定し、前記ステレオペア画像の他方の画像において前記複数の代表点に対応する複数の対応点を検出し、前記対応点において、外れ値を判定し、前記外れ値と判定された前記対応点を除外し、前記除外された対応点を除く外れ値判定後の対応点により曲線近似を行い、前記曲線近似により作成された複数の近似曲線から高さ補正値を算出し、前記高さ補正値に基づき前記他方の画像を平行化し、前記一方の画像及び平行化を行った前記他方の画像を出力することを特徴とする。

また、本発明の一実施形態に係る表示装置は、表示パネルと、一方の画像及び他方の画像から成るステレオペア画像を含む映像信号が入力される映像信号入力部と、前記ステレオペア画像の他方の画像の高さ補正を行い補正ステレオペア画像を生成するステレオ画像処理装置と、前記補正ステレオペア画像のステレオマッチングを行い、前記一方の画像の深さ情報を生成するステレオマッチング部と、前記一方の画像及び前記深さ情報を用いて、視差映像を作成する視差映像合成部と、前記視差映像を前記表示パネル上の画素を駆動する信号を生成するタイミング制御部とを有し、前記ステレオ画像処理装置は、前記映像信号入力部よりステレオペア画像が入力される画像入力部と、前記ステレオペア画像の前記一方の画像において複数の代表点を設定する代表点設定部と、前記ステレオペア画像の前記他方の画像において前記複数の代表点に対応する複数の対応点を検出し、外れ値と判定された前記対応点を除外する対応点制御部と、前記対応点において、外れ値であるかを判定する外れ値算出部と、前記除外された対応点を除く前記対応点により曲線近似を行う近似曲線算出部と、前記曲線近似により作成された複数の近似曲線から高さ補正値を算出する高さ補正値算出部と、前記高さ補正値に基づき他方の画像の平行化を行う平行化実行部と、前記一方の画像及び平行化を行った前記他方の画像とから成る補正ステレオペア画像を前記ステレオマッチング部へと出力する画像出力部とを備えることを特徴とする。

本発明によれば、様々な種類の画像に対応可能なステレオ画像の平行化処理を、撮影の事後に行うことのできる装置及び方法が提供される。

すなわち、本発明によれば、ステレオ画像の処理において、直線的なエッジなどの特徴的なパターンがない画像においても、平行化処理を行い、ステレオマッチングでのミスマッチを低減することができる。

また、本発明によれば、走査線とエピポーラ線とが一致していない画像においても、平行化処理を行い、ステレオマッチングでのミスマッチを低減することができる。

ステレオマッチングにより、ステレオペア画像から深さ情報を抽出する方法の概要図である。 ステレオペア画像において、左右カメラの水平が一致しない例を示す図である。 交差法を用いた場合の台形歪みの様子を示す図である。 本発明の一実施形態に係るステレオ画像処理装置の要部構成を示すブロック図である。 ブロックマッチング法を説明するための図である。 ブロックマッチング法を対応点検索に適用した例を示す図である。 外れ値の判定の一例を示す図である。 対応点に対して曲線近似を行った例を示す図である。 本発明の一実施形態に係るステレオ画像処理装置における高さ方向の補正値を示すオフセットマップを近似曲線から作成する例を示した図である。 本発明の一実施形態に係るステレオ画像処理方法のフローチャートである。 本発明の一実施形態に係るステレオ画像処理方法における処理手順を示す概念図である。 本発明の一実施形態に係る表示装置の要部構成を示す図である。

以下、本発明の一実施形態に係るステレオ画像処理装置について、図面を参照しながら詳細に説明する。

図４は、本発明の一実施形態に係るステレオ画像処理装置１００の構成を示すブロック図である。図４において、ステレオ画像処理装置１００は、画像入力部１１０と、代表点設定部１２０と、対応点制御部１３０と、算出部１４０と、高さ補正実行部１５０と、画像出力部１６０とを備える。各構成は、それぞれ、ＦＰＧＡやＡＳＩＣのようなロジック回路により実装される。あるいは、ＣＰＵやＧＰＵといったプロセッサ、ＲＯＭ、ＲＡＭなど、もしくはこれらが組み込まれたシステムＬＳＩにより実装される。

画像入力部１１０は、ステレオペア画像データが入力される。ステレオペア画像は、２つの画像より構成され、２つの撮像装置でそれぞれ撮像した一方の画像及び他方の画像より成る。例えば、ステレオカメラにより撮影した左画像と右画像のうち、左画像を一方の画像、右画像を他方の画像とする。一方の画像は二次元画像として、他方の画像は一方の画像とのステレオマッチングによる深さ情報抽出のために用いられる。

代表点設定部１２０は、一方の画像において、代表点を設定する。代表点は、例えば、画像上に格子線を設定し、その格子線の交点である格子点に位置する画素であってもよい。代表点は、所望の数を設定可能であり、画像処理を行う機器の性能と、求める正確さとに応じて代表点の数を設定するとよい。例えば縦に２０列、横２０行の４００個の等間隔に配置された画素が、代表点として設定されてもよい。

対応点制御部１３０は、他方の画像において、一方の画像における代表点に対応する対応点を検出する。対応点の検出には、ブロックマッチング法が用いられてもよい。

図５は、ブロックマッチング法を説明するための図である。

ブロックマッチング法とは、図５に示すように、Ｌ画像の注目画素αの周辺の画素の画素値を用いて、Ｒ画像における対応する画素、すなわち注目画素と相関の高い画素を所定の探索範囲内において検索する方法である。ブロックマッチング法においては、注目画素と、探索範囲内の比較対象画素のそれぞれにおいて、周辺の画素値を算出し、算出された周辺の画素値から、注目画素と各比較対象画素との相関を求める。相関の判定には、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）や、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ ｉｎｔｅｎｓｉｔｙ Ｄｉｆｆｅｒｅｎｃｅ）などを用いる。そして、注目画素と最も相関が高い画素を注目画素に対する対応画素α’とする。

本発明の一実施形態に係るステレオ画像処理方法においては、一方の画像における代表点における画素を注目画素とし、比較対象画素のうち、最も相関が高い画素が対応点となる。

例えば、図６においては、一方の画像である左画像Ｌの代表点αに対応する他方の画像である右画像Ｒ中の対応点α’を、四角で囲んだ探索範囲内において検索する。そして、検索の結果、相関の最も高い点が、対応点α’として検出される。

探索範囲は、一方の画像における代表点の座標に対応した他方の画像における座標の周囲である。一方の画像と他方の画像において左右が反転している場合においても、探索範囲を左右反転した座標において設定することにより、対応点の検索が可能である。なお、探索範囲は、視差に応じて、適宜所望の大きさの範囲に設定可能である。

こうして、各代表点について、対応する対応点の検出が行われる。

また、対応点制御部１３０は、後述する外れ値算出部１４１により外れ値として算出された対応点について、除外する。

算出部１４０は、外れ値算出部１４１、近似曲線算出部１４２、高さ補正値算出部１４３から構成される。

外れ値算出部１４１は、対応点制御部１３０により検出された対応点について、画像に特徴が少ない部分の代表点に対応する対応点や、周囲の対応点と異なる傾向を示す対応点を外れ値と判定する。

外れ値の判定は、２段階で行っても良い。例えば、第一段階として、画像に特徴が少ない部分の代表点に対応する対応点を外れ値とする。画像に特徴が少ない部分の代表点に対応する対応点については、誤った対応点が選択される可能性が高いため、かかる部分に対応する対応点は外れ値として除外し、後の処理においては用いない。

具体的には、ＳＡＤを用いて代表点に対応する対応点を検出する過程において、代表点と判定された点、すなわちＳＡＤ値が最も小さい点のＳＡＤ値をＳＡＤ_１ｓｔ、ＳＡＤ値が代表点の次に小さい点のＳＡＤ値をＳＡＤ_２ｎｄとした場合に、ＳＡＤ_２ｎｄとＳＡＤ_１ｓｔとの値の差が所定の閾値Ｔｈ_１よりも小さい場合に外れ値と判断する。

すなわち、SAD_2nd-SAD_1st<Th₁の場合には、画像に特徴が少ない部分として、外れ値と判定し、SAD_2nd-SAD_1st>=Th₁の場合には、画像に十分特徴がある部分として、そのまま対応点として残す。

また、第二段階として、検出された対応点が、周囲の対応点に現れた傾向と異なる傾向を有する場合には、当該対応点を外れ値と判定する。すなわち、外れ値の判定対象となった対応点と、その対応点の周囲の対応点とを比較し、判定対象の対応点が、周囲の対応点と同じ傾向、すなわち同方向へと移動しているかを判定することにより、外れ値であるか否かを判定する。

図７において、検出された対応点が、周囲の対応点に現れた傾向と異なる傾向を有するかにより外れ値を判定する場合の具体例を示す。図７においては、判定対象の対応点と、その対応点に対応する代表点の周囲８箇所の代表点に対応する対応点とを比較する。周囲８箇所の代表点に対応する対応点において、それぞれ対応する格子点である代表点からどれだけズレがあるかをベクトルで表し、その８つのベクトルについて、平均ベクトル（ｕ_ａ，ｖ_ａ）を算出し、その平均値と判定対象の対応点の代表点からのズレのベクトル（ｕ，ｖ）とを比較し、その比較した値が所定の閾値Ｔｈ_２を超えた場合に、外れ値と判断する。

すなわち、(u-u_a)²+(v-v_a)²>Th²の場合には、判定対象の対応点が、周囲の対応点と異なる傾向を示しているものとして、外れ値と判定し、（u-u_a）²+(v-v_a)²<=Th₂の場合には、周囲の対応点と同じ傾向を示しているものとして、そのまま対応点として残す。

なお、これら一段階目、二段階目として説明した外れ値判定のいずれかのみを行ってもよいが、以後の処理においてより精度の高い近似曲線を算出するためには、２段階で外れ値の判定を行うことが好ましい。なお、ここに示した外れ値の判定以外の方法により、外れ値を判定しても良い。

近似曲線算出部１４２は、外れ値と判定され、除外された対応点を除く対応点位置について、曲線近似を行い、近似曲線を算出する。曲線近似の方法としては、例えば最小二乗法が用いられても良い。なお、ここで曲線近似との記載は、１次多項式へのあてはめ、すなわち直線近似を含み、近似曲線との記載は、近似直線を含む。

図８は、曲線近似を行った例を示す図であり、Ｘが算出された近似曲線である。ここでは、曲線近似を行う際に、外れ値と判定された対応点は除外して計算が行われる。なお、図８においては直線近似を行っている。

曲線近似は、表示装置における場合には、横方向で曲線近似を行うことにより、計算精度が向上するため、横方向の曲線近似を行うことが好ましい。

こうして算出された複数の近似曲線は、他方の画像において平行化により平行になる。横方向の曲線近似を行った場合には、平行化により水平になり走査方向に合わせられる。

高さ補正値算出部１４３は、近似曲線算出部により算出された近似曲線に基づき、高さ方向の補正値を示すオフセットマップを作成する。

図９は、本発明の一実施形態に係るステレオ画像処理装置における高さ方向の補正値を示すオフセットマップを近似曲線から作成する例を示した図である。

まず、図９（ａ）に示すように、近似曲線算出部１４２により算出された近似曲線と、近似曲線形成に用いられた対応点に対応する代表点同士を結んで形成された直線との間での高さの差を検出する。

次に、図９（ｂ）に示すように、検出された高さの差を、高さ方向補正値Ｈとして保存し、オフセットマップを作成する。さらに、複数の近似曲線間、すなわち空白行においても高さ補間を行うため、近似曲線Y’2とY’1との間においても高さ方向補正値のオフセットマップを作成する。近似曲線Y’2とY’1との間における高さ方向補正値Ｈ’の割当ては、Y’2の高さ方向補正値とY’1の高さ方向補正値との間で徐々に値を変化させることにより行う。

例えば、図９（ｂ）に示すように、Y’1のあるオフセットにおける高さ方向補正値が−１であり、その垂直方向に位置するY’2のあるオフセットにおける高さ方向補正値が−１．２である場合、その間の高さ方向補正値を、Y’1に近い方から−１．０５、−１．１、−１．１５といったように設定する。

こうして算出された高さ方向補正値に従って、平行化実行部１５０において、他方の画像全体について、高さ補正、すなわち平行化が行われる。なお、平行化が行われた際に、元画像によっては、上端及び下端の画像が欠ける場合があるが、その際には欠けた箇所においては元の画像を用いてもよい。これにより、一方の画像と他方の画像との高さのズレを解消することができる。

補正されたステレオペア画像は、画像出力部１６０より、ステレオマッチングを行う装置に対して出力される。補正されたステレオペア画像を用いてステレオマッチングすることにより、良好なステレオマッチングの結果が得られ、高品質の３次元画像が得られる。

次に、図１０及び図１１を参照して、本発明の一実施形態に係るステレオ画像処理方法について説明する。

図１０は、本発明の一実施形態に係るステレオ画像処理方法のフローチャートである。また、図１１は、本発明の一実施形態に係るステレオ画像処理方法における処理手順を示す概念図である。

まず、ステレオペア画像データが入力される（ステップＳ１１０）。図１１における、左側の基準画像をＬ画像、右側の代表画像をＲ画像と呼ぶ。図１０において（Ｉ）のステレオペア画像が、入力されたステレオペア画像である。

次に、Ｌ画像に対して代表点が設定される（ステップＳ１２０）。図１１においては、（ａ）で示される。代表点は、上述のように、画像上に格子線を設定し、その格子線の交点である格子点に位置する画素であってもよい。代表点は、所望の数を設定可能であり、図１１においては、縦４×横４の１６個の代表点が設定されている。

Ｌ画像の代表点に対応する対応点を、Ｒ画像において検出する（ステップＳ１３０）。図１１においては、（ｂ）で示される。１６個の代表点が設定されているため、対応点も１６個検出される。対応点の検出には上述したブロックマッチング法が用いられる。

検出された対応点のそれぞれに対して、外れ値であるかの判定を行う（ステップＳ１４０）。判定は、上述した画像に特徴が少ない部分の代表点に対応する対応点を外れ値と判定する方法及び／又は検出された対応点が、周囲の対応点に現れた傾向と異なる傾向を有する点を外れ値と判定する方法などを用いる。判定は、二段階で行ってもよい。図１１においては、外れ値が判定された状態は（ｃ）で示され、三角で示した点が、外れ値と判定された対応点である。

外れ値と判定された対応点についての除外を行う（ステップＳ１５０）。各対応点について、外れ値判定が完了するまで、ステップＳ１４０とステップＳ１５０とを繰り返してもよいし、各対応点についてステップＳ１４０において外れ値判定の処理を行った後、まとめてステップＳ１５０において外れ値と判定された対応点の除外処理を行ってもよい。図１１においては、（ｄ）で外れ値と判定された対応点が除外された状態が示されている。

外れ値と判定された対応点を除外して残った対応点について、曲線近似を行う（ステップＳ１６０）。図１１においては（ｅ）で示される。曲線近似の方法は、上述したとおりであり、例えば最小二乗法が用いられるが、これに限定されない。また、ここで曲線近似との記載は、１次多項式へのあてはめ、すなわち直線近似を含み、近似曲線との記載は、近似直線を含む。図１１（ｅ）においては、直線近似が行われ、近似曲線が算出されている。

曲線近似により算出された近似曲線を用いて、高さ方向補正値を示すオフセットマップを作成する（ステップＳ１７０）。上述したとおり、近似曲線と、近似曲線形成に用いられた対応点に対応する代表点同士を結んで形成された直線との間での高さの差を検出し、近似曲線間については、各近似曲線の高さ補正値に基づいて、順次高さ補正値を割り当てる。

対応画像について、オフセットマップを用いて平行化を行い、高さ補正がなされる（ステップＳ１８０）。図１１においては（ｆ）で示される。図１０においては、（ＩＩ）が高さ補正がなされた補正後のステレオペア画像である。

補正後のステレオペア画像を、出力し（ステップＳ１９０）、処理が終了する。出力された補正後のステレオペア画像が、後の処理におけるステレオマッチングにおいて用いられる。高さ補正がなされているため、ステレオマッチングにおいて深さ情報を抽出する際に、大きなノイズが生じず、歪みが無く品質の高い３Ｄ画像を表示することができる。

本発明の一実施形態に係る画像処理装置は、表示装置に用いられても良い。

図１２は、本発明の一実施形態に係る表示装置の要部構成を示す図である。

本発明の一実施形態に係る表示装置１０００は、平行化変換部１００、映像信号入力部２００、ステレオマッチング部３００、視差映像合成部４００、タイミング制御部５００、表示パネル６００を備える。表示装置１０００の代表的な例としては、３Ｄテレビや３Ｄディスプレイが挙げられる。

映像信号入力部２００には、外部からの映像信号が入力される。映像信号入力部２００は、外部から映像信号が入力されると、当該映像信号を映像データとして平行化変換部へと入力する。

平行化変換部１００は、前述したステレオ画像処理装置１００であり、映像データを受け取り、ステレオペア画像について高さ補正を行い、補正後のステレオペア画像をステレオマッチング部３００へと出力する。

ステレオマッチング部３００は、補正後のステレオペア画像に対して、ステレオマッチングを行う。すなわち、同一の点を撮像している各画像中の対応点を求め、その視差を用いて深さ（デプス）情報を抽出する。言い換えると、ステレオマッチング部３００により、補正後のステレオペア画像の一方の画像と、深さ情報へとデータが変換される。一方の画像及び深さ情報は、ステレオマッチング部３００から視差映像合成部４００へと送られる。

視差映像合成部４００は、一方の画像及び深さ情報を用いて、視差映像を作成する。すなわち、視差映像として作成されるのは、表示装置１０００の種類に応じて所望の３次元表示方式に従った形式のものでよく、例えば視差障壁を利用したパララックスバリア方式に対応した視差映像や、レンチキュラーレンズ方式に対応した視差映像でよく、こうした視差映像を作成する場合には、多視点のレンダリングを行う。

タイミング制御部５００は、視差映像合成部４００において作成された視差映像を表示パネル６００上の画素を駆動する信号を生成する。

表示パネル６００は、例えばＬＣＤ、ＰＤＰなどであり、３Ｄ画像（３Ｄ映像）を表示する。

表示装置においては、撮影後に、様々な撮影場所において、様々な撮像装置により撮像されたステレオ画像を用いるため、既知パターンを用いたステレオ画像の平行化を行うことはできない。そこで、事後的に、ステレオマッチングの前段階において、平行化処理を行う必要がある。本発明の一実施形態に係る表示装置によれば、従来の撮影後の事後的な平行化処理においては対応困難であった、直線的なエッジなどの特徴的なパターンがない画像や、走査線とエピポーラ線とが一致していない画像など、その他種々のステレオペア画像に対して優れた平行化処理を行うことができる。

１００…ステレオ画像処理装置、１１０…画像入力部、１２０…代表点設定部、１３０…対応点制御部、１４０…算出部、１５０…平行化実行部、１６０…画像出力部、１０００…表示装置

Claims (7)

1. ステレオペア画像が入力される画像入力部と、
   前記ステレオペア画像の一方の画像において複数の代表点を設定する代表点設定部と、
   前記ステレオペア画像の他方の画像において前記複数の代表点に対応する複数の対応点を検出するとともに、外れ値と判定された前記対応点を除外する対応点制御部と、
   前記対応点において、前記外れ値であるかを判定する外れ値算出部と、
   除外された前記対応点を除く前記対応点により曲線近似を行う近似曲線算出部と、
   前記曲線近似により作成された複数の近似曲線から高さ補正値を算出する高さ補正値算出部と、
   前記高さ補正値に基づき前記他方の画像の平行化を行う平行化実行部と、
   前記一方の画像及び平行化を行った前記他方の画像を出力する画像出力部と
   を有し、
   前記高さ補正値算出部は、
   前記近似曲線とそれに対応する各代表点を結んで形成される直線との高さの差を計測し、当該高さの差を高さ方向補正値とし、かつ前記高さ方向補正値に基づき複数の前記近似曲線の間の空白行について高さ方向補正値を割当ててオフセットマップを作成し、
   前記平行化実行部は、
   前記オフセットマップに基づき前記他方の画像の平行化を行うことを特徴とすることを特徴とするステレオ画像処理装置。
2. 前記対応点制御部は、ブロックマッチング法により複数の前記対応点の検出を行うことを特徴とする請求項１に記載のステレオ画像処理装置。
3. 前記外れ値算出部は、検出された前記対応点が画像に特徴が少ない部分の代表点に対応する場合及び／又は周囲の対応点に現れた傾向と異なる傾向を有する場合に前記外れ値と判定することを特徴とする請求項１または２に記載のステレオ画像処理装置。
4. ステレオペア画像が入力され、
   前記ステレオペア画像の一方の画像において複数の代表点を設定し、
   前記ステレオペア画像の他方の画像において前記複数の代表点に対応する複数の対応点を検出し、
   前記対応点において、外れ値を判定し、
   前記外れ値と判定された前記対応点を除外し、
   前記除外された対応点を除く外れ値判定後の対応点により曲線近似を行い、
   前記曲線近似により作成された複数の近似曲線から高さ補正値を算出し、
   前記高さ補正値に基づき前記他方の画像を平行化し、
   前記一方の画像及び平行化を行った前記他方の画像を出力することを含み、
   前記高さ補正値の算出は、
   前記近似曲線とそれに対応する各代表点を結んで形成される直線との高さの差を計測し、当該高さの差を高さ方向補正値とし、かつ前記高さ方向補正値に基づき複数の前記近似曲線の間の空白行について高さ方向補正値を割当ててオフセットマップを作成することを含み、
   前記平行化は、
   前記オフセットマップに基づき行われることを特徴とするステレオ画像処理方法。
5. 前記対応点の検出は、ブロックマッチング法により行われることを特徴とする請求項４に記載のステレオ画像処理方法。
6. 検出された前記対応点が画像に特徴が少ない部分の代表点に対応する場合及び／又は周囲の対応点に現れた傾向と異なる傾向を有する場合に前記外れ値と判定することを特徴とする請求項４または５のいずれかに記載のステレオ画像処理方法。
7. 表示パネルと、
   一方の画像及び他方の画像から成るステレオペア画像を含む映像信号が入力される映像信号入力部と、
   前記ステレオペア画像の他方の画像の高さ補正を行い補正ステレオペア画像を生成するステレオ画像処理装置と、
   前記補正ステレオペア画像のステレオマッチングを行い、前記一方の画像の深さ情報を生成するステレオマッチング部と、
   前記一方の画像及び前記深さ情報を用いて、視差映像を作成する視差映像合成部と、
   前記視差映像を前記表示パネル上の画素に配分するためのクロック信号を生成するタイミング制御部と
   を有し、
   前記ステレオ画像処理装置は、前記映像信号入力部よりステレオペア画像が入力される画像入力部と、
   前記ステレオペア画像の前記一方の画像において複数の代表点を設定する代表点設定部と、
   前記ステレオペア画像の前記他方の画像において前記複数の代表点に対応する複数の対応点を検出し、外れ値と判定された前記対応点を除外する対応点制御部と、
   前記対応点において、外れ値であるかを判定する外れ値算出部と、
   前記除外された対応点を除く前記対応点により曲線近似を行う近似曲線算出部と、
   前記曲線近似により作成された複数の近似曲線から高さ補正値を算出する高さ補正値算出部と、
   前記高さ補正値に基づき他方の画像の平行化を行う平行化実行部と、
   前記一方の画像及び平行化を行った前記他方の画像とから成る補正ステレオペア画像を前記ステレオマッチング部へと出力する画像出力部と
   を備え、
   前記高さ補正値算出部は、
   前記近似曲線とそれに対応する各代表点を結んで形成される直線との高さの差を計測し、当該高さの差を高さ方向補正値とし、かつ前記高さ方向補正値に基づき複数の前記近似曲線の間の空白行について高さ方向補正値を割当ててオフセットマップを作成し、
   前記平行化実行部は、
   前記オフセットマップに基づき前記他方の画像の平行化を行うことを特徴とする表示装置。