JP4537597B2 - 視差量測定装置 - Google Patents
視差量測定装置 Download PDFInfo
- Publication number
- JP4537597B2 JP4537597B2 JP2001046048A JP2001046048A JP4537597B2 JP 4537597 B2 JP4537597 B2 JP 4537597B2 JP 2001046048 A JP2001046048 A JP 2001046048A JP 2001046048 A JP2001046048 A JP 2001046048A JP 4537597 B2 JP4537597 B2 JP 4537597B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- parallax
- image
- sub
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ステレオ画像の視差量を測定する視差量測定装置に関するものである。
【０００２】
【従来の技術】
従来から、ステレオ画像の視差量を測定する技術は様々な応用分野がある。例えば、特開平７−１２０２５５号公報に記載されているように、複数のカメラで前方視野を撮影し、その視差量から奥行き情報を得るステレオ距離計測が古くから知られている。このステレオ距離計測では、特定場所の奥行きを測定する場合もあれば、視差全体を細かく分割し、その各々について奥行きを測定する場合もある。
【０００３】
また、娯楽用あるいは業務用の立体映像表示の分野では、測定した視差情報を片方の映像に付加して伝送することで伝送量を減らすという使い方もある。さらに、例えば特開平９−３２２１９９号公報や特開平４−３６０３９４号公報に記載されているように、映像の視差量を監視しておいて、それが観察者にとって良好な視差になるように映像やカメラ設定を補正したり、特開平１１−３５５８０８号公報に記載されているように表示条件を切り替えたりする使い方もある。このような使い方の場合、画面内の詳細な視差分布を測定することもあるが、特定箇所の視差量や、視差の最頻値や最大値などの統計量を用いることもある。
【０００４】
上記の視差量を測定する方法としては、従来からブロックマッチング方法がよく利用されている。この方法では、例えば左右（ＬＲ）の２枚の画像の視差を測定する場合には、例えば図１５に示すようにＬ画像の画面をＭ×Ｎ画素のいくつかの測定ブロックに分割、またはＬ画像の画面上で何箇所かの測定ブロックを指定して、各測定ブロックに対してＲ画像の画面上から対応する場所すなわち最も類似した場所を探し出し、その両者の位置ずれ量に基づいて視差量を測定している。
【０００５】
ここで、対応する場所を探索するにあたっては、例えば図１６に示すように、Ｌ画像上の測定ブロックの座標を（ＸＬ，ＹＬ）として、まずＲ画像上にＬ画像と同じ座標でＭ×Ｎ画素のブロックＢを設定し、ブロックＡとブロックＢとの間で下記の式に従って画素同士の輝度差（絶対値）の総和（以後、差分絶対値和と呼ぶ）を演算する。
【０００６】
【数１】
【０００７】
上記のブロックＡ，Ｂ間の差分絶対値和Ｓは、ブロックＢがブロックＡに対応する場所で最小となるので、ブロックＢをずらしながら、つまりΔＸ，ΔＹの値を適度な範囲内で変えながら差分絶対値和Ｓを演算して、それが最小となる場所を探し出す。このようにして、差分絶対値和Ｓが最小となるブロックＢの場所を探したら、そのブロックＢの場所とブロックＡの場所とのずれ量ΔＸ，ΔＹをブロックＡに対応する視差量として演算する。
【０００８】
【発明が解決しようとする課題】
ところが、通常のブロックマッチング方法では、例えばブロック内に明確な輝度変化が十分にない場合には、至る所に類似箇所が存在して、わずかなノイズや画像の違いで正しくマッチングできなくなる場合がある。また、画像にノイズが多い場合や、オクルージョンや視差の大きく異なるオブジェクトがブロック内に含まれている場合には、ブロックの一部にしか対応場所が存在しなかったり、逆に対応する場所が複数存在したり、といった現象が起こってマッチングエラーとなり易い。このようなマッチングエラーが発生すると、測定結果に異常値が含まれることになり、前述の距離測定に大きな誤差がでたり、表示条件の補正や変更が不適切なものになる。
【０００９】
上記のマッチングエラーの発生を避けるために、異常な情報を除外したり何らかの補間処理を施して、悪影響を及ぼさないようにする方法も知られている。例えば、ブロック内に明確な輝度変化が十分にない場合の対策として、例えば特開平７−１２０２５５号公報には、エッジの有無つまり明確な輝度変化の有無をチェックしてエラーマッチングの可能性が高いか否かを判定し、可能性が高い場所を予め除外することが開示されている。
【００１０】
しかし、画像にノイズが多い場合や、オクルージョンや視差の大きく異なるオブジェクトがブロック内に含まれている場合には、エラーマッチングを検出するのは困難である。例えば、特開平７−１２０２５５号公報や特開平４−２０３９０８号公報には、マッチング結果の差分絶対値和を利用してエラーマッチングを検出する方法が開示されているが、差分絶対値和は、輝度、コントラスト、エッジの多少、ノイズなど画像の性質に左右されるうえ、正しくても最小値が十分小さくならないことも多く、エラーマッチングと正しいマッチングとの切り分けを必ずしも明確にできない。
【００１１】
例えば、ブロック内に前景オブジェクトと背景オブジェクトとがある場合には、一般には前景と背景との画像情報が邪魔しあって差分絶対値和の最小値は大きくなるが、前景か背景のどちらかが優位になって正しくマッチングすることもある。逆に、エラーマッチングであっても差分絶対値和の最小値がさほど大きくならないこともある。
【００１２】
このため、最適な閾値を決めるのは難しく、例えば閾値を低くすればエラーマッチングの検出精度は上がるが、測定データの多くが無駄になったり、再測定の手間が増えたりする。特に、視差の統計量や全体の傾向を短時間に得たいような用途では、測定データは有効に利用して、再測定は避けたい。そのためには、エラーマッチングと正しいマッチングとを明確に切り分ける必要がある。
【００１３】
したがって、係る点に鑑みてなされた本発明の目的は、視差測定に際してのエラーマッチングと正しいマッチングとを明確に切り分けて検出でき、視差の統計量などを計算する際に、エラーマッチングの影響を減らすことができる視差量測定装置を提供することにある。
【００１４】
【課題を解決するための手段】
上記目的を達成する請求項１に係る視差量測定装置の発明は、第１の画像および第２の画像からなるステレオ画像の上記第１の画像上に所定の測定ブロックを設定する測定ブロック設定手段と、
上記第２の画像上で上記測定ブロックと対応する領域とのマッチングを行って、両画像の座標の違いから上記測定ブロックの視差量を測定する上層マッチング手段と、
上記測定ブロックを複数のサブブロックに分割し、上記第２の画像上で上記各サブブロックと対応する領域とのマッチングを行って、両画像の座標の違いから上記各サブブロックの視差量を測定する下層マッチング手段と、
該下層マッチング手段で得られた上記各サブブロックの視差量と上記上層マッチング手段で得られた上記測定ブロックの視差量とを比較する視差量比較手段と、
該視差量比較手段での比較結果に基づいて上記上層マッチング手段でのマッチングがエラーか否かを判定するエラー判定手段と、
を有することを特徴とするものである。
【００１５】
請求項１に係る視差量測定装置によると、下層マッチング手段で得られた各サブブロックの視差量と上層マッチング手段で得られた測定ブロックの視差量とを比較して、上層マッチング手段でのマッチングがエラーか否かを判定するようにしたので、視差の統計量などを計算する際に、エラーマッチングの測定ブロックを除外することができ、エラーマッチングの影響を減らすことができる。
【００１６】
請求項２に係る発明は、第１の画像および第２の画像からなるステレオ画像の上記第１の画像上に所定の測定ブロックを設定する測定ブロック設定手段と、
上記第２の画像上で上記測定ブロックと対応する領域とのマッチングを行って、両画像の座標の違いから上記測定ブロックの視差量を測定する上層マッチング手段と、
上記測定ブロックを複数のサブブロックに分割し、上記第２の画像上で上記各サブブロックと対応する領域とのマッチングを行って、両画像の座標の違いから上記各サブブロックの視差量を測定する下層マッチング手段と、
該下層マッチング手段で得られた上記各サブブロックの視差量と上記上層マッチング手段で得られた上記測定ブロックの視差量とを比較する視差量比較手段と、
該視差量比較手段での比較結果に基づいて上記下層マッチング手段での各サブブロックのマッチングがエラーか否かを判定するエラー判定手段と、
を有することを特徴とするものである。
【００１７】
請求項２に係る視差量測定装置によると、下層マッチング手段で得られた視差量と上層マッチング手段で得られた視差量とを比較して、下層マッチング手段での各サブブロックのマッチングがエラーか否かを判定するようにしたので、結果的に上層マッチング手段での測定ブロックのマッチングに信頼性に応じた重み付けを行うことができ、視差の統計量などを計算する際にエラーマッチングの影響を減らすことができる。
【００１８】
請求項３に係る発明は、請求項１または２に記載の視差量測定装置において、上記下層マッチング手段は、上記第１の画像上のサブブロックと対応する上記第２の画像上の領域との類似性を演算するサブブロック類似性演算手段と、上記第１の画像上の各サブブロックについて、上記サブブロック類似性演算手段での演算結果に基づいて類似性がもっとも高くなる上記第２の画像上の領域の位置および類似性を示す値を検出する手段とを含み、
上記上層マッチング手段は、上記サブブロック類似性演算手段での各サブブロックの類似性の演算結果を加算する加算手段と、該加算手段での加算結果に基づいて上記測定ブロックと対応する上記第２の画像上の領域との類似性がもっとも高くなる上記第２の画像上の領域の位置および類似性を示す値を検出する手段とを含むことを特徴とするものである。
【００１９】
請求項３に係る視差量測定装置によると、サブブロック類似性演算手段での各サブブロックの類似性の演算結果を加算手段で加算して、第２の画像上で測定ブロックと対応する領域の類似性を示す値を求めるようにしたので、上層マッチング手段の回路規模を縮小でき、処理時間も短縮することが可能となる。
【００２０】
【発明の実施の形態】
以下、本発明による視差量測定装置の実施の形態について、図１〜図１３を参照して説明する。
【００２１】
（第１実施の形態）
図１〜図５は第１実施の形態を示すもので、図１は全体の要部の回路構成を示すブロック図、図２は図１に示す視差測定部の要部の回路構成を示すブロック図、図３（ａ）および（ｂ）はエラーマッチング判定の原理を説明するための図、図４は視差量測定動作の概要を示すフローチャート、図５（ａ）および（ｂ）はマッチング演算処理の変形例を説明するための図である。
【００２２】
本実施の形態の視差量測定装置は、図１に示すように、ステレオ画像を構成する左右（ＬＲ）の画像１，２の一方、ここではＬ画像１を測定ブロック設定部３に、他方のＲ画像２を探索範囲／参照ブロック設定部４にそれぞれ供給する。測定ブロック設定部３では、予め設定した座標に基づいてＬ画像１上に所定数の測定ブロックを設定し、各測定ブロックの画像データをメモリに読み込むなどして基準データ５として順次出力する。また、探索範囲／参照ブロック設定部４では、Ｒ画像２上に測定ブロックと同じ座標（Ｘ，Ｙ）を中心とする探索範囲と、その探索範囲内で測定ブロックと同じ大きさの参照ブロックとを設定し、各参照ブロック内の画像データをメモリに読み込むなどして参照データ６として順次出力する。
【００２３】
基準データ５および参照データ６は、視差測定部９にそれぞれ供給し、ここでマッチング演算処理を行って各測定ブロックの視差量７を測定して出力すると共に、その視差量７を測定した際のマッチングがエラーマッチングであったか否かを判定して、その判定結果を表わすエラーコード８を出力する。
【００２４】
視差測定部９は、図２に示すように、上層マッチング部９Ａ、下層マッチング部９Ｂ、階層間比較回路９１６、およびエラー判定回路９１７を有している。
【００２５】
上層マッチング部９Ａは、従来と同様に測定ブロックのマッチング演算処理を行うもので、第１差分絶対値和演算回路９０１と第１最小値検出回路９０２とを有しており、第１差分絶対値和演算回路９０１において従来のブロックマッチングと同様に基準データ５と参照データ６との差分絶対値和を演算して最小値検出回路９０２に供給し、最小値検出回路９０２において差分絶対値和の演算結果をそれまでの最小値と比較して、大きければその値を捨て、小さければ最小値を入れ替えて、視差量ΔＸ１，ΔＹ１に現在のシフト量（参照データを切り出した座標Ｘ＋ΔＸ，Ｙ＋ΔＹと、探索範囲の中心座標Ｘ，Ｙとの差）を代入する。
【００２６】
また、下層マッチング部９Ｂは、測定ブロックをｎ個（本実施の形態では、ｎ＝４）に分割したサブブロックを設定し、その各々のサブブロックについてマッチング演算処理を行うもので、第１〜第４サブブロックの各々に対応する第２−１〜２−４差分絶対値和演算回路９０３〜９０６と、第２−１〜２−４最小値検出回路９０７〜９１０とを有しており、各サブブロックについて対応する第２−ｎ差分絶対値和演算回路および第２−ｎ最小値検出回路により、上述した上層マッチング部９Ａでのマッチング演算処理と同様のマッチング演算処理を行って視差量を測定する。
【００２７】
各測定ブロックについて、上記の一連の作業を参照ブロックのシフト量、つまり参照データを切り出す位置を変えて繰り返すことで、当該測定ブロックおよびその各サブブロックに対応する領域を探索して、測定ブロックに対する第１視差量９１１（ΔＸ１，ΔＹ１）、第１サブブロックに対する第２−１視差量９１２（ΔＸ２１，ΔＹ２１）、第２サブブロックに対する第２−２視差量９１３（ΔＸ２２，ΔＹ２２）、第３サブブロックに対する第２−３視差量９１４（ΔＸ２３，ΔＹ２３）、および第４サブブロックに対する第２−４視差量９１５（ΔＸ２４，ΔＹ２４）を決定し、第１視差量９１１を測定ブロックの視差量７（ＤｉｓＸ，ＤｉｓＹ）として出力すると共に、階層間比較回路９１６に供給し、第２−１〜２−４視差量９１２〜９１５を階層間比較回路９１６に供給する。
【００２８】
階層間比較回路９１６では、測定ブロック（上層マッチング部９Ａ）に対する第１視差量９１１と第１〜第４サブブロック（下層マッチング部９Ｂ）に対する第２−１〜２−４視差量９１２〜９１５とをそれぞれ比較して、それらの比較結果をエラー判定回路９１７に供給する。
【００２９】
エラー判定回路９１７では、階層間比較回路９１６での比較結果に基づいて、第２−１〜２−４視差量９１２〜９１５の少なくとも一つが、第１視差量９１１とほぼ等しい（差が規定値以内）ときは、ＯＫを意味するエラーコード８を出力し、第２−１〜２−４視差量９１２〜９１５のいずれもが第１視差量９１１と大きく異なるときは、ＮＧを意味するエラーコード８を出力する。これにより、エラーコード８がＮＧのときは、当該測定ブロックの視差量を無効として使用しないようにする。
【００３０】
次に、図３（ａ）および（ｂ）を参照してエラー判定の原理について説明する。図３（ａ）は、測定ブロックＭＢ内に異なる視差を持つ二つのオブジェクトＯＢ１，ＯＢ２が在る様子を示している。このような場合、オブジェクトＯＢ１に対応する領域とオブジェクトＯＢ２に対応する領域は異なるため、うまく対応場所を見つけられずにマッチングエラーとなることもあるが、どちらかのオブジェクトの情報が優位に働いてマッチングに成功することもある。
【００３１】
ここで、図３（ｂ）に示すように測定ブロックＭＢを縦横各々２分してなる第１〜第４サブブロックＳＢ１〜ＳＢ４を考えると、サブブロックＳＢ１とＳＢ３にはオブジェクトＯＢ１の情報が多く含まれ、サブブロックＳＢ２とＳＢ４にはオブジェクトＯＢ２の情報が多く含まれることになる。もし、サブブロックＳＢ１のマッチング結果と測定ブロックＭＢのマッチング結果とが等しければ、オブジェクトＯＢ１に対応する正しいマッチング結果を示していると考えられる。
【００３２】
図４は、上述した本実施の形態による視差量測定動作の概要を示すフローチャートである。先ず、ステレオ画像の一方の画像に対して測定ブロックを設定して（ステップＳ１）、他方の画像の探索範囲で測定ブロックのマッチング演算を行って第１視差量ΔＸ１，ΔＹ１を測定する（ステップＳ２）と共に、その測定ブロックに対して４個のサブブロックを設定して（ステップＳ３）、同様のマッチング演算を行って各サブブロックに対する第２−ｎ視差量ΔＸ２ｎ，ΔＹ２ｎ（ｎ＝１〜４）を測定する（ステップＳ４）。
【００３３】
その後、測定ブロックに対する視差量と各サブブロックに対する視差量とをそれぞれ比較する階層間比較を行って、｜ΔＸ２ｎ−ΔＸ１｜≦ａｘおよび｜ΔＹ２ｎ−ΔＹ１｜≦ａｙ（ａｘ，ａｙは規定値）であるか否かを判定する（ステップＳ５）。ここで、判定結果がＹＥＳの場合には上層すなわち測定ブロックの第１視差量ΔＸ１，ΔＹ１についてＯＫと判定し（ステップＳ６）、ＮＯの場合には第１視差量ΔＸ１，ΔＹ１についてＮＧと判定して（ステップＳ７）、第１視差量ΔＸ１，ΔＹ１とエラーの判定結果とを出力する（ステップＳ８）。
【００３４】
なお、本実施の形態において、上層マッチング部９Ａでの第１差分絶対値和の演算処理は、測定ブロックＭＢの全ての画素を対象とすることもできるが、例えば図５（ａ）に示すように、基準データや参照データを１画素ずつ間引いて行い、下層マッチング部９Ｂでの第２差分絶対値和の演算処理では、図５（ｂ）に示すように間引かないようにすることもできる。このようにすれば、第１および第２差分絶対値和演算回路での計算量を等しくできるので、回路規模を同じにすることができる。
【００３５】
また、サブブロックの数は、４つに限らず、２つ以上の任意の数とすることができる。さらに、測定ブロックのサイズ（画素数）は、例えば図５では１２×１２の偶数としたが、奇数とすることもできる。なお、測定ブロックサイズを奇数とする場合には、サブブロックは隣接するサブブロック同士が１ラインずつ重なるように設定すればよい。さらに、マッチング演算処理では、対応領域を１画素または複数画素ずつ飛び越して探索することもできる。このようにすれば、視差測定の分解能は落ちるが、回路規模の縮小や計算時間の短縮を図ることができる。また、入力する画像に対して解像度（画素数）削減やスムージングなどの前処理を行って、測定時間や回路規模を縮小したり、ノイズの影響を減らしたりすることもできる。さらに、下層マッチング部９Ｂを一対の差分絶対値和演算回路と最小値検出回路とで構成し、これを各サブブロックで順次使用してそれぞれの視差量を演算したり、あるいは上層マッチング部９Ａの一対の差分絶対値和演算回路と最小値検出回路とを共用して、各サブブロックの視差量を演算するよう構成することもできる。さらにまた、マッチングは、差分絶対値和に限らず、左右ブロックの類似性を示すものであれば、例えば相互相関のような他の演算量を用いることもできる。上記の各変形例は、後述の実施の形態にも適宜適用することができる。
【００３６】
（第２実施の形態）
図６および図７は第２実施の形態を示すもので、図６は視差測定部の要部の回路構成を示すブロック図、図７は視差量測定動作の概要を示すフローチャートである。本実施の形態は、視差測定部９の構成が第１実施の形態と異なるものである。すなわち、第１実施の形態では上層マッチング部９Ａに第１差分絶対値和演算回路９０１を設けて測定ブロックの差分絶対値和を演算するようにしたが、本実施の形態では、図６に示すように第１差分絶対値和演算回路９０１に代えて加算回路９２０を設け、この加算回路９２０において下層マッチング部９Ｂの第２−１〜２−４差分絶対値和演算回路９０３〜９０６の出力を加算して、測定ブロックの差分絶対値和を演算するようにしたものである。
【００３７】
図６において、下層マッチング部９Ｂでは、第１実施の形態と同様に、第２−１〜２−４差分絶対値和演算回路９０３〜９０６でサブブロックの差分絶対値和を演算し、それらを対応する第２−１〜２−４最小値検出回路９０７〜９１０に供給してそれまでの最小値と比較し、小さければ最小値と視差量ΔＸ２ｎ，ΔＹ２ｎとを更新する。本実施の形態では、第２−１〜２−４差分絶対値和演算回路９０３〜９０６でそれぞれ演算される差分絶対値和を上層マッチング部９Ａの加算回路９２０にも供給する。
【００３８】
加算回路９２０では、入力される差分絶対値和の和を演算し、これを測定ブロックに対する第１差分絶対値和とする。この第１差分絶対値和は、第１実施の形態と同様に第１最小値検出回路９０２に供給して、それまでの最小値と比較し、小さければ最小値と視差量ΔＸ１，ΔＹ１とを更新する。
【００３９】
各測定ブロックについて、上記の一連の作業を参照データを切り出す位置を変えて繰り返し、当該測定ブロックおよびその各サブブロックに対するマッチング演算処理が終了したら、第１実施の形態と同様に、上層マッチング部９Ａでの第１視差量９１１（ΔＸ１，ΔＹ１）を測定ブロックの視差量７（ＤｉｓＸ，ＤｉｓＹ）として出力すると共に、階層間比較回路９１６において、測定ブロック（上層マッチング部９Ａ）に対する第１視差量９１１と第１〜第４サブブロック（下層マッチング部９Ｂ）に対する第２−１〜２−４視差量９１２〜９１５とをそれぞれ比較して、第２−１〜２−４視差量９１２〜９１５の少なくとも一つが、第１視差量９１１とほぼ等しい（差が規定値以内）ときは、エラー判定回路９１７からＯＫを意味するエラーコード８を出力し、第２−１〜２−４視差量９１２〜９１５のいずれもが第１視差量９１１と大きく異なるときは、エラー判定回路９１７からＮＧを意味するエラーコード８を出力する。
【００４０】
図７は、第２実施の形態による視差量測定動作の概要を示すフローチャートである。先ず、ステレオ画像の一方の画像に対する測定ブロックの設定（ステップＳ１１）およびサブブロックの設定（ステップＳ１２）が終了したら、サブブロックに対する参照データを設定して（ステップＳ１３）、サブブロックのマッチング演算処理を行い、各サブブロックの差分絶対値和を算出する（ステップＳ１４）と共に、その最小値を検出して各サブブロックに対する第２−ｎ視差量ΔＸ２ｎ，ΔＹ２ｎ（ｎ＝１〜４）を更新する（ステップＳ１５）。
【００４１】
ステップＳ１４で算出される各サブブロックの差分絶対値和は、加算することで測定ブロックの差分絶対値和を算出し（ステップＳ１６）、その差分絶対値和の最小値を検出して測定ブロックに対する第１視差量ΔＸ１，ΔＹ１を更新する（ステップＳ１７）。
【００４２】
上記のステップＳ１３からステップＳ１７までの処理は、ステップＳ１８においてサブブロックのマッチング演算が終了するまで繰り返し、マッチング演算が終了したら、測定ブロックに対する第１視差量ΔＸ１，ΔＹ１と各サブブロックに対する第２−ｎ視差量ΔＸ２ｎ，ΔＹ２ｎとをそれぞれ比較する階層間比較を行って、｜ΔＸ２ｎ−ΔＸ１｜≦ａｘおよび｜ΔＹ２ｎ−ΔＹ１｜≦ａｙ（ａｘ，ａｙは規定値）であるか否かを判定する（ステップＳ１９）。ここで、判定結果がＹＥＳの場合には上層すなわち測定ブロックの第１視差量ΔＸ１，ΔＹ１についてＯＫと判定し（ステップＳ２０）、ＮＯの場合には第１視差量ΔＸ１，ΔＹ１についてＮＧと判定して（ステップＳ２１）、第１視差量ΔＸ１，ΔＹ１とエラーの判定結果とを出力する（ステップＳ２２）。
【００４３】
本実施の形態によれば、第１差分絶対値和演算回路を用いることなく、第２−１〜２−４差分絶対値和演算回路９０３〜９０６から出力される各サブブロックの差分絶対値和を加算回路９２０で加算して測定ブロックに対する第１差分絶対値和を得るようにしたので、第１実施の形態に比べ回路規模を縮小できると共に、処理時間も短くできる。
【００４４】
なお、本実施の形態において、ブロック内の画素や探索範囲を間引く場合には、上層および下層の間引きが等しくなる。
【００４５】
（第３実施の形態）
図８〜図１０は第３実施の形態を示すもので、図８は全体の要部の回路構成を示すブロック図、図９は図８に示す視差測定部の要部の回路構成を示すブロック図、図１０は視差量測定動作の概要を示すフローチャートである。
【００４６】
本実施の形態の視差量測定装置は、図８に示すように、測定ブロック設定部３からの基準データ５および探索範囲／参照ブロック設定部４からの参照データ６に基づいて、視差測定部９から４つのサブブロックの視差量７０１〜７０４と、その各々のエラーコード８０１〜８０４とを出力するようにしたものである。
【００４７】
視差測定部９は、図９に示すように、上層マッチング部９Ａ、下層マッチング部９Ｂ、および第２−１〜２−４階層間比較／エラー判定回路９２１〜９２４を有している。
【００４８】
本実施の形態では、上層マッチング部９Ａおよび下層マッチング部９Ｂを第２実施の形態と同様に構成して、上層マッチング部９Ａで測定ブロックに対する第１視差量９１１を演算し、下層マッチング部９Ｂで各サブブロックに対する第２−１〜２−４視差量９１２〜９１５を演算する。第１視差量９１１は第２−１〜２−４階層間比較／エラー判定回路９２１〜９２４に供給し、第２−１〜２−４視差量９１２〜９１５は視差量７０１〜７０４として出力すると共に、対応する第２−１〜２−４階層間比較／エラー判定回路９２１〜９２４に供給する。
【００４９】
第２−１〜２−４階層間比較／エラー判定回路９２１〜９２４では、第２−１〜２−４視差量９１２〜９１５（下層マッチング部９Ａの結果）と第１視差量９１１（上層マッチング部９Ｂの結果）とをそれぞれ比較し、両者の差が規定範囲内であればＯＫを、両者の差が規定範囲外であればＮＧを意味するエラーコード８０１〜８０４を出力する。
【００５０】
図１０は、第３実施の形態による視差量測定動作の概要を示すフローチャートである。本実施の形態では、ステップＳ１１〜Ｓ１８で図７で説明したと同様の処理を行って、測定ブロックに対する第１視差量ΔＸ１，ΔＹ１と各サブブロックに対する第２−ｎ視差量ΔＸ２ｎ，ΔＹ２ｎ（ｎ＝１〜４）とを求めたら、第１視差量ΔＸ１，ΔＹ１と第２−ｎ視差量ΔＸ２ｎ，ΔＹ２ｎ（ｎ＝１〜４）とをそれぞれ階層間比較して、｜ΔＸ２ｎ−ΔＸ１｜≦ａｘおよび｜ΔＹ２ｎ−ΔＹ１｜≦ａｙ（ａｘ，ａｙは規定値）であるか否かを判定する（ステップＳ２３）。ここで、判定結果がＹＥＳの第２−ｎ視差量ΔＸ２ｎ，ΔＹ２ｎについては対応するエラーコードの内容をＯＫとし（ステップＳ２４）、ＮＯの第２−ｎ視差量ΔＸ２ｎ，ΔＹ２ｎについては対応するエラーコードの内容をＮＧとして（ステップＳ２５）、４つのサブブロックの視差量７０１〜７０４と、その各々のエラーコード８０１〜８０４とを出力する（ステップＳ２６）。
【００５１】
本実施の形態によれば、画像全体について視差の統計量を求める場合、各測定ブロックが全体に及ぼす影響の大きさを第１，第２実施の形態の場合よりも小さくできる。すなわち、第１，第２実施の形態の場合には、各測定ブロックの影響度は１か０となるが、本実施の形態では４，３，２，１，０の影響度を取り得ることになる。したがって、例えば４個のサブブロックが同じ視差を持っている場合には測定ブロックの影響度は４になるが、前景と背景との境界上にあるような測定ブロックでは、どちらにマッチングしても影響度は小さくなる。このような境界上の測定ブロックの視差測定結果は、測定ブロック内の一部に対しては正解だが、他の部分に対してはエラーである。
【００５２】
また、第１，第２実施の形態の場合、全くのエラーマッチングであっても、一つのサブブロックの結果が測定ブロックの視差結果とたまたま一致してしまうと、測定ブロック全体のマッチングがＯＫと判定されてエラーを検出し損ね、影響度が大きくなることが懸念されるが、本実施の形態では一致したサブブロックのみがマッチングＯＫと判定されるので、測定ブロックの影響度は低くなる。このように、本実施の形態では、サブブロックの信頼性によって各測定ブロックを重み付けすることができるので、一カ所のエラーが全体に及ぼす影響を軽減することができる。
【００５３】
なお、本実施の形態では、上層マッチング部９Ａを第２実施の形態と同様に加算回路９２０を用いて構成したが、第１実施の形態と同様に第１差分絶対値和演算回路を用いて構成することもできる。
【００５４】
（第４実施の形態）
図１１および図１２は第４実施の形態を示すもので、図１１は視差測定部の要部の回路構成を示すブロック図、図１２は図１１に示す特徴チェック部の構成を示すブロック図である。
【００５５】
図１１に示すように、本実施の形態では、第１実施の形態において、視差測定部９の上層マッチング部９Ａに測定ブロック内の特徴（明確な輝度変化）の有無をチェックする特徴チェック部１０を設けると共に、下層マッチング部９Ｂにも各サブブロックに対応して当該サブブロック内の特徴の有無をチャックする特徴チェック部１０を設ける。
【００５６】
各特徴チェック部１０は、図１２に示すように、エッジ抽出フィルタ１００１、二値化回路１００２、合計回路１００３および比較判定回路１００４を有し、基準データ５をエッジ抽出フィルタ１００１にかけてエッジを抽出し、その出力を二値化回路１００２で適正な閾値で二値化して、合計回路１００３で対応するブロックにおける二値化画像のエッジの画素数を合計し、その合計値を比較判定回路１００４において規定値と比較して、合計値が規定値よりも小さいときは当該ブロック内に特徴がないとしてＮＧを意味するエラーコードを出力し、合計値が規定値よりも大きいときは当該ブロック内に特徴があるとしてＯＫを意味するエラーコードを出力するように構成する。
【００５７】
上層マッチング部９Ａの特徴チェック部１０から出力される第１エラーコードおよび下層マッチング部９Ｂの各サブブロックに対応する特徴チェック部１０から出力される第２−１〜２−４エラーコードは階層間比較回路９１６に供給し、ここで例えば第２−１〜２−４エラーコードがＮＧのときは、当該ＮＧのサブブロックに対応する視差量と測定ブロックに対する第１視差量との比較を省略あるいはその比較結果を無視し、第1エラーコードがＮＧのときは、第２−１〜２−４エラーコードに拘わらず、エラー判定回路９１７でＮＧと判定される比較結果をエラー判定回路９１７に出力する。
【００５８】
このように構成すれば、測定ブロックに対する第１視差量と、各サブブロックに対する第２−１〜２−４視差量との階層間比較に基づいてエラーマッチングを判定する場合に比べて、より確実にエラーマッチングを減らすことができる。
【００５９】
このような特徴チェック部１０は、上記の第２実施の形態や第３実施の形態、あるいは後述する第５実施の形態において、マッチングを行って所定ブロックの視差量を求めるマッチング演算処理部にも有効に適用することができる。
【００６０】
なお、図１１では、特徴チェック部１０を対応するマッチング演算処理部に対して並列的に設けたが、マッチング処理の前に特徴チェックを行い、その結果がＮＧのときは対応するマッチング処理を省略するように構成することもできる。このように構成すれば、特徴の少ない画像を扱う場合に、演算時間を短縮することができる。
【００６１】
（第５実施の形態）
図１３は、第５実施の形態における視差測定部の要部の回路構成を示すブロック図である。本実施の形態は、第２実施の形態の４つのサブブロックから成る一つの測定ブロックを第３実施の形態のサブブロックの一つとする３層構成として、第２層の４ブロックの視差量をそれぞれ測定し、その各視差量に対応するブロックでのマッチングエラーを、当該ブロックの視差量とその上下層のブロックの視差量との階層間比較に基づいて判定するようにしたものである。
【００６２】
図１３では、図面を簡略化するため、第１層マッチング部９Ｃと、第１層ブロックの４個の第２層ブロックのうちの１個に対応する第２層マッチング部９Ｄ−１と、１６個の第３層ブロックのうちの１個の第２層ブロックに対応する４個の第３層ブロックからなる第３層マッチング部９Ｅ−１と、第２層マッチング部９Ｄ−１に対応する第２−１上位階層間比較／エラー判定回路９３０と、第３層マッチング部９Ｅ−１に対応する第２−１下位階層間比較回路９３１と、第２−１下位階層間比較回路９３１に対応するエラー判定回路９３２と、第２−１上位階層間比較／エラー判定回路９３０およびエラー判定回路９３２に対応する最終エラー判定回路９３３とを図示している。
【００６３】
第３層マッチング部９Ｅ−１は、４個の第３層ブロックの各々に対応する第３−１−１〜３−１−４差分絶対値和演算回路９３５〜９３８と、その各々の最小値を検出する第３−１−１〜３−１−４最小値検出回路９３９〜９４２とを有している。第２層マッチング部９Ｄ−１は、対応する第３層マッチング部９Ｅ−１の第３−１−１〜３−１−４差分絶対値和演算回路９３５〜９３８からの出力を加算する第２−１加算回路９４４と、その最小値を検出する第２−１最小値検出回路９４５とを有している。第１層マッチング部９Ｃは、第２層マッチング部９Ｄ−１を含む４個の第２層マッチング部の第２−１〜２−４加算回路からの出力を加算する第１加算回路９４６と、その最小値を検出する第１最小値検出回路９４７とを有している。
【００６４】
本実施の形態では、先ず、第２実施の形態と同様に、第３−１−１〜３−１−４差分絶対値和演算回路９３５〜９３８で第３層の対応する各ブロックの差分絶対値和を演算し、第３−１−１〜３−１−４最小値検出回路９３９〜９４２で差分絶対値和の演算結果をそれまでの最小値とそれぞれ比較して、小さければ対応する最小値と第３−１−１〜３−１−４視差量９５１〜９５４（ΔＸ３１１，ΔＹ３１１〜ΔＸ３１４，ΔＹ３１４）とを更新する。
【００６５】
また、第２−１加算回路９４４で第３−１−１〜３−１−４差分絶対値和演算回路９３５〜９３８の出力を加算して第２層の１個のブロックの差分絶対値和を得、第２−１最小値検出回路９４５でそれまでの最小値と比較して、小さければ最小値と第２−１視差量９５５（ΔＸ２１，ΔＹ２１）とを更新し、この第２−１最小値検出回路９４５での第２−１視差量９５５を第２層の当該ブロックにおける視差量７０１（ＤｉｓＸ１，ＤｉｓＹ１）として出力する。
【００６６】
さらに、第１加算回路９４６で第２−１加算回路９４４の出力、図示しない第２−２〜２−４加算回路の出力とを加算して第１層ブロックの差分絶対値和を得、第１最小値検出回路９３１でそれまでの最小値と比較して、小さければ最小値と第１視差量９５６（ΔＸ１，ΔＹ１）とを更新する。
【００６７】
第２−１下位階層間比較回路９３１では、第２層の第２−１視差量９５５と第３層の第３−１−１〜３−１−４視差量９５１〜９５４とをそれぞれ比較し、第３−１−１〜３−１−４視差量９５１〜９５４のいずれか一つが第２−１視差量９５５とほぼ等しい（差が規定値以内）ときは、エラー判定回路９３２からＯＫを意味するエラーコード８１１を出力する。これに対し、第３−１−１〜３−１−４視差量９５１〜９５４のいずれもが第２−１視差量９５５と大きく異なるときは、エラー判定回路９３２からＮＧを意味するエラーコード８１１を出力する。
【００６８】
一方、第２−１上位階層間比較／エラー判定回路９３０では、第２層の第２−１視差量９５５と第１層の第１視差量９５６とを比較して、両者がほぼ等しい（差が規定値以内）のときは、ＯＫを意味するエラーコード８１２を出力する。これに対し、両者が大きく異なるときは、ＮＧを意味するエラーコード８１２を出力する。最終エラー判定回路９３３では、エラーコード８１１およびエラーコード８１２のどちらかがＯＫのときは、ＯＫを意味するエラーコード８０１を出力する。
【００６９】
本実施の形態によれば、ブロックを３層構造として、下位の第２層と第３層との階層間比較に基づいてエラーマッチングを判定すると共に、上位の第１層と第２層との階層間比較に基づてエラーマッチングを判定して、いずれかがＯＫならＯＫと判定するようにしたので、画像の特徴が少ないときや下位のブロックサイズをかなり小さくした場合に、下層のブロックでは特徴チェックでエラーと判定されたり、上位との比較がうまくいかない場合があっても、上位の層との比較によってエラー判定を確実に行うことができる。したがって、視差が複雑であったり、種々の空間周波数が存在する場合にも、エラーマッチングを確実に判定することができる。
【００７０】
なお、本実施の形態では、ブロックを３階層としたが、さらに多くの階層を設定することもできる。
【００７１】
図１４は、本発明に係る視差量測定装置の応用例を示すもので、頭部装着型表示装置（ＨＭＤ）に適用した場合を示している。このＨＭＤは、映像表示コントローラ１３、ＨＭＤユニット１４、前処理部１５、評価量演算部１６、評価部１７、および制御信号出力部１８と、上記実施の形態で説明した測定ブロック設定部３、探索範囲／参照ブロック設定部４および視差測定部９からなる視差量測定装置とを有している。
【００７２】
図１４において、ステレオ映像信号は映像表示コントローラ１３に入力し、該映像表示コントローラ１３による制御のもとにＨＭＤユニット１４に表示する。ここで、ステレオ映像信号は、例えばゲーム機やビデオあるいはコンピュータなどの映像信号で、左右映像がフィールド毎に交互に伝送されるものであっても良いし、左右映像が１フィールド内に含まれているものであってもよい。
【００７３】
ＨＭＤユニット１４は、ユーザーの左右の目に対応する２つの表示部を含み、左目用の表示部には左映像を、右目用の表示部には右映像をそれぞれ表示することにより、ユーザーは立体的なステレオ映像を見ることができるようになっている。また、映像表示コントローラ１３により左右どちらかの映像のみを左右両方の表示部に表示するように制御することにより、ユーザーは通常の２Ｄ映像を見ることができるようになっている。なお、入力映像がステレオ映像でなく通常の２Ｄ映像の場合には、入力映像信号をそのまま左右両方の表示部に表示することにより、ユーザーは通常の２Ｄ映像を見ることができるようになっている。このような表示の切替は、映像表示コントローラ１３に切替スイッチを設けてユーザーが手動で切り替える場合もあれば、自動的に映像信号の種類を検出して切り替える場合もある。
【００７４】
ステレオ映像信号は前処理部１５にも入力し、ここで特定のタイミングで左右画像を各々のメモリに格納して、解像度変換、スムージングなど視差測定のための前処理を施す。その後、上記実施の形態で説明したと同様に、左画像上に複数の測定ブロックを設定し、各ブロックに対して右画像上から対応する部分を探索して視差測定部９で画像の視差を測定する。
【００７５】
視差測定部９から出力される視差量７およびエラーコード８は評価量演算部１６に入力し、ここで１画面分の測定ブロックに対する視差測定の結果を統合して、評価量を算出する。例えば、画面内の視差量の統計量（最大値や最頻値、あるいは平均値など）を演算した後、所定の規則に従って当該画像に対する評価値を与え、その評価値をそれまでの評価値に加算する。ここで、画像の評価値は、例えば視差の最大値に係数をかけて二乗したり、統計量に応じたランク付けを行う表を参照する等の所定の規則に従って求める。なお、統計量を演算する際には、エラーコード８を参照して、ＮＧを示すコードであればそのときの視差量は無視する。
【００７６】
評価量演算部１６で累積された評価値は、評価部１７で規定値と比較し、規定値を超えた場合には、制御信号出力部１８から映像表示コントローラ１３へ表示切替の指示信号を送出して、映像表示コントローラ１３において強制的に画像表示をステレオ映像表示から２Ｄ映像表示に切り替える。
【００７７】
このような制御を行うＨＭＤの利点について説明する。一般に、ステレオ映像は、視差量が大きすぎると見づらくなったり、立体感が損なわれたりするので、表示装置にあった適切な視差で見ることが望ましいが、特定の表示装置に最適化して作られた映像の視差は、別の表示装置では不適切になることがある。また、近年２Ｄ映像やゲーム映像をステレオ映像に変換する装置がいくつかあるが、設定が不適切だと大きな視差量の映像が連続して表示される場合もある。そこで、映像に含まれる視差量を監視し、大きな視差量が続く場合には、映像の設定が不適切である可能性が高いため、例えばステレオ表示を２Ｄ表示に切り替えることにより、ユーザーが気づかないまま不適切に表示された映像を見続けるのを避けることができる。
【００７８】
なお、上記の応用例では、累積された評価値が規定値を超えた場合に、制御信号出力部１８から映像表示コントローラ１３へ表示切替の指示信号を送出するようにしたが、表示の切替指示に換えて視差設定を確認するようユーザーに促すメッセージを表示させる信号を出力することもできる。また、例えば視差量の最頻値が適度な値になるように映像表示を制御することもできる。この場合には、映像信号の読み出し位置を左右でずらし、左右の映像表示を互いに逆方向にシフトさせればよい。また、評価量演算の際、エラー箇所の視差は無視するようにしたが、エラー箇所が多数の場合には評価量に特定の値を充てるようにすることもできる。
【００７９】
【発明の効果】
以上のように、本発明によれば、第１の画像に設定した測定ブロックを複数のサブブロックに分割し、測定ブロックおよび各サブブロックの各々について第２の画像上でマッチングを行ってそれぞれ視差量を求め、測定ブロックの視差量と各サブブロックの視差量との比較に基づいて、測定ブロックのマッチングがエラーか否か、あるいは各サブブロックのマッチングがエラーか否かを判定するようにしたので、視差測定に際してのエラーマッチングと正しいマッチングとを明確に切り分けて検出でき、視差の統計量などを計算する際に、エラーマッチングの影響を減らすことができる。
【図面の簡単な説明】
【図１】 本発明による視差量測定装置の第１実施の形態の全体の要部の回路構成を示すブロック図である。
【図２】 図１に示す視差測定部の要部の回路構成を示すブロック図である。
【図３】 第１実施の形態によるエラーマッチング判定の原理を説明するための図である。
【図４】 第１実施の形態による視差量測定動作の概要を示すフローチャートである。
【図５】 第１実施の形態におけるマッチング演算処理の変形例を説明するための図である。
【図６】 本発明による視差量測定装置の第２実施の形態における視差測定部の要部の回路構成を示すブロック図である。
【図７】 第２実施の形態による視差量測定動作の概要を示すフローチャートである。
【図８】 本発明による視差量測定装置の第３実施の形態の全体の要部の回路構成を示すブロック図である。
【図９】 図８に示す視差測定部の要部の回路構成を示すブロック図である。
【図１０】 第３実施の形態による視差量測定動作の概要を示すフローチャートである。
【図１１】 本発明による視差量測定装置の第４実施の形態における視差測定部の要部の回路構成を示すブロック図である。
【図１２】 図１１に示す特徴チェック部の構成を示すブロック図である。
【図１３】 本発明による視差量測定装置の第５実施の形態における視差測定部の要部の回路構成を示すブロック図である。
【図１４】 本発明に係る視差量測定装置を頭部装着型表示装置に適用した例を示すブロック図である。
【図１５】 ブロックマッチングによる視差量測定方法を説明するための図である。
【図１６】 同じく、ブロックマッチングによる視差量測定方法を説明するための図である。
【符号の説明】
３ 測定ブロック設定部
４ 探索範囲／参照ブロック設定部
９ 視差測定部
９Ａ 上層マッチング部
９Ｂ 下層マッチング部
９Ｃ 第１層マッチング部
９Ｄ−１ 第２層マッチング部
９Ｅ−１ 第３層マッチング部
１０ 特徴チェック部
９０１，９０３〜９０６，９３５〜９３８ 差分絶対値和演算回路
９０２，９０７〜９１０，９３９〜９４２，９４５，９４７ 最小値検出回路
９１６ 階層間比較回路
９１７ エラー判定回路
９２０，９４４，９４６ 加算回路
９２１〜９２４ 階層間比較／エラー判定回路
９３０ 上位階層間比較／エラー判定回路
９３１ 下位階層間比較回路
９３２ エラー判定回路
９３３ 最終エラー判定回路
【発明の属する技術分野】
本発明は、ステレオ画像の視差量を測定する視差量測定装置に関するものである。
【０００２】
【従来の技術】
従来から、ステレオ画像の視差量を測定する技術は様々な応用分野がある。例えば、特開平７−１２０２５５号公報に記載されているように、複数のカメラで前方視野を撮影し、その視差量から奥行き情報を得るステレオ距離計測が古くから知られている。このステレオ距離計測では、特定場所の奥行きを測定する場合もあれば、視差全体を細かく分割し、その各々について奥行きを測定する場合もある。
【０００３】
また、娯楽用あるいは業務用の立体映像表示の分野では、測定した視差情報を片方の映像に付加して伝送することで伝送量を減らすという使い方もある。さらに、例えば特開平９−３２２１９９号公報や特開平４−３６０３９４号公報に記載されているように、映像の視差量を監視しておいて、それが観察者にとって良好な視差になるように映像やカメラ設定を補正したり、特開平１１−３５５８０８号公報に記載されているように表示条件を切り替えたりする使い方もある。このような使い方の場合、画面内の詳細な視差分布を測定することもあるが、特定箇所の視差量や、視差の最頻値や最大値などの統計量を用いることもある。
【０００４】
上記の視差量を測定する方法としては、従来からブロックマッチング方法がよく利用されている。この方法では、例えば左右（ＬＲ）の２枚の画像の視差を測定する場合には、例えば図１５に示すようにＬ画像の画面をＭ×Ｎ画素のいくつかの測定ブロックに分割、またはＬ画像の画面上で何箇所かの測定ブロックを指定して、各測定ブロックに対してＲ画像の画面上から対応する場所すなわち最も類似した場所を探し出し、その両者の位置ずれ量に基づいて視差量を測定している。
【０００５】
ここで、対応する場所を探索するにあたっては、例えば図１６に示すように、Ｌ画像上の測定ブロックの座標を（ＸＬ，ＹＬ）として、まずＲ画像上にＬ画像と同じ座標でＭ×Ｎ画素のブロックＢを設定し、ブロックＡとブロックＢとの間で下記の式に従って画素同士の輝度差（絶対値）の総和（以後、差分絶対値和と呼ぶ）を演算する。
【０００６】
【数１】
上記のブロックＡ，Ｂ間の差分絶対値和Ｓは、ブロックＢがブロックＡに対応する場所で最小となるので、ブロックＢをずらしながら、つまりΔＸ，ΔＹの値を適度な範囲内で変えながら差分絶対値和Ｓを演算して、それが最小となる場所を探し出す。このようにして、差分絶対値和Ｓが最小となるブロックＢの場所を探したら、そのブロックＢの場所とブロックＡの場所とのずれ量ΔＸ，ΔＹをブロックＡに対応する視差量として演算する。
【０００８】
【発明が解決しようとする課題】
ところが、通常のブロックマッチング方法では、例えばブロック内に明確な輝度変化が十分にない場合には、至る所に類似箇所が存在して、わずかなノイズや画像の違いで正しくマッチングできなくなる場合がある。また、画像にノイズが多い場合や、オクルージョンや視差の大きく異なるオブジェクトがブロック内に含まれている場合には、ブロックの一部にしか対応場所が存在しなかったり、逆に対応する場所が複数存在したり、といった現象が起こってマッチングエラーとなり易い。このようなマッチングエラーが発生すると、測定結果に異常値が含まれることになり、前述の距離測定に大きな誤差がでたり、表示条件の補正や変更が不適切なものになる。
【０００９】
上記のマッチングエラーの発生を避けるために、異常な情報を除外したり何らかの補間処理を施して、悪影響を及ぼさないようにする方法も知られている。例えば、ブロック内に明確な輝度変化が十分にない場合の対策として、例えば特開平７−１２０２５５号公報には、エッジの有無つまり明確な輝度変化の有無をチェックしてエラーマッチングの可能性が高いか否かを判定し、可能性が高い場所を予め除外することが開示されている。
【００１０】
しかし、画像にノイズが多い場合や、オクルージョンや視差の大きく異なるオブジェクトがブロック内に含まれている場合には、エラーマッチングを検出するのは困難である。例えば、特開平７−１２０２５５号公報や特開平４−２０３９０８号公報には、マッチング結果の差分絶対値和を利用してエラーマッチングを検出する方法が開示されているが、差分絶対値和は、輝度、コントラスト、エッジの多少、ノイズなど画像の性質に左右されるうえ、正しくても最小値が十分小さくならないことも多く、エラーマッチングと正しいマッチングとの切り分けを必ずしも明確にできない。
【００１１】
例えば、ブロック内に前景オブジェクトと背景オブジェクトとがある場合には、一般には前景と背景との画像情報が邪魔しあって差分絶対値和の最小値は大きくなるが、前景か背景のどちらかが優位になって正しくマッチングすることもある。逆に、エラーマッチングであっても差分絶対値和の最小値がさほど大きくならないこともある。
【００１２】
このため、最適な閾値を決めるのは難しく、例えば閾値を低くすればエラーマッチングの検出精度は上がるが、測定データの多くが無駄になったり、再測定の手間が増えたりする。特に、視差の統計量や全体の傾向を短時間に得たいような用途では、測定データは有効に利用して、再測定は避けたい。そのためには、エラーマッチングと正しいマッチングとを明確に切り分ける必要がある。
【００１３】
したがって、係る点に鑑みてなされた本発明の目的は、視差測定に際してのエラーマッチングと正しいマッチングとを明確に切り分けて検出でき、視差の統計量などを計算する際に、エラーマッチングの影響を減らすことができる視差量測定装置を提供することにある。
【００１４】
【課題を解決するための手段】
上記目的を達成する請求項１に係る視差量測定装置の発明は、第１の画像および第２の画像からなるステレオ画像の上記第１の画像上に所定の測定ブロックを設定する測定ブロック設定手段と、
上記第２の画像上で上記測定ブロックと対応する領域とのマッチングを行って、両画像の座標の違いから上記測定ブロックの視差量を測定する上層マッチング手段と、
上記測定ブロックを複数のサブブロックに分割し、上記第２の画像上で上記各サブブロックと対応する領域とのマッチングを行って、両画像の座標の違いから上記各サブブロックの視差量を測定する下層マッチング手段と、
該下層マッチング手段で得られた上記各サブブロックの視差量と上記上層マッチング手段で得られた上記測定ブロックの視差量とを比較する視差量比較手段と、
該視差量比較手段での比較結果に基づいて上記上層マッチング手段でのマッチングがエラーか否かを判定するエラー判定手段と、
を有することを特徴とするものである。
【００１５】
請求項１に係る視差量測定装置によると、下層マッチング手段で得られた各サブブロックの視差量と上層マッチング手段で得られた測定ブロックの視差量とを比較して、上層マッチング手段でのマッチングがエラーか否かを判定するようにしたので、視差の統計量などを計算する際に、エラーマッチングの測定ブロックを除外することができ、エラーマッチングの影響を減らすことができる。
【００１６】
請求項２に係る発明は、第１の画像および第２の画像からなるステレオ画像の上記第１の画像上に所定の測定ブロックを設定する測定ブロック設定手段と、
上記第２の画像上で上記測定ブロックと対応する領域とのマッチングを行って、両画像の座標の違いから上記測定ブロックの視差量を測定する上層マッチング手段と、
上記測定ブロックを複数のサブブロックに分割し、上記第２の画像上で上記各サブブロックと対応する領域とのマッチングを行って、両画像の座標の違いから上記各サブブロックの視差量を測定する下層マッチング手段と、
該下層マッチング手段で得られた上記各サブブロックの視差量と上記上層マッチング手段で得られた上記測定ブロックの視差量とを比較する視差量比較手段と、
該視差量比較手段での比較結果に基づいて上記下層マッチング手段での各サブブロックのマッチングがエラーか否かを判定するエラー判定手段と、
を有することを特徴とするものである。
【００１７】
請求項２に係る視差量測定装置によると、下層マッチング手段で得られた視差量と上層マッチング手段で得られた視差量とを比較して、下層マッチング手段での各サブブロックのマッチングがエラーか否かを判定するようにしたので、結果的に上層マッチング手段での測定ブロックのマッチングに信頼性に応じた重み付けを行うことができ、視差の統計量などを計算する際にエラーマッチングの影響を減らすことができる。
【００１８】
請求項３に係る発明は、請求項１または２に記載の視差量測定装置において、上記下層マッチング手段は、上記第１の画像上のサブブロックと対応する上記第２の画像上の領域との類似性を演算するサブブロック類似性演算手段と、上記第１の画像上の各サブブロックについて、上記サブブロック類似性演算手段での演算結果に基づいて類似性がもっとも高くなる上記第２の画像上の領域の位置および類似性を示す値を検出する手段とを含み、
上記上層マッチング手段は、上記サブブロック類似性演算手段での各サブブロックの類似性の演算結果を加算する加算手段と、該加算手段での加算結果に基づいて上記測定ブロックと対応する上記第２の画像上の領域との類似性がもっとも高くなる上記第２の画像上の領域の位置および類似性を示す値を検出する手段とを含むことを特徴とするものである。
【００１９】
請求項３に係る視差量測定装置によると、サブブロック類似性演算手段での各サブブロックの類似性の演算結果を加算手段で加算して、第２の画像上で測定ブロックと対応する領域の類似性を示す値を求めるようにしたので、上層マッチング手段の回路規模を縮小でき、処理時間も短縮することが可能となる。
【００２０】
【発明の実施の形態】
以下、本発明による視差量測定装置の実施の形態について、図１〜図１３を参照して説明する。
【００２１】
（第１実施の形態）
図１〜図５は第１実施の形態を示すもので、図１は全体の要部の回路構成を示すブロック図、図２は図１に示す視差測定部の要部の回路構成を示すブロック図、図３（ａ）および（ｂ）はエラーマッチング判定の原理を説明するための図、図４は視差量測定動作の概要を示すフローチャート、図５（ａ）および（ｂ）はマッチング演算処理の変形例を説明するための図である。
【００２２】
本実施の形態の視差量測定装置は、図１に示すように、ステレオ画像を構成する左右（ＬＲ）の画像１，２の一方、ここではＬ画像１を測定ブロック設定部３に、他方のＲ画像２を探索範囲／参照ブロック設定部４にそれぞれ供給する。測定ブロック設定部３では、予め設定した座標に基づいてＬ画像１上に所定数の測定ブロックを設定し、各測定ブロックの画像データをメモリに読み込むなどして基準データ５として順次出力する。また、探索範囲／参照ブロック設定部４では、Ｒ画像２上に測定ブロックと同じ座標（Ｘ，Ｙ）を中心とする探索範囲と、その探索範囲内で測定ブロックと同じ大きさの参照ブロックとを設定し、各参照ブロック内の画像データをメモリに読み込むなどして参照データ６として順次出力する。
【００２３】
基準データ５および参照データ６は、視差測定部９にそれぞれ供給し、ここでマッチング演算処理を行って各測定ブロックの視差量７を測定して出力すると共に、その視差量７を測定した際のマッチングがエラーマッチングであったか否かを判定して、その判定結果を表わすエラーコード８を出力する。
【００２４】
視差測定部９は、図２に示すように、上層マッチング部９Ａ、下層マッチング部９Ｂ、階層間比較回路９１６、およびエラー判定回路９１７を有している。
【００２５】
上層マッチング部９Ａは、従来と同様に測定ブロックのマッチング演算処理を行うもので、第１差分絶対値和演算回路９０１と第１最小値検出回路９０２とを有しており、第１差分絶対値和演算回路９０１において従来のブロックマッチングと同様に基準データ５と参照データ６との差分絶対値和を演算して最小値検出回路９０２に供給し、最小値検出回路９０２において差分絶対値和の演算結果をそれまでの最小値と比較して、大きければその値を捨て、小さければ最小値を入れ替えて、視差量ΔＸ１，ΔＹ１に現在のシフト量（参照データを切り出した座標Ｘ＋ΔＸ，Ｙ＋ΔＹと、探索範囲の中心座標Ｘ，Ｙとの差）を代入する。
【００２６】
また、下層マッチング部９Ｂは、測定ブロックをｎ個（本実施の形態では、ｎ＝４）に分割したサブブロックを設定し、その各々のサブブロックについてマッチング演算処理を行うもので、第１〜第４サブブロックの各々に対応する第２−１〜２−４差分絶対値和演算回路９０３〜９０６と、第２−１〜２−４最小値検出回路９０７〜９１０とを有しており、各サブブロックについて対応する第２−ｎ差分絶対値和演算回路および第２−ｎ最小値検出回路により、上述した上層マッチング部９Ａでのマッチング演算処理と同様のマッチング演算処理を行って視差量を測定する。
【００２７】
各測定ブロックについて、上記の一連の作業を参照ブロックのシフト量、つまり参照データを切り出す位置を変えて繰り返すことで、当該測定ブロックおよびその各サブブロックに対応する領域を探索して、測定ブロックに対する第１視差量９１１（ΔＸ１，ΔＹ１）、第１サブブロックに対する第２−１視差量９１２（ΔＸ２１，ΔＹ２１）、第２サブブロックに対する第２−２視差量９１３（ΔＸ２２，ΔＹ２２）、第３サブブロックに対する第２−３視差量９１４（ΔＸ２３，ΔＹ２３）、および第４サブブロックに対する第２−４視差量９１５（ΔＸ２４，ΔＹ２４）を決定し、第１視差量９１１を測定ブロックの視差量７（ＤｉｓＸ，ＤｉｓＹ）として出力すると共に、階層間比較回路９１６に供給し、第２−１〜２−４視差量９１２〜９１５を階層間比較回路９１６に供給する。
【００２８】
階層間比較回路９１６では、測定ブロック（上層マッチング部９Ａ）に対する第１視差量９１１と第１〜第４サブブロック（下層マッチング部９Ｂ）に対する第２−１〜２−４視差量９１２〜９１５とをそれぞれ比較して、それらの比較結果をエラー判定回路９１７に供給する。
【００２９】
エラー判定回路９１７では、階層間比較回路９１６での比較結果に基づいて、第２−１〜２−４視差量９１２〜９１５の少なくとも一つが、第１視差量９１１とほぼ等しい（差が規定値以内）ときは、ＯＫを意味するエラーコード８を出力し、第２−１〜２−４視差量９１２〜９１５のいずれもが第１視差量９１１と大きく異なるときは、ＮＧを意味するエラーコード８を出力する。これにより、エラーコード８がＮＧのときは、当該測定ブロックの視差量を無効として使用しないようにする。
【００３０】
次に、図３（ａ）および（ｂ）を参照してエラー判定の原理について説明する。図３（ａ）は、測定ブロックＭＢ内に異なる視差を持つ二つのオブジェクトＯＢ１，ＯＢ２が在る様子を示している。このような場合、オブジェクトＯＢ１に対応する領域とオブジェクトＯＢ２に対応する領域は異なるため、うまく対応場所を見つけられずにマッチングエラーとなることもあるが、どちらかのオブジェクトの情報が優位に働いてマッチングに成功することもある。
【００３１】
ここで、図３（ｂ）に示すように測定ブロックＭＢを縦横各々２分してなる第１〜第４サブブロックＳＢ１〜ＳＢ４を考えると、サブブロックＳＢ１とＳＢ３にはオブジェクトＯＢ１の情報が多く含まれ、サブブロックＳＢ２とＳＢ４にはオブジェクトＯＢ２の情報が多く含まれることになる。もし、サブブロックＳＢ１のマッチング結果と測定ブロックＭＢのマッチング結果とが等しければ、オブジェクトＯＢ１に対応する正しいマッチング結果を示していると考えられる。
【００３２】
図４は、上述した本実施の形態による視差量測定動作の概要を示すフローチャートである。先ず、ステレオ画像の一方の画像に対して測定ブロックを設定して（ステップＳ１）、他方の画像の探索範囲で測定ブロックのマッチング演算を行って第１視差量ΔＸ１，ΔＹ１を測定する（ステップＳ２）と共に、その測定ブロックに対して４個のサブブロックを設定して（ステップＳ３）、同様のマッチング演算を行って各サブブロックに対する第２−ｎ視差量ΔＸ２ｎ，ΔＹ２ｎ（ｎ＝１〜４）を測定する（ステップＳ４）。
【００３３】
その後、測定ブロックに対する視差量と各サブブロックに対する視差量とをそれぞれ比較する階層間比較を行って、｜ΔＸ２ｎ−ΔＸ１｜≦ａｘおよび｜ΔＹ２ｎ−ΔＹ１｜≦ａｙ（ａｘ，ａｙは規定値）であるか否かを判定する（ステップＳ５）。ここで、判定結果がＹＥＳの場合には上層すなわち測定ブロックの第１視差量ΔＸ１，ΔＹ１についてＯＫと判定し（ステップＳ６）、ＮＯの場合には第１視差量ΔＸ１，ΔＹ１についてＮＧと判定して（ステップＳ７）、第１視差量ΔＸ１，ΔＹ１とエラーの判定結果とを出力する（ステップＳ８）。
【００３４】
なお、本実施の形態において、上層マッチング部９Ａでの第１差分絶対値和の演算処理は、測定ブロックＭＢの全ての画素を対象とすることもできるが、例えば図５（ａ）に示すように、基準データや参照データを１画素ずつ間引いて行い、下層マッチング部９Ｂでの第２差分絶対値和の演算処理では、図５（ｂ）に示すように間引かないようにすることもできる。このようにすれば、第１および第２差分絶対値和演算回路での計算量を等しくできるので、回路規模を同じにすることができる。
【００３５】
また、サブブロックの数は、４つに限らず、２つ以上の任意の数とすることができる。さらに、測定ブロックのサイズ（画素数）は、例えば図５では１２×１２の偶数としたが、奇数とすることもできる。なお、測定ブロックサイズを奇数とする場合には、サブブロックは隣接するサブブロック同士が１ラインずつ重なるように設定すればよい。さらに、マッチング演算処理では、対応領域を１画素または複数画素ずつ飛び越して探索することもできる。このようにすれば、視差測定の分解能は落ちるが、回路規模の縮小や計算時間の短縮を図ることができる。また、入力する画像に対して解像度（画素数）削減やスムージングなどの前処理を行って、測定時間や回路規模を縮小したり、ノイズの影響を減らしたりすることもできる。さらに、下層マッチング部９Ｂを一対の差分絶対値和演算回路と最小値検出回路とで構成し、これを各サブブロックで順次使用してそれぞれの視差量を演算したり、あるいは上層マッチング部９Ａの一対の差分絶対値和演算回路と最小値検出回路とを共用して、各サブブロックの視差量を演算するよう構成することもできる。さらにまた、マッチングは、差分絶対値和に限らず、左右ブロックの類似性を示すものであれば、例えば相互相関のような他の演算量を用いることもできる。上記の各変形例は、後述の実施の形態にも適宜適用することができる。
【００３６】
（第２実施の形態）
図６および図７は第２実施の形態を示すもので、図６は視差測定部の要部の回路構成を示すブロック図、図７は視差量測定動作の概要を示すフローチャートである。本実施の形態は、視差測定部９の構成が第１実施の形態と異なるものである。すなわち、第１実施の形態では上層マッチング部９Ａに第１差分絶対値和演算回路９０１を設けて測定ブロックの差分絶対値和を演算するようにしたが、本実施の形態では、図６に示すように第１差分絶対値和演算回路９０１に代えて加算回路９２０を設け、この加算回路９２０において下層マッチング部９Ｂの第２−１〜２−４差分絶対値和演算回路９０３〜９０６の出力を加算して、測定ブロックの差分絶対値和を演算するようにしたものである。
【００３７】
図６において、下層マッチング部９Ｂでは、第１実施の形態と同様に、第２−１〜２−４差分絶対値和演算回路９０３〜９０６でサブブロックの差分絶対値和を演算し、それらを対応する第２−１〜２−４最小値検出回路９０７〜９１０に供給してそれまでの最小値と比較し、小さければ最小値と視差量ΔＸ２ｎ，ΔＹ２ｎとを更新する。本実施の形態では、第２−１〜２−４差分絶対値和演算回路９０３〜９０６でそれぞれ演算される差分絶対値和を上層マッチング部９Ａの加算回路９２０にも供給する。
【００３８】
加算回路９２０では、入力される差分絶対値和の和を演算し、これを測定ブロックに対する第１差分絶対値和とする。この第１差分絶対値和は、第１実施の形態と同様に第１最小値検出回路９０２に供給して、それまでの最小値と比較し、小さければ最小値と視差量ΔＸ１，ΔＹ１とを更新する。
【００３９】
各測定ブロックについて、上記の一連の作業を参照データを切り出す位置を変えて繰り返し、当該測定ブロックおよびその各サブブロックに対するマッチング演算処理が終了したら、第１実施の形態と同様に、上層マッチング部９Ａでの第１視差量９１１（ΔＸ１，ΔＹ１）を測定ブロックの視差量７（ＤｉｓＸ，ＤｉｓＹ）として出力すると共に、階層間比較回路９１６において、測定ブロック（上層マッチング部９Ａ）に対する第１視差量９１１と第１〜第４サブブロック（下層マッチング部９Ｂ）に対する第２−１〜２−４視差量９１２〜９１５とをそれぞれ比較して、第２−１〜２−４視差量９１２〜９１５の少なくとも一つが、第１視差量９１１とほぼ等しい（差が規定値以内）ときは、エラー判定回路９１７からＯＫを意味するエラーコード８を出力し、第２−１〜２−４視差量９１２〜９１５のいずれもが第１視差量９１１と大きく異なるときは、エラー判定回路９１７からＮＧを意味するエラーコード８を出力する。
【００４０】
図７は、第２実施の形態による視差量測定動作の概要を示すフローチャートである。先ず、ステレオ画像の一方の画像に対する測定ブロックの設定（ステップＳ１１）およびサブブロックの設定（ステップＳ１２）が終了したら、サブブロックに対する参照データを設定して（ステップＳ１３）、サブブロックのマッチング演算処理を行い、各サブブロックの差分絶対値和を算出する（ステップＳ１４）と共に、その最小値を検出して各サブブロックに対する第２−ｎ視差量ΔＸ２ｎ，ΔＹ２ｎ（ｎ＝１〜４）を更新する（ステップＳ１５）。
【００４１】
ステップＳ１４で算出される各サブブロックの差分絶対値和は、加算することで測定ブロックの差分絶対値和を算出し（ステップＳ１６）、その差分絶対値和の最小値を検出して測定ブロックに対する第１視差量ΔＸ１，ΔＹ１を更新する（ステップＳ１７）。
【００４２】
上記のステップＳ１３からステップＳ１７までの処理は、ステップＳ１８においてサブブロックのマッチング演算が終了するまで繰り返し、マッチング演算が終了したら、測定ブロックに対する第１視差量ΔＸ１，ΔＹ１と各サブブロックに対する第２−ｎ視差量ΔＸ２ｎ，ΔＹ２ｎとをそれぞれ比較する階層間比較を行って、｜ΔＸ２ｎ−ΔＸ１｜≦ａｘおよび｜ΔＹ２ｎ−ΔＹ１｜≦ａｙ（ａｘ，ａｙは規定値）であるか否かを判定する（ステップＳ１９）。ここで、判定結果がＹＥＳの場合には上層すなわち測定ブロックの第１視差量ΔＸ１，ΔＹ１についてＯＫと判定し（ステップＳ２０）、ＮＯの場合には第１視差量ΔＸ１，ΔＹ１についてＮＧと判定して（ステップＳ２１）、第１視差量ΔＸ１，ΔＹ１とエラーの判定結果とを出力する（ステップＳ２２）。
【００４３】
本実施の形態によれば、第１差分絶対値和演算回路を用いることなく、第２−１〜２−４差分絶対値和演算回路９０３〜９０６から出力される各サブブロックの差分絶対値和を加算回路９２０で加算して測定ブロックに対する第１差分絶対値和を得るようにしたので、第１実施の形態に比べ回路規模を縮小できると共に、処理時間も短くできる。
【００４４】
なお、本実施の形態において、ブロック内の画素や探索範囲を間引く場合には、上層および下層の間引きが等しくなる。
【００４５】
（第３実施の形態）
図８〜図１０は第３実施の形態を示すもので、図８は全体の要部の回路構成を示すブロック図、図９は図８に示す視差測定部の要部の回路構成を示すブロック図、図１０は視差量測定動作の概要を示すフローチャートである。
【００４６】
本実施の形態の視差量測定装置は、図８に示すように、測定ブロック設定部３からの基準データ５および探索範囲／参照ブロック設定部４からの参照データ６に基づいて、視差測定部９から４つのサブブロックの視差量７０１〜７０４と、その各々のエラーコード８０１〜８０４とを出力するようにしたものである。
【００４７】
視差測定部９は、図９に示すように、上層マッチング部９Ａ、下層マッチング部９Ｂ、および第２−１〜２−４階層間比較／エラー判定回路９２１〜９２４を有している。
【００４８】
本実施の形態では、上層マッチング部９Ａおよび下層マッチング部９Ｂを第２実施の形態と同様に構成して、上層マッチング部９Ａで測定ブロックに対する第１視差量９１１を演算し、下層マッチング部９Ｂで各サブブロックに対する第２−１〜２−４視差量９１２〜９１５を演算する。第１視差量９１１は第２−１〜２−４階層間比較／エラー判定回路９２１〜９２４に供給し、第２−１〜２−４視差量９１２〜９１５は視差量７０１〜７０４として出力すると共に、対応する第２−１〜２−４階層間比較／エラー判定回路９２１〜９２４に供給する。
【００４９】
第２−１〜２−４階層間比較／エラー判定回路９２１〜９２４では、第２−１〜２−４視差量９１２〜９１５（下層マッチング部９Ａの結果）と第１視差量９１１（上層マッチング部９Ｂの結果）とをそれぞれ比較し、両者の差が規定範囲内であればＯＫを、両者の差が規定範囲外であればＮＧを意味するエラーコード８０１〜８０４を出力する。
【００５０】
図１０は、第３実施の形態による視差量測定動作の概要を示すフローチャートである。本実施の形態では、ステップＳ１１〜Ｓ１８で図７で説明したと同様の処理を行って、測定ブロックに対する第１視差量ΔＸ１，ΔＹ１と各サブブロックに対する第２−ｎ視差量ΔＸ２ｎ，ΔＹ２ｎ（ｎ＝１〜４）とを求めたら、第１視差量ΔＸ１，ΔＹ１と第２−ｎ視差量ΔＸ２ｎ，ΔＹ２ｎ（ｎ＝１〜４）とをそれぞれ階層間比較して、｜ΔＸ２ｎ−ΔＸ１｜≦ａｘおよび｜ΔＹ２ｎ−ΔＹ１｜≦ａｙ（ａｘ，ａｙは規定値）であるか否かを判定する（ステップＳ２３）。ここで、判定結果がＹＥＳの第２−ｎ視差量ΔＸ２ｎ，ΔＹ２ｎについては対応するエラーコードの内容をＯＫとし（ステップＳ２４）、ＮＯの第２−ｎ視差量ΔＸ２ｎ，ΔＹ２ｎについては対応するエラーコードの内容をＮＧとして（ステップＳ２５）、４つのサブブロックの視差量７０１〜７０４と、その各々のエラーコード８０１〜８０４とを出力する（ステップＳ２６）。
【００５１】
本実施の形態によれば、画像全体について視差の統計量を求める場合、各測定ブロックが全体に及ぼす影響の大きさを第１，第２実施の形態の場合よりも小さくできる。すなわち、第１，第２実施の形態の場合には、各測定ブロックの影響度は１か０となるが、本実施の形態では４，３，２，１，０の影響度を取り得ることになる。したがって、例えば４個のサブブロックが同じ視差を持っている場合には測定ブロックの影響度は４になるが、前景と背景との境界上にあるような測定ブロックでは、どちらにマッチングしても影響度は小さくなる。このような境界上の測定ブロックの視差測定結果は、測定ブロック内の一部に対しては正解だが、他の部分に対してはエラーである。
【００５２】
また、第１，第２実施の形態の場合、全くのエラーマッチングであっても、一つのサブブロックの結果が測定ブロックの視差結果とたまたま一致してしまうと、測定ブロック全体のマッチングがＯＫと判定されてエラーを検出し損ね、影響度が大きくなることが懸念されるが、本実施の形態では一致したサブブロックのみがマッチングＯＫと判定されるので、測定ブロックの影響度は低くなる。このように、本実施の形態では、サブブロックの信頼性によって各測定ブロックを重み付けすることができるので、一カ所のエラーが全体に及ぼす影響を軽減することができる。
【００５３】
なお、本実施の形態では、上層マッチング部９Ａを第２実施の形態と同様に加算回路９２０を用いて構成したが、第１実施の形態と同様に第１差分絶対値和演算回路を用いて構成することもできる。
【００５４】
（第４実施の形態）
図１１および図１２は第４実施の形態を示すもので、図１１は視差測定部の要部の回路構成を示すブロック図、図１２は図１１に示す特徴チェック部の構成を示すブロック図である。
【００５５】
図１１に示すように、本実施の形態では、第１実施の形態において、視差測定部９の上層マッチング部９Ａに測定ブロック内の特徴（明確な輝度変化）の有無をチェックする特徴チェック部１０を設けると共に、下層マッチング部９Ｂにも各サブブロックに対応して当該サブブロック内の特徴の有無をチャックする特徴チェック部１０を設ける。
【００５６】
各特徴チェック部１０は、図１２に示すように、エッジ抽出フィルタ１００１、二値化回路１００２、合計回路１００３および比較判定回路１００４を有し、基準データ５をエッジ抽出フィルタ１００１にかけてエッジを抽出し、その出力を二値化回路１００２で適正な閾値で二値化して、合計回路１００３で対応するブロックにおける二値化画像のエッジの画素数を合計し、その合計値を比較判定回路１００４において規定値と比較して、合計値が規定値よりも小さいときは当該ブロック内に特徴がないとしてＮＧを意味するエラーコードを出力し、合計値が規定値よりも大きいときは当該ブロック内に特徴があるとしてＯＫを意味するエラーコードを出力するように構成する。
【００５７】
上層マッチング部９Ａの特徴チェック部１０から出力される第１エラーコードおよび下層マッチング部９Ｂの各サブブロックに対応する特徴チェック部１０から出力される第２−１〜２−４エラーコードは階層間比較回路９１６に供給し、ここで例えば第２−１〜２−４エラーコードがＮＧのときは、当該ＮＧのサブブロックに対応する視差量と測定ブロックに対する第１視差量との比較を省略あるいはその比較結果を無視し、第1エラーコードがＮＧのときは、第２−１〜２−４エラーコードに拘わらず、エラー判定回路９１７でＮＧと判定される比較結果をエラー判定回路９１７に出力する。
【００５８】
このように構成すれば、測定ブロックに対する第１視差量と、各サブブロックに対する第２−１〜２−４視差量との階層間比較に基づいてエラーマッチングを判定する場合に比べて、より確実にエラーマッチングを減らすことができる。
【００５９】
このような特徴チェック部１０は、上記の第２実施の形態や第３実施の形態、あるいは後述する第５実施の形態において、マッチングを行って所定ブロックの視差量を求めるマッチング演算処理部にも有効に適用することができる。
【００６０】
なお、図１１では、特徴チェック部１０を対応するマッチング演算処理部に対して並列的に設けたが、マッチング処理の前に特徴チェックを行い、その結果がＮＧのときは対応するマッチング処理を省略するように構成することもできる。このように構成すれば、特徴の少ない画像を扱う場合に、演算時間を短縮することができる。
【００６１】
（第５実施の形態）
図１３は、第５実施の形態における視差測定部の要部の回路構成を示すブロック図である。本実施の形態は、第２実施の形態の４つのサブブロックから成る一つの測定ブロックを第３実施の形態のサブブロックの一つとする３層構成として、第２層の４ブロックの視差量をそれぞれ測定し、その各視差量に対応するブロックでのマッチングエラーを、当該ブロックの視差量とその上下層のブロックの視差量との階層間比較に基づいて判定するようにしたものである。
【００６２】
図１３では、図面を簡略化するため、第１層マッチング部９Ｃと、第１層ブロックの４個の第２層ブロックのうちの１個に対応する第２層マッチング部９Ｄ−１と、１６個の第３層ブロックのうちの１個の第２層ブロックに対応する４個の第３層ブロックからなる第３層マッチング部９Ｅ−１と、第２層マッチング部９Ｄ−１に対応する第２−１上位階層間比較／エラー判定回路９３０と、第３層マッチング部９Ｅ−１に対応する第２−１下位階層間比較回路９３１と、第２−１下位階層間比較回路９３１に対応するエラー判定回路９３２と、第２−１上位階層間比較／エラー判定回路９３０およびエラー判定回路９３２に対応する最終エラー判定回路９３３とを図示している。
【００６３】
第３層マッチング部９Ｅ−１は、４個の第３層ブロックの各々に対応する第３−１−１〜３−１−４差分絶対値和演算回路９３５〜９３８と、その各々の最小値を検出する第３−１−１〜３−１−４最小値検出回路９３９〜９４２とを有している。第２層マッチング部９Ｄ−１は、対応する第３層マッチング部９Ｅ−１の第３−１−１〜３−１−４差分絶対値和演算回路９３５〜９３８からの出力を加算する第２−１加算回路９４４と、その最小値を検出する第２−１最小値検出回路９４５とを有している。第１層マッチング部９Ｃは、第２層マッチング部９Ｄ−１を含む４個の第２層マッチング部の第２−１〜２−４加算回路からの出力を加算する第１加算回路９４６と、その最小値を検出する第１最小値検出回路９４７とを有している。
【００６４】
本実施の形態では、先ず、第２実施の形態と同様に、第３−１−１〜３−１−４差分絶対値和演算回路９３５〜９３８で第３層の対応する各ブロックの差分絶対値和を演算し、第３−１−１〜３−１−４最小値検出回路９３９〜９４２で差分絶対値和の演算結果をそれまでの最小値とそれぞれ比較して、小さければ対応する最小値と第３−１−１〜３−１−４視差量９５１〜９５４（ΔＸ３１１，ΔＹ３１１〜ΔＸ３１４，ΔＹ３１４）とを更新する。
【００６５】
また、第２−１加算回路９４４で第３−１−１〜３−１−４差分絶対値和演算回路９３５〜９３８の出力を加算して第２層の１個のブロックの差分絶対値和を得、第２−１最小値検出回路９４５でそれまでの最小値と比較して、小さければ最小値と第２−１視差量９５５（ΔＸ２１，ΔＹ２１）とを更新し、この第２−１最小値検出回路９４５での第２−１視差量９５５を第２層の当該ブロックにおける視差量７０１（ＤｉｓＸ１，ＤｉｓＹ１）として出力する。
【００６６】
さらに、第１加算回路９４６で第２−１加算回路９４４の出力、図示しない第２−２〜２−４加算回路の出力とを加算して第１層ブロックの差分絶対値和を得、第１最小値検出回路９３１でそれまでの最小値と比較して、小さければ最小値と第１視差量９５６（ΔＸ１，ΔＹ１）とを更新する。
【００６７】
第２−１下位階層間比較回路９３１では、第２層の第２−１視差量９５５と第３層の第３−１−１〜３−１−４視差量９５１〜９５４とをそれぞれ比較し、第３−１−１〜３−１−４視差量９５１〜９５４のいずれか一つが第２−１視差量９５５とほぼ等しい（差が規定値以内）ときは、エラー判定回路９３２からＯＫを意味するエラーコード８１１を出力する。これに対し、第３−１−１〜３−１−４視差量９５１〜９５４のいずれもが第２−１視差量９５５と大きく異なるときは、エラー判定回路９３２からＮＧを意味するエラーコード８１１を出力する。
【００６８】
一方、第２−１上位階層間比較／エラー判定回路９３０では、第２層の第２−１視差量９５５と第１層の第１視差量９５６とを比較して、両者がほぼ等しい（差が規定値以内）のときは、ＯＫを意味するエラーコード８１２を出力する。これに対し、両者が大きく異なるときは、ＮＧを意味するエラーコード８１２を出力する。最終エラー判定回路９３３では、エラーコード８１１およびエラーコード８１２のどちらかがＯＫのときは、ＯＫを意味するエラーコード８０１を出力する。
【００６９】
本実施の形態によれば、ブロックを３層構造として、下位の第２層と第３層との階層間比較に基づいてエラーマッチングを判定すると共に、上位の第１層と第２層との階層間比較に基づてエラーマッチングを判定して、いずれかがＯＫならＯＫと判定するようにしたので、画像の特徴が少ないときや下位のブロックサイズをかなり小さくした場合に、下層のブロックでは特徴チェックでエラーと判定されたり、上位との比較がうまくいかない場合があっても、上位の層との比較によってエラー判定を確実に行うことができる。したがって、視差が複雑であったり、種々の空間周波数が存在する場合にも、エラーマッチングを確実に判定することができる。
【００７０】
なお、本実施の形態では、ブロックを３階層としたが、さらに多くの階層を設定することもできる。
【００７１】
図１４は、本発明に係る視差量測定装置の応用例を示すもので、頭部装着型表示装置（ＨＭＤ）に適用した場合を示している。このＨＭＤは、映像表示コントローラ１３、ＨＭＤユニット１４、前処理部１５、評価量演算部１６、評価部１７、および制御信号出力部１８と、上記実施の形態で説明した測定ブロック設定部３、探索範囲／参照ブロック設定部４および視差測定部９からなる視差量測定装置とを有している。
【００７２】
図１４において、ステレオ映像信号は映像表示コントローラ１３に入力し、該映像表示コントローラ１３による制御のもとにＨＭＤユニット１４に表示する。ここで、ステレオ映像信号は、例えばゲーム機やビデオあるいはコンピュータなどの映像信号で、左右映像がフィールド毎に交互に伝送されるものであっても良いし、左右映像が１フィールド内に含まれているものであってもよい。
【００７３】
ＨＭＤユニット１４は、ユーザーの左右の目に対応する２つの表示部を含み、左目用の表示部には左映像を、右目用の表示部には右映像をそれぞれ表示することにより、ユーザーは立体的なステレオ映像を見ることができるようになっている。また、映像表示コントローラ１３により左右どちらかの映像のみを左右両方の表示部に表示するように制御することにより、ユーザーは通常の２Ｄ映像を見ることができるようになっている。なお、入力映像がステレオ映像でなく通常の２Ｄ映像の場合には、入力映像信号をそのまま左右両方の表示部に表示することにより、ユーザーは通常の２Ｄ映像を見ることができるようになっている。このような表示の切替は、映像表示コントローラ１３に切替スイッチを設けてユーザーが手動で切り替える場合もあれば、自動的に映像信号の種類を検出して切り替える場合もある。
【００７４】
ステレオ映像信号は前処理部１５にも入力し、ここで特定のタイミングで左右画像を各々のメモリに格納して、解像度変換、スムージングなど視差測定のための前処理を施す。その後、上記実施の形態で説明したと同様に、左画像上に複数の測定ブロックを設定し、各ブロックに対して右画像上から対応する部分を探索して視差測定部９で画像の視差を測定する。
【００７５】
視差測定部９から出力される視差量７およびエラーコード８は評価量演算部１６に入力し、ここで１画面分の測定ブロックに対する視差測定の結果を統合して、評価量を算出する。例えば、画面内の視差量の統計量（最大値や最頻値、あるいは平均値など）を演算した後、所定の規則に従って当該画像に対する評価値を与え、その評価値をそれまでの評価値に加算する。ここで、画像の評価値は、例えば視差の最大値に係数をかけて二乗したり、統計量に応じたランク付けを行う表を参照する等の所定の規則に従って求める。なお、統計量を演算する際には、エラーコード８を参照して、ＮＧを示すコードであればそのときの視差量は無視する。
【００７６】
評価量演算部１６で累積された評価値は、評価部１７で規定値と比較し、規定値を超えた場合には、制御信号出力部１８から映像表示コントローラ１３へ表示切替の指示信号を送出して、映像表示コントローラ１３において強制的に画像表示をステレオ映像表示から２Ｄ映像表示に切り替える。
【００７７】
このような制御を行うＨＭＤの利点について説明する。一般に、ステレオ映像は、視差量が大きすぎると見づらくなったり、立体感が損なわれたりするので、表示装置にあった適切な視差で見ることが望ましいが、特定の表示装置に最適化して作られた映像の視差は、別の表示装置では不適切になることがある。また、近年２Ｄ映像やゲーム映像をステレオ映像に変換する装置がいくつかあるが、設定が不適切だと大きな視差量の映像が連続して表示される場合もある。そこで、映像に含まれる視差量を監視し、大きな視差量が続く場合には、映像の設定が不適切である可能性が高いため、例えばステレオ表示を２Ｄ表示に切り替えることにより、ユーザーが気づかないまま不適切に表示された映像を見続けるのを避けることができる。
【００７８】
なお、上記の応用例では、累積された評価値が規定値を超えた場合に、制御信号出力部１８から映像表示コントローラ１３へ表示切替の指示信号を送出するようにしたが、表示の切替指示に換えて視差設定を確認するようユーザーに促すメッセージを表示させる信号を出力することもできる。また、例えば視差量の最頻値が適度な値になるように映像表示を制御することもできる。この場合には、映像信号の読み出し位置を左右でずらし、左右の映像表示を互いに逆方向にシフトさせればよい。また、評価量演算の際、エラー箇所の視差は無視するようにしたが、エラー箇所が多数の場合には評価量に特定の値を充てるようにすることもできる。
【００７９】
【発明の効果】
以上のように、本発明によれば、第１の画像に設定した測定ブロックを複数のサブブロックに分割し、測定ブロックおよび各サブブロックの各々について第２の画像上でマッチングを行ってそれぞれ視差量を求め、測定ブロックの視差量と各サブブロックの視差量との比較に基づいて、測定ブロックのマッチングがエラーか否か、あるいは各サブブロックのマッチングがエラーか否かを判定するようにしたので、視差測定に際してのエラーマッチングと正しいマッチングとを明確に切り分けて検出でき、視差の統計量などを計算する際に、エラーマッチングの影響を減らすことができる。
【図面の簡単な説明】
【図１】 本発明による視差量測定装置の第１実施の形態の全体の要部の回路構成を示すブロック図である。
【図２】 図１に示す視差測定部の要部の回路構成を示すブロック図である。
【図３】 第１実施の形態によるエラーマッチング判定の原理を説明するための図である。
【図４】 第１実施の形態による視差量測定動作の概要を示すフローチャートである。
【図５】 第１実施の形態におけるマッチング演算処理の変形例を説明するための図である。
【図６】 本発明による視差量測定装置の第２実施の形態における視差測定部の要部の回路構成を示すブロック図である。
【図７】 第２実施の形態による視差量測定動作の概要を示すフローチャートである。
【図８】 本発明による視差量測定装置の第３実施の形態の全体の要部の回路構成を示すブロック図である。
【図９】 図８に示す視差測定部の要部の回路構成を示すブロック図である。
【図１０】 第３実施の形態による視差量測定動作の概要を示すフローチャートである。
【図１１】 本発明による視差量測定装置の第４実施の形態における視差測定部の要部の回路構成を示すブロック図である。
【図１２】 図１１に示す特徴チェック部の構成を示すブロック図である。
【図１３】 本発明による視差量測定装置の第５実施の形態における視差測定部の要部の回路構成を示すブロック図である。
【図１４】 本発明に係る視差量測定装置を頭部装着型表示装置に適用した例を示すブロック図である。
【図１５】 ブロックマッチングによる視差量測定方法を説明するための図である。
【図１６】 同じく、ブロックマッチングによる視差量測定方法を説明するための図である。
【符号の説明】
３ 測定ブロック設定部
４ 探索範囲／参照ブロック設定部
９ 視差測定部
９Ａ 上層マッチング部
９Ｂ 下層マッチング部
９Ｃ 第１層マッチング部
９Ｄ−１ 第２層マッチング部
９Ｅ−１ 第３層マッチング部
１０ 特徴チェック部
９０１，９０３〜９０６，９３５〜９３８ 差分絶対値和演算回路
９０２，９０７〜９１０，９３９〜９４２，９４５，９４７ 最小値検出回路
９１６ 階層間比較回路
９１７ エラー判定回路
９２０，９４４，９４６ 加算回路
９２１〜９２４ 階層間比較／エラー判定回路
９３０ 上位階層間比較／エラー判定回路
９３１ 下位階層間比較回路
９３２ エラー判定回路
９３３ 最終エラー判定回路
Claims (3)
- 第１の画像および第２の画像からなるステレオ画像の上記第１の画像上に所定の測定ブロックを設定する測定ブロック設定手段と、
上記第２の画像上で上記測定ブロックと対応する領域とのマッチングを行って、両画像の座標の違いから上記測定ブロックの視差量を測定する上層マッチング手段と、
上記測定ブロックを複数のサブブロックに分割し、上記第２の画像上で上記各サブブロックと対応する領域とのマッチングを行って、両画像の座標の違いから上記各サブブロックの視差量を測定する下層マッチング手段と、
該下層マッチング手段で得られた上記各サブブロックの視差量と上記上層マッチング手段で得られた上記測定ブロックの視差量とを比較する視差量比較手段と、
該視差量比較手段での比較結果に基づいて上記上層マッチング手段でのマッチングがエラーか否かを判定するエラー判定手段と、
を有することを特徴とする視差量測定装置。 - 第１の画像および第２の画像からなるステレオ画像の上記第１の画像上に所定の測定ブロックを設定する測定ブロック設定手段と、
上記第２の画像上で上記測定ブロックと対応する領域とのマッチングを行って、両画像の座標の違いから上記測定ブロックの視差量を測定する上層マッチング手段と、
上記測定ブロックを複数のサブブロックに分割し、上記第２の画像上で上記各サブブロックと対応する領域とのマッチングを行って、両画像の座標の違いから上記各サブブロックの視差量を測定する下層マッチング手段と、
該下層マッチング手段で得られた上記各サブブロックの視差量と上記上層マッチング手段で得られた上記測定ブロックの視差量とを比較する視差量比較手段と、
該視差量比較手段での比較結果に基づいて上記下層マッチング手段での各サブブロックのマッチングがエラーか否かを判定するエラー判定手段と、
を有することを特徴とする視差量測定装置。 - 請求項１または２に記載の視差量測定装置において、
上記下層マッチング手段は、上記第１の画像上のサブブロックと対応する上記第２の画像上の領域との類似性を演算するサブブロック類似性演算手段と、上記第１の画像上の各サブブロックについて、上記サブブロック類似性演算手段での演算結果に基づいて類似性がもっとも高くなる上記第２の画像上の領域の位置および類似性を示す値を検出する手段とを含み、
上記上層マッチング手段は、上記サブブロック類似性演算手段での各サブブロックの類似性の演算結果を加算する加算手段と、該加算手段での加算結果に基づいて上記測定ブロックと対応する上記第２の画像上の領域との類似性がもっとも高くなる上記第２の画像上の領域の位置および類似性を示す値を検出する手段とを含むことを特徴とする視差量測定装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001046048A JP4537597B2 (ja) | 2001-02-22 | 2001-02-22 | 視差量測定装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001046048A JP4537597B2 (ja) | 2001-02-22 | 2001-02-22 | 視差量測定装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002247604A JP2002247604A (ja) | 2002-08-30 |
| JP4537597B2 true JP4537597B2 (ja) | 2010-09-01 |
Family
ID=18907743
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001046048A Expired - Fee Related JP4537597B2 (ja) | 2001-02-22 | 2001-02-22 | 視差量測定装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4537597B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10267623B2 (en) | 2015-03-17 | 2019-04-23 | Canon Kabushiki Kaisha | Distance information processing apparatus, imaging apparatus, distance information processing method and program |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4980089B2 (ja) * | 2007-01-31 | 2012-07-18 | 富士重工業株式会社 | ステレオ画像処理装置 |
| JP4958302B2 (ja) * | 2007-12-12 | 2012-06-20 | 独立行政法人情報通信研究機構 | 多視点画像奥行値抽出装置、その方法およびそのプログラム |
| JP5292364B2 (ja) | 2010-07-07 | 2013-09-18 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置および画像処理方法 |
| JP2012054862A (ja) | 2010-09-03 | 2012-03-15 | Sony Corp | 画像処理装置および画像処理方法 |
| JP5918684B2 (ja) * | 2012-10-29 | 2016-05-18 | 日立オートモティブシステムズ株式会社 | ステレオ画像処理装置及びステレオ画像処理方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04203908A (ja) * | 1990-11-29 | 1992-07-24 | Matsushita Electric Ind Co Ltd | ３次元データ獲得方法及び３次元データ獲得装置 |
| JP2001043496A (ja) * | 1999-07-30 | 2001-02-16 | Fuji Heavy Ind Ltd | フェールセーフ機能を有する車外監視装置 |
-
2001
- 2001-02-22 JP JP2001046048A patent/JP4537597B2/ja not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04203908A (ja) * | 1990-11-29 | 1992-07-24 | Matsushita Electric Ind Co Ltd | ３次元データ獲得方法及び３次元データ獲得装置 |
| JP2001043496A (ja) * | 1999-07-30 | 2001-02-16 | Fuji Heavy Ind Ltd | フェールセーフ機能を有する車外監視装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10267623B2 (en) | 2015-03-17 | 2019-04-23 | Canon Kabushiki Kaisha | Distance information processing apparatus, imaging apparatus, distance information processing method and program |
| US10948281B2 (en) | 2015-03-17 | 2021-03-16 | Canon Kabushiki Kaisha | Distance information processing apparatus, imaging apparatus, distance information processing method and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002247604A (ja) | 2002-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101862889B1 (ko) | 입체 카메라를 위한 자동초점 | |
| US7372987B2 (en) | Three-dimensional image evaluation unit and display device using the unit | |
| CN107507239B (zh) | 一种图像分割方法及移动终端 | |
| US8897545B2 (en) | Apparatus and method for determining a confidence value of a disparity estimate | |
| EP2549762A1 (en) | Stereovision-image position matching apparatus, stereovision-image position matching method, and program therefor | |
| EP2509326A2 (en) | Analysis of 3D video | |
| US9406140B2 (en) | Method and apparatus for generating depth information | |
| US20140098201A1 (en) | Image processing apparatus and method for performing image rendering based on orientation of display | |
| CN101610414A (zh) | 图像处理装置、图像处理方法及程序 | |
| JP4537597B2 (ja) | 視差量測定装置 | |
| JP3008875B2 (ja) | 被写体抽出装置 | |
| JP2003061116A (ja) | 立体映像表示装置 | |
| CN104243970A (zh) | 基于立体视觉注意力机制和结构相似度的3d绘制图像的客观质量评价方法 | |
| EP2105882A1 (en) | Image processing apparatus, image processing method, and program | |
| JP2802034B2 (ja) | 三次元物体の計測方法 | |
| JP2002271818A (ja) | 視差量測定装置 | |
| US20020085747A1 (en) | Image processing apparatus and method, image capturing apparatus, and information provision medium | |
| JP5741353B2 (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
| JP2807137B2 (ja) | 立体形状検出方法 | |
| KR20110025020A (ko) | 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법 | |
| CN112233164B (zh) | 一种视差图错误点识别与校正方法 | |
| CN104639934A (zh) | 立体图像反视处理方法及显示装置 | |
| JPH10289315A (ja) | 視差算出装置、距離算出装置およびこれらの方法 | |
| JP5459231B2 (ja) | 擬似立体画像生成装置、擬似立体画像生成プログラム及び擬似立体画像表示装置 | |
| KR20140010674A (ko) | 스테레오 카메라를 이용한 장애물 검출 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080213 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100519 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100525 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100618 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130625 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |