JP2001128195A - 立体画像補正装置、立体画像表示装置および立体画像補正処理プログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 歪みを生じる立体画像または疲労感および不
快感を誘発する立体画像を補正し、正しい奥行き知覚を
得ることを可能とする立体画像補正装置、それを備えた
立体画像表示装置および立体画像補正処理プログラムを
記録した記録媒体を提供することである。 【解決手段】 視差抽出部２１は左眼用画像ＶＬと右眼
用画像ＶＲとの間の視差量を抽出する。視差パターン判
定部２２は視差抽出部２１により抽出された視差量に基
づいて左眼用画像ＶＬと右眼用画像ＶＲとの間の視差量
が予め定められた複数の視差パターンのいずれに該当す
るかを判定する。画像補正部２３は視差パターン判定部
２２の判定結果に基づいて左眼用画像ＶＬおよび右眼用
画像ＶＲの少なくとも一方を補正し、補正後の左眼用画
像ＡＬおよび右眼用画像ＡＲを出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、立体画像を補正す
るための立体画像補正装置、それを備えた立体画像表示
装置および立体画像補正処理プログラムを記録した記録
媒体に関する。

【０００２】

【従来の技術】画像を立体的に表示するためには、２台
のカメラを人間の両眼の間隔程度に離して同一の被写体
を撮像し、２台のカメラからそれぞれ左眼用画像および
右眼用画像を得る。また、コンピュータグラフィックス
技術を用いて左眼用画像および右眼用画像を人工的に作
成することもできる。このようにして得られた左眼用画
像および右眼用画像を２台の画像表示装置を用いてスク
リーン（表示画面）上で水平方向に互いにずれた位置に
表示する。これらの左眼用画像および右眼用画像が立体
画像を構成し、観察者は奥行き視覚を得ることができ
る。

【０００３】

【発明が解決しようとする課題】しかしながら、上記の
ように、左眼用画像および右眼用画像を２台のカメラか
ら得る場合には、カメラの調整の不備により左眼用画像
および右眼用画像が互いに回転ずれを生じたり、左眼用
画像および右眼用画像の大きさが互いに異なることがあ
る。このような左眼用画像および右眼用画像により構成
される立体画像は、観察者に疲労感や不快感を誘発する
原因となる。

【０００４】また、左眼用画像および右眼用画像をコン
ピュータグラフィックス技術により作成する場合には、
左眼用画像および右眼用画像の各画素が垂直方向に位置
ずれを生じたり、左眼用画像および右眼用画像の垂直方
向の大きさが互いに異なることがある。このような左眼
用画像および右眼用画像により構成される立体画像は歪
んで見える。

【０００５】また、時間経過とともに互いに水平方向に
移動するような左眼用画像および右眼用画像が作成され
る場合もある。このような左眼用画像および右眼用画像
により構成される立体画像は、小さな視野角での観察下
（狭視野観察下）においては前後に動いて見え、大きな
視野角での観察下（広視野観察下）においては前後に動
いて見えないが、前後運動に相当する立体刺激が無自覚
の姿勢変化を引き起こし、疲労感や不快感を誘発する原
因となる。

【０００６】本発明の目的は、歪みを生じる立体画像ま
たは疲労感および不快感を誘発する立体画像を補正し、
正しい奥行き知覚を得ることを可能にする立体画像補正
装置、それを備えた立体画像表示装置および立体画像補
正処理プログラムを記録した記録媒体を提供することで
ある。

【０００７】

【課題を解決するための手段および発明の効果】第１の
発明に係る立体画像補正装置は、左眼用画像と右眼用画
像との間の視差量を抽出する抽出手段と、抽出手段によ
り抽出された視差量に基づいて左眼用画像と右眼用画像
との間の視差パターンを判定する判定手段と、判定手段
により判定された視差パターンに基づいて左眼用画像お
よび右眼用画像の少なくとも一方を補正する補正手段と
を備えたものである。

【０００８】本発明に係る立体画像補正装置において
は、左眼用画像と右眼用画像との間の視差量が抽出さ
れ、抽出された視差量に基づいて左眼用画像と右眼用画
像との間の視差パターンが判定される。そして、その視
差パターンに基づいて左眼用画像および右眼用画像の少
なくとも一方が補正される。それにより、正常な左眼用
画像および右眼用画像が得られる。したがって、左眼用
画像および右眼用画像により構成される立体画像が歪み
を生じず、かつ疲労感および不快感を誘発することもな
い。その結果、観察者が正しい奥行き知覚を得ることが
できるとともに、生体へ悪い影響を与えると思われる立
体刺激が不用意に生じることが防止される。

【０００９】抽出手段は、左眼用画像および右眼用画像
のうちの一方の画像における各画素を基準として他方の
画像における各画素の水平方向の視差および垂直方向の
視差を抽出し、判定手段は、抽出手段により抽出された
水平方向の視差および垂直方向の視差に基づいて一方の
画像に対する他方の画像の視差パターンが予め定められ
た複数の視差パターンのいずれに該当するかを判定し、
補正手段は、左眼用画像と右眼用画像との間に判定手段
により判定された視差パターンがなくなるように左眼用
画像および右眼用画像のうち少なくとも一方の画像にお
ける各画素の値を補正してもよい。

【００１０】この場合、左眼用画像および右眼用画像の
うち一方の画像の各画素を基準として他方の画像の各画
素の水平方向および垂直方向の視差が抽出され、それら
の視差に基づいて一方の画像に対する他方の画像の視差
パターンが複数の視差パターンのいずれに該当するかが
判定される。そして、判定された視差パターンがなくな
るように左眼用画像および右眼用画像の少なくとも一方
の画像における各画素の値が補正される。それにより、
正常な左眼用画像および右眼用画像が得られる。

【００１１】複数の視差パターンは、左眼用画像および
右眼用画像が相対的に回転する回転視差を生じる第１の
視差パターン、左眼用画像および右眼用画像の各画素が
相対的に垂直方向に移動する垂直剪断視差を生じる第２
の視差パターン、左眼用画像および右眼用画像が水平方
向および垂直方向に相対的に拡大または縮小する大きさ
視差を生じる第３の視差パターン、左眼用画像および右
眼用画像が垂直方向に相対的に拡大または縮小する垂直
大きさ視差を生じる第４の視差パターン、および左眼用
画像および右眼用画像が相対的に時間的に水平方向に移
動する奥行き運動刺激を生じる第５の視差パターンのう
ちの少なくとも１つであってもよい。

【００１２】この場合、左眼用画像および右眼用画像の
うち一方の画像に対する他方の画像の視差パターンが第
１〜第５の視差パターンのうちいずれに該当するかが判
定され、判定された視差パターンがなくなるように左眼
用画像および右眼用画像の少なくとも一方が補正され
る。

【００１３】第２の発明に係る立体画像補正装置は、左
眼用画像および右眼用画像を出力する画像出力手段と、
画像出力手段により出力される左眼用画像および右眼用
画像の少なくとも一方を補正する第１の発明に係る立体
画像補正装置と、立体画像補正装置から出力される左眼
用画像および右眼用画像を表示する表示手段とを備えた
ものである。

【００１４】この場合、画像出力手段により出力された
左眼用画像および右眼用画像が立体画像補正装置により
補正され、補正された左眼用画像および右眼用画像が表
示手段により表示される。このようにして、歪みを生じ
る視差パターンまたは疲労感および不快感を誘発する視
差パターンが補正された左眼用画像および右眼用画像が
表示されるので、表示された立体画像が歪みを生じず、
かつ疲労感および不快感を誘発することもない。したが
って、観察者が正しい奥行き知覚を得ることができると
ともに、生体へ悪い影響を与えると思われる立体刺激が
不用意に生じることが防止される。

【００１５】第３の発明に係る立体画像補正処理プログ
ラムを記録した記録媒体は、演算処理装置が読み込み可
能な立体画像補正処理プログラムを記録した記録媒体で
あって、立体画像補正処理プログラムは、左眼用画像と
右眼用画像との間の視差量を抽出する処理と、抽出され
た視差量に基づいて左眼用画像と右眼用画像との間の視
差パターンを判定する処理と、判定された視差パターン
に基づいて左眼用画像および右眼用画像の少なくとも一
方を補正する処理とを演算処理装置に実行させるもので
ある。

【００１６】本発明に係る立体画像補正処理プログラム
を記録した記録媒体によれば、左眼用画像と右眼用画像
との間の視差量が抽出され、抽出された視差量に基づい
て左眼用画像と右眼用画像との間の視差パターンが判定
される。そして、判定された視差パターンに基づいて左
眼用画像および右眼用画像の少なくとも一方が補正され
る。それにより、左眼用画像および右眼用画像により構
成される立体画像が歪みを生じず、かつ疲労感および不
快感を誘発することもない。したがって、観察者が正し
い奥行き知覚を得ることができるとともに、生体へ悪い
影響を与えると思われる立体刺激が不用意に生じること
が防止される。

【００１７】

【発明の実施の形態】図１は本発明の一実施例における
立体画像補正装置を備えた立体画像表示装置の構成を示
すブロック図である。

【００１８】図１において、立体画像表示装置は、スク
リーン（表示画面）１０、左眼用画像生成回路１１Ｌ、
右眼用画像生成回路１１Ｒ、立体画像補正装置１２、左
眼用画像表示装置１３Ｌ、および右眼用画像表示装置１
３Ｒを含む。

【００１９】左眼用画像生成回路１１Ｌおよび右眼用画
像生成回路１１Ｒは、予め２台のカメラにより撮像され
た左眼用画像および右眼用画像または予めコンピュータ
グラフィックス技術により作成された左眼用画像および
右眼用画像を記憶する。これらの左眼用画像生成回路１
１Ｌおよび右眼用画像生成回路１１Ｒは、立体画像補正
装置１２にそれぞれ左眼用画像ＶＬおよび右眼用画像Ｖ
Ｒを与える。

【００２０】立体画像補正装置１２は、後述する立体画
像補正処理により左眼用画像ＶＬおよび右眼用画像ＶＲ
の少なくとも一方を補正し、補正後の左眼用画像ＡＬお
よび右眼用画像ＡＲをそれぞれ左眼用画像表示装置１３
Ｌおよび右眼用画像表示装置１３Ｒに与える。

【００２１】左眼用画像表示装置１３Ｌおよび右眼用画
像表示装置１３Ｒは、例えば投射型プロジェクタからな
り、補正後の左眼用画像ＡＬおよび右眼用画像ＡＲをス
クリーン１０に表示する。

【００２２】観察者２０は、スクリーン１０に表示され
た左眼用画像および右眼用画像により構成される立体画
像をスクリーン１０の前面側から観察することができ
る。

【００２３】本実施例では、左眼用画像生成回路１１Ｌ
および右眼用画像生成回路１１Ｒが画像出力手段を構成
し、左眼用画像表示装置１３Ｌ、右眼用画像表示装置１
３Ｒおよびスクリーン１０が表示手段を構成する。

【００２４】図２は図１の立体画像補正装置１２の構成
を示すブロック図である。図２に示すように、立体画像
補正装置１２は、視差抽出部２１、視差パターン判定部
２２および画像補正部２３を含む。

【００２５】視差抽出部２１は、図１の左眼用画像生成
回路１１Ｌおよび右眼用画像生成回路１１Ｒから与えら
れる左眼用画像ＶＬと右眼用画像ＶＲとの間の視差量を
抽出する。本実施例では、視差抽出部２１は、左眼用画
像ＶＬに対する右眼用画像ＶＲの視差量を算出する。

【００２６】視差パターン判定部２２は、視差抽出部２
１により抽出された視差量に基づいて左眼用画像ＶＬと
右眼用画像ＶＲとの間の視差量が予め定められた複数の
視差パターンのいずれに該当するかを判定する。本実施
例では、視差パターン判定部２２は、左眼用画像ＶＬに
対する右眼用画像ＶＲの視差パターンを判定する。

【００２７】画像補正部２３は、視差パターン判定部２
２の判定結果に基づいて左眼用画像ＶＬおよび右眼用画
像ＶＲの少なくとも一方を補正し、補正後の左眼用画像
ＡＬおよび右眼用画像ＡＲを図１の左眼用画像表示装置
１３Ｌおよび右眼用画像表示装置１３Ｒに出力する。本
実施例では、画像補正部２３は、視差パターン判定部２
２により判定された視差パターンに基づいて右眼用画像
ＶＲを補正する。図１の立体画像補正装置１２の各部の
詳細な動作は後述する。

【００２８】本実施例では、視差抽出部２１が抽出手段
に相当し、視差パターン判定部２２が判定手段に相当
し、画像補正部２３が補正手段に相当する。

【００２９】図３は図２の立体画像補正装置１２のハー
ドウェア構成を示すブロック図である。立体画像補正装
置１２は、ＣＰＵ（中央演算処理装置）１００、ＲＯＭ
（リードオンリメモリ）１０１、ＲＡＭ（ランダムアク
セスメモリ）１０２および外部記憶装置１０３により構
成される。

【００３０】ＲＯＭ１０１には、後述する視差抽出処
理、視差パターン判定処理および画像補正処理からなる
画像補正処理を行う立体画像補正処理プログラムが格納
される。

【００３１】外部記憶装置１０３は、ハードディスク装
置、フロッピィディスク装置、ＣＤ−ＲＯＭ等の記録媒
体からなり、各種データを記憶する。ＣＰＵ１００は、
ＲＯＭ１０１に格納された立体画像補正プログラムをＲ
ＡＭ１０２上で実行する。それにより、図２の視差抽出
部２１、視差パターン判定部２２および画像補正部２３
の機能が実現される。

【００３２】なお、立体画像補正処理プログラムを外部
記憶装置１０３に格納し、ＣＰＵ１００が外部記憶装置
１０３に格納された立体画像補正処理プログラムをＲＡ
Ｍ１０２上で実行してもよい。また、通信回線等の通信
媒体を介して受信した立体画像補正処理プログラムをＲ
ＡＭ１０２上で実行してもよい。この場合には、通信媒
体が記録媒体となる。

【００３３】以下、図２の立体画像補正装置１２の動作
を説明する。図４は正常な画像および複数の視差パター
ンの例を示す図である。

【００３４】図４（ａ）に正常な矩形の立体画像を示
す。矩形の立体画像は、同一寸法を有する矩形の左眼用
画像ＶＬおよび右眼用画像ＶＲにより構成される。左眼
用画像ＶＬと右眼用画像ＶＲとは水平方向にずれた位置
に表示される。それにより、矩形の画像の奥行き知覚が
得られる。

【００３５】なお、以下に説明する視差パターンを生じ
る立体画像においても、図４（ａ）に示した正常な画像
と同様に左眼用画像ＶＬと右眼用画像ＶＲとは水平方向
にずれた位置に表示されるが、図４（ｂ）〜図４（ｆ）
においては、左眼用画像ＶＬと右眼用画像ＶＲとの間の
視差パターンを分かり易くするために左眼用画像ＶＬと
右眼用画像ＶＲとを水平方向の同じ位置に示している。

【００３６】図４（ｂ）に回転視差を生じる立体画像を
示す。左眼用画像ＶＬと右眼用画像ＶＲとは回転中心Ｃ
Ｒを基準として相対的に回転ずれを生じている。このよ
うな回転視差を生じる立体画像は人間の頭脳で補正され
て正常に見える場合が多いが、疲労感や不快感を誘発す
る原因となる。以下、図４（ｂ）の回転視差を生じる立
体画像を第１の視差パターンと呼ぶ。

【００３７】図４（ｃ）に垂直剪断視差を生じる立体画
像を示す。左眼用画像ＶＬの各画素と右眼用画像ＶＲの
各画素とが垂直線ＣＬを基準として相対的に垂直方向に
ずれ、左眼用画像ＶＬおよび右眼用画像ＶＲが菱形に歪
んでいる。このような垂直剪断視差を生じる立体画像
は、例えば上部が後方に傾き、下部が手前に傾いたよう
に見える。以下、図４（ｃ）の垂直剪断視差を生じる立
体画像を第２の視差パターンと呼ぶ。

【００３８】図４（ｄ）に大きさ視差を生じる立体画像
を示す。左眼用画像ＶＬと右眼用画像ＶＲとが拡大縮小
中心ＧＲを基準として水平方向および垂直方向に相対的
に拡大または縮小されている。このような大きさ視差を
生じる立体画像は人間の頭脳で補正されて正常に見える
場合が多いが、疲労感や不快感を誘発する原因となる。
以下、図４（ｄ）の大きさ視差を生じる立体画像を第３
の視差パターンと呼ぶ。

【００３９】図４（ｅ）に垂直大きさ視差を生じる立体
画像を示す。左眼用画像ＶＬと右眼用画像ＶＲとが拡大
縮小線ＧＬを基準として垂直方向にのみ相対的に拡大ま
たは縮小されている。垂直大きさ視差を生じる立体画像
は、鉛直方向の軸に関して回転して見える。以下、図４
（ｅ）の垂直大きさ視差を生じる立体画像を第４の視差
パターンと呼ぶ。

【００４０】図４（ｆ）に奥行き運動刺激を生じる立体
画像を示す。左眼用画像ＶＬと右眼用画像ＶＲとが時間
的に水平方向に相対的に移動する。奥行き運動刺激を生
じる立体画像は、狭視野観察下において前後に移動する
ように見え、広視野観察下においては静止して見える
が、前後運動に相当する立体刺激が無自覚な姿勢変化を
引き起こし、疲労感や不快感を誘発する原因となる。以
下、図４（ｆ）の奥行き運動刺激を生じる立体画像を第
５の視差パターンと呼ぶ。

【００４１】図５は図２の立体画像補正装置１２の立体
画像補正処理を示すフローチャートである。まず、図５
のフローチャートを参照しながら図２の立体画像補正装
置１２の全体の動作を概略的に説明する。

【００４２】ここでは、左眼用画像ＶＬおよび右眼用画
像ＶＲの各々が水平方向にＭ個および垂直方向にＮ個の
画素を有するものとする。ＭおよびＮはそれぞれ任意の
整数であり、例えばＭ＝６４０、Ｎ＝４８０である。

【００４３】まず、図２の視差抽出部２１は、左眼用画
像ＶＬの画素アドレスを基準とする右眼用画像ＶＲの垂
直視差ｄｖ（ｍ，ｎ）および水平視差ｄｈ（ｍ，ｎ）を
画素ごとに算出する（ステップＳ１）。ここで、ｍは水
平方向の画素アドレスであり、ｍ＝１，２，…，Ｍであ
る。また、ｎは垂直方向の画素アドレスであり、ｎ＝
１，２，…，Ｎである。

【００４４】視差量の算出方法については公知の方法を
用いる。本実施例では、画素ごとに視差量を抽出する代
表的な手法として単純ブロックマッチング法または適応
型ウィンドウによるステレオマッチング法を用いる。適
応型ウィンドウによるステレオマッチング法は、例えば
電子情報通信学会論文誌、D-II,Vol.J74-D-II No.6,pp.
669-677(1991) に記載されている。

【００４５】次に、図２の視差パターン判定部２２は、
視差抽出部２１により算出された右眼用画像ＶＲの垂直
視差ｄｖ（ｍ，ｎ）および水平視差ｄｈ（ｍ，ｎ）を用
いて視差パターンを判定する（ステップＳ２）。本実施
例では、左眼用画像ＶＬに対する右眼用画像ＶＲの視差
パターンが図４に示した第１〜第５の視差パターンのう
ちいずれに該当するかを判定する。

【００４６】第１の視差パターンおよび第２の視差パタ
ーンでは、垂直視差が、ある水平位置を基準としてその
水平位置からの水平方向の距離に比例してほぼ直線的に
増大する。したがって、垂直視差の水平方向における変
化を調べることにより、第１の視差パターンまたは第２
の視差パターンに該当するか否かを判定することができ
る。また、第２の視差パターンでは、異なる複数の垂直
位置において垂直視差が０となる水平位置が等しくな
り、かつ全ての水平視差がほぼ０となる。したがって、
異なる複数の垂直位置において垂直視差が０となる水平
位置が等しいか否かまたは全ての水平視差がほぼ０とな
るか否かを調べることにより、第１の視差パターンと第
２の視差パターンとを区別することができる。

【００４７】第３の視差パターンおよび第４の視差パタ
ーンでは、垂直視差が、ある垂直位置を基準としてその
垂直位置からの垂直方向の距離に比例してほぼ直線的に
増大する。したがって、垂直視差の垂直方向における変
化を調べることにより、第３の視差パターンまたは第４
の視差パターンに該当するか否かを判定することができ
る。また、第４の視差パターンでは、全ての水平視差が
ほぼ０となる。したがって、全ての水平視差がほぼ０と
なるか否かを調べることにより、第３の視差パターンと
第４の視差パターンとを区別することができる。

【００４８】第５の視差パターンでは、ある期間内で全
ての水平視差が時間経過とともにほぼ直線的に増大また
は減少する。したがって、全ての水平視差の平均値が最
大となる時点から全ての水平視差の平均値が最小となる
時点までの期間内での全ての水平視差の平均値の時間的
な変化を調べることにより、第５の視差パターンに該当
するか否かを判定することができる。視差パターンの判
定方法の詳細は後述する。

【００４９】次に、図２の画像補正部２３は、視差パタ
ーン判定部２２により判定された視差パターンに基づい
て右眼用画像ＶＲを補正する（ステップＳ３）。本実施
例では、左眼用画像ＶＬに対する右眼用画像ＶＲの視差
パターンがなくなるように右眼用画像ＶＲの各画素の値
を補正する。右眼用画像ＶＲの補正方法の詳細は後述す
る。

【００５０】図６、図７、図８および図９は視差パター
ン判定処理を示すフローチャートである。また、図１０
は左眼用画像ＶＬを示す模式図である。

【００５１】図１０に示すように、左眼用画像ＶＬはＭ
×Ｎ個の画素からなる。本実施例では、左眼用画像ＶＬ
は６４０×４８０画素からなる。右眼用画像ＶＲの構成
も左眼用画像ＶＬの構成と同様である。

【００５２】まず、左眼用画像ＶＬをＩ×Ｊ個のブロッ
クＢＫに分割する（ステップＳ１１）。ここで、ＩはＭ
の約数であり、ＪはＮの約数である。本実施例では、Ｉ
＝３２、Ｊ＝２４とする。左眼用画像ＶＬの任意のブロ
ックＢＫの水平方向のブロックアドレスをｉで表わし、
垂直方向のブロックアドレスをｊで表す。ｉ＝１，２，
…，Ｉであり、ｊ＝１，２，…，Ｊである。

【００５３】次に、各ブロックＢＫ内に含まれる複数の
画素の垂直視差ｄｖ（ｍ，ｎ）の平均値をブロック平均
垂直視差Ｄｖ（ｉ，ｊ）として算出し、各ブロックＢＫ
内に含まれる複数の画素の水平視差ｄｈ（ｍ，ｎ）の平
均値をブロック平均水平視差Ｄｈ（ｉ，ｊ）として算出
する（ステップＳ１２）。

【００５４】次に、Ｊ／２行目のＩ個のブロックＢＫの
ブロック平均垂直視差Ｄｖ（ｉ，Ｊ／２）を次式（１）
の直線で近似し、直線当てはめ精度Ｃ１を求める（ステ
ップＳ１３）。

【００５５】 Ｄｖ（ｉ，Ｊ／２）＝ａ１・ｉ＋ｂ１ …（１） ここで、係数ａ１は垂直剪断視差率を表し、直線当ては
め精度Ｃ１は上式（１）の直線への近似の精度を示す。
上式（１）は、ブロック平均垂直視差Ｄｖ（ｉ，Ｊ／
２）の水平方向における変化を表す。本実施例では、１
２行目の３２個のブロックＢＫのブロック平均垂直視差
Ｄｖ（ｉ，１２）を上式（１）の直線で近似する。

【００５６】次に、直線当てはめ精度Ｃ１が所定値Ｋ１
以下であるか否かを判別する（ステップＳ１４）。直線
当てはめ精度Ｃ１が所定値Ｋ１以下の場合には、Ｄｖ
（ｉ，Ｊ／２）＝０となる水平方向のブロックアドレス
ｉ１を上式（１）から求める（ステップＳ１５）。ブロ
ックアドレスｉ１は次のようになる。

【００５７】ｉ１＝−ｂ１／ａ１ 次に、Ｊ／４行目のＩ個のブロックＢＫのブロック平均
垂直視差Ｄｖ（ｉ，Ｊ／４）を次式（２）の直線で近似
し、直線当てはめ精度Ｃ２を求める（ステップＳ１
６）。

【００５８】 Ｄｖ（ｉ，Ｊ／４）＝ａ２・ｉ＋ｂ２ …（２） ここで、係数ａ２は垂直剪断視差率を表し、直線当ては
め精度Ｃ２は上式（２）の直線への近似の精度を示す。
上式（２）は、ブロック平均垂直視差Ｄｖ（ｉ，Ｊ／
４）の水平方向における変化を表す。本実施例では、６
行目の３２個のブロックＢＫのブロック平均垂直視差Ｄ
ｖ（ｉ，６）を上式（２）の直線で近似する。

【００５９】次に、直線当てはめ精度Ｃ２が所定値Ｋ２
以下であるか否かを判別する（ステップＳ１７）。直線
当てはめ精度Ｃ２が所定値Ｋ２以下の場合には、Ｄｖ
（ｉ，Ｊ／４）＝０となる水平方向のブロックアドレス
ｉ２を上式（２）から求める（ステップＳ１８）。ブロ
ックアドレスｉ２は次のようになる。

【００６０】ｉ２＝−ｂ２／ａ２ その後、ｉ１＝ｉ２となるか否かまたは全てのブロック
平均水平視差Ｄｈ（ｉ，ｊ）が所定値Ｋ３よりも小さい
か否かを判別する（ステップＳ１９）。

【００６１】ｉ１＝ｉ２となる場合または全てのブロッ
ク平均水平視差Ｄｈ（ｉ，ｊ）が所定値Ｋ３よりも小さ
い場合には、図４（ｃ）に示した第２の視差パターンと
判定する（ステップＳ２０）。この場合、図４（ｃ）の
垂直線ＣＬの水平方向におけるブロックアドレスがｉ１
（＝ｉ２）となる。

【００６２】ｉ１がｉ２と異なりかついずれかのブロッ
ク平均水平視差Ｄｈ（ｉ，ｊ）が所定値Ｋ３以上の場合
には、図４（ｂ）に示した第１の視差パターンと判定す
る（ステップＳ２１）。本実施例では、図４（ｂ）の第
１の視差パターンの回転中心ＣＲを右眼用画像ＶＲの画
像中心とする。この場合、図４（ｂ）の回転中心ＣＲの
ブロックアドレスは（Ｉ／２，Ｊ／２）、画素アドレス
は（Ｍ／２，Ｎ／２）となる。

【００６３】そして、次式により回転角度θを求める
（ステップＳ２２）。

【００６４】ステップＳ１４で直線当てはめ精度Ｃ１が
所定値Ｋ１よりも大きい場合またはステップＳ１７で直
線当てはめ精度Ｃ２が所定値Ｋ２よりも大きい場合に
は、ステップＳ２３に進む。

【００６５】ステップＳ２３では、各行のＩ個のブロッ
クＢＫのブロック平均垂直視差Ｄｖ（ｉ，ｊ）の平均値
を行平均垂直視差Ｄｖ（ｊ）として求める。

【００６６】さらに、全行の行平均垂直視差Ｄｖ（ｊ）
を次式の直線で近似し、直線当てはめ精度Ｃ３を求める
（ステップＳ２４）。

【００６７】Ｄｖ（ｊ）＝ａ３・ｊ＋ｂ３ …（４） ここで、係数ａ３は拡大率を表し、直線当てはめ精度Ｃ
３は上式（４）の直線への近似の精度を示す。上式
（４）は、行平均垂直視差Ｄｖ（ｊ）の垂直方向におけ
る変化を表す。

【００６８】そして、直線当てはめ精度Ｃ３が所定値Ｋ
３以下であるか否かを判別する（ステップＳ２５）。直
線当てはめ精度Ｃ３が所定値Ｋ３以下の場合には、Ｄｖ
（ｊ）＝０となる垂直方向のブロックアドレスｊ１を上
式（４）から求める（ステップＳ２６）。ブロックアド
レスｊ１は次のようになる。

【００６９】ｊ１＝−ｂ３／ａ３ 次に、全てのブロック平均水平視差Ｄｈ（ｊ）が所定値
Ｋ４よりも小さいか否かを判別する（ステップＳ２
７）。全てのブロック平均水平視差Ｄｈ（ｊ）が所定値
Ｋ４よりも小さい場合には、図４（ｅ）に示した第４の
視差パターンと判定する（ステップＳ２８）。この場
合、図４（ｅ）における拡大縮小線ＧＬの垂直方向のブ
ロックアドレスはｊ１となる。

【００７０】いずれかのブロック平均水平視差Ｄｈ
（ｊ）が所定値Ｋ４以上の場合には、図４（ｄ）に示し
た第３の視差パターンと判定する（ステップＳ２９）。
本実施例では、図４（ｄ）の第３の視差パターンの拡大
縮小中心ＧＲの水平方向のブロックアドレスを右眼用画
像ＶＲの水平方向の画像中心とする。この場合、図４
（ｄ）における拡大縮小中心ＧＲの水平方向のブロック
アドレスはＩ／２、画素アドレスはＭ／２となり、垂直
方向のブロックアドレスはｊ１となる。

【００７１】図８のステップＳ２５で直線当てはめ精度
Ｃ３が所定値Ｋ３よりも大きい場合には、図９のステッ
プＳ３０に進む。

【００７２】ステップＳ３０では、１フレームｆの右眼
用画像ＶＲの画像中央部の面積Ａ％（例えば８０％）の
領域に含まれるブロックＢＫのブロック平均水平視差Ｄ
ｈ（ｉ，ｊ）の平均値を全平均水平視差Ｄｈ（ｆ）とし
て求める。

【００７３】なお、上記の面積Ａの大きさは、右眼用画
像ＶＲ内に表示される文字領域または図形領域の大きさ
を考慮して定める。特に、広視野観察下での奥行き運動
刺激を生じる立体画像を補正するためには、面積Ａを広
く設定することが好ましい。

【００７４】所定の時間内で全平均水平視差Ｄｈ（ｆ）
が最大となるフレームｆｍａｘおよび最小となるフレー
ムｆｍｉｎを求める（ステップＳ３１）。

【００７５】さらに、フレームｆｍａｘからフレームｆ
ｍｉｎまでの期間内で全平均水平視差Ｄｈ（ｆ）を次式
（５）の直線で近似し、直線当てはめ精度Ｃ４を求める
（ステップＳ３２）。

【００７６】Ｄｈ（ｆ）＝ａ４・ｆ＋ｂ４ …（５） ここで、係数ａ４は前後運動比率を表し、直線当てはめ
精度Ｃ４は上式（５）への近似の精度を示す。上式
（５）は、全平均水平視差Ｄｈ（ｆ）の時間的な変化を
表す。

【００７７】次に、直線当てはめ精度Ｃ４が所定値Ｋ５
以下であるか否かを判別する（ステップＳ３３）。直線
当てはめ精度Ｃ４が所定値Ｋ５以下の場合には、図４
（ｆ）に示した第５の視差パターンと判定する（ステッ
プＳ３４）。直線当てはめ精度Ｃ４が所定値Ｋ５よりも
大きい場合には、視差パターンなしと判定する（ステッ
プＳ３５）。

【００７８】このようにして、左眼用画像ＶＬに対する
右眼用画像ＶＲの視差量が第１〜第５の視差パターンの
いずれに該当するかが判定され、判定結果が画像補正部
２３に与えられる。

【００７９】なお、ステップＳ１３，Ｓ１６，Ｓ２４，
Ｓ３２における直線への近似および直線当てはめ精度の
算出には、例えば田村秀行監修、日本工業技術センター
編、“コンピュータ画像処理入門”、総研出版（１９８
５）の第９２頁および第９３頁に記載された公知の方法
を用いる。

【００８０】図２の画像補正部２３の画像補正処理で
は、視差パターン判定部２２の視差パターン判定処理に
より判定された視差パターンに基づいて左眼用画像ＶＬ
および右眼用画像ＶＲの少なくとも一方を補正する。本
実施例では、右眼用画像ＶＲの各画素を移動させること
により補正後の右眼用画像ＡＲを得る。

【００８１】ただし、実際の補正では、移動後の各画素
の画素アドレスが必ずしも整数にならないので、図１１
に示すように、補正後の右眼用画像ＡＲにおける各画素
ＰＸを逆に補正前の右眼用画像ＶＲの位置に移動させ、
補正前の右眼用画像ＶＲにおける画素アドレスを算出
し、その画素アドレスの４近傍の画素ｐ１，ｐ２，ｐ
３，ｐ４の値から補正後の右眼用画像ＡＲにおける画素
ＰＸの値を算出する。

【００８２】なお、４近傍の画素の値から補正後の画素
の値の計算には、例えば高木幹夫、下田陽久監修、“画
像解析ハンドブック”、東京大学出版会（１９９１）の
第４２４頁および第４２５頁に記載されている公知の方
法を用いる。

【００８３】図１２および図１３は画像補正処理を示す
フローチャートである。第１の視差パターンと判定され
た場合には（ステップＳ３１）、右眼用画像ＶＲを回転
中心ＣＲの周りに−θ回転させ、補正後の右眼用画像Ａ
Ｒとして出力する（ステップＳ３２）。本実施例では、
回転中心ＣＲを右眼用画像ＶＲの画像中心とする。この
場合、回転中心ＣＲの画素アドレスは（Ｍ／２，Ｎ／
２）となる。

【００８４】ただし、実際の補正では、補正後の右眼用
画像ＡＲにおける各画素をθ回転させ、補正前の右眼用
画像ＶＲにおいて回転後の画素の値を４近傍の画素の値
から算出し、算出された値を補正後の右眼用画像ＡＲに
おける画素の値とする。

【００８５】補正後の右眼用画像ＡＲにおける画素の画
素アドレスを（Ｘ，Ｙ）とすると、θ回転後の画素アド
レスは｛（Ｘ−Ｍ／２）ｃｏｓθ−（Ｙ−Ｎ／２）ｓｉ
ｎθ＋Ｍ／２，（Ｘ−Ｍ／２）ｓｉｎθ＋（Ｙ−Ｎ／
２）ｃｏｓθ＋Ｎ／２｝となる。

【００８６】第２の視差パターンと判定された場合には
（ステップＳ３３）、右眼用画像ＶＲにおける各画素を
垂直方向に移動させて補正後の右眼用画像ＡＲとして出
力する（ステップＳ３４）。すなわち、補正前の右眼用
画像ＶＲにおける各画素の画素アドレスを（ｘ，ｙ）と
すると、補正後の右眼用画像ＡＲにおける各画素の画素
アドレスは｛ｘ，ｙ−（ａ１・ｘ＋Ｂ１）｝となる。こ
こで、係数Ｂ１は、ブロック単位での近似で求めた式
（１）における係数ｂ１を画素単位に換算した値であ
る。

【００８７】ただし、実際の補正では、補正後の右眼用
画像ＡＲにおける各画素の画素アドレス（Ｘ，Ｙ）から
補正前の右眼用画像ＶＲにおける画素アドレス｛Ｘ，Ｙ
＋（ａ１・Ｘ＋Ｂ１）｝を算出し、その画素アドレスの
４近傍の画素の値から補正後の右眼用画像ＡＲにおける
画素の値を算出する。

【００８８】第３の視差パターンと判定された場合には
（ステップＳ３５）、右眼用画像ＶＲを拡大縮小中心Ｇ
Ｒを基準として垂直方向および水平方向に（１／ａ３）
倍だけ拡大または縮小し、補正後の右眼用画像ＡＲとし
て出力する（ステップＳ３６）。本実施例では、拡大縮
小中心ＧＲの水平方向の画素アドレスを右眼用画像ＶＲ
の水平方向の画像中心とする。この場合、拡大縮小中心
ＧＲの画素アドレスは（Ｍ／２，Ｊ１）となる。ここ
で、Ｊ１は、式（４）から求めたブロックアドレスｊ１
を画素アドレスに換算した値である。

【００８９】ただし、実際の補正では、補正後の右眼用
画像ＡＲにおける各画素の画素アドレス（Ｘ，Ｙ）から
補正前の右眼用画像ＶＲにおける画素アドレス｛Ｍ／２
＋ａ３・（Ｘ−Ｍ／２），Ｊ１＋ａ３・（Ｙ−Ｊ１）｝
を算出し、その画素アドレスの４近傍の画素の値から補
正後の右眼用画像ＡＲにおける画素の値を算出する。

【００９０】第４の視差パターンと判定された場合には
（ステップＳ３７）、右眼用画像ＶＲを拡大縮小線ＧＬ
を基準として垂直方向に（１／ａ３）倍だけ拡大または
縮小し、補正後の右眼用画像ＡＲとして出力する（ステ
ップＳ３８）。この場合、拡大縮小線ＧＬの垂直方向の
画素アドレスはＪ１となる。ここで、Ｊ１は、式（４）
から求めたブロックアドレスｊ１を画素アドレスに換算
した値である。

【００９１】ただし、実際の補正では、補正後の右眼用
画像ＡＲにおける各画素の画素アドレス（Ｘ，Ｙ）から
補正前の右眼用画像ＶＲにおける画素アドレス｛Ｘ，Ｊ
１＋ａ３・（Ｙ−Ｊ１）｝を算出し、その画素アドレス
の４近傍の画素の値から補正後の右眼用画像ＡＲの画素
の値を算出する。

【００９２】第５の視差パターンと判定された場合には
（ステップＳ３９）、第５の視差パターンが検出された
期間において、右眼用画像ＶＲを左眼用画像ＶＬで置き
換えて補正後の右眼用画像ＡＲとして出力する（ステッ
プＳ４０）。この場合、図３のＲＡＭ１０２に所定の期
間補正後の右眼用画像ＡＲを保持するフレームメモリが
形成される。

【００９３】なお、本実施例のように、第５の視差パタ
ーンの判定および補正を行う場合には、左眼用画像ＶＬ
および右眼用画像ＶＲの入力から補正後の左眼用画像Ａ
Ｌおよび右眼用画像ＡＲの出力までに上記所定の期間の
時間遅れが生じる。

【００９４】第１〜第５の視差パターンのいずれもが検
出されなかった場合には、右眼用画像ＶＲを補正後の右
眼用画像ＡＲとしてそのまま出力する（ステップＳ４
１）。

【００９５】なお、本実施例の立体画像補正装置１２で
は、左眼用画像ＶＬはそのまま補正後の左眼用画像ＡＬ
として出力される。ただし、視差パターン判定部２２に
よる視差パターン判定処理および画像補正部２３による
画像補正処理のために右眼用画像ＶＲの入力から補正後
の右眼用画像ＡＲの出力までに例えば１フレームから２
フレーム程度の時間を要するので、画像補正部２３は入
力された左眼用画像ＶＬを上記の時間だけ遅延させて補
正後の左眼用画像ＡＬとして出力する。

【００９６】上記のように、本実施例の立体画像補正装
置１２によれば、左眼用画像ＶＬと右眼用画像ＶＲとの
間の第１〜第５の視差パターンが補正され、補正された
左眼用画像ＡＬおよび右眼用画像ＡＲが得られる。それ
により、右眼用画像表示装置１３Ｒおよび左眼用画像表
示装置１３Ｌによりスクリーン１０上に第１〜第５の視
差パターンが補正された左眼用画像および右眼用画像が
表示される。

【００９７】したがって、左眼用画像および右眼用画像
により構成される立体画像が歪みを生じず、かつ疲労感
および不快感を誘発しない。その結果、観察者２０が正
しい奥行き知覚を得ることができるとともに、生体へ悪
影響を与えると思われる立体刺激が不用意に生じること
が防止される。

【００９８】なお、上記実施例の立体画像補正装置１２
では、左眼用画像ＶＬに対する右眼用画像ＶＲの視差量
を抽出し、抽出された視差量に基づいて第１〜第５の視
差パターンを判定し、判定された視差パターンに基づい
て右眼用画像ＶＲを補正しているが、右眼用画像ＶＲに
対する左眼用画像ＶＬの視差量を抽出し、抽出された視
差量に基づいて第１〜第５の視差パターンを判定し、左
眼用画像ＶＬを補正してもよい。あるいは、左眼用画像
ＶＬおよび右眼用画像ＶＲを補正してもよい。

【００９９】また、上記実施例の立体画像表示装置で
は、左眼用画像生成回路１１Ｌおよび右眼用画像生成回
路１１Ｒが左眼用画像および右眼用画像を記憶している
が、左眼用画像生成回路１１Ｌおよび右眼用画像生成回
路１１Ｒとして立体画像を撮像する２台のカメラを立体
画像補正装置１２に接続してもよい。

【図面の簡単な説明】

【図１】本発明の一実施例における立体画像補正装置を
備えた立体画像表示装置の構成を示すブロック図であ
る。

【図２】図１の立体画像補正装置の構成を示すブロック
図である。

【図３】図２の立体画像補正装置のハードウェア構成を
示すブロック図である。

【図４】正常な画像および種々の視差パターンの例を示
す図である。

【図５】図２の立体画像補正装置の立体画像補正処理を
示すフローチャートである。

【図６】視差パターン判定処理を示すフローチャートで
ある。

【図７】視差パターン判定処理を示すフローチャートで
ある。

【図８】視差パターン判定処理を示すフローチャートで
ある。

【図９】視差パターン判定処理を示すフローチャートで
ある。

【図１０】左眼用画像を示す模式図である。

【図１１】右眼用画像の補正方法を示す模式図である。

【図１２】画像補正処理を示すフローチャートである。

【図１３】画像補正処理を示すフローチャートである。

【符号の説明】

１０ スクリーン １１Ｒ 右眼用画像生成回路 １１Ｌ 左眼用画像生成回路 １２ 立体画像補正装置 １３Ｒ 右眼用画像表示装置 １３Ｌ 左眼用画像表示装置 ２１ 視差抽出部 ２２ 視差パターン判定部 ２３ 画像補正部 １００ ＣＰＵ １０１ ＲＯＭ １０２ ＲＡＭ １０３ 外部記憶装置

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 13/04 Ｇ０６Ｆ 15/62 ４１５ (72)発明者 金子 寛彦 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール人間情 報通信研究所内 (72)発明者 宇和 伸明 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール人間情 報通信研究所内 Ｆターム(参考） 5B050 AA09 BA04 BA09 DA07 EA13 FA02 FA06 5B057 BA02 CA13 CA16 CB13 CB16 CC01 CD12 DA16 DB02 DC30 DC32 DC33 5C061 AB04 AB08 AB18 5C082 AA31 BA20 BA34 BA35 BA47 BB46 BD01 BD02 CA51 CA81 CB03 DA87 EA08 MM08 MM10

Claims (5)

【特許請求の範囲】
1. 【請求項１】 左眼用画像と右眼用画像との間の視差量
   を抽出する抽出手段と、 前記抽出手段により抽出された視差量に基づいて前記左
   眼用画像と前記右眼用画像との間の視差パターンを判定
   する判定手段と、 前記判定手段により判定された視差パターンに基づいて
   前記左眼用画像および前記右眼用画像の少なくとも一方
   を補正する補正手段とを備えたことを特徴とする立体画
   像補正装置。
2. 【請求項２】 前記抽出手段は、前記左眼用画像および
   前記右眼用画像のうち一方の画像における各画素を基準
   として他方の画像における各画素の水平方向の視差およ
   び垂直方向の視差を抽出し、 前記判定手段は、前記抽出手段により抽出された水平方
   向の視差および垂直方向の視差に基づいて前記一方の画
   像に対する前記他方の画像の視差パターンが予め定めら
   れた複数の視差パターンのいずれに該当するかを判定
   し、 前記補正手段は、前記左眼用画像と前記右眼用画像との
   間に前記判定手段により判定された視差パターンがなく
   なるように前記左眼用画像および前記右眼用画像のうち
   少なくとも一方の画像における各画素の値を補正するこ
   とを特徴とする請求項１記載の立体画像補正装置。
3. 【請求項３】 前記複数の視差パターンは、前記左眼用
   画像および前記右眼用画像が相対的に回転する回転視差
   を生じる第１の視差パターン、前記左眼用画像および前
   記右眼用画像の各画素が相対的に垂直方向に移動する垂
   直剪断視差を生じる第２の視差パターン、前記左眼用画
   像および前記右眼用画像が水平方向および垂直方向に相
   対的に拡大または縮小する大きさ視差を生じる第３の視
   差パターン、前記左眼用画像および前記右眼用画像が垂
   直方向に相対的に拡大または縮小する垂直大きさ視差を
   生じる第４の視差パターン、および前記左眼用画像およ
   び前記右眼用画像が相対的に時間的に水平方向に移動す
   る奥行き運動刺激を生じる第５の視差パターンのうちの
   少なくとも１つであることを特徴とする請求項２記載の
   立体画像補正装置。
4. 【請求項４】 左眼用画像および右眼用画像を出力する
   画像出力手段と、 前記画像出力手段から出力される前記左眼用画像および
   右眼用画像の少なくとも一方を補正する請求項１〜３の
   いずれかに記載の立体画像補正装置と、 前記立体画像補正装置から出力される左眼用画像および
   右眼用画像を表示する表示手段とを備えたことを特徴と
   する立体画像表示装置。
5. 【請求項５】 演算処理装置が読み込み可能な立体画像
   補正処理プログラムを記録した記録媒体であって、 前記立体画像補正処理プログラムは、 左眼用画像と右眼用画像との間の視差量を抽出する処理
   と、 前記抽出された視差量に基づいて前記左眼用画像と右眼
   用画像との間の視差パターンを判定する処理と、 前記判定された視差パターンに基づいて前記左眼用画像
   および前記右眼用画像の少なくとも一方を補正する処理
   とを、前記演算処理装置に実行させることを特徴とする
   立体画像補正処理プログラムを記録した記録媒体。