JP2006042298A - 立体視画像作成方法および装置 - Google Patents

Abstract

【課題】 立体視により生ずる両眼視野闘争を和らげ、観察者の疲労感を軽減すること。
【解決手段】 両眼視するときの左視覚像320の点ｂに対応する融合点は、右視覚像321の点ａになる。左眼200と右眼201とが見るものが異なるので、点ｂを両眼で注視すると両眼視野闘争が起こる。左視覚像320上の点ｂはシャープな像であるのに対し、右視覚像321上の点ａはボケた像である。この結果、シャープな点ｂの像が優先されて知覚される像となり、同距離にある対象物Ｂも優先されて知覚される像となる。したがって、ボケている点ａおよび周辺の対象物Ａの像は排除される像となる。
【選択図】 図３

Description

本発明は、立体視画像作成方法および装置に関し、より詳細には、立体視効果を高めまたは両眼視差立体視の両眼視野闘争を低減する立体視画像作成方法および装置に関する。

両眼視差立体視とは左眼用画像と右眼用画像との視差画像のズレにより立体感を得るものであり、左眼で左眼用画像を、右眼で右眼用画像を同時に観察して、脳の中で両画像を融合することによりズレを感知してズレの程度から奥行きを知覚するというものである。両眼視差立体視用の左眼用、右眼用画像は、左視点と右視点とに設置したカメラでそれぞれ撮影して作製される。通常、両眼立体視用の左右画像は、ステレオカメラまたは、水平方向に離した2台のカメラで撮影して作成するが、このとき撮影時の被写界深度が画像に焼き込まれる。全部の位置にピントが合っている場合は、被写界深度が無限大として焼き込まれる。また、1台のカメラで視点位置を移動して2回撮影することもある。

近年では、三次元コンピーター・グラフィック（３ＤＣＧ）で作製することも多い。３ＤＣＧでは現実の写真システムをシュミレーションしているので、以下、３ＤＣＧで左右画像を作成するときも撮影という言葉を使用する。

このようにして作成された左右画像は、撮影手段（カメラや3ＤＣＧ作成装置）の本来持つ性能および設定された条件によって画像の質が決定される。画像の質とは例えば、被写界深度、ピント位置、焦点距離、構図、ズーム（画角）の設定などカメラおよびレンズの光学的特性、フィルムおよび感光剤等の化学的特性、ならびにＣＣＤ等の感光デバイスの特性のことであり、写された画像に反映される。このうち光学特性についていうと、通常の写真では、被写体の特定位置にピントが合った画像となる。

一般的に、立体視用右画像と左画像との設定条件は、撮影時の視点位置が異なること以外ほぼ同一に設定されるが、３ＤＣＧでも同一である。例えば、2台のカメラで撮影した場合、同一種類のカメラ、レンズおよびフィルムを使用し、同じ露出、同じシャッタースピード、同じズーミングで撮影する。これらの左眼用画像および右眼用画像は、通常視用の1枚の画像としても利用でき、個々の画像は１視点から撮影した通常の（1枚画像用の）画像と全く同一の画像である。

（両眼視野闘争）
両眼でそれぞれ視差の付いた画像を観察する両眼立体視では、観察画像が平面であるためピント調節が有効に働かないという問題があるが、この問題を考慮しなくても、左眼位置から撮影した左眼用画像（通常の写真）を左眼で、右眼位置から撮影した右眼用画像（通常の写真）を右眼で観察する単純な立体視は、実世界で外界を両眼で観察している人間にとって、非常に不自然な視覚作用を与えることとなる。これが、既存の立体視がいわゆる疲れる原因の１つであり、１眼に基づく画像を強引に各眼に見させている訳であるから、両眼立体視するときの不自然感が助長されないわけはないのである。特に、写真画像のような広域でピントが合った画像を立体視用画像に用いると、このような不自然感は顕著となる。

これが高じると、左右の眼で融像しない領域が多数知覚され、両眼で異なった視覚像を知覚する両眼視野闘争が発生し、脳は混乱してゆらいだ像を知覚することとなる。そもそも、実世界において両眼で対象物を観察するときは、両眼視野闘争を低減する機能が人間には備わっているのであるが、このことについては後に詳述する。

（立体視画像の被写界深度の利用）
上述した両眼視野闘争を低減する機能の１つは、ピント調節が有効に働く実世界で対象物を観察する人間の眼に備わった被写界深度による機能であるが、両眼立体視用画像を観察する立体視の場合でも、立体視用画像の画像内容に写されたボケの量を調節することによりこの機能を利用することが可能である。両眼立体視用画像を観察する場合は、観察者のピント調節位置は両眼立体視用画像上にあり、眼のピント調節が有効に働かない状態である。

被写界深度の付いていない立体視用左右画像をディスプレイ（本技術ではＨＭＤ）に表示するために、表示された画像の観察者が注視した位置を検出し、これに基づき表示されている画像に被写界深度を付け、注視点が移動したら移動後の注視点位置にピントを合わせてそこを基点として画像に被写界深度を付ける技術が提案されている。（例えば、特許文献１参照）。

すなわち、被写界深度の付いていない（全部にピントの合った）立体視用左右画像を、観察者の注視点の移動に応じて被写界深度を付ける基点を変化させ、被写界深度の付いた画像を表示する。

特開平１０−２３９６３４号公報 井上弘著、「立体視の不思議を探る」（オプトロニクス社）、平成１１年２月発行 日本写真測量学会編、「立体写真のみかた・とりかた・つくりかた」（技報堂出版株式会社） 「画像と空間の情報処理」 岩波講座 マルチメディア情報学

しかしながら、上述の画像に被写界深度を付ける技術は、観察者の注視位置の検出と、表示画像の修正に時間が掛かり自然な視覚が得難い。注視位置の検出などに誤差があると、余計に眼が疲れる原因となる。被写界深度の付いていない（全部にピントの合った）立体視用左右画像、およびデプスマップ（視点から対象物までの距離を濃淡で表した画像）を揃えるのが困難であり、少なくとも、通常のカメラでは得ることができない。装置が複雑になり、コストが掛かる、あるいは一人でしか見ることができないといった問題がある。

また、視差の大きな立体視用左右画像は融合するにはズレが大き過ぎ、視野闘争の多い画像となり、立体視観察者の生理的負荷が大きくなる。これにより、眼の疲労および痛み、吐き気、頭痛などの原因となる。

本発明はこのような問題に鑑みてなされたもので、立体視により生ずる両眼視野闘争を和らげ、観察者の疲労感を軽減することを目的とする。

本発明は、このような目的を鑑みて為されたものであり、本発明の立体視画像作成方法は、立体視用の左画像と右画像とを有する立体視画像作成方法であって、所定の表示面に表示される左画像と右画像とでそれぞれ対応する一対の融合点がない左右の対象領域を抽出する対象領域抽出ステップと、左右の対象領域のいずれかの目立たない方の領域を特定して、目立たない方の領域を排除領域として抽出する排除領域抽出ステップと、またはさらに排除領域加工ステップとを備えたことを特徴とする。以上の方法をプログラムに実行させ、および実行するプログラムをコンピュータ読取可能な媒体に格納することもできる。

また、本発明の立体視画像作成装置は、立体視用の左画像と右画像とを有する立体視画像作成装置であって、所定の表示面に表示される左画像と右画像とでそれぞれ対応する一対の融合点がない左右の対象領域を抽出する対象領域抽出手段と、左右の対象領域のいずれかの目立たない方の領域を特定して、目立たない方の領域を排除領域として抽出する排除領域抽出手段と、またはさらに排除領域加工手段とを備えたことを特徴とする。

さらに、本発明の立体視する方法は、立体視用の左画像と右画像とを有する立体視画像を立体視する方法であって、所定の表示面に表示される左画像と右画像とでそれぞれ対応する一対の融合点がない左右の対象領域を抽出する対象領域抽出ステップと、左右の対象領域のいずれかの目立たない方の領域を特定して、目立たない方の領域を排除領域として抽出する排除領域抽出ステップと、またはさらに排除領域加工ステップとを備えたことを特徴とする。

また、本発明の立体視画像を立体視させる装置は、立体視用の左画像と右画像とを有する立体視画像を立体視させる装置であって、所定の表示面に表示される左画像と右画像とでそれぞれ対応する一対の融合点がない左右の対象領域を抽出する対象領域抽出手段と、左右の対象領域のいずれかの目立たない方の領域を特定して、目立たない方の領域を排除領域として抽出する排除領域抽出手段とを備えたことを特徴とする。

以上説明したように、本発明によれば、所定の表示面に表示される前記右画像と左画像とでそれぞれ対応する一対の融合点がない対象領域を抽出する領域抽出ステップと、対象領域中目立たない領域を排除領域として特定する領域特定ステップと、またはさらに排除領域加工ステップとを備えることにより、立体視により生ずる両眼視野闘争を和らげ、観察者の疲労感を軽減することが可能となる。

本発明の目的を達成するために、両眼視野闘争を緩和する原理について先ず説明を行う。まず、両眼視野闘争とは実験室で行なうような左右の眼で全く異なる像を見ることによって起こる場合は例外的なものであって、両眼視差立体視用の一対の画像からでも、程度の大小はあるが領域ごとに起こったり、起こらなかったりするものである。

そこで、以下のように両眼視野闘争に関して定める。
「両眼視野闘争の起きる領域」とは、左右の眼で対応する融合点がない領域のこととする。
「両眼視野闘争は暖和する」または「両眼視野闘争は低減する」とは、両眼視野闘争が沈静化することで、その結果、観察者の眼に負担が掛からなくなり疲労感が小さい。
「両眼視野闘争は顕著になる」とは、両眼視野闘争が激しくなることで、その結果、像がゆらいで見え、安定した像が知覚されなくなって眼の疲労感が増す。

一般的には、両眼視野闘争とは相関性の低い像を左右の眼で見たときに起こる不安定な知覚現象を指すが、本発明では両眼視野闘争を程度の問題として考えるので上記の定義とする。

（被写界深度とボケ）
次に、被写界深度と像に表れるボケとの関係ついて説明する。観察者が実世界で外界を観察するとき、観察者の注視点の周辺にピントが合い、その結果、注視点がシャープに見え、その前方および後方はピントが合わずボケて見える。焦点が合った位置からの距離に比例して、ボケの量は大きくなる。いわゆる被写界深度に応じたボケの発生である。

なお、ボケは単にものの部分がボケているだけでなく、ものの輪郭線がボケて後ろのものの領域まで侵食する現象がある。これを図１ａおよびｂを用いて説明する。図1ａは、コップ１０１にピント調節が合った画像を示す図である。後ろのコップ１０２は奥行き方向に離れているのでボケている。ボケは点線の2重線で表し、2線の間隔をボケの幅で示す。

手前のコップ１０１と後ろのコップ１０２が隠重（手前のものの陰に後ろのものが隠れて、隠れた部分が見えない現象）の関係にある。コップ１０１とコップ１０２が重なった部分１０３では、コップ１０１の輪郭がシャープに見え、コップ１０２のボケの領域はコップ１０１の輪郭によってシャープに切り取られている。

このように、前の物体にピントが合っているときで、後ろの物体がボケているときは、後ろのボケは前の物体の輪郭をはみ出し侵食しない。図１ａ上で部分１０３の輪郭を太線で描いているが、ここだけがシャープと言う意味ではなく、あくまでコップ１０１とコップ１０２の接する線を強調するために描いたものであり、シャープさの点ではコップ１０１の輪郭は全て同程度である。

図1ｂは、コップ１０２にピント調節が合った画像を示す図である。手前のコップ１０１は焦点から手前に離れているのでボケている。コップ１０１とコップ１０２とが隠重の関係にある。コップ１０１とコップ１０２とが重なった部分１０４では、コップ１０２の輪郭は、コップ１０１のボケの領域がはみ出して侵食されている。

このように、後ろの物体にピントが合って、前の物体がボケているときは、前の物体のボケは、後ろの物体のシャープに見える領域にはみ出し侵食する。図１ｂ上で部分１０４を太破線で描いているが、ここだけが特別の方法でボケると言う意味ではなく、あくまでコップ１０１とコップ１０２の接する位置のボケを強調するために描いたものである。

さらに、双方がボケている場合は、相互に手前のボケが後ろのもののボケに浸食する。双方がシャープな場合は、それぞれの境界線がシャープに分かれている。隠重とボケにはこのような相互の現象がある。

（両眼視観察時におけるボケの役割）
このようなピント調節によって発生するボケの現象は、両眼で外界を観察するときに両眼視野闘争を低減する役割をする。日常生活の中で、両眼視野闘争が顕著に発生し脳で融像できなくなって混乱した外界の像を知覚することが少ないことの1つの理由は、左右の眼で異なったものを見たときに、両眼視野闘争が顕著に発生しないように、一方の眼の像がうまくボケてくれるからである。一方の眼の像がボケてくれるから、左右の眼で異なった像を知覚しても、ハッキリ見える像とボケて見える像とで優劣が付き、優先する像が速やかに選択され両眼視野闘争が緩和されるのである。

このように、ボケの程度が明解に表れる場合は、ハッキリ見える像が「見ている像」で、ボケている像が焦点の合っていない「見ていない像」であることが瞬時に判別できる。このとき、ボケている像は観察者にとって、当然、「目立たない像」である。

しかし、被写界深度は距離に比例するので、距離の差が小さい場合はボケの程度の差が小さくなるが、距離の差が微小な場合は、幾何学的に考えても両眼視野闘争が起こる領域が狭く、その上、人間の眼は被写界深度が浅いので、後述するように隠重の関係によって両眼視野闘争が発生するときは、両眼視野闘争が顕著になることは稀である。このように、ボケは両眼視野闘争を沈静化する重要な役割をする。

一般的に人間の眼は写真およびＣＧなどに比べ被写界深度が浅いのでボケの発生が多い。被写界深度が浅い方が、特定の位置を注視するときに、狭い範囲に焦点を合わすことが可能なのである。被写界深度が深く広い範囲でピントが合うと、いろいろなものがハッキリ見えるので、逆にその部分だけを注視するには不便である。

人間はカメラに比べ極めて被写界深度が浅いが、これを補うため人間の眼は注視点を短時間に頻繁に移動することができる能力がある。リアルタイムに焦点位置を移動させることが可能なので、被写界深度の深い視覚像を必要としない。むしろ、浅い方が特定の位置を注視するのに有利である。

一方、被写界深度によるボケの現象は写真でも起こり、ピント調節によって焦点の合っている部分がシャープに写り、焦点の合っていない部分が滲んでボケとして画像に表れ、焦点の合っている被写体の前後が、焦点位置からの距離に比例して大きくボケて写る。しかし、人間の眼を模して作られたカメラでは、特殊な技法を除いて、一般的に被写界深度の深いボケの少ない画像を撮る。人間の眼のように、画像ではリアルタイムに焦点位置を変化できず、その上、画像がボケている部分が多いと写真としての実用性が低くなるからである。

このような人間の眼とカメラには相違はあるが、焦点が合った位置より手前または後方では、焦点位置からの距離に比例して像のボケが大きくなるという、被写界深度によるボケの性質は酷似している。このようにカメラ等で撮影した画像は被写界深度が深いことから、立体視用左右画像として使用する場合、立体視観察者は写された写真を観察することとなるので、ボケの量が少なく、両眼視野闘争がより顕著になる傾向にある。

本発明はまさにこのことを回避するために考え出されたもので、カメラ等で撮影した画像を立体視用左右画像として使用するときに起こる両眼視野闘争を低減するために、両眼視野闘争が起きる領域で、排除される側の画像領域をより目立たなくするために加工修正を行う。

（両眼視野闘争とボケ）
両眼視野闘争とボケの関係について図を参照して説明する。なお、図１（ａ）および（ｂ）以外の添付の図面では表記上ボケを正確には表現できないので、線の太さおよび破線でボケの程度を表し、単線で表す。太線はピントが合っている状態を表し、破線はピントがボケている状態を表している。線の太さはボケの量（幅）を表している。細いものほどボケの量（幅）が大きい。

両眼視野闘争が起こる状況は、複数の物体が隠重の関係にあって、後ろに在るものが一方の眼のみで見えるときに起こることが多い。図２は本発明の一実施形態の複数の物体が隠重の関係をもって配置された様子を示す図である。左眼200と右眼201の視点位置から奥行き方向に対象物Ａ、対象物Ｂ、対象物Ｄが順番に配置され、対象物Ａ上に点ａが有る。点ａは右眼201と対象物Ｂ上の点ｂを結んだ線と対象物Ａが交差したところで、観察者から見える位置にある。対象物Ｂ上に点ｂが有り、点ｂおよび対象物Ｂの下半分は右眼視点201から観察したとき対象物Ａに隠れて見えない。

対象物Ｄ上に点ｄが有り、点ｄおよび対象物Ｄの下半分は左眼視点200から観察したとき、対象物Ａに隠れて見えない。

（両眼視野闘争により排除される領域）
図３ａは、図２の平面図で点ｂを注視する場合を示す図である。左眼200は、点ｂに焦点を合わせて対象物Ｂ上の点ｂを見ているが、対象物Ｄおよび点ｄは対象物Ａの陰に隠れているので見えない。ただし対象物Ｄの上半分は見える。右傾斜のハッチングは左眼200から見えない領域を示す。

右眼201も点ｂを注視しているが、点ｂは対象物Ａに隠れて見えないので、右視線311上の対象物Ａと交差する位置にある点ａを見ることとなる。この点ａが、左眼200の見ている点ｂに対応する、右眼201の対応点になる。左傾斜のハッチングは右眼201から見えない領域を示す。

右傾斜のハッチングと左傾斜のハッチングが交差している領域は左眼200および右眼201から見えない領域を示している。

以上の点を、左眼200の左視覚像320（要するに左眼ではこのように見える）、および右眼201の右視覚像321（要するに右眼ではこのように見える）を用いて説明する。図３ｂは、一実施形態の右および左の視覚像を示す図である。

左視覚像320では、対象物Ｂ上の点ｂに左眼200の焦点が合っているので、対象物Ｂおよび点ｂがもっともシャープに見える。次に対象物Ｂより遠くにある対象物Ｄが対象物Ｂからの距離に応じてボケて見える。ただし、対象物Ｄの下半分および点ｄは対象物Ａに隠れて見えない。対象物Ａおよび点ａは対象物Ｂの手前にあるので、対象物Ｂからの距離に応じてボケて見える。

右視覚像321では、対象物Ｂ上の点ｂに右眼201の焦点が合っているが、点ｂは、対象物Ａに隠れて見えない。対象物Ｂの上半分は見えるので、この部分が最もシャープに見える。右眼201と点ｂを結ぶ右視線上に点ａがあるが、点ｂの手前に在るので点ａはボケて見え、同距離にある対象物Ａもボケて見える。対象物Ｄおよび点ｄは対象物Ｂの右後方に位置し、対象物Ｂからの距離に比例してボケて見える。

以上のように、両眼視するときの左視覚像320の点ｂに対応する融合点は、右視覚像321の点ａになる。左眼200と右眼201とが見るものが異なるので、点ｂを両眼で注視すると両眼視野闘争が起こる。

左視覚像320上の点ｂはシャープな像であるのに対し、右視覚像321上の点ａはボケた像である。この結果、シャープな点ｂの像が優先されて知覚される像となり、同距離にある対象物Ｂも優先されて知覚される像となる。ボケている点ａおよび周辺の対象物Ａの像、すなわち点ａを含み点ａと視点との距離とほぼ同じ距離にある領域は、目立たない像であるので速やかに排除され、両眼視野闘争が低減する。ここでほぼ同じ距離とは、画像の構成にもよるが、対象物（本例では対象物Ａ）の主要部分が含まれる程度の距離のことである。

このように、人間の眼では三次元世界でピント調節が可能なため、図３のような奥行き方向に重なった対象物を観察するときに両眼視野闘争が発生する場合、ピント調節の結果生成される像のボケが一方の側の像にのみ発生するので、両眼視野闘争で優先する像を選択し、目立たない像を排除することが容易になる。

このとき、点ｂと点ａとの距離が接近していて、点ｂと点ａとの距離が微小な場合は、幾何学的に考えても、両眼視野闘争が起こる領域が狭く、その上、人間の眼は被写界深度が浅いので、このような明確に隠重の関係がある場合は、両眼視野闘争が顕著になることは稀である。

このように、手前の対象物（対象物Ａ）がボケて見え、手前のもの（対象物Ａ）に一方の眼で見たときに隠れる後方の対象物（対象物Ｂ）が、手前の対象物（対象物Ａ）よりハッキリ見えるときは、観察者は手前の対象物（対象物Ａ）を見ていないという原理が成立するものとして本実施形態に用いる。

これをさらに言い換えると、後方の対象物（対象物Ｂ）が一方の視覚像でのみ見え、他方の視覚像で手前の対象物（対象物Ａ）に隠れていて、かつ手前の対象物（対象物Ａ）よりシャープであるとき、後方の対象物（対象物Ｂ）は隠れる側の視覚像であり、後方の対象物（対象物Ｂ）を隠している手前の対象物（対象物Ａ）の隠している部分は、両眼視野闘争で排除される部分（領域）であるということができる。ここで、点ａおよび点ｂの近傍が本発明の対象領域となり、上記のような判断により対象領域のうち排除される部分が排除領域となる。

次に、両眼で点ａを注視する場合を説明する。図４ａは、一実施形態の点ａを注視する場合を説明する平面図である。左眼200, 右眼201で対象物Ａ上の点ａを注視し、点ａに焦点が合っているが、点ａを隠すものがないので両眼で見ることができる。

左眼200は、対象物Ａ上の点ａに焦点を合わせて注視しているが、対象物Ｄおよび点ｄは対象物Ａの陰に隠れているので見えない。ただし対象物Ｄの上半分は見える。右眼201も対象物Ａ上の点ａに焦点を合わせて注視しているが、対象物Ｂおよび点ｂは対象物Ａの陰に隠れているので見えない。ハッチングの説明は図３ａと同じなので省略する。

図４ｂは、左視覚像３５０および右視覚像３５１を示す図である。左視覚像３５０では、対象物Ａ上の点ａに左眼の焦点が合っているので、点ａおよび対象物Ａが最もシャープに見え、視点位置からの距離に比例して対象物Ｂ、対象物Ｄが順番にボケて見える。対象物Ｂおよび点ｂは見えるが、対象物Ｄの下半分および点ｄは対象物Ａに隠れて見えない。

右視覚像３５１では、左視覚像３５０と同様に、対象物Ａ上の点ａに右眼の焦点が合っているので、点ａおよび対象物Ａが最もシャープに見え、視点位置からの距離に比例して対象物Ｂ、対象物Ｄが順にボケて見える。対象物Ｂの下半分および点ｂは対象物Ａに隠れて見えないが、対象物Ｄおよび点ｄは見える。

図３ａで説明したように、右視覚像３５１上の点ａに対応する点は、左視覚像３５０上の点ａまたは点ｂであり、ピントおよび輻輳角を考慮しなければ、いずれも選択可能である。しかし、左視覚像３５０の点ａはピントが合ってハッキリ見え、点ｂはピントが合っていないのでボケて見える。したがって、ボケている点ｂおよび周辺の対象物Ｂの像、すなわち点ｂを含み点ｂと視点との距離とほぼ同じ距離にある領域は排除される像あるいは領域となる。

このように、右視覚像３５１上の点ａと左視覚像３５０の点ｂとは左右視覚像から考察すると、両眼視野闘争が起こる点である。しかし、一方がボケているので、ボケている方の像は見ていない領域となり、両眼視野闘争が低減する。点ｂと点ａの距離が接近していて、点ｂと点ａとの距離が微小な場合は、図２（ｂ）で説明した通りである。

このように、手前の対象物（対象物Ａ）がハッキリ見え、手前のもの（対象物Ａ）に、一方の眼から見たときにのみ隠れる後方の対象物（対象物Ｂまたは対象物Ｄ）が、手前の対象物（対象物Ａ）よりボケて見えるときは、観察者は手前の対象物（対象物Ａ）を見ているという原理が成立するものとして本実施形態に用いる。

これを言い換えると、後方の対象物（対象物Ｂ）が一方の視覚像でのみ見え、他方の視覚像で手前の対象物（対象物Ａ）に隠れていて、かつ手前の対象物（対象物Ａ）の方がシャープに見えるとき、後方の対象物（対象物Ｂ）が見える側の視覚像上の、他方の像で手前の対象物（対象物Ａ）に隠れてい後方の対象物（対象物Ｂ）の部分は、両眼視野闘争で排除される部分（領域）である。

（対象領域の抽出と排除領域の特定）
以上、図３および図４を参照して検証したことを整理すると、注視点位置と像のボケとは相互関係があり、隠重とボケの量の比較によって、まず両眼視野闘争が発生する領域（対象領域）が抽出され、両眼視するときに起こる両眼視野闘争の優先する領域および排除する領域を特定することができる。すなわち、以下の原理を見出すことができる。

［原理1］領域Ｘが領域Ｙより手前に位置する隠重の関係にあり、領域Ｙが見える一方の眼で、領域Ｘが領域Ｙよりボケて見えるとき、観察者は領域Ｘを注視していない（領域Ｙを注視している）。

［原理2］領域Ｘが領域Ｙより手前に位置する隠重の関係にあり、かつ領域Ｙより領域Ｘがシャープに見えるとき、観察者は領域Ｙを注視していない（領域Ｘを注視している）。

以上のことが成り立つので、これを両眼立体視に適用し、両眼立体視用左右画像
の両眼視野闘争の発生する対象領域を抽出し、排除する領域を特定・抽出する。

原理1より導き出された抽出方法は、
［抽出法1］領域Ｘが領域Ｙより手前に位置する隠重の関係にあり、領域Ｙが見える一方の眼で、領域Ｘが領域Ｙよりボケていてより目立たなく見えるとき、領域Ｘは両眼視野闘争時の排除する領域である。

原理2より導き出された抽出方法は、
［抽出法2］領域Ｘが領域Ｙより手前に位置する隠重の関係にあり、かつ一方の眼のみで見える領域Ｙが領域Ｘよりボケていてより目立たなく見えるとき、領域Ｙは両眼視野闘争時の排除する領域である。

ここで、隠重とはある対象物の一部が視点から見て手前にある他の対象物により左画像または右画像のいずれか一方では隠れて見えない状態にあることをいう。

（第１実施形態）
以上の領域を抽出する方法を具体的に適用する例を図５、６を参照して説明する。図3、4では人間が対象物を観察するとき、人間の眼の被写界深度による見え方について説明したが、図5、6は図3、4と同じ被写体を同じ視点位置からカメラで撮影した場合を示す。

上述のように、両眼視差立体視において、カメラ等で撮影した画像を立体視用左右画像として使用する場合は、写された写真またはＣＧによる画像を観察する。画像を観察するときと、直接、外界を観察するときの一番の相違は、画像を観察する場合は焦点の合っていない本来は「見ていない領域」をボケた状態で観察できることである。正確にいうと、観察者の眼の焦点は画像に合っているが、観察する画像内容がボケている。本発明は、このような画像を両眼視差立体視するときに発生する両眼視野闘争を低減することを目的としている。

肉眼で外界を観察するとき、ボケている「見ていない領域」に焦点を移すと、瞬時に、その領域はピントの合った「見ている領域」になる。その上、写真等の画像は被写界深度が深く、ボケの量が少ない。図表記ではボケの程度を的確に表せないが、図５ａ、図５ｂ、図５ｃで表しているボケの量は、図３ｂ、図４ｂで表しているボケの量より遥かに小さく少ない。また、被写界深度の付いた画像を観察するとき、観察者の注視点は画像上を移動した後、無意識にピントの合った位置に吸い込まれるように移動し停留するといわれている。

（実施例１）
図５ａは、図３を参照して説明した左右眼の像を移し変えた画像を示す図である。図５ａを参照して上述の抽出法１を用いた対象領域の抽出および排除領域の特定・抽出について説明する。左画像３６０は、左眼200より撮影した画像であり、対象物像ＡＬ、ＢＬ、ＤＬは、それぞれ対象物Ａ、Ｂ、Ｄが左眼200より撮影した左画像３６０に写った像である。点ａＬおよびｂＬは、それぞれ点ａおよびｂが左画像３６０に写った像である。

同様に、右画像３６１は、右眼201より撮影した画像であり、対象物像ＡＲ、ＢＲ、ＤＲは、それぞれ対象物Ａ、Ｂ、Ｄが右眼201より撮影した右画像３６１に写った像である。点ａＲおよびｂＲは、それぞれ点ａおよびｂが右画像３６１に写った像である。写真と人間の視覚像は、ボケについてはその量の違いはあるが、傾向は類似しているので、表記法など図３と同様の点は説明を省略する。

なお、図５（ａ）、図５（ｂ）上の対象物Ａ（図ではＡＬおよびＡＲで破線で表す）のボケ、対象物Ｂ（図ではＢＬおよびＢＲで破線で表す）のボケまたは対象物Ｄ（図ではＤＬおよびＤＲで破線で表す）のボケは、両眼視野闘争が大きくならない程度のボケの量（強さ）とする。ボケの量（強さ）が小さく両眼視野闘争が大きくなる場合は、図５（ｃ）で示す対象物Ａおよび対象物Ｂに焦点の合った場合である。

左画像３６０上の対象物ＢＬの点ｂＬにピントが合っているので点ｂＬおよび対象物ＢＬはシャープである。右画像３６１では、対象物ＢＲの下半分および点ｂＲ（図示せず）は対象物ＡＲに隠れて見えないが、これに対応する点および領域が左画像３６０で見えているので左画像３６０上のこの領域を領域Ｙ1（点線のハッチングで表示）とする。この領域は左画像３６０上にのみあり右画像３６１上にはない。したがって、両眼視野闘争の起こる領域である。

対象物Ａは対象物Ｂの手前に位置するため、対象物Ｂよりボケている。右画像３６１では、対象物ＢＲの下半分および点ｂＲは対象物ＡＲに隠れて見えないが、対象物ＢＲにピントが合っているので、対象物ＡＲおよび点ａＲはボケている。

左画像３６０上の点ｂＬを基準にしたとき、右画像３６１上の融合点は点ａＲであり、また、右画像３６１上の点ａＲを基準にしたとき、左画像３６０上の融合点は、点ｂＬまたは点ａＬである。点ｂＬはシャープで点ａＬはボケている。

始めに、シャープな点ｂＬが優先され、それに対応する融合点として点ａＲが選ばれるが、左右で異なるので、この領域は両眼視野闘争が起こる対象領域である。点ｂＬおよびその周辺を領域Ｙ1（点線のハッチングで表示）とし、点ａＲおよびその周辺を領域Ｘ1（実線のハッチングで表示）とすると、右画像３６１上の領域Ｘ1は、両画像３６０、３６１を両眼視差立体視用画像として立体視するときには、領域Ｙ1よりボケているので画像内容から判定して、観察者が見ていない領域で、両眼視野闘争により排除される領域となる。

なお、対象物Ｄについては左画像360では対象物ＤＬの下半分が隠れて見えないが、右画像361では対象物ＤＬの下半分と点ｄＲが見える。この右画像361のみにある領域を領域Ｙ2とする。右画像の領域Ｙ2に対応する左画像361の領域は対象物ＡＬの右半分の上部であるが、両者ともボケている。このような場合、左画像361の領域は対象物ＡＬの右半分の上部が極端にボケている場合を除いて、隠重の前の方が優先される。したがって領域Ｙ2は排除領域である。

なお、本実施形態において対象領域を抽出する場合、左画像のどの部分が右画像のどの部分に対応するかを特定・抽出する必要があるが、これは本技術分野で知られたパターン認識による特定方法を用いる。パターン認識の詳細はここでは省略するが、本特定方法によると左右画像に表された図形または画素の配列が各々パターンとして認識され、それぞれに対応する点あるいは領域が特定される。他の実施形態も含め、本発明の対象領域はこのパターン認識を行った結果左右の画像で対応する部分が領域が一方の画像にのみ存在する部分がある場合、その一方の画像に存在する領域、およびこの領域に幾何光学的に対応するもう一方の画像の部分（図5で示したように複数の対応点を持つ場合がある）を本明細書で言う両眼視野闘争が起こる対象領域とする。すなわち、画像領域を特定した結果、例えば所定の画像領域が左画像にはあるが右画像には存在しない場合、左画像のその所定の画像領域と左画像のその領域に幾何光学的に対応する右画像の画像領域とが対象領域となる。

さらに、上述の原理に従って、左画像と右画像のいずれが排除される領域を含むかを特定し、特定された領域を排除領域として抽出する。このとき、焦点距離をより正確に考慮する場合は、排除領域は本来の3次元の世界で観察者の焦点距離が合っていない領域であるので、立体視左右画像を3次元で解析して、排除領域を含む視点からの距離が一定の範囲内にある領域を排除領域とすることも可能である。ここで、視点からの３次元的距離は本実施形態ではその点における輻輳角を左右画像から算出して求めるか、またはデプスマップ（奥行き情報をグレースケールで表した画像）を別に用意して特定点の視点からの距離を求めるが、これに限らず本技術分野で知られるいずれの方法を用いることができる。これに限らず本技術分野で知られる他のいずれの方法も用いることができる。

この処理は、本実施形態では本技術分野で知られるパターン認識用プログラムを実行して行われるので、所定のコンピュータに左右画像を入力し、プログラムを起動すれば自動的に行われる。その後、対象領域中ボケている等目立たない方の領域を同様のパターン認識技術により判定する。

（実施例２）
上述の実施例１では、対象領域の抽出にパターン認識技術およびこれを実装したプログラムを用いたが、これに限られず本発明で示す原理を適用可能ないかなる画像処理技術をも使用することができる。本実施例では、このような適用可能な技術の１つについて説明する。

上述の通り、本発明で使用する立体画像は、コンピュータのプログラムによる計算で作成することができるが、この場合の対象領域抽出は２次元の画像を編集して作成する方法以外に、3次元コンピュータ・グラフィック(3DCG)を用いることも可能である。そのときの視差領域を選択し加工する方法の1例を以下に説明する。

3DCGでは、カメラ、ライト、対象物等全てがコンピュータ内の仮想空間で構築されるが、基本になる立体視用左右画像は左右カメラで各々レンダリングして作製される。次に、基本になる立体視用左右画像とは別に、左右マスク画像を作成する。マスク画像を作製する場合、各オブジェクトを白色に設定して、左眼用カメラで左眼用マスク画像をレンダリングするときは右眼位置から光を照射し、右眼用カメラで右眼用マスク画像をレンダリングするときは左眼位置から光を照射する。

このようにレンダリングすることにより、左眼用カメラでレンダリングした画像は、右眼位置から見える領域が白くなり、見えない領域は影となって黒くなる。右眼用カメラでレンダリングした画像は、左眼位置から見える領域が白くなり、見えない領域は影となって黒くなる。黒くなる部分は視差領域である。

次に、これらの画像の白い部分を透明度0(ゼロ)パーセント、黒い部分を透明度100パーセントに設定し、マスク画像として、各々基本になる立体視用左右画像に貼り付け、透明度100パーセントの領域のみを画像処理可能な状態にして、後述するように目立たない加工の画像処理を行うことが可能となる。このように、３次元モデルを構築すれば、左右立体視画像並びに対象領域の抽出は１つのモデルから作成でき、これら一連の計算については複雑な連立方程式を構築することにより１回の計算で可能となる。

また、全ての実施例について該当するが、後述する対象領域の加工は優先する領域側と排除する領域側とのそれぞれの対応点の位置の色情報とを比較して加工するので、対象領域を加工するのではなく、頂点単位で調整して加工するのが望ましいことは言うまでもない。

（実施例３）
図５ｂは、図３を参照して説明した左右眼像を移し変えた画像を示す図である。図５ｂを参照して上述の抽出法２を用いた対象領域の抽出および排除領域の特定について説明する。図５（ｂ）では、手前の対象物がシャープに見えており、この対象物の後ろの対象物がボケて見えるが、一方の眼では一部が手前の対象物に隠れて見えない状態の画像である。

図５ｂに示す画像は、対象物Ａ上の点ａに左右視点のピントが合っているので、左画像３７０上の対象物ＡＬおよび点ａＬ、および右画像３７１上の対象物ＡＲおよび点ａＲはシャープである。対象物Ｂは、対象物Ａより後方に位置するため、左画像３７０では対象物ＢＬが対象物ＡＬよりボケている。

右画像３７１では、対象物ＢＲが対象物ＡＲよりボケており、その上、右画像３７１では、対象物ＡＲに対象物ＢＲの下半分が隠れている。この隠れた領域も左画像３７０にはあり、これを領域Ｙ1とすると、領域Ｙ1は右画像３７１上にはない。同様に対象物Ｂよりも後方に位置する対象物Ｄに相当するのは右画像３７１では対象物ＤＬである、対象物ＢＲよりボケている。その上、左画像３７０では、対象物ＡＬに対象物ＤＲの下半分が隠れており、この隠れた領域は右画像３７１にはあるので、これを領域Ｙ2とする。領域Ｙ2は右画像３７１上にはない。右画像３７１では対象物ＤＲが対象物ＢＲよりボケている。

ハッチングした領域Ｙ1、領域Ｙ2は立体視観察者が、左画像３７０および右画像３７１を両眼視差立体視用画像として立体視するとき、左画像３７０および右画像３７１に対応する一対の融合点がなく、一方の画像上にしかない領域である（例えば点ｂＬ、点ｄＲ）。領域Ｙ1および領域Ｙ2では立体視観察者の左眼と右眼では異なった点を見るので両眼視野闘争が起きる。

前述した理由で、左画像３７０上の領域Ｙ1に対応する右画像３７１上の点ａＲとその周辺が、シャープであるので優先されて知覚される。同様に、右画像３７１上の領域Ｙ2に対応する左画像３７０上の対象物ＡＲの右半分が、シャープであるので優先されて知覚される。

したがって、左画像３７０上の領域Ｙ1および右画像３７１上の領域Ｙ2は、両画像３７０および３７１を両眼視差立体視用画像として立体視するとき排除される側の領域である。この領域は、本立体視画像では見ていない領域である。

（実施例４）
図５（ｃ）は、一実施形態の対象物Ａと対象物Ｂとの双方にピントが合っている場合を示す図である。既に述べたように、写真画像は被写界深度が深く、ピントが合っている範囲が広いので、このような場合がありうる。

このような場合は、図５（ａ）、図５（ｂ）の場合であってピントが外れるところもピントが合った場合およびボケの量（強さ）が小さい場合と考えることができるので、点ａを優先する場合と、点ｂを優先する場合と両方ともが可能である。

本実施例では、一般的に手前のもの（対象物Ａ）がシャープであり、より目立つので、手前のもの（対象物Ａ）を優先するものとする。その場合は、領域Ｙ１が排除する領域となるので、原理１に従う。一般的に隠重の関係にある手前の像は、後ろにある像より目立ち、これを目立たせないようにするには然るべき量のボケが必要である。また、右画像381でのみ見える領域Ｙ2は、対象物ｄＲの下半分のボケが図５（ｂ）より小さいことが異なるだけなので、図５（ｂ）のときと同じように領域Ｙ2は排除領域である。

以上のように、両眼視野闘争が起こる左画像の領域と右画像の領域とを比較して、排除される側の領域を抽出する。

このように本発明の特徴は、両眼視野闘争が起こる領域のうちで排除する領域を局所的に抽出することにある。このことによって、後述する加工領域は、被写界深度でボケている領域全般とする必要はなく、局所的であっても良いことになる。

（第２実施形態）
抽出および特定・抽出された排除領域の加工について説明する。本発明は、写真等で作成した立体視左右画像を前提としているので、例えば図５ｂで示した各画像のハッチングした領域Ｙ1および領域Ｙ2は比較的シャープであり、実世界で直接見るときより目立ってハッキリ写っている場合が多い。そこで、左画像３７０上の領域Ｙ1および右画像３７１上の領域Ｙ2を立体視観察者が知覚することを弱めるように加工する。また、図５（ａ）で示した右画像５２１上の領域Ｘ１は、このボケの量が小さく両眼立体視したとき多少でもチラチラする場合は加工する。一般に両眼立体視における、対象物の前にあるボケは、後ろにあるボケより目立ち、両眼視野闘争が大きくなる傾向にある。両眼視野闘争が起こる領域で、排除される側の画像領域をより目立たなくすることによって、両眼視野闘争を緩和することができる。

このように、左眼位置から撮影された左眼1眼で完結する左画像と、右眼位置から撮影された右眼1眼で完結する右画像とを、両眼立体視するための画像として別々に加工修正する。加工修正後の各画像を個別に1枚の通常の画像として観察すると、一部がボケまたは沈んだ画像になる。したがって、極端に加工修正した場合は、1枚用の画像として使用するにはあまり適さない画像になり、両眼立体視で見たときにのみ成立する画像といえる。

また、例えば図５（ｂ）において、両眼立体視用画像は画像なのでボケた領域を注視することができるが、この場合について説明する。例えば、左画像370の点ｂＬを注視する。点ｂＬは左画像370上にしかないので左眼で見る。右眼でこの点に対応する点を右画像371上で探すと、画像内容から判断して点ａＲが対応する位置であることが判明する。左眼で点ｂＬを右眼で点ａＲを同時に注視すると、両眼視野闘争が大きくなる。右眼で点ａＲがハッキリ見え、左眼で点ｂＬがボケて見えるので、観察者はハッキリ見える方の点ａＲ（右眼で見える）を優先して、この点の対応点をもう一方の眼（この場合、左眼）で探すこととなる。左眼で左画像370上の点ａＬに注視点を移動し、右眼で点ａＲを注視すると、融像することができ、かつ両眼視野闘争が大きくなるときに感知する眼の痛み、またはチラチラした像の揺れが感知されないので、左画像370上の点ａＬと右画像371の点ａＲとを両眼の対応点（融合点）として選択する。

人間の眼は画像を観察するとき、注視点は画像上を頻繁に移動している。両眼立体視のように、左眼で左画像、右眼で右画像をそれぞれ見ると、両眼は融合点を探し突き止める行動をして奥行き情報を取得する作業をする。例えば図５（ａ）の点ｂＬのように、一方の眼のみで観察するときに正しい奥行き位置を得られる点もある。このように両眼立体視用の画像は、観察者が外界を観察するときのように自由に焦点位置を変化して観察できないので、予め知覚する内容を設定している画像であると言うことができる。本発明は、以上のことを考慮すると、そもそも立体視用画像は写真等の画像であると考えて、予め設定されている内容に相応しくない部分を検出して修正するものであるとも言える。

（排除領域の加工）
原理1または2に従って、両眼視野闘争が起こる領域で、かつ優先されない方の領域を、左画像および右画像で別々に抽出し、この抽出した領域を加工することにより、左右それぞれの１眼に基づいて作成した視差のある左画像と右画像とを、両眼立体視用の左画像と右画像とに加工修正することとなる。

左眼と右眼で異なる視覚像を観察しているとき、一方の像が他方の視覚像より鮮明にハッキリ見えれば、鮮明に見えた方の眼の視覚像が優先され、他方の眼の視覚像は無視されるが、両眼で同じ程度に見えた場合は両眼視野闘争が顕著になる。この場合、左右の視覚像が混じり混乱した視覚像が知覚され、通常は眼がチラチラして痛くなる。

そこで、このような排除領域を、どのような方法で加工修正するかについて説明する。ここで、排除領域を削除すればよいのであれば簡単であるが、画像の一部をただ削除しただけでは逆に目立つこととなり、また単に黒く塗り潰してもかえって目立ってしまう。

このように、両眼視野闘争で排除される側の領域（加工される領域）は、両眼立体視のときに見ていない領域であるので、この領域を目立たなくなるように加工修正して目立たない状態にすればよいことが分かる（目立たない状態とは、例えば、ボケていたり、滲んでいたり、明暗がハッキリしていなくて注視し難い状態、色彩が地味（彩度の対比が小さい）など、目立たなくて注目しづらいことである）。

具体的な加工方法としては、画像は画素で構成されているので、一定の規則で配列された画素を目立たないような配列に加工する。本来、三次元の世界を人間の眼で見る場合は、両眼視野闘争で排除される領域はピントが合わないので、ボケが大きくなって目立たなくなる。

人間の眼では網膜像を編集できないが、画像の場合、画像処理で画像に種々の処理を施すことができるので、単にボケの量を増やす以外に多種の方法がある。すなわち、具体的には以下のような加工（画像処理）により排除領域を目立たなくさせることができ、これらの加工法を任意に組み合わせて個々の画像の特性に最適な加工とすることもできる。

（１）排除領域をボカす
シャープで鮮明な画像より、ボケている画像の方が目立たない（ボカす処理は、本技術分野で知られる種々の方法を用いることができる）。ぼかし方は、図１ａおよびｂで示したように、後ろのボケはシャープな手前のものを侵食しない。手前のボケは後ろのシャープなものを侵食するようボカす。なお、以下で説明する（２）以降の加工も、ボカす加工と同様の条件で、境界線を侵食して、または侵食しないで加工することができる。
（２）排除領域内のコントラストを低くする
例えば、ボケているか否かにかかわらず、一色で塗られた面より、コントラストの強い方が目立つと考えられる。画像は画素で構成され、画素は色相、彩度、明度（色の3要素）の情報をもっている。コントラストを低くするとは排除領域内の画素を平均化することであり、コントラストを低くするには色相、彩度、明度（色の3要素）のいずれか1つの値を周辺の画素の持つ値に近づけることである。領域内で平均より飛び抜けた情報を持つ画素を平均値に近づけるだけでも、目立たなくなる。
（３）排除領域内の彩度、明度（輝度）を下げる
（４）色相を寒色系に近づける（一般に、寒色系の方が沈んだ色になる）
（５）排除領域内の色相、彩度、明度（色の3要素）を、もう一方の画像の排除領域に対応する領域（両眼視野闘争で優先される領域）に近づける

色相、彩度、明度（色の3要素）を両眼視野闘争で優先される領域内の値に近づけて、目立たなくさせる。

なお、本実施形態においては、予め左画像と右画像を加工することができ、ディスプレイに表示する前に加工する。（予め加工しなくても本発明の効果はあるが）予め加工することによって下記の利点がある。

左眼の視点位置から撮影した左眼用画像と、右眼の視点位置から撮影した右眼用画像とを、両眼視するときの左眼用画像と右眼用画像とに加工する場合、紙に印刷等するときは、元の画像を加工修正し、修正画像を作成してこれを使用する。紙等の定着した画像では予め加工しておかないとそもそも加工が不可能である。

ディスプレイに表示するときは、画像を表示する前に加工し、加工後の画像を表示する。通常ディスプレイに表示するときは、元のデータを予め加工しておいて、加工後のデータを表示する（もちろん、ディスプレイに表示するとき、元のデータを読み込み、加工手段を介してディスプレイに出力したり、ビデオカメラで撮影したものをリアルタイムに観察するときに使用し、または過去の立体視映像を見るときに使用することも本発明の範囲にある）。

コンピュータに表示するときも上記のディスプレイに表示するときと同様、コンピュータ上で動作する画像加工用プログラムで元の画像を加工修正してディスプレイに出力する。一度、両眼像を作成した後に、加工してもよいが、三次元で映像を計算する過程で排除領域を検出して加工すると1回の計算で済む。

以上、予め左画像と右画像を加工することにより、装置が簡単となり、安く手軽に加工を行うことができる。その上、多人数で鑑賞することが可能である。

また、上述した既存技術は、予め加工しない方法であり、加工する方法はボカす方法のみである。また、類似の既存技術も加工する方法はボカす方法である。本発明は、排除領域の加工方法で、ボカす以外の画像処理による加工方法も提案している。画像観察者の注視点を検出し、両眼視野闘争が起こる領域で排除領域を特定・抽出してボカす以外の加工方法は上述した既存技術および類似した既存技術に含まれていない。

したがって、排除領域の加工で説明したボカす以外の加工方法（2）から（5）は、従来考えられていなかった方法である。

（画像処理システム構成）
以上変形処理の一実施例を説明したが、以下に画像処理を実施するためのシステム構成について説明する。

図２１は、本発明の画像作成装置である画像作成システムの一実施形態を示す概念図である。本実施形態のシステムは、本体２１０１、画像入力部２１０５、画像出力部２１０７および外部記憶装置２１０６を備えるが、これに限られない。さらに、本体２１０１は、ＣＰＵ２１０２、ＲＡＭ２１０３およびＲＯＭ２１０４を含む。

画像入力部２１０５から予め作成された立体視画像である元の画像が読み込まれ、本体２１０１において上述の画像処理が実施されて、画像出力部２１０７から画像処理された画像が出力される。画像入力部２１０５は、元の画像が写真に記録されたものであればスキャナとすることができるが、何らかのデータファイル形式であれば種々の入力インタフェース機器とすることができる。また、画像出力装置２１０７をプリンタとして画像を用紙に印刷し出力することができるが、その他例えばディスプレイやスクリーン等として直接表示するようにすることもできる。

本実施形態においては、両眼視野闘争が起こる領域および排除領域の検出並びに排除領域の画像処理は本体２１０１で行われるが、通常これは画像処理ソフトウェアにより行われる。画像処理ソフトウェアの所定のプログラムに必要な数値を設定し画像処理を実行すると、ＣＰＵ２１０２は、ＲＯＭ２１０４等に格納されたオペレーティングシステムを介して外部記憶装置２１０６に格納されたプログラムを読み出してＲＡＭ２１０３にロードする。ＲＡＭ２１０３にロードされたプログラムはそのステップを順次実行して指定された所定の数値に基づき入力画像を処理し、最終的に画像を出力する。

本実施形態の画像の加工修正および変形においては、二次元画像の画像処理は上述の本体２１０１のようなコンピュータを用いて行われるが、二次元画像用の画像処理ソフト（例えば、アドビ・フォトショップ（登録商標））の画像処理機能を使用すれば、排除領域の画像処理が可能である（例えば、非特許文献３参照）。

また、以上の処理のフローを図６に示す。

なお、立体視装置を使用して立体視する場合であるが、後述する仮想傾斜角を付けた立体視画像を観察する場合と同様に、立体視画像として前述した加工後の立体視画像を使用して立体視すればよい。

以上説明した両眼視野闘争を緩和する方法に立体視効果を向上させる方法を適用することにより、既存の立体視画像の立体感をより高め、しかも疲労感を軽減させることができる。

（第３実施形態）
上述の第２実施形態においては、立体視用画像を予め処理したが、立体視用画像を観察する観察者の注視点を検出して、これにボケを追加することも可能である。本実施形態では、注視点が移動するとこれを更新することにより、常に注視点からのボケを追加可能にする方法または装置が提供される。すなわち、ディスプレイに表示した立体視用画像を観察する観察者の注視点を検出して、この位置の元の3次元上の奥行き距離を判定し、3次元上の注視点位置から前後方向に段々ボカすことによって、新たに立体視用画像の観察者の被写界深度を付加することが可能となるのである。なお、ボケの追加の代わりに、排除領域の加工方法で説明した目立たなくする加工方法の少なくとも１つを適用することができ、擬似的な被写界深度の効果を付加することも可能である。

（第４実施形態）
本発明の目的を考慮すると、立体視により立体視像をただ観賞する場合は、立体感のあるイメージが感知されればよいので、必ずしも厳密で正確な位置に立体像を結像する必要はない。このとき、立体視観賞者が左眼で左画像を、右眼で右画像を同時に観察して得られる結像点の輻輳角は、写真測量のように絶対値（測定値）によって認識されるのではなくて、あくまで、比較する２地点以上の結像点の輻輳角の広い方が手前に位置し、輻輳角の狭い方が奥に位置するという相対的な変化量（相対値）に基づいて認識されるものである。

従って、輻輳角の広狭と奥行き位置の前後が比例していて、形状の歪みが特別に知覚されなければ観賞用の立体視が成立する。手前の結像点の輻輳角の角度を、多少、広くすると結像位置が手前に飛び出すので立体像全体の奥行き感が増し、その結果立体感が増大した迫力ある立体像となる。以下、本原理を詳細に説明する。

まず、立体視用左右画像を観察者が観察するときに、観察者が観察する輻輳角がどのようにして決定されるかについて２つの側面が存在する。第１の側面は、撮影時の輻輳角と観察時の輻輳角について、および第２の側面は、観察時の左右画像の間隔についてである。

（撮影時輻輳角および観察時輻輳角）
第１の側面は、撮影時の輻輳角および観察時の輻輳角についてであるが、より正確には撮影時に映像に写された個々の三次元の対象物上の点（位置）の輻輳角（以下、この輻輳角を製作時映像輻輳角と定義し、その分布する空間を製作時映像輻輳角空間とする）と、撮影して写された映像を立体視する立体視観察者が知覚する輻輳角（以下、この輻輳角を観察時映像輻輳角と定義し、その分布する空間を観察時映像輻輳角空間と定義する）とである。立体視用の左右の映像に写しこまれている輻輳角であるという意味で、映像輻輳角と呼ぶ。また、観察時映像輻輳角は左右画像で対応する遠点の間隔が両眼幅に等しいときに得られる輻輳角とする。

製作時と観察時の状態が同一または相似形であるなら、観察時に製作時と同じ輻輳角を知覚する（例えば、非特許文献２参照）。しかし、左右の立体写真を撮影したときと同一の状態で、左右画像を観察することは非常に難しい。多くの場合、製作時の撮影基線長と対象物までの距離の関係と、観察時の眼基線長と写真までの距離の関係とが異なっており相似形とはならない。

しかし、撮影基線長より眼基線長が短いことを原因として、特に立体視の航空写真では対象物が実際より高く見える現象が発生するが、このことを過高感という（例えば、非特許文献２参照）。このように、観察時と製作時とで基線長と対象物までの距離との関係が異なることは、立体視では一般的に生じうることである。

なお一般に、製作時映像輻輳角と観察時映像輻輳角とは一定の関数関係があるが、本発明にとってこの点は重要ではないので、相互関係についての説明は省略する。

本発明で問題とするのは、観察時映像輻輳角と後で述べる基体輻輳角である。図７は、本発明の一実施形態の観察時映像輻輳角を説明するための図である。観察時映像輻輳角は、立体視左右画像を画像内容の遠点を両眼幅だけ離して配置するので、視点と立体視左右画像までの距離、立体視左右画像の縮尺率などを設定すると定まる値である。

ここで、三次元世界において観察者に近い注視点を近点、観察者から見て遠くに見える点であって輻輳角の影響外の注視点を遠点とすると、左画像４０３上の遠点はＰＬ1、右画像４０４上の遠点はＰＲ1、左画像４０３上の近点はＰＬ2、および右画像４０４上の近点はＰＲ2となる。左画像４０３上の遠点ＰＬ1と右画像４０４上の遠点ＰＲ1との距離が両眼幅と等しくなるように左右画像を配置する。

左眼と左画像上の近点ＰＬ2とを結んだ線の延長線とで、右眼４０２と右画像４０４上の近点ＰＲ2とを結んだ線の延長線とは交差し輻輳角θを形成する。輻輳角θが観察時映像輻輳角である。

（基体輻輳角について）
第２の側面として、観察時の左右画像（基体）の配置される間隔について説明する。一般的には、立体視用左右画像は左右画像の対応する遠点が両眼幅の距離になるように左右に離して配置するが、立体像が飛び出す効果及び引っ込む効果を強調するために、左右画像の間隔を変えて離したり近づけたりすることは、通常よく行なわれている立体像の結像位置を操作する方法の１つである。

立体視用左右画像の配置される間隔によって発生する輻輳角を基体輻輳角と定義し、その分布する空間を基体輻輳角空間とする。基体輻輳角の分布は面を形成するので、これによって生成される仮想の面を仮想面と定義し、特に立体視用左右画像が配置される表示面に対して傾斜しているものを仮想傾斜面と定義する。仮想傾斜面は必ずしも連続した面ではなく画像面とフラットかつ平行でないもの全て含むものとする。

基体輻輳角を図８、図９を参照して説明する。図８は、一実施形態の左右画像の間隔を変えて仮想面が奥に移動することを説明する図であり、図９は、一実施形態の左右画像の間隔を変えて仮想面が手前に移動することを説明する図である。ここで、立体視左右画像４０３、４０４は左右画像とも表示面８０１に表示された面である。左右画像４０３、４０４の間隔を変えて近づけたり離したりすることにより、観察者が立体視すると面が飛び出す効果と引っ込む効果とを生む。これは、前記観察時映像輻輳角を無視した純粋に画像基体の位置関係によって発生するものである。

図８および図９において、左右画像４０３、４０４上に描かれた十文字は位置情報としての点であり、各画像に均一に分布している（いわゆる画像上のＸＹ座標である）。左右画像４０３、４０４上の対応する点ＰｌとＰｒとが融合して結像点を決定する。

図８では左画像４０３と右画像４０４とが離れているので仮想面は引っ込む。図９では左画像４０３と右画像４０４とが近づいてるので仮想面は飛び出す。

ただし、これらの図は概念の説明であり、輻輳角の結像位置が正しく描かれてはいないので、輻輳角については図１０を参照して説明する。ＰＬａは左画像４０３上の点、ＰＲａは右画像４０４上の点、ＰＬｂは、移動後の左画像１００１上の点、およびＰＲｂは移動後の右画像１００２上の点である。左画像４０３上の点ＰＬａと右画像４０４上の点ＰＲａとが、両眼幅より狭い間隔離れて配置してある。なお、ＰＬａとＰＲａおよびＰＬｂとＰＲｂは、それぞれ対応する画像上の位置情報（点）である。

左眼４０１と点ＰＬａとを結んだ線の延長線と、右眼４０２と点ＰＲａと結んだ線の延長線とは交わって交点Ｐａ２に結像する。両視線の輻輳角はθａである。左画像４０３と右画像４０４とによる仮想面１００３はこの位置にできる。次に、左画像４０３と右画像４０４とを両者の距離が狭くなるように移動する。すなわち、左画像４０３と面上の点ＰＬａとは左画像１００１と点ＰＬｂとの位置に、右画像４０４と面上の点ＰＲａとは右画像１００２と点ＰＲｂとの位置にそれぞれ移動する。ここで、θは観察時映像輻輳角、θｃは総合輻輳角である。

左眼４０１と点ＰＬｂとを結んだ線の延長線と、右眼４０２と遠点ＰＲｂとを結んだ線の延長線とは交わって交点Ｐｂ２に結像する。両視線の輻輳角はθｂであり、左画像１００１と右画像１００２とによる仮想面１００４はこの位置にできる。

ここで、θｂ＞θａとなるので、仮想面１００４は仮想面１００３より観察者側から見て手前に現れることとなる。これが、立体視用左右画像の相互の間隔を近づけると飛び出す効果が生まれる原理であり基体輻輳角の原理である。

以上説明したように、基体輻輳角の広狭により発生する現象として、立体像全体が飛び出す効果および引っ込む効果と、立体視用左右画像の相互の間隔の広狭との相互関係を理解することができる。

（観察時映像輻輳角と基体輻輳角の関係）
観察時映像輻輳角と基体輻輳角との関係について以下に説明する。観察時映像輻輳角は、上述したように立体視観察者の両眼幅だけ立体視左右画像を離して配置した結果画像上の各点と観察者の両眼により形成される輻輳角である。基体輻輳角が形成される点は各画像上に均一に分布しているので、基体輻輳角の基準点を観察時映像輻輳角の遠点に重ね合わせる位置とすることが可能である。

従って、基体輻輳角は左右画像が両眼幅だけ離れているので、平行すなわち０度である。立体視画像観察者が知覚する輻輳角を総合輻輳角とすると
総合輻輳角＝観察時映像輻輳角
となる。図７を参照すると、左画像４０３上の遠点ＰＬ1と右画像４０４上の遠点ＰＲ1との距離が両眼幅と等しくなるように左右画像を配置すると、左眼４０１と左画像４０３上の近点ＰＬ２とを結んだ線の延長線と、右眼４０２と右画像４０４上の近点ＰＲ２とを結んだ線の延長線とは交差して輻輳角θが形成される。輻輳角θが観察時映像輻輳角である。

次に、左右画像を近づけるが、視点から画像までの距離および画像のスケールを変更しない。図１１を参照すると、左画像４０３を右画像４０４側の左画像１００１に移動すると、左画像４０３上の遠点ＰＬ１と近点ＰＬ２は、左画像１００１上の遠点ＰＬ３と近点ＰＬ４に移動する。右画像４０４を左画像４０３側の右画像１００２に移動すると、右画像４０４上の遠点ＰＲ１と近点ＰＲ２とは、右画像１００２上の遠点ＰＲ３と近点ＰＲ４とに移動する。

左眼４０１と点ＰＬ４を結んだ線の延長線ＬＬ２と、右眼４０２と点ＰＲ４を結んだ線の延長線ＬＲ２が交点Ｐ４で交わり、この点が点ＰＬ４と点ＰＲ４との結像点である。従って、両視線（ＬＬ２とＬＲ２）の輻輳角はθｃとなる。両視点位置は同一で、点ＰＬ４とＰＲ４の距離が元の距離より縮まっているので、
θｃ＞θ
となる。

また、左眼４０１と遠点ＰＬ３を結んだ線の延長線ＬＬ１と、右眼４０２と点ＰＲ３を結んだ線の延長線ＬＲ１が交点Ｐ３で交わり、この点が点ＰＬ３と点ＰＲ３との結像点である。従って、両視線（ＬＬ１とＬＲ１）の輻輳角はθｄである。両視点位置は同一で、点ＰＬ３とＰＲ３の距離が元の距離より縮まっているので、
θｄ＞0
となる。ここで、θｄは基体輻輳角である。
従って、立体視画像観察者が知覚する輻輳角を総合輻輳角とすると
総合輻輳角＝基体輻輳角 + 観察時映像輻輳角
となる。ただし、この式は概念式で単純に両輻輳角を足したものではなく、基体輻輳角と観察時輻輳角とを総合することによって総合輻輳角を得ることができるといった意味である。

以上のように、基体輻輳角を変化させることにより、立体視観察者の知覚する輻輳角（総合輻輳角）を変化させることができる。

次に、図面を参照して本発明の実施の形態について説明する。図１２は、仮想傾斜面が形成されるように左右画像を変形処理した画像を示す図である。表示面に表示されている立体視左右画像を下部から上部にかけて一定の割合で輻輳角が減少するように変形させると基体輻輳角空間が変化し、仮想面が傾斜して上部が奥に引っ込むような仮想傾斜面が得られる。また、逆に輻輳角を増大させるように変形すれば上部が手前に飛び出すような仮想傾斜面が得られる。輻輳角を上部から下部にかけて増減すると仮想面の傾斜が上下逆になる。この傾斜した面を仮想傾斜面と呼び、図１２に示す仮想傾斜面は上部が奥に引っ込むように変形している例であるが、これに限られず仮想傾斜面は表示面と同一平面でなければ曲面を含むいかなる平面とすることもできる。

図１２において、元の左画像１２０３上の下部に点Ｐｌ１と上部に点Ｐｌ２が１つの直線上に描かれ、元の右画像１２０４上には下部に点Ｐｒ１と上部に点Ｐｒ２が１つの直線上に描かれている。それらが表示面に左右に並列に配置されている。（点Ｐｌ１と点Ｐｒ１の距離＝点Ｐｌ２と点Ｐｒ２の距離、となっている）。

今、元の左右画像１２０３、１２０４の上部を相反する方向に歪み変形させる。以下、変形後の立体視の左右の画像をそれぞれ変形左画像、変形右画像という。元の左画像１２０３上の点Ｐｌ１と点Ｐｌ２は画面中心とは反対の方向に移動し、変形左画像１２０１上の点Ｑｌ１と点Ｑｌ２の位置にそれぞれ移動する。また、元の右画像１２０４上の下部の点Ｐｒ１と上部の点Ｐｒ２は画面中心とは反対の方向に移動し、変形右画像１２０２上の点Ｑｒ１と点Ｑｒ２の位置にそれぞれ移動する。

点Ｑｌ１と点Ｑｒ１との距離Ｄｑ１は点Ｑｌ２と点Ｑｒ２との距離Ｄｑ２より小さい。すなわち、
Ｄｑ２＞Ｄｑ１
となる。

（実施例１）
図１３は、一実施形態の仮想傾斜面を模式的に表す図である。変形左右画像１２０１、１２０２上の点Ｑｌ１と点Ｑｒ１とを両眼４０１、４０２で融合すると観察者の眼には輻輳角ＱＱＱ１が付き、点Ｑｌ２と点Ｑｒ２とでは輻輳角ＱＱＱ２が付く。ここで、
Ｄｑ２＞Ｄｑ１
であるので、輻輳角は
ＱＱＱ２＜ＱＱＱ１
となる。すなわち、変形左右画像の上部では輻輳角が広くなり、下部では輻輳角が狭くなる。したがって、観察者の輻輳角によって形成される仮想面は、下部が観察者側に飛び出し、上部が奥に引っ込むこととなり、図１３に示すように観察者の位置からみると上り坂のような仮想傾斜面１３０１が生成される。このように、元になる左右画像を変形させるだけで、立体視で感知する立体像に仮想傾斜面を生成することができる。この原理を用いれば、変形処理を工夫することによって映像内容を模した仮想傾斜面を生成することもできる。

したがって、元の画像が有する輻輳角とは異なる輻輳角が付くが、以上の処理により観察者の輻輳角の変化量が通常の場合より増大し、仮想空間の遠近感も増大する結果、没入感が増して立体感が向上するという効果がある。また、このように左右画面が変形して融合点が移動しても、融合可能限界内であれば、人間の眼が本来持つ機能によって左右画像から左眼右眼の融合点を正確に抽出して立体視することが可能となる。図１３に示すような画像の下部から上部にかけて一定の量で輻輳角を減少させることによって得られるような仮想傾斜面１３０１は、実際の画像では例えば手前に草木が生えていてその先に家屋や木があって、更にその先に森や川が流れ遠くの山へと続いているような画像の場合に特に有効である。すなわち、近くの草木や家屋がより近づき、遠くの山がはるか先に見えるため良好な立体感が得られるのである。

さらに、通常の立体視画像では書割のように奥行きが浅く見える場合も、本発明によって変形処理することにより豊かで奥行きの深い立体感を形成させることができる。

また、図２０を参照すると、例えば立体視画像の映像内容が上り坂の場合、図１３のように元の左右像１２０３、１２０４の上部がお互いに離れる方向に歪み変形処理すると、仮想面の上部が観察者の奥行き方向に引っ込む、上り坂の仮想傾斜面が生成される。（変形左右画像を近づけると前期仮想傾斜面全体が飛び出す。）歪み変形の値を左右画像の中間で変化させることによって、勾配の変化した仮想傾斜面を形成することができる。この結果、形成された仮想傾斜面上に左右画像が本来有している映像輻輳角（観察時映像輻輳角）が配分され、映像内容の空間と近似または誇張した奥行き感のある総合輻輳角空間を形成することができる。

次に、立体視の効果を向上させる既存の方法と比較検討する。まず、左右画像を変形して、その輻輳角の変化の値を具体的に説明する。撮影基線長を長くすると、輻輳角が広くなり視差が大きくなる。ここで、左右画像４０３、４０４を本発明に基づいて変形して、輻輳角の変化を具体的に示す。

図２０を参照すると、撮影基線長がＤａで作製した左画像４０３と右画像４０４とを歪ませる。左画像４０３は点Ｃｌを基点にして光軸側に角度α歪ませ、右画像４０４は点Ｃｒを基点にして光軸側に角度α歪ませる。厳密にする場合は、点Ｃｌおよび点Ｃｒの上部は歪ませない。左画像４０３と右画像４０４とは歪み変形し変形左画像２００１と変形右画像２００２とになる。

変形左画像２００１上の点Ｃｌと変形右画像２００２上の点Ｃｒはひとみ距離と同じ距離となるように変形左画像２００１と変形右画像２００２とを配置する。点Ｂｌと点Ｂｒとの間隔は変形前より縮まる。同様に点Ａｌと点Ａｒとの間隔は、点Ｃｌおよび点Ｃｒからより離れているので、変形前の点Ａｌと点Ａｒとの間隔より縮まって変形後の点Ｂｌと点Ｂｒとの間隔が狭くなる以上に狭くなる。

変形左画像２００１と変形右画像２００２とを立体視左右画像として観察するとき、点Ｃの輻輳角θ3ｃは０であるが、点Ａの輻輳角θ3ａおよび点Ｂの輻輳角θ3ｂは画像の下に行くほど広くなる。輻輳角θ3ａが最も広く、輻輳角θ3ｂは次に広い。この結果、撮影基線長がＤｂで作製した左画像５０１と右画像５０２とに非常に近似した輻輳角の広狭の分布となる（Ｄｂ＞Ｄａとする）。

このようにして、左右画像の視差を大きくせずに、観察者に近い点ほど輻輳角を広くでき、立体視観察者の知覚する立体感を増大することができる。

このとき、立体視左右画像が写真画像のように感覚的奥行き手掛りを備えていると、後述の本発明により発生する矛盾を目立たないようにすることが可能となる。

（立体視装置）
本実施形態において作成された立体視画像は、左右画像に視差のある立体視用画像を観察する立体視装置であればいずれの装置でも使用可能である。２枚の画像ばかりでなく、多眼式と言われる一対の立体視画像のペアを多数使用した立体使用の装置でも利用可能である。例えば少しずつ視点が移動した４つのペアを組み合わせた８画像式でも良い。

図２２、図２３に最もシンプルな立体視ビュアーを示す。両者とも、遮光板で左右画像を分離する立体視装置である。図２２の立体視装置は平行法のビュアーで、図２３の立体視装置は交差式ビュアーである。図２３において、交差法の場合は、左右画像の配置を左右反対になるので変形する方向が平行法とは逆方向となる。図２２、２３に示す変形画像は歪み変形の例であるが、これをトリミングして矩形にすることが可能である。

既存の立体視装置としては、アナグリフ方式、レンチキュラレンズ方式、バララックス・バリア方式、偏光分離方式、または時分割分離方式などが使用可能であるがこれらに限られない。

また、立体視画像は写真のような用紙上に表されているものに限らず、ディスプレイやスクリーンに表示するようなシステムとすることができ、この場合、上述の作成装置に元の画像を入力し変形処理した後そのままディスプレイ等に処理された立体視画像を表示して立体視を行うといった構成も可能である。

（実施例２）
図１３においては比較的単調な傾斜を持つ仮想傾斜面であったが、上述の通り、仮想傾斜面はこれに限られず撮影あるいは作成された画像の特性に合わせて種々のものが考えられる。例えば、図１４に示すように前記仮想の傾斜角が途中で変化するよう変形処理して左右画像１４０１、１４０２を作成し、階段状となるような仮想傾斜面１４０３とすることもできる。

（実施例３）
図１５に示すように仮想傾斜面１５０３が曲面であるものとすることもできる。図１５のように、元の変形前の左右画像を変形左右画像１５０１、１５０２を形成するように画素の行単位で変形する。前述の歪み変形は、まとまった数の画素の行を変形するときに行なうが、細かな変形をするときは１行ごとに横方向に移動する。例えば、変形左右画像１５０１、１５０２は各画素の行を、中心部において最も離れ、上部と下部とにおいて近づける方向に移動して変形し、上下端部が最も近づくようにする。

この結果、仮想傾斜面１５０３は中央部が奥に窪んだ湾曲した形状となり、天空を模することが可能である。この湾曲した仮想傾斜面１５０３は、中央部が飛び出た湾曲でも、上部が飛び出た湾曲でもよい。中央部が飛び出た湾曲面を形成すると、レンズ効果に近似した効果となる。例えば、映像内容に地平線があり、地平線近傍が最も奥になるような仮想傾斜面を形成したい場合に図１５に示すような変形処理を施すのが有効である。

（実施例４）
このようにして形成された上述の仮想傾斜面上に観察時映像輻輳角が配分され、より奥行き感のある総合輻輳角空間を形成することができるが、図１６に示すように傾斜面に対し全体的にフラットでない段差の付いた仮想傾斜面１６０３とすることもできる。これらの種々の仮想傾斜面を生成するための画像の変形処理は上述したように、既存の画像処理ソフトウェアを用いて容易に行うことができるが、変形処理の具体的な内容にかかわらず、仮想傾斜面を生成し立体感を向上させる方法および装置等はいずれも本願発明の範囲に属することは明らかである。

（実施例５）
さらに具体的に仮想傾斜面の適用を検討すると、図１７に示すような画像に適した変形処理を考えることができる。図１７は、大地に立って特に作為がない状態で撮影された写真の例を示す図であり、写真の下部が足元になり、写真の下部から中段は地平線の奥行き方向の面が写り、さらに写真の地平線部分から上が、地平線部分から観察者側に向かってくる空と雲になる。

このような風景を立体視用画像とするには、この画像を視差のある左右画像として撮影する必要がある。一般に、立体視左右写真にして、迫力ある立体像を知覚するようにするには撮影基線長を長く設定しなければならない。しかし、本願発明を適用して図１８に示すような仮想傾斜面を生成するよう画像を変形処理すれば、撮影基線長がそれほど長くなくても、本発明により奥行き感を誇張することが可能である。図１８は、このような効果を引き出すために有効な仮想傾斜面を説明するための図であり、地平線部分の近傍を最も奥になるように仮想傾斜面１８０３が生成されるようにすればよい。

このために、画像の変形は、平行法の場合、図１８に示すように地平線部分の近傍において左右画像１８０１、１８０２の画素の行を最も離し（すなわち、両眼幅とし）、画像の上部と下部の画素の行を最も近くして、その間を連続的に変化するようにして行う。地面および空に相当する部分は直線的変化する歪み変形にするとよい。図１８で仮想傾斜面の中に画像のイメージが描かれているが、立体像を描いているのではなく、あくまで傾斜仮想面１８０３の形状を説明するために描いた画像である。立体像は仮想傾斜面１８０３の手前または奥の空間上に結像する。

（実施例６）
奥行き方向または左右方向に客観的に傾斜した画面に用いて表示することも可能である。この場合、傾斜した画面傾斜面に表示された画像は、射影変換された画像であるが、左右画像を左右画像を表示する傾斜した画面に射影し射影変換するとき、射影する基点はそれぞれの視点の近傍ではなく、左右視点を結ぶ線上の視点より離れた位置とすると仮想傾斜面が形成される。

（第５実施形態）
図１９において、対象物Ａ、Ｂ、Ｃが左画像でＡｌ、Ｂｌ、Ｃｌ、の位置にあり、右画像ではＡｒ、Ｂｒ、Ｃｒの位置にあり、これら（Ａｌ、Ｂｌ、Ｃｌ、Ａｒ、Ｂｒ、Ｃｒ）が左右画像の基体とそれぞれ一体化している。左画像１９０１と右画像１９０２は左右画像の上部をお互いに離れるように歪み変形処理したものである。画像変形処理によって基体輻輳角空間、すなわち仮想傾斜面１９０３の下部は観察者側に飛び出た上り坂となる。以上は図１３の場合と同様である。

同時に、左右画像１９０１、１９０２上に表された対象物の映像による映像輻輳角空間もそれぞれ上部が傾いて変形する。左右画像１９０１、１９０２のそれぞれの融合点で形成される仮想対象物Ａｖ、対象物Ｂｖ、対象物Ｃｖの観察時映像輻輳角は、仮想傾斜面１９０３の下辺と上辺の間に配分して形成されるので、奥行き感が増大した総合輻輳角となり、立体感が増大した総合輻輳角空間が形成される。融合して感知される仮想対象物Ａｖ、Ｂｖ、Ｃｖは上部が傾いているが、この傾き範囲が小さい場合、視点位置から観察した像は正常に感知される。なぜなら、人間は不可能な形を認識できない心理学的特性があり、日常の知覚に照らし合わせて認識するため、日常でありえない歪みを無視するからである。ここでも、感覚的奥行き手掛りが大きな働きをする。

このように表示面に表示された立体視用左右画像を変形することによって、奥行き方向に深い基体輻輳角（基体輻輳角空間）を形成することが可能であり、この基体輻輳角空間の領域に映像固有の映像輻輳角空間を形成するので、これらが合計された総合輻輳角による総合輻輳角空間は奥行き方向に深い仮想空間となる。

（立体視における矛盾）
本実施形態では仮想対象物Ａｖ、Ｂｖ、Ｃｖは前後方向に仮想傾斜面１９０３とほぼ並列に位置しているが、これと異なる場合もある。例えば、図１９で示した仮想物Ｃｖが手前にある対象物だとすると、図１９の破線で示した仮想傾斜面１９０３の奥の部分に位置するので、仮想物Ｃｖの映像輻輳角が大きくても、仮想傾斜面の基体輻輳角の影響によって、総合輻輳角は小さくなる。したがって輻輳角のみで立体視による仮想の位置を判断すると本来の位置より奥側となる。

これは、本来の映像内容と矛盾する。このように仮想傾斜面と特定の位置ある対象物の実際の位置が矛盾する場合、矛盾は大脳において総合的に判断されるため、立体視の感覚的立体視要素である隠重（後ろの物は前の物に隠れる）、大きさの恒状性（大きいものほど手前にある）などの感覚的奥行き手掛りを加味して矛盾が判断さる。すなわち、人間は錯覚に見られるように日常の「視覚的常識」を基に視覚世界を判断している光学的、幾何学的な説明を越えて立体感を知覚するので、仮想空間で奥に有るものが重なり合いの前に位置し後ろのものが一部隠れていたり、大きく見えたり、後ろのものよりハッキリ見えれば、これらの要素を総合的に判断し、例え輻輳角が多少異なっていても手前に存在すると判断する。すなわち、この場合の矛盾は否定される。

そもそも輻輳角による三次元位置の認識の有効範囲は２０メートル程度と言われており、また輻輳角の効果は、３３’以下では有効でないという報告がある。遠方を輻輳角のみで立体認識するのは不可能なわけである。従って、本発明は映像内容と前後の位置が比例した仮想傾斜面を形成するような画像、例えば風景のような画像を得意としている。すなわち、俯瞰および仰観する画像に向いているということができる。

（第６実施形態）
立体視左右画像に全く同一の画像を左右に配置し変形処理して仮想傾斜角を形成することもできる。この場合は、１枚の２次元画像を使用した擬似立体視となる。このとき総合輻輳角は、映像輻輳角が０なので基体輻輳角の値と等しくなる。

例えば風景写真の場合、写真の下部が実空間では観察者の手前の（近い）位置になり、写真の上部が実空間では観察者から奥の（遠い）位置になる。このとき、観察者の輻輳角は手前（近く）が大きく、奥（遠く）に行くほど小さくなる。

本発明で、前記左右画像に左右同一の画像を使用し、実施例２に示した変形処理を行うことによって仮想傾斜角を形成すると、実空間と近似した総合輻輳角空間が形成される。

例えば、写真のイメージが平原の先に山があり、その上が雲の場合、平原の部分は傾斜角を大きくし、山部は緩やかな傾斜角、雲は手前に飛び出る逆の傾斜角をつけられた仮想傾斜角空間を形成するとよい（これは視差のある画像も同じである）。ただし、映像輻輳角はないので、映像と輻輳角が矛盾するときは前記感覚的奥行き手掛りが大きく影響する。

本実施形態は結局擬似立体視であるが、現在ある画像(１枚)をそのまま使用でき、経費が安く済ますことができるので過去の遺産を使用できる利点は大きい。このように本実施形態においては、左右画像の視差が小さくても、仮想傾斜角の傾斜を大きくし、映像内容に近似した仮想傾斜面を形成することによって、奥行きの深い立体感を生み出すことが可能になる。

（ａ）および（ｂ）は、ピント調節が合った部分と合っていない部分が含まれる画像を示す図である。 本発明の一実施形態の複数の物体が隠重の関係をもって配置された様子を示す図である。 （ａ）は、図２の平面図で点ｂを注視する場合を示す図であり、（ｂ）は、一実施形態の右および左の視覚像を示す図である。 （ａ）は、図２の平面図で点ａを注視する場合を示す図であり、（ｂ）は、一実施形態の右および左の視覚像を示す図である。 （ａ）は、図３を参照して説明した左右眼像を移し変えた画像を示す図、（ｂ）は、図４を参照して説明した左右眼像を移し変えた画像を示す図、（ｃ）は、図３および４を参照して説明した左右眼像を移し変えた画像を示す図である。 本実施形態の処理を示すフローチャートである。 本発明の一実施形態の観察時映像輻輳角を説明するための図である。 一実施形態の左右画像の間隔を変えて仮想面が奥に移動することを説明する図である。 一実施形態の左右画像の間隔を変えて仮想面が手前に移動することを説明する図である。 一実施形態の左右画像の間隔を変えて仮想面が移動することを説明する図である。 一実施形態の左右画像の間隔を近づけて仮想面が移動することを説明する図である。 仮想傾斜面が形成されるように左右画像を変形処理した画像の一例を示す図である。 仮想傾斜面が形成されるように左右画像を変形処理した画像の一例を示す図である。 仮想傾斜面が形成されるように左右画像を変形処理した画像の一例を示す図である。 仮想傾斜面が形成されるように左右画像を変形処理した画像の一例を示す図である。 仮想傾斜面が形成されるように左右画像を変形処理した画像の一例を示す図である。 大地に立って特に作為がない状態で撮影された写真の例を示す図である。 このような効果を引き出すために有効な仮想傾斜面を説明するための図である。 仮想傾斜面が形成されるように左右画像を変形処理した画像の一例を示す図である。 仮想傾斜面が形成されるように左右画像を変形処理した画像の一例を示す図である。 本発明の画像作成装置である画像作成システムの一実施形態を示す概念図である。 立体視装置は平行法のビュアーを示す図である。 立体視装置は交差式のビュアーを示す図である。

符号の説明

１０１、１０２ コップ
１０３、１０４ 隠重部分
２００、４０１ 左眼
２０１、４０２ 右目
３１０、３４０ 左視線
３１１、３４１ 右視線
３２０、３５０、３６０、３７０、３８０ 左視覚像
３２１、３５１、３６１、３７１、３８１ 右視覚像
４０３ 左画像
４０４ 右画像
８０１ 表示面
１００１、１２０１、１４０１、１５０１、１６０１、１８０１、１９０１、２００１ 変形左画像
１００２、１２０２、１４０２、１５０２、１６０２、１８０２、１９０２、２００２ 変形右画像
１００３、１００４ 仮想画面
１３０１、１４０３、１５０３、１６０３、１８０３、１９０３ 仮想傾斜面
２１０１ システム
２１０２ ＣＰＵ
２１０３ ＲＡＭ
２１０４ ＲＯＭ
２１０５ 画像入力部
２１０６ 外部記憶装置
２１０７ 画像出力部

Claims (19)

1. 立体視用の左画像と右画像とを有する立体視画像作成方法であって、
   所定の表示面に表示される前記左画像と右画像とでそれぞれ対応する一対の融合点がない左右の対象領域を抽出する対象領域抽出ステップと、
   前記左右の対象領域のいずれかの目立たない方の領域を特定して、該目立たない方の領域を排除領域として抽出する排除領域抽出ステップと
   を備えたことを特徴とする立体視画像作成方法。
2. 前記排除領域抽出ステップにおいて抽出された排除領域に対し、前記対象領域から該排除領域を除いた領域に比較して、より目立たなくさせる加工を施す排除領域加工ステップをさらに備えたことを特徴とする請求項１に記載の立体視画像作成方法。
3. 前記より目立たなくさせる加工は、両眼立体視用左右画像を使用する前に予め施されることを特徴とする請求項２に記載の立体視画像作成方法。
4. 前記より目立たなくさせる加工は、前記排除領域をぼかす加工であることを特徴とする請求項２または３に記載の立体視画像作成方法。
5. 前記より目立たなくさせる加工は、前記排除領域のコントラストを低くする加工であることを特徴とする請求項２または３に記載の立体視画像作成方法。
6. 前記より目立たなくさせる加工は、前記排除領域の彩度または明度を下げる加工であることを特徴とする請求項２または３に記載の立体視画像作成方法。
7. 前記より目立たなくさせる加工は、前記排除領域の色相を寒色系に近づける加工であることを特徴とする請求項２または３に記載の立体視画像作成方法。
8. 前記より目立たなくさせる加工は、前記排除領域の色相、彩度または明度を前記対象領域から該排除領域を除いた領域の色相、彩度または明度に近づける加工であることを特徴とする請求項２または３に記載の立体視画像作成方法。
9. 前記より目立たなくさせる加工は、
   （１）前記排除領域をぼかす加工
   （２）前記排除領域のコントラストを低くする加工
   （３）前記排除領域の彩度または明度を下げる加工
   （４）前記排除領域の色相を寒色系に近づける加工、および
   （５）前記排除領域の色相、彩度または明度を前記対象領域から該排除領域を除いた領域の色相、彩度または明度に近づける加工
   のいずれか１つまたは組み合わせであることを特徴とする請求項２または３に記載の立体視画像作成方法。
10. 立体視用の左画像と右画像とを有する立体視画像作成装置であって、
    所定の表示面に表示される前記左画像と右画像とでそれぞれ対応する一対の融合点がない左右の対象領域を抽出する対象領域抽出手段と、
    前記左右の対象領域のいずれかの目立たない方の領域を特定して、該目立たない方の領域を排除領域として抽出する排除領域抽出手段と
    を備えたことを特徴とする立体視画像作成装置。
11. 前記排除領域抽出手段において特定された排除領域に対し、前記対象領域から該排除領域を除いた領域に比較して、より目立たなくさせる加工を施す排除領域加工手段をさらに備えたことを特徴とする請求項１０に記載の立体視画像作成装置。
12. 立体視用の左画像と右画像とを有する立体視画像を立体視する方法であって、
    所定の表示面に表示される前記左画像と右画像とでそれぞれ対応する一対の融合点がない左右の対象領域を抽出する対象領域抽出ステップと、
    前記左右の対象領域のいずれかの目立たない方の領域を特定して、該目立たない方の領域を排除領域として抽出する排除領域抽出ステップと
    を備えたことを特徴とする立体視する方法。
13. 前記排除領域抽出ステップにおいて抽出された排除領域に対し、前記対象領域から該排除領域を除いた領域に比較して、より目立たなくさせる加工を施す排除領域加工ステップをさらに備えたことを特徴とする請求項１２に記載の立体視する方法。
14. 立体視用の左画像と右画像とを有する立体視画像を立体視させる装置であって、
    所定の表示面に表示される前記左画像と右画像とでそれぞれ対応する一対の融合点がない左右の対象領域を抽出する対象領域抽出手段と、
    前記左右の対象領域のいずれかの目立たない方の領域を特定して、該目立たない方の領域を排除領域として抽出する排除領域抽出手段と
    を備えたことを特徴とする立体視画像を立体視させる装置。
15. 前記排除領域抽出手段において抽出された排除領域に対し、前記対象領域から該排除領域を除いた領域に比較して、より目立たなくさせる加工を施す排除領域加工手段をさらに備えたことを特徴とする請求項１４に記載の立体視画像を立体視させる装置。
16. 立体視用の左画像と右画像とを有する立体視画像作成装置を制御するプログラムであって、
    所定の表示面に表示される前記左画像と右画像とでそれぞれ対応する一対の融合点がない左右の対象領域を抽出する対象領域抽出ステップと、
    前記左右の対象領域のいずれかの目立たない方の領域を特定して、該目立たない方の領域を排除領域として抽出する排除領域抽出ステップと
    を立体視画像作成装置に実行させるプログラム。
17. 前記排除領域抽出ステップにおいて抽出された排除領域に対し、前記対象領域から該排除領域を除いた領域に比較して、より目立たなくさせる加工を施す排除領域加工ステップをさらに実行させる請求項１６に記載のプログラム。
18. 立体視用の左画像と右画像とを有し、所定の表示面に表示される該左画像と右画像とにおいて対応する各点により生成される輻輳角によって仮想立体像を形成する立体視画像作成方法であって、
    所定の表示面に表示される前記左画像と右画像とでそれぞれ対応する一対の融合点がない左右の対象領域を抽出する対象領域抽出ステップと、
    前記左右の対象領域のいずれかの目立たない方の領域を特定して、該目立たない方の領域を排除領域として抽出する排除領域抽出ステップと
    前記仮想立体像を形成するよう予め作成された立体視画像の左画像と右画像とを変形処理して、該立体視画像の各点により生成される輻輳角を所定の規則により増減させ、前記仮想立体像の奥行きを変化させて立体視効果を高める輻輳角変更ステップと
    を備えたことを特徴とする立体視画像作成方法。
19. 前記排除領域抽出ステップにおいて抽出された排除領域に対し、前記対象領域から該排除領域を除いた領域に比較して、より目立たなくさせる加工を施す排除領域加工ステップをさらに備えたことを特徴とする請求項１８に記載の立体視画像作成方法。
    

Images