JP2003018619A - 立体映像評価装置およびそれを用いた表示装置 - Google Patents

立体映像評価装置およびそれを用いた表示装置

Info

Publication number
JP2003018619A
JP2003018619A JP2001201748A JP2001201748A JP2003018619A JP 2003018619 A JP2003018619 A JP 2003018619A JP 2001201748 A JP2001201748 A JP 2001201748A JP 2001201748 A JP2001201748 A JP 2001201748A JP 2003018619 A JP2003018619 A JP 2003018619A
Authority
JP
Japan
Prior art keywords
parallax
evaluation
value
image
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2001201748A
Other languages
English (en)
Inventor
Arinori Tokuhashi
有紀 徳橋
Yoshinobu Tanaka
義信 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optical Co Ltd filed Critical Olympus Optical Co Ltd
Priority to JP2001201748A priority Critical patent/JP2003018619A/ja
Priority to PCT/JP2002/002510 priority patent/WO2003005734A1/ja
Priority to US10/482,316 priority patent/US7372987B2/en
Publication of JP2003018619A publication Critical patent/JP2003018619A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/04—Diagnosis, testing or measuring for television systems or their details for receivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/002—Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 視差の急激な変化を評価できると共に、測定
時のエラーや映像のノイズへの対策が可能な映像評価装
置を提供する。 【解決手段】 入力映像を評価する立体映像評価装置１
００において、入力映像に含まれる視差を測定してその
視差統計量を算出する視差測定手段３と、算出した視差
統計量に応じて評価値を設定する評価手段４とを有し、
評価手段４は、視差統計量の値に対して評価値を設定す
る静的視差評価手段４−１および／または視差統計量の
時間的変化に対して評価値を設定する動的視差評価手段
４−２を有することを特徴とする。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、立体映像に含まれ
る視覚情報を評価する立体映像評価装置およびそれを用
いた表示装置に関するものである。
【０００２】
【従来の技術】立体映像は、日常と異なる観察状態を作
り出すため、通常の２Ｄ映像観察時と比較して疲れ易い
と言われている。図１６（ａ）および（ｂ）は立体映像
の観察原理を説明するための図で、図１６（ａ）は立体
映像として観察する左右の画面を、図１６（ｂ）はその
観察状態をそれぞれ示している。図１６（ｂ）におい
て、符号２１，２２はそれぞれ観察者の左眼および右眼
を示し、符号２３は右目用の画面と左目用の画面とを重
ねて表示する表示画面を示し、符号２４は図１６（ａ）
に示した右画面上の図形Ａを示し、符号２５は同じく左
画面上の図形Ａを示している。
【０００３】図１６（ｂ）に示すように、左右の図形Ａ
の位置がずれているため、これに注目したとき観察者の
視線は画面よりも手前で交差し、図形Ａの立体像は画面
より手前に飛び出して見える。ここでは、この視線の輻
輳する角度を輻輳角、また左右の位置ずれを視差と呼
ぶ。一方、目のピント調節は画面上に合っているので、
ピント調節の調節距離と、目から視線の交差する点まで
の輻輳距離とは異なることになる。
【０００４】このような観察状態は日常では生じないた
め、見辛さや不自然さを感じることがある。特に視差が
大きかったり、被写体が画面から飛び出してくるような
急激な視差変化を多く含むコンテンツでは、強い立体効
果が得られる反面、より見辛くなり、長時間の視聴は避
けるべきと言われている。
【０００５】これを考慮したものとして、例えば特開平
１１−３５５８０８号公報には、立体映像信号の視差量
を検出し、その視差量に基づいて観察者に与える影響度
を推測して表示を通常の２Ｄ映像に切り替えるなど制御
することにより、立体効果を強調した影響度の大きい映
像の長時間視聴を避けるようにした映像システムが提案
されている。また、上記公報には、目の調節と輻輳のず
れが少なくなるように視差量を制御することで、影響度
の大きい映像の長時間視聴を避けるようにした映像シス
テムも提案されている。
【０００６】
【発明が解決しようとする課題】しかしながら、上記公
報には、視差の急激な変化を評価する具体的方法につい
ては示されていない。また、測定時のエラーや映像のノ
イズに対する具体的対策についも示されていないため、
映像によってはうまく機能しないおそれがある。
【０００７】したがって、かかる点に着目してなされた
本発明の第１の目的は、視差の急激な変化を評価できる
と共に、測定時のエラーや映像のノイズへの対策が可能
な映像評価装置を提供することにある。
【０００８】さらに、本発明の第２の目的は、上記の映
像評価装置を用い、影響度の大きい映像の長時間視聴を
確実に避けることができる表示装置を提供することにあ
る。
【０００９】
【課題を解決するための手段】上記第１の目的を達成す
る請求項１に係る立体映像評価装置の発明は、入力映像
を評価する立体映像評価装置において、入力映像に含ま
れる視差を測定してその視差統計量を算出する視差測定
手段と、算出した視差統計量に応じて評価値を設定する
評価手段とを有し、上記評価手段は、視差統計量の値に
対して評価値を設定する静的視差評価手段および／また
は視差統計量の時間的変化に対して評価値を設定する動
的視差評価手段を有することを特徴とするものである。
【００１０】請求項１に係る発明によると、視差測定手
段で映像に含まれる視差を測定して視差統計量を算出
し、その算出した視差統計量に応じて評価手段の静的視
差評価手段および／または動的視差評価手段により評価
値を設定するので、視差の急激な変化を評価できると共
に、測定時のエラーや映像のノイズへの対策が可能とな
り、映像の視差情報を適切に評価することが可能とな
る。
【００１１】請求項２に係る発明は、請求項1に記載の
立体映像評価装置において、上記動的視差評価手段は、
視差統計量の時間的変化が規定値を超えたら一定の評価
値を設定することを特徴とするものである。
【００１２】請求項２に係る発明によると、視差統計量
の時間的変化が規定値を超えたら一定の評価値を設定す
るので、速度の大きい視差変化の出現をカウントするこ
とにより、映像の視差情報について動的評価が可能とな
る。
【００１３】請求項３に係る発明は、請求項１に記載の
立体映像評価装置において、上記動的視差評価手段は、
視差変化が連続している間は視差変化を累積し、一連の
変化がとぎれたら累積値に応じて評価値を設定すること
を特徴とするものである。
【００１４】請求項３に係る発明によると、視差変化が
連続している間は視差変化を累積し、一連の変化がとぎ
れたら累積値に応じた評価値を設定するので、映像の視
差情報について大きな動きを重視した動的評価が可能と
なる。
【００１５】請求項４に係る発明は、請求項１に記載の
立体映像評価装置において、上記動的視差評価手段は、
視差変化を累積し、累積値が既定値を超えたら一定の評
価値を設定することを特徴とするものである。
【００１６】請求項４に係る発明によると、視差変化を
累積し、累積値が規定値を超えたら一定の評価値を設定
するので、視差測定精度を低くしたり、測定時間間隔を
短くした場合でもノイズと視差変化を区別でき、映像の
視差情報の動的評価においてノイズの影響をより緩和す
ることが可能となる。
【００１７】請求項５に係る発明は、請求項１に記載の
立体映像評価装置において、上記視差測定手段は、入力
映像に含まれる視差を測定してヒストグラムを作成し、
その出現頻度が閾値を超える視差値に基づいて視差統計
量を算出することを特徴とするものである。
【００１８】請求項５に係る発明によると、視差統計量
を得る際に、出現頻度が閾値以下ならその視差値を無視
するので、視差統計量の信頼性を高めることが可能とな
る。
【００１９】請求項６に係る発明は、請求項１〜５のい
ずれか一項に記載の立体映像評価装置において、映像表
示手段で表示される映像の種類を認識する映像認識手段
と、認識された映像の種類に応じて入力画像に画像処理
を行なう前処理手段とを有し、上記前処理手段で画像処
理された映像を上記視差測定手段に供給することを特徴
とするものである。
【００２０】請求項６に係る発明によると、表示される
映像の種類を映像認識手段で認識し、その認識結果に応
じて前処理手段で入力画像に画像処理を行なうので、入
力画像の種類に関わらず同じ処理や回路を使用すること
が可能となる。
【００２１】請求項７に係る発明は、請求項１〜６のい
ずれか一項に記載の立体映像評価装置において、上記視
差測定手段による視差測定に基づいてエラーコードを設
定するエラーコード設定手段を有し、上記評価手段は上
記エラーコード設定手段で設定されたエラーコードに応
じて評価値を変更することを特徴とするものである。
【００２２】請求項７に係る発明によると、エラーコー
ド設定手段により視差測定の信頼性が低い状況を検出し
てエラーコードを設定でき、その設定されたエラーコー
ドに応じて評価値を変更することができるので、測定の
信頼性が低い場合でも適切な評価値を設定することが可
能となる。
【００２３】請求項８に係る発明は、請求項１〜７のい
ずれか一項に記載の立体映像評価装置において、映像表
示手段での映像の表示モードを認識する表示モード認識
手段を有し、上記評価手段は、上記表示モード認識手段
で認識された表示モードに応じて評価値を設定すること
を特徴とするものである。
【００２４】請求項８に係る発明によると、映像表示手
段での表示モードに応じて評価値を設定するので、表示
モードを変えても評価値を適切に設定することが可能と
なる。
【００２５】上記第２の目的を達成する請求項９に係る
表示装置の発明は、入力映像を表示する映像表示手段
と、上記入力映像を評価する請求項１〜８のいずれか一
項に記載の立体映像評価装置と、上記立体映像評価装置
での評価値に基づいて上記映像表示手段による上記入力
映像の表示を制御する表示制御手段と、を有することを
特徴とするものである。
【００２６】請求項９に係る発明によると、上記の立体
映像評価装置での評価値に基づいて表示制御手段を介し
て映像表示手段による入力映像の表示を制御するので、
影響度の大きい映像の長時間視聴を確実に避けることが
可能となる。
【００２７】
【発明の実施の形態】以下、本発明による立体映像評価
装置およびそれを用いた表示装置の実施の形態につい
て、図面を参照して説明する。
【００２８】（第１実施の形態）図１は本発明による表
示装置の第１実施の形態の構成を示すブロック図であ
る。この表示装置は、立体映像評価装置１００、表示制
御手段８、映像表示手段９を有しており、立体映像評価
装置１００は表示モード認識手段１ 、前処理手段２、
視差測定手段３、評価手段４、エラーコード設定手段
５、評価値累積手段６、累積値判定手段７を有してお
り、評価手段４は静的視差評価手段４−１と動的視差評
価手段４−２とを有している。
【００２９】図１において、立体映像信号は映像表示手
段9に入力されて立体映像が表示される。ここで、立体
映像信号は、ゲーム機やビデオあるいはコンピュータな
どの映像信号で、左右映像がフィールドごとに交互に伝
送されるものや、左右映像が１フィールド内に含まれて
いるものがある。
【００３０】映像表示手段９は、例えばHead Mounted D
isplay(ＨＭＤ)で、左右の目に対応する２つの表示部を
含み、左目用の表示部に左映像を、右目用の表示部に右
映像を表示するように制御することで、ＨＭＤの使用者
は立体的な映像を見ることができるようになっており、
左右どちらかの映像のみを左右両方の表示部に表示する
よう制御することで、使用者は通常の２Ｄ映像を見るこ
とができるようになっている。また、入力がステレオ映
像でなく通常の２Ｄ映像であった場合は、そのまま左右
両方の表示部に表示するように制御することにより、使
用者は通常の２Ｄ映像を見ることができるようになって
いる。
【００３１】このような表示の切替は、映像表示手段9
に切替スイッチを設けて使用者が手動で切り替える場合
もあれば、自動的に映像信号の種類を検出して切り替え
る場合もある。また、表示モードの切り替えにより画角
や入力映像信号の種類などを替えられるものもある。こ
れらの表示モードや表示される映像の種類の情報は表示
モード認識手段1で受け取って認識する。すなわち、表
示モード認識手段1は映像表示手段９で表示される映像
の種類を認識する映像認識手段の機能も有している。
【００３２】一方、立体映像信号は、前処理手段２にも
入力し、ここで特定のタイミングで左右画像を各々前処
理手段２のメモリに格納して、表示モード認識手段1か
らの情報に応じて解像度変換、スムージングなどの前処
理を施す。
【００３３】視差測定手段３では、前処理済みの画像か
ら立体画像に含まれる視差量を測定して視差統計量を算
出する。ここで、視差統計量とは、立体画像に含まれる
視差量の最小値や最頻値などの統計データである。
【００３４】評価手段４では、視差統計量を予め設定し
た規則に基づいて評価値に換算する。この規則は、人の
視覚特性を考慮して定められる。評価手段４のうち、静
的視差評価手段４−１は視差量の静的評価を行うもの
で、視差統計量の値に応じて評価値を設定する。画像に
大きな視差があれば大きな評価値を設定する。一方、動
的視差評価手段は視差量の動的評価を行うもので、視差
統計量の時間変化に応じて評価値を設定する。
【００３５】ここで、入力立体映像の性質によっては、
視差測定の精度が十分に得られず、算出した視差統計量
の信頼性が低い場合がある。そのため、エラーコード設
定手段５によりエラー状況を記録しておき、評価値設定
の際にエラーコード設定手段５を参照して必要に応じて
評価値を変更する。
【００３６】評価値累積手段６では、評価手段４で得ら
れた評価値を統合して、それまでの累積値に加算し、そ
の累積値が規定値以上かどうかを累積値判定手段７で判
定して、その判定結果に基づいて表示制御手段８により
映像表示手段９での表示を制御する。例えば、累積値が
規定値以上だったら、警告表示を出したり、３Ｄ表示を
２Ｄ表示に切り替えるような制御を行なう。
【００３７】このように、本実施の形態では、立体映像
の視差を測定し、視差の大きさと符号を評価する静的評
価と視差の時間変化を評価する動的評価とを行って評価
値を設定し、それらの評価値を統合して累積しているの
で、大きな視差や奥行き方向の変化の激しいシーンを多
く含む映像では評価値の累積値が急激に大きくなり、ほ
とんど前後の動きが無く視差の小さい映像では累積値が
大きくなるのに時間がかかることになる。したがって、
累積値が規定値を超えたら２Ｄに切り替えたり、警告表
示を出すことにより、立体映像の視覚刺激が強いほど短
時間の視聴になるように制御することができる。
【００３８】次に、本実施の形態の細部について説明す
る。
【００３９】図２は前処理手段２の動作を説明するため
の図である。前処理手段２に入力され得る立体映像信号
には、図２に例示するようにいくつかの種類があり、扱
う画像の大きさが異なる。図２（ａ）は左目用画像Ｌ、
右目用画像Ｒの画像サイズがそれぞれ６４０×４８０画
素の画像を示しており、図２（ｂ）および図２（ｃ）は
それぞれ６４０×２４０画素の画像を示しており、図２
（ｄ）は８００×６００画素の画像を示している。
【００４０】前処理手段２では、表示モード認識手段１
からの情報に応じて全ての入力画像を図２（ｅ）に示す
ように３２０×２４０画素のＬ，Ｒ独立画像に解像度変
換して画像メモリに格納する。これにより、画像メモリ
や以後の視差測定で用いる回路などは、入力画像の種類
に拘わらず同じものを使用することができる。解像度変
換の際、必要に応じてスムージングをかける。
【００４１】図３は視差測定手段３による視差測定の原
理を示す図である。視差測定には通常のブロックマッチ
ングの手法を応用する。すなわち、ＬＲ２枚の画像の視
差を測定するために、Ｌ画面上で複数の測定ブロックを
指定して、各測定ブロックに対してＲ画面上から対応す
る領域すなわち最も類似した領域を探し出す。ブロック
同士は、重なっていても、間隔をあけていてもよい。類
似かどうかを判断するのには、例えばＬ画像上のブロッ
クとＲ画像上のブロック内各画素の輝度差の絶対値和
（ここでは差分絶対値和と呼ぶ）をとる。この場合、左
右画像上のブロックが類似していれば、差分絶対値和は
小さくなるため、差分絶対値和が最小になる場所が対応
領域となる。図３ではＬ画像上の左上のブロックに対応
する領域を、Ｒ画像上に四角で示している。対応する左
右ブロックの座標の差が視差量となる。
【００４２】ここで、測定範囲は必ずしも画面全体にわ
たる必要はなく、図３に示すように画像の周辺部を除く
ことも可能である。多くの場合、画像の周辺部を注目す
ることは稀であり、周辺部の視差は画面中央付近に比べ
て影響が少ないと考えられるからである。また、画像周
辺部では左右画像で対応領域が存在しない（対応領域が
画像をはみ出している）ことが多く、測定が意味を為さ
なくなる可能性が高いという理由もある。測定範囲の決
め方として、他に視野位置による情報受容特性も考慮す
ると良い。眼球運動のみで瞬時に情報受容が可能な有効
視野は、左右１５度、上８度、下１２度以内と言われて
おり、画角の大きなＨＭＤなら周辺部分は有効視野外に
なる。
【００４３】図４は視差測定手段３の動作を示すフロー
チャートである。先ず、前処理後の画像から測定ブロッ
クを読込み（ステップＳ１）、マッチングを行い（ステ
ップＳ２）、左右ブロックの座標の差から水平視差量と
垂直視差量とを算出する（ステップＳ３）。
【００４４】次に、そのブロックに関しての信頼性判定
を行う。この信頼性判定では、ブロック内の画像が平滑
（例えば空や一様な壁の画像がこれに相当する）な場合
には、マッチングに失敗する可能性が高く、またそのブ
ロックに注目する可能性は低いので、ブロックが平滑か
どうかを調べ（ステップＳ４）、平滑ならそのブロック
のデータは除外してステップＳ１に戻り、平滑でなけれ
ば非平滑のブロック数を計数するＡ１カウンタをインク
リメントする（ステップＳ５）。また、画像内にノイズ
が多かったり、オクルージョンにより左右画像で対応す
る領域が見つからない場合などもマッチングに失敗する
ので、次にマッチングエラーを判定し（ステップＳ
６）、マッチングエラーの可能性が高ければそのブロッ
クのデータを除外してステップＳ１に戻り、マッチング
エラーの可能性が低ければ正マッチングのブロック数を
計数するＡ２カウンタをインクリメントする（ステップ
Ｓ７）。なおマッチングエラーの判定方法としては、例
えばマッチングに用いた類似度が規定値より大きいかど
うかで判断する。
【００４５】その後、ステップＳ８において全てのブロ
ックに対する処理が終了したら、Ａ２カウンタで計数さ
れた各ブロックの水平・垂直視差量に基づいて視差統計
量を算出する（ステップＳ９）。なお、ここでは視差量
測定の際に画面より手前に見えるような視差には負の符
号、画面より奥に見えるような視差には正の符号を付け
ているので、視差の最小値とは最も近くに見える場合を
指しており、最大値は最も遠くに見える場合を指してい
る。
【００４６】図５は視差統計量の算出方法を説明するた
めの図で、図５（ａ）は水平視差に関する視差統計量を
算出する場合のフローチャートを示しており、図５
（ｂ）は垂直視差に関する視差統計量を算出する場合を
示している。本実施の形態では、水平視差についての視
差統計量として、最小値（X-Min）・最大値（X-Max）・
最頻値（X-Mode）・絶対値の平均値（X-absMean）を求
める。
【００４７】ここで、各視差統計量は次のような意味を
持つ。立体映像では、迫力を出すために画面前方に大き
く飛び出して見えるような表示をよく用いるが、そのよ
うな負の方向に大きな視差は見辛く、長時間注目し続け
ると疲労の原因となり得る。また、正の方向について
は、視線が平行より開いてしまうような大きな視差で表
示すると融像しづらく、やはり長時間注目し続けると疲
労の原因となり得る。そこで、視差の最小値と最大値を
検出する。また、観察者は出現頻度の高い視差を持つ領
域に対して輻輳を合わせている可能性も高いので最頻値
も検出する。これら３つの値がうまく算出できないとき
に、絶対値の平均値を使用する。
【００４８】また、垂直視差についての視差統計量とし
ては、最頻値（Y-Mode）・絶対値の最大値（Y-absMax）
・絶対値の平均値（Y-absMean）を求める。最頻値の意
味は水平視差と同様である。垂直視差は符号を意識する
必要が無いので、絶対値の最大値を使用する。また、水
平視差と同様に絶対値の平均値もとっておく。
【００４９】水平視差についての視差統計量の算出手順
としては、図５（ａ）に示すように、先ず、各ブロック
の視差データから視差量のヒストグラムを作成する（ス
テップＳ１１）。次に、ヒストグラムの各クラスの頻度
が既定の頻度閾値以下かどうかを調べ、閾値以下ならそ
の頻度をゼロにする（ステップＳ１２）。その上で、最
頻値、最小値・最大値、および絶対値の平均値を算出す
る（ステップＳ１３〜Ｓ１５）。
【００５０】ここで、頻度閾値を設定する理由を図６を
用いて説明する。図６は視差量のヒストグラムで、横軸
が視差量、縦軸が出現頻度を示している。視差量ゼロが
表示画面上を意味し、横軸右に行くほど画面より奥に離
れて見える。一般的な立体画像の視差量を比較的簡単な
マッチング手法で測定しようとすると、たいていはいく
つかのマッチングエラーが発生する。エラー判定により
エラーデータを除いているものの全てを取り去ることは
難しく、わずかでもエラーデータが残れば最大値や最小
値の検出に影響してしまう。図６のグラフで右端と左端
はエラーデータにもかかわらず、偽の最大値（最大クラ
ス）や最小値（最小クラス）として検出されてしまった
様子を示している。
【００５１】ここで、本発明者らがエラーマッチングの
性質を調べたところ、前述のようなオクルージョンやノ
イズによるエラーでは、間違ったマッチング箇所は偶然
で選択されていることが分かった。つまり、前述のよう
に差分絶対値和を用いて最も類似する領域を探索する際
に、本来の対応領域が存在しないか、存在しても類似度
が低くて差分絶対値和が大きい場合には、偶然それより
差分絶対値和の小さくなる領域が存在するとそちらが選
択されている。そのため、マッチングエラー時の視差量
は様々な値をとり、同じような値が何度も出現すること
は少ない。これに対し、正しいマッチングで得られた視
差量は、ブロックサイズが十分小さく、ブロックの数が
十分多ければ、近い値が何回も出現する可能性が高い。
【００５２】そこで、グラフに破線で示したように出現
頻度に閾値を設け、閾値以下の出現頻度であればその視
差量は無視し、最大値などの検出に用いないようにす
る。この操作により、実体とかけ離れた最大・最小値を
算出するケースを減らすことができる。また、閾値を高
くすることで、画像上で出現頻度の高い視差のみ対象と
することもできる。例えば、図６に一点鎖線で示したよ
うに、最大値と最頻値の閾値を最小値の閾値よりも高く
設定することで、背景の視差に関してはある程度高い頻
度で存在しなければ検出しないようにし、近方に見える
ものは小さくても検出し易くすることもでき、これによ
り前景の隙間にかいま見えるような背景よりも、近方に
飛び出すボールなどの視差を重点的に検出することもで
きる。
【００５３】一方、垂直視差についての視差統計量の算
出手順としては、図５（ｂ）に示すように、水平視差の
場合と同様に、先ずヒストグラムを作成し（ステップＳ
２１）、ヒストグラムの各クラスの頻度が既定の頻度閾
値以下かどうかを調べて閾値以下ならその頻度をゼロに
する（ステップＳ２２）。その上で、最頻値、絶対値の
最大値、絶対値の平均値を算出する（ステップＳ２３〜
Ｓ２５）。
【００５４】次に、評価手段４について説明する。図７
は静的視差評価手段４−１の構成を示すブロック図であ
る。静的視差評価手段４−１は、評価値換算手段４−１
−１と、換算テーブル４−１−２と、水平・垂直評価値
算出手段４−１−３とを有しており、水平・垂直評価値
算出手段４−１−３はエラーコード設定手段５を参照で
きるようになっている。
【００５５】評価値換算手段４−１−１では、前段で得
た水平・垂直それぞれの複数の視差統計量を、表示モー
ド認識手段1と換算テーブル４−１−２とを参照して評
価値に換算する。各視差統計量を評価値に換算したら、
水平・垂直視差評価値算出手段４−１−３で各評価値を
演算して、水平・垂直各々一つの評価値を算出する。水
平視差の最小値、最大値、最頻値、および垂直視差の最
頻値、絶対値最大値に対する視差をそれぞれＰ(X-Mi
n)、Ｐ(X-Max)、Ｐ(X-Mode)、Ｐ(Y-Mode)、Ｐ(Y-absMa
x)とすると、水平視差評価値ＸＰおよび垂直視差評価値
ＹＰを、
【数１】 ＸＰ＝ａ×Ｐ(X-Max)＋ｂ×Ｐ(X-Min)＋ｃ×Ｐ(X-Mode) ＹＰ＝ｄ×Ｐ(Y-absMax)＋ｅ×Ｐ(Y-Mode) ただし、ａ，ｂ，ｃ，ｄ，ｅは重み付け係数 で算出し、さらに後述するエラーコード設定手段５の出
力に応じて、評価値を変更する。
【００５６】換算テーブル４−１−２は視差量と評価値
との対応を指示するもので、目の焦点深度や輻輳と調節
の不一致の許容範囲、融像限界、融像の容易さ、などを
考慮して決める。ただし、このような特性は、視差によ
って生じる輻輳角と画面に対する輻輳角との差に対応し
ているのに対し、画面上の視差量（単位は画素数）とそ
れによって生じる輻輳角との関係は、表示画角と表示画
面の画素数とによって異なってくるため、画素数で表す
視差量と評価値との対応を決めるためには、映像表示手
段９の画角も同時に考慮する必要がある。また、前述の
ように視差が正の方向に大きくなると視線が平行より開
いて急激に見辛くなるが、視線が平行になる視差量は視
距離によって異なってくるため、映像表示手段９の視距
離も考慮する必要がある。
【００５７】上記の理由から、画角や視距離を大きく変
更できる映像表示手段９では、表示モード認識手段１の
情報に応じて参照する換算テーブルを取り替えるか、あ
るいは視差統計量に画角によって異なる係数をかけてか
ら評価値に換算する。
【００５８】図８は動的視差評価手段４−２の構成を示
すブロック図である。動的視差評価手段４−２は、差分
演算手段４−２−１と動的視差評価値算出手段４−２−
２とを有しており、動的視差評価値算出手段４−２−２
はエラーコード設定手段５を参照できるようになってい
る。
【００５９】差分演算手段４−２−１では、ｎ回目の視
差統計量とその前に測定したｎ−１回目の視差統計量と
の差ΔＸ（ｎ）を計算する。動的視差評価値算出手段４
−２−２では、差分視差データに応じた評価値ＭＰを設
定し、さらに後述するエラーコード設定手段５の出力に
応じて評価値を変更する。
【００６０】次に、図９に示すフローチャートを参照し
て動的視差評価手段４−２の動作を説明する。ここで
は、視差統計量として最頻値X-Modeと最小値X-Minとを
用いている。先ず、差分演算手段４−２−１でｎ回目の
視差統計量とｎ−１回目の視差統計量との差ΔX-Mode
(ｎ)とΔX-Min(ｎ)とを算出したら（ステップＳ３
１）、次に動的視差評価値算出手段４−２−２において
視差変化量ΔX-Mode(ｎ)とΔX-Min(ｎ)とのうちどちら
かが規定値以上かどうかを判定し（ステップＳ３２）、
どちらかの視差変化量が規定値以上なら評価値ＭＰに固
定値Ａをいれ（ステップＳ３３）、どちらの視差変化量
も既定値未満なら評価値ＭＰに０を入れる（ステップＳ
３４）。ここで、視差変化量は、測定間隔が一定である
ので、視差変化の速度(の係数倍)に相当する。
【００６１】この方法では、視差変化速度が規定値を超
えたら一定の評価値を与えるようにしたので、速度の大
きい視差変化の出現をカウントしていることになる。な
お、ステップＳ３２における規定値の目安としては、前
後移動速度が２度／秒になると奥行き弁別が低下し始め
るという視覚特性、あるいは１度／秒になると追従特性
が低下し始めるという視覚特性を考慮する（日経エレク
トロニクス、１９９８．４．４、■444、Ｐ２０５参
照）。また、映像表示手段９の画角も考慮し、画角を大
きく変更できる映像表示手段９では、表示モード認識手
段１の情報に応じて評価値を変える。
【００６２】図１０は、評価値累積手段６および累積値
判定手段７の動作を示すフローチャートである。評価値
累積手段6では、前段で設定された水平視差評価値ＸＰ
と垂直視差評価値ＹＰと動的視差評価値ＭＰとを統合し
て、それまでの累積値Totalに加算する（ステップＳ４
１）。ここで評価値の統合は、各評価値に係数α、β、
γをかけて加算する。また、累積値判定手段７では、累
積値Totalが既定値（閾値）より大きいか否かを判定し
（ステップＳ４２）、既定値より大きければ表示制御手
段８により映像表示手段９に対して警告表示信号を出し
たり、２Ｄ表示に切り替える表示制御を行なう（ステッ
プＳ４３）。
【００６３】図１１は、エラーコード設定手段５の動作
を示すフローチャートである。エラーコード設定手段５
では、エラーの種類をエラーコード０〜エラーコード４
に分類し、それぞれのエラーが発生した場合に対応する
エラーコードをＯＮ（値＝１）、そうでない場合にＯＦ
Ｆ（値＝０）とする。
【００６４】先ず、視差測定手段３のＡ１カウンタ（図
４のステップＳ５）でカウントした平滑でなかったブロ
ック数Ａ１を読み込んで（ステップＳ５１）、Ａ１が規
定値より多いかどうか判定し（ステップＳ５２）、規定
値以下ならエラーコード０をＯＮにする（ステップＳ５
３）。これは、画面が暗転したシーンなどで測定すべき
場所がない場合に対応するもので、規定値として例えば
ゼロやヒストグラムの頻度閾値を与える。
【００６５】次に、視差測定手段３のＡ２カウンタ（図
４のステップＳ７）でカウントした平滑でもマッチング
エラーでもなかったブロック数Ａ２を読み込んで（ステ
ップＳ５４）、Ａ２が規定値より多いかどうか判定し
（ステップＳ５５）、規定値以下ならエラーコード１を
ＯＮにする（ステップＳ５６）。これは、ほとんど全て
がエラーのために視差統計量が算出できない場合に対応
するもので、規定値としては、例えばゼロやヒストグラ
ムの頻度閾値を与える。
【００６６】次に、ＳＮ比が規定値より大きいかどうか
判定する（ステップＳ５７）。ここでは、ＳＮ比として
Ａ１とＡ２との比を用い、Ａ２／Ａ１が規定値以下なら
信頼性が低いとしてエラーコード２をＯＮにする（ステ
ップＳ５８）。これは、ノイズなどによりマッチングエ
ラーが非常に多ければ、最大値や最小値を検出し損ねる
可能性が高く、視差統計量の信頼性が低いとするもの
で、規定値は求める精度に応じて定めておく。
【００６７】次に、水平視差・垂直視差の視差統計量を
ヒストグラムを用いて算出する際に、最大頻度つまり最
頻値の頻度が頻度閾値より大きいかどうかを判定し（ス
テップＳ５９，Ｓ６１）、水平視差量ヒストグラムの最
大頻度が頻度閾値以下なら、エラーコード３をＯＮにし
（ステップＳ６０）、垂直視差量ヒストグラムの最大頻
度が頻度閾値以下ならエラーコード４をＯＮにする（ス
テップＳ６２）。これは、ヒストグラムに使用するデー
タが頻度閾値に対して少ないと、視差統計量として異常
値が算出されてしまうことに対応するものである。
【００６８】評価手段４では、これらのエラーコードを
参照して、評価値ＸＰ，ＹＰ，ＭＰを変更する（ステッ
プＳ６３）。なお、刺激の強い映像があれば、これを検
出して長時間見せないようにするという本発明の目的か
らは、エラーが発生したら評価値をすべて最大評価値に
変更するという方法が考えられるが、このように一律に
評価値を変更してしまうと、例えば見るべきものがない
暗転のシーンが続いても最大評価値が設定されてしま
い、実体とかけ離れたものになってしまうので、エラー
の種類により評価値設定を変更する。
【００６９】例えば、エラーコード０がＯＮのときは、
画像に注目すべき部分がほとんどないので、算出した評
価値を小さい定数評価値で置換する。エラーコード１や
エラーコード２がＯＮのときは、画像に含まれる大きな
視差を検出し損ねている可能性があるので、最小値や最
大値に対する評価値を最大評価値で置き換える。エラー
コード３やエラーコード４がＯＮのときは、最頻値に対
する評価値を最大評価値や絶対値の平均値に対する評価
値で置き換える。また、エラーコード０〜３のいずれか
がＯＮのときは、視差変化評価値は意味をなさないので
ゼロとする。
【００７０】このように、エラーコード設定手段５で設
定されたエラーコードに応じて評価値を変更すること
で、正常に測定できない画像が含まれていて視差を検出
し損ねても、適切な評価値を設定することができる。
【００７１】（第２実施の形態）図１２は本発明による
表示装置の第２実施の形態の要部の動作を説明するため
のフローチャートである。本実施の形態は、第1実施の
形態に示した動的視差評価手段４−２での動的視差評価
方法が異なるものである。すなわち、第１実施の形態で
は、一測定毎に視差変化が基準値より大きければ評価値
を設定していたが、本実施の形態では特に負の視差変
化、つまり画面から観察者の方へ飛び出すような方向の
変化とその飛び出し量に着目する。
【００７２】このため、本実施の形態による動的視差評
価方法は、ｎ番目の視差統計量とｎ−１番目の視差統計
量との差ΔＸ（ｎ）をとるステップＳ７１と、ΔＸ
（ｎ）が規定値より小さいかどうかを判定するステップ
Ｓ７２と、視差変化評価値ＭＰをゼロに設定するステッ
プＳ７３と、視差変化量を累積して累積視差変化量ＭＸ
を得るステップＳ７４と、視差変化評価値ＭＰを設定す
るステップＳ７５と、累積視差変化量ＭＸをリセットす
るステップＳ７６とを有している。
【００７３】先ず、第１実施の形態と同様に、ｎ番目の
視差統計量とｎ−１番目の視差統計量との差ΔＸ（ｎ）
をとるが（ステップＳ７１）、第１実施の形態の場合と
異なりΔＸ（ｎ）が規定値より小さいかどうか、つまり
変化の方向が負で速度が大きいかどうかを判定する（ス
テップＳ７２）。ここで、ΔＸ（ｎ）が既定値より小さ
ければ（ＹＥＳの場合）、この時点での視差変化評価値
ＭＰはゼロとして（ステップＳ７３）、視差変化量を累
積して累積視差変化量ＭＸを得る（ステップＳ７４）。
これに対し、ΔＸ（ｎ）が規定値以上ならば（ＮＯの場
合）、累積した視差変化量ＭＸの大きさに応じて評価値
ＭＰを設定して（ステップＳ７５）、累積視差変化量Ｍ
Ｘをリセットする（ステップＳ７６）。
【００７４】本実施の形態によれば、負の視差変化が連
続している間は視差変化を累積し、一連の変化がとぎれ
たら累積値に応じて評価値を与えるようにしたので、画
面奥から手前に大きく飛び出してくるような動きに対し
てより大きな評価値を設定することができ、飛び出しを
含むシーンの影響を効率的に表示制御に反映させること
ができる。
【００７５】（第３実施の形態）図１３は本発明による
表示装置の第３実施の形態の要部の動作を説明するため
のフローチャートである。本実施の形態も、第1実施の
形態に示した動的視差評価手段４−２での動的視差評価
方法が異なるもので、ｎ番目の視差統計量とｎ−１番目
の視差統計量との差ΔＸ（ｎ）をとるステップＳ８１
と、視差変化量を累積して累積視差変化量ＭＸを得るス
テップＳ８２と、累積視差変化量が既定値より小さいか
どうかを判定するステップＳ８３と、視差変化評価値Ｍ
Ｐを設定するステップＳ８４と、累積視差変化量をリセ
ットするステップＳ８５と、視差変化評価値ＭＰをゼロ
に設定するステップＳ８６とを有している。
【００７６】すなわち、第１、第２実施の形態では一測
定毎の視差変化を判定したが、本実施の形態では累積視
差変化量を判定し、それが既定値より小さくなる（負の
方向に大きくなる）たびに一定の評価値を与える。この
場合、必ずしも変化速度が速くなくても、連続的に画面
手前への視差変化が発生すればカウントする。したがっ
て、速い動きでの画面前方への飛び出しが頻繁に発生す
れば、それに応じてカウントも多くなる。
【００７７】第１、第２実施の形態では、視差測定精度
を低くしたり、測定時間間隔を短くした場合に、速度判
定用の既定値が測定精度と大差なくなってしまい、ノイ
ズと視差変化が区別しにくくなるが、本実施の形態で
は、視差変化を累積してから判定するようにしたので、
ノイズの影響を緩和することができる。
【００７８】（第４実施の形態）図１４は本発明による
表示装置の第４実施の形態の構成を示すブロック図であ
る。この表示装置は、立体映像評価装置１０１、表示制
御手段１１、映像表示手段１３を有しており、立体映像
評価装置１０１は表示モード認識手段１ 、前処理手段
２、視差測定手段３、評価手段１０、エラーコード設定
手段５を有している。第１実施の形態と同一作用をなす
構成要素には同じ符号を付し、詳細説明を省略する。
【００７９】立体映像信号は、映像表示手段１３に入力
されて、立体映像として表示される。この映像表示手段
１３は、例えば視度調整機能を有するＨＭＤである。立
体映像信号は前処理手段２にも入力され、ここで特定の
タイミングで左右画像が各々前処理手段２のメモリに格
納されて、解像度変換、スムージングなどの前処理が施
される。前処理された画像は視差測定手段３に供給さ
れ、ここで視差量が測定されて視差統計量が算出され、
その視差統計量が評価手段１０に供給される。評価手段
１０では、換算テーブルを参照して視差統計量を評価値
に換算し、その評価値に基づいて表示制御手段１１を介
して映像表示手段１３の視度を制御する。なお、エラー
コード設定手段５では、視差測定手段３による視差測定
の際のエラーコードを記録しておき、評価手段１０で評
価値を設定する際にエラーコードを参照して必要に応じ
て評価値を変更するようにする。
【００８０】ここで、評価手段１０で用いる換算テーブ
ルとしては、例えば図１５のグラフに示すようなものを
用いる。図１５は、横軸に視差統計量を示し、縦軸に目
の輻輳位置とピント調節位置との違いを小さな範囲内に
収めるために必要な視度変化量を示してある。視差統計
量としては、最頻値や最小値を用いる。また、視差に対
して必要な視度変化量は、映像表示手段１３のスペック
で異なり、例えば焦点深度の深い光学系を用いたＨＭＤ
の場合には、画面の位置が目の輻輳と一致していなくて
も目のピント調節は輻輳と近い距離に合わせることがで
き、画角が異なれば第１実施の形態で述べたように一画
素当たりの視角が異なることになる。このため、視差と
視度変化量との関係は、目の焦点深度や調節−輻輳不一
致の許容範囲、映像表示手段１３のスペック、例えば画
角や標準の視度、光学系の焦点深度など、を考慮して設
定する。
【００８１】図１５に示すグラフの例では、調節と輻輳
距離との違いが±０．５ディオプターになるまで許容す
るようにして、視度変化量を階段状に設定している。ま
た、標準状態の視距離が２ｍの機器では、プラス方向に
０．５ディオプター以上変えても観察者がピントを合わ
せることができないため、視度変化量をゼロにしてい
る。
【００８２】また、エラーコードによる設定値の変更
は、信頼性の低い測定結果により視度調節を行うと却っ
て視度と輻輳の乖離が大きくなることもあるため、エラ
ーコードがＯＮの時には原則として評価値をゼロとす
る。
【００８３】このような構成により、視差が大きい場合
でも、目の輻輳位置とピント調節位置との違いが小さな
範囲内に収まるように映像表示手段１３の視度（画面の
表示位置）を変化させることで、表示が見やすくなり、
視覚刺激の強い映像が長時間表示されないようにするこ
とができる。また、映像表示手段１３のスペックを考慮
した評価値を用いることで、映像表示手段１３に合った
適切な視度制御ができる。さらに、エラー発生時には評
価値を変更することで、測定しにくい映像が含まれてい
た場合でも異常な動作をしないようにすることができ
る。
【００８４】なお、本発明は、上記実施の形態にのみ限
定されることなく、幾多の変形または変更が可能であ
る。例えば、映像表示手段は、ＨＭＤに限らず、他の２
眼式立体表示手段を使用することもできる。また、第４
実施の形態では、視度調整機能を有する映像表示手段を
用いたが、輻輳を調整できる映像表示手段を使用して、
視差評価値に応じて輻輳を制御するよう構成することも
できる。
【００８５】さらに、視差統計量は分散や中心値、平均
値などを使用することもできる。また、マッチングにつ
いても種々の手法が利用でき、例えば各ブロックに対す
るマッチングをブロックの数だけ繰り返すステップは、
回路で実現する際には一つの回路を繰り返し使用しても
良いが、複数の回路を並列に使用して繰り返しを減らす
方法もある。また、エラーコードの設定や評価値の変更
は厳密にここで述べたようにする必要はない。さらに、
入力モードや表示モードが固定ならば、モード認識手段
は省略可能であり、特定の画像しか入力せずエラー発生
の可能性が確実に小さいならば、エラー判定を省略する
ことができる。また、表示を遅らせて、評価した映像の
表示を制御したり、予め一連の映像を評価して評価値を
記録してから、記録した評価値に応じて表示を制御する
ようにすることもできる。
【図面の簡単な説明】
【図１】 本発明による表示装置の第１実施の形態の構
成を示すブロック図である。
【図２】 図１に示した前処理手段の動作を説明するた
めの図である。
【図３】 図１に示した視差測定手段による視差測定の
原理を示す図である。
【図４】 同じく、視差測定手段の動作を示すフローチ
ャートである。
【図５】 視差統計量の算出方法を説明するための図で
ある。
【図６】 視差量のヒストグラムを示す図である。
【図７】 図１に示した静的視差評価手段の構成を示す
ブロック図である。
【図８】 図１に示した動的視差評価手段の構成を示す
ブロック図である。
【図９】 同じく、動的視差評価手段の動作を示すフロ
ーチャートである。
【図１０】 図１に示した評価値累積手段および累積値
判定手段の動作を示すフローチャートである。
【図１１】 図１に示したエラーコード設定手段の動作
を示すフローチャートである。
【図１２】 本発明による表示装置の第２実施の形態の
要部の動作を説明するためのフローチャートである。
【図１３】 本発明による表示装置の第３実施の形態の
要部の動作を説明するためのフローチャートである。
【図１４】 本発明による表示装置の第４実施の形態の
構成を示すブロック図である。
【図１５】 図１４に示した評価手段で用いる換算テー
ブルを示す図である。
【図１６】 立体映像の観察原理を説明するための図で
ある。
【符号の説明】
１ 表示モード認識手段 ２ 前処理手段 ３ 視差測定手段 ４ 評価手段 ４−１ 静的視差評価手段 ４−１−１ 評価値換算手段 ４−１−２ 換算テーブル ４−１−３ 水平・垂直評価値算出手段 ４−２ 動的視差評価手段 ４−２−１ 差分演算手段 ４−２−２ 動的視差評価値算出手段 ５ エラーコード設定手段 ６ 評価値累積手段 ７ 累積値判定手段 ８ 表示制御手段 ９ 映像表示手段 １０ 評価手段 １１ 表示制御手段 １３ 映像表示手段 １００ 立体映像評価装置 １０１ 立体映像評価装置
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C061 BB07 BB09 CC05 5L096 AA06 CA05 DA02 DA03 EA17 EA35 JA03 JA09

Claims (9)

    【特許請求の範囲】
  1. 【請求項１】 入力映像を評価する立体映像評価装置に
    おいて、 入力映像に含まれる視差を測定してその視差統計量を算
    出する視差測定手段と、 算出した視差統計量に応じて評価値を設定する評価手段
    とを有し、 上記評価手段は、 視差統計量の値に対して評価値を設定する静的視差評価
    手段および／または視差統計量の時間的変化に対して評
    価値を設定する動的視差評価手段を有することを特徴と
    する立体映像評価装置。
  2. 【請求項２】 上記動的視差評価手段は、視差統計量の
    時間的変化が規定値を超えたら一定の評価値を設定する
    ことを特徴とする請求項1に記載の立体映像評価装置。
  3. 【請求項３】 上記動的視差評価手段は、視差変化が連
    続している間は視差変化を累積し、一連の変化がとぎれ
    たら累積値に応じて評価値を設定することを特徴とする
    請求項１に記載の立体映像評価装置。
  4. 【請求項４】 上記動的視差評価手段は、視差変化を累
    積し、累積値が既定値を超えたら一定の評価値を設定す
    ることを特徴とする請求項１に記載の立体映像評価装
    置。
  5. 【請求項５】 上記視差測定手段は、入力映像に含まれ
    る視差を測定してヒストグラムを作成し、その出現頻度
    が閾値を超える視差値に基づいて視差統計量を算出する
    ことを特徴とする請求項１に記載の立体映像評価装置。
  6. 【請求項６】 映像表示手段で表示される映像の種類を
    認識する映像認識手段と、 認識された映像の種類に応じて入力画像に画像処理を行
    なう前処理手段とを有し、 上記前処理手段で画像処理された映像を上記視差測定手
    段に供給することを特徴とする請求項１〜５のいずれか
    一項に記載の立体映像評価装置。
  7. 【請求項７】 上記視差測定手段による視差測定に基づ
    いてエラーコードを設定するエラーコード設定手段を有
    し、 上記評価手段は上記エラーコード設定手段で設定された
    エラーコードに応じて評価値を変更することを特徴とす
    る請求項１〜６のいずれか一項に記載の立体映像評価装
    置。
  8. 【請求項８】 映像表示手段での映像の表示モードを認
    識する表示モード認識手段を有し、 上記評価手段は、上記表示モード認識手段で認識された
    表示モードに応じて評価値を設定することを特徴とする
    請求項１〜７のいずれか一項に記載の立体映像評価装
    置。
  9. 【請求項９】 入力映像を表示する映像表示手段と、 上記入力映像を評価する請求項１〜８のいずれか一項に
    記載の立体映像評価装置と、 上記立体映像評価装置での評価値に基づいて上記映像表
    示手段による上記入力映像の表示を制御する表示制御手
    段と、 を有することを特徴とする表示装置。
JP2001201748A 2001-07-03 2001-07-03 立体映像評価装置およびそれを用いた表示装置 Withdrawn JP2003018619A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2001201748A JP2003018619A (ja) 2001-07-03 2001-07-03 立体映像評価装置およびそれを用いた表示装置
PCT/JP2002/002510 WO2003005734A1 (en) 2001-07-03 2002-03-15 Three-dimensional image evaluation unit and display device using the unit
US10/482,316 US7372987B2 (en) 2001-07-03 2002-03-15 Three-dimensional image evaluation unit and display device using the unit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001201748A JP2003018619A (ja) 2001-07-03 2001-07-03 立体映像評価装置およびそれを用いた表示装置

Publications (1)

Publication Number Publication Date
JP2003018619A true JP2003018619A (ja) 2003-01-17

Family

ID=19038656

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001201748A Withdrawn JP2003018619A (ja) 2001-07-03 2001-07-03 立体映像評価装置およびそれを用いた表示装置

Country Status (3)

Country Link
US (1) US7372987B2 (ja)
JP (1) JP2003018619A (ja)
WO (1) WO2003005734A1 (ja)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100619056B1 (ko) 2004-11-17 2006-08-31 삼성전자주식회사 3차원 영상 분석장치
JP2009145230A (ja) * 2007-12-14 2009-07-02 Toyota Motor Corp 車両用物体監視装置、及び車両用画像解析装置
JP2010278743A (ja) * 2009-05-28 2010-12-09 Victor Co Of Japan Ltd 立体映像表示装置および立体映像表示方法
JP2011024122A (ja) * 2009-07-17 2011-02-03 Fujifilm Corp 立体画像記録装置及び方法、立体画像出力装置及び方法、並びに立体画像記録出力システム
JP2011029905A (ja) * 2009-07-24 2011-02-10 Fujifilm Corp 撮像装置、方法およびプログラム
JP2011055421A (ja) * 2009-09-04 2011-03-17 Canon Inc 映像処理装置及びその制御方法
JP2011091481A (ja) * 2009-10-20 2011-05-06 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2011124941A (ja) * 2009-12-14 2011-06-23 Mitsubishi Electric Corp ３次元映像生成装置及び３次元映像生成方法
WO2011108180A1 (ja) * 2010-03-03 2011-09-09 パナソニック株式会社 立体映像出力装置及び立体映像出力方法
WO2011121818A1 (ja) * 2010-03-30 2011-10-06 富士フイルム株式会社 複眼撮像装置、その視差調整方法及びプログラム
JP2011250318A (ja) * 2010-05-28 2011-12-08 Sharp Corp 立体映像データ生成装置、表示装置、立体映像データ生成方法、プログラムおよび記録媒体
WO2012002020A1 (ja) * 2010-06-30 2012-01-05 富士フイルム株式会社 再生装置、複眼撮像装置、再生方法及びプログラム
JP2012009010A (ja) * 2010-05-25 2012-01-12 Mitsubishi Electric Corp 画像処理装置、画像処理方法および画像表示装置
JP2012085252A (ja) * 2010-09-17 2012-04-26 Panasonic Corp 画像生成装置、画像生成方法、プログラムおよびプログラムを記録した記録媒体
WO2012081127A1 (ja) * 2010-12-17 2012-06-21 富士通株式会社 立体視動画像生成装置、立体視動画像生成方法、立体視動画像生成プログラム
JP2012138787A (ja) * 2010-12-27 2012-07-19 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2013055629A (ja) * 2011-08-10 2013-03-21 Toshiba Corp 映像出力装置及び映像出力方法
WO2013047007A1 (ja) * 2011-09-29 2013-04-04 富士フイルム株式会社 視差量調整装置およびその動作制御方法
JP2013077971A (ja) * 2011-09-30 2013-04-25 Kddi Corp 映像評価装置、映像評価方法、およびプログラム
WO2013105720A1 (ko) * 2012-01-10 2013-07-18 에스케이플래닛 주식회사 3차원 입체영상의 품질 분석 장치 및 방법
JP2013533672A (ja) * 2010-05-28 2013-08-22 クゥアルコム・インコーポレイテッド 三次元画像処理
JP5293605B2 (ja) * 2007-09-10 2013-09-18 株式会社村田製作所 セラミック多層基板及びその製造方法
WO2013145326A1 (ja) * 2012-03-30 2013-10-03 富士通株式会社 決定装置、決定プログラムおよび決定方法
KR101345303B1 (ko) 2007-03-29 2013-12-27 삼성전자주식회사 스테레오 또는 다시점 영상의 입체감 조정 방법 및 장치
JP2014063032A (ja) * 2012-09-21 2014-04-10 Nippon Hoso Kyokai <Nhk> 奥行き範囲算出装置及びそのプログラム
US8810564B2 (en) 2010-05-03 2014-08-19 Samsung Electronics Co., Ltd. Apparatus and method for reducing three-dimensional visual fatigue
JP2014531860A (ja) * 2011-09-29 2014-11-27 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 立体視画像ペアの条件付き表示のための方法及び装置
US9049434B2 (en) 2010-03-05 2015-06-02 Panasonic Intellectual Property Management Co., Ltd. 3D imaging device and 3D imaging method
US9128367B2 (en) 2010-03-05 2015-09-08 Panasonic Intellectual Property Management Co., Ltd. 3D imaging device and 3D imaging method
US9188849B2 (en) 2010-03-05 2015-11-17 Panasonic Intellectual Property Management Co., Ltd. 3D imaging device and 3D imaging method
JP2016109587A (ja) * 2014-12-08 2016-06-20 株式会社日本自動車部品総合研究所 画像処理装置
WO2019150880A1 (ja) * 2018-01-30 2019-08-08 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10696998B2 (en) 2007-12-10 2020-06-30 Ascensia Diabetes Care Holdings Ag Reagents and methods for detecting analytes

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4665430B2 (ja) * 2004-04-26 2011-04-06 富士ゼロックス株式会社 画像出力制御装置、画像出力制御方法及び画像出力制御プログラム並びにプリンタ装置
KR101185870B1 (ko) * 2005-10-12 2012-09-25 삼성전자주식회사 3ｄ 입체 영상 처리 장치 및 방법
FR2906899B1 (fr) * 2006-10-05 2009-01-16 Essilor Int Dispositif d'affichage pour la visualisation stereoscopique.
KR20080076628A (ko) 2007-02-16 2008-08-20 삼성전자주식회사 영상의 입체감 향상을 위한 입체영상 표시장치 및 그 방법
CN101785025B (zh) * 2007-07-12 2013-10-30 汤姆森特许公司 用于从二维图像进行三维对象重构的***和方法
JP4876080B2 (ja) * 2008-01-25 2012-02-15 富士重工業株式会社 環境認識装置
JP2009238117A (ja) * 2008-03-28 2009-10-15 Toshiba Corp 多視差画像生成装置および方法
JP4506875B2 (ja) * 2008-05-19 2010-07-21 ソニー株式会社 画像処理装置および画像処理方法
JP5170249B2 (ja) * 2008-09-29 2013-03-27 パナソニック株式会社 立体画像処理装置および立体画像処理装置のノイズ低減方法
JP4637942B2 (ja) * 2008-09-30 2011-02-23 富士フイルム株式会社 ３次元表示装置および方法並びにプログラム
US8610757B2 (en) * 2009-08-24 2013-12-17 Next3D, Inc. Stereoscopic video encoding and decoding methods and apparatus
ES2688280T3 (es) * 2010-03-12 2018-10-31 Viking Systems, Inc. Sistema de visualización estereoscópica
JP2011203811A (ja) * 2010-03-24 2011-10-13 Fujifilm Corp 画像処理装置、画像処理方法、画像処理プログラム、及び複眼デジタルカメラ
JP5488212B2 (ja) * 2010-06-04 2014-05-14 三菱電機株式会社 画像処理装置、画像処理方法および画像表示装置
CN103081478A (zh) * 2010-06-24 2013-05-01 电子部品研究院 用于配置立体运动图片文件的方法
KR20120028121A (ko) * 2010-09-14 2012-03-22 삼성전자주식회사 스테레오 카메라의 컨버전스 각도 결정 방법 및 장치
JP5250604B2 (ja) * 2010-10-26 2013-07-31 富士フイルム株式会社 立体画像表示装置、立体画像表示方法およびプログラム
US9049423B2 (en) * 2010-12-01 2015-06-02 Qualcomm Incorporated Zero disparity plane for feedback-based three-dimensional video
US20120162394A1 (en) * 2010-12-23 2012-06-28 Tektronix, Inc. Displays for easy visualizing of 3d disparity data
JP5492311B2 (ja) * 2011-02-08 2014-05-14 富士フイルム株式会社 視点画像生成装置、視点画像生成方法及び立体画像印画装置
WO2012108099A1 (ja) * 2011-02-09 2012-08-16 富士フイルム株式会社 撮像装置および撮像方法
CN102823264A (zh) * 2011-03-31 2012-12-12 松下电器产业株式会社 能够变更立体视觉影像的进深的影像处理装置、***、影像处理方法、影像处理程序
TWI462569B (zh) * 2011-04-22 2014-11-21 Mstar Semiconductor Inc 三維影像攝相機及其相關控制方法
GB2490886B (en) * 2011-05-13 2017-07-05 Snell Advanced Media Ltd Video processing method and apparatus for use with a sequence of stereoscopic images
KR101824501B1 (ko) * 2011-05-19 2018-02-01 삼성전자 주식회사 헤드 마운트 디스플레이 장치의 이미지 표시 제어 장치 및 방법
JP5536283B2 (ja) * 2011-06-06 2014-07-02 富士フイルム株式会社 画像加工装置、複眼撮像装置、画像加工方法及びプログラム
TWI504933B (zh) * 2012-06-13 2015-10-21 Innolux Corp 可切換式二維／三維顯示裝置及其製造方法
JP6380881B2 (ja) * 2012-07-31 2018-08-29 Ｔｉａｎｍａ Ｊａｐａｎ株式会社 立体画像表示装置、画像処理装置及び立体画像処理方法
TWI524736B (zh) * 2012-11-20 2016-03-01 群康科技(深圳)有限公司 三維影像顯示系統及其校正方法
US9182817B2 (en) * 2013-03-12 2015-11-10 Intel Corporation Techniques for automated evaluation of 3D visual content
CN105432081B (zh) * 2013-08-06 2019-12-31 索尼电脑娱乐公司 三维图像生成设备、三维图像生成方法、程序和信息存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6163337A (en) * 1996-04-05 2000-12-19 Matsushita Electric Industrial Co., Ltd. Multi-view point image transmission method and multi-view point image display method
JP4149037B2 (ja) 1998-06-04 2008-09-10 オリンパス株式会社 映像システム
JP3596314B2 (ja) * 1998-11-02 2004-12-02 日産自動車株式会社 物体端の位置計測装置および移動体の通行判断装置
JP3587506B2 (ja) * 1999-08-30 2004-11-10 富士重工業株式会社 ステレオカメラの調整装置
JP3255360B2 (ja) * 1999-09-22 2002-02-12 富士重工業株式会社 距離データの検査方法およびその検査装置
ATE278298T1 (de) * 1999-11-26 2004-10-15 Sanyo Electric Co Verfahren zur 2d/3d videoumwandlung

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100619056B1 (ko) 2004-11-17 2006-08-31 삼성전자주식회사 3차원 영상 분석장치
KR101345303B1 (ko) 2007-03-29 2013-12-27 삼성전자주식회사 스테레오 또는 다시점 영상의 입체감 조정 방법 및 장치
JP5293605B2 (ja) * 2007-09-10 2013-09-18 株式会社村田製作所 セラミック多層基板及びその製造方法
US8802998B2 (en) 2007-09-10 2014-08-12 Murata Manufacturing Co., Ltd. Ceramic multilayer substrate and method for producing the same
US10696998B2 (en) 2007-12-10 2020-06-30 Ascensia Diabetes Care Holdings Ag Reagents and methods for detecting analytes
US11180790B2 (en) 2007-12-10 2021-11-23 Ascensia Diabetes Care Holdings Ag Reagents and methods for detecting analytes
JP2009145230A (ja) * 2007-12-14 2009-07-02 Toyota Motor Corp 車両用物体監視装置、及び車両用画像解析装置
JP2010278743A (ja) * 2009-05-28 2010-12-09 Victor Co Of Japan Ltd 立体映像表示装置および立体映像表示方法
JP2011024122A (ja) * 2009-07-17 2011-02-03 Fujifilm Corp 立体画像記録装置及び方法、立体画像出力装置及び方法、並びに立体画像記録出力システム
JP2011029905A (ja) * 2009-07-24 2011-02-10 Fujifilm Corp 撮像装置、方法およびプログラム
US8610774B2 (en) 2009-09-04 2013-12-17 Canon Kabushiki Kaisha Video processing apparatus for displaying video data on display unit and control method therefor
JP2011055421A (ja) * 2009-09-04 2011-03-17 Canon Inc 映像処理装置及びその制御方法
JP2011091481A (ja) * 2009-10-20 2011-05-06 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2011124941A (ja) * 2009-12-14 2011-06-23 Mitsubishi Electric Corp ３次元映像生成装置及び３次元映像生成方法
WO2011108180A1 (ja) * 2010-03-03 2011-09-09 パナソニック株式会社 立体映像出力装置及び立体映像出力方法
US9049434B2 (en) 2010-03-05 2015-06-02 Panasonic Intellectual Property Management Co., Ltd. 3D imaging device and 3D imaging method
US9128367B2 (en) 2010-03-05 2015-09-08 Panasonic Intellectual Property Management Co., Ltd. 3D imaging device and 3D imaging method
US9188849B2 (en) 2010-03-05 2015-11-17 Panasonic Intellectual Property Management Co., Ltd. 3D imaging device and 3D imaging method
US9071759B2 (en) 2010-03-30 2015-06-30 Fujifilm Corporation Compound-eye imaging device, and parallax adjusting method and program thereof
WO2011121818A1 (ja) * 2010-03-30 2011-10-06 富士フイルム株式会社 複眼撮像装置、その視差調整方法及びプログラム
JP5295426B2 (ja) * 2010-03-30 2013-09-18 富士フイルム株式会社 複眼撮像装置、その視差調整方法及びプログラム
US8810564B2 (en) 2010-05-03 2014-08-19 Samsung Electronics Co., Ltd. Apparatus and method for reducing three-dimensional visual fatigue
JP2012009010A (ja) * 2010-05-25 2012-01-12 Mitsubishi Electric Corp 画像処理装置、画像処理方法および画像表示装置
JP2013533672A (ja) * 2010-05-28 2013-08-22 クゥアルコム・インコーポレイテッド 三次元画像処理
US8970672B2 (en) 2010-05-28 2015-03-03 Qualcomm Incorporated Three-dimensional image processing
JP2011250318A (ja) * 2010-05-28 2011-12-08 Sharp Corp 立体映像データ生成装置、表示装置、立体映像データ生成方法、プログラムおよび記録媒体
JP5420076B2 (ja) * 2010-06-30 2014-02-19 富士フイルム株式会社 再生装置、複眼撮像装置、再生方法及びプログラム
US9258552B2 (en) 2010-06-30 2016-02-09 Fujifilm Corporation Playback device, compound-eye image pickup device, playback method and non-transitory computer readable medium
WO2012002020A1 (ja) * 2010-06-30 2012-01-05 富士フイルム株式会社 再生装置、複眼撮像装置、再生方法及びプログラム
JPWO2012002020A1 (ja) * 2010-06-30 2013-08-22 富士フイルム株式会社 再生装置、複眼撮像装置、再生方法及びプログラム
JP2012085252A (ja) * 2010-09-17 2012-04-26 Panasonic Corp 画像生成装置、画像生成方法、プログラムおよびプログラムを記録した記録媒体
CN103262545B (zh) * 2010-12-17 2015-10-14 富士通株式会社 立体动态图像生成装置、立体动态图像生成方法
CN103262545A (zh) * 2010-12-17 2013-08-21 富士通株式会社 立体动态图像生成装置、立体动态图像生成方法、立体动态图像生成程序
JP5655862B2 (ja) * 2010-12-17 2015-01-21 富士通株式会社 立体視動画像生成装置、立体視動画像生成方法、立体視動画像生成プログラム
WO2012081127A1 (ja) * 2010-12-17 2012-06-21 富士通株式会社 立体視動画像生成装置、立体視動画像生成方法、立体視動画像生成プログラム
JP2012138787A (ja) * 2010-12-27 2012-07-19 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2013055629A (ja) * 2011-08-10 2013-03-21 Toshiba Corp 映像出力装置及び映像出力方法
WO2013047007A1 (ja) * 2011-09-29 2013-04-04 富士フイルム株式会社 視差量調整装置およびその動作制御方法
JP2014531860A (ja) * 2011-09-29 2014-11-27 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 立体視画像ペアの条件付き表示のための方法及び装置
JP5581452B2 (ja) * 2011-09-29 2014-08-27 富士フイルム株式会社 視差量調整装置およびその動作制御方法
US9402065B2 (en) 2011-09-29 2016-07-26 Qualcomm Incorporated Methods and apparatus for conditional display of a stereoscopic image pair
US10171791B2 (en) 2011-09-29 2019-01-01 Qualcomm Incorporated Methods and apparatus for conditional display of a stereoscopic image pair
JP2013077971A (ja) * 2011-09-30 2013-04-25 Kddi Corp 映像評価装置、映像評価方法、およびプログラム
WO2013105720A1 (ko) * 2012-01-10 2013-07-18 에스케이플래닛 주식회사 3차원 입체영상의 품질 분석 장치 및 방법
US9538168B2 (en) 2012-03-30 2017-01-03 Fujitsu Limited Determination device and determination method
WO2013145326A1 (ja) * 2012-03-30 2013-10-03 富士通株式会社 決定装置、決定プログラムおよび決定方法
JP2014063032A (ja) * 2012-09-21 2014-04-10 Nippon Hoso Kyokai <Nhk> 奥行き範囲算出装置及びそのプログラム
JP2016109587A (ja) * 2014-12-08 2016-06-20 株式会社日本自動車部品総合研究所 画像処理装置
WO2019150880A1 (ja) * 2018-01-30 2019-08-08 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11327317B2 (en) 2018-01-30 2022-05-10 Sony Corporation Information processing apparatus and information processing method

Also Published As

Publication number Publication date
US7372987B2 (en) 2008-05-13
WO2003005734A1 (en) 2003-01-16
US20040208357A1 (en) 2004-10-21

Similar Documents

Publication Publication Date Title
JP2003018619A (ja) 立体映像評価装置およびそれを用いた表示装置
CN112823328B (zh) 用于执行相机***的内部和/或外部校准的方法
JP5911846B2 (ja) 肌色領域及び顔領域に基づく視点検出器
US7248721B2 (en) Identification of facial image with high accuracy
US20130215293A1 (en) Apparatus and method for generating image including multiple people
US9530192B2 (en) Method for determining stereo quality score and automatically improving the quality of stereo images
KR101278430B1 (ko) 실시간으로 몇몇 사람들의 눈을 인식하고 추적하기 위한 방법 및 회로 장치
US20030035001A1 (en) 3D video conferencing
EP1986446A2 (en) Image processing apparatus and image processing method
US20060188130A1 (en) Apparatus and method for normalizing face image used for detecting drowsy driving
CN107507239A (zh) 一种图像分割方法及移动终端
KR20130030780A (ko) 3 차원 이미지 프로세싱
US20200084433A1 (en) Method and apparatus for determining interpupillary distance (ipd)
US10616568B1 (en) Video see-through head mounted display and control method thereof
JP2003098424A (ja) 画像処理測距装置
US20170372679A1 (en) Mobile Terminal for Automatically Adjusting a Text Size and a Method Thereof
WO2019021601A1 (ja) 情報処理装置、情報処理方法、およびプログラム
TWI491244B (zh) 調整物件三維深度的方法與裝置、以及偵測物件三維深度的方法與裝置
WO2019095095A1 (zh) 头戴显示设备图像调整方法及头戴显示设备
CN111491105B (zh) 移动终端的对焦方法、移动终端及计算机存储介质
CN110770786A (zh) 基于摄像设备的遮挡检测修复装置及其遮挡检测修复方法
JP2002271818A (ja) 視差量測定装置
JP4537597B2 (ja) 視差量測定装置
JP2011040860A (ja) 画像処理装置及び画像処理プログラム
JP3969151B2 (ja) 画像表示装置、画像処理方法、プログラム及び情報記憶媒体

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20081007