JP2011004203A - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】伝送遅延等による同期したＬＲ画像の取得が出来ない場合の３Ｄ／２Ｄ表示切り換えを行う構成を提供する。
【解決手段】Ｌ画像（左眼用画像）とＲ画像（右眼用画像）を受信し、三次元画像（３Ｄ）画像表示を行う画像処理装置において、同一撮影時間のＬＲ画像ペアが取得できない場合、異なる撮影時間のＬＲ画像を適用した三次元画像表示において発生するオブジェクト結像位置誤差が予め既定した許容誤差以下であるか否かを判定し、許容誤差以下である場合のみ異なる撮影時間のＬＲ画像を適用した三次元画像表示を実行し、許容誤差以下でない場合は二次元画像表示を実行する。本構成により奥行き感の違和感を発生させない三次元画像表示が可能となる。
【選択図】図１

Description

本発明は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、三次元（３Ｄ：３Ｄｉｍｅｎｓｉｏｎ）画像表示に適用する画像を撮影する複数のカメラの撮影画像を、ネットワークを介して受信して表示部に表示する画像処理装置、および画像処理方法、並びにプログラムに関する。

近年、三次元画像、すなわち、３Ｄ（３−Ｄｉｍｅｎｓｉｏｎ）画像の表示システムの開発。利用が盛んに行われている。３Ｄ画像を表示する代表的な方式には、パッシブ・ステレオ方式と、アクティブ・ステレオ方式がある。

パッシブ・ステレオ方式は、例えば偏光フィルタを用いて特定の方向に振動する光のみを通過させて左右の眼用の画像を分離して左眼用と右眼用の画像を観察者の左右の眼に観察させる方式である。画像表示装置の表示画像を構成する出力光が観察者の眼へ到達するまでに、光は偏光フィルタを介して左眼用と右眼用に分離される。例えば、観察者は偏光眼鏡を装着することにより、左眼用の画像光を右眼に入力せず左眼のみに入力し、右眼用の画像光を左眼に入力せず右眼のみに入力するようにする。このようにして、左眼用と右眼用の画像の各々を観察者の左右の眼に入力させて立体視を実現する方式である。

一方、アクティブ・ステレオ方式は、例えば時分割方式と呼ばれ、画像表示装置のフレーム切り替えタイミングに同期したシャッタ式眼鏡を用いて、左右の画像の分離を実現する方式である。画像表示装置は左右の眼用の画像をフレーム毎に切り替えて表示し、観察者が装着したシャッタ式眼鏡は左眼用画像を表示している時は右眼を隠し、右眼用画像を表示している時は左眼を隠すという仕組みである。

上述のような方式によって３Ｄ画像の表示を行うためには、複数の異なる視点からの撮影画像が必要である。例えば左眼用画像を撮影するカメラＬと、右眼用画像を撮影するカメラＲの撮影画像である。

例えばこれらの２つのカメラの撮影画像をネットワークを介して転送し、遠隔地のＰＣやＴＶ等の画像処理装置で受信して表示する場合、カメラＬとカメラＲの同じ時間に撮影された２つの画像を確実に受信して表示データを生成する処理が必要となる。なお、このようなシステムについては、例えば特許文献１（特開２００５−９４０７３号公報）、特許文献２（特開２００６−１４０６１８号公報）、特許文献３(特表平１１-５０４１６７号公報)などに記載がある。

しかし、ネットワーク通信においてデータ転送パケットの消失や遅延を完全に防ぐことは困難である。例えば時間ｔ１に撮影されたカメラＬの画像は受信しているが、同じ時間ｔ１に撮影されたカメラＲの画像が受信されていないといった事態が発生することがある。このような場合データ受信側では正しい３Ｄ画像が表示できない。

例えば、データ受信と表示を行う装置側において、カメラＬの画像ｔ，ｔ＋１・・・の画像が受信できているにもかかわらず、カメラＲの画像については、時間ｔ−１の撮影画像までしか受信できていない場合、画像を時間ｔ−１の画像で停止状態にせざる得ない。

あるいは、カメラＬの撮影画像については、時間ｔ，ｔ＋１・・・の時間推移に従った正しい画像を表示し、カメラＲの撮影画像については時間ｔ−１の画像のまま表示するといった処理である。しかし、このようなＬＲ画像の非同期画像の表示処理を行うと、３Ｄ画像としての正しい立体感が失われることになる。

特開２００５−９４０７３号公報 特開２００６−１４０６１８号公報 特表平１１-５０４１６７号公報

本発明は、例えば上記問題点に鑑みてなされたものであり、三次元画像を構成する複数視点からの画像、例えば左眼用画像と右眼用画像をネットワークを介して転送し、受信側において３Ｄ画像の表示を行うシステムにおいて、複数視点画像の取得状況や画像状況に応じて三次元（３Ｄ）画像と二次元（２Ｄ）画像を切り替えて表示する画像処理装置、および画像処理方法、並びにプログラムを提供するものである。

本発明の第１の側面は、
三次元画像表示に適用するＬ画像（左眼用画像）とＲ画像（右眼用画像）を含む通信データを受信する受信部と、
前記通信データから撮影時間を含む属性情報を取得する属性情報取得部と、
前記通信データに含まれる画像および属性情報の解析を実行して、解析結果に基づいて、三次元画像表示と二次元画像表示の切り換え処理を行う出力制御部を有し、
前記出力制御部は、
同一撮影時間のＬ画像とＲ画像のペアが取得済みである場合は三次元画像表示を実行し、
同一撮影時間のＬ画像とＲ画像のペアが取得済みでない場合は、異なる撮影時間のＬＲ画像を適用した三次元画像表示において発生するオブジェクト結像位置誤差が、予め既定したオブジェクト結像位置許容誤差以下であるか否かを判定し、許容誤差以下である場合は、異なる撮影時間のＬＲ画像を適用した三次元画像表示を実行し、許容誤差以下でない場合は、三次元画像表示を停止して二次元画像表示を実行する画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記出力制御部は、前記異なる撮影時間のＬＲ画像に含まれる移動オブジェクトから、最大移動速度を持つ移動オブジェクトのフレーム間の動きベクトルＶを算出し、該動きベクトルＶと、３Ｄ画像の表示面における両眼許容視差ずれ量δＷｓを適用して、許容撮影時間差（δＴ）を算出し、前記異なる撮影時間のＬＲ画像の撮影時間差が前記許容撮影時間差（δＴ）以下である場合に、前記異なる撮影時間のＬＲ画像を適用した三次元画像表示を実行し、前記許容撮影時間差（δＴ）以下でない場合は、三次元画像表示を停止して二次元画像表示を実行する。

さらに、本発明の画像処理装置の一実施態様において、前記出力制御部は、前記動きベクトルからオブシェクトの速度Ｖｓを取得し、前記許容撮影時間差（δＴ）を、
δＴ＝δＷｓ／Ｖｓ
上記式に従って算出する処理を実行する。

さらに、本発明の画像処理装置の一実施態様において、前記出力制御部は、３Ｄ画像の表示面における両眼許容視差ずれ量δＷｓのｘ方向の両眼許容視差ずれ量（δＷｓｘ）とｙ方向の両眼許容視差ずれ量（δＷｓｙ）を取得し、前記フレーム間の動きベクトルＶによって既定されるｘ方向の速度（Ｖｓｘ）とｙ方向の速度（Ｖｓｙ）を取得し、δＷｓｘ／Ｖｓｘと、δＷｓｙ／Ｖｓｙの各値中、より小さい値を前記許容撮影時間差（δＴ）として算出する処理を実行する。

さらに、本発明の画像処理装置の一実施態様において、前記出力制御部は、予め設定された許容撮影時間差（δＴ）を取得し、前記異なる撮影時間のＬＲ画像の撮影時間差が前記許容撮影時間差（δＴ）以下である場合に、前記異なる撮影時間のＬＲ画像を適用した三次元画像表示を実行し、前記許容撮影時間差（δＴ）以下でない場合は、三次元画像表示を停止して二次元画像表示を実行する。

さらに、本発明の画像処理装置の一実施態様において、前記出力制御部は、三次元画像表示を停止して二次元画像表示を実行する場合に、前記通信データに格納された属性情報中の優先度情報を参照し、優先度の高い画像を選択して二次元画像表示を実行する。

さらに、本発明の第２の側面は、
画像処理装置において実行する画像処理方法であり、
通信部が、三次元画像表示に適用するＬ画像（左眼用画像）とＲ画像（右眼用画像）を含む通信データを受信する受信ステップと、
属性情報取得部が、前記通信データから撮影時間を含む属性情報を取得する属性情報取得ステップと、
出力制御部が、前記通信データに含まれる画像および属性情報の解析を実行して、解析結果に基づいて、三次元画像表示と二次元画像表示の切り換え処理を行う出力制御ステップを有し、
前記出力制御ステップは、
同一撮影時間のＬ画像とＲ画像のペアが取得済みである場合は三次元画像表示を実行し、
同一撮影時間のＬ画像とＲ画像のペアが取得済みでない場合は、異なる撮影時間のＬＲ画像を適用した三次元画像表示において発生するオブジェクト結像位置誤差が、予め既定したオブジェクト結像位置許容誤差以下であるか否かを判定し、許容誤差以下である場合は、異なる撮影時間のＬＲ画像を適用した三次元画像表示を実行し、許容誤差以下でない場合は、三次元画像表示を停止して二次元画像表示を実行するステップである画像処理方法にある。

さらに、本発明の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
通信部に、三次元画像表示に適用するＬ画像（左眼用画像）とＲ画像（右眼用画像）を含む通信データを受信させる受信ステップと、
属性情報取得部に、前記通信データから撮影時間を含む属性情報を取得させる属性情報取得ステップと、
出力制御部に、前記通信データに含まれる画像および属性情報の解析を実行させて、解析結果に基づいて、三次元画像表示と二次元画像表示の切り換え処理を行わせる出力制御ステップを有し、
前記出力制御ステップは、
同一撮影時間のＬ画像とＲ画像のペアが取得済みである場合は三次元画像表示を実行し、
同一撮影時間のＬ画像とＲ画像のペアが取得済みでない場合は、異なる撮影時間のＬＲ画像を適用した三次元画像表示において発生するオブジェクト結像位置誤差が、予め既定したオブジェクト結像位置許容誤差以下であるか否かを判定し、許容誤差以下である場合は、異なる撮影時間のＬＲ画像を適用した三次元画像表示を実行し、許容誤差以下でない場合は、三次元画像表示を停止して二次元画像表示を実行するステップであるプログラムにある。

なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な画像処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、画像処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例によれば、Ｌ画像（左眼用画像）とＲ画像（右眼用画像）を含む通信データを受信し、受信データに基づいて三次元画像（３Ｄ）画像表示を行う画像処理装置において、同一撮影時間のＬ画像とＲ画像のペアが取得済みである場合は三次元画像表示を実行し、同一撮影時間のＬ画像とＲ画像のペアが取得済みでない場合は、異なる撮影時間のＬＲ画像を適用した三次元画像表示において発生するオブジェクト結像位置誤差が、予め既定したオブジェクト結像位置許容誤差以下であるか否かを判定し、許容誤差以下である場合は異なる撮影時間のＬＲ画像を適用した三次元画像表示を実行し、許容誤差以下でない場合は三次元画像表示を停止して二次元画像表示を実行する構成とした。本構成により、異なる撮影時間のＬＲ画像ペアを用いた三次元画像表示においても奥行き感の違和感を発生させない画像とすることが可能となる。

本発明の画像処理装置を利用した処理の概要と画像処理装置の構成例について説明する図である。 本発明の一実施例において、カメラから画像処理装置に転送されるパケットの構成例について説明する図である。 本発明の一実施例に係る画像処理装置の構成例について説明する図である。 三次元（３Ｄ）画像の表示処理零について説明する図である。 撮影時間の同期したＬＲ画像が取得できない場合の三次元（３Ｄ）画像表示処理例について説明する図である。 三次元（３Ｄ）画像表示におけるオブジェクトの見え方について説明する図である。 三次元（３Ｄ）画像表示において満足すべき条件について説明する図である。 三次元（３Ｄ）画像表示において、撮影時間が一致した同期画像表示と、撮影時間が不一致の画像を適用した場合の表示例について説明する図である。 本発明の一実施例における画像処理装置において、３Ｄ画像表示と２Ｄ画像表示のいずれを実行するかを判定する際に適用するパラメータについて説明する図である。 本発明の一実施例の画像処理装置における３Ｄ画像表示と２Ｄ画像表示のいずれを実行するかを判定する処理シーケンスを説明するフローチャートを示す図である。 本発明の一実施例の画像処理装置における３Ｄ画像表示と２Ｄ画像表示のいずれを実行するかを判定する処理シーケンス中の［δＴ］算出処理を説明するフローチャートを示す図である。 本発明の一実施例の画像処理装置における３Ｄ画像表示と２Ｄ画像表示のいずれを実行するかを判定する処理シーケンス中の［δＷｓ］算出処理を説明するフローチャートを示す図である。

以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
１．本発明の画像処理装置の構成と処理の概要について
２．３Ｄ画像の表示例と３Ｄ画像表示の条件について
３．本発明の画像処理装置の実行する処理の詳細について

［１．本発明の画像処理装置の構成と処理の概要について］
まず、図１以下を参照して本発明の画像処理装置の構成例と処理の概要について説明する。図１には、三次元画像（３Ｄ画像）を構成する複数視点の画像を撮影するカメラ１０１，１０２と、ネットワーク１０３、画像処理装置１２０を示している。

カメラＬ１０１は三次元画像（３Ｄ画像）を構成する左眼用画像を撮影し、カメラ１０２は右眼用画像を撮影する。撮影画像は画像データに対する属性情報とともにパケット化され、ネットワーク１０３を介して画像処理装置１２０に転送される。画像処理装置１２０はカメラＬ１０１、カメラＲ１０２から送信されるパケットを受信し、画像データを取得して表示部１２４に表示する。

画像処理装置１２０は、受信部１２１、パケット解析部１２２、出力制御部１２３、表示部１２４、制御部１２５、メモリ１２６を有する。
受信部１２１は、カメラＬ１０１、カメラＲ１０２から送信されるパケットを受信する。受信パケットは、パケット解析部１２２において解析され、画像データ、属性情報等が取り出される。属性情報には、たとえば各撮影画像フレームの撮影時間情報などが含まれる。

取り出されたデータは出力制御部１２３に転送され、カメラＬ１０１、カメラＲ１０２の撮影画像を利用して３Ｄ表示画像を表示部１２４に表示する。なお、本発明の画像処理装置１２０は、カメラＬ１０１、カメラＲ１０２の撮影画像の受信状況や画像内容の解析に基づいて、三次元（３Ｄ）画像の表示と二次元（２Ｄ）画像の表示を切り換える処理を行う。この処理の詳細については後述する。

制御部１２５は、受信部１２１、パケット解析部１２２、出力制御部１２３、表示部１２４の処理の統括的制御を実行する。例えばメモリ１２６に格納されたプログラムに従ってた制御を実行する。

なお、３Ｄ画像の表示方式としては、前述したように、パッシブ・ステレオ方式と、アクティブ・ステレオ方式がある。パッシブ・ステレオ方式は、例えば、偏光フィルタを用いて特定の方向に振動する光のみを通過させて左右の眼用の画像を分離して左眼用と右眼用の画像を観察者の左右の眼に観察させる方式である。

アクティブ・ステレオ方式は、例えば時分割方式と呼ばれ、画像表示装置のフレーム切り替えタイミングに同期したシャッタ式眼鏡を用いて、左右の画像の分離を実現する方式である。

本発明の画像処理装置１２０はパッシブ・ステレオ方式、アクティブ・ステレオ方式いずれの方式も適用可能である。本発明の画像処理装置１２０は、カメラＬ１０１、カメラＲ１０２から送信されるパケットから同一時刻に撮影された画像のペアを取得して上記いずれかの方式に従った３Ｄ画像の表示を行う。

しかし、ネットワーク１０３を介したパケット転送に際しては、所定の確率でパケットの消失や遅延が発生する。本発明の画像処理装置１２０は、この様なパケットの消失や遅延などの事態に対応する処理を実行する。具体的には、画像処理装置１２０の出力制御部１２３において、カメラＬ１０１、カメラＲ１０２の撮影画像の取得状況と画像内容を解析する。

例えば、カメラＬ１０１、カメラＲ１０２において同一時刻に撮影された画像ペアの受信が確認された場合は、画像ペアを利用した３Ｄ画像の表示を行う。また、カメラＬ１０１、カメラＲ１０２において同一時刻に撮影された画像ペアの一方が受信できていない状況が発生した場合、カメラＬ１０１、カメラＲ１０２の異なる撮影時間の画像を組み合わせて表示した場合に違和感のない３Ｄ画像の表示が可能か否かを判定する。

違和感のない３Ｄ画像の表示が可能な場合は時間差のあるＬＲ画像を用いて３Ｄ画像の表示を行い、不可能と判定した場合は３Ｄ画像の表示を停止して、カメラＬ１０１、カメラＲ１０２いずれかの撮影画像を用いて２Ｄ画像としての表示を行う。

図２に、カメラＬ１０１、カメラＲ１０２の撮影した画像の転送に利用されるパケット構成例を示す。図２（ａ）に示すパケット構成は、カメラＬ１０１、およびカメラＲ１０２から出力されるパケット構成例を示している。カメラＬ１０１、およびカメラＲ１０２は同様の構成を持つパケットを設定して、宛先を画像処理装置１２０としてネットワーク１０３に出力する。

パケットは図２（ａ）に示すようにアドレス情報等を含むヘッダの後に転送用実データとしてのペイロードが設定された構成を持つ。ペイロードには複数の撮影画像フレームデータと、各画像フレームに対応する属性情報（ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）が含まれる。画像フレームデータは例えばＭＰＥＧ符号化データとして格納される。

属性情報（ＳＥＩ）には、図２（ｂ）に示すように、カメラグループの識別子であるグループＩＤや、カメラＬの撮影画像であるかカメラＲの撮影画像であるかを示す画像種別（Ｌ／Ｒ画像）情報などからなる画像情報、撮影時間情報、伝送遅延時間許容量、優先度情報などが含まれる。

撮影時間情報は、カメラＬ１０１．カメラＲ１０２に共通の時刻情報である。例えばインターネットを介して取得される標準時間などの時間情報を各カメラが利用して各撮影画像フレームの撮影時間として設定する。
伝送遅延時間許容量は、例えば予め設定された時間、あるいはユーザの設定した時間情報であり、同一時刻に撮影された他方のカメラの撮影画像に対する遅延許容時間を示す情報である。
優先度情報は、画像処理装置１２０において、３Ｄ画像表示を停止して二次元（２Ｄ）画像表示を行う場合に、ＬＲ画像のどのカメラの画像を優先して利用するかを記録した情報である。
これらの情報を含む属性情報が各撮影画像フレームに対応付けて設定される。１つのパケットには複数の画像フレームと属性情報が格納される。

なお、図２には属性情報格納領域としてＳＥＩを示しているが、属性情報の格納部は、図２に示すようなＳＥＩフィールドに限らず、様々な設定が可能である。例えばパケットに任意のデータを格納可能なフィールド、例えばユーザデータフィールドなどを設定しこれらのフィールドに属性情報を格納する構成としてもよい。また画像データ格納パケットと別の属性情報格納パケットを利用する構成としてもよい。

次に、図３を参照して画像処理装置１２０の内部構成の詳細と処理について説明する。カメラＬ１０１とカメラＲ１０２から送信される撮影データを含むデータパケットは、画像処理装置１２０の受信部１２１において受信され、パケット解析部１２２に入力される。

パケット解析部１２２は、図３に示すようにデコード部２０１、属性情報取得部２０２を有する。デコード部２０１は、例えばＭＰＥＧ符号化された画像データの復号処理を行い、復号結果を出力制御部１２３の受信情報検証部２１１に出力する。属性情報取得部２０２は、先に図２を参照して説明した画像フレーム対応の属性情報としてパケットに格納された画像種別（Ｌ／Ｒ画像）情報、撮影時間情報や伝送遅延時間許容量を取得して、これらを出力制御部１２３の受信情報検証部２１１に出力する。

出力制御部１２３の受信情報検証部２１１は、デコード部２０１から入力する画像情報と、属性情報取得部２０２から入力する属性情報、およびメモリ２１３に格納されたパラメータを利用したデータ処理を実行して３Ｄ画像の出力を行うか、２Ｄ画像の出力を行うかを決定する。

３Ｄ／２Ｄ切り替え制御部２１２は、受信情報検証部２１１の決定に従って、表示部１２４に対して３Ｄ画像の表示、または２Ｄ画像の表示を実行する。

すなわち、前述のように、カメラＬ１０１、カメラＲ１０２において同一時刻に撮影された画像ペアを受信している場合は３Ｄ画像の表示を行う。画像ペアの一方が受信できていない場合は、異なる撮影時間の画像を組み合わせて表示しても違和感のない３Ｄ画像の表示が可能であると判定した場合は、撮影時間差のあるＬＲ画像を用いて３Ｄ画像の表示を行い、不可能と判定した場合は３Ｄ画像の表示を停止して、カメラＬ１０１、カメラＲ１０２いずれかの撮影画像を用いて２Ｄ画像としての表示を行う。例えば先に図２を参照して説明した属性情報中の優先度情報に従って画像を選択して２Ｄ画像表示を行う。

［２．３Ｄ画像の表示例と３Ｄ画像表示の条件について］
次に、３Ｄ画像の表示例と３Ｄ画像表示の条件について説明する。
まず、図４を参照して表示部１２４に表示する３Ｄ画像の例について説明する。図４には、以下の各方式の３Ｄ画像表示例を示している。
（１）アクティブ・ステレオ方式
（２）パッシブ・ステレオ方式

（１）アクティブ・ステレオ方式は、図４（１）に示すように、カメラＬの撮影画像であるＬ画像とカメラＲの撮影画像であるＲ画像を時系列に交互に表示し、観察者が左右の眼対応の液晶シャッタメガネを装着してＬ画像を左眼で観察しＲ画像を右眼で観察する方式である。

（２）パッシブ・ステレオ方式は、図に示すように、表示部に出力する１フレーム画像をＬ画像とＲ画像を交互に並べた画像とする。Ｌ画像とＲ画像は偏光画像であり、観察者の装着した偏光眼鏡により、Ｌ画像部分は左眼によって観察され、Ｒ画像部分は右眼によって観察される。

（１）アクティブ・ステレオ方式では、同一時間に撮影されたＬ画像とＲ画像を交互に出力する。また、（２）パッシブ・ステレオ方式では、同一時間に撮影されたＬ画像とＲ画像を用いて１フレーム画像を生成して出力する。

図４に示す例は、撮影時刻ｔ０１〜ｔ０３のＬＲ画像が全て取得済みであり、これらの取得画像を用いれば、（１），（２）のいずれの方式でも正しい３Ｄ画像の表示、観察が可能となる。

しかし、Ｌ画像、Ｒ画像のいずれか一方の画像を格納したパケットの消失や遅延が発生すると、図４に示すような同一の撮影時間ｔ０１〜ｔ０３の各々のＬＲ画像ペアを用いた表示処理が不可能となる場合がある。

具体例について、図５を参照して説明する。図５に示す例は、Ｌ画像については、時間ｔ０１〜ｔ０３の各撮影時間の画像を取得できているが、Ｒ画像については、時間ｔ０１の画像のみが取得され、時間ｔ０２，ｔ０３の撮影画像が取得できない場合の処理例を示している。

このような場合、（１），（２）のいずれの方式でも、例えば、撮影時間ｔ０１のＬ／Ｒ画像のペアを利用した３Ｄ画像表示までは問題なく行われるが、時間ｔ０２以降は、Ｒ画像が未取得であり、正常な３Ｄ画像の表示が出来なくなる。

この場合の処理例としては、例えば、
（ａ）撮影時間ｔ０１までの表示後、表示を停止して、撮影時刻ｔ０２のＬ／Ｒ画像のペアが取得できるまで待機する。
（ｂ）撮影時間ｔ０１までの表示後、Ｌ画像については、撮影時間ｔ０２，ｔ０３の画像を利用し、Ｒ画像については撮影時間ｔ０１の画像を継続して利用する。この例を図５に示している。

上記（ａ）の処理を行った場合、表示画像が中断することになる。また（ｂ）の処理を行うと、正しい３Ｄ画像が表示できず、正しい奥行き感が得られない違和感のある画像が出力されてしまう場合がある。

本発明の画像処理装置１２０の出力制御部１２３では、受信情報検証部２１１において、受信情報（画像と属性情報）を解析して、カメラＬ１０１、カメラＲ１０２の異なる撮影時間の画像を組み合わせて表示した場合に違和感のない３Ｄ画像の表示が可能か否かを判定する。可能な場合は撮影時間差のあるＬＲ画像を用いて３Ｄ画像の表示を行い、不可能と判定した場合は３Ｄ画像の表示を停止して、カメラＬ１０１、カメラＲ１０２いずれかの撮影画像を用いて２Ｄ画像としての表示を行う。

このように、本発明の画像処理装置１２０の出力制御部１２３は、カメラＬ１０１、カメラＲ１０２の異なる撮影時間の画像を組み合わせて表示した場合に違和感のない３Ｄ画像の表示が可能か否かを判定する処理を行う。この具体的な処理の説明の前に、まず、３Ｄ画像の表示における奥行き感の得られる原理について、図６を参照して説明する。

図６には、観察者の左眼３０１、右眼３０２、表示面３１０と、オブジェクト結像位置３２０を示している。表示面は例えばＴＶ、ディスプレイ、あるいはスクリーンなど、先に図４、図５を参照して説明した３Ｄ画像が表示される表示面である。オブジェクト結像位置３２０は、観察者によって感じられるオブジェクトの位置を示している。

表示面３１０にはＬ画像とＲ画像の各々に同一のオブジェクトが表示され、それぞれの表示位置が異なって表示される。図に示すＬ画像オブジェクト表示位置３１１、Ｒ画像オブジェクト表示位置３１２である。Ｌ画像オブジェクト表示位置３１１のオブジェクトは観察者の左眼３０１によってのみ観察され、Ｒ画像オブジェクト表示位置３１２のオブジェクトは、観察者の右眼３０２によってのみ観察される。この結果として、観察者が感ずるオブジェクト位置は、図に示すオブジェクト結像位置３２０となる。

すなわち、観察者にとってのオブジェクト位置は、目から［Ｄｏ］の距離に感じられる。
目とオブジェクト間の距離を［Ｄｏ］、
目と表示面間の距離を［Ｄｓ］、
としたとき、ＤｏとＤｓとの関係は以下の式（数式１）によって示すことができる。
Ｄｏ＝（Ｗｅ／（Ｗｅ−Ｗｓ））Ｄｓ・・・（数式１）
なお、
Ｗｅ：観察者の左右の眼の間隔、
Ｗｓ：Ｌ画像とＲ画像の表示面における同一オブジェクトの表示位置の間隔
である。

例えば、同一時刻のＬＲ画像が取得できていれば、図６に示す表示面３１０には、Ｌ画像オブジェクト表示位置３１１、Ｒ画像オブジェクト表示位置３１２にオブジェクトが表示される。この結果、オブジェクト結像位置３２０にオブジェクトが位置するように感ずることができる。

オブジェクトが移動オブジェクトでない場合、同一時刻のＬＲ画像を用いなくても、異なる撮影時間、例えば撮影時間ｔ０１のＬ画像と、撮影時間ｔ０２のＲ画像を用いたとしても、図６に示す表示面３１０の、Ｌ画像オブジェクト表示位置３１１、Ｒ画像オブジェクト表示位置３１２の各表示位置は移動しない。従ってこのような場合には、撮影時間ｔ０１のＬ画像と、撮影時間ｔ０２のＲ画像を組み合わせて３Ｄ表示を行っても違和感のない３Ｄ画像表示が可能となる。

しかし、オブジェクトが移動オブジェクトである場合には問題が発生する。オブジェクトが移動オブジェクトである場合に、異なる撮影時間のＬＲ画像の組み合わせると、Ｌ画像オブジェクト表示位置３１１と、Ｒ画像オブジェクト表示位置３１２の間隔Ｗｓは異なってくる。この結果、オブジェクト結像位置３２０は前後にずれてしまい、正しいオブジェクト位置感覚が得られなくなる。

例えば、結像位置の許容誤差を図に示すように［δＤｏ］とする。この結像位置許容誤差［δＤｏ］から、表示面３１０上の、Ｌ画像オブジェクト表示位置３１１とＲ画像オブジェクト表示位置３１２の間隔、すなわち両眼視差の許容ずれ量［δＷｓ］を算出できる。

この算出処理について図７を参照して説明する。図７に示すように、
結像位置許容誤差［δＤｏ］と、両眼視差許容ずれ量［δＷｓ］との関係は、以下の式（数式２）によって表すことができる。
δＷｓ＝ＷｅＤｓ（（１／Ｄｏ）−（１／（Ｄｏ−δＤｏ））・・・（数式２）
また、
δＤｏがＤｏに対して十分小さい場合は、上記式（数式２）は、以下の式（数式３）によって示すことができる。
δＷｓ＝ＷｅＤｓ（δＤｏ／Ｄｏ^２）・・・（数式３）

このように、画像内のオブジェクトが移動していない場合、異なる撮影時間の画像を利用しても、図６に示すＬ画像オブジェクト表示位置３１１や、Ｒ画像オブジェクト表示位置３１２の位置は変化しない。しかし、画像内のオブジェクトが移動している場合、異なる撮影時間の画像を利用すると、図６に示すＬ画像オブジェクト表示位置３１１や、Ｒ画像オブジェクト表示位置３１２の位置が変化する。

従って、例えば、図５を参照して説明したような異なる撮影時間のＬＲ画像を組み合わせた場合に、３Ｄ画像としての正しい奥行き感が損なわれるのは、画像内に移動オブジェクトが存在する場合である。

画像内のオブジェクトの移動速度を［Ｖｓ］とし、ＬＲ画像の撮影時間の差を［δＴ］とすると、［δＴ］の時間間隔によってオブジェクトは画像内を［Ｖｓ・δＴ］の距離移動することになる。

従って、上記式（数式２または数式３）における両眼視差許容ずれ量［δＷｓ］を［Ｖｓ・δＴ］とすれば、画像内の最大移動速度［Ｖｓ］を持つオブジェクトが存在する場合、ＬＲ画像の許容される撮影時間の差を［δＴ］として決定することができる。

本発明の画像処理装置１２０は、出力制御部１２３の受信情報解析部２１１において、ＬＲ画像と属性情報の解析を行って、まず、同一撮影時間のＬＲ画像の組み合わせが取得できているか否かを判断する。
取得できている場合は、同一撮影時間のＬＲ画像の組み合わせによる３Ｄ画像表示を行う。一方、同一撮影時間のＬＲ画像の組み合わせが取得できていない場合、画像内の最大移動速度［Ｖｓ］を持つオブジェクトを検出し、さらにＬＲ画像の許容される撮影時間差［δＴ］を算出する。この許容時間差［δＴ］以内のＬＲ画像の組み合わせが出力可能であれば、その撮影時間の差があるＬＲ画像を組み合わせて３Ｄ画像の出力を行う。

一方、許容時間差［δＴ］以内のＬＲ画像の組み合わせが出力できないと判断した場合は、３Ｄ画像表示を２Ｄ画像表示に切り換える処理を行う。この場合、例えば先に図２を参照して説明した属性情報中の優先度情報に従って画像を選択して２Ｄ画像表示を行う。あるいは、ＬＲ画像中、遅延していない画像であるＬ画像またはＲ画像の一方の画像を右眼用および左眼用画像として利用した２Ｄ画像出力を実行する。

図８を参照して、画像内における移動オブジェクトの具体的な例について説明する。図８には、
（ａ）同一撮影時間に撮影された同期ＬＲ画像による３Ｄ画像表示例、
（ｂ）異なる撮影時間に撮影された非同期ＬＲ画像による３Ｄ画像表示例、
これらの画像例を示している。

丸いオブジェクトが曲線で示すオブジェクト軌跡３７０に沿って移動している場合の例である。
（ａ）同一撮影時間に撮影されたＬＲ画像の同期表示例において、Ｌ画像オブジェクト表示位置３５１、Ｒ画像オブジェクト表示位置３５２は、先に図５を参照して説明したＬ画像オブジェクト表示位置３１１、Ｒ画像オブジェクト表示位置３１２に対応する。すなわち、同一の撮影時間のＬＲ撮影画像のオブジェクト表示位置であり、観察者は、この各表示位置のオブジェクトをそれぞれ左眼、右眼で観察することで、正常なオブジェクト位置を認識することができる。

Ｌ画像オブジェクト表示位置３５１と、Ｒ画像オブジェクト表示位置３５２との距離、すなわち両眼視差は［Ｗｓｘ］であり、前述の式（数式１）に従ったオブジェクト距離［Ｄｏ］の位置にオブジェクト位置を認識することができる。

一方、（ｂ）異なる撮影時間に撮影された非同期ＬＲ画像による３Ｄ画像表示例は、例えば撮影時間［ｔ０３］のＲ画像と、それより前の撮影時間［ｔ０１］のＬ画像の組み合わせにおけるＬ画像オブジェクト表示位置３６１、Ｒ画像オブジェクト表示位置３６２を示している。

この場合、Ｌ画像オブジェクト表示位置３６１と、Ｒ画像オブジェクト表示位置３６２とのｘ方向の距離は、図に示すように［Ｗｓｘ＋δＷｓｘ］となる。すなわち、本来の同期したＬＲ画像の組み合わせに誤差［δＷｓｘ］が加算されている。この加算分が、観察者のオブジェクトの結像位置を前後にずらす要因となる。すなわち、先に図６を参照して説明した目とオブジェクト間の距離［Ｄｏ］を前後にずらす要因となる。

本発明の画像処理装置は、予め結像位置許容誤差［δＤｏ］を既定し、異なる撮影時間のＬＲ画像を組み合わせた３Ｄ画像表示を行った場合のオブジェクト結像位置のずれが、結像位置許容誤差［δＤｏ］以下になるか否かを判定する。オブジェクト結像位置のずれが、結像位置許容誤差［δＤｏ］以下になる場合は、そのＬＲ画像ペア、すなわち異なる撮影時間のＬＲ画像ペアを利用した３Ｄ画像表示を実行する。オブジェクト結像位置のずれが、結像位置許容誤差［δＤｏ］以下にならない場合は、３Ｄ画像表示を停止し２Ｄ画像表示に切り換える処理を実行する。

例えば、時間ｔ０１までは同一撮影時間のＬＲ画像を用いて３Ｄ表示を実行し、その後、一方の画像、例えばＬ画像のみを撮影時間ｔ０２，ｔ０３の画像を利用し、Ｒ画像のみを撮影時間ｔ０１の画像の利用を続けたと想定する。図８に示すオブジェクトがライン３７０に沿って右方向に移動しているとする。この場合、Ｌ画像のオブジェクトのみが右方向に移動し、Ｒ画像のオブジェクトの位置が移動しないことになる。この場合、観察者は、図８に示すオブジェクトが次第に手前に迫ってくるように感じられる。その後、例えば時間ｔ０５のＬＲ撮影画像が取得でき、これらの撮影時間ｔ０５のＬＲ画像による３Ｄ画像の表示を行うと、今まで次第に前方に迫っていたオブジェクトが突然、後方に移動するように感じられることになる。

このようにオブジェクトの不自然な動きを観察者に感じさせないためには、撮影時間の異なるＬＲ画像を利用した３Ｄ画像表示において発生するオブジェクト結像位置の誤差が、図６を参照して説明したオブジェクト結像位置許容誤差［δＤｏ］以下となるように制御すればよい。

なお、オブジェクトの移動方向の成分にｙ方向成分が存在する場合、Ｌ画像オブジェクト表示位置３６１と、Ｒ画像オブジェクト表示位置３６２との表示位置はｙ方向にもずれが発生する。すなわち、図８（ｂ）に示すように、Ｌ画像オブジェクト表示位置３６１と、Ｒ画像オブジェクト表示位置３６２とのｙ方向の距離は、図に示すように［Ｗｓｙ＋δＷｓｙ］となる。

ｙ方向のずれは、オブジェクトが二重に見えるといった問題を発生させる。従ってｙ方向にも許容ずれ量［δＷｓｙ］を予め設定し、利用予定のＬＲ画像におけるｙ方向のオブジェクト表示位置のずれが許容ずれ量［δＷｓｙ］以下であれば３Ｄ画像としての表示処理を実行するといった処理を行う。

具体的には、例えば、［δＷｓｘ］と［δＷｓｙ］の２つの許容値を設定または算出して、いずれか小さい値を持つ許容値を採用して３Ｄ／２Ｄ画像切り換え判定処理を行う構成とする。この具体的な処理例については、後段でフローチャートを参照して説明する。なお、ｙ方向のずれは、オブジェクトが二重に見えるといった問題を発生させる。従ってｙ方向のオブジェクト表示位置のずれが検出された場合は３Ｄ表示を停止し２Ｄ表示に移行するといった処理を行う構成としてもよい。

［３．本発明の画像処理装置の実行する処理の詳細について］
次に、図９以下を参照して、本発明の画像処理装置の実行する処理の詳細について説明する。上述したように、本発明の画像処理装置１２０は、出力制御部１２３の受信情報解析部２１１において、ＬＲ画像と属性情報の解析を行って、同一撮影時間のＬＲ画像の組み合わせが得られるか否かをまず判断する。得られる場合は、同一撮影時間のＬＲ画像の組み合わせによる３Ｄ画像表示を行う。

一方、同一撮影時間のＬＲ画像の組み合わせが得られない場合、画像内の最大移動速度［Ｖｓ］を持つオブジェクトを検出し、さらにＬＲ画像の許容される撮影時間差［δＴ］を算出する。この許容時間差［δＴ］以内のＬＲ画像の組み合わせが出力可能であれば、その撮影時間の差があるＬＲ画像を組み合わせて３Ｄ画像の出力を行う。

一方、許容時間差［δＴ］以内のＬＲ画像の組み合わせが出力できないと判断した場合は、３Ｄ画像表示を２Ｄ画像表示に切り換える処理を行う。この場合、例えば先に図２を参照して説明した属性情報中の優先度情報に従って画像を選択して２Ｄ画像表示を行う。あるいはＬＲ画像中、遅延していない画像であるＬ画像またはＲ画像の一方の画像を右眼用および左眼用画像として利用した２Ｄ画像出力を実行する。

受信情報解析部２１１において取得または算出するパラメータについて、図９を参照して説明する。受信情報解析部２１１において取得または算出するパラメータは、以下の通りである。
（１）目とオブジェクトの距離（結像位置）［Ｄｏ］
（２）結像位置許容誤差［δＤｏ］
（３）目と表示面間の距離［Ｄｓ］
（４）両目の間隔［Ｗｅ］
（５）両眼視差（ＬＲ画像における表示面のオブジェクト表示位置ずれ）［Ｗｓ］
（６）フレーム間動きベクトル（最大値）［Ｖ］
（７）両眼視差許容ずれ量［δＷｓ］
（８）ＬＲ画像表示タイミングの許容ずれ量（許容撮影時間差）［δＴ］

上記（１）〜（８）の算出または取得処理例について説明する。
（１）目とオブジェクトの距離（結像位置）［Ｄｏ］は、先に説明した式（数式１）に従って、両眼視差［Ｗｓ］、目と表示面間距離［Ｄｓ］、両目の間隔［Ｗｅ］を用いて算出される。
（２）結像位置許容誤差［δＤｏ］
（３）目と表示面間の距離［Ｄｓ］
（４）両目の間隔［Ｗｅ］
これらの値は、予め設定済みの値をメモリ２１３に格納しておく。

（５）両眼視差（ＬＲ画像における表示面のオブジェクト表示位置ずれ）［Ｗｓ］
この値は、目と表示面間の距離［Ｄｓ］と、受信画像の解析によって算出する。
（６）フレーム間動きベクトル（最大値）［Ｖ］
この値は、受信画像の解析によって算出する。なお、フレーム間動きベクトル（最大値）［Ｖ］は、フレーム間において最大速度で移動するオブジェクトの移動速度［Ｖｓ］と移動方向情報が含まれる。

（７）両眼視差許容ずれ量［δＷｓ］
この値は、先に説明した式（数式２）または式（数式３）を適用して、目と表示面間の距離［Ｄｓ］、目とオブジェクトの距離（結像位置）［Ｄｏ］、結像位置許容誤差［δＤｏ］、両目の間隔［Ｗｅ］を利用して算出する。あるいは予め設定された固定値をメモリ２１３に格納し、これを利用する構成としてもよい。

（８）ＬＲ画像表示タイミングの許容ずれ量（許容撮影時間差）［δＴ］
この値は、上記の両眼視差許容ずれ量［δＷｓ］と画像解析によって算出されるフレーム間動きベクトル（最大値）［Ｖ］を利用して算出する。
すなわち、δＴ＝δＷｓ／Ｖｓ
上記式に従って算出する。
Ｖｓは、フレーム間動きベクトル（最大値）［Ｖ］の大きさ、すなわちオブジェクトの移動速度である。

以下、出力制御部１２３の実行する表示画像決定シーケンスについて図１０〜図１２に示すフローチャートを参照して説明する。
図１０は、出力制御部１２３の実行する表示画像決定シーケンスの全体を説明するフローチャートである。
図１１は、図１０に示すステップＳ１０３の処理、すなわち、ＬＲ画像表示タイミングの許容ずれ量［δＴ］の算出シーケンスの詳細を説明するフローチャートである。
図１２は、図１１に示すステップＳ２０３の処理、すなわち、両眼視差許容ずれ量［δＷｓ］の算出シーケンスの詳細を説明するフローチャートである。

まず、図１０に示すフローチャートを参照して出力制御部１２３の実行する表示画像決定シーケンスの全体について説明する。
ステップＳ１０１において、出力制御部１２３の受信情報検証部２１１は、Ｌ画像とＲ画像との同期した画像表示が可能か否かを判定する。すなわち、パケット消失やパケット遅れがなく、同一撮影時刻のＬＲ画像の取得、表示が可能か否かを判定する。可能であると判定した場合は、ステップＳ１０６に進み、同一撮影時刻のＬＲ画像を利用して先に図４を参照して説明したアクティブ・ステレオ方式、またはパッシブ・ステレオ方式に従った３Ｄ画像の表示処理を実行する。

ステップＳ１０１の判定がＮｏ、すなわち、Ｌ画像またはＲ画像の受信の遅れがあり、同期したＬＲ画像表示ができないと判断した場合は、ステップＳ１０２に進む。

ステップＳ１０２では、取得済みのＬ画像とＲ画像の属性情報から）ＬＲ画像表示タイミングの許容ずれ量（許容撮影時間差）［δＴ］が取得できるか否かを判定する。ＬＲ画像表示タイミングの許容ずれ量（許容撮影時間差）［δＴ］は、図２を参照して説明したパケットの属性情報中の伝送遅延時間許容量に対応する。

受信パケットの属性情報から伝送遅延時間許容量が取得できた場合、この値をＬＲ画像表示タイミングの許容ずれ量（許容撮影時間差）［δＴ］として設定する。

一方、受信パケットの属性情報から伝送遅延時間許容量が取得できない場合は、ステップＳ１０３に進み、［δＴ］の算出処理を実行する。

［δＴ］の取得または算出処理の後、ステップＳ１０４に進む。ステップＳ１０４では、利用予定のＬ画像とＲ画像の撮影時間の時間差と、取得または算出した許容撮影時間差［δＴ］とを比較する。

利用予定のＬ画像とＲ画像の撮影時間の時間差は、図２を参照して説明したパケットの属性情報中の撮影時間の差分として算出する。

ステップＳ１０４において、利用予定のＬ画像とＲ画像の撮影時間の時間差が、許容撮影時間［δＴ］以下であると判定した場合は、ステップＳ１０４の判定はＹｅｓとなる。この場合は、これらのＬＲ画像を組み合わせた三次元（３Ｄ）画像表示を行っても大きな違和感を発生させることがないと判断し、ステップＳ１０６に進み、撮影時間の差が許容撮影時間［δＴ］以下のＬＲ画像を利用して先に図４を参照して説明したアクティブ・ステレオ方式、またはパッシブ・ステレオ方式に従った３Ｄ画像の表示処理を実行する。

一方、ステップＳ１０４において、利用予定のＬ画像とＲ画像の撮影時間の時間差が、許容撮影時間差［δＴ］以下でないと判定した場合は、ステップＳ１０４の判定はＮｏとなる。この場合は、これらのＬＲ画像を組み合わせた三次元（３Ｄ）画像表示を行った場合、大きな違和感を発生させると判断し、ステップＳ１０５に進み、あし画像を停止し２Ｄ画像表示に切り換える。具体的には、例えば先に図２を参照して説明した属性情報中の優先度情報に従って画像を選択して２Ｄ画像表示を行う。あるいはＬＲ画像中、遅延していない画像であるＬ画像またはＲ画像の一方の画像を右眼用および左眼用画像として利用した２Ｄ画像出力を実行する。

図１０のフローチャートにおけるステップＳ１０３の処理、すなわち、ＬＲ画像表示タイミングの許容ずれ量（許容撮影時間差）［δＴ］の算出シーケンスの詳細について、図１１を参照して説明する。

ステップＳ２０１において、Ｌ画像またはＲ画像の画像フレームから最大動きベクトルＶを算出する。この処理には、ＬＲいずれか一方の画像の連続フレームを利用する。

連続フレームから最大速度で移動するオブジェクトのフレーム間の移動状態を解析し、最大動きベクトルＶを算出する。なおベクトル［Ｖ］にはオブジェクトの移動速度［Ｖｓ］と移動方向情報が含まれる。移動速度は、移動距離とフレームの時間間隔から求めることができる。ベクトルＶは２次元ベクトルであり（Ｖｘ．Ｖｙ）として表現される。Ｖｘ，Ｖｙの各々はそれぞれｘ方向のオブジェクト移動速度と、ｙ方向のオブジェクト移動速度である。

次に、ステップＳ２０２において、両眼視差許容ずれ量［δＷｓ］が取得可能か否かを判定する。両眼視差許容ずれ量［δＷｓ］は予め既定値としてメモリ２１３に格納する設定としてもよく、この場合は、メモリ２１３から両眼視差許容ずれ量［δＷｓ］を取得し、ステップＳ２０４に進む。

一方、両眼視差許容ずれ量［δＷｓ］がメモリ２１３の格納値として設定されていない場合は、ステップＳ２０３に進み、両眼視差許容ずれ量［δＷｓ］を算出して、その後、ステップＳ２０４に進む。ステップＳ２０３における両眼視差許容ずれ量［δＷｓ］の算出処理については後述する。

ステップＳ２０４では、以下の式（数式４）に従って、ＬＲ画像表示タイミングの許容ずれ量（許容撮影時間差）［δＴ］を算出する。
δＴ＝ｍｉｎ（δＷｓｘ／Ｖｘ，δＷｓｙ／Ｖｙ）・・・（数式４）
上記式において、
δＷｓｘは、両眼視差許容ずれ量［δＷｓ］のｘ方向成分、
δＷｓｙは、両眼視差許容ずれ量［δＷｓ］のｙ方向成分、
である。
また、ｍｉｎ（ａ，ｂ）はａ，ｂの小さい値を選択することを意味している。

なお、両眼視差許容ずれ量［δＷｓ］のｘｙ方向成分である［δＷｓｘ］，［δＷｓｙ］は、先に図８を参照して説明した通り、同期ＬＲ画像におけるオブジェクトの表示位置からのｘ，ｙ方向のずれを示す値である。

なお、両眼視差許容ずれ量［δＷｓ］のｙ方向成分である［δＷｓｙ］については、少なくとも予め定めた規定値としてメモリ２１３に格納しておく。ｘ方向成分である［δＷｓｘ］については、メモリ２１３に格納しておいてもよいし、ステップＳ２０３において算出してもよい。

次に、ステップＳ２０３における両眼視差許容ずれ量［δＷｓ］の算出処理の詳細について、図１２に示すフローチャートを参照して説明する。

まず、ステップＳ３０１において、先の図１１のフローにおけるステップＳ２０１において求めた最大動きベクトル［Ｖ］を持つオブジェクトのＬ画像とＲ画像の起点位置のずれ［Ｗｓ］を取得する。なお、ここで利用するＬＲ画像は、３Ｄ画像表示に適用しようとする撮影時間の異なるＬＲ画像ペアである。先に図６（ｂ）を参照して説明した異なる撮影時間のＬＲ画像である。

ステップＳ３０２では、先に説明した式（数式１）に従って、目とオブジェクト間の距離［Ｄｏ］を算出する。すなわち、
Ｄｏ＝（Ｗｅ／（Ｗｅ−Ｗｓ））Ｄｓ・・・（数式１）
上記式に従って、目とオブジェクト間の距離［Ｄｏ］を算出する。
なお、
Ｗｅ：観察者の左右の眼の間隔、
Ｗｓ：Ｌ画像とＲ画像の表示面における同一オブジェクトの表示位置の間隔
Ｄｓ：目と表示面間の距離、
である。Ｗｅ，Ｄｓはメモリ２１３に格納された値を適用する。

次に、ステップＳ３０３において、ｘ方向の両眼視差許容ずれ量［δＷｓｘ］を算出する。両眼視差許容ずれ量［δＷｓｘ］の算出処理は、先に説明した式（数式２）を適用して実行する。すなわち、
δＷｓｘ＝ＷｅＤｓ（（１／Ｄｏ）−（１／（Ｄｏ−δＤｏ））・・・（数式２）
上記式を適用してｘ方向の両眼視差許容ずれ量［δＷｓｘ］算出する。
なお、
Ｗｅ：観察者の左右の眼の間隔、
Ｄｓ：目と表示面間の距離、
Ｄｏ：目とオブジェクト間の距離、
δＤｏ：結像位置許容誤差、
である。Ｗｅ，Ｄｓ，δＤｏは、既定値であり、メモリ２１３に格納された値を適用する。Ｄｏは、ステップＳ３０２で算出した値を適用する。

なお、上記式(数式２)の代わりに式（数式３）を適用してｘ方向の両眼視差許容ずれ量［δＷｓｘ］算出する構成としてもよい。すなわち、
δＷｓ＝ＷｅＤｓ（δＤｏ／Ｄｏ^２）・・・（数式３）
上記式を適用してｘ方向の両眼視差許容ずれ量［δＷｓｘ］を算出する設定としてもよい。

このようにして算出されたｘ方向の両眼視差許容ずれ量［δＷｓｘ］を算出し、図１１に示すステップＳ２０４で、［δＷｓｘ／Ｖｘ］と［δＷｓｙ／Ｖｙ］の小さい方をＬＲ画像表示タイミングの許容ずれ量（許容撮影時間差）［δＴ］とする。

図１０のステップＳ１０４では、この処理によって算出された［δＴ］、すなわち、ＬＲ画像表示タイミングの許容ずれ量（許容撮影時間差）［δＴ］と、表示しようとするＬＲ画像の撮影時間差［Δｔ］と比較する。すなわち、下式（数式５）が成立するか否かを判定する。
表示予定のＬＲ画像の撮影時間差［Δｔ］≦許容撮影時間差［δＴ］・・・（数式５）

上記式（数式５）が成立した場合は、観察者に違和感を与えないと判断して、表示予定のＬＲ画像を利用して３Ｄ表示を実行する（ステップＳ１０６）。
上記式（数式５）が成立しない場合は、観察者に違和感を与えなると判断して、表示予定のＬＲ画像を利用した３Ｄ表示を停止し、ＬＲ画像のいずれか一方の画像を両眼に確認可能な画像とした２Ｄ画像表示を実行する（ステップＳ１０５）。

このように、本発明の画像処理装置は、撮影時間の同期したＬＲ画像が取得できない場合、異なる撮影時間のＬＲ画像を利用した３Ｄ画像表示において発生するオブジェクト結像位置ずれや両眼視差ずれが、予め設定した許容値以下になるか否かを画像に含まれるオブジェクトの移動状況に基づいて判定し、許容値以下になる場合に３Ｄ画像表示を実行する構成としたので、撮影時間が同期したＬＲ画像が取得できない場合でも違和感のない３Ｄ画像表示を行うことができる。

すなわち、本願発明の処理においては、異なる撮影時間のＬＲ画像を利用した３Ｄ画像表示において発生する、
オブジェクト結像位置ずれが、結像位置許容誤差［δＤｏ］以下、
両眼視差ずれが、両眼視差許容ずれ量［δＷｓ］以下、
このような状態のＬＲ画像の組み合わせが得られる場合に３Ｄ画像表示を行うものである。

なお、両眼視差許容ずれ量［δＷｓ］と、ＬＲ画像表示タイミングの許容ずれ量（許容撮影時間差）［δＴ］とは、最大速度の移動オブジェクトの移動速度をＶｓとしたとき、
δＷｓ＝Ｖｓ・δＴ
上記式の関係である。

従って、ＬＲ画像表示タイミングの許容ずれ量（許容撮影時間差）［δＴ］が予め付与されている場合は、［δＴ］と、利用予定のＬＲ画像の撮影時間の差を比較するのみで、３Ｄ画像表示を行うか２Ｄ画像表示に切り換えるかを判定可能となる。

ＬＲ画像表示タイミングの許容ずれ量（許容撮影時間差）［δＴ］が予め付与されていない場合であっても、図１０に示すステップＳ１０３の処理、すなわち、図１１、図１２を参照して説明した処理によって［δＴ］を算出することが可能である。
すなわち、両眼視差許容ずれ量［δＷｓ］と画像解析によって算出されるフレーム間動きベクトル（最大値）［Ｖ］を利用して下式に従って算出する。
すなわち、δＴ＝δＷｓ／Ｖｓ
Ｖｓは、フレーム間動きベクトル（最大値）［Ｖ］の大きさ、すなわちオブジェクトの移動速度である。なお、フローチャートでは、ｘ成分、ｙ成分、各々について個別に算出して判定を行う構成として説明したが、ｘ，ｙ成分に分解することなく、上記式に従って、δＴを算出して、算出したδＴにより判定を行う構成としてもよい。

従って、［δＴ］が規定値として設定されていない場合でも、結像位置許容誤差［δＤｏ］が設定されていれば、結像位置許容誤差［δＤｏ］以内の画像表示を行うことが可能か否かを判定できる。従って、判定結果に基づいて、撮影時間の異なるＬＲ画像を適用して３Ｄ画像表示を行えば、その表示処理によるオブジェクト結像位置の誤差は、結像位置許容誤差［δＤｏ］以内の誤差になることが保証され、違和感のない３Ｄ画像観察が可能となる。

なお、図１０〜図１２を参照して説明したフローチャートにおいて示した各演算に適用する値について、その一部をメモリ２１３から取得し、一部をカメラからの受信パケット中の属性情報から取得する設定として説明したが、例えばこれらの値は、カメラの送信パケット内にすべて含めておく設定としてもよいし、あるいは外部サーバから取得する設定としてもよい。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例構成によれば、Ｌ画像（左眼用画像）とＲ画像（右眼用画像）を含む通信データを受信し、受信データに基づいて三次元画像（３Ｄ）画像表示を行う画像処理装置において、同一撮影時間のＬ画像とＲ画像のペアが取得済みである場合は三次元画像表示を実行し、同一撮影時間のＬ画像とＲ画像のペアが取得済みでない場合は、異なる撮影時間のＬＲ画像を適用した三次元画像表示において発生するオブジェクト結像位置誤差が、予め既定したオブジェクト結像位置許容誤差以下であるか否かを判定し、許容誤差以下である場合は異なる撮影時間のＬＲ画像を適用した三次元画像表示を実行し、許容誤差以下でない場合は三次元画像表示を停止して二次元画像表示を実行する構成とした。本構成により、異なる撮影時間のＬＲ画像ペアを用いた三次元画像表示においても奥行き感の違和感を発生させない画像とすることが可能となる。

１０１ カメラＬ
１０２ カメラＲ
１０３ ネットワーク
１２０ 画像処理装置
１２１ 受信部
１２２ パケット解析部
１２３ 出力制御部
１２４ 表示部
１２５ 制御部
１２６ メモリ
２０１ デコード部
２０２ 属性情報取得部
２１１ 受信情報検証部
２１２ ３Ｄ／２Ｄ切り換え制御部
２１３ メモリ
３０１ 左眼
３０２ 右眼
３１０ 表示面
３１１ Ｌ画像オブジェクト表示位置
３１２ Ｒ画像オブジェクト表示位置
３２０ オブジェクト結像位置
３５１ Ｌ画像オブジェクト表示位置
３５２ Ｒ画像オブジェクト表示位置
３６１ Ｌ画像オブジェクト表示位置
３６２ Ｒ画像オブジェクト表示位置
３７０ オブジェクト軌跡

Claims (8)

1. 三次元画像表示に適用するＬ画像（左眼用画像）とＲ画像（右眼用画像）を含む通信データを受信する受信部と、
   前記通信データから撮影時間を含む属性情報を取得する属性情報取得部と、
   前記通信データに含まれる画像および属性情報の解析を実行して、解析結果に基づいて、三次元画像表示と二次元画像表示の切り換え処理を行う出力制御部を有し、
   前記出力制御部は、
   同一撮影時間のＬ画像とＲ画像のペアが取得済みである場合は三次元画像表示を実行し、
   同一撮影時間のＬ画像とＲ画像のペアが取得済みでない場合は、異なる撮影時間のＬＲ画像を適用した三次元画像表示において発生するオブジェクト結像位置誤差が、予め既定したオブジェクト結像位置許容誤差以下であるか否かを判定し、許容誤差以下である場合は、異なる撮影時間のＬＲ画像を適用した三次元画像表示を実行し、許容誤差以下でない場合は、三次元画像表示を停止して二次元画像表示を実行する画像処理装置。
2. 前記出力制御部は、
   前記異なる撮影時間のＬＲ画像に含まれる移動オブジェクトから、最大移動速度を持つ移動オブジェクトのフレーム間の動きベクトルＶを算出し、該動きベクトルＶと、３Ｄ画像の表示面における両眼許容視差ずれ量δＷｓを適用して、許容撮影時間差（δＴ）を算出し、前記異なる撮影時間のＬＲ画像の撮影時間差が前記許容撮影時間差（δＴ）以下である場合に、前記異なる撮影時間のＬＲ画像を適用した三次元画像表示を実行し、前記許容撮影時間差（δＴ）以下でない場合は、三次元画像表示を停止して二次元画像表示を実行する請求項１に記載の画像処理装置。
3. 前記出力制御部は、
   前記動きベクトルからオブシェクトの速度Ｖｓを取得し、前記許容撮影時間差（δＴ）を、
   δＴ＝δＷｓ／Ｖｓ
   上記式に従って算出する処理を実行する請求項２に記載の画像処理装置。
4. 前記出力制御部は、
   ３Ｄ画像の表示面における両眼許容視差ずれ量δＷｓのｘ方向の両眼許容視差ずれ量（δＷｓｘ）とｙ方向の両眼許容視差ずれ量（δＷｓｙ）を取得し、
   前記フレーム間の動きベクトルＶによって既定されるｘ方向の速度（Ｖｓｘ）とｙ方向の速度（Ｖｓｙ）を取得し、
   δＷｓｘ／Ｖｓｘと、δＷｓｙ／Ｖｓｙの各値中、より小さい値を前記許容撮影時間差（δＴ）として算出する処理を実行する請求項２に記載の画像処理装置。
5. 前記出力制御部は、
   予め設定された許容撮影時間差（δＴ）を取得し、前記異なる撮影時間のＬＲ画像の撮影時間差が前記許容撮影時間差（δＴ）以下である場合に、前記異なる撮影時間のＬＲ画像を適用した三次元画像表示を実行し、前記許容撮影時間差（δＴ）以下でない場合は、三次元画像表示を停止して二次元画像表示を実行する請求項１に記載の画像処理装置。
6. 前記出力制御部は、
   三次元画像表示を停止して二次元画像表示を実行する場合に、
   前記通信データに格納された属性情報中の優先度情報を参照し、優先度の高い画像を選択して二次元画像表示を実行する請求項１に記載の画像処理装置。
7. 画像処理装置において実行する画像処理方法であり、
   通信部が、三次元画像表示に適用するＬ画像（左眼用画像）とＲ画像（右眼用画像）を含む通信データを受信する受信ステップと、
   属性情報取得部が、前記通信データから撮影時間を含む属性情報を取得する属性情報取得ステップと、
   出力制御部が、前記通信データに含まれる画像および属性情報の解析を実行して、解析結果に基づいて、三次元画像表示と二次元画像表示の切り換え処理を行う出力制御ステップを有し、
   前記出力制御ステップは、
   同一撮影時間のＬ画像とＲ画像のペアが取得済みである場合は三次元画像表示を実行し、
   同一撮影時間のＬ画像とＲ画像のペアが取得済みでない場合は、異なる撮影時間のＬＲ画像を適用した三次元画像表示において発生するオブジェクト結像位置誤差が、予め既定したオブジェクト結像位置許容誤差以下であるか否かを判定し、許容誤差以下である場合は、異なる撮影時間のＬＲ画像を適用した三次元画像表示を実行し、許容誤差以下でない場合は、三次元画像表示を停止して二次元画像表示を実行するステップである画像処理方法。
8. 画像処理装置において画像処理を実行させるプログラムであり、
   通信部に、三次元画像表示に適用するＬ画像（左眼用画像）とＲ画像（右眼用画像）を含む通信データを受信させる受信ステップと、
   属性情報取得部に、前記通信データから撮影時間を含む属性情報を取得させる属性情報取得ステップと、
   出力制御部に、前記通信データに含まれる画像および属性情報の解析を実行させて、解析結果に基づいて、三次元画像表示と二次元画像表示の切り換え処理を行わせる出力制御ステップを有し、
   前記出力制御ステップは、
   同一撮影時間のＬ画像とＲ画像のペアが取得済みである場合は三次元画像表示を実行し、
   同一撮影時間のＬ画像とＲ画像のペアが取得済みでない場合は、異なる撮影時間のＬＲ画像を適用した三次元画像表示において発生するオブジェクト結像位置誤差が、予め既定したオブジェクト結像位置許容誤差以下であるか否かを判定し、許容誤差以下である場合は、異なる撮影時間のＬＲ画像を適用した三次元画像表示を実行し、許容誤差以下でない場合は、三次元画像表示を停止して二次元画像表示を実行するステップであるプログラム。