JP2011139209A - 画像処理装置および方法 - Google Patents

Abstract

【課題】画像の特性により適した処理を行うことができるようにする。
【解決手段】画像取得部１１１は、３Ｄ撮像装置１０１、両用撮像装置１０２、または２Ｄ撮像装置１０３により撮影されて得られた画像データを取得する。エンコーダ１１２は、その画像データを所定の規格に基づいて符号化する。フラグ生成部１１３は、その画像データの画像の種類を判別し、その判別結果を示すフラグを生成する。フラグ付加部１１４は、フラグ生成部１１３から供給されたフラグを、エンコーダ１１２から供給された符号化データに付加する。通信部１１５は、フラグが付加された符号化データを、ネットワーク１０４を介して他の装置に送信する。記録部１１６は、フラグが付加された符号化データをリムーバブルメディア１０５に書き込み記録させる。本発明は、例えば、画像処理装置に適用することができる。
【選択図】図１

Description

本発明は、画像処理装置および方法に関し、特に、画像の特性により適した処理を行うことができるようにした画像処理装置および方法に関する。

従来、各フレーム画像を左目用と右目用に２枚ずつ用意し、それらを交互に出力することにより、立体視させる３Ｄ画像が存在する。

その３Ｄ画像と、フレーム画像を１枚ずつ表示する２Ｄ画像とを区別するためのフラグを画像データ（コードストリーム）に付加し、そのフラグを画像再生に利用させることも考えられている（例えば、特許文献１参照）。

また、左右の画像の視差を示す視差情報を画像データ（コードストリーム）に付加することも考えられている（例えば、特許文献２参照）。

さらに、視差に関するより多くの情報を画像データに付加することにより、より多様な制御を行うことも考えられている（例えば、特許文献３参照）。

ところで、３Ｄ画像には、視差を少なくすることにより２Ｄ画像として見ても実用上問題ない両用画像も存在する。専用の３Ｄメガネを用いることにより立体視可能な３Ｄ画像の場合、左右の画像が重畳されて表示される。したがって、視差が大きい通常の３Ｄ画像の場合、裸眼では見ることができない（位置がずれた左右の画像が重畳されて見えるので、視聴に耐えうる画質ではない）。

しかしながら、視差の少ない両用画像の場合、この左右の画像の位置ずれが少なく人間の目には違和感のない程度であるので、ユーザは、３Ｄメガネを用いて３Ｄ画像として視聴することができることはもちろん、３Ｄメガネを用いずに２Ｄ画像として視聴することもできる。

特開２００４−３５７１５６号公報 特開昭６３−１９８４９８号公報 特開２００８−１０９２６７号公報

しかしながら、従来の方法では、このような両用画像を通常の３Ｄ画像と区別することは困難であった。したがって、画像が持つ特性を十分に生かすように画像再生処理等を制御することができない恐れがあった。

本発明は、このような状況に鑑みて提案されたものであり、画像の特性により適した処理を行うことを目的とする。

本発明の一側面は、画像データの画像が、平面視用の２Ｄ画像、左右の画像よりなる立体視用の３Ｄ画像、および、前記左右の画像よりなり立体視可能であるとともに前記３Ｄ画像より視差が小さく平面視可能な両用画像のいずれであるかを識別するためのフラグを生成するフラグ生成手段と、前記フラグ生成手段により生成された前記フラグを前記画像データに付加するフラグ付加手段とを備える画像処理装置である。

前記画像データを符号化する符号化手段をさらに備え、前記フラグ付加手段は、前記フラグ生成手段により生成された前記フラグを、前記符号化手段により前記画像データが符号化されて生成された符号化データに付加することができる。

前記フラグ生成手段は、前記画像データの画像が、前記２Ｄ画像である場合、値「００」のフラグを生成し、前記３Ｄ画像である場合、値「１０」のフラグを生成し、前記両用画像である場合、値「０１」若しくは「１１」のフラグを生成することができる。

前記フラグ生成手段は、前記画像データの画像が、前記２Ｄ画像である場合、値「１０」のフラグを生成し、前記３Ｄ画像である場合、値「０１」のフラグを生成し、前記両用画像である場合、値「１１」のフラグを生成することができる。

本発明の一側面は、また、画像処理装置の画像処理方法であって、前記画像処理装置のフラグ生成手段が、画像データの画像が、平面視用の２Ｄ画像、左右の画像よりなる立体視用の３Ｄ画像、および、前記左右の画像よりなり立体視可能であるとともに前記３Ｄ画像より視差が小さく平面視可能な両用画像のいずれであるかを識別するためのフラグを生成し、前記画像処理装置のフラグ付加手段が、生成された前記フラグを前記画像データに付加する画像処理方法である。

本発明の他の側面は、画像データに付加された、前記画像データの画像が、平面視用の２Ｄ画像、左右の画像よりなる立体視用の３Ｄ画像、および、前記左右の画像よりなり立体視可能であるとともに前記３Ｄ画像より視差が小さく平面視可能な両用画像のいずれであるかを識別するためのフラグを抽出するフラグ抽出手段と、前記フラグ抽出手段により抽出された前記フラグの値を判定するフラグ判定手段と、前記フラグ判定手段により判定された値に対応する処理を行うフラグ処理手段とを備える画像処理装置である。

前記フラグ処理手段は、前記フラグ判定手段により判定された前記フラグの値が示す前記画像データの画像の種類に応じたアイコンを表示させることができる。

前記フラグ処理手段は、前記フラグ判定手段により判定された前記フラグの値が示す前記画像データの画像の種類に応じたLEDを点灯させることができる。

前記フラグ処理手段は、前記フラグ判定手段により判定された前記フラグの値が示す前記画像データの画像の種類に応じて前記画像データの画像の表示サイズを設定し、表示させることができる。

前記フラグ処理手段は、前記フラグ判定手段により判定された前記フラグの値が示す前記画像データの画像の種類に応じて前記画像データの画像のアスペクト比を設定し、表示させることができる。

前記フラグ処理手段は、前記フラグ判定手段により判定された前記フラグの値が示す前記画像データの画像の種類に応じて、前記画像データの画像の画枠の太さを設定し、表示させることができる。

前記フラグ処理手段は、前記フラグ判定手段により判定された前記フラグの値が示す前記画像データの画像の種類を通知する音声案内を出力させることができる。

前記フラグ処理手段は、前記フラグ判定手段により判定された前記フラグの値が示す前記画像データの画像の種類を通知するように、前記画像データの画像を立体視する際にユーザが使用する３Ｄメガネを制御することができる。

前記フラグ処理手段は、前記画像データの画像を表示する前に、前記フラグ判定手段により判定された前記フラグの値が示す前記画像データの画像の種類を通知する通知画像を表示させることができる。

本発明の他の側面は、また、画像処理装置の画像処理方法であって、前記画像処理装置のフラグ抽出手段が、画像データに付加された、前記画像データの画像が、平面視用の２Ｄ画像、左右の画像よりなる立体視用の３Ｄ画像、および、前記左右の画像よりなり立体視可能であるとともに前記３Ｄ画像より視差が小さく平面視可能な両用画像のいずれであるかを識別するためのフラグを抽出し、前記画像処理装置のフラグ判定手段が、抽出された前記フラグの値を判定し、前記画像処理装置のフラグ処理手段が、判定された値に対応する処理を行う画像処理方法である。

本発明の一側面においては、画像データの画像が、平面視用の２Ｄ画像、左右の画像よりなる立体視用の３Ｄ画像、および、左右の画像よりなり立体視可能であるとともに３Ｄ画像より視差が小さく平面視可能な両用画像のいずれであるかを識別するためのフラグが生成され、生成されたフラグが画像データに付加される。

本発明の他の側面においては、画像データに付加された、画像データの画像が、平面視用の２Ｄ画像、左右の画像よりなる立体視用の３Ｄ画像、および、左右の画像よりなり立体視可能であるとともに３Ｄ画像より視差が小さく平面視可能な両用画像のいずれであるかを識別するためのフラグが抽出され、抽出されたフラグの値が判定され、判定された値に対応する処理が行われる。

本発明によれば、画像を処理ことができる。特に、画像の特性により適した処理を行うことができる。

本発明を適用した画像処理装置の主な構成例を示すブロック図である。 両用撮像装置の構成例を示す図である。 両用撮像装置の構成の詳細について説明する図である。 偏光フィルタの構成例を示す図である。 左右画像の生成の様子の例を説明する図である。 偏光板の構成例を説明する図である。 両用撮像装置の他の構成例を示す図である。 光の進行方向を説明する図である。 フラグ付加処理の流れの例を説明するフローチャートである。 フラグの例を説明する図である。 本発明を適用した画像処理装置の主な構成例を示すブロック図である。 フラグ利用処理の流れの例を説明するフローチャートである。 通知表示の例を示す図である。 画像種類通知用のLEDの構成例を説明する図である。 フラグ利用処理の流れの、他の例を説明するフローチャートである。 画像表示サイズの変形の様子の例を説明する図である。 画枠の太さの変形の様子の例を説明する図である。 フラグ利用処理の流れの、さらに他の例を説明するフローチャートである。 ３Ｄメガネにおける通知方法の例を説明する図である。 フラグ利用処理の流れの、さらに他の例を説明する図である。 事前通知表示画像の例を説明する図である。 フラグ利用処理の流れの、さらに他の例を説明するフローチャートである。 本発明を適用したネットワークシステムの構成例を示すブロック図である。 紹介情報の表示例を示す図である。 フラグ利用処理の流れの、さらに他の例を説明するフローチャートである。 本発明を適用した画像処理装置の他の構成例を示すブロック図である。 フラグおよび視差情報の例を説明する図である。 フラグ視差情報付加処理の流れの例を説明するフローチャートである。 本発明を適用した画像処理装置の他の構成例を示す図である。 視差量の例を示すグラフである。 フラグ視差情報利用処理の流れの例を説明するフローチャートである。 本発明を適用したパーソナルコンピュータの主な構成例を示すブロック図である。

以下、発明を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像処理装置）
２．第２の実施の形態（画像処理装置）
３．第３の実施の形態（ネットワークシステム）
４．第４の実施の形態（画像処理装置）
５．第５の実施の形態（画像処理装置）
６．第６の実施の形態（パーソナルコンピュータ）

＜１．第１の実施の形態＞
［画像処理装置の構成］
図１は、本発明を適用した画像処理装置の主な構成例を示すブロック図である。

図１に示される画像処理装置１００は、画像を符号化するとともに、画像の特性に応じたフラグを生成し、そのフラグをコードストリームに付加する装置である。

画像処理装置１００は、画像取得部１１１、エンコーダ１１２、フラグ生成部１１３、フラグ付加部１１４、通信部１１５、および記録部１１６を有する。

画像取得部１１１は、３Ｄ撮像装置１０１、両用撮像装置１０２、または２Ｄ撮像装置１０３により撮影されて得られた画像データを取得する。

３Ｄ撮像装置１０１は、被写体を撮像して、立体視用の３Ｄ（３次元）画像を生成する。両用撮像装置１０２は、被写体を撮像して立体視・平面視兼用の両用画像を生成する。２Ｄ撮像装置１０３は、被写体を撮像して平面視用の２Ｄ（２次元）画像を生成する。

ここで、３Ｄ画像とは、人間の左目用と右目用の２系統の画像により構成され、専用の３Ｄメガネを用いて立体視可能な画像である。３Ｄ画像の左目用と右目用の２系統の画像は、交互に表示される。３Ｄメガネは、その画像表示の同期信号に同期して偏光板（図示せず）を開閉することにより、右目用の画像をユーザの右目側のモニタに表示し、左目用の画像をユーザの左目側のモニタに表示させる。つまり、ユーザは、３Ｄメガネを介して３Ｄ画像を視聴することにより、左目で左目用の画像を見、右目で右目用の画像を見ることができる。３Ｄ画像の左右の画像が互いに視差を有するので、ユーザは、３Ｄ画像を立体視することができる。

なお、この３Ｄ画像における左右の画像の表示の切り替えは、一般的なフレームレート以上の速さで行われる。したがって、人間の目には（３Ｄメガネを使わずに裸眼で見た場合）、左右の画像が重畳して見える。左右の画像は、互いに視差を有し、その視差の分位置がずれているので、人間の目には、正常な画像には見えないほど画質が劣化してみえる。なお、ここで「裸眼」とは、３Ｄメガネをかけていない状態のことを指しており、３Ｄメガネ以外の眼鏡やコンタクトレンズ等のことは含んでいない（眼鏡やコンタクトレンズ等をかけていてもかけていなくても、３Ｄメガネをかけていなければ「裸眼」と称する）。

このような現実を踏まえ、以下においては、３Ｄ画像は、３Ｄメガネを使用してのみ見ることができ（立体視することができ）、３Ｄメガネを使用せずに見ることはできない（視聴に耐えられるほどの画質が得られない）ものとする。

これに対して２Ｄ画像は、左右両用の１系統の画像により構成される。ユーザは、３Ｄメガネを使用しても２Ｄ画像を立体視することはできないが、３Ｄメガネを使用せずに裸眼で見ることができる。

これらに対して、両用画像は、基本的に３Ｄ画像と同様の画像である。両用画像は、３Ｄ画像と同様に、左目用および右目用の２系統の画像により構成され、それらが交互に表示される。したがって、ユーザは、３Ｄメガネを使用することにより、両用画像を、３Ｄ画像のように立体視することができる。ただし、両用画像の場合、３Ｄ画像に比べて視差が少ないので、画像の飛び出し具合（奥行き感）は弱い。

ただし、両用画像の場合、３Ｄ画像の場合に比べて左目用画像と右目用画像との間の視差が少ないので、左右の画像の位置ずれは人間の目では確認が困難なほど少ない。したがって、３Ｄメガネを使用せずに裸眼で両用画像を見ても、人間の目には、視覚上の画質劣化はほとんど確認することができず、２Ｄ画像の場合と略同様に見える。もちろん、この場合、立体視することはできない。

つまり、ユーザは、３Ｄメガネを使用して両用画像を見ることにより、その両用画像を立体視することができ、３Ｄメガネを外して裸眼で両用画像を見ることにより、その両用画像を２Ｄ画像として見ることができる。換言すれば、ユーザは、両用画像を視聴中に、３Ｄメガネをかけたり外したり自由にすることができる。

なお、３Ｄ画像と両用画像とはその左右の画像の視差の大きさで区別される。その両画像を区別する視差の閾値は、その視差による視覚上の画質劣化が、ユーザが裸眼で問題なく見ることができる程度であれば、任意である。

３Ｄ撮像装置１０１は、被写体を撮像し、上述したような３Ｄ画像を生成すると、その３Ｄ画像データを画像処理装置１００に供給する。

両用撮像装置１０２は、被写体を撮像し、上述したような両用画像を生成すると、その両用画像データを画像処理装置１００に供給する。

２Ｄ撮像装置１０３は、被写体を撮像し、上述したような２Ｄ画像を生成すると、その２Ｄ画像データを画像処理装置１００に供給する。

画像取得部１１１は、これらの画像データを取得すると、エンコーダ１１２およびフラグ生成部１１３に供給する。

エンコーダ１１２は、画像取得部１１１から供給される画像データを、例えば、MPEG（Moving Picture Experts Group）2、MPEG-4 AVC（Advanced Video Coding）/H.264、またはJPEG（Joint Photographic Experts Group）2000等の所定の規格に基づいて符号化する。このときエンコーダ１１２は、規格に従い、２Ｄ画像、両用画像、および３Ｄ画像を、それぞれに応じた方法で符号化する。なお、両用画像は、基本的に３Ｄ画像として処理される。

エンコーダ１１２は、画像データを符号化して符号化データを生成すると、その符号化データをフラグ付加部１１４に供給する。

フラグ生成部１１３は、画像取得部１１１から供給された画像データが３Ｄ画像、両用画像、若しくは２Ｄ画像のいずれであるかを判別し、その判別結果を示すフラグを生成する。つまり、フラグ生成部１１３は、画像取得部１１１により取得された画像データの種類（画像データが３Ｄ画像、両用画像、若しくは２Ｄ画像のいずれであるか）を示すフラグを生成する。画像データの種類の判別方法は任意である。例えば、フラグ生成部１１３が、画像取得部１１１から供給される画像データを解析することにより、その種類を判別するようにしてもよい。また、画像取得部１１１が３Ｄ撮像装置１０１乃至２Ｄ撮像装置１０３のいずれから画像データを取得したかを示す情報をフラグ生成部１１３に供給し、フラグ生成部１１３がその画像データの供給元を示す情報に基づいて画像データの種類を判別するようにしてもよい。

なお、互いに異なる種類の複数の画像データを１つにまとめるようにすることもできる。例えば、３Ｄ撮像装置１０１から供給される３Ｄ画像データ、両用撮像装置１０２から供給される両用画像データ、および２Ｄ撮像装置１０３から供給される２Ｄ画像データを画像取得部１１１が組み合わせて（繋げて）１つのクリップとしてもよい。

クリップとは、フレーム画像の集合を示す。上述の例の場合、３Ｄ撮像装置１０１から供給される３Ｄ画像データ、両用撮像装置１０２から供給される両用画像データ、および２Ｄ撮像装置１０３から供給される２Ｄ画像データは、それぞれ１つのクリップであるが、画像取得部１１１によって組み合わせられることにより、１つのクリップ（フレーム画像の集合）となる。

上述したようにクリップは、複数の画像データで構成することもできるので、１つのクリップにおいて、あるシーンでは３Ｄ画像、他のシーンでは両用画像、さらに他のシーンでは２Ｄ画像といったこともできる。

このような場合、フラグ生成部１１３は、全ての画像データの種類を判別し、全てについてフラグを生成する。つまり、フラグ生成部１１３は、どのシーンやフレームがどの種類であるかを全て識別可能とするように、フラグを生成する。どのフラグがどの位置（シーンやフレーム等）に対応するかを示す方法は任意である。例えば、各フラグとともにシーンやフレーム等の識別情報を対応させて記述するようにしてもよい。また、各フラグとそれらの識別情報との対応関係を示すテーブル情報を生成するようにしてもよい。さらに、フラグ付加部１１４が各フラグを付加する位置によって、各フラグに対応するシーンやフレーム等を表すようにしてもよい。

フラグ生成部１１３は、生成したフラグをフラグ付加部１１４に供給する。

フラグ付加部１１４は、フラグ生成部１１３から供給されたフラグを、エンコーダ１１２から供給された符号化データに付加する。このフラグの付加の位置は任意である。例えば、フラグ付加部１１４が、符号化データの先頭のヘッダ、シーンヘッダ、ピクチャヘッダ、若しくはブロックヘッダ等にフラグを付加するようにしてもよいし、データ部分の所定の位置に埋め込むようにしても良い。

フラグ付加部１１４は、フラグを付加した符号化データを、通信部１１５および記録部１１６に供給する。

通信部１１５は、LANやインターネットに代表される任意の通信網であるネットワーク１０４を介して他の装置と通信を行う通信インタフェースである。通信部１１５は、フラグ付加部１１４から供給される符号化データを、ネットワーク１０４を介して他の装置に送信する。なお、このネットワーク１０４には、例えばUSB（Universal Serial Bus）ケーブルのような機器同士を直接結ぶケーブルも含まれる。また、ネットワーク１０４には、有線通信網だけでなく、無線通信網も含まれる。さらに、ネットワーク１０４が、例えば有線通信網と無線通信網のように、複数種類の通信網により構成されるようにしてもよい。

記録部１１６は、光ディスク、光磁気ディスク、磁気ディスク、若しくは半導体メモリに代表されるリムーバブルメディア１０５に対応するドライブである。記録部１１６は、自身の所定の位置に装着されたリムーバブルメディア１０５に対して、フラグ付加部１１４から供給された符号化データを書き込み記録させる。このリムーバブルメディア１０５は、基本的に他の装置に装着され、必要に応じて記録されている符号化データが読みだされる。

以上のように、フラグを付加された符号化データは、通信部１１５または記録部１１６により、ネットワーク１０４またはリムーバブルメディア１０５を介して画像処理装置１００の外部に出力される。

つまり、画像処理装置１００は、外部より供給された画像データに、その画像の種類に応じたフラグを付加して出力（他の装置に伝送）する。

このとき、画像処理装置１００は、フラグとして、単に３Ｄ画像と２Ｄ画像を識別することができるだけでなく、両用画像も識別可能な情報を生成し、画像データ（符号化データ）に付加する。つまり、画像処理装置１００は、従来の装置では不可能であった両用画像の識別も可能なフラグを付加することができる。したがって、画像処理装置１００は、画像の特性により適した処理を行うことができる。換言するに、画像処理装置１００は、このフラグが付加された画像データ（符号化データ）を処理し、画像表示等を行う画像処理装置が両用画像を識別することができるようにすることができる。つまり、画像処理装置１００は、このフラグが付加された画像データ（符号化データ）を処理する画像処理装置が、画像の特性により適した処理を行うことができるようにすることができる。

なお、画像取得部１１１は、上述したような各撮像装置以外から画像データを取得するようにしてもよい。

ところで、両用画像を生成する両用撮像装置１０２は、任意の方法により両用画像を生成するようにしてもよいが、以下に、この両用撮像装置１０２の具体的な例を２つ示す。

［両用撮像装置］
図２は、図１の両用撮像装置１０２の一例の上面断面図である。両用撮像装置１０２は、被写体からの入射光１２１を受けて偏光フィルタ１３４により左右に分離した上で撮像素子１３７に結像させ、左右の映像データを生成するものである。この撮像装置は、カメラ本体部１２３の前段にレンズ部１２２を備えている。

レンズ部１２２は、撮影レンズ１３１および１３２と、絞り１３３と、偏光フィルタ１３４と、結像レンズ１３５とを備えている。

撮影レンズ１３１および１３２は、被写体からの入射光１２１を集光するためのレンズである。これら撮影レンズ１３１等は、焦点を合わせるためのフォーカスレンズや、被写体を拡大するためのズームレンズ等を含み、一般に、色収差等を補正するために複数枚のレンズの組み合わせにより実現される。

絞り１３３は、集光された光の量を調整するために絞り込む機能を有するものである。この絞り１３３は、一般に、複数枚の板状の羽根を組み合わせて構成される。この絞り１３３の位置において、被写体の１点から拡散する光は平行光となる。

偏光フィルタ１３４は、集光された光を２つの異なる偏光に分離するものである。この偏光フィルタ１３４は、後述するように左右対称の偏光子に分かれており、カメラの正立状態に対する左右２つの位置において、互いに直交する直線方向の偏光または互いに逆方向となる回転方向の偏光を生成する。この偏光フィルタ１３４は、絞り１３３と平行に近接して配置される。すなわち、この偏光フィルタ１３４は、被写体の１点から拡散する光が平行光となる領域において、左右対称の偏光子によって２つの異なる偏光に分離する役割を有する。ただし、これら２つの異なる偏光は、ともに結像レンズ１３５に入光されて、結像される。なお、偏光フィルタ１３４は、特許請求の範囲に記載の分離部の一例である。

結像レンズ１３５は、偏光フィルタ１３４から入光された光を結像するレンズである。この結像レンズ１３５によって結像された光はカメラ本体部１２３内の撮像素子１３７上に投影される。

なお、この場合、入射瞳１３６は、結像レンズ１３５よりもカメラ本体部１２３側の位置に表れる。

カメラ本体部１２３は、撮像素子１３７と、映像記録部１３８と、映像記憶部１３９とを備える。撮像素子１３７は、レンズ部１２２から入光された光を電子信号に光電変換する光電変換素子である。この撮像素子１３７によって変換された電子信号は、左右の映像データを形成する。この撮像素子１３７は、例えば、CCD（Charge Coupled Devices）やCMOS（Complementary Metal Oxide Semiconductor）イメージセンサ等により実現される。映像記録部１３８は、撮像素子１３７から出力された左右の映像データを映像記憶部１３９に記録するものである。映像記憶部１３９は、映像記録部１３８から出力された左右の映像データを記憶するものである。なお、映像記録部１３８は、撮像素子１３７から出力された左右の映像データを両用画像データとして画像処理装置１００にも供給する。

［両用撮像装置の機能構成例］
図３は、図１の両用撮像装置１０２の機能構成例を示す図である。撮影レンズ１３１および１３２によって集光された光１４０は、ほぼ平行光となる位置において、偏光フィルタ１３４によって２つの異なる偏光に分離される。この偏光フィルタ１３４は、左偏光子１４１と右偏光子１４２とに分かれ、互いに直交する直線方向の偏光または互いに逆方向となる回転方向の偏光を生成する。生成された偏光はともに結像レンズ１３５によって撮像素子１３７の表面に結像される。なお、左偏光子１４１および右偏光子１４２の形状例については後述する。

撮像素子１３７の表面には、撮像素子１３７の画素または画素群に対応する領域毎に、左偏光板１４３または右偏光板１４４の何れか一方が貼り付けられる。したがって、撮像素子１３７の各画素には、左偏光板１４３または右偏光板１４４によって偏光された光が入光することになる。これにより、左偏光板１４３または右偏光板１４４によって、撮像素子１３７の画素または画素群に対応する領域毎に、偏光の何れか一方が透過される。なお、左偏光板１４３および右偏光板１４４は、特許請求の範囲に記載の透過部の一例である。これら左偏光板１４３および右偏光板１４４の貼り付けパターンについては後述する。

撮像素子１３７によって光電変換された電子信号は、信号処理部１４５および１４６に供給される。信号処理部１４５では、立体視の際の左眼用の左眼画像が生成される。一方、信号処理部１４６では、立体視の際の右眼用の右眼画像が生成される。

［偏光フィルタの構成例］
図４は、偏光フィルタ１３４の構成例を示す図である。この偏光フィルタ１３４は全体として円盤状の形状を有しており、中央の直径位置において左偏光子１４１と右偏光子１４２とに分かれている。すなわち、左偏光子１４１および右偏光子１４２は、左右対称の構造となっている。

左偏光子１４１は、被写体を左眼から見た像に対して偏光を施すフィルタである。右偏光子１４２は、被写体を右眼から見た像に対して偏光を施すフィルタである。これら左偏光子１４１および１４２により、互いに直交する直線方向の偏光または互いに逆方向となる回転方向の偏光が生成される。

［偏光板の貼り付けパターン例］
図５は、左偏光板１４３および右偏光板１４４の貼り付けパターン例を示す図である。この例では、左偏光板１４３および右偏光板１４４は、撮像素子１３７の表面である平面において、水平方向に連続して配置される画素群について同一方向の偏光を透過させるように配置されている。例えば、縦１０８０画素×横１９２０画素からなるハイビジョン画像１５１を想定すると、縦２画素×横１９２０画素からなる３８４０画素分を覆う長方形を単位として、異なる方向に偏光を施す偏光板が交互に配置される。

ここで、左偏光板１４３は、左偏光子１４１と同じ方向の偏光特性を有しており、左偏光子１４１によって偏光された光のみを透過するようになっている。同様に、右偏光板１４４は、右偏光子１４２と同じ方向の偏光特性を有しており、右偏光子１４２によって偏光された光のみを透過するようになっている。したがって、撮像素子１３７には、左偏光子１４１によって偏光された光１５１Ａと、右偏光子１４２によって偏光された光１５１Ｂとが、列方向に交互に繰り返された画像１５１が生成される。

このようにして生成された画像１５１に基づいて、信号処理部１４５および１４６は、左偏光子１４１によって偏光された光と右偏光子１４２によって偏光された光とを分離する。すなわち、信号処理部１４５は左偏光子１４１によって偏光された光のみからなる画像１５２を生成し、信号処理部１４６は右偏光子１４２によって偏光された光のみからなる画像１５３を生成する。

ただし、画像１５２および１５３は、同図に示すように互いに歯抜け状態となっている。そこで、信号処理部１４５および１４６は、それぞれ画像１５２および１５３に対してデモザイク処理を施すとともに補間処理を行うことにより、左眼画像１５４および右眼画像１５５を生成する。

図６は、左偏光板１４３および右偏光板１４４の貼り付けパターンと画素との関係例を示す図である。この例では、縦１０８０画素×横１９２０画素からなるハイビジョン画像において、縦２画素×横１９２０画素からなる３８４０画素分を覆う長方形を単位として、異なる方向に偏光を施す偏光板が交互に配置されるものとしている。

この配置は、撮像素子１３７において各画素がベイヤー配列により配置されていることを想定したものであり、水平方向のスキャンラインを同一偏光にするとともに、ＲＧＢの各画素の組を同一偏光に網羅するように配慮したものである。すなわち、描画との親和性を鑑みると、スキャンラインを同一偏光にすることは、人間の視覚特性から見ても合理的である。また、縦２画素×横２画素のブロックにおいては、赤色（red）１画素、青色（blue）１画素、緑色（green）２画素が含まれており、デモザイクおよび補間の際に都合がよい。

このように、両用撮像装置１０２は、偏光フィルタ１３４により左右に分離した光を、撮像素子１３７の表面に２ライン毎に貼り付けられた左偏光板１４３および右偏光板１４４によって選択的に透過することにより、左右画像を生成することができる。

［両用撮像装置の他の例］
図７は、図１の両用撮像装置１０２の他の例の上面断面図である。この場合の両用撮像装置１０２は、被写体からの入射光１６１を受けて左右の撮像素子１８７および１８８に結像させ、左右の映像データを生成するものである。図面における上部が被写体に向かって右方向（Ｒ）であり、下部が被写体に向かって左方向（Ｌ）である。

撮像装置本体には、レンズマウント１７４を介して交換レンズ１７１が取り付けられるようになっている。この交換レンズ１７１は、被写体からの入射光１６１を集光するレンズ群であり、焦点を合わせるためのフォーカスレンズや、被写体を拡大するためのズームレンズ等のレンズ群の他、交換レンズ１７１としての絞り１７２を備えている。なお、交換レンズ１７１は、特許請求の範囲に記載の撮影レンズの一例である。

レンズマウント１７４は、交換レンズ１７１を撮像装置本体に取り付けるものである。このレンズマウント１７４の内部においては、集光された光は一旦結像されており、左右が反転した倒立像になる。

レンズマウント１７４の次段にはリレーレンズ部１７５が配置される。リレーレンズ部１７５は、レンズマウント１７４までに集光された光を絞り１８９の位置まで伝送するリレーレンズを備える。このリレーレンズにより、対物焦点位置の点光源からの拡散光は、絞り１８９の位置において平行光となる。

リレーレンズ部１７５の次段にはミラー１８１乃至１８４が配置される。これらミラー１８１乃至１８４は、絞り１８９の位置に配置され、集光された光を左右に分光する分光鏡である。すなわち、被写体に向かって左側から見た際の光は左右反転してミラー１８１および１８２に反射され、被写体に向かって右側から見た際の光は左右反転してミラー１８３および１８４に反射され、これにより、左右に分光される。このミラー１８１乃至１８４が配置される位置は、レンズマウント１７４の対物焦点位置（被写体の位置）における点光源からの拡散光が平行光となる領域となっており、これにより適切な分光が行われるようになっている。なお、絞り１８９は、特許請求の範囲に記載の絞りの一例である。

ミラー１８１乃至１８４によって分光された光は、結像レンズ１８５および１８６に入光される。すなわち、ミラー１８１および１８２によって分光された左側から見た際の光は結像レンズ１８５に入光され、ミラー１８３および１８４によって分光された右側から見た際の光は結像レンズ１８６に入光される。結像レンズ１８５および１８６は、それぞれ入光された光を、撮像素子１８７および１８８の受光面に対して結像させる。この撮像素子１８７および１８８に入光された光は、それぞれ正立像となる。

撮像素子１８７および１８８は、それぞれ結像レンズ１８５および１８６から入光された光を電子信号に変換する光電変換素子である。この撮像素子１８７および１８８は、例えば、CCDやCMOSイメージセンサ等により実現される。

このように、両用撮像装置１０２は、被写体からの入射光１６１を受けて、ミラー１８１乃至１８４により左右に分光することにより、左右の撮像素子１８７および１８８に左右の映像データを結像させる。

［光の進路］
図８は、両用撮像装置１０２の一例の要部を示す図である。リレーレンズ部１７５によって伝送された光は、ミラー１８１および１８３によって左右に分光される。被写体に向かって左側から見た際の光はミラー１８１に反射して、さらにミラー１８２に反射する。被写体に向かって右側から見た際の光はミラー１８３に反射して、さらにミラー１８４に反射する。これらミラー１８１乃至１８４は絞り１８９の位置に配置されており、入光される光は平行光となる。

ミラー１８２に反射した左側の光は、結像レンズ１８５に入光する。結像レンズ１８５に入光された光は、撮像素子１８７の受光面に対して結像される。ミラー１８４に反射した右側の光は、結像レンズ１８６に入光する。結像レンズ１８６に入光された光は、撮像素子１８８の受光面に対して結像される。

例えば以上のように両用撮像装置１０２は実現され、両用画像が生成される。

［処理の流れ］
次に、図１の画像処理装置１００により実行されるフラグ付加処理の流れの例を図９のフローチャートを参照して説明する。

フラグ付加処理が開始されると、画像処理装置１００の画像取得部１１１は、ステップＳ１０１において、例えば３Ｄ撮像装置１０１乃至２Ｄ撮像装置１０３のいずれかから、画像を取得する。

ステップＳ１０２において、エンコーダ１１２は、ステップＳ１０１の処理により取得された画像データを所定の方式で符号化し、符号化データを生成する。

ステップＳ１０３において、フラグ生成部１１３は、ステップＳ１０１の処理により取得された画像データの画像の種類を判定し、判定結果に応じて画像の種類を識別するためのフラグを生成する。つまり、フラグ生成部１１３は、画像が３Ｄ画像であるか、両用画像であるか、若しくは２Ｄ画像であるかを識別するフラグを生成する。

ステップＳ１０４において、フラグ付加部１１４は、ステップＳ１０３において生成されたフラグを、ステップＳ１０２において生成された符号化データの所定の位置に付加する。

ステップＳ１０５において、通信部１１５は、ステップＳ１０４の処理によりフラグが付加された符号化データを、ネットワーク１０４を介して他の装置に送信する。

ステップＳ１０６において、記録部１１６は、ステップＳ１０４の処理によりフラグが付加された符号化データを、リムーバブルメディア１０５に記録する。

ステップＳ１０６の処理が終了すると、フラグ付加処理が終了される。

［フラグ］
図１０は、符号化データに付加されるフラグの例を説明する図である。

従来の方法においては、図１０Ａに示されるように、２Ｄ画像と３Ｄ画像とのみを識別可能なフラグが符号化データに付加されていた。

フラグ生成部１１３は、両用画像も識別することができるように、例えば２ビットのフラグを生成する。例えば、フラグ生成部１１３は、図１０Ｂに示されるように、フラグの値を、２Ｄ画像の場合「００」に設定し、３Ｄ画像の場合「１０」に設定し、両用画像の場合「−１」（「−」は「０」または「１」を示す）に設定する。

この場合、このフラグを処理する画像処理装置は、このフラグの下位ビット（右側の１ビット）を参照するだけで、容易に両用画像であるか否かを識別することができる。つまり、例えば、両用画像に対してのみ特殊な処理を行う場合、画像処理装置は容易にその処理を実行することができる。

また、フラグ生成部１１３は、例えば、図１０Ｃに示されるように、フラグの値を、２Ｄ画像の場合「１０」に設定し、３Ｄ画像の場合「０１」に設定し、両用画像の場合「１１」に設定するようにしてもよい。

この場合、このフラグを処理する画像処理装置は、このフラグの下位ビット（右側の１ビット）を参照するだけで、容易に立体視可能な画像であるか否かを識別することができる。つまり、例えば、立体視に関する処理を行う場合、画像処理装置は容易にその処理を実行することができる。

また、この場合、このフラグを処理する画像処理装置は、このフラグの上位ビット（左側の１ビット）を参照するだけで、容易に３Ｄ画像以外であるか否かを識別することができる。つまり、例えば、３Ｄメガネを使用せずに裸眼で画像を見るユーザに対する処理を行う場合、画像処理装置は容易にその処理を実行することができる。

以上のように画像処理装置１００は、両用画像を識別し、両用画像用のフラグを生成し、画像データ（符号化データ）に付加することができる。つまり、画像処理装置１００は、画像の特性により適した処理を行うことができる。

なお、図１においては、画像処理装置１００が、通信部１１５および記録部１１６の両方を備えるように説明したが、いずれか一方を省略するようにしてもよい。その場合、図９のフローチャートを参照して説明したフラグ付加処理においても、ステップＳ１０５若しくはステップＳ１０６のいずれか一方（省略したブロックに対応する処理）が省略される。

また、エンコーダ１１２を省略するようにしてもよい。その場合、画像処理装置１００は、符号化されていないベースバンドの（フラグが付加された）画像データを出力する。また、図９に示されフラグ付加処理において、ステップＳ１０２の処理が省略される。

＜２．第２の実施の形態＞
［画像処理装置の構成］
次に、上述したフラグを利用する画像処理装置について説明する。図１１は、本発明を適用した画像処理装置の主な構成例を示すブロック図である。

画像処理装置２００は、図１の画像処理装置１００においてフラグを付加された符号化データを復号し、再生表示するとともに、そのフラグに基づいた処理を行う。

画像処理装置２００は、通信部２０１、再生部２０２、フラグ抽出部２０３、デコーダ２０４、フラグ判定部２０５、フラグ処理部２０６、モニタ２０７、LED（Light Emitting Diode）２０８、スピーカ２０９、およびメガネ制御部２１０を有する。

通信部２０１は、図１の画像処理装置１００の通信部１１５に対応する通信インタフェースであり、通信部１１５と同様の所定の規格に基づいて他の装置と通信を行う。通信部２０１は、ネットワーク１０４を介して画像処理装置１００から送信される符号化データを受信し、それをフラグ抽出部２０３に供給する。

再生部２０２は、リムーバブルメディア１０５に対応するドライブであり、自信の所定の位置に装着されたリムーバブルメディア１０５から情報を読み出す。再生部２０２は、図１の画像処理装置１００の記録部１１６がリムーバブルメディア１０５に書き込んだ符号化データを読み出し、それをフラグ抽出部２０３に供給する。

フラグ抽出部２０３は、通信部２０１または再生部２０２から供給された符号化データに付加されているフラグを抽出する。フラグ抽出部２０３は、符号化データをデコーダ２０４に供給するとともに、抽出したフラグをフラグ判定部２０５に供給する。

デコーダ２０４は、図１の画像処理装置１００のエンコーダ１１２の符号化方式に対応する復号方式で符号化データを復号し、復号画像データを生成する。エンコーダ１１２の符号化方式が可逆符号化方式の場合、デコーダ２０４は、符号化前の状態の画像データを復元することができる。

デコーダ２０４は、復号画像データをモニタ２０７に供給し、その画像（復号画像）を表示させる。

フラグ判定部２０５は、フラグ抽出部２０３から供給されたフラグの値を判定し、復号画像の種類（復号画像が３Ｄ画像であるか、両用画像であるか、２Ｄ画像であるか）を特定する。フラグが画像データの一部に対応されている場合、フラグ判定部２０５は、その対応する部分も特定する。また、フラグが複数付加されている場合、フラグ判定部２０５は、全てのフラグの値を判定する。

つまり、フラグ判定部２０５は、画像データに付加されていた全てのフラグの値を判定し、復号画像データのどの部分（シーンやフレーム等）がどのような画像であるかを全て特定する。

フラグ判定部２０５は、その判定結果をフラグ処理部２０６に供給する。

フラグ処理部２０６は、フラグ判定部２０５により判定されたフラグ値に応じた処理を行う。例えば、復号画像の種類をユーザに通知する画像をモニタ２０７に表示させたり、復号画像の種類をユーザに通知するようにLED２０８の点灯を制御したり、復号画像の種類をユーザに通知する音声案内をスピーカ２０９から出力させたり、メガネ制御部２１０を介して、復号画像の種類の通知を３Ｄメガネ２１１に実行させたりする。

このように、画像処理装置２００は、画像データ（符号化データ）に付加されたフラグの値に基づいて処理を行う。このフラグは、画像処理装置１００により付加されたものであり、上述したように両用画像を識別可能な情報であるので、画像処理装置２００は、画像の特性により適した処理を行うことができる。

［処理の流れ］
上述したように、画像処理装置２００は、復号画像データの画像がどの種類の画像であるかをユーザに通知するアイコンをモニタ２０７に表示することができる。この様な処理を行う、画像処理装置２００により実行されるフラグ利用処理の流れの例を、図１２のフローチャートを参照して説明する。

フラグ利用処理が開始されると、ステップＳ２０１において、通信部２０１または再生部２０２は、符号化データを取得する。ステップＳ２０２において、フラグ抽出部２０３は、符号化データに付加されているフラグを抽出する。

ステップＳ２０３において、フラグ判定部２０５は、抽出されたフラグの値（フラグ値）を判定し、特定する。上述したように、フラグ判定部２０５は、フラグ値とフレーム等との対応関係も特定する。

ステップＳ２０４において、フラグ処理部２０６は、画像表示に同期してフラグ値に対応する通知表示を行う。この通知表示の例については後述するが、例えば、モニタ２０７において、現在表示されている復号画像の種類（３Ｄ画像であるか、２Ｄ画像であるか、若しくは両用画像であるか）を示すアイコンが、復号画像とともに表示される。復号画像を視聴するユーザは、そのアイコンによる通知により、現在表示されている復号画像の種類を把握することができる。

ステップＳ２０５において、デコーダ２０４は、符号化データを復号する。ステップＳ２０６において、モニタ２０７は、画像を表示する。

ステップＳ２０７において、フラグ処理部２０６は、フラグ利用処理を終了するか否かを判定する。フラグ利用処理を終了しないと判定された場合、ステップＳ２０４に戻り、それ以降の処理が繰り返される。

ステップＳ２０７において、フラグ利用処理を終了すると判定された場合、フラグ利用処理が終了される。

すなわち、復号画像の表示が終了するまで、復号画像の種類の通知表示が、復号画像の表示に同期して行われる。

［通知表示］
図１３は、通知表示の例を示す図である。

例えば、フラグ処理部２０６は、図１３Ａに示されるように、モニタ２０７の表示画面２２１に、画像表示領域２２２、２Ｄアイコン２２３、３Ｄアイコン２２４、および両用アイコン２２５を表示させる。

画像表示領域２２２は、復号画像を表示する領域である。２Ｄアイコン２２３は、現在画像表示領域２２２に表示されている復号画像が２Ｄ画像であることを示す画像である。３Ｄアイコン２２４は、現在画像表示領域２２２に表示されている復号画像が３Ｄ画像であることを示す画像である。両用アイコン２２５は、現在画像表示領域２２２に表示されている復号画像が両用画像であることを示す画像である。

２Ｄアイコン２２３乃至両用アイコン２２５のうち、画像表示領域２２２に表示されている復号画像の種類に対応するアイコンが表示される。２Ｄアイコン２２３乃至両用アイコン２２５が全て表示され、画像表示領域２２２に表示されている復号画像の種類に対応するアイコンが強調表示されるようにしてもよい。例えば、画像表示領域２２２に表示されている復号画像の種類に対応するアイコンの、色を他のアイコンと変えたり、濃度を他のアイコンよりも濃くしたり、他のアイコンよりも輝度を上げたり、他のアイコンよりも線を太くしたり、アイコンのサイズを他のアイコンよりも大きくしたり、または、アイコンを変形させたり、移動させたり、回転させたりしても良い。

また、図１３Ｂに示されるように、２Ｄアイコン２２３乃至両用アイコン２２５が互いに異なる絵柄（デザイン）であってもよい。図１３Ｂの例の場合、２Ｄアイコン２２３は、裸眼（３Ｄメガネ２１１が不要であること）を連想させる「目」の絵柄とされている。３Ｄアイコン２２４は、３Ｄメガネ２１１（３Ｄメガネ２１１が必要であること）を連想させる「メガネ」の絵柄とされている。両用アイコン２２５は、３Ｄメガネ２１１を装着してもよいし装着しなくてもよい（２Ｄ画像と３Ｄ画像の両方の特徴を有する）ことを連想させるように「目」と「メガネ」を組み合わせた絵柄とされている。

もちろん、２Ｄアイコン２２３乃至両用アイコン２２５の絵柄は、これら以外であってもよい。

また、２Ｄアイコン２２３乃至両用アイコン２２５の表示位置は任意である。例えば、２Ｄアイコン２２３乃至両用アイコン２２５のうちいずれか１つが表示されるようにし、各アイコンが互いに同じ位置に表示されるようにしても良い。

また、２Ｄアイコン２２３乃至両用アイコン２２５が画像表示領域２２２の上側、下側、若しくは右側に表示されるようにしても良い。

さらに、例えば、図１３Ｃに示されるように、２Ｄアイコン２２３乃至両用アイコン２２５を画像表示領域２２２内に、復号画像と重畳して表示させるようにしてもよい。この場合、２Ｄアイコン２２３乃至両用アイコン２２５がより見やすくなるが、復号画像の視聴の妨げになる恐れがあるので、画像の種類が変化したときやユーザに指示されたときに所定時間、表示されている復号画像の種類に対応するアイコンが表示されるようにし、復号画像の種類が変化しないときは表示されないようにしてもよい。

このように、画像の種類を通知することにより、ユーザは、例えば３Ｄメガネ２１１の使用・不使用を適切に選択することができる。

例えば、上述したように、３Ｄメガネ２１１は、２Ｄ画像の場合不要であるが、３Ｄ画像の場合必要であり、両用画像の場合も使用可能である。このように、画像の種類によって３Ｄメガネ２１１の必要性が変わる。ユーザは、上述したアイコンによる通知により、現在表示されている画像が何画像であるかを容易に把握することができるので、３Ｄメガネ２１１の使用・不使用を適切に選択することができ、正しく画像を見ることができる。

特に復号画像が両用画像である場合、画像から２Ｄ画像や３Ｄ画像と区別することが困難な場合がある。

例えば、クリップの途中で画像の種類が２Ｄ画像から両用画像に変化する場合がある。この場合、ユーザは、その変化前において裸眼で画像を見ている。しかしながら、２Ｄ画像と両用画像とを裸眼で識別することは困難である。つまり、ユーザは、２Ｄ画像から両用画像に変化したことに気づかない恐れがある。したがって、３Ｄメガネ２１１を使用することにより立体視可能であるにも関わらず、ユーザがそのことに気づかないまま視聴を続けてしまう恐れがあった。この場合、ユーザは画像を立体視する楽しみを逃していることになり、ユーザの満足度が低減する恐れがあった。

また、例えば、クリップの途中で画像の種類が３Ｄ画像から両用画像に変化する場合がある。この場合、ユーザは、その変化前において３Ｄメガネ２１１を使用して画像を見ている。しかしながら、両用画像は、３Ｄ画像の場合と同様に、３Ｄメガネ２１１を使用することにより立体視が可能な画像である。つまり、ユーザは、３Ｄ画像から両用画像に変化したことに気づかない恐れがある。したがって、３Ｄメガネ２１１を使用せずに裸眼で見ることができるにも関わらず、ユーザがそのことに気づかずに３Ｄメガネ２１１を使用したまま視聴を続けてしまう恐れがあった。

一般的に、３Ｄメガネ２１１を用いた画像の立体視は、２Ｄ画像を裸眼で見る場合よりも目への負担が大きく、疲労しやすい。したがって、裸眼で見ることができない３Ｄ画像の部分のみを３Ｄメガネを用いて見るようにし、両用画像の部分については３Ｄメガネを用いずに裸眼で見るようにする視聴方法が考えられる。しかしながら、３Ｄ画像から両用画像への切り替えに気づかない場合、ユーザは、３Ｄメガネ２１１をかけ続けたまま画像を見ることになり、目の疲労を不要に増大させてしまう恐れがあった。

画像処理装置２００が上述したアイコンによる通知を行うことにより、ユーザは、容易に、３Ｄメガネ２１１の使用・不使用を適切に選択することができ、正しく画像を見ることができる。

［LEDによる通知］
なお、この通知は、表示画面２２１の外で行うようにしてもよい。例えば、画像処理装置２００が、通知表示用のLED２０８の点灯により通知を行うようにしてもよい。

図１４は、画像種類通知用のLEDの構成例を説明する図である。図１４Ａに示されるように、LED２０８は、モニタ２０７に設けられている。LED２０８は、モニタ２０７に現在表示されている復号画像が２Ｄ画像であることを通知するLED２３１、モニタ２０７に現在表示されている復号画像が３Ｄ画像であることを通知するLED２３２、および、モニタ２０７に現在表示されている復号画像が両用画像であることを通知するLED２３３を有する。

すなわち、フラグ処理部２０６は、LED２０８を制御し、モニタ２０７に現在表示されている復号画像が２Ｄ画像である場合、LED２３１を点灯させ、モニタ２０７に現在表示されている復号画像が３Ｄ画像である場合、LED２３２を点灯させ、モニタ２０７に現在表示されている復号画像が両用画像である場合、LED２３３を点灯させる。

このようにすることにより、ユーザは、アイコンによる通知の場合と同様に、モニタ２０７に現在表示されている復号画像の種類を容易に把握することができる。

なお、LED２０８の構成は任意である。例えば、LED２３１乃至LED２３３を点滅させても良い。また、LED２３１乃至LED２３３が互いに異なる色で発光するようにしてもよい。さらに、LED２３１乃至LED２３３の形状、大きさ、数、および配置位置も任意である。

さらに、図１４Ｂに示されるように、LED２０８をモニタ２０７と別体として構成するようにしてもよい。また、LED２０８を例えばモニタ２０７に対して着脱可能であるようにしてもよい。

［画像表示領域による通知］
また、以上のような画像の種類の通知は、画像表示領域２２２の大きさの変更により行うようにしてもよい。

その場合のフラグ利用処理の流れの例を図１５のフローチャートを参照して説明する。この場合も、図１２のフローチャートを参照して説明した場合と基本的に同様に行われる。

フラグ利用処理が開始されると、ステップＳ２２１乃至ステップＳ２２３の各処理が図１２のステップＳ２０１乃至ステップＳ２０３の各処理の場合と同様に実行される。

ステップＳ２２４において、フラグ処理部２０６は、画像表示に同期して、フラグ値に対応する表示画像サイズを設定する。

ステップＳ２２５において、デコーダ２０４は、符号化データを復号する。ステップＳ２２６において、モニタ２０７は、設定された画像サイズで画像を表示する。

ステップＳ２２７において、フラグ処理部２０６は、フラグ利用処理を終了するか否かを判定する。フラグ利用処理を終了しないと判定された場合、ステップＳ２２４に戻り、それ以降の処理が繰り返される。

ステップＳ２２７において、フラグ利用処理を終了すると判定された場合、フラグ利用処理が終了される。

すなわち、復号画像の表示が終了するまで、表示画像サイズによる復号画像の種類の通知表示が、復号画像の表示に同期して行われる。

図１６は、画像表示サイズの変形の様子の例を説明する図である。

図１６Ａの例の場合、画像表示領域２２２のサイズは、２Ｄ画像を表示する場合、画像表示領域２２２Ａのように最も大きくない、両用画像を表示する場合、画像表示領域２２２Ｂのように中程度の大きさになり、３Ｄ画像を表示する場合、画像表示領域２２２Ｃのように最も小さくなる。画像表示領域２２２に表示される復号画像の画サイズは、画像表示領域２２２に合わせて調整される。すなわち、画像の種類によってモニタ２０７に表示される復号画像の画サイズが変化する。

フラグ処理部２０６が画像表示領域２２２のサイズを例えば図１６Ａに示されるように変化させるように制御する。

このようにすることにより、復号画像を見るユーザは、その画サイズ（画像表示領域２２２のサイズ）若しくは、画サイズの変化により、現在表示されている復号画像の種類を容易に把握することができる。

なお、画像表示領域２２２Ａ乃至画像表示領域２２２Ｃのサイズ比は任意である。

また、図１６Ａの例においては、画像表示領域２２２Ａ乃至画像表示領域２２２Ｃの画サイズを、左下の角を合わせて比較しているが、画サイズを変化させる際に、左下の角を基準点とすることを示している訳ではない。画サイズの変化方法は任意であり、例えば、画像の中心点等、任意の点を基準点として画サイズを変化させるようにしてもよいし、このような基準点を設けずに画サイズを変更するようにしてもよい。ただし、画サイズの変更により画像の位置が大きくずれると画像が見づらくなるので、画像の表示位置はできるだけ動かさないようにするのが望ましい。

さらに、どの画像種類をどのサイズに割り当てるかは任意である。また、画サイズの変更は大小だけでなく、例えば図１６Ｂに示されるように、アスペクト比の変更であってもよい。

図１６Ｂの例の場合、画像表示領域２２２のアスペクト比は、２Ｄ画像を表示する場合、画像表示領域２２２Ｄのように最も横長となり、両用画像を表示する場合、画像表示領域２２２Ｅのように中程度の比となり、３Ｄ画像を表示する場合、画像表示領域２２２Ｆのように最も縦長となる。画像表示領域２２２に表示される復号画像のアスペクト比は、画像表示領域２２２に合わせて調整される。すなわち、画像の種類によってモニタ２０７に表示される復号画像のアスペクト比が変化する。

もちろん、このアスペクト比の場合も、画サイズの場合と同様に、基準点を設けてもよいし、設けなくても良い。

また、画像の種類の変化に応じて、画サイズとアスペクト比の両方を変更するようにしてもよい。

さらに、図１７に示されるように、画像表示領域２２２の画枠の太さを変更することにより、画像の種類の変化を示すようにしてもよい。

例えば、画像表示領域２２２の画枠２４１を、２Ｄ画像を表示する場合、図１７Ａに示されるように最も細くし、両用画像を表示する場合、図１７Ｂに示されるように太さを中程度とし、３Ｄ画像を表示する場合、図１７Ｃに示されるように最も太くするようにしてもよい。

この各場合の画枠２４１の太さは任意である。また、各場合の画枠２４１の太さの順序も任意であり、どの画像の場合に画枠２４１を最も太くするようにしてもよい。

また、画枠２４１の大きさの代わりに、表示される画像の種類に応じて、画枠２４１の色、濃度、輝度、若しくは模様（テクスチャ）等を、変更するようにしてもよい。もちろん、複数のパラメータを組み合わせても良く、例えば、表示される画像の種類に応じて、画枠２４１の太さと色と模様が変化するようにしてもよい。

さらに、上述した画サイズの変更、アスペクト比の変更、および画枠２４１の変更を組み合わせて適用するようにしてもよい。

また、復号画像の種類の通知は、表示以外の方法で行うようにしてもよく、例えば、スピーカ２０９から画像種類を通知する音声案内を出力するようにしてもよい。また、音声ではなく振動により通知を行うようにしてもよい。

［３Ｄメガネによる通知］
以上のような復号画像の種類の通知は、画像処理装置２００において行う必要はなく、例えば、３Ｄメガネ２１１において行うようにしても良い。その場合、フラグ処理部２０６は、メガネ制御部２１０を介して、ユーザが使用する３Ｄメガネ２１１において行うようにしてもよい。

この場合のフラグ利用処理の流れの例を、図１８のフローチャートを参照して説明する。この場合も、図１２のフローチャートを参照して説明した場合と基本的に同様に行われる。

フラグ利用処理が開始されると、ステップＳ２４１乃至ステップＳ２４３の各処理が図１２のステップＳ２０１乃至ステップＳ２０３の各処理の場合と同様に実行される。

ステップＳ２４４において、フラグ処理部２０６は、メガネ制御部２１０を介して、画像表示に同期してフラグ値に対応する通知を行うように３Ｄメガネ２１１を制御する。

ステップＳ２４５において、デコーダ２０４は、符号化データを復号する。ステップＳ２４６において、モニタ２０７は、復号画像を表示する。

ステップＳ２４７において、フラグ処理部２０６は、フラグ利用処理を終了するか否かを判定する。フラグ利用処理を終了しないと判定された場合、ステップＳ２４４に戻り、それ以降の処理が繰り返される。

ステップＳ２４７において、フラグ利用処理を終了すると判定された場合、フラグ利用処理が終了される。

すなわち、復号画像の表示が終了するまで、３Ｄメガネ２１１による復号画像の種類の通知が、復号画像の表示に同期して行われる。

３Ｄメガネ２１１による通知の方法は任意である。その通知方法の例を図１９に示す。

例えば、図１９Ａに示されるように、３Ｄメガネ２１１の表示部２５１に、図１３の例の場合と同様に、画像の種類を示すアイコンを表示するようにしてもよい。図１９Ａの例の場合、３Ｄメガネ２１１は、左目用の表示部２５１の左上部分に、現在表示されている画像が両用画像であることを示す両用アイコン２５２が表示されている。

なお、図１３の例の場合と同様に、種々の方法が適用可能である。また、アイコン表示を右目用の表示部において行うようにしても良いし、左右両方の表示部において行うようにしてもよい。

また、図１４の例の場合のように、LED２０８と同様の、画像の種類を通知するためのLEDを３Ｄメガネ２１１に設けるようにしてもよい。

さらに、図１６に示される例のように、画像の種類に応じて、画サイズやアスペクト比を変更するようにしてもよいし、図１７に示される例のように、画像の種類に応じて、画枠の太さ等を変更するようにしてもよい。

また、図１９Ｂに示されるように、３Ｄメガネ２１１に設けられるスピーカ２５３Ａおよびスピーカ２５３Ｂから、現在表示されている画像の種類、若しくはその変化を通知する音声案内を出力するようにしてもよい。

さらに、図１９Ｃに示されるように、３Ｄメガネ２１１に振動子を設け、画像の種類が変化する場合、その振動子を駆動させ、３Ｄメガネ２１１を振動させるようにしてもよい。変化後の画像の種類によって振動パターンを変化させるようにしてもよい。

また、図１９Ｄに示されるように、画像の種類が変化する場合、３Ｄメガネ２１１のつる部２５４Ａおよびつる部２５４Ｂが、矢印２５５Ａおよび矢印２５５Ｂのように内側に締まり、３Ｄメガネ２１１をユーザが装着している場合、そのユーザの顔を圧迫するようにしてもよい。

もちろん、３Ｄメガネ２１１が、これら以外の方法でユーザに通知を行うようにしてもよい。

［非同期通知］
なお、以上においては、表示される復号画像の種類を、リアルタイム（即自的）に通知する場合について説明したが、画像の種類の通知は、復号画像の表示と同期していなくてもよい。

例えば、フラグ処理部２０６が、復号画像の種類の通知を、その復号画像が表示されるよりも少し前に行うようにしてもよい。このように事前に通知を行うことにより、ユーザは、その通知を確認してから、その通知に対応する復号画像が表示される前に、例えば３Ｄメガネを装着したり、外したりする等、その復号画像を見るための準備を行うことができる。

また、クリップの再生表示（復号画像の表示）を開始する前に、画像の種類の通知を行うようにしてもよい。

例えば、フラグ処理部２０６が、画像の種類を通知する通知画像（例えば案内文）を、内蔵する記憶部（図示せず）に予め記憶している。通信部２０１または再生部２０２が符号化データを取得すると、その復号処理の前に、フラグ抽出部２０３がフラグを抽出し、フラグ判定部２０５がフラグ値を判定し、フラグ処理部２０６が、フラグ値に対応する通知画像（例えば案内文）を内蔵する記憶部から読み出し、モニタ２０７に表示させる。

フラグ処理部２０６は、モニタ２０７を制御し、このように通知画像を表示させてから、復号画像の表示を開始させる。つまり、フラグ処理部２０６は、クリップに含まれる画像の種類を通知する通知画像を、クリップ先頭に挿入する。

このようにすることにより、ユーザは、クリップの再生表示が開始される前に、そのクリップに含まれる画像の種類を把握することができる。

このような場合のフラグ利用処理の流れの例を、図２０のフローチャートを参照して説明する。この場合も、図１２のフローチャートを参照して説明した場合と基本的に同様に行われる。

フラグ利用処理が開始されると、ステップＳ２６１乃至ステップＳ２６３の各処理が図１２のステップＳ２０１乃至ステップＳ２０３の各処理の場合と同様に実行される。

ステップＳ２６４において、フラグ処理部２０６は、復号画像表示前にフラグ値に応じた通知画像を表示させる。

通知画像の表示が終了すると、ステップＳ２６５において、デコーダ２０４は、符号化データを復号する。ステップＳ２６６において、モニタ２０７は、復号画像を表示する。

ステップＳ２６７において、フラグ処理部２０６は、フラグ利用処理を終了するか否かを判定する。フラグ利用処理を終了しないと判定された場合、ステップＳ２６５に戻り、それ以降の処理が繰り返される。つまり、復号画像の表示がクリップの最後まで（若しくはユーザ等による終了指示まで）続けられる。

ステップＳ２６７において、クリップの最後まで到達したか、若しくは、ユーザ等により終了指示が行われ、フラグ利用処理を終了すると判定された場合、フラグ利用処理が終了される。

図２１に通知画像の例を示す。図２１Ａに示される通知画像２６１は、復号画像が両用画像であることを示す。また、この通知画像２６１は、視聴方法（３Ｄメガネ２１１に関する情報）も案内している。これにより、ユーザは、容易に正しい視聴方法を選択することができる。

図２１Ｂに示される通知画像２６２は、復号画像が３Ｄ画像であることを示す。また、この通知画像２６２は、設定を変更することにより２Ｄ画像として表示することができることも案内している。これにより、ユーザは、容易に正しい視聴方法を選択することができる。

図２１Ｃに示される通知画像２６３は、復号画像が２Ｄ画像であることを示す。また、この通知画像２６３は、３Ｄメガネ２１１が不要であることも通知している。これにより、ユーザは、容易に正しい視聴方法を選択することができる。

以上のように、画像処理装置２００は、符号化データに付加されたフラグに基づいて、２Ｄ画像や３Ｄ画像の通知だけでなく、両用画像の通知も行うことができる。つまり、画像処理装置２００は、画像の特性により適した処理を行うことができる。

なお、図１１の画像処理装置２００において、画像処理装置１００の場合と同様に、通信部２０１若しくは再生部２０２のいずれか一方を省略するようにしてもよい。また、画像処理装置１００が画像データを符号化せずに出力する場合、画像処理装置２００のデコーダ２０４は、省略することができる。

さらに、モニタ２０７、LED２０８、およびスピーカ２０９は、画像処理装置２００と異なる装置として構成されるようにしてもよい。また、モニタ２０７、LED２０８、およびスピーカ２０９は、その一部を省略するようにしてもよい。

［内部処理への利用］
以上においては、画像処理装置２００が、符号化データに付加されたフラグを、復号画像の種類の通知に利用するように説明したが、これ以外の処理にフラグを利用するようにしてもよい。例えば、画像の種類によって復号画像に施す画像処理を変更するようにしてもよい。例えば、デコーダ２０４が、画質調整等の画像処理を復号画像に対して行う場合、フラグ処理部２０６が、その画像処理を、画像種類に応じて制御するようにしてもよい。

また、フラグ処理部２０６が、画像種類に応じて、デコーダ２０４による復号方法を制御するようにしてもよい。

画像処理装置２００は、例えばユーザの指示等に基づいて、３Ｄ画像の画像データを２Ｄ画像として表示させることもできる。

通常の場合、デコーダ２０４は、３Ｄ画像の符号化データに対しては、２系統の画像データ（左目用の画像データと右目用の画像データ）のそれぞれについて復号処理を行い、２Ｄ画像の符号化データに対しては、１系統（左右兼用の画像データ）について復号処理を行う。

これに対して、上述したように３Ｄ画像の画像データを２Ｄ画像として表示させる場合、デコーダ２０４は、２系統の画像データのうち、予め定められたいずれか一方の画像データについてのみ復号処理を行い、その１系統の画像データの復号画像を２Ｄ画像として表示させる。

ところが両用画像は、上述したように裸眼で見ると２Ｄ画像との識別は困難である。そこで、両用画像を２Ｄ画像として表示するように指示された場合、デコーダ２０４は、２系統の画像データ（左目用の画像データと右目用の画像データ）のそれぞれについて復号処理を行い、３Ｄ画像として表示させる。

つまり、デコーダ２０４は、符号化データが両用画像の場合、２Ｄ画像として表示させる指示を無視する。したがって、デコーダ２０４は、符号化データが３Ｄ画像の場合のみ、ユーザ指示に応じて、復号処理の対象を、２系統の画像データからいずれか一方の１系統の画像データに切り替え、符号化データが両用画像の場合は、その切り替えを行わずに、これまでの復号処理を継続する。

このようにすることにより、画像処理装置２００は、復号方法の切り替えによる画像表示の乱れを抑制することができる。

このような場合のフラグ利用処理の流れの例を、図２２のフローチャートを参照して説明する。

フラグ利用処理が開始されると、ステップＳ２８１乃至ステップＳ２８３の各処理が図１２のステップＳ２０１乃至ステップＳ２０３の各処理の場合と同様に実行される。

ステップＳ２８４において、フラグ処理部２０６は、符号化データの画像が両用画像であるか否かを判定する。両用画像であると判定された場合、ステップＳ２８５に進む。

ステップＳ２８５において、デコーダ２０４は、フラグ処理部２０６に制御され、３Ｄ画像として符号化データを復号する。つまり、２系統の画像データについて復号処理を行う。ステップＳ２８６において、モニタ２０７は、復号画像を両用画像として表示する。両用画像であるので裸眼では２Ｄ画像と同様に見える。ステップＳ２８６の処理を終了すると、ステップＳ２８９に進む。

また、ステップＳ２８４において、両用画像でないと判定された場合、ステップＳ２８７に進む。ステップＳ２８７において、デコーダ２０４は、フラグ処理部２０６に制御され、２Ｄ画像として符号化データを復号する。つまり、デコーダ２０４は、３Ｄ画像の符号化データであっても、１系統の画像データについてのみ復号処理を行う。

ステップＳ２８８において、モニタ２０７は、復号画像を２Ｄ画像として表示する。ステップＳ２８６の処理を終了するとステップＳ２８９に進む。

ステップＳ２８９において、フラグ処理部２０６は、フラグ利用処理を終了するか否かを判定する。フラグ利用処理を終了しないと判定された場合、ステップＳ２８４に戻り、それ以降の処理が繰り返される。つまり、復号処理および復号画像の表示がクリップの最後まで（若しくはユーザ等による終了指示まで）続けられる。

ステップＳ２８９において、クリップの最後まで到達したか、若しくは、ユーザ等により終了指示が行われ、フラグ利用処理を終了すると判定された場合、フラグ利用処理が終了される。

以上のように、画像処理装置２００は、符号化データに付加されたフラグに基づいて、両用画像の符号化データに対する２Ｄ画像表示指示を無視することができる。つまり、画像処理装置２００は、画像の特性により適した処理を行うことができる。

＜３．第３の実施の形態＞
［画像処理システムの構成］
以上においては、フラグが付加された符号化データを復号し、復号画像を表示する画像処理装置について説明したが、フラグの利用方法は、上述した以外であってもよく、符号化データを復号する画像処理装置以外の装置がフラグを利用するようにしてもよい。

例えば、符号化データをコンテンツとして提供（販売・配信）するサービスにおいて、フラグを利用するようにしてもよい。

図２３は、本発明を適用したネットワークシステムの構成例を示すブロック図である。

図２３に示されるネットワークシステム３００は、コンテンツを提供するサービスを行うシステムである。ネットワークシステム３００は、コンテンツ提供サーバ３０１、コンテンツサーバ３０２、および端末装置３０３を有する。コンテンツ提供サーバ３０１乃至端末装置３０３の各装置は、インターネット等に代表される任意の通信網であるネットワーク３０４を介して互いに通信可能に接続される。各装置間の通信はこのネットワーク３０４を介して行われる。以下においては、特に必要が無い限り、その説明は省略する。

コンテンツ提供サーバ３０１は、コンテンツサーバ３０２に蓄積されているコンテンツを端末装置３０３に提供するサービスを行う装置である。コンテンツ提供サーバ３０１は、コンテンツサーバ３０２に蓄積されているコンテンツを端末装置３０３に紹介したり、端末装置３０３からのコンテンツ取得要求を受け付け、その要求されたコンテンツをコンテンツサーバ３０２から端末装置３０３に提供させたり、課金処理を行ったりする。

コンテンツサーバ３０２は、端末装置３０３に提供されるコンテンツを蓄積している。このコンテンツは、画像や音声等よりなる。このコンテンツの画像は、３Ｄ画像、２Ｄ画像、若しくは両用画像である。このコンテンツのデータ（コンテンツデータ）は、図１の画像処理装置１００により符号化されている。つまり、コンテンツデータは、画像データを含むデータが所定の方式で符号化された符号化データであり、画像の種類を識別するためのフラグが付加されている。

端末装置３０３は、コンテンツを視聴するユーザが操作する装置であり、コンテンツ提供サーバ３０１からコンテンツの紹介情報（例えばWEBページ）を取得し、その情報に基づいてコンテンツを選択して要求し、要求したコンテンツをコンテンツサーバ３０２から取得してその画像や音声等を視聴する装置である。

つまり、コンテンツ提供サーバ３０１は、コンテンツサーバ３０２から、コンテンツサーバ３０２が蓄積しているコンテンツに関する情報であるコンテンツ情報を取得する。コンテンツ提供サーバ３０１は、そのコンテンツ情報に基づいて、コンテンツの紹介情報を生成する。

端末装置３０３が要求すると、コンテンツ提供サーバ３０１がその紹介情報を端末装置３０３に供給する。端末装置３０３は、その紹介情報をユーザに提示する。端末装置３０３のユーザは、その紹介情報に基づいて、視聴するコンテンツを選択する。

端末装置３０３は、選択されたコンテンツをコンテンツ提供サーバ３０１に要求する。コンテンツ提供サーバ３０１は、その要求に基づいて、コンテンツサーバ３０２に対して、要求されたコンテンツを配信するように指示する。コンテンツサーバ３０２は、端末装置３０３に対して、要求されたコンテンツの符号化データを送信する。

端末装置３０３は、符号化データを受信して復号し、その画像や音声等をユーザに視聴させる。また、コンテンツ提供サーバ３０１は、以上のコンテンツ提供に対して課金処理を行う。

以上のようなサービスにおいて、コンテンツ提供サーバ３０１は、コンテンツサーバ３０２から取得したコンテンツ情報に含まれるフラグ値に基づいて、画像の特性により適したコンテンツの紹介情報を生成し、端末装置３０３に提供する。

コンテンツサーバ３０２がコンテンツ提供サーバ３０１に対して供給するコンテンツ情報は、コンテンツに関するあらゆる情報が含まれており、符号化データに付加されているフラグの値も記述されている。

コンテンツ提供サーバ３０１は、このフラグ値を利用して、画像の特性により適したコンテンツの紹介情報を生成する。

コンテンツ提供サーバ３０１は、通信部３１１、コンテンツ情報取得部３１２、フラグ判定部３１３、紹介情報生成部３１４、提供処理部３１５、および課金処理部３１６を有する。

通信部３１１は、所定のプロトコルに従って、ネットワーク３０４を介してコンテンツサーバ３０２および端末装置３０３と通信を行い、情報を授受する。

コンテンツ情報取得部３１２は、通信部３１１を介して、コンテンツサーバ３０２からコンテンツ情報を取得する処理を行う。コンテンツ情報取得部３１２は、取得したコンテンツ情報をフラグ判定部３１３に供給する。

フラグ判定部３１３は、コンテンツ情報に含まれるフラグ値を判定する。フラグ判定部３１３は、コンテンツ情報と、そのコンテンツ情報に含まれるフラグ値の判定結果とを、紹介情報生成部３１４に供給する。

紹介情報生成部３１４は、コンテンツ情報に基づいて、そのコンテンツを紹介し、取得要求を受け付けるためのGUI（Graphical User Interface）である紹介情報を生成する。このとき、紹介情報生成部３１４は、フラグ値の判定結果に基づいて、コンテンツの画像の種類（３Ｄ画像であるか、２Ｄ画像であるか、両用画像であるか）を示す情報を紹介情報に含める。

紹介情報生成部３１４は、生成した紹介情報を提供処理部３１５に供給する。

提供処理部３１５は、コンテンツの提供に関する処理を行う。提供処理部３１５は、通信部３１１を介して、端末装置３０３からの要求に基づいて、紹介情報を提供する。例えば、端末装置３０３が所定のURLにアクセスすると、提供処理部３１５は、そのURL（Uniform Resource Locator）に対応するWEBページとして、紹介情報を提供する。

また、提供処理部３１５は、通信部３１１を介して、端末装置３０３からの要求に基づいて、コンテンツを提供する処理を行う。例えば、提供処理部３１５は、通信部３１１を介して、端末装置３０３からのコンテンツ取得要求を受け付け、その要求をコンテンツサーバ３０２に供給する。

以上のような提供処理に基づくコンテンツサーバ３０２から端末装置３０３へのコンテンツの提供が確認されると、課金処理部３１６は、そのコンテンツ提供についての課金処理を行う。

［紹介情報］
図２４は、紹介情報の表示例を示す図である。紹介情報３２１は、例えば、HTML（HyperText Markup Language）等で記述されるWEBページであり、端末装置３０３のモニタに図２４に示されるような画像として表示される。

紹介情報３２１には、提供（配信・販売）可能なコンテンツの一覧が表示される。各コンテンツは、例えば、サムネイル画像、タイトル、画像種類情報、詳細表示用GUIボタン、および購入指示用GUIボタンにより構成される。

図２４の例では、タイトルが「コンテンツＡ」、「コンテンツＢ」、「コンテンツＣ」、および「コンテンツＤ」の４つのコンテンツの紹介情報が表示されている。

タイトル「コンテンツＡ」の表示の上には、「コンテンツＡ」の内容を画像で紹介する代表画像であるサムネイル画像３３１−１が表示される。タイトル「コンテンツＡ」の下には、この「コンテンツＡ」の詳細な情報を表示させるためのGUIボタンである詳細表示用GUIボタンと、「コンテンツＡ」の画像が両用画像であることを示す両用アイコン３３２−１とが表示される。さらにその下には、ユーザが「コンテンツＡ」を購入する際に押下する購入指示用GUIボタンが表示される。

同様に、タイトル「コンテンツＢ」の表示の上には、「コンテンツＢ」の内容を画像で紹介する代表画像であるサムネイル画像３３１−２が表示される。タイトル「コンテンツＢ」の下には、この「コンテンツＢ」の詳細な情報を表示させるためのGUIボタンである詳細表示用GUIボタンと、「コンテンツＢ」の画像が３Ｄ画像であることを示す３Ｄアイコン３３２−２とが表示される。さらにその下には、ユーザが「コンテンツＢ」を購入する際に押下する購入指示用GUIボタンが表示される。

同様に、タイトル「コンテンツＣ」の表示の上には、「コンテンツＣ」の内容を画像で紹介する代表画像であるサムネイル画像３３１−３が表示される。タイトル「コンテンツＣ」の下には、この「コンテンツＣ」の詳細な情報を表示させるためのGUIボタンである詳細表示用GUIボタンと、「コンテンツＣ」の画像が２Ｄ画像であることを示す２Ｄアイコン３３２−３とが表示される。さらにその下には、ユーザが「コンテンツＣ」を購入する際に押下する購入指示用GUIボタンが表示される。

同様に、タイトル「コンテンツＤ」の表示の上には、「コンテンツＤ」の内容を画像で紹介する代表画像であるサムネイル画像３３１−４が表示される。タイトル「コンテンツＤ」の下には、この「コンテンツＤ」の詳細な情報を表示させるためのGUIボタンである詳細表示用GUIボタンと、「コンテンツＤ」の画像が両用画像であることを示す両用アイコン３３２−４とが表示される。さらにその下には、ユーザが「コンテンツＤ」を購入する際に押下する購入指示用GUIボタンが表示される。

このように、各コンテンツの紹介情報には、コンテンツの画像の種類を示すアイコンが表示される。したがって、ユーザは、各コンテンツがどのような画像であるかを容易に把握することができ、所有する機器で再生可能なコンテンツであるか否かを容易に把握することができる。これにより、誤って再生不可能なコンテンツを購入してしまうといった不具合の発生を抑制することができる。

このようなコンテンツ提供サーバ３０１によるフラグ利用処理の流れの例を図２５のフローチャートを参照して説明する。

フラグ利用処理が開始されると、コンテンツ情報取得部３１２は、ステップＳ３０１において、コンテンツサーバ３０２からコンテンツ情報を取得する。

ステップＳ３０２において、フラグ判定部３１３は、取得されたコンテンツ情報に含まれるフラグの値を判定する。

ステップＳ３０３において、紹介情報生成部３１４は、コンテンツ情報に基づいて、コンテンツの紹介情報を生成する。ステップＳ３０４において、紹介情報生成部３１４は、判定されたフラグ値に対応する通知表示（例えばアイコン）を紹介情報に付加する。

ステップＳ３０５において、提供処理部３１５は、生成された紹介情報を記憶する。ステップＳ３０６において、提供処理部３１５は、端末装置３０３からの要求に応じて、紹介情報を、要求元の端末装置３０３に提供する。ステップＳ３０７において、提供処理部３１５は、端末装置３０３からの要求に応じて、コンテンツサーバ３０２のコンテンツを、要求元の端末装置３０３に提供させる。

ステップＳ３０８において、課金処理部３１６は、そのコンテンツの提供について、必要に応じて課金処理を行う。

ステップＳ３０８の処理が終了すると、フラグ利用処理が終了される。

このように、コンテンツ提供サーバ３０１は、各コンテンツのフラグを利用して、このような、２Ｄ画像や３Ｄ画像であることを示す情報だけでなく、両用画像であることを示す情報も端末装置３０３に提供することができる。つまり、コンテンツ提供サーバ３０１は、画像の特性により適した処理を行うことができる。

なお、ネットワークシステム３００の構成は任意である。例えば、コンテンツサーバ３０２や端末装置３０３が複数設けられていてもよい。

＜４．第４の実施の形態＞
［画像処理装置の構成］
以上においては、画像データ（符号化データ）に、２Ｄ画像や３Ｄ画像だけでなく両用画像も識別可能な、画像の種類を示すフラグを付加するように説明したが、このようなフラグの代わりに、２Ｄ画像か否かを示すフラグと、視差の大きさを示す視差情報を付加するようにしてもよい。

図２６は、本発明を適用した画像処理装置の他の構成例を示すブロック図である。図２６に示される画像処理装置４００は、基本的に図１の画像処理装置１００と同様の処理を行う。ただし、画像処理装置４００は、画像種類を示すフラグの代わりに、２Ｄ画像か否かを示すフラグと、視差の大きさを示す視差情報を符号化データに付加する。

したがって、画像処理装置４００は、基本的に図１の画像処理装置１００と同様の構成を有するが、画像処理装置１００の構成に加えて、視差情報生成部４１３をさらに有し、フラグ付加部１１４の代わりにフラグ視差情報付加部４１４を有する。

フラグ生成部１１３は、画像データの画像の種類を判別し、画像が２Ｄ画像であるか否かを示すフラグを生成し、そのフラグを画像データとともに視差情報生成部４１３に供給する。

視差情報生成部４１３は、フラグ生成部１１３により、画像データの画像が３Ｄ画像若しくは両用画像であると判定され、そのことを示す値のフラグが供給されると、画像データを参照し、左右の画像の視差の大きさ（視差量）を示す視差情報を生成する。視差情報生成部４１３は、フラグを（視差情報を生成した場合はその視差情報も）フラグ視差情報付加部４１４に供給する。

フラグ視差情報付加部４１４は、エンコーダ１１２から供給される符号化データの所定の位置に、視差情報生成部４１３から供給されたフラグ（および視差情報）を付加する。フラグ視差情報付加部４１４は、フラグ（および視差情報）を付加した符号化データを通信部１１５および記録部１１６に供給する。

図２７は、フラグおよび視差情報の例を説明する図である。

図２７の例に示されるように、フラグ生成部１１３は、画像データの画像が２Ｄ画像である場合、値「０」のフラグを生成する。逆に、画像データの画像が３Ｄ画像若しくは両用画像である場合、すなわち、左右２系統の画像からなる画像データの場合、値「１」のフラグを生成する。

フラグ生成部１１３が値「１」のフラグを生成すると、すなわち、画像データの画像が３Ｄ画像若しくは両用画像である場合、視差情報生成部４１３は、その左右の画像の視差量を求め、その視差量を示す視差情報を生成する。

したがって、図２７に示されるように、画像データの画像が２Ｄ画像である場合、符号化データには、値「０」のフラグが付加される。また、画像データの画像が３Ｄ画像である場合、符号化データには、値「１」のフラグと、視差情報（図２７の例の場合、値「３００」）が付加される。さらに、画像データの画像が両用画像である場合、符号化データには、値「１」のフラグと、視差情報（図２７の例の場合、値「２０」）が付加される。

つまり、この場合、フラグを利用する画像処理装置は、フラグと視差情報によって画像の種類が識別することができる。

このような画像処理装置４００が実行するフラグ視差情報付加処理の流れの例を、図２８のフローチャートを参照して説明する。

フラグ視差情報付加処理が開始されると、ステップＳ４０１において、画像取得部１１１は、画像データを取得する。ステップＳ４０２において、エンコーダ１１２は、画像データを符号化する。

ステップＳ４０３において、フラグ生成部１１３は、画像データの画像の種類を判定し、判定結果に応じた値のフラグを生成する。

ステップＳ４０４において、視差情報生成部４１３は、そのフラグの値から、画像データの画像が３Ｄ画像若しくは両用画像であるか否かを判定する。３Ｄ画像若しくは両用画像であると判定された場合、ステップＳ４０５に進む。

ステップＳ４０５において、視差情報生成部４１３は、視差情報を生成する。ステップＳ４０６において、フラグ視差情報付加部４１４は、フラグと視差情報を符号化データに付加する。付加が終わると、ステップＳ４０８に進む。

また、ステップＳ４０４において、２Ｄ画像であると判定された場合、ステップＳ４０７に進む。

ステップＳ４０７において、フラグ視差情報付加部４１４は、フラグを符号化データに付加する。付加が終わると、ステップＳ４０８に進む。

ステップＳ４０８において、通信部１１５は、フラグのみ、若しくは、フラグおよび視差情報が付加された符号化データを送信する。

ステップＳ４０９において、記録部１１６は、フラグのみ、若しくは、フラグおよび視差情報が付加された符号化データをリムーバブルメディア１０５に記録する。

ステップＳ４０９の処理が終了すると、フラグ視差情報付加処理が終了される。

以上のように、画像処理装置４００は、画像の種類に応じたフラグと視差情報を符号化データに付加することができる。つまり、画像処理装置４００は、画像の特性により適した処理を行うことができる。

＜５．第５の実施の形態＞
［画像処理装置の構成］
次に、上述の画像処理装置４００が出力した符号化データを処理する画像処理装置について説明する。

図２９は、本発明を適用した画像処理装置の他の構成例を示す図である。この画像処理装置５００は、画像処理装置２００と同様に、符号化データを復号し、符号化データに付加されているフラグの値に応じた処理を行う。ただし、画像処理装置５００は、符号化データに付加されている視差情報に基づいた処理も行う。

したがって、画像処理装置５００は、基本的に画像処理装置２００と同様の構成を有するが、フラグ抽出部２０３の代わりに、フラグ視差情報抽出部５０３を有し、デコーダ２０４の代わりにデコーダ５０４を有し、フラグ判定部２０５の変わりに画像判定部５０５を有し、フラグ処理部２０６の代わりにフラグ視差情報処理部５０６を有する。

フラグ視差情報抽出部５０３は、通信部２０１または再生部２０２により取得された符号化データに付加されているフラグを抽出する。なお、符号化データに視差情報も付加されている場合、フラグ視差情報抽出部５０３は、その視差情報も抽出する。

フラグ視差情報抽出部５０３は、符号化データをデコーダ５０４に供給するとともに、抽出したフラグ（および視差情報）を画像判定部５０５に供給する。

画像判定部５０５は、供給されたフラグや視差情報に基づいて符号化データの画像の種類を判定し、その判定結果をフラグ視差情報処理部５０６に供給する。なお、画像判定部５０５は、画像種類の判定結果をデコーダ５０４にも供給する。

デコーダ５０４は、デコーダ２０４の場合と同様に、符号化データを復号する。デコーダ５０４は、必要に応じて画像判定部５０５の判定結果を用いて復号処理を行う。デコーダ５０４は、符号化データを復号して得られた復号画像データをモニタ２０７に供給する。

フラグ視差情報処理部５０６は、フラグ、または、フラグおよび視差情報に基づいて、フラグ処理部２０６の場合と同様に、画像種類の通知や制御処理等を行う。

図３０は、視差量の例を示すグラフである。

図３０に示される曲線５２１のように、クリップのフレーム毎に視差量は変化する。画像判定部５０５は、両用画像と３Ｄ画像とを区別する視差の閾値（Ｔｈ）５２２を予め設定しており、視差情報の値がこの閾値を超えるか否かで、画像が３Ｄ画像であるか、両用画像であるかを識別する。

フラグ視差情報処理部５０６は、例えば画像処理装置２００の場合と同様に、このような判別結果に応じた処理を行う。

この画像処理装置５００により行われるフラグ視差情報利用処理の流れの例を、図３１のフローチャートを参照して説明する。

フラグ視差情報利用処理が開始されると、通信部２０１若しくは再生部２０２は、ステップＳ５０１において、符号化データを取得する。ステップＳ５０２において、フラグ視差情報抽出部５０３は、符号化データからフラグおよび視差情報を抽出する。

ステップＳ５０３において、画像判定部５０５は、抽出されたフラグの値を判定し、２Ｄ画像であるか否かを判定する。３Ｄ画像若しくは両用画像であると判定された場合、ステップＳ５０４に進む。

ステップＳ５０４において、画像判定部５０５は、抽出された視差情報に基づいて、視差の大きさが閾値以上であるか否かを判定する。視差の値が小さく、閾値より小さいと判定された場合、ステップＳ５０５に進む。

ステップＳ５０５において、画像判定部５０５は、フラグや視差情報に対応する画像を両用画像に設定する。ステップＳ５０５の処理を終了するとステップＳ５０８に進む。

また、ステップＳ５０４において視差が大きく閾値以上であると判定された場合、ステップＳ５０６に進む。ステップＳ５０６において、画像判定部５０５は、フラグや視差情報に対応する画像を３Ｄ画像に設定する。ステップＳ５０６の処理を終了するとステップＳ５０８に進む。

また、ステップＳ５０３において、フラグ値から２Ｄ画像であると判定された場合、ステップＳ５０７に進む。ステップＳ５０７において、画像判定部５０５は、フラグに対応する画像を２Ｄ画像に設定する。ステップＳ５０７の処理を終了するとステップＳ５０８に進む。

ステップＳ５０８において、画像判定部５０５は、クリップの全てのフラグおよび視差情報を処理したか否かを判定する。未処理のフラグや視差情報が存在すると判定された場合、ステップＳ５０２に戻り、それ以降の処理が繰り返される。

また、ステップＳ５０８において、全てのフラグおよび視差情報を処理したと判定された場合、ステップＳ５０９に進む。

ステップＳ５０９において、フラグ視差情報処理部５０６は、モニタ２０７を制御し、画像表示に同期して、設定に対応する通知表示を行う。

ステップＳ５１０において、デコーダ５０４は、設定および視差情報に基づいて、符号化データを復号する。

ステップＳ５１１において、モニタ５０７は、画像を表示する。

ステップＳ５１２において、フラグ視差情報処理部５０６は、フラグ視差情報利用処理を終了するか否かを判定する。クリップの最後まで表示しておらず、かつ、ユーザ等からも終了指示を受けていない場合、ステップＳ５０９に戻り、それ以降の処理を繰り返す。

ステップＳ５１２において、クリップの最後まで表示したか、若しくは、ユーザ等〜終了指示を受けたと判定された場合、フラグ視差情報利用処理が終了される。

このように、画像処理装置５００は、フラグおよび視差情報に基づいて、画像表示を制御することができ、両用画像を２Ｄ画像や３Ｄ画像と識別して処理することができる。つまり、画像処理装置５００は、画像の特性により適した処理を行うことができる。

＜６．第６の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、例えば、図３２に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。

図３２において、パーソナルコンピュータ６００のCPU（Central Processing Unit）６０１は、ROM（Read Only Memory）６０２に記憶されているプログラム、または記憶部６１３からRAM（Random Access Memory）６０３にロードされたプログラムに従って各種の処理を実行する。RAM６０３にはまた、CPU６０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU６０１、ROM６０２、およびRAM６０３は、バス６０４を介して相互に接続されている。このバス６０４にはまた、入出力インタフェース６１０も接続されている。

入出力インタフェース６１０には、キーボード、マウスなどよりなる入力部６１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部６１２、ハードディスクなどより構成される記憶部６１３、モデムなどより構成される通信部６１４が接続されている。通信部６１４は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース６１０にはまた、必要に応じてドライブ６１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア６２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部６１３にインストールされる。

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図３２に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア６２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM６０２や、記憶部６１３に含まれるハードディスクなどで構成される。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１００ 画像処理装置， １０１ ３Ｄ撮像装置， １０２ 両用撮像装置， １０３ ２Ｄ撮像装置， １１１ 画像取得部， １１２ エンコーダ， １１３ フラグ生成部， １１４ フラグ付加部， １１５ 通信部， １１６ 記録部， ２０１ 通信部， ２０２ 再生部， ２０３ フラグ抽出部， ２０４ デコーダ， ２０５ フラグ判定部， ２０６ フラグ処理部， ２０７ モニタ， ２０８ LED， ２０９ スピーカ， ２１０ メガネ制御部， ２１１ ３Ｄメガネ， ２２５ 両用アイコン， ３００ ネットワークシステム， ３０１ コンテンツ提供サーバ， ３１１ 通信部， ３１２ コンテンツ情報取得部， ３１３ フラグ判定部， ３１４ 紹介情報生成部， ３１５ 提供処理部， ３１６ 課金処理部， ４００ 画像処理装置， ４１３ 視差情報生成部， ４１４ フラグ視差情報付加部， ５００ 画像処理装置， ５０３ フラグ視差情報抽出部， ５０４ デコーダ， ５０５ 画像判定部， ５０６ フラグ視差情報処理部， ６００ パーソナルコンピュータ

Claims (15)

1. 画像データの画像が、平面視用の２Ｄ画像、左右の画像よりなる立体視用の３Ｄ画像、および、前記左右の画像よりなり立体視可能であるとともに前記３Ｄ画像より視差が小さく平面視可能な両用画像のいずれであるかを識別するためのフラグを生成するフラグ生成手段と、
   前記フラグ生成手段により生成された前記フラグを前記画像データに付加するフラグ付加手段と
   を備える画像処理装置。
2. 前記画像データを符号化する符号化手段をさらに備え、
   前記フラグ付加手段は、前記フラグ生成手段により生成された前記フラグを、前記符号化手段により前記画像データが符号化されて生成された符号化データに付加する
   請求項１に記載の画像処理装置。
3. 前記フラグ生成手段は、前記画像データの画像が、前記２Ｄ画像である場合、値「００」のフラグを生成し、前記３Ｄ画像である場合、値「１０」のフラグを生成し、前記両用画像である場合、値「０１」若しくは「１１」のフラグを生成する
   請求項１に記載の画像処理装置。
4. 前記フラグ生成手段は、前記画像データの画像が、前記２Ｄ画像である場合、値「１０」のフラグを生成し、前記３Ｄ画像である場合、値「０１」のフラグを生成し、前記両用画像である場合、値「１１」のフラグを生成する
   請求項１に記載の画像処理装置。
5. 画像処理装置の画像処理方法であって、
   前記画像処理装置のフラグ生成手段が、画像データの画像が、平面視用の２Ｄ画像、左右の画像よりなる立体視用の３Ｄ画像、および、前記左右の画像よりなり立体視可能であるとともに前記３Ｄ画像より視差が小さく平面視可能な両用画像のいずれであるかを識別するためのフラグを生成し、
   前記画像処理装置のフラグ付加手段が、生成された前記フラグを前記画像データに付加する
   画像処理方法。
6. 画像データに付加された、前記画像データの画像が、平面視用の２Ｄ画像、左右の画像よりなる立体視用の３Ｄ画像、および、前記左右の画像よりなり立体視可能であるとともに前記３Ｄ画像より視差が小さく平面視可能な両用画像のいずれであるかを識別するためのフラグを抽出するフラグ抽出手段と、
   前記フラグ抽出手段により抽出された前記フラグの値を判定するフラグ判定手段と、
   前記フラグ判定手段により判定された値に対応する処理を行うフラグ処理手段と
   を備える画像処理装置。
7. 前記フラグ処理手段は、前記フラグ判定手段により判定された前記フラグの値が示す前記画像データの画像の種類に応じたアイコンを表示させる
   請求項６に記載の画像処理装置。
8. 前記フラグ処理手段は、前記フラグ判定手段により判定された前記フラグの値が示す前記画像データの画像の種類に応じたLEDを点灯させる
   請求項６に記載の画像処理装置。
9. 前記フラグ処理手段は、前記フラグ判定手段により判定された前記フラグの値が示す前記画像データの画像の種類に応じて前記画像データの画像の表示サイズを設定し、表示させる
   請求項６に記載の画像処理装置。
10. 前記フラグ処理手段は、前記フラグ判定手段により判定された前記フラグの値が示す前記画像データの画像の種類に応じて前記画像データの画像のアスペクト比を設定し、表示させる
    請求項６に記載の画像処理装置。
11. 前記フラグ処理手段は、前記フラグ判定手段により判定された前記フラグの値が示す前記画像データの画像の種類に応じて、前記画像データの画像の画枠の太さを設定し、表示させる
    請求項６に記載の画像処理装置。
12. 前記フラグ処理手段は、前記フラグ判定手段により判定された前記フラグの値が示す前記画像データの画像の種類を通知する音声案内を出力させる
    請求項６に記載の画像処理装置。
13. 前記フラグ処理手段は、前記フラグ判定手段により判定された前記フラグの値が示す前記画像データの画像の種類を通知するように、前記画像データの画像を立体視する際にユーザが使用する３Ｄメガネを制御する
    請求項６に記載の画像処理装置。
14. 前記フラグ処理手段は、前記画像データの画像を表示する前に、前記フラグ判定手段により判定された前記フラグの値が示す前記画像データの画像の種類を通知する通知画像を表示させる
    請求項６に記載の画像処理装置。
15. 画像処理装置の画像処理方法であって、
    前記画像処理装置のフラグ抽出手段が、画像データに付加された、前記画像データの画像が、平面視用の２Ｄ画像、左右の画像よりなる立体視用の３Ｄ画像、および、前記左右の画像よりなり立体視可能であるとともに前記３Ｄ画像より視差が小さく平面視可能な両用画像のいずれであるかを識別するためのフラグを抽出し、
    前記画像処理装置のフラグ判定手段が、抽出された前記フラグの値を判定し、
    前記画像処理装置のフラグ処理手段が、判定された値に対応する処理を行う
    画像処理方法。

Images