JP5546690B2 - 画像処理装置、画像処理方法、プログラム、記録媒体及び撮像装置 - Google Patents

Description

本発明は、ユーザが視差の変化を把握し易いようにユーザの視差調整をアシストすることが可能な画像処理装置、画像処理方法、プログラム、記録媒体及び撮像装置に関する。

立体視可能な画像の撮像又は表示が可能な装置が普及している。

特許文献１には、被写体像の視差量を検出し、その視差量が立体視可能範囲内であれば、立体撮影を自動的に実行する構成が開示されている。

特許文献２には、画像から画面内の奧行き分布情報を抽出し、特定の距離以外の部分に対してボカシなど特殊効果処理を加える構成が開示されている。

特許文献３には、被写体の飛び出し量を、画像に重畳して表示する構成が開示されている。

特開２０１１−３３９９０号公報 特開２００６−２８７９６７号公報 特開２０１０−１７７９２１号公報

動画像を立体視可能に表示した状態で、ユーザの操作に応じて動画像を画像処理することにより動画像中の被写体像の視差調整を行うことは可能である。しかしながら、ユーザは、動画像の被写体像を奧行き方向に対し、出っ張り側（以下「凸側」ともいう）と引っ込み側（以下「凹側」ともいう）のどちら側にどの程度動かしているのか分かり難い、という課題がある。

例えば、ユーザのボタン操作に応じて被写体像を奧行き方向に対して凸側又は凹側に移動させている場合、ユーザは動画像の被写体像を立体視することでボタン操作量に対応した視差調整量を目で確認しようとする。この場合、実際には、ボタンの操作量に応じて、凸側及び凹側のうちのどちら側へどの程度視差が変化したのか、ユーザがわからないことがある。

また、立体動画の撮像時には撮像装置又は被写体が移動することでも視差が変化する。つまり、ユーザが視差調整操作を行わない場合でも、同様の課題は存在する。

また、何を基準に視差を調整すればよいのかがユーザにとってわかりにくいという課題もある。

本発明はこのような事情に鑑みてなされたもので、ユーザが視差の変化を把握し易いようにすることができる画像処理装置、画像処理方法、プログラム、記録媒体及び撮像装置を提供することを目的とする。

前記目的を達成するために、本発明の一態様に係る画像処理装置は、連続した複数の視点画像からなる動画像を取得する画像取得部と、画像取得部によって取得された動画像を表示する表示部と、画像取得部によって取得された動画像から特定の被写体像を選択する選択部と、選択部により選択された特定の被写体像の視差を動画像の複数の視点画像から連続して取得する視差取得部と、特定の被写体像の視差の時間的な変化を示す視差履歴情報であって特定の被写体像の現在の視差を含む視差履歴情報を視差取得部によって取得された視差に基づいて連続して生成する視差履歴情報生成部と、画像取得部によって取得された動画像の複数の視点画像と共に、視差履歴情報生成部によって生成された視差履歴情報を表示部に表示させる制御部とを備える。尚、表示部での動画像の表示は、３次元表示（立体視表示）する場合に特に限定されず、２次元表示（平面表示）する場合を含む。

この構成によれば、特定の被写体像の視差の時間的な変化を示す視差履歴情報であって特定の被写体像の現在の視差を含む視差履歴情報が連続して生成される。そして、その視差履歴情報が動画像の複数の視点画像と共に表示される。このため、ユーザは、動画像と共にリアルタイムに表示された視差履歴情報中の現在の視差と過去の視差とを観察することで、被写体像の視差の時間的な変化を容易に把握することができる。

上記一態様では、動画像中の特定の被写体像毎にマークを付与するマーキングを行う画像処理部を更に備え、視差履歴情報生成部は、特定の被写体像毎にマークと視覚的に関連付けて視差の変化を示す視差履歴情報を生成してもよい。即ち、ユーザはマーキングされた被写体像と視差履歴情報中の視差の変化とを容易に対応付けて観察することができるので、より容易に、視差の時間的変化を把握することができる。

上記一態様では、視差履歴情報生成部は、特定の被写体像毎にマークと色又は模様を同一にした線で特定の被写体像の視差の変化を示すグラフを、視差履歴情報として生成してもよい。即ち、ユーザは色又は模様により、より容易に、被写体像と視差履歴情報中の視差の変化とを対応付けて観察することができる。

上記一態様では、画像処理部によって特定の被写体像に付与されるマークは、特定の被写体像を囲む枠画像としてもよい。

上記一態様では、マーキング対象の被写体像の数の指示入力を受け付けるマーキング対象数指示入力部を更に備え、視差履歴情報生成部は、マーキング対象数指示入力部によって指示入力されたマーキング対象の被写体像の数だけ、マーキング対象の被写体像の視差の時間的な変化を示す視差履歴情報を生成し、画像処理部は、マーキング対象数指示入力部によって指示入力されたマーキング対象の被写体像の数だけ、マーキング対象の被写体像にマークを付与し、マーキング対象数指示入力部によってマーキング対象の被写体像の数が切り替えられると、マーキング対象の被写体像の数の切り替えに応じてマークの数を切り替えるようにしてもよい。即ち、マーキング対象数を多くした場合には多数の被写体像の視差の変化を一覧で確認することができる。また、マーキング対象数を一つにした場合には一つの被写体像に注目して視差の変化を観察することができる。

上記一態様では、動画中の被写体像のうちでマーキング対象の被写体像を示す指示入力を受け付けるマーキング対象指示入力部を更に備え、視差履歴情報生成部は、マーキング対象の被写体像の視差の時間的な変化を示す視差履歴情報を生成し、画像処理部は、マーキング対象指示入力部によって指示入力されたマーキング対象の被写体像にマークを付与し、マーキング対象指示入力部によってマーキング対象の被写体像が切り替えられると、マーキング対象の被写体像の切り替えに応じてマークの付与先を切り替えるようにしてもよい。即ち、マーキング対象は、任意の被写体像に変更可能である。

上記一態様では、視差履歴情報生成部は、マーキング対象指示入力部の指示入力によってマーキング対象の被写体像が変更された場合、変更前のマーキング対象の被写体像の視差の時間的変化を変更時点まで示すと共に、変更後のマーキング対象の被写体像の視差の時間的な変化を変更時点から示す視差履歴情報を生成するようにしてもよい。即ち、マーキング対象に変更があったことをユーザに通知することができ、変更前後で視差の違いを容易に把握することができる。

上記一態様では、動画中の特定の被写体像を追跡する追跡部を更に備え、視差取得部は、動画中の追跡部によって追跡された特定の被写体像の視差を取得するようにしてもよい。

上記一態様では、視差履歴情報生成部は、動画像における視差に関連する操作が行われた場合、動画像における視差に関連する操作のタイミングを示す情報を視差履歴情報に付加するようにしてもよい。即ち、どの操作がどのような視差変化に繋がったのかを把握することができる。

上記一態様では、視差履歴情報生成部は、立体視に適した視差の範囲を表した視差履歴情報を生成するようにしてもよい。即ち、効果的な視差調整のアシストが可能である。

上記一態様では、視差履歴情報生成部は、立体視に適さない視差の範囲を表した視差履歴情報を生成するようにしてもよい。即ち、立体視に適さない視差の範囲での撮影や表示を行わないようにユーザを誘導することができるので、立体画像の表示によりユーザが不快感を覚えることを防止することができる。

上記一態様では、視差履歴情報生成部は、選択部によって特定の被写体像が複数選択された場合、複数の特定の被写体像のうちで最も手前の被写体像又は最も奧の被写体像、もしくはこれらの両方の被写体像の視差履歴情報を生成するようにしてもよい。

上記一態様では、動画像の複数の視点画像に含まれる特定の被写体像の現在の視差を示す視差バーからなる視差ゲージであって視差の符号を視差バーの変位方向で表して視差の大きさを視差バーの長さで表す視差ゲージを生成する視差ゲージ生成部を更に備え、画像処理部は、表示部での特定の被写体像の視差の符号及び大きさのうちで少なくとも一方の時間的な変化に応じて視差バーの変位方向及び長さのうちで少なくとも一方が変化する視差ゲージを、視差履歴情報と共に動画に重畳するようにしてもよい。これによれば、視差バーの変位によりユーザが視差変化を把握することも可能になる。

また、本発明の一態様に係る画像処理方法は、連続した複数の視点画像からなる動画像を取得する画像取得部と、画像取得部によって取得された動画像を表示する表示部とを用いて行う画像処理方法であって、画像取得部によって取得された動画像から特定の被写体像を選択するステップと、選択された特定の被写体像の視差を動画像の複数の視点画像から連続して取得する視差取得ステップと、特定の被写体像の視差の時間的な変化を示す視差履歴情報であって特定の被写体像の現在の視差を含む視差履歴情報を視差取得ステップによって取得された視差に基づいて連続して生成する視差履歴情報生成ステップと、画像取得部によって取得された動画像の複数の視点画像と共に視差履歴情報生成ステップにて生成された視差履歴情報を表示部に表示させる表示ステップとを備える。

また、本発明の一態様に係るプログラムは、画像処理方法をコンピュータ装置に実行させる。

また、本発明の一態様に係る撮像装置は、画像処理装置を備え、被写体を撮像する撮像部によって画像取得部が構成される。

本発明によれば、ユーザが視差の変化を把握し易いようにすることができる。

本発明の一実施形態に係る画像処理装置の一適用例としての立体撮像装置の正面斜視図 図１の立体撮像装置の背面図 図１及び図２に示した立体撮像装置の内部構成例を示すブロック図 視差履歴情報及び視差ゲージを重畳した動画像の表示例を示す説明図 図４の視差履歴情報を拡大して示す拡大図 図４の視差ゲージを拡大して示す拡大図 凹側、凸側ともに視差量が大きい時の視差ゲージを示す拡大図 凹側、凸側ともに視差量が小さい時の視差ゲージを示す拡大図 第１実施形態における画像処理例を示すフローチャート 第２実施形態における動画像の表示例を示す説明図（マーキング対象数が２の場合） 第２実施形態における動画像の表示例を示す説明図（マーキング対象数が４の場合） 第２実施形態における動画像の表示例を示す説明図（マーキング対象数が１の場合） 第２実施形態における画像処理例を示すフローチャート 第３実施形態における動画像の表示例を示す説明図（例の１） 第３実施形態における動画像の表示例を示す説明図（例の２） 第３実施形態における動画像の表示例を示す説明図（例の３） 第３実施形態における画像処理例を示すフローチャート 第４実施形態における動画像の表示例を示す説明図（マーキング対象変更前） 第４実施形態における動画像の表示例を示す説明図（マーキング対象変更後） 第４実施形態における画像処理例を示すフローチャート 第５実施形態における動画像の表示例を示す説明図 第５実施形態における画像処理例を示すフローチャート 第６実施形態における動画像の表示例を示す説明図 第６実施形態における画像処理例を示すフローチャート 第７実施形態における動画像の表示例を示す説明図 第７実施形態における画像処理例を示すフローチャート 本発明を適用した立体画像再生表示装置の全体構成例を示すブロック図

以下、添付図面に従って、本発明の実施形態について詳細に説明する。

図１は本発明の一実施形態に係る画像処理装置の一適用例である立体撮像装置１の正面斜視図であり、図２はその背面図である。

図１に示すように、立体撮像装置１の本体１０の正面には、バリア１１、左右の撮像部１２、１３、フラッシュ１４、マイク１５が設けられている。また、立体撮像装置１の本体の上面には、レリーズスイッチ２０、ズームボタン２１が設けられている。

また、図２に示すように、立体撮像装置１の本体１０の背面には、表示部１６、モードボタン２２、視差調整ボタン２３、３Ｄ／２Ｄ切り替えボタン２４、ＭＥＮＵ／ＯＫボタン２５、十字ボタン２６、ＤＩＳＰ／ＢＡＣＫボタン２７が設けられている。

バリア１１は、本体１０の正面に摺動可能に装着される。バリア１１が上下に摺動することにより開状態と閉状態とが切り替えられる。

右目用の画像（右視点画像）を撮影する右撮像部１２及び左目用の画像（左視点画像）を撮影する左撮像部１３は、２つの視点から同一被写体を撮影した２枚の視点画像を取得する。右撮像部１２及び左撮像部１３は、撮影レンズ群、絞り、及び撮像素子を含む光学ユニットである。右撮像部１２及び左撮像部１３の撮影レンズ群は、被写体からの光を取り込む対物レンズ１２ａ、１３ａ、対物レンズ１２ａ、１３ａから入射した光路を略垂直に折り曲げるプリズム、ズームレンズ、フォーカスレンズを含んでいる。

フラッシュ１４は、被写体にフラッシュ光を照射するものであり、暗い被写体を撮影する場合や逆光時などに必要に応じて発光される。

表示部１６は、カラーで立体画像の３次元表示（以下、「３Ｄ表示」、「立体視表示」ともいう）と平面画像の２次元表示（以下、「２Ｄ表示」、「平面表示」ともいう）の両方を表示可能な表示デバイスである。本例の表示部１６は、タッチセンサを有し、各種の指示入力を行う際の指示入力デバイス（操作部）として兼用可能である。

表示部１６は、パララックスバリア、レンチキュラー方式、マイクロレンズアレイシートを用いるインテグラルフォトグラフィ方式、干渉現象を用いるホログラフィー方式などのいずれが採用されてもよい。また、表示部１６は、液晶表示デバイス、有機ＥＬ（electroluminescence）表示デバイスなどのいずれが採用されてもよい。

レリーズスイッチ２０は、いわゆる「半押し」及び「全押し」の二段ストローク式のスイッチで構成されている。このレリーズスイッチ２０を半押しすると撮影準備処理、すなわち、ＡＥ（Automatic Exposure：自動露出）、ＡＦ（Auto Focus：自動焦点合わせ）、ＡＷＢ（Automatic White Balance：自動ホワイトバランス）の各処理が行われる。そして、このレリーズスイッチ２０を全押しすると、画像の記録処理を行う。また、動画撮影時（例えば、モードボタン２２で動画撮影モード選択時、又はメニューから動画撮影モード選択時）、このレリーズスイッチ２０を全押しすると、動画の撮影を開始し、再度全押しすると、撮影を終了する。

ズームボタン２１は、右撮像部１２及び左撮像部１３のズーム操作に用いられる。ズームボタン２１は、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとを含んでいる。

モードボタン２２は、撮影モード及び再生モードの設定を指示入力するモード設定指示入力手段として機能する。撮影モードは、被写体を撮像し、画像を記録するモードである。再生モードは、記録された画像を再生表示するモードである。「撮影モード」として、本例では、動画撮影を行う「動画撮影モード」と、静止画撮影を行う「静止画撮影モード」がある。「動画撮影モード」及び「静止画撮影モード」のいずれを設定するかは、モードボタン２２により指示入力する。

視差調整ボタン２３は、立体視表示時（立体画像の撮像時及び再生表示時）に被写体像の視差を電子的に調整するボタンである。視差調整ボタン２３の右側を押下することにより、右撮像部１２で撮影された画像と左撮像部１３で撮影された画像との視差が凹側から凸側に所定量ずつ変化する。視差調整ボタン２３の左側を押下することにより、右撮像部１２で撮影された画像と左撮像部１３で撮影された画像との視差が凸側から凹側に所定量ずつ変化する。

３Ｄ／２Ｄ切り替えボタン２４は、３Ｄモードと２Ｄモードとを切り替えを指示入力する指示入力手段として機能する。具体的には、モードボタン２２で撮影モード（動画撮影モード又は静止画撮影モード）が設定されている状態では、３Ｄ／２Ｄ切り替えボタン２４により、多視点画像を撮影する「３Ｄ撮影モード」と単視点画像を撮影する「２Ｄ撮影モード」（具体的には「３Ｄ動画撮影モード」又は「２Ｄ動画撮影モード」）とが切り替えられる。モードボタン２２で再生モードが設定されている状態では、３Ｄ／２Ｄ切り替えボタン２４により、多視点画像を再生表示する「３Ｄ再生モード」と単視点画像を再生表示する「２Ｄ再生モード」とが切り替えられる。

ＭＥＮＵ／ＯＫボタン２５は、撮影及び再生機能の各種設定画面（メニュー画面）の呼び出し（ＭＥＮＵ機能）に用いられると共に、選択内容の確定、処理の実行指示等（ＯＫ機能）に用いられる。ユーザは、ＭＥＮＵ／ＯＫボタン２５により、立体撮像装置１の各種の調整項目を設定することが可能である。

十字ボタン２６は、各種の設定等を行うためのボタンであり、上下左右４方向に押圧操作可能に設けられている。ＤＩＳＰ／ＢＡＣＫボタン２７は、表示部１６の表示切り替えを指示するボタンとして機能する。

図３は、図１及び図２に示した立体撮像装置１の内部構成例を示すブロック図である。

尚、以下では、モードボタン２２により「動画撮影モード」が設定され、且つ３Ｄ／２Ｄ切り替えボタン２４により３Ｄモードが設定されているものとして説明する。即ち、以下の説明では、「３Ｄ動画撮影モード」が設定されている。

図３に示すように、本例の立体撮像装置１は、撮像部１２、１３（画像取得部）と、表示部１６と、追跡部３４と、枠生成部３６と、視差取得部３８と、視差履歴情報生成部４２と、視差ゲージ生成部４４と、重畳部４６と、立体撮像装置１の各部を制御する制御部５０と、ユーザから各種の指示入力を受け付ける操作部５２（指示入力部）を備える。

撮像部１２、１３（画像取得部）は、複数視点で被写体を連続して撮像することで、連続した複数の視点画像（左視点画像及び右視点画像）からなる動画像を取得する。

表示部１６は、撮像部１２、１３によって取得された動画像の３次元表示（「３Ｄ表示」又は「立体視表示」ともいう）又は２次元表示（「２Ｄ表示」、「平面表示」ともいう）を行う。

追跡部３４は、撮像部１２、１３によって取得された動画像から特定の被写体像を選択して、その動画像の中から選択された特定の被写体像を追跡する。

枠生成部３６は、動画像中の特定の被写体像毎にその特定の被写体像を囲む枠画像を生成する。

視差取得部３８は、動画像中の特定の被写体像の視差を動画像の複数の視点画像から連続して取得する。

視差履歴情報生成部４２は、動画像中の特定の被写体像の視差の時間的な変化を示す視差履歴情報であって、特定の被写体像の現在の視差を含む視差履歴情報を、視差取得部３８によって取得された視差に基づいて連続して生成する。

視差ゲージ生成部４４は、動画像の複数の視点画像に含まれる特定の被写体像の現在の視差を示す視差バーからなる視差ゲージを生成する。

重畳部４６は、撮像部１２、１３によって取得された動画像に、枠生成部３６によって生成された枠画像と、視差履歴情報生成部４２によって生成された視差履歴情報と、視差ゲージ生成部４４によって生成された視差ゲージとを重畳する。

制御部５０は、撮像部１２、１３によって取得された動画像の複数の視点画像と共に、枠生成部３６によって生成された枠画像と、視差履歴情報生成部４２によって生成された視差履歴情報と、視差ゲージ生成部４４によって生成された視差ゲージとを、表示部１６にリアルタイムに表示させる。

尚、「特定の被写体」とは、動画像中の被写体像から選択された被写体である。選択された「特定の被写体像」の具体例としては、制御部５０によって撮像部１２、１３のフォーカスレンズを合焦させた被写体の被写体像、追跡部３４によって画像処理を用いて検出された被写体像（例えば顔画像）、操作部５２によってユーザが選択指示（指示入力）した被写体像などがある。また、これら以外の態様によって、被写体像を選択してもよい。

追跡部３４、枠生成部３６、視差取得部３８、視差履歴情報生成部４２、視差ゲージ生成部４４、及び、重畳部４６は、例えばマイクロコンピュータ・デバイス及び電子回路によって構成される。

以下では、各種の実施形態に分けて、本発明における画像処理装置としての立体撮像装置１の具体的な構成について説明する。

［第１実施形態］
図４は、視差履歴情報及び視差ゲージを重畳した動画像の表示例を示す説明図である。

図４において、表示部１６には、現在の複数の視点画像（右視点画像及び左視点画像）に、枠画像７１及び枠画像７２と、視差グラフ８０と、視差ゲージ９０とが重畳されて表示されている。図４において、枠画像７１は、枠生成部３６によって生成された第１の人物の顔画像６１（凸側オブジェクト）を囲んでおり、枠画像７２は、木の画像６２（凹側オブジェクト）を囲んでいる。視差グラフ８０は、視差履歴情報生成部４２によって生成された視差履歴情報の表示の一例である。視差ゲージ９０は、視差ゲージ生成部４４によって生成される。重畳部４６は、制御部５０の指示に従って、撮像部１２、１３により取得された動画像に、枠画像７１、７２、視差グラフ８０、及び視差ゲージ９０を、重畳する。

図５は、図４の視差グラフ８０（視差履歴情報）を拡大して示す。

図５において、横軸は時間ｔ、縦軸は視差±Ｐを示している。視差グラフ８０は、特定の被写体像（「オブジェクト」ともいう）の視差の時間的な変化を示すグラフである。この視差グラフ８０は、線８０Ｃと、視差履歴線８１と、視差履歴線８２と、視差状態８０Ｒを含む。線８０Ｃは、視差量ゼロのクロスポイントを示している。視差履歴線８１は、凸側オブジェクト（図４の第１の人物の顔画像６１）の視差の時間的な変化を示している。視差履歴線８２は、凹側オブジェクト（図４の木の画像６２）の視差の時間的な変化を示している。視差状態８０Ｒは、現在時点ｔｒの視差状態を示している。この視差グラフ８０において、顔画像６１（凸側オブジェクト）の視差の大きさ（飛び出し量）が大きいほど、その視差の時間的変化を示す視差履歴線８１上の点はクロスポイントを示す線８０Ｃから離れる。また、木の画像６２（凹側オブジェクト）の視差の大きさ（引っ込み量）が大きいほど、その視差の時間的変化を示す視差履歴線８２上の点はクロスポイントを示す線８０Ｃから離れる。

即ち、視差グラフ８０は、特定のオブジェクト６１、６２の視差の時間的な変化を視覚的に示す視差履歴情報であって、特定のオブジェクト６１、６２の現在の視差を含む視差履歴情報である。ここで、「視差」は、被写体像（立体像）が凸側であるか（飛び出して見えるか）凹み側であるか（引っ込んで見えるか）を示す正負の符号と、視差の大きさ（視差量）を示す情報を含む。

視差グラフ８０（視差履歴情報）は、表示部１６に、動画像と同時にリアルタイムに表示される。即ち、動画像中の被写体像の視差の時間的な変化に応じて、視差グラフ８０中の視差履歴線８１、８２が時間的に変化する。

尚、視差グラフ８０は、動画像のフレーム毎に視差グラフ８０を更新する必要はない。視差グラフ８０は、例えば、適宜のフレーム数毎に更新して表示することも可能である。また、視差取得部３８における視差の取得周期及び視差履歴情報生成部４２における視差グラフ８０の生成周期（フレーム間隔）と、表示部１６における視差グラフ８０の表示周期（フレーム間隔）とが異なっていてもよい。例えば、視差グラフ８０の生成周期（及び視差の取得周期）の整数倍の周期で（即ち、視差グラフ８０の生成周期（及び視差の取得周期）よりも長い周期で）、視差グラフ８０を表示してもよい。即ち、視差履歴情報を時系列で間引いて表示してもよい。

図６Ａから図６Ｃは、図４の視差ゲージ９０を拡大して示す。尚、図６Ｂは、図６Ａの状態の時と比較して、凹側、凸側ともに視差量（引っ込み量、飛び出し量）が大きい時の例を示す。図６Ｃは、図６Ａの状態の時と比較して、凹側、凸側ともに視差量（引っ込み量、飛び出し量）が小さい時の例を示す。

図６Ａから図６Ｃにおいて、視差ゲージ９０は、クロスポイントを示す線９０Ｃを中心にして、図中の下方向を変位方向とした凸側の視差バー９１で凸側オブジェクト（図４の第１の人物の顔画像６１）の現在の視差の大きさ（飛び出し量）を示し、図中の上方向を変位方向とした凹側の視差バー９２で凹側オブジェクト（図４の木の画像６２）の現在の視差の大きさ（引っ込み量）を示す。

即ち、視差ゲージ９０は、特定のオブジェクト６１、６２の視差の符号（凸側であるか凹側であるかを示す）を視差バー９１、９２の変位方向で表して、視差の大きさを視差バー９１、９２の長さで表している。本例では、凸側の視差の大きさ（飛び出し量）を下方向の視差バー９１、凹側の視差の大きさ（引っ込み量）を上方向の視差バー９２で表している。

図４において、第１の人物の顔画像（第１の被写体像）６１にマーキングされた枠画像７１と、視差グラフ８０における第１の被写体像６１の視差の変化を示す視差履歴線８１と、視差ゲージ９０における第１の被写体像６１の視差を示す視差バー９１とは、同じ色及び同じ模様で描画される。同様に、木の画像（第２の被写体像）６２にマーキングされた枠画像７２と、視差グラフ８０における第２の被写体像６２の視差の変化を示す視差履歴線８２と、視差ゲージ９０における第２の被写体像６２の視差を示す視差バー９２とは、同じ色及び同じ模様で描画される。このように、観察者が容易に対応関係を認識できるように、枠生成部３６、視差履歴情報生成部４２、及び視差ゲージ生成部４４は、同一の被写体像に対応するマーク（本例では枠画像７１、７２）、視差履歴線８１、８２及び視差バー９１、９２を同じ色及び同じ模様（色及び模様の一方のみが同じでもよい）で生成する。図４に示したように、同一の被写体像に対応する枠画像７１又は７２、視差履歴線８１又は８２、及び視差バー９１又は９２同士を線（例えば矢印線や点線）で結合して描画してもよい。

図７は、第１実施形態において制御部５０によって実行される撮影処理（画像処理）の一例を示すフローチャートである。

ステップＳ１０２にて、３Ｄ（立体）画像撮影を開始する。

ステップＳ１０４にて、スルー画（ライブビュー画像）の表示を開始する。

ステップＳ１０６にて、視差取得部３８によって、特定のオブジェクト（被写体像）の視差を左視点画像及び右視点画像から取得する。本例では、追跡部３４が、撮像部１２、１３によって取得された動画像としてのスルー画から特定の被写体像を選択して、そのスルー画中の選択された特定の被写体像を追跡する。視差取得部３８は、少なくとも追跡部３４によって選択された追跡中の被写体像について、視差を時間的に連続して算出する。追跡する被写体像は、操作部５２によってユーザが選択指示した被写体像でもよいし、顔認識により画像処理を用いて検出した顔画像でもよいし、特徴点検出により特徴点を検出した特徴点画像（例えば木の画像）でもよいし、撮像部１２、１３のフォーカスレンズを合焦させた被写体の被写体像でもよい。

ステップＳ１０８にて、図４〜図６Ｃに示したように、枠生成部３６によって枠画像７１、７２を生成し、視差履歴情報生成部４２によって視差履歴情報として視差グラフ８０を生成し、視差ゲージ生成部４４によって視差ゲージ９０を生成する。そして、枠画像７１、７２、視差グラフ８０及び視差ゲージ９０は、重畳部４６によってスルー画（動画像）に重畳され、表示部１６にリアルタイムに表示される。

ステップＳ１１０にて、撮影終了か否かを判定する。撮影を終了しない場合には、ステップＳ１０６に戻る。ステップＳ１０６では、特定のオブジェクトの視差を連続して取得する。ステップＳ１０８では、現在の視差を含む視差履歴を示す視差グラフ８０を連続して生成し、現在の視差を示す視差ゲージ９０を生成する。そして、これらの視差グラフ８０及び視差ゲージ９０をスルー画に重畳する。これらのステップＳ１０６及びＳ１０８を、ステップＳ１１０に撮影終了と判定するまで繰り返す。

尚、動画像中の特定の被写体像毎に付与するマークとして、枠画像を例に説明したが、本発明におけるマークは枠画像には特に限定されない。例えば、星印や矢印等の記号でもよい。視差履歴情報生成部４２は、特定の被写体像毎にマークと視覚的に関連付けて視差の変化を示す視差履歴情報を生成する。例えば、視差履歴情報生成部４２は、特定の被写体像毎に、マークと色及び模様のうちで少なくとも一方を同一にした視差履歴線を含むグラフ（視差グラフ）を、視差履歴情報として生成する。

［第２実施形態］
第２実施形態では、操作部５２を、マーキング対象の被写体像の数（以下「マーキング対象数」という）の指示入力を受け付けるマーキング対象数指示入力部として用いる。尚、第１実施形態で既に説明した内容は、以下では説明を省略する。

枠生成部３６（画像処理部）は、操作部５２によって指示入力されたマーキング対象数だけ、各マーキング対象の被写体像に付与する枠画像を生成する。視差履歴情報生成部４２は、操作部５２によって指示入力されたマーキング対象数だけ、マーキング対象の被写体像の視差の時間的な変化を示す視差グラフ８０（視差履歴情報）を生成する。視差ゲージ生成部４４は、操作部５２によって指示入力されたマーキング対象数だけ、マーキング対象の被写体像の現在の視差を示す視差ゲージ９０を生成する。重畳部４６は、指示入力されたマーキング対象数だけ枠生成部３６で生成された枠画像を動画像に重畳すると共に、視差履歴情報生成部４２で生成された視差グラフ８０及び視差ゲージ生成部４４で生成された視差ゲージを動画像に重畳する。

図８Ａ〜図８Ｃは、第２実施形態において表示部１６に立体視表示される動画像の一例を示す説明図である。尚、図８Ａではマーキング対象数＝２であり、図８Ｂではマーキング対象数＝４であり、図８Ｃではマーキング対象数＝１である。

図８Ａ〜図８Ｃにおいて、符号６１〜６４はマーキング対象の被写体像を示し、符号７１〜７４はマーキング対象の被写体像に付与されたマークとしての枠画像を示す。符号８０は視差グラフであり、符号８１〜８４はマーキング対象の被写体像の視差の時間的な変化を示す視差履歴線である。符号９０は視差ゲージであり、符号９１〜９４はマーキング対象の被写体像の現在の視差を示す視差バーである。操作部５２によってマーキング対象数が切り替えられると、枠生成部３６はマーキング対象数の切り替えに応じて枠画像の数を切り替える。視差履歴情報生成部４２はマーキング対象数の切り替えに応じて視差履歴線の数を切り替える。視差ゲージ生成部４４はマーキング対象数の切り替えに応じて視差バーの数を切り替える。

本例の視差履歴情報生成部４２は、デフォルトとして、追跡部３４によって特定の被写体像が複数選択された場合、これらの複数の特定の被写体像のうちで最も手前の被写体像及び最も奧の被写体像の視差履歴情報を生成する。即ち、本例の視差履歴情報生成部４２は、図８Ａに示すように、マーキング数＝２をデフォルトとして、視差履歴情報を生成する。

また、本例の視差ゲージ生成部４４は、デフォルトとして、追跡部３４によって特定の被写体像が複数選択された場合、これらの複数の特定の被写体像のうちで最も手前の被写体像及び最も奧の被写体像の視差バーを生成する。即ち、本例の視差ゲージ生成部４４は、図８Ａに示すように、マーキング数＝２をデフォルトとして、視差ゲージを生成する。

また、本例の枠生成部３６は、デフォルトとして、追跡部３４によって特定の被写体像が複数選択された場合、これらの複数の特定の被写体像のうちで最も手前の被写体像及び最も奧の被写体像の枠画像を生成する。即ち、本例の枠生成部３６は、図８Ａに示すように、マーキング数＝２をデフォルトとして、枠画像を生成する。

図９は、第２実施形態において制御部５０によって実行される撮影処理（画像処理）の一例を示すフローチャートである。

図９において、ステップＳ２０２〜Ｓ２０８は、図７に示した第１実施形態における画像処理におけるステップＳ１０２〜Ｓ１０８と同様であり、説明を省略する。

ステップＳ２１０において、操作部５２によるマーキング対象数の切り替え要求があるか否かを判定する。マーキング対象数の切り替え要求ありの場合には、ステップＳ２１２にて、マーキング対象数の切り替え処理を行う。

ステップＳ２１４にて、撮影終了か否かを判定し、撮影終了でなければ、ステップＳ２０６に戻る。

尚、ステップＳ２０６では、操作部５２で指示入力されたマーキング対象数のオブジェクト（被写体像）の視差を取得する。ステップＳ２０８では、操作部５２で指示入力されたマーキング対象数のオブジェクトについて枠画像、視差グラフ及び視差ゲージを生成して、動画像に重畳し表示部１６に表示させる。

まず、図８Ａに示したマーキング対象数＝２の場合について詳説する。この例では、凹側及び凸側でそれぞれ一つずつ（合計で２つ）の代表オブジェクトがマーキング対象として選択されている。即ち、第１の人物の顔画像６１、及び木の画像６２を、マーキング対象として指示入力することで、マーキング対象数＝２が指示入力されている。例えば、表示部１６の画面上に設けられたタッチセンサにより、表示部１６の画面上の第１の人物の顔画像６１及び木の画像６２が表示された部分をそれぞれタッチ操作することで、マーキング対象を指示入力する。このようなマーキング対象の指示入力がない場合には、デフォルトとして、最も手前の被写体像及び最も奧の被写体像がマーキング対象として選択される。第１に、動画像には、第１の人物の顔画像６１を囲む枠画像７１と、木の画像６２を囲む枠画像７２が、重畳される。第２に、動画像には、第１の人物の顔画像６１の視差履歴線８１（現在の視差を含む視差履歴を表す線）と、木の画像６２の視差履歴線８２とを含む視差グラフ８０が、重畳される。第３に、動画像には、第１の人物の顔画像６１の視差バー９１（現在の視差を表すバー）と、木の画像６２の視差バー９２とを含む視差ゲージ９０が、重畳される。

次に、図８Ｂに示したマーキング対象数＝４の場合について説明する。この例では、凹側及び凸側でそれぞれ２つずつ（合計で４つ）の代表オブジェクトがマーキング対象として選択されている。即ち、第１の人物の顔画像６１、木の画像６２に加えて、第２の人物の顔画像６３、及び岩の部分画像６４をマーキング対象として追加で指示入力することで、マーキング対象数＝４を指示入力している。例えば、表示部１６の画面上に設けられたタッチセンサにより、表示部１６の画面上の第２の人物の顔画像６３及び岩の部分画像６４が表示された部分をそれぞれタッチ操作することで、マーキング対象の追加を指示入力する。第１に、動画像には、符号７１及び７２の枠画像に加えて、第２の人物の顔画像６３を囲む枠画像７３、及び岩の部分画像６４を囲む枠画像７４が、重畳される。第２に、動画像には、符号８１及び８２の視差履歴線に加えて、第２の人物の顔画像６３の視差履歴線８３、及び岩の部分画像６４の視差履歴線８４が、重畳される。第３に、動画像には、符号８１及び８２の視差バーに加えて、第２の人物の顔画像６３の視差バー９３、及び岩の部分画像６４の視差バー９４が、重畳される。

次に、図８Ｃに示したマーキング対象数＝１の場合について説明する。この例では、第１の人物の顔画像６１のみが、マーキング対象となっている。例えば、表示部１６の画面上に設けられたタッチセンサにより、表示部１６の画面上の第１の人物の顔画像６１をダブルタッチ操作することで、第１の人物の顔画像６１に関する詳細情報表示を指示入力する。即ち、詳細情報表示を指示入力することで、マーキング対象数＝１を指示入力している。第１に、動画像には、第１の人物の顔画像６１を囲む枠画像７１が、重畳される。第２に、動画像には、第１の人物の顔画像６１の視差履歴線８１が、重畳される。第３に、動画像には、第１の人物の顔画像６１の視差バー９１が、重畳される。更に、動画像には、第１の人物の顔画像６１の詳細情報が、重畳される。図８Ｃでは、詳細情報として、オブジェクト種類（顔）、動画上の座標、及び視差が、動画像に追加で重畳されている。

尚、マーキング対象の指示入力を受け付けてマーキング対象数をカウントする場合を例に説明したが、直接的にマーキング対象数の指示入力（例えば図８Ｂの場合には、マーキング対象数「４」の入力）を受け付けるようにしてもよい。

本実施形態によれば、動画像（例えばスルー画）の表示中に、複数のマーキング対象について現在の視差を含む視差履歴を一覧で確認できる。また、動画像（例えばスルー画）の表示中（例えば停止表示時）に、操作部５２で選択指示入力された１つのマーキング対象について、視差に関する詳細情報を確認することができる。

本例では、３Ｄ撮影時に本発明を実施することで、所望の３Ｄ画像を取得し易くなる。例えば、図８Ｂに示した表示例（複数オブジェクト表示）では、動画像の全体で複数のオブジェクト（被写体像）の視差量（視差の大きさ）を一定範囲内に収めるための視差調整を容易にする。また、クロスポイントを目的の複数のオブジェクト間に設定するための視差調整を容易にする。

［第３実施形態］
第３実施形態では、操作部５２を、動画中のマーキング対象の被写体像を示す指示入力を受け付けるマーキング対象指示入力部として用いる。尚、第１実施形態及び第２実施形態で既に説明した内容は、以下では説明を省略する。

枠生成部３６は、操作部５２によって指示入力されたマーキング対象の被写体像に付与する枠画像を、生成する。視差履歴情報生成部４２は、操作部５２によって指示入力されたマーキング対象の被写体像の視差の時間的な変化を示す視差グラフ８０（視差履歴情報）を、生成する。視差ゲージ生成部４４は、操作部５２によって指示入力されたマーキング対象の被写体像の現在の視差を示す視差ゲージ９０を、生成する。重畳部４６は、枠生成部３６で生成された枠画像を動画像に重畳すると共に、視差履歴情報生成部４２で生成された視差グラフ８０及び視差ゲージ生成部４４で生成された視差ゲージを動画像に重畳する。

図１０Ａ〜図１０Ｃは、第３実施形態において表示部１６に立体視表示される動画像の一例を示す説明図である。尚、図１０Ａはマーキング対象の被写体像として凸側の第１の人物の顔画像６１が指示入力されている状態を示す。図１０Ｂはマーキング対象の被写体像として凸側の第２の人物の顔画像６３が指示入力されている状態を示す。図１０Ｃはマーキング対象の被写体像として凹側の木の画像６２が指示入力されている状態を示す。

本例では、操作部５２を構成しているタッチセンサによって、マーキング対象の被写体像の指示入力を受け付ける。本例では、操作部５２のタッチセンサからの指示入力によってマーキング対象の被写体像が選択されると、枠生成部３６は、選択された被写体像に枠画像を付す。そして、視差履歴情報生成部４２は、選択された被写体像の視差履歴情報を生成する。このように、操作部５２による被写体像の選択に応じて、視差履歴情報および視差ゲージの切り替え表示が行われる。

尚、本例では、デフォルト（上記指示入力が行われる前の段階）において、上記の各実施形態と同様に、最も手前の被写体像及び最も奧の被写体像に枠画像を付して、視差履歴情報及び視差バーを生成するようにしてもよい。すなわち、本例の視差履歴情報生成部４２は、デフォルトとして、追跡部３４によって特定の被写体像が複数選択された場合、これらの複数の特定の被写体像のうちで最も手前の被写体像及び最も奧の被写体像の視差履歴情報を生成する。即ち、本例の視差履歴情報生成部４２は、デフォルトとして、図８Ａに示すように、凹側及び凸側でそれぞれ１つずつ被写体像を選択し、視差履歴情報を生成する。

また、本例の視差ゲージ生成部４４は、デフォルトとして、追跡部３４によって特定の被写体像が複数選択された場合、これらの複数の特定の被写体像のうちで最も手前の被写体像及び最も奧の被写体像の視差バーを生成する。即ち、本例の視差ゲージ生成部４４は、デフォルトとして、図８Ａに示すように、凹側及び凸側でそれぞれ１つずつ被写体像を選択し、視差ゲージを生成する。

また、本例の枠生成部３６は、デフォルトとして、追跡部３４によって特定の被写体像が複数選択された場合、これらの複数の特定の被写体像のうちで最も手前の被写体像及び最も奧の被写体像の枠画像を生成する。即ち、本例の枠生成部３６は、デフォルトとして、図８Ａに示すように、凹側及び凸側でそれぞれ１つずつ被写体像を選択し、枠画像を生成する。

図１１は、第３実施形態において制御部５０によって実行される撮影処理（画像処理）の一例を示すフローチャートである。

図１１において、ステップＳ３０２〜Ｓ３０８は、図７に示した第１実施形態における画像処理におけるステップＳ１０２〜Ｓ１０８と同様であり、説明を省略する。

ステップＳ３１０において、マーキング対象の切り替え要求があるか否かを判定する。マーキング対象の切り替え要求ありの場合には、ステップＳ３１２にて、マーキング対象の切り替え処理を行う。

ステップＳ３１４にて、撮影終了か否かを判定し、撮影終了でなければ、ステップＳ３０６に戻る。

例えば、図１０Ａに示したように第１の人物の顔画像６１がマーキング対象となっている状態で、タッチセンサにより第２の人物の顔画像６３が新たなマーキング対象として指示入力された時、枠生成部３６は、図１０Ｂに示すように第２の人物の顔画像６３の枠画像７３を生成し、重畳部４６は、その枠画像７３をスルー画（動画）に重畳し、表示部１６は、そのスルー画を表示する。

本実施形態によれば、マーキング対象を任意に変更できるため、任意のオブジェクト（被写体像）の視差量を容易且つ確実に把握して、３Ｄ撮像及び３Ｄ再生表示を行うことができる。

［第４実施形態］
第４実施形態において、視差履歴情報生成部４２は、操作部５２（マーキング対象指示入力部）の指示入力によってマーキング対象の被写体像が変更された場合、変更前のマーキング対象の被写体像の視差の時間的変化を変更時点まで示すと共に変更後のマーキング対象の被写体像の視差の時間的な変化を変更時点から示す視差グラフ（視差履歴情報）を生成する。尚、第１実施形態〜第３実施形態で既に説明した内容は、以下では説明を省略する。

図１２Ａ及び図１２Ｂは、第４実施形態において表示部１６に立体視表示される動画像の一例を示す説明図である。尚、図１２Ａではマーキング対象が第１の人物の顔画像６１及び岩の部分画像６４である。図１２Ｂではマーキング対象が第１の人物の顔画像６１及び木の画像６２である。また、本例では、操作部５２を構成しているタッチセンサによって、マーキング対象の被写体像の指示入力を受け付ける。

図１３は、第４実施形態において制御部５０によって実行される撮影処理（画像処理）の一例を示すフローチャートである。

図１３において、ステップＳ４０２〜Ｓ４０８は、図７に示した第１実施形態における画像処理におけるステップＳ１０２〜Ｓ１０８と同様であり、説明を省略する。

ステップＳ４１０において、マーキング対象に変更があるか否かを判定する。マーキング対象に変更ありの場合には、ステップＳ４１２にて、視差履歴情報（視差グラフ８０）及び視差ゲージ９０上にマーキング対象変更を表現する。

ステップＳ４１４にて、撮影終了か否かを判定する。撮影終了でなければ、ステップＳ４０６に戻る。

例えば、図１２Ａに示したように第１の人物の顔画像６１及び岩の部分画像６４がマーキング対象となっている状態で、第１の人物の顔画像６１及び岩の部分画像６４のうちで、岩の部分画像６４から木の画像６２にマーキング対象を変更するよう、タッチセンサにより指示入力されたとする。そうすると、視差履歴情報生成部４２は、図１２Ｂに示すように、第１の人物の顔画像６１の視差の時間的な変化を示す視差履歴線８１と、マーキング対象変更以前の岩の部分画像６４の視差の時間的な変化を示す視差履歴線８４と、マーキング対象変更以降の木の画像６２の視差の時間的な変化を示す視差履歴線８２とを含む視差グラフ８０を生成する。視差ゲージ生成部４４は、第１の人物の顔画像６１の現在の視差を示す視差バー９１と、木の画像６２の現在の視差を示す視差バー９２とを含む視差ゲージ９０を生成する。重畳部４６は、枠生成部３６で生成された枠画像７１、７２と、視差履歴情報生成部４２で生成された視差グラフ８０と、視差ゲージ生成部４４で生成された視差ゲージ９０とを、スルー画（動画）に重畳し、表示部１６は、そのスルー画を表示する。

即ち、本例の制御部５０は、操作部５２（マーキング対象数指示入力部）によってマーキング対象が岩の部分画像６４から木の画像６２に切り替えられると、その切り替えに応じて、マークとしての枠画像の付与先を岩の部分画像６４から木の画像６２に切り替え、視差グラフ８０中に表す視差履歴線を岩の部分画像６４の視差の時間的な変化を示す視差履歴線８４から木の画像６２の視差の時間的な変化を示す視差履歴線８２に変更する。さらに、視差ゲージ９０中に表す視差バーを岩の部分画像６４の現在の視差を示す視差バー９４から木の画像６２の現在の視差を示す視差バー９２に変更する。この場合、視差グラフ８０は、変更前にマーキング対象であった岩の部分画像６４の視差の変更時点までの時間的変化を示すと共に、変更後にマーキング対象となった木の画像６２の視差の変更時点からの時間的な変化を示す。

本実施形態によれば、マーキング対象が途中で変更されたことを、ユーザに分かり易く通知できる。

［第５実施形態］
第５実施形態では、視差履歴情報生成部４２は、動画像における視差に関連する操作が行われた場合、動画像における視差に関連する操作のタイミングを示す操作履歴情報を視差履歴情報に付加する。尚、第１実施形態〜第４実施形態で既に説明した内容は、以下では説明を省略する。

図１４は、第５実施形態において表示部１６に立体視表示される動画像の一例を示す説明図である。図１４において、視差グラフ８０には、操作履歴情報として、撮影時には「撮影」、視差調整時には「視差＋」又は「視差−」が付加されている。

図１５は、第５実施形態において制御部５０によって実行される撮影処理（画像処理）の一例を示すフローチャートである。

図１５において、ステップＳ５０２〜Ｓ５０８は、図７に示した第１実施形態における画像処理におけるステップＳ１０２〜Ｓ１０８と同様であり、説明を省略する。

ステップＳ５１０において、視差履歴情報生成部４２によって、動画における視差量に関連する操作のタイミングを示す操作履歴情報が付加された視差グラフ８０が生成されると共に、視差ゲージ生成部４４によって視差ゲージ９０が生成される。そして、重畳部４６によって、生成された視差グラフ８０及び視差ゲージ９０がスルー画に重畳され、そのスルー画が表示部１６に表示される。

本実施形態によれば、視差量に関連する操作と視差量の変化とが関連付けて表示されるため、通常ではわかりにくい、操作と視差量との関係を視覚的且つ直感的に把握することが可能となる。したがって、本実施形態によれば、ユーザの３Ｄ撮像及び３Ｄ再生表示における視差量適否判断や視差調整操作をアシストすることができる。

［第６実施形態］
第６実施形態では、視差履歴情報生成部４２及び視差ゲージ生成部４４は、それぞれ、立体視に適した視差の範囲（オススメ視差領域）を表した視差グラフ（視差履歴情報）及び視差ゲージを生成する。尚、第１実施形態〜第５実施形態で既に説明した内容は、以下では説明を省略する。

図１６は、第６実施形態において表示部１６に立体視表示される動画像の一例を示す説明図である。図１６において、視差グラフ８０及び視差ゲージ９０には、それぞれオススメ視差領域８０Ａ、９０Ａが表されている。

図１７は、第６実施形態において制御部５０によって実行される撮影処理（画像処理）の一例を示すフローチャートである。

図１７において、ステップＳ６０２〜Ｓ６０８は、図７に示した第１実施形態における画像処理におけるステップＳ１０２〜Ｓ１０８と同様であり、説明を省略する。

ステップＳ６１０において、視差履歴情報生成部４２によって、オススメ視差領域８０Ａを表した視差グラフ８０が生成されると共に、視差ゲージ生成部４４によってオススメ視差領域９０Ａを表した視差ゲージ９０が生成される。そして、重畳部４６によって、生成された視差グラフ８０及び視差ゲージ９０がスルー画に重畳され、そのスルー画が表示部１６に表示される。

本実施形態によれば、オススメ視差量範囲情報が付加された視差グラフ及び視差ゲージを見ながら、３Ｄ撮像又は３Ｄ再生表示を行うことができる。これにより、３Ｄ撮像又は３Ｄ再生表示に慣れていない初心者でも、容易に健康に害のない３Ｄ撮像又は３Ｄ再生表示を楽しむことが可能になる。

［第７実施形態］
第７実施形態では、視差履歴情報生成部４２及び視差ゲージ生成部４４は、それぞれ、立体視に適さない視差の範囲（異常視差領域）を表した視差グラフ（視差履歴情報）及び視差ゲージを生成する。尚、第１実施形態〜第６実施形態で既に説明した内容は、以下では説明を省略する。

図１８は、第７実施形態において表示部１６に立体視表示される動画像の一例を示す説明図である。図１８において、視差グラフ８０及び視差ゲージ９０には、それぞれ異常視差領域８０Ｂ、９０Ｂが表されている。

図１９は、第７実施形態において制御部５０によって実行される撮影処理（画像処理）の一例を示すフローチャートである。

図１９において、ステップＳ７０２〜Ｓ７０８は、図７に示した第１実施形態における画像処理におけるステップＳ１０２〜Ｓ１０８と同様であり、説明を省略する。

ステップＳ７１０において、視差履歴情報生成部４２によって、異常視差領域８０Ｂを表した視差グラフ８０が生成されると共に、視差ゲージ生成部４４によって異常視差領域９０Ｂを表した視差ゲージ９０が生成される。そして、重畳部４６によって、生成された視差グラフ８０及び視差ゲージ９０がスルー画に重畳され、そのスルー画が表示部１６に表示される。

本実施形態によれば、異常視差量範囲情報が付加された視差グラフ及び視差ゲージを見ながら、３Ｄ撮像又は３Ｄ再生表示を行うことができる。これにより、３Ｄ撮像又は３Ｄ再生表示に慣れていない初心者でも、立体視に適さない視差の範囲での３Ｄ撮影や３Ｄ再生表示を行わないようにユーザを誘導することができる。これにより、初心者のユーザであっても、立体画像の表示により不快感を覚えることを防止することができる。

以上、本発明における画像処理装置として立体視可能な動画像（３Ｄ動画像）を撮像する立体撮像装置を例に説明したが、本発明は立体撮像装置には限定されない。例えば、立体視可能な動画像（３Ｄ動画像）を再生表示する立体再生表示装置にも本発明を適用することができる。

図２０は、本発明を適用した立体画像再生表示装置の全体構成例を示すブロック図である。図２０において、図３の立体撮像装置１と同じ構成要素には同じ符号を付した。尚、図１〜図３の立体撮像装置１と同じ構成要素の説明は省略する。

図２０の立体画像再生表示装置１００は、図３の撮像部１２、１３の代わりに、動画像を入力可能な画像入力部３２を備える。

図２０の画像入力部３２の例としては、メモリカード等の記憶媒体から動画像を入力する記憶媒体インタフェースデバイス、電気通信回線等を介して通信により動画像を入力する通信インタフェースデバイス等が挙げられる。

尚、複数の視点画像からなる動画像を表示部１６で３次元表示（立体視表示）する場合を例に説明したが、本発明は動画像を２次元表示（平面表示）する場合にも適用できる。即ち、本発明の画像処理装置は、複数の視点画像からなる動画像を２次元表示しかできない装置（例えば撮像装置、表示装置）を含む。

尚、本発明の範囲には、上記の画像処理方法をコンピュータ装置のプロセッサに実行させるためのプログラム、該プログラムを格納したコンピュータ読取可能な非一時的（non-transitory）な記録媒体及びコンピュータプログラムプロダクトが含まれる。

本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。

１２、１３…撮像部（画像取得部）、１６…表示部、３２…画像入力部（画像取得部）、３４…追跡部、３６…枠生成部、３８…視差取得部、４２…視差履歴情報生成部、４４…視差ゲージ生成部、４６…重畳部、４８…記憶部、５０…制御部、５２…操作部（マーキング対象数指示入力部、マーキング対象指示入力部）

Claims (21)

1. 連続して撮像された複数の視点画像からなる動画像を取得する画像取得部と、
   前記画像取得部によって取得された前記動画像を表示する表示部と、
   前記画像取得部によって取得された前記動画像から特定の被写体像を選択する選択部と、
   前記選択部により選択された前記特定の被写体像の視差を前記動画像の前記複数の視点画像から連続して取得する視差取得部と、
   前記特定の被写体像の視差の時間的な変化を示す視差履歴情報であって、前記特定の被写体像の現在の視差を含む前記視差履歴情報を前記視差取得部によって取得された前記視差に基づいて連続して生成する視差履歴情報生成部と、
   前記画像取得部によって取得された前記動画像の前記複数の視点画像と共に前記視差履歴情報生成部によって生成された前記視差履歴情報を前記表示部に表示させる制御部であって、前記視差履歴情報を前記表示部に表示させるときの表示周期を前記視差取得部によって前記視差を取得する周期よりも長くする制御部と、
   を備えた画像処理装置。
2. 連続して撮像された複数の視点画像からなる動画像を取得する画像取得部と、
   前記画像取得部によって取得された前記動画像を表示する表示部と、
   前記画像取得部によって取得された前記動画像から特定の被写体像を選択する選択部と、
   前記選択部により選択された前記特定の被写体像の視差を前記動画像の前記複数の視点画像から連続して取得する視差取得部と、
   前記特定の被写体像の視差の時間的な変化を示す視差履歴情報であって、前記特定の被写体像の現在の視差を含む前記視差履歴情報を前記視差取得部によって取得された前記視差に基づいて連続して生成する視差履歴情報生成部と、
   前記画像取得部によって取得された前記動画像の前記複数の視点画像と共に前記視差履歴情報生成部によって生成された前記視差履歴情報を前記表示部に表示させる制御部とを備え、
   前記視差履歴情報生成部は、前記動画像における視差に関連する操作が行われた場合、前記動画像における視差に関連する操作のタイミングを示す情報を前記視差履歴情報に付加する画像処理装置。
3. 前記動画像中の前記特定の被写体像毎にマークを付与するマーキングを行う画像処理部を更に備え、
   前記視差履歴情報生成部は、前記特定の被写体像毎に前記マークと視覚的に関連付けて前記視差の変化を示す前記視差履歴情報を生成する請求項１又は２に記載の画像処理装置。
4. 連続して撮像された複数の視点画像からなる動画像を取得する画像取得部と、
   前記画像取得部によって取得された前記動画像を表示する表示部と、
   前記画像取得部によって取得された前記動画像から特定の被写体像を選択する選択部と、
   前記選択部により選択された前記特定の被写体像の視差を前記動画像の前記複数の視点画像から連続して取得する視差取得部と、
   前記特定の被写体像の視差の時間的な変化を示す視差履歴情報であって、前記特定の被写体像の現在の視差を含む前記視差履歴情報を前記視差取得部によって取得された前記視差に基づいて連続して生成する視差履歴情報生成部と、
   前記画像取得部によって取得された前記動画像の前記複数の視点画像と共に前記視差履歴情報生成部によって生成された前記視差履歴情報を前記表示部に表示させる制御部と、
   前記動画像中の前記特定の被写体像毎にマークを付与するマーキングを行う画像処理部と、
   前記動画像中の被写体像のうちでマーキングの対象の被写体像を示す指示入力を受け付けるマーキング対象指示入力部とを備え、
   前記視差履歴情報生成部は、前記特定の被写体像毎に前記マークと視覚的に関連付けて前記視差の変化を示す前記視差履歴情報を生成し、前記マーキング対象指示入力部の指示入力によって前記マーキングの対象の被写体像が変更された場合、変更前の前記マーキングの対象の被写体像の視差の時間的変化を変更時点まで示すと共に、変更後の前記マーキングの対象の被写体像の視差の時間的な変化を変更時点から示す前記視差履歴情報を生成する画像処理装置。
5. 前記視差履歴情報生成部は、前記特定の被写体像毎に前記マークと色又は模様を同一にした線で前記特定の被写体像の視差の変化を示すグラフを、前記視差履歴情報として生成する請求項３又は４に記載の画像処理装置。
6. 前記画像処理部によって前記特定の被写体像に付与される前記マークは、前記特定の被写体像を囲む枠画像である請求項３から５のうちいずれか１項に記載の画像処理装置。
7. 前記マーキングの対象の被写体像の数の指示入力を受け付けるマーキング対象数指示入力部を更に備え、
   前記視差履歴情報生成部は、前記マーキング対象数指示入力部によって指示入力された前記マーキングの対象の被写体像の数だけ、前記マーキングの対象の被写体像の視差の時間的な変化を示す前記視差履歴情報を生成し、
   前記画像処理部は、前記マーキング対象数指示入力部によって指示入力された前記マーキングの対象の被写体像の数だけ、前記マーキングの対象の被写体像に前記マークを付与し、前記マーキング対象数指示入力部によって前記マーキングの対象の被写体像の数が切り替えられると、前記マーキングの対象の被写体像の数の切り替えに応じて前記マークの数を切り替える請求項３から６のうちいずれか１項に記載の画像処理装置。
8. 前記視差履歴情報生成部は、前記マーキングの対象の被写体像の視差の時間的な変化を示す前記視差履歴情報を生成し、
   前記画像処理部は、前記マーキング対象指示入力部によって指示入力された前記マーキングの対象の被写体像に前記マークを付与し、前記マーキング対象指示入力部によって前記マーキングの対象の被写体像が切り替えられると、前記マーキングの対象の被写体像の切り替えに応じて前記マークの付与先を切り替える請求項４に記載の画像処理装置。
9. 前記動画像中の前記特定の被写体像を追跡する追跡部を更に備え、
   前記視差取得部は、前記動画像中の前記追跡部によって追跡された前記特定の被写体像の視差を取得する請求項１から８のうちいずれか１項に記載の画像処理装置。
10. 前記視差履歴情報生成部は、立体視に適した視差の範囲を表した前記視差履歴情報を生成する請求項１から９のうちいずれか１項に記載の画像処理装置。
11. 前記視差履歴情報生成部は、立体視に適さない視差の範囲を表した前記視差履歴情報を生成する請求項１から１０のうちいずれか１項に記載の画像処理装置。
12. 前記視差履歴情報生成部は、前記選択部によって前記特定の被写体像が複数選択された場合、前記複数の特定の被写体像のうちで最も手前の被写体像又は最も奧の被写体像、もしくはこれらの両方の被写体像の前記視差履歴情報を生成する請求項１から１１のうちいずれか１項に記載の画像処理装置。
13. 前記動画像の前記複数の視点画像に含まれる前記特定の被写体像の現在の視差を示す視差バーを含む視差ゲージであって、前記視差の符号を前記視差バーの変位方向で表して前記視差の大きさを前記視差バーの長さで表す前記視差ゲージを生成する視差ゲージ生成部を更に備え、
    前記画像処理部は、前記表示部での前記特定の被写体像の前記視差の符号及び大きさのうちで少なくとも一方の時間的な変化に応じて前記視差バーの変位方向及び長さのうちで少なくとも一方が変化する前記視差ゲージを、前記視差履歴情報と共に前記動画像に重畳する請求項３から８のうちいずれか１項に記載の画像処理装置。
14. 連続して撮像された複数の視点画像からなる動画像を取得する画像取得部と、前記画像取得部によって取得された前記動画像を表示する表示部とを用いて行う画像処理方法であって、
    前記画像取得部によって取得された前記動画像から特定の被写体像を選択するステップと、
    選択された前記特定の被写体像の視差を前記動画像の前記複数の視点画像から連続して取得する視差取得ステップと、
    前記特定の被写体像の視差の時間的な変化を示す視差履歴情報であって、前記特定の被写体像の現在の視差を含む前記視差履歴情報を、前記視差取得ステップにおいて取得された前記視差に基づいて連続して生成する視差履歴情報生成ステップと、
    前記画像取得部によって取得された前記動画像の前記複数の視点画像と共に、前記視差履歴情報生成ステップにおいて生成された前記視差履歴情報を前記表示部に表示させ、前記視差履歴情報を前記表示部に表示させるときの表示周期を前記視差取得ステップにおいて前記視差を取得する周期よりも長くする表示ステップと、
    を備えた画像処理方法。
15. 連続して撮像された複数の視点画像からなる動画像を取得する画像取得部によって取得された前記動画像から特定の被写体像を選択する機能と、
    選択された前記特定の被写体像の視差を前記動画像の前記複数の視点画像から連続して取得する機能と、
    前記特定の被写体像の視差の時間的な変化を示す視差履歴情報であって、前記特定の被写体像の現在の視差を含む前記視差履歴情報を、前記取得した前記視差に基づいて連続して生成する機能と、
    前記画像取得部によって取得された前記動画像の前記複数の視点画像と共に、前記視差履歴情報を表示部に表示させ、前記視差履歴情報を前記表示部に表示させるときの表示周期を前記視差を取得する周期よりも長くする機能と、
    をコンピュータ装置に実行させるプログラム。
16. 請求項１から１３のうちいずれか１項に記載の画像処理装置を備え、
    被写体を撮像する撮像部によって前記画像取得部が構成されている撮像装置。
17. 前記制御部は、前記視差履歴情報を前記表示部に表示させるときの表示周期を前記視差取得部によって前記視差を取得する周期よりも長くする請求項２又は４に記載の画像処理装置。
18. 連続して撮像された複数の視点画像からなる動画像を取得する画像取得部と、前記画像取得部によって取得された前記動画像を表示する表示部とを用いて行う画像処理方法であって、
    前記画像取得部によって取得された前記動画像から特定の被写体像を選択するステップと、
    選択された前記特定の被写体像の視差を前記動画像の前記複数の視点画像から連続して取得する視差取得ステップと、
    前記特定の被写体像の視差の時間的な変化を示す視差履歴情報であって、前記特定の被写体像の現在の視差を含む前記視差履歴情報を、前記視差取得ステップにおいて取得された前記視差に基づいて連続して生成する視差履歴情報生成ステップと、
    前記画像取得部によって取得された前記動画像の前記複数の視点画像と共に、前記視差履歴情報生成ステップにおいて生成された前記視差履歴情報を前記表示部に表示させる表示ステップと、
    前記動画像における視差に関連する操作が行われた場合、前記動画像における視差に関連する操作のタイミングを示す情報を前記視差履歴情報に付加するステップと、
    を備えた画像処理方法。
19. 連続して撮像された複数の視点画像からなる動画像を取得する画像取得部と、前記画像取得部によって取得された前記動画像を表示する表示部とを用いて行う画像処理方法であって、
    前記画像取得部によって取得された前記動画像から特定の被写体像を選択するステップと、
    選択された前記特定の被写体像の視差を前記動画像の前記複数の視点画像から連続して取得する視差取得ステップと、
    前記特定の被写体像の視差の時間的な変化を示す視差履歴情報であって、前記特定の被写体像の現在の視差を含む前記視差履歴情報を、前記視差取得ステップにおいて取得された前記視差に基づいて連続して生成する視差履歴情報生成ステップと、
    前記画像取得部によって取得された前記動画像の前記複数の視点画像と共に、前記視差履歴情報生成ステップにおいて生成された前記視差履歴情報を前記表示部に表示させる表示ステップと、
    前記動画像中の前記特定の被写体像毎にマークを付与するマーキングを行う画像処理ステップと、
    前記動画像中の被写体像のうちでマーキングの対象の被写体像を示す指示入力を受け付けるマーキング対象指示入力ステップと、
    前記特定の被写体像毎に前記マークと視覚的に関連付けて前記視差の変化を示す前記視差履歴情報を生成し、前記マーキング対象指示入力ステップにおいて受け付けた指示入力によって前記マーキングの対象の被写体像が変更された場合、変更前の前記マーキングの対象の被写体像の視差の時間的変化を変更時点まで示すと共に、変更後の前記マーキングの対象の被写体像の視差の時間的な変化を変更時点から示す前記視差履歴情報を生成するステップと、
    を備えた画像処理方法。
20. 連続して撮像された複数の視点画像からなる動画像を取得する画像取得部によって取得された前記動画像から特定の被写体像を選択する機能と、
    選択された前記特定の被写体像の視差を前記動画像の前記複数の視点画像から連続して取得する機能と、
    前記特定の被写体像の視差の時間的な変化を示す視差履歴情報であって、前記特定の被写体像の現在の視差を含む前記視差履歴情報を、前記取得した前記視差に基づいて連続して生成する機能と、
    前記画像取得部によって取得された前記動画像の前記複数の視点画像と共に、前記視差履歴情報を表示部に表示させる機能と、
    前記動画像における視差に関連する操作が行われた場合、前記動画像における視差に関連する操作のタイミングを示す情報を前記視差履歴情報に付加する機能と、
    をコンピュータ装置に実行させるプログラム。
21. 連続して撮像された複数の視点画像からなる動画像を取得する画像取得部によって取得された前記動画像から特定の被写体像を選択する機能と、
    選択された前記特定の被写体像の視差を前記動画像の前記複数の視点画像から連続して取得する機能と、
    前記特定の被写体像の視差の時間的な変化を示す視差履歴情報であって、前記特定の被写体像の現在の視差を含む前記視差履歴情報を、前記取得した前記視差に基づいて連続して生成する機能と、
    前記画像取得部によって取得された前記動画像の前記複数の視点画像と共に、前記視差履歴情報を表示部に表示させる機能と、
    前記動画像中の前記特定の被写体像毎にマークを付与するマーキングを行う画像処理機能と、
    前記動画像中の被写体像のうちでマーキングの対象の被写体像を示す指示入力を受け付けるマーキング対象指示入力機能と、
    前記特定の被写体像毎に前記マークと視覚的に関連付けて前記視差の変化を示す前記視差履歴情報を生成し、前記マーキング対象指示入力機能によって受け付けた指示入力によって前記マーキングの対象の被写体像が変更された場合、変更前の前記マーキングの対象の被写体像の視差の時間的変化を変更時点まで示すと共に、変更後の前記マーキングの対象の被写体像の視差の時間的な変化を変更時点から示す前記視差履歴情報を生成する機能と、
    をコンピュータ装置に実行させるプログラム。