JP4190473B2

JP4190473B2 - 立体画像を構成する複数の視点画像の視点位置識別装置

Info

Publication number: JP4190473B2
Application number: JP2004251966A
Authority: JP
Inventors: 健増谷
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2004-08-31
Filing date: 2004-08-31
Publication date: 2008-12-03
Anticipated expiration: 2024-08-31
Also published as: JP2006072455A

Description

この発明は、立体画像を構成する複数の視点画像の視点位置識別装置に関する。

複数の視点（視差）画像から構成される立体画像では、各画像と視点位置との対応関係が不明となることがある。例えば、２視点画像は、左眼用画像と右眼用画像とから構成されるが、何れの画像が左眼用の画像であるかわからなくなることがある。左眼用画像と右眼用画像とを間違って、立体表示装置に表示させると、立体画像が得られなくなる。

２視点画像では、左眼用画像および右眼用画像それぞれが格納された２つのファイルのファイル名として視点位置を表すＬ，Ｒを付けておれば問題は生じにくいが、２視点より視点数が多い多視点画像では、各ファイル名として番号を付していることが多く、各ファイルがどの視点位置を表しているかを判断できなくなるといった問題が生じやすい。

この発明は、立体画像を構成する複数の視点画像の視点位置を識別することが可能となる、立体画像を構成する複数の視点画像の視点位置識別装置を提供することを目的とする。

請求項１に記載の発明は、立体画像を構成する複数の視点画像から構成されかつ各視点画像には視点順序が付けられているがその順序が右側位置から順に付けられているのか左側位置から順に付けられているのか不明な被験画像群を記憶している第１記憶手段、上記被験画像群と視点数が同じ複数の視点画像または上記被験画像群と視点数が同じ複数の視点画像を生成可能なデータから構成されかつ各視点画像には視点順序が付けられており、視点順序が右側位置から順に付けられているのか左側位置から順に付けられているのかが予め分かっている基準画像群を記憶している第２記憶手段、被験画像と基準画像とを表示させるための表示装置、ならびに被験画像群に付けられている視点順序に基づいて、表示装置に被験画像を視点順に切り替え表示させると同時に、それに同期して、基準画像群に付けられている視点順序にしたがって、表示装置に基準画像を視点順に切り替え表示させる手段を備えていることを特徴とする。

請求項２に記載の発明は、立体画像を構成する複数の視点画像から構成されかつ各視点画像には視点順序が付けられているがその順序が右側位置から順に付けられているのか左側位置から順に付けられているのか不明な被験画像群を記憶している第１記憶手段、上記被験画像群と視点数が同じ複数の視点画像または上記被験画像群と視点数が同じ複数の視点画像を生成可能なデータから構成されかつ各視点画像には視点順序が付けられており、視点順序が右側位置から順に付けられているのか左側位置から順に付けられているのかが予め分かっている基準画像群を記憶している第２記憶手段、被験画像と基準画像とを表示させるための表示装置、第１表示モードと第２表示モードとの間で、表示モードを切り替える表示モード切り替え手段、表示モードが第１表示モードである場合に、被験画像群に付けられている視点順序に基づいて、表示装置に被験画像を視点順に切り替え表示させると同時に、それに同期して、基準画像群に付けられている視点順序に基づいて、表示装置に基準画像を視点順に切り替え表示させる第１表示手段、ならびに表示モードが第２表示モードである場合には、被験画像群に付けられている視点順序に基づいて、表示装置に被験画像を視点順序と逆の順序で切り替え表示すると同時に、それに同期して、基準画像群に付けられている視点順序に基づいて、表示装置に基準画像を視点順に表示させる第２表示手段を備えていることを特徴とする。

請求項３に記載の発明は、立体画像を構成する複数の視点画像から構成されかつ各視点画像には視点順序が付けられているがその順序が右側位置から順に付けられているのか左側位置から順に付けられているのか不明な被験画像群を記憶している第１記憶手段、上記被験画像群と視点数が同じ複数の視点画像または上記被験画像群と視点数が同じ複数の視点画像を生成可能なデータから構成されかつ各視点画像には視点順序が付けられており、視点順序が右側位置から順に付けられているのか左側位置から順に付けられているのかが予め分かっている基準画像群を記憶している第２記憶手段、被験画像と基準画像とを表示させるための表示装置、第１表示モードと第２表示モードとの間で、表示モードを切り替える表示モード切り替え手段、表示モードが第１表示モードである場合に、被験画像群に付けられている視点順序に基づいて、表示装置に被験画像を視点順に切り替え表示させると同時に、それに同期して、基準画像群に付けられている視点順序に基づいて、表示装置に基準画像を視点順に切り替え表示させる第１表示手段、ならびに表示モードが第２表示モードである場合には、被験画像群に付けられている視点順序に基づいて、表示装置に被験画像を視点順序に切り替え表示すると同時に、それに同期して、基準画像群に付けられている視点順序に基づいて、表示装置に基準画像を視点順序と逆の順序で切り替え表示させる第２表示手段を備えていることを特徴とする。

請求項４に記載の発明は、第１表示手段または第２表示手段によって、被験画像と基準画像とが表示装置に表示されている状態において、被験画像の動きと基準画像の動きとが同じであるとユーザが判断した場合に、ユーザに確認信号を入力させるための入力手段、確認信号が入力されたときには、表示モードが第１モードであるか第２モードであるかを判別する判別手段、ならびに判別手段によって表示モードが第２モードであると判別された場合には、被験画像群に付けられている視点順序を、逆の順序に付け替える手段を備えていることを特徴とする。

この発明によれば、立体画像を構成する複数の視点画像の視点位置を識別することが可能となる。

以下、図面を参照して、この発明の実施例について説明する。

図１は、立体画像を構成する複数の視点画像の視点位置を識別するための装置の構成を示している。

複数の視点画像の視点位置を識別するための装置は、パーソナルコンピュータによって実現される。パーソナルコンピュータ１０には、ディスプレイ（モニタ）２１、マウス２２およびキーボード２３が接続されている。パーソナルコンピュータ１０は、ＣＰＵ１１、メモリ１２、ハードディスク１３、ＣＤ−ＲＯＭのようなリムーバブルディスクのドライブ（ディスクドライブ）１４を備えている。

ハードディスク１３には、ＯＳ（オペレーティングシステム）等の他、立体画像を構成する複数の視点画像の視点位置を識別するための視点位置識別プログラムが格納されている。視点位置識別プログラムは、それが格納されたＣＤ−ＲＯＭ２０を用いて、ハードディスク１３にインストールされる。

また、ハードディスク１３には、立体画像を構成する互いに視点位置が異なる視点画像ファイルであって、視点位置が予め認識されている２視点基準画像ファイルＨ０，Ｈ１と、立体画像を構成する互いに視点位置が異なる視点画像ファイルであって、視点位置の識別対象となる２視点被験画像ファイルＧ０，Ｇ１が予め格納されている。ファイル名Ｈ０，Ｈ１，Ｇ０，Ｇ１における”Ｈ”，”Ｇ”はファイルの識別名であり、”０”，”１”の数字は視点順序を表している。視点順序は、視点位置の順番を示すものであり、視点位置が右側にあるファイルから昇順となるか、または視点位置が左側にあるファイルから昇順となるように、付けられている。この実施例では、視点順序は、０から始まる正の整数であるとする。

基準画像ファイルＨ０，Ｈ１の視点順序は、この例では、視点位置が最も右側にあるものから昇順に付けられている。したがって、基準画像ファイルＨ０の視点は、基準画像ファイルＨ１の視点よりも右側にある。被験画像ファイルＧ０，Ｇ１の視点順序は、視点位置が右側にあるものから昇順につけられているか、視点位置が左側にあるものから昇順につけられているか、不明である。

なお、実際には、基準画像ファイルとしては、２視点の画像ファイルのみならず、それより視点数の多い多視点の画像ファイル（例えば、４視点の画像ファイル）もハードディスク１３に格納されている。

図２は、視点位置識別プログラムが起動された場合にモニタ２１に表示される視点位置識別用画面の一例を示している。

視点位置識別用画面の中央には、被験画像が表示される被験画像表示部１０１が設けられている。また、視点位置識別用画面における被験画像表示部１０１の上側および下側には、基準画像が表示される基準画像表示部１０２が設けられている。

視点位置識別用画面の左上部には、画像読み込みボタン１１１と、ＯＫボタン（確認信号入力手段）１１２とが横に並んで配置されている。また、画像読み込みボタン１１１の下側には、リバース用チェックボックス（表示モード切り替え手段）１１３が配置されている。また、視点位置識別用画面の右上部には、視点位置識別プログラムを終了させるための終了ボタン１１４が配置されている。

判定者は、画像読み込みボタン１１１を押す。すると、図示しないファイル選択画面がポップアップ画面として表示されるので、判定者は被験画像ファイルＧを選択する。被験画像ファイルＧは、視点数に応じた複数の画像ファイルＧ０，Ｇ１から構成されているが、判定者は、そのうち視点順序が０のもの（この例では、Ｇ０）を選択する。ＣＰＵ１１は、選択された画像ファイルＧ０の識別名Ｇから、その識別名Ｇをファイル名として持つ全ての被験画像ファイルＧ０，Ｇ１を特定することができるとともに、それらの被験画像の視点数を特定することができる。

ユーザによって被験画像ファイルＧ０が選択されると、ＣＰＵ１１は、選択された画像ファイルＧ０の識別名Ｇから、その識別名Ｇをファイル名として持つ全ての被験画像ファイルＧ０，Ｇ１を特定するとともに、それらの被験画像の視点数を特定する。そして、これらの画像ファイルＧ０，Ｇ１をメモリ１２に読み込むとともに、選択された被験画像ファイルＧ０の視点数と視点数が同じ基準画像ファイルＨ０，Ｈ１をメモリ１２に読み込む。

そして、基準画像表示部１０２には、図３に示すように、基準画像ファイルＨ０，Ｈ１を視点順に表示する。具体的には、Ｈ０，Ｈ１，Ｈ０，Ｈ１というように、右目用画像Ｈ０とその左目用画像Ｈ１とを、交互に表示させる。被験画像表示部１０１には、図３に示すように、基準画像Ｈの表示と同期して、その視点位置画像Ｇ０，Ｇ１とを視点順に表示する。具体的には、Ｇ０，Ｇ１，Ｇ０，Ｇ１というように、その視点位置画像Ｇ０，Ｇ１を交互に表示させる。つまり、基準画像の第１視点位置画像Ｈ０と被験画像Ｇの第１視点位置画像Ｇ０とが同時に表示され、基準画像の第２視点位置画像Ｈ１と被験画像Ｇの第２視点位置画像Ｇ１とが同時に表示される。

図４、図５を参照して、２視点の基準画像Ｈ０，Ｈ１について説明する。

図４に示すように、例えば、直方体３００を２台のカメラＱ０，Ｑ１で撮像したとする。カメラＱ０は、カメラＱ１より右側に位置している。破線Ｓ０はカメラＱ０の光軸（視線）を、破線Ｓ１はカメラＱ１の光軸（視線）を、それぞれ示している。各カメラＱ０，Ｑ１によって撮像された画像は、Ｈ０，Ｈ１となる。

図５に示すように、カメラＱ０の撮像画像Ｈ０からカメラＱ１の撮像画像Ｈ１に表示画像を切り替えることは、カメラの光軸の向きが常に点Ｃを向くようにしてカメラを左に移動させることと等価なので、被写体３００が点Ｃを中心として回転したように認識される。この際、点Ｃより手前の点は右に、点Ｃより奥の点Ｂは左に移動する。カメラＱ１の撮像画像Ｈ１からカメラＱ０の撮像画像Ｈ０に表示画像を切り替えると、被写体３００が点Ｃを中心として、上記と反対方向に回転したように認識される。

なお、この実施例では、基準画像Ｈとしては、図３に示すように、自動車の画像が用いられている。また、被験画像Ｇは、魚を被写体とする画像となっている。判定者は、基準画像Ｈの動きと、被験画像Ｇの動きとを比較する。両画像Ｈ，Ｇの動きが、同じような動きであれば、判定者は、被験画像Ｇの視点順と基準画像Ｈの視点順とは同じであると判定する。このような場合には、判定者は、ＯＫボタン１１１を押す。

両画像Ｈ，Ｇの動きが、同じような動きでない場合には、判定者は、リバース用チェックボックス１１３にチェックを入れる。リバース用チェックボックス１１３にチェックが入れられると、被験画像Ｇの表示順序が視点順と逆にされる。したがって、基準画像の第１視点位置画像Ｈ０と被験画像Ｇの第２視点位置画像Ｇ１とが同時に表示され、基準画像の第２視点位置画像Ｈ１と被験画像Ｇの第１視点位置画像Ｇ０とが同時に表示されるようになる。両画像Ｈ，Ｇの動きが、同じような動きであれば、判定者は、被験画像Ｇの視点順と基準画像Ｈの視点順とは同じであると判定する。このような場合には、判定者は、ＯＫボタン１１１を押す。

ＯＫボタン１１１が押された場合には、ＣＰＵ１１は、リバース用チェックボックス１１３にチェックが入れられているか否かを判別する。チェックが入れられていない場合には、今回の処理をそのまま終了する。チェックが入れられている場合には、被験画像Ｇの画像ファイルＧ０，Ｇ１のファイル名を、その視点順が逆になるように修正する。具体的には、画像ファイルＧ０のファイル名をＧ１に、画像ファイルＧ１のファイル名をＧ０に修正する。そして、今回の処理を終了する。この結果、被験画像Ｇの各画像ファイルの視点順は、基準画像Ｈの各画像ファイルＨ０，Ｈ１の視点順と同じになるので、判定者は、被験画像Ｇの画像ファイルの視点位置を認識することができるようになる。

図６は、視点位置識別プログラムが起動された場合にＣＰＵ１１によって行われる識別処理手順を示している。

ここでは、被験画像ファイルＧとして、２視点被験画像ファイルＧ０，Ｇ１が選択される場合について説明する。

視点位置識別プログラムが起動されると、図２に示すような視点位置識別用画面をモニタ２１に表示するとともに、リバース状態であるか否かを示すフラグＦをリセット（Ｆ＝０）する（ステップＳ１）。フラグＦは、リバース用チェックボックス１１３にチェックが入れられている場合にはセット（Ｆ＝１）され、リバース用チェックボックス１１３にチェックが入れられていない場合にはリセット（Ｆ＝０）される。

画像読み込みボタン１１１が押されると（ステップＳ２）、図示しないファイル選択画面をポップアップ画面として表示させる（ステップＳ３）。判定者によって被験画像ファイルＧ（Ｇ０）が選択されると（ステップＳ４）、ファイル選択画面を消去するとともに被験画像ファイルＧ０，Ｇ１と、被験画像ファイルＧ０，Ｇ１の視点数に対応した基準画像ファイルＨ０，Ｈ１とをメモリ１２に読み込む（ステップＳ５）。

次に、リバース用チェックボックス１１３にチェックが入れられているか否かを判別する（ステップＳ６）。つまり、フラグＦがセットされているか否かを判別する。チェックボックス１１３にチェックが入れられていない場合（Ｆ＝０）には、被験画像ファイルＧ０，Ｇ１のうちＧ０を被験画像表示部１０１に表示するとともに、基準画像ファイルＨ０，Ｈ１のうちＨ０を基準画像表示部１０２に表示する（ステップＳ７）。つまり、被験画像ファイルＧ０と基準画像ファイルＨ０とが同時に表示される。この後、被験画像ファイルＧ１を被験画像表示部１０１に表示する（Ｇ０からＧ１に表示を切り替える）とともに、基準画像ファイルＨ１を基準画像表示部１０２に表示する（Ｈ０からＨ１に表示を切り替える）（ステップＳ８）。つまり、被験画像ファイルＧ１と基準画像ファイルＨ１とが同時に表示される。

そして、ＯＫボタン１１１が押されたか否かを判別する（ステップＳ１１）。ＯＫボタン１１１が押されていない場合には、ステップＳ６に戻る。つまり、チェックボックス１１３にチェックが入れられていない状態においては、ステップＳ６，Ｓ７，Ｓ８およびＳ１１の処理が繰り返し行われる。

上記ステップＳ６において、チェックボックス１１３にチェックが入れられていると判別された場合（Ｆ＝１）には、被験画像ファイルＧ０，Ｇ１のうちＧ１を被験画像表示部１０１に表示するとともに、基準画像ファイルＨ０，Ｈ１のうちＨ０を基準画像表示部１０２に表示する（ステップＳ９）。つまり、被験画像ファイルＧ１と基準画像ファイルＨ０とが同時に表示される。この後、被験画像ファイルＧ０を被験画像表示部１０１に表示する（Ｇ１からＧ０に表示を切り替える）とともに、基準画像ファイルＨ１を基準画像表示部１０２に表示する（Ｈ０からＨ１に表示を切り替える）（ステップＳ１０）。つまり、被験画像ファイルＧ０と基準画像ファイルＨ１とが同時に表示される。

そして、ＯＫボタン１１１が押されたか否かを判別する（ステップＳ１１）。ＯＫボタン１１１が押されていない場合には、ステップＳ６に戻る。つまり、チェックボックス１１３にチェックが入れられている状態においては、ステップＳ６，Ｓ９，Ｓ１０およびＳ１１の処理が繰り返し行われる。

上記ステップＳ１１において、ＯＫボタン１１１が押されていると判別した場合には、チェックボックス１１３にチェックが入れられているか否かを判別する（ステップＳ１２）。チェックボックス１１３にチェックが入れられていない場合（Ｆ＝０）には、今回の処理を終了する。チェックボックス１１３にチェックが入れられている場合（Ｆ＝１）には、被験画像Ｇの画像ファイルＧ０，Ｇ１のファイル名を、その視点順が逆になるように修正する（ステップＳ１３）。具体的には、画像ファイルＧ０のファイル名をＧ１に、画像ファイルＧ１のファイル名をＧ０に修正する。そして、今回の処理を終了する。

次に、被験画像ファイルＧとして、２視点以上の被験画像ファイルＧ（Ｇ０，Ｇ１，…，Ｇｉ，…，Ｇｎ）が選択される場合について説明する。パーソナルコンピュータ１０のハードディスク１３には、２視点以上の被験画像ファイルＧ（Ｇ０，Ｇ１，…，Ｇｉ，…，Ｇｎ）が格納されているものとする。視点数をＮとすると、Ｎ＝ｎ＋１となる。例えば、視点数Ｎが４の場合には、被験画像ファイルＧは、Ｇ０，Ｇ１，Ｇ２，Ｇ３から構成される。

図７は、視点位置識別プログラムが起動された場合にＣＰＵ１１によって行われる識別処理手順を示している。

視点位置識別プログラムが起動されると、図２に示すような視点位置識別用画面をモニタ２１に表示するとともに、フラグＦ_tと、フラグＦ_t-1をリセット（Ｆ_t＝Ｆ_t-1＝０）する（ステップＳ２１）。フラグＦ_tは、リバース用チェックボックス１１３にチェックが入れられている場合にはセット（Ｆ_t＝１）され、リバース用チェックボックス１１３にチェックが入れられていない場合にはリセット（Ｆ_t＝０）される。フラグＦ_t-1は、フラグＦ_tがセットされているか否かを判別するステップＳ２７の判別結果を、前回の判別結果として記憶するためのフラグである。

画像読み込みボタン１１１が押されると（ステップＳ２２）、図示しないファイル選択画面をポップアップ画面として表示させる（ステップＳ２３）。判定者によって被験画像ファイルＧ（Ｇ０）が選択されると（ステップＳ２４）、ファイル選択画面を消去するとともに被験画像ファイルＧ０，Ｇ１，…，Ｇｉ，…，Ｇｎと、被験画像ファイルＧ０，Ｇ１，…，Ｇｎの視点数Ｎ（＝ｎ＋１）に対応した基準画像ファイルＨ０，Ｈ１，…，Ｈｊ，…，Ｈｎとをメモリ１２に読み込む（ステップＳ２５）。

被験画像ファイルＧ０，Ｇ１，…，ＧｎをＧｉ（ｉ＝０，１，…，ｎ）で表すとともに、基準画像ファイルＨ０，Ｈ１，…，ＨｎをＨｊ（ｊ＝０，１，…，ｎ）で表すことにする。

ｉ＝−１，ｊ＝−１となるように、ｉ，ｊを設定する（ステップＳ２６）。次に、リバース用チェックボックス１１３にチェックが入れられているか否かを判別する（ステップＳ２７）。つまり、フラグＦ_tがセット（Ｆ_t-1＝１）されているか否かを判別する。チェックボックス１１３にチェックが入れられていない場合（Ｆ_t＝０）には、フラグＦ_t-1がセット（Ｆ_t-1＝１）されているか否かを判別する（ステップＳ２８）。フラグＦ_t-1がセットされていない場合（Ｆ_t-1＝０）には、前回においても、非リバース状態であると判別し、Ｆ_t-1としてＦ_tの値（この場合は０）を設定した後（ステップＳ２９）、ｉ＝ｉ＋１，ｊ＝ｊ＋１の演算によって、ｉ，ｊの値を更新する（ステップＳ３０）。そして、ｉ＝Ｎとなったか否かを判別する（ステップＳ３１）。ｉ＝Ｎでなければ、ステップＳ４０に進む。ｉ＝Ｎであれば、ｉ＝０，ｊ＝０となるように、ｉ，ｊを設定した後（ステップＳ３３）、ステップＳ４０に進む。

ステップＳ４０では、被験画像Ｇｉと基準画像Ｈｊとを表示する。つまり、被験画像ファイルＧｉを被験画像表示部１０１に表示するとともに、基準画像ファイルＨｊを基準画像表示部１０２に表示する。そして、ＯＫボタン１１１が押されたか否かを判別する（ステップＳ４１）。ＯＫボタン１１１が押されていない場合には、ステップＳ２７に戻る。つまり、チェックボックス１１３にチェックが入れられていない状態においては、ステップＳ２７〜Ｓ３１，Ｓ３３，Ｓ４０，Ｓ４１の処理が繰り返し行われる。この結果、例えば、４視点の画像である場合には、Ｇ０，Ｈ０の組、Ｇ１，Ｈ１の組，Ｇ２，Ｈ２の組、Ｇ３，Ｈ３の組が、順次表示されることになる。

なお、上記ステップＳ２８において、フラグＦ_t-1がセットされている場合（Ｆ_t-1＝１）には、リバース状態から非リバース状態に変化したと判別し、Ｆ_t-1としてＦ_tの値（この場合は０）を設定した後（ステップＳ３２）、ステップＳ３３に移行し、ｉ＝０，ｊ＝０となるように、ｉ，ｊを設定する。そして、ステップＳ４０に進む。

上記ステップＳ２７において、チェックボックス１１３にチェックが入れられていると判別された場合（Ｆ_t＝１）には、フラグＦ_t-1がリセット（Ｆ_t-1＝０）されているか否かを判別する（ステップＳ３４）。フラグＦがリセットされている場合（Ｆ_t-1＝０）には、非リバース状態からリバース状態に変化したと判別し、Ｆ_t-1としてＦ_tの値（この場合は１）を設定した後（ステップＳ３８）、ステップＳ３９に移行し、ｉ＝Ｎ−１，ｊ＝０となるように、ｉ，ｊを設定する。そして、ステップＳ４０に進む。

上記ステップＳ３４において、フラグＦ_t-1がセットされている場合（Ｆ_t-1＝１）には、前回においても、リバース状態であると判別し、Ｆ_t-1としてＦ_tの値（この場合は１）を設定した後（ステップＳ３５）、ｉ＝ｉ−１，ｊ＝ｊ＋１の演算によって、ｉ，ｊの値を更新する（ステップＳ３６）。そして、ｉ＜０となったか否かを判別する（ステップＳ３７）。ｉ≧０であれば、ステップＳ４０に進む。ｉ＜０であれば、ｉ＝Ｎ−１，ｊ＝０となるように、ｉ，ｊを設定した後（ステップＳ３９）、ステップＳ４０に進む。

ステップＳ４０では、被験画像Ｇｉと基準画像Ｈｊとを表示する。つまり、被験画像ファイルＧｉを被験画像表示部１０１に表示するとともに、基準画像ファイルＨｊを基準画像表示部１０２に表示する。そして、ＯＫボタン１１１が押されたか否かを判別する（ステップＳ４１）。ＯＫボタン１１１が押されていない場合には、ステップＳ２７に戻る。つまり、チェックボックス１１３にチェックが入れられている状態においては、ステップＳ２７，ステップＳ３４〜Ｓ３７，Ｓ３９，Ｓ４０，Ｓ４１の処理が繰り返し行われる。この結果、例えば、４視点の画像である場合には、Ｇ３，Ｈ０の組、Ｇ２，Ｈ１の組，Ｇ１，Ｈ２の組、Ｇ０，Ｈ３の組が、順次表示されることになる。

上記ステップＳ４１において、ＯＫボタン１１１が押されていると判別した場合には、フラグＦ_tがセットされているか否かを判別する（ステップＳ４２）。フラグＦ_tがリセットされている場合（Ｆ_t＝０）には、今回の処理を終了する。フラグＦ_tがセットされている場合（Ｆ_t＝１）には、被験画像Ｇの画像ファイルＧ０，Ｇ１，…，Ｇｎのファイル名を、その視点順が逆になるように修正する（ステップ４３）。例えば、被験画像Ｇが４視点画像Ｇ０，Ｇ１，Ｇ２，Ｇ３である場合には、画像ファイルＧ０のファイル名をＧ３に、画像ファイルＧ１のファイル名をＧ２に、画像ファイルＧ２のファイル名をＧ１に、画像ファイルＧ３のファイル名をＧ０に、修正する。そして、今回の処理を終了する。

被験画像または基準画像を構成する複数の視点画像は、１つのファイル内に格納されていてもよい。例えば、複数の視点画像が並べて結合され、１枚の画像としてファイルに格納されていてもよい（特開２００３−１１１１０１号公報参照）。また、ＴＩＦＦ画像形式のマルチページ機能と同様の機能を利用して複数の視点画像が１つのファイルに格納されていてもよい。いずれの場合も、各視点画像には、視点順序がタグ情報等によって対応付けられており、図６のステップＳ５または図７のステップＳ２５の画像読込みにおいては、メモリ上に視点画像と視点順序とが対応付けられて読み込まれる。

基準画像は、ファイルとして存在しなくてもよい。例えば、プログラム本体に画像データとして含まれていてもよい。また、コンピュータグラフィックスで３次元オブジェクトから、オブジェクトを固定しカメラ位置を変えるか、もしくはカメラを固定しオブジェクトを回転しながら、リアルタイムで基準画像を生成してもよい。本実施例では、例えば、カメラを固定し、オブジェクトを上から見て反時計方向に回転すると、オブジェクトを右側から見た画像から、左側に見た画像へと変化する。

上記実施例では、非リバース状態での表示とリバース状態での表示とを切替えているが、非リバース状態での表示とリバース状態での表示とを並べて同時に行ない、正しく回転している方を選択させるようにしてもよい。

基準画像としては、空間の回転が把握できる図形であれば、単純な線図やマーカのようなものでもよい。最小の構成では、前後に配置された２点があればよい。

また、被験画像または基準画像の各視点画像は、静止画像でも動画像でもよい。

表示装置が立体画像表示装置（特開平０７−１８１４２９号公報参照）の場合には、次のように考えるとよい。立体画像表示装置で立体画像を観察する際、観察者は左右の眼で異なる画像を観察する。また、左右の眼で観察される画像を同じ画像とすると、観察者は通常の平面（二次元）の画像を観察することになる。これを利用すると、平面表示と立体表示の両方が可能となる。

被験画像の視点数が４とすると、平面表示の場合は、例えば、図７で非リバース状態のときは、左右の眼で観察される画像を共にＧ０，Ｈ０の組、Ｇ１，Ｈ１の組、Ｇ２，Ｈ２の組、Ｇ３，Ｈ３の組とし、これらの組を順に表示すればよい。

被験画像の視点数が４とすると、立体表示の場合には、例えば、図７で非リバース状態のときは、右眼で観察される画像がＧ０，Ｈ０の組の時は左眼で観察される画像をＧ１，Ｈ１の組とし、右眼で観察される画像がＧ１，Ｈ１の組の時は左眼で観察される画像をＧ２，Ｈ２の組とし、右眼で観察される画像がＧ２，Ｈ２の組の時は左眼で観察される画像をＧ３，Ｈ３の組とし、これらの組み合わせを順番に表示すればよい。これにより、基準画像Ｈは常に立体画像として観察され、被験画像Ｇは視点順序が正しければ、基準画像と同じ方向に回転する立体画像として観察される。

リバース状態のときは、右眼で観察される画像がＧ３，Ｈ０の組の時は左眼で観察される画像をＧ２，Ｈ１の組とし、右眼で観察される画像がＧ２，Ｈ１の組の時は左眼で観察される画像をＧ１，Ｈ２の組とし、右眼で観察される画像がＧ１，Ｈ２の組の時は左眼で観察される画像をＧ０，Ｈ３の組とし、これらの組み合わせを順番に表示すればよい。これにより、基準画像Ｈは常に立体画像として観察され、被験画像Ｇはリバース状態が正しい視点順序であれば、基準画像と同じ方向に回転する立体画像として観察される。

被験画像と基準画像とは同時に画面上に表示されればよいので、本実施例のように分離して表示してもよいし、重ねて表示してもよい。つまり、被験画像上に基準画像をより小さなサイズで重ね描きして表示してもよいし、基準画像上に被験画像をより小さなサイズで重ね描きして表示してもよい。両方の画像を半透明で重ねて表示してもよく、この場合、２つの空間が重なって認識される。これを実現するには、基準画像と被験画像の画素データを５０％つづ加えた値を表示画像の画素データとすればよい。

被験画像を構成する各視点画像の視点位置をより確認しやすくするために、被験画像や基準画像の視点の変化量が可変であってもよい。画像撮影時において、カメラ間隔が広いほど、各視点画像を切り替えて表示した際の回転量が大きくなる。このような場合には、基準画像の回転量も大きくした方が判定し易い。これを実現するには、予め基準画像としては、被験画像の視点数より多い視点数の視点画像を用意しておき、回転量を大きくする際には画像の選択順序を変更すればよい。例えば４視点画像の判定に際して、均等なカメラ間隔で撮影された０から１２の１３枚からなる基準画像を用意しておき、通常は中央の「４→５→６→７」を順次表示するが、飛びを大きくする際は、「２→４→６→８」または「０→４→８→１２」などの順に表示する。

３次元オブジェクトからリアルタイムに生成する場合は、カメラの移動量もしくはオブジェクトの回転角度を大きくすればよい。

基準画像との比較のために、被験画像にさらにマーカを付加してもよい。マーカは各視点画像の同じ点を表す画素（群）に付加する。マーカは全ての視点画像に手入力してもよいし、１つの視点画像にマーカを手入力した後は、対応点マッチング（特開平１１−３３９０２１号公報、特開２００２−１７０１１１号公報等を参照）などの技術で自動的に他の視点画像にマーカを付加するようにしてもよい。１つの視点画像へのマーカをランダムに決めれば、全視点画像に自動的に付加することもできる。マーカは図形でもよいし、視点画像の対応画像の対応部分の色彩を変えたものでもよいし、視点画像の輝度を変えたものでもよい。

視点画像の水平表示位置を視点によって変えるようにしてもよい。例えばＨ０とＨ１が図８のように被写体の位置が偏った画像になっていると、Ｈ０からＨ１に表示を切り換えても、図９のように直方体の各点Ａ，Ｂ，Ｃは全て右方向に移動する。この状態では回転軸が直方体内にないので、回転方向の判断を誤ることがある。そこで、Ｈ０を右に、Ｈ１を左に移動して表示することで、図１０のように回転軸が直方体内に移り、図５と同じように回転の判断が可能となる。このように、移動前の画像（Ｈ０）の水平表示位置を各点の移動と同じ方向に、移動後の画像（Ｈ１）の水平表示位置を各点の移動と逆の方向に変更するとよい。この変更は、ウィンドウ上のボタン入力で行われてもよい。または、対応点マッチング（特開平１１−３３９０２１号公報、特開２００２−１７０１１１号公報等を参照）で各点の移動方向を調べ、多くの点が同じ方向に移動していれば上記変更を自動的に施すようにしてもよい。

立体画像を構成する複数の視点画像の視点位置を識別するための装置の構成を示すブロック図である。視点位置識別プログラムが起動された場合にモニタ２１に表示される視点位置識別用画面の一例を示す模式図である。視点位置識別用画面に、基準画像と被験画像とが表示された状態を示す模式図である。直方体３００を２台のカメラＱ０，Ｑ１で撮像して、２つの視点位置画像Ｈ０，Ｈ１を撮影する場合を示す模式図である。図４の撮像画像Ｈ０から撮像画像Ｈ１に表示画像を切り替えた状態を示す模式図である。視点位置識別プログラムが起動された場合にＣＰＵ１１によって行われる識別処理手順を示すフローチャートである。視点位置識別プログラムが起動された場合にＣＰＵ１１によって行われる識別処理手順を示すフローチャートである。２つの視点位置画像Ｈ０，Ｈ１の例を示す模式図である。図８の視点位置画像Ｈ０から、図８の視点位置画像に表示を切り替えた状態を示す模式図である。図８の視点位置画像Ｈ０の表示位置を右側に移動させるとともに、図８の視点位置画像Ｈ１の表示位置を左側に移動させた状態を示す模式図である。

符号の説明

１０パーソナルコンピュータ
１１ＣＰＵ
１２メモリ
１３ハードディスク
１４ドライブ（ディスクドライブ）

Claims

立体画像を構成する複数の視点画像から構成されかつ各視点画像には視点順序が付けられているがその順序が右側位置から順に付けられているのか左側位置から順に付けられているのか不明な被験画像群を記憶している第１記憶手段、
上記被験画像群と視点数が同じ複数の視点画像または上記被験画像群と視点数が同じ複数の視点画像を生成可能なデータから構成されかつ各視点画像には視点順序が付けられており、視点順序が右側位置から順に付けられているのか左側位置から順に付けられているのかが予め分かっている基準画像群を記憶している第２記憶手段、
被験画像と基準画像とを表示させるための表示装置、ならびに
被験画像群に付けられている視点順序に基づいて、表示装置に被験画像を視点順に切り替え表示させると同時に、それに同期して、基準画像群に付けられている視点順序にしたがって、表示装置に基準画像を視点順に切り替え表示させる手段、
を備えていることを特徴とする立体画像を構成する複数の視点画像の視点位置識別装置。
立体画像を構成する複数の視点画像から構成されかつ各視点画像には視点順序が付けられているがその順序が右側位置から順に付けられているのか左側位置から順に付けられているのか不明な被験画像群を記憶している第１記憶手段、
上記被験画像群と視点数が同じ複数の視点画像または上記被験画像群と視点数が同じ複数の視点画像を生成可能なデータから構成されかつ各視点画像には視点順序が付けられており、視点順序が右側位置から順に付けられているのか左側位置から順に付けられているのかが予め分かっている基準画像群を記憶している第２記憶手段、
被験画像と基準画像とを表示させるための表示装置、
第１表示モードと第２表示モードとの間で、表示モードを切り替える表示モード切り替え手段、
表示モードが第１表示モードである場合に、被験画像群に付けられている視点順序に基づいて、表示装置に被験画像を視点順に切り替え表示させると同時に、それに同期して、基準画像群に付けられている視点順序に基づいて、表示装置に基準画像を視点順に切り替え表示させる第１表示手段、ならびに
表示モードが第２表示モードである場合には、被験画像群に付けられている視点順序に基づいて、表示装置に被験画像を視点順序と逆の順序で切り替え表示すると同時に、それに同期して、基準画像群に付けられている視点順序に基づいて、表示装置に基準画像を視点順に表示させる第２表示手段、
を備えていることを特徴とする立体画像を構成する複数の視点画像の視点位置識別装置。
立体画像を構成する複数の視点画像から構成されかつ各視点画像には視点順序が付けられているがその順序が右側位置から順に付けられているのか左側位置から順に付けられているのか不明な被験画像群を記憶している第１記憶手段、
上記被験画像群と視点数が同じ複数の視点画像または上記被験画像群と視点数が同じ複数の視点画像を生成可能なデータから構成されかつ各視点画像には視点順序が付けられており、視点順序が右側位置から順に付けられているのか左側位置から順に付けられているのかが予め分かっている基準画像群を記憶している第２記憶手段、
被験画像と基準画像とを表示させるための表示装置、
第１表示モードと第２表示モードとの間で、表示モードを切り替える表示モード切り替え手段、
表示モードが第１表示モードである場合に、被験画像群に付けられている視点順序に基づいて、表示装置に被験画像を視点順に切り替え表示させると同時に、それに同期して、基準画像群に付けられている視点順序に基づいて、表示装置に基準画像を視点順に切り替え表示させる第１表示手段、ならびに
表示モードが第２表示モードである場合には、被験画像群に付けられている視点順序に基づいて、表示装置に被験画像を視点順序に切り替え表示すると同時に、それに同期して、基準画像群に付けられている視点順序に基づいて、表示装置に基準画像を視点順序と逆の順序で切り替え表示させる第２表示手段、
を備えていることを特徴とする立体画像を構成する複数の視点画像の視点位置識別装置。
第１表示手段または第２表示手段によって、被験画像と基準画像とが表示装置に表示されている状態において、被験画像の動きと基準画像の動きとが同じであるとユーザが判断した場合に、ユーザに確認信号を入力させるための入力手段、
確認信号が入力されたときには、表示モードが第１モードであるか第２モードであるかを判別する判別手段、ならびに
判別手段によって表示モードが第２モードであると判別された場合には、被験画像群に付けられている視点順序を、逆の順序に付け替える手段、
を備えていることを特徴とする請求項２および３のいずれかに記載の立体画像を構成する複数の視点画像の視点位置識別装置。