JP4190473B2 - Perspective position identification device for a plurality of viewpoint images constituting a stereoscopic image - Google Patents

Perspective position identification device for a plurality of viewpoint images constituting a stereoscopic image Download PDF

Info

Publication number
JP4190473B2
JP4190473B2 JP2004251966A JP2004251966A JP4190473B2 JP 4190473 B2 JP4190473 B2 JP 4190473B2 JP 2004251966 A JP2004251966 A JP 2004251966A JP 2004251966 A JP2004251966 A JP 2004251966A JP 4190473 B2 JP4190473 B2 JP 4190473B2
Authority
JP
Japan
Prior art keywords
viewpoint
image
order
test
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004251966A
Other languages
Japanese (ja)
Other versions
JP2006072455A (en
Inventor
健 増谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2004251966A priority Critical patent/JP4190473B2/en
Publication of JP2006072455A publication Critical patent/JP2006072455A/en
Application granted granted Critical
Publication of JP4190473B2 publication Critical patent/JP4190473B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Description

この発明は、立体画像を構成する複数の視点画像の視点位置識別装置に関する。     The present invention relates to a viewpoint position identification device for a plurality of viewpoint images constituting a stereoscopic image.

複数の視点(視差)画像から構成される立体画像では、各画像と視点位置との対応関係が不明となることがある。例えば、2視点画像は、左眼用画像と右眼用画像とから構成されるが、何れの画像が左眼用の画像であるかわからなくなることがある。左眼用画像と右眼用画像とを間違って、立体表示装置に表示させると、立体画像が得られなくなる。   In a stereoscopic image composed of a plurality of viewpoint (parallax) images, the correspondence between each image and the viewpoint position may be unknown. For example, the two-viewpoint image is composed of a left-eye image and a right-eye image, but it may not be clear which image is the left-eye image. If the left-eye image and the right-eye image are mistakenly displayed on the stereoscopic display device, a stereoscopic image cannot be obtained.

2視点画像では、左眼用画像および右眼用画像それぞれが格納された2つのファイルのファイル名として視点位置を表すL,Rを付けておれば問題は生じにくいが、2視点より視点数が多い多視点画像では、各ファイル名として番号を付していることが多く、各ファイルがどの視点位置を表しているかを判断できなくなるといった問題が生じやすい。   In a two-viewpoint image, if L and R representing the viewpoint position are added as file names of two files storing the left-eye image and the right-eye image, problems are less likely to occur. In many multi-view images, a number is often assigned as each file name, and it is easy to cause a problem that it is impossible to determine which viewpoint position each file represents.

この発明は、立体画像を構成する複数の視点画像の視点位置を識別することが可能となる、立体画像を構成する複数の視点画像の視点位置識別装置を提供することを目的とする。   An object of the present invention is to provide a viewpoint position identifying device for a plurality of viewpoint images constituting a stereoscopic image, which can identify viewpoint positions of the plurality of viewpoint images constituting the stereoscopic image.

請求項1に記載の発明は、立体画像を構成する複数の視点画像から構成されかつ各視点画像には視点順序が付けられているがその順序が右側位置から順に付けられているのか左側位置から順に付けられているのか不明な被験画像群を記憶している第1記憶手段、上記被験画像群と視点数が同じ複数の視点画像または上記被験画像群と視点数が同じ複数の視点画像を生成可能なデータから構成されかつ各視点画像には視点順序が付けられており、視点順序が右側位置から順に付けられているのか左側位置から順に付けられているのかが予め分かっている基準画像群を記憶している第2記憶手段、被験画像と基準画像とを表示させるための表示装置、ならびに被験画像群に付けられている視点順序に基づいて、表示装置に被験画像を視点順に切り替え表示させると同時に、それに同期して、基準画像群に付けられている視点順序にしたがって、表示装置に基準画像を視点順に切り替え表示させる手段を備えていることを特徴とする。   The invention according to claim 1 is composed of a plurality of viewpoint images constituting a stereoscopic image, and each viewpoint image is assigned a viewpoint order, but the order is assigned sequentially from the right side position or from the left side position. First storage means for storing test image groups that are unknown whether they are assigned in sequence, generating a plurality of viewpoint images having the same number of viewpoints as the test image groups, or generating a plurality of viewpoint images having the same number of viewpoints as the test image group A viewpoint image is composed of possible data and each viewpoint image is assigned a viewpoint order, and a reference image group in which it is known in advance whether the viewpoint order is assigned sequentially from the right side position or from the left side position. Based on the second storage means stored, the display device for displaying the test image and the reference image, and the viewpoint order attached to the test image group, the test image is switched to the display device in the order of the viewpoint. Simultaneously with the example displayed, it synchronously according viewpoint order that are attached to the reference image group, characterized in that it comprises a means for switching display the reference image on the viewpoint in order to display.

請求項2に記載の発明は、立体画像を構成する複数の視点画像から構成されかつ各視点画像には視点順序が付けられているがその順序が右側位置から順に付けられているのか左側位置から順に付けられているのか不明な被験画像群を記憶している第1記憶手段、上記被験画像群と視点数が同じ複数の視点画像または上記被験画像群と視点数が同じ複数の視点画像を生成可能なデータから構成されかつ各視点画像には視点順序が付けられており、視点順序が右側位置から順に付けられているのか左側位置から順に付けられているのかが予め分かっている基準画像群を記憶している第2記憶手段、被験画像と基準画像とを表示させるための表示装置、第1表示モードと第2表示モードとの間で、表示モードを切り替える表示モード切り替え手段、表示モードが第1表示モードである場合に、被験画像群に付けられている視点順序に基づいて、表示装置に被験画像を視点順に切り替え表示させると同時に、それに同期して、基準画像群に付けられている視点順序に基づいて、表示装置に基準画像を視点順に切り替え表示させる第1表示手段、ならびに表示モードが第2表示モードである場合には、被験画像群に付けられている視点順序に基づいて、表示装置に被験画像を視点順序と逆の順序で切り替え表示すると同時に、それに同期して、基準画像群に付けられている視点順序に基づいて、表示装置に基準画像を視点順に表示させる第2表示手段を備えていることを特徴とする。   The invention according to claim 2 is composed of a plurality of viewpoint images constituting a stereoscopic image, and each viewpoint image is assigned a viewpoint order, but the order is assigned from the right side position or from the left side position. First storage means for storing test image groups that are unknown whether they are assigned in sequence, generating a plurality of viewpoint images having the same number of viewpoints as the test image groups, or generating a plurality of viewpoint images having the same number of viewpoints as the test image group A viewpoint image is composed of possible data and each viewpoint image is assigned a viewpoint order, and a reference image group in which it is known in advance whether the viewpoint order is assigned sequentially from the right side position or from the left side position. Second storage means for storing, a display device for displaying the test image and the reference image, display mode switching means for switching the display mode between the first display mode and the second display mode, When the display mode is the first display mode, based on the viewpoint order attached to the test image group, the display device switches the test image to the viewpoint order and simultaneously attaches the test image to the reference image group in synchronization therewith. First display means for switching and displaying the reference image in the order of viewpoints on the display device based on the order of viewpoints, and when the display mode is the second display mode, the viewpoint order attached to the test image group Based on the viewpoint order assigned to the reference image group, the reference image is displayed in the order of the viewpoint based on the viewpoint order attached to the reference image group at the same time. A second display means is provided.

請求項3に記載の発明は、立体画像を構成する複数の視点画像から構成されかつ各視点画像には視点順序が付けられているがその順序が右側位置から順に付けられているのか左側位置から順に付けられているのか不明な被験画像群を記憶している第1記憶手段、上記被験画像群と視点数が同じ複数の視点画像または上記被験画像群と視点数が同じ複数の視点画像を生成可能なデータから構成されかつ各視点画像には視点順序が付けられており、視点順序が右側位置から順に付けられているのか左側位置から順に付けられているのかが予め分かっている基準画像群を記憶している第2記憶手段、被験画像と基準画像とを表示させるための表示装置、第1表示モードと第2表示モードとの間で、表示モードを切り替える表示モード切り替え手段、表示モードが第1表示モードである場合に、被験画像群に付けられている視点順序に基づいて、表示装置に被験画像を視点順に切り替え表示させると同時に、それに同期して、基準画像群に付けられている視点順序に基づいて、表示装置に基準画像を視点順に切り替え表示させる第1表示手段、ならびに表示モードが第2表示モードである場合には、被験画像群に付けられている視点順序に基づいて、表示装置に被験画像を視点順序に切り替え表示すると同時に、それに同期して、基準画像群に付けられている視点順序に基づいて、表示装置に基準画像を視点順序と逆の順序で切り替え表示させる第2表示手段を備えていることを特徴とする。   The invention according to claim 3 is composed of a plurality of viewpoint images constituting a stereoscopic image, and each viewpoint image is assigned a viewpoint order, but the order is assigned from the right side position or from the left side position. First storage means for storing test image groups that are unknown whether they are assigned in sequence, generating a plurality of viewpoint images having the same number of viewpoints as the test image groups, or generating a plurality of viewpoint images having the same number of viewpoints as the test image group A viewpoint image is composed of possible data and each viewpoint image is assigned a viewpoint order, and a reference image group in which it is known in advance whether the viewpoint order is assigned sequentially from the right side position or from the left side position. Second storage means for storing, a display device for displaying the test image and the reference image, display mode switching means for switching the display mode between the first display mode and the second display mode, When the display mode is the first display mode, based on the viewpoint order attached to the test image group, the display device switches the test image to the viewpoint order and simultaneously attaches the test image to the reference image group in synchronization therewith. First display means for switching and displaying the reference image in the order of viewpoints on the display device based on the order of viewpoints, and when the display mode is the second display mode, the viewpoint order attached to the test image group Based on the viewpoint order attached to the reference image group, the reference image is switched on the display device in the order opposite to the viewpoint order. It has the 2nd display means to display, It is characterized by the above-mentioned.

請求項4に記載の発明は、第1表示手段または第2表示手段によって、被験画像と基準画像とが表示装置に表示されている状態において、被験画像の動きと基準画像の動きとが同じであるとユーザが判断した場合に、ユーザに確認信号を入力させるための入力手段、確認信号が入力されたときには、表示モードが第1モードであるか第2モードであるかを判別する判別手段、ならびに判別手段によって表示モードが第2モードであると判別された場合には、被験画像群に付けられている視点順序を、逆の順序に付け替える手段を備えていることを特徴とする。 The invention according to claim 4 is the same as the movement of the test image and the movement of the reference image in a state where the test image and the reference image are displayed on the display device by the first display means or the second display means. An input means for causing the user to input a confirmation signal when the user determines that there is a determination means; a determination means for determining whether the display mode is the first mode or the second mode when the confirmation signal is input; In addition, when the display mode is determined to be the second mode by the determination unit, there is provided means for changing the viewpoint order assigned to the test image group to the reverse order.

この発明によれば、立体画像を構成する複数の視点画像の視点位置を識別することが可能となる。   According to the present invention, it is possible to identify viewpoint positions of a plurality of viewpoint images constituting a stereoscopic image.

以下、図面を参照して、この発明の実施例について説明する。   Embodiments of the present invention will be described below with reference to the drawings.

図1は、立体画像を構成する複数の視点画像の視点位置を識別するための装置の構成を示している。   FIG. 1 shows a configuration of an apparatus for identifying viewpoint positions of a plurality of viewpoint images constituting a stereoscopic image.

複数の視点画像の視点位置を識別するための装置は、パーソナルコンピュータによって実現される。パーソナルコンピュータ10には、ディスプレイ(モニタ)21、マウス22およびキーボード23が接続されている。パーソナルコンピュータ10は、CPU11、メモリ12、ハードディスク13、CD−ROMのようなリムーバブルディスクのドライブ(ディスクドライブ)14を備えている。   An apparatus for identifying viewpoint positions of a plurality of viewpoint images is realized by a personal computer. A display (monitor) 21, a mouse 22 and a keyboard 23 are connected to the personal computer 10. The personal computer 10 includes a CPU 11, a memory 12, a hard disk 13, and a removable disk drive (disk drive) 14 such as a CD-ROM.

ハードディスク13には、OS(オペレーティングシステム)等の他、立体画像を構成する複数の視点画像の視点位置を識別するための視点位置識別プログラムが格納されている。視点位置識別プログラムは、それが格納されたCD−ROM20を用いて、ハードディスク13にインストールされる。   In addition to the OS (operating system), the hard disk 13 stores a viewpoint position identification program for identifying the viewpoint positions of a plurality of viewpoint images constituting a stereoscopic image. The viewpoint position identification program is installed in the hard disk 13 using the CD-ROM 20 in which it is stored.

また、ハードディスク13には、立体画像を構成する互いに視点位置が異なる視点画像ファイルであって、視点位置が予め認識されている2視点基準画像ファイルH0,H1と、立体画像を構成する互いに視点位置が異なる視点画像ファイルであって、視点位置の識別対象となる2視点被験画像ファイルG0,G1が予め格納されている。ファイル名H0,H1,G0,G1における”H”,”G”はファイルの識別名であり、”0”,”1”の数字は視点順序を表している。視点順序は、視点位置の順番を示すものであり、視点位置が右側にあるファイルから昇順となるか、または視点位置が左側にあるファイルから昇順となるように、付けられている。この実施例では、視点順序は、0から始まる正の整数であるとする。   In addition, the hard disk 13 includes viewpoint image files that have different viewpoint positions that constitute a stereoscopic image and the viewpoint positions are recognized in advance, and the viewpoint positions that mutually constitute the stereoscopic image. Are different viewpoint image files, and two-viewpoint test image files G0 and G1 to be identified as viewpoint positions are stored in advance. “H” and “G” in the file names H0, H1, G0, and G1 are file identification names, and the numbers “0” and “1” indicate the viewpoint order. The viewpoint order indicates the order of viewpoint positions, and is assigned so that the viewpoint position is in ascending order from the file on the right side, or the viewpoint position is in ascending order from the file on the left side. In this embodiment, it is assumed that the viewpoint order is a positive integer starting from 0.

基準画像ファイルH0,H1の視点順序は、この例では、視点位置が最も右側にあるものから昇順に付けられている。したがって、基準画像ファイルH0の視点は、基準画像ファイルH1の視点よりも右側にある。被験画像ファイルG0,G1の視点順序は、視点位置が右側にあるものから昇順につけられているか、視点位置が左側にあるものから昇順につけられているか、不明である。   In this example, the viewpoint order of the reference image files H0 and H1 is assigned in ascending order from the one on the rightmost viewpoint position. Therefore, the viewpoint of the reference image file H0 is on the right side of the viewpoint of the reference image file H1. The viewpoint order of the test image files G0 and G1 is unknown whether the viewpoint position is assigned in ascending order from the one on the right side, or the viewpoint position is assigned in ascending order from the one on the left side.

なお、実際には、基準画像ファイルとしては、2視点の画像ファイルのみならず、それより視点数の多い多視点の画像ファイル(例えば、4視点の画像ファイル)もハードディスク13に格納されている。   Actually, as the reference image file, not only a two-viewpoint image file but also a multi-viewpoint image file (for example, a four-viewpoint image file) having a larger number of viewpoints is stored in the hard disk 13.

図2は、視点位置識別プログラムが起動された場合にモニタ21に表示される視点位置識別用画面の一例を示している。   FIG. 2 shows an example of a viewpoint position identification screen displayed on the monitor 21 when the viewpoint position identification program is started.

視点位置識別用画面の中央には、被験画像が表示される被験画像表示部101が設けられている。また、視点位置識別用画面における被験画像表示部101の上側および下側には、基準画像が表示される基準画像表示部102が設けられている。   At the center of the viewpoint position identification screen, a test image display unit 101 for displaying a test image is provided. In addition, a reference image display unit 102 for displaying a reference image is provided above and below the test image display unit 101 on the viewpoint position identification screen.

視点位置識別用画面の左上部には、画像読み込みボタン111と、OKボタン(確認信号入力手段)112とが横に並んで配置されている。また、画像読み込みボタン111の下側には、リバース用チェックボックス(表示モード切り替え手段)113が配置されている。また、視点位置識別用画面の右上部には、視点位置識別プログラムを終了させるための終了ボタン114が配置されている。   An image reading button 111 and an OK button (confirmation signal input means) 112 are arranged side by side in the upper left part of the viewpoint position identification screen. A reverse check box (display mode switching means) 113 is arranged below the image reading button 111. In addition, an end button 114 for ending the viewpoint position identification program is arranged in the upper right part of the viewpoint position identification screen.

判定者は、画像読み込みボタン111を押す。すると、図示しないファイル選択画面がポップアップ画面として表示されるので、判定者は被験画像ファイルGを選択する。被験画像ファイルGは、視点数に応じた複数の画像ファイルG0,G1から構成されているが、判定者は、そのうち視点順序が0のもの(この例では、G0)を選択する。CPU11は、選択された画像ファイルG0の識別名Gから、その識別名Gをファイル名として持つ全ての被験画像ファイルG0,G1を特定することができるとともに、それらの被験画像の視点数を特定することができる。   The determiner presses the image reading button 111. Then, since a file selection screen (not shown) is displayed as a pop-up screen, the determiner selects the test image file G. The test image file G is composed of a plurality of image files G0 and G1 corresponding to the number of viewpoints, and the determiner selects one with a viewpoint order of 0 (G0 in this example). The CPU 11 can specify all the test image files G0 and G1 having the identification name G as a file name from the identification name G of the selected image file G0, and specify the number of viewpoints of those test images. be able to.

ユーザによって被験画像ファイルG0が選択されると、CPU11は、選択された画像ファイルG0の識別名Gから、その識別名Gをファイル名として持つ全ての被験画像ファイルG0,G1を特定するとともに、それらの被験画像の視点数を特定する。そして、これらの画像ファイルG0,G1をメモリ12に読み込むとともに、選択された被験画像ファイルG0の視点数と視点数が同じ基準画像ファイルH0,H1をメモリ12に読み込む。   When the test image file G0 is selected by the user, the CPU 11 specifies all the test image files G0 and G1 having the identification name G as a file name from the identification name G of the selected image file G0, and The number of viewpoints of the test image is specified. Then, these image files G0 and G1 are read into the memory 12, and reference image files H0 and H1 having the same number of viewpoints as the number of viewpoints of the selected test image file G0 are read into the memory 12.

そして、基準画像表示部102には、図3に示すように、基準画像ファイルH0,H1を視点順に表示する。具体的には、H0,H1,H0,H1というように、右目用画像H0とその左目用画像H1とを、交互に表示させる。被験画像表示部101には、図3に示すように、基準画像Hの表示と同期して、その視点位置画像G0,G1とを視点順に表示する。具体的には、G0,G1,G0,G1というように、その視点位置画像G0,G1を交互に表示させる。つまり、基準画像の第1視点位置画像H0と被験画像Gの第1視点位置画像G0とが同時に表示され、基準画像の第2視点位置画像H1と被験画像Gの第2視点位置画像G1とが同時に表示される。   Then, the reference image display unit 102 displays the reference image files H0 and H1 in the order of viewpoint as shown in FIG. Specifically, the right-eye image H0 and the left-eye image H1 are alternately displayed as H0, H1, H0, and H1. The test image display unit 101 displays the viewpoint position images G0 and G1 in the order of viewpoints in synchronization with the display of the reference image H, as shown in FIG. Specifically, the viewpoint position images G0 and G1 are alternately displayed as G0, G1, G0, and G1. That is, the first viewpoint position image H0 of the reference image and the first viewpoint position image G0 of the test image G are displayed simultaneously, and the second viewpoint position image H1 of the reference image and the second viewpoint position image G1 of the test image G are displayed. Displayed at the same time.

図4、図5を参照して、2視点の基準画像H0,H1について説明する。   With reference to FIGS. 4 and 5, the two-view reference images H0 and H1 will be described.

図4に示すように、例えば、直方体300を2台のカメラQ0,Q1で撮像したとする。カメラQ0は、カメラQ1より右側に位置している。破線S0はカメラQ0の光軸(視線)を、破線S1はカメラQ1の光軸(視線)を、それぞれ示している。各カメラQ0,Q1によって撮像された画像は、H0,H1となる。   As shown in FIG. 4, for example, it is assumed that a rectangular parallelepiped 300 is captured by two cameras Q0 and Q1. The camera Q0 is located on the right side of the camera Q1. The broken line S0 indicates the optical axis (line of sight) of the camera Q0, and the broken line S1 indicates the optical axis (line of sight) of the camera Q1. Images captured by the cameras Q0 and Q1 are H0 and H1, respectively.

図5に示すように、カメラQ0の撮像画像H0からカメラQ1の撮像画像H1に表示画像を切り替えることは、カメラの光軸の向きが常に点Cを向くようにしてカメラを左に移動させることと等価なので、被写体300が点Cを中心として回転したように認識される。この際、点Cより手前の点は右に、点Cより奥の点Bは左に移動する。カメラQ1の撮像画像H1からカメラQ0の撮像画像H0に表示画像を切り替えると、被写体300が点Cを中心として、上記と反対方向に回転したように認識される。   As shown in FIG. 5, switching the display image from the captured image H0 of the camera Q0 to the captured image H1 of the camera Q1 moves the camera to the left so that the direction of the optical axis of the camera always faces the point C. Therefore, it is recognized that the subject 300 is rotated around the point C. At this time, the point before point C moves to the right, and the point B far behind point C moves to the left. When the display image is switched from the captured image H1 of the camera Q1 to the captured image H0 of the camera Q0, it is recognized that the subject 300 is rotated around the point C in the opposite direction.

なお、この実施例では、基準画像Hとしては、図3に示すように、自動車の画像が用いられている。また、被験画像Gは、魚を被写体とする画像となっている。判定者は、基準画像Hの動きと、被験画像Gの動きとを比較する。両画像H,Gの動きが、同じような動きであれば、判定者は、被験画像Gの視点順と基準画像Hの視点順とは同じであると判定する。このような場合には、判定者は、OKボタン111を押す。   In this embodiment, as the reference image H, an automobile image is used as shown in FIG. Further, the test image G is an image having fish as a subject. The determiner compares the movement of the reference image H with the movement of the test image G. If the movements of both images H and G are similar, the determiner determines that the viewpoint order of the test image G and the viewpoint order of the reference image H are the same. In such a case, the determiner presses the OK button 111.

両画像H,Gの動きが、同じような動きでない場合には、判定者は、リバース用チェックボックス113にチェックを入れる。リバース用チェックボックス113にチェックが入れられると、被験画像Gの表示順序が視点順と逆にされる。したがって、基準画像の第1視点位置画像H0と被験画像Gの第2視点位置画像G1とが同時に表示され、基準画像の第2視点位置画像H1と被験画像Gの第1視点位置画像G0とが同時に表示されるようになる。両画像H,Gの動きが、同じような動きであれば、判定者は、被験画像Gの視点順と基準画像Hの視点順とは同じであると判定する。このような場合には、判定者は、OKボタン111を押す。   If the movements of the images H and G are not similar, the determiner checks the reverse check box 113. When the reverse check box 113 is checked, the display order of the test images G is reversed from the viewpoint order. Accordingly, the first viewpoint position image H0 of the reference image and the second viewpoint position image G1 of the test image G are simultaneously displayed, and the second viewpoint position image H1 of the reference image and the first viewpoint position image G0 of the test image G are displayed. It will be displayed at the same time. If the movements of both images H and G are similar, the determiner determines that the viewpoint order of the test image G and the viewpoint order of the reference image H are the same. In such a case, the determiner presses the OK button 111.

OKボタン111が押された場合には、CPU11は、リバース用チェックボックス113にチェックが入れられているか否かを判別する。チェックが入れられていない場合には、今回の処理をそのまま終了する。チェックが入れられている場合には、被験画像Gの画像ファイルG0,G1のファイル名を、その視点順が逆になるように修正する。具体的には、画像ファイルG0のファイル名をG1に、画像ファイルG1のファイル名をG0に修正する。そして、今回の処理を終了する。この結果、被験画像Gの各画像ファイルの視点順は、基準画像Hの各画像ファイルH0,H1の視点順と同じになるので、判定者は、被験画像Gの画像ファイルの視点位置を認識することができるようになる。   When the OK button 111 is pressed, the CPU 11 determines whether or not the reverse check box 113 is checked. If the check is not entered, the current process is terminated as it is. When the check is on, the file names of the image files G0 and G1 of the test image G are corrected so that the viewpoint order is reversed. Specifically, the file name of the image file G0 is corrected to G1, and the file name of the image file G1 is corrected to G0. And this process is complete | finished. As a result, the viewpoint order of each image file of the test image G is the same as the viewpoint order of the image files H0 and H1 of the reference image H, so that the determiner recognizes the viewpoint position of the image file of the test image G. Will be able to.

図6は、視点位置識別プログラムが起動された場合にCPU11によって行われる識別処理手順を示している。   FIG. 6 shows an identification processing procedure performed by the CPU 11 when the viewpoint position identification program is activated.

ここでは、被験画像ファイルGとして、2視点被験画像ファイルG0,G1が選択される場合について説明する。   Here, a case where two-viewpoint test image files G0 and G1 are selected as the test image file G will be described.

視点位置識別プログラムが起動されると、図2に示すような視点位置識別用画面をモニタ21に表示するとともに、リバース状態であるか否かを示すフラグFをリセット(F=0)する(ステップS1)。フラグFは、リバース用チェックボックス113にチェックが入れられている場合にはセット(F=1)され、リバース用チェックボックス113にチェックが入れられていない場合にはリセット(F=0)される。   When the viewpoint position identification program is started, a viewpoint position identification screen as shown in FIG. 2 is displayed on the monitor 21 and a flag F indicating whether or not the reverse state is set is reset (F = 0) (step 0). S1). The flag F is set (F = 1) when the reverse check box 113 is checked, and is reset (F = 0) when the reverse check box 113 is not checked. .

画像読み込みボタン111が押されると(ステップS2)、図示しないファイル選択画面をポップアップ画面として表示させる(ステップS3)。判定者によって被験画像ファイルG(G0)が選択されると(ステップS4)、ファイル選択画面を消去するとともに被験画像ファイルG0,G1と、被験画像ファイルG0,G1の視点数に対応した基準画像ファイルH0,H1とをメモリ12に読み込む(ステップS5)。   When the image reading button 111 is pressed (step S2), a file selection screen (not shown) is displayed as a pop-up screen (step S3). When the test image file G (G0) is selected by the determiner (step S4), the file selection screen is deleted and the test image files G0 and G1 and the reference image file corresponding to the number of viewpoints of the test image files G0 and G1 are displayed. H0 and H1 are read into the memory 12 (step S5).

次に、リバース用チェックボックス113にチェックが入れられているか否かを判別する(ステップS6)。つまり、フラグFがセットされているか否かを判別する。チェックボックス113にチェックが入れられていない場合(F=0)には、被験画像ファイルG0,G1のうちG0を被験画像表示部101に表示するとともに、基準画像ファイルH0,H1のうちH0を基準画像表示部102に表示する(ステップS7)。つまり、被験画像ファイルG0と基準画像ファイルH0とが同時に表示される。この後、被験画像ファイルG1を被験画像表示部101に表示する(G0からG1に表示を切り替える)とともに、基準画像ファイルH1を基準画像表示部102に表示する(H0からH1に表示を切り替える)(ステップS8)。つまり、被験画像ファイルG1と基準画像ファイルH1とが同時に表示される。   Next, it is determined whether or not the reverse check box 113 is checked (step S6). That is, it is determined whether or not the flag F is set. When the check box 113 is not checked (F = 0), G0 of the test image files G0 and G1 is displayed on the test image display unit 101, and H0 of the reference image files H0 and H1 is used as a reference. The image is displayed on the image display unit 102 (step S7). That is, the test image file G0 and the reference image file H0 are displayed simultaneously. Thereafter, the test image file G1 is displayed on the test image display unit 101 (display is switched from G0 to G1), and the reference image file H1 is displayed on the reference image display unit 102 (display is switched from H0 to H1) ( Step S8). That is, the test image file G1 and the reference image file H1 are displayed simultaneously.

そして、OKボタン111が押されたか否かを判別する(ステップS11)。OKボタン111が押されていない場合には、ステップS6に戻る。つまり、チェックボックス113にチェックが入れられていない状態においては、ステップS6,S7,S8およびS11の処理が繰り返し行われる。   Then, it is determined whether or not the OK button 111 is pressed (step S11). If the OK button 111 has not been pressed, the process returns to step S6. That is, in a state where the check box 113 is not checked, the processes of steps S6, S7, S8 and S11 are repeated.

上記ステップS6において、チェックボックス113にチェックが入れられていると判別された場合(F=1)には、被験画像ファイルG0,G1のうちG1を被験画像表示部101に表示するとともに、基準画像ファイルH0,H1のうちH0を基準画像表示部102に表示する(ステップS9)。つまり、被験画像ファイルG1と基準画像ファイルH0とが同時に表示される。この後、被験画像ファイルG0を被験画像表示部101に表示する(G1からG0に表示を切り替える)とともに、基準画像ファイルH1を基準画像表示部102に表示する(H0からH1に表示を切り替える)(ステップS10)。つまり、被験画像ファイルG0と基準画像ファイルH1とが同時に表示される。   If it is determined in step S6 that the check box 113 is checked (F = 1), G1 of the test image files G0 and G1 is displayed on the test image display unit 101, and the reference image is displayed. Of the files H0 and H1, H0 is displayed on the reference image display unit 102 (step S9). That is, the test image file G1 and the reference image file H0 are displayed simultaneously. Thereafter, the test image file G0 is displayed on the test image display unit 101 (the display is switched from G1 to G0), and the reference image file H1 is displayed on the reference image display unit 102 (the display is switched from H0 to H1) ( Step S10). That is, the test image file G0 and the reference image file H1 are displayed simultaneously.

そして、OKボタン111が押されたか否かを判別する(ステップS11)。OKボタン111が押されていない場合には、ステップS6に戻る。つまり、チェックボックス113にチェックが入れられている状態においては、ステップS6,S9,S10およびS11の処理が繰り返し行われる。   Then, it is determined whether or not the OK button 111 is pressed (step S11). If the OK button 111 has not been pressed, the process returns to step S6. That is, when the check box 113 is checked, the processes of steps S6, S9, S10, and S11 are repeated.

上記ステップS11において、OKボタン111が押されていると判別した場合には、チェックボックス113にチェックが入れられているか否かを判別する(ステップS12)。チェックボックス113にチェックが入れられていない場合(F=0)には、今回の処理を終了する。チェックボックス113にチェックが入れられている場合(F=1)には、被験画像Gの画像ファイルG0,G1のファイル名を、その視点順が逆になるように修正する(ステップS13)。具体的には、画像ファイルG0のファイル名をG1に、画像ファイルG1のファイル名をG0に修正する。そして、今回の処理を終了する。   If it is determined in step S11 that the OK button 111 is pressed, it is determined whether or not the check box 113 is checked (step S12). If the check box 113 is not checked (F = 0), the current process is terminated. When the check box 113 is checked (F = 1), the file names of the image files G0 and G1 of the test image G are corrected so that the viewpoint order is reversed (step S13). Specifically, the file name of the image file G0 is corrected to G1, and the file name of the image file G1 is corrected to G0. And this process is complete | finished.

次に、被験画像ファイルGとして、2視点以上の被験画像ファイルG(G0,G1,…,Gi,…,Gn)が選択される場合について説明する。パーソナルコンピュータ10のハードディスク13には、2視点以上の被験画像ファイルG(G0,G1,…,Gi,…,Gn)が格納されているものとする。視点数をNとすると、N=n+1となる。例えば、視点数Nが4の場合には、被験画像ファイルGは、G0,G1,G2,G3から構成される。   Next, a case where test image files G (G0, G1,..., Gi,..., Gn) having two or more viewpoints are selected as the test image files G will be described. Assume that the hard disk 13 of the personal computer 10 stores test image files G (G0, G1,..., Gi,..., Gn) having two or more viewpoints. If the number of viewpoints is N, N = n + 1. For example, when the number of viewpoints N is 4, the test image file G includes G0, G1, G2, and G3.

図7は、視点位置識別プログラムが起動された場合にCPU11によって行われる識別処理手順を示している。   FIG. 7 shows an identification processing procedure performed by the CPU 11 when the viewpoint position identification program is activated.

視点位置識別プログラムが起動されると、図2に示すような視点位置識別用画面をモニタ21に表示するとともに、フラグFt と、フラグFt-1 をリセット(Ft =Ft-1 0)する(ステップS21)。フラグFt は、リバース用チェックボックス113にチェックが入れられている場合にはセット(Ft =1)され、リバース用チェックボックス113にチェックが入れられていない場合にはリセット(Ft =0)される。フラグFt-1 は、フラグFt がセットされているか否かを判別するステップS27の判別結果を、前回の判別結果として記憶するためのフラグである。 When the viewpoint position identification program is started, a viewpoint position identification screen as shown in FIG. 2 is displayed on the monitor 21 and the flag F t and the flag F t−1 are reset (F t = F t−1 = 0) (step S21). The flag F t is set (F t = 1) when the reverse check box 113 is checked, and is reset (F t = 0) when the reverse check box 113 is not checked. ) The flag F t-1 is a flag for storing the determination result of step S27 for determining whether or not the flag F t is set as the previous determination result.

画像読み込みボタン111が押されると(ステップS22)、図示しないファイル選択画面をポップアップ画面として表示させる(ステップS23)。判定者によって被験画像ファイルG(G0)が選択されると(ステップS24)、ファイル選択画面を消去するとともに被験画像ファイルG0,G1,…,Gi,…,Gnと、被験画像ファイルG0,G1,…,Gnの視点数N(=n+1)に対応した基準画像ファイルH0,H1,…,Hj,…,Hnとをメモリ12に読み込む(ステップS25)。   When the image reading button 111 is pressed (step S22), a file selection screen (not shown) is displayed as a pop-up screen (step S23). When the examiner selects the test image file G (G0) (step S24), the file selection screen is deleted and the test image files G0, G1,..., Gi,. ..., reference image files H0, H1, ..., Hj, ..., Hn corresponding to the number of viewpoints N (= n + 1) of Gn are read into the memory 12 (step S25).

被験画像ファイルG0,G1,…,GnをGi(i=0,1,…,n)で表すとともに、基準画像ファイルH0,H1,…,HnをHj(j=0,1,…,n)で表すことにする。   The test image files G0, G1,..., Gn are represented by Gi (i = 0, 1,..., N) and the reference image files H0, H1,..., Hn are represented by Hj (j = 0, 1,..., N). It will be expressed as

i=−1,j=−1となるように、i,jを設定する(ステップS26)。次に、リバース用チェックボックス113にチェックが入れられているか否かを判別する(ステップS27)。つまり、フラグFt がセット(Ft-1 =1)されているか否かを判別する。チェックボックス113にチェックが入れられていない場合(Ft =0)には、フラグFt-1 がセット(Ft-1 =1)されているか否かを判別する(ステップS28)。フラグFt-1 がセットされていない場合(Ft-1 =0)には、前回においても、非リバース状態であると判別し、Ft-1 としてFt の値(この場合は0)を設定した後(ステップS29)、i=i+1,j=j+1の演算によって、i,jの値を更新する(ステップS30)。そして、i=Nとなったか否かを判別する(ステップS31)。i=Nでなければ、ステップS40に進む。i=Nであれば、i=0,j=0となるように、i,jを設定した後(ステップS33)、ステップS40に進む。 i and j are set so that i = −1 and j = −1 (step S26). Next, it is determined whether or not the reverse check box 113 is checked (step S27). That is, it is determined whether or not the flag F t is set (F t−1 = 1). If the check box 113 is not checked (F t = 0), it is determined whether or not the flag F t-1 is set (F t-1 = 1) (step S28). If the flag F t-1 is not set (F t-1 = 0), it is determined that the non-reverse state has occurred in the previous time, and the value of F t (0 in this case) is determined as F t-1. (Step S29), the values of i and j are updated by the calculation of i = i + 1 and j = j + 1 (step S30). Then, it is determined whether i = N or not (step S31). If i = N, the process proceeds to step S40. If i = N, i and j are set so that i = 0 and j = 0 (step S33), and then the process proceeds to step S40.

ステップS40では、被験画像Giと基準画像Hjとを表示する。つまり、被験画像ファイルGiを被験画像表示部101に表示するとともに、基準画像ファイルHjを基準画像表示部102に表示する。そして、OKボタン111が押されたか否かを判別する(ステップS41)。OKボタン111が押されていない場合には、ステップS27に戻る。つまり、チェックボックス113にチェックが入れられていない状態においては、ステップS27〜S31,S33,S40,S41の処理が繰り返し行われる。この結果、例えば、4視点の画像である場合には、G0,H0の組、G1,H1の組,G2,H2の組、G3,H3の組が、順次表示されることになる。   In step S40, the test image Gi and the reference image Hj are displayed. That is, the test image file Gi is displayed on the test image display unit 101, and the reference image file Hj is displayed on the reference image display unit 102. Then, it is determined whether or not the OK button 111 has been pressed (step S41). If the OK button 111 has not been pressed, the process returns to step S27. That is, in a state where the check box 113 is not checked, the processes of steps S27 to S31, S33, S40, and S41 are repeated. As a result, for example, in the case of an image of four viewpoints, a set of G0 and H0, a set of G1 and H1, a set of G2 and H2, and a set of G3 and H3 are sequentially displayed.

なお、上記ステップS28において、フラグFt-1 がセットされている場合(Ft-1 =1)には、リバース状態から非リバース状態に変化したと判別し、Ft-1 としてFt の値(この場合は0)を設定した後(ステップS32)、ステップS33に移行し、i=0,j=0となるように、i,jを設定する。そして、ステップS40に進む。 In the above step S28, in a case where the flag F t-1 is set (F t-1 = 1) , determined to have changed from the reverse state to the non-reverse state, the F t-1 as F t After setting a value (in this case, 0) (step S32), the process proceeds to step S33, and i and j are set so that i = 0 and j = 0. Then, the process proceeds to step S40.

上記ステップS27において、チェックボックス113にチェックが入れられていると判別された場合(Ft =1)には、フラグFt-1 がリセット(Ft-1 =0)されているか否かを判別する(ステップS34)。フラグFがリセットされている場合(Ft-1 =0)には、非リバース状態からリバース状態に変化したと判別し、Ft-1 としてFt の値(この場合は1)を設定した後(ステップS38)、ステップS39に移行し、i=N−1,j=0となるように、i,jを設定する。そして、ステップS40に進む。 If it is determined in step S27 that the check box 113 is checked (F t = 1), it is determined whether the flag F t-1 is reset (F t-1 = 0). A determination is made (step S34). When the flag F is reset (F t-1 = 0), it is determined that the state has changed from the non-reverse state to the reverse state, and the value of F t (1 in this case) is set as F t -1 Later (step S38), the process proceeds to step S39, and i and j are set so that i = N−1 and j = 0. Then, the process proceeds to step S40.

上記ステップS34において、フラグFt-1 がセットされている場合(Ft-1 =1)には、前回においても、リバース状態であると判別し、Ft-1 としてFt の値(この場合は1)を設定した後(ステップS35)、i=i−1,j=j+1の演算によって、i,jの値を更新する(ステップS36)。そして、i<0となったか否かを判別する(ステップS37)。i≧0であれば、ステップS40に進む。i<0であれば、i=N−1,j=0となるように、i,jを設定した後(ステップS39)、ステップS40に進む。 In step S34, in a case where the flag F t-1 is set (F t-1 = 1) , even in the last, it is determined that the reverse state, the value of F t-1 as F t (this In this case, after 1) is set (step S35), the values of i and j are updated by the calculation of i = i-1, j = j + 1 (step S36). Then, it is determined whether i <0 or not (step S37). If i ≧ 0, the process proceeds to step S40. If i <0, i and j are set so that i = N−1 and j = 0 (step S39), and then the process proceeds to step S40.

ステップS40では、被験画像Giと基準画像Hjとを表示する。つまり、被験画像ファイルGiを被験画像表示部101に表示するとともに、基準画像ファイルHjを基準画像表示部102に表示する。そして、OKボタン111が押されたか否かを判別する(ステップS41)。OKボタン111が押されていない場合には、ステップS27に戻る。つまり、チェックボックス113にチェックが入れられている状態においては、ステップS27,ステップS34〜S37,S39,S40,S41の処理が繰り返し行われる。この結果、例えば、4視点の画像である場合には、G3,H0の組、G2,H1の組,G1,H2の組、G0,H3の組が、順次表示されることになる。   In step S40, the test image Gi and the reference image Hj are displayed. That is, the test image file Gi is displayed on the test image display unit 101, and the reference image file Hj is displayed on the reference image display unit 102. Then, it is determined whether or not the OK button 111 has been pressed (step S41). If the OK button 111 has not been pressed, the process returns to step S27. That is, in a state where the check box 113 is checked, the processes of steps S27, S34 to S37, S39, S40, and S41 are repeated. As a result, for example, in the case of a four-viewpoint image, the group G3, H0, the group G2, H1, the group G1, H2, and the group G0, H3 are displayed in sequence.

上記ステップS41において、OKボタン111が押されていると判別した場合には、フラグFt がセットされているか否かを判別する(ステップS42)。フラグFt がリセットされている場合(Ft =0)には、今回の処理を終了する。フラグFt がセットされている場合(Ft =1)には、被験画像Gの画像ファイルG0,G1,…,Gnのファイル名を、その視点順が逆になるように修正する(ステップ43)。例えば、被験画像Gが4視点画像G0,G1,G2,G3である場合には、画像ファイルG0のファイル名をG3に、画像ファイルG1のファイル名をG2に、画像ファイルG2のファイル名をG1に、画像ファイルG3のファイル名をG0に、修正する。そして、今回の処理を終了する。 If it is determined in step S41 that the OK button 111 is pressed, it is determined whether the flag Ft is set (step S42). If the flag F t is reset (F t = 0), the current process is terminated. If the flag F t is set (F t = 1), the file names of the image files G0, G1,..., Gn of the test image G are corrected so that the viewpoint order is reversed (step 43). ). For example, if the test image G is a four-viewpoint image G0, G1, G2, G3, the file name of the image file G0 is G3, the file name of the image file G1 is G2, and the file name of the image file G2 is G1. Then, the file name of the image file G3 is corrected to G0. And this process is complete | finished.

被験画像または基準画像を構成する複数の視点画像は、1つのファイル内に格納されていてもよい。例えば、複数の視点画像が並べて結合され、1枚の画像としてファイルに格納されていてもよい(特開2003−111101号公報参照)。また、TIFF画像形式のマルチページ機能と同様の機能を利用して複数の視点画像が1つのファイルに格納されていてもよい。いずれの場合も、各視点画像には、視点順序がタグ情報等によって対応付けられており、図6のステップS5または図7のステップS25の画像読込みにおいては、メモリ上に視点画像と視点順序とが対応付けられて読み込まれる。   A plurality of viewpoint images constituting the test image or the reference image may be stored in one file. For example, a plurality of viewpoint images may be combined and stored in a file as a single image (see Japanese Patent Application Laid-Open No. 2003-111101). A plurality of viewpoint images may be stored in one file by using a function similar to the multi-page function of the TIFF image format. In any case, the viewpoint order is associated with each viewpoint image by tag information or the like. In the image reading in step S5 in FIG. 6 or step S25 in FIG. 7, the viewpoint image and the viewpoint order are stored in the memory. Are associated and read.

基準画像は、ファイルとして存在しなくてもよい。例えば、プログラム本体に画像データとして含まれていてもよい。また、コンピュータグラフィックスで3次元オブジェクトから、オブジェクトを固定しカメラ位置を変えるか、もしくはカメラを固定しオブジェクトを回転しながら、リアルタイムで基準画像を生成してもよい。本実施例では、例えば、カメラを固定し、オブジェクトを上から見て反時計方向に回転すると、オブジェクトを右側から見た画像から、左側に見た画像へと変化する。   The reference image may not exist as a file. For example, it may be included as image data in the program body. Alternatively, a reference image may be generated in real time from a three-dimensional object by computer graphics while fixing the object and changing the camera position, or fixing the camera and rotating the object. In this embodiment, for example, when the camera is fixed and the object is rotated counterclockwise when viewed from above, the image changes from an image viewed from the right side to an image viewed from the left side.

上記実施例では、非リバース状態での表示とリバース状態での表示とを切替えているが、非リバース状態での表示とリバース状態での表示とを並べて同時に行ない、正しく回転している方を選択させるようにしてもよい。   In the above example, the display in the non-reverse state and the display in the reverse state are switched, but the display in the non-reverse state and the display in the reverse state are performed side by side and the one that rotates correctly is selected. You may make it make it.

基準画像としては、空間の回転が把握できる図形であれば、単純な線図やマーカのようなものでもよい。最小の構成では、前後に配置された2点があればよい。   The reference image may be a simple diagram or marker as long as it is a figure that can grasp the rotation of the space. In the minimum configuration, it is only necessary to have two points arranged at the front and rear.

また、被験画像または基準画像の各視点画像は、静止画像でも動画像でもよい。   Further, each viewpoint image of the test image or the reference image may be a still image or a moving image.

表示装置が立体画像表示装置(特開平07−181429号公報参照)の場合には、次のように考えるとよい。立体画像表示装置で立体画像を観察する際、観察者は左右の眼で異なる画像を観察する。また、左右の眼で観察される画像を同じ画像とすると、観察者は通常の平面(二次元)の画像を観察することになる。これを利用すると、平面表示と立体表示の両方が可能となる。   When the display device is a stereoscopic image display device (see Japanese Patent Application Laid-Open No. 07-181429), it may be considered as follows. When observing a stereoscopic image with the stereoscopic image display device, the observer observes different images with the left and right eyes. If the images observed by the left and right eyes are the same image, the observer observes a normal flat (two-dimensional) image. When this is used, both planar display and stereoscopic display are possible.

被験画像の視点数が4とすると、平面表示の場合は、例えば、図7で非リバース状態のときは、左右の眼で観察される画像を共にG0,H0の組、G1,H1の組、G2,H2の組、G3,H3の組とし、これらの組を順に表示すればよい。   If the number of viewpoints of the test image is 4, in the case of flat display, for example, in the non-reverse state in FIG. 7, the images observed with the left and right eyes are both G0, H0 set, G1, H1 set, A set of G2 and H2, and a set of G3 and H3, and these sets may be displayed in order.

被験画像の視点数が4とすると、立体表示の場合には、例えば、図7で非リバース状態のときは、右眼で観察される画像がG0,H0の組の時は左眼で観察される画像をG1,H1の組とし、右眼で観察される画像がG1,H1の組の時は左眼で観察される画像をG2,H2の組とし、右眼で観察される画像がG2,H2の組の時は左眼で観察される画像をG3,H3の組とし、これらの組み合わせを順番に表示すればよい。これにより、基準画像Hは常に立体画像として観察され、被験画像Gは視点順序が正しければ、基準画像と同じ方向に回転する立体画像として観察される。   When the number of viewpoints of the test image is 4, in the case of stereoscopic display, for example, in the non-reverse state in FIG. 7, when the image observed with the right eye is a set of G0 and H0, it is observed with the left eye. When the image observed with the right eye is a set of G1 and H1, the image observed with the left eye is the set of G2 and H2, and the image observed with the right eye is G2. , H2, the image observed with the left eye is set as G3, H3, and these combinations may be displayed in order. Thus, the reference image H is always observed as a stereoscopic image, and the test image G is observed as a stereoscopic image that rotates in the same direction as the reference image if the viewpoint order is correct.

リバース状態のときは、右眼で観察される画像がG3,H0の組の時は左眼で観察される画像をG2,H1の組とし、右眼で観察される画像がG2,H1の組の時は左眼で観察される画像をG1,H2の組とし、右眼で観察される画像がG1,H2の組の時は左眼で観察される画像をG0,H3の組とし、これらの組み合わせを順番に表示すればよい。これにより、基準画像Hは常に立体画像として観察され、被験画像Gはリバース状態が正しい視点順序であれば、基準画像と同じ方向に回転する立体画像として観察される。   In the reverse state, when the image observed with the right eye is a set of G3 and H0, the image observed with the left eye is set as G2 and H1, and the image observed with the right eye is set as G2 and H1. In this case, the image observed with the left eye is set as G1 and H2, and when the image observed with the right eye is set as G1 and H2, the image observed with the left eye is set as G0 and H3. These combinations may be displayed in order. Thus, the reference image H is always observed as a stereoscopic image, and the test image G is observed as a stereoscopic image that rotates in the same direction as the reference image if the reverse state is the correct viewpoint order.

被験画像と基準画像とは同時に画面上に表示されればよいので、本実施例のように分離して表示してもよいし、重ねて表示してもよい。つまり、被験画像上に基準画像をより小さなサイズで重ね描きして表示してもよいし、基準画像上に被験画像をより小さなサイズで重ね描きして表示してもよい。両方の画像を半透明で重ねて表示してもよく、この場合、2つの空間が重なって認識される。これを実現するには、基準画像と被験画像の画素データを50%つづ加えた値を表示画像の画素データとすればよい。   Since the test image and the reference image may be displayed on the screen at the same time, they may be displayed separately as in the present embodiment, or may be displayed in an overlapping manner. That is, the reference image may be displayed with a smaller size superimposed on the test image, or the test image may be displayed with a smaller size superimposed on the reference image. Both images may be displayed translucently and superimposed, and in this case, the two spaces are recognized overlapping. In order to realize this, a value obtained by adding 50% of the pixel data of the reference image and the test image may be used as the pixel data of the display image.

被験画像を構成する各視点画像の視点位置をより確認しやすくするために、被験画像や基準画像の視点の変化量が可変であってもよい。画像撮影時において、カメラ間隔が広いほど、各視点画像を切り替えて表示した際の回転量が大きくなる。このような場合には、基準画像の回転量も大きくした方が判定し易い。これを実現するには、予め基準画像としては、被験画像の視点数より多い視点数の視点画像を用意しておき、回転量を大きくする際には画像の選択順序を変更すればよい。例えば4視点画像の判定に際して、均等なカメラ間隔で撮影された0から12の13枚からなる基準画像を用意しておき、通常は中央の「4→5→6→7」を順次表示するが、飛びを大きくする際は、「2→4→6→8」または「0→4→8→12」などの順に表示する。   In order to make it easier to confirm the viewpoint position of each viewpoint image constituting the test image, the amount of change in the viewpoint of the test image or the reference image may be variable. At the time of image capture, the wider the camera interval, the greater the amount of rotation when switching and displaying each viewpoint image. In such a case, it is easier to determine if the rotation amount of the reference image is also increased. In order to realize this, viewpoint images having a larger number of viewpoints than the number of viewpoints of the test image are prepared as reference images in advance, and the image selection order may be changed when the rotation amount is increased. For example, when determining a four-viewpoint image, a reference image composed of 13 images from 0 to 12 taken at an equal camera interval is prepared, and normally “4 → 5 → 6 → 7” in the center is sequentially displayed. When increasing the jump, display is made in the order of “2 → 4 → 6 → 8” or “0 → 4 → 8 → 12”.

3次元オブジェクトからリアルタイムに生成する場合は、カメラの移動量もしくはオブジェクトの回転角度を大きくすればよい。   When generating from a three-dimensional object in real time, the movement amount of the camera or the rotation angle of the object may be increased.

基準画像との比較のために、被験画像にさらにマーカを付加してもよい。マーカは各視点画像の同じ点を表す画素(群)に付加する。マーカは全ての視点画像に手入力してもよいし、1つの視点画像にマーカを手入力した後は、対応点マッチング(特開平11−339021号公報、特開2002−170111号公報等を参照)などの技術で自動的に他の視点画像にマーカを付加するようにしてもよい。1つの視点画像へのマーカをランダムに決めれば、全視点画像に自動的に付加することもできる。マーカは図形でもよいし、視点画像の対応画像の対応部分の色彩を変えたものでもよいし、視点画像の輝度を変えたものでもよい。   A marker may be further added to the test image for comparison with the reference image. A marker is added to a pixel (group) representing the same point in each viewpoint image. Markers may be manually input to all viewpoint images, or after manually inputting a marker to one viewpoint image, matching points matching (refer to Japanese Patent Laid-Open Nos. 11-339021 and 2002-170111) ) Etc., a marker may be automatically added to another viewpoint image. If a marker for one viewpoint image is randomly determined, it can be automatically added to all viewpoint images. The marker may be a figure, a color of the corresponding portion of the corresponding image of the viewpoint image may be changed, or a luminance of the viewpoint image may be changed.

視点画像の水平表示位置を視点によって変えるようにしてもよい。例えばH0とH1が図8のように被写体の位置が偏った画像になっていると、H0からH1に表示を切り換えても、図9のように直方体の各点A,B,Cは全て右方向に移動する。この状態では回転軸が直方体内にないので、回転方向の判断を誤ることがある。そこで、H0を右に、H1を左に移動して表示することで、図10のように回転軸が直方体内に移り、図5と同じように回転の判断が可能となる。このように、移動前の画像(H0)の水平表示位置を各点の移動と同じ方向に、移動後の画像(H1)の水平表示位置を各点の移動と逆の方向に変更するとよい。この変更は、ウィンドウ上のボタン入力で行われてもよい。または、対応点マッチング(特開平11−339021号公報、特開2002−170111号公報等を参照)で各点の移動方向を調べ、多くの点が同じ方向に移動していれば上記変更を自動的に施すようにしてもよい。   The horizontal display position of the viewpoint image may be changed depending on the viewpoint. For example, if H0 and H1 are images in which the position of the subject is biased as shown in FIG. 8, even if the display is switched from H0 to H1, all the points A, B, and C of the rectangular parallelepiped are all right as shown in FIG. Move in the direction. In this state, since the rotation axis is not in the rectangular parallelepiped, the determination of the rotation direction may be wrong. Therefore, by displaying H0 on the right and H1 on the left, the rotation axis moves into the rectangular parallelepiped as shown in FIG. 10, and the rotation can be determined as in FIG. Thus, the horizontal display position of the image (H0) before movement may be changed in the same direction as the movement of each point, and the horizontal display position of the image (H1) after movement may be changed in the direction opposite to the movement of each point. This change may be performed by a button input on the window. Alternatively, corresponding point matching (see Japanese Patent Application Laid-Open Nos. 11-339021 and 2002-170111) is used to check the movement direction of each point, and if many points are moving in the same direction, the above change is automatically performed. You may make it apply.

立体画像を構成する複数の視点画像の視点位置を識別するための装置の構成を示すブロック図である。It is a block diagram which shows the structure of the apparatus for identifying the viewpoint position of the several viewpoint image which comprises a stereo image. 視点位置識別プログラムが起動された場合にモニタ21に表示される視点位置識別用画面の一例を示す模式図である。It is a schematic diagram which shows an example of the screen for viewpoint position identification displayed on the monitor when a viewpoint position identification program is started. 視点位置識別用画面に、基準画像と被験画像とが表示された状態を示す模式図である。It is a schematic diagram which shows the state by which the reference | standard image and the test image were displayed on the screen for viewpoint position identification. 直方体300を2台のカメラQ0,Q1で撮像して、2つの視点位置画像H0,H1を撮影する場合を示す模式図である。It is a schematic diagram which shows the case where the rectangular parallelepiped 300 is imaged with two cameras Q0 and Q1, and two viewpoint position images H0 and H1 are imaged. 図4の撮像画像H0から撮像画像H1に表示画像を切り替えた状態を示す模式図である。It is a schematic diagram which shows the state which switched the display image from the captured image H0 of FIG. 4 to the captured image H1. 視点位置識別プログラムが起動された場合にCPU11によって行われる識別処理手順を示すフローチャートである。It is a flowchart which shows the identification process procedure performed by CPU11 when a viewpoint position identification program is started. 視点位置識別プログラムが起動された場合にCPU11によって行われる識別処理手順を示すフローチャートである。It is a flowchart which shows the identification process procedure performed by CPU11 when a viewpoint position identification program is started. 2つの視点位置画像H0,H1の例を示す模式図である。It is a schematic diagram which shows the example of two viewpoint position images H0 and H1. 図8の視点位置画像H0から、図8の視点位置画像に表示を切り替えた状態を示す模式図である。It is a schematic diagram which shows the state which switched the display from the viewpoint position image H0 of FIG. 8 to the viewpoint position image of FIG. 図8の視点位置画像H0の表示位置を右側に移動させるとともに、図8の視点位置画像H1の表示位置を左側に移動させた状態を示す模式図である。FIG. 9 is a schematic diagram illustrating a state in which the display position of the viewpoint position image H0 in FIG. 8 is moved to the right side and the display position of the viewpoint position image H1 in FIG. 8 is moved to the left side.

符号の説明Explanation of symbols

10 パーソナルコンピュータ
11 CPU
12 メモリ
13 ハードディスク
14 ドライブ(ディスクドライブ)
10 Personal computer 11 CPU
12 memory 13 hard disk 14 drive (disk drive)

Claims (4)

立体画像を構成する複数の視点画像から構成されかつ各視点画像には視点順序が付けられているがその順序が右側位置から順に付けられているのか左側位置から順に付けられているのか不明な被験画像群を記憶している第1記憶手段、
上記被験画像群と視点数が同じ複数の視点画像または上記被験画像群と視点数が同じ複数の視点画像を生成可能なデータから構成されかつ各視点画像には視点順序が付けられており、視点順序が右側位置から順に付けられているのか左側位置から順に付けられているのかが予め分かっている基準画像群を記憶している第2記憶手段、
被験画像と基準画像とを表示させるための表示装置、ならびに
被験画像群に付けられている視点順序に基づいて、表示装置に被験画像を視点順に切り替え表示させると同時に、それに同期して、基準画像群に付けられている視点順序にしたがって、表示装置に基準画像を視点順に切り替え表示させる手段、
を備えていることを特徴とする立体画像を構成する複数の視点画像の視点位置識別装置。
A test composed of a plurality of viewpoint images constituting a stereoscopic image, and each viewpoint image is assigned a viewpoint order, but it is unknown whether the order is assigned from the right position or the left position. First storage means for storing image groups;
It is composed of data that can generate a plurality of viewpoint images having the same number of viewpoints as the test image group or a plurality of viewpoint images having the same number of viewpoints as the test image group, and each viewpoint image is assigned a viewpoint order. Second storage means for storing a reference image group in which it is known in advance whether the order is assigned in order from the right side position or in order from the left side position;
A display device for displaying the test image and the reference image, and a display device that switches the display of the test images in the order of viewpoints based on the viewpoint order attached to the test image group, and at the same time, synchronizes with the reference image. Means for switching and displaying the reference image in the order of viewpoints on the display device in accordance with the order of viewpoints attached to the group;
A viewpoint position identifying device for a plurality of viewpoint images constituting a stereoscopic image.
立体画像を構成する複数の視点画像から構成されかつ各視点画像には視点順序が付けられているがその順序が右側位置から順に付けられているのか左側位置から順に付けられているのか不明な被験画像群を記憶している第1記憶手段、
上記被験画像群と視点数が同じ複数の視点画像または上記被験画像群と視点数が同じ複数の視点画像を生成可能なデータから構成されかつ各視点画像には視点順序が付けられており、視点順序が右側位置から順に付けられているのか左側位置から順に付けられているのかが予め分かっている基準画像群を記憶している第2記憶手段、
被験画像と基準画像とを表示させるための表示装置、
第1表示モードと第2表示モードとの間で、表示モードを切り替える表示モード切り替え手段、
表示モードが第1表示モードである場合に、被験画像群に付けられている視点順序に基づいて、表示装置に被験画像を視点順に切り替え表示させると同時に、それに同期して、基準画像群に付けられている視点順序に基づいて、表示装置に基準画像を視点順に切り替え表示させる第1表示手段、ならびに
表示モードが第2表示モードである場合には、被験画像群に付けられている視点順序に基づいて、表示装置に被験画像を視点順序と逆の順序で切り替え表示すると同時に、それに同期して、基準画像群に付けられている視点順序に基づいて、表示装置に基準画像を視点順に表示させる第2表示手段、
を備えていることを特徴とする立体画像を構成する複数の視点画像の視点位置識別装置。
A test composed of a plurality of viewpoint images constituting a stereoscopic image, and each viewpoint image is assigned a viewpoint order, but it is unknown whether the order is assigned from the right position or the left position. First storage means for storing an image group;
It is composed of data that can generate a plurality of viewpoint images having the same number of viewpoints as the test image group or a plurality of viewpoint images having the same number of viewpoints as the test image group, and each viewpoint image is assigned a viewpoint order. Second storage means for storing a reference image group in which it is known in advance whether the order is assigned in order from the right side position or in order from the left side position;
A display device for displaying a test image and a reference image;
Display mode switching means for switching the display mode between the first display mode and the second display mode;
When the display mode is the first display mode, based on the viewpoint order assigned to the test image group, the display device switches the test image to the viewpoint order and simultaneously attaches the test image to the reference image group in synchronization with the display order. First display means for switching and displaying the reference image in the order of viewpoints on the display device based on the order of viewpoints, and when the display mode is the second display mode, the viewpoint order attached to the test image group Based on the viewpoint order assigned to the reference image group, the reference image is displayed in the order of the viewpoint based on the viewpoint order attached to the reference image group at the same time. Second display means,
A viewpoint position identifying device for a plurality of viewpoint images constituting a stereoscopic image.
立体画像を構成する複数の視点画像から構成されかつ各視点画像には視点順序が付けられているがその順序が右側位置から順に付けられているのか左側位置から順に付けられているのか不明な被験画像群を記憶している第1記憶手段、
上記被験画像群と視点数が同じ複数の視点画像または上記被験画像群と視点数が同じ複数の視点画像を生成可能なデータから構成されかつ各視点画像には視点順序が付けられており、視点順序が右側位置から順に付けられているのか左側位置から順に付けられているのかが予め分かっている基準画像群を記憶している第2記憶手段、
被験画像と基準画像とを表示させるための表示装置、
第1表示モードと第2表示モードとの間で、表示モードを切り替える表示モード切り替え手段、
表示モードが第1表示モードである場合に、被験画像群に付けられている視点順序に基づいて、表示装置に被験画像を視点順に切り替え表示させると同時に、それに同期して、基準画像群に付けられている視点順序に基づいて、表示装置に基準画像を視点順に切り替え表示させる第1表示手段、ならびに
表示モードが第2表示モードである場合には、被験画像群に付けられている視点順序に基づいて、表示装置に被験画像を視点順序に切り替え表示すると同時に、それに同期して、基準画像群に付けられている視点順序に基づいて、表示装置に基準画像を視点順序と逆の順序で切り替え表示させる第2表示手段、
を備えていることを特徴とする立体画像を構成する複数の視点画像の視点位置識別装置。
A test composed of a plurality of viewpoint images constituting a stereoscopic image, and each viewpoint image is assigned a viewpoint order, but it is unknown whether the order is assigned from the right position or the left position. First storage means for storing image groups;
It is composed of data that can generate a plurality of viewpoint images having the same number of viewpoints as the test image group or a plurality of viewpoint images having the same number of viewpoints as the test image group, and each viewpoint image is assigned a viewpoint order. Second storage means for storing a reference image group in which it is known in advance whether the order is assigned in order from the right side position or in order from the left side position;
A display device for displaying a test image and a reference image;
Display mode switching means for switching the display mode between the first display mode and the second display mode;
When the display mode is the first display mode, based on the viewpoint order assigned to the test image group, the display device switches the test image to the viewpoint order and simultaneously attaches the test image to the reference image group in synchronization with the display order. First display means for switching and displaying the reference image in the order of viewpoints on the display device based on the order of viewpoints, and when the display mode is the second display mode, the viewpoint order attached to the test image group Based on the viewpoint order attached to the reference image group, the reference image is switched on the display device in the order opposite to the viewpoint order. Second display means for displaying;
A viewpoint position identifying device for a plurality of viewpoint images constituting a stereoscopic image.
第1表示手段または第2表示手段によって、被験画像と基準画像とが表示装置に表示されている状態において、被験画像の動きと基準画像の動きとが同じであるとユーザが判断した場合に、ユーザに確認信号を入力させるための入力手段、
確認信号が入力されたときには、表示モードが第1モードであるか第2モードであるかを判別する判別手段、ならびに
判別手段によって表示モードが第2モードであると判別された場合には、被験画像群に付けられている視点順序を、逆の順序に付け替える手段、
を備えていることを特徴とする請求項2および3のいずれかに記載の立体画像を構成する複数の視点画像の視点位置識別装置。
When the user determines that the movement of the test image and the movement of the reference image are the same in the state where the test image and the reference image are displayed on the display device by the first display means or the second display means, Input means for allowing the user to input a confirmation signal;
When the confirmation signal is input, the determining means for determining whether the display mode is the first mode or the second mode, and if the determining means determines that the display mode is the second mode, Means for changing the viewpoint order assigned to the image group to the reverse order;
The viewpoint position identifying device for a plurality of viewpoint images constituting a stereoscopic image according to any one of claims 2 and 3.
JP2004251966A 2004-08-31 2004-08-31 Perspective position identification device for a plurality of viewpoint images constituting a stereoscopic image Expired - Fee Related JP4190473B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004251966A JP4190473B2 (en) 2004-08-31 2004-08-31 Perspective position identification device for a plurality of viewpoint images constituting a stereoscopic image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004251966A JP4190473B2 (en) 2004-08-31 2004-08-31 Perspective position identification device for a plurality of viewpoint images constituting a stereoscopic image

Publications (2)

Publication Number Publication Date
JP2006072455A JP2006072455A (en) 2006-03-16
JP4190473B2 true JP4190473B2 (en) 2008-12-03

Family

ID=36153058

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004251966A Expired - Fee Related JP4190473B2 (en) 2004-08-31 2004-08-31 Perspective position identification device for a plurality of viewpoint images constituting a stereoscopic image

Country Status (1)

Country Link
JP (1) JP4190473B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8684531B2 (en) 2009-12-28 2014-04-01 Vision3D Technologies, Llc Stereoscopic display device projecting parallax image and adjusting amount of parallax

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2902958B2 (en) * 1993-11-15 1999-06-07 三洋電機株式会社 3D display device
JP3486461B2 (en) * 1994-06-24 2004-01-13 キヤノン株式会社 Image processing apparatus and method
US6788802B2 (en) * 1998-05-21 2004-09-07 Sanyo Electric Co., Ltd. Optical flow estimation method and image synthesis method
JP2002170111A (en) * 2000-12-01 2002-06-14 Sanyo Electric Co Ltd Image synthesizing apparatus and method and recording medium recording image synthesizing program
JP3789794B2 (en) * 2001-09-26 2006-06-28 三洋電機株式会社 Stereoscopic image processing method, apparatus, and system

Also Published As

Publication number Publication date
JP2006072455A (en) 2006-03-16

Similar Documents

Publication Publication Date Title
JP4392060B2 (en) Parallax depth dependent pixel shift
KR101057971B1 (en) Stereoscopic-vision image processing apparatus, stereoscopic-vision image providing method, image display method
JP5036132B2 (en) Critical alignment of parallax images for autostereoscopic display
US6944328B2 (en) Method and apparatus of generating three dimensional image data having one file structure and recording the image data on a recording medium, and recording medium for storing the three dimensional image data having one file structure
EP1313329A2 (en) Multiview image synthesizing apparatus
US20100328432A1 (en) Image reproducing apparatus, image capturing apparatus, and control method therefor
US20090244258A1 (en) Stereoscopic display apparatus, stereoscopic display method, and program
WO2003092304A1 (en) Image data creation device, image data reproduction device, and image data recording medium
JPH1127703A (en) Display device and its control method
JP4692849B2 (en) Stereoscopic image recording apparatus and stereoscopic image recording method
US20120194514A1 (en) Image processing apparatus and method, and program
JP4471979B2 (en) Image composition apparatus and image composition method
WO2013108285A1 (en) Image recording device, three-dimensional image reproduction device, image recording method, and three-dimensional image reproduction method
US20110193937A1 (en) Image processing apparatus and method, and image producing apparatus, method and program
CN102986231B (en) 3D image display device, 3d imaging device, and method
CN103155576A (en) Three-dimensional image display device, and three-dimensional image display method
JP2008124963A (en) Image file generating apparatus for image file for three-dimensional image data and image reproducing device
JP4190473B2 (en) Perspective position identification device for a plurality of viewpoint images constituting a stereoscopic image
JPWO2007029686A1 (en) Stereoscopic image recording / playback system
JP5049416B2 (en) Image file generation device, image file playback device, and image file generation method
JP2006013760A (en) Electronic equipment for generating management file, electronic equipment for generating three dimensional image data, management file generating method, three dimensional image data generating method, and file structure of management file
US20120262450A1 (en) Image display apparatus and image display method
JP2005130312A (en) Stereoscopic vision image processing device, computer program, and parallax correction method
JP5367747B2 (en) Imaging apparatus, imaging method, and imaging system
JP2003199126A (en) Image processor and method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080617

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080821

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080916

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110926

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110926

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120926

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130926

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees