JPWO2004098204A1 - 3D image photographing method and apparatus - Google Patents
3D image photographing method and apparatus Download PDFInfo
- Publication number
- JPWO2004098204A1 JPWO2004098204A1 JP2004571328A JP2004571328A JPWO2004098204A1 JP WO2004098204 A1 JPWO2004098204 A1 JP WO2004098204A1 JP 2004571328 A JP2004571328 A JP 2004571328A JP 2004571328 A JP2004571328 A JP 2004571328A JP WO2004098204 A1 JPWO2004098204 A1 JP WO2004098204A1
- Authority
- JP
- Japan
- Prior art keywords
- scanning line
- imaging
- image
- stereoscopic
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
走査線レベルで２台の撮像装置の水平基軸が一致した画像を出力することを目的として、水平方向に主走査し垂直方向に副走査する撮像装置を少なくとも２台備え、これらの撮像装置で同一の被写体を撮影することによる立体映像の撮影方法および装置において、２台の撮像装置撮影した映像の定めた走査線の映像情報を比較し、この比較結果に基づいて撮像装置からの出力画像を立体視に適したものに補正する。For the purpose of outputting an image in which the horizontal axes of the two imaging devices coincide at the scanning line level, at least two imaging devices that perform main scanning in the horizontal direction and sub-scanning in the vertical direction are provided. In a method and apparatus for capturing a stereoscopic image by capturing a subject, two sets of image capturing devices are compared with each other, and the image information of scanning lines determined by the images captured by the two image capturing devices is compared. Correct for vision.
Description
本発明は、立体映像撮影方法及び装置に係り、特に２台の撮像装置で立体映像を撮影するに際して、撮影装置から正しく立体認識できる２つの映像を容易に出力させることができる立体映像撮影方法及び装置に関する。
技術背景
立体映像を撮影するに際して撮像装置である２台のビデオカメラを所定量離間して配置し、視差量のある２つの映像を撮影することが一般的に行われている。
このような場合、２台のカメラの光軸が同じ水平高さ位置を向き、且つ、撮影素子における水平方向の走査が同一の水平軸に対して同一の位置に配置されていることが望ましい。
通常２台のカメラは、一体として基台に固定されているから、水平基軸に一体として固定されるが、２台のカメラを固定する基台が傾いていると、人がこの映像を両眼視した場合に大きな違和感を持つ。つまり、図８に示すように、２台のカメラ１Ｌ，１Ｒで画像を撮影した場合についてみると。画像中に被写体として比較的近い距離（たとえば距離Ｆ＝５ｍ）に人物Ａがあり、遠い距離（たとえば距離数Ｋｍ）先に山Ｂがあるとする。このような場合、両カメラ１Ｌ，１Ｒにわずかに傾きがあった場合、図４に示すように、映像４１Ｌ、４１Ｒ上における人物Ａの位置ずれは数十ラインでおさまるが、遠方にある山Ｂの画像は拡大されてその差δが数百ラインにもなることになる。このような状態で立体画像を再生すると、観者は人物の画像ＡＬ，ＡＲについては頭の中で同一物として認識して立体視できるものの、山Ｂについては２つの画像ＢＬ，ＢＲを同一のものとして認識できず２重の映像としてとらえてしまうこととなる。
また、図７に示すように、遠景がない近景だけの画像を撮影した場合には、画像中に、図５に示すように、注目する人物の画像ＡＬ，ＡＲに数走査ラインの相違が発生し、この人物Ａを注目している観者には大きく意識され快適な立体視の障害となる。
このような立体映像撮影装置における傾斜角測定法としては、水準器などの使用が考えられる。しかし、このような水準器を使用しても、実際には１走査線の精度で水平基準を満たすことは難しい。
また、レーザ光を水平に照射してこれを基準としてカメラの水平基軸を合わせることも考えられるが、レーザ光が撮影されてしまうこととなり、好ましくない。
そこで本発明は、走査線レベルで２台のカメラの水平基軸を合わせるため、容易にカメラの傾斜を測定できる立体映像撮影方法及び装置を提供することを目的とする。The present invention relates to a stereoscopic video imaging method and apparatus, and more particularly to a stereoscopic video imaging method capable of easily outputting two videos that can be correctly stereoscopically recognized from the imaging apparatus when imaging a stereoscopic video with two imaging devices. Relates to the device.
Technical Background In general, when shooting a stereoscopic video, two video cameras as imaging devices are arranged apart from each other by a predetermined amount, and two videos having a parallax amount are generally shot.
In such a case, it is desirable that the optical axes of the two cameras face the same horizontal height position and that the scanning in the horizontal direction on the imaging element is arranged at the same position with respect to the same horizontal axis.
Usually, the two cameras are fixed to the base as a unit, so they are fixed to the horizontal base as a unit. However, if the base that fixes the two cameras is tilted, people can see this image in both eyes. It has a great sense of incongruity when viewed. That is, as shown in FIG. 8, the case where an image is taken with two
Also, as shown in FIG. 7, when an image of only a close view without a distant view is taken, a difference in several scanning lines occurs in the images AL and AR of the person of interest as shown in FIG. However, the viewer who is paying attention to this person A is greatly conscious of the comfortable stereoscopic viewing.
As a method for measuring the tilt angle in such a stereoscopic image photographing apparatus, use of a level or the like can be considered. However, even if such a level is used, it is actually difficult to satisfy the horizontal reference with the accuracy of one scanning line.
Further, it is conceivable to irradiate the laser beam horizontally and adjust the horizontal basic axis of the camera with reference to this, but this is not preferable because the laser beam is photographed.
Therefore, an object of the present invention is to provide a stereoscopic image capturing method and apparatus capable of easily measuring the tilt of the cameras in order to align the horizontal basic axes of the two cameras at the scanning line level.
請求の範囲１に記載の本発明は、水平方向に主走査し垂直方向に副走査する撮像装置を少なくとも２台備え、これらの撮像装置で同一の被写体を撮影する立体映像の撮影装置において、２台の撮像装置で撮影した映像の定めた走査線の映像情報を比較し、この比較結果に基づいて２台の撮像装置の位置を検出することを特徴とする立体映像撮影方法である。本発明によれば、水準器などの機械的装置を使用することなく、撮像装置から得られる走査線のデータを電子的に処理で正確且つ迅速に２台の撮像装置の傾きを測定できる。
請求の範囲２に記載の本発明は、請求の範囲１に記載の立体映像撮影方法において、比較する走査線は映像の中央部から選択することを特徴とするものである。本発明によれば、もっとも情報量が多い個所の走査線に基づいて正確に撮影装置の傾斜を測定できる。
請求の範囲３に記載の本発明は、請求の範囲１に記載の立体映像撮影方法において、走査線情報の差の絶対値を算出し、２台のカメラの傾斜を測定することを特徴とするものである。本発明によれば、簡単な演算で正確な傾斜を得ることができる。
請求の範囲４に記載の本発明は、請求の範囲１に記載の立体映像撮影方法において、複数の走査線の加算値を各撮像手段の走査線の映像情報とすることを特徴とするものである。本発明によれば、映像中に発生している雑音をキャンセルして正確な測定ができる。
請求の範囲５に記載の本発明は、請求の範囲１に記載の立体映像撮影方法において、各撮影手段の走査線情報を映像処理することにより比較すべき対象個所を抽出することを特徴とするものである。本発明によれば、映像が視差によりずれていても、着目する映像部分を抽出してその部分の走査線を比較することで確実に傾斜を測定することができる。
請求の範囲６に記載の本発明は、請求の範囲１乃至請求の範囲５に記載の立体映像撮影方法において、撮影を表示範囲より大きな範囲を撮影する撮像素子を用いて行い、出力する画像の範囲を前記撮像素子の特定範囲で撮影したものとして出力することにより傾斜の補正を行うことを特徴とするものである。本発明によれば、傾斜の補正を電子的に１操作ラインずつ精密かつ迅速に行うことができる。
請求の範囲７に記載の本発明は、水平方向に主走査し垂直方向に副走査する撮像装置を少なくとも２台備え、これらの撮像装置で同一の被写体を撮影することによる立体映像の撮影装置を技術的前提とし、前記複数の撮像装置の傾斜度を測定する立体映像撮影装置における傾斜角測定装置において、２台の撮影手段が撮影した映像のうち定めた走査線を抽出する走査線抽出手段と、抽出した走査線の映像情報を比較する比較手段と、この比較結果に基づいて撮影装置の傾斜を測定する傾斜角演算手段とを備えたことを特徴とするものである。本発明によれば、水準器などの機械的装置を使用することなく、カメラから得られる走査線のデータを電子的に処理でき、正確且つ迅速に撮像装置の傾斜角を測定できる。
請求の範囲８に記載の本発明は、請求の範囲７に記載の立体映像撮影装置において走査線抽出手段は、走査線を映像の中央部から選択することを特徴とするものである。本発明によれば、最も情報量が多い個所の走査線に基づいて正確に２台のカメラの傾斜を測定できる。
請求の範囲９に記載の本発明は、請求の範囲７に記載の立体映像撮影装置において、走査線比較手段は、走査線情報の差の絶対値を算出し、傾斜角演算手段は、この差に基づいて２台のカメラの傾斜角を測定することを特徴とするものである。本発明によれば、簡単な演算処理で正確な傾斜値を得ることができる。
請求の範囲１０に記載の本発明は、請求の範囲７に記載の立体映像撮影装置において、走査線抽出手段は、複数の走査線を抽出し、走査線比較手段は、加算値を各撮影手段の走査線の映像情報として比較することを特徴とするものである。本発明によれば、映像中に発生している雑音をキャンセルして正確な測定ができる。
請求の範囲１１に記載の本発明は、請求の範囲７に記載の立体映像撮影装置における傾斜角測定装置において、走査線抽出手段は、各撮像手段の走査線情報を映像処理することにより比較すべき対象個所選択することを特徴とするものである。本発明によれば、映像が視差によりずれていても、着目する映像部分を抽出してその部分の走査線を比較することで確実に傾斜を測定することができる。
請求の範囲１２に記載の本発明は、請求の範囲７乃至請求の範囲１１のいずれかに記載の立体映像撮影装置において、各撮像手段は、表示範囲より大きな範囲を撮影する撮像素子を備え、出力する画像の範囲を前記撮像素子の特定範囲で撮影した画像を出力画像とする補正を行う出力画像補整手段を備えたことを特徴とするものである。本発明によれば、傾斜の補正を電子的に１操作ラインずつ精密かつ迅速に行うことができる。The present invention described in
The present invention described in
The present invention described in claim 3 is the stereoscopic image capturing method described in
The present invention described in
The present invention described in claim 5 is characterized in that, in the stereoscopic video imaging method according to
According to a sixth aspect of the present invention, in the stereoscopic video photographing method according to the first to fifth aspects, the photographing is performed by using an imaging device that captures a range larger than the display range, and an image to be output is output. Inclination correction is performed by outputting the range as an image captured in a specific range of the image sensor. According to the present invention, tilt correction can be performed electronically and precisely one operation line at a time.
The present invention described in claim 7 includes at least two imaging devices that perform main scanning in the horizontal direction and sub-scanning in the vertical direction, and a stereoscopic video imaging device that captures the same subject using these imaging devices. As a technical premise, in a tilt angle measuring device in a stereoscopic video shooting device that measures the tilts of the plurality of imaging devices, scanning line extracting means for extracting a predetermined scanning line from videos taken by two shooting means; The image processing apparatus includes a comparison unit that compares the image information of the extracted scanning lines, and an inclination angle calculation unit that measures the inclination of the photographing apparatus based on the comparison result. According to the present invention, scanning line data obtained from a camera can be electronically processed without using a mechanical device such as a spirit level, and the tilt angle of the imaging device can be measured accurately and quickly.
The present invention described in
The present invention described in claim 9 is the stereoscopic image capturing apparatus according to claim 7, wherein the scanning line comparison means calculates an absolute value of the difference between the scanning line information, and the inclination angle calculation means calculates the difference. The tilt angle of the two cameras is measured based on the above. According to the present invention, an accurate slope value can be obtained by a simple arithmetic process.
According to a tenth aspect of the present invention, in the stereoscopic video imaging apparatus according to the seventh aspect, the scanning line extracting means extracts a plurality of scanning lines, and the scanning line comparing means outputs the added value to each photographing means. The comparison is made as video information of the scanning lines. According to the present invention, accurate measurement can be performed by canceling noise generated in an image.
The present invention described in claim 11 is the tilt angle measuring device in the stereoscopic image capturing device described in claim 7, wherein the scanning line extracting means compares the scanning line information of each imaging means by performing image processing. It is characterized by selecting a target location. According to the present invention, even if an image is shifted due to parallax, the inclination can be reliably measured by extracting the image portion of interest and comparing the scanning lines of the portion.
The present invention described in
図１は、本発明に係る立体映像撮影装置を示すブロック図である。
図２は、図１に示した立体映像撮影方法を示すフローチャートである。
図３は、図１に示した立体映像撮影方法の水平方向の決定に用いるグラフの一例を示す図である。
図４は、立体映像撮影装置で撮影した画像を示す図である。
図５は、図１に示した立体映像撮影装置の撮影画像の補正状態を示す図である
図６は、２台のカメラが水平状態を保っている時の映像を示す模式図である。
図７は、２台のカメラが水平から角θ傾いた時の映像を示す模式図である。
図８は、本発明が適用される立体画像撮影装置の配置関係を示す図である。FIG. 1 is a block diagram showing a stereoscopic video photographing apparatus according to the present invention.
FIG. 2 is a flowchart illustrating the stereoscopic video imaging method illustrated in FIG.
FIG. 3 is a diagram illustrating an example of a graph used for determining the horizontal direction in the stereoscopic video imaging method illustrated in FIG. 1.
FIG. 4 is a diagram illustrating an image photographed by the stereoscopic video photographing apparatus.
FIG. 5 is a diagram illustrating a correction state of a captured image of the stereoscopic image capturing device illustrated in FIG. 1. FIG. 6 is a schematic diagram illustrating an image when two cameras are kept in a horizontal state.
FIG. 7 is a schematic diagram showing an image when two cameras are inclined at an angle θ from the horizontal.
FIG. 8 is a diagram showing an arrangement relationship of a stereoscopic image capturing apparatus to which the present invention is applied.
以下、本発明の実施の形態について、図面を参照して説明する。図１は、本発明に係る立体映像撮影装置を示すブロック図、図２は図１に示した立体映像撮影方法を示すフローチャート、図３は図１に示した立体映像撮影装置の水平方向の決定に用いるグラフの一例を示す図、図４は立体映像撮影装置で撮影した遠景および近景を含む画像を示す図、図５は図１に示した立体映像撮影装置の遠景および近景を含む撮影画像の補正状態を示す図、図６は２台のカメラが水平状態を保っている時の映像を示す模式図、図７は２台のカメラが水平から角θ傾いた時の映像を示す模式図、図８は本発明が適用される立体画像撮影装置の配置関係を示す図である。
本例において立体映像撮影装置における傾斜角測定装置は、図１に示すように、撮影手段である左右のカメラ１Ｌ，１Ｒに接続された走査線抽出手段２と、走査線比較手段３と、傾斜角演算手段４と、出力画像補正手段と、からなる。
まず、図１乃至図４及び図８に基づいて被写体に近景及び遠景を含む場合に適合する立体画像撮影装置について説明する。
カメラ１Ｌ，１Ｒは基台に固定され、被写体を撮影して視差量のある映像を出力し立体映像表示のための映像データを出力する（図４、図２、Ｓ１）。
このカメラ１Ｌ、１Ｒが水平に同一水平基軸上にあるときには、上下方向のずれのない正しい左右の映像が得られ、被写体人物Ａ、山Ｂも同一水平位置になる。仮に、図４に示すように、撮像装置が傾いている場合には、被写体Ａ，Ｂの位置は左右の映像で上下方向にずれる。この場合、近景である人物Ａの左右の画像ＡＬ、ＡＲのずれ量δは少なく（たとえば数十ライン）、遠景である山Ｂの左右の画像ＢＬ，ＢＲずれ量は大きい（たとえば数百ライン）。
走査線抽出手段２は、映像の抽出範囲４１Ｌ、４１Ｒを抽出する（例えば走査線番号１〜Ｎとする）（Ｓ２）。これは例えば映像の上部で、上下寸法の１／３程度が適当である。もし両カメラ１Ｌ，１Ｒの映像に視差があり、左右方向にずれがある場合は、被写体を検出するなどの方法で抽出範囲を定めるようにする。
次に走査線比較手段は、例えば、先ず走査範囲４１Ｌ中の走査線４２Ｌ（上からｎ番目の走査線）に着目して、その走査線の輝度データを水平方向に順次獲得して格納する（これらの輝度データをＡｎとする）。そして、次に捜査範囲４１Ｒの走査線を上から走査獲得していき、それらの輝度輝度データ（Ｂｍ（ｍ＝１〜Ｎ））を獲得する。
次に、走査線比較手段３は前記輝度データ間の差の絶対値（｜Ａｎ−Ｂｍ｜（ｍ＝１〜Ｎ）を順次計算する（Ｓ３）。これをグラフにすると例えば図３に示すようになる。このグラフでは輝度信号の差の絶対値が曲線で表されており、その極小値は｜Ａｎ−Ｂｐ｜で得られることがわかる。左側映像４１Ｌのｎ番目の走査線と、右側映像４１Ｒのｐ番目の走査線とが一致するということがわかる。なおこの極小値は雑音などの影響で必ずしも０とはならない。
傾斜角演算手段４は、カメラ１Ｌ，１Ｒの距離と、走査線の寸法から角度θを演算することができる（Ｓ４）。そして、出力画像補整手段５は出力画像の補正を行う（Ｓ５）。この補正は、に対応するための補正を行っている場合にはこのための補正を行う（Ｓ４）。この補正は撮影装置の撮像素子５１Ｌ、５１Ｒとして、実際の出力画像５２Ｌ，５２Ｒ（例えば横６４０画素×縦４８０画素）より大きなもの（例えば横１０００画素×縦６００画素）を使用して、例えば右側の出力画像５２Ｒを上下左右に移動あるいは回転させるようにすればよい。
また、前記傾斜検出と補正とを同時に行えるようにするため、一旦、画像をメモリに取り込み、出力画像５２Ｌ、５２Ｒの輝度を各ライン毎に比較しながら、例えば右側の出力画像を移動させるようにしてもよい。
このようにして、カメラの傾きを正確且つ迅速に測定できる。この値に基づいてカメラの水平位置を調整できる。
また、走査線抽出手段は、複数、例えば３列の走査線を抽出し、走査線比較手段は加算値を各カメラの走査線の映像情報として使用することができる。このようにすれば、映像中に発生している雑音をキャンセルして正確な測定ができる
また、輝度の抽出を同じ番号の走査線で行い、２つの輝度データを比較しつつカメラの傾きを変えていき、輝度差が最小になった個所でカメラが水平基準に一致したものとすることができる。
次に、図２及び図３、図６乃至図８に基づいて遠景を含まない場合に適合する立体画像撮影装置について説明する。
前記例と同様、カメラ１Ｌ，１Ｒは基台に固定され、被写体である人物Ａを撮影して視差量のある映像を出力し立体映像表示のための映像データを出力する（図２、Ｓ１）。
このカメラ１Ｌ、１Ｒが水平に同一水平基軸上にあるときには、図６に示すように、正しい左右の映像２０Ｌ，２０Ｒが得られ、被写体３０も同一水平位置になる。仮に、図７に示すように、カメラが水平基軸ＧＬに対してθ傾いている場合には、人物Ａの位置は左右の映像で上下方向にずれる。尚、各図では両カメラの視差による左右方向のずれは考慮していない。
走査線抽出手段２は、図７に示すように、映像の抽出範囲１１Ｌ、１１Ｒを抽出する（例えば走査線番号１〜Ｎとする）（Ｓ２）。これは例えば映像の中央部で、上下左右の寸法の１／３程度が適当である。もし両カメラ１Ｌ，１Ｒの映像に視差があり、左右方向にずれがある場合は、被写体を検出するなどの方法で抽出範囲を定めるようにする。
次に、走査線比較手段３は、図７に示すように、走査範囲１１Ｌ中の走査線１２Ｌ（上からｎ番目の走査線）に着目して、その走査線の輝度データを水平方向に順次獲得して格納（これらの輝度データをＡｎとする）する。
次に、捜査範囲１１Ｒの走査線を上からｎ番の上下数ライン（Δｎ：例えば５）を順次走査獲得していき、それらの輝度輝度データ（Ｂｍ（ｍ＝ｎ±Δｎ））を獲得する。
次に、走査線比較手段３は、前記輝度データ間の差の絶対値（｜Ａｎ−Ｂｍ｜を順次計算する（Ｓ３）。これをグラフにすると、図３に示すようになる。このグラフでは、輝度信号の差の絶対値が曲線で表されており、その極小値は｜Ａｎ−Ｂｐ｜で得られることがわかる。また、左側映像１１Ｌのｎ番目の走査線と、右側映像１１Ｒのｐ番目の走査線とが一致するということがわかる。尚、この極小値は雑音などの影響で必ずしも０とはならない。
傾斜角演算手段４は、カメラ１Ｌ，１Ｒの距離と、走査線の寸法から角度θを演算する。視差に対応するための補正を行っている場合にはこのための補正を行う（Ｓ４）。
このようにして、カメラの傾きを正確且つ迅速に測定できる。この値に基づいてカメラの水平位置を調整できる。
また、走査線抽出手段は、複数、例えば３列の走査線を抽出し、走査線比較手段３は、加算値を各カメラの走査線の映像情報として使用することができる。このようにすれば、映像中に発生している雑音をキャンセルして正確な測定ができる
さらに、輝度の抽出を同じ番号の走査線で行い、２つの輝度データを比較しつつカメラの傾きを変えていき、輝度差が最小になった個所でカメラが水平基準に一致したものとすることができる。
この場合には、カメラに傾斜駆動装置を用いたり、上述した例と同様に撮像素子を実際の撮像範囲より大きなものを使用して、傾斜が発生しない範囲を出力することができる。Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing a stereoscopic video imaging apparatus according to the present invention, FIG. 2 is a flowchart showing the stereoscopic video imaging method shown in FIG. 1, and FIG. 3 is a determination of the horizontal direction of the stereoscopic video imaging apparatus shown in FIG. 4 is a diagram showing an example of a graph used in FIG. 4, FIG. 4 is a diagram showing an image including a distant view and a foreground photographed by the stereoscopic image capturing device, and FIG. 5 is a photograph of an image including the distant view and the foreground of the stereoscopic image capturing device shown in FIG. FIG. 6 is a diagram illustrating a correction state, FIG. 6 is a schematic diagram illustrating an image when two cameras are kept in a horizontal state, and FIG. 7 is a schematic diagram illustrating an image when the two cameras are inclined at an angle θ from the horizontal. FIG. 8 is a diagram showing the arrangement relationship of a stereoscopic image capturing apparatus to which the present invention is applied.
In this example, as shown in FIG. 1, the tilt angle measuring apparatus in the stereoscopic image capturing apparatus includes a scanning
First, a stereoscopic image capturing apparatus suitable for a case where a subject includes a near view and a distant view will be described with reference to FIGS. 1 to 4 and 8.
The
When the
The scanning
Next, the scanning line comparison means, for example, first pays attention to the
Next, the scanning line comparison means 3 sequentially calculates the absolute value (| An−Bm | (m = 1 to N)) of the difference between the luminance data (S3). In this graph, the absolute value of the luminance signal difference is represented by a curve, and the minimum value is obtained by | An−Bp |. The nth scanning line of the
The tilt angle calculation means 4 can calculate the angle θ from the distance between the
In order to perform the tilt detection and correction at the same time, for example, the right output image is moved while the images are once taken into the memory and the luminance of the
In this way, the tilt of the camera can be measured accurately and quickly. Based on this value, the horizontal position of the camera can be adjusted.
Further, the scanning line extraction means can extract a plurality of, for example, three columns of scanning lines, and the scanning line comparison means can use the added value as video information of the scanning lines of each camera. In this way, noise generated in the video can be canceled and accurate measurement can be performed. Also, luminance can be extracted with the same number of scanning lines, and the tilt of the camera can be changed while comparing the two luminance data. It can be assumed that the camera matches the horizontal reference at the point where the brightness difference is minimized.
Next, a stereoscopic image capturing apparatus suitable for a case where a distant view is not included will be described with reference to FIGS. 2 and 3 and FIGS. 6 to 8.
As in the above example, the
When the
As shown in FIG. 7, the scanning line extraction means 2 extracts video extraction ranges 11L and 11R (for example, scanning
Next, as shown in FIG. 7, the scanning line comparison unit 3 pays attention to the
Next, the scanning line of the search range 11R is sequentially scanned and acquired from the top and bottom n lines (Δn: 5 for example), and the luminance luminance data (Bm (m = n ± Δn)) is obtained. .
Next, the scanning line comparison means 3 sequentially calculates the absolute value (| An−Bm |) of the difference between the luminance data (S3). This is graphed as shown in FIG. The absolute value of the difference between the luminance signals is represented by a curve, and the minimum value is obtained by | An−Bp |. Also, the nth scanning line of the
The tilt angle calculation means 4 calculates the angle θ from the distance between the
In this way, the tilt of the camera can be measured accurately and quickly. Based on this value, the horizontal position of the camera can be adjusted.
Further, the scanning line extraction unit extracts a plurality of, for example, three columns of scanning lines, and the scanning line comparison unit 3 can use the added value as video information of the scanning line of each camera. In this way, noise generated in the video can be canceled and accurate measurement can be performed.In addition, the luminance is extracted using the same number of scanning lines, and the camera tilt is changed while comparing the two luminance data. It can be assumed that the camera matches the horizontal reference at the point where the brightness difference is minimized.
In this case, it is possible to output a range in which no tilt occurs by using a tilt driving device for the camera or using an image sensor larger than the actual image capturing range as in the above-described example.
請求の範囲１に記載の本発明は、水平方向に主走査し垂直方向に副走査する撮像装置を少なくとも２台備え、これらの撮像装置で同一の被写体を撮影する立体映像の撮影装置において、２台の撮像装置で撮影した映像の定めた走査線の映像情報を比較し、この比較結果に基づいて２台の撮像装置の位置を検出することを特徴とする立体映像撮影方法である。本発明によれば、水準器などの機械的装置を使用することなく、撮像装置から得られる走査線のデータを電子的に処理で正確且つ迅速に２台の撮像装置の傾きを測定できる。
請求の範囲２に記載の本発明は、請求の範囲１に記載の立体映像撮影方法において、比較する走査線は映像の中央部から選択することを特徴とするものである。本発明によれば、もっとも情報量が多い個所の走査線に基づいて正確に撮影装置の傾斜を測定できる。
請求の範囲３に記載の本発明は、請求の範囲１に記載の立体映像撮影方法において、走査線情報の差の絶対値を算出２台のカメラの傾斜を測定することを特徴とするものである。本発明によれば、簡単な演算で正確な傾斜を得ることができる。
請求の範囲４に記載の本発明は、請求の範囲１に記載の立体映像撮影方法において、複数の走査線の加算値を各撮像手段の走査線の映像情報とすることを特徴とするものである。本発明によれば、映像中に発生している雑音をキャンセルして正確な測定ができる。
請求の範囲５に記載の本発明は、請求の範囲１に記載の立体映像撮影方法において、各撮影手段の走査線情報を映像処理することにより比較すべき対象個所を抽出することを特徴とするものである。本発明によれば、映像が視差によりずれていても、着目する映像部分を抽出してその部分の走査線を比較することで確実に傾斜を測定することができる。
請求の範囲６に記載の本発明は、請求の範囲１乃至請求の範囲５のいずれかに記載の立体映像撮影方法において、撮影を表示範囲より大きな範囲を撮影する撮像素子を用いて行い、出力する画像の範囲を前記撮像素子の特定範囲で撮影したものとして出力することにより傾斜の補正を行うことを特徴とするものである。本発明によれば、傾斜の補正を電子的に１操作ラインずつ精密かつ迅速に行うことができる。
請求の範囲７に記載の本発明は、水平方向に主走査し垂直方向に副走査する撮像装置を少なくとも２台備え、これらの撮像装置で同一の被写体を撮影することによる立体映像の撮影装置であって、前記複数の撮像装置の傾斜度を測定する立体映像撮影装置における傾斜角測定装置において、２台の撮影手段が撮影した映像のうち定めた走査線を抽出する走査線抽出手段と、抽出した走査線の映像情報を比較する比較手段と、この比較結果に基づいて撮影装置の傾斜を測定する傾斜角演算手段と、を備えたことを特徴とする立体映像撮影装置である。本発明によれば、水準器などの機械的装置を使用することなく、カメラから得られる走査線のデータを電子的に処理で正確且つ迅速に撮像装置の傾斜角を測定できる。
請求の範囲８に記載の本発明は、請求の範囲７に記載の立体映像撮影装置において走査線抽出手段は、走査線を映像の中央部から選択することを特徴とするものである。本発明によれば、最も情報量が多い個所の走査線に基づいて正確に２台のカメラの傾斜を測定できる。
請求の範囲９に記載の本発明は、請求の範囲７に記載の立体映像撮影装置において、走査線比較手段は、走査線情報の差の絶対値を算出し、傾斜角演算手段は、この差に基づいて２台のカメラの傾斜角を測定することを特徴とするものである。本発明によれば、簡単な演算処理で正確な傾斜値を得ることができる。
請求の範囲１０に記載の本発明は、請求の範囲７に記載の立体映像撮影装置において、走査線抽出手段は、複数の走査線を抽出し、走査線比較手段は加算値を各撮影手段の走査線の映像情報として比較することを特徴とするものである。本発明によれば、映像中に発生している雑音をキャンセルして正確な測定ができる。
請求の範囲１１に記載の本発明は、請求の範囲７記載の立体映像撮影装置における傾斜角測定装置において、走査線抽出手段は、各撮像手段の走査線情報を映像処理することにより比較すべき対象個所選択することを特徴とするものである。本発明によれば、映像が視差によりずれていても、着目する映像部分を抽出してその部分の走査線を比較することで確実に傾斜を測定することができる。
請求の範囲１２に記載の本発明は、請求の範囲７乃至請求の範囲１１のいずれかに記載の立体映像撮影装置において、各撮像手段は、表示範囲より大きな範囲を撮影する撮像素子を備え、出力する画像の範囲を前記撮像素子の特定範囲で撮影した画像を出力画像とする補正を行う出力画像補整手段を備えたことを特徴とするものである。本発明によれば、傾斜の補正を電子的に１操作ラインずつ精密かつ迅速に行うことができる。The present invention described in
The present invention described in
The present invention described in claim 3 is characterized in that, in the stereoscopic video imaging method described in
The present invention described in
The present invention described in claim 5 is characterized in that, in the stereoscopic video imaging method according to
According to a sixth aspect of the present invention, in the three-dimensional image photographing method according to any one of the first to fifth aspects, the photographing is performed using an image sensor that captures a range larger than the display range, and output. Inclination correction is performed by outputting a range of an image to be captured as being captured within a specific range of the image sensor. According to the present invention, tilt correction can be performed electronically and precisely one operation line at a time.
The present invention described in claim 7 is a stereoscopic image capturing device including at least two image capturing apparatuses that perform horizontal scanning in the horizontal direction and sub-scan in the vertical direction, and capture the same subject using these image capturing apparatuses. In the inclination angle measuring device in the stereoscopic image photographing device for measuring the inclination of the plurality of imaging devices, a scanning line extracting means for extracting a predetermined scanning line from the images photographed by the two photographing means, and extraction A stereoscopic video imaging apparatus comprising comparison means for comparing video information of the scanning lines and inclination angle calculation means for measuring the inclination of the imaging apparatus based on the comparison result. According to the present invention, it is possible to accurately and quickly measure the tilt angle of an image pickup device by electronically processing scan line data obtained from a camera without using a mechanical device such as a level.
The present invention described in
The present invention described in claim 9 is the stereoscopic image capturing apparatus according to claim 7, wherein the scanning line comparison means calculates an absolute value of the difference between the scanning line information, and the inclination angle calculation means calculates the difference. The tilt angle of the two cameras is measured based on the above. According to the present invention, an accurate slope value can be obtained by a simple arithmetic process.
According to a tenth aspect of the present invention, in the stereoscopic video photographing apparatus according to the seventh aspect, the scanning line extracting means extracts a plurality of scanning lines, and the scanning line comparing means outputs an added value of each photographing means. The comparison is made as image information of scanning lines. According to the present invention, accurate measurement can be performed by canceling noise generated in an image.
The present invention described in claim 11 is the inclination angle measuring device in the stereoscopic image capturing device described in claim 7, wherein the scanning line extracting means should compare the scanning line information of each imaging means by performing image processing. It is characterized by selecting a target location. According to the present invention, even if an image is shifted due to parallax, the inclination can be reliably measured by extracting the image portion of interest and comparing the scanning lines of the portion.
The present invention described in
Claims (12)
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2003/005617 WO2004098204A1 (en) | 2003-05-02 | 2003-05-02 | Stereoscopic photographing method and apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPWO2004098204A1 true JPWO2004098204A1 (en) | 2006-07-13 |
Family
ID=33398160
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004571328A Pending JPWO2004098204A1 (en) | 2003-05-02 | 2003-05-02 | 3D image photographing method and apparatus |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JPWO2004098204A1 (en) |
| AU (1) | AU2003231376A1 (en) |
| WO (1) | WO2004098204A1 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101236653B (en) * | 2008-03-03 | 2010-09-29 | 华为技术有限公司 | Image correction method and system |
| JP2010128575A (en) * | 2008-11-25 | 2010-06-10 | Nec System Technologies Ltd | Stereo image processing device, stereo image processing method, and program |
| JP2011095431A (en) * | 2009-10-28 | 2011-05-12 | Victor Co Of Japan Ltd | Stereoscopic video pickup device and stereoscopic video pickup method |
| JP5739624B2 (en) * | 2010-07-01 | 2015-06-24 | キヤノン株式会社 | Optical apparatus, imaging apparatus, and control method |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1127703A (en) * | 1997-06-30 | 1999-01-29 | Canon Inc | Display device and its control method |
| JP2001128195A (en) * | 1999-10-29 | 2001-05-11 | Atr Ningen Joho Tsushin Kenkyusho:Kk | Stereoscopic image correcting device, stereoscopic image display device, and recording medium with stereoscopic image correcting program recorded thereon |
| JP2002077947A (en) * | 2000-09-05 | 2002-03-15 | Sanyo Electric Co Ltd | Method for correcting stereoscopic image and stereoscopic image apparatus using the same |
-
2003
- 2003-05-02 AU AU2003231376A patent/AU2003231376A1/en not_active Abandoned
- 2003-05-02 JP JP2004571328A patent/JPWO2004098204A1/en active Pending
- 2003-05-02 WO PCT/JP2003/005617 patent/WO2004098204A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2004098204A1 (en) | 2004-11-11 |
| AU2003231376A1 (en) | 2004-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11223820B2 (en) | Augmented reality displays with active alignment and corresponding methods | |
| US10869024B2 (en) | Augmented reality displays with active alignment and corresponding methods | |
| JP5715735B2 (en) | Three-dimensional measurement method, apparatus and system, and image processing apparatus | |
| JP5679978B2 (en) | Stereoscopic image alignment apparatus, stereoscopic image alignment method, and program thereof | |
| CN102282857B (en) | Imaging device and method | |
| WO2014002849A1 (en) | Three-dimensional measurement method, apparatus, and system, and image processing device | |
| WO2011125937A1 (en) | Calibration data selection device, method of selection, selection program, and three dimensional position measuring device | |
| CN102550015A (en) | Multi-viewpoint imaging control device, multi-viewpoint imaging control method and multi-viewpoint imaging control program | |
| US20110090313A1 (en) | Multi-eye camera and method for distinguishing three-dimensional object | |
| TW201225658A (en) | Imaging device, image-processing device, image-processing method, and image-processing program | |
| JP2002232913A (en) | Double eye camera and stereoscopic vision image viewing system | |
| JP4193342B2 (en) | 3D data generator | |
| JPH1062140A (en) | Method and device for reconstruction of shape | |
| JP2011141381A (en) | Stereoscopic image display device and stereoscopic image display method | |
| US10140687B1 (en) | Real time wide angle video camera system with distortion correction | |
| JPWO2004098204A1 (en) | 3D image photographing method and apparatus | |
| JP2016531470A (en) | TV multi-angle method for acquisition, transmission and reception of stereo information about viewing location, and its automatic measurement of eye-point system | |
| WO2017131868A1 (en) | Real time wide angle video camera system with distortion correction | |
| JP2012227653A (en) | Imaging apparatus and imaging method | |
| US6697573B1 (en) | Hybrid stereoscopic motion picture camera with film and digital sensor | |
| KR20110025083A (en) | Apparatus and method for displaying 3d image in 3d image system | |
| JP5453552B2 (en) | Imaging apparatus, method and program | |
| WO2012014695A1 (en) | Three-dimensional imaging device and imaging method for same | |
| US9076215B2 (en) | Arithmetic processing device | |
| JP5409481B2 (en) | Compound eye photographing apparatus and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060704 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060904 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070315 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071130 |