JP2000308090A - Video displaying and processing device, video photographing and processing device, and camera controller - Google Patents
Video displaying and processing device, video photographing and processing device, and camera controllerInfo
- Publication number
- JP2000308090A JP2000308090A JP11110666A JP11066699A JP2000308090A JP 2000308090 A JP2000308090 A JP 2000308090A JP 11110666 A JP11110666 A JP 11110666A JP 11066699 A JP11066699 A JP 11066699A JP 2000308090 A JP2000308090 A JP 2000308090A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- data
- image
- display
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、右目用画像及び左
目用画像を用いる両眼立体視の原理を利用して立体像を
表示するための立体視映像撮影表示処理装置に関するも
のである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a stereoscopic image photographing and displaying apparatus for displaying a stereoscopic image using the principle of binocular stereoscopic vision using a right-eye image and a left-eye image.
【０００２】[0002]
【従来の技術】図１６に、２台のカメラを用いて立体視
映像を提供する撮影・表示システムの従来例の概略を示
す。右目用映像と左目用映像を撮影する２台のカメラ１
６０１の映像を立体視映像撮影表示処理装置１６０２で
処理し、ディスプレイ１６０５に表示する。2. Description of the Related Art FIG. 16 schematically shows a conventional example of a photographing / display system for providing a stereoscopic image using two cameras. Two cameras 1 for shooting right-eye video and left-eye video
The image 601 is processed by the stereoscopic image photographing display processing device 1602 and displayed on the display 1605.
【０００３】再生映像データには、両眼の映像データだ
けでなく、現時点の映像データが右目用映像であるか左
目用映像であるかを識別するための識別信号も含まれ
る。液晶シャッター同期信号発生器１６０３は、識別信
号を用いて同期信号を液晶シャッターメガネ１６０４に
送信する。液晶シャッターメガネ１６０４は、この同期
信号に従い、右目用映像がディスプレイ１６０５に表示
されているときには左目用のシャッターを閉じると共に
右目用を開いて右目のみ映像を観察できるようにし、同
様に左目用映像がディスプレイ１６０５に表示されてい
るときは左目のみに映像が観察できるようにする。人間
が液晶シャッターメガネ１６０４を使ってディスプレイ
１６０５を観察することで、人の視覚系の立体視の能力
を用いて、立体感のある映像を観察できる。The reproduced video data includes not only the binocular video data but also an identification signal for identifying whether the current video data is a right-eye video or a left-eye video. The liquid crystal shutter synchronization signal generator 1603 transmits a synchronization signal to the liquid crystal shutter glasses 1604 using the identification signal. In accordance with the synchronization signal, the liquid crystal shutter glasses 1604 close the shutter for the left eye and open the right eye so that only the right eye can be observed when the image for the right eye is displayed on the display 1605. When displayed on the display 1605, the image can be observed only by the left eye. When a human observes the display 1605 using the liquid crystal shutter glasses 1604, a three-dimensional image can be observed using the ability of the human visual system to perform stereoscopic vision.
【０００４】他に、めがねの要らない立体視システムと
してレンチキュラーレンズをディスプレイ前面に付けた
ものなどがある。Another stereoscopic system that does not require glasses is a system in which a lenticular lens is attached to the front of a display.
【０００５】また、特開平１０−１５５１０４号公報に
は、動画に対する立体視を容易にすることを目的にした
複数眼撮像方法及び装置が開示されている。これは、ユ
ーザインタフェースを介して、着目する被写体をユーザ
に指示させ、その被写体の左右映像の視差量を減少させ
るように、撮像系の輻輳角を制御し、また映像を単純に
平行移動させるものである。Japanese Patent Application Laid-Open No. H10-155104 discloses a multi-eye imaging method and apparatus for the purpose of facilitating stereoscopic viewing of moving images. This allows the user to indicate the subject of interest via the user interface, controls the convergence angle of the imaging system so as to reduce the amount of parallax between the left and right images of the subject, and simply translates the image. It is.
【０００６】図１７に、上記特開平１０−１５５１０４
号公報に記載された複眼撮像装置の一部の構成を示す。
この複眼撮像装置は、左右２つの撮像光学系１７０１
ａ、１７０１ｂ、信号処理部１７０４、被写***置検出
部１７０５、ファインダー１７０６、インターフェース
１７０７、撮像光学系駆動装置１７０８ａ、１７０８
ｂ、輻輳角／平行移動量制御用ユーザーインターフェー
ス１７０９、ＣＣＤ駆動装置１７１０ａ，１７１０ｂを
有している。FIG. 17 shows the structure of the above-mentioned JP-A-10-155104.
1 shows a partial configuration of a compound-eye imaging device described in Japanese Patent Application Laid-Open Publication No. H10-26095.
This compound eye imaging apparatus has two imaging optical systems 1701
a, 1701b, a signal processing unit 1704, a subject position detection unit 1705, a viewfinder 1706, an interface 1707, an imaging optical system driving device 1708a, 1708
b, a convergence angle / parallel movement amount control user interface 1709, and CCD driving devices 1710a and 1710b.
【０００７】撮像光学系１７０１ａ、１７０１ｂは、そ
れぞれレンズ１７０２ａ、１７０２ｂ、撮像素子である
ＣＣＤ１７０３ａ、１７０３ｂを備えている。２つの撮
像光学系１７０１ａ，１７０１ｂによって撮像された画
像は信号処理部１７０４に送られ、ここで立体視画像の
合成や画像補正、画像出力等の画像処理が行われる。信
号処理部１７０４は、被写***置検出部１７０５、ファ
インダー１７０６、インターフェース１７０７に接続さ
れている。ファインダー１７０６は画像補正や合成を行
った画像を出力するものである。このファインダー１７
０６を覗くことにより、立体視される画像を見ることが
できる。[0007] The imaging optical systems 1701a and 1701b include lenses 1702a and 1702b, and CCDs 1703a and 1703b as imaging elements, respectively. Images captured by the two imaging optical systems 1701a and 1701b are sent to a signal processing unit 1704, where image processing such as synthesis of stereoscopic images, image correction, and image output is performed. The signal processing unit 1704 is connected to the subject position detection unit 1705, the finder 1706, and the interface 1707. The finder 1706 outputs an image after image correction and synthesis. This finder 17
By looking at 06, it is possible to see an image which is stereoscopically viewed.
【０００８】上記従来例では、ファインダー１７０６に
写った映像から、輻輳角／平行移動量制御用ユーザイン
タフェース１７０９を用いて指示した注目対象物（主被
写体）の視差量を、少なくできるように工夫している。
すなわち、カメラレンズ光軸を交差するように撮像光学
系１７０１ａ、１７０１ｂの輻輳角を変化させたり、撮
像光学系１７０１ａ、１７０１ｂ内の撮像素子（ＣＣＤ
１７０３ａ，１７０３ｂ）の位置を平行移動させたり、
撮影画像を平行移動させることによって、立体視撮像表
示画像中の主被写体の視差を０にしてユーザの主被写体
の融像を容易にしている。In the above-described conventional example, the parallax amount of the target object (main subject) designated by using the convergence angle / parallel movement amount control user interface 1709 from the image shown in the viewfinder 1706 is reduced. ing.
That is, the convergence angles of the imaging optical systems 1701a and 1701b are changed so as to intersect with the optical axis of the camera lens, and the imaging device (CCD) in the imaging optical systems 1701a and 1701b is changed.
1703a, 1703b),
By translating the captured image, the parallax of the main subject in the stereoscopically displayed image is reduced to 0, thereby facilitating the fusion of the main subject by the user.
【０００９】[0009]
【発明が解決しようとする課題】しかしながら、上記従
来例は、主被写体の視差量を少なくするために、カメラ
レンズ光軸を回転させたり、撮像素子を平行移動した
り、画像をシフトさせるだけであり、正確な空間の歪み
については考慮されていない。However, in the above-mentioned conventional example, in order to reduce the amount of parallax of the main subject, it is only necessary to rotate the optical axis of the camera lens, translate the image sensor, or shift the image. Yes, the exact spatial distortion is not taken into account.
【００１０】また、視差量の調節は、ユーザインタフェ
ースを介して、撮像光学系の輻輳角等を変化させること
によって行なわれるため、１人のユーザだけしか行えな
い。テレビジョン放送のような、多くの人がそれぞれ大
きさ等が異なるのディスプレレイで映像を見る場合への
対処方法は考慮されていない。The adjustment of the amount of parallax is performed by changing the convergence angle of the imaging optical system via the user interface, so that only one user can adjust the amount of parallax. No consideration is given to a method of coping with a case where many people view video on a display having different sizes and the like, such as a television broadcast.
【００１１】本発明は、以上のような実情に鑑みてなさ
れたものであり、１つの立体視映像からでも、複数の人
がそれぞれ異なる条件で立体視映像を表示観察しても、
歪みの少ない立体視映像を観察できるようにした映像表
示処理装置及び映像撮影処理装置並びにカメラ制御装置
を提供することを目的とする。[0011] The present invention has been made in view of the above-described circumstances, and it is possible to display and observe a stereoscopic image under different conditions from a single stereoscopic image.
It is an object of the present invention to provide a video display processing device, a video shooting processing device, and a camera control device which enable observation of a stereoscopic video with little distortion.
【００１２】[0012]
【課題を解決するための手段】上記目的を達成するため
に本発明は、映像を表示するディスプレイや映像表示を
見る人の状態などの観察条件データと、映像撮影時のカ
メラの状態に対応するカメラパラメータと、から映像信
号の補正量を求め、求めた補正量にしたがって映像を補
正するようにしたので、歪みのない立体視映像を提供で
きる。補正処理は、映像表示処理装置で行われるので複
数の人がそれぞれ異なるディスプレイで立体視映像を鑑
賞する場合でも、それぞれに合わせた補正が可能にな
る。SUMMARY OF THE INVENTION In order to achieve the above object, the present invention relates to observation condition data such as a display for displaying an image and a state of a person viewing the image display, and a state of a camera at the time of image pickup. Since the correction amount of the video signal is obtained from the camera parameters and the image is corrected according to the obtained correction amount, a stereoscopic video image without distortion can be provided. Since the correction processing is performed by the video display processing device, even when a plurality of people view the stereoscopic video on different displays, it is possible to perform the correction according to each.
【００１３】[0013]
【発明の実施の形態】本発明の第１の態様は、映像撮影
時のカメラの状態に対応するカメラパラメータと１つま
たは複数の映像に対応する映像信号とを含んだ伝送信号
を受信する受信部と、受信した伝送信号から映像信号と
カメラパラメータとを分離するデータ分離部と、ディス
プレイに表示された映像を見る人の観察条件となる観察
条件データを入力する観察条件入力部と、前記カメラパ
ラメータと前記観察条件データとから前記映像信号の補
正量を決定する補正量決定部と、前記補正量に従い前記
映像信号を補正し、前記ディスプレイに補正後の映像デ
ータを送出する補正部とを具備する構成を採る。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS A first aspect of the present invention is a method for receiving a transmission signal including a camera parameter corresponding to a state of a camera at the time of capturing an image and a video signal corresponding to one or more images. Unit, a data separation unit that separates a video signal and a camera parameter from a received transmission signal, an observation condition input unit that inputs observation condition data that is an observation condition of a person who views an image displayed on a display, and the camera A correction amount determining unit that determines a correction amount of the video signal from the parameter and the observation condition data; and a correction unit that corrects the video signal according to the correction amount and sends the corrected video data to the display. It adopts the configuration to do.
【００１４】この構成によれば、撮影された立体視映像
を、ディスプレイ等の観察条件に合わせて補正している
ので、歪みの無い立体映像を提供することができる。ま
た、映像表示処理装置上で補正処理を行うため、複数の
人がそれぞれ異なるディスプレイで立体視映像を鑑賞す
る場合でも、それぞれに合わせた補正が可能になる。According to this configuration, the captured stereoscopic video is corrected according to the viewing conditions of the display or the like, so that a stereoscopic video without distortion can be provided. Further, since the correction processing is performed on the video display processing device, even when a plurality of people appreciate the stereoscopic video on different displays, it is possible to perform the correction corresponding to each.
【００１５】本発明の第４の態様は、第１の態様の映像
表示処理装置において、前記カメラパラメータは、カメ
ラの撮像面に投影された映像の幅である撮像幅データと
前記カメラのレンズ中心から前記撮像面までの距離であ
るレンズ撮像面間距離データとを含むものとし、前記観
察条件データは、映像表示を見る人の左右の眼間距離で
ある眼間距離データと前記人から前記ディスプレイまで
の距離であるディスプレイ距離データとを含むものとし
た。According to a fourth aspect of the present invention, in the video display processing apparatus according to the first aspect, the camera parameters include imaging width data representing a width of an image projected on an imaging surface of the camera and a lens center of the camera. From the lens imaging surface distance data which is the distance from the imaging surface to the imaging surface, the observation condition data is interocular distance data which is the distance between the left and right eyes of the person viewing the video display and from the person to the display And display distance data, which is the distance of
【００１６】この構成によれば、カメラパラメータに含
まれる撮像幅データ及びレンズ撮像面間距離データと、
観察条件データに含まれる眼間距離データ及びディスプ
レイ距離データとを考慮して補正量が決められるので、
ディスプレイに向かい合った観察者に対して歪みのない
立体視映像像を提供できる。According to this structure, the imaging width data and the distance data between the lens imaging surfaces included in the camera parameters are obtained by:
Since the correction amount is determined in consideration of the interocular distance data and the display distance data included in the observation condition data,
A stereoscopic video image without distortion can be provided to an observer facing the display.
【００１７】本発明の第７の態様は、第１の態様の映像
表示処理装置において、前記カメラパラメータは、カメ
ラの撮像面に投影された映像の幅である撮像幅データ
と、前記カメラのレンズ中心から前記撮像面までの距離
であるレンズ撮像面間距離データと、前記カメラの方向
である光軸回転角を示す光軸回転角データとを含み、前
記観察条件データは、映像表示を見る人の左右の眼間距
離である眼間距離データと、前記人から前記ディスプレ
イまでの距離であるディスプレイ距離データと、前記補
正部での補正映像の光軸方向である光軸方向データとを
含む。According to a seventh aspect of the present invention, in the video display processing apparatus according to the first aspect, the camera parameters include imaging width data representing a width of an image projected on an imaging surface of the camera, and a lens of the camera. A lens-to-lens imaging plane distance data indicating a distance from a center to the imaging plane; and an optical axis rotation angle data indicating an optical axis rotation angle which is a direction of the camera. Between the eye and the display, display distance data as a distance from the person to the display, and optical axis direction data as an optical axis direction of the image corrected by the correction unit.
【００１８】この構成により、カメラパラメータに光軸
回転角データをさらに含み、観察条件データに光軸方向
データをさらに付加したので、さらに歪みのない立体視
映像を提供できる。According to this configuration, since the camera parameters further include the optical axis rotation angle data and the observation condition data further include the optical axis direction data, a stereoscopic image without further distortion can be provided.
【００１９】本発明の第１０の態様は、第１の態様の映
像表示処理装置において、前記データ分離部は、映像信
号を分離する１つ又は複数の映像抽出部と、カメラの撮
像面に投影された映像の幅である撮像幅データを分離す
る撮像幅データ抽出部と、前記カメラのレンズ中心から
前記撮像面までの距離であるレンズ撮像面間距離データ
を分離するレンズ撮像面間距離抽出部とを備える。ま
た、観察条件入力部は、映像表示を見る人の左右の眼間
距離を決定する眼間距離決定部と、前記人から前記ディ
スプレイまでの距離であるディスプレイ距離を決定する
ディスプレイ距離決定部とを備える。さらに、補正量決
定部は、前記ディスプレイ距離及び前記撮像幅及び前記
レンズ撮像面間距離から映像の表示幅を計算する表示域
幅計算部と、前記眼間距離から映像の移動量である表示
シフト距離を計算する表示シフト距離計算部とを備え
る。According to a tenth aspect of the present invention, in the video display processing apparatus according to the first aspect, the data separation section includes one or more video extraction sections for separating a video signal, and projects the video signal onto an imaging surface of a camera. An imaging width data extraction unit that separates imaging width data that is the width of a captured image; and a lens imaging surface distance extraction unit that separates lens imaging surface distance data that is the distance from the lens center of the camera to the imaging surface. And Further, the observation condition input unit includes an interocular distance determining unit that determines a distance between the left and right eyes of a person who views a video display, and a display distance determining unit that determines a display distance that is a distance from the person to the display. Prepare. Further, the correction amount determination unit includes a display area width calculation unit that calculates a display width of an image from the display distance, the imaging width, and the distance between the lens imaging surfaces, and a display shift that is a moving amount of the image from the interocular distance. A display shift distance calculation unit for calculating the distance.
【００２０】この構成によれば、データ分離部において
映像信号、撮像幅データ、レンズ撮像面間距離データを
分離でき、観察条件入力部からは眼間距離データとディ
スプレイ距離データとが入力される。そして、補正量決
定部においてディスプレイ距離及び撮像幅及びレンズ撮
像面間距離から映像の表示幅が計算され、さらに眼間距
離から映像の移動量である表示シフト距離が計算され
る。According to this configuration, the data separation unit can separate the video signal, the imaging width data, and the distance data between the lens imaging planes, and the inter-eye distance data and the display distance data are input from the observation condition input unit. Then, the correction amount determination unit calculates the display width of the video from the display distance, the imaging width, and the distance between the lens imaging surfaces, and further calculates the display shift distance, which is the moving amount of the video, from the interocular distance.
【００２１】本発明の第１１の態様は、第１０の態様の
映像表示処理装置において、前記データ分離部は、前記
カメラの方向である光軸回転角である光軸回転角データ
を抽出する光軸回転角抽出部を備える。また、前記補正
量決定部は、前記光軸回転角データから光軸補正用の変
換行列を計算する光軸補正変換行列計算部を備える。According to an eleventh aspect of the present invention, in the video display processing apparatus according to the tenth aspect, the data separation section extracts optical axis rotation angle data which is an optical axis rotation angle which is the direction of the camera. A shaft rotation angle extraction unit is provided. Further, the correction amount determining unit includes an optical axis correction conversion matrix calculation unit that calculates a conversion matrix for optical axis correction from the optical axis rotation angle data.
【００２２】この構成によれば、データ分離部において
光軸回転角データが抽出され、補正量決定部が光軸回転
角データから光軸補正用の変換行列を計算するので、カ
メラの方向を考慮した補正が可能となり、より歪みの少
ない立体視映像を提供できるようになる。According to this configuration, the optical axis rotation angle data is extracted in the data separation section, and the correction amount determination section calculates a conversion matrix for optical axis correction from the optical axis rotation angle data, so that the direction of the camera is taken into consideration. This makes it possible to provide a stereoscopic image with less distortion.
【００２３】本発明の第１２の態様は、第１０の態様の
映像表示処理装置において、前記データ分離部は、前記
カメラの方向である光軸回転角である光軸回転角データ
を抽出する光軸回転角抽出部を備え、前記観察条件入力
部は、前記補正部での補正映像の光軸方向である光軸方
向データを決定する光軸方向決定部を備える。また、前
記補正量決定部は、前記光軸回転角データ及び前記光軸
方向データから光軸補正用の変換行列を計算する光軸補
正変換行列計算部を備える。According to a twelfth aspect of the present invention, in the video display processing apparatus according to the tenth aspect, the data separation section extracts light axis rotation angle data that is an optical axis rotation angle that is the direction of the camera. The correction unit includes an axis rotation angle extraction unit, and the observation condition input unit includes an optical axis direction determination unit that determines optical axis direction data that is an optical axis direction of the corrected image in the correction unit. Further, the correction amount determining unit includes an optical axis correction conversion matrix calculation unit that calculates a conversion matrix for optical axis correction from the optical axis rotation angle data and the optical axis direction data.
【００２４】この構成によれば、光軸補正変換行列計算
部が観察条件入力部から入力された補正映像の光軸方向
である光軸方向データを使って光軸補正用の変換行列を
計算するので、光軸回転角データだけの場合に比べてよ
り歪みのない立体視映像を提供できる。According to this configuration, the optical axis correction conversion matrix calculation unit calculates an optical axis correction conversion matrix using the optical axis direction data that is the optical axis direction of the corrected image input from the observation condition input unit. Therefore, it is possible to provide a stereoscopic image without distortion as compared with the case where only the optical axis rotation angle data is used.
【００２５】本発明の第２の態様は、映像を撮影する１
つ又は複数のカメラと、前記カメラの撮影状態を制御す
るカメラ制御量を入力するためのカメラ制御Ｉ／Ｆと、
入力されたカメラ制御量にしたがって前記カメラを制御
する制御部と、前記カメラ制御量及び前記カメラの状態
からカメラ状態データを決定するカメラ状態データ入力
部と、前記カメラで撮影した映像信号及び前記カメラ状
態データを外部装置に送出する外部Ｉ／Ｆ部とを具備す
る構成を採る。A second aspect of the present invention is a method for capturing a video 1
One or more cameras, a camera control I / F for inputting a camera control amount for controlling a shooting state of the camera,
A control unit that controls the camera according to the input camera control amount, a camera state data input unit that determines camera state data from the camera control amount and the camera state, a video signal captured by the camera, and the camera An external I / F unit for sending status data to an external device is provided.
【００２６】この構成によれば、カメラ制御量及びカメ
ラの状態からカメラ状態データが決められ、映像信号と
共に外部装置に送出できるので、上記第１の態様の映像
表示処理装置に供給されるカメラパラメータのもとにな
るデータを収集できる。According to this configuration, the camera state data is determined from the camera control amount and the state of the camera, and can be transmitted to an external device together with the video signal. Therefore, the camera parameters supplied to the video display processing device of the first aspect described above. Data that can be the basis for
【００２７】本発明の第５の態様は、第２の態様のカメ
ラ制御装置において、前記カメラ状態データは、カメラ
の撮像面に投影された映像の幅である撮像幅データと前
記カメラのレンズ中心から前記撮像面までの距離とに相
関があるデータであるものとした。According to a fifth aspect of the present invention, in the camera control device according to the second aspect, the camera state data includes imaging width data representing a width of an image projected on an imaging surface of the camera, and a lens center of the camera. It is assumed that the data is correlated with the distance from to the imaging surface.
【００２８】これにより、カメラの撮像面に投影された
映像の幅である撮像幅データと前記カメラのレンズ中心
から前記撮像面までの距離とに相関があるデータをカメ
ラ状態データにしたので、上記映像表示処理装置に伝送
するカメラパラメータに撮像幅データ、レンズ撮像面距
離データを含ませることができる。As a result, data having a correlation between the imaging width data, which is the width of the image projected on the imaging surface of the camera, and the distance from the lens center of the camera to the imaging surface is used as the camera state data. Camera parameters transmitted to the video display processing device can include imaging width data and lens imaging surface distance data.
【００２９】本発明の第８の態様は、第２の態様のカメ
ラ制御装置において、カメラ状態データは、カメラの撮
像面に投影された映像の幅である撮像幅データと、前記
カメラのレンズ中心から前記撮像面までの距離と、前記
カメラの方向である光軸回転角とに、相関があるデータ
であるものとした。According to an eighth aspect of the present invention, in the camera control device according to the second aspect, the camera state data includes imaging width data representing a width of an image projected on an imaging surface of the camera, and a lens center of the camera. It is assumed that the data is correlated with the distance from to the imaging surface and the rotation angle of the optical axis which is the direction of the camera.
【００３０】これにより、上記映像表示処理装置に伝送
するカメラパラメータに撮像幅データ、レンズ撮像面距
離データに加えて光軸回転角データを含ませることがで
きる。Thus, the camera parameters transmitted to the video display processing device can include the optical axis rotation angle data in addition to the imaging width data and the lens imaging surface distance data.
【００３１】本発明の第３の態様は、映像を撮影する１
つ又は複数のカメラの状態データからカメラパラメータ
を算出するカメラパラメータ算出部と、前記カメラから
の１つ又は複数の映像信号と前記カメラパラメータとを
混合信号に変換する信号混合部と、前記混合信号を記録
または映像を表示するシステムに送出する送出部とを具
備する構成を採る。A third aspect of the present invention is a method for capturing a video 1
A camera parameter calculator for calculating camera parameters from state data of one or more cameras, a signal mixer for converting one or more video signals from the camera and the camera parameters into a mixed signal, and the mixed signal And a transmitting unit for transmitting the recorded data to a system for recording or displaying a video.
【００３２】この構成によれば、カメラ状態データを反
映させたカメラパラメータと映像信号とを上記映像表示
処理装置に伝送することができる。According to this configuration, the camera parameters and the video signal reflecting the camera state data can be transmitted to the video display processing device.
【００３３】本発明の第６の態様は、第３の態様の映像
撮影処理装置において、前記カメラパラメータは、カメ
ラの撮像面に投影された映像の幅である撮像幅データ
と、前記カメラのレンズ中心から前記撮像面までのレン
ズ撮像面間距離とを含むものとする。According to a sixth aspect of the present invention, in the video photographing processing apparatus according to the third aspect, the camera parameters are imaging width data representing a width of an image projected on an imaging surface of the camera, and a lens of the camera. The distance between the lens imaging surface from the center to the imaging surface is included.
【００３４】これにより、撮像幅データとレンズ撮像面
間距離とを含むカメラパラメータを上記映像表示処理装
置に伝送することができる。Thus, the camera parameters including the imaging width data and the distance between the lens imaging planes can be transmitted to the video display processing device.
【００３５】本発明の第９の態様は、第３の態様の映像
撮影処理装置において、前記カメラパラメータは、カメ
ラの撮像面に投影された映像の幅である撮像幅データ
と、前記カメラのレンズ中心から前記撮像面までの距離
と、前記カメラの方向である光軸回転角とを含むものと
する。According to a ninth aspect of the present invention, in the video photographing processing apparatus according to the third aspect, the camera parameters are imaging width data representing a width of an image projected on an imaging surface of the camera, and a lens of the camera. The distance from the center to the imaging surface and the rotation angle of the optical axis that is the direction of the camera are included.
【００３６】これにより、撮像幅データとレンズ撮像面
間距離と光軸回転角とを含むカメラパラメータを上記映
像表示処理装置に伝送することができる。Thus, the camera parameters including the imaging width data, the distance between the lens imaging planes, and the optical axis rotation angle can be transmitted to the video display processing device.
【００３７】以下、本発明の実施の形態について図を用
いて説明する。Hereinafter, embodiments of the present invention will be described with reference to the drawings.
【００３８】（第１の実施の形態）図１は、第１の実施
の形態にかかる立体視映像撮影表示システムの全体概略
図である。本実施の形態の立体視映像撮影表示システム
は、撮影システムと表示システムとに大きく分けられ
る。(First Embodiment) FIG. 1 is an overall schematic diagram of a stereoscopic video imaging and displaying system according to a first embodiment. The stereoscopic video imaging and displaying system according to the present embodiment is roughly divided into an imaging system and a display system.
【００３９】撮影システムでは、カメラ制御装置１０１
が左右２眼のカメラ１０２のズームなどを制御して被写
体を撮影する。撮影によって得られた左右１対の映像は
カメラ制御装置１０１から立体視映像撮影処理装置１０
３へ入力される。立体視映像撮影処理装置１０３が左右
１対の映像を個別に処理して得られた左右の映像に対応
した２つの映像信号は送信アンテナ１０４を通して、１
ないし複数の立体視を表示観察する表示システムに無線
送信される。In the photographing system, the camera control device 101
Controls the zoom and the like of the left and right cameras 102 to photograph the subject. A pair of left and right images obtained by shooting are sent from the camera control device 101 to the stereoscopic image shooting processing device 10.
3 is input. The two video signals corresponding to the left and right images obtained by processing the pair of left and right images individually by the stereoscopic video imaging processing device 103 are transmitted through the transmission antenna 104 to 1
Or, it is wirelessly transmitted to a display system for displaying and observing a plurality of stereoscopic views.
【００４０】表示システムでは、受信アンテナ１０５で
受信した２つの映像信号が立体視映像表示処理装置１０
６へ入力される。立体視映像表示処理装置１０６は、各
ディスプレイ１０７や立体視映像を観察する各人の条件
に合わせ、表示画像を補正する。ディスプレイ１０７
は、立体視映像表示処理装置１０６から供給される２つ
の映像信号を可視化することにより、歪みが少ない立体
視映像を表示することができる。In the display system, the two video signals received by the receiving antenna 105 are transmitted by the stereoscopic video display processor 10.
6 is input. The stereoscopic video display processing device 106 corrects the display image according to the conditions of each display 107 and each person who observes the stereoscopic video. Display 107
By visualizing two video signals supplied from the stereoscopic video display processing device 106, a stereoscopic video with little distortion can be displayed.
【００４１】図２は、図１に示した表示システムの概略
図である。同図には、液晶シャッターメガネ２０１を用
いる例が示されている。ディスプレイ１０７は、右目用
映像２０２と左目用映像２０３を交互に表示する。ユー
ザは、右目左目のシャッターが排他的に開く同期回路付
き液晶シャッターメガネ２０１をかけてディスプレイ１
０７の映像を見る。液晶シャッター同期信号発生器２０
４は、見る人の右目には、右目用映像２０２が、左目に
は左目用映像２０３だけが見えるように、液晶シャッタ
ー開閉の同期信号を液晶シャッターメガネ２０１に赤外
線などを用いて送信する。FIG. 2 is a schematic diagram of the display system shown in FIG. FIG. 2 shows an example in which the liquid crystal shutter glasses 201 are used. The display 107 displays the right-eye image 202 and the left-eye image 203 alternately. The user wears the liquid crystal shutter glasses 201 with the synchronization circuit that the shutters of the right and left eyes open exclusively, and wears the display 1.
Watch the 07 video. LCD shutter synchronization signal generator 20
4 transmits a liquid crystal shutter opening / closing synchronization signal to the liquid crystal shutter glasses 201 using infrared rays or the like so that the viewer's right eye sees the right eye image 202 and the left eye sees only the left eye image 203.
【００４２】なお、液晶シャッターメガネ２０１を用い
た方式だけでなく、レンチキュラーレンズを用いた立体
視映像表示のディスプレイでも構わない。It is to be noted that not only the system using the liquid crystal shutter glasses 201 but also a display for displaying a stereoscopic image using a lenticular lens may be used.
【００４３】図３は、カメラ制御装置１０１の内部構成
図である。カメラマンは、カメラを被写体に向けるとと
もに、左右のカメラ３０１、３０２のズーム量等をカメ
ラ制御Ｉ／Ｆ３０３を介して入力する。制御部３０４
は、その入力に従い、左右カメラを制御するとともに、
カメラ状態データ入力部３０５にも、入力内容を送る。
カメラ状態データ入力部３０５では、左右カメラ３０
１、３０２の状態を計測するとともに、この計測データ
と制御部３０４からのデータからカメラ状態データを決
定する。カメラ状態データは、左右のカメラ映像信号と
ともに、立体視映像撮影処理装置Ｉ／Ｆ３０６を介し
て、立体視映像撮影処理装置１０３へ送られる。FIG. 3 is an internal configuration diagram of the camera control device 101. The cameraman points the camera toward the subject and inputs the amount of zoom of the left and right cameras 301 and 302 via the camera control I / F 303. Control unit 304
Controls the left and right cameras according to the input,
The input contents are also sent to the camera state data input unit 305.
In the camera state data input unit 305, the left and right cameras 30
1 and 302 are measured, and camera state data is determined from the measured data and data from the control unit 304. The camera state data is sent to the stereoscopic video shooting processing device 103 via the stereoscopic video shooting processing device I / F 306 together with the left and right camera video signals.
【００４４】図４は、立体視映像撮影処理装置１０３の
構成図である。カメラ制御装置１０１からのカメラ状態
データは、カメラ制御装置Ｉ／Ｆ４０１を通り、カメラ
パラメータ算出部４０２に送られ、記録伝送および表示
処理に適するカメラパラメータデータに変換する。カメ
ラパラメータデータと左右映像データは、信号混合部４
０３で混合処理され、信号記録送出部４０４で、記録ま
たは、各表示システムに伝送される。FIG. 4 is a block diagram of the stereoscopic video photographing processing device 103. The camera state data from the camera control device 101 passes through the camera control device I / F 401, is sent to the camera parameter calculation unit 402, and is converted into camera parameter data suitable for recording transmission and display processing. The camera parameter data and the left and right video data are sent to the signal mixing unit 4
03, the signal is mixed, and the signal is recorded or transmitted to each display system by the signal recording transmission unit 404.
【００４５】図５は、本発明の立体視映像表示処理装置
１０６の内部構成図である。撮影システムからの伝送信
号は、受信部５０１で復号処理をした後、映像データ／
カメラパラメータ分離部５０２で、左右映像とカメラパ
ラメータデータを分離する。一方、観察条件入力部５０
３では、人のマニュアル入力もしくは、自動的な計測手
段により、ディスプレイ１０７等の観察条件データを得
る。補正量決定部５０４では、カメラパラメータデータ
と観察条件データから、受信した左右映像を歪みの少な
い立体視映像に補正する量を決定する。補正量に従い、
映像補正部５０５では左右映像のそれぞれを映像補正
し、補正後の映像をディスプレイ１０７に送る。FIG. 5 is an internal configuration diagram of the stereoscopic image display processing device 106 of the present invention. The transmission signal from the imaging system is decoded by the reception unit 501 and then transmitted to the video data /
The camera parameter separation unit 502 separates the left and right images from the camera parameter data. On the other hand, the observation condition input unit 50
In Step 3, observation condition data on the display 107 or the like is obtained by manual input by a person or automatic measurement means. The correction amount determination unit 504 determines an amount to correct the received left and right images into a stereoscopic image with less distortion from the camera parameter data and the viewing condition data. According to the correction amount,
The image correction unit 505 performs image correction on each of the left and right images, and sends the corrected image to the display 107.
【００４６】以下、第１の実施の形態の説明では、図１
中の左右のカメラ１０２の光軸１０８を平行にして撮影
された場合の実施の形態を示す。Hereinafter, in the description of the first embodiment, FIG.
An embodiment in the case where an image is taken with the optical axes 108 of the left and right cameras 102 in the middle being parallel is shown.
【００４７】図６は、図１中のカメラ１０６の光軸を平
行にした場合の撮像幾何の説明図である。左目用映像を
撮影する左カメラと右目用映像を撮影する右カメラは、
光軸６０１、６０２が平行でかつ左右対称になってい
る。また、左右のカメラは、レンズ間距離６０３だけ離
れている。FIG. 6 is an explanatory diagram of the imaging geometry when the optical axis of the camera 106 in FIG. 1 is made parallel. The left camera that shoots left-eye video and the right camera that shoots right-eye video,
The optical axes 601 and 602 are parallel and bilaterally symmetric. The left and right cameras are separated by a distance 603 between lenses.
【００４８】左カメラにおいて、被写体６０４は、被写
体６０４とレンズ中心６０５を結ぶ直線が、撮像面６０
６と交わる投影位置６０７に投影される。光軸６０１
は、それぞれ撮像面中央６０８からレンズ中心６０５へ
向かうベクトルである。撮像面６０６とレンズ６０９は
レンズ撮像面間距離６１２離れ、かつ平行になってい
る。In the left camera, a straight line connecting the subject 604 and the lens center 605 is formed by
6 is projected to a projection position 607 that intersects with the position 6. Optical axis 601
Are vectors directed from the imaging plane center 608 to the lens center 605, respectively. The imaging surface 606 and the lens 609 are separated from each other by a distance 612 between the lens imaging surfaces and are parallel to each other.
【００４９】右カメラも、同様になっている。The same applies to the right camera.
【００５０】被写体６０４の位置を図６中の被写体座標
系６１０で記述する。被写体座標系６１０は、左右レン
ズ６０９、６１１の中央を結ぶ線分の２等分点を原点と
し、原点から右レンズ６１１の中央へ向かう方向をｘ軸
とし、光軸方向６０１、６０２の反対方向をｚ軸とし、
被写体座標系６１０を右手系座標系としてｙ軸を取る。The position of the subject 604 is described by a subject coordinate system 610 in FIG. The subject coordinate system 610 has an origin at a bisecting point of a line connecting the centers of the left and right lenses 609 and 611, an x-axis extending from the origin to the center of the right lens 611, and a direction opposite to the optical axis directions 601 and 602. Is the z-axis,
The y-axis is taken with the object coordinate system 610 as a right-handed coordinate system.
【００５１】図７は、図６中の撮像面６０６の説明図で
ある。撮像面６０６の中に、撮像幅７０１の撮像域７０
２がある。撮像面６０６と撮像域７０２の中央は一致し
ている。その点を原点とし、図６の被写体座標系６１０
のｘ軸、ｙ軸と平行になるようにｘ軸、ｙ軸を取り撮像
座標系７０３とする。FIG. 7 is an explanatory diagram of the imaging surface 606 in FIG. An imaging area 70 having an imaging width 701 is included in the imaging surface 606.
There are two. The center of the imaging surface 606 coincides with the center of the imaging area 702. Using that point as the origin, the object coordinate system 610 of FIG.
The x-axis and the y-axis are taken so as to be parallel to the x-axis and the y-axis of FIG.
【００５２】図８は、ディスプレイ１０７での表示と立
体視像の位置に関する幾何を説明する図である。左右の
目８０１、８０２は、ディスプレイ面８０３の中央に正
対し、ディスプレイ面８０３からディスプレイ距離８０
４だけ離れている。左右の映像表示域８０５、８０６は
表示シフト距離８０７だけ左右対称にずらし表示する。FIG. 8 is a view for explaining the geometry on the display on the display 107 and the position of the stereoscopic image. The left and right eyes 801 and 802 face the center of the display surface 803 and have a display distance 80 from the display surface 803.
4 away. The left and right image display areas 805 and 806 are displayed symmetrically shifted by a display shift distance 807.
【００５３】人は、左右映像を左右の目８０１、８０２
それぞれで見ることで、立体的な映像を見ることができ
る。立体視像の位置８０８は、被写体の同じ点の右表示
位置８０９と右目８０２を結ぶ直線と、左表示位置８１
０と左目８０１を結ぶ直線が交わる位置である。ここ
で、立体視像位置８０８を、図８中の立体視像座標系８
１１で記述する。立体視像座標系８１１は、眼間距離８
１２離れている右目８０２と左目８０１を結ぶ線分の２
等分点を原点とし、原点から右目８０２方向をＸ軸と
し、左右目８０１、８０２からディスプレイ面８０３に
向かう方向の反対方向をＺ軸とし、立体視座標系８１１
を右手系となるようにＹ軸を取る。The person views the left and right images with the left and right eyes 801 and 802.
By viewing each, you can see a three-dimensional image. The position 808 of the stereoscopic image includes a straight line connecting the right display position 809 and the right eye 802 of the same point of the subject, and the left display position 81
This is the position where a straight line connecting 0 and the left eye 801 intersects. Here, the stereoscopic image position 808 is defined by the stereoscopic image coordinate system 8 in FIG.
11 is described. The stereoscopic image coordinate system 811 has an interocular distance 8
2 of line segment connecting right eye 802 and left eye 801 which are 12 away
A stereoscopic coordinate system 811 is defined by using an equidistant point as the origin, setting the X direction of the right eye 802 from the origin, and setting the Z axis as the direction opposite to the display surface 803 from the left and right eyes 801 and 802.
Take the Y axis so that is a right-handed system.
【００５４】図９は、図８中のディスプレイ面８０３の
説明図である。映像表示可能域９０１の中に、対称に表
示シフト距離８０７ずらし右目用映像表示域８０６と左
目用映像表示域８０５がある。図１０は、図９の右目用
表示だけを抜き出した図である。表示域８０６に表示域
座標系１００１を置く。表示域座標系１００１は、表示
域の中央を原点とし、図８中の立体視像座標系８１１の
Ｘ軸、Ｙ軸に平行に表示域座標系１００１のＸ軸、Ｙ軸
を取る。左目の表示座標形も同様に、表示域の中央に原
点を取る。FIG. 9 is an explanatory diagram of the display surface 803 in FIG. Within the image displayable area 901, there are a right-eye image display area 806 and a left-eye image display area 805 shifted symmetrically by a display shift distance 807. FIG. 10 is a diagram in which only the right-eye display of FIG. 9 is extracted. A display area coordinate system 1001 is placed in the display area 806. The display area coordinate system 1001 has the origin at the center of the display area, and takes the X axis and the Y axis of the display area coordinate system 1001 in parallel with the X axis and the Y axis of the stereoscopic image coordinate system 811 in FIG. Similarly, the display coordinate form of the left eye has its origin at the center of the display area.
【００５５】図６で考えると、被写***置６０４，点６
１３，左レンズ中心６０５を頂点とする直角三角形（点
６１３の頂点が直角）と、左レンズ中心６０５、左撮像
面原点６０８、左投影位置６０７を頂点とする直角三角
形（左撮像面原点６０８の頂点が直角）が、相似形であ
ることから、被写体６０４の左撮像面６０８上の投影位
置６０７のｘ軸座標値Ｌｘ（左撮像面の撮像面座標系）
は、式１と表され、同様に、右撮像面６１５での投影位
置６１４のｘ軸座標値Ｒｘ（右撮像面の撮像面座標系）
は、式２と表される。Considering FIG. 6, the object position 604, the point 6
13, a right-angled triangle having the left lens center 605 as a vertex (the vertex of the point 613 is a right angle), and a right-angled triangle having the left lens center 605, the left imaging plane origin 608, and the left projection position 607 as vertices (the Since the vertices are perpendicular to each other, the x-axis coordinate value Lx of the projection position 607 of the subject 604 on the left imaging surface 608 (the imaging surface coordinate system of the left imaging surface) is similar.
Is represented by Expression 1, and similarly, the x-axis coordinate value Rx of the projection position 614 on the right imaging surface 615 (imaging surface coordinate system of the right imaging surface)
Is represented by Expression 2.
【００５６】 Ｌｘ＝−（ｘ＋Cs／2)×ｄ／（−ｚ） （式１） Ｒｘ＝−（ｘ−Ｃｓ／２）×ｄ／（−ｚ） （式２） ここで、x、ｚは、被写体座標系６１０での被写体６０
４の座標値（ｘ、ｙ、ｚ）のｘ値とｚ値、Ｃｓは、レン
ズ間距離６０３、ｄは、レンズ撮像面間距離６１２であ
る。Lx = − (x + Cs / 2) × d / (− z) (Expression 1) Rx = − (x−Cs / 2) × d / (− z) (Expression 2) where x and z are , Subject 60 in subject coordinate system 610
The x value and the z value of the coordinate value (x, y, z) of No. 4, Cs is the distance 603 between lenses, and d is the distance 612 between lens imaging surfaces.
【００５７】次に表示を考える。図６で撮影された像
は、反転された後、Ｓ倍に拡大され、図８のようにディ
スプレイ８０３に表示される。従って、被写体６０４の
左目用映像表示域８０５上の表示位置８１０のｘ軸座標
値Ｌｘ’（左目用映像表示域８０５の表示域座標系）
は、式１から式３となり、同様に右目用映像表示域上８
０６の表示位置のｘ軸座標値Ｒｘ’（右目用映像表示域
８０６の表示域座標系１００１）は、式２から式４とな
る。Next, the display will be considered. The image photographed in FIG. 6 is inverted and then magnified S times and displayed on the display 803 as shown in FIG. Therefore, the x-axis coordinate value Lx ′ of the display position 810 on the left-eye image display area 805 of the subject 604 (the display area coordinate system of the left-eye image display area 805).
Is changed from Expression 1 to Expression 3, and similarly, 8 is displayed on the right-eye image display area.
The x-axis coordinate value Rx ′ of the display position of 06 (the display area coordinate system 1001 of the right-eye image display area 806) is expressed by Expression 2 to Expression 4.
【００５８】 Ｌｘ'＝Ｓ×（ｘ＋Ｃｓ／２）×ｄ／（−ｚ） （式３） Ｒｘ'＝Ｓ×（ｘ−Ｃｓ／２）×ｄ／（−ｚ） （式４） ここで、前述の通り、x、ｚは、被写体座標系６１０で
の被写***置、Ｓは、映像の拡大率、Ｃｓはレンズ間距
離６０３、ｄは、レンズ撮像面間距離６１２である。Lx ′ = S × (x + Cs / 2) × d / (− z) (Expression 3) Rx ′ = S × (x−Cs / 2) × d / (− z) (Expression 4) As described above, x and z are the subject position in the subject coordinate system 610, S is the magnification of the image, Cs is the distance 603 between lenses, and d is the distance 612 between lens imaging surfaces.
【００５９】次に、図８で考えると、左表示位置８１
０、左目８０１及び点８１３を頂点とする直角三角形
（点８１３が直角）と、立体視像（点）８０８、左目８
０１及び点８１４を頂点とする直角三角形（点８１４が
直角）が相似形であることから、立体視像座標系８１１
における立体視像８０８の位置（Ｘ，Ｙ，Ｚ）のＸとＺ
の関係は式５である。同様に、右目８０２に関しては式
６を得る。Next, referring to FIG. 8, the left display position 81
0, a right-angled triangle having the left eye 801 and the point 813 as vertices (the point 813 is a right angle), a stereoscopic image (point) 808, and the left eye 8
Since the right-angled triangle having the vertices 01 and 814 (the point 814 is a right angle) is similar, the stereoscopic image coordinate system 811
X and Z at the position (X, Y, Z) of the stereoscopic image 808 at
Is a relation of Expression 5. Similarly, for the right eye 802, Equation 6 is obtained.
【００６０】 （Ｌｘ'−Ｓｓ／２＋Ｅｓ／２）／（Ｘ＋Ｅｓ／２）＝Ｄ／（−Ｚ） （式５） （Ｒｘ'＋Ｓｓ／２−Ｅｓ／２）／（Ｘ−Ｅｓ／２）＝Ｄ／（−Ｚ） （式６） ここで、Ｓｓは表示シフト距離８０７であり、Ｅｓは、
眼間距離８１２であり、Ｄは、ディスプレイ距離８０４
である。(Lx′−Ss / 2 + Es / 2) / (X + Es / 2) = D / (− Z) (Equation 5) (Rx ′ + Ss / 2−Es / 2) / (X−Es / 2) = D / (− Z) (Equation 6) where Ss is the display shift distance 807 and Es is
The interocular distance 812, and D is the display distance 804
It is.
【００６１】式３から式６までを用いて、Ｘ，Ｚについ
て解くと式７と式８が得られる。By solving equations X and Z using equations 3 to 6, equations 7 and 8 are obtained.
【００６２】 Ｘ＝ｘ×Ｅｓ×Ｓ×ｄ／｛Ｓ×ｄ×Ｃｓ＋ｚ×（Ｓｓ−Ｅｓ）} （式７） Ｚ＝ｚ×Ｄ×Ｅｓ／｛Ｓ×ｄ×Ｃｓ＋ｚ×（Ｓｓ−Ｅｓ）｝ （式８） 次に、Ｅｓ，Ｓｓ，Ｄ，Ｓ，及びｄを式９と式１０にな
るようにしたとする。X = x × Es × S × d / ｛S × d × Cs + z × (Ss−Es)} (Equation 7) Z = z × D × Es / ｛S × d × Cs + z × (Ss−Es) ｝ (Equation 8) Next, it is assumed that Es, Ss, D, S, and d are made to become Equations 9 and 10.
【００６３】Ｅｓ＝Ｓｓ （式９） Ｄ＝Ｓ×ｄ （式１０） 式９と式１０を、式７と式８に代入することで、式１１
と式１２を得る。Es = Ss (Expression 9) D = S × d (Expression 10) By substituting Expressions 9 and 10 into Expressions 7 and 8, Expression 11
And Equation 12 are obtained.
【００６４】Ｘ＝ｘ×Ｅｓ／Ｃｓ （式１１） Ｚ＝ｚ×Ｅｓ／Ｃｓ （式１２） 次に、立体視像８０８のｙ座標値を求める。左右の撮像
面６０６、６１５への投影位置６０７、６１４のｙ軸座
標値Ｌｙ及びＲｙ（撮像面座標系）は、式１３になる。
映像に対して反転処理とＳ倍拡大処理をしているので、
左右の映像表示域上８０５、８０６の表示位置のＹ軸座
標値Ｌｙ’及びＲｙ’（表示域座標系）は、式１３から
式１４になる。X = x × Es / Cs (Equation 11) Z = z × Es / Cs (Equation 12) Next, the y coordinate value of the stereoscopic image 808 is obtained. The y-axis coordinate values Ly and Ry (imaging plane coordinate system) of the projection positions 607 and 614 on the left and right imaging planes 606 and 615 are given by Expression 13.
Since the inversion process and the S-fold enlargement process are performed on the video,
The Y-axis coordinate values Ly ′ and Ry ′ (display area coordinate system) of the display positions of the display positions 805 and 806 on the left and right video display areas are expressed by Expression 13 to Expression 14.
【００６５】図８の立体視像８０８のＹ座標値（立体視
像座標系）は、前述の相似関係と同様な関係から式１５
となる。式１５に式１２と式１４を代入し、式１６を得
る。The Y coordinate value (stereoscopic image coordinate system) of the stereoscopic image 808 in FIG.
Becomes Substituting Expressions 12 and 14 into Expression 15, Expression 16 is obtained.
【００６６】 Ｌｙ＝Ｒｙ＝−ｙ×ｄ／（−ｚ） （式１３） Ｌｙ'＝Ｒｙ'＝Ｓ×ｙ×ｄ／（−ｚ） （式１４） Ｙ＝Ｌｙ'×（−Ｚ／Ｄ） （式１５） Ｙ＝ｙ×Ｅｓ／Ｃｓ （式１６） 以上から、式１１と式１２及び式１６より、式９及び式
１０の条件を満たせば、等方的に空間がＥｓ／Ｃｓ倍に
拡大されて、見えることが分かる。Ly = Ry = −y × d / (− z) (Equation 13) Ly ′ = Ry ′ = S × y × d / (− z) (Equation 14) Y = Ly ′ × (−Z / D) (Equation 15) Y = y × Es / Cs (Equation 16) From the equations (11), (12) and (16), if the conditions of the equations (9) and (10) are satisfied, the space isotropically Es / Cs times. It can be seen that it is enlarged to
【００６７】ここで、左右の映像表示域８０５、８０６
の幅をＨとすると、映像の拡大率Ｓは、式１７になる。
その上、式１０及び式１７より、式１８となる。ここ
で、ｋは撮像幅７０１である。Here, the left and right image display areas 805 and 806
Is H, the enlargement ratio S of the video is given by Expression 17.
In addition, Expression 18 is obtained from Expression 10 and Expression 17. Here, k is the imaging width 701.
【００６８】Ｓ＝Ｈ／ｋ （式１７） Ｈ＝ｋ×Ｄ／ｄ （式１８） すなわち、表示シフト距離８０７を、式９になるように
し、左右の映像表示域８０５、８０６の幅Ｈを、式１８
になるようにすることで、式１１と式１２及び式１６の
ように、投影像は、撮影被写体を等方的にＥｓ／Ｃｓ倍
した像になることが分かる。S = H / k (Equation 17) H = k × D / d (Equation 18) That is, the display shift distance 807 is set to the equation 9, and the width H of the left and right video display areas 805 and 806 is set. , Equation 18
Thus, it can be seen that the projected image becomes an image obtained by isotropically multiplying the photographing subject by Es / Cs as shown in Expressions 11, 12, and 16.
【００６９】従って、光軸を平行にして、撮影された立
体視像に関しては、式９に従い、表示シフト距離８０７
を眼間距離８１２と等しくし、その上、式１８に従い、
左右の映像表示域８０５、８０６の幅Ｈを、撮像面幅７
０１とスクリーン間距離８０４を掛けレンズ撮像面間距
離６１２で割った値にすることで、歪みのない立体視像
を提供することができる。Accordingly, for a stereoscopic image taken with the optical axis parallel, the display shift distance 807
Is equal to the interocular distance 812, and according to equation 18,
The width H of the left and right video display areas 805 and 806 is determined by the imaging surface width 7
By multiplying 01 by the distance 804 between screens and dividing by the distance 612 between lens imaging surfaces, a stereoscopic image without distortion can be provided.
【００７０】次に、上で述べた条件を満たすための処理
について説明する。Next, processing for satisfying the above-described conditions will be described.
【００７１】前記した図３のカメラ制御装置１０１のカ
メラ状態データ入力部３０５では、カメラのズーム機構
やレンズ位置などをカメラ部３０１、３０２等から読み
取り、カメラ状態データとして出力する。The camera status data input unit 305 of the camera control device 101 shown in FIG. 3 reads the zoom mechanism and lens position of the camera from the camera units 301 and 302 and outputs the camera status data.
【００７２】前記した図４の立体視映像撮影処理装置１
０３では、工場出荷時などに測定したカメラ状態とカメ
ラパラメータの関係テーブルを持ち、その関係テーブル
をもとに、カメラ状態データから、撮影時の撮像幅７０
１のデータとレンズ撮像面間距離６１２のデータをカメ
ラパラメータとして算出する。The stereoscopic image photographing processing apparatus 1 shown in FIG.
03, a relation table between the camera state measured at the time of shipment from the factory and the camera parameters is provided, and based on the relation table, the imaging width 70 at the time of photographing is obtained from the camera state data.
1 is calculated as the camera parameters.
【００７３】カメラパラメータデータは、左右映像デー
タと信号混合部４０３で混合処理され、信号記録送出部
４０４で、記録または、各表示システムに伝送される。The camera parameter data is mixed with the left and right video data by the signal mixing unit 403, and is recorded by the signal recording and transmitting unit 404 or transmitted to each display system.
【００７４】図１１は、図５で説明した立体視映像表示
処理装置１０６の詳細図である。FIG. 11 is a detailed diagram of the stereoscopic video display processing device 106 described with reference to FIG.
【００７５】立体視映像撮影処理装置１０３からの伝送
信号は、受信部５０１で復号処理をした後、映像データ
／カメラパラメータ分離部５０２に入力される。映像デ
ータ／カメラパラメータ分離部５０２では、左右の映像
抽出部１１０１、１１０２が伝送信号に含まれた映像信
号を左右映像に分離して映像補正部５０５に送る。ま
た、撮像幅ｋデータ抽出部１１０３が伝送信号に含まれ
た撮像幅７０１のデータを分離し、レンズ撮像面間距離
ｄ抽出部１１０４が伝送信号に含まれたレンズ撮像面間
距離６１２を分離し、それぞれ補正量決定部５０４内の
表示域幅Ｈ計算部１１０５に送る。The transmission signal from the stereoscopic video photographing processing device 103 is input to the video data / camera parameter separation unit 502 after being decoded by the receiving unit 501. In the video data / camera parameter separation unit 502, the left and right video extraction units 1101 and 1102 separate the video signal included in the transmission signal into left and right video images and send them to the video correction unit 505. Also, the imaging width k data extraction unit 1103 separates the data of the imaging width 701 included in the transmission signal, and the lens imaging surface distance d extraction unit 1104 separates the lens imaging surface distance 612 included in the transmission signal. Are sent to the display area width H calculation unit 1105 in the correction amount determination unit 504, respectively.
【００７６】一方、観察条件入力部５０３内の観察条件
設定Ｉ／Ｆ部１１０６を介して得たデータをもとに、デ
ィスプレイ距離Ｄ決定部１１０７ではディスプレイ距離
８０４を決定し、補正量決定部５０４の表示域幅Ｈ計算
部１１０５に送る。また、同様に眼間距離Ｅｓ決定部１
１０８では、眼間距離８１２を決め、表示シフト距離Ｓ
ｓ計算部１１０９に送る。On the other hand, based on the data obtained via the observation condition setting I / F unit 1106 in the observation condition input unit 503, the display distance D determination unit 1107 determines the display distance 804, and the correction amount determination unit 504 Is sent to the display area width H calculation unit 1105. Similarly, the interocular distance Es determining unit 1
At 108, the interocular distance 812 is determined, and the display shift distance S
Send to the s calculation unit 1109.
【００７７】補正量決定部５０４の表示域幅Ｈ計算部１
１０５では、式１８に従い、表示域幅Ｈを計算し、映像
補正部５０５に送る。表示シフト距離Ｓｓ計算部１１０
９では、式９に従い、表示シフト距離８０７を計算し、
映像補正部５０５に送る。映像補正部５０５では左右映
像のそれぞれの表示域幅Ｈになるように、映像補正する
とともに左右映像のずらす距離が表示シフト距離８０７
になるように、映像補正し、ディスプレイ１０７に送
る。ディスプレイ１０７では、人の右目には、補正後の
右映像を、左目には補正後の左映像を見せる。Display area width H calculator 1 of correction amount determiner 504
At 105, the display area width H is calculated according to Expression 18 and sent to the image correction unit 505. Display shift distance Ss calculator 110
9, the display shift distance 807 is calculated according to Equation 9,
The image is sent to the image correction unit 505. The image correction unit 505 corrects the image so that the display area width H of each of the left and right images becomes the same, and shifts the distance between the left and right images by the display shift distance 807.
The image is corrected and sent to the display 107. On the display 107, the right eye of the person displays the corrected right image, and the left eye displays the corrected left image.
【００７８】以上の処理により、光軸を平行にして、撮
影された立体視映像を、ディスプレイ等の観察条件に合
わせた歪みのない立体視映像として、人に提供すること
ができる。また、補正処理は、立体視映像表示処理装置
１０６で行うため、複数の人がそれぞれ異なるディスプ
レイ１０７で立体視映像を鑑賞する場合でも、それぞれ
に合わせた補正が可能となる。With the above-described processing, the captured stereoscopic video image can be provided to a person as a stereoscopic video image having no distortion matched to the viewing conditions of a display or the like with the optical axis parallel. In addition, since the correction processing is performed by the stereoscopic video display processing device 106, even when a plurality of people appreciate the stereoscopic video on different displays 107, it is possible to perform the correction corresponding to each.
【００７９】（第２の実施の形態）第１の実施形態で
は、左右カメラの光軸１０８を平行にして撮影した立体
視映像を扱った。第２の実施形態では、光軸１０８を交
差させて撮影した立体視映像を扱う。(Second Embodiment) In the first embodiment, a stereoscopic video image taken with the optical axes 108 of the left and right cameras taken in parallel is handled. In the second embodiment, a stereoscopic video image taken with the optical axis 108 intersecting is handled.
【００８０】図１２は、光軸を交差させた場合の撮像幾
何説明図である。図６と同じく左右のカメラは対称に置
いているが、光軸１２０１、１２０２を被写体座標系１
２０８のｙ軸まわりに光軸回転角１２０３だけ中央より
にそれぞれ対称に回転させ、交差するように置いてい
る。これは、被写体のディスプレイ上での視差量を少な
くする場合などに良く用いられる。しかし、光軸を交差
させ撮影した立体視像は、歪みが発生するなどの問題が
ある。FIG. 12 is an explanatory view of the imaging geometry when the optical axes are crossed. The left and right cameras are placed symmetrically as in FIG.
The lens is rotated symmetrically around the y-axis 208 from the center by an optical axis rotation angle 1203, and placed so as to intersect. This is often used when the amount of parallax of a subject on a display is reduced. However, a stereoscopic image captured by crossing the optical axis has a problem that distortion occurs.
【００８１】このような、光軸を交差させて撮影した映
像に対しては、本実施形態の立体視映像表示処理装置１
０６では次の順で映像補正を行う。For such an image photographed with the optical axes crossing each other, the stereoscopic image display processing device 1 according to the present embodiment is used.
At 06, image correction is performed in the following order.
【００８２】映像補正順 （１）光軸を平行にして撮影した映像に戻す映像補正 （２）式９及び式１８に従う映像表示補正 上記（２）は、第１の実施の形態の説明の中で述べたの
で、以下では、上記（１）の映像補正を説明する。Image Correction Order (1) Image Correction for Returning to Image Captured with Parallel Optical Axis (2) Image Display Correction According to Equations 9 and 18 The above (2) is the same as in the description of the first embodiment. Therefore, the image correction of the above (1) will be described below.
【００８３】被写体が撮像面に投影される位置は、コン
ピュータグラフィックスで用いられる射影変換の視野変
換と透視変換で求めることができる。The position where the subject is projected on the image pickup plane can be obtained by the visual field transformation and the perspective transformation of the projective transformation used in computer graphics.
【００８４】式１９は、被写体１２０９を、視野変換と
透視変換により投影した時の投影位置１２１１を表す式
であり、光軸１２０１を回転交差させて撮影した場合の
式である。式２０は、レンズ中心位置１２１０は変え
ず、光軸方向１２０１を平行に戻して投影させた場合の
投影位置を表す式である。Equation 19 is an equation representing the projection position 1211 when the subject 1209 is projected by field-of-view transformation and perspective transformation, and is an equation when the optical axis 1201 is rotated and crossed. Equation 20 is an equation representing the projection position when the lens center position 1210 is not changed and the optical axis direction 1201 is returned parallel to the projection.
【００８５】 ｗ×Ｐｐ＝Ｐｏ×Ｔｔ×Ｔｒ×Ｔｐ （式１９） ｗ'×Ｐｐ'＝Ｐｏ×Ｔｔ×Ｔｒ'×Ｔｐ （式２０） ここで、Ｐｏは、被写体座標系１２０８における被写体
１２０９の位置で、同次座標（ｘ、ｙ、ｚ、１）であ
る。Ｐｐは、光軸１２０１を回転交差させて撮影した場
合の、撮像座標系における投影位置１２１１で、同次座
標（Ｘ，Ｙ，Ｚ，１）である。Ｐｐ’は、光軸１２０１
を平行にして撮影した場合の、撮像座標系における投影
位置で、同次座標（Ｘ’，Ｙ’，Ｚ’，１）である。Ｔ
ｔは、被写体１２０９の位置をレンズ中心１２１０を原
点とする視点座標系で表現するための平行移動視野変換
行列、Ｔｒ及びＴｒ’は、カメラ光軸を視点座標系の−
ｚ軸方向とする視点座標系で表現するための回転移動視
野変換行列である。Ｔｐは、透視変換のための変換行
列。ｗ及びｗ’は、同次座標表現の重みである。W × Pp = Po × Tt × Tr × Tp (Equation 19) w ′ × Pp ′ = Po × Tt × Tr ′ × Tp (Equation 20) Here, Po is the value of the subject 1209 in the subject coordinate system 1208. Is the position, homogeneous coordinates (x, y, z, 1). Pp is a projection position 1211 in the image capturing coordinate system when the image is taken while rotating and crossing the optical axis 1201, and is a homogeneous coordinate (X, Y, Z, 1). Pp ′ is the optical axis 1201
Are parallel positions (X ′, Y ′, Z ′, 1) in the imaging coordinate system when the image is taken in parallel. T
t is a parallel translation field-of-view transformation matrix for expressing the position of the subject 1209 in a viewpoint coordinate system with the lens center 1210 as the origin, and Tr and Tr 'are the camera optical axes in the viewpoint coordinate system.
It is a rotational movement field-of-view transformation matrix for expressing in a viewpoint coordinate system in the z-axis direction. Tp is a transformation matrix for perspective transformation. w and w ′ are weights of the homogeneous coordinate expression.
【００８６】なお、Ｔｔは式２１、Ｔｒは式２２，Ｔ
ｒ’は式２３、Ｔｐは式２４の形式の行列である。式２
４のdは、図１２のレンズ１２０４から撮像面１２０５
までのレンズ撮像面間距離距離１２０６であり、ｋは撮
像幅１２０７である。Note that Tt is represented by the equation (21), Tr is represented by the equation (22),
r ′ is a matrix of the formula 23, and Tp is a matrix of the formula 24. Equation 2
4 d represents the distance from the lens 1204 in FIG.
, And k is an imaging width 1207.
【００８７】[0087]
【数１】 (Equation 1)
【００８８】[0088]
【数２】 (Equation 2)
【００８９】[0089]
【数３】 (Equation 3)
【００９０】[0090]
【数４】 なお、式２２は、光軸を、ｙ軸から原点方向を見て時計
回りにαだけ回転させた場合、式２５となる。式２３
は、光軸は、平行で回転していないので式２６となる。
以下の説明では、一般的な光軸回転を扱えることを示す
ため、式２２および式２３で説明する。(Equation 4) Equation 22 becomes Equation 25 when the optical axis is rotated clockwise by α when viewing the direction of the origin from the y axis. Equation 23
Is given by Equation 26 since the optical axis is parallel and not rotating.
In the following description, equations 22 and 23 are used to show that general optical axis rotation can be handled.
【００９１】[0091]
【数５】 (Equation 5)
【００９２】[0092]
【数６】 式１９の両辺にTp-1 * Tr-1 * Tt-1 をかけ、左右両辺
を入れかえると式２７となる。(Equation 6) Equation 27 is obtained by multiplying both sides of Equation 19 by Tp -1 * Tr -1 * Tt -1 and exchanging the left and right sides.
【００９３】 Ｐｏ＝ｗ×Ｐｐ×Ｔｐ-1×Ｔｒ-1×Ｔｔ-1 （式２７） 式２７を式２０のＰｏに代入すると式２８となる。Po = w × Pp × Tp −1 × Tr −1 × Tt −1 (Expression 27) When Expression 27 is substituted for Po in Expression 20, Expression 28 is obtained.
【００９４】 ｗ'×Ｐｐ'＝ｗ×Ｐｐ×Ｔｐ-1×Ｔｒ-1×Ｔｔ-1×Ｔｔ×Ｔｒ'×Ｔｐ （式２８） 式２１から式２９となり、式２８の一部であるＴｔ-1×
Ｔｔは、単位行列となる。従って、式２８は、式３０と
なる。W ′ × Pp ′ = w × Pp × Tp −1 × Tr −1 × Tt −1 × Tt × Tr ′ × Tp (Expression 28) From Expression 21, Expression 29 is obtained, and Tt which is a part of Expression 28 is obtained. -1 x
Tt is a unit matrix. Therefore, Equation 28 becomes Equation 30.
【００９５】[0095]
【数７】 ｗ'×Ｐｐ'＝ｗ×Ｐｐ×Ｔｐ-1×Ｔｒ-1×Ｔｒ'×Ｔｐ （式３０） 続いて、ＴｒとＴｒ’は、式２２と式２３の形式の行列
であることから、Ｔｒ-1×Ｔｒ’は、式３１の形式の行
列となる。(Equation 7) w ′ × Pp ′ = w × Pp × Tp −1 × Tr −1 × Tr ′ × Tp (Equation 30) Since Tr and Tr ′ are matrices of the form of Equations 22 and 23, Tr −1 × Tr ′ is a matrix of the form of Equation 31.
【００９６】[0096]
【数８】 一方、式２４のＴｐの逆行列を求めると式３２となる。(Equation 8) On the other hand, when the inverse matrix of Tp in Expression 24 is obtained, Expression 32 is obtained.
【００９７】[0097]
【数９】 式３０に、式２４と式３１及び式３２を代入して計算す
ると、式３３のように変形できる。(Equation 9) By substituting Expression 24, Expression 31 and Expression 32 into Expression 30, the calculation can be modified as Expression 33.
【００９８】[0098]
【数１０】 (Equation 10)
【００９９】[0099]
【数１１】 式３４から、画像の補正式を求める。式３４の右辺の行
列では、３列目が、画像には無関係なＺ’に対応するた
め、削除しても差し支えない。また、削除後の３行目に
は０が並ぶため、削除し、かつ、両辺に１／ｗを掛ける
ことで、式３４を、式３５と式３６及び式３７で表すこ
とができる。なお、Ｑｐ（Ｘ，Ｙ，１）は、Ｐｐ（Ｘ，
Ｙ，Ｚ，１）のＺを除いた表現であり、Ｑｐ’（Ｘ’，
Ｙ’，１）は、Ｐｐ’（Ｘ’，Ｙ’，Ｚ’，１）のＺ’
を除いた表現である。[Equation 11] From Expression 34, a correction expression for the image is obtained. In the matrix on the right side of Expression 34, the third column corresponds to Z ′ irrelevant to the image, and may be deleted. Also, since 0s are lined up in the third line after the deletion, Expression 34 can be expressed by Expressions 35, 36, and 37 by deleting and multiplying both sides by 1 / w. Note that Qp (X, Y, 1) is Pp (X, Y, 1).
This is an expression excluding Z of Y, Z, 1), and Qp ′ (X ′,
Y ′, 1) is Z ′ of Pp ′ (X ′, Y ′, Z ′, 1)
Is the expression excluding.
【０１００】すなわち、光軸交差時の投影位置Ｑｐ
（Ｘ，Ｙ，１）と光軸平行時の投影位置Ｑｐ’（Ｘ’，
Ｙ’，１）は、式３７の３行３列変換行列Ｔによる式３
６の変換で表される。That is, the projection position Qp when the optical axis intersects
(X, Y, 1) and the projection position Qp ′ (X ′,
Y ′, 1) is expressed by the following equation (3) using the three-row, three-column transformation matrix T in equation (37).
6 is represented.
【０１０１】Ｗ＝ｗ'／ｗ （式３５） Ｗ×Ｑｐ'＝Ｑｐ×Ｔ （式３６）W = w ′ / w (Equation 35) W × Qp ′ = Qp × T (Equation 36)
【０１０２】[0102]
【数１２】 ここで、式３７は、撮影時のｄ、ｋ、及び光軸の回転角
αより求めることができる行列である。(Equation 12) Here, Expression 37 is a matrix that can be obtained from d and k at the time of shooting and the rotation angle α of the optical axis.
【０１０３】従って、光軸を平行にして撮影した際に、
得られる画像は、光軸を交差させ撮影した画像の各ピク
セルに対して、式３６の変換により求めた新たな座標へ
の移動処理により、得られる。Therefore, when photographing with the optical axis parallel,
The obtained image is obtained by moving each pixel of the image photographed by crossing the optical axis to a new coordinate obtained by the conversion of Expression 36.
【０１０４】前記の映像補正順で述べたように、左右画
像のそれぞれに対して、式３６に従う画像補正を行い、
それぞれの光軸が平行な場合に得られる画像を合成す
る。その後、第１の実施の形態で述べた式９及び式１８
に従う画像補正を行う。これらの処理で光軸が交差した
場合でも、歪みのない立体視像を表示することが可能と
なる。As described above in the video correction order, image correction according to equation 36 is performed on each of the left and right images.
Images obtained when the optical axes are parallel are synthesized. Thereafter, the expressions 9 and 18 described in the first embodiment are used.
Image correction is performed according to. Even if the optical axes intersect in these processes, a stereoscopic image without distortion can be displayed.
【０１０５】次に、上で述べた処理の実現方法を説明す
る。Next, a method of realizing the above-described processing will be described.
【０１０６】図３のカメラ制御部１０１では、第１の実
施の形態で述べた処理に加え、光軸αを求めるため、制
御部３０４での左右カメラ３０１、３０２の回転制御値
もしくは、左右カメラの実際の回転角を計測する回転符
号化器等の出力データを、カメラ状態データ入力部３０
５で処理し、立体視映像撮影処理装置Ｉ／Ｆ３０６を介
し、立体視映像撮影処理装置１０３に送る。In the camera control unit 101 shown in FIG. 3, in addition to the processing described in the first embodiment, the rotation control values of the left and right cameras 301 and 302 in the control unit 304 or the left and right cameras Output data from a rotation encoder or the like for measuring the actual rotation angle of the camera
5 and is sent to the stereoscopic video shooting processing device 103 via the stereoscopic video shooting processing device I / F 306.
【０１０７】図４の立体視映像撮影処理装置１０３で
は、第１の実施の形態で述べた処理に加え、送られてき
た回転角制御値等から、カメラパラメータとして、光軸
回転角１２０３を決定する。カメラパラメータデータと
左右映像データは、信号混合部４０３で混合処理され、
信号記録送出部４０４で、記録または、各表示システム
に伝送される。In the stereoscopic video photographing processing apparatus 103 shown in FIG. 4, in addition to the processing described in the first embodiment, an optical axis rotation angle 1203 is determined as a camera parameter from the transmitted rotation angle control value and the like. I do. The camera parameter data and the left and right video data are mixed by the signal mixing unit 403,
The signal is recorded or transmitted to each display system by the signal record transmission unit 404.
【０１０８】図１３は、第１の実施の形態で説明した図
１１と同様、図５で説明した立体視映像表示処理装置１
０６の詳細図である。FIG. 13 shows the stereoscopic video display processing device 1 described in FIG. 5 similarly to FIG. 11 described in the first embodiment.
It is a detailed view of 06.
【０１０９】図１３では、図１１の構成に、映像データ
／カメラパラメータ分離部５０２には光軸回転角α抽出
部１３０１を加え、補正量決定部５０４には光軸補正行
列Ｔ計算部１３０２を加えている。In FIG. 13, an optical axis rotation angle α extraction unit 1301 is added to the video data / camera parameter separation unit 502 and an optical axis correction matrix T calculation unit 1302 is added to the correction amount determination unit 504 in the configuration of FIG. In addition.
【０１１０】図１３の立体視映像表示処理装置１０６で
は、第１の実施の形態の処理に加え、光軸回転角α抽出
部１３０１で、光軸回転角１２０３を送られてきた信号
から抽出し、光軸補正変換行列Ｔ計算部１３０２に送
る。光軸補正変換行列Ｔ計算部１３０２では、光軸回転
角１２０３とともに、撮像幅ｋデータ抽出部１１０３か
らの撮像幅１２０７とレンズ撮像面間距離ｄ抽出部１１
０４からのレンズ撮像面間距離１２０６を受け、式３７
の光軸補正行列Ｔを計算し、映像補正部５０５に送る。
映像補正部５０５では光軸補正行列Ｔを用いて、左右映
像の光軸を平行にする映像補正と、第１の実施の形態で
述べた表示シフト距離８０７と表示域８０５，８０６の
幅Ｈをもとにした映像補正を行う。その後、映像補正後
の左右映像を、ディスプレイ１０７に送り、人の右目に
は、補正後の右映像を、左目には補正後の左映像を見せ
る。In the stereoscopic image display processing device 106 shown in FIG. 13, in addition to the processing of the first embodiment, an optical axis rotation angle α extraction unit 1301 extracts an optical axis rotation angle 1203 from the transmitted signal. To the optical axis correction conversion matrix T calculation unit 1302. In the optical axis correction conversion matrix T calculation unit 1302, the imaging width 1207 from the imaging width k data extraction unit 1103 and the distance d between the lens imaging surfaces d together with the optical axis rotation angle 1203 are extracted.
In response to the distance 1206 from the lens imaging surface 1204 to the distance
Is calculated and sent to the image correction unit 505.
The image correction unit 505 uses the optical axis correction matrix T to correct the image to make the optical axes of the left and right images parallel, and to adjust the display shift distance 807 and the width H of the display areas 805 and 806 described in the first embodiment. Perform the image correction based on it. Thereafter, the left and right images after the image correction are sent to the display 107, and the right eye of the person displays the corrected right image and the left eye displays the corrected left image.
【０１１１】以上の処理により、光軸が平行でなく、交
差して撮影した立体視映像でも、ディスプレイ等の観察
条件に合わせた歪みのない立体視映像として、人に提供
することができる。また、補正処理は、立体視映像表示
処理装置１０６で行うため、複数の人がそれぞれ異なる
ディスプレイで立体視映像を鑑賞する場合でも、それぞ
れに合わせた補正が可能となる。By the above-described processing, even a stereoscopic video image whose optical axes are not parallel and which are photographed crossing each other can be provided to a human as a stereoscopic video image without distortion according to observation conditions such as a display. In addition, since the correction processing is performed by the stereoscopic video display processing device 106, even when a plurality of people appreciate the stereoscopic video on different displays, it is possible to perform correction according to each.
【０１１２】（第３の実施の形態）第２の実施の形態で
は、左右対称に光軸を交差させ撮影した立体視像に対す
る実施の形態を示したが、第３の実施の形態では、図１
４のように、左右カメラ独立に光軸の回転角を調整でき
るようにし、被写体１４０１に光軸１４０２、１４０３
を合わせて撮影した映像に対して、光軸を平行にして撮
影したときの映像に戻し、歪みのない立体視像を表示で
きるようにする補正機能を実現する。その上、光軸を別
の被写体１４０４に合わた映像に補正する機能も実現す
る。(Third Embodiment) In the second embodiment, an embodiment for a stereoscopic image photographed by symmetrically intersecting the optical axis has been described. However, in the third embodiment, FIG. 1
4, the rotation angle of the optical axis can be adjusted independently for the left and right cameras, and the optical axis 1402, 1403
With respect to the image shot with the image, the image is returned to the image obtained by shooting with the optical axis parallel, and a correction function for displaying a stereoscopic image without distortion is realized. In addition, a function of correcting the optical axis to an image matched to another subject 1404 is also realized.
【０１１３】図１５は、本実施の形態の立体視映像表示
処理装置１０６の内部構成図である。第２の実施の形態
の図１３との違いは、光軸回転角α抽出部１３０１を左
右光軸回転角αｌαｒ抽出部１５０１に置き換え、観察
条件入力部５０３に新たに光軸方向βｌβｒ決定部１５
０２を設け、光軸補正行列Ｔ計算部１５０３の入力を左
右光軸回転角αｌαｒ抽出部１５０１だけでなく、光軸
方向βｌβｒ決定部１５０２の出力としている点であ
る。FIG. 15 is an internal configuration diagram of the stereoscopic video display processing device 106 of the present embodiment. The difference between the second embodiment and FIG. 13 is that the optical axis rotation angle α extraction unit 1301 is replaced by a left and right optical axis rotation angle αlαr extraction unit 1501, and the observation condition input unit 503 newly adds an optical axis direction βlβr determination unit 15.
02 is provided, and the input of the optical axis correction matrix T calculation unit 1503 is the output of the optical axis direction βlβr determination unit 1502 as well as the left and right optical axis rotation angle αlαr extraction unit 1501.
【０１１４】第２の実施の形態では、光軸回転角がαの
場合に、式２５および式２６に従い、Ｔｒ及びＴｒ’を
計算し、左右それぞれに映像補正を行っていた。第３の
実施の形態では、左撮影映像の光軸回転角１４０５をα
ｌとし、表示の際の左映像の光軸方向角をβｌとする
と、第２の実施形態の処理における式２５を式３８と
し、式２６を式３９として処理する。同様に、右撮影映
像の光軸回転角１４０６をαｒとし、表示の際の右映像
の光軸方向角をβｒとすると、第２の実施形態の処理に
おける式２５および式２６の式を式４０及び式４１に変
更して処理する。In the second embodiment, when the optical axis rotation angle is α, Tr and Tr ′ are calculated according to Equations 25 and 26, and image correction is performed on each of the right and left sides. In the third embodiment, the optical axis rotation angle 1405 of the left photographed image is α
Assuming that l and the angle in the optical axis direction of the left image at the time of display are βl, Expression 25 in the processing of the second embodiment is expressed as Expression 38, and Expression 26 is processed as Expression 39. Similarly, assuming that the optical axis rotation angle 1406 of the right photographed image is αr and the optical axis direction angle of the right image at the time of display is βr, Expressions 25 and 26 in the processing of the second embodiment are expressed by Expression 40. Then, the processing is changed to Expression 41.
【０１１５】[0115]
【数１３】 (Equation 13)
【０１１６】[0116]
【数１４】 [Equation 14]
【０１１７】[0117]
【数１５】 (Equation 15)
【０１１８】[0118]
【数１６】 なお、歪みのない映像にするためは、表示の光軸方向を
平行にすればよいので、βｌ及びβｒは０である。従っ
て、式３９及び式４１は、式２６のような、単位行列と
なる。(Equation 16) Note that βl and βr are 0 because an image with no distortion can be obtained by making the display optical axis directions parallel. Therefore, Expression 39 and Expression 41 become a unit matrix as in Expression 26.
【０１１９】次に、上で述べた処理の実現方法を説明す
る。Next, a method of realizing the above-described processing will be described.
【０１２０】図３のカメラ制御部１０１では、第１の実
施の形態で述べた処理に加え、左右の光軸回転角１４０
５、１４０６とを求めるため、制御部３０４での左右カ
メラ３０１、３０２のそれぞれの回転制御値もしくは、
左右カメラの実際の回転角を計測する回転符号化器等の
出力データを、カメラ状態データ入力部３０５で処理
し、立体視映像撮影処理装置Ｉ／Ｆ３０６を介し、立体
視映像撮影処理装置１０３に送る。In the camera control unit 101 of FIG. 3, in addition to the processing described in the first embodiment, the left and right optical axis rotation angles 140
5 and 1406, the respective rotation control values of the left and right cameras 301 and 302 in the control unit 304 or
Output data from a rotation encoder or the like that measures the actual rotation angle of the left and right cameras is processed by the camera state data input unit 305 and transmitted to the stereoscopic video imaging processing device 103 via the stereoscopic video imaging processing device I / F 306. send.
【０１２１】図４の立体視映像撮影処理装置１０３で
は、第１の実施の形態で述べた処理に加え、送られてき
た回転角制御値等から、カメラパラメータとして、光軸
回転角１４０５，１４０６を決定する。カメラパラメー
タデータと左右映像データは、信号混合部４０３で混合
処理され、信号記録送出部４０４で、記録または、各表
示システムに伝送される。In the stereoscopic video photographing processing apparatus 103 shown in FIG. 4, in addition to the processing described in the first embodiment, the optical axis rotation angles 1405 and 1406 are used as camera parameters from the transmitted rotation angle control values and the like. To determine. The camera parameter data and the left and right video data are mixed by a signal mixing unit 403, and recorded or transmitted to each display system by a signal recording and transmitting unit 404.
【０１２２】図１５は、第２の実施の形態で説明した図
１３と同様、図５で説明した立体視映像表示処理装置１
０６の詳細図である。FIG. 15 shows the stereoscopic video display processing apparatus 1 described with reference to FIG. 5 similarly to FIG. 13 described in the second embodiment.
It is a detailed view of 06.
【０１２３】図１５では、図１３の光軸回転角α抽出部
１３０１を左右光軸回転角αｌαｒ抽出部１５０１に変
更した。また、観察条件入力部５０３内に、新たに光軸
方向βｌβｒ決定部１５０２を設けている。その上、図
１３の光軸補正行列Ｔ計算部１３０２の処理内容を変更
し、新たに光軸方向βｌβｒ決定部１５０２からデータ
も入力として受け付けるようにした。In FIG. 15, the optical axis rotation angle α extraction unit 1301 in FIG. 13 is changed to a left and right optical axis rotation angle αlαr extraction unit 1501. Further, an optical axis direction βlβr determination unit 1502 is newly provided in the observation condition input unit 503. In addition, the processing content of the optical axis correction matrix T calculation unit 1302 in FIG. 13 is changed so that data is newly received from the optical axis direction βlβr determination unit 1502 as an input.
【０１２４】図１５の立体視映像表示処理装置１０６で
は、第２の実施の形態で説明した光軸を平行にして撮影
した映像に戻す映像補正の代わりに以下の処理を行う。In the stereoscopic image display processing device 106 shown in FIG. 15, the following processing is performed instead of the image correction for returning to the image photographed with the optical axes parallel as described in the second embodiment.
【０１２５】左右光軸回転角αｌαｒ抽出部１５０１
で、光軸回転角１４０５，１４０６の角度データαｌと
αｒを送られてきた信号から抽出し、光軸補正変換行列
Ｔ計算部１５０３に送る。Left and right optical axis rotation angle αlαr extraction unit 1501
Then, the angle data αl and αr of the optical axis rotation angles 1405 and 1406 are extracted from the transmitted signal and sent to the optical axis correction conversion matrix T calculation unit 1503.
【０１２６】観察条件入力部５０３では、観察条件設定
Ｉ／Ｆ１５０４で、人の注目被写体の指示や光軸方向の
数値入力を受け付け、そのデータを光軸方向βｌβｒ決
定部１５０２に送る。光軸方向βｌβｒ決定部１５０２
では、注目被写体の画面中の位置などから光軸方向β
ｌ、βｒを決定し、光軸補正変換行列Ｔ計算部１５０３
に送る。The observation condition input unit 503 receives an instruction of a subject of interest and a numerical input in the optical axis direction by the observation condition setting I / F 1504, and sends the data to the optical axis direction βlβr determination unit 1502. Optical axis direction βlβr determination unit 1502
Then, the optical axis direction β
1 and βr are determined, and the optical axis correction conversion matrix T calculation unit 1503 is determined.
Send to
【０１２７】光軸補正変換行列Ｔ計算部１５０３では、
撮像幅ｋデータ抽出部１１０３からの撮像幅１２０７と
レンズ撮像面間距離ｄ抽出部１１０４からのレンズ撮像
面間距離１２０６を得る。合わせて、第２の実施の形態
の式３１の計算に関して、第３の実施の形態では、左映
像の補正のために式３８と式３９を用い、右映像の補正
のために式４０と式４１を用い、式３７を計算し、光軸
補正行列Ｔを求め、映像補正部５０５に送る。In the optical axis correction conversion matrix T calculation unit 1503,
An imaging width 1207 from the imaging width k data extraction unit 1103 and a lens imaging surface distance 1206 from the lens imaging surface distance d extraction unit 1104 are obtained. In addition, regarding the calculation of Equation 31 in the second embodiment, in the third embodiment, Equations 38 and 39 are used for correcting the left image, and Equations 40 and 39 are used for correcting the right image. Using equation (41), equation (37) is calculated, an optical axis correction matrix T is obtained, and sent to the image correction unit 505.
【０１２８】映像補正部５０５では、光軸補正行列Ｔを
用いて、左右映像の光軸をβｌ及びβｒにする映像補正
を行う。続いて、第１の実施の形態で述べた表示シフト
距離８０７と表示域８０５，８０６の幅Ｈをもとにした
映像補正を行う。その後、映像補正後の左右映像を、デ
ィスプレイ１０７に送り、人の右目には、補正後の右映
像を、左目には補正後の左映像を見せる。The image correcting unit 505 performs image correction using the optical axis correction matrix T so that the optical axes of the left and right images are βl and βr. Subsequently, image correction is performed based on the display shift distance 807 and the width H of the display areas 805 and 806 described in the first embodiment. Thereafter, the left and right images after the image correction are sent to the display 107, and the right eye of the person displays the corrected right image and the left eye displays the corrected left image.
【０１２９】以上の処理により、左右映像撮影時に、光
軸回転角が左右別々に設定されている場合でも、光軸を
平行にそろえることができる。また、それぞれの立体視
映像表示システムの映像を見る人それぞに合わせ、平行
以外の光軸方向にも調整することもできる。According to the above-described processing, the optical axes can be aligned in parallel even when the left and right optical axis rotation angles are set separately at the time of photographing the right and left images. In addition, it is also possible to adjust the direction of the optical axis other than the parallel direction in accordance with each viewer who views the image of each stereoscopic image display system.
【０１３０】[0130]
【発明の効果】以上述べたように本発明によれば、撮影
被写体の空間を等方的に拡大した歪みの少ない立体視映
像を提供できる効果を奏する。As described above, according to the present invention, it is possible to provide a stereoscopic image with little distortion obtained by isotropically enlarging the space of the photographic subject.
【０１３１】その上、１つの立体視映像からでも、複数
の人がそれぞれ異なる条件で立体視映像を表示観察して
も、歪みの少ない立体視映像を観察できるようにするこ
とができるという効果を奏する。In addition, even when a plurality of persons display and observe a stereoscopic image under different conditions, it is possible to observe a stereoscopic image with little distortion even from one stereoscopic image. Play.
【図１】本発明による装置を用いた立体視映像を撮影、
表示するシステムの全体概略図である。FIG. 1 captures a stereoscopic video using the device according to the invention,
1 is an overall schematic diagram of a system for displaying.
【図２】表示システムの概略図である。FIG. 2 is a schematic diagram of a display system.
【図３】本発明のカメラ制御装置の内部構成図である。FIG. 3 is an internal configuration diagram of the camera control device of the present invention.
【図４】本発明の立体視映像撮影処理装置の内部構成図
である。FIG. 4 is an internal configuration diagram of the stereoscopic video photographing processing device of the present invention.
【図５】本発明の立体視映像表示処理装置の内部構成図
である。FIG. 5 is an internal configuration diagram of the stereoscopic video display processing device of the present invention.
【図６】本発明の第１の実施の形態に係る、カメラの光
軸を平行にした場合の撮像幾何の説明図である。FIG. 6 is an explanatory diagram of an imaging geometry when an optical axis of a camera is parallel according to the first embodiment of the present invention.
【図７】撮像面の説明図である。FIG. 7 is an explanatory diagram of an imaging surface.
【図８】ディスプレイでの表示と立体視像位置の幾何を
説明する図である。FIG. 8 is a diagram for explaining the display on the display and the geometry of the stereoscopic image position.
【図９】ディスプレイ面の説明図である。FIG. 9 is an explanatory diagram of a display surface.
【図１０】ディスプレイ面の右目用表示だけを抜き出し
た図である。FIG. 10 is a diagram in which only the display for the right eye on the display surface is extracted.
【図１１】本発明の第１の実施の形態に係る、本発明の
立体視映像表示処理装置の詳細図である。FIG. 11 is a detailed diagram of the stereoscopic image display processing device of the present invention according to the first embodiment of the present invention.
【図１２】本発明の第２の実施の形態に係る、カメラ光
軸を交差させた場合の撮像幾何説明図である。FIG. 12 is an explanatory diagram of an imaging geometry when camera optical axes are crossed according to the second embodiment of the present invention.
【図１３】本発明の第２の実施の形態に係る、本発明の
立体視映像表示処理装置の詳細図である。FIG. 13 is a detailed view of a stereoscopic image display processing device of the present invention according to the second embodiment of the present invention.
【図１４】本発明の第３の実施の形態に係る、左右カメ
ラ独立に光軸の回転角を調整できるようにした場合の撮
像幾何説明図である。FIG. 14 is an explanatory view of an imaging geometry when the rotation angle of the optical axis can be adjusted independently of the left and right cameras according to the third embodiment of the present invention.
【図１５】本発明の第３の実施の形態に係る、本発明の
立体視映像表示処理装置の詳細図である。FIG. 15 is a detailed view of a stereoscopic image display processing device of the present invention according to a third embodiment of the present invention.
【図１６】従来の立体映像撮影表示システムの概略図で
ある。FIG. 16 is a schematic diagram of a conventional stereoscopic video imaging and display system.
【図１７】従来特許の内部構成図である。FIG. 17 is an internal configuration diagram of a conventional patent.
１０１…カメラ制御装置 １０２…カメラ １０３…立体視映像撮影処理装置 １０６…立体視映像表示処理装置 １０７…ディスプレイ ２０１…液晶シャッターメガネ ２０４…液晶シャッター同期信号発生器 ３０１…右カメラ ３０２…左カメラ ３０３…カメラ制御Ｉ／Ｆ ３０４…制御部 ３０５…カメラ状態データ入力部 ３０６…立体視映像撮影処理装置Ｉ／Ｆ ４０１…カメラ制御装置Ｉ／Ｆ ４０２…カメラパラメータ算出部 ４０３…信号混合部 ４０４…信号記録送出部 ５０１…受信部 ５０２…映像データ／カメラパラメータ分離部 ５０３…観察条件入力部 ５０４…補正量決定部 ５０５…映像補正部 １１０１…右映像抽出部 １１０２…左映像抽出部 １１０３…撮像幅ｋデータ抽出部 １１０４…レンズ撮像面間距離ｄ抽出部 １１０５…表示域幅Ｈ計算部 １１０６…観察条件設定Ｉ／Ｆ部 １１０７…ディスプレイ距離Ｄ決定部 １１０８…眼間距離Ｅｓ決定部 １１０９…表示シフト距離Ｓｓ計算部 １５０１…左右光軸回転角αｌαｒ抽出部 １５０２…光軸方向βｌβｒ決定部 １５０３…光軸補正行列Ｔ計算部 １５０４…観察条件設定Ｉ／Ｆ DESCRIPTION OF SYMBOLS 101 ... Camera control apparatus 102 ... Camera 103 ... Stereoscopic image photography processing apparatus 106 ... Stereoscopic image display processing apparatus 107 ... Display 201 ... Liquid crystal shutter glasses 204 ... Liquid crystal shutter synchronization signal generator 301 ... Right camera 302 ... Left camera 303 ... Camera control I / F 304 ... Control unit 305 ... Camera status data input unit 306 ... Stereoscopic image photographing processing device I / F 401 ... Camera control device I / F 402 ... Camera parameter calculation unit 403 ... Signal mixing unit 404 ... Signal recording Sending unit 501 Receiving unit 502 Image data / camera parameter separating unit 503 Observation condition input unit 504 Correction amount determining unit 505 Image correcting unit 1101 Right image extracting unit 1102 Left image extracting unit 1103 Image capturing width k data Extraction unit 1104... Distance d between lens imaging surfaces extraction unit 1105 Display area width H calculator 1106 Observation condition setting I / F 1107 Display distance D determiner 1108 Interocular distance Es determiner 1109 Display shift distance Ss calculator 1501 Left / right optical axis rotation angle αlαr extractor 1502 Optical axis direction βlβr determining unit 1503 ... optical axis correction matrix T calculating unit 1504 ... observation condition setting I / F
Claims (12)
メラパラメータと１つまたは複数の映像に対応する映像
信号とを含んだ伝送信号を受信する受信部と、受信した
伝送信号から映像信号とカメラパラメータとを分離する
データ分離部と、ディスプレイに表示された映像を見る
人の観察条件となる観察条件データを入力する観察条件
入力部と、前記カメラパラメータと前記観察条件データ
とから前記映像信号の補正量を決定する補正量決定部
と、前記補正量に従い前記映像信号を補正し、前記ディ
スプレイに補正後の映像データを送出する補正部とを具
備する映像表示処理装置。1. A receiving unit for receiving a transmission signal including a camera parameter corresponding to a state of a camera at the time of capturing an image and a video signal corresponding to one or more videos, and a video signal based on the received transmission signal. A data separation unit that separates camera parameters, an observation condition input unit that inputs observation condition data that is an observation condition of a person who views an image displayed on a display, and the video signal from the camera parameters and the observation condition data. A video display processing device comprising: a correction amount determining unit that determines a correction amount of the correction value; and a correction unit that corrects the video signal according to the correction amount and sends the corrected video data to the display.
と、前記カメラの撮影状態を制御するカメラ制御量を入
力するためのカメラ制御Ｉ／Ｆと、入力されたカメラ制
御量にしたがって前記カメラを制御する制御部と、前記
カメラ制御量及び前記カメラの状態からカメラ状態デー
タを決定するカメラ状態データ入力部と、前記カメラで
撮影した映像信号及び前記カメラ状態データを外部装置
に送出する外部Ｉ／Ｆ部とを具備するカメラ制御装置。2. A camera according to claim 1, further comprising: one or more cameras for capturing an image; a camera control I / F for inputting a camera control amount for controlling a shooting state of the camera; A camera status data input unit that determines camera status data from the camera control amount and the status of the camera, and an external I that sends a video signal captured by the camera and the camera status data to an external device. / F: a camera control device comprising:
状態データからカメラパラメータを算出するカメラパラ
メータ算出部と、前記カメラからの１つ又は複数の映像
信号と前記カメラパラメータとを混合信号に変換する信
号混合部と、前記混合信号を記録または映像を表示する
システムに送出する送出部とを具備する映像撮影処理装
置。3. A camera parameter calculation unit for calculating a camera parameter from state data of one or a plurality of cameras for capturing a video, and one or a plurality of video signals from the camera and the camera parameter as a mixed signal. A video photographing processing device comprising: a signal mixing unit for converting; and a transmitting unit for transmitting the mixed signal to a system for recording or displaying a video.
面に投影された映像の幅である撮像幅データと前記カメ
ラのレンズ中心から前記撮像面までの距離であるレンズ
撮像面間距離データとを含み、 前記観察条件データは、映像表示を見る人の左右の眼間
距離である眼間距離データと前記人から前記ディスプレ
イまでの距離であるディスプレイ距離データとを含むこ
とを特徴とする請求項１の映像表示処理装置。4. The camera parameters include imaging width data that is a width of an image projected on an imaging surface of the camera and lens inter-image distance data that is a distance from a lens center of the camera to the imaging surface. 2. The method according to claim 1, wherein the observation condition data includes interocular distance data that is a distance between the left and right eyes of a person who views a video display, and display distance data that is a distance from the person to the display. Video display processing device.
面に投影された映像の幅である撮像幅データと前記カメ
ラのレンズ中心から前記撮像面までの距離とに相関があ
るデータであることを特徴とする請求項２のカメラ制御
装置。5. The camera state data is data having a correlation between imaging width data which is a width of an image projected on an imaging surface of a camera and a distance from a lens center of the camera to the imaging surface. 3. The camera control device according to claim 2, wherein:
面に投影された映像の幅である撮像幅データと、前記カ
メラのレンズ中心から前記撮像面までの距離とを含むこ
とを特徴とする請求項３の映像撮影処理装置。6. The apparatus according to claim 1, wherein the camera parameters include imaging width data that is a width of an image projected on an imaging surface of the camera, and a distance from a lens center of the camera to the imaging surface. 3. An image photographing processing device.
面に投影された映像の幅である撮像幅データと、前記カ
メラのレンズ中心から前記撮像面までの距離であるレン
ズ撮像面間距離データと、前記カメラの方向である光軸
回転角を示す光軸回転角データとを含み、 前記観察条件データは、映像表示を見る人の左右の眼間
距離である眼間距離データと、前記人から前記ディスプ
レイまでの距離であるディスプレイ距離データと、前記
補正部での補正映像の光軸方向である光軸方向データと
を含むことを特徴とする請求項１の映像表示処理装置。7. The camera parameter includes: imaging width data that is a width of an image projected on an imaging surface of the camera; lens inter-image distance data that is a distance from a lens center of the camera to the imaging surface; Including optical axis rotation angle data indicating an optical axis rotation angle that is the direction of the camera, wherein the observation condition data is interocular distance data that is the distance between the left and right eyes of a person viewing a video display, and 2. The image display processing device according to claim 1, further comprising display distance data that is a distance to a display, and optical axis direction data that is an optical axis direction of the image corrected by the correction unit.
面に投影された映像の幅である撮像幅データと、前記カ
メラのレンズ中心から前記撮像面までの距離と、前記カ
メラの方向である光軸回転角とに、相関があるデータで
あることを特徴とする請求項２のカメラ制御装置。8. The camera status data includes: imaging width data that is a width of an image projected on an imaging surface of a camera; a distance from a lens center of the camera to the imaging surface; and light that is a direction of the camera. 3. The camera control device according to claim 2, wherein the data has a correlation with the axis rotation angle.
面に投影された映像の幅である撮像幅データと、前記カ
メラのレンズ中心から前記撮像面までの距離と、前記カ
メラの方向である光軸回転角とを含むことを特徴とする
請求項３の映像撮影処理装置。9. The camera parameters include: imaging width data that is a width of an image projected on an imaging surface of a camera; a distance from a lens center of the camera to the imaging surface; and an optical axis that is a direction of the camera. 4. The apparatus according to claim 3, further comprising a rotation angle.
する１つ又は複数の映像抽出部と、カメラの撮像面に投
影された映像の幅である撮像幅データを分離する撮像幅
データ抽出部と、前記カメラのレンズ中心から前記撮像
面までの距離であるレンズ撮像面間距離データを分離す
るレンズ撮像面間距離抽出部とを備え、 前記観察条件入力部は、映像表示を見る人の左右の眼間
距離を決定する眼間距離決定部と、前記人から前記ディ
スプレイまでの距離であるディスプレイ距離を決定する
ディスプレイ距離決定部とを備え、 前記補正量決定部は、前記ディスプレイ距離及び前記撮
像幅及び前記レンズ撮像面間距離から映像の表示幅を計
算する表示域幅計算部と、前記眼間距離から映像の移動
量である表示シフト距離を計算する表示シフト距離計算
部とを備えることを特徴とする請求項１の映像表示処理
装置。10. The data separation unit includes one or more image extraction units for separating an image signal, and an imaging width data extraction unit for separating imaging width data that is a width of an image projected on an imaging surface of a camera. And a lens imaging surface distance extraction unit that separates lens imaging surface distance data that is a distance from the lens center of the camera to the imaging surface, wherein the observation condition input unit includes a left and right image viewer. An interocular distance determination unit that determines an interocular distance of the display, and a display distance determination unit that determines a display distance that is a distance from the person to the display, wherein the correction amount determination unit includes the display distance and the imaging. A display area width calculation unit that calculates a display width of an image from a width and the distance between the lens imaging surfaces; and a display shift distance meter that calculates a display shift distance that is a moving amount of the image from the interocular distance. Image display processing apparatus according to claim 1, characterized in that it comprises a part.
向である光軸回転角である光軸回転角データを抽出する
光軸回転角抽出部を備え、 前記補正量決定部は、前記光軸回転角データから光軸補
正用の変換行列を計算する光軸補正変換行列計算部を備
えることを特徴とする請求項１０の映像表示処理装置。11. The data separation unit includes an optical axis rotation angle extraction unit that extracts optical axis rotation angle data that is an optical axis rotation angle that is the direction of the camera. The image display processing device according to claim 10, further comprising an optical axis correction conversion matrix calculation unit that calculates a conversion matrix for optical axis correction from the rotation angle data.
向である光軸回転角である光軸回転角データを抽出する
光軸回転角抽出部を備え、 前記観察条件入力部は、前記補正部での補正映像の光軸
方向である光軸方向データを決定する光軸方向決定部を
備え、 前記補正量決定部は、前記光軸回転角データ及び前記光
軸方向データから光軸補正用の変換行列を計算する光軸
補正変換行列計算部を備えることを特徴とする請求項１
０の映像表示処理装置。12. The data separation unit includes an optical axis rotation angle extraction unit that extracts optical axis rotation angle data that is an optical axis rotation angle that is the direction of the camera, and the observation condition input unit includes the correction unit. An optical axis direction determining unit that determines optical axis direction data that is the optical axis direction of the corrected image in the, the correction amount determining unit, for the optical axis correction from the optical axis rotation angle data and the optical axis direction data 2. An optical axis correction conversion matrix calculator for calculating a conversion matrix.
0 image display processing device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11110666A JP2000308090A (en) | 1999-04-19 | 1999-04-19 | Video displaying and processing device, video photographing and processing device, and camera controller |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11110666A JP2000308090A (en) | 1999-04-19 | 1999-04-19 | Video displaying and processing device, video photographing and processing device, and camera controller |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000308090A true JP2000308090A (en) | 2000-11-02 |
Family
ID=14541399
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11110666A Pending JP2000308090A (en) | 1999-04-19 | 1999-04-19 | Video displaying and processing device, video photographing and processing device, and camera controller |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000308090A (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005007748A1 (en) | 2003-07-18 | 2005-01-27 | Az Electronic Materials (Japan) K.K. | Phosphorus-containing silazane composition, phosphorus-containing siliceous film, phosphorus-containing siliceous filler, method for producing phosphorus-containing siliceous film, and semiconductor device |
| KR100605301B1 (en) | 2004-07-22 | 2006-07-28 | 한국방송공사 | Monitoring/playing method of both-eyes typed stereo carmera system |
| WO2012117703A1 (en) * | 2011-03-02 | 2012-09-07 | パナソニック株式会社 | Three-dimensional image processing device, three-dimensional image processing method, spectacles device for viewing three-dimensional image, integrated circuit for three-dimensional image processing device, optical disk playback device, three-dimensional video signal playback device, and three-dimensional video signal display device |
| JP2013501476A (en) * | 2009-08-06 | 2013-01-10 | クゥアルコム・インコーポレイテッド | Transform video data according to human visual feedback metrics |
| WO2013054944A1 (en) * | 2011-10-14 | 2013-04-18 | Olympus Corporation | Stereoscopic endoscope device |
| JP2013522974A (en) * | 2010-03-19 | 2013-06-13 | バートラン ネプー | Method for digital processing of video signals, digital image processor, and video display system |
| US9679395B2 (en) | 2014-01-24 | 2017-06-13 | Samsung Electronics Co., Ltd. | Method and apparatus for image processing |
| US9826151B2 (en) | 2015-05-29 | 2017-11-21 | Boe Technology Group Co., Ltd. | Image capture system and image capture method |
-
1999
- 1999-04-19 JP JP11110666A patent/JP2000308090A/en active Pending
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005007748A1 (en) | 2003-07-18 | 2005-01-27 | Az Electronic Materials (Japan) K.K. | Phosphorus-containing silazane composition, phosphorus-containing siliceous film, phosphorus-containing siliceous filler, method for producing phosphorus-containing siliceous film, and semiconductor device |
| KR100605301B1 (en) | 2004-07-22 | 2006-07-28 | 한국방송공사 | Monitoring/playing method of both-eyes typed stereo carmera system |
| US8629899B2 (en) | 2009-08-06 | 2014-01-14 | Qualcomm Incorporated | Transforming video data in accordance with human visual system feedback metrics |
| JP2013501476A (en) * | 2009-08-06 | 2013-01-10 | クゥアルコム・インコーポレイテッド | Transform video data according to human visual feedback metrics |
| JP2013522974A (en) * | 2010-03-19 | 2013-06-13 | バートラン ネプー | Method for digital processing of video signals, digital image processor, and video display system |
| WO2012117703A1 (en) * | 2011-03-02 | 2012-09-07 | パナソニック株式会社 | Three-dimensional image processing device, three-dimensional image processing method, spectacles device for viewing three-dimensional image, integrated circuit for three-dimensional image processing device, optical disk playback device, three-dimensional video signal playback device, and three-dimensional video signal display device |
| JP2013085615A (en) * | 2011-10-14 | 2013-05-13 | Olympus Corp | Stereoscopic endoscope apparatus |
| WO2013054944A1 (en) * | 2011-10-14 | 2013-04-18 | Olympus Corporation | Stereoscopic endoscope device |
| CN103857320A (en) * | 2011-10-14 | 2014-06-11 | 奥林巴斯株式会社 | Stereoscopic endoscope device |
| US9510736B2 (en) | 2011-10-14 | 2016-12-06 | Olympus Corporation | Stereoscopic endoscope device having mechanism that changes an angle between optical axes of two imaging sensors |
| US9679395B2 (en) | 2014-01-24 | 2017-06-13 | Samsung Electronics Co., Ltd. | Method and apparatus for image processing |
| US9826151B2 (en) | 2015-05-29 | 2017-11-21 | Boe Technology Group Co., Ltd. | Image capture system and image capture method |
| KR101827494B1 (en) * | 2015-05-29 | 2018-02-09 | 보에 테크놀로지 그룹 컴퍼니 리미티드 | Image acquisition system and image acquisition method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2883265B2 (en) | Image processing device | |
| TWI440960B (en) | Stereoscopic image pickup device | |
| WO2017173735A1 (en) | Video see-through-based smart eyeglasses system and see-through method thereof | |
| JP2001142166A (en) | 3d camera | |
| CN102172031A (en) | Three-dimensional display device, three-dimensional display method, and program | |
| CN108093244B (en) | Remote follow-up stereoscopic vision system | |
| KR20030048013A (en) | A method and system of revision for 3-dimensional image | |
| JP2010181826A (en) | Three-dimensional image forming apparatus | |
| JP2000308090A (en) | Video displaying and processing device, video photographing and processing device, and camera controller | |
| JP5223096B2 (en) | 3D video shooting control system, 3D video shooting control method, and program | |
| JP2014135714A (en) | Stereoscopic image signal processing device and stereoscopic image capture device | |
| WO2006016534A1 (en) | Imaging device | |
| JP2012227653A (en) | Imaging apparatus and imaging method | |
| WO2013046833A1 (en) | Image display device, disparity adjustment display method therefor, and image capturing device | |
| JP4588439B2 (en) | Stereoscopic image photographing apparatus and method | |
| JP2011182003A (en) | Panorama camera and 360-degree panorama stereoscopic video system | |
| JP2581601B2 (en) | 3D camera and 3D image system | |
| WO2012035927A1 (en) | Remote video monitoring system | |
| JPH09205660A (en) | Electronic animation stereoscopic vision system and stereoscopic vision eyeglass | |
| JP2004120095A (en) | Method for generating omniazimuth binocular stereoscopic vision image | |
| JP2752993B2 (en) | 3D TV device | |
| JP2012220603A (en) | Three-dimensional video signal photography device | |
| TWI382267B (en) | Auto depth field capturing system and method thereof | |
| KR100489213B1 (en) | View finder system for stereo picture | |
| JPH0819003A (en) | Stereoscopic image generator |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040513 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040517 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040928 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040928 |