JPH0784326A - Stereoscopic image photographing display system - Google Patents
Stereoscopic image photographing display systemInfo
- Publication number
- JPH0784326A JPH0784326A JP5232883A JP23288393A JPH0784326A JP H0784326 A JPH0784326 A JP H0784326A JP 5232883 A JP5232883 A JP 5232883A JP 23288393 A JP23288393 A JP 23288393A JP H0784326 A JPH0784326 A JP H0784326A
- Authority
- JP
- Japan
- Prior art keywords
- stereoscopic image
- video
- display
- pair
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は立体画像やワイド画像が
撮影表示可能な立体画像撮像・表示システムに関し、特
に複数の撮像部を有する複眼カメラ装置と、頭部に搭載
固定される小型表示装置により画像の拡大された虚像画
面を観察可能にする表示装置とから成る立体画像撮像・
表示システムに関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a stereoscopic image pickup / display system capable of shooting and displaying a stereoscopic image or a wide image, and more particularly to a compound eye camera device having a plurality of image pickup portions and a small display device mounted and fixed on the head. A stereoscopic image pickup consisting of a display device that enables observation of a virtual image screen with an enlarged image
Display system.
【０００２】[0002]
【従来の技術】近年、臨場感の高い映像が求められるよ
うになり、立体画像や水平方向にワイドな映像が撮影可
能な複眼カメラが提供されている。2. Description of the Related Art In recent years, a highly realistic image has been demanded, and a compound eye camera capable of photographing a stereoscopic image and a horizontally wide image has been provided.
【０００３】また、これら複眼カメラで撮影された映像
を表示する立体画像表示装置が各種提案されている。こ
れらの立体画像表示装置の中に、頭部に搭載固定される
小型表示装置により画像の拡大された虚像画面を観察可
能にする表示装置、いわゆるヘッドマウンテッドディス
プレイ（以下ＨＭＤと略称する）がある。Also, various stereoscopic image display devices have been proposed for displaying images taken by these compound eye cameras. Among these stereoscopic image display devices, there is a display device that allows a virtual image screen in which an image is enlarged to be observed by a small display device mounted and fixed to the head, that is, a so-called head mounted display (hereinafter abbreviated as HMD). .
【０００４】これら主として複眼カメラとＨＭＤとから
なる撮影・表示システムにおいて、今までのように風景
を撮影してそれを鑑賞するというだけではない撮影像・
表示システムが提案されている。例えば従来ＵＳＰ２、
７１１、５９４、ＵＳＰ３、２０５、３０３、ＵＳＰ
３、６７０、０９７などがある。これらは表示装置であ
るＨＭＤに観察者の顔の移動方向を検出するセンサーを
設け、このセンサーからの移動方向情報をカメラの姿勢
制御を行なう制御装置に送り、カメラの撮影視野を観察
者の顔の動いた方向に追従させるものである。この構成
により観察者が見たい方向に顔を向けるだけで、カメラ
がその方向に向き、その方向の外界映像を撮影信号とし
て観察者のＨＭＤに送り、観察者はその方向の映像を見
ることができる。In these photographing / display systems mainly composed of a compound eye camera and an HMD, a photographed image is not limited to photographing a landscape and viewing it as before.
A display system has been proposed. For example, conventional USP2,
711, 594, USP3, 205, 303, USP
3, 670, 097, etc. These are equipped with a sensor for detecting the moving direction of the observer's face on the HMD which is a display device, and send the moving direction information from this sensor to the control device for controlling the attitude of the camera so that the field of view of the camera is changed to the observer's face. It follows the direction of movement of. With this configuration, simply by turning the face of the observer in the desired direction, the camera turns in that direction, and the external image in that direction is sent to the observer's HMD as a shooting signal so that the observer can see the image in that direction. it can.
【０００５】また、これに近いものとして、遠隔地や危
険箇所においてマニュプレータを備えたロボットに複眼
カメラを設け、このカメラからのステレオ立体映像信号
を受信し、観察者のＨＭＤに表示することにより、遠隔
地での作業を可能にするテレイグジスタンスシステムが
研究されている。Further, as a device close to this, a robot equipped with a manipulator at a remote place or a dangerous place is provided with a compound eye camera, and a stereo stereoscopic video signal from this camera is received and displayed on an HMD of an observer. Tele-registance systems that enable work in remote areas are being researched.
【０００６】また、既に本出願人から３次元映像を撮影
できるとともに、水平方向にワイドな映像が撮影可能な
複眼カメラが提案されている（特願平５−２１１７７７
号「複眼撮像装置」）。さらに、既に本出願人から３次
元映像を表示するとともに、水平方向にワイドな映像を
表示できるＨＭＤ表示装置が提案されている（特願平５
−９２１１３号）。Further, the applicant of the present invention has already proposed a compound-eye camera capable of capturing a three-dimensional image and a horizontal wide image (Japanese Patent Application No. 5-212777).
No. "Compound eye imaging device"). Further, the applicant has already proposed an HMD display device capable of displaying a wide image in the horizontal direction as well as displaying a three-dimensional image (Japanese Patent Application No. Hei.
-92113).
【０００７】[0007]
【発明が解決しようとする課題】前記従来例において
は、複眼カメラとＨＭＤ表示装置というシステム構成で
ありながら、カメラの姿勢制御、立体画像でモニターし
ながら遠隔作業が提案されているだけで、３次元映像撮
影像・表示システムとしての新しい撮影表示技術の提案
が成されていない。In the above-mentioned conventional example, even though the system configuration of the compound eye camera and the HMD display device is adopted, the remote control is proposed while controlling the attitude of the camera and monitoring the stereoscopic image. No new photography and display technology has been proposed as a three-dimensional video image and display system.
【０００８】また、従来の立体画像撮影像・表示システ
ムにおいては、以下のような問題点があった。 １）輻輳角等撮影時の撮影条件の変化を表示装置で再現
することができないため、表示画像において撮影者の意
図を反映することができず、また不自然な立体画像を見
ることにもなり、長時間の鑑賞において生理的な疲れが
発生する。 ２）撮影時に複眼カメラで撮影された立体画像を、その
場で撮影条件、撮影意図にそった立体画像として正しく
表示できないため、撮影者自身が撮影意図が正しく反映
されているかの確認をすることができない。Further, the conventional stereoscopic image pickup / display system has the following problems. 1) Since it is not possible to reproduce changes in shooting conditions such as the angle of convergence at the time of shooting on the display device, the intention of the photographer cannot be reflected in the display image, and an unnatural stereoscopic image may be seen. , Physiological fatigue occurs when watching for a long time. 2) Since the stereoscopic image taken by the compound-eye camera at the time of shooting cannot be displayed correctly as a stereoscopic image according to the shooting conditions and the shooting intention, the photographer must check whether the shooting intention is reflected correctly. I can't.
【０００９】また、本出願人から、３次元画像とともに
ワイドな２次元画像が撮影できる複眼撮影カメラ、さら
には３次元画像を表示するだけではなく、水平方向にワ
イドな２次元画像を表示できるＨＭＤ表示装置が提案さ
れているが、これらの撮影カメラ、ＨＭＤ表示装置の特
徴を生かしたシステムが提案されていない。[0009] Further, from the applicant, a compound eye photographing camera capable of photographing a wide two-dimensional image together with a three-dimensional image, and an HMD capable of not only displaying a three-dimensional image but also a two-dimensional image wide in the horizontal direction. Although a display device has been proposed, a system utilizing the features of these photographing cameras and HMD display devices has not been proposed.
【００１０】本発明の目的は、撮影者の意図を正しく反
映した映像表示が可能な立体画像撮像・表示システムを
提供することにある。It is an object of the present invention to provide a stereoscopic image pickup / display system capable of displaying a video image that correctly reflects the photographer's intention.
【００１１】[0011]
【課題を解決するための手段】本発明の立体画像撮像・
表示システムは、異なる視点からの光学像に対応する複
数の映像信号を生成する撮像手段を有する立体画像撮像
カメラ装置と、１対の映像表示手段に表示される１対の
画像を１対の投影光学系で観察者の両眼に導き、前記１
対の画像の拡大虚像を各々の眼で観察可能にする表示装
置とから成り、前記立体画像撮像カメラ装置からの複数
の映像信号を前記表示装置の１対の映像表示手段に表示
し、観察する立体画像撮像・表示システム、または異な
る視点からの光学像に対応する複数の映像信号を生成す
る撮像手段を有する立体画像撮像カメラ装置と、１対の
映像表示手段に表示される１対の画像を１対の投影光学
系で観察者の両眼に導き、前記１対の画像の拡大虚像を
各々の眼で観察可能し、前記表示装置の前記投影光学系
に対する位置、または前記投影光学系の結像状態を制御
することにより、前記２つの虚像面の空間位置を２つの
重なりあう状態から隣接並置する状態までの制御可能な
表示装置とから成り、前記立体画像撮像カメラ装置から
の複数の映像信号を前記表示装置の１対の表示手段に表
示し、観察する立体画像撮像・表示システムにおいて、
前記立体画像撮像カメラ装置からの複数の映像信号に加
えて、前記立体画像撮像カメラ装置の制御情報を前記表
示装置へ与え、前記制御情報に応じて、前記表示装置の
前記１対の拡大虚像の相対的空間位置を変化させること
を特徴とする。Means for Solving the Problems Stereoscopic image pickup of the present invention
The display system includes a stereoscopic image pickup camera device having an image pickup means for generating a plurality of video signals corresponding to optical images from different viewpoints, and a pair of images displayed on the pair of video display means. The optical system guides it to both eyes of the observer, and
And a display device that allows an enlarged virtual image of a pair of images to be observed by each eye, and a plurality of video signals from the stereoscopic image capturing camera device are displayed on a pair of video display means of the display device for observation. A stereoscopic image pickup / display system or a stereoscopic image pickup camera device having an image pickup means for generating a plurality of video signals corresponding to optical images from different viewpoints, and a pair of images displayed on the pair of video display means. A pair of projection optical systems guides the images to both eyes of an observer, an enlarged virtual image of the pair of images can be observed by each eye, and the position of the display device with respect to the projection optical system or the connection of the projection optical system. By controlling the image state, the spatial position of the two virtual image planes can be controlled from two overlapping states to a juxtaposed state, and a plurality of video signals from the stereoscopic image pickup camera device. In the stereoscopic imaging and display system in which the display on the display means of a pair of display device is observed,
In addition to the plurality of video signals from the stereoscopic image pickup camera device, control information of the stereoscopic image pickup camera device is given to the display device, and the pair of magnified virtual images of the display device are displayed according to the control information. It is characterized by changing the relative spatial position.
【００１２】また、本発明の立体画像撮像・表示システ
ムは、異なる視点からの光学像に対応する複数の映像信
号を生成する撮像手段を有する立体画像撮像カメラ装置
と、映像情報記録媒体へ前記立体画像撮像カメラ装置か
らの複数の映像信号を記録する映像情報記録装置と、１
対の映像表示手段に表示された１対の画像を１対の投影
光学系で観察者の両眼に導き、前記１対の画像の拡大虚
像を各々の眼で観察可能にする表示装置とから成り、前
記映像情報記録装置内の映像情報記録媒体から再生され
る複数の映像信号を前記表示装置内の１対の表示手段に
表示し、観察する立体画像撮像・表示システム、または
異なる視点からの光学像に対応する複数の映像信号を生
成する撮像手段を有する立体画像撮像カメラ装置と、映
像情報記録媒体へ前記立体画像撮像カメラ装置からの複
数の映像信号を記録する映像情報記録装置と、１対の映
像表示手段に表示された１対の画像を１対の投影光学系
で観察者の両眼に導き、前記１対の画像の拡大虚像を各
々の眼で観察可能にし、前記表示装置の前記投影光学系
に対する位置、または前記投影光学系の結像状態を制御
することにより、前記２つの虚像面の空間位置を２つの
重なりあう状態から隣接並置する状態までの制御可能な
表示装置とから成り、前記映像情報記録装置内の映像情
報記録媒体から再生される複数の映像信号を前記表示装
置内の１対の表示手段に表示し、観察する立体画像撮像
・表示システムにおいて、前記複数の映像信号に加え
て、前記立体画像撮像カメラ装置の制御情報を前記映像
情報記録装置内の映像情報記録媒体へ記録し、前記映像
情報記録媒体から再生された複数の映像信号ならびに前
記制御情報を前記表示装置へ与え、前記制御情報に応じ
て、前記表示装置の前記１対の拡大虚像の相対的空間位
置を変化させることを特徴とする。Further, the stereoscopic image pickup / display system of the present invention includes a stereoscopic image pickup camera device having an image pickup means for generating a plurality of video signals corresponding to optical images from different viewpoints, and the stereoscopic image to the video information recording medium. A video information recording device for recording a plurality of video signals from the image capturing camera device;
From a display device that guides a pair of images displayed on the pair of image display means to both eyes of an observer by a pair of projection optical systems, and enables an enlarged virtual image of the pair of images to be observed by each eye. The stereoscopic image pickup / display system for displaying and observing a plurality of video signals reproduced from the video information recording medium in the video information recording device on a pair of display means in the display device, or from different viewpoints. A stereoscopic image pickup camera device having an image pickup means for generating a plurality of video signals corresponding to optical images; a video information recording device for recording a plurality of video signals from the stereoscopic image pickup camera device on a video information recording medium; The pair of images displayed on the pair of image display means is guided to both eyes of the observer by the pair of projection optical systems so that the magnified virtual image of the pair of images can be observed by each eye, and Position with respect to the projection optical system, Is a control device capable of controlling the spatial position of the two virtual image planes from two overlapping states to a juxtaposed state by controlling the imaging state of the projection optical system. In a stereoscopic image capturing / display system for displaying and observing a plurality of video signals reproduced from a video information recording medium in the display device on a pair of display means in the display device, in addition to the plurality of video signals, the stereoscopic image The control information of the image pickup camera device is recorded on a video information recording medium in the video information recording device, and a plurality of video signals reproduced from the video information recording medium and the control information are given to the display device. The relative spatial position of the pair of magnified virtual images of the display device is changed according to the above.
【００１３】[0013]
【作用】本発明はすでに本出願人から提案されている、
３次元映像システムとともにワイドな２次元映像が撮影
できる複眼撮影カメラ、ならびに３次元映像を表示する
だけではなく、水平方向にワイドな２次元映像を表示で
きるＨＭＤ表示装置の各々の特徴を生かしたシステムと
して撮影像・表示システムを構成することにより、上記
問題点を解決しようとするものである。The present invention has been proposed by the present applicant,
A system that takes advantage of the features of the compound eye camera that can capture a wide two-dimensional image together with the three-dimensional image system and the HMD display device that can display a wide two-dimensional image in the horizontal direction as well as displaying a three-dimensional image The above problem is solved by constructing a captured image / display system as described above.
【００１４】すなわち、本発明は、映像信号の送信とと
もに撮影時の複眼カメラ制御情報をＨＭＤ表示装置へ送
り、この制御情報に基づき、ＨＭＤ表示装置内の表示器
の位置を制御する、またはＨＭＤ表示装置内の投影光学
系の結像状態を制御することにより、撮影者の意図を正
しく反映した３次元画像表示を行い、発明が解決しよう
とする課題の１），２）の問題点を解決しょうとするも
のである。That is, according to the present invention, the compound eye camera control information at the time of photographing is sent to the HMD display device together with the transmission of the video signal, and the position of the display device in the HMD display device is controlled based on this control information, or the HMD display is performed. By controlling the image formation state of the projection optical system in the device, a three-dimensional image display that correctly reflects the intention of the photographer is displayed, and the problems 1) and 2) to be solved by the invention will be solved. It is what
【００１５】また、本発明は、映像信号の送信とともに
撮影時の複眼カメラがワイドな２次元映像を撮影してい
る状態か、ステレオ画像（３次元画像）を撮影している
状態かを示す制御情報をＨＭＤ表示装置へ送り、この制
御情報に基づき、ＨＭＤ表示装置内の表示器の位置を制
御する、またはＨＭＤ表示装置内の投影光学系の結像状
態を制御し、ワイドな２次元画像表示か、３次元画像表
示かをＨＭＤ内で切り替えることにより、撮影者の意図
を正しく反映した映像表示を可能とし、３次元画像、ま
たはワイドな２次元画像、またはそれらが混在したよう
な新たな映像装置を楽しむことができるようにしたもの
である。Further, according to the present invention, control is performed to indicate whether the compound-eye camera is shooting a wide two-dimensional video or a stereo image (three-dimensional image) while the video signal is being transmitted. Information is sent to the HMD display device, and based on this control information, the position of the display device in the HMD display device is controlled, or the image formation state of the projection optical system in the HMD display device is controlled to display a wide two-dimensional image. By switching between the 3D image display and the 3D image display within the HMD, it is possible to display an image that correctly reflects the photographer's intention, and a 3D image, a wide 2D image, or a new image in which they are mixed. This is a device that allows you to enjoy the device.
【００１６】[0016]
【実施例】図１は本発明の第１の実施例の立体画像撮像
・表示システムを示すブロック図である。本実施例の立
体画像撮像・表示システムは、撮像部１０１と、映像信
号と制御情報を出力する出力部１０２と、映像信号と制
御情報を伝送する伝送部１０３と、映像信号と制御情報
を入力する入力部１０４と、表示部１０５と、映像信号
及び制御情報を記録する回路からなる記録部１０６と、
記録媒体１０８と、記録媒体１０８から映像信号及び制
御情報を再生する回路からなる再生部１０７と、本シス
テム全体を制御するシステムコントローラ１０９とから
構成されている。図１中では図示しないがシステムコン
トローラ１０９は図中の各ブロックと接続されているも
のとする。1 is a block diagram showing a stereoscopic image pickup / display system according to a first embodiment of the present invention. The stereoscopic image capturing / display system of this embodiment inputs an image capturing unit 101, an output unit 102 for outputting a video signal and control information, a transmitting unit 103 for transmitting a video signal and control information, and a video signal and control information. An input unit 104, a display unit 105, and a recording unit 106 including a circuit for recording video signals and control information,
The recording medium 108 includes a reproducing unit 107 including a circuit that reproduces a video signal and control information from the recording medium 108, and a system controller 109 that controls the entire system. Although not shown in FIG. 1, the system controller 109 is assumed to be connected to each block in the figure.
【００１７】図１における信号の流れを以下に説明す
る。The signal flow in FIG. 1 will be described below.
【００１８】撮像部１０１から映像信号と共に、制御情
報が出力部１０２に送られる。この制御情報は、撮像部
１０１の撮像手段の相互の光学的位置関係および個々の
撮像手段の撮影条件等の情報からなる。ここで、複数の
撮像手段の相互の光学的位置関係の情報とは、たとえば
二つの撮像手段の光軸の交差角、すなわち輻輳角の情報
等であり、また個々の撮像手段の撮影条件とは、絞り情
報、距離情報、ズーム（焦点距離）情報等を表わす。出
力部１０２は、撮像手段からの映像信号と上記制御情報
との時間軸のずれ等を調整する機能を持ち、この出力部
１０２で双方の信号の対応関係を調整した上で、伝送部
１０３と記録部１０６に対して信号を出力する。なお、
この図では映像信号を２系統、制御信号を１系統の出力
線で表示しているが、この出力部１０２において映像信
号に対して制御情報の一部あるいはすべてを付加した形
で出力しても良い。また、映像信号を時間軸圧縮あるい
は間引き等の操作によって１系統の信号としても良い。
伝送部１０３は通常は信号を伝送するためのケーブルに
より構成されるものであるが、撮像部１０１と出力部１
０２が遠隔地にある場合には伝送に適した形に変復調す
る回路を持つ。入力部１０４は伝送部１０３と再生部１
０７とからの信号を受け、必要に応じて両方の入力系を
切り換える機能を持つ。また、映像信号に制御情報が付
加されている場合はそれらを分離して、元の映像信号と
制御情報とに分離する。表示部１０５では映像信号を表
示に適した形に処理すると共に、制御情報に基づいて複
数の表示部の輻輳各等を制御する。一方、撮像部１０１
からの信号を一旦記録媒体１０８に記録する場合には、
記録部１０６において記録に適した形に信号を変換して
記録媒体１０８に記録する。ここで、記録媒体１０８は
動画像を記録する場合はたとえば磁気テープなどの媒体
を用いても良いし、また短時間の動画像や静止画像を記
録する場合であれば、磁気ディスクや光磁気ディスク等
を用いることができる。再生部１０７では記録媒体１０
８からの信号（映像信号、制御情報）を再生して入力部
１０４におくる。Control information is sent from the image pickup unit 101 to the output unit 102 together with the video signal. This control information is made up of information such as the mutual optical positional relationship between the image pickup means of the image pickup section 101 and the shooting conditions of the individual image pickup means. Here, the information of the mutual optical positional relationship of the plurality of image pickup means is, for example, the information of the crossing angle of the optical axes of the two image pickup means, that is, the angle of convergence, and the image pickup conditions of the individual image pickup means. , Aperture information, distance information, zoom (focal length) information, and the like. The output unit 102 has a function of adjusting a time-axis shift between the video signal from the image pickup unit and the control information, and the output unit 102 adjusts the correspondence relationship between both signals, and then the transmission unit 103. A signal is output to the recording unit 106. In addition,
In this figure, the video signal is displayed by two lines and the control signal is displayed by one line, but even if the output unit 102 outputs a part or all of the control information to the video signal, it is output. good. Further, the video signal may be converted into a single system signal by an operation such as time axis compression or thinning.
The transmission unit 103 is usually composed of a cable for transmitting signals, but the image pickup unit 101 and the output unit 1
When 02 is in a remote place, it has a circuit for modulating and demodulating to a form suitable for transmission. The input unit 104 is the transmission unit 103 and the reproduction unit 1.
It has a function of receiving signals from 07 and switching between both input systems as needed. If control information is added to the video signal, they are separated to separate the original video signal and control information. The display unit 105 processes the video signal into a form suitable for display, and controls each congestion of the plurality of display units based on the control information. On the other hand, the imaging unit 101
When the signal from is temporarily recorded in the recording medium 108,
The recording unit 106 converts the signal into a form suitable for recording and records it on the recording medium 108. Here, when recording a moving image, a medium such as a magnetic tape may be used as the recording medium 108, and when recording a moving image or a still image for a short time, a magnetic disk or a magneto-optical disk. Etc. can be used. In the reproducing unit 107, the recording medium 10
The signal from 8 (video signal, control information) is reproduced and comes to the input unit 104.
【００１９】また、伝送、記録に先立って、画像データ
を圧縮してもよい（例えば、ＪＰＥＧ、ＭＰＥＧ方式な
どでよい）。The image data may be compressed prior to transmission and recording (for example, JPEG or MPEG system may be used).
【００２０】図２は図１の撮像部１０１と出力部１０２
からなる複眼カメラ部１１０のブロック図である。複眼
カメラの撮像系２０１，２０２はそれぞれ光学系２０１
ａ，２０２ａ、撮像素子２０１ｂ，２０２ｂを有してい
る。また、２０１ｃ，２０２ｃはそれぞれ撮像系２０
１，２０２の撮像光軸である。アーム２０３，２０４は
それぞれ撮像系２０１，２０２を支持するアームで、図
示しない複眼カメラ本体に固定されている軸２０５を中
心に回動可能となっている。また、軸２０５は撮像光軸
２０１ｃ，２０２ｃから等距離離れている。アクチュエ
ータ２０６，２０７はそれぞれアーム２０３，２０４を
軸２０５を中心に回動させる、なお、同図において撮像
系２０１，２０２は無限遠にフォーカシングされている
ので、撮像系２０１，２０２の輻輳角は０°、即ち撮像
系２０１，２０２は互いに平行になっている。信号処理
部２１０，２０９はそれぞれ撮像系２０１，２０２の撮
像信号を適当な映像信号に変換するための信号処理部で
ある。撮像素子２０１ｂ，２０２ｂが単板カラー撮像素
子である場合は、この部分でサンプルホールド、色分
離、γ交換等の処理を行なう。なお、図２に示した実施
例においては、信号処理部２０９，２１０で映像信号を
たとえばＮＴＳＣ方式のようなコンポジットビデオ信号
に変換しているため１系統の信号ラインとして出力され
ているが、これはＲＧＢ信号のようなコンポーネントカ
ラー信号として出力しても良い。制御部２１１は撮像系
２０１，２０２の絞り、フォーカス、輻輳角を制御す
る。システムコントローラ２１４は信号処理部２０９，
２１０と制御部２１１を制御する。FIG. 2 shows an image pickup section 101 and an output section 102 of FIG.
FIG. 3 is a block diagram of a compound eye camera unit 110 consisting of The imaging systems 201 and 202 of the compound eye camera are optical systems 201, respectively.
a, 202a and image pickup devices 201b, 202b. Further, 201c and 202c are the imaging system 20 respectively.
1, 202 imaging optical axes. The arms 203 and 204 are arms that support the imaging systems 201 and 202, respectively, and are rotatable around a shaft 205 fixed to a compound eye camera body (not shown). The axis 205 is equidistant from the imaging optical axes 201c and 202c. The actuators 206 and 207 rotate the arms 203 and 204 about the axis 205, respectively. Since the imaging systems 201 and 202 are focused to infinity in the figure, the convergence angles of the imaging systems 201 and 202 are 0. That is, the image pickup systems 201 and 202 are parallel to each other. The signal processing units 210 and 209 are signal processing units for converting the image pickup signals of the image pickup systems 201 and 202 into appropriate video signals, respectively. When the image pickup devices 201b and 202b are single-plate color image pickup devices, processing such as sample hold, color separation, and γ exchange is performed in this portion. In the embodiment shown in FIG. 2, the signal processing units 209 and 210 convert the video signal into a composite video signal of, for example, the NTSC system, so that the signal is output as one system signal line. May be output as a component color signal such as an RGB signal. The control unit 211 controls the diaphragm, focus, and convergence angle of the imaging systems 201 and 202. The system controller 214 includes a signal processing unit 209,
The control unit 210 and the control unit 211 are controlled.
【００２１】図３は撮像部１０１の輻輳角がθの場合を
表わした図である。FIG. 3 is a diagram showing a case where the convergence angle of the image pickup unit 101 is θ.
【００２２】図４は複眼カメラの撮像系２０１，２０
２、機構系の他の構成を示す概略図である。２３１は被
写体であり、また２３２，２３３は等価な仕様を有する
第１及び第２の撮像光学系であり、一般的にはズームレ
ンズが用いられる。２３４，２３５は同様に等価な仕様
を有するイメージセンサであり、サチコン等の撮像管ま
たはＣＣＤ等の固体撮像素子が用いられる。FIG. 4 shows an image pickup system 201, 20 of a compound eye camera.
2 is a schematic view showing another configuration of the mechanical system. 231 is a subject, and 232 and 233 are first and second image pickup optical systems having equivalent specifications, and a zoom lens is generally used. Reference numerals 234 and 235 are image sensors similarly having equivalent specifications, and an image pickup tube such as Sachicon or a solid-state image pickup element such as CCD is used.
【００２３】各々の撮像光学系２３２及び２３３はスラ
イド機構２３８により水平方向に移動することができ、
これにより基線長の調整を行なう。また、各々の撮像光
学系２３２及び２３３の光軸２３６，２３７はそれぞれ
Ｆ1 ，Ｆ2 を中心として回転できるようになっている。
撮像光学系２３２，２３３はそれぞれ独立に回転が可能
であり、図４では軸２３６，２３７が被写体２３１を通
り、Ｆ1 ，Ｆ2 を結ぶ線の垂線となす角がθ1 ，θ2 に
なっている。Each of the image pickup optical systems 232 and 233 can be moved horizontally by a slide mechanism 238.
This adjusts the baseline length. Further, the optical axes 236 and 237 of the image pickup optical systems 232 and 233 are rotatable about F 1 and F 2 , respectively.
The image pickup optical systems 232 and 233 can rotate independently of each other, and in FIG. 4, the axes 236 and 237 pass through the subject 231 and the angles formed by the perpendiculars of the lines connecting F 1 and F 2 are θ 1 and θ 2 . ing.
【００２４】図５は図１の入力部１０４と表示部１０５
からなるＨＭＤ部１１１のブロック図で、立体画像の表
示配置を示している。不図示の本体はプラスチックでゴ
ーグル状に成型されベルトで頭部へ装着され、前面部に
は不図示の透明保護窓を有する。３３３，３３４は左右
の表示ユニットである。左右の表示ユニット３３３，３
３４は、それぞれ冷陰極管より構成されるバックライト
光源３４１，３４２で照明され、液晶パネル（以下ＬＣ
Ｄと呼ぶ）３３９，３４０の表示画像は、リレー光学系
３３７，３３８と虚像結像光学素子３３５，３３６によ
り、左右の眼に独立に遠方の虚像として拡大表示され
る。虚像結像光学素子３３５，３３６は非球面ハーフミ
ラーで、前記透明保護窓を通して外界の景色とＬＣＤ３
３９，３４０からの画像とを重畳して観察できるコンバ
イナとして機能する。バックライト光源３４１，３４２
とＬＣＤ３３９，３４０は左右それぞれ一体となって後
に述べるアクチュエータ３５７，３５８によって不図示
の回動ガイドに添って、左右の眼球中心ＯL ，ＯR と光
学的に等価な位置を中心に回動される。なお、機構の簡
略化のために光軸に対して垂直な方向に直線的な動きを
するよう構成してもよい。なお、虚像結像光学素子３３
５，３３６としては球面レンズ系、ホログラム等でも本
発明は実施可能であり、反射型では無く透過型光学素子
のみで虚像を拡大表示する構成にすることもできる。リ
レー光学系３３７，３３８は残余収差の補正、表示器か
らの光束の集光・中間結像等の機能を持たせ得る。左右
の虚像３６１，３６２は像の大きさがＨでそれぞれ眼球
中心ＯL ，ＯR より距離ａの位置にある。３６３，３６
４は左右の虚像画面中心と観察者の瞳中心とをむすぶ線
で、それぞれ虚像３６１，３６２に対して垂直で、左右
の虚像の中心Ｍ，Ｍ’で交わる。３６５は、両眼球中心
ＯL ，ＯR を結んだ基線ＯLＯR （長さＬ）の垂直二等
分面で、両軸３６３，３６４との角度を±θとする。信
号処理部３５１，３５２はそれぞれＬＣＤ３３９，３４
０に入力された映像信号をＬＣＤ表示に適した形に変換
するための信号処理部である。コンポジット信号をＲＧ
Ｂに変換するためのデコード回路や、諧調特性を整える
逆γ変換回路等がこのブロックに含まれる。ＬＣＤ３３
９，３４０の駆動回路３５３，３５４は反転駆動を行な
うための極性反転回路やオフセット電圧を設けるための
回路等が含まれる。インバータ回路３５５，３５６はそ
れぞれバックライト光源３４１，３４２を駆動する。ア
クチュエータ３５７，３５８は制御部３０３からの制御
信号によって駆動され、それぞれ表示用ユニット３３
３，３３４を回動させる。システムコントローラ３６０
はＨＭＤ部１１１を制御する。なお、不図示の音声信号
装置により送られてくる音声信号を増幅し、不図示のヘ
ッドホンスピーカにより画像に対応したステレオ音声を
再生する。FIG. 5 shows the input unit 104 and the display unit 105 of FIG.
3 is a block diagram of the HMD unit 111, which shows a display arrangement of stereoscopic images. The main body (not shown) is molded from plastic into goggle shape and attached to the head with a belt, and has a transparent protective window (not shown) on the front surface. Reference numerals 333 and 334 are left and right display units. Left and right display units 333, 3
34 are illuminated by backlight light sources 341 and 342, each of which is composed of a cold cathode tube, and a liquid crystal panel (hereinafter, LC
Display images of 339 and 340 (referred to as D) are enlarged and displayed as a distant virtual image independently on the left and right eyes by the relay optical systems 337 and 338 and the virtual image forming optical elements 335 and 336. The virtual image forming optical elements 335 and 336 are aspherical half mirrors, and the scenery of the outside world and the LCD 3 through the transparent protective window.
It functions as a combiner that can observe the images from 39 and 340 in an overlapping manner. Backlight light sources 341, 342
The LCD 339 and the LCD 340 are integrally rotated on the left and right sides by actuators 357 and 358, which will be described later, along with a rotation guide (not shown) about a position optically equivalent to the left and right eyeball centers O L and O R. It In order to simplify the mechanism, a linear movement may be made in a direction perpendicular to the optical axis. The virtual image forming optical element 33
The present invention can be implemented with a spherical lens system, a hologram or the like as 5, 336, and a virtual image can be enlarged and displayed only by a transmissive optical element instead of a reflective type. The relay optical systems 337 and 338 can be provided with functions of correcting residual aberration, condensing light flux from the display device, and intermediate imaging. The left and right virtual images 361 and 362 have image sizes H and are located at a distance a from the eyeball centers O L and O R , respectively. 363,36
Reference numeral 4 is a line joining the centers of the left and right virtual image screens and the center of the observer's pupil, which are perpendicular to the virtual images 361 and 362, respectively, and intersect at the centers M and M'of the left and right virtual images. Reference numeral 365 denotes a perpendicular bisector of a base line O L O R (length L) connecting the centers O L and O R of both eyes, and the angle between the two axes 363 and 364 is ± θ. The signal processing units 351 and 352 are LCDs 339 and 34, respectively.
It is a signal processing unit for converting the video signal input to 0 into a form suitable for LCD display. RG composite signal
A decoding circuit for converting to B, an inverse γ conversion circuit for adjusting gradation characteristics, and the like are included in this block. LCD33
The drive circuits 353 and 354 of 9,340 include a polarity inversion circuit for performing inversion driving, a circuit for providing an offset voltage, and the like. The inverter circuits 355 and 356 drive the backlight light sources 341 and 342, respectively. The actuators 357 and 358 are driven by the control signal from the control unit 303, and are respectively driven by the display unit 33.
Rotate 3,334. System controller 360
Controls the HMD unit 111. The audio signal sent from an audio signal device (not shown) is amplified, and stereo audio corresponding to an image is reproduced by a headphone speaker (not shown).
【００２５】図６，７にバックライト光源３４１，３４
２及びＬＣＤ３３９，３４０の動作を示す。一般に、立
体視は両眼視差を有する２枚の画像（ステレオペア）を
左右の眼に独立に提示することで可能となる。ＨＭＤ部
１１１において２つの虚像の位置が重なるように提示す
ればステレオペアの融像が容易になる。図６，７に示し
たように、左右の虚像の中心Ｍ，Ｍ’がともにほぼ垂直
二等分面３６５上にくる位置までバックライト光源３４
１，３４２及びＬＣＤ３３９，３４０を移動させる。左
右の虚像は面３６５をはさんで対称的に結像する。左右
眼球の光軸がそれぞれ表示ユニット３３３，３３４の表
示画像の中心軸に一致した時ステレオペアの融像が完了
する。図７は図６の場合に比べて近距離の物体を見る場
合で、θ 1 の輻輳角を持つ。図６の場合は図７の場合に
比べて遠距離の物体を見る場合で、θ2 の輻輳角を持つ
様になる。この輻輳角θ1 ，θ2 は通常は複眼カメラ１
１０で撮影された時の輻輳角を再現するように制御され
る。Backlight sources 341 and 34 are shown in FIGS.
2 and the operations of the LCDs 339 and 340 are shown. In general, standing
As for binocular vision, two images (stereo pair) with binocular parallax
It is possible by presenting it to the left and right eyes independently. HMD part
In 111, the two virtual images are presented so that their positions overlap.
This will facilitate fusion of stereo pairs. Shown in Figures 6 and 7
As described above, the centers M and M'of the left and right virtual images are both substantially vertical.
Backlight light source 34 to a position on bisector 365
1, 342 and LCDs 339, 340 are moved. left
The virtual image on the right is formed symmetrically with respect to the surface 365. Left and right
The optical axes of the eyes are displayed on the display units 333 and 334, respectively.
Fusion of the stereo pair is completed when it coincides with the central axis of the display image
To do. FIG. 7 shows a case of seeing an object at a short distance compared to the case of FIG.
And θ 1 Has a convergence angle of. In the case of FIG. 6, in the case of FIG.
When viewing an object at a long distance,2 Have a convergence angle of
Like This convergence angle θ1 , Θ2 Is usually a compound eye camera 1
It is controlled to reproduce the vergence angle when it was shot at 10.
It
【００２６】図８は図１〜４で説明した複眼カメラ−Ｈ
ＭＤシステムの動作を示すフローチャートで、同図に沿
って動作を説明する。なお、特に限らない限り、動作は
システムコントローラ１０９が行なうものとし、また左
右の映像信号はほぼ同期しているものとする。さらに、
撮影または記録の際に画像データが圧縮されたものであ
れば、表示の際に伸張処理されるものとする。まず、図
示しない電源スイッチが投入されると撮像系２０１，２
０２より撮像信号が出力される（ステップＳ１０１）。
撮像信号は、システムコントローラ２１４に入力され、
撮像系２０１，２０２の両方の絞りやフォーカスの制御
を行なう（ステップＳ１０２）。また、前記撮像信号は
ＨＭＤ部１１１にも入力され、表示が行なわれる（ステ
ップＳ１０３）。また、システムコントローラ２１４で
はフォーカスの情報から輻輳角の制御量の演算を行な
い、その結果に基づいて撮像系２０１，２０２を支持し
ているアーム２０３，２０４を軸２０５を中心に回動さ
せるためのアクチュエータ２０６，２０７を所定量回動
させる（ステップＳ１０４）。複眼カメラの輻輳角の情
報はＨＭＤ部１１１のシステムコントローラ３６０に通
信され、制御部３０３はアクチュエータ３５７，３５８
により表示ユニット３３９，３４１，３４０，３４２を
所定量回動させる（ステップＳ１０５）。そして図示し
ない撮影開始スイッチが操作されているか否かの選択を
行ない（ステップＳ１０６）、前記撮影開始スイッチが
操作されていると記録再生ブロック１１２に映像信号並
びに制御情報の記録を開始する（ステップＳ１０７）。FIG. 8 is a compound eye camera-H described in FIGS.
A flow chart showing the operation of the MD system will be described with reference to FIG. Unless otherwise specified, the operation is performed by the system controller 109, and the left and right video signals are substantially synchronized. further,
If the image data is compressed at the time of shooting or recording, it is assumed that it is expanded at the time of display. First, when a power switch (not shown) is turned on, the imaging systems 201 and 201
An image pickup signal is output from 02 (step S101).
The image pickup signal is input to the system controller 214,
Both the aperture and focus of the image pickup systems 201 and 202 are controlled (step S102). The image pickup signal is also input to the HMD unit 111 and displayed (step S103). Further, the system controller 214 calculates the amount of control of the convergence angle from the focus information, and based on the result, the arms 203 and 204 supporting the imaging systems 201 and 202 are rotated about the axis 205. The actuators 206 and 207 are rotated by a predetermined amount (step S104). Information about the angle of convergence of the compound-eye camera is communicated to the system controller 360 of the HMD unit 111, and the control unit 303 causes the actuators 357 and 358.
Thus, the display units 339, 341, 340, 342 are rotated by a predetermined amount (step S105). Then, it is selected whether or not a photographing start switch (not shown) is operated (step S106). When the photographing start switch is operated, recording of a video signal and control information in the recording / reproducing block 112 is started (step S107). ).
【００２７】図９は本発明の第２の実施例を示すブロッ
ク図である。FIG. 9 is a block diagram showing a second embodiment of the present invention.
【００２８】本実施例は立体画像のみでなくパノラマ画
像を撮像・表示することができるよう構成したものであ
る。カメラシステムの詳しい説明は、表示装置に与える
画像や輻輳角等の情報で十分であるので省略し、表示装
置について図９を用いて説明する。図９の構成要素のう
ち図２〜４と共通するものについては説明を省略する。
図９において新たに２Ｄ３Ｄ検出回路４０１が加わって
る。この回路４０１は複眼カメラ部から送られてくる制
御情報に基づいて、立体撮影（３Ｄ撮影）されたものか
パノラマ撮影（２Ｄ撮影）されたものかを判別するため
のものである。通常は複眼カメラ部において２Ｄか３Ｄ
かを識別するための情報を制御情報に付加して伝送して
くるが、それが付加されていない場合は輻輳角情報や焦
点距離情報に基づいて判定を行なう。制御部３０３は２
Ｄ３Ｄ検出回路４０１の判別結果に基づいて立体表示状
態とパノラマ表示状態の切り換えを行なう。パノラマ表
示の時、表示装置は図９に示すように左右両眼用の虚像
が面３６５上で隙間ができないように隣合う必要があ
る。このため右眼用の虚像の左端と右眼用の虚像の右端
が面３６５上の点Ｎで接するよう輻輳角を調整する。図
示したように虚像３６１，３６２の画角をω（ω＞
０）、左右の眼球中心を結んだ直線である基線ＯLＯR
と直線ＯLＮ，ＯRＮとのそれぞれの角度をα（α＞０）
とすると、θ＝９０°−ω−αである。ただし、ω＝ｔ
ａｎ-1（Ｈ／２ａ）、α＝ｃｏｓ-1（Ｌｃｏｓω／２
ａ）である。本実施例では、複眼カメラからの情報より
計算した結果、Ｌ＝６５ｍｍ、Ｈ＝１２１９．２ｍｍ、
ａ＝１５００ｍｍであるので、θ＝−２０．９７°とな
る。輻輳角θがこの角度になるよう表示ユニット３３
３，３３４の配置を調整している。上記の手段によって
パノラマ画像を観察している時、見かけ上の画角は約４
ω＝８８．４８°となり、非常に広画角の画像を提供す
ることができた。ただし、通常人間の眼は外側へは回転
しないのでこのとき観察者の視線の軸は輻輳角とは異な
る方法を向いている。In this embodiment, not only a stereoscopic image but also a panoramic image can be picked up and displayed. A detailed description of the camera system is omitted because information such as an image and a convergence angle given to the display device is sufficient, and the display device will be described with reference to FIG. 9. Description of the components in FIG. 9 common to those in FIGS. 2 to 4 will be omitted.
In FIG. 9, a 2D3D detection circuit 401 is newly added. This circuit 401 is for determining whether stereoscopic photography (3D photography) or panoramic photography (2D photography) has been performed, based on the control information sent from the compound eye camera unit. Usually 2D or 3D in compound eye camera section
Information for identifying whether or not it is transmitted is added to the control information, but if it is not added, the determination is made based on the convergence angle information and the focal length information. The control unit 303 has 2
The stereoscopic display state and the panoramic display state are switched based on the determination result of the D3D detection circuit 401. In the panoramic display, the display devices must be adjacent to each other so that no virtual image for the left and right eyes is formed on the surface 365, as shown in FIG. Therefore, the vergence angle is adjusted so that the left end of the right-eye virtual image and the right end of the right-eye virtual image come into contact at the point N on the surface 365. As shown in the figure, the angles of view of the virtual images 361 and 362 are set to ω (ω>
0), a base line O L O R which is a straight line connecting the center of the left and right eyes
And the angles of the straight lines O L N and O R N are α (α> 0)
Then, θ = 90 ° −ω−α. However, ω = t
an -1 (H / 2a), α = cos -1 (Lcosω / 2
a). In this embodiment, as a result of calculation from information from the compound eye camera, L = 65 mm, H = 1219.2 mm,
Since a = 1500 mm, θ = −20.97 °. The display unit 33 so that the vergence angle θ becomes this angle.
The arrangement of 3,334 is adjusted. When observing the panoramic image by the above means, the apparent angle of view is about 4
Since ω = 88.48 °, an image with a very wide angle of view could be provided. However, since the human eye does not normally rotate outward, the axis of the line of sight of the observer at this time is directed to a method different from the vergence angle.
【００２９】図１０はＬＣＤ３３９，３４０上に表示さ
れる左右の画像の例である。図１０（１），（２）は左
右それぞれ表示部に表示するための画像である。これを
本システムでパノラマ視することによって、図１０
（３）に示すように、二つに分離されていた立方体の画
像５０２，５０３が５０５のように一つにつながり、全
体として非常に広い画角の画像５０１，５０５，５０４
を得ることができる。FIG. 10 shows an example of left and right images displayed on the LCDs 339 and 340. 10 (1) and 10 (2) are images to be displayed on the left and right display portions, respectively. By panoramic view of this with this system, FIG.
As shown in (3), the cube images 502 and 503 separated into two are connected as one like 505, and the images 501, 505, and 504 have a very wide angle of view as a whole.
Can be obtained.
【００３０】なお、上記説明においては、ＨＭＤ投影光
学系に対してもＬＣＤ、バックライト位置を変化させて
輻輳角を追従させる、あるいはパノラマ表示、立体表示
を切り替える場合について述べたが、本発明はこれに限
られるものではなく、すでに本出願人から提案されてい
る特願平５−９２１１３号に述べたような他の手段によ
っても同様の効果が達成される。すなわち、 １）表示器、投影光学系の相対的位置関係を保持したま
ま全体として観察者の瞳中心を中心として水平方向に回
転運動する。In the above description, the case where the LCD and the backlight position are changed for the HMD projection optical system to follow the convergence angle, or the panoramic display and the stereoscopic display are switched has been described. The present invention is not limited to this, and the same effect can be achieved by other means as described in Japanese Patent Application No. 5-92113 already proposed by the present applicant. That is, 1) The display device and the projection optical system rotate in a horizontal direction as a whole with the relative positional relationship of the display device and the projection optical system being maintained.
【００３１】２）表示器および投影光学系を水平方向に
移動させる。2) The display and the projection optical system are moved in the horizontal direction.
【００３２】３）表示器は固定したまま、投影光学系の
みを水平方向に移動させる。3) Only the projection optical system is moved horizontally while the display is fixed.
【００３３】４）観察者の瞳と表示器の間に光学的偏向
手段、または可動反射光学手段を設け、この光学的偏向
手段、または可動反射光学手段により虚像位置を水平方
向に移動させる。4) Optical deflection means or movable reflection optical means is provided between the observer's pupil and the display, and the virtual image position is moved in the horizontal direction by this optical deflection means or movable reflection optical means.
【００３４】５）表示器および投影光学系を固定したま
ま、表示画像を電気的に水平方向に移動させる。5) The display image is electrically moved horizontally while the display and the projection optical system are fixed.
【００３５】などの方法によっても、本発明の効果は達
成される。The effects of the present invention can also be achieved by the method described above.
【００３６】また、今までの説明ではＨＭＤにおいて投
影される左右の虚像面が完全にオーバーラップするか、
まったくオーバーラップしないで接するかの場合を説明
したが、特願平５−９２１１３号に述べたように、２つ
の虚像面が一部オーバーラップする状態においても、輻
輳角を追従させることができる。In the above description, whether the left and right virtual image planes projected on the HMD completely overlap,
The case of contact without overlapping at all has been described, but as described in Japanese Patent Application No. 5-92113, the convergence angle can be made to follow even in the state where the two virtual image surfaces partially overlap.
【００３７】[0037]
【発明の効果】以上説明したように本発明は、下記の効
果がある。 （１）請求項１，２，５，６の発明は、映像信号に加え
て、立体画像撮像カメラ装置の制御情報を表示装置へ与
え、この制御情報に基づき、表示装置内の１対の拡大虚
像の相対的空間位置を変化させることにより、撮影者の
意図を正しく反映した映像表示が可能となる。 （２）請求項３，７の発明は、映像信号に加えて、立体
画像撮像カメラからの複数の映像信号の組が２次元画像
の映像か、ステレオ画像（３次元画像）の映像かを区別
する情報を表示装置へ与え、この情報に基づいて表示装
置の２つの虚像面の空間位置状態を制御することによ
り、３次元画像、または２次元画像、またはそれらが混
在した画像の映像表現を楽しむことができる。As described above, the present invention has the following effects. (1) According to the invention of claims 1, 2, 5 and 6, in addition to a video signal, control information of a stereoscopic image pickup camera device is given to a display device, and based on this control information, a pair of enlargement in the display device is performed. By changing the relative spatial position of the virtual image, it is possible to display an image that correctly reflects the intention of the photographer. (2) According to the third and seventh aspects of the invention, in addition to the video signal, it is distinguished whether the set of a plurality of video signals from the stereoscopic image pickup camera is a two-dimensional video image or a stereo image (three-dimensional image) video. Information to the display device and controlling the spatial position states of the two virtual image planes of the display device based on this information to enjoy the video expression of the three-dimensional image, the two-dimensional image, or a mixed image thereof. be able to.
【図１】本発明の第１の実施例の立体画像撮像・表示シ
ステムのブロック図である。FIG. 1 is a block diagram of a stereoscopic image capturing / display system according to a first embodiment of the present invention.
【図２】撮像部１０１のブロック図である。FIG. 2 is a block diagram of an image pickup unit 101.
【図３】輻輳角がθの場合の撮像部１０１を示す図であ
る。FIG. 3 is a diagram showing the imaging unit 101 when the convergence angle is θ.
【図４】複眼カメラの撮像系、機構系の他の構成を示す
図である。FIG. 4 is a diagram showing another configuration of an image pickup system and a mechanical system of the compound eye camera.
【図５】ＨＭＤ部１１１のブロック図である。5 is a block diagram of an HMD unit 111. FIG.
【図６】バックライト光源３４１，３４２及びＬＣＤ３
３９，３４０の動作の様子を示す図である。FIG. 6 Backlight light sources 341 and 342 and LCD 3
It is a figure which shows the mode of operation of 39,340.
【図７】バックライト光源３４１，３４２及びＬＣＤ３
３９，３４０の動作の様子を示す図である。FIG. 7: Backlight light sources 341 and 342 and LCD 3
It is a figure which shows the mode of operation of 39,340.
【図８】図１〜図５の立体画像撮像・表示システムの動
作を示すフローチャートである。FIG. 8 is a flowchart showing an operation of the stereoscopic image capturing / display system of FIGS.
【図９】本発明の第２の実施例の立体画像撮像・表示シ
ステムのブロック図である。FIG. 9 is a block diagram of a stereoscopic image capturing / display system according to a second embodiment of the present invention.
【図１０】ＬＣＤ３３９，３４０上に表示される左右の
画像の例を示す図である。FIG. 10 is a diagram showing an example of left and right images displayed on LCDs 339 and 340.
１０１ 撮像部 １０２ 出力部 １０３ 伝送部 １０４ 入力部 １０５ 出力部 １０６ 記録部 １０７ 再生部 １０８ 記録媒体 １０９ システムコントローラ １１０ カメラ部 １１１ ＨＭＤ部 １１２ 記録再生ブロック ２０１，２０２ 撮像系 ２０１ａ，２０２ａ 光学系 ２０１ｂ，２０２ｂ 撮像素子 ２０１ｃ，２０２ｃ 撮像光軸 ２０３，２０４ アーム ２０５ 軸 ２０６，２０７ アクチュエータ ２０９，２１０ 信号処理部 ２１１ 制御部 ２１４ システムコントローラ ２３１ 被写体 ２３２，２３３ 撮像光学系 ２３４，２３５ イメージセンサ ２３６，２３７ 光軸 ２３８ スライド機構 ３３３，３３４ 表示ユニット ３３７，３３８ リレー光学系 ３３９，３４０ 液晶パネル（ＬＣＤ） ３４１，３４２ バックライト光源 ３５１，３５２ 信号処理部 ３５３，３５４ 液晶駆動回路 ３５５，３５６ バックライト駆動回路 ３５７，３５８ アクチュエータ ３６０ システムコントローラ ３６１，３６２ 虚像 ３６３，３６４ 線 ３６５ 垂直二等分面 ４０１ ２Ｄ３Ｄ検出回路 ５０１〜５０５ 画像 Ｓ１０１〜Ｓ１０７ ステップ 101 image pickup unit 102 output unit 103 transmission unit 104 input unit 105 output unit 106 recording unit 107 reproducing unit 108 recording medium 109 system controller 110 camera unit 111 HMD unit 112 recording / reproducing block 201, 202 imaging system 201a, 202a optical system 201b, 202b Imaging device 201c, 202c Imaging optical axis 203, 204 Arm 205 Axis 206, 207 Actuator 209, 210 Signal processing unit 211 Control unit 214 System controller 231 Subject 232, 233 Imaging optical system 234, 235 Image sensor 236, 237 Optical axis 238 Slide Mechanism 333, 334 Display unit 337, 338 Relay optical system 339, 340 Liquid crystal panel (LCD) 341, 342 Backlight light source 351, 352 Signal processing Parts 353 and 354 liquid crystal driving circuit 355, 356 a backlight driving circuit 357, 358 actuator 360 system controller 361, 362 a virtual image 363, 364 line 365 perpendicular bisector 401 2D3D detecting circuit 501-505 image S101~S107 step
───────────────────────────────────────────────────── フロントページの続き (72)発明者 飯島 克己 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内 (72)発明者 福島 信男 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内 (72)発明者 岡内 茂樹 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内 (72)発明者 徳光 純 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内 ─────────────────────────────────────────────────── ─── Continued Front Page (72) Inventor Katsumi Iijima 3-30-2 Shimomaruko, Ota-ku, Tokyo Canon Inc. (72) Innovator Nobuo Fukushima 3-30-2 Shimomaruko, Ota-ku, Tokyo Canon Incorporated (72) Inventor Shigeki Okauchi 3-30-2 Shimomaruko, Ota-ku, Tokyo Canon Inc. (72) Inventor Jun 3-30-3 Shimomaruko, Ota-ku, Tokyo Canon Inc.
Claims (8)
の映像信号を生成する撮像手段を有する立体画像撮像カ
メラ装置と、１対の映像表示手段に表示される１対の画
像を１対の投影光学系で観察者の両眼に導き、前記１対
の画像の拡大虚像を各々の眼で観察可能にする表示装置
とから成り、前記立体画像撮像カメラ装置からの複数の
映像信号を前記表示装置の１対の映像表示手段に表示
し、観察する立体画像撮像・表示システムにおいて、 前記立体画像撮像カメラ装置からの複数の映像信号に加
えて、前記立体画像撮像カメラ装置の制御情報を前記表
示装置へ与え、前記制御情報に応じて、前記表示装置の
前記１対の拡大虚像の相対的空間位置を変化させること
を特徴とする立体画像撮像・表示システム。1. A stereoscopic image pickup camera device having an image pickup means for generating a plurality of video signals corresponding to optical images from different viewpoints, and a pair of images displayed on a pair of video display means. And a display device for guiding the magnified virtual image of the pair of images to each eye by a projection optical system, and displaying a plurality of video signals from the stereoscopic image capturing camera device. In a stereoscopic image capturing / display system for displaying and observing on a pair of video display means of the device, in addition to the plurality of video signals from the stereoscopic image capturing camera device, the control information of the stereoscopic image capturing camera device is displayed. A stereoscopic image pickup / display system, which is applied to a device and changes a relative spatial position of the pair of enlarged virtual images of the display device according to the control information.
の映像信号を生成する撮像手段を有する立体画像撮像カ
メラ装置と、１対の映像表示手段に表示される１対の画
像を１対の投影光学系で観察者の両眼に導き、前記１対
の画像の拡大虚像を各々の眼で観察可能とし、前記表示
装置の前記投影光学系に対する位置、または前記投影光
学系の結像状態を制御することにより、前記２つの虚像
面の空間位置を２つの重なりあう状態から隣接並置する
状態までの制御可能な表示装置とから成り、前記立体画
像撮像カメラ装置からの複数の映像信号を前記表示装置
の１対の表示手段に表示し、観察する立体画像撮像・表
示システムにおいて、 前記立体画像撮像カメラ装置からの複数の映像信号に加
えて、前記立体画像撮像カメラ装置の制御情報を前記表
示装置へ与え、前記制御情報に応じて、前記表示装置の
前記１対の拡大虚像の相対的空間位置を変化させること
を特徴とする立体画像撮像・表示システム。2. A stereoscopic image pickup camera device having an image pickup means for generating a plurality of video signals corresponding to optical images from different viewpoints, and a pair of images displayed on the pair of video display means. A projection optical system guides the image to both eyes of an observer, and an enlarged virtual image of the pair of images can be observed by each eye, and the position of the display device with respect to the projection optical system or the image formation state of the projection optical system is determined. And a controllable display device for controlling the spatial positions of the two virtual image planes from two overlapping states to a juxtaposed state, and displays a plurality of video signals from the stereoscopic image capturing camera device. In a stereoscopic image capturing / display system for displaying and observing on a pair of display means of the device, in addition to a plurality of video signals from the stereoscopic image capturing camera device, control information of the stereoscopic image capturing camera device is forwarded. It is given to the display device, in accordance with the control information, the stereoscopic imaging and display system characterized by varying the relative spatial position of the enlarged virtual image of the pair of the display device.
ラ装置からの複数の映像信号の組が２次元画像の映像
か、ステレオ画像の映像かを区別する情報を少なくとも
含み、前記情報に基づいて前記表示装置の２つの虚像面
の空間位置状態を制御する請求項２記載の立体画像撮像
・表示システム。3. The control information includes at least information for distinguishing whether a set of a plurality of video signals from the stereoscopic image capturing camera device is a two-dimensional image video or a stereo image video, and based on the information. The stereoscopic image pickup / display system according to claim 2, wherein spatial position states of two virtual image planes of the display device are controlled.
からの複数の撮像光学系のなす輻輳角情報を少なくとも
含む請求項２記載の立体画像撮像・表示システム。4. The stereoscopic image pickup / display system according to claim 2, wherein the information includes at least convergence angle information formed by a plurality of image pickup optical systems from the stereoscopic image pickup camera device.
の映像信号を生成する撮像手段を有する立体画像撮像カ
メラ装置と、映像情報記録媒体へ前記立体画像撮像カメ
ラ装置からの複数の映像信号を記録する映像情報記録装
置と、１対の映像表示手段に表示された１対の画像を１
対の投影光学系で観察者の両眼に導き、前記１対の画像
の拡大虚像を各々の眼で観察可能にする表示装置とから
成り、前記映像情報記録装置内の映像情報記録媒体から
再生される複数の映像信号を前記表示装置内の１対の表
示手段に表示し、観察する立体画像撮像・表示システム
において、 前記立体画像撮像カメラ装置からの複数の映像信号に加
えて、前記立体画像撮像カメラ装置の制御情報を前記映
像情報記録装置内の映像情報記録媒体へ記録し、前記映
像情報記録媒体から再生された複数の映像信号ならびに
前記制御情報を前記表示装置へ与え、前記制御情報に応
じて、前記表示装置の前記１対の拡大虚像の相対的空間
位置を変化させることを特徴とする立体画像撮像・表示
システム。5. A stereoscopic image pickup camera device having an image pickup means for generating a plurality of video signals corresponding to optical images from different viewpoints, and a plurality of video signals from the stereoscopic image pickup camera device to a video information recording medium. A video information recording device for recording and a pair of images displayed on the pair of video display means.
A pair of projection optical systems for guiding to the observer's eyes, and a display device for enabling the magnified virtual image of the pair of images to be observed by each eye, and reproducing from the video information recording medium in the video information recording device. In a stereoscopic image capturing / display system for displaying a plurality of video signals to be displayed on a pair of display means in the display device and observing the stereoscopic image, in addition to the plurality of video signals from the stereoscopic image capturing camera device, the stereoscopic image Control information of the imaging camera device is recorded on a video information recording medium in the video information recording device, and a plurality of video signals reproduced from the video information recording medium and the control information are given to the display device, and the control information is Accordingly, the stereoscopic image capturing / display system is characterized in that the relative spatial position of the pair of magnified virtual images of the display device is changed.
の映像信号を生成する撮像手段を有する立体画像撮像カ
メラ装置と、映像情報記録媒体へ前記立体画像撮像カメ
ラ装置からの複数の映像信号を記録する映像情報記録装
置と、１対の映像表示手段に表示された１対の画像を１
対の投影光学系で観察者の両眼に導き、前記１対の画像
の拡大虚像を各々の眼で観察可能にし、前記表示装置の
前記投影光学系に対する位置、または前記投影光学系の
結像状態を制御することにより、前記２つの虚像面の空
間位置を２つの重なりあう状態から隣接並置する状態ま
での制御可能な表示装置とから成り、前記映像情報記録
装置内の映像情報記録媒体から再生される複数の映像信
号を前記表示装置内の１対の表示手段に表示し、観察す
る立体画像撮像・表示システムにおいて、 前記複数の映像信号に加えて、前記立体画像撮像カメラ
装置の制御情報を前記映像情報記録装置内の映像情報記
録媒体へ記録し、前記映像情報記録媒体から再生された
複数の映像信号ならびに前記制御情報を前記表示装置へ
与え、前記制御情報に応じて、前記表示装置の前記１対
の拡大虚像の相対的空間位置を変化させることを特徴と
する立体画像撮像・表示システム。6. A stereoscopic image pickup camera device having an image pickup means for generating a plurality of video signals corresponding to optical images from different viewpoints, and a plurality of video signals from the stereoscopic image pickup camera device to a video information recording medium. A video information recording device for recording and a pair of images displayed on the pair of video display means.
A pair of projection optical systems guides the images to both eyes of an observer so that an enlarged virtual image of the pair of images can be observed by each eye, and the position of the display device with respect to the projection optical system or the image formation of the projection optical system. By controlling the state, the spatial position of the two virtual image planes comprises a controllable display device from two overlapping states to a juxtaposed state, and is reproduced from a video information recording medium in the video information recording device. In a stereoscopic image capturing / display system for displaying a plurality of video signals to be displayed on a pair of display means in the display device and observing, a control information of the stereoscopic image capturing camera device is added to the plurality of video signals. Recording on a video information recording medium in the video information recording device, giving a plurality of video signals reproduced from the video information recording medium and the control information to the display device, according to the control information, A stereoscopic image capturing / display system characterized in that a relative spatial position of the pair of magnified virtual images of the display device is changed.
ラ装置からの複数の映像信号の組が２次元画像の映像
か、ステレオ画像の映像かを区別する情報を少なくとも
含み、前記情報に基づいて前記表示装置の２つの虚像面
の空間位置状態を制御する請求項６記載の立体画像撮像
・表示システム。7. The control information includes at least information that distinguishes whether a set of a plurality of video signals from the stereoscopic image capturing camera device is a two-dimensional image video or a stereo image video, and based on the information. 7. The stereoscopic image capturing / display system according to claim 6, wherein the spatial position states of the two virtual image planes of the display device are controlled.
からの複数の撮像光学系のなす輻輳角情報を少なくとも
含む請求項６記載の立体画像撮像・表示システム。8. The stereoscopic image pickup / display system according to claim 6, wherein the information includes at least convergence angle information formed by a plurality of image pickup optical systems from the stereoscopic image pickup camera device.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5232883A JP2986659B2 (en) | 1993-09-20 | 1993-09-20 | Stereoscopic image imaging and display system |
| EP94114752A EP0644701B1 (en) | 1993-09-20 | 1994-09-19 | Image taking and/or displaying system |
| DE69421873T DE69421873T2 (en) | 1993-09-20 | 1994-09-19 | Image acquisition and display system |
| US08/805,032 US6507359B1 (en) | 1993-09-20 | 1997-02-21 | Image display system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5232883A JP2986659B2 (en) | 1993-09-20 | 1993-09-20 | Stereoscopic image imaging and display system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0784326A true JPH0784326A (en) | 1995-03-31 |
| JP2986659B2 JP2986659B2 (en) | 1999-12-06 |
Family
ID=16946340
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5232883A Expired - Lifetime JP2986659B2 (en) | 1993-09-20 | 1993-09-20 | Stereoscopic image imaging and display system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2986659B2 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0968672A (en) * | 1995-08-31 | 1997-03-11 | Seiko Epson Corp | Head-mounted type display device and driving method thereof |
| JP2005115399A (en) * | 2004-12-22 | 2005-04-28 | Sony Corp | Display device and display method |
| JP2006145998A (en) * | 2004-11-22 | 2006-06-08 | Olympus Corp | Virtual image display type information display system |
| JP2008237749A (en) * | 2007-03-28 | 2008-10-09 | Olympus Medical Systems Corp | Stereoscopic observation system |
| JP2010233257A (en) * | 1996-02-28 | 2010-10-14 | Panasonic Corp | Optical disk for high resolution and stereoscopic video recording, optical disk reproduction apparatus, and optical disk recording apparatus |
| JP2011182412A (en) * | 1996-12-04 | 2011-09-15 | Panasonic Corp | Optical disk for high resolution and three-dimensional video recording, optical disk reproduction apparatus, and optical disk recording apparatus |
| WO2016132688A1 (en) | 2015-02-19 | 2016-08-25 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
| JP2016212177A (en) * | 2015-05-01 | 2016-12-15 | セイコーエプソン株式会社 | Transmission type display device |
-
1993
- 1993-09-20 JP JP5232883A patent/JP2986659B2/en not_active Expired - Lifetime
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0968672A (en) * | 1995-08-31 | 1997-03-11 | Seiko Epson Corp | Head-mounted type display device and driving method thereof |
| JP2011172247A (en) * | 1996-02-28 | 2011-09-01 | Panasonic Corp | Optical disk for recording high resolution image and three-dimensional image, optical disk reproducing apparatus, and optical disk recording apparatus |
| US8391692B2 (en) | 1996-02-28 | 2013-03-05 | Panasonic Corporation | High-resolution optical disk for recording stereoscopic video, optical disk reproducing device, and optical disk recording device |
| JP2011160445A (en) * | 1996-02-28 | 2011-08-18 | Panasonic Corp | Optical disk for recording high resolution and three-dimensional video, reproducer for optical disk and recorder for optical disk |
| JP2010233257A (en) * | 1996-02-28 | 2010-10-14 | Panasonic Corp | Optical disk for high resolution and stereoscopic video recording, optical disk reproduction apparatus, and optical disk recording apparatus |
| JP2010283840A (en) * | 1996-02-28 | 2010-12-16 | Panasonic Corp | Optical disc for high-resolution and three-dimensional video recording, optical disc reproduction apparatus, and optical disc recording apparatus |
| JP4605312B1 (en) * | 1996-02-28 | 2011-01-05 | パナソニック株式会社 | High resolution and stereoscopic image recording optical disc, optical disc playback device, optical disc recording device |
| JP4605311B1 (en) * | 1996-02-28 | 2011-01-05 | パナソニック株式会社 | High resolution and stereoscopic image recording optical disc, optical disc playback device, optical disc recording device |
| JP4605313B2 (en) * | 1996-02-28 | 2011-01-05 | パナソニック株式会社 | High resolution and stereoscopic image recording optical disc, optical disc playback device, optical disc recording device |
| JP2011010302A (en) * | 1996-02-28 | 2011-01-13 | Panasonic Corp | Optical disk for recording high-resolution and three-dimensional image, optical disk reproducing apparatus and optical disk recording apparatus |
| JP2011010301A (en) * | 1996-02-28 | 2011-01-13 | Panasonic Corp | Optical disk for recording high-resolution and three-dimensional image, optical disk reproducing apparatus and optical disk recording apparatus |
| JP4618393B2 (en) * | 1996-02-28 | 2011-01-26 | パナソニック株式会社 | High resolution and stereoscopic image recording optical disc, optical disc playback device, optical disc recording device |
| JP2011101437A (en) * | 1996-02-28 | 2011-05-19 | Panasonic Corp | Optical disk for high resolution and stereoscopic video recording, optical disk reproducing device, optical disk recorder |
| JP2011101436A (en) * | 1996-02-28 | 2011-05-19 | Panasonic Corp | Optical disk for high resolution and stereoscopic video recording, optical disk reproducing device, optical disk recorder |
| JP2011142674A (en) * | 1996-02-28 | 2011-07-21 | Panasonic Corp | Optical disk for recording of high-resolution and stereoscopic video, optical disk reproducing device, and optical disk recording device |
| US8391690B2 (en) | 1996-02-28 | 2013-03-05 | Panasonic Corporation | High-resolution optical disk for recording stereoscopic video, optical disk reproducing device, and optical disk recording device |
| US8391693B2 (en) | 1996-02-28 | 2013-03-05 | Panasonic Corporation | High-resolution optical disk for recording stereoscopic video, optical disk reproducing device, and optical disk recording device |
| US8391691B2 (en) | 1996-02-28 | 2013-03-05 | Panasonic Corporation | High-resolution optical disk for recording stereoscopic video, optical disk reproducing device, and optical disk recording device |
| US8391689B2 (en) | 1996-02-28 | 2013-03-05 | Panasonic Corporation | High-resolution optical disk for recording stereoscopic video, optical disk reproducing device, and optical disk recording device |
| US8139929B2 (en) | 1996-02-28 | 2012-03-20 | Panasonic Corporation | High-resolution optical disk for recording stereoscopic video, optical disk reproducing device, and optical disk recording device |
| US8150240B2 (en) | 1996-02-28 | 2012-04-03 | Panasonic Corporation | High-resolution optical disk for recording stereoscopic video, optical disk reproducing device, and optical disk recording device |
| US8184961B2 (en) | 1996-02-28 | 2012-05-22 | Panasonic Corporation | High-resolution optical disk for recording stereoscopic video, optical disk reproducing device, and optical disk recording device |
| US8200064B2 (en) | 1996-02-28 | 2012-06-12 | Panasonic Corporation | High-resolution optical disk for recording stereoscopic video, optical disk reproducing device, and optical disk recording device |
| JP2011172248A (en) * | 1996-02-28 | 2011-09-01 | Panasonic Corp | Optical disk for recording high resolution image and three-dimensional image, optical disk reproducing apparatus, and optical disk recording apparatus |
| US8391686B2 (en) | 1996-02-28 | 2013-03-05 | Panasonic Corporation | High-resolution optical disk for recording stereoscopic video, optical disk reproducing device, and optical disk recording device |
| JP2011182412A (en) * | 1996-12-04 | 2011-09-15 | Panasonic Corp | Optical disk for high resolution and three-dimensional video recording, optical disk reproduction apparatus, and optical disk recording apparatus |
| JP2006145998A (en) * | 2004-11-22 | 2006-06-08 | Olympus Corp | Virtual image display type information display system |
| JP2005115399A (en) * | 2004-12-22 | 2005-04-28 | Sony Corp | Display device and display method |
| JP2008237749A (en) * | 2007-03-28 | 2008-10-09 | Olympus Medical Systems Corp | Stereoscopic observation system |
| US10834380B2 (en) | 2015-02-19 | 2020-11-10 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
| WO2016132688A1 (en) | 2015-02-19 | 2016-08-25 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
| JP2016212177A (en) * | 2015-05-01 | 2016-12-15 | セイコーエプソン株式会社 | Transmission type display device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2986659B2 (en) | 1999-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0644701B1 (en) | Image taking and/or displaying system | |
| JP3129719B2 (en) | Video display device | |
| JP4635403B2 (en) | Stereoscopic image creation method and apparatus | |
| JP3186448B2 (en) | 3D TV camera | |
| US6721500B2 (en) | Apparatus for three dimensional photography | |
| US8780185B2 (en) | Image pickup apparatus having a display controlled using interchangeable lens information and/or finder information | |
| JPH0775137A (en) | Spectacles for stereoscopic image | |
| JP3478687B2 (en) | Compound eye imaging device | |
| JP2986659B2 (en) | Stereoscopic image imaging and display system | |
| JP2000036968A (en) | Compound eye image pickup device and compound eye image pickup method | |
| JP3205552B2 (en) | 3D image pickup device | |
| JP3478686B2 (en) | Compound eye imaging device | |
| JP3386082B2 (en) | Viewfinder in imaging equipment | |
| JPH08191462A (en) | Stereoscopic video reproducing device and stereoscopic image pickup device | |
| JPH10142552A (en) | Head mounted display | |
| JP2001016620A (en) | Image pickup device, its convergence distance decision method, storage medium and optical device | |
| JP3081377B2 (en) | 3D video phone | |
| JP2001016619A (en) | Image pickup device, its convergence distance decision method, storage medium and optical device | |
| JP2000152282A (en) | Stereoscopic picture photographing device | |
| JP5627930B2 (en) | 3D image data generation method | |
| JPH07264633A (en) | Stereoscopic video camera | |
| JPH10224821A (en) | Compound-eye camera and video display system using the same | |
| JP4496122B2 (en) | Stereoscopic video shooting and playback device | |
| JPH09182113A (en) | Three-dimensional solid video signal conversion device and video camera device using the device | |
| JPH03138634A (en) | Stereo camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081001 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091001 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101001 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101001 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111001 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111001 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121001 Year of fee payment: 13 |