JPH0916772A - Image recording and reproducing device - Google Patents
Image recording and reproducing deviceInfo
- Publication number
- JPH0916772A JPH0916772A JP7166233A JP16623395A JPH0916772A JP H0916772 A JPH0916772 A JP H0916772A JP 7166233 A JP7166233 A JP 7166233A JP 16623395 A JP16623395 A JP 16623395A JP H0916772 A JPH0916772 A JP H0916772A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image input
- subject
- calculating
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Image Processing (AREA)
Abstract
Description
【0001】[0001]
【産業上の利用分野】本発明は画像記録再生装置に係わ
り、特に、記録時に得た映像情報を基にして、再生時に
種々の映像効果をもたらすことのできるホームエンタテ
ィメント関連の装置に用いて好適なものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image recording / reproducing apparatus, and more particularly to a home entertainment-related apparatus capable of producing various image effects at the time of reproduction on the basis of image information obtained at the time of recording. Is suitable.
【0002】[0002]
【従来の技術】被写体までの距離を測定するための装置
として、従来より用いられている装置は、距離を測定し
ようとする被写体に対して何らかのエネルギー体を放射
する能動的な手法に基づく測距装置と、光電変換素子な
どで撮像された画像信号を解析する受動的な手法に基づ
く測距装置とに大別することができる。2. Description of the Related Art As a device for measuring a distance to a subject, a device conventionally used is a distance measuring method based on an active technique of radiating an energy body to a subject whose distance is to be measured. The device can be roughly classified into a device and a distance measuring device based on a passive method of analyzing an image signal captured by a photoelectric conversion element or the like.
【0003】上記能動的な手法に基づく測距装置として
は、電波、超音波、光などのエネルギー体を被写体に放
射して、それが被写体に当たって反射して戻ってくるま
での伝播時間を測定し、上記測定した伝播時間から、上
記被写体までの距離を算出するようにしている。A distance measuring device based on the above-mentioned active technique radiates an energetic body such as radio waves, ultrasonic waves, or light to a subject, and measures the propagation time until the subject hits the subject and is reflected back. The distance to the subject is calculated from the measured propagation time.
【0004】また、上記能動的な手法に基づく測距装置
の他の例では、適当な光源から規則的な模様を投影して
被写体表面に人工的な模様を生じさせる。そして、その
幾何学的な歪みから上記被写体の形状を求める手法を採
用した装置も広く利用されている(例えば、モアレトポ
グラフィー)。Further, in another example of the distance measuring apparatus based on the above-mentioned active technique, a regular pattern is projected from an appropriate light source to generate an artificial pattern on the surface of the subject. An apparatus that employs a method of obtaining the shape of the subject from the geometrical distortion is also widely used (for example, moire topography).
【0005】一方、上記受動的な手法に基づく測距装置
としては、複数の画像センサを用いて得られる画像間の
対応点の位置関係を検出し、上記検出結果から三角測量
の原理に基いて被写体までの距離を測定するようにした
装置が知られている。On the other hand, as a distance measuring device based on the above-mentioned passive method, the positional relationship between corresponding points between images obtained by using a plurality of image sensors is detected, and the detection result is based on the principle of triangulation. There is known a device that measures a distance to a subject.
【0006】また、上記受動的な手法に基づく測距装置
の他の例では、被写体表面が持つ模様の幾何学的な歪み
から、上記被写体の立体構造を求める手法を採用した装
置などがある。また、距離を測定しようとする被写体の
焦点からはずれている量から、被写体までの距離を求め
る手法を採用した装置も試みられている。Another example of the distance measuring apparatus based on the passive method is an apparatus which adopts a method of obtaining the three-dimensional structure of the subject from the geometric distortion of the pattern on the subject surface. Also, an apparatus that employs a method of obtaining the distance to the subject from the amount of deviation from the focus of the subject whose distance is to be measured has been attempted.
【0007】ところで、再生時に種々の映像効果をもた
らすようにした場合には、画像記録再生装置に保持して
おかなければならない映像データが非常に多くなってし
まう問題点があった。By the way, when various video effects are provided at the time of reproduction, there is a problem that a large amount of video data must be held in the image recording / reproducing apparatus.
【0008】すなわち、記録時に撮像された映像データ
や、上記撮像された映像データに、想定される種々の方
向からの画像を内挿して作成した複数の画像データを画
像記録再生装置に保持しておかなければならなかった。
そして、再生時には、上記保持しておいた複数の画像か
ら、所定の画像を選択的に出力して再生するようにして
いた。That is, the image data recorded at the time of recording, or a plurality of image data created by interpolating the imaged image data with images from various supposed directions are held in the image recording / reproducing apparatus. I had to go.
At the time of reproduction, a predetermined image is selectively output from the plurality of held images and reproduced.
【0009】[0009]
【発明が解決しようとする課題】しかしながら、上述の
ようにして種々の再生方法を実現するには、幾つかの問
題点があった。まず、第1の問題点としては、複数の映
像データを記録しておくための記録装置の記憶容量には
自ずと限界があるので、様々な視線方向から見た画像を
全て記録しておくのは現実的でなかった。However, there are some problems in realizing various reproducing methods as described above. First, as a first problem, since the storage capacity of the recording device for recording a plurality of video data is naturally limited, it is necessary to record all images viewed from various viewing directions. It wasn't realistic.
【0010】また、第2の問題点としては、立体情報抽
出に関することである。すなわち、上記従来例の能動的
な手法では、超音波やレーザー光などのエネルギー体を
距離を測定しようとする被写体に向けて放出し、上記被
写体に当たって反射してきたエネルギー体を検出するよ
うにしていた。A second problem relates to extraction of stereoscopic information. That is, in the active method of the conventional example, an energy body such as an ultrasonic wave or a laser beam is emitted toward a subject whose distance is to be measured, and the energy body reflected upon hitting the subject is detected. .
【0011】このため、上記エネルギー体を吸収してし
まうような物体に関しては測距できないという問題点が
あった。また、生体への悪影響を考慮すれば、レーザー
光等は放出することができないので、汎用性に乏しいと
いう問題点があった。Therefore, there is a problem that the distance cannot be measured for an object that absorbs the energy body. Further, in consideration of the adverse effect on the living body, laser light and the like cannot be emitted, so that there is a problem that the versatility is poor.
【0012】また、規則的な模様を投影する手法は、原
理的に被写体の相対的な立体情報を把握するための手法
であって、被写体までの絶対的な距離を求めることはで
きないという原理的な問題点を持っていた。Further, the method of projecting a regular pattern is a method for grasping the relative three-dimensional information of the subject in principle, and it is a principle that the absolute distance to the subject cannot be obtained. Had a problem.
【0013】第3の問題点としては、移動しながら被写
体を撮影した場合、撮像装置の移動方向および移動量を
簡便に知ることが困難であるという問題点があった。A third problem is that when a subject is photographed while moving, it is difficult to easily know the moving direction and moving amount of the image pickup device.
【0014】本発明は上述の問題点に鑑み、様々な視線
方向から見た画像を再生して鑑賞するために必要とされ
る記録装置の記憶容量を少なくできるようにすることを
第1の目的とする。In view of the above problems, it is a first object of the present invention to reduce the storage capacity of a recording device required for reproducing and viewing images viewed from various viewing directions. And
【0015】また、特別なエネルギー体を被写体に向け
て放出することなく被写体迄の距離情報を求めることが
できるようにすることを第2の目的とする。A second object is to be able to obtain the distance information to the subject without emitting a special energy body toward the subject.
【0016】さらに、撮像装置の移動方向および移動量
を簡便に分かるようにすることを第3の目的とする。A third object is to make it easy to know the moving direction and the moving amount of the image pickup apparatus.
【0017】[0017]
【課題を解決するための手段】本発明の画像記録再生装
置は、被写体を撮像して画像を入力するための画像入力
手段と、上記画像入力手段から入力される画像に基づい
て被写体迄の距離情報を算出する距離情報算出手段と、
上記画像入力手段から入力される画像に基づいて上記画
像入力手段の移動方向および移動量を算出する移動方向
/移動量算出手段と、上記距離情報算出手段によって算
出された被写体迄の距離情報と、上記移動方向/移動量
算出手段によって算出された上記画像入力手段の移動方
向および移動量とに基づいて、上記画像入力手段から入
力される画像に所定の画像処理を施すことにより、所定
の視線方向から見たような画像を生成する画像生成手段
とを具備している。SUMMARY OF THE INVENTION An image recording / reproducing apparatus of the present invention comprises an image inputting means for picking up an image of a subject and inputting the image, and a distance to the subject based on the image inputted from the image inputting means. Distance information calculating means for calculating information,
A moving direction / moving amount calculating means for calculating a moving direction and a moving amount of the image inputting means on the basis of an image inputted from the image inputting means, and distance information to a subject calculated by the distance information calculating means, Based on the moving direction and the moving amount of the image input unit calculated by the moving direction / moving amount calculating unit, a predetermined image processing is performed on the image input from the image input unit to thereby obtain a predetermined line-of-sight direction. And an image generating means for generating an image as viewed from above.
【0018】また、本発明の他の特徴とするところは、
複数または単数の画像入力装置を有し、被写体を撮像し
て画像を入力するための画像入力手段と、上記画像入力
手段によって入力された画像を記憶するための記憶手段
と、上記画像入力手段によって入力された画像から上記
画像入力手段の移動方向および移動量を算出する移動方
向/移動量算出手段と、上記画像入力手段によって撮像
される被写体迄の距離情報を算出する距離情報算出手段
と、上記距離情報算出手段によって算出された被写体迄
の距離情報、および上記移動方向/移動量算出手段によ
って算出された上記画像入力手段の移動方向および移動
量に基づいて、上記画像入力手段によって入力された画
像を補間する画像補間手段と、上記距離情報算出手段に
よって算出された被写体迄の距離情報、および上記移動
方向/移動量算出手段によって算出された上記画像入力
手段の移動方向および移動量に基づいて、上記画像入力
手段によって入力された画像を、所定の視線方向から見
たように変換する画像変換手段と、上記画像補間手段に
よって補間された画像を再生する画像再生手段と、上記
画像再生手段によって再生される画像の再生順序を入力
する再生順序入力手段とを具備し、 上記画像入力手段
によって入力された画像を、その画像を撮影した範囲に
おける任意の視点、および任意の視線方向から見た平面
画像もしくは立体画像として再生するようにしたことを
特徴としている。Another feature of the present invention is that
An image input device for capturing an image of a subject and inputting an image, a storage device for storing the image input by the image input device, and an image input device having a plurality of or a single image input device. Moving direction / moving amount calculating means for calculating the moving direction and moving amount of the image input means from the input image; distance information calculating means for calculating distance information to a subject imaged by the image input means; The image input by the image input unit based on the distance information to the subject calculated by the distance information calculation unit and the moving direction and the moving amount of the image input unit calculated by the moving direction / moving amount calculating unit. Image interpolating means for interpolating, distance information to the object calculated by the distance information calculating means, and the moving direction / moving amount calculation An image conversion unit for converting the image input by the image input unit as seen from a predetermined line-of-sight direction based on the moving direction and the moving amount of the image input unit calculated by the step, and the image interpolation unit. Image reproduction means for reproducing the image interpolated by the image reproduction means, and reproduction order input means for inputting the reproduction order of the images reproduced by the image reproduction means. It is characterized in that the image is reproduced as a plane image or a stereoscopic image viewed from an arbitrary viewpoint and an arbitrary line-of-sight direction in the captured range.
【0019】また、本発明のその他の特徴とするところ
は、上記画像入力手段によって入力される画像内の基準
点を入力する基準点入力手段を具備し、上記移動方向/
移動量算出手段は、上記基準点入力手段より入力された
基準点に応じて上記画像入力装置の移動方向および移動
量を算出することを特徴としている。Another feature of the present invention is that it comprises a reference point inputting means for inputting a reference point in the image inputted by the image inputting means, and the moving direction /
The movement amount calculation means is characterized by calculating the movement direction and the movement amount of the image input device according to the reference point input from the reference point input means.
【0020】[0020]
【作用】本発明は上記技術手段を有するので、様々な視
線方向から見た画像を画像処理によって生成するように
したので、種々の画像を鑑賞するために記憶手段に記憶
しておかなければならない映像データの量を可及的に少
なくすることができるようになり、必要とされる記録装
置の記憶容量を少なくすることが可能となる。Since the present invention has the above-mentioned technical means, the images viewed from various viewing directions are generated by the image processing. Therefore, various images must be stored in the storage means in order to be viewed. The amount of video data can be reduced as much as possible, and the required storage capacity of the recording device can be reduced.
【0021】また、本発明の他の特徴によれば、被写体
迄の距離情報を、画像入力手段から入力される画像に基
づいて算出するようにしたので、特別なエネルギー体を
被写体に向けて放出することなく被写体迄の距離情報を
求めることができる。According to another feature of the present invention, the distance information to the subject is calculated based on the image input from the image input means, so that a special energy body is emitted toward the subject. It is possible to obtain the distance information to the subject without doing so.
【0022】また、本発明のその他の特徴によれば、上
記画像入力手段の移動方向および移動量を、上記画像入
力手段によって入力された画像から算出するようにした
ので、上記画像入力手段の移動方向および移動量が簡便
に分かるようになる。According to another feature of the present invention, since the moving direction and the moving amount of the image input means are calculated from the image input by the image input means, the movement of the image input means is calculated. The direction and movement amount can be easily known.
【0023】[0023]
【実施例】以下、本発明の画像記録再生装置の実施例を
図面を参照して説明する。図1は、本発明の画像記録再
生装置の要部の構成を示す機能構成図である。図1に示
すように、本実施例の画像記録再生装置は、画像入力手
段1、記憶手段2、移動方向/移動量算出手段3、距離
情報算出手段4、画像補間手段5、画像再生手段6、再
生順序入力手段7、画像変換手段8、基準点入力手段
9、画像生成手段10、表示手段11を具備している。Embodiments of the image recording / reproducing apparatus of the present invention will be described below with reference to the drawings. FIG. 1 is a functional configuration diagram showing a configuration of a main part of the image recording / reproducing apparatus of the present invention. As shown in FIG. 1, the image recording / reproducing apparatus of the present embodiment includes an image input unit 1, a storage unit 2, a moving direction / moving amount calculating unit 3, a distance information calculating unit 4, an image interpolating unit 5, and an image reproducing unit 6. , A reproduction order input means 7, an image conversion means 8, a reference point input means 9, an image generation means 10, and a display means 11.
【0024】上記画像入力手段1は、被写体(図示せ
ず)を撮像して画像を入力するために設けられているも
のであり、詳細な構成は後述する。記憶手段2は、上記
画像入力手段1によって入力された画像データを記憶し
て保持するためのものである。移動方向/移動量算出手
段3は、上記画像入力手段1から入力される画像に基づ
いて、上記画像入力手段1の移動方向および移動量を算
出する。The image input means 1 is provided for picking up an image of a subject (not shown) and inputting an image, and the detailed structure will be described later. The storage unit 2 is for storing and holding the image data input by the image input unit 1. The movement direction / movement amount calculation means 3 calculates the movement direction and movement amount of the image input means 1 based on the image input from the image input means 1.
【0025】距離情報算出手段4は、上記画像入力手段
1によって撮像される被写体迄の距離に関する情報を、
上記画像入力手段から入力される画像に基づいて算出す
るためのものである。画像補間手段5は、上記距離情報
算出手段4によって算出された被写体迄の距離情報と、
上記移動方向/移動量算出手段3によって算出された上
記画像入力手段1の移動方向および移動量に基づいて、
上記画像入力手段1によって入力された画像を補間する
ためのものである。The distance information calculation means 4 obtains information on the distance to the object imaged by the image input means 1,
The calculation is based on the image input from the image input means. The image interpolating means 5 stores the distance information to the subject calculated by the distance information calculating means 4,
Based on the moving direction and the moving amount of the image input means 1 calculated by the moving direction / moving amount calculating means 3,
It is for interpolating the image input by the image input means 1.
【0026】画像再生手段6は、上記画像補間手段5に
よって補間された画像を再生するためのものである。再
生順序入力手段7は、上記画像再生手段6によって再生
される画像の再生順序を入力するためのものである。The image reproduction means 6 is for reproducing the image interpolated by the image interpolation means 5. The reproduction order input means 7 is for inputting the reproduction order of the images reproduced by the image reproduction means 6.
【0027】また、画像変換手段8は、上記距離情報算
出手段4によって算出された被写体迄の距離情報と、上
記移動方向/移動量算出手段3によって算出された上記
画像入力手段1の移動方向および移動量に基づいて画像
処理を行い、上記画像入力手段1によって入力された画
像を、所定の視線方向から見たように変換するためのも
のである。The image conversion means 8 also includes distance information to the object calculated by the distance information calculation means 4, the movement direction of the image input means 1 calculated by the movement direction / movement amount calculation means 3, and This is for performing image processing based on the amount of movement and converting the image input by the image input means 1 as viewed from a predetermined line-of-sight direction.
【0028】本実施例においては、上記画像変換手段8
と上記画像補間手段5によって、画像生成手段10が構
成されていて、上記画像入力手段1から入力される画像
に所定の画像処理を施すことにより、所定の視線方向か
ら見たような画像を生成するようにしている。In this embodiment, the image conversion means 8 is used.
The image interpolating means 5 constitutes the image generating means 10, and by applying a predetermined image processing to the image input from the image input means 1, an image as viewed from a predetermined line-of-sight direction is generated. I am trying to do it.
【0029】基準点入力手段9は、上記画像入力手段1
によって入力される画像内の基準点を入力するためのも
のである。表示手段11は、画像入力手段1の移動量を
検出するための基準となる基準点を入力するために設け
られているものである。The reference point input means 9 is the image input means 1 described above.
It is for inputting a reference point in the image input by. The display means 11 is provided for inputting a reference point that serves as a reference for detecting the amount of movement of the image input means 1.
【0030】本実施例の画像記録再生装置は、上述のよ
うに構成されているので、様々な視線方向から見た画像
を画像処理によって生成することができる。これによ
り、種々の画像を鑑賞するために記憶手段に記憶してお
かなければならない映像データの量を可及的に少なくす
ることができるようになるので、映像データを記憶する
ための記憶容量を少なくすることができ、装置の簡素化
および低価格を図ることができる。Since the image recording / reproducing apparatus of this embodiment is configured as described above, it is possible to generate images viewed from various viewing directions by image processing. This makes it possible to reduce the amount of video data that must be stored in the storage means for viewing various images as much as possible, so that the storage capacity for storing video data can be reduced. The number can be reduced, and the device can be simplified and the cost can be reduced.
【0031】また、本実施例においては、被写体迄の距
離情報を、画像入力手段1から入力される画像に基づい
て算出するようにしているので、特別なエネルギー体を
被写体に向けて放出することなく被写体迄の距離情報を
求めることができる。これにより、上述した従来例のよ
うに、超音波やレーザー光などのエネルギー体を距離を
測定しようとする被写体に向けて放出しなくても済む。Further, in this embodiment, the distance information to the subject is calculated based on the image input from the image input means 1, so that a special energy body is emitted toward the subject. Instead, information on the distance to the subject can be obtained. As a result, unlike the conventional example described above, it is not necessary to emit an energetic body such as ultrasonic waves or laser light toward the subject whose distance is to be measured.
【0032】したがって、上述したようなエネルギー体
を吸収してしまうような物体に関しても測距することが
できるようになるとともに、生体へ悪影響を与えること
なく測距を行うことができるようになる。Therefore, it becomes possible to measure the distance of an object that absorbs the energy body as described above, and it becomes possible to measure the distance without adversely affecting the living body.
【0033】また、本実施例においては、上記画像入力
手段1の移動方向および移動量を、上記画像入力手段1
によって入力された画像から算出するようにしたので、
特別の機器を設けることなく画像入力手段1の移動方向
および移動量を知ることができる。Further, in this embodiment, the moving direction and the moving amount of the image input means 1 are determined by the image input means 1.
Since it was calculated from the image input by
It is possible to know the moving direction and the moving amount of the image input unit 1 without providing a special device.
【0034】以下、本発明の画像記録再生装置のより具
体的な構成および動作を、図面に従って説明する。図2
は、本発明に基づく3次元形状測定装置の構成を示すブ
ロック図である。まず、この3次元形状測定装置の構成
に関して説明する。A more specific structure and operation of the image recording / reproducing apparatus of the present invention will be described below with reference to the drawings. FIG.
FIG. 3 is a block diagram showing a configuration of a three-dimensional shape measuring apparatus based on the present invention. First, the configuration of this three-dimensional shape measuring apparatus will be described.
【0035】図2において、破線のブロック100およ
び101は、被計測体(図示せず)を撮像して画像デー
タとして取り込むための画像入力部である。なお、上記
破線のブロック100および101は同じ構成なので、
以後の説明はこれらの破線のブロック100および10
1内の各部を同時に説明する。In FIG. 2, blocks 100 and 101 indicated by broken lines are image input units for picking up an image of an object to be measured (not shown) and taking it in as image data. Since the blocks 100 and 101 indicated by broken lines have the same configuration,
The description that follows will refer to these dashed blocks 100 and 10
Each part in 1 will be described at the same time.
【0036】110(111)は、被計測体を撮像する
撮像レンズである。120(121)は撮像素子であ
り、例えばCCDのような光電変換素子が用いられてい
る。130(131)は、上記撮像素子110(11
1)の出力信号を保持するサンプルホールド(S/H)
回路である。140(141)は、オートゲインコント
ロール(AGC)回路であり、150(151)は、ア
ナログ−ディジタル変換器(A/D)変換器である。Reference numeral 110 (111) is an imaging lens for imaging the object to be measured. Reference numeral 120 (121) is an image pickup device, and for example, a photoelectric conversion device such as a CCD is used. 130 (131) is the image pickup device 110 (11
Sample hold (S / H) that holds the output signal of 1)
Circuit. Reference numeral 140 (141) is an automatic gain control (AGC) circuit, and 150 (151) is an analog-digital converter (A / D) converter.
【0037】また、破線ブロック200は、画像入力部
100(101)の移動量を検出するための基準となる
基準点を入力するための基準点入力部であり、表示装置
210およびポインティングデバイス220によって構
成されている。A broken-line block 200 is a reference point input section for inputting a reference point serving as a reference for detecting the amount of movement of the image input section 100 (101), and is controlled by the display device 210 and the pointing device 220. It is configured.
【0038】上記表示装置210は、例えばCRTディ
スプレイやLCDディスプレイなどが用いられている。
また、上記ポインティングデバイス220は、上記表示
装置210に表示された画像に対して、同一点を入力し
て行くために設けられているものである。As the display device 210, for example, a CRT display or LCD display is used.
The pointing device 220 is provided for inputting the same point on the image displayed on the display device 210.
【0039】破線のブロック300は画像処理部であ
り、上記画像入力部100および101から入力される
画像信号に、処理部1320において所定の処理を施す
ことにより、被計測体までの距離を算出するためのもの
である。また、1310は画像データを一定時間保持す
るための画像メモリである。A block 300 indicated by a broken line is an image processing unit. The processing unit 1320 performs a predetermined process on the image signals input from the image input units 100 and 101 to calculate the distance to the object to be measured. It is for. Further, 1310 is an image memory for holding image data for a certain period of time.
【0040】撮像レンズ110(111)は、被計測体
からの反射光を撮像素子120(121)上に導き、上
記被計測体を上記撮像素子120(121)上にそれぞ
れ結像させる。The imaging lens 110 (111) guides the reflected light from the object to be measured onto the image sensor 120 (121), and forms an image of the object to be measured on the image sensor 120 (121).
【0041】撮像素子120(121)は、上記結像さ
れた被計測体を光電変換して画像信号を生成し、(S/
H)回路130(131)に導出する。S/H回路13
0(131)は、撮像素子120(121)から出力さ
れる画像信号をそれぞれ保持する。The image sensor 120 (121) photoelectrically converts the imaged object to be measured to generate an image signal, and (S /
H) It leads to the circuit 130 (131). S / H circuit 13
0 (131) holds the image signal output from the image sensor 120 (121).
【0042】上記S/H回路130(131)の次段に
設けられているAGC回路140(141)は、画像信
号の利得を自動的に制御する。A/D変換器150(1
51)は、AGC回路140(141)の出力をそれぞ
れアナログ−ディジタル変換し、ディジタルの画像デー
タを出力する。The AGC circuit 140 (141) provided in the next stage of the S / H circuit 130 (131) automatically controls the gain of the image signal. A / D converter 150 (1
51) performs analog-digital conversion on the output of the AGC circuit 140 (141), and outputs digital image data.
【0043】画像メモリ1310は、上記A/D変換器
150(151)から与えられる画像データを一定時間
記憶して、時系列な画像間の演算を可能にするためのも
のである。The image memory 1310 is for storing the image data given from the A / D converter 150 (151) for a certain period of time, and enabling the time-series calculation between images.
【0044】次に、画像入力部100(101)の移動
量を検出する手順を説明する。図3の移動量検出手順説
明図に示すように、表示装置210の上段には、時刻t
の時の画像である第1の画像310および第2の画像3
11がそれぞれ表示されている。Next, a procedure for detecting the movement amount of the image input section 100 (101) will be described. As shown in the movement amount detection procedure explanatory diagram of FIG. 3, the time t is displayed on the upper stage of the display device 210.
First image 310 and second image 3 which are images at the time of
11 are displayed respectively.
【0045】また、表示装置210の下段には、時刻t
+Δtの時の画像である第3の画像320および第4の
画像321が表示されている。上記第1の画像310
は、時刻tにおける画像入力部100で得られる画像で
あり、第3の画像320は時刻Δt後の画像入力部10
0で得られる画像である。Further, at the bottom of the display device 210, the time t
A third image 320 and a fourth image 321 which are images at + Δt are displayed. The first image 310
Is an image obtained by the image input unit 100 at time t, and the third image 320 is the image input unit 10 after time Δt.
It is an image obtained with 0.
【0046】ここで、時刻Δt間に画像入力部100が
仮に(Bx 、By 、Bz )移動し、画像入力部100の
方向が(ω、φ、χ)回転したとする。この時の画像の
座標系を図4に示すと、まず、画像310のカメラ主点
OL を原点とし、x軸、y軸がそれぞれul 軸、vl 軸
と平行になる座標系(xl 、y l 、zl )と考え、画像
310の中心位置を(0、0、0)、画像入力部100
の姿勢を(0、0、0)とした。Here, during time Δt, the image input unit 100
If (Bx, By, Bz) Move to the image input unit 100
Suppose the direction has rotated (ω, φ, χ). Of the image at this time
The coordinate system is shown in FIG.
OLIs the origin, and the x and y axes are ulAxis, vlaxis
Coordinate system (xl, Y l, Zl), The image
The center position of 310 is (0, 0, 0), and the image input unit 100
Was set to (0, 0, 0).
【0047】上述したように、第3の画像320を撮像
する画像入力部100の位置は(B x 、By 、Bz )と
なり、姿勢は(ω、φ、χ)となるので、Bx を単位長
さとすると、As described above, the third image 320 is captured.
The position of the image input unit 100 x, By, Bz)When
And the posture becomes (ω, φ, χ), so BxUnit length
Then,
【0048】[0048]
【数1】 [Equation 1]
【0049】[0049]
【数2】 (Equation 2)
【0050】の関係が成立する。ただし、by =By /
Bx であり、bz =Bz /Bx である。また、fは画像
入力部100の焦点距離である。今、(by 、bz )、
(ω、φ、χ)は未知数である。この未知数は、The relationship of is established. However, b y = B y /
B x and b z = B z / B x . Further, f is the focal length of the image input unit 100. Now, (b y, b z) ,
(Ω, φ, χ) is an unknown number. This unknown is
【0051】[0051]
【数3】 (Equation 3)
【0052】を満足するように決定される。これは、2
つの画像310、320から同一と認識できる点を5点
以上選定し、それぞれの画像上での座標を用いて、最小
2乗法を適用して、5つの未知数by 、bz 、ω、φ、
χが求められる。Is determined so that This is 2
From the images 310 and 320, five or more points that can be recognized as the same are selected, the least squares method is applied using the coordinates on each image, and five unknowns b y , b z , ω, φ,
χ is required.
【0053】すなわち、上述の式から相対的な画像入力
部100の移動量が求まる。例えば、図3中の310
1、3102、3103、3104、3105に対し
て、3201、3202、3203、3204、320
5を選定する。この選定は、ポインティングデバイス2
20を用いて行う。That is, the relative movement amount of the image input section 100 can be obtained from the above equation. For example, 310 in FIG.
3201, 3202, 3203, 3204, 320 for 1, 3102, 3103, 3104, 3105
Select 5. This selection is made by pointing device 2.
20 is used.
【0054】また、入力された相対点な移動量by 、b
z を、画像入力部100と101の間の基線長Bで規格
化することもできる。これは、第1の画像310、第2
の画像311、第3の画像320に共通に撮像されてい
る点3101、3111、3201を用いて、距離zを
求める。Further, the input relative point movement amounts b y , b
It is also possible to standardize z by the base line length B between the image input units 100 and 101. This is the first image 310, the second
The distance z is obtained using the points 3101, 3111, 3201 that are commonly imaged in the image 311 and the third image 320.
【0055】例えば、簡単のために、画像入力部100
(101)は平行に配置され、画像入力部100(10
1)が平行に移動されたとする。この時、距離zは、3
101、3111より、 z=fB/d …(1式) により求まる。ただし、dは3101、3111の画像
上でのul 座標の差である。For example, for simplicity, the image input unit 100
(101) are arranged in parallel, and the image input unit 100 (10
Suppose 1) was moved in parallel. At this time, the distance z is 3
From 101 and 3111, z = fB / d (1) However, d is the difference between u l coordinates on the image of 3101,3111.
【0056】また、3101、3201より、 z′=fBx /d′ …(2式) が求まる。ただし、d′は上記と同様3101、320
1の画像上でのu座標の差である。Further, from 3101 and 3201, z '= fB x / d' ... (Equation 2) is obtained. However, d'is the same as above with 3101 and 320
It is the difference of the u coordinate on the image of 1.
【0057】今、z=z′より、Bx=d′/dBとな
る。したがって、相対移動量byは、 by=By/Bx =By/(d′/dB) …(3式) となる。Now, from z = z ', Bx = d' / dB. Therefore, the relative movement amount by becomes by = By / Bx = By / (d '/ dB) (Equation 3).
【0058】同様に、相対移動量bz は、 bz =Bz /BX =Bz /(d′/dB) …(4式) となる。よって、下記の数4で画像入力部100の位置
は(Bx 、By 、Bz )が求まる。よって、Similarly, the relative movement amount b z is as follows : b z = B z / B x = B z / (d '/ dB) (Equation 4) Therefore, the position of the image input unit 100 by the number 4 below (B x, B y, B z) is obtained. Therefore,
【0059】[0059]
【数4】 (Equation 4)
【0060】となり、Bx 、By 、Bz が求まる。Then, B x , B y and B z are obtained.
【0061】次に、上記構成の撮像装置を用いて撮像す
る状況に関して説明する。図5の模式図に示すように、
例えば動物園の檻30の前で上述した構成の複眼カメラ
32を使用して被写体33を撮像する場合を例にして説
明する。Next, the situation where an image is picked up using the image pick-up device having the above construction will be described. As shown in the schematic diagram of FIG.
For example, a case where the compound eye camera 32 having the above-described configuration is used in front of the cage 30 of the zoo to image the subject 33 will be described as an example.
【0062】ユーザ35が、図中矢印線31のように動
きながら被写体33を撮像し、35´および32´で示
した位置までユーザ35および複眼カメラ32が移動し
たとする。この時、撮像位置と撮像した画像の関係を模
式的に示すと、図6の模式図のようになる。It is assumed that the user 35 takes an image of the subject 33 while moving as shown by an arrow line 31 in the figure, and the user 35 and the compound eye camera 32 move to the positions indicated by 35 'and 32'. At this time, the relationship between the image pickup position and the imaged image is schematically shown in the schematic diagram of FIG.
【0063】ここで、横軸40は撮像した画像の範囲
(被写体面での広さ)に相当する。また、縦軸tは時間
軸である。図6中において、41、410で示される線
が複眼の撮像装置32で撮像したそれぞれの画像の範囲
を示している。Here, the horizontal axis 40 corresponds to the range of the picked-up image (width on the object plane). The vertical axis t is the time axis. In FIG. 6, the lines 41 and 410 indicate the range of each image captured by the compound-eye imaging device 32.
【0064】次に、時刻t0 から時刻t1 になった時を
考える。なお、簡単のために、複眼カメラ32が平行に
シフトしたと考える。その移動量は上述のようにBz と
算出されている。Next, let us consider the time when the time t 0 changes to the time t 1 . Note that, for simplicity, it is considered that the compound eye camera 32 is shifted in parallel. The amount of movement is calculated as B z as described above.
【0065】この時、上述したように被写体距離Zi t
1 を求める。上記被写体距離Zi t 1 の算出は、図7に
示すように、複眼の撮像装置32で撮像した画像の範囲
41、410を、距離算出部510に与えて行う。な
お、上記距離算出部510には撮像パラメータが与えら
れている。At this time, as described above, the subject distance Zit
1Ask for. Subject distance Zit 1The calculation of
As shown, the range of the image captured by the compound-eye imaging device 32
41 and 410 are given to the distance calculation unit 510 to perform the calculation. What
It should be noted that the distance calculation unit 510 is provided with imaging parameters.
Have been.
【0066】上記距離算出部510において算出された
被写体距離Zi t1 は、被写体距離連結部500に入力
される。上記被写体距離連結部500では、距離算出部
510から入力された被写体距離Zi t1 と、移動量算
出回路510から入力された移動量Bとのベクトル加算
を行う。The subject distance Z i t 1 calculated by the distance calculating unit 510 is input to the subject distance connecting unit 500. The subject distance connection unit 500 performs vector addition of the subject distance Z i t 1 input from the distance calculation unit 510 and the movement amount B input from the movement amount calculation circuit 510.
【0067】したがって、時刻t0 の場所のカメラの位
置を基準とすると、上記被写体距離Zi t1 は、 Zi t1 ′=Zi t1 +Bz …(5式) に換算される。Therefore, with reference to the position of the camera at the time t 0 , the subject distance Z i t 1 is converted into Z i t 1 ′ = Z i t 1 + B z (Equation 5).
【0068】同様に、被写体距離Xi t1 および被写体
距離Yi t1 も、移動量Bx 、Byがそれぞれ加算され
る。この時、求められる物点の数は、時刻tが増す毎に
詳細になって行き、図5に示すように撮像することによ
り、広範囲でかつ詳細な距離情報(Zj )501を得る
ことができる。Similarly, the moving distances B x and B y are added to the subject distance X i t 1 and the subject distance Y i t 1 , respectively. At this time, the number of object points to be obtained becomes more detailed as the time t increases, and by taking an image as shown in FIG. 5, a wide range and detailed distance information (Z j ) 501 can be obtained. it can.
【0069】上述ようにして得られた画像を再生する手
順は、例えば、図8のようにして行う。すなわち、ま
ず、図8(a)に示すように、画像は撮像時の動き線3
1に従って画像の範囲41、410が順々に入力され
る。次に、再生順序710が入力されていく。そして、
上記再生順序710中の任意の点1210における再生
画像は、以下のようにして選択される。The procedure for reproducing the image obtained as described above is performed, for example, as shown in FIG. That is, first, as shown in FIG. 8A, the image is the movement line 3 at the time of image capturing.
According to 1, the image ranges 41 and 410 are sequentially input. Next, the reproduction order 710 is input. And
The playback image at any point 1210 in the playback order 710 is selected as follows.
【0070】すなわち、上記任意の点1210から撮像
時の動き線31へ垂線を下ろし、その交点を挟む画像7
0L、70R、71L、71Rが選択される。上記選択
された画像を、図8(b)に示す。That is, an image 7 is drawn by drawing a perpendicular from the arbitrary point 1210 to the motion line 31 at the time of image pickup, and sandwiching the intersection.
0L, 70R, 71L and 71R are selected. The selected image is shown in FIG.
【0071】図8(b)に示すように、立方体の被写体
をちょうど両側から見るようになっている画像70L、
70Rと、右側へ動き量111だけ動いた場所から見た
画像71L、71Rとが撮像されている。As shown in FIG. 8 (b), an image 70L in which a cubic object is viewed from both sides,
70R and images 71L and 71R viewed from a position moved to the right by the movement amount 111 are captured.
【0072】次に、この4つの画像70L、70R、7
1L、71Rから、任意の時刻に相当するように補間す
る処理と、上述して得た距離情報を利用して、視線方向
から見たように画像を変換する処理が行われる。Next, the four images 70L, 70R, 7
From 1L and 71R, a process of interpolating so as to correspond to an arbitrary time and a process of converting an image as viewed from the line-of-sight direction using the distance information obtained above are performed.
【0073】その結果、図8(C)に示すように、72
L、72Rの画像が生成される。この2つの画像72
L、72Rが、例えばHMD(ヘッドマウンテッドディ
スプレイ)等のディスプレイに表示される。As a result, as shown in FIG.
Images of L and 72R are generated. These two images 72
L and 72R are displayed on a display such as an HMD (head mounted display).
【0074】次に、本発明の第2の実施例を説明する。
第2の実施例としては、図9に示すような3次元形状測
定部の構成を説明する。以下、上記3次元形状測定部の
構成等について説明する。Next, a second embodiment of the present invention will be described.
As a second embodiment, the configuration of the three-dimensional shape measuring unit as shown in FIG. 9 will be described. Hereinafter, the configuration and the like of the three-dimensional shape measuring unit will be described.
【0075】本実施例の3次元形状測定部は、図1に示
した複眼の3次元形状測定部と同様に、破線のブロック
800は被計測体(図示せず)を撮像して画像データと
して取り込む画像入力部である。In the three-dimensional shape measuring section of this embodiment, the broken-line block 800 images the object to be measured (not shown) as image data as in the compound eye three-dimensional shape measuring section shown in FIG. This is an image input unit for capturing.
【0076】また、810は被計測体を撮像する撮像レ
ンズ、820は例えばCCDのような撮像素子、830
は上記撮像素子の出力信号を保持するサンプルホールド
(S/H)回路、840はオートゲインコントロール
(AGC)回路、850はアナログ−ディジタル変換器
(A/D)である。Further, 810 is an image pickup lens for picking up an image of the object to be measured, 820 is an image pickup element such as CCD, and 830.
Is a sample hold (S / H) circuit that holds the output signal of the image pickup device, 840 is an automatic gain control (AGC) circuit, and 850 is an analog-digital converter (A / D).
【0077】破線ブロック8200は、上記画像入力部
800の移動量を算出するために、基準となる点を入力
するための基準点入力部である。8210は、例えばC
RTディスプレイやLCDディスプレイなどの表示装置
である。また、8220はポインティングデバイスであ
り、表示装置8210に表示された画像に対して、同一
点を入力していくためのものである。A broken line block 8200 is a reference point input unit for inputting a reference point for calculating the movement amount of the image input unit 800. 8210 is, for example, C
It is a display device such as an RT display or an LCD display. 8220 is a pointing device for inputting the same point on the image displayed on the display device 8210.
【0078】このような構成において、上記画像入力部
800によって撮像された画像信号は、表示装置821
0へ向けて出力される。上記画像信号が表示装置821
0へ供給される迄の信号供給路には、遅延素子840
1、8402、8403が設けられており、時系列的に
撮像された4つの画像が、表示装置8210内の第1〜
第4のウインドウ8211、8212、8213、82
14に同時に表示されるよう設定されている。In such a structure, the image signal picked up by the image input section 800 is displayed on the display device 821.
It is output toward 0. The image signal is displayed on the display device 821.
The delay element 840 is provided in the signal supply path until the signal is supplied to 0.
1, 8402, and 8403 are provided, and four images captured in time series are first to first in the display device 8210.
Fourth windows 8211, 8212, 8213, 82
It is set to be displayed on 14 simultaneously.
【0079】上述のようにして、4つのウインドウ画像
が表示された後で行う、移動量算出のためのデータ入力
は上述と同様である。ただし、本実施においては、複眼
の基線長Bに相当する絶対指標がないので、第1のウイ
ンドウ8211、第2のウインドウ8212で求められ
た動き量を基準量として相対的な全体の距離情報を抽出
するようにしている。As described above, the data input for calculating the movement amount, which is performed after the four window images are displayed, is the same as that described above. However, in the present embodiment, since there is no absolute index corresponding to the baseline length B of the compound eye, the relative total distance information is calculated using the movement amount obtained in the first window 8211 and the second window 8212 as the reference amount. I try to extract it.
【0080】[0080]
【発明の効果】本発明は上述したように、入力される画
像に基づいて被写体迄の距離情報を算出するとともに、
上記入力される画像に基づいて画像入力手段の移動方向
および移動量を算出するようにし、さらに、上記算出し
た被写体迄の距離情報と、上記算出した画像入力手段の
移動方向および移動量とに基づいて、上記画像入力手段
から入力される画像に所定の画像処理を施して、所定の
視線方向から見たような画像を生成するようにしたの
で、様々な視線方向から見た画像を画像処理によって生
成することができる。これにより、種々の画像を鑑賞す
るために記憶手段に記憶しておかなければならない映像
データの量を可及的に少なくすることができるので、映
像データを記憶するために必要な記憶容量を少なくする
ことができるようになる。これにより、撮像した被写体
に対して任意の視点位置、視線方向で、立体画像あるい
は平面画像として、任意の再生手順で画像を観賞するこ
とができる装置の構成を簡素化することができる。As described above, the present invention calculates distance information to a subject based on an input image, and
The moving direction and the moving amount of the image input means are calculated based on the input image, and further based on the calculated distance information to the subject and the calculated moving direction and the moving amount of the image input means. Then, the image input from the image input means is subjected to predetermined image processing to generate an image as viewed from a predetermined line-of-sight direction. Can be generated. As a result, the amount of video data that must be stored in the storage means for viewing various images can be reduced as much as possible, so that the storage capacity required for storing the video data can be reduced. You will be able to. As a result, it is possible to simplify the configuration of a device that allows a user to view an image as a stereoscopic image or a planar image at an arbitrary viewpoint position and line-of-sight direction in an arbitrary reproduction procedure with respect to the captured subject.
【0081】また、本発明の他の特徴によれば、被写体
迄の距離情報を、画像入力手段から入力される画像に基
づいて算出するようにしているので、特別なエネルギー
体を被写体に向けて放出することなく被写体迄の距離情
報を求めることができる。これにより、上述した従来例
のように、超音波やレーザー光などのエネルギー体を被
写体に向けて放出することなく被写体迄の距離を知るこ
とができる。したがって、上述したようなエネルギー体
を吸収してしまうような物体に関しても測距することが
できるとともに、生体へ悪影響を与えることなく測距を
行うことができるようになる。Further, according to another feature of the present invention, the distance information to the subject is calculated based on the image input from the image input means, so that a special energy body is aimed at the subject. It is possible to obtain the distance information to the subject without releasing it. As a result, unlike the above-described conventional example, the distance to the subject can be known without emitting energetic bodies such as ultrasonic waves and laser light toward the subject. Therefore, it is possible to measure the distance even for an object that absorbs the energy body as described above, and it is possible to perform the distance measurement without adversely affecting the living body.
【図1】本発明の第1の実施例を示し、画像記録再生装
置の概略構成を示す機能構成図である。FIG. 1 is a functional configuration diagram showing a schematic configuration of an image recording / reproducing apparatus according to a first embodiment of the present invention.
【図2】複眼撮像装置および移動量算出部の構成を示す
ブロック図である。FIG. 2 is a block diagram showing the configurations of a compound-eye imaging device and a movement amount calculation unit.
【図3】移動量算出のために必要となる基準点を入力す
る様子を示す模式図である。FIG. 3 is a schematic diagram showing how to input a reference point required for calculating a movement amount.
【図4】複眼撮像装置が移動する前の画像と移動した後
の画像との関係を示す図である。FIG. 4 is a diagram showing a relationship between an image before the compound-eye imaging device moves and an image after the compound-eye imaging device moves.
【図5】複眼撮像装置を用いて被写体を撮像する様子を
説明する図である。FIG. 5 is a diagram illustrating a manner in which a subject is imaged using a compound-eye imaging device.
【図6】図5の手順で撮像された画像の撮像範囲と時刻
との関係を示す図である。6 is a diagram showing a relationship between an image capturing range of an image captured by the procedure of FIG. 5 and time.
【図7】被写体の距離情報を抽出していく装置の構成を
示すブロック図である。FIG. 7 is a block diagram showing a configuration of an apparatus for extracting distance information of a subject.
【図8】被写体の再生状況を説明する図である。FIG. 8 is a diagram illustrating a reproduction status of a subject.
【図9】本発明の第2の実施例を示し、単眼撮像装置な
らびに移動量算出部のブロック図である。FIG. 9 is a block diagram of a monocular imaging device and a movement amount calculation unit according to the second embodiment of the present invention.
210 表示装置 220 ポインティングデバイス 310、311、320、321 画像 41、410 画像 500 被写体距離連結部 710 再生手順 70L、70R、71L、71R 入力画像 72L、72R 再生画像 210 display device 220 pointing device 310, 311, 320, 321 image 41, 410 image 500 subject distance connecting section 710 reproduction procedure 70L, 70R, 71L, 71R input image 72L, 72R reproduced image
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 H04N 13/00 G03B 3/00 A (72)発明者 真継 優和 東京都大田区下丸子3丁目30番2号 キヤ ノン株式会社内 (72)発明者 石川 基博 東京都大田区下丸子3丁目30番2号 キヤ ノン株式会社内 (72)発明者 倉橋 直 東京都大田区下丸子3丁目30番2号 キヤ ノン株式会社内─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 6 Identification number Internal reference number FI Technical indication location H04N 13/00 G03B 3/00 A (72) Inventor Masakazu Yukazu 3-chome Shimomaruko, Ota-ku, Tokyo No. 2 Canon Inc. (72) Inventor Motohiro Ishikawa 3-30-2 Shimomaruko, Ota-ku, Tokyo Canon Inc. (72) Nao Kurahashi 3-30-2 Shimomaruko, Ota-ku, Tokyo Canon Non non corporation
Claims (3)
画像入力手段と、 上記画像入力手段から入力される画像に基づいて被写体
迄の距離情報を算出する距離情報算出手段と、 上記画像入力手段から入力される画像に基づいて上記画
像入力手段の移動方向および移動量を算出する移動方向
/移動量算出手段と、 上記距離情報算出手段によって算出された被写体迄の距
離情報と、上記移動方向/移動量算出手段によって算出
された上記画像入力手段の移動方向および移動量とに基
づいて、上記画像入力手段から入力される画像に所定の
画像処理を施すことにより、所定の視線方向から見たよ
うな画像を生成する画像生成手段とを具備することを特
徴とする画像記録再生装置。1. An image input unit for capturing an image of a subject and inputting an image, a distance information calculation unit for calculating distance information to the subject based on an image input from the image input unit, and the image input unit. Moving direction / moving amount calculating means for calculating the moving direction and moving amount of the image inputting means based on the image inputted from the means, distance information to the object calculated by the distance information calculating means, and the moving direction / Based on the moving direction and the moving amount of the image input unit calculated by the moving amount calculating unit, the image input from the image input unit is subjected to a predetermined image processing, so that the image is viewed from a predetermined line-of-sight direction. An image recording / reproducing apparatus comprising: an image generating unit that generates such an image.
被写体を撮像して画像を入力するための画像入力手段
と、 上記画像入力手段によって入力された画像を記憶するた
めの記憶手段と、 上記画像入力手段によって入力された画像から上記画像
入力手段の移動方向および移動量を算出する移動方向/
移動量算出手段と、 上記画像入力手段によって撮像される被写体迄の距離情
報を算出する距離情報算出手段と、 上記距離情報算出手段によって算出された被写体迄の距
離情報、および上記移動方向/移動量算出手段によって
算出された上記画像入力手段の移動方向および移動量に
基づいて、上記画像入力手段によって入力された画像を
補間する画像補間手段と、 上記距離情報算出手段によって算出された被写体迄の距
離情報、および上記移動方向/移動量算出手段によって
算出された上記画像入力手段の移動方向および移動量に
基づいて、上記画像入力手段によって入力された画像
を、所定の視線方向から見たように変換する画像変換手
段と、 上記画像補間手段によって補間された画像を再生する画
像再生手段と、 上記画像再生手段によって再生される画像の再生順序を
入力する再生順序入力手段とを具備し、 上記画像入力手段によって入力された画像を、その画像
を撮影した範囲における任意の視点、および任意の視線
方向から見た平面画像もしくは立体画像として再生する
ようにしたことを特徴とする画像記録再生装置。2. A plurality of or a single image input device is provided,
Image input means for capturing an image of a subject and inputting an image, storage means for storing the image input by the image input means, and movement of the image input means from the image input by the image input means Direction / movement direction /
A movement amount calculation means, a distance information calculation means for calculating distance information to a subject imaged by the image input means, distance information to the subject calculated by the distance information calculation means, and the movement direction / movement amount. An image interpolating means for interpolating the image input by the image inputting means on the basis of the moving direction and the moving amount of the image inputting means calculated by the calculating means, and a distance to the object calculated by the distance information calculating means. Based on the information and the moving direction and the moving amount of the image input unit calculated by the moving direction / moving amount calculating unit, the image input by the image input unit is converted as viewed from a predetermined line-of-sight direction. Image conversion means, an image reproduction means for reproducing the image interpolated by the image interpolation means, and the image reproduction means. And a reproduction order input means for inputting a reproduction order of images to be reproduced, and the image input by the image input means is viewed from an arbitrary viewpoint and an arbitrary line-of-sight direction in a range in which the image is captured. An image recording / reproducing device characterized by being reproduced as a two-dimensional image or a three-dimensional image.
像内の基準点を入力する基準点入力手段を具備し、 上記移動方向/移動量算出手段は、上記基準点入力手段
より入力された基準点に応じて上記画像入力装置の移動
方向および移動量を算出することを特徴とする請求項2
に記載の画像記録再生装置。3. A reference point input means for inputting a reference point in an image input by the image input means, wherein the movement direction / movement amount calculation means is a reference point input from the reference point input means. 3. The moving direction and the moving amount of the image input device are calculated according to
The image recording / reproducing apparatus according to item 1.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7166233A JPH0916772A (en) | 1995-06-30 | 1995-06-30 | Image recording and reproducing device |
EP04076832A EP1494476A1 (en) | 1994-09-09 | 1995-09-08 | Image processing method and apparatus |
EP95306297A EP0701369A1 (en) | 1994-09-09 | 1995-09-08 | Image processing method and apparatus |
US08/525,289 US6839081B1 (en) | 1994-09-09 | 1995-09-08 | Virtual image sensing and generating method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7166233A JPH0916772A (en) | 1995-06-30 | 1995-06-30 | Image recording and reproducing device |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH0916772A true JPH0916772A (en) | 1997-01-17 |
Family
ID=15827586
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP7166233A Pending JPH0916772A (en) | 1994-09-09 | 1995-06-30 | Image recording and reproducing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0916772A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7532215B2 (en) | 2003-09-02 | 2009-05-12 | Fujifilm Corporation | Image generating apparatus, image generating method and image generating program |
-
1995
- 1995-06-30 JP JP7166233A patent/JPH0916772A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7532215B2 (en) | 2003-09-02 | 2009-05-12 | Fujifilm Corporation | Image generating apparatus, image generating method and image generating program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20050117033A1 (en) | Image processing device, calibration method thereof, and image processing | |
US6839081B1 (en) | Virtual image sensing and generating method and apparatus | |
JP4488804B2 (en) | Stereo image association method and three-dimensional data creation apparatus | |
JP4010753B2 (en) | Shape measuring system, imaging device, shape measuring method, and recording medium | |
US20110249117A1 (en) | Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program | |
JP3732335B2 (en) | Image input apparatus and image input method | |
JP2020506487A (en) | Apparatus and method for obtaining depth information from a scene | |
JP2012533222A (en) | Image-based surface tracking | |
JPH09187038A (en) | Three-dimensional shape extract device | |
CN105717513A (en) | Low-cost laser distance measurement apparatus and method based on common pick-up head chip | |
US9756421B2 (en) | Audio refocusing methods and electronic devices utilizing the same | |
JP3643157B2 (en) | Object height measurement method using stereo images | |
JP2001266128A (en) | Method and device for obtaining depth information and recording medium recording depth information obtaining program | |
JPH1079029A (en) | Stereoscopic information detecting method and device therefor | |
JPH07181024A (en) | Method and apparatus for measuring three-dimensional profile | |
JP2000134537A (en) | Image input device and its method | |
JPH09145318A (en) | Three-dimensional measuring equipment | |
JPH0916772A (en) | Image recording and reproducing device | |
JPH09145368A (en) | Moving and tracing method for object by stereoscopic image | |
JP3191659B2 (en) | Image input device | |
JP3151472B2 (en) | Method for generating three-dimensional object image | |
CN117859339A (en) | Media device, control method and device thereof, and target tracking method and device | |
JPH1091790A (en) | Three-dimensional shape extraction method and device and storage medium | |
JPH099143A (en) | Image processing unit | |
JP3706642B2 (en) | Imaging reproduction apparatus and reproduction method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040715 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040720 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041109 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050412 |