JPH0916772A - Image recording and reproducing device - Google Patents
Image recording and reproducing deviceInfo
- Publication number
- JPH0916772A JPH0916772A JP7166233A JP16623395A JPH0916772A JP H0916772 A JPH0916772 A JP H0916772A JP 7166233 A JP7166233 A JP 7166233A JP 16623395 A JP16623395 A JP 16623395A JP H0916772 A JPH0916772 A JP H0916772A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image input
- subject
- calculating
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Image Processing (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は画像記録再生装置に係わ
り、特に、記録時に得た映像情報を基にして、再生時に
種々の映像効果をもたらすことのできるホームエンタテ
ィメント関連の装置に用いて好適なものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image recording / reproducing apparatus, and more particularly to a home entertainment-related apparatus capable of producing various image effects at the time of reproduction on the basis of image information obtained at the time of recording. Is suitable.
【０００２】[0002]
【従来の技術】被写体までの距離を測定するための装置
として、従来より用いられている装置は、距離を測定し
ようとする被写体に対して何らかのエネルギー体を放射
する能動的な手法に基づく測距装置と、光電変換素子な
どで撮像された画像信号を解析する受動的な手法に基づ
く測距装置とに大別することができる。2. Description of the Related Art As a device for measuring a distance to a subject, a device conventionally used is a distance measuring method based on an active technique of radiating an energy body to a subject whose distance is to be measured. The device can be roughly classified into a device and a distance measuring device based on a passive method of analyzing an image signal captured by a photoelectric conversion element or the like.
【０００３】上記能動的な手法に基づく測距装置として
は、電波、超音波、光などのエネルギー体を被写体に放
射して、それが被写体に当たって反射して戻ってくるま
での伝播時間を測定し、上記測定した伝播時間から、上
記被写体までの距離を算出するようにしている。A distance measuring device based on the above-mentioned active technique radiates an energetic body such as radio waves, ultrasonic waves, or light to a subject, and measures the propagation time until the subject hits the subject and is reflected back. The distance to the subject is calculated from the measured propagation time.
【０００４】また、上記能動的な手法に基づく測距装置
の他の例では、適当な光源から規則的な模様を投影して
被写体表面に人工的な模様を生じさせる。そして、その
幾何学的な歪みから上記被写体の形状を求める手法を採
用した装置も広く利用されている（例えば、モアレトポ
グラフィー）。Further, in another example of the distance measuring apparatus based on the above-mentioned active technique, a regular pattern is projected from an appropriate light source to generate an artificial pattern on the surface of the subject. An apparatus that employs a method of obtaining the shape of the subject from the geometrical distortion is also widely used (for example, moire topography).
【０００５】一方、上記受動的な手法に基づく測距装置
としては、複数の画像センサを用いて得られる画像間の
対応点の位置関係を検出し、上記検出結果から三角測量
の原理に基いて被写体までの距離を測定するようにした
装置が知られている。On the other hand, as a distance measuring device based on the above-mentioned passive method, the positional relationship between corresponding points between images obtained by using a plurality of image sensors is detected, and the detection result is based on the principle of triangulation. There is known a device that measures a distance to a subject.
【０００６】また、上記受動的な手法に基づく測距装置
の他の例では、被写体表面が持つ模様の幾何学的な歪み
から、上記被写体の立体構造を求める手法を採用した装
置などがある。また、距離を測定しようとする被写体の
焦点からはずれている量から、被写体までの距離を求め
る手法を採用した装置も試みられている。Another example of the distance measuring apparatus based on the passive method is an apparatus which adopts a method of obtaining the three-dimensional structure of the subject from the geometric distortion of the pattern on the subject surface. Also, an apparatus that employs a method of obtaining the distance to the subject from the amount of deviation from the focus of the subject whose distance is to be measured has been attempted.
【０００７】ところで、再生時に種々の映像効果をもた
らすようにした場合には、画像記録再生装置に保持して
おかなければならない映像データが非常に多くなってし
まう問題点があった。By the way, when various video effects are provided at the time of reproduction, there is a problem that a large amount of video data must be held in the image recording / reproducing apparatus.
【０００８】すなわち、記録時に撮像された映像データ
や、上記撮像された映像データに、想定される種々の方
向からの画像を内挿して作成した複数の画像データを画
像記録再生装置に保持しておかなければならなかった。
そして、再生時には、上記保持しておいた複数の画像か
ら、所定の画像を選択的に出力して再生するようにして
いた。That is, the image data recorded at the time of recording, or a plurality of image data created by interpolating the imaged image data with images from various supposed directions are held in the image recording / reproducing apparatus. I had to go.
At the time of reproduction, a predetermined image is selectively output from the plurality of held images and reproduced.
【０００９】[0009]
【発明が解決しようとする課題】しかしながら、上述の
ようにして種々の再生方法を実現するには、幾つかの問
題点があった。まず、第１の問題点としては、複数の映
像データを記録しておくための記録装置の記憶容量には
自ずと限界があるので、様々な視線方向から見た画像を
全て記録しておくのは現実的でなかった。However, there are some problems in realizing various reproducing methods as described above. First, as a first problem, since the storage capacity of the recording device for recording a plurality of video data is naturally limited, it is necessary to record all images viewed from various viewing directions. It wasn't realistic.
【００１０】また、第２の問題点としては、立体情報抽
出に関することである。すなわち、上記従来例の能動的
な手法では、超音波やレーザー光などのエネルギー体を
距離を測定しようとする被写体に向けて放出し、上記被
写体に当たって反射してきたエネルギー体を検出するよ
うにしていた。A second problem relates to extraction of stereoscopic information. That is, in the active method of the conventional example, an energy body such as an ultrasonic wave or a laser beam is emitted toward a subject whose distance is to be measured, and the energy body reflected upon hitting the subject is detected. .
【００１１】このため、上記エネルギー体を吸収してし
まうような物体に関しては測距できないという問題点が
あった。また、生体への悪影響を考慮すれば、レーザー
光等は放出することができないので、汎用性に乏しいと
いう問題点があった。Therefore, there is a problem that the distance cannot be measured for an object that absorbs the energy body. Further, in consideration of the adverse effect on the living body, laser light and the like cannot be emitted, so that there is a problem that the versatility is poor.
【００１２】また、規則的な模様を投影する手法は、原
理的に被写体の相対的な立体情報を把握するための手法
であって、被写体までの絶対的な距離を求めることはで
きないという原理的な問題点を持っていた。Further, the method of projecting a regular pattern is a method for grasping the relative three-dimensional information of the subject in principle, and it is a principle that the absolute distance to the subject cannot be obtained. Had a problem.
【００１３】第３の問題点としては、移動しながら被写
体を撮影した場合、撮像装置の移動方向および移動量を
簡便に知ることが困難であるという問題点があった。A third problem is that when a subject is photographed while moving, it is difficult to easily know the moving direction and moving amount of the image pickup device.
【００１４】本発明は上述の問題点に鑑み、様々な視線
方向から見た画像を再生して鑑賞するために必要とされ
る記録装置の記憶容量を少なくできるようにすることを
第１の目的とする。In view of the above problems, it is a first object of the present invention to reduce the storage capacity of a recording device required for reproducing and viewing images viewed from various viewing directions. And
【００１５】また、特別なエネルギー体を被写体に向け
て放出することなく被写体迄の距離情報を求めることが
できるようにすることを第２の目的とする。A second object is to be able to obtain the distance information to the subject without emitting a special energy body toward the subject.
【００１６】さらに、撮像装置の移動方向および移動量
を簡便に分かるようにすることを第３の目的とする。A third object is to make it easy to know the moving direction and the moving amount of the image pickup apparatus.
【００１７】[0017]
【課題を解決するための手段】本発明の画像記録再生装
置は、被写体を撮像して画像を入力するための画像入力
手段と、上記画像入力手段から入力される画像に基づい
て被写体迄の距離情報を算出する距離情報算出手段と、
上記画像入力手段から入力される画像に基づいて上記画
像入力手段の移動方向および移動量を算出する移動方向
／移動量算出手段と、上記距離情報算出手段によって算
出された被写体迄の距離情報と、上記移動方向／移動量
算出手段によって算出された上記画像入力手段の移動方
向および移動量とに基づいて、上記画像入力手段から入
力される画像に所定の画像処理を施すことにより、所定
の視線方向から見たような画像を生成する画像生成手段
とを具備している。SUMMARY OF THE INVENTION An image recording / reproducing apparatus of the present invention comprises an image inputting means for picking up an image of a subject and inputting the image, and a distance to the subject based on the image inputted from the image inputting means. Distance information calculating means for calculating information,
A moving direction / moving amount calculating means for calculating a moving direction and a moving amount of the image inputting means on the basis of an image inputted from the image inputting means, and distance information to a subject calculated by the distance information calculating means, Based on the moving direction and the moving amount of the image input unit calculated by the moving direction / moving amount calculating unit, a predetermined image processing is performed on the image input from the image input unit to thereby obtain a predetermined line-of-sight direction. And an image generating means for generating an image as viewed from above.
【００１８】また、本発明の他の特徴とするところは、
複数または単数の画像入力装置を有し、被写体を撮像し
て画像を入力するための画像入力手段と、上記画像入力
手段によって入力された画像を記憶するための記憶手段
と、上記画像入力手段によって入力された画像から上記
画像入力手段の移動方向および移動量を算出する移動方
向／移動量算出手段と、上記画像入力手段によって撮像
される被写体迄の距離情報を算出する距離情報算出手段
と、上記距離情報算出手段によって算出された被写体迄
の距離情報、および上記移動方向／移動量算出手段によ
って算出された上記画像入力手段の移動方向および移動
量に基づいて、上記画像入力手段によって入力された画
像を補間する画像補間手段と、上記距離情報算出手段に
よって算出された被写体迄の距離情報、および上記移動
方向／移動量算出手段によって算出された上記画像入力
手段の移動方向および移動量に基づいて、上記画像入力
手段によって入力された画像を、所定の視線方向から見
たように変換する画像変換手段と、上記画像補間手段に
よって補間された画像を再生する画像再生手段と、上記
画像再生手段によって再生される画像の再生順序を入力
する再生順序入力手段とを具備し、 上記画像入力手段
によって入力された画像を、その画像を撮影した範囲に
おける任意の視点、および任意の視線方向から見た平面
画像もしくは立体画像として再生するようにしたことを
特徴としている。Another feature of the present invention is that
An image input device for capturing an image of a subject and inputting an image, a storage device for storing the image input by the image input device, and an image input device having a plurality of or a single image input device. Moving direction / moving amount calculating means for calculating the moving direction and moving amount of the image input means from the input image; distance information calculating means for calculating distance information to a subject imaged by the image input means; The image input by the image input unit based on the distance information to the subject calculated by the distance information calculation unit and the moving direction and the moving amount of the image input unit calculated by the moving direction / moving amount calculating unit. Image interpolating means for interpolating, distance information to the object calculated by the distance information calculating means, and the moving direction / moving amount calculation An image conversion unit for converting the image input by the image input unit as seen from a predetermined line-of-sight direction based on the moving direction and the moving amount of the image input unit calculated by the step, and the image interpolation unit. Image reproduction means for reproducing the image interpolated by the image reproduction means, and reproduction order input means for inputting the reproduction order of the images reproduced by the image reproduction means. It is characterized in that the image is reproduced as a plane image or a stereoscopic image viewed from an arbitrary viewpoint and an arbitrary line-of-sight direction in the captured range.
【００１９】また、本発明のその他の特徴とするところ
は、上記画像入力手段によって入力される画像内の基準
点を入力する基準点入力手段を具備し、上記移動方向／
移動量算出手段は、上記基準点入力手段より入力された
基準点に応じて上記画像入力装置の移動方向および移動
量を算出することを特徴としている。Another feature of the present invention is that it comprises a reference point inputting means for inputting a reference point in the image inputted by the image inputting means, and the moving direction /
The movement amount calculation means is characterized by calculating the movement direction and the movement amount of the image input device according to the reference point input from the reference point input means.
【００２０】[0020]
【作用】本発明は上記技術手段を有するので、様々な視
線方向から見た画像を画像処理によって生成するように
したので、種々の画像を鑑賞するために記憶手段に記憶
しておかなければならない映像データの量を可及的に少
なくすることができるようになり、必要とされる記録装
置の記憶容量を少なくすることが可能となる。Since the present invention has the above-mentioned technical means, the images viewed from various viewing directions are generated by the image processing. Therefore, various images must be stored in the storage means in order to be viewed. The amount of video data can be reduced as much as possible, and the required storage capacity of the recording device can be reduced.
【００２１】また、本発明の他の特徴によれば、被写体
迄の距離情報を、画像入力手段から入力される画像に基
づいて算出するようにしたので、特別なエネルギー体を
被写体に向けて放出することなく被写体迄の距離情報を
求めることができる。According to another feature of the present invention, the distance information to the subject is calculated based on the image input from the image input means, so that a special energy body is emitted toward the subject. It is possible to obtain the distance information to the subject without doing so.
【００２２】また、本発明のその他の特徴によれば、上
記画像入力手段の移動方向および移動量を、上記画像入
力手段によって入力された画像から算出するようにした
ので、上記画像入力手段の移動方向および移動量が簡便
に分かるようになる。According to another feature of the present invention, since the moving direction and the moving amount of the image input means are calculated from the image input by the image input means, the movement of the image input means is calculated. The direction and movement amount can be easily known.
【００２３】[0023]
【実施例】以下、本発明の画像記録再生装置の実施例を
図面を参照して説明する。図１は、本発明の画像記録再
生装置の要部の構成を示す機能構成図である。図１に示
すように、本実施例の画像記録再生装置は、画像入力手
段１、記憶手段２、移動方向／移動量算出手段３、距離
情報算出手段４、画像補間手段５、画像再生手段６、再
生順序入力手段７、画像変換手段８、基準点入力手段
９、画像生成手段１０、表示手段１１を具備している。Embodiments of the image recording / reproducing apparatus of the present invention will be described below with reference to the drawings. FIG. 1 is a functional configuration diagram showing a configuration of a main part of the image recording / reproducing apparatus of the present invention. As shown in FIG. 1, the image recording / reproducing apparatus of the present embodiment includes an image input unit 1, a storage unit 2, a moving direction / moving amount calculating unit 3, a distance information calculating unit 4, an image interpolating unit 5, and an image reproducing unit 6. , A reproduction order input means 7, an image conversion means 8, a reference point input means 9, an image generation means 10, and a display means 11.
【００２４】上記画像入力手段１は、被写体（図示せ
ず）を撮像して画像を入力するために設けられているも
のであり、詳細な構成は後述する。記憶手段２は、上記
画像入力手段１によって入力された画像データを記憶し
て保持するためのものである。移動方向／移動量算出手
段３は、上記画像入力手段１から入力される画像に基づ
いて、上記画像入力手段１の移動方向および移動量を算
出する。The image input means 1 is provided for picking up an image of a subject (not shown) and inputting an image, and the detailed structure will be described later. The storage unit 2 is for storing and holding the image data input by the image input unit 1. The movement direction / movement amount calculation means 3 calculates the movement direction and movement amount of the image input means 1 based on the image input from the image input means 1.
【００２５】距離情報算出手段４は、上記画像入力手段
１によって撮像される被写体迄の距離に関する情報を、
上記画像入力手段から入力される画像に基づいて算出す
るためのものである。画像補間手段５は、上記距離情報
算出手段４によって算出された被写体迄の距離情報と、
上記移動方向／移動量算出手段３によって算出された上
記画像入力手段１の移動方向および移動量に基づいて、
上記画像入力手段１によって入力された画像を補間する
ためのものである。The distance information calculation means 4 obtains information on the distance to the object imaged by the image input means 1,
The calculation is based on the image input from the image input means. The image interpolating means 5 stores the distance information to the subject calculated by the distance information calculating means 4,
Based on the moving direction and the moving amount of the image input means 1 calculated by the moving direction / moving amount calculating means 3,
It is for interpolating the image input by the image input means 1.
【００２６】画像再生手段６は、上記画像補間手段５に
よって補間された画像を再生するためのものである。再
生順序入力手段７は、上記画像再生手段６によって再生
される画像の再生順序を入力するためのものである。The image reproduction means 6 is for reproducing the image interpolated by the image interpolation means 5. The reproduction order input means 7 is for inputting the reproduction order of the images reproduced by the image reproduction means 6.
【００２７】また、画像変換手段８は、上記距離情報算
出手段４によって算出された被写体迄の距離情報と、上
記移動方向／移動量算出手段３によって算出された上記
画像入力手段１の移動方向および移動量に基づいて画像
処理を行い、上記画像入力手段１によって入力された画
像を、所定の視線方向から見たように変換するためのも
のである。The image conversion means 8 also includes distance information to the object calculated by the distance information calculation means 4, the movement direction of the image input means 1 calculated by the movement direction / movement amount calculation means 3, and This is for performing image processing based on the amount of movement and converting the image input by the image input means 1 as viewed from a predetermined line-of-sight direction.
【００２８】本実施例においては、上記画像変換手段８
と上記画像補間手段５によって、画像生成手段１０が構
成されていて、上記画像入力手段１から入力される画像
に所定の画像処理を施すことにより、所定の視線方向か
ら見たような画像を生成するようにしている。In this embodiment, the image conversion means 8 is used.
The image interpolating means 5 constitutes the image generating means 10, and by applying a predetermined image processing to the image input from the image input means 1, an image as viewed from a predetermined line-of-sight direction is generated. I am trying to do it.
【００２９】基準点入力手段９は、上記画像入力手段１
によって入力される画像内の基準点を入力するためのも
のである。表示手段１１は、画像入力手段１の移動量を
検出するための基準となる基準点を入力するために設け
られているものである。The reference point input means 9 is the image input means 1 described above.
It is for inputting a reference point in the image input by. The display means 11 is provided for inputting a reference point that serves as a reference for detecting the amount of movement of the image input means 1.
【００３０】本実施例の画像記録再生装置は、上述のよ
うに構成されているので、様々な視線方向から見た画像
を画像処理によって生成することができる。これによ
り、種々の画像を鑑賞するために記憶手段に記憶してお
かなければならない映像データの量を可及的に少なくす
ることができるようになるので、映像データを記憶する
ための記憶容量を少なくすることができ、装置の簡素化
および低価格を図ることができる。Since the image recording / reproducing apparatus of this embodiment is configured as described above, it is possible to generate images viewed from various viewing directions by image processing. This makes it possible to reduce the amount of video data that must be stored in the storage means for viewing various images as much as possible, so that the storage capacity for storing video data can be reduced. The number can be reduced, and the device can be simplified and the cost can be reduced.
【００３１】また、本実施例においては、被写体迄の距
離情報を、画像入力手段１から入力される画像に基づい
て算出するようにしているので、特別なエネルギー体を
被写体に向けて放出することなく被写体迄の距離情報を
求めることができる。これにより、上述した従来例のよ
うに、超音波やレーザー光などのエネルギー体を距離を
測定しようとする被写体に向けて放出しなくても済む。Further, in this embodiment, the distance information to the subject is calculated based on the image input from the image input means 1, so that a special energy body is emitted toward the subject. Instead, information on the distance to the subject can be obtained. As a result, unlike the conventional example described above, it is not necessary to emit an energetic body such as ultrasonic waves or laser light toward the subject whose distance is to be measured.
【００３２】したがって、上述したようなエネルギー体
を吸収してしまうような物体に関しても測距することが
できるようになるとともに、生体へ悪影響を与えること
なく測距を行うことができるようになる。Therefore, it becomes possible to measure the distance of an object that absorbs the energy body as described above, and it becomes possible to measure the distance without adversely affecting the living body.
【００３３】また、本実施例においては、上記画像入力
手段１の移動方向および移動量を、上記画像入力手段１
によって入力された画像から算出するようにしたので、
特別の機器を設けることなく画像入力手段１の移動方向
および移動量を知ることができる。Further, in this embodiment, the moving direction and the moving amount of the image input means 1 are determined by the image input means 1.
Since it was calculated from the image input by
It is possible to know the moving direction and the moving amount of the image input unit 1 without providing a special device.
【００３４】以下、本発明の画像記録再生装置のより具
体的な構成および動作を、図面に従って説明する。図２
は、本発明に基づく３次元形状測定装置の構成を示すブ
ロック図である。まず、この３次元形状測定装置の構成
に関して説明する。A more specific structure and operation of the image recording / reproducing apparatus of the present invention will be described below with reference to the drawings. FIG.
FIG. 3 is a block diagram showing a configuration of a three-dimensional shape measuring apparatus based on the present invention. First, the configuration of this three-dimensional shape measuring apparatus will be described.
【００３５】図２において、破線のブロック１００およ
び１０１は、被計測体（図示せず）を撮像して画像デー
タとして取り込むための画像入力部である。なお、上記
破線のブロック１００および１０１は同じ構成なので、
以後の説明はこれらの破線のブロック１００および１０
１内の各部を同時に説明する。In FIG. 2, blocks 100 and 101 indicated by broken lines are image input units for picking up an image of an object to be measured (not shown) and taking it in as image data. Since the blocks 100 and 101 indicated by broken lines have the same configuration,
The description that follows will refer to these dashed blocks 100 and 10
Each part in 1 will be described at the same time.
【００３６】１１０（１１１）は、被計測体を撮像する
撮像レンズである。１２０（１２１）は撮像素子であ
り、例えばＣＣＤのような光電変換素子が用いられてい
る。１３０（１３１）は、上記撮像素子１１０（１１
１）の出力信号を保持するサンプルホールド（Ｓ／Ｈ）
回路である。１４０（１４１）は、オートゲインコント
ロール（ＡＧＣ）回路であり、１５０（１５１）は、ア
ナログ−ディジタル変換器（Ａ／Ｄ）変換器である。Reference numeral 110 (111) is an imaging lens for imaging the object to be measured. Reference numeral 120 (121) is an image pickup device, and for example, a photoelectric conversion device such as a CCD is used. 130 (131) is the image pickup device 110 (11
Sample hold (S / H) that holds the output signal of 1)
Circuit. Reference numeral 140 (141) is an automatic gain control (AGC) circuit, and 150 (151) is an analog-digital converter (A / D) converter.
【００３７】また、破線ブロック２００は、画像入力部
１００（１０１）の移動量を検出するための基準となる
基準点を入力するための基準点入力部であり、表示装置
２１０およびポインティングデバイス２２０によって構
成されている。A broken-line block 200 is a reference point input section for inputting a reference point serving as a reference for detecting the amount of movement of the image input section 100 (101), and is controlled by the display device 210 and the pointing device 220. It is configured.
【００３８】上記表示装置２１０は、例えばＣＲＴディ
スプレイやＬＣＤディスプレイなどが用いられている。
また、上記ポインティングデバイス２２０は、上記表示
装置２１０に表示された画像に対して、同一点を入力し
て行くために設けられているものである。As the display device 210, for example, a CRT display or LCD display is used.
The pointing device 220 is provided for inputting the same point on the image displayed on the display device 210.
【００３９】破線のブロック３００は画像処理部であ
り、上記画像入力部１００および１０１から入力される
画像信号に、処理部１３２０において所定の処理を施す
ことにより、被計測体までの距離を算出するためのもの
である。また、１３１０は画像データを一定時間保持す
るための画像メモリである。A block 300 indicated by a broken line is an image processing unit. The processing unit 1320 performs a predetermined process on the image signals input from the image input units 100 and 101 to calculate the distance to the object to be measured. It is for. Further, 1310 is an image memory for holding image data for a certain period of time.
【００４０】撮像レンズ１１０（１１１）は、被計測体
からの反射光を撮像素子１２０（１２１）上に導き、上
記被計測体を上記撮像素子１２０（１２１）上にそれぞ
れ結像させる。The imaging lens 110 (111) guides the reflected light from the object to be measured onto the image sensor 120 (121), and forms an image of the object to be measured on the image sensor 120 (121).
【００４１】撮像素子１２０（１２１）は、上記結像さ
れた被計測体を光電変換して画像信号を生成し、（Ｓ／
Ｈ）回路１３０（１３１）に導出する。Ｓ／Ｈ回路１３
０（１３１）は、撮像素子１２０（１２１）から出力さ
れる画像信号をそれぞれ保持する。The image sensor 120 (121) photoelectrically converts the imaged object to be measured to generate an image signal, and (S /
H) It leads to the circuit 130 (131). S / H circuit 13
0 (131) holds the image signal output from the image sensor 120 (121).
【００４２】上記Ｓ／Ｈ回路１３０（１３１）の次段に
設けられているＡＧＣ回路１４０（１４１）は、画像信
号の利得を自動的に制御する。Ａ／Ｄ変換器１５０（１
５１）は、ＡＧＣ回路１４０（１４１）の出力をそれぞ
れアナログ−ディジタル変換し、ディジタルの画像デー
タを出力する。The AGC circuit 140 (141) provided in the next stage of the S / H circuit 130 (131) automatically controls the gain of the image signal. A / D converter 150 (1
51) performs analog-digital conversion on the output of the AGC circuit 140 (141), and outputs digital image data.
【００４３】画像メモリ１３１０は、上記Ａ／Ｄ変換器
１５０（１５１）から与えられる画像データを一定時間
記憶して、時系列な画像間の演算を可能にするためのも
のである。The image memory 1310 is for storing the image data given from the A / D converter 150 (151) for a certain period of time, and enabling the time-series calculation between images.
【００４４】次に、画像入力部１００（１０１）の移動
量を検出する手順を説明する。図３の移動量検出手順説
明図に示すように、表示装置２１０の上段には、時刻ｔ
の時の画像である第１の画像３１０および第２の画像３
１１がそれぞれ表示されている。Next, a procedure for detecting the movement amount of the image input section 100 (101) will be described. As shown in the movement amount detection procedure explanatory diagram of FIG. 3, the time t is displayed on the upper stage of the display device 210.
First image 310 and second image 3 which are images at the time of
11 are displayed respectively.
【００４５】また、表示装置２１０の下段には、時刻ｔ
＋Δｔの時の画像である第３の画像３２０および第４の
画像３２１が表示されている。上記第１の画像３１０
は、時刻ｔにおける画像入力部１００で得られる画像で
あり、第３の画像３２０は時刻Δｔ後の画像入力部１０
０で得られる画像である。Further, at the bottom of the display device 210, the time t
A third image 320 and a fourth image 321 which are images at + Δt are displayed. The first image 310
Is an image obtained by the image input unit 100 at time t, and the third image 320 is the image input unit 10 after time Δt.
It is an image obtained with 0.
【００４６】ここで、時刻Δｔ間に画像入力部１００が
仮に（Ｂx 、Ｂy 、Ｂz ）移動し、画像入力部１００の
方向が（ω、φ、χ）回転したとする。この時の画像の
座標系を図４に示すと、まず、画像３１０のカメラ主点
ＯL を原点とし、ｘ軸、ｙ軸がそれぞれｕl 軸、ｖl 軸
と平行になる座標系（ｘl 、ｙ l 、ｚl ）と考え、画像
３１０の中心位置を（０、０、０）、画像入力部１００
の姿勢を（０、０、０）とした。Here, during time Δt, the image input unit 100
If (Bx, By, Bz) Move to the image input unit 100
Suppose the direction has rotated (ω, φ, χ). Of the image at this time
The coordinate system is shown in FIG.
OLIs the origin, and the x and y axes are ulAxis, vlaxis
Coordinate system (xl, Y l, Zl), The image
The center position of 310 is (0, 0, 0), and the image input unit 100
Was set to (0, 0, 0).
【００４７】上述したように、第３の画像３２０を撮像
する画像入力部１００の位置は（Ｂ x 、Ｂy 、Ｂz ）と
なり、姿勢は（ω、φ、χ）となるので、Ｂx を単位長
さとすると、As described above, the third image 320 is captured.
The position of the image input unit 100 x, By, Bz)When
And the posture becomes (ω, φ, χ), so BxUnit length
Then,
【００４８】[0048]
【数１】 [Equation 1]
【００４９】[0049]
【数２】 (Equation 2)
【００５０】の関係が成立する。ただし、ｂy ＝Ｂy ／
Ｂx であり、ｂz ＝Ｂz ／Ｂx である。また、ｆは画像
入力部１００の焦点距離である。今、（ｂy 、ｂz ）、
（ω、φ、χ）は未知数である。この未知数は、The relationship of is established. However, b y = B y /
B x and b z = B z / B x . Further, f is the focal length of the image input unit 100. Now, (b y, b z) ,
(Ω, φ, χ) is an unknown number. This unknown is
【００５１】[0051]
【数３】 (Equation 3)
【００５２】を満足するように決定される。これは、２
つの画像３１０、３２０から同一と認識できる点を５点
以上選定し、それぞれの画像上での座標を用いて、最小
２乗法を適用して、５つの未知数ｂy 、ｂz 、ω、φ、
χが求められる。Is determined so that This is 2
From the images 310 and 320, five or more points that can be recognized as the same are selected, the least squares method is applied using the coordinates on each image, and five unknowns b y , b z , ω, φ,
χ is required.
【００５３】すなわち、上述の式から相対的な画像入力
部１００の移動量が求まる。例えば、図３中の３１０
１、３１０２、３１０３、３１０４、３１０５に対し
て、３２０１、３２０２、３２０３、３２０４、３２０
５を選定する。この選定は、ポインティングデバイス２
２０を用いて行う。That is, the relative movement amount of the image input section 100 can be obtained from the above equation. For example, 310 in FIG.
3201, 3202, 3203, 3204, 320 for 1, 3102, 3103, 3104, 3105
Select 5. This selection is made by pointing device 2.
20 is used.
【００５４】また、入力された相対点な移動量ｂy 、ｂ
z を、画像入力部１００と１０１の間の基線長Ｂで規格
化することもできる。これは、第１の画像３１０、第２
の画像３１１、第３の画像３２０に共通に撮像されてい
る点３１０１、３１１１、３２０１を用いて、距離ｚを
求める。Further, the input relative point movement amounts b y , b
It is also possible to standardize z by the base line length B between the image input units 100 and 101. This is the first image 310, the second
The distance z is obtained using the points 3101, 3111, 3201 that are commonly imaged in the image 311 and the third image 320.
【００５５】例えば、簡単のために、画像入力部１００
（１０１）は平行に配置され、画像入力部１００（１０
１）が平行に移動されたとする。この時、距離ｚは、３
１０１、３１１１より、 ｚ＝ｆＢ／ｄ …（１式） により求まる。ただし、ｄは３１０１、３１１１の画像
上でのｕl 座標の差である。For example, for simplicity, the image input unit 100
(101) are arranged in parallel, and the image input unit 100 (10
Suppose 1) was moved in parallel. At this time, the distance z is 3
From 101 and 3111, z = fB / d (1) However, d is the difference between u l coordinates on the image of 3101,3111.
【００５６】また、３１０１、３２０１より、 ｚ′＝ｆＢx ／ｄ′ …（２式） が求まる。ただし、ｄ′は上記と同様３１０１、３２０
１の画像上でのｕ座標の差である。Further, from 3101 and 3201, z '= fB x / d' ... (Equation 2) is obtained. However, d'is the same as above with 3101 and 320
It is the difference of the u coordinate on the image of 1.
【００５７】今、ｚ＝ｚ′より、Ｂｘ＝ｄ′／ｄＢとな
る。したがって、相対移動量ｂｙは、 ｂｙ＝Ｂｙ／Ｂｘ ＝Ｂｙ／（ｄ′／ｄＢ） …（３式） となる。Now, from z = z ', Bx = d' / dB. Therefore, the relative movement amount by becomes by = By / Bx = By / (d '/ dB) (Equation 3).
【００５８】同様に、相対移動量ｂz は、 ｂz ＝Ｂz ／ＢX ＝Ｂz ／（ｄ′／ｄＢ） …（４式） となる。よって、下記の数４で画像入力部１００の位置
は（Ｂx 、Ｂy 、Ｂz ）が求まる。よって、Similarly, the relative movement amount b z is as follows : b z = B z / B x = B z / (d '/ dB) (Equation 4) Therefore, the position of the image input unit 100 by the number 4 below (B x, B y, B z) is obtained. Therefore,
【００５９】[0059]
【数４】 (Equation 4)
【００６０】となり、Ｂx 、Ｂy 、Ｂz が求まる。Then, B x , B y and B z are obtained.
【００６１】次に、上記構成の撮像装置を用いて撮像す
る状況に関して説明する。図５の模式図に示すように、
例えば動物園の檻３０の前で上述した構成の複眼カメラ
３２を使用して被写体３３を撮像する場合を例にして説
明する。Next, the situation where an image is picked up using the image pick-up device having the above construction will be described. As shown in the schematic diagram of FIG.
For example, a case where the compound eye camera 32 having the above-described configuration is used in front of the cage 30 of the zoo to image the subject 33 will be described as an example.
【００６２】ユーザ３５が、図中矢印線３１のように動
きながら被写体３３を撮像し、３５´および３２´で示
した位置までユーザ３５および複眼カメラ３２が移動し
たとする。この時、撮像位置と撮像した画像の関係を模
式的に示すと、図６の模式図のようになる。It is assumed that the user 35 takes an image of the subject 33 while moving as shown by an arrow line 31 in the figure, and the user 35 and the compound eye camera 32 move to the positions indicated by 35 'and 32'. At this time, the relationship between the image pickup position and the imaged image is schematically shown in the schematic diagram of FIG.
【００６３】ここで、横軸４０は撮像した画像の範囲
（被写体面での広さ）に相当する。また、縦軸ｔは時間
軸である。図６中において、４１、４１０で示される線
が複眼の撮像装置３２で撮像したそれぞれの画像の範囲
を示している。Here, the horizontal axis 40 corresponds to the range of the picked-up image (width on the object plane). The vertical axis t is the time axis. In FIG. 6, the lines 41 and 410 indicate the range of each image captured by the compound-eye imaging device 32.
【００６４】次に、時刻ｔ0 から時刻ｔ1 になった時を
考える。なお、簡単のために、複眼カメラ３２が平行に
シフトしたと考える。その移動量は上述のようにＢz と
算出されている。Next, let us consider the time when the time t 0 changes to the time t 1 . Note that, for simplicity, it is considered that the compound eye camera 32 is shifted in parallel. The amount of movement is calculated as B z as described above.
【００６５】この時、上述したように被写体距離Ｚi ｔ
1 を求める。上記被写体距離Ｚi ｔ 1 の算出は、図７に
示すように、複眼の撮像装置３２で撮像した画像の範囲
４１、４１０を、距離算出部５１０に与えて行う。な
お、上記距離算出部５１０には撮像パラメータが与えら
れている。At this time, as described above, the subject distance Zit
1Ask for. Subject distance Zit 1The calculation of
As shown, the range of the image captured by the compound-eye imaging device 32
41 and 410 are given to the distance calculation unit 510 to perform the calculation. What
It should be noted that the distance calculation unit 510 is provided with imaging parameters.
Have been.
【００６６】上記距離算出部５１０において算出された
被写体距離Ｚi ｔ1 は、被写体距離連結部５００に入力
される。上記被写体距離連結部５００では、距離算出部
５１０から入力された被写体距離Ｚi ｔ1 と、移動量算
出回路５１０から入力された移動量Ｂとのベクトル加算
を行う。The subject distance Z i t 1 calculated by the distance calculating unit 510 is input to the subject distance connecting unit 500. The subject distance connection unit 500 performs vector addition of the subject distance Z i t 1 input from the distance calculation unit 510 and the movement amount B input from the movement amount calculation circuit 510.
【００６７】したがって、時刻ｔ0 の場所のカメラの位
置を基準とすると、上記被写体距離Ｚi ｔ1 は、 Ｚi ｔ1 ′＝Ｚi ｔ1 ＋Ｂz …（５式） に換算される。Therefore, with reference to the position of the camera at the time t 0 , the subject distance Z i t 1 is converted into Z i t 1 ′ = Z i t 1 + B z (Equation 5).
【００６８】同様に、被写体距離Ｘi ｔ1 および被写体
距離Ｙi ｔ1 も、移動量Ｂx 、Ｂyがそれぞれ加算され
る。この時、求められる物点の数は、時刻ｔが増す毎に
詳細になって行き、図５に示すように撮像することによ
り、広範囲でかつ詳細な距離情報（Ｚj ）５０１を得る
ことができる。Similarly, the moving distances B x and B y are added to the subject distance X i t 1 and the subject distance Y i t 1 , respectively. At this time, the number of object points to be obtained becomes more detailed as the time t increases, and by taking an image as shown in FIG. 5, a wide range and detailed distance information (Z j ) 501 can be obtained. it can.
【００６９】上述ようにして得られた画像を再生する手
順は、例えば、図８のようにして行う。すなわち、ま
ず、図８（ａ）に示すように、画像は撮像時の動き線３
１に従って画像の範囲４１、４１０が順々に入力され
る。次に、再生順序７１０が入力されていく。そして、
上記再生順序７１０中の任意の点１２１０における再生
画像は、以下のようにして選択される。The procedure for reproducing the image obtained as described above is performed, for example, as shown in FIG. That is, first, as shown in FIG. 8A, the image is the movement line 3 at the time of image capturing.
According to 1, the image ranges 41 and 410 are sequentially input. Next, the reproduction order 710 is input. And
The playback image at any point 1210 in the playback order 710 is selected as follows.
【００７０】すなわち、上記任意の点１２１０から撮像
時の動き線３１へ垂線を下ろし、その交点を挟む画像７
０Ｌ、７０Ｒ、７１Ｌ、７１Ｒが選択される。上記選択
された画像を、図８（ｂ）に示す。That is, an image 7 is drawn by drawing a perpendicular from the arbitrary point 1210 to the motion line 31 at the time of image pickup, and sandwiching the intersection.
0L, 70R, 71L and 71R are selected. The selected image is shown in FIG.
【００７１】図８（ｂ）に示すように、立方体の被写体
をちょうど両側から見るようになっている画像７０Ｌ、
７０Ｒと、右側へ動き量１１１だけ動いた場所から見た
画像７１Ｌ、７１Ｒとが撮像されている。As shown in FIG. 8 (b), an image 70L in which a cubic object is viewed from both sides,
70R and images 71L and 71R viewed from a position moved to the right by the movement amount 111 are captured.
【００７２】次に、この４つの画像７０Ｌ、７０Ｒ、７
１Ｌ、７１Ｒから、任意の時刻に相当するように補間す
る処理と、上述して得た距離情報を利用して、視線方向
から見たように画像を変換する処理が行われる。Next, the four images 70L, 70R, 7
From 1L and 71R, a process of interpolating so as to correspond to an arbitrary time and a process of converting an image as viewed from the line-of-sight direction using the distance information obtained above are performed.
【００７３】その結果、図８（Ｃ）に示すように、７２
Ｌ、７２Ｒの画像が生成される。この２つの画像７２
Ｌ、７２Ｒが、例えばＨＭＤ（ヘッドマウンテッドディ
スプレイ）等のディスプレイに表示される。As a result, as shown in FIG.
Images of L and 72R are generated. These two images 72
L and 72R are displayed on a display such as an HMD (head mounted display).
【００７４】次に、本発明の第２の実施例を説明する。
第２の実施例としては、図９に示すような３次元形状測
定部の構成を説明する。以下、上記３次元形状測定部の
構成等について説明する。Next, a second embodiment of the present invention will be described.
As a second embodiment, the configuration of the three-dimensional shape measuring unit as shown in FIG. 9 will be described. Hereinafter, the configuration and the like of the three-dimensional shape measuring unit will be described.
【００７５】本実施例の３次元形状測定部は、図１に示
した複眼の３次元形状測定部と同様に、破線のブロック
８００は被計測体（図示せず）を撮像して画像データと
して取り込む画像入力部である。In the three-dimensional shape measuring section of this embodiment, the broken-line block 800 images the object to be measured (not shown) as image data as in the compound eye three-dimensional shape measuring section shown in FIG. This is an image input unit for capturing.
【００７６】また、８１０は被計測体を撮像する撮像レ
ンズ、８２０は例えばＣＣＤのような撮像素子、８３０
は上記撮像素子の出力信号を保持するサンプルホールド
（Ｓ／Ｈ）回路、８４０はオートゲインコントロール
（ＡＧＣ）回路、８５０はアナログ−ディジタル変換器
（Ａ／Ｄ）である。Further, 810 is an image pickup lens for picking up an image of the object to be measured, 820 is an image pickup element such as CCD, and 830.
Is a sample hold (S / H) circuit that holds the output signal of the image pickup device, 840 is an automatic gain control (AGC) circuit, and 850 is an analog-digital converter (A / D).
【００７７】破線ブロック８２００は、上記画像入力部
８００の移動量を算出するために、基準となる点を入力
するための基準点入力部である。８２１０は、例えばＣ
ＲＴディスプレイやＬＣＤディスプレイなどの表示装置
である。また、８２２０はポインティングデバイスであ
り、表示装置８２１０に表示された画像に対して、同一
点を入力していくためのものである。A broken line block 8200 is a reference point input unit for inputting a reference point for calculating the movement amount of the image input unit 800. 8210 is, for example, C
It is a display device such as an RT display or an LCD display. 8220 is a pointing device for inputting the same point on the image displayed on the display device 8210.
【００７８】このような構成において、上記画像入力部
８００によって撮像された画像信号は、表示装置８２１
０へ向けて出力される。上記画像信号が表示装置８２１
０へ供給される迄の信号供給路には、遅延素子８４０
１、８４０２、８４０３が設けられており、時系列的に
撮像された４つの画像が、表示装置８２１０内の第１〜
第４のウインドウ８２１１、８２１２、８２１３、８２
１４に同時に表示されるよう設定されている。In such a structure, the image signal picked up by the image input section 800 is displayed on the display device 821.
It is output toward 0. The image signal is displayed on the display device 821.
The delay element 840 is provided in the signal supply path until the signal is supplied to 0.
1, 8402, and 8403 are provided, and four images captured in time series are first to first in the display device 8210.
Fourth windows 8211, 8212, 8213, 82
It is set to be displayed on 14 simultaneously.
【００７９】上述のようにして、４つのウインドウ画像
が表示された後で行う、移動量算出のためのデータ入力
は上述と同様である。ただし、本実施においては、複眼
の基線長Ｂに相当する絶対指標がないので、第１のウイ
ンドウ８２１１、第２のウインドウ８２１２で求められ
た動き量を基準量として相対的な全体の距離情報を抽出
するようにしている。As described above, the data input for calculating the movement amount, which is performed after the four window images are displayed, is the same as that described above. However, in the present embodiment, since there is no absolute index corresponding to the baseline length B of the compound eye, the relative total distance information is calculated using the movement amount obtained in the first window 8211 and the second window 8212 as the reference amount. I try to extract it.
【００８０】[0080]
【発明の効果】本発明は上述したように、入力される画
像に基づいて被写体迄の距離情報を算出するとともに、
上記入力される画像に基づいて画像入力手段の移動方向
および移動量を算出するようにし、さらに、上記算出し
た被写体迄の距離情報と、上記算出した画像入力手段の
移動方向および移動量とに基づいて、上記画像入力手段
から入力される画像に所定の画像処理を施して、所定の
視線方向から見たような画像を生成するようにしたの
で、様々な視線方向から見た画像を画像処理によって生
成することができる。これにより、種々の画像を鑑賞す
るために記憶手段に記憶しておかなければならない映像
データの量を可及的に少なくすることができるので、映
像データを記憶するために必要な記憶容量を少なくする
ことができるようになる。これにより、撮像した被写体
に対して任意の視点位置、視線方向で、立体画像あるい
は平面画像として、任意の再生手順で画像を観賞するこ
とができる装置の構成を簡素化することができる。As described above, the present invention calculates distance information to a subject based on an input image, and
The moving direction and the moving amount of the image input means are calculated based on the input image, and further based on the calculated distance information to the subject and the calculated moving direction and the moving amount of the image input means. Then, the image input from the image input means is subjected to predetermined image processing to generate an image as viewed from a predetermined line-of-sight direction. Can be generated. As a result, the amount of video data that must be stored in the storage means for viewing various images can be reduced as much as possible, so that the storage capacity required for storing the video data can be reduced. You will be able to. As a result, it is possible to simplify the configuration of a device that allows a user to view an image as a stereoscopic image or a planar image at an arbitrary viewpoint position and line-of-sight direction in an arbitrary reproduction procedure with respect to the captured subject.
【００８１】また、本発明の他の特徴によれば、被写体
迄の距離情報を、画像入力手段から入力される画像に基
づいて算出するようにしているので、特別なエネルギー
体を被写体に向けて放出することなく被写体迄の距離情
報を求めることができる。これにより、上述した従来例
のように、超音波やレーザー光などのエネルギー体を被
写体に向けて放出することなく被写体迄の距離を知るこ
とができる。したがって、上述したようなエネルギー体
を吸収してしまうような物体に関しても測距することが
できるとともに、生体へ悪影響を与えることなく測距を
行うことができるようになる。Further, according to another feature of the present invention, the distance information to the subject is calculated based on the image input from the image input means, so that a special energy body is aimed at the subject. It is possible to obtain the distance information to the subject without releasing it. As a result, unlike the above-described conventional example, the distance to the subject can be known without emitting energetic bodies such as ultrasonic waves and laser light toward the subject. Therefore, it is possible to measure the distance even for an object that absorbs the energy body as described above, and it is possible to perform the distance measurement without adversely affecting the living body.
【図１】本発明の第１の実施例を示し、画像記録再生装
置の概略構成を示す機能構成図である。FIG. 1 is a functional configuration diagram showing a schematic configuration of an image recording / reproducing apparatus according to a first embodiment of the present invention.
【図２】複眼撮像装置および移動量算出部の構成を示す
ブロック図である。FIG. 2 is a block diagram showing the configurations of a compound-eye imaging device and a movement amount calculation unit.
【図３】移動量算出のために必要となる基準点を入力す
る様子を示す模式図である。FIG. 3 is a schematic diagram showing how to input a reference point required for calculating a movement amount.
【図４】複眼撮像装置が移動する前の画像と移動した後
の画像との関係を示す図である。FIG. 4 is a diagram showing a relationship between an image before the compound-eye imaging device moves and an image after the compound-eye imaging device moves.
【図５】複眼撮像装置を用いて被写体を撮像する様子を
説明する図である。FIG. 5 is a diagram illustrating a manner in which a subject is imaged using a compound-eye imaging device.
【図６】図５の手順で撮像された画像の撮像範囲と時刻
との関係を示す図である。6 is a diagram showing a relationship between an image capturing range of an image captured by the procedure of FIG. 5 and time.
【図７】被写体の距離情報を抽出していく装置の構成を
示すブロック図である。FIG. 7 is a block diagram showing a configuration of an apparatus for extracting distance information of a subject.
【図８】被写体の再生状況を説明する図である。FIG. 8 is a diagram illustrating a reproduction status of a subject.
【図９】本発明の第２の実施例を示し、単眼撮像装置な
らびに移動量算出部のブロック図である。FIG. 9 is a block diagram of a monocular imaging device and a movement amount calculation unit according to the second embodiment of the present invention.
２１０ 表示装置 ２２０ ポインティングデバイス ３１０、３１１、３２０、３２１ 画像 ４１、４１０ 画像 ５００ 被写体距離連結部 ７１０ 再生手順 ７０Ｌ、７０Ｒ、７１Ｌ、７１Ｒ 入力画像 ７２Ｌ、７２Ｒ 再生画像 210 display device 220 pointing device 310, 311, 320, 321 image 41, 410 image 500 subject distance connecting section 710 reproduction procedure 70L, 70R, 71L, 71R input image 72L, 72R reproduced image
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 13/00 Ｇ０３Ｂ 3/00 Ａ (72)発明者 真継 優和 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内 (72)発明者 石川 基博 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内 (72)発明者 倉橋 直 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 6 Identification number Internal reference number FI Technical indication location H04N 13/00 G03B 3/00 A (72) Inventor Masakazu Yukazu 3-chome Shimomaruko, Ota-ku, Tokyo No. 2 Canon Inc. (72) Inventor Motohiro Ishikawa 3-30-2 Shimomaruko, Ota-ku, Tokyo Canon Inc. (72) Nao Kurahashi 3-30-2 Shimomaruko, Ota-ku, Tokyo Canon Non non corporation
Claims (3)
画像入力手段と、 上記画像入力手段から入力される画像に基づいて被写体
迄の距離情報を算出する距離情報算出手段と、 上記画像入力手段から入力される画像に基づいて上記画
像入力手段の移動方向および移動量を算出する移動方向
／移動量算出手段と、 上記距離情報算出手段によって算出された被写体迄の距
離情報と、上記移動方向／移動量算出手段によって算出
された上記画像入力手段の移動方向および移動量とに基
づいて、上記画像入力手段から入力される画像に所定の
画像処理を施すことにより、所定の視線方向から見たよ
うな画像を生成する画像生成手段とを具備することを特
徴とする画像記録再生装置。1. An image input unit for capturing an image of a subject and inputting an image, a distance information calculation unit for calculating distance information to the subject based on an image input from the image input unit, and the image input unit. Moving direction / moving amount calculating means for calculating the moving direction and moving amount of the image inputting means based on the image inputted from the means, distance information to the object calculated by the distance information calculating means, and the moving direction / Based on the moving direction and the moving amount of the image input unit calculated by the moving amount calculating unit, the image input from the image input unit is subjected to a predetermined image processing, so that the image is viewed from a predetermined line-of-sight direction. An image recording / reproducing apparatus comprising: an image generating unit that generates such an image.
被写体を撮像して画像を入力するための画像入力手段
と、 上記画像入力手段によって入力された画像を記憶するた
めの記憶手段と、 上記画像入力手段によって入力された画像から上記画像
入力手段の移動方向および移動量を算出する移動方向／
移動量算出手段と、 上記画像入力手段によって撮像される被写体迄の距離情
報を算出する距離情報算出手段と、 上記距離情報算出手段によって算出された被写体迄の距
離情報、および上記移動方向／移動量算出手段によって
算出された上記画像入力手段の移動方向および移動量に
基づいて、上記画像入力手段によって入力された画像を
補間する画像補間手段と、 上記距離情報算出手段によって算出された被写体迄の距
離情報、および上記移動方向／移動量算出手段によって
算出された上記画像入力手段の移動方向および移動量に
基づいて、上記画像入力手段によって入力された画像
を、所定の視線方向から見たように変換する画像変換手
段と、 上記画像補間手段によって補間された画像を再生する画
像再生手段と、 上記画像再生手段によって再生される画像の再生順序を
入力する再生順序入力手段とを具備し、 上記画像入力手段によって入力された画像を、その画像
を撮影した範囲における任意の視点、および任意の視線
方向から見た平面画像もしくは立体画像として再生する
ようにしたことを特徴とする画像記録再生装置。2. A plurality of or a single image input device is provided,
Image input means for capturing an image of a subject and inputting an image, storage means for storing the image input by the image input means, and movement of the image input means from the image input by the image input means Direction / movement direction /
A movement amount calculation means, a distance information calculation means for calculating distance information to a subject imaged by the image input means, distance information to the subject calculated by the distance information calculation means, and the movement direction / movement amount. An image interpolating means for interpolating the image input by the image inputting means on the basis of the moving direction and the moving amount of the image inputting means calculated by the calculating means, and a distance to the object calculated by the distance information calculating means. Based on the information and the moving direction and the moving amount of the image input unit calculated by the moving direction / moving amount calculating unit, the image input by the image input unit is converted as viewed from a predetermined line-of-sight direction. Image conversion means, an image reproduction means for reproducing the image interpolated by the image interpolation means, and the image reproduction means. And a reproduction order input means for inputting a reproduction order of images to be reproduced, and the image input by the image input means is viewed from an arbitrary viewpoint and an arbitrary line-of-sight direction in a range in which the image is captured. An image recording / reproducing device characterized by being reproduced as a two-dimensional image or a three-dimensional image.
像内の基準点を入力する基準点入力手段を具備し、 上記移動方向／移動量算出手段は、上記基準点入力手段
より入力された基準点に応じて上記画像入力装置の移動
方向および移動量を算出することを特徴とする請求項２
に記載の画像記録再生装置。3. A reference point input means for inputting a reference point in an image input by the image input means, wherein the movement direction / movement amount calculation means is a reference point input from the reference point input means. 3. The moving direction and the moving amount of the image input device are calculated according to
The image recording / reproducing apparatus according to item 1.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7166233A JPH0916772A (en) | 1995-06-30 | 1995-06-30 | Image recording and reproducing device |
| EP04076832A EP1494476A1 (en) | 1994-09-09 | 1995-09-08 | Image processing method and apparatus |
| EP95306297A EP0701369A1 (en) | 1994-09-09 | 1995-09-08 | Image processing method and apparatus |
| US08/525,289 US6839081B1 (en) | 1994-09-09 | 1995-09-08 | Virtual image sensing and generating method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7166233A JPH0916772A (en) | 1995-06-30 | 1995-06-30 | Image recording and reproducing device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0916772A true JPH0916772A (en) | 1997-01-17 |
Family
ID=15827586
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7166233A Pending JPH0916772A (en) | 1994-09-09 | 1995-06-30 | Image recording and reproducing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0916772A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7532215B2 (en) | 2003-09-02 | 2009-05-12 | Fujifilm Corporation | Image generating apparatus, image generating method and image generating program |
-
1995
- 1995-06-30 JP JP7166233A patent/JPH0916772A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7532215B2 (en) | 2003-09-02 | 2009-05-12 | Fujifilm Corporation | Image generating apparatus, image generating method and image generating program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20050117033A1 (en) | Image processing device, calibration method thereof, and image processing | |
| US6839081B1 (en) | Virtual image sensing and generating method and apparatus | |
| JP4488804B2 (en) | Stereo image association method and three-dimensional data creation apparatus | |
| JP4010753B2 (en) | Shape measuring system, imaging device, shape measuring method, and recording medium | |
| US20110249117A1 (en) | Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program | |
| JP3732335B2 (en) | Image input apparatus and image input method | |
| JP2020506487A (en) | Apparatus and method for obtaining depth information from a scene | |
| JP2012533222A (en) | Image-based surface tracking | |
| JPH09187038A (en) | Three-dimensional shape extract device | |
| CN105717513A (en) | Low-cost laser distance measurement apparatus and method based on common pick-up head chip | |
| US9756421B2 (en) | Audio refocusing methods and electronic devices utilizing the same | |
| JP3643157B2 (en) | Object height measurement method using stereo images | |
| JP2001266128A (en) | Method and device for obtaining depth information and recording medium recording depth information obtaining program | |
| JPH1079029A (en) | Stereoscopic information detecting method and device therefor | |
| JPH07181024A (en) | Method and apparatus for measuring three-dimensional profile | |
| JP2000134537A (en) | Image input device and its method | |
| JPH09145318A (en) | Three-dimensional measuring equipment | |
| JPH0916772A (en) | Image recording and reproducing device | |
| JPH09145368A (en) | Moving and tracing method for object by stereoscopic image | |
| JP3191659B2 (en) | Image input device | |
| JP3151472B2 (en) | Method for generating three-dimensional object image | |
| CN117859339A (en) | Media device, control method and device thereof, and target tracking method and device | |
| JPH1091790A (en) | Three-dimensional shape extraction method and device and storage medium | |
| JPH099143A (en) | Image processing unit | |
| JP3706642B2 (en) | Imaging reproduction apparatus and reproduction method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040715 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040720 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040921 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041109 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050412 |