JPH04196775A - Still picture forming device - Google Patents
Still picture forming deviceInfo
- Publication number
- JPH04196775A JPH04196775A JP2328654A JP32865490A JPH04196775A JP H04196775 A JPH04196775 A JP H04196775A JP 2328654 A JP2328654 A JP 2328654A JP 32865490 A JP32865490 A JP 32865490A JP H04196775 A JPH04196775 A JP H04196775A
- Authority
- JP
- Japan
- Prior art keywords
- data
- interpolation
- motion
- pixel
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000013598 vector Substances 0.000 claims abstract description 24
- 238000003384 imaging method Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 12
- 238000000034 method Methods 0.000 description 7
- 238000006073 displacement reaction Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
【発明の詳細な説明】 産業上の利用分野 本発明は高解像の静止画形成装置に関する。[Detailed description of the invention] Industrial applications The present invention relates to a high-resolution still image forming apparatus.
従来の技術
従来のカメラにおいて、少ない画素数の撮像素子を用い
て分解能の高い静止画像を得るために、時間的に撮像素
子をずらして複数枚のフレームから合成する方法がある
。2. Description of the Related Art In conventional cameras, in order to obtain a still image with high resolution using an image sensor with a small number of pixels, there is a method of temporally shifting the image sensor and synthesizing a plurality of frames.
第7図に撮像素子を水平および垂直方向に平行移動させ
るこ、とにより分解能の高い静止画像を得るための構成
図を示す。カメラに入射した光はレンズ701により撮
像素子702上に結像される。FIG. 7 shows a configuration diagram for obtaining a still image with high resolution by moving the image sensor in parallel in the horizontal and vertical directions. Light incident on the camera is imaged onto an image sensor 702 by a lens 701.
結像された光は撮像素子702で電気信号に変換され、
同期信号発生器705により出力される同期信号に合わ
せて、メモリ703に送られる。The imaged light is converted into an electrical signal by the image sensor 702,
It is sent to the memory 703 in accordance with the synchronization signal output by the synchronization signal generator 705.
また、撮像素子702は画素間を埋めるために水平およ
び垂直方向に平行移動される。ここで、撮像素子702
の平行移動は微少変位で行うため、圧電素子などの駆動
素子704で駆動される。例えば、水平方向に3倍、垂
直方向に2倍の分解能を得るためには、水平方向に3回
、垂直方向に2回、合計6回の移動が行われる。ここで
、駆動される時間は撮像素子702の信号をメモリに転
送する期間の間に行われる。Further, the image sensor 702 is translated in parallel in the horizontal and vertical directions to fill in the gaps between pixels. Here, the image sensor 702
Since the parallel movement is performed by minute displacement, it is driven by a driving element 704 such as a piezoelectric element. For example, to obtain three times the resolution in the horizontal direction and two times the resolution in the vertical direction, movement is performed three times in the horizontal direction and two times in the vertical direction, a total of six times. Here, the driving time is during the period during which the signal of the image sensor 702 is transferred to the memory.
第8図に撮像素子702を水平方向に3回、垂直方向に
2回、合計6回の移動を行い、メモリに展開した図を示
す。ここで、○印は最初に撮像素子に取り込んだ画像デ
ータであり、△印および◇印は水平方向に撮像素子を移
動したときに取り込んだ画像である。また、・印は垂直
方向に移動したときに取り込んだ画像データであり、ム
印と◆印は水平および垂直方向に移動したときに取り込
んだ画像である。そして、メモリ上のデータをそのまま
出力すれば、解像度の高い画像を得ることができる。FIG. 8 shows a diagram in which the image sensor 702 is moved three times in the horizontal direction and twice in the vertical direction, a total of six times, and expanded in the memory. Here, the ◯ mark is image data that was first captured by the image sensor, and the △ and ◇ marks are images that were captured when the image sensor was moved in the horizontal direction. Also, the * mark is image data captured when moving in the vertical direction, and the square mark and ◆ mark are images captured when moving in the horizontal and vertical directions. Then, by outputting the data in the memory as is, a high-resolution image can be obtained.
以上のように撮像素子を平行移動させることにより、少
ない画素数の撮像素子で高分解能の画像を得ることがで
きる。By moving the image sensor in parallel as described above, a high-resolution image can be obtained using an image sensor with a small number of pixels.
発明が解決しようとする課題
撮像素子を平行移動させることにより高分解能の画像を
得ることは可能であるが、上記のように直接メモリに展
開する方法では、撮像素子の平行移動の位置を正確に確
定しなければならない。Problems to be Solved by the Invention Although it is possible to obtain high-resolution images by moving the image sensor in parallel, the above method of directly storing it in memory makes it difficult to accurately determine the position of the image sensor in parallel. Must be confirmed.
本発明は、撮像素子の位置を確定しなくても高分解能(
撮像素子の画素数の4倍以上)の画像を得る静止画形成
装置を提供することを目的とする。The present invention provides high resolution (
It is an object of the present invention to provide a still image forming device that can obtain an image with the number of pixels (at least four times the number of pixels of an image sensor).
課題を解決するための手段
一上記目的を達成するために本発明の静止画形成装置は
、画面全体が少しずつずれた複数枚の画像のうち、2枚
ずつをペアにして画像間の動きベクトルを算出する動き
ベクトル算出手段と、前記動きベクトルに基づいて動き
を補償する動き補償手段と、基準となる画像の画素間を
補間する補間手段と、動き補償された画素の値により前
記補間手段の補間データを補正する補間値補正手段とを
備えてなる。Means for Solving the Problems 1 In order to achieve the above object, the still image forming device of the present invention pairs two images each out of a plurality of images whose entire screen is slightly shifted, and calculates a motion vector between the images. a motion vector calculation means for calculating the motion vector, a motion compensation means for compensating the motion based on the motion vector, an interpolation means for interpolating between pixels of a reference image, and a motion vector calculation means for calculating the motion based on the motion vector; and interpolation value correction means for correcting interpolation data.
作用
上記の構成により、画素数の少ない画像データを複数枚
利用して分解能の高い画像データを得る際に、画像間の
動きベクトルに基づいて画素数を順次増加させるため、
画像間の位置関係を正確に規定して撮像する必要がない
。Effect: With the above configuration, when obtaining high-resolution image data by using multiple pieces of image data with a small number of pixels, the number of pixels is sequentially increased based on the motion vector between images.
There is no need to accurately define the positional relationship between images when capturing images.
実施例 以下、本発明における実施例を図面を用いて説明する。Example Embodiments of the present invention will be described below with reference to the drawings.
第1図は本発明の実施例を示す静止画形成装置のブロッ
ク図である。FIG. 1 is a block diagram of a still image forming apparatus showing an embodiment of the present invention.
第1図において、画面全体が少しずつずれた複数枚の画
像が撮像素子により取り込まれ、1フイールド遅延器1
01により1フイールドずれた2枚ずつのペアで処理さ
れる。In FIG. 1, multiple images with the entire screen slightly shifted are captured by an image sensor, and one field delay device 1
01, processing is performed in pairs of two sheets shifted by one field.
まず、1枚目のフィールドデータと1フイ一ルド分ずれ
た2枚目のフィールドデータから、動きベクトル算出回
路102により動きベクトルを算出する。算出方法は、
第2図に示すようにパターンマツチング法により行う。First, the motion vector calculation circuit 102 calculates a motion vector from the second field data that is shifted by one field from the first field data. The calculation method is
The pattern matching method is used as shown in FIG.
パターンマツチング法とは、1枚目の画像の1部分を切
り出し、2枚目の画像と比較して、一致したときのずれ
(変位)を、その画像の動きベクトルとする方法である
。The pattern matching method is a method in which a part of the first image is cut out, compared with the second image, and the shift (displacement) when they match is used as the motion vector of the image.
例えば、1枚目のパターンに使う画素を8×8画素とし
、2枚目の画像の捜索範囲を24X24とすると、動き
ベクトルは水平方向±8、垂直方向±8の範囲で検出す
ることができる。そして、それぞれの差分の絶対値をと
ると、第3図のように最小点を持つ。ここで、最小点に
おける変位(動きベクトル)が画素と画素の間に存在す
る場合、例えば、bとdとの間に最小点が存在する場合
、abとcdを結ぶ直線の交点Xにおける変位を最小点
の変位とすればよい。For example, if the pixels used for the first pattern are 8 x 8 pixels and the search area for the second image is 24 x 24, motion vectors can be detected within a range of ±8 in the horizontal direction and ±8 in the vertical direction. . Then, when the absolute value of each difference is taken, the minimum point is found as shown in FIG. Here, if the displacement (motion vector) at the minimum point exists between pixels, for example, if the minimum point exists between b and d, then the displacement at the intersection X of the straight line connecting ab and cd is The displacement at the minimum point may be used.
そして、求められた動きベクトルに基づいて、動き補償
回路103により動きが補償される。動き補償された画
素は、第4図に示されるΔ印のように1枚目のフィール
ドの画素(O印)および、補間画素(×印)の間に補償
される。Then, the motion is compensated by the motion compensation circuit 103 based on the determined motion vector. The motion-compensated pixels are compensated between the first field pixel (O mark) and the interpolation pixel (x mark), as indicated by the Δ mark shown in FIG.
次に、1枚目の画像データに対して、ライン補間回路1
04によりライン補間を行う。第4図において、0印を
1枚目のフィールドの画素、X印をライン補間を行う画
素とすると、ライン補間の処理は、例えば、補間する画
素の上下にある1枚目のフィールドの画素値(○印)の
平均値、または偶数次のフィルタ等を使って求めればよ
い。Next, the line interpolation circuit 1
04 performs line interpolation. In Figure 4, if the 0 mark is a pixel in the first field and the It may be determined using the average value of (marked with ○) or an even-order filter.
次に、補間された補間値に対して動き補償されたデータ
を用いて、補間値補正回路10Bにより補間値の補正を
行う。Next, the interpolated value is corrected by the interpolated value correction circuit 10B using the motion-compensated data for the interpolated interpolated value.
第4図において、O印を1枚目の画素、X印を補間され
た画素とし、Δ印を動き補償した画素とすると、補間さ
れた画素(×印)のデータは、近傍にある動き補償され
た画素(△印)のデータにより補正が行われる。In Fig. 4, if O mark is the first pixel, X mark is the interpolated pixel, and Δ mark is the motion compensated pixel, the data of the interpolated pixel (x mark) is Correction is performed using the data of the pixels (marked with △).
第5図において、a+を上の画素データ、a2を下の画
素データ、b、をa++ a2により補間されたデー
タ%C1を動き補償された画素のデータとすると、補正
された補間データd+を、
d+= (C+−b+)X (la−I+)/ls+b
+により求める。ここで、111はblとa2の画素間
の距離、11はす、とC5との画素間の距離である。In FIG. 5, if a+ is the upper pixel data, a2 is the lower pixel data, and b is the data interpolated by a++ a2, %C1 is the motion-compensated pixel data, then the corrected interpolated data d+ is d+= (C+-b+)X (la-I+)/ls+b
Determine by +. Here, 111 is the distance between the pixels bl and a2, and 11 is the distance between the pixels bl and C5.
次に、補間値補正された画像を用いて、さらに2枚の画
像をペアにして画素数を増加させる。前述したように、
動きベクトルの算出および動き補償は同様に行われるが
、これ以降の処理では補間処理はライン補間ではなく、
画素補間を行う。Next, using the interpolation value corrected image, two more images are paired to increase the number of pixels. As previously mentioned,
Motion vector calculation and motion compensation are performed in the same way, but in the subsequent processing, interpolation processing is not line interpolation, but
Perform pixel interpolation.
画素補間の方法は、第6図に示すように水平。The pixel interpolation method is horizontal as shown in Figure 6.
垂直、斜め方向に行われる。また、補間データの補正は
動き補償された画素の近傍にある3点に対して行われる
。Performed vertically and diagonally. Further, the interpolation data is corrected at three points near the motion-compensated pixel.
そして、さらに合成されたデータは順次ペアを組みなが
ら、同様に補間および補間値補正により画素数を順次増
やしていく。Then, while the combined data is sequentially paired, the number of pixels is sequentially increased through interpolation and interpolation value correction.
発明の効果
以上のように本発明によれば、画面全体が少しずつずれ
た複数枚の画像データのうち、2枚ずつペアにしながら
動きベクトルの算出、動き補償。Effects of the Invention As described above, according to the present invention, motion vectors are calculated and motion compensation is performed by pairing two images of a plurality of image data whose entire screen is slightly shifted.
補間処理および補間データ補正を行うことにより、画像
間の位置関係を正確に規定して撮像する必要がないため
、簡単に高分解能の画像を得ることができる。By performing interpolation processing and interpolation data correction, it is not necessary to accurately define the positional relationship between images to capture images, and thus it is possible to easily obtain high-resolution images.
第1図は本発明の実施例における静止画形成装置の構成
を示すブロック図、第2図はパターンとその捜索範囲を
示す模式図、第3図は変位(動きベクトル)とパターン
との差分の絶対値との関係を示す特性図、第4図はライ
ン補間された画素と動き補償された画素との関係を示す
模式図、第5図は補間値補正の方法を示す特性図、第6
図は画素補間された画素と動き補償された画素との関係
を表した模式図、第7図は従来の撮像素子をずらして複
数枚の画像を得る静止画形成装置の構成を示すブロック
図、第8図は第7図のメモリ703内の状態を示す模式
図である。
101・・・1フイールド遅延器、 102・・・動
きベクトル算出回路、 103・・・動き補償回路、
104・・・ライン補間回路、 105・・・画素補
間回路、 106・・・補間値補正回路。
代理人の氏名 弁理士 小鍜治 明 ほか2名第2図
第3図
f4立 (勧セNクトノリ
9A5図
第6図
uxo′tべEo(
70イ
第8図
−が8何−=
リ Δ QQ ム 9 vFIG. 1 is a block diagram showing the configuration of a still image forming apparatus in an embodiment of the present invention, FIG. 2 is a schematic diagram showing a pattern and its search range, and FIG. 3 is a diagram showing the difference between displacement (motion vector) and pattern. A characteristic diagram showing the relationship with the absolute value, FIG. 4 is a schematic diagram showing the relationship between line interpolated pixels and motion compensated pixels, FIG. 5 is a characteristic diagram showing the interpolation value correction method, and FIG.
The figure is a schematic diagram showing the relationship between pixels subjected to pixel interpolation and pixels subjected to motion compensation, and FIG. 7 is a block diagram showing the configuration of a still image forming apparatus that obtains a plurality of images by shifting conventional image sensors. FIG. 8 is a schematic diagram showing the state inside the memory 703 in FIG. 7. 101...1 field delay device, 102...Motion vector calculation circuit, 103...Motion compensation circuit,
104...Line interpolation circuit, 105...Pixel interpolation circuit, 106...Interpolated value correction circuit. Name of agent: Patent attorney Akira Okaji and two others Fig. 2 Fig. 3 f4 tate M 9 v
Claims (2)
む撮像手段と、 前記複数枚の画像のデータのうち、2枚ずつをペアにし
て2枚の画像間の動きベクトルを算出する動きベクトル
算出手段と、 前記動きベクトルに基づいて動きを補償する動き補償手
段と、 基準となる画像の画素間を補間する補間手段と、動き補
償された画素のデータにより前記補間手段の補間データ
を補正する補間値補正手段とを具備してなる静止画形成
装置。(1) An imaging means that captures a plurality of images whose entire screen is slightly shifted, and a motion vector that pairs two images out of the data of the plurality of images and calculates a motion vector between the two images. a calculating means; a motion compensating means for compensating for motion based on the motion vector; an interpolating means for interpolating between pixels of a reference image; and correcting interpolated data of the interpolating means using motion-compensated pixel data. A still image forming device comprising interpolation value correction means.
補間画素に対して近傍にあるときは大きな重みづけを行
い、離れているときは少ない重みで補正する請求項1記
載の静止画形成装置。(2) The still image forming device according to claim 1, wherein in the interpolation value correction circuit, when the motion-compensated pixel is close to the interpolation pixel, a large weight is applied to the pixel, and when the pixel is far from the interpolation pixel, the correction is performed with a small weight. .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2328654A JPH04196775A (en) | 1990-11-27 | 1990-11-27 | Still picture forming device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2328654A JPH04196775A (en) | 1990-11-27 | 1990-11-27 | Still picture forming device |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH04196775A true JPH04196775A (en) | 1992-07-16 |
Family
ID=18212677
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2328654A Pending JPH04196775A (en) | 1990-11-27 | 1990-11-27 | Still picture forming device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH04196775A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6963361B1 (en) | 1998-02-24 | 2005-11-08 | Canon Kabushiki Kaisha | Image sensing method and apparatus capable of performing vibration correction when sensing a moving image |
WO2005122554A1 (en) * | 2004-06-10 | 2005-12-22 | Olympus Corporation | Imaging device |
JP2013526104A (en) * | 2010-03-15 | 2013-06-20 | クゥアルコム・インコーポレイテッド | Method and apparatus for processing and reconstructing data |
-
1990
- 1990-11-27 JP JP2328654A patent/JPH04196775A/en active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6963361B1 (en) | 1998-02-24 | 2005-11-08 | Canon Kabushiki Kaisha | Image sensing method and apparatus capable of performing vibration correction when sensing a moving image |
US7518635B2 (en) | 1998-02-24 | 2009-04-14 | Canon Kabushiki Kaisha | Method and apparatus for image sensing |
WO2005122554A1 (en) * | 2004-06-10 | 2005-12-22 | Olympus Corporation | Imaging device |
US7868923B2 (en) | 2004-06-10 | 2011-01-11 | Olympus Corporation | Imaging system |
JP2013526104A (en) * | 2010-03-15 | 2013-06-20 | クゥアルコム・インコーポレイテッド | Method and apparatus for processing and reconstructing data |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5646679A (en) | Image combining method and apparatus | |
JP3263931B2 (en) | Stereo matching device | |
JP2011151798A (en) | Multocular image pickup apparatus and method | |
JP4489848B2 (en) | Method for correcting image steadyness error in television film scanning, method for changing the motion sequence of a predetermined image object in a television image, and apparatus for performing the method | |
JP2002077947A (en) | Method for correcting stereoscopic image and stereoscopic image apparatus using the same | |
KR100236682B1 (en) | Image shift correction for video cameras | |
JPH04196775A (en) | Still picture forming device | |
JPH0865567A (en) | Image pickup device | |
JP2974500B2 (en) | Compound eye imaging device | |
JPH0568666B2 (en) | ||
JPH07283999A (en) | Image synthesizer and image photographing device | |
JP5269954B2 (en) | Imaging device | |
JP2005027046A (en) | Image processor and image processing method | |
JP2008235958A (en) | Imaging apparatus | |
JPH0223790A (en) | Method and circuit for registration correction | |
JP2735264B2 (en) | Motion compensated imaging device | |
JP3270620B2 (en) | Image input method | |
JP3298913B2 (en) | Super high definition video camera | |
JP2524016B2 (en) | Image displacement measuring device | |
JPH0888778A (en) | Image scanning device | |
JPH06217186A (en) | Video camera | |
WO2012053136A1 (en) | Stereoscopic image processing circuit and stereoscopic image capturing device | |
JPH04145777A (en) | Motion vector detecting device | |
JP3053681B2 (en) | Image stabilization device | |
JP6642991B2 (en) | Image processing apparatus, imaging apparatus, and imaging control program |