JP3346481B2 - Video input device - Google Patents
Video input deviceInfo
- Publication number
- JP3346481B2 JP3346481B2 JP11240292A JP11240292A JP3346481B2 JP 3346481 B2 JP3346481 B2 JP 3346481B2 JP 11240292 A JP11240292 A JP 11240292A JP 11240292 A JP11240292 A JP 11240292A JP 3346481 B2 JP3346481 B2 JP 3346481B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- moving
- area
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Television Systems (AREA)
Description
【０００１】[0001]
【産業上の利用分野】本発明は、高精細な動画入力装置
に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a high definition moving image input device.
【０００２】[0002]
【従来の技術】固体撮像素子は小型で消費電力が小さ
く、また残像が無いなどの多くの特長を有することか
ら、最近では家庭用ビデオカメラやハンディタイプの放
送用カメラなど固体撮像素子を用いる撮像装置が増えて
いる。しかし、撮像管を用いる撮像装置に比べまだ解像
度が低く、今後の高解像度化に期待が寄せられている。2. Description of the Related Art Solid-state imaging devices have many features such as small size, low power consumption, and no afterimages. Therefore, recently, imaging using a solid-state imaging device such as a home video camera or a handy-type broadcast camera has been performed. Equipment is increasing. However, the resolution is still lower than that of an image pickup apparatus using an image pickup tube, and there is an expectation for a higher resolution in the future.
【０００３】固体撮像素子の解像度は画素数によって決
まるため、従来の動画入力装置（以下、撮像装置とよ
ぶ）は撮像素子内の画素数を増やすことにより高解像度
化が図られてきた。撮像素子内の画素数を増やす方法と
しては微細加工技術を駆使し、画素密度を高めることに
よる方法が主流であるが、撮像素子のサイズを大きくし
て画素数を増やす方法もある。Since the resolution of a solid-state image pickup device is determined by the number of pixels, a conventional moving image input device (hereinafter referred to as an image pickup device) has been improved in resolution by increasing the number of pixels in the image pickup device. As a method of increasing the number of pixels in the image sensor, a method of making full use of fine processing technology and increasing the pixel density is the mainstream, but there is also a method of increasing the number of pixels by increasing the size of the image sensor.
【０００４】[0004]
【発明が解決しようとする課題】最近、画素密度を高め
る方法によりＨＤＴＶ用の２００万画素の固体撮像素子
が開発されているが、画素密度を高める方法ではプロセ
スが難しくなる問題の他、画素面積縮小による感度低下
の問題も生じている。特に、感度の低下を考慮した場
合、上記２００万の画素数はもはや限界に近く、現状で
はさらに画素数を増加させ解像度を向上することは困難
となっている。Recently, a 2 million pixel solid-state image pickup device for HDTV has been developed by a method of increasing the pixel density. There is also a problem of sensitivity reduction due to reduction. In particular, in consideration of the decrease in sensitivity, the number of pixels of 2,000,000 is almost at the limit, and it is difficult to improve the resolution by further increasing the number of pixels at present.
【０００５】一方、画素密度は変えずに撮像素子のサイ
ズを大きくして画素数を増やす方法では、製造歩留まり
を低下させコスト増加につながる。このため、専ら天文
などの科学用や軍事用に用途は限られている。上記問題
の他、１つの撮像素子内の画素数を増やすことにより高
解像度化を図る従来の方法では、画素数増加に伴ない撮
像素子の駆動速度やディジタル化の際のＡ／Ｄ変換速度
などを高速化しなければならないという問題も深刻化し
ている。On the other hand, a method of increasing the number of pixels by increasing the size of the image sensor without changing the pixel density leads to a decrease in manufacturing yield and an increase in cost. For this reason, applications are limited to scientific and military uses such as astronomy. In addition to the above problems, in the conventional method for increasing the resolution by increasing the number of pixels in one image sensor, the driving speed of the image sensor accompanying the increase in the number of pixels, the A / D conversion speed in digitization, etc. The problem of having to speed up is becoming more serious.
【０００６】本発明は、上記の問題点を解決するために
なされたもので、画素数の少ない撮像素子を用いて高精
細な動画像を、コストを増加させることなく得られる動
画入力装置を提供することを目的とする。SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and provides a moving picture input apparatus capable of obtaining a high-definition moving image without increasing the cost by using an image pickup device having a small number of pixels. The purpose is to do.
【０００７】[0007]
【課題を解決するための手段】本発明にかかる動画入力
装置は、被写体像と撮像素子の画素との相対的な位置関
係を画素ピッチの１／ｎ（ｎ≧２）だけフレーム毎に水
平方向と垂直方向に時間的に変化させて撮像する撮像部
と、前記撮像部から入力されるｎ2 枚のフレーム画像を
合成することにより画素密度がｎ2 倍の画像を合成する
フレーム合成部と、前記撮像部から入力される画像中か
ら動領域を検出する動領域検出部と、前記フレーム合成
部から転送された画像のうち前記動領域検出部が検出し
た動領域に該当する画素の信号値を、前記動領域検出部
からフレーム毎に転送されてくる動領域の画素の信号値
に置き換えることにより、静止領域をｎ2 フレーム毎に
書き換えかつ動領域を１フレーム毎に書き換えて、合成
画像を１フレームに１コマの速度で出力する画像合成部
とを備えたものである。According to the moving image input apparatus of the present invention, the relative positional relationship between the subject image and the pixels of the image pickup device is determined in the horizontal direction for each frame by 1 / n (n ≧ 2) of the pixel pitch. And an imaging unit that performs imaging by changing temporally in the vertical direction, and a frame synthesis unit that synthesizes an image having a pixel density of n 2 times by synthesizing n 2 frame images input from the imaging unit, A moving region detecting unit that detects a moving region from an image input from the imaging unit, and a signal value of a pixel corresponding to the moving region detected by the moving region detecting unit in the image transferred from the frame combining unit. The static image is rewritten every n 2 frames and the dynamic region is rewritten every frame by substituting the signal values of the pixels of the dynamic region transferred from the moving region detection unit for each frame, and the combined image is converted to 1 image. In the frame And an image synthesizing unit for outputting the image at a speed of one frame.
【０００８】[0008]
【作用】動画用撮像装置は、一般に動きのある画像を撮
像するものであるが、通常は動画といえども画面の大部
分は静止画であり、動いている部分は少ない。例えば、
ニュースでアナウンサが原稿を読んでいる場面では、ア
ナウンサの口や目を除く大部分は静止画である。従来の
撮像装置は、動領域と静止領域を同一の撮像素子で取り
込むため動領域，静止領域の区別なく、同一速度で取り
込まれれている。この速度は、動領域における動きを連
続的に見せるため、例えば、ＮＴＳＣでは３０コマ／秒
のように非常に高速に設定されている。The moving image pickup apparatus generally picks up a moving image. However, even though it is a moving image, most of the screen is a still image and there are few moving parts. For example,
When the announcer is reading the manuscript in the news, most of the announcer's mouth and eyes are still images, except for the mouth and eyes. In a conventional imaging apparatus, since a moving region and a still region are captured by the same image sensor, the moving region and the still region are captured at the same speed without distinction between the moving region and the still region. This speed is set to a very high speed, for example, 30 frames / sec in NTSC, in order to make the motion in the moving area appear continuously.
【０００９】しかし、画面中で大部分を占める静止領域
においては、本来このような高速撮像は不要なのであ
る。すなわち、動領域と静止領域では要求される撮像速
度が異なるのである。また、解像度においても、両者の
間で要求値が異なる。However, such a high-speed imaging is basically unnecessary in a still area occupying most of the screen. That is, the required imaging speed differs between the moving region and the stationary region. Also, the required value differs between the two as to the resolution.
【００１０】すなわち、人間の目の視覚特性が動領域に
対しては静止領域に比べ解像力が劣ることが知られてお
り、動領域に要求される解像度は静止領域に比べ低くな
っている。そして、一般には人間の目が感じる動画像の
精細度は静止領域の解像度に主に依存している。[0010] That is, it is known that the visual characteristics of the human eye are inferior to a moving region in resolution than a stationary region, and the resolution required for the moving region is lower than that of the stationary region. In general, the definition of a moving image perceived by human eyes mainly depends on the resolution of a still region.
【００１１】本発明は、動領域と静止領域では上述のよ
うに撮像に要求される特性が異なる点に注目し、上述の
手段において、撮像部では、被写体像と撮像素子の画素
との相対的な位置関係を画素ピッチの１／ｎ（ｎ≧２）
だけフレーム毎に水平方向と垂直方向に時間的に変化さ
せて撮像し、フレーム合成部では、前記撮像部から入力
されるｎ2 枚のフレーム画像を合成して画素密度がｎ2
倍の画像を合成し、動領域検出部では、前記撮像部から
入力される画像中から動領域を検出し、画像合成部で
は、前記フレーム合成部から転送された画像のうち前記
動領域検出部が検出した場合動領域に該当する画素の信
号値を、前記動領域検出部からフレーム毎に転送されて
くる動領域の画素の信号値に置き換えることで静止領域
をｎ2 フレーム毎に置き換えて、合成画素を１フレーム
に１コマの速度で出力するようにしたことにより静止領
域は高精彩に、動領域は高速に撮像する。静止領域を高
精彩に撮像するため、上述のように被写体像と画素の相
対的な位置関係を画素ピッチの１／ｎだけフレーム（ま
たはフィールド）毎に水平方向と垂直方向に時間的に変
化させてｎ2 枚の画像を入力し、このｎ2 枚の画像から
１枚の高精細な画像を合成する（以下、この方法をイメ
ージシフト法とよぶ）。イメージシフト法により高解像
度化が可能になる原理を以下説明する。The present invention focuses on the fact that the characteristics required for imaging are different between the moving area and the stationary area as described above. Is 1 / n of pixel pitch (n ≧ 2)
Only the frames are imaged by changing temporally in the horizontal direction and the vertical direction for each frame, and the frame synthesizing unit synthesizes n 2 frame images input from the imaging unit to obtain a pixel density of n 2
The moving image detecting unit detects the moving region from the image input from the imaging unit, and the moving region detecting unit detects the moving region from the image transferred from the frame combining unit. When the signal value of the pixel corresponding to the moving area is detected, the still area is replaced every n 2 frames by replacing the signal value of the pixel of the moving area transferred for each frame from the moving area detection unit, Since the synthesized pixels are output at the speed of one frame per frame, the still area is imaged with high definition and the moving area is imaged at high speed. As described above, the relative positional relationship between the subject image and the pixels is temporally changed in the horizontal and vertical directions for each frame (or field) by 1 / n of the pixel pitch in order to image the still area with high definition. Then, n 2 images are input, and one high-definition image is synthesized from the n 2 images (hereinafter, this method is referred to as an image shift method). The principle by which the resolution can be increased by the image shift method will be described below.
【００１２】固定撮像素子の撮像部は２次元状に配列さ
れた画素で構成されているが、個々の画素は光強度を読
み取る感光部と、信号転送路等の非感光部からなる。The image pickup section of the fixed image pickup device is composed of two-dimensionally arranged pixels. Each pixel includes a photosensitive section for reading light intensity and a non-photosensitive section such as a signal transfer path.
【００１３】すなわち、直接撮像に寄与する感光部１０
１は、図７に示すように、離散的に配置された構成とな
っており、感光部１０１と感光部１０１の間には直接撮
像には寄与しない非感光部１０２が存在する。そして、
感光部１０１と非感光部１０２とで画素１００が形成さ
れる。この非感光部１０２の存在を利用し、画像のサン
プリング点を倍増することにより、入力画像の高精細化
を図る。That is, the photosensitive section 10 which directly contributes to image pickup.
As shown in FIG. 7, reference numeral 1 denotes a configuration in which the non-photosensitive portions 102 do not directly contribute to image capturing. And
A pixel 100 is formed by the photosensitive portion 101 and the non-photosensitive portion 102. By utilizing the existence of the non-photosensitive portion 102 and doubling the sampling points of the image, the definition of the input image is improved.
【００１４】すなわち、あるフレームで入力した画像
（図７（ａ））と、次のフレームで被写体像と撮像素子
の画素の相対的な位置関係を画素ピッチの１／２ずらし
て入力した画像（図７（ｂ））を合成すれば、それぞれ
のフレーム画像において撮像素子の非感光部１０２にあ
たる領域の光強度情報が、もう一方の画像ではサンプリ
ングされていることになり、結局、合成画像では図７
（ｃ）に示すように実効的に２倍の画素密度で画像を読
み取ったことに相当し、高精細化が可能になる。That is, an image input in a certain frame (FIG. 7A) and an image input in the next frame with the relative positional relationship between the subject image and the pixels of the image sensor shifted by 1/2 of the pixel pitch ( If FIG. 7B is synthesized, the light intensity information of the area corresponding to the non-photosensitive portion 102 of the image sensor in each frame image is sampled in the other image. 7
As shown in (c), this is equivalent to reading an image effectively at twice the pixel density, and high definition can be achieved.
【００１５】図７では、簡単のため２枚の画像を水平方
向に補間する方法について説明したが、水平方向，垂直
方向ともに補間による高精細化が可能であり、さらに、
画素ピッチの１／３ずつずらして１方向について３倍の
高密度化も可能である。In FIG. 7, a method of interpolating two images in the horizontal direction has been described for simplicity. However, high definition can be achieved by interpolation in both the horizontal and vertical directions.
It is possible to increase the density three times in one direction by shifting the pixel pitch by １ ／ of the pixel pitch.
【００１６】このような高精細な画像を１枚（１コマ）
撮像するのに要する時間は、通常の動画撮像のｎ2 倍と
なるが、静止領域の撮像のため時間をかけた低速撮像で
あっても何等問題は生じない。One such high-definition image (one frame)
The time required for imaging is n 2 times that of normal moving image imaging. However, no problem occurs even in low-speed imaging which takes time for imaging a still area.
【００１７】次に、動領域は通常の動画撮像と同一の速
度で撮像する。すなわち、本発明の動画入力装置ではイ
メージシフト法を用いるが、撮像素子のフレーム周期は
通常の動画撮像と同一であり、したがって動領域を検出
し、この動領域については通常の解像度で１フレームご
とに１枚の画像を取り出す。この場合、解像度は静止領
域に比べ１／ｎとなるが、動領域に対する人間の目の解
像度が上述のように静止領域に比べ低いことから解像度
の劣化はほとんど認識されない。したがって、本発明に
よれば撮像素子の画素数を増やすことなく入力画像の精
細度を高めることができる。Next, the moving area is imaged at the same speed as the normal moving image imaging. That is, in the moving image input apparatus of the present invention, the image shift method is used. However, the frame period of the image sensor is the same as that of normal moving image pickup, and therefore, a moving region is detected. To take out one image. In this case, the resolution is 1 / n as compared with the still region, but since the resolution of the human eye with respect to the moving region is lower than the still region as described above, deterioration of the resolution is hardly recognized. Therefore, according to the present invention, it is possible to increase the definition of an input image without increasing the number of pixels of the image sensor.
【００１８】[0018]
【実施例】＜第１実施例＞本発明の第１実施例の概略構
成を図１に示す。図１において、１はＣＣＤエリアセン
サ（以下、単にＣＣＤとよぶ）、２は透明板、４は圧電
素子、５はレンズ、６はＡ／Ｄ変換器、７１はフレーム
合成部、７２は動領域検出部、８は画像合成部である。
本実施例では撮像素子としてＣＣＤ１を用いる。<First Embodiment> FIG. 1 shows a schematic configuration of a first embodiment of the present invention. In FIG. 1, 1 is a CCD area sensor (hereinafter simply referred to as CCD), 2 is a transparent plate, 4 is a piezoelectric element, 5 is a lens, 6 is an A / D converter, 71 is a frame synthesis unit, and 72 is a moving area. The detection unit 8 is an image synthesis unit.
In this embodiment, the CCD 1 is used as an image sensor.
【００１９】イメージシフト法として本実施例では、Ｃ
ＣＤ１の前面で透明板２を振動させる方法を用いる。こ
の方法は文献(SID '83 Technical Digest (1983)）に記
載されているように、透明板２を傾けることにより光が
屈折し撮像面上で被写体像がシフトすることを利用する
ものである。In this embodiment, C is used as the image shift method.
A method of vibrating the transparent plate 2 on the front surface of the CD 1 is used. As described in the literature (SID '83 Technical Digest (1983)), this method utilizes the fact that the light is refracted by tilting the transparent plate 2 and the subject image shifts on the imaging surface.
【００２０】本実施例では、図１に示すように透明板２
の上下，左右に圧電素子４を取り付け、これへの電圧印
加により透明板２を前後方向および左右方向にフレーム
周期に同期させ回転振動させる。これにより、ＣＣＤ１
の撮像面上で被写体像がフレームごとに上下，左右にシ
フトする。このシフト距離を画素ピッチの１／２になる
よう透明板２の回転角、すなわち傾きを設定すれば、４
フレームで撮像した４枚の画像を合成することにより、
合成画像の実効的な画素密度が４倍になる。In this embodiment, as shown in FIG.
The piezoelectric element 4 is mounted on the upper, lower, left and right sides, and by applying a voltage to the piezoelectric element 4, the transparent plate 2 is rotated and vibrated in the front and rear direction and the left and right direction in synchronization with the frame period. Thereby, CCD1
The image of the subject shifts up and down and left and right for each frame on the image pickup surface of. If the rotation angle of the transparent plate 2, that is, the inclination, is set so that this shift distance becomes の of the pixel pitch, 4
By combining the four images captured in the frame,
The effective pixel density of the composite image is quadrupled.
【００２１】上記合成処理は図１に示すようにＡ／Ｄ変
換器６でディジタル化した画信号を分岐し、フレーム合
成部７１で行う。フレーム合成部７１で合成された画像
は、画像合成部８に転送される。このようにＣＣＤ１か
ら画像合成部８に転送される画像は、４フレーム周期を
かけて取り込まれた画像であり、１コマ分の画像の取り
込み速度は通常の動画撮像に比べ１／４と遅くなるが画
素密度が４倍となるため高精細な画像となっている。In the synthesizing process, the image signal digitized by the A / D converter 6 is branched as shown in FIG. The image combined by the frame combining unit 71 is transferred to the image combining unit 8. The image transferred from the CCD 1 to the image synthesizing unit 8 in this manner is an image captured over a period of four frames, and the speed of capturing one frame of image is one-fourth slower than normal moving image capturing. However, since the pixel density is quadrupled, a high definition image is obtained.
【００２２】Ａ／Ｄ変換後の分岐されたもう一方の画信
号は、動領域検出部７２で動領域を切り出す。動領域の
検出法を図２により説明する。図２において斜線部はＣ
ＣＤ１の１つの画素（画素番号をｉ，ｊで表す）に相当
する領域を示す。イメージシフトにより画素の開口部が
フレームごとにi,j 、i,j 、i,j 、i,j へと順
次移動する。A moving area is cut out by the moving area detecting section 72 from the other image signal after the A / D conversion. A method for detecting a moving region will be described with reference to FIG. In FIG. 2, the hatched portion is C
An area corresponding to one pixel of CD1 (pixel numbers are represented by i and j) is shown. Due to the image shift, the aperture of the pixel sequentially moves to i , j , i , j , i , j , i , j for each frame.
【００２３】いま画素ｉ，ｊの開口部がi,j にあると
する。前フレームにおける同一位置の輝度レベルと比較
して変化がある場合には、この位置は動領域と判定でき
るが、前フレームでは開口部がi,j の位置にあり、
i,j の位置の輝度がサンプリングされていないため、上
述のような比較はできない。Now, it is assumed that the openings of the pixels i and j are located at i and j . If there is a change compared to the luminance level at the same position in the previous frame, this position can be determined as a moving area, but in the previous frame, the apertures are at positions i and j ,
Since the luminance at the positions of i and j is not sampled, the above comparison cannot be performed.
【００２４】そこで、本実施例では全フレームにおける
i,j の位置の輝度レベルをi,jの位置に挟むi,j
とi+1,j の２つの位置の平均値で近似し、この平均値
と比較して変化があった場合に動領域の条件とする。さ
らに、４フレーム前のi,jの輝度レベルと比較し変化
があった場合を動領域であるもう１つの条件とし、上記
２つの条件が満たされた場合に画素ｉ，ｊを動領域にあ
ると判定する。開口部が他の位置にあるときも同様の方
法で検出する。Therefore, in this embodiment, in all the frames,
i , j sandwiching the luminance level at the position of i , j between the positions of i , j
And i + 1 , j are approximated by the average value of the two positions, and if there is a change compared with the average value, the condition of the moving area is set. Further, when there is a change compared with the luminance levels of i and j four frames before, another condition as a moving region is defined as a moving region, and when the above two conditions are satisfied, pixel i and j are in the moving region. Is determined. When the opening is located at another position, detection is performed in the same manner.
【００２５】図３に動領域と静止領域の合成法を示す。
検出した動領域（図３（ａ）斜線部）の画信号はフレー
ム毎に画像合成部８に転送する。画像合成部８には静止
領域として既に転送された画信号が存在するが（図３
（ｂ））、動領域に該当する領域の画素の信号値を動領
域検出部７２で取り出された領域の画素の信号値に置き
換える。FIG. 3 shows a method of synthesizing a moving area and a stationary area.
The detected image signal of the moving area (the hatched portion in FIG. 3A) is transferred to the image synthesizing unit 8 for each frame. An image signal already transferred as a still area exists in the image synthesizing unit 8 (FIG. 3).
(B)), the signal value of the pixel in the area corresponding to the moving area is replaced with the signal value of the pixel in the area extracted by the moving area detecting unit 72.
【００２６】この際、動領域検出部７２からの画像の画
素密度はフレーム合成部７１から静止領域として画像合
成部８に転送されている画像の画素密度の１／４である
ため、図３（ｃ）に示すように動領域検出部７２からの
画像の１画素に対し、画像合成部８に転送されている画
像の該当する４画素を１組としてまとめて置き換える。At this time, the pixel density of the image from the moving area detecting section 72 is １ ／ of the pixel density of the image transferred from the frame synthesizing section 71 to the image synthesizing section 8 as a still area. As shown in c), for one pixel of the image from the moving area detecting unit 72, the corresponding four pixels of the image transferred to the image synthesizing unit 8 are collectively replaced as one set.
【００２７】以上の方法により、画像合成部８で静止領
域は高精細な画像が４フレームに１回書き換えられ、一
方、動領域は１フレームごとに書き換えられ、この合成
画像が１フレームに１コマの速度で出力される。すなわ
ち、通常のＮＴＳＣ方式による速度で自然な動画像とし
て、かつＨＤＴＶ並の精細度の画像として出力されるこ
とになる。 ＜第２実施例＞本発明の第２実施例の概略構成を図４に
示す。図４において、３はカメラ動き検出部である。本
実施例では、カメラの動きによる画素ずれをカメラ動き
検出部３で検出して補償する。これは、例えばカメラを
右から左に動かした場合、静止物体であっても画面の左
から右へ移動するため動領域として扱われる。According to the above-described method, the high-definition image is rewritten once every four frames in the still area by the image synthesizing unit 8, while the moving area is rewritten every frame, and the synthesized image is rewritten once per frame. Output at the speed of In other words, the image is output as a natural moving image at a speed according to the normal NTSC system and as an image having a definition similar to HDTV. <Second Embodiment> FIG. 4 shows a schematic configuration of a second embodiment of the present invention. In FIG. 4, reference numeral 3 denotes a camera motion detection unit. In the present embodiment, a pixel shift due to camera movement is detected and compensated by the camera movement detection unit 3. For example, when the camera is moved from right to left, even a stationary object moves from left to right on the screen, and is thus treated as a moving area.
【００２８】しかし、カメラが動く場合は画面全体が同
一方向に移動するため、１フレーム間の移動量を検出し
て、画面全体を移動方向と逆方向にシフトさせれば静止
画像として扱うことが可能である。However, when the camera moves, the entire screen moves in the same direction. Therefore, if the amount of movement between one frame is detected and the entire screen is shifted in the direction opposite to the moving direction, it can be treated as a still image. It is possible.
【００２９】本実施例では、公知の方法を用いてカメラ
の動きよる全体画像の移動量と方向をカメラ動き検出部
３で検出する。そして、フレーム合成部７１で４枚のフ
レームを合成する場合、２番目以降のフレーム画像は移
動方向と逆方向にシフトさせ合成すればカメラの動きに
よる画素ずれを補償することができ、前記実施例１と同
様高精細な静止領域の画像として画像合成部８に転送す
ることができる。一方、動領域検出部７２では画面全体
を移動方向と逆方向にシフトさせたのち、画信号レベル
が前フレームと比べ変化が生じた領域を取り出すことに
より、物体が移動した領域を取り出すことができる。In the present embodiment, the movement amount and the direction of the entire image due to the movement of the camera are detected by the camera movement detection unit 3 using a known method. When four frames are combined by the frame combining unit 71, if the second and subsequent frame images are shifted in the direction opposite to the moving direction and combined, the pixel shift due to the camera movement can be compensated. 1, the image can be transferred to the image synthesizing section 8 as a high-definition still area image. On the other hand, the moving area detection unit 72 shifts the entire screen in the direction opposite to the moving direction, and then extracts the area where the image signal level has changed compared to the previous frame, thereby extracting the area where the object has moved. .
【００３０】本実施例ではカメラの動きを補償すること
により、実際に被写体が移動した領域以外は高精細に出
力することが可能となる。なお、上記カメラ動きの補償
処理以外の構成は前記実施例１と同じである。 ＜第３実施例＞本発明の第３実施例の概略構成を図５に
示す。図５において１Ｒ，１Ｇ，１ＢはＣＣＤ、ＤＰは
ダイクロイックプリズムである。本実施例では、ダイク
ロイックプリズムＤＰによりＲＧＢに色分解された３つ
の被写体像を、３つのＣＣＤ１Ｒ，１Ｇ，１Ｂで撮像す
る。ここで１Ｒは赤（Ｒ）成分の被写体像を撮像し、１
Ｇは緑（Ｇ）成分の被写体像を撮像し、１Ｂは青（Ｂ）
成分の被写体像を撮像する。In this embodiment, by compensating for the movement of the camera, it is possible to output a high-definition image other than the area where the subject has actually moved. The configuration other than the camera motion compensation process is the same as that of the first embodiment. <Third Embodiment> A schematic configuration of a third embodiment of the present invention is shown in FIG. In FIG. 5, 1R, 1G, and 1B are CCDs, and DP is a dichroic prism. In the present embodiment, three subject images separated into RGB by the dichroic prism DP are captured by the three CCDs 1R, 1G, and 1B. Here, 1R captures the subject image of the red (R) component,
G captures a green (G) component subject image, and 1B represents blue (B).
The subject image of the component is captured.
【００３１】本実施例では、第１実施例と同様の透明板
２を振動させる方法により、静止領域を高精細に撮像す
る。透明板２はダイクロイックプリズムＤＰの全面に配
置し、ＣＣＤ１Ｒ，１Ｇ，１Ｂの撮像面上に結像される
３つの被写体像を同時にシフトさせる。図５の第３実施
例においては、電気系の構成は省略したが、本実施例で
は各色成分ごとに実施例１と同様な電気系構成を備え、
ＲＧＢで高精細な動画を出力する。 ＜第４実施例＞本発明の第４実施例の概略構成を図６に
示す。図６において８１は出力信号合成器である。本実
施例の光学系およびＣＣＤ１からフレーム合成部７１、
動領域検出部７２までの構成と信号処理法は実施例１と
同じである。In the present embodiment, a still area is imaged with high definition by the same method of vibrating the transparent plate 2 as in the first embodiment. The transparent plate 2 is disposed on the entire surface of the dichroic prism DP, and simultaneously shifts three subject images formed on the imaging surfaces of the CCDs 1R, 1G, and 1B. In the third embodiment of FIG. 5, the configuration of the electric system is omitted, but in the present embodiment, the same electric system configuration as in the first embodiment is provided for each color component.
Outputs high-definition moving images in RGB. <Fourth Embodiment> FIG. 6 shows a schematic configuration of a fourth embodiment of the present invention. In FIG. 6, reference numeral 81 denotes an output signal synthesizer. A frame synthesizing unit 71 from the optical system of this embodiment and the CCD 1;
The configuration up to the moving area detection unit 72 and the signal processing method are the same as those in the first embodiment.
【００３２】本実施例では静止領域の画像情報を時間軸
で圧縮する。すなわち、実施例１では静止領域の画像は
１コマ前（４フレーム前）との間の変化の有無にかかわ
らず全て出力したが、本実施例では１コマ前と比べて変
化の無い領域は出力しない。In this embodiment, the image information of the still area is compressed on the time axis. That is, in the first embodiment, all the images in the still area are output irrespective of whether or not there is a change between one frame before (four frames before), but in the present embodiment, an area having no change compared to one frame before is output. do not do.
【００３３】したがって、１コマ前には動領域として検
出された領域で該フレームで静止領域となった領域の信
号のみフレーム合成部７１から出力する。一方、動領域
検出部７２からは実施例１と同様にフレームごとに動領
域の信号を出力するそして、フレーム合成部７１からの
出力信号と動領域検出部７２からの出力信号を出力信号
合成器８１で多重化し、本撮像装置の出力信号として出
力する。本実施例では受信側に静止領域画像の蓄積手段
を必要とするが、画像の大部分を占める静止領域の画像
情報の伝送が不要になるため伝送情報量を大幅に圧縮で
きる。Therefore, the frame synthesizing section 71 outputs only the signal of the area which has been detected as a moving area one frame before and has become a static area in the frame. On the other hand, the moving area detecting section 72 outputs a signal of the moving area for each frame in the same manner as in the first embodiment. The output signal from the frame synthesizing section 71 and the output signal from the moving area detecting section 72 are output by the output signal synthesizer. The signal is multiplexed at 81 and output as an output signal of the image pickup apparatus. In the present embodiment, the receiving side requires a storage device for a still area image, but the transmission of image information in the still area occupying most of the image becomes unnecessary, so that the amount of transmission information can be greatly reduced.
【００３４】以上においては本発明の４つの実施例を示
したにとどまり、本発明の精神を脱することなく、種々
の変更が可能なことは言うまでもない。例えば、上記実
施例では撮像素子としてＣＣＤ１を用いたが、撮像素子
の種類を問わず実施することが可能である。In the above, only four embodiments of the present invention have been shown, and it goes without saying that various modifications can be made without departing from the spirit of the present invention. For example, in the above embodiment, the CCD 1 is used as the image sensor, but the present invention can be implemented regardless of the type of the image sensor.
【００３５】そして、画像がフィールド画像であるとき
はフレーム合成部７１はフィールド合成部となる。When the image is a field image, the frame synthesizing section 71 becomes a field synthesizing section.
【００３６】また、上記実施例ではいずれも１方向につ
いて画素ピッチの１／２だけずらした画像による合成と
したが、画素ピッチの１／３づつずらし解像度をさらに
高めることも可能である。In each of the above embodiments, the image is synthesized by shifting the image by 1/2 of the pixel pitch in one direction. However, the resolution can be further increased by shifting by 1/3 of the pixel pitch.
【００３７】さらに、上記実施例では透明板２を振動さ
せるイメージシフト法を用いて撮像素子上で被写体像を
シフトさせたが、イメージシフト法を実現する方法とし
てこれまでにいくつかの方法が提案されており、いずれ
の方法を用いても本発明の実施が可能である。Further, in the above embodiment, the subject image is shifted on the image pickup device by using the image shift method in which the transparent plate 2 is vibrated. However, several methods have been proposed as methods for realizing the image shift method. The present invention can be carried out using any of the methods.
【００３８】例えば、その代表的なものとして文献（テ
レビジョン学会技術報告，ED736,(1986)）に記載されて
いるように、固体撮像素子を圧電素子の上に装着して１
／２画素ピッチの振幅でフィールドごとに１方向に振動
させる方法や文献（平成２年度電子情報通信学会秋季全
国大会予稿集Ｄ−２４４）に記載されているように固体
撮像素子の前に液晶パネルと水晶板を置き、水晶板の複
屈折を利用して被写体像の方を撮像素子で振動させる方
法なども適用可能である。For example, as described in the literature (Technical Report of the Institute of Television Engineers of Japan, ED736, (1986)) as a typical example, a solid-state imaging device is mounted on a piezoelectric
A method of vibrating in one direction for each field with an amplitude of / 2 pixel pitch and a liquid crystal panel in front of the solid-state imaging device as described in the literature (D-244 of the IEICE Fall National Convention). A method in which the subject image is vibrated by the image sensor using birefringence of the quartz plate is also applicable.
【００３９】また、上記実施例では、動領域検出法の一
例を示したが、動領域検出の方法によらず本発明を実施
できることは明らかである。さらに、上記実施例２では
カメラの動きを補償したが、この補償は実施例２以外で
も同様に適用可能である。Further, in the above-described embodiment, an example of the moving area detection method has been described. However, it is apparent that the present invention can be implemented regardless of the moving area detection method. Further, in the second embodiment, the movement of the camera is compensated. However, this compensation can be similarly applied to other than the second embodiment.
【００４０】[0040]
【発明の効果】以上説明したように本発明は、被写体像
と撮像素子の画素との相対的な位置関係を画素ピッチの
１／ｎ（ｎ≧２）だけフレーム毎に水平方向と垂直方向
に時間的に変化させて撮像する撮像部と、前記撮像部か
ら入力されるｎ2 枚のフレーム画像を合成することによ
り画素密度がｎ2 倍の画像を合成するフレーム合成部
と、前記撮像部から入力される画像中から動領域を検出
する動領域検出部と、前記フレーム合成部から転送され
た画像のうち前記動領域検出部が検出した動領域に該当
する画素の信号値を、前記動領域検出部からフレーム毎
に転送されてくる動領域の画素の信号値に置き換えるこ
とにより、静止領域をｎ2 フレーム毎に書き換えかつ動
領域を１フレーム毎に書き換えて、合成画像を１フレー
ムに１コマの速度で出力する画像合成部とを備えたの
で、画像の精細度を決定する静止領域については時間を
かけて十分高精彩に撮像し、また、動領域については従
来の動画像撮像と同一速度で撮像して自然な動画像を撮
像することができる。以上から、本発明の動画入力装置
では画素数の少ない撮像素子を用いても高精細な動画の
撮像が可能である。このため、ＨＤＴＶ等の高精細な動
画入力装置を低コストで実現できる。As described above, according to the present invention, the relative positional relationship between the subject image and the pixels of the image sensor is shifted by 1 / n (n ≧ 2) of the pixel pitch in the horizontal and vertical directions for each frame. An imaging unit that changes the image over time, a frame synthesis unit that synthesizes an image having a pixel density of n 2 times by synthesizing n 2 frame images input from the imaging unit, A moving region detecting unit that detects a moving region from an input image; and a signal value of a pixel corresponding to the moving region detected by the moving region detecting unit in the image transferred from the frame combining unit. By replacing the signal value of the pixel of the moving area transferred from the detection unit for each frame with the signal value of the moving area, the static area is rewritten every n 2 frames and the moving area is rewritten every frame, and the synthesized image is converted into one frame per frame. At the speed of Since the camera has a powerful image synthesizing unit, it takes a long time to capture a sufficiently high-definition image of a still region that determines the definition of an image, and also captures a moving region at the same speed as a conventional moving image. Thus, a natural moving image can be captured. As described above, the moving image input apparatus of the present invention can capture a high-definition moving image even with an imaging element having a small number of pixels. Therefore, a high-definition moving image input device such as an HDTV can be realized at low cost.
【００４１】さらに、ＨＤＴＶ用などの高解像度の撮像
素子を用いて本発明を実施すれば、従来にはない超高精
細な動画の撮像が可能となる。また、本発明によれば動
領域と静止領域において１コマ前に動領域であった部分
のみの信号を送ればよく伝送信号を容易に圧縮すること
ができる。Furthermore, if the present invention is implemented using a high-resolution image sensor for HDTV or the like, it is possible to capture an ultra-high-definition moving image, which has not been achieved in the past. Further, according to the present invention, it is only necessary to send a signal of a portion which was a moving region one frame before in a moving region and a still region, and a transmission signal can be easily compressed.
【図１】本発明の第１実施例の概略構成図である。FIG. 1 is a schematic configuration diagram of a first embodiment of the present invention.
【図２】第１実施例で動領域を検出する方法の説明図で
ある。FIG. 2 is an explanatory diagram of a method for detecting a moving region in the first embodiment.
【図３】第１実施例で検出した動領域を静止領域と合成
する方法を示す図である。FIG. 3 is a diagram illustrating a method of combining a moving region detected in the first embodiment with a still region.
【図４】本発明の第２実施例の概略構成図である。FIG. 4 is a schematic configuration diagram of a second embodiment of the present invention.
【図５】本発明の第３実施例の要部の概略構成図であ
る。FIG. 5 is a schematic configuration diagram of a main part of a third embodiment of the present invention.
【図６】本発明の第４実施例の概略構成図である。FIG. 6 is a schematic configuration diagram of a fourth embodiment of the present invention.
【図７】イメージシフト法による高解像度化の説明図で
ある。FIG. 7 is an explanatory diagram of increasing the resolution by the image shift method.
１ ＣＣＤエリアセンサ １Ｒ ＣＣＤエリアセンサ １Ｇ ＣＣＤエリアセンサ １Ｂ ＣＣＤエリアセンサ ２ 透明板 ３ カメラ動き検出部 ４ 圧電素子 ５ レンズ ６ Ａ／Ｄ変換器 ８ 画像合成部 ７１ フレーム合成部 ７２ 動領域検出部 ８１ 出力信号合成器 ＤＰ ダイクロイックプリズム DESCRIPTION OF SYMBOLS 1 CCD area sensor 1R CCD area sensor 1G CCD area sensor 1B CCD area sensor 2 Transparent plate 3 Camera motion detection part 4 Piezoelectric element 5 Lens 6 A / D converter 8 Image synthesis part 71 Frame synthesis part 72 Moving area detection part 81 Output Signal synthesizer DP dichroic prism
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 5/222 ──────────────────────────────────────────────────続 き Continued on front page (58) Field surveyed (Int.Cl. 7 , DB name) H04N 5/222
Claims (1)
位置関係を画素ピッチの１／ｎ（ｎ≧２）だけフレーム
毎に水平方向と垂直方向に時間的に変化させて撮像する
撮像部と、 前記撮像部から入力されるｎ2 枚のフレーム画像を合成
することにより画素密度がｎ2 倍の画像を合成するフレ
ーム合成部と、 前記撮像部から入力される画像中から動領域を検出する
動領域検出部と、 前記フレーム合成部から転送された画像のうち前記動領
域検出部が検出した動領域に該当する画素の信号値を、
前記動領域検出部からフレーム毎に転送されてくる動領
域の画素の信号値に置き換えることにより、静止領域を
ｎ2 フレーム毎に書き換えかつ動領域を１フレーム毎に
書き換えて、合成画像を１フレームに１コマの速度で出
力する画像合成部とを備えていることを特徴とする動画
入力装置。1. An image pickup method in which a relative positional relationship between a subject image and pixels of an image sensor is temporally changed in a horizontal direction and a vertical direction for each frame by 1 / n (n ≧ 2) of a pixel pitch. and parts, and a frame synthesizing portion pixel density to synthesize n 2 times the image by combining the n 2 frame images input from the imaging unit, a motion region from an image input from the imaging unit A moving region detecting unit to detect, a signal value of a pixel corresponding to a moving region detected by the moving region detecting unit in the image transferred from the frame synthesizing unit,
By replacing the signal value of the pixel of the moving area transferred from the moving area detection unit for each frame with the signal value of the pixel of the moving area, the static area is rewritten every n 2 frames and the moving area is rewritten every frame, and the synthesized image is converted into one frame. And an image synthesizing unit for outputting the image at a speed of one frame.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11240292A JP3346481B2 (en) | 1992-04-06 | 1992-04-06 | Video input device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11240292A JP3346481B2 (en) | 1992-04-06 | 1992-04-06 | Video input device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05292478A JPH05292478A (en) | 1993-11-05 |
| JP3346481B2 true JP3346481B2 (en) | 2002-11-18 |
Family
ID=14585762
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11240292A Expired - Fee Related JP3346481B2 (en) | 1992-04-06 | 1992-04-06 | Video input device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3346481B2 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7876980B2 (en) | 2004-11-11 | 2011-01-25 | Panasonic Corporation | Imaging apparatus and imaging method for outputting a specified number of pixels in a specified area |
| JP2006166400A (en) * | 2004-11-11 | 2006-06-22 | Matsushita Electric Ind Co Ltd | Imaging apparatus and imaging method |
| JP2007000205A (en) * | 2005-06-21 | 2007-01-11 | Sanyo Electric Co Ltd | Image processing apparatus, image processing method, and image processing program |
| KR101348262B1 (en) * | 2005-10-12 | 2014-01-08 | 실버크레스트 인베스트먼트 홀딩스 리미티드 | Method of forming a combined image based on a plurality of image frames |
| JP2008310418A (en) * | 2007-06-12 | 2008-12-25 | Nikon Corp | Image processing apparatus, image processing program, and digital camera equipped therewith |
| JP2010034964A (en) * | 2008-07-30 | 2010-02-12 | Sharp Corp | Image composition apparatus, image composition method and image composition program |
| WO2012081163A1 (en) * | 2010-12-13 | 2012-06-21 | パナソニック株式会社 | Imaging system, image processing device used for same, image processing method and image processing program |
-
1992
- 1992-04-06 JP JP11240292A patent/JP3346481B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH05292478A (en) | 1993-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100666290B1 (en) | Image pick up device and image pick up method | |
| JP3380913B2 (en) | Solid-state imaging device | |
| US5978023A (en) | Color video camera system and method for generating color video signals at increased line and/or frame rates | |
| JPH01319375A (en) | Image pickup device | |
| JP3346481B2 (en) | Video input device | |
| US7236194B2 (en) | Image signal processing apparatus | |
| JPH07203318A (en) | Image pickup device | |
| JPH05276452A (en) | Image pickup device | |
| JP3648638B2 (en) | Color imaging device | |
| JP2000299810A (en) | Image pickup device | |
| JPH06339146A (en) | Television camera | |
| JP2004015236A (en) | Imaging apparatus | |
| JP2713295B2 (en) | Driving method of solid-state imaging device and imaging device | |
| KR100222971B1 (en) | Apparatus for high definition image scanner using 3 sensor | |
| JPH06209435A (en) | Picture input output transmission system | |
| JP3466031B2 (en) | Imaging device | |
| KR100231007B1 (en) | High-resolution image aquisition device and pixel arrangement method using 4 ccd | |
| JP3078024B2 (en) | Video signal recording and playback processing device | |
| JPH0884299A (en) | Solid-state image pickup device | |
| JPH06292094A (en) | Image pickup device | |
| JP2000295531A (en) | Image pickup device | |
| KR100207984B1 (en) | High definition image pickup device using 3board type image sensor | |
| JP2005217970A (en) | Imaging device and its driving method | |
| JP2002034049A (en) | Imaging device | |
| JPH11187306A (en) | Image pickup device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070906 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080906 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080906 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090906 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090906 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100906 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100906 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110906 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |