JP2009124249A

JP2009124249A - Video recording device

Info

Publication number: JP2009124249A
Application number: JP2007293363A
Authority: JP
Inventors: Takahiro Kondo; 高広近藤
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2007-11-12
Filing date: 2007-11-12
Publication date: 2009-06-04

Abstract

PROBLEM TO BE SOLVED: To provide a video recording device capable of recording clear and blur-less images of a moving object. SOLUTION: The video signal processing portion 120 is equipped with an optical flow detecting means 121 for detecting an optical flow according to video signals of a plurality of frames of different image pickup time instants and controls the shuttering speed of a shutter means 113 so that the speed is approximately proportional to the magnitude of the flow vector of the optical flow detected by the optical flow detecting means. The video signal processing portion 120 also controls the aperture value of an aperture means 112 so that the quantity of exposure light applied to a photoelectric transfer means 114 is approximately constant. COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、ビデオカメラなどの映像記録装置に関する。 The present invention relates to a video recording apparatus such as a video camera.

従来、ビデオカメラなどの映像記録装置は、適切な露光状態を得るように、撮像光学系の入射光量を変える絞り機構（アイリス）及び露光（以下、露光を露出ともいう）時間を変えるシャッタを自動で制御する自動露出制御（Auto Exposure）機能を備えている。この自動露出制御機能により、撮影者は複雑な操作をすることなく安定かつ良好な映像を取得することができる。 2. Description of the Related Art Conventionally, video recording apparatuses such as video cameras automatically use a diaphragm mechanism (iris) that changes the amount of incident light of an imaging optical system and a shutter that changes exposure (hereinafter, exposure is also referred to as exposure) so as to obtain an appropriate exposure state. It has an automatic exposure control function (Auto Exposure) that is controlled by. With this automatic exposure control function, the photographer can acquire a stable and good image without complicated operations.

ビデオカメラで動画を撮影する場合、撮影状況や撮影環境が時々刻々と変化するため、それらの変化に追従して露出制御を行う必要がある。例えば、シャッタスピードを任意に設定した場合には、適切な露光量を得るために絞り機構の絞り値を変化させて露出制御を行う。一方、絞り機構の絞り値を変化させずにシャッタスピードを変化させて露出制御を行う方法も提案されている。 When a moving image is shot with a video camera, the shooting situation and shooting environment change every moment, so it is necessary to perform exposure control following these changes. For example, when the shutter speed is arbitrarily set, exposure control is performed by changing the aperture value of the aperture mechanism in order to obtain an appropriate exposure amount. On the other hand, a method has been proposed in which exposure control is performed by changing the shutter speed without changing the aperture value of the aperture mechanism.

また、下記の特許文献１には、撮像信号のゲインを自動的に調節するＡＧＣゲイン機能を備えた映像記録装置において、被写体の輝度が所定のレベルより低い場合には、ＡＧＣゲイン機能を用いず、シャッタスピードを変化させて露出制御を行う方法が提案されている。これにより、撮影者は、様々な撮影状況、撮影環境に応じて、従来の映像記録装置に比べてより細やかな露出制御を行うことができる。
特許第３２６２３４８号公報（段落００１０、００１１） Also, in Patent Document 1 below, in an image recording apparatus having an AGC gain function that automatically adjusts the gain of an imaging signal, the AGC gain function is not used when the luminance of the subject is lower than a predetermined level. A method of performing exposure control by changing the shutter speed has been proposed. Thereby, the photographer can perform finer exposure control as compared with the conventional video recording apparatus according to various photographing situations and photographing environments.
Japanese Patent No. 3262348 (paragraphs 0010 and 0011)

しかしながら、上述した従来の映像記録装置は、被写体の動きに応じた露出制御を行っていないため、例えば、高速で移動する列車や自動車から風景を撮影した場合、一方向へ流れたような映像となる。この場合、撮影映像の前後２枚のフレーム間でオプティカルフローが発生している。また、撮影映像の１枚のフレーム内においても被写体が露光時間内で移動した分だけ流れた画像、すなわちブレた画像として記録される。映像再生時に画像の詳細を確認するために一時停止あるいはスロー再生を行うことがあるが、１枚のフレーム内で被写体にブレがあると、画像の詳細を確認することは困難である。
なお、オプティカルフローとは、画像中の注目点がどの方向にどれだけ移動しているかを表す速度ベクトルである。 However, since the conventional video recording apparatus described above does not perform exposure control according to the movement of the subject, for example, when a landscape is photographed from a train or car moving at high speed, Become. In this case, an optical flow occurs between the two frames before and after the captured video. In addition, even in one frame of the photographed video, the image is recorded as an image that flows as much as the subject moves within the exposure time, that is, a blurred image. Pause or slow playback may be performed to check the details of the image during video playback, but if the subject is blurred within one frame, it is difficult to check the details of the image.
The optical flow is a velocity vector representing how much the attention point in the image has moved in which direction.

本発明は、上記の問題点を解決するためになされたもので、動きのある被写体についてブレの少ない鮮明な画像を記録することが可能な映像記録装置を提供することを目的とする。 The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a video recording apparatus capable of recording a clear image with less blur on a moving subject.

上記の目的を達成するために、本発明は、被写体を結像させるレンズ、前記レンズによって結像された被写体像を光電変換する光電変換手段、前記光電変換手段に対する入射光量を調節する絞り手段及び露光時間を調節するシャッタ手段を有するカメラ部と、前記光電変換手段で光電変換して得られた電気信号を映像信号に変換して出力するとともに、前記電気信号に基づいて前記絞り手段及び前記シャッタ手段を制御する映像信号処理部と、前記映像信号処理部から出力された前記映像信号を記録する映像記録部とを備えた映像記録装置において、
前記映像信号処理部は、撮像時刻が異なる複数フレームの前記映像信号に基づいてオプティカルフローを検出するオプティカルフロー検出手段を備え、検出された前記オプティカルフローのフローベクトルの大きさに応じて前記シャッタ手段のシャッタスピードを制御し、かつ、前記光電変換手段に対する露光量がほぼ一定になるように前記絞り手段の絞り値を制御することを特徴とする。 In order to achieve the above object, the present invention provides a lens that forms an image of a subject, a photoelectric conversion unit that photoelectrically converts a subject image formed by the lens, a diaphragm unit that adjusts the amount of incident light to the photoelectric conversion unit, and A camera unit having a shutter unit for adjusting an exposure time; and an electric signal obtained by photoelectric conversion by the photoelectric conversion unit is converted into a video signal and output, and the diaphragm unit and the shutter are based on the electric signal. In a video recording apparatus comprising a video signal processing unit for controlling the means and a video recording unit for recording the video signal output from the video signal processing unit,
The video signal processing unit includes optical flow detection means for detecting an optical flow based on the video signals of a plurality of frames having different imaging times, and the shutter means according to the magnitude of the detected flow vector of the optical flow And the aperture value of the aperture means is controlled so that the exposure amount to the photoelectric conversion means is substantially constant.

本発明によれば、映像信号処理部が撮像時刻の異なる複数フレームの映像信号に基づいてオプティカルフローを検出し、検出されたオプティカルフローのフローベクトルの大きさに応じてシャッタ手段のシャッタスピードを制御し、かつ、光電変換手段に対する露光量がほぼ一定になるように絞り手段の絞り値を制御するので、動きのある被写体についてブレの少ない鮮明な画像を記録することができる。 According to the present invention, the video signal processing unit detects an optical flow based on video signals of a plurality of frames having different imaging times, and controls the shutter speed of the shutter unit according to the magnitude of the detected flow vector of the optical flow. In addition, since the aperture value of the aperture means is controlled so that the exposure amount with respect to the photoelectric conversion means becomes substantially constant, a clear image with little blur can be recorded for a moving subject.

以下、本発明を図面に示す好適な実施の形態に基づいて詳細に説明する。図１は本発明に係る映像記録装置の一実施の形態の構成を示すブロック図であり、動画として被写体像の映像信号を得るデジタルビデオカメラを例示している。図１において、映像記録装置１００は、被写体を撮影して被写体像の電気信号を出力するカメラ部１１０と、このカメラ部１１０から出力される電気信号を入力し、映像信号に変換して出力するとともに、カメラ部１１０の露光状態を制御する映像信号処理部１２０と、この映像信号処理部１２０から出力される映像信号を記録する映像記録部１３０とを備えている。 Hereinafter, the present invention will be described in detail based on preferred embodiments shown in the drawings. FIG. 1 is a block diagram showing the configuration of an embodiment of a video recording apparatus according to the present invention, and exemplifies a digital video camera that obtains a video signal of a subject image as a moving image. In FIG. 1, a video recording apparatus 100 captures a subject and outputs an electrical signal of the subject image, inputs an electrical signal output from the camera unit 110, converts it into a video signal, and outputs the video signal. In addition, a video signal processing unit 120 that controls the exposure state of the camera unit 110 and a video recording unit 130 that records a video signal output from the video signal processing unit 120 are provided.

このうち、カメラ部１１０は、レンズ群１１１、絞り手段１１２、シャッタ手段１１３及び光電変換手段１１４を備えている。ここで、レンズ群１１１は光学レンズとそれを駆動するレンズ駆動装置とで構成されている。絞り手段１１２は入射光量を調節するための絞り機構であり、レンズ群１１１によって得られた被写体像について適切な入射光量となるように制御される。シャッタ手段１１３は、例えばＣＣＤ（Charge Coupled Device）の電子シャッタであり、ＣＣＤでの露光時間を可変制御して所望のシャッタスピードを設定する。光電変換手段１１４は、例えばＣＣＤやＣＭＯＳ（Complementaly MOS）などで構成され、レンズ群１１１、絞り手段１１２で結像された被写体像を光電変換し、得られた電気信号を映像信号処理部１２０に加える。 Among these, the camera unit 110 includes a lens group 111, a diaphragm unit 112, a shutter unit 113, and a photoelectric conversion unit 114. Here, the lens group 111 includes an optical lens and a lens driving device that drives the optical lens. The diaphragm means 112 is a diaphragm mechanism for adjusting the amount of incident light, and is controlled so that the subject image obtained by the lens group 111 has an appropriate amount of incident light. The shutter means 113 is, for example, an electronic shutter of a CCD (Charge Coupled Device), and variably controls the exposure time in the CCD to set a desired shutter speed. The photoelectric conversion means 114 is constituted by, for example, a CCD or a CMOS (Complementaly MOS), photoelectrically converts the subject image formed by the lens group 111 and the diaphragm means 112, and the obtained electric signal is supplied to the video signal processing unit 120. Add.

映像信号処理部１２０は、カメラ部１１０から出力された被写体像の電気信号をＡ／Ｄ変換し、例えば、ＭＰＥＧ（Moving Picture Experts Group）−２符号化方式で圧縮を行って映像記録部１３０に加える。映像信号処理部１２０はこれらの処理を行う機能の他に、オプティカルフローを検出する機能、すなわちオプティカルフロー検出手段１２１を備えている。オプティカルフロー検出手段１２１は、画像の時空間微分の拘束方程式による条件からフローベクトルを推定する勾配法、あるいは画像のある大きさの領域に着目し、次フレームの画像中の相関が高い領域を検索してフローベクトルを検出するブロックマッチング法などの手法を用いてオプティカルフローを検出する。上述のように、オプティカルフローとは、画像中の注目点がどの方向にどれだけ移動しているかを表す速度ベクトルである。 The video signal processing unit 120 performs A / D conversion on the electrical signal of the subject image output from the camera unit 110 and compresses the electrical signal in the video recording unit 130 by, for example, MPEG (Moving Picture Experts Group) -2 encoding method. Add. In addition to the function of performing these processes, the video signal processing unit 120 includes a function of detecting an optical flow, that is, an optical flow detection unit 121. The optical flow detector 121 focuses on a gradient method for estimating a flow vector from a condition based on a constraint equation of spatiotemporal differentiation of an image, or an area of a certain size of an image, and searches for an area having a high correlation in the image of the next frame. Then, an optical flow is detected using a technique such as a block matching method for detecting a flow vector. As described above, the optical flow is a velocity vector representing how much the attention point in the image is moving in which direction.

図２はブロックマッチング法を用いたオプティカルフロー検出の例を示している。ここで、（ａ）に示す時刻Ｔのときの画像から任意領域（破線で囲まれた部分）を切り出し、（ｂ）に示す時刻Ｔ＋Δｔ（デジタルビデオカメラでは、Δｔ＝１／３０秒）の画像の探索範囲内から最も相関が高い領域（破線で囲まれた部分）を探索し、フローベクトルを求める。 FIG. 2 shows an example of optical flow detection using the block matching method. Here, an arbitrary region (a portion surrounded by a broken line) is cut out from the image at time T shown in (a), and an image at time T + Δt (Δt = 1/30 seconds in a digital video camera) shown in (b). A region having the highest correlation (a portion surrounded by a broken line) is searched from within the search range, and a flow vector is obtained.

映像信号処理部１２０は、オプティカルフロー検出手段１２１によりオプティカルフローが検出されるまで、周知の自動露出制御に従ってシャッタ手段１１３のシャッタスピード及び絞り手段１１２の絞り値を制御する。そして、オプティカルフロー検出手段１２１によりオプティカルフローが検出された後は、検出されたオプティカルフローのフローベクトルの大きさにほぼ比例するようにシャッタ手段１１３のシャッタスピードを制御し、かつ光電変換手段１１４に対する露光量がほぼ一定になるように絞り手段１１２の絞り値を制御する。例えば１／６０秒から１／１２０秒へ速くする。この場合、シャッタ手段１１３のシャッタスピードの可変範囲を複数の区間に分け、フローベクトルの増大に応じてシャッタスピードを階段状に増加させるようにしてもよい。また、シャッタスピードを速くすると被写体像の入射光量が減少するので、入射光量の減少分を補うように絞り手段１１２を制御して入射光量を増加させる。 The video signal processing unit 120 controls the shutter speed of the shutter unit 113 and the aperture value of the aperture unit 112 according to well-known automatic exposure control until the optical flow is detected by the optical flow detection unit 121. After the optical flow is detected by the optical flow detection means 121, the shutter speed of the shutter means 113 is controlled so as to be approximately proportional to the magnitude of the detected optical flow flow vector, and the photoelectric conversion means 114 is controlled. The aperture value of the aperture means 112 is controlled so that the exposure amount becomes substantially constant. For example, the speed is increased from 1/60 seconds to 1/120 seconds. In this case, the variable range of the shutter speed of the shutter unit 113 may be divided into a plurality of sections, and the shutter speed may be increased stepwise as the flow vector increases. Further, when the shutter speed is increased, the incident light amount of the subject image decreases. Therefore, the diaphragm unit 112 is controlled to compensate for the decrease in the incident light amount, thereby increasing the incident light amount.

図３はフローベクトル、シャッタスピード及び絞り値の関係を示す模式図である。この模式図に従って説明すると、例えば、デジタルビデオカメラのシャッタスピードが１／６０秒から１／４０００秒まで可変であるとき、検出されたフローベクトルの値が小さい場合は、シャッタスピードを１／６０秒に近づけ、検出されたフローベクトルの値が大きい場合は、シャッタスピードを１／４０００秒に近づけるようにする。また、決定されたシャッタスピードに対応するように絞り手段１１２の絞り値を小さくする。 FIG. 3 is a schematic diagram showing the relationship between the flow vector, the shutter speed, and the aperture value. For example, when the shutter speed of a digital video camera is variable from 1/60 seconds to 1/4000 seconds, and the detected flow vector value is small, the shutter speed is reduced to 1/60 seconds. If the value of the detected flow vector is large, the shutter speed is made close to 1/4000 seconds. Further, the aperture value of the aperture means 112 is decreased so as to correspond to the determined shutter speed.

映像記録部１３０は、例えばＨＤＤ（Hard Disk Drive）、ＤＶＤ（Digital Versatile Disc）、ビデオテープなどの記録媒体であり、映像信号処理部１２０から出力された映像信号を記録する。 The video recording unit 130 is a recording medium such as an HDD (Hard Disk Drive), a DVD (Digital Versatile Disc), or a video tape, and records the video signal output from the video signal processing unit 120.

次に、図４のフローチャートを参照して、映像信号処理部１２０の詳細な動作について説明する。まず、ステップＳ１で映像記録装置１００が自動露出制御に従って被写体の撮影を開始すると、映像信号処理部１２０は、カメラ部１１０から得られた被写体像の電気信号をＡ／Ｄ変換し、オプティカルフロー検出手段１２１へ時刻Ｔの画像（Ｔ）を入力する。次に、ステップＳ２で映像信号処理部１２０は、カメラ部１１０から得られた被写体像の電気信号をＡ／Ｄ変換し、オプティカルフロー検出手段１２１へ時刻Ｔ＋Δｔの画像（Ｔ＋Δｔ）を入力する。次に、ステップＳ３で映像信号処理部１２０は、画像（Ｔ）と画像（Ｔ＋Δｔ）についてブロックマッチング法による演算処理を行う。次に、ステップＳ４で映像信号処理部１２０は、ステップＳ３における演算処理の結果からオプティカルフローベクトルを推定し、推定した値に対応する制御信号をシャッタ手段１１３に加える。次に、ステップＳ５でシャッタ手段１１３は、制御信号に従って光電変換手段１１４の電化蓄積時間、すなわちシャッタスピードを制御する。次に、ステップＳ６で、映像信号処理部１２０は、シャッタスピードを変えたことによる入射光量の変化分、すなわち露光時間の変化による入射光量の変化分を補うように絞り手段１１２の絞り値を決定し、絞り手段１１２を制御する。 Next, the detailed operation of the video signal processing unit 120 will be described with reference to the flowchart of FIG. First, when the video recording apparatus 100 starts photographing a subject in accordance with automatic exposure control in step S1, the video signal processing unit 120 performs A / D conversion on the electrical signal of the subject image obtained from the camera unit 110, and detects an optical flow. The image (T) at time T is input to the means 121. Next, in step S 2, the video signal processing unit 120 performs A / D conversion on the electrical signal of the subject image obtained from the camera unit 110, and inputs an image (T + Δt) at time T + Δt to the optical flow detection unit 121. Next, in step S 3, the video signal processing unit 120 performs arithmetic processing by the block matching method on the image (T) and the image (T + Δt). Next, in step S4, the video signal processing unit 120 estimates an optical flow vector from the result of the arithmetic processing in step S3, and adds a control signal corresponding to the estimated value to the shutter unit 113. Next, in step S5, the shutter unit 113 controls the charge accumulation time of the photoelectric conversion unit 114, that is, the shutter speed, according to the control signal. Next, in step S6, the video signal processing unit 120 determines the aperture value of the aperture means 112 so as to compensate for the change in the incident light amount due to the change in the shutter speed, that is, the change in the incident light amount due to the change in the exposure time. Then, the aperture means 112 is controlled.

なお、上記の実施の形態では、時刻Ｔの画像（Ｔ）と時刻Ｔ＋Δｔの画像（Ｔ＋Δｔ）の２つの画像に基づいてオプティカルフローを検出したが、時間が互いに異なる３つ以上の画像に基づいてオプティカルフローを検出することもできる。 In the above embodiment, the optical flow is detected based on the two images of the image at time T (T) and the image at time T + Δt (T + Δt), but based on three or more images having different times. An optical flow can also be detected.

本発明に係る映像記録装置の一実施の形態の構成を示すブロック図である。It is a block diagram which shows the structure of one Embodiment of the video recording apparatus which concerns on this invention. 本発明の一実施の形態を構成する要素がブロックマッチング法を用いてオプティカルフローを検出することを示す説明図である。It is explanatory drawing which shows that the element which comprises one embodiment of this invention detects an optical flow using a block matching method. 本発明の一実施の形態の動作を説明するために、フローベクトル、シャッタスピード及び絞り値の関係を示す模式図である。FIG. 5 is a schematic diagram illustrating a relationship among a flow vector, a shutter speed, and an aperture value in order to explain the operation of the embodiment of the present invention. 本発明の一実施の形態を構成する要素の詳細な動作を説明するためのフローチャートである。It is a flowchart for demonstrating the detailed operation | movement of the element which comprises one embodiment of this invention.

符号の説明Explanation of symbols

１００映像記録装置
１１０カメラ部
１１１レンズ群
１１２絞り手段
１１３シャッタ手段
１１４光電変換手段
１２０映像信号処理部
１２１オプティカルフロー検出手段
１３０映像記録部 DESCRIPTION OF SYMBOLS 100 Video recording apparatus 110 Camera part 111 Lens group 112 Aperture means 113 Shutter means 114 Photoelectric conversion means 120 Video signal processing part 121 Optical flow detection means 130 Video recording part

Claims

被写体を結像させるレンズ、前記レンズによって結像された被写体像を光電変換する光電変換手段、前記光電変換手段に対する入射光量を調節する絞り手段及び露光時間を調節するシャッタ手段を有するカメラ部と、前記光電変換手段で光電変換して得られた電気信号を映像信号に変換して出力するとともに、前記電気信号に基づいて前記絞り手段及び前記シャッタ手段を制御する映像信号処理部と、前記映像信号処理部から出力された前記映像信号を記録する映像記録部とを備えた映像記録装置において、
前記映像信号処理部は、撮像時刻が異なる複数フレームの前記映像信号に基づいてオプティカルフローを検出するオプティカルフロー検出手段を備え、
検出された前記オプティカルフローのフローベクトルの大きさに応じて前記シャッタ手段のシャッタスピードを制御し、かつ、前記光電変換手段に対する露光量がほぼ一定になるように前記絞り手段の絞り値を制御することを特徴とする映像記録装置。 A camera unit having a lens that forms an object, a photoelectric conversion unit that photoelectrically converts an object image formed by the lens, a diaphragm unit that adjusts the amount of incident light to the photoelectric conversion unit, and a shutter unit that adjusts an exposure time; An electric signal obtained by photoelectric conversion by the photoelectric conversion means is converted into a video signal and output, and a video signal processing unit that controls the aperture means and the shutter means based on the electric signal; and the video signal In a video recording apparatus comprising a video recording unit for recording the video signal output from the processing unit,
The video signal processing unit includes optical flow detection means for detecting an optical flow based on the video signals of a plurality of frames with different imaging times,
The shutter speed of the shutter unit is controlled according to the detected flow vector of the optical flow, and the aperture value of the aperture unit is controlled so that the exposure amount to the photoelectric conversion unit becomes substantially constant. A video recording apparatus characterized by that.

前記映像信号処理部は、前記フローベクトルの増大に応じて前記シャッタ手段のシャッタスピードを階段状に増加させることを特徴とする請求項１に記載の映像記録装置。 The video recording apparatus according to claim 1, wherein the video signal processing unit increases the shutter speed of the shutter unit stepwise in accordance with an increase in the flow vector.