WO2013047954A1 - 배경의 특징점으로부터 획득한 전역 움직임을 이용하여 영상을 안정화하는 영상 촬영 장치 및 방법 - Google Patents

배경의 특징점으로부터 획득한 전역 움직임을 이용하여 영상을 안정화하는 영상 촬영 장치 및 방법 Download PDF

Info

Publication number
WO2013047954A1
WO2013047954A1 PCT/KR2011/009658 KR2011009658W WO2013047954A1 WO 2013047954 A1 WO2013047954 A1 WO 2013047954A1 KR 2011009658 W KR2011009658 W KR 2011009658W WO 2013047954 A1 WO2013047954 A1 WO 2013047954A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature point
image
background
global motion
image frame
Prior art date
Application number
PCT/KR2011/009658
Other languages
English (en)
French (fr)
Inventor
고성제
왕태식
강석재
이효태
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Publication of WO2013047954A1 publication Critical patent/WO2013047954A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Definitions

  • the present invention relates to an image capturing apparatus and method for stabilizing an image using global motion acquired from a feature point of a background, and more particularly, a feature point located in a background and a feature point located in a foreground.
  • the present invention relates to an apparatus and method for stabilizing an image using global motion estimated based on only feature points located in a background.
  • Image quality improvement techniques include image blur, noise reduction, and image stabilization technology, and are widely applied to home cameras, camcorders, industrial surveillance cameras, broadcast cameras, and military video recording devices.
  • Early digital cameras and camcorders only digitized existing analog video to produce video.
  • recently used digital cameras and camcorders are applied with various pre-processing and post-processing correction techniques to obtain digital images with clearer and clearer quality than conventional analog images.
  • image stabilization The most commonly used technique of digital image correction is image stabilization. Shake occurs when the user shoots or moves while holding the camera.In the case of a camera installed on a vehicle such as a car, an airplane, or a helicopter, it is undesired due to various environmental factors such as mechanical vibration or friction with the ground. There is shaking. In addition, as the magnification of the zoom lens is increased, there is a problem that the screen shake is severe even with slight movement.
  • Image stabilization technology is a technology that can obtain a clear and clear image when the camera shakes when shooting, it is applied to remove unwanted shake caused in the captured image.
  • Image stabilization has been widely used a mechanical method using a gyro sensor or a flow prism.
  • the gyro sensor detects the angular velocity of the camera movement and moves the camera lens in the opposite direction in which the angular velocity is generated to compensate for the shake of the image or by adjusting the angle of the light incident by the flow prism to compensate for the camera shake.
  • This method removes the shaking of the video.
  • digital image stabilization technology has recently been used to detect unwanted shake through motion estimation between frames in an input video signal, and to correct shake by reading motion compensated image data from a frame memory or a charge coupled device (CCD). It is used.
  • CCD charge coupled device
  • Digital image stabilization consists of two phases: global motion estimation and motion compensation.
  • a technique for efficiently and quickly finding global motion in the global motion estimation step there are a block matching algorithm (BMA) and a feature based matching (FBM).
  • BMA block matching algorithm
  • FBM feature based matching
  • the block matching technique is easy to implement, there is a disadvantage in that it is sensitive to noise and illuminance change of an image and cannot detect motion components such as rotation, enlargement, and reduction other than parallel vibration components.
  • the feature point-based matching technique extracts feature points from an image, obtains corresponding points in the next image, estimates global motion from pairs of feature points in adjacent images, and requires less computation and is less affected by image noise. You can detect movements such as rotation, zoom in and zoom out.
  • This feature-based matching technique can estimate the global motion when there is no moving object on the screen or when the moving object is in a small area.However, when the foreground motion takes up a large part of the image, the feature point of the background is used as well as the background feature point. There is a problem that the accuracy is lowered by estimating the global motion. Accordingly, there is a problem that image stabilization performance is also lowered.
  • the present invention provides a video recording apparatus and method for classifying a feature point into a feature point located in the background and a feature point located in the foreground and stabilizing an image using global motion estimated based only on the feature point located in the background. There is.
  • an apparatus for stabilizing an image by using global motion acquired from a feature point of a background including: an image photographing unit configured to acquire an image by photographing a surrounding scene; A global motion estimator for estimating global motion using a feature point located in a background among feature points acquired from the image captured by the image capturing unit; And an image stabilizer configured to stabilize the image by using the global motion estimated by the global motion estimator.
  • an image capturing method of stabilizing an image using global motion acquired from a feature point of a background comprising: capturing an image of a surrounding scene to obtain an image; Estimating global motion using feature points located in a background among feature points acquired from the acquired images; And stabilizing the image by using the estimated global motion.
  • a computer-readable medium for achieving the above technical problem records a program for causing a computer to execute any one of the above methods.
  • a feature point is classified into a feature point located in a background and a feature point located in the foreground, and estimated based on only a feature point located in a background.
  • FIG. 1 is a block diagram illustrating an image capturing apparatus according to a preferred embodiment of the present invention
  • FIG. 2 is a block diagram illustrating in more detail the configuration of the global motion estimation unit shown in FIG. 1;
  • FIG. 3 is a view for explaining feature point extraction according to a preferred embodiment of the present invention.
  • FIG. 4 is a view for explaining an example of feature point classification according to an embodiment of the present invention.
  • FIG. 5 is a graph for explaining the accuracy of classifying feature points of a background according to a preferred embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating an image stabilization process performed before image encoding according to an embodiment of the present invention
  • FIG. 7 is a flowchart illustrating an image stabilization process performed after image decoding according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating a global motion estimation process when a reference picture frame is the first picture frame of an original picture according to an embodiment of the present invention
  • FIG. 9 is a flowchart illustrating a global motion estimation process when a reference picture frame is not the first picture frame of an original picture according to an embodiment of the present invention.
  • image capturing apparatus and method to stabilize the image by using the global motion obtained from the feature point of the background according to the present invention It demonstrates in detail.
  • FIG. 1 is a block diagram illustrating an image capturing apparatus according to a preferred embodiment of the present invention.
  • the image capturing apparatus 100 is an apparatus that acquires an image by capturing a surrounding, and outputs an acquired image or a previously stored image.
  • the image capturing apparatus 100 may include a global motion estimator 10, an image stabilizer 20, an image capturer 30, an image encoder 40, an image decoder 50, and an image output unit ( 60) and an image storage unit 70.
  • the image capturing unit 30 includes a photographing module (not shown) to capture an image of the surrounding scene to obtain an image.
  • the imaging module refers to an imaging device such as a charge coupled device (CCD) sensor and a complementary metal oxide semiconductor (CMOS) sensor.
  • CCD charge coupled device
  • CMOS complementary metal oxide semiconductor
  • the image encoder 40 encodes the image by compressing the image acquired by the image capturing unit 30 in a predetermined manner.
  • the image storage unit 70 stores the image encoded by the image encoding unit 40.
  • the image decoding unit 50 decodes the image by restoring the image stored in the image storage unit 70 in a predetermined manner.
  • the image output unit 60 includes a display module (not shown) to output an image decoded by the image decoding unit 50.
  • the display module may include a liquid crystal display (LCD), a thin film transistor liquid crystal display (TFTLCD), an organic light emitting diode (OLED), a flexible display, 3D display and the like.
  • the global motion estimator 10 may include a feature point and a foreground that are located in the background of a feature point obtained from an image obtained by the image capturing unit 30 or an image decoded by the image decoding unit 50. It is classified into feature points located in the foreground, and global motion is estimated using only the feature points located in the background.
  • the foreground is the closest part of the image to the camera, which is the object of attention and perception
  • the background is the remaining part except the foreground.
  • the feature point represents a point of reference for motion estimation when digital image stabilization is performed. For example, if three feature points a, b, and c are extracted from the first image frame among the plurality of image frames, points corresponding to a, b, and c on the second image frame temporally continuous to the first image frame may correspond to the corresponding point a. It can be determined by ', b' and c '. Subsequently, based on the coordinates of the feature points a, b, and c and the coordinates of the corresponding points a ', b', and c ', the movement between the first image frame and the second image frame, that is, the parallel movement and the rotation, may be estimated. .
  • the image stabilizer 20 stabilizes an image obtained by the image capturing unit 30 or an image decoded by the image decoding unit 50 by using the global motion estimated by the global motion estimating unit 10.
  • the image capturing apparatus 100 stabilizes the captured image by using global motion estimated based on only the feature points located in the background, encodes and stores the image, or decodes the stored image and estimates the global.
  • the decoded image is stabilized and output using motion.
  • FIG. 2 is a block diagram illustrating the configuration of the global motion estimation unit shown in FIG. 1 in more detail.
  • FIG. 3 is a diagram for describing feature point extraction according to a preferred embodiment of the present invention.
  • FIG. 4 is a preferred embodiment of the present invention. It is a figure for demonstrating an example of the characteristic point classification by FIG.
  • the global motion estimator 10 may include a feature point extractor 11, a feature point classifier 13, and a global motion estimator 15.
  • the feature point extracting unit 11 is configured to obtain the reference image frame. Extract feature points.
  • the feature point extractor 11 may extract a feature point from an image frame using a feature point extraction algorithm such as a Kanade-Lucas-Tomasi (KLT) Tracker or a Harris corner detector.
  • KLT Kanade-Lucas-Tomasi
  • the feature point classifying unit 13 may determine a feature of the background of the current image frame that is temporally continuous to each of the feature points extracted by the feature point extractor 11. It is classified into a feature point and a feature point of the foreground.
  • the current image frame may be an image frame immediately adjacent to the reference image frame or an image frame in which a predetermined number of image frames have passed from the reference image frame.
  • the feature point classifier 13 may classify a feature point belonging to a predetermined edge region among the extracted feature points as a feature point of the background of the current image frame, and classify the remaining feature points as a feature point of the foreground of the current image frame.
  • the reason why the feature point classifying unit 13 classifies the feature point belonging to the edge region in the image as the feature point of the background is that the subject is generally positioned at the middle part when the image is captured. That is, the feature point belonging to the edge region is likely to be a feature point belonging to the background, and thus, it is possible to effectively estimate the global motion at an early stage.
  • the edge area is an area at the edge of the image frame as shown in FIG. 3, and includes the left area R2 and R2 ', the right area R4 and R4', the upper area R1 and R1 ', and the lower area. (R3, R3 ').
  • the edge region shown in FIG. 3 is just one example, and the number, size, etc. of the subregions may be changed.
  • the feature point classifying unit 13 includes the left regions R2 and R2 ', the right regions R4 and R4', the upper regions R1 and R1 ', and the lower regions R3 and R3' that form the edge region.
  • Feature points belonging to at least two areas and represented by one motion model may be classified as feature points of a background of a current image frame.
  • a variety of models may be used for the motion model, and the present invention assumes and uses a perspective motion model.
  • a set of feature points belonging to two regions facing each other that is, the left region R2 and R2 'and the right region R4 and R4' or the upper region R1 and R1 'and the lower region R3 and R3'
  • the corresponding feature point set may be classified as the feature point of the background of the current image frame.
  • a set of feature points belonging to three regions or all regions among the left region R2 and R2 ', the right region R4 and R4', the upper region R1 and R1 ', and the lower region R3 and R3' When expressed as a motion model, the corresponding feature point set may be classified as the feature point of the background of the current image frame.
  • the feature point classifying unit 13 is assigned to the reference image frame.
  • the background feature point and the foreground feature point of the reference image frame may be classified into the background feature point and the foreground feature point of the current image frame.
  • the feature point classifier 13 may calculate a moving distance for each of the background feature point and the foreground feature point with respect to the reference image frame using Equation 1 below using the global motion parameter for the reference image frame. .
  • Is the j th feature point for the i th frame Is the point of geometric transformation of the feature point x using the global motion parameter M for the i th frame, Is the corresponding point corresponding to the feature point x on the i + 1 th frame, Is the L2 norm.
  • the feature point classifier 13 may classify each of the background feature points and the foreground feature points of the reference image frame into the feature points of the background and the foreground feature of the current image frame according to Equation 2 below.
  • Is the set of background feature points for the i + 1th frame Is the set of feature points in the foreground for the i + 1th frame, Is the feature point of the background for the i th frame, Is the feature point of the foreground for the i th frame, And Is a threshold value used to classify the feature points of the background and the feature points of the foreground.
  • Threshold Silver threshold It can be set larger. That is, if the feature point of the background in the reference image frame has a high probability of being the feature point of the background in the current image frame, the threshold value used to reclassify the feature points of the background. Is set to a large value and the threshold used to reclassify the feature points in the foreground. Silver threshold Can be set to a smaller value.
  • the feature point classifier 13 may classify the foreground based on the level of the feature point of the foreground when the feature point of the foreground of the reference image frame is classified as the feature point of the background of the current image frame by Equation 2 above.
  • the feature points may be classified as background feature points for the current image frame, or the level of the feature points of the foreground may be lowered by one level and classified as feature points of the foreground for the current image frame.
  • the feature points A (level 1) and B (level 2) of the foreground for the reference image frame Is classified as the background feature point for the current image frame, feature point A (level 1) is lowered one level, classified as foreground feature point A '(level 2) for the current image frame, and feature point B (level 2). May be classified as the feature point B 'of the background of the current image frame. That is, the feature point may be reclassified according to the structure of “foreground feature point (level 1)-foreground feature point (level 2)-background feature point”. Of course, the feature points of the background may be divided into a plurality of levels to reclassify the feature points.
  • the type of the feature point also changes as the movement of the object (person, etc.) changes.
  • the foreground feature points squares, FP
  • the foreground feature points are classified into the background feature points (cross, BP) by the movement of the object, and the background feature points (cross shape, BP) are added to the foreground feature points (square, FP).
  • cross, BP background feature points
  • cross shape, BP background feature points
  • the global motion estimation unit 15 performs global motion on the current video frame based on the coordinates of the feature points of the background with respect to the current video frame and the coordinates of the corresponding points corresponding to the feature points of the background with respect to the current video frame on the current video frame. It can be estimated.
  • the global motion estimator 15 may acquire a corresponding point corresponding to the feature point in the image frame using a KLT tracker or the like.
  • the global motion estimation unit 15 may calculate the parameter of the global motion model through the following random sample consensus (RANSAC) algorithm.
  • RTSAC random sample consensus
  • Step 1 calculate a motion parameter M by selecting a predetermined number of feature points of the background
  • Step 2 The moving distance for each feature point is calculated by Equation 1 above
  • Step 3 The total error value is calculated by the following [Equation 3]
  • Step 4 Repeat Steps 1 to 3 for a predetermined number of times, and determine the motion parameter having the smallest overall error value among them as the final motion parameter.
  • the global motion estimator 10 estimates the global motion using only the feature points located in the background among the feature points acquired from the image, thereby effectively estimating the global motion even in the image having the moving object in the foreground. It can improve the digital image stabilization performance.
  • FIG. 5 is a graph for explaining the accuracy of classifying feature points of a background according to a preferred embodiment of the present invention.
  • the feature point classification accuracy of the background according to the present invention is measured while changing the number of feature point levels of the foreground according to the present invention. Also, the accuracy of classifying the feature points of the background according to the present invention is measured by an image photographed by dividing the object into a moving person TEST A, a moving car TEST B, and a crowd of people TEST C.
  • the horizontal axis of the graph shown in FIG. 5 is the number of steps That is, the number of feature point levels of the foreground described above, and the vertical axis is the accuracy of classifying the feature points of the background. And is calculated by Equation 4 below.
  • Is a set of feature points determined by the feature points of the background Is a set of feature points that have been mistaken for the feature points in the foreground as the feature points in the background.
  • Is the set of features of the ground truth background Is the number of feature points included in the feature point set S.
  • the accuracy of classifying the feature points of the background does not change rapidly even if the number of steps is changed.
  • the object is a moving person (TEST A)
  • TEST B shows the highest value when the accuracy of classification of the feature points of the background is in the range of 0.6 to 0.8 and the number of steps is 3
  • the background is the moving car (TEST B).
  • TEST C The accuracy of the feature point classification of is maintained around 0.8, and the highest value when the accuracy of the background feature point classification is in the range of 0.6 to 0.7 and the number of steps is 2 or 3 when the object is a crowd of people (TEST C). It can be seen that.
  • the accuracy of classifying the feature points according to the present invention as the background feature points is high. Accordingly, even if the digital image stabilization operation is performed by estimating the global motion using only the feature points of the background, the performance is improved while improving the performance. You can.
  • FIG. 6 is a flowchart illustrating an image stabilization process performed before image encoding according to a preferred embodiment of the present invention.
  • the image capturing apparatus 100 acquires an image by capturing a surrounding scene in operation S61. Thereafter, the image capturing apparatus 100 estimates global motion from the obtained image (S63), and stabilizes the image using the estimated global motion (S65). The image capturing apparatus 100 encodes the image by compressing the image by a predetermined method (S67), and stores the encoded image (S69).
  • FIG. 7 is a flowchart illustrating an image stabilization process performed after image decoding according to an exemplary embodiment of the present invention.
  • the image capturing apparatus 100 decodes the image by restoring the stored image (S71). Thereafter, the image capturing apparatus 100 estimates global motion from the decoded image (S73), and stabilizes the image by using the estimated global motion (S75). The image capturing apparatus 100 outputs an image (S77).
  • FIG. 8 is a flowchart illustrating a global motion estimation process when a reference picture frame is the first picture frame of an original picture according to an embodiment of the present invention.
  • the image capturing apparatus 100 may extract the feature point from the reference image frame. (S21), and classify each extracted feature point into a feature point of the background and a feature point of the foreground for a current image frame that is temporally continuous to the reference image frame (S23).
  • the image capturing apparatus 100 estimates the global motion of the current image frame by using the feature points of the background of the current image frame (S25). That is, the image capturing apparatus 100 performs global movement on the current image frame based on the coordinates of the feature points of the background with respect to the current image frame and the coordinates of the corresponding points corresponding to the feature points of the background with respect to the current image frame on the current image frame. It can be estimated.
  • FIG. 9 is a flowchart illustrating a global motion estimation process when a reference picture frame is not the first picture frame of an original picture according to an embodiment of the present invention.
  • the image capturing apparatus 100 is global.
  • a moving distance is calculated for each of the background feature point and the foreground feature point of the reference image frame by Equation 1 above (S31), and the background feature point and the foreground feature point of the reference image frame are calculated.
  • Each is classified into a feature point of the background and a foreground feature of the current image frame by Equation 2 above (S33).
  • the image capturing apparatus 100 estimates the global motion of the current image frame by using the feature points of the background of the current image frame (S35). That is, the image capturing apparatus 100 performs global movement on the current image frame based on the coordinates of the feature points of the background with respect to the current image frame and the coordinates of the corresponding points corresponding to the feature points of the background with respect to the current image frame on the current image frame. It can be estimated.
  • the invention can also be embodied as computer readable code on a computer readable recording medium.
  • the computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer device is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and also in the form of carrier wave (transfer over the Internet). It includes what is implemented.
  • the computer-readable recording medium can also be distributed over computer devices connected over a wired or wireless communication network so that the computer-readable code is stored and executed in a distributed fashion.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

배경의 특징점으로부터 획득한 전역 움직임을 이용하여 영상을 안정화하는 영상 촬영 장치 및 방법이 개시된다. 본 발명은, 특징점을 배경(background)에 위치하는 특징점과 전경(foreground)에 위치하는 특징점으로 구분하고 배경에 위치한 특징점만을 기초로 추정된 전역 움직임을 이용하여 영상을 안정화한다. 본 발명에 따르면, 특징점을 배경에 위치한 특징점과 전경에 위치한 특징점으로 구분하고 배경에 위치한 특징점만을 기초로 추정된 전역 움직임을 이용하여 영상을 안정화함으로써, 전경에 움직이는 객체가 있는 영상에서도 효과적으로 전역 움직임을 추정할 수 있어 디지털 영상 안정화 성능을 향상시킬 수 있다.

Description

배경의 특징점으로부터 획득한 전역 움직임을 이용하여 영상을 안정화하는 영상 촬영 장치 및 방법
본 발명은 배경의 특징점으로부터 획득한 전역 움직임을 이용하여 영상을 안정화하는 영상 촬영 장치 및 방법에 관한 것으로, 더욱 상세하게는 특징점을 배경(background)에 위치하는 특징점과 전경(foreground)에 위치하는 특징점으로 구분하고 배경에 위치한 특징점만을 기초로 추정된 전역 움직임을 이용하여 영상을 안정화하는 장치 및 방법에 관한 것이다.
최근 멀티미디어 기기의 사용이 증가함에 따라 다양한 환경에서 촬영된 디지털 영상에 대한 화질 개선(image enhancement) 기술에 대한 수요도 증가하고 있다. 화질개선 기술에는 영상의 번짐 제거, 잡음 제거 및 영상 안정화 기술 등이 있으며, 가정용 카메라나 캠코더, 산업용 감시 카메라, 방송용 카메라 및 군사용 영상 촬영 장치에 이르기까지 광범위하게 적용된다. 초기 디지털 카메라 및 캠코더는 기존의 아날로그 영상을 디지털화하여 영상을 만들어 내는 데 그쳤다. 그러나 최근 사용되는 디지털 카메라 및 캠코더는 각종 선처리 및 후처리 보정 기술이 적용되어 기존의 아날로그 영상보다 더욱 깨끗하고 선명한 화질의 디지털 영상을 얻을 수 있게 되었다.
디지털 영상 보정 기술 중에서 가장 보편적으로 사용되는 기술이 영상 안정화(image stabilization) 기술이다. 사용자가 카메라를 들고 촬영하거나 이동하면서 촬영하는 경우에 흔들림이 발생하게 되며, 자동차, 비행기 또는 헬기와 같은 이동수단에 설치된 카메라의 경우에는 기계적 진동이나 지면과의 마찰 등 여러 환경적 요인에 의해 원치 않는 흔들림이 생기게 된다. 또한 줌 렌즈(zoom lens)의 배율이 올라가면서 약간의 움직임에도 화면 흔들림이 심해지는 문제가 있다. 영상 안정화 기술은 이와 같이 촬영 시 카메라가 흔들릴 때 깨끗하고 선명한 영상을 얻을 수 있는 기술로서, 촬영된 영상에서 발생하는 원치 않은 흔들림을 제거하기 위해 적용된다.
영상 안정화에는 자이로 센서(gyro sensor) 또는 유동 프리즘을 이용한 기계적 방식이 널리 사용되어 왔다. 기계적 방식은 자이로 센서가 카메라 움직임의 각속도를 감지하여 카메라 렌즈를 각속도가 생성되는 반대 방향으로 움직임으로써 영상의 흔들림을 보상하거나, 유동 프리즘에 의해 입사되는 빛의 각도를 조절하여 카메라의 떨림을 보상함으로써 영상의 흔들림을 제거하는 방식이다. 한편, 최근에는 입력된 영상 신호에서 프레임 간의 움직임 추정을 통하여 원치 않는 흔들림을 검출하고, 프레임 메모리 또는 CCD(charge coupled device)로부터 움직임이 보상된 영상 데이터를 읽음으로써 흔들림을 보정하는 디지털 영상 안정화 기술이 사용되고 있다. 이러한 디지털 영상 안정화 기술은 기계적 방식에 비해 저렴하고 정확도가 높을 뿐 아니라 기계적 안정화에 의해 보상되지 못하는 다양한 움직임 성분을 보상할 수 있으므로 활발히 연구되고 있다.
디지털 영상 안정화 기법은 크게 전역 움직임 추정 단계 및 움직임 보상 단계의 두 가지 단계로 이루어져 있다. 전역 움직임 추정 단계에서 효과적이고 빠르게 전역 움직임을 찾기 위한 기술로서, 블록 정합 기법(block matching algorithm : BMA), 특징점 기반 정합 기법(feature based matching : FBM) 등이 있다. 블록 정합 기법은 구현이 용이한 반면, 영상의 노이즈와 조도 변화에 민감하고 평행 떨림 성분 이외의 회전, 확대 및 축소 등의 움직임 성분들을 감지할 수 없다는 단점이 있다. 특징점 기반 정합 기법은 영상에서 특징점을 추출하고, 이에 해당하는 포인트를 다음 영상에서 획득하며, 인접하는 영상의 특징점 쌍으로부터 전역 움직임을 추정하므로 적은 연산량이 소요되고, 영상의 노이즈에 영향을 덜 받으며, 회전, 확대 및 축소 등의 움직임을 감지할 수 있다.
이러한 특징점 기반 정합 기법은 화면에 움직이는 물체가 없거나 움직이는 물체가 작은 영역에 있는 경우에는 전역 움직임을 추정할 수 있으나, 전경 움직임이 영상에서 많은 부분을 차지하는 경우 배경의 특징점뿐만 아니라 전경의 특징점까지 이용하여 전역 움직임을 추정하게 되어 그 정확도가 낮아지는 문제가 있다. 이에 따라 영상 안정화 성능도 저하되는 문제가 있다.
본 발명이 이루고자 하는 기술적 과제는, 특징점을 배경에 위치하는 특징점과 전경에 위치하는 특징점으로 구분하고 배경에 위치한 특징점만을 기초로 추정된 전역 움직임을 이용하여 영상을 안정화하는 영상 촬영 장치 및 방법을 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한 본 발명에 따른 배경의 특징점으로부터 획득한 전역 움직임을 이용하여 영상을 안정화하는 영상 촬영 장치는, 주변 장면을 촬영하여 영상을 획득하는 영상 촬영부; 상기 영상 촬영부에 의해 획득된 상기 영상으로부터 획득한 특징점(feature point) 중 배경(background)에 위치하는 특징점을 이용하여 전역 움직임(global motion)을 추정하는 전역 움직임 추정부; 및 상기 전역 움직임 추정부에 의해 추정된 상기 전역 움직임을 이용하여 상기 영상을 안정화하는 영상 안정화부;를 포함한다.
상기의 기술적 과제를 달성하기 위한 본 발명에 따른 배경의 특징점으로부터 획득한 전역 움직임을 이용하여 영상을 안정화하는 영상 촬영 방법은, 주변 장면을 촬영하여 영상을 획득하는 단계; 획득된 상기 영상으로부터 획득한 특징점 중 배경에 위치하는 특징점을 이용하여 전역 움직임을 추정하는 단계; 및 추정된 상기 전역 움직임을 이용하여 상기 영상을 안정화하는 단계;를 포함한다.
상기의 기술적 과제를 달성하기 위한 본 발명에 따른 컴퓨터로 읽을 수 있는 매체는 상기한 방법 중 어느 하나를 컴퓨터에 실행시키기 위한 프로그램을 기록한다.
본 발명에 따른 배경의 특징점으로부터 획득한 전역 움직임을 이용하여 영상을 안정화하는 영상 촬영 장치 및 방법에 의하면, 특징점을 배경에 위치한 특징점과 전경에 위치한 특징점으로 구분하고 배경에 위치한 특징점만을 기초로 추정된 전역 움직임을 이용하여 영상을 안정화함으로써, 전경에 움직이는 객체가 있는 영상에서도 효과적으로 전역 움직임을 추정할 수 있어 디지털 영상 안정화 성능을 향상시킬 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 영상 촬영 장치를 설명하기 위한 블록도,
도 2는 도 1에 도시된 전역 움직임 추정부의 구성을 보다 자세히 나타낸 블록도,
도 3은 본 발명의 바람직한 실시예에 따른 특징점 추출을 설명하기 위한 도면,
도 4는 본 발명의 바람직한 실시예에 따른 특징점 분류의 일례를 설명하기 위한 도면,
도 5는 본 발명의 바람직한 실시예에 따른 배경의 특징점 분류 정확도를 설명하기 위한 그래프,
도 6은 본 발명의 바람직한 실시예에 따른 영상 인코딩 전에 수행되는 영상 안정화 과정을 설명하기 위한 흐름도,
도 7은 본 발명의 바람직한 실시예에 따른 영상 디코딩 후에 수행되는 영상 안정화 과정을 설명하기 위한 흐름도,
도 8은 본 발명의 바람직한 실시예에 따른 참조 영상 프레임이 원본 영상의 첫 번째 영상 프레임인 경우 전역 움직임 추정 과정을 설명하기 위한 흐름도, 그리고,
도 9는 본 발명의 바람직한 실시예에 따른 참조 영상 프레임이 원본 영상의 첫 번째 영상 프레임이 아닌 경우 전역 움직임 추정 과정을 설명하기 위한 흐름도이다.
이하에서 첨부한 도면을 참조하여 본 발명에 따른 배경의 특징점으로부터 획득한 전역 움직임을 이용하여 영상을 안정화하는 영상 촬영 장치 및 방법(이하 '영상 촬영 장치 및 방법'이라 함)의 바람직한 실시예에 대해 상세하게 설명한다.
도 1은 본 발명의 바람직한 실시예에 따른 영상 촬영 장치를 설명하기 위한 블록도이다.
도 1을 참조하면, 영상 촬영 장치(100)는 주변을 촬영하여 영상을 획득하고, 획득된 영상이나 기 저장된 영상을 출력하는 장치이다. 이를 위해, 영상 촬영 장치(100)는 전역 움직임 추정부(10), 영상 안정화부(20), 영상 촬영부(30), 영상 인코딩부(40), 영상 디코딩부(50), 영상 출력부(60) 및 영상 저장부(70)를 구비한다.
영상 촬영부(30)는 촬영 모듈(도시하지 않음)을 구비하여 주변 장면을 촬영하여 영상을 획득한다. 여기서, 촬영 모듈은 전하 결합 소자(charge coupled device : CCD) 방식 센서, 상보성 금속 산화막 반도체(complementary metal oxide semiconductor : CMOS) 방식 센서 등의 촬상 소자를 말한다.
영상 인코딩부(40)는 영상 촬영부(30)에 의해 획득된 영상을 미리 정해진 방식에 의해 압축하여 영상을 인코딩(encoding)한다.
영상 저장부(70)는 영상 인코딩부(40)에 의해 인코딩된 영상을 저장한다.
영상 디코딩부(50)는 영상 저장부(70)에 저장되어 있는 영상을 미리 정해진 방식에 의해 복원하여 영상을 디코딩(decoding)한다.
영상 출력부(60)는 디스플레이 모듈(도시하지 않음)을 구비하여 영상 디코딩부(50)에 의해 디코딩된 영상을 출력한다. 여기서, 디스플레이 모듈로는 액정 디스플레이(liquid crystal display : LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor liquid crystal display : TFTLCD), 유기 발광 다이오드(organic light emitting diode : OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등이 있다.
전역 움직임 추정부(10)는 영상 촬영부(30)에 의해 획득된 영상이나 영상 디코딩부(50)에 의해 디코딩된 영상으로부터 획득한 특징점(feature point)을 배경(background)에 위치하는 특징점과 전경(foreground)에 위치하는 특징점으로 구분하고, 배경에 위치한 특징점만을 이용하여 전역 움직임(global motion)을 추정한다. 여기서, 전경은 영상 중 카메라에 가장 가까운 부분으로서 주의와 지각의 대상이 되고, 배경은 전경을 제외한 나머지 부분이다.
특징점은 디지털 영상 안정화(digital image stabilization)를 수행 시 움직임 추정의 기준이 되는 지점을 나타낸다. 예컨대, 복수의 영상 프레임 중에서 제1영상 프레임으로부터 세 개의 특징점 a, b 및 c를 추출하면, 제1영상 프레임에 시간적으로 연속하는 제2영상 프레임 상에서 a, b 및 c에 대응하는 지점을 대응점 a', b' 및 c'으로 결정할 수 있다. 이후, 특징점 a, b 및 c의 좌표와 대응점 a', b' 및 c'의 좌표를 기초로 제1영상 프레임과 제2영상 프레임 사이의 움직임, 즉, 평행 이동, 회전 등을 추정할 수 있다.
영상 안정화부(20)는 전역 움직임 추정부(10)에 의해 추정된 전역 움직임을 이용하여 영상 촬영부(30)에 의해 획득된 영상이나 영상 디코딩부(50)에 의해 디코딩된 영상을 안정화시킨다.
이와 같이, 본 발명에 따른 영상 촬영 장치(100)는 배경에 위치한 특징점만을 기초로 추정된 전역 움직임을 이용하여 촬영된 영상을 안정화한 후 인코딩하여 저장하거나, 저장되어 있는 영상을 디코딩하고 추정된 전역 움직임을 이용하여 디코딩된 영상을 안정화한 후 출력한다.
도 2는 도 1에 도시된 전역 움직임 추정부의 구성을 보다 자세히 나타낸 블록도이고, 도 3은 본 발명의 바람직한 실시예에 따른 특징점 추출을 설명하기 위한 도면이며, 도 4는 본 발명의 바람직한 실시예에 따른 특징점 분류의 일례를 설명하기 위한 도면이다.
도 2를 참조하면, 전역 움직임 추정부(10)는 특징점 추출부(11), 특징점 분류부(13) 및 전역 움직임 추정부(15)를 포함할 수 있다.
입력받은 원본 영상을 구성하는 복수의 영상 프레임 중 참조 영상 프레임이 원본 영상의 첫 번째 영상 프레임인 경우, 즉, 참조 영상 프레임에 대한 특징점이 없는 경우, 특징점 추출부(11)는, 참조 영상 프레임으로부터 특징점을 추출한다. 특징점 추출부(11)는, KLT(Kanade-Lucas-Tomasi) Tracker, Harris corner detector 등의 특징점 추출 알고리즘을 이용하여 영상 프레임에서 특징점을 추출할 수 있다.
참조 영상 프레임이 원본 영상의 첫 번째 영상 프레임인 경우, 특징점 분류부(13)는, 특징점 추출부(11)에 의해 추출된 특징점 각각을 참조 영상 프레임에 시간적으로 연속하는 현재 영상 프레임에 대한 배경의 특징점 및 전경의 특징점으로 분류한다. 여기서, 현재 영상 프레임은 참조 영상 프레임에 바로 인접한 영상 프레임이거나 참조 영상 프레임으로부터 소정 개수의 영상 프레임이 지난 영상 프레임일 수 있다.
즉, 특징점 분류부(13)는, 추출된 특징점 중에서 미리 정해진 가장자리 영역에 속하는 특징점을 현재 영상 프레임에 대한 배경의 특징점으로 분류하고, 나머지 특징점을 현재 영상 프레임에 대한 전경의 특징점으로 분류할 수 있다.
이와 같이 특징점 분류부(13)가 영상에서 가장자리 영역에 속하는 특징점을 배경의 특징점으로 분류하는 이유는 일반적으로 영상 촬영 시 피사체가 중간 부분에 위치하도록 하기 때문이다. 즉, 가장자리 영역에 속하는 특징점은 배경에 속하는 특징점일 가능성이 높고, 이에 따라 초기에 효과적으로 전역 움직임을 추정할 수 있게 된다.
여기서, 가장자리 영역은 도 3에 도시된 바와 같이 영상 프레임 상에서 가장자리에 있는 영역으로서, 좌측 영역(R2, R2'), 우측 영역(R4, R4'), 상측 영역(R1, R1') 및 하측 영역(R3, R3')으로 구성될 수 있다. 물론, 도 3에 도시한 가장자리 영역은 하나의 일례일 뿐이고, 그 세부 영역의 개수, 크기 등은 변경될 수 있다.
이때, 특징점 분류부(13)는 가장자리 영역을 구성하는 좌측 영역(R2, R2'), 우측 영역(R4, R4'), 상측 영역(R1, R1') 및 하측 영역(R3, R3') 중 적어도 두 개의 영역에 속하고 하나의 움직임 모델로 표현되는 특징점을 현재 영상 프레임에 대한 배경의 특징점으로 분류할 수 있다. 여기서, 움직임 모델은 다양한 모델을 사용할 수 있고, 본 발명에서는 원근 움직임 모델(perspective motion model)을 이용하는 것으로 가정하고 설명한다.
예컨대, 서로 마주보는 두 영역, 즉, 좌측 영역(R2, R2')과 우측 영역(R4, R4') 또는 상측 영역(R1, R1')과 하측 영역(R3, R3')에 속하는 특징점 집합이 하나의 움직임 모델로 표현되는 경우 해당 특징점 집합을 현재 영상 프레임에 대한 배경의 특징점으로 분류할 수 있다. 물론, 좌측 영역(R2, R2'), 우측 영역(R4, R4'), 상측 영역(R1, R1') 및 하측 영역(R3, R3') 중 세 영역이나 모든 영역에 속하는 특징점 집합이 하나의 움직임 모델로 표현되는 경우 해당 특징점 집합을 현재 영상 프레임에 대한 배경의 특징점으로 분류할 수도 있다.
한편, 참조 영상 프레임이 원본 영상의 첫 번째 영상 프레임이 아닌 경우, 즉, 참조 영상 프레임에 대한 전역 움직임 파라미터, 배경의 특징점 및 전경의 특징점이 있는 경우, 특징점 분류부(13)는 참조 영상 프레임에 대한 전역 움직임 파라미터를 이용하여, 참조 영상 프레임에 대한 배경의 특징점과 전경의 특징점을 현재 영상 프레임에 대한 배경의 특징점과 전경의 특징점으로 분류할 수 있다.
즉, 특징점 분류부(13)는 참조 영상 프레임에 대한 전역 움직임 파라미터를 이용하여 참조 영상 프레임에 대한 배경의 특징점 및 전경의 특징점 각각에 대해 다음의 [수학식 1]에 의해 이동 거리를 계산할 수 있다.
수학식 1
Figure PCTKR2011009658-appb-M000001
여기서,
Figure PCTKR2011009658-appb-I000001
는 i 번째 프레임에 대한 j 번째 특징점이고,
Figure PCTKR2011009658-appb-I000002
는 특징점 x를 i 번째 프레임에 대한 전역 움직임 파라미터 M을 이용하여 기하 변환한 점이며,
Figure PCTKR2011009658-appb-I000003
는 i+1 번째 프레임 상에서 특징점 x에 대응되는 대응점이고,
Figure PCTKR2011009658-appb-I000004
는 L2 놈(norm)이다.
이후, 특징점 분류부(13)는 참조 영상 프레임에 대한 배경의 특징점 및 전경의 특징점 각각을 다음의 [수학식 2]에 의해 현재 영상 프레임에 대한 배경의 특징점과 전경의 특징점으로 분류할 수 있다.
수학식 2
Figure PCTKR2011009658-appb-M000002
여기서,
Figure PCTKR2011009658-appb-I000005
는 i+1 번째 프레임에 대한 배경의 특징점 집합이고,
Figure PCTKR2011009658-appb-I000006
는 i+1 번째 프레임에 대한 전경의 특징점 집합이며,
Figure PCTKR2011009658-appb-I000007
는 i 번째 프레임에 대한 배경의 특징점이고,
Figure PCTKR2011009658-appb-I000008
는 i 번째 프레임에 대한 전경의 특징점이며,
Figure PCTKR2011009658-appb-I000009
및
Figure PCTKR2011009658-appb-I000010
는 배경의 특징점과 전경의 특징점의 분류에 사용되는 문턱값(threshold value)이다.
문턱값
Figure PCTKR2011009658-appb-I000011
은 문턱값
Figure PCTKR2011009658-appb-I000012
보다 크게 설정할 수 있다. 즉, 참조 영상 프레임에서 배경의 특징점인 경우 현재 영상 프레임에서도 배경의 특징점일 확률이 높으므로, 배경의 특징점을 재분류하는데 사용되는 문턱값
Figure PCTKR2011009658-appb-I000013
은 큰 값으로 설정하고 전경의 특징점을 재분류하는데 사용되는 문턱값
Figure PCTKR2011009658-appb-I000014
은 문턱값
Figure PCTKR2011009658-appb-I000015
보다 작은 값으로 설정할 수 있다.
이때, 특징점 분류부(13)는 참조 영상 프레임에 대한 전경의 특징점이 위의 [수학식 2]에 의해 현재 영상 프레임에 대한 배경의 특징점으로 분류된 경우, 전경의 특징점의 레벨에 기초하여 전경의 특징점을 현재 영상 프레임에 대한 배경의 특징점으로 분류하거나 전경의 특징점의 레벨을 한 단계 낮추고 현재 영상 프레임에 대한 전경의 특징점으로 분류할 수 있다.
예컨대, 전경의 특징점의 레벨이 두 단계, 즉, 레벨 1과 레벨 2로 이루어지고 레벨 1이 레벨 2보다 상위 레벨인 경우, 참조 영상 프레임에 대한 전경의 특징점 A(레벨 1) 및 B(레벨 2)가 현재 영상 프레임에 대한 배경의 특징점으로 분류되면, 특징점 A(레벨 1)는 레벨을 한 단계 낮추고 현재 영상 프레임에 대한 전경의 특징점 A'(레벨 2)으로 분류하고, 특징점 B(레벨 2)는 현재 영상 프레임에 대한 배경의 특징점 B'으로 분류할 수 있다. 즉, 특징점은 “전경 특징점(레벨 1) - 전경 특징점(레벨 2) - 배경 특징점“의 구조에 따라 재분류가 이루어질 수 있다. 물론, 배경의 특징점을 복수의 레벨로 구분하여 특징점을 재분류할 수도 있다.
도 4를 참조하면, 객체(사람 등)의 움직임이 변화됨에 따라 특징점의 유형(배경의 특징점, 전경의 특징점)도 변화되는 것을 확인할 수 있다. 전경의 특징점(네모 모양, FP)이 객체의 움직임에 의해 배경의 특징점(십자 모양, BP)으로 분류되고, 배경의 특징점(십자 모양, BP)이 객체의 움직임에 의해 전경의 특징점(네모 모양, FP)으로 분류됨을 확인 할 수 있다. 이와 같이 특징점 전체를 이용하는 것이 아니라, 배경의 특징점으로 분류된 특징점만을 이용하여 전역 움직임을 추정함으로써, 궁극적으로 디지털 영상 안정화 성능을 향상시킬 수 있다.
전역 움직임 추정부(15)는, 현재 영상 프레임에 대한 배경의 특징점의 좌표 및 현재 영상 프레임 상에서 현재 영상 프레임에 대한 배경의 특징점에 대응되는 대응점의 좌표를 기초로, 현재 영상 프레임에 대한 전역 움직임을 추정할 수 있다. 전역 움직임 추정부(15)는 KLT Tracker 등을 이용하여 영상 프레임에서 특징점에 대응되는 대응점을 획득할 수 있다.
즉, 전역 움직임 추정부(15)는 전역 움직임 모델의 파라미터를 다음의 RANSAC(random sample consensus) 알고리즘을 통해 계산할 수 있다.
단계 1 : 배경의 특징점을 소정 개수 선택하여 움직임 파라미터 M을 계산
단계 2 : 각 특징점에 대해 이동 거리를 위의 [수학식 1]에 의해 계산
단계 3 : 전체 에러 값을 다음의 [수학식 3]에 의해 계산
수학식 3
Figure PCTKR2011009658-appb-M000003
단계 4 : 단계 1 내지 단계 3을 미리 정해진 횟수 동안 반복하고, 그 중 가장 작은 전체 에러값을 가지는 움직임 파리미터를 최종 움직임 파리미터로 결정
이와 같이, 본 발명에 따른 전역 움직임 추정부(10)는 영상에서 획득한 특징점 중 배경에 위치하는 특징점만을 이용하여 전역 움직임을 추정함으로써, 전경에 움직이는 객체가 있는 영상에서도 효과적으로 전역 움직임을 추정할 수 있어 디지털 영상 안정화 성능을 향상시킬 수 있다.
도 5는 본 발명의 바람직한 실시예에 따른 배경의 특징점 분류 정확도를 설명하기 위한 그래프이다.
본 발명에 따른 전경의 특징점 레벨의 개수를 변화시키면서 본 발명에 따른 배경의 특징점 분류 정확도를 측정한다. 또한, 객체를 움직이는 사람(TEST A), 이동하는 자동차(TEST B) 및 사람들 무리(TEST C)로 구분하여 촬영된 영상으로 본 발명에 따른 배경의 특징점 분류 정확도를 측정한다.
도 5에 도시된 그래프의 가로축은 스텝의 개수
Figure PCTKR2011009658-appb-I000016
, 즉, 앞서 설명한 전경의 특징점 레벨의 개수이고, 세로축은 배경의 특징점 분류의 정확도
Figure PCTKR2011009658-appb-I000017
이며 다음의 [수학식 4]에 의해 계산된다.
수학식 4
Figure PCTKR2011009658-appb-M000004
여기서,
Figure PCTKR2011009658-appb-I000018
는 배경의 특징점으로 판단한 특징점 집합이고,
Figure PCTKR2011009658-appb-I000019
는 전경의 특징점을 배경의 특징점으로 잘못 판단한 특징점 집합이며,
Figure PCTKR2011009658-appb-I000020
은 ground truth 배경의 특징점 집합이며,
Figure PCTKR2011009658-appb-I000021
는 특징점 집합 S에 포함된 특징점의 개수이다.
Figure PCTKR2011009658-appb-I000022
가 작은 값을 가지고
Figure PCTKR2011009658-appb-I000023
이
Figure PCTKR2011009658-appb-I000024
과 같은 값을 가질 수록, 배경의 특징점 분류의 정확도
Figure PCTKR2011009658-appb-I000025
값이 1이 되게 된다. 이에 따라, 배경의 특징점 분류의 정확도
Figure PCTKR2011009658-appb-I000026
값이 1에 가까울수록 분류의 정확도가 높다는 것을 나타낸다.
도 5에 도시된 바와 같이, 스텝의 개수가 변화되더라도 배경의 특징점 분류 정확도가 급격히 변하되지 않음을 확인할 수 있다. 객체가 움직이는 사람(TEST A)인 경우 배경의 특징점 분류의 정확도값이 0.6 ~ 0.8 범위에 있고 스텝의 개수가 3인 경우에 가장 높은 값을 나타내고, 객체가 이동하는 자동차(TEST B)인 경우 배경의 특징점 분류의 정확도값이 0.8 내외를 유지하며, 객체가 사람들 무리(TEST C)인 경우 배경의 특징점 분류의 정확도값이 0.6 ~ 0.7 범위에 있고 스텝의 개수가 2 또는 3인 경우에 가장 높은 값을 나타냄을 확인할 수 있다.
이와 같이, 본 발명에 따른 특징점을 배경의 특징점으로 분류하는 정확도가 높음을 확인할 수 있고, 이에 따라 배경의 특징점만으로 전역 움직임을 추정하여 디지털 이미지 안정화 동작을 수행하여도 그 정확도는 유지하면서 성능을 향상시킬 수 있다.
도 6은 본 발명의 바람직한 실시예에 따른 영상 인코딩 전에 수행되는 영상 안정화 과정을 설명하기 위한 흐름도이다.
영상 촬영 장치(100)는 주변 장면을 촬영하여 영상을 획득한다(S61). 이후, 영상 촬영 장치(100)는 획득된 영상으로부터 전역 움직임을 추정하고(S63), 추정된 전역 움직임을 이용하여 영상을 안정화한다(S65). 그리고, 영상 촬영 장치(100)는 영상을 미리 정해진 방식에 의해 압축하여 영상을 인코딩하고(S67), 인코딩된 영상을 저장한다(S69).
도 7은 본 발명의 바람직한 실시예에 따른 영상 디코딩 후에 수행되는 영상 안정화 과정을 설명하기 위한 흐름도이다.
영상 촬영 장치(100)는 저장되어 있는 영상을 복원하여 영상을 디코딩한다(S71). 이후, 영상 촬영 장치(100)는 디코딩된 영상으로부터 전역 움직임을 추정하고(S73), 추정된 전역 움직임을 이용하여 영상을 안정화한다(S75). 그리고, 영상 촬영 장치(100)는 영상을 출력한다(S77).
도 8은 본 발명의 바람직한 실시예에 따른 참조 영상 프레임이 원본 영상의 첫 번째 영상 프레임인 경우 전역 움직임 추정 과정을 설명하기 위한 흐름도이다.
입력받은 원본 영상을 구성하는 복수의 영상 프레임 중 참조 영상 프레임이 원본 영상의 첫 번째 영상 프레임인 경우, 즉, 참조 영상 프레임에 대한 특징점이 없는 경우, 영상 촬영 장치(100)는 참조 영상 프레임에서 특징점을 추출하고(S21), 추출된 특징점 각각을 참조 영상 프레임에 시간적으로 연속하는 현재 영상 프레임에 대한 배경의 특징점 및 전경의 특징점으로 분류한다(S23).
이후, 영상 촬영 장치(100)는 현재 영상 프레임에 대한 배경의 특징점을 이용하여 현재 영상 프레임에 대한 전역 움직임을 추정한다(S25). 즉, 영상 촬영 장치(100)는 현재 영상 프레임에 대한 배경의 특징점의 좌표 및 현재 영상 프레임 상에서 현재 영상 프레임에 대한 배경의 특징점에 대응되는 대응점의 좌표를 기초로, 현재 영상 프레임에 대한 전역 움직임을 추정할 수 있다.
도 9는 본 발명의 바람직한 실시예에 따른 참조 영상 프레임이 원본 영상의 첫 번째 영상 프레임이 아닌 경우 전역 움직임 추정 과정을 설명하기 위한 흐름도이다.
참조 영상 프레임이 원본 영상의 첫 번째 영상 프레임이 아닌 경우, 즉, 참조 영상 프레임에 대한 전역 움직임 파라미터, 배경의 특징점 및 전경의 특징점이 있는 경우, 영상 촬영 장치(100)는 참조 영상 프레임에 대한 전역 움직임 파라미터를 이용하여 참조 영상 프레임에 대한 배경의 특징점 및 전경의 특징점 각각에 대해 위의 [수학식 1]에 의해 이동 거리를 계산하고(S31), 참조 영상 프레임에 대한 배경의 특징점 및 전경의 특징점 각각을 위의 [수학식 2]에 의해 현재 영상 프레임에 대한 배경의 특징점과 전경의 특징점으로 분류한다(S33).
이후, 영상 촬영 장치(100)는 현재 영상 프레임에 대한 배경의 특징점을 이용하여 현재 영상 프레임에 대한 전역 움직임을 추정한다(S35). 즉, 영상 촬영 장치(100)는 현재 영상 프레임에 대한 배경의 특징점의 좌표 및 현재 영상 프레임 상에서 현재 영상 프레임에 대한 배경의 특징점에 대응되는 대응점의 좌표를 기초로, 현재 영상 프레임에 대한 전역 움직임을 추정할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 장치에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 롬(ROM), 램(RAM), CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 유무선 통신망으로 연결된 컴퓨터 장치에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 다음의 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

Claims (13)

  1. 주변 장면을 촬영하여 영상을 획득하는 영상 촬영부;
    상기 영상 촬영부에 의해 획득된 상기 영상으로부터 획득한 특징점(feature point) 중 배경(background)에 위치하는 특징점을 이용하여 전역 움직임(global motion)을 추정하는 전역 움직임 추정부; 및
    상기 전역 움직임 추정부에 의해 추정된 상기 전역 움직임을 이용하여 상기 영상을 안정화하는 영상 안정화부;를 포함하는 것을 특징으로 하는 배경의 특징점으로부터 획득한 전역 움직임을 이용하여 영상을 안정화하는 영상 촬영 장치.
  2. 제 1항에 있어서,
    상기 전역 움직임 추정부는,
    상기 영상을 구성하는 복수의 영상 프레임 중 참조 영상 프레임에 대한 전역 움직임 파라미터를 이용하여, 상기 참조 영상 프레임에 대한 배경의 특징점과 전경(foreground)의 특징점을 상기 참조 영상 프레임에 시간적으로 연속하는 현재 영상 프레임에 대한 배경의 특징점과 전경의 특징점으로 분류하는 특징점 분류부; 및
    상기 현재 영상 프레임에 대한 배경의 특징점의 좌표 및 상기 현재 영상 프레임 상에서 상기 현재 영상 프레임에 대한 배경의 특징점에 대응되는 대응점의 좌표를 기초로, 상기 현재 영상 프레임에 대한 전역 움직임을 추정하는 전역 움직임 추정부;를 포함하는 것을 특징으로 하는 배경의 특징점으로부터 획득한 전역 움직임을 이용하여 영상을 안정화하는 영상 촬영 장치.
  3. 제 2항에 있어서,
    상기 특징점 분류부는 상기 참조 영상 프레임에 대한 전역 움직임 파라미터를 이용하여 상기 참조 영상 프레임에 대한 특징점 각각에 대해 이동 거리를 계산하고, 상기 참조 영상 프레임에 대한 특징점 각각의 상기 이동 거리를 이용하여 상기 참조 영상 프레임에 대한 특징점 각각을 상기 현재 영상 프레임에 대한 배경의 특징점과 전경의 특징점으로 분류하는 것을 특징으로 하는 배경의 특징점으로부터 획득한 전역 움직임을 이용하여 영상을 안정화하는 영상 촬영 장치.
  4. 제 3항에 있어서,
    상기 특징점 분류부는 상기 참조 영상 프레임에 대한 전경의 특징점이 상기 현재 영상 프레임에 대한 배경의 특징점으로 분류된 경우, 상기 전경의 특징점의 레벨에 기초하여 상기 전경의 특징점을 상기 현재 영상 프레임에 대한 배경의 특징점으로 분류하거나 상기 전경의 특징점의 레벨을 한 단계 낮추고 상기 현재 영상 프레임에 대한 전경의 특징점으로 분류하는 것을 특징으로 하는 배경의 특징점으로부터 획득한 전역 움직임을 이용하여 영상을 안정화하는 영상 촬영 장치.
  5. 제 2항에 있어서,
    상기 전역 움직임 추정부는 상기 참조 영상 프레임이 상기 원본 영상의 첫 번째 영상 프레임인 경우 상기 참조 영상 프레임으로부터 특징점을 추출하는 특징점 추출부를 더 포함하고,
    상기 특징점 분류부는 상기 추출된 특징점 중에서 미리 정해진 가장자리 영역에 속하는 특징점을 상기 현재 영상 프레임에 대한 배경의 특징점으로 분류하고, 나머지 특징점을 상기 현재 영상 프레임에 대한 전경의 특징점으로 분류하는 것을 특징으로 하는 배경의 특징점으로부터 획득한 전역 움직임을 이용하여 영상을 안정화하는 영상 촬영 장치.
  6. 제 5항에 있어서,
    상기 특징점 분류부는 상기 추출된 특징점 중 상기 미리 정해진 가장자리 영역을 구성하는 좌측 영역, 우측 영역, 상측 영역 및 하측 영역 중 적어도 두 개의 영역에 속하고 하나의 움직임 모델로 표현되는 특징점을 상기 현재 영상 프레임에 대한 배경의 특징점으로 분류하는 것을 특징으로 하는 배경의 특징점으로부터 획득한 전역 움직임을 이용하여 영상을 안정화하는 영상 촬영 장치.
  7. 주변 장면을 촬영하여 영상을 획득하는 단계;
    획득된 상기 영상으로부터 획득한 특징점 중 배경에 위치하는 특징점을 이용하여 전역 움직임을 추정하는 단계; 및
    추정된 상기 전역 움직임을 이용하여 상기 영상을 안정화하는 단계;를 포함하는 것을 특징으로 하는 배경의 특징점으로부터 획득한 전역 움직임을 이용하여 영상을 안정화하는 영상 촬영 방법.
  8. 제 7항에 있어서,
    상기 전역 움직임 추정 단계는,
    상기 영상을 구성하는 복수의 영상 프레임 중 참조 영상 프레임에 대한 전역 움직임 파라미터를 이용하여, 상기 참조 영상 프레임에 대한 배경의 특징점과 전경의 특징점을 상기 참조 영상 프레임에 시간적으로 연속하는 현재 영상 프레임에 대한 배경의 특징점과 전경의 특징점으로 분류하는 단계; 및
    상기 현재 영상 프레임에 대한 배경의 특징점의 좌표 및 상기 현재 영상 프레임 상에서 상기 현재 영상 프레임에 대한 배경의 특징점에 대응되는 대응점의 좌표를 기초로, 상기 현재 영상 프레임에 대한 전역 움직임을 추정하는 단계;를 포함하는 것을 특징으로 하는 배경의 특징점으로부터 획득한 전역 움직임을 이용하여 영상을 안정화하는 영상 촬영 방법.
  9. 제 8항에 있어서,
    상기 특징점 분류 단계는,
    상기 참조 영상 프레임에 대한 전역 움직임 파라미터를 이용하여 상기 참조 영상 프레임에 대한 특징점 각각에 대해 이동 거리를 계산하는 단계; 및
    상기 참조 영상 프레임에 대한 특징점 각각의 상기 이동 거리를 이용하여 상기 참조 영상 프레임에 대한 특징점 각각을 상기 현재 영상 프레임에 대한 배경의 특징점과 전경의 특징점으로 분류하는 단계;를 포함하는 것을 특징으로 하는 배경의 특징점으로부터 획득한 전역 움직임을 이용하여 영상을 안정화하는 영상 촬영 방법.
  10. 제 9항에 있어서,
    상기 특징점 분류 단계에서,
    상기 참조 영상 프레임에 대한 전경의 특징점이 상기 현재 영상 프레임에 대한 배경의 특징점으로 분류된 경우, 상기 전경의 특징점의 레벨에 기초하여 상기 전경의 특징점을 상기 현재 영상 프레임에 대한 배경의 특징점으로 분류하거나 상기 전경의 특징점의 레벨을 한 단계 낮추고 상기 현재 영상 프레임에 대한 전경의 특징점으로 분류하는 것을 특징으로 하는 배경의 특징점으로부터 획득한 전역 움직임을 이용하여 영상을 안정화하는 영상 촬영 방법.
  11. 제 8항에 있어서,
    상기 전역 움직임 추정 단계는 상기 참조 영상 프레임이 상기 원본 영상의 첫 번째 영상 프레임인 경우 상기 참조 영상 프레임으로부터 미리 정해진 가장자리 영역에 속하는 특징점을 추출하는 단계를 더 포함하고,
    상기 특징점 분류 단계에서,
    상기 추출된 특징점 중에서 미리 정해진 가장자리 영역에 속하는 특징점을 상기 현재 영상 프레임에 대한 배경의 특징점으로 분류하고, 나머지 특징점을 상기 현재 영상 프레임에 대한 전경의 특징점으로 분류하는 것을 특징으로 하는 배경의 특징점으로부터 획득한 전역 움직임을 이용하여 영상을 안정화하는 영상 촬영 방법.
  12. 제 11항에 있어서,
    상기 특징점 분류 단계에서,
    상기 추출된 특징점 중 상기 미리 정해진 가장자리 영역을 구성하는 좌측 영역, 우측 영역, 상측 영역 및 하측 영역 중 적어도 두 개의 영역에 속하고 하나의 움직임 모델로 표현되는 특징점을 상기 현재 영상 프레임에 대한 배경의 특징점으로 분류하는 것을 특징으로 하는 배경의 특징점으로부터 획득한 전역 움직임을 이용하여 영상을 안정화하는 영상 촬영 방법.
  13. 제 7항 내지 제 12항 중 어느 한 항에 기재된 배경의 특징점으로부터 획득한 전역 움직임을 이용하여 영상을 안정화하는 영상 촬영 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
PCT/KR2011/009658 2011-09-30 2011-12-15 배경의 특징점으로부터 획득한 전역 움직임을 이용하여 영상을 안정화하는 영상 촬영 장치 및 방법 WO2013047954A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110099929A KR101202642B1 (ko) 2011-09-30 2011-09-30 배경의 특징점을 이용한 전역 움직임 추정 방법 및 장치
KR10-2011-0099929 2011-09-30

Publications (1)

Publication Number Publication Date
WO2013047954A1 true WO2013047954A1 (ko) 2013-04-04

Family

ID=47564928

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/009658 WO2013047954A1 (ko) 2011-09-30 2011-12-15 배경의 특징점으로부터 획득한 전역 움직임을 이용하여 영상을 안정화하는 영상 촬영 장치 및 방법

Country Status (2)

Country Link
KR (1) KR101202642B1 (ko)
WO (1) WO2013047954A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114339395A (zh) * 2021-12-14 2022-04-12 浙江大华技术股份有限公司 视频抖动检测方法、检测装置、电子设备和可读存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102069269B1 (ko) * 2014-01-21 2020-01-22 한화테크윈 주식회사 영상 안정화 장치 및 방법
US10136063B2 (en) 2013-07-12 2018-11-20 Hanwha Aerospace Co., Ltd Image stabilizing method and apparatus
KR102072014B1 (ko) * 2013-09-16 2020-01-31 에스케이 텔레콤주식회사 영상 흔들림 보정을 이용한 영상 안정화 장치 및 방법
CN104093014A (zh) * 2014-07-21 2014-10-08 宇龙计算机通信科技(深圳)有限公司 图像处理方法和图像处理装置
KR102213201B1 (ko) * 2020-01-15 2021-02-05 한화테크윈 주식회사 영상 안정화 장치 및 방법
CN111598918B (zh) * 2020-04-29 2023-05-09 江苏大学 一种基于参考帧优选和前后景分离的视频稳像运动估计方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100898406B1 (ko) * 2007-11-19 2009-05-21 중앙대학교 산학협력단 디지털 영상 안정화 시스템 및 방법
KR20090126815A (ko) * 2008-06-05 2009-12-09 삼성디지털이미징 주식회사 흔들림 보상을 위한 영상처리방법 및 흔들림 보상 기능을갖는 촬상장치
KR100985805B1 (ko) * 2009-03-26 2010-11-09 중앙대학교 산학협력단 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100898406B1 (ko) * 2007-11-19 2009-05-21 중앙대학교 산학협력단 디지털 영상 안정화 시스템 및 방법
KR20090126815A (ko) * 2008-06-05 2009-12-09 삼성디지털이미징 주식회사 흔들림 보상을 위한 영상처리방법 및 흔들림 보상 기능을갖는 촬상장치
KR100985805B1 (ko) * 2009-03-26 2010-11-09 중앙대학교 산학협력단 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LEE, IM GEON ET AL.: "Fast Frame Jitter Matching for Image Sequence", 2007 FALL CONFERENCE OF KIMICS. INTERNATIONAL JOURNAL OF INFORMATION AND COMMUNICATION ENGINEERING(IJICE), vol. 11, no. 2, 2007, pages 973 - 976 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114339395A (zh) * 2021-12-14 2022-04-12 浙江大华技术股份有限公司 视频抖动检测方法、检测装置、电子设备和可读存储介质

Also Published As

Publication number Publication date
KR101202642B1 (ko) 2012-11-19

Similar Documents

Publication Publication Date Title
WO2013047954A1 (ko) 배경의 특징점으로부터 획득한 전역 움직임을 이용하여 영상을 안정화하는 영상 촬영 장치 및 방법
US9092861B2 (en) Using motion information to assist in image processing
WO2020253618A1 (zh) 一种视频抖动的检测方法及装置
JP4886850B2 (ja) 画像処理装置、画像処理方法、プログラム
JP5855445B2 (ja) デジタルイメージ安定化のための、ビデオデータ処理方法及びイメージ処理回路、並びにこれを用いるカメラ
US8559751B2 (en) Method and device for removing motion blur effects
KR101155406B1 (ko) 화상 처리 장치, 화상 처리 방법 및 컴퓨터 기억 매체
JP6049448B2 (ja) 被写体領域追跡装置、その制御方法及びプログラム
US8433185B2 (en) Multiple anti-shake system and method thereof
TW201119365A (en) Image selection device and method for selecting image
WO2020171379A1 (en) Capturing a photo using a mobile device
WO2021045599A1 (ko) 비디오 영상에 보케 효과를 적용하는 방법 및 기록매체
US20160189392A1 (en) Object tracking apparatus, control method therefor and storage medium
CN114339102A (zh) 一种录像方法及设备
WO2022151813A1 (zh) 电子设备、前置图像信号处理器及图像处理方法
JP2006319578A (ja) 奥行方向移動判定装置、その奥行方向移動判定装置を有する手ぶれ補正システム、およびその方法、プログラム、そのプログラムが記録された計算機に読み取り可能な記録媒体、および手ぶれ補正システムを備える電子機器。
CN107613216A (zh) 对焦方法、装置、计算机可读存储介质和电子设备
CN114429191B (zh) 基于深度学习的电子防抖方法、***及存储介质
US20110085026A1 (en) Detection method and detection system of moving object
CN115546043B (zh) 视频处理方法及其相关设备
CN114390188B (zh) 一种图像处理方法和电子设备
WO2023080667A1 (ko) Ai 기반 객체인식을 통한 감시카메라 wdr 영상 처리
JP5539565B2 (ja) 撮像装置及び被写体追跡方法
JP2007329596A (ja) 画像生成装置および画像生成方法
CN107317970B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11873177

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11873177

Country of ref document: EP

Kind code of ref document: A1