KR20070068639A - Apparatus for detecting and correcting motion by hand in moving pictures - Google Patents
Apparatus for detecting and correcting motion by hand in moving pictures Download PDFInfo
- Publication number
- KR20070068639A KR20070068639A KR1020050130481A KR20050130481A KR20070068639A KR 20070068639 A KR20070068639 A KR 20070068639A KR 1020050130481 A KR1020050130481 A KR 1020050130481A KR 20050130481 A KR20050130481 A KR 20050130481A KR 20070068639 A KR20070068639 A KR 20070068639A
- Authority
- KR
- South Korea
- Prior art keywords
- motion
- image
- cumulative
- unit
- amount
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 140
- 239000013598 vector Substances 0.000 claims abstract description 35
- 230000001186 cumulative effect Effects 0.000 claims description 38
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000006641 stabilisation Effects 0.000 claims description 12
- 238000011105 stabilization Methods 0.000 claims description 12
- 238000004091 panning Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 5
- 239000003381 stabilizer Substances 0.000 claims description 4
- 206010044565 Tremor Diseases 0.000 abstract 3
- 230000003247 decreasing effect Effects 0.000 abstract 1
- 238000000034 method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000001934 delay Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
도 1은 본 발명에 따른 동영상의 손떨림 보정 장치의 일실시예 구조도,1 is a structural diagram of an embodiment of an image stabilizer for a video according to the present invention;
도 2a는 본 발명의 장치에 입력되는 가로 방향의 라인의 일예시도,Figure 2a is an exemplary view of a horizontal line input to the device of the present invention,
도 2b는 본 발명의 장치에 입력되는 세로 방향의 라인의 일예시도,Figure 2b is an example of the longitudinal line input to the apparatus of the present invention,
도 3a는 도 1의 움직임 예측부가 수직 방향의 움직임을 예측하는 것을 설명하기 위한 일예시도, 3A is an exemplary view for explaining that the motion predictor of FIG. 1 predicts a motion in a vertical direction;
도 3b는 도 1의 움직임 예측부가 수평 방향의 움직임을 예측하는 것을 설명하기 위한 일예시도,3B is an exemplary view for explaining that the motion predictor of FIG. 1 predicts a motion in a horizontal direction;
도 4a 및 도 4b는 도 1의 움직임 예측부가 수직 및 수평 방향으로 움직임을 예측하는 것을 설명하기 위한 일예시도,4A and 4B are exemplary views for explaining that the motion predictor of FIG. 1 predicts motion in the vertical and horizontal directions;
도 5는 도 1의 누적 움직임량 연산부의 일실시예 상세 구조도,FIG. 5 is a detailed structural diagram of an embodiment of the cumulative motion calculation unit of FIG. 1; FIG.
도 6은 도 1의 보정부가 수행하는 보정 과정을 설명하기 위한 일예시도.6 is an exemplary view for explaining a correction process performed by the correction unit of FIG. 1.
<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>
110 : 움직임 예측부 120 : 누적 움직임량 연산부110: motion estimation unit 120: cumulative motion amount calculation unit
130 : 손떨림 결정부 140 : 보정부130: Image stabilization unit 140: Correction unit
본 발명은 동영상의 손떨림 검출 및 보정 장치에 관한 것으로서, 보다 상세하게는 캠코더 또는 카메라에 사용되는 동영상의 손떨림 검출 및 보정 장치에 관한 것이다.The present invention relates to a camera shake detection and correction device, and more particularly to a camera shake detection and correction device used in a camcorder or camera.
일반적으로, 동영상의 손떨림 보정에 있어 움직임을 검출하는 방법으로는 블록 매칭 알고리즘이 가장 널리 알려져 있다. 이러한 블록 매칭 알고리즘을 사용하기 위해서는 이전 프레임을 저장할 메모리를 필요로 하는데, 이와 같은 메모리를 추가하지 않기 위해서는 동영상 인코더(encoder)의 메모리를 이용할 수 밖에 없기 때문에 인코더와 연동해서 동작하여야 한다. 따라서, 인코더의 인코딩 속도에 영향을 미치지 않기 위해서는 손떨림 보정을 위해 필요한 전체 움직임 벡터(global motion vector)를 상당히 정확하면서도 최대한 빨리 찾는 것이 과제라 할 수 있다. In general, a block matching algorithm is most widely known as a method for detecting motion in image stabilization. In order to use the block matching algorithm, a memory for storing a previous frame is required. In order not to add such a memory, a memory of a video encoder must be used. Therefore, in order not to affect the encoding speed of the encoder, it is a task to find the global motion vector required for image stabilization fairly accurately and as quickly as possible.
이에 대한 선행기술로서, 대한민국 공개특허 제1999-0011577(손떨림 보정시 전체적인 움직임 검출장치 및 방법), 대한민국 공개특허 제2005-0023549호(손떨림 움직임 보상 카메라폰) 및 대한민국 공개특허 제2001-0096969호(영상 단말기의 영상신호 송신 방법 및 장치)가 개시되어 있다.As a prior art, Korean Patent Laid-Open Publication No. 1999-0011577 (the overall motion detection apparatus and method for image stabilization), Korean Patent Laid-Open Publication No. 2005-0023549 (image stabilization camera phone) and Korean Patent Publication No. 2001-0096969 ( Disclosed is a video signal transmission method and apparatus of a video terminal.
위 공개특허 제1999-0011577호는 부분적인 움직임의 영향을 배제하고 전체 움직임만을 검출하기 위한 방법을 제시하였는데, 이 방법을 사용할 경우 영상 내에 크기가 작으면서도 움직이는 물체가 하나만 존재하여도 그것의 영향을 받아 움직이는 물체의 방향이 전체 움직임으로 검출되게 된다.Korean Patent Laid-Open Publication No. 1999-0011577 has proposed a method for detecting only the entire motion without the effect of partial motion. When using this method, even if there is only one small and moving object in the image, The direction of the moving object is detected as a whole movement.
그러나, 손떨림 보정의 기본 정의는 영상 내에서 움직이는 물체의 방향을 이용하여 전체 움직임을 찾는 것이 아니라, 반대로 움직임이 없으면서도 특징이 될만한 물체(예를 들어 나무 혹은 책상, 의자 등의 배경)를 이용하여 전체 움직임을 찾는 것이므로, 위 공개특허에 의해서는 부분적인 움직임의 영향에 의해서는 손떨림에 의한 움직임을 찾아낼 수 없는 문제점이 있다.However, the basic definition of image stabilization is not to find the whole movement by using the direction of the moving object in the image, but on the contrary, by using an object without motion (that is, a background such as a tree, a desk, a chair, etc.) Since the entire motion is to be found, there is a problem that the motion due to the hand shake can not be found by the influence of the partial motion by the above-mentioned patent.
또한, 공개특허 제2005-0023549호는 움직임 센서를 이용하여 움직임 벡터를 구한 후, 입력되는 영상이미지의 시작점을 조정하거나, 직접적으로 센서의 구동 펄스를 변조하여 움직임을 보상하는 방법을 제시하고 있다.In addition, Patent Publication No. 2005-0023549 discloses a method of compensating motion by obtaining a motion vector using a motion sensor, adjusting a starting point of an input image image, or directly modulating a driving pulse of the sensor.
그러나, 위 공개특허 제2005-0023549호는, 움직임 벡터가 어떤 임계값을 넘어가면 움직임으로 검출하는 것으로서, 그 움직임이 손떨림에 의한 움직임인지, 아니면 의도적인 움직임(패닝; panning)인지 정확하게 알아낼 수 없으므로, 정확한 손떨림에 의한 움직임을 검출할 수 없는 문제점이 있으며, 또한, 인코더 메모리를 이용하므로, 인코딩 속도에 영향을 미치는 문제점이 있다.However, the above-mentioned Patent Publication No. 2005-0023549 detects a motion vector as a motion when a certain threshold is exceeded, and thus cannot accurately determine whether the motion is a hand shake or a deliberate motion (panning). However, there is a problem in that it is impossible to detect a motion due to hand shake, and since an encoder memory is used, there is a problem influencing the encoding speed.
한편, 위 공개특허 제2001-0096969호는, 카메라의 움직임에 의해서 생기는 영상의 흔들림을 보상하여 상대방에게 전송되는 영상의 품질을 향상시키고자 하는 방법을 제시하고 있다.On the other hand, Korean Patent Laid-Open No. 2001-0096969 proposes a method for improving the quality of an image transmitted to a counterpart by compensating for the shaking of an image caused by a camera movement.
그러나, 위 공개특허 제2001-0096969호 역시 , 그 움직임이 손떨림에 의한 움직임인지, 아니면 패닝인지 정확하게 알아낼 수 없으므로, 정확한 손떨림에 의한 움직임을 검출할 수 없는 문제점이 있으며, 또한, 인코더 메모리를 이용하므로, 인코딩 속도에 영향을 미치는 문제점이 있다.However, the above-mentioned Patent Publication No. 2001-0096969 also has a problem in that it is impossible to accurately detect whether the movement is caused by hand shaking or panning, and thus, it is impossible to detect the movement due to hand shaking. However, there is a problem that affects the encoding speed.
본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 입력되는 영상 데이터에 대하여 인코더와 독립적으로 전체 움직임 및 누적 움직임을 계산하여 보정에 필요한 정보를 인코더에 제공함으로써, 인코딩 속도의 손실 없이 손떨림에 의한 움직임을 검출하고 보정하기 위한, 동영상의 손떨림 검출 및 보정 장치를 제공하는데 그 목적이 있다.The present invention has been proposed to solve the above problems, and by calculating the total motion and cumulative motion independently of the encoder with respect to the input image data, and providing the encoder with the information necessary for correction, the camera shakes without loss of encoding speed. It is an object of the present invention to provide an image stabilization and correction apparatus for detecting and correcting a motion by a motion picture.
상기한 바와 같은 목적을 달성하기 위해, 본 발명의 바람직한 실시예에 따르면, 수직/수평 방향의 움직임 벡터를 구하여 입력되는 영상의 움직임을 예측하기 위한 예측부; 상기 예측부가 구한 움직임 벡터를 이용하여, 수직/수평 방향의 누적 움직임량을 연산하기 위한 누적 움직임량 연산부; 및 상기 누적 움직임량 연산부가 연산한 누적 움직임량이 소정의 임계값보다 작을 경우 손떨림으로 결정하기 위한 결정부를 포함하는 손떨림 검출 장치가 제공된다.In order to achieve the above object, according to a preferred embodiment of the present invention, a prediction unit for estimating the motion of the input image to obtain a motion vector in the vertical / horizontal direction; A cumulative motion amount calculator for calculating the cumulative motion amount in the vertical / horizontal direction using the motion vector obtained by the predictor; And a determination unit configured to determine the hand shake when the cumulative motion amount calculated by the cumulative motion amount calculation unit is smaller than a predetermined threshold value.
이때, 누적 움직임량 만큼 영상의 오프셋을 조정하여 흔들림 보정을 수행하기 위한 보정부가 더 포함될 수 있다.At this time, the correction unit for performing the shake correction by adjusting the offset of the image by the amount of cumulative movement may be further included.
여기서, 상기 예측부는, 수평 방향으로 영상을 소정의 개수의 영역으로 분할하고, 각 영역의 움직임 벡터의 중간값을 취하여 움직임을 예측하고, 수직 방향으로 영상을 소정의 개수의 영역으로 분할하고, 각 영역의 움직임 벡터의 중간값을 취하여 움직임을 예측한다.Here, the prediction unit divides the image into a predetermined number of regions in a horizontal direction, estimates motion by taking a median value of the motion vectors of each region, and divides the image into a predetermined number of regions in a vertical direction, The motion is predicted by taking the median of the motion vectors of the regions.
또한, 상기 누적 움직임량 연산부는, 입력신호를 지연하고 이득을 곱하기 위한 지연부; 및 입력신호와 상기 지연부의 출력의 연산하여 누적 움직임량을 출력하기 위한 연산부를 포함할 수 있으며, 상기 이득은, 실질적으로 0.95이다.The cumulative movement amount calculating unit may further include a delay unit for delaying an input signal and multiplying a gain; And an operation unit for outputting an accumulated motion amount by calculating an input signal and an output of the delay unit, wherein the gain is substantially 0.95.
한편, 상기 결정부는, 상기 누적 움직임량 연산부가 연산한 누적 움직임량이 소정의 임계값보다 큰 경우에는 패닝으로 결정할 수 있다.The determining unit may determine panning when the cumulative motion amount calculated by the cumulative motion calculation unit is greater than a predetermined threshold.
또한, 본 발명의 다른 실시예에 따르면, 손떨림을 검출하기 위한 이미지 처리 장치의 이미지 프로세서에 있어서, 수직/수평 방향의 움직임 벡터를 구하여 입력되는 영상의 움직임을 예측하고, 이렇게 구한 움직임 벡터를 이용하여, 수직/수평 방향의 누적 움직임량을 연산하여, 연산한 누적 움직임량이 소정의 임계값보다 작을 경우 손떨림으로 결정하기 위한 검출부; 및 누적 움직임량 만큼 영상의 오프셋을 조정하여 흔들림 보정을 수행하기 위한 보정부를 포함하는 이미지 프로세서가 제공된다.In addition, according to another embodiment of the present invention, in the image processor of the image processing apparatus for detecting camera shake, obtain a motion vector in the vertical / horizontal direction to predict the motion of the input image, by using the motion vector A detector configured to calculate a cumulative motion amount in the vertical / horizontal direction and determine that the calculated motion is less than a predetermined threshold value as a hand shake; And a correction unit configured to perform image stabilization by adjusting an offset of the image by an amount of accumulated motion.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 우선 각 도면의 구성요소들에 참조 번호를 부가함에 있어서, 동일한 구성요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능 한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings. First, in adding reference numerals to the components of each drawing, it should be noted that the same components as possible, even if displayed on the other drawings have the same number as possible. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명에 따른 동영상의 손떨림 보정 장치의 일실시예 구조도이다.1 is a structural diagram of an embodiment of a video image stabilizer according to the present invention.
도면에 도시된 바와 같이, 본 발명의 보정 장치는, 움직임 예측부(110), 누적 움직임량 연산부(120), 손떨림인지 패닝인지 여부를 결정하기 위한 손떨림 결정부(130) 및 손떨림에 의한 움직임을 보정하기 위한 보정부(140)를 포함하여 구성된다.As shown in the figure, the correction apparatus of the present invention, the
한편, 도 2a 및 도 2b는 본 발명의 장치에 입력되는 가로 및 세로 방향의 라인의 일예시도이다.On the other hand, Figures 2a and 2b is an exemplary view of the horizontal and vertical lines input to the apparatus of the present invention.
도면에 도시된 바와 같이, 본 발명의 장치가 수직/수평 방향의 움직임 벡터를 예측하기 위해 필요한 가로 및 세로 방향으로의 화소값들의 평균값을 구하여, 그 평균값이 입력된다. 예를 들어, 인코딩 될 영상의 크기가 VGA(640*480)일 때를 기준으로 설명하면, 도 2에서와 같이 가로 방향으로 240개, 세로 방향으로 540개 라인에 대한 화소값들의 평균값을 구한다. 참고로, 움직임 벡터의 빠른 연산을 위해 전체 영상의 절반에서만 데이터를 추출하여 값을 구할 수 있다. 다만, 본 발명의 장치에 입력되는 데이터의 종류는 이에 한정되는 것은 아니라 할 것이다.As shown in the figure, the device of the present invention obtains an average value of pixel values in the horizontal and vertical directions required for predicting a motion vector in the vertical / horizontal direction, and the average value is input. For example, when the size of an image to be encoded is VGA (640 * 480), the average value of pixel values of 240 lines in the horizontal direction and 540 lines in the vertical direction is obtained as shown in FIG. 2. For reference, in order to quickly calculate a motion vector, data can be obtained by extracting data from only half of the entire image. However, the type of data input to the apparatus of the present invention is not limited thereto.
도 1의 움직임 예측부(110)는 수직/수평 방향의 움직임을 예측하는 기능을 담당한다. 이하, 도 3을 참조로 움직임 예측부(110)의 동작을 상세히 설명하자.The
도 3a는 도 1의 움직임 예측부가 수직 방향의 움직임을 예측하는 것을 설명 하기 위한 일예시도이다.FIG. 3A is an exemplary view for explaining that the motion predictor of FIG. 1 predicts a motion in a vertical direction.
도 3a를 참조로 하면, 본 발명의 움직임 예측부는, 영상을 가로 방향으로 세 개의 영역으로 나누고, 각 영역에서 가로 방향으로 화소값들을 더한 벡터 를 구한다. 현재 영상에서 구한 벡터 를 이전 영상에서 구한 벡터 과 탐색 영역 내에서 비교하여 가장 유사한 벡터를 찾는다. 이때 유사도 측정을 위해 SAD(sum of absolute difference)를 이용하였으며, 그 수식은 다음과 같다.Referring to FIG. 3A, the motion predictor of the present invention divides an image into three regions in a horizontal direction and adds pixel values in the horizontal direction in each region. Obtain Vector obtained from the current image Obtained from previous image In the search region to find the most similar vector. At this time, the sum of absolute difference (SAD) was used to measure the similarity, and the formula is as follows.
여기서, 로 길이가 N인 벡터이며, 는 탐색 영역 안에서의 최대 범위를 나타낸다. 각 영역에서의 움직임 벡터는 탐색 영역 안에서 SAD가 가장 적은 값을 가질 때의 위치를 찾음으로써 구하게 된다. 즉, 다음 수학식과 같다. here, Is a vector of length N, Indicates the maximum range within the search area. The motion vector in each region is obtained by finding the position when SAD has the smallest value in the search region. That is, it is as follows.
각 영역에서 구한 움직임 벡터는 수직 방향으로 하나의 전체 움직임 벡터를 정의하기 위하여 사용되며, 그 수식은 다음과 같다. The motion vectors obtained in each region are used to define one entire motion vector in the vertical direction. The equation is as follows.
즉, 본 발명의 움직임 예측부(110)는 수평 및 수직 영역을 세 개로 나누어 각 로컬 영역에서 찾은 움직임 벡터의 중간값(median vlaue)을 취함으로써, 움직이는 물체의 크기가 영상 크기의 절반 이상을 초과하지 않을 경우에는 주변의 배경(즉, 움직임이 없는 물체)을 이용하여 상당히 정확한 전체 움직임을 찾을 수 있다.That is, the
한편, 도 3b는 도 1의 움직임 예측부가 수평 방향의 움직임을 예측하는 것을 설명하기 위한 일예시도이다.3B is an exemplary view for explaining that the motion predictor of FIG. 1 predicts a motion in a horizontal direction.
본 발명의 움직임 예측부(110)는 영상을 세로 방향으로 세 개의 영역으로 나눈 뒤, 각 영역에서 세로 방향으로 화소값들을 더한 벡터 를 구한다. 현재 영상에서 구한 벡터 를 이전 영상에서 구한 와 탐색 영역 내에서 비교하여 가장 유사한 벡터를 찾음으로써, 최종적으로 수평 방향으로 하나의 전체 움직임 벡터 를 구하게 된다. 그 중간 과정은 수직 방향의 움직임 예측 과정과 동일하므로 그 상세한 설명은 생략하기로 한다.The
즉, 도 2a 및 도 2b와 같이 세로 및 가로 방향으로의 화소값들의 평균값이 입력되면, 움직임 예측부(110)는 수직/수평 방향의 움직임 벡터를 예측한다. 도 4a 및 도 4b는 도 1의 움직임 예측부가 수직 및 수평 방향으로 움직임을 예측하는 것을 설명하기 위한 일예시도이다.That is, when an average value of pixel values in the vertical and horizontal directions is input as shown in FIGS. 2A and 2B, the
도면에 도시된 바와 같이, 탐색 영역은 ±30이다. 움직임 벡터를 예측하는 방법에 대해서는, 위에서 설명한 바와 같으며, 본 발명의 적용례에서 수평 방향의 움직임 벡터는 계산량을 줄이기 위해 1/2로 다운 샘플링(down sampling)해서 구할 수 있다.As shown in the figure, the search area is ± 30. The method of predicting the motion vector is as described above, and in the application example of the present invention, the horizontal motion vector can be obtained by down sampling to 1/2 to reduce the amount of calculation.
도 1의 누적 움직임량 연산부(120)는 움직임 예측부(110)가 구한 수직/수평 방향의 움직임 벡터를 이용하여 수직/수평 방향의 누적 움직임량을 계산하는 기능을 담당한다. 이를 도 5를 참조로 설명하기로 하자.The cumulative
도 5는 도 1의 누적 움직임량 연산부의 일실시예 상세 구조도이다.FIG. 5 is a detailed structural diagram of an embodiment of the cumulative movement amount calculator of FIG. 1. FIG.
도면에 도시된 바와 같이, 본 발명의 누적 움직임량 연산부(120)는 연산부(310) 및 지연부(320)를 포함하여 구성되며, 그 입력인 는 다음 수학식과 같다.As shown in the figure, the cumulative
지연부(320)는 입력신호를 지연하고 이득 를 곱하여 연산부(310)에 제공한다. 본 발명의 바람직한 일실시예에 따르면, 는 0.95이다. 연산부(310)는 지연부(320)에서 입력신호 와 지연부(320)에서 입력된 신호를 덧셈 연산하는 기능을 담당한다. 연산부(310)의 출력인 는 다음의 수학식과 같으 며, 이다.
한편, 도 1의 손떨림 결정부(130)는 누적 움직임량 연산부(120)가 연산한 누적 움직임량이 소정의 임계값보다 작을 경우에는 손떨림으로 간주하고, 보정부(140)로 전달한다. 그러나 누적 움직임량이 임계값보다 클 경우에는 의도적인 움직임(패닝; panning)으로 간주한다. 예를 들어, 손떨림 결정부(130)는 손떨림 또는 패닝인지 여부는 연속된 10장의 영상에서 구한 누적 움직임량이 20보다 적을 때를 손떨림으로 간주할 수 있다. Meanwhile, the hand
보정부(140)의 보정 과정을 설명하기 위한 것이 도 6에 나타나 있다. 도 6은 도 1의 보정부가 수행하는 보정 과정을 설명하기 위한 일예시도이다.6 illustrates a correction process of the
도면에 도시된 바와 같이, 누적 움직임량이 안정(stabilization) 영역 내에 속하는 경우에는 누적 움직임량만큼 영상의 오프셋(도 6의'X_offset'과 'Y_offset')을 조정하여, 프레임 메모리로부터 적절한 영역을 읽어 인코딩을 수행함으로써, 흔들림이 보정된 영상을 획득할 수 있다. 흔들림 보정 중간에 누적 움직임량이 안정 영역을 벗어나면, 누적 움직임량의 값을 초기화하여 연산한다. 이때, 모드 전환으로 인한 영상의 끊김 현상을 제거하기 위해 마지막 누적 움직임량의 1/4에 해당하는 움직임 벡터만큼 연속하는 3장의 영상에 걸쳐 순차적으로 이동시켜 원래 위치로 복귀시킬 수도 있다.As shown in the figure, when the cumulative motion amount is within the stabilization area, the offset ('X_offset' and 'Y_offset' in FIG. 6) of the image is adjusted by the cumulative motion amount, and an appropriate area is read from the frame memory and encoded. By performing the above, it is possible to obtain an image in which the shake is corrected. If the cumulative motion amount is out of the stable region in the middle of the shake correction, the cumulative motion amount is initialized and calculated. In this case, in order to remove the discontinuity of the image due to the mode switching, the image may be sequentially returned to its original position by sequentially moving the three images successively by a motion vector corresponding to 1/4 of the last cumulative movement amount.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.The present invention described above is not limited to the above-described embodiments and the accompanying drawings, and various substitutions, modifications, and changes can be made in the art without departing from the technical spirit of the present invention. It will be clear to those of ordinary knowledge.
상기한 바와 같은 본 발명은, 수평 및 수직 영역을 세 개로 나누어 각 로컬 영역에서 찾은 움직임 벡터의 중간값(median vlaue)을 취함으로써, 움직이는 물체의 크기가 영상 크기의 절반 이상을 초과하지 않을 경우에는 주변의 배경(움직임이 없는 물체)을 이용하여 상당히 정확한 전체 움직임을 찾을 수 있도록 하는 효과가 있다.As described above, the present invention divides the horizontal and vertical regions into three and takes the median vlaue of the motion vectors found in each local region, so that when the size of the moving object does not exceed half of the image size, It has the effect of using the surrounding background (the object that is not moving) to find a fairly accurate total motion.
또한, 본 발명은 인코더와는 독립적으로 CSP 중간 과정에서 입력되는 영상 데이터를 가지고 빠른 연산을 통해 전체 움직임 및 누적 움직임량을 계산하여 손떨림 보정에 필요한 정보를 인코더에 제공함으로써, 인코딩 속도에 전혀 손실을 주지 않으면서도 상당히 정확한 보정이 가능하도록 하는 효과가 있다.In addition, the present invention calculates the total motion and cumulative motion amount through the fast operation with the image data input in the middle of the CSP process independently of the encoder to provide the encoder with the information necessary for image stabilization, so that no loss in encoding speed This has the effect of allowing a fairly accurate calibration without giving.
또한, 본 발명은 패닝과 손떨림을 구분하여 손떨림의 경우만을 검출함으로써, 정확한 손떨림 보정이 가능하도록 하는 효과가 있다.In addition, the present invention has the effect of distinguishing panning and hand shake to detect only the case of hand shake, thereby enabling accurate hand shake correction.
Claims (8)
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050130481A KR100748174B1 (en) | 2005-12-27 | 2005-12-27 | Apparatus for detecting and correcting motion by hand in moving pictures |
PCT/KR2006/005747 WO2007075037A1 (en) | 2005-12-27 | 2006-12-27 | Apparatus for detecting and correcting motion by hand in moving pictures |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050130481A KR100748174B1 (en) | 2005-12-27 | 2005-12-27 | Apparatus for detecting and correcting motion by hand in moving pictures |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20070068639A true KR20070068639A (en) | 2007-07-02 |
KR100748174B1 KR100748174B1 (en) | 2007-08-09 |
Family
ID=38218226
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020050130481A KR100748174B1 (en) | 2005-12-27 | 2005-12-27 | Apparatus for detecting and correcting motion by hand in moving pictures |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR100748174B1 (en) |
WO (1) | WO2007075037A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200123397A (en) * | 2013-12-04 | 2020-10-29 | 엘지이노텍 주식회사 | System for controlling OIS actuator using high current |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113642493B (en) * | 2021-08-20 | 2024-02-09 | 北京有竹居网络技术有限公司 | Gesture recognition method, device, equipment and medium |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR950009663B1 (en) * | 1992-05-25 | 1995-08-25 | 엘지전자주식회사 | Apparatus for correcting a hand motion in a camcorder |
JP2940762B2 (en) * | 1993-06-28 | 1999-08-25 | 三洋電機株式会社 | Video camera with image stabilization device |
KR100190033B1 (en) * | 1996-04-02 | 1999-06-01 | 윤종용 | Method and apparatus for separating handshake or panning from pickup recording apparatus, and handshake correction method /apparatus thereof |
US6930708B1 (en) * | 1998-11-30 | 2005-08-16 | Ricoh Company, Ltd. | Apparatus and system for correction based upon detecting a camera shaking |
JP4639555B2 (en) * | 2001-08-31 | 2011-02-23 | ソニー株式会社 | Motion vector detection apparatus and method, camera shake correction apparatus and method, and imaging apparatus |
KR100498042B1 (en) * | 2003-03-19 | 2005-07-01 | 삼성전자주식회사 | Device and method capable of acquisition stbilization image |
-
2005
- 2005-12-27 KR KR1020050130481A patent/KR100748174B1/en active IP Right Grant
-
2006
- 2006-12-27 WO PCT/KR2006/005747 patent/WO2007075037A1/en active Application Filing
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200123397A (en) * | 2013-12-04 | 2020-10-29 | 엘지이노텍 주식회사 | System for controlling OIS actuator using high current |
KR20210118021A (en) * | 2020-10-13 | 2021-09-29 | 엘지이노텍 주식회사 | System for controlling OIS actuator using high current |
Also Published As
Publication number | Publication date |
---|---|
KR100748174B1 (en) | 2007-08-09 |
WO2007075037A1 (en) | 2007-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7646891B2 (en) | Image processor | |
US9854168B2 (en) | One-pass video stabilization | |
JP4122279B2 (en) | Motion estimation apparatus and method capable of detecting scrolled text or graphic data | |
US7912298B2 (en) | Video evaluation device, frame rate determination device, video process device, video evaluation method, and video evaluation program | |
US9055217B2 (en) | Image compositing apparatus, image compositing method and program recording device | |
US8274602B2 (en) | Image processing apparatus and image processing method with redundant frame detection | |
KR20080083525A (en) | Method for stabilizing digital image which can correct the horizontal shear distortion and vertical scale distortion | |
US8994838B2 (en) | Motion adaptive cropping for video stabilization | |
KR100775104B1 (en) | Image stabilizer and system having the same and method thereof | |
CN101690236A (en) | Apparatus and method for estimating motion due to hand trembling and image pickup device using the same | |
KR100262793B1 (en) | Apparatus for judging a hand movement of an image | |
US8243801B2 (en) | Motion prediction apparatus and motion prediction method | |
KR100748174B1 (en) | Apparatus for detecting and correcting motion by hand in moving pictures | |
JP4356140B2 (en) | Image motion vector measuring method and apparatus | |
Albu et al. | Low complexity global motion estimation techniques for image stabilization | |
JP4289170B2 (en) | Noise amount measuring apparatus and video receiver | |
JP6316030B2 (en) | Imaging apparatus and control method thereof | |
JP2009065619A (en) | Camera-shake correcting device and imaging apparatus | |
JPWO2007026452A1 (en) | Image processing apparatus and image processing method | |
CN115511919B (en) | Video processing method, image detection method and device | |
EP2106122B1 (en) | Motion estimating device | |
KR101362761B1 (en) | Apparatus and method for correcting handshake under panning of camera | |
KR100792960B1 (en) | Compensation apparatus for motion in the mobile terminal | |
JP2009080623A (en) | Image processor and image pickup device with image processor mounted thereon | |
KR101798191B1 (en) | Apparatus and method for sampled pixel based motion estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
G170 | Re-publication after modification of scope of protection [patent] | ||
FPAY | Annual fee payment |
Payment date: 20120710 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20130731 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20140728 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20150729 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20160801 Year of fee payment: 10 |