KR20110057622A - Auto-focusing method - Google Patents
Auto-focusing method Download PDFInfo
- Publication number
- KR20110057622A KR20110057622A KR1020090114095A KR20090114095A KR20110057622A KR 20110057622 A KR20110057622 A KR 20110057622A KR 1020090114095 A KR1020090114095 A KR 1020090114095A KR 20090114095 A KR20090114095 A KR 20090114095A KR 20110057622 A KR20110057622 A KR 20110057622A
- Authority
- KR
- South Korea
- Prior art keywords
- area
- center point
- tracking
- image
- auto
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
- H04N9/317—Convergence or focusing systems
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/18—Focusing aids
- G03B13/20—Rangefinders coupled with focusing arrangements, e.g. adjustment of rangefinder automatically focusing camera
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2213/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
- H04M1/026—Details of the structure or mounting of specific components
- H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
Description
본 발명은 카메라 디바이스에 있어서의 오토 포커싱 방법에 관한 것으로서, 더욱 상세하게는, 휴대폰 등과 같은 모바일 통신 디바이스에 장착되는 카메라 모듈에 있어서의 소정 이미지 내의 이동체를 자동으로 추종할 수 있으며, 이동체가 이미지 내에서 사라진 후 다시 나타나는 경우에도 연속적인 이동체 추종이 가능한 오토 포커싱 방법에 관한 것이다.The present invention relates to an auto focusing method in a camera device. More particularly, the present invention can automatically follow a moving object in a predetermined image in a camera module mounted on a mobile communication device such as a mobile phone, and the like. The present invention relates to an autofocusing method that can continuously follow a moving object even if it disappears and then reappears.
일반적으로, 카메라 모듈(CCM:Compact Camera Module)은 소형으로써 카메라폰이나 PDA, 스마트폰을 비롯한 휴대용 이동통신 기기와 토이 카메라(toy camera) 등의 다양한 IT 기기에 적용되고 있는 바, 최근에 이르러서는 소비자의 다양한 취향에 맞추어 소형의 카메라 모듈이 장착된 기기의 출시가 점차 늘어나고 있는 실정이다.In general, the compact camera module (CCM) is a compact and is applied to various IT devices such as a camera camera, a portable mobile communication device such as a PDA, a smart phone, and a toy camera. Increasingly, devices equipped with small camera modules are gradually being released to meet various consumer tastes.
이와 같은 카메라 모듈은, CCD나 CMOS 등의 이미지센서를 주요 부품으로 하여 제작되고 있으며 상기 이미지센서를 통하여 사물의 이미지를 집광시켜 기기내의 메모리상에 데이터로 저장되고, 저장된 데이터는 기기내의 LCD 또는 PC 모니터 등 의 디스플레이 매체를 통해 영상으로 디스플레이된다.Such a camera module is manufactured using an image sensor such as a CCD or a CMOS as a main component, and collects an image of an object through the image sensor and stores it as data in a memory in the device, and the stored data is stored in the LCD or PC in the device. It is displayed as an image through a display medium such as a monitor.
또한, 최근에는 카메라 렌즈로 포착되는 피사체의 휘도신호를 이용해서 피사체를 검출하고 이 검출된 피사체에 맞추어 광학계를 구동시켜 그 촛점을 자동적으로 맞춰주는 오토 포커싱 기술이 널리 사용되고 있다. In recent years, auto focusing technology has been widely used to detect a subject using a luminance signal of a subject captured by a camera lens and to automatically focus the optical system according to the detected subject.
이와 같은, 콘트라스트 방식에 의한 오토 포커싱에서는 카메라의 촬영 범위 내에 있는 피사체의 전체를 오토 포커싱의 대상으로 하는 것이 아니라, 촬영 범위 중의 일부의 관심 범위에 있는 피사체만을 대상으로 하는 것이 많다. 콘트라스트 방식의 오토 포커싱에서는 이미지센서의 촬상 영역 전체에 의하여 받아 들여진 화상 신호 가운데 오토 포커싱의 대상으로 하는 범위의 화상 신호를 추출하고, 그 추출한 범위의 화상 신호의 콘트라스트가 가장 높아지도록 포커스를 제어하는 것에 의해 오토 포커스의 대상을 일부의 범위의 피사체로 한정하고 있다. In this type of auto focusing, the entire subject within the photographing range of the camera is not targeted for auto focusing, but only the subject in the range of interest of a part of the photographing range. In contrast-based auto focusing, an image signal of a range targeted for auto focusing is extracted from an image signal received by the entire imaging area of the image sensor, and the focus is controlled so that the contrast of the extracted image signal is the highest. As a result, the subject of autofocus is limited to a subject in a partial range.
그러나, 현재에 사용되고 있는 기술에 의한 오토 포커싱의 경우에는 피사체가 소정의 이미지 내에서 이동하여 상기 이미지 영역을 이탈하는 경우 (가령, 피사체가 이미지 밖으로 이동하여 사라질 경우) 기존의 추종되던 피사체에 대한 정보가 손실되어 피사체를 더 이상 추종할 수 없게 되는 문제점이 발생된다. However, in the case of auto focusing according to the technology currently used, when the subject moves within a predetermined image and leaves the image area (for example, when the subject moves out of the image and disappears), information about the existing following subject is lost. A problem arises in that a loss cannot be made so that the subject can no longer be followed.
뿐만 아니라, 종래의 콘트라스트 방식에 의한 오토 포커싱 방법은, 가령 촛점화된 이미지 생성을 위한 최적의 렌즈 위치를 찾기 위하여 렌즈 위치가 변화되는 동안 이미지가 언포커싱될 수 있으며, 이 경우 관심 범위에 있는 이동체의 추종에 실패할 가능성이 매우 높다. In addition, the conventional contrast auto-focusing method may unfocus an image while the lens position is changed, for example, to find an optimal lens position for generating a focused image, in which case the moving object is in a range of interest. Is very likely to fail to follow.
한편, 실제의 촬영에서는, 하나의 피사체만을 항상 오토 포커싱의 대상으로 하는 것이 아니라 사용자의 판단에 의하여 순간적으로 다른 피사체로 오토 포커싱의 대상을 바꾸어야 할 경우가 있는데, 이러한 경우에는 트랙 볼 등에 의한 사용자 입력에 의한 관심 범위의 설정에 있어서 이동체의 신속한 추종 응답 측면에서 문제점을 내포하고 있다. On the other hand, in actual shooting, not only one subject is always the target of auto focusing, but it is sometimes necessary to change the auto focusing target to another subject at the discretion of the user. There is a problem in terms of the rapid following response of the moving object in the setting of the range of interest.
또한, 현재 사용되고 있는 DSC 카메라의 경우에 있어서는 이동체의 추종 능력을 제공하고 있지만, 모바일 폰과 같은 소형의 디바이스의 경우 메모리 등과 같은 하드웨어적인 제약으로 인하여 모바일 폰 적용을 위한 별도의 알고리즘이 요구되고 있는 실정이다.In addition, in the case of the currently used DSC camera, it provides the tracking capability of the moving object, but in the case of a small device such as a mobile phone, due to hardware constraints such as memory, a separate algorithm for mobile phone application is required. to be.
본 발명은, 피사체가 소정의 이미지 내에서 이동하여 상기 이미지 영역을 이탈하는 경우에도 기존의 추종되던 피사체에 대한 정보가 손실됨이 없도록 하여 피사체를 계속 안정되게 추종할 수 있도록 하는 오토 포커싱 방법을 제공하는 것을 해결하고자 하는 기술적 과제로 한다. The present invention provides an auto focusing method for continuously following a subject without losing information on an existing subject even when the subject moves within a predetermined image and leaves the image area. The technical problem to be solved.
또한 본 발명은, 피사체가 소정의 이미지 내에서 벗어나거나, 다른 물체에 의해서 가려질 경우 혹 사라질 경우도 추종되던 피사체가 소정의 영역안으로 다시 들어 올 경우에도 끊임 없이 연속적인 피사체 추종이 가능한 오토 포커싱 방법을 제공하는 것을 해결하고자 하는 기술적 과제로 한다. In addition, the present invention provides an auto focusing method capable of continuously following a subject even when the subject is returned to a predetermined region even when the subject is deviated from the predetermined image or is obscured by another object. To provide a technical problem to solve.
또한, 본 발명은, 촛점화된 이미지 생성을 위한 렌즈 위치의 변화시 뿐만 아니라 줌 인, 줌 아웃 등과 같은 줌 팩터(zooming factor) 및 카메라 뷰(view) 위치의 변화시, 그리고 라이팅 조건의 변화에 따른 이미지 콘트라스트의 변화시, 추종하던 피사체의 크기 변경 및 피사체의 회전에도 견실하게 이동체를 추종할 수 있는 오토 포커싱 방법을 제공하는 것을 해결하고자 하는 기술적 과제로 한다. In addition, the present invention is directed not only to changes in lens position for focused image generation, but also to changes in zooming factor and camera view position such as zoom in and zoom out, and changes in lighting conditions. Accordingly, a technical problem of the present invention is to provide an autofocusing method capable of steadily following a moving object even when the size of a subject to be changed and the rotation of a subject are changed when the image contrast is changed.
아울러, 본 발명은 이동체의 대상 변경을 신속하게 처리할 수 있으며, 모바일 폰과 같은 소형의 디바이스에도 하드웨어적으로도 최적으로 적용 가능한 오토 포커싱 방법을 제공하는 것을 해결하고자 하는 기술적 과제로 한다.In addition, the present invention is to solve the problem of providing an auto focusing method that can quickly change the object of the moving object, and can be optimally applied to a small device such as a mobile phone in hardware.
상기 기술적 과제를 해결하기 위한 수단으로서, 본 발명은,As a means for solving the above technical problem, the present invention,
이미지 내에서의 이동체에 대한 오토 트랙킹을 위하여 상기 이동체를 선택하는 사용자 입력에 따른 중심 포인트를 설정하는 단계;Setting a center point according to a user input of selecting the movable body for auto tracking of the movable body in the image;
상기 중심 포인트를 감싸도록, 오토 포커싱을 위한 연산이 수행되는 오토 포커싱 영역을 설정하는 단계;Setting an auto focusing area in which an operation for auto focusing is performed to surround the center point;
상기 오토 포커싱 영역을 감싸도록, 오트 트랙킹을 위한 연산이 수행되는 트랙킹 서브 영역을 설정하는 단계;Setting a tracking sub-region in which an operation for haute tracking is performed to surround the auto-focusing region;
상기 사용자 입력에 따른 중심 포인트, 오토 포커싱 영역 및 트랙킹 서브 영역이 함께 상기 이동체를 추종하는 단계-상기 이동체의 이동에 따라서 상기 오토 포커싱 영역의 위치를 변화시키고 상기 트랙킹 서브 영역의 위치를 업데이트함-;A center point according to the user input, an auto focusing area and a tracking sub-area following the moving object together, wherein the position of the auto-focusing area is changed and the position of the tracking sub-area is updated in accordance with the movement of the moving object;
상기 이동체가 상기 이미지 내에서 사라지는 경우, 상기 이동체가 사라지기 직전 프레임에서 상기 사용자 설정에 따른 중심 포인트 주위의 소정 영역에 대한 평균 컬러값에 대응되는 제1 컬러패턴을 산출하고 상기 제1 컬러패턴에 따른 중심 포인트를 설정하는 단계;When the moving object disappears in the image, a first color pattern corresponding to an average color value of a predetermined area around a center point according to the user setting is calculated in a frame immediately before the moving object disappears, and the first color pattern is calculated. Setting a center point according to the method;
상기 제1 컬러패턴에 따른 중심 포인트를 중심으로 하는 트래킹 서브 영역을 재설정하고, 상기 이동체가 사라진 이후의 프레임에 대해 상기 재설정된 트래킹 서브 영역에서 상기 제1 컬러패턴에 따른 중심 포인트 주위의 소정 영역에 대응되는 크기의 복수의 영역에 대한 평균 컬러값에 대응되는 제2 컬러패턴을 산출하는 단계;Resetting the tracking sub-area centered on the center point according to the first color pattern, and in the predetermined area around the center point according to the first color pattern in the reset tracking sub-area for the frame after the moving object disappears. Calculating a second color pattern corresponding to an average color value for a plurality of areas of a corresponding size;
상기 제1 컬러패턴 및 제2 컬러패턴을 비교하여 그 차이가 사전 설정된 임계 값보다 작은 경우 상기 이동체가 이미지에 다시 나타난 것으로 판단하고, 해당 제2 컬러패턴이 산출된 영역의 컬러패턴에 따른 중심을 상기 다시 나타난 이동체 추종을 위한 중심 포인트로 설정하는 단계Comparing the first color pattern and the second color pattern, if the difference is smaller than a predetermined threshold value, it is determined that the moving body is reappeared in the image, and the center according to the color pattern of the region where the second color pattern is calculated is determined. Setting as a center point for following the moving object again shown
를 포함하는 오토 포커싱 방법을 제공한다.It provides an auto focusing method comprising a.
본 발명의 일실시형태에서, 상기 오토 트랙킹을 위한 이동체가 이미지의 에지부로부터 벗어나고 있는 경우, 상기 트랙킹 서브 영역의 에지부는 상기 이미지의 에지부와 일치된 상태로 유지됨과 동시에 상기 트랙킹 서브 영역 내부의 오토 포커싱 영역만이 상기 트랙킹 서브 영역 내에서 상기 이동체를 추종하도록 상기 이미지의 에지부를 향하여 이동하며, 상기 오토 트랙킹을 위한 이동체가 이미지의 에지부로부터 완전히 벗어나 상기 오토 포커싱 영역만이 상기 트랙킹 서브 영역 내에서의 이동에 의하여 상기 이미지의 에지부에 도달한 경우에도, 상기 오토 포커싱 영역과 트랙킹 서브 영역은 모두 상기 이미지의 에지부에서 유지되도록 구성될 수 있다.In one embodiment of the invention, when the moving object for the auto tracking is out of the edge portion of the image, the edge portion of the tracking sub-region is kept in agreement with the edge portion of the image and at the same time inside the tracking sub-region Only the auto focusing area moves toward the edge of the image to follow the moving object in the tracking sub-area, and the moving object for auto-tracking is completely out of the edge of the image and only the auto-focusing area is in the tracking sub-area. Even when the edge of the image is reached by the movement in, both the auto focusing area and the tracking sub area may be configured to be maintained at the edge of the image.
본 발명의 일실시형태에서, 상기 사용자 설정에 따른 중심 포인트 주위의 소정 영역은 상기 사용자 설정에 따른 중심 포인트를 중심으로 하는 상기 오토 포커스 영역일 수 있다.In one embodiment of the present invention, the predetermined area around the center point according to the user setting may be the auto focus area centered on the center point according to the user setting.
본 발명의 일실시형태에서, 상기 이동체를 추종하는 단계는, 상기 트랙킹 서브 영역 주위로 서브 이미지를 커팅하는 단계; 가우시안 함수(Gaussian Function) 로 컨볼빙(convolving)함에 의하여 전 후 프레임에서의 서브 이미지들을 스무딩(smoothing)하는 단계; 상기 가우시안 함수의 도함수(derivative)로 컨볼빙함에 의하여 상기 전후 서브 이미지들의 구배(gradient)를 계산하는 단계; 및 d) 새로운 중심 포인트의 위치를 발견하도록 반복(iteration)하는 단계를 포함할 수 있다.In one embodiment of the present invention, the following of the moving body may include cutting a sub image around the tracking sub-region; Smoothing the sub-images in the before and after frames by convolving with a Gaussian function; Calculating a gradient of the before and after sub-images by convolving with a derivative of the Gaussian function; And d) iterating to find the location of the new center point.
이 실시형태에서, 상기 이동체의 추종에 대한 계산은, 단지 하나의 픽셀만큼만 상기 중심 포인트가 이동할 경우, 또는 상기 반복 단계가 미리 설정된 한계치를 초과할 경우, 또는 상기 중심 포인트가 경계 외부에 위치되는 경우에 정지하도록 동작할 수 있다.In this embodiment, the calculation for following of the moving object is performed when the center point moves only by one pixel, or when the repetition step exceeds a preset limit, or when the center point is located outside the boundary. Can be operated to stop.
본 발명의 일실시형태에서, 상기 하나의 중심 포인트는 터치 패드 방식으로 사용자에 의하여 입력될 수 있다.In one embodiment of the present invention, the one center point may be input by the user in a touch pad manner.
본 발명에 따르면, 피사체가 소정의 이미지 내에서 이동하여 상기 이미지 영역을 이탈하는 경우에도 기존의 추종되던 피사체에 대한 정보가 손실되지 않고 피사체를 지속적으로 안정되게 추종할 수 있는 효과가 있다.According to the present invention, even when a subject moves within a predetermined image and leaves the image area, information on a previously following subject is not lost, and thus the subject can be continuously and stably followed.
또한 본 발명에 따르면, 피사체가 소정의 이미지 내에서 벗어나거나 다른 물체에 의해서 가려져 이미지에서 사라진 후 추종되던 피사체가 소정의 영역안으로 다시 들어 올 경우에도 끊임 없이 연속적인 피사체 추종이 가능한 효과가 있다.In addition, according to the present invention, there is an effect that it is possible to continuously follow the subject continuously even when the subject that has been deviated from the image or disappeared from the image by being obscured by another object comes back into the predetermined region.
또한, 본 발명에 따르면 다양한 촬영환경의 변화 또는 피사체의 변화에도 견 실하게 이동체를 추종할 수 있는 효과가 있다.In addition, according to the present invention there is an effect capable of following the moving object steadily even in a variety of changes in the shooting environment or the subject.
또한 본 발명에 따르면, 이동체의 대상 변경을 신속하게 처리할 수 있으며, 모바일 폰과 같은 소형의 디바이스에도 하드웨어적으로도 최적으로 적용 가능한 효과가 있다.In addition, according to the present invention, it is possible to quickly process the object change of the moving object, there is an effect that can be optimally applied to a small device, such as a mobile phone in hardware.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시형태를 보다 상세하게 설명한다. 그러나, 본 발명의 실시형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시형태로 한정되는 것은 아니다. 본 발명의 실시형태는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에 도시된 구성요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다는 점을 유념해야 할 것이다.Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, embodiments of the present invention may be modified in various other forms, and the scope of the present invention is not limited to the embodiments described below. Embodiment of this invention is provided in order to demonstrate this invention more completely to the person skilled in the art to which this invention belongs. Therefore, it should be noted that the shape and size of the components shown in the drawings may be exaggerated for more clear explanation.
도 1에 도시된 바와 같이, 본 발명에 의한 오토 포커싱은, 크게 3개의 영역에 의하여 수행된다. As shown in Fig. 1, auto focusing according to the present invention is largely performed by three areas.
이들 3개의 영역은, 소정의 이미지(10) 내에서의 이동체(moving object; 20)에 대한 오토 트랙킹(auto tracking)을 위하여 사용자의 입력에 의하여 선택되는 하나의 중심 포인트(area of interest central point; 11)와, 상기 중심 포인트(11)를 감싸도록 설정된 오토 포커싱 영역(auto fucusing area; 13), 및 상기 오 토 포커싱 영역(13)을 감싸도록 주위에 설정된 트랙킹 서브 영역(tracking sub-window; 12)로 구성된다. These three regions may include one area of interest central point selected by a user input for auto tracking of a moving
하나의 중심 포인트(11)는 이동체(20)의 트랙킹을 위하여 사용자에 의하여 선택되는 영역이다. One
이러한 하나의 중심 포인트(11)는 종래기술에서와는 달리 터치 패드 방식으로 사용자에 의하여 입력되는 것이 바람직한데, 터치 패드 방식에 의하여 이동체의 대상 선택 및 변경에 신속하게 대처할 수 있으며, 모바일 디바이스와 같은 소형의 디바이스에 보다 적합한 대상체 선택 수단이 된다. Unlike the prior art, one
오토 포커싱 영역(13)은 선택된 중심 포인트를 기준으로 포커싱 프로세스를 수행하는 영역에 해당한다. The
한편, 본 발명에 있어서는 오토 포커싱 영역(13) 이외에 이를 둘러싸는 영역인 트랙킹 서브 영역(12)을 더 포함하는 것을 그 기술적 특징 중 하나로 하고 있다. 이러한 트랙킹 서브 영역(12) 내에서만 이미지 프로세싱을 수행하므로 메모리 사용과 계산량을 감소 효과가 발생하며, 특히 모바일 폰과 같은 소형 디바이스에 더욱 적합하게 사용되기 위하여 채택된 구성일 뿐만 아니라, 후술하는 데이터 유지 측면에서 필수적인 구성이라 할 것이다. 통상적으로 초당 30 프레임을 프로세싱하기 때문에 관심 영역은 프레임들 사이에서 큰 거리로 시프트되지 않으며, 만약 두 프레임 사이의 최대 시프트가 이미지의 20%일 경우 최대 20배만큼 계산량을 감소시킬 수 있고 이에 소요되는 메모리는 5배만큼 감소시킬 수 있다. On the other hand, in the present invention, it is one of the technical features to further include a
도 2a에서 확인되는 바와 같이, 앞서 설명한 중심 포인트(11), 오토 포커싱 영역(13) 및 트랙킹 서브 영역(12)이 함께 소정의 전체 이미지(10) 내에서 이동체(20)를 트랙킹하고, 이동체(20)의 이동에 따라서 상기 오토 포커싱 영역(13)의 위치를 변화시키고 상기 트랙킹 서브 영역(12)의 위치를 업데이트한다. As can be seen in FIG. 2A, the
이동체(20)의 이동에 있어서, 도 2b에서와 같이 오토 트랙킹을 위한 이동체(20)가 소정의 전체 이미지(10)의 우측 에지부로부터 벗어나고 있는 경우, 트랙킹 서브 영역(12)의 에지부는 이미지(10)의 에지부와 일치된 상태로 유지되는 반면 트랙킹 서브 영역(12) 내부의 오토 포커싱 영역(13)만이 상기 트랙킹 서브 영역(12) 내에서 이동체(20)를 계속 추종하도록 이미지(10)의 에지부를 향하여 우측으로 이동하게 된다. In the movement of the
도 2c에서와 같이, 만약 오토 트랙킹을 위한 이동체(20)가 이미지(10)의 에지부로부터 우측으로 완전히 벗어나 (가령, 화면에서 이동체가 사라질 경우) 오토 포커싱 영역(13)만이 트랙킹 서브 영역(12) 내에서의 이동에 의하여 전체 이미지(10)의 에지부에 도달한 경우에도, 오토 포커싱 영역(13)과 트랙킹 서브 영역(12)은 모두 이미지(10)의 에지부에서 계속 유지되도록 구성된다. As shown in FIG. 2C, if the moving
즉, 통상적으로 종래 기술에 있어서는 피사체가 소정의 이미지 내에서 이동하여 소정의 이미지 영역을 이탈하는 경우 (가령, 피사체가 이미지 밖으로 이동하여 사라질 경우) 기존의 추종되던 피사체에 대한 정보가 손실되는데 비하여, 본 발명에서는 이러한 경우에 있어서도 오토 포커싱 영역(13)과 트랙킹 서브 영역(12) 모두가 해당 이미지의 에지부에서 계속 유지되도록 구성됨에 의하여 이동체에 대한 트랙킹 데이터가 계속 유지되어 피사체를 안정되게 추종할 수 있도록 한다. That is, in the conventional art, when a subject moves within a predetermined image and leaves a predetermined image area (for example, when the subject moves out of the image and disappears), information on an existing following subject is lost, In the present invention, even in this case, both the
이하, 임의의 환경에서도 이동체를 견실하게 추종하는 본 발명에 의한 이동체의 추종에 대한 프로세싱 단계를 설명하도록 한다. 먼저, 트랙킹 서브 영역(12) 주위로 서브 이미지를 커팅한다. The following describes a processing step for following a moving object according to the present invention which reliably follows the moving object in any environment. First, a sub image is cut around the tracking
다음, 커팅된 시간상 전후(n, n+1)의 프레임에서의 서브 이미지들을 식 1인 가우시안 함수(Gaussian Function)로 컨볼빙(convolving)에 의하여 스무딩(smoothing)하게 된다. Next, the sub-images in the frames before and after the cut time (n, n + 1) are smoothed by convolving with a Gaussian function represented by Equation 1 below.
[식 1][Equation 1]
초기 영상의 스므딩을 위해, σ=0.1을 사용한다. 그리고 서브 이미지 다운 스케일(downscale)을 위해, σ=0.9를 사용한다.For the smoothing of the initial image, σ = 0.1 is used. And for sub-image downscale, σ = 0.9.
예로 σ=0.8에 대한 샘플 가우시안 매트릭스(Matrix)는 아래와 같다.For example, a sample Gaussian matrix for σ = 0.8 is shown below.
그 다음, 가우시안의 도함수(derivative)로 컨볼빙함에 의하여 상기 전후 서브 이미지들의 기울기(gradient)를 계산하게 된다. The gradient of the front and back sub-images is then calculated by convolving with a Gaussian derivative.
여기서, 가우시안의 도함수는 실제 적용된 값의 함수들(real valued functions)이다.Here, Gaussian derivatives are real valued functions.
그리고 1차원에서, 가우시안의 도함수는 다항식(polynomial)과 가우시안의 결과와 같은 특징을 가진다.And in one dimension, Gaussian derivatives have the same characteristics as polynomials and Gaussian results.
[식 2][Equation 2]
도 3은 x축의 가우시안 함수와 y축의 가우시안 함수의 두 개 도함수를 구성하는 가우시안의 도함수의 그림이다.3 is a diagram of a Gaussian derivative constituting two derivatives, a Gaussian function on the x-axis and a Gaussian function on the y-axis.
도 3과 같이 각각의 영역에서, 이 함수들은 경향이 있는 특정 부분에서 증가(흰색)와 감소(검은색)로 일부가 아주 작게 변한다.In each area, as shown in Figure 3, these functions change some very small with increasing (white) and decreasing (black) in certain areas that tend to be.
마지막으로, 새로운 중심 포인트의 위치를 발견하도록 반복(iteration)하는 단계를 거치게 된다. Finally, iteration takes place to find the location of the new center point.
반복의 순서는 아래와 같은 특징을 가지고 있다.The sequence of iterations has the following characteristics:
1. 평균적으로 5회 반복으로 충분하다(추천).1. On average 5 repetitions are sufficient (recommended).
2. 첫번째 반복(k=1)에서, 초기 추정(Guess)은 앞 프레임들(frames)의 추적을 기반으로 움직임을 예측함에의해 설정된다.2. In the first iteration (k = 1), the initial estimate is set by predicting the motion based on tracking of the preceding frames.
3. 가우시안 함수와 가우시안 도함수 필터들에 의해 회전, 잡음, 줌 요소 그리고 디포커싱(defocusing)에 대해 변하지 않는 영상 디스플레이(displacement) 계산 방법을 얻기 위해 영상 구조를 얻는다3. Obtain an image structure to obtain an image display calculation method that does not change for rotation, noise, zoom factor and defocusing by Gaussian function and Gaussian derivative filters.
4. 각각의 반복은 각각의 레벨(level)(다운스케일 4개 요소를 가진 2 레벨을 사용한다)을 위해 디스플레이 영상을 최소화한다. 큰(big)영상 시프트(shift) 검출을 위해 레벨을 다운스케일하고 정확한 시프트 검출을 위해 초기 크기를 다운스케일 한다.4. Each iteration minimizes the display picture for each level (use 2 levels with 4 elements of downscale). Downscale the level for big image shift detection and downscale the initial size for accurate shift detection.
한편, 상기 이동체의 추종에 관한 계산은, 단지 하나의 픽셀만큼만 상기 중심 포인트가 이동할 경우, 또는 상기 반복 단계가 미리 설정된 한계치를 초과할 경우, 또는 상기 중심 포인트가 경계 외부에 위치되는 경우에 정지하는 것이 바람직하다. On the other hand, the calculation regarding the following of the moving object stops when the center point moves only by one pixel, or when the repetition step exceeds a preset limit, or when the center point is located outside the boundary. It is preferable.
이상과 같은 트랙킹 서브 영역의 설정 및 이동체 트랙킹 프로세싱에 의하여 본 발명은 다음과 같은 효과를 창출하게 되며 이를 관련 도면인 도 4 내지 도 6을 참조하여 설명하도록 한다. By the above-described setting of the tracking sub-region and the moving object tracking processing, the present invention creates the following effects, which will be described with reference to FIGS. 4 to 6.
먼저, 도 4는 이미지 포커싱이 지속적으로 변화될 경우의 본 발명에 의한 트랙킹 성능을 나타낸다. First, FIG. 4 shows the tracking performance according to the present invention when the image focusing is continuously changed.
즉, 촛점화된 이미지 생성을 위하여 렌즈의 위치가 변화하여 도 4b 내지 도 4d에서와 같이 이미지가 디포커싱되고 있는 경우에도, 이동체(20)에 대하여 사용자에 의하여 입력 선택된 하나의 중심 포인트(11)와 오토 포커싱 영역(13) 및 트랙킹 서브 영역(12)은 관심 대상인 이동체를 안정되게 추종하고 있음을 알 수 있다. That is, even when the position of the lens is changed to generate the focused image and the image is defocused as shown in FIGS. 4B to 4D, one
또한, 도 5는 줌 팩터(zooming factor) 및 카메라 뷰(view) 위치의 변화시 본 발명에 의한 트랙킹 성능을 나타낸다. In addition, FIG. 5 shows the tracking performance according to the present invention when the zoom factor and the camera view position change.
즉, 촬영을 준비하고 있는 동안, 사용자는 줌 인 또는 줌 아웃과 같은 이미지 줌 팩터를 변화시킬 수 있고 또한 카메라의 뷰 위치를 변경할 수도 있다. 본 발명에 의할 경우, 이러한 상황에서도 도 5a 내지 도 5c에서와 같이 이동체(20)에 대하여 사용자에 의하여 입력 선택된 하나의 중심 포인트(11)와 오토 포커싱 영역(13) 및 트랙킹 서브 영역(12)은 관심 대상인 이동체를 잘 추종하고 있음을 알 수 있다. That is, while preparing to shoot, the user can change the image zoom factor such as zoom in or zoom out and also change the view position of the camera. According to the present invention, even in this situation, as shown in FIGS. 5A to 5C, one
아울러, 도 6은 라이팅(lighting) 조건의 변화에 따른 이미지 콘트라스트(image contrast)의 변화시 본 발명에 의한 트랙킹 성능을 또한 나타낸다. In addition, FIG. 6 also shows the tracking performance according to the present invention when the image contrast changes with changing lighting conditions.
즉, 현재의 라이팅 조건에 적합하도록 카메라를 조정하는 동안에 이미지 콘트라스트가 변화할 수 있다. 본 발명에 의할 경우, 이러한 상황에서도 도 6a 및 도 6b에서와 같이 이동체(20)에 대하여 사용자에 의하여 입력 선택된 하나의 중심 포인트(11)와 오토 포커싱 영역(13) 및 트랙킹 서브 영역(12)은 관심 대상인 이동체를 견실하게 추종하고 있음을 알 수 있다. In other words, image contrast may change while adjusting the camera to suit the current lighting conditions. According to the present invention, even in such a situation, as shown in FIGS. 6A and 6B, one
한편, 본 발명은 추종 중인 피사체(이동체)가 다른 물체에 의해 가리거나 이미지의 영역에서 사라지는 것과 같이 추종이 불가능한 상태된 이후 다시 이미지에 나타나는 경우에도 끊임 없이 연속적인 추종이 가능한 알고리즘을 제공한다. 도 7은 피사체가 이미지에서 사라진 경우의 트랙킹 방법을 설명하는 도면이다. On the other hand, the present invention provides an algorithm capable of continuously following the case even if the following subject (moving body) appears in the image again after being impossible to follow, such as being covered by another object or disappearing from the area of the image. 7 illustrates a tracking method when a subject disappears from an image.
도 7에 도시한 바와 같이, 사라진 이동체의 트랙킹 방법은, 이동체가 최후로 검출된 이미지 프레임 상의 이동체 위치에서, 중심 포인트(11-1)을 설정하고, 이 중심 포인트(11-1)를 중심으로 하는 소정 영역(A1)에 대한 컬러값의 평균에 해당하는 컬러패턴(제1 컬러패턴)을 구한다. 이 중심 포인트(11-1)을 중심으로 하는 트랙킹 서브 영역(12)을 설정하고, 이 후 입력되는 이미지 프레임에 대해 상기 트랙킹 서브 영역(12)을 상기 이동체의 최종 검출 영역(A1)과 동일한 면적의 영역으로 분할하고 각 분할된 영역에 대해 컬러값의 평균에 해당하는 컬러패턴(제2 컬러패턴)을 구한다. 도 7에 도시한 바와 같이, 분할된 영역에 대한 제2 컬러패턴을 구하는 과정은 최종 검출된 영역(A1)의 좌상부 인접 영역(B1)에서부터 시작하여 시계 반대방향으로 나선형을 그리는 순서로 검출될 수 있다. 바람직하게 상기 중심 포인트(11-1)를 중심으로 하여 제1 컬러패턴을 구하는 영역이나, 상기 제1 컬러패턴과 비교되는 제2 컬러패턴을 구하는 영역은 전술한 오토 포커스 영역(12)과 동일한 크기로 설정될 수 있다.As shown in FIG. 7, in the tracking method of a moving object that has disappeared, a center point 11-1 is set at the position of the moving object on the image frame in which the moving object was last detected, and the center point 11-1 is centered. The color pattern (first color pattern) corresponding to the average of the color values for the predetermined area A1 is obtained. The tracking
각 분할 영역에 대해 산출된 제2 컬러패턴은 제1 컬러패턴과 비교되고, 상기 제1 컬러패턴과 제2 컬러패턴의 비교결과 사전 설정된 임계값보다 작은 경우 사라진 이동체가 다시 이미지 상에 나타난 것으로 판단하고 해당 영역의 중심 포인트를 다시 구하여 전술한 것과 같은 이동체 트래킹을 계속 수행할 수 있다.The second color pattern calculated for each segmented area is compared with the first color pattern, and when the result of the comparison between the first color pattern and the second color pattern is smaller than a preset threshold, it is determined that the disappeared moving body appears again on the image. Then, the center point of the region can be obtained again, and the moving object tracking as described above can be continued.
도 8은 추종 중인 피사체의 회전, 크기 변화시 본 발명에 의한 트래킹 성능을 도시한 도면이다. 도 8에 도시된 바와 같이, 피사체를 추종하는 중에 피사체의 크기 및 회전을 하여 피사체가 변화할 수 있다. 본 발명에 의할 경우, 이러한 상황에서도 이동체에 대한 견실하게 추종이 이루어짐을 알 수 있다.8 is a diagram illustrating a tracking performance according to the present invention when the subject rotates and changes its size. As shown in FIG. 8, the subject may change by rotating the size and subject while following the subject. According to the present invention, it can be seen that a steady follow-up to the moving body is made even in such a situation.
도 9는 추종 중인 피사체가 다른 물체에 의해 가려지는 경우, 본 발명에 의한 트래킹 성능을 도시한 도면이다. 도 9에 도시한 바와 같이, 피사체를 추종하는 중에 피사체가 다른 물체에 의해 피사체가 일정 시간 가려진 질 수 있다. 본 발명에 의할 경우, 이러한 상황에서도 이동체에 대한 견실하게 추종이 이루어짐을 알 수 있다.9 is a diagram illustrating tracking performance according to the present invention when the following object is covered by another object. As shown in FIG. 9, while following a subject, the subject may be covered by a different object for a certain time. According to the present invention, it can be seen that a steady follow-up to the moving body is made even in such a situation.
도 10은 추종 중인 피사체가 추종 영역 밖으로 벗어난 경우, 본 발명에 의한 트래킹 성능을 도시한 도면이다. 도 10에 도시한 바와 같이, 피사체를 추종하는 중에 피사체가 추종 영역 밖으로 벗어난 경우가 발생할 수 있다. 본 발명에 의할 경우, 이러한 상황에서도 이동체에 대한 견실하게 추종이 이루어짐을 알 수 있다.FIG. 10 is a diagram illustrating tracking performance according to the present invention when the following subject is out of the following area. As shown in FIG. 10, a case in which the subject deviates from the following area may occur while following the subject. According to the present invention, it can be seen that a steady follow-up to the moving body is made even in such a situation.
앞서 설명한 본 발명의 기술적 특징인 알고리즘이 인스톨된 오토 포커싱 시스템은, 도 11에 도시된 바와 같이, 크게 렌즈 유닛(100), 트랙킹 유닛(200), 오토 포커싱 영역 선택 유닛(300) 및 오토 포커싱 콘트롤러(400)으로 구성된다. As illustrated in FIG. 11, the auto focusing system in which the algorithm, which is a technical feature of the present invention, is installed, has a
먼저, 오토 포커싱 영역 선택 유닛(300)은 사용자로부터 관심 영역에 대한 입력을 받는 수단이다. 본 발명은 "터치 패드 방식"에 의하여 사용자가 관심 영역 을 입력하도록 구성된다. First, the auto focusing
이러한 오토 포커싱 영역 선택 유닛(300)으로부터 입력된 관심 영역은 오토 포커싱 콘트롤러(400)로 입력된다. 오토 포커싱 콘트롤러(400)는 앞서 알고리즘 부분에서 이미 설명된 바와 같이 소정의 이미지(10) 내에서의 이동체(20)에 대한 오토 트랙킹을 위하여 사용자의 입력에 의하여 선택되는 중심 포인트(11)와, 상기 중심 포인트(11)를 감싸도록 설정된 오토 포커싱 영역(13), 및 상기 오토 포커싱 영역(13)을 감싸도록 주위에 설정된 트랙킹 서브 영역(12)을 설정하게 된다. The ROI input from the auto focusing
트랙킹 유닛(200)은 사용자가 지정한 관심 영역에서의 피사체의 이동을 화면상으로 각각 추종하면서 그 피사체를 트랙킹하고 오토 포커싱 영역의 위치를 자동으로 이동시키기 위한 장치에 해당한다. 이러한 트랙킹 유닛(200)은 이미지 입력부(201)로부터 입력받은 이미지를 이미지 프로세싱부(202)에서 오토 포커싱 영역을 설정 및 업데이트하고, 이미지에서 이동체가 사라진 경우에 새로운 영역 설정 및 컬러패턴의 산출 비교를 수행한다. 이러한 오토 트랙킹 기능은 트랙킹 활성화 수단(203)에 의하여 작동 여부가 결정된다. The
렌즈 유닛(100)은 트랙킹 유닛(200)에 의하여 추종된 관심 영역에 대하여 포커싱된 이미지로 촬영을 가능하게 한다. 트랙킹된 오토 포커싱 영역이 오토 포커싱 입력부(103)로 입력되고 오토 포커싱 프로세싱부(104)에서 오토 포커싱에 대한 데이터가 계산된다. 이를 기초로 하여 렌즈 활성화 콘트롤러(105)에 의하여 포커싱을 위한 렌즈부(미도시)의 위치를 설정 및 제어하게 된다. The
도 12는 앞서 설명한 관심 영역에 대한 오토 포커싱 시스템에서 수행하는 작동을 나타내는 순서도이다. 12 is a flowchart illustrating an operation performed by the auto focusing system for the ROI described above.
도 12에 도시된 바와 같이, 먼저 디폴트 오토 포커싱 영역 설정치가 오토 포커싱 영역 콘트롤러(400)로 입력되고 오토 트랙킹 기능이 활성화되었는지 여부를 판단한다(S10). As shown in FIG. 12, first, a default auto focusing area setting value is input to the auto focusing
오토 트랙킹이 활성화된 경우, 다음 프레임(next frame)에서의 오토 포커싱 영역을 트랙킹한 다음(S20) 오토 포커싱 영역에 대한 정보를 업데이트한다(S40). When auto tracking is activated, the auto focusing area is tracked in the next frame (S20), and the information on the auto focusing area is updated (S40).
그 후, 사용자의 입력이 검출되지 않을 경우(S050), 렌즈 활성화 콘트롤러(105)로 오토 포커싱 영역 정보를 전송한 후(S60) 렌즈를 콘트롤하게 된다. Thereafter, when the user's input is not detected (S050), the auto focusing area information is transmitted to the lens activation controller 105 (S60), and then the lens is controlled.
한편, 추종 영역에 대한 판단(S30)에 의하여 만약 추종할 영역이 없을 경우에는 사용자로 하여금 오토 포커싱 영역을 선택하도록 한 후 사용자에 의하여 선택된 영역은 다시 오토 포커싱 영역 콘트롤러(400)로 입력되고, 앞서 설명한 단계(S10) 내지 단계(S60)가 반복적으로 수행된다. On the other hand, if there is no area to be followed according to the determination (S30) for the following area, the user selects the auto focusing area and then the area selected by the user is input to the auto focusing
도 13은 본 발명의 일실시형태에 따른 이동체가 이미지 상에서 사라지는 경우 트랙킹 과정을 도시한 순서도이다.13 is a flowchart illustrating a tracking process when a moving object disappears on an image according to an embodiment of the present invention.
먼저, 전술한 바와 같이, 사용자의 입력에 따라 중심 포인트를 선택하고, 오토포커싱 영역을 설정하고, 트랙킹 서브 영역을 설정하여, 상기 사용자 입력에 따른 중심 포인트, 오토 포커싱 영역 및 트랙킹 서브 영역이 함께 상기 이동체를 추종하는 과정이 진행 된다(S131).First, as described above, the center point, the auto focusing area, and the tracking sub area according to the user input are selected by selecting a center point according to a user input, setting an autofocusing area, and setting a tracking sub area. The process of following the moving object is performed (S131).
이어, 이미지 상에서 이동체가 사라지면(S132), 상기 이동체가 사라지기 직전 프레임에서 상기 사용자 설정에 따른 중심 포인트 주위의 소정 영역(도 7의 A1)에 대한 평균 컬러값에 대응되는 제1 컬러패턴을 산출하고 상기 제1 컬러패턴에 따른 중심 포인트를 설정한다. 상기 사용자 설정에 따른 중심 포인트 주위의 소정 영역은 상기 사용자 설정에 따른 중심 포인트를 중심으로 하는 상기 오토 포커스 영역이 될 수 있다. 또한, 상기 제1 컬러패턴에 따른 중심 포인트는 전술한 도 7의 'A1'에 해당하고, 상기 제1 컬러패턴에 따른 중심 포인트는 전술한 도 7에서 '11-1'로 지시된 중심점에 해당한다.Subsequently, when the moving object disappears on the image (S132), the first color pattern corresponding to the average color value of the predetermined area (A1 in FIG. 7) around the center point according to the user setting is calculated in the frame immediately before the moving object disappears. And set a center point according to the first color pattern. The predetermined area around the center point according to the user setting may be the auto focus area centered on the center point according to the user setting. In addition, the center point according to the first color pattern corresponds to 'A1' in FIG. 7 described above, and the center point according to the first color pattern corresponds to the center point indicated as '11 -1 'in FIG. 7 described above. do.
이어, 상기 제1 컬러패턴에 따른 중심 포인트를 중심으로 하는 트래킹 서브 영역(도 7의 12)을 재설정하고, 상기 이동체가 사라진 이후의 프레임에 대해 상기 재설정된 트래킹 서브 영역에서 상기 중심 포인트 주위의 소정 영역(도 7의 A1)에 대응되는 크기의 복수의 영역(도 7의 13)에 대한 평균 컬러값에 대응되는 제2 컬러패턴을 산출한다. 상기 복수의 영역은 전술한 바와 같이, 최초에 설정된 오토포커스 영역과 동일한 크기의 영역이 될 수 있다.Subsequently, the tracking sub-region (12 of FIG. 7) centered on the center point according to the first color pattern is reset, and a predetermined value around the center point in the reset tracking sub-area for the frame after the moving object disappears. A second color pattern corresponding to an average color value for a plurality of areas (13 in FIG. 7) having a size corresponding to the area (A1 in FIG. 7) is calculated. As described above, the plurality of areas may be an area having the same size as the autofocus area initially set.
이어, 상기 제1 컬러패턴 및 제2 컬러패턴을 비교하여(S135) 그 차이가 사전 설정된 임계값보다 작은 경우, 즉 제1 컬러패턴과 제2 컬러패턴이 매칭되는 경우(S136), 상기 이동체가 이미지에 다시 나타난 것으로 판단하고, 해당 제2 컬러패턴이 산출된 영역의 컬러패턴에 따른 중심을 상기 다시 나타난 이동체 추종을 위한 중심 포인트로 설정하고 이동체 트랙킹 알고리즘을 다시 적용하여 이동체의 추적을 진행한다(S137).Subsequently, when the first color pattern and the second color pattern are compared (S135) and the difference is smaller than a preset threshold, that is, when the first color pattern and the second color pattern are matched (S136), the movable body is After determining that the image appears again in the image, the center according to the color pattern of the region where the second color pattern is calculated is set as a center point for following the moving object, and the moving object tracking algorithm is applied again to track the moving object. S137).
한편, 제1 컬러패턴과 제2 컬러패턴이 매칭되지 않는 경우(S136), 다음 프레임의 입력을 대기하고(S138), 그 다음 프레임에 대해 제2 컬러 패턴을 산출하여 비교하는 과정들(S134, S135, S136)을 반복하여 진행한다.Meanwhile, when the first color pattern and the second color pattern do not match (S136), waiting for input of the next frame (S138), and calculating and comparing the second color pattern for the next frame (S134, S135, S136) is repeated.
본 발명의 상세한 설명에서는 구체적인 실시예에 관하여 설명하였으나 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되지 않으며, 후술되는 특허청구의 범위 및 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.In the detailed description of the present invention, specific embodiments have been described, but various modifications may be made without departing from the scope of the present invention. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be defined by the following claims and their equivalents.
도 1은 본 발명에 의한 오토 포커싱 방법에 사용되는 하나의 중심 포인트와 오토 포커싱 영역 및 트랙킹 서브 영역을 나타내는 도면. BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is a diagram illustrating one center point, an auto focusing area and a tracking sub area used in an auto focusing method according to the present invention.
도 2는 본 발명에 의한 오토 포커싱 방법에 사용되는 하나의 중심 포인트와 오토 포커싱 영역 및 트랙킹 서브 영역의 작동을 예시적으로 나타내는 도면. FIG. 2 is a diagram illustrating an operation of one center point and an auto focusing area and a tracking sub area used in the auto focusing method according to the present invention. FIG.
도 3은 x축의 가우시안 함수와 y축의 가우시안 함수의 두 개 도함수를 구성하는 가우시안의 도함수의 그림.3 is a plot of Gaussian derivatives that comprise two derivatives of a Gaussian function on the x-axis and a Gaussian function on the y-axis.
도 4는 이미지 포커싱이 지속적으로 변화될 경우의 본 발명에 의한 트랙킹 성능을 나타내는 도면. 4 is a diagram showing tracking performance according to the present invention when image focusing is continuously changed.
도 5는 줌 팩터 및 카메라 뷰 위치의 변화시 본 발명에 의한 트랙킹 성능을 나타내는 도면. 5 shows tracking performance in accordance with the present invention upon change in zoom factor and camera view position.
도 6은 라이팅 조건의 변화에 따른 이미지 콘트라스트의 변화시 본 발명에 의한 트랙킹 성능을 나타내는 도면. 6 is a diagram showing tracking performance according to the present invention when a change in image contrast according to a change in lighting conditions.
도 7은 피사체가 이미지에서 사라진 경우의 본 발명에 따른 트랙킹 방법을 설명하는 도면. 7 illustrates a tracking method according to the present invention when a subject disappears from an image.
도 8은 추종 중인 피사체의 회전, 크기 변화시 본 발명에 의한 트래킹 성능을 나타내는 도면.8 is a view showing tracking performance according to the present invention when the rotation and size change of a following subject are changed.
도 9는 추종 중인 피사체가 다른 물체에 의해 가려지는 경우, 본 발명에 의한 트래킹 성능을 나타내는 도면.9 is a diagram showing tracking performance according to the present invention when the following object is covered by another object.
도 10은 추종 중인 피사체가 추종 영역 밖으로 벗어난 경우, 본 발명에 의한 트래킹 성능을 나타내는 도면.10 is a diagram illustrating tracking performance according to the present invention when the following subject is out of the following area.
도 11은 본 발명에 의한 오토 포커싱 시스템의 블록도.11 is a block diagram of an auto focusing system according to the present invention;
도 12는 도 6의 시스템에 의한 오토 포커싱 방법의 순서도.12 is a flowchart of an auto focusing method by the system of FIG.
도 13은 본 발명의 일실시형태에 따른 이동체가 이미지 상에서 사라지는 경우 트랙킹 과정을 도시한 순서도.13 is a flowchart illustrating a tracking process when the moving object disappears on an image according to an embodiment of the present invention.
* 도면의 주요부분에 대한 부호의 설명** Explanation of symbols for the main parts of the drawings *
10: 이미지 11: 중심 포인트10: image 11: center point
12: 트랙킹 서브 영역 13: 오토 포커스 영역12: Tracking sub area 13: Auto focus area
20: 이동체20: moving object
Claims (6)
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020090114095A KR101053266B1 (en) | 2009-11-24 | 2009-11-24 | Auto focusing method |
| CN2009102531930A CN101750845B (en) | 2008-12-12 | 2009-12-14 | Auto-focusing method |
| US12/654,200 US7995909B2 (en) | 2008-12-12 | 2009-12-14 | Auto-focusing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020090114095A KR101053266B1 (en) | 2009-11-24 | 2009-11-24 | Auto focusing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20110057622A true KR20110057622A (en) | 2011-06-01 |
| KR101053266B1 KR101053266B1 (en) | 2011-08-01 |
Family
ID=44393220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020090114095A KR101053266B1 (en) | 2008-12-12 | 2009-11-24 | Auto focusing method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101053266B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180106736A (en) * | 2017-03-21 | 2018-10-01 | 한화에어로스페이스 주식회사 | Zoom tracking method |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4568916B2 (en) * | 2005-01-17 | 2010-10-27 | 富士フイルム株式会社 | Auto focus system |
| JP5048559B2 (en) * | 2008-03-19 | 2012-10-17 | 富士フイルム株式会社 | Auto focus system |
-
2009
- 2009-11-24 KR KR1020090114095A patent/KR101053266B1/en not_active IP Right Cessation
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180106736A (en) * | 2017-03-21 | 2018-10-01 | 한화에어로스페이스 주식회사 | Zoom tracking method |
| US10904445B2 (en) | 2017-03-21 | 2021-01-26 | Hanwha Techwin Co., Ltd. | Zoom tracking method and zoom camera |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101053266B1 (en) | 2011-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7995909B2 (en) | Auto-focusing method | |
| CN112529951B (en) | Method and device for acquiring extended depth image and electronic equipment | |
| US8581996B2 (en) | Imaging device | |
| US20160028948A1 (en) | Image capturing apparatus | |
| US9160919B2 (en) | Focus adjustment unit and camera system | |
| US20150201182A1 (en) | Auto focus method and auto focus apparatus | |
| EP3593319A2 (en) | Optical flow and sensor input based background subtraction in video content | |
| TW201541141A (en) | Auto-focus system for multiple lens and method thereof | |
| WO2021134179A1 (en) | Focusing method and apparatus, photographing device, movable platform and storage medium | |
| CN114651275B (en) | Image stitching of full field of view reference images | |
| CN106161945A (en) | Take pictures treating method and apparatus | |
| CN112738397A (en) | Shooting method, shooting device, electronic equipment and readable storage medium | |
| US20220303464A1 (en) | Systems and methods for obtaining a smart panoramic image | |
| US20120019709A1 (en) | Assisting focusing method using multiple face blocks | |
| TW201541143A (en) | Auto-focus system for multiple lens and method thereof | |
| CN113747067A (en) | Photographing method and device, electronic equipment and storage medium | |
| US20230388645A1 (en) | Systems and methods for obtaining a smart panoramic image | |
| KR101053266B1 (en) | Auto focusing method | |
| US9020280B2 (en) | System and method for evaluating focus direction under various lighting conditions | |
| KR100975928B1 (en) | Auto-focusing method | |
| CN115379201A (en) | Test method and device, electronic equipment and readable storage medium | |
| CN114244999B (en) | Automatic focusing method, device, image pickup apparatus and storage medium | |
| EP3054668B1 (en) | Method and device for processing a video stream | |
| CN112367464A (en) | Image output method and device and electronic equipment | |
| KR20090126068A (en) | Digital photographing apparatus, method for controlling the same, and recording medium storing program to implement the method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20140701 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20150707 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20160701 Year of fee payment: 6 |
|
| LAPS | Lapse due to unpaid annual fee |