KR101392732B1 - 손떨림에 의한 움직임 추정 장치 및 방법, 그를 이용한영상 촬상 장치 - Google Patents
손떨림에 의한 움직임 추정 장치 및 방법, 그를 이용한영상 촬상 장치 Download PDFInfo
- Publication number
- KR101392732B1 KR101392732B1 KR1020070083449A KR20070083449A KR101392732B1 KR 101392732 B1 KR101392732 B1 KR 101392732B1 KR 1020070083449 A KR1020070083449 A KR 1020070083449A KR 20070083449 A KR20070083449 A KR 20070083449A KR 101392732 B1 KR101392732 B1 KR 101392732B1
- Authority
- KR
- South Korea
- Prior art keywords
- motion
- motion vector
- block
- weight
- image
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
주움(zoom) 정보 및 포커스 정보를 이용하여 손떨림에 의한 영상의 전역 움직임 벡터를 추정하는 움직임 추정 장치 및 방법, 그를 이용한 영상 촬상 장치가 개시되어 있다. 본 발명은 영상 촬상 장치의 움직임 추정 방법에 있어서, 포커스 정보 및 줌 배율 정보에 의존적으로 블록 단위의 움직임 벡터에 대한 가중치를 결정하는 과정; 촬상된 영상을 복수개 블록들로 나누고 각각의 블록에 대해 움직임 벡터를 예측하는 과정; 상기 예측된 블록 단위의 움직임 벡터들에 상기 결정된 블록 단위의 움직임 벡터에 대한 가중치를 적용하여 전역 움직임을 추정하는 과정을 포함한다.
Description
본 발명은 영상 촬상 장치에 관한 것이며, 특히 주움(zoom) 정보 및 포커스 정보를 이용하여 손떨림에 의한 영상의 전역 움직임 벡터를 추정하는 움직임 추정 장치 및 방법, 그를 이용한 영상 촬상 장치에 관한 것이다.
대부분의 동영상 처리 기법에서는 인접하는 프레임(Frame)간에 나타나는 지역적인 물체의 움직임(local motion)만을 추정하여 보상하는 움직임 보상기법을 사용하고 있다. 그러나 실제 동영상 내에는 지역적인 움직임 뿐만 아니라 카메라의 줌(Zoom), 팬(Pan), 로테이션(Rotation) 등과 같이 영상전체에 영향을 미치는 움직임이 포함되어 있는 경우가 있다. 이러한 영상전체에 영향을 미치는 움직임을 전역 움직임(global motion)이라 한다. 통상적으로 카메라와 캠코더와 같은 영상 촬상 장치는 전역 움직임을 이용하여 프레임의 위치를 조정한다.
이러한 영상 촬상 장치는 영상 촬영시 조작자의 손떨림 및 주변 진동에 의해 시간 방향으로 촬영 영상의 공간적 위치가 변화한다.
통상적으로 움직이는 카메라로부터 획득한 영상에는 배경의 움직임과 물체의 움직임이 동시에 존재하므로 영상마다 전역 움직임을 계산하여 물체의 움직임을 검출한다.
종래의 전역 움직임 벡터 추정 방법은 영상 촬영 장치들이 제공하는 줌에 의해 전역 움직임 벡터를 찾기가 어려운 문제점이 발생한다.
도 1a는 줌 배율이 적을 때 촬영될 영상이고, 도 1b는 줌 배율이 높을 때 촬영될 영상이다.
장치의 손 떨림과 물체의 움직임이 동시에 발생한 경우 물체의 움직임은 도 1a의 피사체 영역(103)에서 찾을 수 있다.
따라서 손 떨림에 의한 움직임은 피사체 영역(103)을 제외한 모든 영역에서 나타나게 되고 또한 전체 영역 대비 상대적으로 큰 비율을 나타내게 된다. 그러나 도 1b와 같이 줌 배율이 커지게 되면 피사체 영역(104)은 전체 영역 대비 상대적으로 큰 비율을 나타내게 된다.
따라서 피사체의 움직임은 조작자의 의도된 카메라 움직임보다는 적은 빈도를 가지지만 줌 배율이 커지면 커질수록 전체 영상에서 피사체가 차지하는 비율이 커진다.
따라서 줌 배율이 커지게 되면 피사체에 의한 움직임이 전체 영역에서 크게 영향을 미치게 되어 손 떨림에 의한 전역 움직임 벡터를 선정하는 데 어려움이 발생한다.
본 발명이 해결하고자하는 과제는 카메라나 캠코더와 같은 영상 촬상 장치에서 줌 배율 정보 및 포커스 정보에 따라 블록 움직임 벡터에 대한 가중치를 설정하여 손 떨림에 의한 전역 움직임을 추정하는 손떨림에 의한 움직임 추정 장치 및 방법을 제공하는 데 있다.
본 발명이 해결하고자하는 과제는 상기 손떨림에 의한 움직임 추정 장치 및 방법을 적용한 영상 촬상 장치를 제공하는 데 있다.
상기의 과제를 해결하기 위하여, 본 발명은 영상 촬상 장치의 움직임 추정 방법에 있어서,
포커스 정보 및 줌 배율 정보에 의존적으로 블록 단위의 움직임 벡터에 대한 가중치를 결정하는 과정;
촬상된 영상을 복수개 블록들로 나누고 각각의 블록에 대해 움직임 벡터를 예측하는 과정;
상기 예측된 블록 단위의 움직임 벡터들에 상기 결정된 블록 단위의 움직임 벡터에 대한 가중치를 적용하여 전역 움직임을 추정하는 과정을 포함하는 것을 특징으로 한다.
상기의 다른 과제를 해결하기 위하여, 본 발명은 영상 촬상 기기의 움직임 추정 장치에 있어서,
포커스 정보 및 줌 배율 정보에 따라 블록별로 서로 다른 움직임 벡터에 대한 가중치를 결정하는 블록 가중치 설정부;
촬영된 영상내 분할된 블록들 각각에 대해 움직임 벡터를 추정하는 움직임 추정부;
상기 움직임 추정부에서 추정된 블록 단위의 움직임 벡터들에 상기 결정된 블록 단위의 움직임 벡터에 대한 가중치를 적용하여 전역 움직임을 추정하는 전역 움직임 추정부를 포함하는 것을 특징으로 한다.
상술한 바와 같이 본 발명에 의하면, 포커스 정보와 줌 배율에 따라 손 떨림에 의한 움직임과 피사체의 움직임에 의한 비율이 달리지게 된다. 따라서 카메라나 캠코더와 같은 영상 촬상 장치에서 줌 배율 및 포커스 정보에 따라 블록 움직임 벡터에 대한 가중을 결정함으로써 손 떨림에 의한 움직임을 정확하게 추정할 수 있다. 또한 줌 배율에 따라 적응적으로 움직임 벡터를 찾음으로써 전역 벡터 추정시 피사체의 움직임에 의한 영향을 최소화할 수 있다.
이하 첨부된 도면을 참조로하여 본 발명의 바람직한 실시예를 설명하기로 한다.
도 2는 통상적인 촬상 이미지 정보를 설명하기 위한 3D 세계(World) 좌표계를 도시한 것이다.
3D 세계의 움직임이 2D 이미지 플레인에 투영되었을 때 영상 촬상 장치에서 제공하는 줌(zoom)에 의해 줌 배율과 이미지 플레인상의 피사체 크기는 선형적 관계를 갖는다.
도 2는 3D 세계(World) 좌표상의 어떤 물체(203)가 이미지 플레인(plane)(202)에 맺히는 정보를 나타낸다.
204는 줌에 의한 영향으로 생성되는 정보를 나타내며, 줌 배율의 변화에 따라 다음과 같은 수학 식 1과 같은 관계를 얻을 수 있다.
여기서 Z는 3차원 공간상에서 피사체의 깊이 정보이며, f는 줌 정보이다.
수학식 1로부터 물체가 이미지 플레인에 맺히는 위치(x, y)는 줌 정보(f)와 선형적인 관계가 있음을 알 수 있다.
따라서 물체가 이미지 플레인에 맺히는 위치(x, y)와 줌 정보(f)간의 선형적인 관계로 인해 전역 움직임 벡터를 추정하는 데 있어서 문제가 발생한다.
도 3a는 촬상 장치에서 촬영시 손떨림이 발생하였을 때 움직임 벡터의 빈도 수를 나타내는 그래프이다.
도 3b는 촬상 장치에서 줌 배율을 크게 설정했을 때 움직임 벡터의 빈도수를 나타내는 그래프이다.
도 3a를 참조하면, x좌표는 움직임 벡터(mv)의 크기값을 나타내고, y좌표는 움직임 벡터의 빈도수(frequency)를 나타낸다. 303은 블록 단위 움직임 추정한 후 블록 단위의 움직임 벡터의 크기 분포를 나타낸다. 도 3a의 움직임 벡터의 크기 분포를 보면 x좌표축으로 한 개의 큰 피크와 또 다른 한 개의 작은 피크 값이 존재한다. 여기서 손 떨림에 의한 움직임은 영상의 전체 영역에 영향을 미치기 때문에 피크가 큰 mvx1(404)을 손 떨림에 의한 움직임 벡터로 피크가 적은 mvx2(405)를 물체의 움직임 벡터로 판단할 수 있다.
그러나 줌 배율을 크게 하거나 촬영 대상이 동일 선상의 깊이에 존재하지 않는 경우 전체 영역에 대비하여 물체가 영상에서 차지하는 비율이 커지게 된다. 따라서 촬영시 도 3b에 도시된 바와 같이 x좌표축으로 두 개의 피크가 생기게 된다. 따라서 두 개의 피크들 즉, mvx1(406), mvx2(408)중에서 어느 것이 손 떨림에 의한 움직임 벡터인지 판단하는데 있어 어려움을 갖게 된다.
도 4는 본 발명에 따른 영상 촬상 장치의 전체 블록도이다.
도 4의 영상 촬상 장치는 촬영 렌즈부(410), 포커스 측정부(420), 이미지 센서부(430), 디지털 이미지 안정화부(440), 제어부(450), 조작부(460)로 구성된다.
촬영 렌즈부(410)는 광학 렌즈 모듈을 이용하여 촬영하고자 하는 피사체상 을 이미지 센서부(430)의 입사면상에 결상시킨다.
이미지 센서부(430)는 CCD 또는 CMOS 타입이 있으며, 입사면상에 결상되는 피사체상을 촬상하여 해당 아날로그 RGB 신호를 출력한다.
조작부(460)는 오퍼레이터로부터 기능 선택 및 동작 제어에 관련된 조작 명령을 입력받는다. 특히, 조작부(460)는 조작자의 줌 변환 명령을 받아 제어부(460)에 인가한다.
포커스 측정부(420)는 주지의 기술을 이용하여 촬상된 영상의 영역들중에서 포커스된 위치를 측정하여 제어부(420)로 인가한다. 예를 들면, 포커스 측정부(420)는 주지의 촬상된 영상의 고주파 성분을 체크하여 포커스 정보를 판단한다.
제어부(450)는 조작부(460)를 통해 조작자의 줌 변환 정보를 수신하여 촬영 렌즈부(410)의 줌 배율 및 포커스를 조정하고, 포커스 측정부(420)로부터 포커스 정보를 수신한다. 일실시예로 제어부(450)는 특정 피사체를 촬영하여 광학 줌을 조작 했을 때 조작자가 얼마 만큼의 줌 배율이 적용되었는지를 디지털 이미지 안정화부(440)에 전해주게 된다. 그리고 제어부(450)는 영상에서 어느 위치에 포커스가 맞았는지를 디지털 이미지 안정화부(440)에 전해주게 된다.
디지털 이미지 안정화부(440)는 이미지 센서부(430)에서 입력되는 손 떨림 영상으로부터 전역 움직임 벡터들을 검출하고, 그 전역 움직임 벡터를 누적하여 안정화된 영상을 얻는다. 특히 디지털 이미지 안정화부(440)는 제어부(450)의 줌 배율 및 포커스 정보에 따라 블록 단위 움직임 벡터의 가중을 결정하고, 그 블록 단위 움직임 벡터의 가중에 근거하여 손 떨림에 의한 전역 움직임을 추출한다.
도 5는 도 4의 디지털 이미지 안정화부(440)의 상세도이다.
도 5의 디지털 이미지 안정화부는 블록 가중치 설정부(510), 블록 구획부(520), 움직임 추정부(530), 전역 움직임 검출부(540), 움직임 벡터 누적부(550), 손떨림 보정부(560)로 구성된다.
블록 가중치 설정부(510)는 포커스 정보 및 줌 배율 정보를 이용하여 블록 또는 영역 별로 서로 다른 움직임 벡터에 대한 가중치를 결정한다. 즉, 블록 가중치 설정부(510)는 포커스 정보에 의존적으로 미리 설정된 움직임 벡터의 가중 함수를 결정하고, 이어서 줌 배율 정보에 의존적으로 움직임 벡터의 가중 함수의 기울기를 변화시킨다. 이때 움직임 벡터의 가중 함수는 1차원 선형 함수 또는 2차원 선형 함수로 설정할 수 있다. 또한 줌 배율 또는 포커스 정보에 따른 블록별 움직임 벡터에 대한 가중치는 룩 - 업 테이블(look-up table)로 미리 저장될 수 있다. 또한 블록별로 움직임 벡터에 대한 가중치 연산은 여러 실시예가 있을 수 있다.
블록 구획부(520)는 촬상된 영상 신호를 일정 단위의 블록 또는 영역으로 분할한다.
움직임 추정부(530)는 블록 정합 알고리듬을 이용하여 블록 구획부(520)에서 분할된 블록들 각각에 대해 움직임 벡터를 추정한다. 예를 들면, 움직임 추정부(530)는 인접한 프레임간의 시간적 상관성을 이용하여 참조 프레임(이전 프레임)의 블록과 현재 프레임의 블록간의 차를 계산하여 각 블록별로 움직임 벡터를 추정한다.
전역 움직임 검출부(540)는 시간 방향으로 흔들림이 발생한 영상을 교정하 기 위해 영상의 전역 움직임을 탐색한다. 따라서 전역 움직임 검출부(540)는 움직임 추정부(530)에서 추정된 각 블록별 움직임 벡터에 블록 가중치 설정부(510)에서 결정된 블록 단위의 움직임 벡터에 대한 가중치를 적용하여 손떨림에 의한 전역 움직임 벡터를 검출한다.
움직임 누적부(550)는 전역 움직임 검출부(540)에서 검출된 전역 움직임 벡터를 누적한다.
손떨림 보정부(560)는 움직임 누적부(550)에서 누적된 전역 움직임 벡터를 이용하여 손 떨림을 보상하기 위해 프레임의 위치를 보정한다.
도 6은 본 발명에 따른 줌 배율에 따른 블록 단위의 움직임 벡터에 대한 가중 함수를 도시한 것이다.
도 6을 참조하면, x좌표는 x방향의 영상 공간 위치이고, y좌표는 움직임 벡터의 가중치이다. 603은 줌 배율이 없거나 작을 때 움직임 벡터의 가중함수이며, 604, 605, 606, 607은 줌 배율이 각각 1배, 3배, 8배, 10배에 해당하는 움직임 벡터 가중함수이다. 줌 배율이 1배, 3배, 8배, 10배로 커짐에 따라 피사체 움직임에 의한 영향을 줄이기 위하여 블록 단위의 영상에 설정되는 움직임 벡터의 가중 함수도 변화한다. 따라서 도 6에 도시된 바와 같이 줌 배율에 따라 블록 별로 서로 다른 움직임 벡터에 대한 가중치를 결정함으로써 줌 정보에 따른 움직임 추정을 적응적으로 수행할 수 있다. 이때 줌 배율에 따라 서로 다른 움직임 벡터에 대한 가중치는 룩 - 업 테이블(look-up table)로 저장된다.
도 7a 및 7b는 본 발명에 따른 포커스 정보에 따른 움직임 벡터에 대한 가중 함수의 변화를 나타낸 그림이다.
도 7a 및 7b는 포커스가 맞추어진 영역에서 찾은 움직임 벡터에 큰 가중을 설정하게 되는 일 실시예를 도시한 것이다. 포커스 정보에 따라 서로 다른 움직임 벡터에 대한 가중치는 룩 - 업 테이블(look-up table)로 저장된다.
도 7a를 참조하면, 701은 영상의 전체 영역을 나타내고, 702는 영상에서 포커스가 맞추어진 영역을 나타낸다. 따라서 영상 촬상 장치는 특정 피사체를 촬영했을 때 포커스가 맞추어진 중간 영역에서 찾은 움직임 벡터에 더 큰 가중치를 두는 가중 함수(704)를 선택하게 된다.
따라서 영상에서 피사체 영상을 검출하여 피사체와 배경의 움직임 벡터에 대한 가중치를 결정한다.
도 7b를 참조하면, 706은 영상의 전체 영역을 나타내고, 705는 영상에서 포커스가 맞추어진 영역을 나타낸다. 따라서 영상 촬상 장치는 특정 피사체를 촬영했을 때 포커스가 맞추어진 외곽 영역에서 찾은 움직임 벡터에 더 큰 가중치를 두는 가중 함수(708)를 선택하게 된다.
따라서 손 떨림에 의한 움직임 정보가 많은 영상의 외곽 지역은 줌 배율이 높아질 때 상대적으로 높게 설정됨으로써 전체 영상에서 피사체가 차지하는 비율이 커진다 하더라도 손 떨림에 의한 전역 움직임 벡터를 정확하게 추정할 수 있게 된다.
도 8은 본 발명에 따른 손떨림에 의한 움직임 추정 방법을 보이는 흐름도이다.
먼저, 특정 피사체를 촬영하여 광학 줌을 조작 했을 때 조작자가 조작한 줌 배율 정보를 추출한다(810 과정).
그리고 영상에서 어느 위치에 포커스가 맞았는지를 알려주는 포커스 정보를 추출한다(820 과정).
이어서, 포커스 정보 및 줌 배율 정보를 이용하여 영상의 블록 또는 영역 별로 서로 다른 움직임 벡터에 대한 가중치를 결정한다(830 과정). 이때 벡터의 크기 변화는 주움 배율에 의존해야 한다. 그리고 포커스가 맞는 위치에서의 움직임 벡터를 채용해야 한다.
따라서 촬영된 영상에서 움직임 벡터를 적용하기 위한 일 실시예로, 포커스 정보에 의존적으로 미리 설정된 움직임 벡터의 가중 함수를 결정하고, 이어서 줌 배율 정보에 의존적으로 움직임 벡터의 가중 함수의 기울기를 변화시킨다.
한편 촬상된 영상이 입력되면(840 과정) 그 영상을 일정 크기의 블록 또는 영역으로 분할한다(850).
이어서, 블록 매칭 알고리듬을 이용하여 분할된 블록들 각각에 대해 움직임 벡터를 추정한다(860 과정). 프레임 매칭 알고리듬은 현재 영상과 이전 영상을 일정 크기의 작은 블록으로 나누고 각각의 블록에 대해 움직임을 예측하여 움직임 벡터를 얻는다.
이어서, 추정된 각 블록별 움직임 벡터에 블록별로 서로 다른 움직임 벡터에 대한 가중치를 부여하여 전역 움직임을 검출한다(870 과정). 예를 들면, 가중치가 부여된 블록별 움직임 벡터들의 빈도수를 이용하여 히스토그램을 작성하고, 그 히 스토그램에서 빈도수가 가장 큰 움직임 벡터를 전역 움직임 벡터로 추정한다.
이어서, 전역 움직임 벡터를 누적하여 프레임 위치를 조정함으로써 영상의 손떨림을 보정한다(890 과정).
본 발명은 상술한 실시예에 한정되지 않으며, 본 발명의 사상내에서 당업자에 의한 변형이 가능함은 물론이다.
또한 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드디스크, 플로피디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
도 1a 및 도 1b는 줌 배율의 변화에 따라 촬영된 영상 화면을 도시한 것이다.
도 2는 통상적인 촬상 이미지 정보를 설명하기 위한 3D 세계(World) 좌표계를 도시한 것이다.
도 3a는 촬상 장치에서 촬영시 손떨림이 발생하였을 때 움직임 벡터의 빈도수를 나타내는 그래프이다.
도 3b는 촬상 장치에서 줌 배율을 크게 설정했을 때 움직임 벡터의 빈도수를 나타내는 그래프이다.
도 4는 본 발명에 따른 영상 촬상 장치의 블록도이다.
도 5는 도 4의 디지털 이미지 안정화부의 상세도이다.
도 6은 본 발명에 따른 줌 배율에 따른 블록 단위의 움직임 벡터에 대한 가중 함수를 도시한 것이다.
도 7a 및 7b는 본 발명에 따른 포커스 정보에 따른 움직임 벡터에 대한 가중 함수의 변화를 나타낸 그림이다.
도 8은 본 발명에 따른 손떨림에 의한 움직임 추정 방법을 보이는 흐름도이다.
Claims (15)
- 영상 촬상 장치의 움직임 추정 방법에 있어서,포커스 정보 및 줌 배율 정보에 의존적으로 블록 단위의 움직임 벡터에 대한 가중치를 결정하는 과정;촬상된 영상을 복수개 블록들로 나누고 각각의 블록에 대해 움직임 벡터를 예측하는 과정;상기 예측된 블록 단위의 움직임 벡터들에 상기 결정된 블록 단위의 움직임 벡터에 대한 가중치를 적용하여 전역 움직임을 추정하는 과정을 포함하며,상기 움직임 벡터에 대한 가중치를 결정하는 과정은,상기 포커스 정보에 의존적으로 움직임 벡터의 가중 함수를 결정하고,상기 줌 배율 정보에 의존적으로 상기 움직임 벡터의 가중 함수의 기울기를 변화시키는 것임을 특징으로 하는 영상 촬상 장치의 움직임 추정 방법.
- 삭제
- 제1항에 있어서, 상기 움직임 벡터의 가중 함수는 1차원함수 또는 2차원 함수로 설정하는 것임을 특징으로 하는 영상 촬상 장치의 움직임 추정 방법.
- 제1항에 있어서, 상기 움직임 벡터에 대한 가중치 설정 과정은상기 포커스가 맞추어진 영역에서 찾은 움직임 벡터에 더 큰 가중치를 두는 것을 특징으로 하는 영상 촬상 장치의 움직임 추정 방법.
- 제1항에 있어서, 상기 움직임 벡터에 대한 가중치 설정 과정은영상에서 피사체 영역을 검출하여 피사체와 배경의 가중치를 결정하는 것임을 특징으로 하는 영상 촬상 장치의 움직임 추정 방법.
- 제1항에 있어서, 상기 줌 배율에 따라 상기 블록별로 서로 다른 움직임 벡터에 대한 가중치를 설정하는 것을 특징으로 하는 영상 촬상 장치의 움직임 추정 방법.
- 제1항에 있어서, 상기 포커스 정보에 따라 상기 블록별로 서로 다른 움직임 벡터에 대한 가중치를 설정하는 것을 특징으로 하는 영상 촬상 장치의 움직임 추정 방법.
- 제1항에 있어서, 상기 전역 움직임 추정 과정은상기 가중치가 부여된 블록별 움직임 벡터들의 빈도수를 계산하고,그 빈도수가 가장 큰 움직임 벡터를 전역 움직임 벡터로 추정하는 과정임을 특징으로 하는 영상 촬상 장치의 움직임 추정 방법.
- 제1항에 있어서, 상기 줌 배율에 따라 서로 다른 움직임 벡터에 대한 가중치를 룩 -업 테이블로 저장하는 것을 특징으로 하는 영상 촬상 장치의 움직임 추정 방법.
- 제1항에 있어서, 상기 포커스 정보에 따라 서로 다른 움직임 벡터에 대한 가중치를 룩 -업 테이블로 저장하는 것을 특징으로 하는 영상 촬상 장치의 움직임 추정 방법.
- 영상 촬상 기기의 움직임 추정 장치에 있어서,포커스 정보 및 줌 배율 정보에 따라 블록별로 서로 다른 움직임 벡터에 대한 가중치를 결정하는 블록 가중치 설정부;촬영된 영상내 분할된 블록들 각각에 대해 움직임 벡터를 추정하는 움직임 추정부;상기 움직임 추정부에서 추정된 블록 단위의 움직임 벡터들에 상기 결정된 블록 단위의 움직임 벡터에 대한 가중치를 적용하여 전역 움직임을 추정하는 전역 움직임 추정부를 포함하며,상기 블록 가중치 설정부는,포커스 정보에 의존적으로 움직임 벡터의 가중 함수를 결정하고,상기 줌 배율 정보에 의존적으로 상기 움직임 벡터의 가중 함수의 기울기를 변화시키는 것임을 특징으로 하는 움직임 추정 장치.
- 제11항에 있어서, 상기 블록 가중치 설정부는줌 배율 및 포커스 정보에 따라 블록별로 서로 다른 움직임 벡터에 대한 가중치를 저장한 룩 -업 테이블을 구비하는 것을 특징으로 하는 움직임 추정 장치.
- 삭제
- 영상 촬상 장치에 있어서,이미지 신호를 생성하는 이미지 센서부;조작자의 줌 변환 정보를 수신하여 광 렌즈 모듈의 줌 배율 및 포커스를 조정하는 제어부;상기 제어부의 줌 배율 및 포커스 정보에 따라 블록 단위 움직임 벡터의 가중을 결정하고, 블록 단위 움직임 벡터의 가중에 근거하여 상기 센서부에서 생성된 이미지 신호의 전역 움직임을 추출하는 이미지 안정화부를 포함하며,상기 이미지 안정화부는포커스 정보 및 줌 배율 정보에 따라 블록별로 서로 다른 움직임 벡터에 대한 가중치를 결정하는 블록 가중치 설정부;촬영된 영상내 분할된 블록들 각각에 대해 움직임 벡터를 추정하는 움직임 추정부;상기 움직임 추정부에서 추정된 블록 단위의 움직임 벡터들에 상기 결정된 블록 단위의 움직임 벡터에 대한 가중치를 적용하여 전역 움직임을 추정하는 전역 움직임 추정부;상기 움직임 누적부에서 누적된 전역 움직임 벡터를 바탕으로 손 떨림을 보상하는 손떨림 보정부를 구비하는 것을 특징으로 하는 영상 촬상 장치.
- 삭제
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070083449A KR101392732B1 (ko) | 2007-08-20 | 2007-08-20 | 손떨림에 의한 움직임 추정 장치 및 방법, 그를 이용한영상 촬상 장치 |
US12/045,837 US8035690B2 (en) | 2007-08-20 | 2008-03-11 | Apparatus and method for estimating motion due to hand trembling and image pickup device using the same |
RU2010106087/09A RU2433563C1 (ru) | 2007-08-20 | 2008-03-14 | Устройство и способ для оценки перемещения вследствие дрожания рук и использующее их устройство получения изображений |
CN2008800222692A CN101690236B (zh) | 2007-08-20 | 2008-03-14 | 用于估计由手抖引起的运动的设备和方法及图像拾取装置 |
PCT/KR2008/001436 WO2009025434A1 (en) | 2007-08-20 | 2008-03-14 | Apparatus and method for estimating motion due to hand trembling and image pickup device using the same |
EP08153979A EP2028840B1 (en) | 2007-08-20 | 2008-04-02 | Apparatus and method for estimating motion due to hand trembling and image pickup device using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070083449A KR101392732B1 (ko) | 2007-08-20 | 2007-08-20 | 손떨림에 의한 움직임 추정 장치 및 방법, 그를 이용한영상 촬상 장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20090019197A KR20090019197A (ko) | 2009-02-25 |
KR101392732B1 true KR101392732B1 (ko) | 2014-05-08 |
Family
ID=40016127
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020070083449A KR101392732B1 (ko) | 2007-08-20 | 2007-08-20 | 손떨림에 의한 움직임 추정 장치 및 방법, 그를 이용한영상 촬상 장치 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8035690B2 (ko) |
EP (1) | EP2028840B1 (ko) |
KR (1) | KR101392732B1 (ko) |
CN (1) | CN101690236B (ko) |
RU (1) | RU2433563C1 (ko) |
WO (1) | WO2009025434A1 (ko) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5298899B2 (ja) * | 2009-02-03 | 2013-09-25 | 株式会社Jvcケンウッド | 画像補正処理装置および画像補正処理方法 |
JP5740844B2 (ja) * | 2009-11-24 | 2015-07-01 | 株式会社リコー | 撮像装置、画像処理方法、及び、コンピュータプログラム |
KR20110068635A (ko) * | 2009-12-16 | 2011-06-22 | 삼성전자주식회사 | 디지털 영상 처리 장치, 그 제어 방법 및 컴퓨터 판독가능 저장매체 |
CN102118559B (zh) * | 2009-12-30 | 2012-10-03 | 华晶科技股份有限公司 | 利用移动侦测调整数字相机的拍摄条件的方法 |
US8896715B2 (en) | 2010-02-11 | 2014-11-25 | Microsoft Corporation | Generic platform video image stabilization |
KR101630688B1 (ko) | 2010-02-17 | 2016-06-16 | 삼성전자주식회사 | 움직임 예측 장치 및 방법과 영상 처리 장치 |
KR101710624B1 (ko) | 2010-07-27 | 2017-02-27 | 삼성전자주식회사 | 객체의 모션 벡터를 이용하여 자동 촬영 기능을 수행하는 디지털 영상 촬영 방법, 디지털 영상 촬영 장치 및 상기 방법을 기록한 기록 매체 |
JP5759162B2 (ja) * | 2010-12-16 | 2015-08-05 | キヤノン株式会社 | 動きベクトル検出装置、動きベクトル検出方法及び補正装置及びプログラム |
US8711248B2 (en) | 2011-02-25 | 2014-04-29 | Microsoft Corporation | Global alignment for high-dynamic range image generation |
JP5864880B2 (ja) * | 2011-04-07 | 2016-02-17 | オリンパス株式会社 | 内視鏡装置及び内視鏡装置の作動方法 |
US9824426B2 (en) | 2011-08-01 | 2017-11-21 | Microsoft Technology Licensing, Llc | Reduced latency video stabilization |
KR101348855B1 (ko) * | 2012-10-30 | 2014-01-16 | 성균관대학교산학협력단 | 모션 센서를 이용한 탐색 영역을 감축하는 실시간 영상 안정화 방법, 장치 및 촬상 장치 |
US9374532B2 (en) * | 2013-03-15 | 2016-06-21 | Google Inc. | Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization |
CN104580907B (zh) * | 2014-12-31 | 2018-11-23 | 广东欧珀移动通信有限公司 | 一种防抖的拍照方法及装置 |
JP6086619B2 (ja) * | 2015-03-27 | 2017-03-01 | 株式会社日立国際電気 | 符号化装置および符号化方法 |
CN105578061A (zh) * | 2016-02-25 | 2016-05-11 | 广东欧珀移动通信有限公司 | 一种拍照防抖的方法、装置及移动终端 |
JP2022120683A (ja) * | 2021-02-05 | 2022-08-18 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム、記憶媒体 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006287814A (ja) * | 2005-04-04 | 2006-10-19 | Fuji Photo Film Co Ltd | 撮像装置及び動きベクトル決定方法 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0682449B1 (en) * | 1988-09-09 | 2003-01-02 | Canon Kabushiki Kaisha | Automatic image stabilization device |
KR100319034B1 (ko) | 1993-06-29 | 2002-03-21 | 다카노 야스아키 | 손흔들림보정장치를가진비디오카메라 |
US6734901B1 (en) * | 1997-05-20 | 2004-05-11 | Canon Kabushiki Kaisha | Vibration correction apparatus |
CN1164121C (zh) | 1999-09-21 | 2004-08-25 | 皇家菲利浦电子有限公司 | 综合运动估值的方法 |
RU2197070C2 (ru) | 2000-07-31 | 2003-01-20 | Государственное унитарное предприятие "Конструкторское бюро приборостроения" | Способ стабилизации изображения и устройство, его реализующее |
US7050500B2 (en) | 2001-08-23 | 2006-05-23 | Sharp Laboratories Of America, Inc. | Method and apparatus for motion vector coding with global motion parameters |
AU2002335713B2 (en) | 2001-09-07 | 2008-08-28 | Intergraph Software Technologies Company | Concealed object recognition |
US7321626B2 (en) | 2002-03-08 | 2008-01-22 | Sharp Laboratories Of America, Inc. | System and method for predictive motion estimation using a global motion predictor |
EP1376471A1 (en) | 2002-06-19 | 2004-01-02 | STMicroelectronics S.r.l. | Motion estimation for stabilization of an image sequence |
EP1377040A1 (en) * | 2002-06-19 | 2004-01-02 | STMicroelectronics S.r.l. | Method of stabilizing an image sequence |
WO2004062270A1 (ja) * | 2002-12-26 | 2004-07-22 | Mitsubishi Denki Kabushiki Kaisha | 画像処理装置 |
JP4010254B2 (ja) | 2003-02-06 | 2007-11-21 | ソニー株式会社 | 画像記録再生装置、画像撮影装置及び色収差補正方法 |
JP4427551B2 (ja) | 2003-12-23 | 2010-03-10 | エヌエックスピー ビー ヴィ | ビデオデータを安定させるための方法及びシステム |
JP4404822B2 (ja) * | 2004-08-31 | 2010-01-27 | 三洋電機株式会社 | 手ぶれ補正装置および撮像機器 |
JP4636887B2 (ja) * | 2005-01-11 | 2011-02-23 | キヤノン株式会社 | 光学機器 |
JP2007033543A (ja) * | 2005-07-22 | 2007-02-08 | Fujifilm Holdings Corp | 撮影装置 |
US8134603B2 (en) * | 2005-08-12 | 2012-03-13 | Nxp B.V. | Method and system for digital image stabilization |
CN100551057C (zh) | 2005-12-29 | 2009-10-14 | 北京中星微电子有限公司 | 一种基于动态图像实现视频编码防抖的方法及编码器 |
JP4655957B2 (ja) * | 2006-02-20 | 2011-03-23 | ソニー株式会社 | 撮像画像の歪み補正方法、撮像画像の歪み補正装置、撮像方法および撮像装置 |
-
2007
- 2007-08-20 KR KR1020070083449A patent/KR101392732B1/ko active IP Right Grant
-
2008
- 2008-03-11 US US12/045,837 patent/US8035690B2/en active Active
- 2008-03-14 WO PCT/KR2008/001436 patent/WO2009025434A1/en active Application Filing
- 2008-03-14 CN CN2008800222692A patent/CN101690236B/zh not_active Expired - Fee Related
- 2008-03-14 RU RU2010106087/09A patent/RU2433563C1/ru not_active IP Right Cessation
- 2008-04-02 EP EP08153979A patent/EP2028840B1/en not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006287814A (ja) * | 2005-04-04 | 2006-10-19 | Fuji Photo Film Co Ltd | 撮像装置及び動きベクトル決定方法 |
Also Published As
Publication number | Publication date |
---|---|
US20090051777A1 (en) | 2009-02-26 |
EP2028840A3 (en) | 2010-10-13 |
KR20090019197A (ko) | 2009-02-25 |
RU2433563C1 (ru) | 2011-11-10 |
EP2028840B1 (en) | 2011-12-14 |
US8035690B2 (en) | 2011-10-11 |
WO2009025434A1 (en) | 2009-02-26 |
CN101690236B (zh) | 2013-05-15 |
CN101690236A (zh) | 2010-03-31 |
EP2028840A2 (en) | 2009-02-25 |
RU2010106087A (ru) | 2011-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101392732B1 (ko) | 손떨림에 의한 움직임 추정 장치 및 방법, 그를 이용한영상 촬상 장치 | |
US7557832B2 (en) | Method and apparatus for electronically stabilizing digital images | |
US8004570B2 (en) | Image processing apparatus, image-pickup apparatus, and image processing method | |
US9092875B2 (en) | Motion estimation apparatus, depth estimation apparatus, and motion estimation method | |
US9055217B2 (en) | Image compositing apparatus, image compositing method and program recording device | |
KR20130112036A (ko) | 얼굴 검출 및 트래킹을 기반으로 하는 연속 자동초점 | |
JP2016046666A (ja) | 撮像装置およびその制御方法、並びにプログラム | |
KR101830077B1 (ko) | 화상처리장치, 그 제어 방법 및 기억매체 | |
US20060029377A1 (en) | System and method for image capture device | |
CN106973215B (zh) | 移动检测装置以及移动检测方法 | |
KR101393560B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 기록 매체 | |
CN107018311B (zh) | 移动信息取得装置、移动信息取得方法以及记录介质 | |
KR101597823B1 (ko) | 움직임 보상 장치 | |
JP5968379B2 (ja) | 画像処理装置およびその制御方法 | |
JP2021111929A (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
CN106454066B (zh) | 图像处理设备及其控制方法 | |
JP2022099120A (ja) | 被写体追尾装置およびその制御方法 | |
Kao et al. | An overview of image/video stabilization techniques | |
US20220222777A1 (en) | Image processing device, image processing method, and image processing program | |
JP7204855B2 (ja) | 像振れ補正装置およびその制御方法、撮像装置 | |
JP2019149717A (ja) | 画像処理装置及び画像処理方法、撮像装置、プログラム、記憶媒体 | |
JP2019083407A (ja) | 像振れ補正装置およびその制御方法、撮像装置 | |
JP5610967B2 (ja) | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム | |
JP2021044653A (ja) | 動きベクトル検出装置及び動きベクトル検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20170330 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20180329 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20190328 Year of fee payment: 6 |