KR100920559B1 - 카메라-흔들림 보정 기능을 갖는 동영상 재생장치 및 기록 매체 - Google Patents
카메라-흔들림 보정 기능을 갖는 동영상 재생장치 및 기록 매체 Download PDFInfo
- Publication number
- KR100920559B1 KR100920559B1 KR1020077023301A KR20077023301A KR100920559B1 KR 100920559 B1 KR100920559 B1 KR 100920559B1 KR 1020077023301 A KR1020077023301 A KR 1020077023301A KR 20077023301 A KR20077023301 A KR 20077023301A KR 100920559 B1 KR100920559 B1 KR 100920559B1
- Authority
- KR
- South Korea
- Prior art keywords
- blurring
- blurring correction
- moving picture
- correction
- frame
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
- G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
동영상을 촬영시 블러링 보정이 실행되는 경우, 디지털 카메라(1)는 촬상된 프레임에 블러링 보정을 실행하고, 그 프레임을 연속적으로 기록한다. 동영상 파일의 생성시에는, 디지털 카메라(1)는 블러링 보정이 실행되었음을 지시하는 정보를 파일의 헤더에 기록하고, 그로 인하여, 동영상 재생시에 블러링 보정이 다시 실행되는 것을 방지한다. 동영상 촬영시에 블러링 검출만이 실행된 경우에는, 디지털 카메라(1)는 프레임 내의 블러링을 검출하고, 프레임 내의 검출된 블러링 양을 그 프레임과 상관시켜 기록한다. 또한, 동영상 파일을 생성시에, 디지털 카메라(1)는 블러링 검출이 실행되었음을 지시하는 정보를 파일의 헤더에 기록한다.
디지털 카메라, 동영상 재생 장치, 블러링 검출, 블러링 보정, 블러링 검출 수단, 판단 수단
Description
본 출원은 2006년 2월 3일자로 선출원된 일본 특허출원 제 2006-027567호를 기초로 우선권의 이익을 청구한다.
본 발명은 카메라-흔들림 보정 기능을 갖는 동영상 재생 장치 및 그 제어 방법에 관한 것이다.
예를 들면, 종래의 디지털 카메라에서는, 카메라-흔들림(손 흔들림 및 다른 유사한 상황을 포함)이 다음과 같은 처리로 보정된다. 먼저, 디지털 카메라는 동영상 촬영시에 자이로 센서를 사용하여 카메라-흔들림의 양을 검출한다. 동영상의 재생시에는 대표점 매칭법이나 블록 매칭법을 사용하여 영상 데이터의 블러링의 양(움직임 벡터)을 검출한다. 이러한 검출된 블러링 양에 기초하여 영상에 트리밍을 가함으로써 카메라-흔들림을 보정한다.
또한, 다음과 같은 기술도 구현되고 있다. 즉, 동영상의 촬영 기록시에는 영상의 일부가 손실되는 카메라-흔들림 보정을 실시하지 않고 기록한 후, 동영상 재생시에 사용자가 카메라-흔들림 보정을 실행할 것인지를 선택하도록 하는 것이다. 카메라-흔들림이 보정되는 경우에는, 기록된 동영상 데이터 상에 카메라-흔들림 보 정이 실행되며 그 동영상이 표시된다. 그 결과, 기록 동안 찰영된 동영상의 일부가 소실되는 일 없이, 본래의 영상에 충실한 동영상이 기록될 수 있다(공개 특허 공보 제06-6669호 참조).
그러나, 영상 처리에 의해 카메라-흔들림 양을 검출하는 경우, 필요한 연산량이 크며 소비 전력 또한 크다. 따라서, 촬영시에 카메라-흔들림 보정이 이미 가해진 동영상이나, 원래 카메라-흔들림이 없는 동영상에 대하여 다시 카메라-흔들림 보정을 실시할 경우, 불필요한 전력이 소비되며, 배터리가 빨리 소모해 버리는 문제가 있다.
본 발명은 상술한 관점에서 도출되었다.
본 발명의 일 실시예에 따라, 본 발명의 일 실시예에 따른 동영상 재생 장치는: 기록된 동영상 데이터를 재생하고 표시하는 동영상 재생 수단; 상기 기록된 동영상 데이터에 블러링 보정을 실행하는 제 1 블러링 보정 수단; 상기 제 1 블러링 보정 수단에 의해 블러링 보정의 실행이 필요한 상태에서, 상기 동영상 재생 수단에 의해 재생될 동영상 데이터가 기록되는지를 판단하는 제 1 판단 수단; 및 상기 제 1 판단 수단이 블러링 보정이 필요한 상태에서 동영상 데이터가 기록되는 것으로 판단하는 경우에, 상기 동영상 재생 수단에 의해 재생될 동영상 데이터가 재생될 때, 상기 제 1 블러링 보정 수단이 블러링 보정을 실행하는 동안, 동영상 데이터를 재생 및 표시하는 재생 제어 수단을 포함하는 것을 특징으로 한다.
또한, 상기 기록된 동영상 데이터의 프레임 내의 블러링 양을 검출하는 제 1 검출 수단을 포함하며, 상기 제 1 블러링 보정 수단은, 상기 제 1 검출 수단에 의해 검출된 프레임 내의 블러링 양에 기초하여, 프레임에 블러링 보정을 실행하는 것을 특징으로 할 수 있다.
블러링 양을 나타내는 데이터가 상기 기록된 동영상 데이터의 프레임과 상관시켜 기록된 것인지를 판단하는 제 2 판단 수단;을 더 포함하고, 상기 제 2 판단 수단이 상기 블러링 양을 나타내는 데이터가 상기 프레임과 상관시켜 기록된 것으로 판단하는 경우에, 상기 제 1 블러링 보정 수단은, 상기 제 1 검출 수단이 프레임 내의 블러링 양을 검출하지 못하도록 하며, 상기 상관시켜 기록된 블러링 양을 나타내는 데이터에 기초하여 상기 프레임에 블러링 보정을 실행하는 것을 특징으로 할 수 있다.
제 1 판단 수단은, 블러링 보정이 미리 실행된 동영상 데이터의 경우에는 블러링 보정이 필요하지 않은 것으로 판단하는 것을 특징으로 할 수 있다.
제 1 판단 수단이 블러링 보정의 실행이 필요하지 않은 것으로 판단하는 경우에, 상기 재생 제어 수단은, 동영상 데이터의 재생 동안, 상기 제 1 블러링 보정 수단에 의한 블러링 보정의 실행 없이 동영상 데이터를 재생 및 표시하는 것을 특징으로 할 수 있다.
제 1 블러링 보정 수단을 사용하여 상기 재생 제어 수단에 의해 블러링 보정이 실행된 동영상 데이터를 기록 수단에 기록하고, 블러링 보정이 실행되었음을 지시하는 정보를 상기 동영상 데이터에 첨부하는 기록 제어 수단을 포함하고; 상기 제 1 판단 수단은, 블러링 보정이 실행되었음을 지시하는 정보가 동영상 데이터에 첨부되지 않은 경우에, 블러링 보정이 실행될 필요가 있는 것으로 판단하는 것을 특징으로 할 수 있다.
제 1 판단 수단은, 상기 동영상 재생 수단에 의해 재생될 동영상 데이터에서 디스플레이 되어질 프레임 내의 블러링 양에 기초하여, 블러링 보정이 실행될 필요가 있는지를 판단하는 것을 특징으로 할 수 있다.
제 1 판단 수단은, 표시될 프레임 내의 블러링 양에 기초하여, 프레임의 블러링 보정이 필요한지를 판단하고, 그리고 상기 제 1 판단 수단이 블러링 보정이 필요한 것으로 판단하는 경우, 상기 재생 제어 수단은 상기 블러링 보정 수단을 사용하여 블러링 보정을 실행하고, 프레임을 재생 및 표시하며, 블러링 보정이 필요하지 않은 것으로 판단하는 경우에는, 상기 블러링 보정 수단에 의한 블러링 보정의 실행 없이 프레임을 재생 및 표시하는 것을 특징으로 할 수 있다.
제 1 판단 수단은 재생되어 지는 복수의 프레임들의 블러링 양의 최소, 최대, 평균 또는 전체 중 어느 하나를 사용하여 블러링 보정이 필요한 지를 판단하는 것을 특징으로 할 수 있다.
또한, 피사체를 연속적으로 촬상하고, 촬상된 영상을 동영상 데이터로서 기록하는 동영상 촬상·기록 수단; 상기 동영상 촬상·기록 수단에 의해 촬상된 동영상의 프레임 내의 블러링 양을 검출하는 제 2 검출 수단; 상기 제 2 검출 수단에 의해 검출된 블러링 양에 기초하여, 프레임 내의 블러링을 보정하는 제 2 블러링 보정 수단; 상기 동영상 촬상·기록 수단이 동영상을 기록할 때, 블러링 보정이 실행되는지를 판단하는 제 3 판단 수단; 및 상기 제 3 판단 수단이 블러링 보정이 실행되는 것으로 판단하는 경우, 촬상된 동영상 데이터를 기록하는 동시에 상기 제 2 검출 수단은 블러링 검출을 실행하고 상기 제 2 블러링 보정 수단은 블러링 보정을 실행하기 위한 제어 및, 블러링 보정이 실행되지 않는 것으로 판단되는 경우에는, 동영상이 기록될 때 상기 블러링 보정 수단에 의한 블러링 보정의 실행 없이 촬상된 동영상 데이터를 기록하기 위한 제어를 실행하는 기록 제어 수단을 더 포함하는 것을 특징으로 할 수 있다.
제 3 판단 수단은, 상기 동영상 촬상·기록 수단이 동영상을 기록할 때 블러링 보정의 실행 없이 블러링 검출만을 실행하는지를 더 판단하는 수단을 포함하고; 그리고 상기 제 3 판단 수단이 블러링 보정의 실행 없이 블러링 검출만이 실행되는 것으로 판단하는 경우, 상기 기록 제어 수단은, 동영상이 기록될 때 상기 제 2 검출 수단을 사용하여 블러링 검출만을 실행하고, 검출된 프레임 내에 블러링 양을 나타내는 데이터와 상관시켜, 상기 블러링 양을 기록하는 것을 특징으로 할 수 있다.
기록 제어 수단은, 상기 제 2 블러링 보정 수단에 의해 블러링 보정이 실행된 동영상 데이터가 기록될 때, 블러링 보정이 실행되었음을 지시하는 정보를 상기 동영상 데이터에 첨부하고; 그리고 상기 제 1 판단 수단은, 블러링 보정이 실행되었음을 지시하는 정보가 동영상 데이터에 첨부되어 있지 않은 경우, 블러링 보정이 실행될 필요가 있는 것으로 판단하는 것을 특징으로 할 수 있다.
기록 제어 수단은, 상기 제 2 블러링 보정 수단에 의해 블러링 보정이 실행되지 않은 동영상 데이터가 기록될 때, 블러링 보정이 실행되지 않았음을 지시하는 정보를 상기 동영상 데이터에 첨부하여 기록하고; 그리고 상기 제 1 판단 수단은, 블러링 보정이 실행되지 않았음을 지시하는 정보가 동영상 데이터에 첨부되지 않은 경우, 블러링 보정이 실행될 필요가 있다고 판단하는 것을 특징으로 할 수 있다.
제 1 블러링 보정 수단과 제 2 블러링 보정 수단 중 적어도 하나는, 프레임 내의 블러링 양에 기초하여 트리밍된 영상 데이터를 생성함으로써 블러링 보정을 실행하는 것을 특징으로 할 수 있다.
제 1 검출 수단과 제 2 검출 수단 중 적어도 어느 하나는 상기 동영상 데이터에서 추출되어 지거나, 상기 동영상 데이터에서 각각 일정한 간격으로 추출되어지거나, 상기 동영상 데이터의 시작부분에서 추출되어진 복수의 프레임들의 영상 데이터를 기초로 한 프레임에서 상기 블러링 양을 검출하는 것을 특징으로 할 수 있다.
사용자가 트리밍될 트리밍 영역을 지정하도록 하는 지정 수단을 포함하고;
상기 제 1 검출 수단과 제 2 검출 수단 중 적어도 하나는, 상기 지정 수단에 의해 지정된 트리밍 영역에 기초한 영역 내의 영상 데이터에 기초하여 프레임 내의 블러링 양을 검출하고; 그리고 상기 제 1 블러링 보정 수단과 제 2 블러링 보정 수단 중 적어도 하나는, 상기 지정 수단에 의해 지정된 트리밍 영역 및 상기 제 1 검출 수단과 제 2 검출 수단 중 적어도 하나에 의해 검출된 블러링 양에 기초하여 트리밍된 영상 데이터를 생성하는 것을 특징으로 할 수 있다.
또 다른 카테고리로서 본 발명의 목적은 기록된 동영상 데이터를 재생 및 기록하는 동영상 재생 단계; 상기 기록된 동영상 데이터에 블러링 보정을 실행하는 블러링 보정 단계; 상기 블러링 보정 단계에서 블러링 보정의 실행이 필요한 상태에서 상기 동영상 재생 단계에서 재생될 동영상 데이터가 기록되는지를 판단하는 판단 단계; 및 상기 판단 단계에서, 블러링 보정이 필요한 상태에서 동영상 데이터가 기록되는 것으로 판단하는 경우에, 상기 동영상 재생 단계에서 재생될 동영상 데이터를 재생할 때, 상기 블러링 보정 단계에서 블러링 보정을 실행하는 동시에 동영상 데이터를 재생 및 표시하는 재생 제어 단계를 포함하는 것을 특징으로 하는 동영상 재생 장치의 제어 방법으로 달성될 수 있다.
또 다른 카테고리로서 본 발명의 목적은 동영상 재생 장치의 컴퓨터에 의해 수행되는 컴퓨터 프로그램을 기록하는 기록 매체로서, 상기 프로그램은: 기록된 동영상 데이터를 재생 및 표시하는 동영상 재생 처리; 상기 기록된 동영상 데이터에 블러링 보정을 실행하는 블러링 보정 처리; 상기 블러링 보정 처리에 의해 블러링 보정의 실행이 필요한 상태에서 상기 동영상 재생 처리에 의해 재생될 동영상 데이터가 기록되는지를 판단하는 판단 처리; 및 상기 판단 처리에 의해 블러링 보정이 필요한 상태에서 동영상 데이터가 기록되는 것으로 판단하는 경우에, 상기 동영상 재생 처리에 의해 재생될 동영상 데이터가 재생될 때, 상기 블러링 보정 처리에 의해 블러링 보정이 실행되는 동시에 동영상 데이터를 재생 및 표시하는 재생 제어 처리를 포함하는 동영상 재생 장치의 컴퓨터에 의해 수행되는 컴퓨터 프로그램을 기록하는 기록 매체로서 달성될 수 있다.
또한, 상기 기록된 동영상 데이터의 프레임 내의 블러링 양을 검출하는 제 1 검출 수단을 포함하며, 상기 제 1 블러링 보정 수단은, 상기 제 1 검출 수단에 의해 검출된 프레임 내의 블러링 양에 기초하여, 프레임에 블러링 보정을 실행하는 것을 특징으로 할 수 있다.
블러링 양을 나타내는 데이터가 상기 기록된 동영상 데이터의 프레임과 상관시켜 기록된 것인지를 판단하는 제 2 판단 수단;을 더 포함하고, 상기 제 2 판단 수단이 상기 블러링 양을 나타내는 데이터가 상기 프레임과 상관시켜 기록된 것으로 판단하는 경우에, 상기 제 1 블러링 보정 수단은, 상기 제 1 검출 수단이 프레임 내의 블러링 양을 검출하지 못하도록 하며, 상기 상관시켜 기록된 블러링 양을 나타내는 데이터에 기초하여 상기 프레임에 블러링 보정을 실행하는 것을 특징으로 할 수 있다.
제 1 판단 수단은, 블러링 보정이 미리 실행된 동영상 데이터의 경우에는 블러링 보정이 필요하지 않은 것으로 판단하는 것을 특징으로 할 수 있다.
제 1 판단 수단이 블러링 보정의 실행이 필요하지 않은 것으로 판단하는 경우에, 상기 재생 제어 수단은, 동영상 데이터의 재생 동안, 상기 제 1 블러링 보정 수단에 의한 블러링 보정의 실행 없이 동영상 데이터를 재생 및 표시하는 것을 특징으로 할 수 있다.
제 1 블러링 보정 수단을 사용하여 상기 재생 제어 수단에 의해 블러링 보정이 실행된 동영상 데이터를 기록 수단에 기록하고, 블러링 보정이 실행되었음을 지시하는 정보를 상기 동영상 데이터에 첨부하는 기록 제어 수단을 포함하고; 상기 제 1 판단 수단은, 블러링 보정이 실행되었음을 지시하는 정보가 동영상 데이터에 첨부되지 않은 경우에, 블러링 보정이 실행될 필요가 있는 것으로 판단하는 것을 특징으로 할 수 있다.
제 1 판단 수단은, 상기 동영상 재생 수단에 의해 재생될 동영상 데이터에서 디스플레이 되어질 프레임 내의 블러링 양에 기초하여, 블러링 보정이 실행될 필요가 있는지를 판단하는 것을 특징으로 할 수 있다.
제 1 판단 수단은, 표시될 프레임 내의 블러링 양에 기초하여, 프레임의 블러링 보정이 필요한지를 판단하고, 그리고 상기 제 1 판단 수단이 블러링 보정이 필요한 것으로 판단하는 경우, 상기 재생 제어 수단은 상기 블러링 보정 수단을 사용하여 블러링 보정을 실행하고, 프레임을 재생 및 표시하며, 블러링 보정이 필요하지 않은 것으로 판단하는 경우에는, 상기 블러링 보정 수단에 의한 블러링 보정의 실행 없이 프레임을 재생 및 표시하는 것을 특징으로 할 수 있다.
제 1 판단 수단은 재생되어 지는 복수의 프레임들의 블러링 양의 최소, 최대, 평균 또는 전체 중 어느 하나를 사용하여 블러링 보정이 필요한 지를 판단하는 것을 특징으로 할 수 있다.
또한, 피사체를 연속적으로 촬상하고, 촬상된 영상을 동영상 데이터로서 기록하는 동영상 촬상·기록 수단; 상기 동영상 촬상·기록 수단에 의해 촬상된 동영상의 프레임 내의 블러링 양을 검출하는 제 2 검출 수단; 상기 제 2 검출 수단에 의해 검출된 블러링 양에 기초하여, 프레임 내의 블러링을 보정하는 제 2 블러링 보정 수단; 상기 동영상 촬상·기록 수단이 동영상을 기록할 때, 블러링 보정이 실행되는지를 판단하는 제 3 판단 수단; 및 상기 제 3 판단 수단이 블러링 보정이 실행되는 것으로 판단하는 경우, 촬상된 동영상 데이터를 기록하는 동시에 상기 제 2 검출 수단은 블러링 검출을 실행하고 상기 제 2 블러링 보정 수단은 블러링 보정을 실행하기 위한 제어 및, 블러링 보정이 실행되지 않는 것으로 판단되는 경우에는, 동영상이 기록될 때 상기 블러링 보정 수단에 의한 블러링 보정의 실행 없이 촬상된 동영상 데이터를 기록하기 위한 제어를 실행하는 기록 제어 수단을 더 포함하는 것을 특징으로 할 수 있다.
제 3 판단 수단은, 상기 동영상 촬상·기록 수단이 동영상을 기록할 때 블러링 보정의 실행 없이 블러링 검출만을 실행하는지를 더 판단하는 수단을 포함하고; 그리고 상기 제 3 판단 수단이 블러링 보정의 실행 없이 블러링 검출만이 실행되는 것으로 판단하는 경우, 상기 기록 제어 수단은, 동영상이 기록될 때 상기 제 2 검출 수단을 사용하여 블러링 검출만을 실행하고, 검출된 프레임 내에 블러링 양을 나타내는 데이터와 상관시켜, 상기 블러링 양을 기록하는 것을 특징으로 할 수 있다.
기록 제어 수단은, 상기 제 2 블러링 보정 수단에 의해 블러링 보정이 실행된 동영상 데이터가 기록될 때, 블러링 보정이 실행되었음을 지시하는 정보를 상기 동영상 데이터에 첨부하고; 그리고 상기 제 1 판단 수단은, 블러링 보정이 실행되었음을 지시하는 정보가 동영상 데이터에 첨부되어 있지 않은 경우, 블러링 보정이 실행될 필요가 있는 것으로 판단하는 것을 특징으로 할 수 있다.
기록 제어 수단은, 상기 제 2 블러링 보정 수단에 의해 블러링 보정이 실행되지 않은 동영상 데이터가 기록될 때, 블러링 보정이 실행되지 않았음을 지시하는 정보를 상기 동영상 데이터에 첨부하여 기록하고; 그리고 상기 제 1 판단 수단은, 블러링 보정이 실행되지 않았음을 지시하는 정보가 동영상 데이터에 첨부되지 않은 경우, 블러링 보정이 실행될 필요가 있다고 판단하는 것을 특징으로 할 수 있다.
제 1 블러링 보정 수단과 제 2 블러링 보정 수단 중 적어도 하나는, 프레임 내의 블러링 양에 기초하여 트리밍된 영상 데이터를 생성함으로써 블러링 보정을 실행하는 것을 특징으로 할 수 있다.
제 1 검출 수단과 제 2 검출 수단 중 적어도 어느 하나는 상기 동영상 데이터에서 추출되어 지거나, 상기 동영상 데이터에서 각각 일정한 간격으로 추출되어지거나, 상기 동영상 데이터의 시작부분에서 추출되어진 복수의 프레임들의 영상 데이터를 기초로 한 프레임에서 상기 블러링 양을 검출하는 것을 특징으로 할 수 있다.
사용자가 트리밍될 트리밍 영역을 지정하도록 하는 지정 수단을 포함하고;
상기 제 1 검출 수단과 제 2 검출 수단 중 적어도 하나는, 상기 지정 수단에 의해 지정된 트리밍 영역에 기초한 영역 내의 영상 데이터에 기초하여 프레임 내의 블러링 양을 검출하고; 그리고 상기 제 1 블러링 보정 수단과 제 2 블러링 보정 수단 중 적어도 하나는, 상기 지정 수단에 의해 지정된 트리밍 영역 및 상기 제 1 검출 수단과 제 2 검출 수단 중 적어도 하나에 의해 검출된 블러링 양에 기초하여 트리밍된 영상 데이터를 생성하는 것을 특징으로 할 수 있다.
또 다른 카테고리로서 본 발명의 목적은 기록된 동영상 데이터를 재생 및 기록하는 동영상 재생 단계; 상기 기록된 동영상 데이터에 블러링 보정을 실행하는 블러링 보정 단계; 상기 블러링 보정 단계에서 블러링 보정의 실행이 필요한 상태에서 상기 동영상 재생 단계에서 재생될 동영상 데이터가 기록되는지를 판단하는 판단 단계; 및 상기 판단 단계에서, 블러링 보정이 필요한 상태에서 동영상 데이터가 기록되는 것으로 판단하는 경우에, 상기 동영상 재생 단계에서 재생될 동영상 데이터를 재생할 때, 상기 블러링 보정 단계에서 블러링 보정을 실행하는 동시에 동영상 데이터를 재생 및 표시하는 재생 제어 단계를 포함하는 것을 특징으로 하는 동영상 재생 장치의 제어 방법으로 달성될 수 있다.
또 다른 카테고리로서 본 발명의 목적은 동영상 재생 장치의 컴퓨터에 의해 수행되는 컴퓨터 프로그램을 기록하는 기록 매체로서, 상기 프로그램은: 기록된 동영상 데이터를 재생 및 표시하는 동영상 재생 처리; 상기 기록된 동영상 데이터에 블러링 보정을 실행하는 블러링 보정 처리; 상기 블러링 보정 처리에 의해 블러링 보정의 실행이 필요한 상태에서 상기 동영상 재생 처리에 의해 재생될 동영상 데이터가 기록되는지를 판단하는 판단 처리; 및 상기 판단 처리에 의해 블러링 보정이 필요한 상태에서 동영상 데이터가 기록되는 것으로 판단하는 경우에, 상기 동영상 재생 처리에 의해 재생될 동영상 데이터가 재생될 때, 상기 블러링 보정 처리에 의해 블러링 보정이 실행되는 동시에 동영상 데이터를 재생 및 표시하는 재생 제어 처리를 포함하는 동영상 재생 장치의 컴퓨터에 의해 수행되는 컴퓨터 프로그램을 기록하는 기록 매체로서 달성될 수 있다.
삭제
삭제
본 발명의 상술한 특징과 부가적인 이점은 첨부된 도면과 함께 이하의 상세한 설명에서 더욱 분명해 질 것이다. 그러나, 첨부 도면은 단지 예시를 목적으로 제공되는 것일 뿐 본 발명의 범위를 제한하는 것은 아니다.
도 1은 본 발명의 실시예에 따른 디지털 카메라의 블럭도이고;
도 2는 본 실시예에 따라, 촬영 동안 실행되는 동작의 순서도이며;
도 3은 본 실시예에 따라, 재생 동안 실행되는 동작의 순서도이고;
도 4는 본 실시예에 따라, 재생 동안 실행되는 동작의 순서도이며;
도 5는 변형예 1의 디지털 카메라에 의해 실행되는 동작의 순서도이고;
도 6은 변형예 2의 디지털 카메라에 의해 실행되는 동작의 순서도이며;
도 7은 변형예 2의 디지털 카메라에 의해 실행되는 동작의 순서도이다.
이하, 본 발명을 실행하기 위한 최상의 실시예를 첨부된 도면을 참조하여 설명한다.
A. 디지털 카메라의 구성
도 1은 본 발명의 동영상 재생 장치를 구현하는 디지털 카메라(1)의 전기적인 개략 구성을 도시하는 블럭도이다.
디지털 카메라(1)는 촬상 렌즈(2), 렌즈 구동 블록(3), CCD(4), 수직 드라이버(5), TG(타이밍 생성기)(6), 유닛 회로(7), 블러링 검출부(8), DRAM(9), CPU(10), 메모리(11), 플래시 메모리(12), 키 입력부(13) 및 영상 표시부(14)를 포함한다.
촬상 렌즈(2)는 포커스 렌즈와 줌 렌즈(미도시)를 포함하며, 렌즈 구동 블록(3)에 접속된다. 렌즈 구동 블록(3)은 모터, 포커스 모터 드라이버 및 줌 모터 드라이버를 포함한다. 렌즈 구동 블록(3)의 모터는 포커스 렌즈와 줌 렌즈(미도시) 를 각각 광축 방향으로 구동시킨다. 포커스 모터 드라이버와 줌 모터 드라이버는CPU(10)로부터의 제어 신호에 따라, 포커스 모터와 줌 모터를 각각 광축 방향으로 구동시킨다.
수직 드라이버(5)는 CCD(4)를 주사-구동(scan-drive)하며, CCD(4)는 일정 주기마다 피사체 상의 RGB 값의 각 색의 광밀도를 광전 변환하여, 촬상 신호(영상 데이터)로서 유닛 회로(7)에 출력한다. CPU(10)는 TG(6)를 통해 수직 드라이버(5)와 유닛 회로(7)의 동작 타이밍을 제어한다.
TG(6)는 유닛 회로(7)에 접속된다. 유닛 회로(7)는 CDS(상관 이중 샘플링) 회로, AGC(자동 게인 제어)회로 및 A/D변환기를 포함한다. CDS 회로는 CCD(4)로부터 출력된 영상 신호에 대하여 상관 이중 샘플링을 실행하며, 샘플링된 영상 신호를 보관한다. AGC 회로는 샘플링된 영상 신호에 자동 게인 제어를 실행한다. A/D 변환기는 자동-게인-제어가 가해진 아날로그 영상 신호를 디지털 영상 신호로 변환한다. CCD(4)의 촬상 신호는 유닛 회로(7)을 경유하여 디지털 신호로서 CPU(10)에 보내진다.
블러링 검출부(8)는 기록된 동영상 데이터나 촬상된 동영상 데이터에 포함되는 카메라-흔들림과 피사체의 블러링을 검출한다. 이러한 블러링의 검출에서, 대표점 매칭법이나 블록 매칭법에 따라 프레임의 영상 데이터 내의 블러링 양(움직임 벡터)이 검출된다.
대표점 매칭법이나 블록 매칭법에 따라 블러링 양(움직임 벡터)을 검출하는 경우에는, 검출이 실행되는 프레임의 영상 데이터와 직전 프레임의 영상 데이터를 이용하여 움직임 벡터가 검출된다.
여기에서, 대표점 매칭법 또는 블록 매칭법을 이용하여 프레임의 블러링 양(움직임 벡터)이 검출되긴 하지만, 이러한 방법에만 국한되지 않는다. 기록된 동영상 데이터나 촬상된 동영상 데이터에 포함되는 블러링 양을 검출할 수 있는 방법이면 어떤 다른 방법도 사용될 수 있다.
부가하여, 블러링 검출이 하드웨어적으로 실행되고 있기는 하지만, 소프트웨어(영상 처리)를 사용하는 처리에 의해서 실행될 수도 있다. 또한, 동영상 촬영시에 자이로 센서등의 외부 블러링 검출 센서에 의해 블러링 검출이 실행될 수 있다.
DRAM(9)는 CCD(4)에 의해 촬상된 후 CPU(10)에 보내진 영상 데이터를 일시적으로 저장하는 버퍼 메모리로서 사용되며, 동시에 CPU(10)의 작업 메모리로서 사용된다.
플래시 메모리(12)는 CCD(4)에 의해 촬상된 영상 데이터를 기록하기 위해 사용되는 기록 매체이다.
CPU(10)는 유닛 회로(7)로부터 보내진 영상 데이터에 대하여, 영상 처리(보간 처리, 감마(γ)보정, 휘도·색 차이 신호의 생성, 화이트 밸런스 처리, 노출 보정 처리 등), 압축 및 신장 처리(예를 들면, JPEG 형식이나 MPEG 형식의 압축 및 신장)의 처리 등을 실행하는 기능을 갖는 원칩 마이크로컴퓨터이다. CPU(10)는 디지털 카메라(1)의 각부를 또한 제어한다.
메모리(11)는 CPU(10) 각부의 제어에 필요한 제어 프로그램과 필요한 데이터를 저장하며, CPU(10)는 그러한 프로그램에 따라 동작한다. 그에 따라, CPU(10)는 기록된 동영상 데이터를 재생 및 표시하는 동영상 재생 수단; 블러링 보정을 실행하기 위한 블러링 보정 수단; 동영상 데이터가 블러링 보정이 요구되는 상태에서 기록되었는지를 판단하기 위한 판단 수단; 동영상 데이터가 블러링 보정이 요구되는 상태에서 기록된 경우, 블러링 보정 수단이 블러링 보정을 수행함과 동시에 동영상 데이터를 재생 및 표시하기 위한 재생 제어 수단; 블러링 보정이 실행되는 동영상 데이터를 기록하고, 해당 동영상 데이터에 블러링 보정이 가해졌음을 지시하는 정보를 추가하기 위한 기록 제어 수단; 및 피사체를 연속적으로 촬영하고 동영상 데이터로서 그 영상을 기록하기 위한 동영상 촬영 및 기록 수단의 기능을 수행한다.
키 입력부(13)는 모드 키, 셔터 버튼, 크로스 키, 설정 키, 및 줌 키("W" 키와 "T"키) 등의 복수의 조작키를 포함하며, 사용자의 키 조작에 따라 조작 신호를 CPU(10)에 출력한다.
영상 표시부(14)는 칼라 LCD와 그 구동 회로를 포함한다. 촬영 대기 모드에는, CCD(4)에 의해서 촬상된 피사체를 스루우-영상으로서 표시하고, 기록된 영상의 재생시에는, 플래시 메모리(12)로부터 판독된 기록 영상을 표시한다.
B. 디지털 카메라의 동작
이제, 본 실시예에 따른 디지털 카메라(1)에 따라 실행되는 동작을 설명한다. 동작은 디지털 카메라(1)가 동영상을 촬영할 때와 동영상을 재생할 때로 나뉜다.
B-1. 동영상을 촬영할 때
먼저, 본 실시예에 따라, 동영상을 촬영할 때, 디지털 카메라(1)에 의해 실행되는 동작을 도 2의 순서도를 참조하여 기술한다.
동영상 촬영 모드가 설정되면, CPU(10)는 CCD(4)를 사용하여 피사체의 촬영을 개시하고, 촬영을 통해 획득한 영상 데이터로부터 휘도·색 차이 신호를 생성하여, 생성된 휘도·색 차이 신호의 영상 데이터를 버퍼 메모리(DRAM)(9)에 저장한 후, 스루우-영상 표시를 개시한다(단계 S1). 스루우-영상 표시시에는, 피사체의 저장된 영상 데이터가 영상 표시부(14)에 표시된다.
다음으로, CPU(10)는 블러링 보정 처리 및 블러링 검출 처리의 유무를 설정한다. 즉, 블러링 보정 처리를 실행할 것인지와, 블러링 검출 처리를 실행할 것인지를 설정한다(단계 S2).
이때, 사용자는 키 입력부(13)를 조작함으로써, 블러링 보정을 실행할 것인지와, 블러링 검출을 실행할 것인지를 선택한다. CPU(10)는 그 선택에 기초하여, 블러링 보정 및 블러링 검출의 유무를 설정한다.
만약, 동영상의 촬영 및 기록시에, 사용자가 블러링 보정 처리를 실행할 것을 선택하는 경우에는, 사용자는 블러링 검출을 실행하지 않음을 선택할 수 없다. 왜냐하면, 블러링 보정의 실행을 위하여는 블러링 검출의 실행이 반드시 필요하기 때문이다. 즉, 블러링 검출만을 선택하면, 블러링 검출만이 실행된다.
다음으로, CPU(10)는 사용자가 동영상의 촬영을 지시하였는지를 판단한다(단계 S3). 이러한 판단은 사용자가 셔터 버튼을 누르는 것에 상응하는 조작 신호가 키 입력부(13)로부터 전송되었는지에 의해 판단된다.
단계(S3)에서, 동영상의 촬영을 지시하지 않은 것으로 판단되면, 단계(S2)로 복귀한다. 즉, 사용자가 동영상 촬영의 지시를 실시할 때까지, 블러링 보정 및 블러링 검출의 유무에 대한 설정은 자유롭게 변경될 수 있다.
단계(S3)에서, 동영상 촬영의 지시를 한 것으로 판단되면, CPU(10)는 단계( S2)에서 블러링 보정 처리가 있는 것으로 설정되었는지를 판단한다(단계 S4).
단계(S4)에서, 블러링 보정 처리가 있는 것으로 설정되어 블러링 보정이 실행될 것으로 판단되면, CPU(10)는 CCD(4)에 의해 촬상된 제 1 프레임의 영상 데이터를 획득한다(단계 S5). 여기서, 제 1 프레임의 영상 데이터란 동영상 촬영의 지시를 하고 난 후 최초로 촬상된 프레임의 영상 데이터를 의미한다. 이때, CPU(10)는 획득한 제 1 프레임의 영상 데이터를 블러링 검출부(8)에 출력한다.
다음으로, CPU(10)는 미리 정해진 트리밍 위치 및 트리밍 사이즈에 기초하여, 획득한 제 1 프레임 영상 데이터로부터 영상 데이터를 트리밍하고(트리밍 영상 데이터를 생성), 트리밍한 영상 데이터를 압축해 플래시 메모리(12)에 기록한다(단계 S6). 이때, CPU(10)는, 트리밍한 영상 데이터를 압축해 플래시 메모리(12)에 기록하기 전에 트리밍 영상 데이터를 생성하는 것뿐 아니라, 휘도·색 차이 신호 생성 등의 영상 처리도 실행한다.
다음으로, CPU(10)는 그 다음 촬상된 새로운 프레임의 영상 데이터를 획득한다(단계 S7). 이때, CPU(10)는, 획득한 영상 데이터를 블러링 검출부(8)에 출력한다.
다음으로, CPU(10)는, 블러링 검출부(8)를 사용하여, 출력한 새로운 프레임 의 영상 데이터에 대하여 블러링 검출 처리를 실행한다.(단계 S8), CPU(10)는 블러링 검출부(8)로부터 검출 처리 결과(블러링 양)를 획득한다. 이때, 블러링 검출부(8)는, 전송된 새로운 프레임의 영상 데이터와 직전 프레임의 영상 데이터에 기초하여, 전송된 새로운 프레임의 영상 데이터의 블러링 양(움직임 벡터)을 검출한다.
다음으로, CPU(10)는, 검출된 블러링 양(움직임 벡터)과 직전의 트리밍 위치에 기초하여, 새로운 트리밍 위치를 결정한다. 이후, CPU(10)는 새롭게 결정된 트리밍 위치와 미리 정해진 트리밍 사이즈에 기초하여, 획득한 새로운 프레임의 영상 데이터로부터 트리밍 영상을 생성하고(단계 S9), 트리밍 영상을 CPU(10)에 출력한다. 블러링 보정은 이러한 트리밍에 의해 행해진다. 이때, CPU(10)는, 당연히 트리밍 영상 데이터의 생성 외에, 휘도·색 차이 신호 생성 등의 영상 처리도 실행한다.
다음으로, CPU(10)는 생성된 트리밍 영상 데이터를 압축하여, 플래시 메모리(12)에 기록한다(단계 S10). 트리밍 영상 데이터를 기록할 때, CPU(10)는 트리밍 영상 데이터의 영상 사이즈를 동영상 촬상 사이즈에 맞추어 확대 또는 축소하고, 그 확대 또는 축소된 트리밍 영상 데이터를 기록할 수 있다.
다음으로, CPU(10)는 사용자가 촬영의 완료를 지시했는지를 판단한다(단계 S11). 여기서, CPU(10)는 키 입력부(13)로부터 사용자가 셔터 버튼을 누르는 것에 상응하는 조작 신호가 전송되었는지를 판단한다.
단계(S11)에서, 촬영의 완료가 지시되지 않은 것으로 판단되면, 단계(S7)로 복귀한다. CPU(10)는 단계(S11)에서 촬영의 완료가 지시된 것으로 판단되면, 단계(S12)로 진행하여 이미 기록된 복수의 영상 데이터로부터 동영상 파일을 생성한다. 이때, 동영상 파일의 헤더에 블러링 보정 처리가 실행되었음을 지시하는 정보를 기록한다.
한편, 단계(S4)에서 블러링 보정 처리가 없는 것으로 설정된 경우에는, CPU(10)는 블러링 검출 처리가 있는 것으로 설정되었는지를 판단한다(단계 S13).
단계(S13)에서, 블러링 검출이 있는 것으로 설정되었다고 판단되면, CPU(10)는 CCD(4)에 의해 촬상된 제 1 프레임의 영상 데이터를 획득하며, 획득한 영상 데이터에 대해서 영상 처리를 실행하고, 그 영상 데이터를 플래시 메모리(12)에 기록한다(단계 S14). 이때, CPU(10)는 획득한 제 1 프레임의 영상 데이터를 블러링 검출부(8)에 출력하는 처리도 실행한다.
다음으로, CPU(10)는 그 다음으로 촬상된 새로운 프레임의 영상 데이터를 획득한다(단계 S15). 이때, CPU(10)는 획득한 새로운 영상 데이터를 블러링 검출부(8)에 출력한다.
CPU(10)는 블러링 검출부(8)를 사용하여, 출력된 새로운 프레임의 영상 데이터의 블러링 검출 처리를 실행하고(단계 S16), 블러링 검출부(8)로부터 검출 처리 결과(블러링 양)를 획득한다.
다음으로, CPU(10)는 새롭게 획득한 프레임 영상 데이터에 대해서 영상 처리를 실행하고, 그 영상 데이터를 플래시 메모리(12)에 기록하며, 동시에 블러링 검출부(8)로부터 획득한 블러링 양도 상관시켜 기록한다(단계 S17).
이후, CPU(10)는 사용자가 촬영의 완료를 지시하였는지를 판단한다(단계 S18).
단계(S18)에서 촬영의 완료가 지시되지 않은 것으로 판단되면 단계(S15)로 복귀하고, 단계(S18)에서 촬영의 완료가 지시된 것으로 판단되면 단계(S19)로 진행하여, 이미 기록한 복수의 영상 데이터로부터 동영상 파일을 생성한다. 이때, 동영상 파일의 헤더에는 블러링 검출이 실행된 것을 지시하는 정보도 기록된다.
또한, 단계(S13)에서, 블러링 검출 처리가 없는 것으로 설정되어 있는 경우에는 단계(S20)로 진행하여, 통상의 동영상 촬영 및 기록 처리를 실행한다. 즉, CPU(10)는 일정 주기마다 CCD(4)에 의해 촬상된 프레임의 영상 데이터를 순차적으로 획득하고, 획득한 프레임의 영상 데이터에 대하여 순차적으로 영상 처리를 실행하여 플래시 메모리(12)에 기록하는 처리를 실행한다.
다음으로, CPU(10)는 사용자가 촬영의 완료를 지시하였는지를 판단하고(단계 S21), 촬영의 완료가 지시되지 않은 것으로 판단되는 경우에는, 촬영의 완료가 지시될 때까지 통상의 동영상 촬영 및 기록 처리를 실행한다(단계 S20 내지 단계 S21). 반면, 촬영의 완료가 지시된 것으로 판단되는 경우에는, 기록된 복수의 영상 데이터로부터 동영상 파일을 생성한다(단계 S22).
B-2. 동영상을 재생할 때
다음으로, 본 실시예에 따라, 동영상을 재생할 때, 디지털 카메라(1)에 의해 실행되는 동작을 도 3 및 도 4의 순서도를 참조하여 기술한다.
동영상 재생 모드로 설정되면, CPU(10)는 플래시 메모리(12)에 기록된 동영 상 파일 중에서, 사용자에 의해 선택되는 동영상 파일을 지정한다(단계 S31).
이때, 동영상 재생 모드로 설정되면, CPU(10)는 썸네일 영상이나 동영상 파일명을 표시함으로써, 플래시 메모리(12)에 기록된 동영상 파일의 목록을 보여준다. 사용자는 목록에 보여지는 동영상 파일 중에서 재생하고자 하는 동영상 파일을 크로스 키 및 설정 키를 조작하여 선택할 수 있다.
동영상 파일이 지정되면, CPU(10)는 지정된 동영상 파일의 동영상 데이터에 대하여 블러링 보정이 실행되었는지를 판단한다(단계 S32). 즉, CPU(10)는 동영상 파일의 헤더에 블러링 보정 처리가 실행되었음을 지시하는 정보가 첨부되어 있는지 를 판단한다.
단계(S32)에서 블러링 보정이 실행된 것으로 판단되면, CPU(10)는 사용자가 동영상의 재생을 지시하였는지를 판단한다(단계 S33). 동영상 재생이 지시되지 않은 것으로 판단되면, 지시가 행해질 때까지 단계(S33)에 머물고, 동영상 재생이 지시된 것으로 판단되면 단계(S37)로 진행한다.
한편, 단계(S32)에서, 블러링 보정이 실행되지 않은 것으로 판단되면, CPU(10)는 블러링 보정 처리의 유무 및 저장 방법의 설정을 실행한다(단계 S34). 이러한 저장 방법의 종류로서, "신규 파일로서의 저장", "덮어쓰기", "저장하지 않음"의 3 종류가 있다.
이때, 사용자는 키 입력부(13)를 조작하여, 블러링 보정을 실행할 것인지와 그 저장 방법을 선택할 수 있다. CPU(10)는 그 선택에 따라서, 블러링 보정 처리의 유무 및 저장 방법을 설정한다.
사용자가 블러링 보정 없음을 선택할 경우에는, 자동적으로 "저장하지 않음"이 선택된다. 블러링 보정 없음의 경우에는, 지정된 동영상 파일을 단지 재생시킬 뿐, 새로운 파일로서 동영상 파일을 저장하거나 그 파일을 덮어쓸 필요는 없다.
다음으로, CPU(10)는 사용자가 동영상 재생을 지시하였는지를 판단한다(단계 S35).
단계(S35)에서, 동영상의 재생을 지시하지 않은 것으로 판단되면, CPU(10)는 단계(S34)로 복귀한다. 즉, 사용자가 동영상 재생을 지시할 때까지, 블러링 보정 처리의 유무 및 저장 방법의 설정을 변경할 수 있다.
단계(S35)에서 동영상의 재생을 지시한 것으로 판단되면, CPU(10)는 단계 (S34)에서 블러링 보정이 있는 것으로 설정되었는지를 판단한다(단계 S36).
단계(S36)에서 블러링 보정이 없음으로 설정된 것으로 판단되면, CPU(10)는 단계(S37)로 진행한다.
단계(S37)에서 CPU(10)는 통상의 동영상 재생 처리를 실행한다. 즉, 플래시 메모리(12)로부터 지정된 동영상 파일의 동영상 데이터를 판독하고, 판독된 동영상 파일의 프레임을 영상 표시부(14)에 표시한다. 프레임은 제 1 프레임부터 순차적으로 표시된다.
한편, 단계(S36)에서 블러링 보정이 있는 것으로 설정되었다고 판단되면, CPU(10)는 플래시 메모리(12)로부터 지정된 동영상 파일의 데이터를 판독하여 버퍼 메모리에 저장하고, 버퍼 메모리로부터 제 1 프레임의 영상 데이터를 획득한다(단계 S38). 이때, CPU(10)는 획득한 제 1 프레임의 영상 데이터를 블러링 검출부(8) 에 출력한다.
다음으로, CPU(10)는 미리 정해진 트리밍 위치 및 트리밍 사이즈에 기초하여, 획득한 제 1 프레임의 영상 데이터로부터 영상 데이터를 트리밍하고(트리밍 영상 데이터를 생성), 트리밍 영상 데이터를 영상 표시부(14)에 표시한다(단계 S39).
이때, 저장 방법이 "신규 파일로서의 저장"으로 설정되어 있는 경우에, CPU(10)는 표시시킨 트리밍 영상 데이터를 플래시 메모리(12)에 기록한다. 저장 방법이 "덮어쓰기"로 설정되어 있는 경우, 표시시킨 트리밍 영상 데이터를 플래시 메모리(12)에 덮어써 기록한다. 즉, 저장 방법이 "덮어쓰기"로 설정되어 있는 경우, 지정된 동영상 파일의 제 1 프레임의 영상 데이터 위에 표시시킨 트리밍 영상 데이터가 기록된다. 또한, 트리밍 영상 데이터를 기록할 때, CPU(10)는 트리밍 영상 데이터의 영상 사이즈를 동영상 촬영 사이즈로 확대 또는 축소하여, 확대 또는 축소된 트리밍 영상 데이터를 기록할 수 있다.
다음으로, CPU(10)는 버퍼 메모리로부터 다음 프레임의 영상 데이터를 새롭게 획득한다(단계 S40). 이때, CPU(10)는 새롭게 획득한 프레임의 영상 데이터를 블러링 검출부(8)에 출력한다.
다음으로, CPU(10)는 새롭게 획득한 프레임의 영상 데이터의 블러링 양이 이미 검출되었는지를 판단한다(단계 S41). 즉, 블러링 양이 획득한 프레임의 영상 데이터와 상관시켜 기록되었는지를 판단한다.
CPU(10)는 사용자에 의해서 지정된 동영상 파일의 헤더에 블러링 검출이 실행되었음을 지시하는 정보가 기록되었는지를 판단한다. 이러한 경우, 프레임마다 블러링 양이 검출되었는지를 판단할 필요 없이, 동영상 파일 단위로 블러링 양이 검출되었는지를 판단할 수 있다.
단계(S41)에서, 블러링 양이 검출되지 않은 것으로 판단되면, CPU(10)는 블러링 검출부(8)를 사용하여 출력한 새로운 프레임 영상 데이터의 블러링 검출 처리를 실행하고(단계 S42), 단계(S43)로 진행한다. 이때, CPU(10)는 블러링 검출부(8)로부터 검출 처리 결과(블러링 양)를 획득한다.
한편, 단계(S41)에서, 블러링 양이 검출된 것으로 판단되면, CPU(10)는 단계(S43)로 바로 진행한다. 이때, 블러링 양이 검출된 것으로 판단되면, CPU(10)는 프레임과 상관시킨 블러링 양을 획득하여 기록한다.
CPU(10)가 단계(S43)로 진행하면, 새롭게 획득한 프레임의 영상 데이터의 블러링 양(움직임 벡터) 및 이전의 트리밍 위치에 따라 새로운 트리밍 위치를 결정하고, 결정된 새로운 트리밍 위치 및 미리 정해진 트리밍 사이즈에 기초하여, 새롭게 획득한 프레임 영상 데이터로부터 트리밍 영상 데이터를 생성한다.
단계(S41)에서 블러링 검출이 이미 실행된 것으로 판단되는 경우에, 획득된 프레임의 영상 데이터의 블러링 양이란, 프레임과 상관시켜 기록된 블러링 양이다. 한편, 단계 (S41)에서 블러링 검출이 실행되지 않은 것으로 판단되는 경우에, 획득된 프레임의 영상 데이터의 블러링 양은 단계(S42)에서 검출된 블러링 양을 의미한다. CPU(10)는 트리밍 영상 데이터의 생성시에 영상 처리 또한 실행한다.
다음으로, CPU(10)는 생성한 트리밍 영상 데이터를 영상 표시부(14)에 표시한다(단계 S44).
이후, CPU(10)는 표시된 영상 데이터가 저장되는지를 판단한다(단계 S45). 즉, CPU(10)는 저장 방법으로서 "신규 파일로서의 저장" 또는 "덮어쓰기"가 설정되어 있는 경우에, 영상은 저장되는 것으로 판단하고, 저장 방법으로서 "저장하지 않음"이 설정되어 있는 경우에는 영상은 저장되지 않는 것으로 판단한다.
단계(S45)에서 동영상이 저장되지 않을 것으로 판단되면, CPU(10)는 동영상의 재생이 완료되었는지를 판단한다(단계 S46). 동영상의 재생이 완료되지 않는 것으로 판단되면 단계(S40)로 복귀한다. 이러한 동영상의 재생이 완료되었는지의 판단은, 모든 프레임의 영상 데이터가 표시되었는가(구체적으로는 트리밍하여 표시되었는가)에 의해 판단된다. 또한, 사용자의 키 입력부(13)의 조작에 의해 동영상 재생의 완료 조작이 실행되는 경우에 동영상의 재생이 완료된 것으로 판단하도록 구성될 수도 있다.
동시에, 단계(S45)에서, 영상 데이터가 저장될 것으로 판단되면, CPU(10)는 그 영상 데이터를 신규 파일로서 저장할 것인지를 판단한다(단계 S47). 즉, 단계 (S34)에서, 저장 방법이 "신규파일로서 저장"으로 설정되었는지를 판단한다.
단계(S47)에서 영상 데이터가 신규 파일로서 저장되는 것으로 판단되면, CPU(10)는 표시시킨 트리밍 영상 데이터를 압축하여 기록한다(단계 S48). 이후, CPU(10)는 동영상 재생이 완료되었는지를 판단한다(단계 S49).
부가하여, 트리밍 영상 데이터를 기록할 때, CPU(10)는 트리밍 영상 데이터의 영상 사이즈를 동영상 촬영 사이즈로 확대 또는 축소하고, 확대 또는 축소된 트리밍 영상 데이터를 기록할 수 있다.
단계(S49)에서, 동영상 재생이 완료되지 않은 것으로 판단되면, 단계(S40)로 복귀한다. 동영상 재생이 완료된 것으로 판단되면, CPU(10)는 단계(S50)로 진행하여, 미리 기록된 복수의 트리밍 영상 데이터로부터 동영상 파일을 생성한다. 이때, 동영상 파일의 헤더에 블러링 보정이 실행되었음을 지시하는 정보도 기록한다.
한편, 단계(S47)에서, 신규 저장이 아닌, 즉, 덮어쓰기 저장인 것으로 판단되면, CPU(10)는 플래시 메모리(12)에 표시시킨 영상 데이터(트리밍(된) 영상 데이터)를 덮어 써 기록한다(단계 S51). 즉, 덮어쓰기 저장으로 설정되어 있는 경우에는, 트리밍 영상 데이터의 생성원이 되는 프레임의 영상 데이터 위에 트리밍 영상 데이터를 기록한다. 트리밍 영상 데이터를 트리밍 영상 데이터로 덮어쓰기할 때, CPU(10)는 트리밍 영상 데이터의 영상 사이즈를 동영상 촬영 사이즈로 확대 또는 축소하고 그 확대 또는 축소된 트리밍 영상 데이터를 기록할 수 있다.
다음으로, CPU(10)는 동영상 재생이 완료되었는지를 판단한다(단계 S52).
단계(S52)에서, 동영상 재생이 종료되지 않은 것으로 판단되면, 단계(S40)로 복귀한다. 한편, 동영상 재생이 완료된 것으로 판단되면, 단계(S53)로 진행하여, 그 영상 데이터가 덮어 써 기록된 동영상 파일의 헤더에, 블러링 보정 처리가 실행되었음을 지시하는 정보를 기록한다.
C. 효과
이상과 같이, 본 실시예에 의하면, 동영상 촬영시에 블러링 보정이 실행되며, 동영상 파일의 헤더에 블러링 보정이 실행되었음을 지시하는 정보도 기록된다. 따라서, 동영상 데이터의 재생시에 블러링 보정을 재실행할 필요가 없으며, 그에 따라, 불필요한 전력이 소비되지 않으며, 불필요한 처리도 실행되지 않는다.
동영상 촬영시에 블러링 검출이 실행되고, 프레임 영상 데이터와 프레임의 블러링 양이 상관되어 기록되기 때문에, 동영상 데이터의 재생시에 블러링을 재검출할 필요가 없으며, 따라서 불필요한 전력이 소비되지 않으며 불필요한 처리 또한 실행되지 않는다.
또한, 동영상 재생시에 동영상 파일의 헤더에 블러링 보정이 실행되었음을 지시하는 정보가 있는지를 판단하기 때문에, 블러링 보정이나 블러링 검출의 실행 없이 동영상을 재생하는 경우가 있으며, 이럴 경우, 불필요한 전력이 소비되지 않으며, 불필요한 처리도 실행되지 않는다.
동영상 재생중에 블러링 보정이 실행될 것으로 판단되면, 프레임과 블러링 양이 상관되어 기록되었는지를 판단하고, 상관되어 기록된 경우에는, 상관되어 기록된 블러링 양을 사용하여 블러링 보정을 실행한다. 따라서, 불필요한 블러링 양의 검출이 실행되지 않으며, 그에 따라, 불필요한 전력이 소비되지 않으며, 불필요한 처리도 실행되지 않는다.
저장("신규파일로서의 저장", "덮어쓰기 저장")설정이 되어있으며, 동영상 재생 중에 블러링 보정이 실행되는 경우에는, 블러링 보정이 실행된 동영상 데이터의 동영상 파일을 기록할 때에, 블러링 보정이 실행되었음을 지시하는 정보를 헤더에 기록한다. 따라서, 블러링 보정이 이미 1회 실행된 동영상 데이터에 대하여 블러링 보정을 재실행하는 일이 없으며, 그에 따라, 불필요한 전력이 소비되지 않으며 불필요한 처리 또한 실행되지 않는다.
D.
변형예
1
본 실시예에 따라 이하의 다양한 변형예가 가능하다.
본 실시예에 의하면, 사용자는 동영상 재생시에 블러링 보정을 실행할 것인지를 선택할 수 있다. 그러나, 변형예 1에서는, 블러링 보정의 필요가 동영상 파일의 동영상 데이터에 기초하여 자동적으로 판단된다.
이하, 변형예 1의 디지털 카메라(1)의 동작을 도 5의 순서도를 참조하여 설명한다.
도 3의 단계(S32)에서 블러링 보정이 실행되지 않은 것으로 판단되면, 도 5의 단계(S101)로 진행하여, CPU(10)는 지정된 동영상 파일에 대하여 블러링 검출이 실행되었는지를 판단한다. 즉, CPU(10)는 동영상 파일의 헤더에 블러링 검출이 실행되었음을 지시하는 정보가 기록되어 있는지를 판단한다.
단계(S101)에서 블러링 검출이 실행되지 않은 것으로 판단되면, 지정된 동영상 파일의 소정 프레임(예를 들면, 제 2 내지 제 10 프레임)의 블러링 양을 검출하고(단계 S102), 단계(S104)로 진행된다.
특히, CPU(10)는 지정된 동영상 파일의 소정 프레임과 상관시켜 기록된 블러링 양을 플래시 메모리(12)로부터 판독하여, 블러링 양을 획득한다.
단계(S104)에서, CPU(10)는 획득한 소정 프레임의 블러링 양이 소정값 이상인지를 판단한다.
단계(S104)에서 소정 프레임의 블러링 양이 소정값 이상이라고 판단되면, CPU(10)는 블러링 양이 크기 때문에 블러링 보정이 필요하다고 판단하여, 블러링 보정 처리가 있음으로 설정하고(단계 S105), 단계(S107)로 진행한다.
소정 프레임의 블러링 양이 소정값 이상인지를 판단하는 방법으로서는, 소정 프레임의 블러링 양의 합계(또는 평균값)가 소정값 이상인가를 판단할 수도 있고, 소정 프레임의 블러링 양 중에서 가장 큰 또는 작은 블러링 양이 소정값 이상인가를 판단할 수도 있다.
한편, 소정 프레임의 블러링 양이 소정값 이상이 아닌 것으로 판단되면, CPU(10)는 블러링 양이 작기 때문에 블러링 보정이 불필요한 것으로 판단하여, 블러링 보정 처리가 없음으로 설정하고(단계 S106), 단계(S107)로 진행한다.
단계(S107)에서, CPU(10)는 사용자에 의해 선택된 저장 방법에 따라서 저장 방법을 설정한다. 이때, 저장 방법의 설정으로서는 "신규파일로서의 저장", "덮어쓰기 저장", 및 "저장하지 않음"의 3 종류가 있지만, 단계(S106)에서 블러링 보정 처리가 없는 것으로 설정되는 경우, CPU(10)는 자동적으로 "저장하지 않음"을 선택한다.
다음으로, CPU(10)는 사용자가 동영상의 재생을 지시하였는지를 판단하고(단계 S108), 동영상 재생이 지시되지 않은 것으로 판단되면 단계(S107)로 복귀하고, 동영상 재생이 지시된 경우는 도 3의 단계(S36)로 진행한다.
그 결과, 블러링 보정이 필요한 동영상 데이터인지를 자동적으로 판단할 수 있어, 블러링 보정이 불필요한 동영상 데이터에 대해서 블러링 보정이 실행되지 않으며, 그에 따라 불필요한 전력이 소비되지 않으며, 불필요한 처리도 실행되지 않는다.
E.
변형예
2
상기 실시예는 이하와 같은 변형예도 가능하다.
본 실시예에 의하면, 동영상 재생 이전에 사용자가 블러링 보정을 실행할 것인지를 선택할 수 있다. 변형예 2에서는, 동영상 재생시에 프레임의 블러링 양을 검출하고, 블러링 양이 큰 경우에는 블러링 보정을 실행하고, 블러링 양이 작은 경우에는 블러링 보정이 실행되지 않는다.
이하, 변형예 2의 디지털 카메라(1)의 동작을 도 6의 순서도를 참조하여 설명한다.
동영상 재생 모드로 설정되면, CPU(10)는 플래시 메모리(12)에 기록된 동영상 파일 중에서, 사용자에 의해 선택된 동영상 파일을 지정한다(단계 S151).
동영상 파일이 지정되면, CPU(10)는 지정된 동영상 파일의 동영상 데이터에 대하여 블러링 보정이 실행되었는지를 판단한다(단계 S152). 즉, CPU(10)는 동영상 파일의 헤더에 블러링 보정 처리이 실행되었음을 지시하는 정보가 첨부되어 있는지를 판단한다.
단계(S152)에서 블러링 보정이 실행된 것으로 판단되면, 도 3의 단계(S33)로 진행하고, 블러링 보정이 실행되지 않은 것으로 판단되면, CPU(10)는 저장 방법을 설정한다(단계 S153). 이후, CPU(10)는 사용자가 동영상의 재생을 지시하였는지를 판단한다(단계 S154).
단계(S154)에서 동영상의 재생을 지시하지 않은 것으로 판단되면 단계(S153)로 복귀하고, 동영상의 재생을 지시한 것으로 판단되면 블러링 보정 판단 처리를 개시한다(단계 S155). 블러링 보정 판단 처리란, 블러링 보정을 실행할 것인지를 판단하는 처리이다. 블러링 보정 판단 처리에 대해서는 이하 설명된다.
다음으로, CPU(10)는 지정된 동영상 파일의 데이터를 플래시 메모리(12)로부터 판독하여 버퍼 메모리에 저장한다. CPU(10)는 버퍼 메모리로부터 제 1 프레임의 영상 데이터를 판독하여 영상 표시부(14)에 표시한다(단계 S156). 이때, 미리 정해진 트리밍 위치 및 트리밍 사이즈에 기초하여 트리밍 영상 데이터를 생성하고, 생성된 트리밍 영상 데이터를 표시한다.
또한, 이때, 저장 방법이 "신규파일로서 저장"으로 설정되어 있는 경우에는, CPU(10)는 표시된 영상 데이터를 플래시 메모리(12)에 기록하고, 덮어쓰기 저장으로 설정되어 있는 경우에는, 표시된 트리밍 영상 데이터를 플래시 메모리(12)에 덮어 써 기록한다.
다음으로, CPU(10)는 다음 프레임의 영상 데이터를 새로 획득하고(단계 S157), 블러링 보정이 온(ON)으로 설정되어 있는지를 판단한다(단계 S158). 블러링 보정의 온, 오프(OFF)의 설정은 블러링 보정 판단 처리에 의해 설정된다.
단계(S158)에서 블러링 보정이 온으로 설정되어 있는 것으로 판단되면, 새롭게 획득한 프레임의 블러링 양에 기초하여 블러링 보정 처리를 실행하고(단계 S159), 단계(S160)로 진행한다. 블러링 검출부(8)는 블러링 양을 검출한다. 블러링 보정이 온으로 설정되어 있지 않은 것으로 판단되면, CPU(10)는 그대로 단계 S160로 진행한다.
구체적으로는, 블러링 보정이 온으로 설정되어 있는 경우에는, CPU(10)는 프 레임의 움직임 벡터와 직전의 트리밍 위치에 기초하여 새로운 트리밍 위치를 결정함으로써 블러링 보정을 실행한다. 블러링 보정이 오프로 설정되어 있는 경우에는, CPU(10)는 직전의 트리밍 위치 및 미리 정해진 트리밍 사이즈에 기초하여 트리밍 영상 데이터를 생성한다. 이 경우는 블러링 보정이 실행되지 않는다.
단계(S160)에서, CPU(10)는 트리밍 영상 데이터를 표시한다.
다음으로, CPU(10)는 표시된 영상 데이터를 저장할 것인지를 판단한다(단계 S161). 저장하지 않는 것으로 판단되는 경우에는, 재생이 완료되었는지를 판단하여(단계 S162), 재생이 완료되지 않은 것으로 판단되는 경우에는 단계(S157)로 복귀한다.
한편, 단계(S161)에서 영상 데이터를 저장할 것으로 판단되면, CPU(10)는 새로운 파일로서 저장할 것인지를 판단한다(단계 S163).
단계(S163)에서 새로운 파일로서 저장할 것으로 판단되면, CPU(10)는 표시한 트리밍 영상 데이터를 압축하여 기록하고(단계 S164), 동영상의 재생이 완료되었는지를 판단한다(단계 S165).
단계(S165)에서 동영상의 재생이 완료되지 않은 것으로 판단되면, 단계(S157)로 복귀하고, 동영상의 재생이 완료된 것으로 판단되면, 단계(S166)로 진행하여, 미리 기록된 복수의 트리밍 영상 데이터로부터 동영상 파일을 생성한다.
한편, 단계(S163)에서 새로운 파일이 아닌, 즉 덮어쓰기로서 저장되는 것으로 판단되면, CPU(10)는 표시한 영상 데이터를 플래시 메모리(12)에 덮어 써 기록한다(단계 S167).
다음으로, CPU(10)는 동영상의 재생이 완료되었는지를 판단한다(단계 S168). 동영상의 재생이 완료되지 않은 것으로 판단되면 단계(S157)로 복귀한다.
그 결과, 블러링 보정이 필요한 프레임에만 블러링 보정이 실행되므로, 불필요한 전력의 소비가 없으며, 불필요한 처리가 실행되지 않는다.
다음으로, 블러링 보정 판단 처리의 동작을 도 7의 순서도를 참조하여 설명한다.
블러링 보정 판단 처리가 개시되면, CPU(10)는 버퍼 메모리에 저장된 동영상 데이터 중에서, 제 1 프레임의 영상 데이터를 획득한다(단계 S201). 이때 CPU(10)는 획득한 프레임의 영상 데이터를 블러링 검출부(8)에 출력한다.
다음으로, CPU(10)는 다음 프레임의 영상 데이터를 버퍼 메모리로부터 새롭게 획득한다(단계 S202). 이때, 영상 처리부(8)는 획득한 영상 데이터를 블러링 검출부(8)에 출력한다.
이후, CPU(10)는 새롭게 획득한 프레임의 영상 데이터의 블러링 양이 이미 검출되었는지를 판단한다(단계 S203). 이때, CPU(10)는 블러링 양이 획득한 프레임의 영상 데이터와 상관시켜 기록되었는지를 판단하거나 또는 대안적으로, 지정된 동영상 파일의 헤더에 블러링 검출이 실행되었음을 지시하는 정보가 기록되었는지를 판단할 수도 있다.
단계(S203)에서 블러링 양이 검출되어 있지 않은 것으로 판단되면, CPU(10)는 블러링 검출부(8)를 사용하여, 출력한 새로운 프레임 영상 데이터의 블러링 검출 처리를 실행하고(단계 S204), 단계(S205)로 진행된다. 이때, CPU(10)는 검출 처 리 결과(블러링 양)를 블러링 검출부(8)로부터 획득한다.
한편, 단계(S203)에서 블러링 양이 검출된 것으로 판단되면, 그대로 단계 (S205)로 진행한다. 이때, 블러링 양이 검출된 것으로 판단되는 경우에는, CPU(10)는 그 프레임과 상관시켜 기록된 블러링 양을 획득한다.
다음으로, CPU(10)는 새롭게 획득한 프레임의 영상 데이터의 블러링 양이 소정값 이상인지를 판단한다(단계 S205).
단계(S205)에서 블러링 양이 소정값 이상인 것으로 판단되면, CPU(10)는 연속된 소정의 회수(예를 들면 3회)에 대하여 블러링 양이 소정값 이상인지를 판단한다(단계 S206).
단계(S206)에서 연속된 소정의 회수에 대하여 블러링 양이 소정값 이상인 것으로 판단되면, CPU(10)는 블러링 보정 처리를 온으로 설정하고(단계 S207), 단계 (S210)로 진행한다. 연속된 소정의 회수에 대하여, 블러링 양이 소정값 이상이 아닌 것으로 판단되면 그대로 단계(S210)로 진행된다.
한편, 단계(S205)에서 새롭게 획득한 프레임의 영상 데이터의 블러링 양이 소정값 미만인 것으로 판단되면, CPU(10)는 연속된 소정의 회수에 대하여 블러링 양이 소정값 미만인지를 판단한다(단계 S208).
단계(S208)에서 연속된 소정의 회수에 대하여 블러링 양이 소정값 미만인 것으로 판단되면, CPU(10)는 블러링 보정 처리를 오프로 설정하고(단계 S209), 단계 (S210)로 진행한다. 연속된 소정의 회수에대하여 블러링 양이 소정값 미만이 아닌 것으로 판단되면 그대로 단계(S210)로 진행한다.
단계(S210)에서, CPU(10)는 동영상의 재생이 완료되었는지를 판단하고, 동영상의 재생이 완료되지 않은 것으로 판단되면 단계(S202)로 복귀한다.
부가하여 변형예 2에서는, 모든 프레임에 대해서 블러링 검출 처리를 실시하였지만, 정기적으로(예를 들면, 소정간격의 프레임마다) 블러링 검출 처리를 실시할 수도 있다. 또한, 블러링 보정 처리가 ON인 경우에는, 블러링을 검출하는 프레임의 간격을 짧게 하고, 블러링 보정 처리가 오프의 경우에는, 블러링을 검출하는 프레임의 간격을 길게 할 수 있다.
F.
변형예
3
상기 실시예 및 변형예 1과 2는 다음의 변형예로도 가능하다.
(1) 상기 실시예 및 변형예 1과 2에 의하면, 블러링 검출부(8)는 프레임의 모든 영상 데이터로부터 블러링 양을 검출하였지만, 프레임의 모든 영상 데이터 중에서, 트리밍되는 영역의 영상 데이터에 기초하여 블러링 양을 검출할 수 있다.
프레임의 움직임 벡터가 검출된 이후에, 그 프레임의 트리밍 영역이 결정되므로, 여기서 말하는, 움직임 벡터를 검출하는 트리밍 영역의 영상 데이터란, 직전에 트리밍된 영역이거나 또는 미리 정해져 있는 트리밍 위치 및 사이즈에 따른 영역을 말한다.
그 결과, 블러링 검출 처리가 실행되는 영역이 단축될 수 있으므로, 배터리의 불필요한 전력이 소비되지 않으며, 블러링 검출 처리의 영역이 좁아지므로, 블러링의 검출이 신속하게 실행될 수 있다.
(2)상기 실시예 및 변형예 1과 2에 의하면, 도 2의 단계(S6), 도 4의 단계 (S39), 및 도 6의 단계(S156)에서, 미리 정해진 트리밍 위치 및 트리밍 사이즈에 기초하여 제 1 프레임의 영상 데이터로부터 트리밍 영상이 생성되지만, 사용자에 의해서 지정된 트리밍 위치 및 트리밍 사이즈에 기초하여 트리밍 영상 데이터가 생성될 수도 있다.
그리고, 제 2 프레임의 트리밍 위치는, 사용자에 의해서 지정된 트리밍 위치와 제 2 프레임의 움직임 벡터에 기초하여 정해지며, 제 3 프레임의 트리밍 위치는, 제 2 트리밍 위치와 제 3 프레임의 움직임 벡터에 기초하여 정해진다.
그 결과, 사용자는 트리밍될 피사체의 범위를 지정할 수 있으며, 지정한 범위 내의 영상의 블러링을 보정할 수 있다.
부가하여, 움직이는 피사체를 트리밍될 피사체 범위로서 지정함으로써, 프레임의 모든 영상 데이터로부터 움직임 벡터를 산출하는 경우에 비하여, 움직이는 피사체가 차지하는 범위가 커지게 된다. 그에 따라, 피사체의 움직임은 움직임 벡터의 검출에 큰 영향을 미치게 되고, 그 결과, 피사체 추적(tracking)과 같은 보정 효과도 얻을 수 있다.
(3)상기 각 실시예 및 변형예 1과 2에 의하면, 움직임 벡터에 기초한 트리밍에 의해 블러링이 보정되지만, 트리밍 처리 없이, 움직임 벡터에 기초하여 프레임의 영상 데이터의 표시 위치를 변경할 수 있다.
부가하여, 영상 데이터의 블러링을 보정하기 위하여 다른 방법이 사용될 수 있다. 즉, 블러링 보정을 실행할 수 있는 것이면, 트리밍의 방법은 국한되지 않는다.
(4)상기 실시예에 의하면, 동영상 촬영 이전에 블러링 검출의 유무를 설정할 수 있었지만, 동영상 재생 이전에도, 블러링 검출의 유무를 설정할 수 있다. 이 경우, 동영상 재생시에 블러링 검출이 있는 경우에는, 동영상의 재생 표시를 실행함과 동시에, 프레임의 블러링 양을 검출하고, 검출된 블러링 양과 프레임을 상관시켜 기록한다.
(5)상기 변형예 2에 의하면, 동영상 재생시에 프레임의 블러링 양에 기초하여 블러링 보정이 ON 또는 오프인지를 판단하고, 그러한 판단에 따라 블러링 보정 처리를 실행하거나 또는 실행하지 않는다. 그러나, 동영상 촬영시에도 프레임의 블러링 양에 기초하여 블러링 보정이 온 또는 오프인지를 판단하고, 그러한 판단에 따라 블러링 보정 처리를 제어할 수 있다.
(6)상기 실시예에 따른 디지털 카메라(1)는 상기 실시예만 국한되지 않는다. 디지털 카메라(1)는 카메라가 부착된 휴대 전화, 카메라가 부착된 PDA, 카메라가 부착된 PC, 카메라가 부착된 IC 레코더, 또는 디지털 비디오 카메라 등이 될 수 있다. 즉, 디지털 카메라(1)는 피사체를 촬영할 수 있는 기기면 어느 것이든 문제되지 않는다.
또한, 본 발명의 실시예의 디지털 카메라의 처리 프로그램은 디지털 카메라의 메모리(예를 들면, ROM 등)에 저장되며, 이러한 처리 프로그램은 컴퓨터 가독 매체에 저장되고, 프로그램만의 제조, 판매 등에서 보호되어야 한다. 이러한 경우, 특허를 갖는 프로그램에 대한 보호 방법은 처리 프로그램이 저장된 컴퓨터-가독 매 체의 형태로 구현될 수 있다.
본 발명의 요지 및 범위를 벗어나지 않는 범위에서, 다양한 변형과 변경이 가능하다. 상기 실시예는 본 발명을 예시하려는 것일 뿐 본 발명이 이러한 실시예에만 제한되는 것은 아니다. 본 발명의 범위는 실시예보다는 첨부된 청구범위에 의해 정해지며, 청구의 범위 및 그와 동일한 의미 내에서 이루어진 다양한 변형은 모두 본 발명의 범위에 속하는 것으로 간주한다.
Claims (18)
- 기록된 동영상 데이터를 재생하고 표시하는 동영상 재생 수단;상기 기록된 동영상 데이터에 블러링 보정을 실행하는 제 1 블러링 보정 수단;상기 제 1 블러링 보정 수단에 의해 블러링 보정의 실행이 필요한 상태에서, 상기 동영상 재생 수단에 의해 재생될 동영상 데이터가 기록되는지를 판단하는 제 1 판단 수단; 및상기 제 1 판단 수단이 블러링 보정이 필요한 상태에서 동영상 데이터가 기록되는 것으로 판단하는 경우에, 상기 동영상 재생 수단에 의해 재생될 동영상 데이터가 재생될 때, 상기 제 1 블러링 보정 수단이 블러링 보정을 실행하는 동안, 동영상 데이터를 재생 및 표시하는 재생 제어 수단을 포함하는 것을 특징으로 하는 동영상 재생 장치.
- 제 1 항에 있어서,상기 기록된 동영상 데이터의 프레임 내의 블러링 양을 검출하는 제 1 검출 수단을 포함하며,상기 제 1 블러링 보정 수단은, 상기 제 1 검출 수단에 의해 검출된 프레임 내의 블러링 양에 기초하여, 프레임에 블러링 보정을 실행하는 것을 특징으로 하는 동영상 재생 장치.
- 제 2 항에 있어서,상기 블러링 양을 나타내는 데이터가 상기 기록된 동영상 데이터의 프레임과 상관시켜 기록된 것인지를 판단하는 제 2 판단 수단;을 더 포함하고,상기 제 2 판단 수단이 상기 블러링 양을 나타내는 데이터가 상기 프레임과 상관시켜 기록된 것으로 판단하는 경우에, 상기 제 1 블러링 보정 수단은, 상기 제 1 검출 수단이 프레임 내의 블러링 양을 검출하지 못하도록 하며, 상기 상관시켜 기록된 블러링 양을 나타내는 데이터에 기초하여 상기 프레임에 블러링 보정을 실행하는 것을 특징으로 하는 동영상 재생 장치.
- 제 1 항에 있어서,상기 제 1 판단 수단은, 블러링 보정이 미리 실행된 동영상 데이터의 경우에는 블러링 보정이 필요하지 않은 것으로 판단하는 것을 특징으로 하는 동영상 재생 장치.
- 제 4 항에 있어서,상기 제 1 판단 수단이 블러링 보정의 실행이 필요하지 않은 것으로 판단하는 경우에, 상기 재생 제어 수단은, 동영상 데이터의 재생 동안, 상기 제 1 블러링 보정 수단에 의한 블러링 보정의 실행 없이 동영상 데이터를 재생 및 표시하는 것을 특징으로 하는 동영상 재생 장치.
- 제 1 항에 있어서,상기 제 1 블러링 보정 수단을 사용하여 상기 재생 제어 수단에 의해 블러링 보정이 실행된 동영상 데이터를 기록 수단에 기록하고, 블러링 보정이 실행되었음을 지시하는 정보를 상기 동영상 데이터에 첨부하는 기록 제어 수단을 포함하고;상기 제 1 판단 수단은, 블러링 보정이 실행되었음을 지시하는 정보가 동영상 데이터에 첨부되지 않은 경우에, 블러링 보정이 실행될 필요가 있는 것으로 판단하는 것을 특징으로 하는 동영상 재생 장치.
- 제 1 항에 있어서,상기 제 1 판단 수단은, 상기 동영상 재생 수단에 의해 재생될 동영상 데이터에서 디스플레이 되어질 프레임 내의 블러링 양에 기초하여, 블러링 보정이 실행될 필요가 있는지를 판단하는 것을 특징으로 하는 동영상 재생 장치.
- 제 1 항에 있어서,상기 제 1 판단 수단은, 표시될 프레임 내의 블러링 양에 기초하여, 프레임의 블러링 보정이 필요한지를 판단하고, 그리고상기 제 1 판단 수단이 블러링 보정이 필요한 것으로 판단하는 경우, 상기 재생 제어 수단은 상기 블러링 보정 수단을 사용하여 블러링 보정을 실행하고, 프레임을 재생 및 표시하며, 블러링 보정이 필요하지 않은 것으로 판단하는 경우에는, 상기 블러링 보정 수단에 의한 블러링 보정의 실행 없이 프레임을 재생 및 표시하는 것을 특징으로 하는 동영상 재생 장치.
- 제 7 항에 있어서,상기 제 1 판단 수단은 재생되어 지는 복수의 프레임들의 블러링 양의 최소, 최대, 평균 또는 전체 중 어느 하나를 사용하여 블러링 보정이 필요한 지를 판단하는 것을 특징으로 하는 동영상 재생 장치.
- 제 1 항에 있어서,피사체를 연속적으로 촬상하고, 촬상된 영상을 동영상 데이터로서 기록하는 동영상 촬상·기록 수단;상기 동영상 촬상·기록 수단에 의해 촬상된 동영상의 프레임 내의 블러링 양을 검출하는 제 2 검출 수단;상기 제 2 검출 수단에 의해 검출된 블러링 양에 기초하여, 프레임 내의 블러링을 보정하는 제 2 블러링 보정 수단;상기 동영상 촬상·기록 수단이 동영상을 기록할 때, 블러링 보정이 실행되는지를 판단하는 제 3 판단 수단; 및상기 제 3 판단 수단이 블러링 보정이 실행되는 것으로 판단하는 경우, 촬상된 동영상 데이터를 기록하는 동시에 상기 제 2 검출 수단은 블러링 검출을 실행하고 상기 제 2 블러링 보정 수단은 블러링 보정을 실행하기 위한 제어 및, 블러링 보정이 실행되지 않는 것으로 판단되는 경우에는, 동영상이 기록될 때 상기 블러링 보정 수단에 의한 블러링 보정의 실행 없이 촬상된 동영상 데이터를 기록하기 위한 제어를 실행하는 기록 제어 수단을 포함하는 것을 특징으로 하는 동영상 재생 장치.
- 제 10 항에 있어서,상기 제 3 판단 수단은, 상기 동영상 촬상·기록 수단이 동영상을 기록할 때 블러링 보정의 실행 없이 블러링 검출만을 실행하는지를 더 판단하는 수단을 포함하고; 그리고상기 제 3 판단 수단이 블러링 보정의 실행 없이 블러링 검출만이 실행되는 것으로 판단하는 경우, 상기 기록 제어 수단은, 동영상이 기록될 때 상기 제 2 검출 수단을 사용하여 블러링 검출만을 실행하고, 검출된 프레임 내에 블러링 양을 나타내는 데이터와 상관시켜, 상기 블러링 양을 기록하는 것을 특징으로 하는 동영상 재생 장치.
- 제 10 항에 있어서,상기 기록 제어 수단은, 상기 제 2 블러링 보정 수단에 의해 블러링 보정이 실행된 동영상 데이터가 기록될 때, 블러링 보정이 실행되었음을 지시하는 정보를 상기 동영상 데이터에 첨부하고; 그리고상기 제 1 판단 수단은, 블러링 보정이 실행되었음을 지시하는 정보가 동영상 데이터에 첨부되어 있지 않은 경우, 블러링 보정이 실행될 필요가 있는 것으로 판단하는 것을 특징으로 하는 동영상 재생 장치.
- 제 10 항에 있어서,상기 기록 제어 수단은, 상기 제 2 블러링 보정 수단에 의해 블러링 보정이 실행되지 않은 동영상 데이터가 기록될 때, 블러링 보정이 실행되지 않았음을 지시하는 정보를 상기 동영상 데이터에 첨부하여 기록하고; 그리고상기 제 1 판단 수단은, 블러링 보정이 실행되지 않았음을 지시하는 정보가 동영상 데이터에 첨부되지 않은 경우, 블러링 보정이 실행될 필요가 있다고 판단하는 것을 특징으로 하는 동영상 재생 장치.
- 제 10 항에 있어서,상기 제 1 블러링 보정 수단과 제 2 블러링 보정 수단 중 적어도 하나는, 프레임 내의 블러링 양에 기초하여 트리밍된 영상 데이터를 생성함으로써 블러링 보정을 실행하는 것을 특징으로 하는 동영상 재생 장치.
- 제 10 항에 있어서,상기 제 1 검출 수단과 제 2 검출 수단 중 적어도 어느 하나는 상기 동영상 데이터에서 추출되어 지거나, 상기 동영상 데이터에서 각각 일정한 간격으로 추출되어지거나, 상기 동영상 데이터의 시작부분에서 추출되어진 복수의 프레임들의 영상 데이터를 기초로 한 프레임에서 상기 블러링 양을 검출하는 것을 특징으로 하는 동영상 재생장치.
- 제 15 항에 있어서,사용자가 트리밍될 트리밍 영역을 지정하도록 하는 지정 수단을 포함하고;상기 제 1 검출 수단과 제 2 검출 수단 중 적어도 하나는, 상기 지정 수단에 의해 지정된 트리밍 영역에 기초한 영역 내의 영상 데이터에 기초하여 프레임 내의 블러링 양을 검출하고; 그리고상기 제 1 블러링 보정 수단과 제 2 블러링 보정 수단 중 적어도 하나는, 상기 지정 수단에 의해 지정된 트리밍 영역 및 상기 제 1 검출 수단과 제 2 검출 수단 중 적어도 하나에 의해 검출된 블러링 양에 기초하여 트리밍된 영상 데이터를 생성하는 것을 특징으로 하는 동영상 재생 장치.
- 기록된 동영상 데이터를 재생 및 기록하는 동영상 재생 단계;상기 기록된 동영상 데이터에 블러링 보정을 실행하는 블러링 보정 단계;상기 블러링 보정 단계에서 블러링 보정의 실행이 필요한 상태에서 상기 동영상 재생 단계에서 재생될 동영상 데이터가 기록되는지를 판단하는 판단 단계; 및상기 판단 단계에서, 블러링 보정이 필요한 상태에서 동영상 데이터가 기록되는 것으로 판단하는 경우에, 상기 동영상 재생 단계에서 재생될 동영상 데이터를 재생할 때, 상기 블러링 보정 단계에서 블러링 보정을 실행하는 동시에 동영상 데이터를 재생 및 표시하는 재생 제어 단계를 포함하는 것을 특징으로 하는 동영상 재생 장치의 제어 방법.
- 동영상 재생 장치의 컴퓨터에 의해 수행되는 컴퓨터 프로그램을 기록하는 기록 매체로서, 상기 프로그램은:기록된 동영상 데이터를 재생 및 표시하는 동영상 재생 처리;상기 기록된 동영상 데이터에 블러링 보정을 실행하는 블러링 보정 처리;상기 블러링 보정 처리에 의해 블러링 보정의 실행이 필요한 상태에서 상기 동영상 재생 처리에 의해 재생될 동영상 데이터가 기록되는지를 판단하는 판단 처리; 및상기 판단 처리에 의해 블러링 보정이 필요한 상태에서 동영상 데이터가 기록되는 것으로 판단하는 경우에, 상기 동영상 재생 처리에 의해 재생될 동영상 데이터가 재생될 때, 상기 블러링 보정 처리에 의해 블러링 보정이 실행되는 동시에 동영상 데이터를 재생 및 표시하는 재생 제어 처리를 포함하는 동영상 재생 장치의 컴퓨터에 의해 수행되는 컴퓨터 프로그램을 기록하는 기록 매체.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JPJP-P-2006-00027567 | 2006-02-03 | ||
JP2006027567A JP4548355B2 (ja) | 2006-02-03 | 2006-02-03 | 動画再生装置及びそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20070116093A KR20070116093A (ko) | 2007-12-06 |
KR100920559B1 true KR100920559B1 (ko) | 2009-10-08 |
Family
ID=37964086
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020077023301A KR100920559B1 (ko) | 2006-02-03 | 2007-01-30 | 카메라-흔들림 보정 기능을 갖는 동영상 재생장치 및 기록 매체 |
Country Status (7)
Country | Link |
---|---|
US (1) | US7697034B2 (ko) |
EP (1) | EP1856909B1 (ko) |
JP (1) | JP4548355B2 (ko) |
KR (1) | KR100920559B1 (ko) |
CN (1) | CN101310526B (ko) |
TW (1) | TWI337038B (ko) |
WO (1) | WO2007089005A1 (ko) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090066799A1 (en) * | 2007-09-11 | 2009-03-12 | Omnivision Technologies, Inc. | Image sensor apparatus and method for embedding image stabilization data into image data |
US20090079842A1 (en) * | 2007-09-26 | 2009-03-26 | Honeywell International, Inc. | System and method for image processing |
US7800652B2 (en) * | 2007-12-12 | 2010-09-21 | Cyberlink Corp. | Reducing video shaking |
JP4534172B2 (ja) * | 2008-04-03 | 2010-09-01 | ソニー株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP5507865B2 (ja) * | 2009-03-12 | 2014-05-28 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP5570769B2 (ja) | 2009-07-23 | 2014-08-13 | オリンパス株式会社 | 内視鏡装置、計測方法、およびプログラム |
JP5597061B2 (ja) * | 2010-08-18 | 2014-10-01 | キヤノン株式会社 | 映像再生装置、及びその制御方法 |
TW201230805A (en) * | 2011-01-04 | 2012-07-16 | Aptos Technology Inc | Video playback apparatus and method |
US9716837B2 (en) | 2013-09-16 | 2017-07-25 | Conduent Business Services, Llc | Video/vision based access control method and system for parking occupancy determination, which is robust against abrupt camera field of view changes |
US9736374B2 (en) | 2013-09-19 | 2017-08-15 | Conduent Business Services, Llc | Video/vision based access control method and system for parking occupancy determination, which is robust against camera shake |
US9953464B2 (en) | 2013-09-26 | 2018-04-24 | Conduent Business Services, Llc | Portable occupancy detection methods, systems and processor-readable media |
JP6336341B2 (ja) * | 2014-06-24 | 2018-06-06 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
JP6371656B2 (ja) * | 2014-09-26 | 2018-08-08 | キヤノン株式会社 | 画像再生装置、画像再生方法およびプログラム、並びに撮像装置 |
EP3144883A1 (en) * | 2015-09-16 | 2017-03-22 | Thomson Licensing | Method and apparatus for sharpening a video image using an indication of blurring |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002077591A (ja) | 2000-09-05 | 2002-03-15 | Minolta Co Ltd | 画像処理装置および撮像装置 |
JP2002209136A (ja) | 2001-01-05 | 2002-07-26 | Canon Inc | 撮影装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH066669A (ja) * | 1992-06-22 | 1994-01-14 | Hitachi Ltd | カメラ一体型記録再生装置 |
JP3951321B2 (ja) * | 1995-08-30 | 2007-08-01 | ソニー株式会社 | 画像信号処理装置および記録/再生装置 |
JPH09322057A (ja) * | 1996-05-28 | 1997-12-12 | Canon Inc | 撮像装置 |
JP3697129B2 (ja) * | 2000-01-20 | 2005-09-21 | キヤノン株式会社 | 撮像装置 |
US7791641B2 (en) | 2001-09-12 | 2010-09-07 | Samsung Electronics Co., Ltd. | Systems and methods for utilizing activity detection information in relation to image processing |
JP2003111041A (ja) * | 2001-09-28 | 2003-04-11 | Canon Inc | 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム |
JP2004088567A (ja) * | 2002-08-28 | 2004-03-18 | Sony Corp | 撮像装置および方法、記録媒体、並びにプログラム |
EP1577705B1 (en) * | 2002-12-25 | 2018-08-01 | Nikon Corporation | Blur correction camera system |
JP2005086669A (ja) * | 2003-09-10 | 2005-03-31 | Olympus Corp | カメラ |
JP4428159B2 (ja) * | 2003-11-05 | 2010-03-10 | セイコーエプソン株式会社 | 画像データ生成装置、画質補正装置、画像データ生成方法および画質補正方法 |
JP4321265B2 (ja) * | 2004-01-06 | 2009-08-26 | 株式会社ニコン | 電子カメラ |
CN100350792C (zh) * | 2004-04-14 | 2007-11-21 | 奥林巴斯株式会社 | 摄像装置 |
JP2006033758A (ja) * | 2004-07-21 | 2006-02-02 | Olympus Imaging Corp | 撮像装置および画像復元方法 |
-
2006
- 2006-02-03 JP JP2006027567A patent/JP4548355B2/ja not_active Expired - Fee Related
-
2007
- 2007-01-30 EP EP07708002.6A patent/EP1856909B1/en active Active
- 2007-01-30 KR KR1020077023301A patent/KR100920559B1/ko not_active IP Right Cessation
- 2007-01-30 CN CN2007800001040A patent/CN101310526B/zh active Active
- 2007-01-30 WO PCT/JP2007/051874 patent/WO2007089005A1/en active Application Filing
- 2007-02-01 US US11/701,341 patent/US7697034B2/en active Active
- 2007-02-01 TW TW096103699A patent/TWI337038B/zh not_active IP Right Cessation
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002077591A (ja) | 2000-09-05 | 2002-03-15 | Minolta Co Ltd | 画像処理装置および撮像装置 |
JP2002209136A (ja) | 2001-01-05 | 2002-07-26 | Canon Inc | 撮影装置 |
Also Published As
Publication number | Publication date |
---|---|
TW200806021A (en) | 2008-01-16 |
JP4548355B2 (ja) | 2010-09-22 |
TWI337038B (en) | 2011-02-01 |
JP2007208849A (ja) | 2007-08-16 |
US20090021590A1 (en) | 2009-01-22 |
WO2007089005A1 (en) | 2007-08-09 |
EP1856909A1 (en) | 2007-11-21 |
EP1856909B1 (en) | 2013-06-05 |
CN101310526A (zh) | 2008-11-19 |
US7697034B2 (en) | 2010-04-13 |
KR20070116093A (ko) | 2007-12-06 |
CN101310526B (zh) | 2010-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100920559B1 (ko) | 카메라-흔들림 보정 기능을 갖는 동영상 재생장치 및 기록 매체 | |
JP5234119B2 (ja) | 撮像装置、撮像処理方法及びプログラム | |
JP4507392B2 (ja) | 電子カメラ | |
WO2012138620A2 (en) | Digital camera having variable duration burst mode | |
JP5158409B2 (ja) | 撮像装置及びそのプログラム | |
KR20150032165A (ko) | 결합하는 동영상의 동영상 선별 장치, 동영상 선별 방법 및 기억 매체 | |
US8068144B2 (en) | Image recording and reproducing apparatus | |
KR20120071972A (ko) | 사용자가 원하는 시점의 정지 영상을 획득할 수 있는 디지털 영상 신호 처리 장치 및 이의 제어 방법 | |
JP2007325152A (ja) | 撮像装置及びそのプログラム | |
JP6090494B2 (ja) | 動画撮影装置および動画像揺れ補正方法ならびにプログラム | |
JP2007049320A (ja) | 電子カメラ | |
KR20150088200A (ko) | 촬상 장치, 촬상 제어 방법 및 프로그램 | |
JP2009077265A (ja) | 撮像装置 | |
JP5910565B2 (ja) | 動画撮影装置および動画像揺れ補正方法ならびにプログラム | |
JP4948014B2 (ja) | 電子カメラ | |
JP4719505B2 (ja) | 映像信号処理装置及び映像信号処理方法 | |
JP4752223B2 (ja) | カメラ装置 | |
JP5179859B2 (ja) | 撮像装置及び撮像方法 | |
JP2014049882A (ja) | 撮像装置 | |
JP2007028331A (ja) | 画像生成装置及びそのプログラム | |
JP5332668B2 (ja) | 撮像装置および被写体検出プログラム | |
JP5300627B2 (ja) | 撮像装置、その制御方法及びプログラム | |
JP2020123863A (ja) | 撮像装置 | |
JP2008048152A (ja) | 動画処理装置、動画撮影装置および動画撮影プログラム | |
JP2013016905A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20120907 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20130903 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20140919 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20150918 Year of fee payment: 7 |
|
LAPS | Lapse due to unpaid annual fee |