KR20100024261A - Digital camera and controlling method thereof - Google Patents
Digital camera and controlling method thereof Download PDFInfo
- Publication number
- KR20100024261A KR20100024261A KR1020080083031A KR20080083031A KR20100024261A KR 20100024261 A KR20100024261 A KR 20100024261A KR 1020080083031 A KR1020080083031 A KR 1020080083031A KR 20080083031 A KR20080083031 A KR 20080083031A KR 20100024261 A KR20100024261 A KR 20100024261A
- Authority
- KR
- South Korea
- Prior art keywords
- smile level
- image
- smile
- calculated
- mouth
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
Description
본 발명은 디지털 카메라 및 그 제어방법에 관한 것으로, 보다 구체적으로는 피사체 인물의 웃는 표정을 인식하여 촬영개시 여부를 판단하는 비 접촉식 촬영방식을 지원하며, 특히 촬영개시 신호로서의 임계적인 스마일 레벨을 사용자가 직접 설정함으로써 촬영개시 여부의 판단을 사용자의 취향이나 선호도에 따라 커스터마이즈드 (customized) 시킬 수 있는 디지털 카메라 및 그 제어방법에 관한 것이다. The present invention relates to a digital camera and a control method thereof, and more particularly, to a non-contact photographing method for determining whether to start photographing by recognizing a smiling face of a subject person, and in particular, to set a critical smile level as a photographing start signal. The present invention relates to a digital camera and a method of controlling the same, which can be customized by a user according to a user's taste or preference.
일반적인 촬영방법에서는 셔터 버튼을 누르는 사용자의 물리적인 조작으로부터 카메라의 촬영동작이 개시된다. 그러나, 이러한 접촉식 촬영방식에서는 셔터 버튼의 조작에 의해 카메라에 흔들림에 발생하여 영상이 번지거나 흐려지는 등의 화질 저하가 발생될 수 있고, 또한 피사체 인물의 웃는 표정을 순간적으로 포착하여 셔터 버튼을 조작해야 하는 등 촬영자의 수고가 요구된다. 최근에는 웃는 표정과 같은 지정된 표정을 자동으로 포착하여 촬영동작이 개시되도록 하는 진보된 기술이 연구되고 있다. 예를 들어, 웃는 표정에서 나타나는 형상학적인 특징들을 분석하여 촬영을 개시한다는 것이지만, 개인별 편차를 고려하지 않고 촬영개시 여부에 관한 판단기준을 제조자 측에서 획일적으로 제공한다면, 촬영을 의도한 표정이 무시될 수 있고, 촬영을 의도하지 않았음에도 촬영이 개시되는 등 사용자의 의도와 무관하게 촬영이 이루어질 수 있는 문제가 있다. In the general photographing method, the photographing operation of the camera is started from the physical manipulation of the user who presses the shutter button. However, in such a contact-type photographing method, the camera may be shaken by the operation of the shutter button, resulting in a deterioration in image quality, such as blurring or blurring of the image. Also, the shutter button may be operated by capturing a smiling face of the subject. It is necessary to do the work of the photographer. Recently, advanced techniques for automatically capturing a specified facial expression such as a smiling facial expression to start a photographing operation have been studied. For example, if you start shooting by analyzing the morphological features of a smiling face, but if the manufacturer provides uniform criteria for shooting start without considering individual variation, the expression intended to shoot is ignored. There is a problem that the recording can be made irrespective of the user's intention, such as shooting is started even if not intended to shoot.
본 발명은 피사체 인물의 웃는 표정을 인식하여 촬영동작을 개시하는 비 접촉식 촬영방식을 지원하면서도 개별 사용자가 등록해둔 템플릿 이미지를 촬영개시 여부의 임계적인 기준으로 활용함으로써 촬영개시 신호를 커스터마이즈드(customized) 시킬 수 있는 디지털 카메라 및 그 제어방법을 제공하는 것이다. The present invention can be customized by using a template image registered by an individual user as a critical criterion of whether or not to start shooting while supporting a non-contact shooting method for recognizing a smiling face of a subject person and initiating a shooting operation. It is to provide a digital camera and a control method thereof.
상기와 같은 목적 및 그 밖의 목적을 달성하기 위하여, 본 발명의 디지털 카메라는,In order to achieve the above object and other objects, the digital camera of the present invention,
스마일 인식 촬영모드에서 피사체 인물의 이미지를 출력하는 촬상소자;An image pickup device for outputting an image of a subject person in a smile recognition photographing mode;
상기 이미지 내로부터 피사체 인물의 스마일 레벨을 결정짓는 특징요소들을 추출해내는 특징요소 추출부;A feature element extracting unit which extracts feature elements for determining a smile level of a subject person from within the image;
추출된 특징요소들로부터 스마일 레벨을 산출하는 스마일 레벨 산출부; 및A smile level calculator configured to calculate a smile level from the extracted feature elements; And
산출된 스마일 레벨과 사용자가 등록해둔 템플릿 이미지의 스마일 레벨을 서로 비교하고, 그 대소관계에 따라 촬영개시 여부를 결정하는 동작개시 판단부;를 포함한다.And an operation start determination unit for comparing the calculated smile level with the smile level of the template image registered by the user, and determining whether to start shooting according to the magnitude relationship.
바람직하게, 상기 특징요소 추출부는 얼굴 영역을 인식하고, 상기 특징요소로서 눈 영역 또는 입 영역 중 적어도 하나를 추출해낸다. Preferably, the feature extractor recognizes a face region and extracts at least one of an eye region or a mouth region as the feature.
바람직하게, 상기 스마일 레벨 산출부는 눈의 개구도 또는 입의 개구도 중 적어도 하나를 수치적으로 평가한 값을 상기 스마일 레벨로 출력한다. 또는, 상기 스마일 레벨 산출부는 눈의 개구도, 입의 개구도, 눈의 에지 라인이 추종하는 곡선 및 입의 에지 라인이 추종하는 곡선을 수치적으로 평가한 값을 상기 스마일 레벨로 출력한다. Preferably, the smile level calculator outputs a value obtained by numerically evaluating at least one of the eye opening degree and the mouth opening degree as the smile level. Alternatively, the smile level calculator outputs a value obtained by numerically evaluating the eye opening degree, the mouth opening degree, the curve following the edge line of the eye, and the curve following the edge line of the mouth, as the smile level.
바람직하게, 상기 동작개시부는, Preferably, the operation start unit,
산출된 스마일 레벨 ≥ 템플릿 이미지의 스마일 레벨이면, 촬영개시신호를 발생하고, If the calculated smile level ≥ the smile level of the template image, a shooting start signal is generated,
산출된 스마일 레벨 < 템플릿 이미지의 스마일 레벨이면, 촬영개시신호를 발생하지 않는다.If the calculated smile level <smile level of the template image, no photographing start signal is generated.
한편, 본 발명의 다른 측면에 따른 디지털 카메라의 제어방법은, On the other hand, the control method of the digital camera according to another aspect of the present invention,
피사체 인물의 이미지로부터 얼굴영역을 인식하고, 스마일 레벨을 결정짓는 특징요소들을 추출해내는 단계;Recognizing a face region from an image of a subject person and extracting features that determine a smile level;
추출된 특징요소들을 수치적으로 평가하여 스마일 레벨을 산출해내는 단계; 및Numerically evaluating the extracted feature elements to calculate a smile level; And
산출된 스마일 레벨과 사용자가 저장해둔 템플릿 이미지의 스마일 레벨을 서로 비교하고, 그 대소관계에 따라 촬영개시 여부를 결정하는 단계;를 포함한다.And comparing the calculated smile level with the smile level of the template image stored by the user, and determining whether to start shooting according to the magnitude relationship.
바람직하게, 상기 특징요소들을 추출하는 단계에서는 피사체의 이미지로부터 눈 영역 또는 입 영역 중 적어도 하나를 추출한다. Preferably, the extracting of the feature elements extracts at least one of an eye region and a mouth region from an image of a subject.
바람직하게, 상기 스마일 레벨을 산출해내는 단계에서는, 눈의 개구도 또는 입의 개구도 중 적어도 하나를 수치적으로 평가한 값을 상기 스마일 레벨로 산출한다. 또는, 상기 스마일 레벨을 산출해내는 단계에서는, 눈의 개구도, 입의 개구도, 눈의 에지 라인이 추종하는 곡선 및 입의 에지 라인이 추종하는 곡선을 수치적으로 평가한 값을 상기 스마일 레벨로 산출한다.Preferably, in the calculating of the smile level, a value obtained by numerically evaluating at least one of the opening degree of the eye and the opening degree of the mouth is calculated as the smile level. Alternatively, in the calculating of the smile level, the smile level is obtained by numerically evaluating the eye opening degree, the mouth opening degree, the curve followed by the eye edge line, and the curve followed by the mouth edge line. Calculate
바람직하게, 상기 결정단계에서는,Preferably, in the determining step,
산출된 스마일 레벨 ≥ 템플릿 이미지의 스마일 레벨이면, 촬영개시신호를 발생하고, If the calculated smile level ≥ the smile level of the template image, a shooting start signal is generated,
산출된 스마일 레벨 < 템플릿 이미지의 스마일 레벨이면, 촬영개시신호를 발생하지 않는다. If the calculated smile level <smile level of the template image, no photographing start signal is generated.
본 발명에 의한 디지털 카메라 및 그 제어방법에 의하면, 피사체 인물의 웃는 표정을 인식하여 촬영동작을 개시하는 이른바, 비접촉식 촬영방식을 지원하면서도 개별 사용자가 등록해둔 템플릿 이미지를 촬영개시 여부에 관한 임계적인 기준으로 활용함으로써 사용자는 자신의 취향을 반영하여 촬영개시 신호를 커스터마이즈드(customized) 시킬 수 있다. According to the digital camera according to the present invention and a control method thereof, a criterion for determining whether to start capturing a template image registered by an individual user while supporting a so-called non-contact photographing method in which a photographing operation is started by recognizing a smiling face of a subject person. The user can customize the shooting start signal by reflecting his or her taste.
이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 바람직한 실시 형태에 관하여 설명하기로 한다. 도 1에는 본 발명의 일 실시 형태에 관한 디지털 카메라의 전체적인 구성이 개괄적으로 도시되어 있다. 본 명세서를 통하여 디지털 카메라란 적정의 촬영 기능을 갖춘 디지털 모바일 기기로서, 단순히 카메라라는 형태적인 특징에 기반하여 분류된 협의의 카메라만을 의미하는 것은 아니며, 캠코더, 휴대폰, PDA 등과 같이 휴대성과 촬영 기능을 겸비한 디지털 기기들을 모두 포괄하는 광의적인 의미로 사용된다. Hereinafter, exemplary embodiments of the present invention will be described with reference to the accompanying drawings. 1 schematically shows the overall configuration of a digital camera according to one embodiment of the present invention. Through this specification, a digital camera is a digital mobile device having an appropriate photographing function. The digital camera does not simply mean a negotiated camera classified based on a morphological feature called a camera. It is used in a broad sense to encompass all the digital devices it has.
도면을 참조하면, 상기 디지털 카메라는, 다수의 광학 렌즈들을 포함하여 피사체 영상을 촬상면에 대해 결상시키기 위한 광학 유닛(110), 상기 광학 유닛(110)을 경유한 피사체 영상을 전기적인 영상신호로 변환하기 위한 촬상소자(120), 상기 촬상소자(120)의 출력신호를 처리하여 양자화된 디지털 영상신호로 변환하기 위한 아날로그 프론트엔드(Analog Front End;AFE) 회로(130), 신호처리를 위한 작업영역을 제공하도록 영상신호를 일시적으로 저장하는 버퍼 메모리(140;Dynamic Random Access Memory, DRAM), 피사체의 영상 데이터가 정지영상 또는 동영상 파일 형태로 저장되는 기록매체(170), 그리고, 전반적인 데이터 흐름과 각 구성부분들을 총괄적으로 제어하는 디지털 신호 처리기(150)를 포함한다. 한편, 상기 디지털 카메라는 입출력장치로서 사용자의 조작을 감지하기 위한 다수의 입력 메커니즘을 갖춘 사용자 조작부(190)와, 디지털 신호 처리기(150)로부터 영상신호를 전송받아 화면상에 표시해주는 LCD 패널(180)을 더 포함할 수 있다. Referring to the drawings, the digital camera includes a plurality of optical lenses, the
상기 광학 유닛(110)은 광축 방향을 따라 전후 이동하며 초점 거리를 변화시키는 줌 렌즈(112), 촬상소자(120)로의 노광시간 및 입사 광량을 조절하기 위한 셔터(114)와 조리개(116), 그리고, 촬상소자(120)에 결상되는 피사체 영상의 초점을 조절하는 포커스 렌즈(118)를 포함한다. 상기 줌 렌즈(112), 셔터(114), 조리개(116), 그리고 포커스 렌즈(118)는 드라이버(111)로 제어되는 액츄에이팅 모터(미도시)에 의해 구동된다.The
상기 촬상소자(120)는, 예를 들어, CCD(Charged Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서로서, 광학 유닛(110)을 경유하여 입사된 피사체의 영상을 전기적인 화상 신호로 변환한다. 상기 촬상소자(120)의 동작은 타이밍 생성기(121;Timing Generator;TG)를 개재하여 디지털 신호 처리기(150)에 의해 제어될 수 있다. 상기 촬상소자(120)는 스틸 촬영(정지영상 촬영) 및 동영상 촬영을 모두 수행할 수 있다. 본 발명의 디지털 카메라는 셔터 버튼의 조작에 의하지 않고 피사체 인물의 웃는 표정을 촬영개시신호로 하여 촬영동작을 개시하는 이른바 스마일 인식 촬영모드를 지원하며, 이때 상기 촬상소자는 일정한 구동 클럭에 따라 연속적으로 이미지들을 출력해내는 한편으로, 상기 디지털 신호 처리기는 연속적으로 입력되는 이미지들을 분석하여 피사체 인물의 웃는 표정을 포착하고, 이를 촬영개시신호로 하여 본격적인 촬영동작을 개시한다. 이에 대해서는 후에 보다 상세히 설명하기로 한다. The
상기 아날로그 프론트엔드 회로(130;AFE 회로)는 촬상소자의 출력 신호에 대해, 높은 신호-잡음 비율 (Signal to Noise ratio)이 유지되도록 상호 연관된 이중 샘플링(Correlated Double Sampling; CDS) 방식으로 샘플 홀드를 행하고, AGC(Auto Gain Control)에 의해 화상 신호의 이득을 제어하고, ADC(Analog Digital Conversion) 처리를 수행함으로써, 촬상소자(120)로부터 출력된 아날로그 화상 신호를 디지털 영상 신호로 변환한다. The analog front-end circuit 130 (AFE circuit) performs sample hold on the output signal of the image pickup device by a correlated double sampling (CDS) method so that a high signal-to-noise ratio is maintained. By controlling the gain of the image signal by AGC (Auto Gain Control) and performing analog digital conversion (ADC) processing, thereby converting the analog image signal output from the
이렇게 아날로그 프론트엔드 회로(130;AFE 회로)에서 양자화된 디지털 영상 신호는 선택적으로 화질보정처리 및 휘도(Y)/색도(C) 변환 처리 등을 거친 후 인코더/디코더(160)로 전송된다. 인코더/디코더(160)로 전달된 영상 데이터는 JPEG(Joint Photographic Expert Group) 또는 MPEG(Moving Picture Expert Group) 등의 규정된 압축 부호화 방식에 따라 부호화 데이터로 변환된 후 기록매체(170)로 전송되어 저장된다. 기록매체(170)에 저장된 영상파일은 인코더/디코더(160)에 의해 신장 복호화됨으로써 정지영상 또는 동영상의 재생화면을 구성한다. 상기 버퍼 메모리 (140; 또는 DRAM)은 각종 데이터 처리를 위한 작업영역을 제공하는 휘발성 메모리로서, 인코더/디코더(160)와 디지털 신호 처리기(150)의 작업영역을 제공하게 된다. The digital video signal quantized by the analog front end circuit 130 (AFE circuit) is selectively transmitted to the encoder /
상기 디지털 신호 처리기(150)는 EEPROM(155;Electronically Erasable and Programmable ROM)에 기록된 프로그램을 실행함으로써 촬상장치의 각 구성요소들을 총괄적으로 제어하게 되며, 각종 처리를 수행하게 된다. 예를 들어, 상기 디지털 신호 처리기(150)는 드라이버(111)를 개재하여 광학 유닛(110)의 동작을 제어하고, 타이밍 생성기(121)를 통하여 촬상소자(120)의 작동을 제어하도록 제어명령을 생성한다. The
상기 디지털 신호 처리기(150)는 촬상소자(120)로부터 출력되는 이미지들을 분석하여 얼굴영역을 인식하고, 웃는 표정에서 나타나는 특징적인 요소들을 평가하여 스마일 레벨을 산출해내며, 산출된 스마일 레벨과 사용자가 등록해둔 사용자 템플릿을 상호 비교하여 촬영개시신호를 출력한다. 이와 관련하여, 도 2에는 상기 디지털 신호 처리기(150)의 구성 블록도가 도시되어 있다. 상기 디지털 신호 처리기(150)는 촬상소자(120)로부터 입력되는 이미지 내로부터 얼굴영역을 인식하고, 눈이나 입과 같이 웃는 표정에서 나타나는 특징요소들을 추출해내는 특징요소 추출 부(151)와, 추출된 특징요소들을 평가하여 스마일 레벨을 산출해내는 스마일 레벨 산출부(152)와, 산출된 스마일 레벨과 사용자가 등록해둔 템플릿(TP)의 스마일 레벨을 서로 비교하고, 촬영개시 여부를 결정하는 동작개시 결정부(153)를 구비한다. The
상기 특징요소 추출부(151)는 얼굴인식 알고리즘을 수행함으로써 입력된 이미지 내로부터, 사람의 얼굴이 찍혀 있는 얼굴영역을 인식하고 스마일 레벨을 결정짓는 특징적인 구성요소들을 추출한다. 통계적인 기법을 적용할 때, 개인별 편차에도 불구하고 웃는 표정에서는 '눈이 가늘어진다', '눈 꼬리가 내려간다', '입의 각도가 올라간다', '입이 열린다, '주름이 생긴다' 등의 공통적인 특징들이 관찰되며, 이러한 형상학적인 특징들을 평가하여 수치화시킴으로써 해당 이미지의 스마일 레벨을 산출하는 것이 가능하다. 예를 들어, 입력된 이미지상에 찍힌 눈과 입 영역을 인식하고, 눈의 개구도, 눈의 에지 라인이 추종하는 곡선도, 입의 개구도, 입의 에지 라인이 추종하는 곡선도 등을 수량화한다면, 해당 이미지의 스마일 레벨을 산출할 수 있을 것이다. 상기 스마일 레벨은 피사체 인물의 웃는 표정에서 외견상 관찰되는 형상으로부터 웃는 정도를 평가하여 수치적으로 나타낸 것으로, 입을 벌리지 않고 눈으로만 가볍게 웃는 정도를 낮은 레벨로 판단하고, 입을 벌리고 환하게 웃는 정도를 높은 레벨로 판단하여 임의기준에 대한 상대적인 웃는 정도를 퍼센트(%)화하여 나타낼 수 있다. 도 3에는 피사체 인물 각각에 대해 스마일 레벨을 평가한 결과를 보여주는 이미지가 도시되어 있다. The
본 발명에서는 사용자가 등록해둔 템플릿(TP) 이미지와, 촬상소자(120)에서 입력되는 이미지 간의 스마일 레벨을 서로 비교하고, 템플릿(TP) 보다 높은 스마일 레벨이 검출되는 것을 사용자의 촬영개시 신호로 판단하고 촬영동작을 개시한다. 사용자가 눈이나 코, 또는 입과 같이 얼굴의 일부 부위에 관한 이미지를 템플릿(TP) 이미지로 등록해둔 경우라면, 상기 특징요소 추출부(151)는 촬상소자(120)에서 입력되는 이미지로부터 템플릿(TP)에 대응되는 얼굴 부위(눈, 코, 입 등)를 특징요소로 추출할 수 있다. 예를 들어, 도 4a 및 도 4b에 도시된 바와 같이, 사각 테두리로 둘러싸인 입 영역을 템플릿(TP) 이미지로 등록해둘 수 있고, 이 경우, 상기 특징요소 추출부(151)는 촬상소자(120)에서 입력된 이미지로부터 상기 템플릿(TP) 이미지에 대응되는 입 영역을 특징요소로 추출할 수 있다. In the present invention, the smile level between the template (TP) image registered by the user and the image input from the
보다 구체적으로, 상기 특징요소 추출부(151)는 입력된 이미지에 저주파통과 필터를 적용함으로써 고주파 잡음 성분을 제거하는 필터링, RGB 색상정보를 YCrCb 공간으로 변환하는 컬러 스페이스 변환, 조명환경 변화에 따른 얼굴 인식률의 차이를 상쇄하기 위한 조도보정 등을 통하여 입력된 이미지를 얼굴추출에 용이한 이미지로 변환하여 인식율을 높이는 전처리 과정(preprocessing)을 수행한다. 그리고, 이렇게 전처리된 이미지로부터 에지 이미지를 추출하고 형상학적인 모델과 대조하여 눈, 입 등을 포함하는 특징요소들을 추출하고, 이들의 추출 여부에 따라 얼굴영역을 산출할 수 있다. 이렇게 산출된 얼굴영역은 디스플레이 패널에 표시된 이미지상에서 사각형 프레임에 의해 둘러싸여 표시될 수 있다(도 3 참조). More specifically, the
상기 스마일 레벨 산출부(152)는 추출된 특징요소들을 분석하여 해당 이미지의 스마일 레벨을 산출한다. 예를 들어, 상기 스마일 레벨 산출부(152)는 특징요소로 검출된 눈과 입 영역에 대해 수학적인 관계를 도입하여 입의 개구도, 눈의 개구 도를 수치화하고, 필요에 따라 눈 또는 입의 에지 라인이 추종하는 곡선을 핏팅한 결과를 분석하여 스마일 레벨을 산출한다. 예를 들어, 눈, 입의 개구도나 에지 라인과 같은 스마일 레벨의 결정인자들에 가중치를 적용하여 합산하는 방식으로 수 개의 결정인자들을 취합하여 종합적으로 판단할 수 있고, 이 경우, 단순히 입만 크게 벌리거나 눈만 가늘게 뜨는 것은 웃는 표정으로 판단되지 않거나 적어도 스마일 레벨이 높은 것으로 판단되지 않을 수 있다. The
상기 동작개시 판단부(153)는 산출된 스마일 레벨과 사전에 사용자가 등록해둔 탬플릿(TP)을 서로 비교하고, 수치적인 대소관계에 따라 촬영동작을 개시할지 여부를 판단한다. 사용자가 등록해둔 템플릿(TP)은 촬영개시신호로서 임계적인 레벨을 설정해놓은 것이므로, 산출된 스마일 레벨 ≥ 템플릿(또는 템플릿의 스마일 레벨) 이면, 촬영동작을 개시하고, 산출된 스마일 레벨 < 템플릿(또는 템플릿의 스마일 레벨) 이면 촬영동작을 개시하지 않고 그대로 대기상태를 유지한다. The operation start determining
사용자는 템플릿 등록 모드에서 자신의 웃는 표정을 촬영할 수 있고, 얼굴영역의 전체 또는 원하는 부위(예를 들어, 눈, 코, 입 등)를 템플릿(TP) 이미지로 지정할 수 있다. 또한, 사용자는 촬영 완료되어 기록매체(170)에 보관중인 이미지를 템플릿(TP) 이미지로 지정할 수 있고, 촬영 완료된 얼굴 전체를 템플릿(TP) 이미지로 지정하거나 또는 원하는 일부 부위를 템플릿(TP) 이미지로 지정할 수 있다. The user may photograph his / her smiley face in the template registration mode and designate the entirety or a desired portion (eg, eyes, nose, mouth, etc.) of the face area as a template (TP) image. In addition, the user may designate an image that is captured and stored in the
사용자는 템플릿(TP)의 등록을 통하여 촬영개시 신호로서의 임계적인 레벨을 자신의 취향에 맞게 최적화시킬 수 있다. 만일, 제조사로부터 제공되는 일괄적인 기준에 따라 촬영개시 여부를 결정한다면, 촬영을 의도한 웃는 표정이 그대로 무시 될 수 있고, 촬영을 의도하지 않은 표정으로부터 촬영이 개시되는 등 사용자의 의도와 무관하게 촬영이 이루어질 수 있다. 본 발명에서는 피사체 인물의 웃는 표정을 인식하여 촬영동작을 개시하는 이른바 비접촉식 촬영 방식을 지원하면서도 사용자가 등록해둔 템플릿(TP)을 기준으로 촬영개시 여부를 결정함으로써 개별 사용자의 취향, 선호도를 반영한 촬영이 가능하다. By registering the template TP, the user can optimize the critical level as the shooting start signal according to his or her taste. If it is determined whether to start shooting according to the collective criteria provided by the manufacturer, the smiley face intended to be taken may be ignored as it is, and the shooting is started regardless of the user's intention, such as shooting is started from an unintended face. This can be done. In the present invention, while supporting the so-called contactless shooting method that recognizes the smiling face of the subject person and starts the shooting operation, the shooting reflecting the taste and preference of the individual user is determined by determining whether to start shooting based on the template (TP) registered by the user. It is possible.
이하에서는 본 발명의 바람직한 일 실시 형태에 따른 디지털 카메라의 제어방법에 대해 설명하기로 한다. 도 5에는 디지털 카메라의 제어방법에서 수행되는 제어단계들을 도시한 것으로, 주로 디지털 신호 처리기(150)에 의해 수행되는 플로우 차트가 도시되어 있다. 현재의 설정 모드가 스마일 인식 촬영모드로 판단되면(S10), 상기 디지털 신호 처리기(150)는 촬상소자(120)에서 입력되는 이미지로부터 에지 이미지를 추출하고 형상학적인 모델과 대조하여 스마일 레벨을 결정하는 눈, 입 등의 특징요소들을 추출한다(S11).Hereinafter, a control method of a digital camera according to a preferred embodiment of the present invention will be described. FIG. 5 illustrates control steps performed in the control method of the digital camera, and a flowchart mainly performed by the
다음에, 상기 디지털 신호 처리기(150)는 추출된 특징요소들로부터 스마일 레벨을 산출해낸다(S12). 예를 들어, 상기 디지털 신호 처리기(150)는 특징요소로 검출된 눈과 입 영역에 대해 수학적인 관계를 도입하여 입의 개구도, 눈의 개구도를 수치화하고, 필요에 따라 눈 또는 입의 에지 라인이 추종하는 곡선을 핏팅한 결과를 수학적으로 평가하여 스마일 레벨을 산출해낸다. Next, the
다음에, 상기 디지털 신호 처리기(150)는 사용자가 등록해둔 템플릿 이미지를 조회하고(S13), 전 단계(S12)에서 산출된 스마일 레벨과 사용자가 등록해둔 템플릿(TP) 이미지를 서로 비교하며, 수치적인 대소관계에 따라 촬영동작을 개시할지 여부를 판단한다(S14). 상기 디지털 신호 처리기(150)는 산출된 스마일 레벨 ≥ 템플릿 (템플릿의 스마일 레벨) 이면, 촬영동작을 개시하여(S15) 촬영작업을 진행하고(S16), 산출된 스마일 레벨 < 템플릿 (템플릿의 스마일 레벨) 이면, 촬영동작을 개시하지 않고 절차를 종료한다. Next, the
본 발명은 첨부된 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 보호 범위는 첨부된 특허청구범위에 의해서 정해져야 할 것이다.Although the present invention has been described with reference to the embodiments illustrated in the accompanying drawings, it is merely exemplary, and various modifications and equivalent other embodiments are possible from those skilled in the art to which the present invention pertains. You will understand the point. Therefore, the true scope of protection of the present invention should be defined by the appended claims.
도 1은 본 발명의 바람직한 일 실시 형태에 관한 디지털 카메라의 개략적인 구성을 보여주는 블록 구성도이다. 1 is a block diagram showing a schematic configuration of a digital camera according to a preferred embodiment of the present invention.
도 2는 도 1에 도시된 디지털 신호 처리기의 블록 구성도이다. FIG. 2 is a block diagram illustrating the digital signal processor shown in FIG. 1.
도 3은 피사체 인물 각각에 대해 평가한 스마일 레벨을 보여주는 도면이다.3 is a diagram illustrating a smile level evaluated for each subject person.
도 4a 및 도 4b는 사용자 템플릿의 예시로서, 서로 다른 개구 상태를 갖는 입 영역을 템플릿으로 지정한 것을 보여주는 도면이다. 4A and 4B illustrate examples of user templates, in which mouth areas having different opening states are designated as templates.
도 5는 본 발명의 바람직한 일 실시 형태에 관한 디지털 카메라의 제어방법에서 수행되는 단계들을 보여주는 플로우 차트이다. 5 is a flowchart showing steps performed in the method for controlling the digital camera according to the preferred embodiment of the present invention.
<도면의 주요부분에 대한 부호의 설명> <Description of the symbols for the main parts of the drawings>
110 : 광학 유닛 112 : 줌 렌즈110: optical unit 112: zoom lens
114 : 셔터 116 : 조리개114: shutter 116: aperture
118 : 포커스 렌즈 120 : 촬상소자118
121 : 타이밍 생성기 130 : 아날로그 프론트엔드 회로121: timing generator 130: analog front end circuit
140 : 버퍼 메모리 145 : EEPROM 140: buffer memory 145: EEPROM
150 : 디지털 신호 처리기 151 : 특징요소 추출부150: digital signal processor 151: feature element extraction unit
152 : 스마일 레벨 산출부 153 : 동작개시 결정부
160 : 인코더/디코더 170 : 기록매체152: Smile level calculator 153: Operation start determination unit
160: encoder / decoder 170: recording medium
180 : LCD 패널 181 : LCD 드라이버180: LCD panel 181: LCD driver
Claims (10)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080083031A KR20100024261A (en) | 2008-08-25 | 2008-08-25 | Digital camera and controlling method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080083031A KR20100024261A (en) | 2008-08-25 | 2008-08-25 | Digital camera and controlling method thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20100024261A true KR20100024261A (en) | 2010-03-05 |
Family
ID=42176206
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020080083031A KR20100024261A (en) | 2008-08-25 | 2008-08-25 | Digital camera and controlling method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20100024261A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11113507B2 (en) | 2018-05-22 | 2021-09-07 | Samsung Electronics Co., Ltd. | System and method for fast object detection |
-
2008
- 2008-08-25 KR KR1020080083031A patent/KR20100024261A/en not_active Application Discontinuation
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11113507B2 (en) | 2018-05-22 | 2021-09-07 | Samsung Electronics Co., Ltd. | System and method for fast object detection |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4254873B2 (en) | Image processing apparatus, image processing method, imaging apparatus, and computer program | |
JP4748244B2 (en) | Image selection apparatus, image selection method, and program | |
US8879802B2 (en) | Image processing apparatus and image processing method | |
US9113075B2 (en) | Image processing method and apparatus and digital photographing apparatus using the same | |
US20120206619A1 (en) | Image processing apparatus, image capturing apparatus and recording medium | |
KR101590868B1 (en) | A image processing method an image processing apparatus a digital photographing apparatus and a computer-readable storage medium for correcting skin color | |
US20100123816A1 (en) | Method and apparatus for generating a thumbnail of a moving picture | |
KR101436839B1 (en) | Apparatus and mthod for self timer image capture by checking the number of person | |
KR101710626B1 (en) | Digital photographing apparatus and control method thereof | |
US8295544B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and program | |
US8350918B2 (en) | Image capturing apparatus and control method therefor | |
US8988545B2 (en) | Digital photographing apparatus and method of controlling the same | |
US20130222635A1 (en) | Digital photographing apparatus and method of controlling the same | |
US20130235228A1 (en) | Image processing apparatus and method, and program | |
JP2010171797A (en) | Imaging apparatus and program | |
JP6149854B2 (en) | Imaging apparatus, imaging control method, and program | |
US7864228B2 (en) | Image pickup apparatus for photographing desired area in image with high image quality and control method for controlling the apparatus | |
JP6033006B2 (en) | Image processing apparatus, control method thereof, control program, and imaging apparatus | |
JP5073602B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
JP2016092513A (en) | Image acquisition device, shake reduction method and program | |
JP2009182880A (en) | Imaging apparatus and its program | |
KR101436322B1 (en) | Image capturing apparatus enabling non-contact shutter-operation and image capturing method | |
JP2010028605A (en) | Image capturing apparatus and method of controlling the same | |
JP2008172395A (en) | Imaging apparatus and image processing apparatus, method, and program | |
KR20100024261A (en) | Digital camera and controlling method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
N231 | Notification of change of applicant | ||
N231 | Notification of change of applicant | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application |