KR100840022B1

KR100840022B1 - Method and system for recognizing person included in digital data by using preview history

Info

Publication number: KR100840022B1
Application number: KR1020070112390A
Authority: KR
Inventors: 류중희; 김덕환; 김준환
Original assignee: (주)올라웍스
Priority date: 2007-11-05
Filing date: 2007-11-05
Publication date: 2008-06-20

Abstract

A method and a system for recognizing a person included in digital data by referring to preview history are provided to increase a recognition ratio of a face included in the digital data by obtaining the preview history from the person displayed in a screen of a digital camera based on face detection and tracking techniques before the digital data is generated by pressing a shutter of the digital camera. A contents database(130) stores a reference face image of a plurality of persons. A face detecting unit(110a) and a face tracking unit(110b) obtain one face image as preview history data by extracting one face image of the person while detecting and tracking a face in a preview state of a digital device. A face recognizer(110c) performs a matching process when digital data of the person is generated by operating the digital device. The matching process determines similarity by comparing the face image included in the digital data and the preview history data with the face image stored in the contents database. A preview history database(120) stores the preview history data received from the face detecting and tracking units.

Description

프리뷰 히스토리를 참조로 디지털 데이터에 포함된 인물을 인식하는 방법 및 시스템{METHOD AND SYSTEM FOR RECOGNIZING PERSON INCLUDED IN DIGITAL DATA BY USING PREVIEW HISTORY} {METHOD AND SYSTEM FOR RECOGNIZING PERSON INCLUDED IN DIGITAL DATA BY USING PREVIEW HISTORY}

본 발명은 디지털 데이터에 포함되는 인물의 얼굴을 인식하는 방법 및 시스템에 관한 것으로서, 구체적으로는, 카메라 등과 같은 디지털 기기의 셔터를 눌러 디지털 데이터를 생성하기 전까지 디지털 기기의 화면을 통해 디스플레이되는 인물에 대해 얼굴 검출(face detection), 얼굴 트래킹(face tracking) 기법을 적용하여 프리뷰 히스토리 데이터를 획득하고, 생성된 디지털 데이터에 포함된 인물에 대한 얼굴 인식(face recognition)의 정확도를 상기 프리뷰 히스토리 데이터를 이용하여 높이기 위한 방법 및 시스템에 관한 것이다.The present invention relates to a method and a system for recognizing a face of a person included in digital data. Specifically, the present invention relates to a person displayed through a screen of a digital device until the digital device is generated by pressing a shutter of a digital device such as a camera. Face history and face tracking techniques are used to obtain preview history data, and the accuracy of face recognition for the person included in the generated digital data is used for the preview history data. The present invention relates to a method and a system for increasing the height.

근래에 들어 비디오 카메라, 디지털 캠코더 등의 촬영 전용 디지털 기기를 비롯하여, 촬영 가능한 장치가 내장된 이동통신 단말기 및 MP3 플레이어 등의 디지털 기기가 널리 보급되면서 동영상과 같은 디지털 데이터를 생성하는 사용자의 수가 크게 증가하게 되었다. In recent years, digital devices such as video cameras and digital camcorders, as well as digital devices such as mobile communication terminals and MP3 players with built-in recordable devices have become widespread, and the number of users who generate digital data such as video clips has greatly increased. Was done.

이에 따라, 생성되는 디지털 데이터의 양 역시 급증하게 되었으며, 방대해진 데이터의 양을 체계적으로 관리하고 이용할 수 있는 시스템 구축의 필요성이 요구되게 되었다.As a result, the amount of digital data generated has also increased rapidly, and the necessity of constructing a system that can systematically manage and use a large amount of data is required.

이와 같은 디지털 데이터의 관리를 체계적으로 수행하고, 사용자가 보다 편리하게 디지털 데이터를 이용할 수 있도록 하기 위하여, 디지털 데이터 내의 인물 식별을 통해 태그를 부여하는 기술이 제안된 바 있으며, 보다 높은 정확도로 디지털 데이터로부터 태그를 추출하는 다양한 방법들이 시도되고 있다. 여기서, "태그"란 데이터에 대한 신속한 억세스 또는 검색을 위해 디지털 데이터에 부착되는 부가 데이터로 이해될 수 있으며, 일련의 문자, 숫자, 또는 문자 및 숫자의 조합으로 이루어지는 것이 일반적이다. In order to systematically manage such digital data and to enable users to use the digital data more conveniently, a technique for tagging by identifying a person in the digital data has been proposed. Various ways of extracting the tag from have been tried. Here, "tag" can be understood as additional data attached to digital data for quick access or retrieval of data, and is generally made up of a series of letters, numbers, or a combination of letters and numbers.

예를 들어, 디지털 데이터에 포함된 인물의 얼굴을 식별함으로써, 상기 식별된 인물에 대한 정보를 포함하는 태그(일명, 인물 태그)를 상기 디지털 데이터에 부착할 수 있으며, 이에 따라 디지털 데이터의 관리를 보다 체계적으로 수행할 수 있을 것이다. For example, by identifying a face of a person included in the digital data, a tag (also known as a person tag) including information about the identified person may be attached to the digital data, thereby managing digital data. It can be done more systematically.

디지털 데이터에 상기와 같은 인물 태그를 부착하기 위해서는 디지털 데이터에 포함된 인물의 얼굴에 대한 인식율이 어느 정도 이상 높을 것이 필요로 되고 있으며, 이러한 높은 얼굴 인식율을 달성하기 위해 많은 연구가 행하여지고 있는 실정이다. In order to attach the above-mentioned person tag to the digital data, the recognition rate of the face of the person included in the digital data needs to be higher than a certain degree, and many studies have been conducted to achieve such a high face recognition rate. .

그런데, 사진 등과 같은 디지털 데이터를 생성했을 때, 생성된 디지털 데이터에 찍힌 인물의 얼굴이 측면이거나 뒷모습이거나 얼굴의 각도를 비스듬히 한 모습인 경우 등과 같이 인물의 얼굴이 똑바로 정면을 향하고 있지 않은 경우에는 기 존의 얼굴 인식 기술을 사용하여 인물을 인식하는데 있어서 인식율이 떨어지는 등의 한계가 존재했다. However, when digital data such as photographs are generated, if the face of the person is not faced straight, such as when the face of the person being photographed on the generated digital data is a side view, a back view, or an angled angle of the face. There were limitations such as the low recognition rate in recognizing a person using John's face recognition technology.

따라서, 본 발명의 목적은, 종래 기술의 문제점을 해결하고 사용자가 인물의 얼굴을 다양한 각도로 변화시키거나 심지어 뒷모습을 보인 상태에서 사진 등을 생성하여도 높은 얼굴 인식율을 달성할 수 있도록 하여 바람직한 인물 태그를 사용자에게 추천함으로써, 사용자가 사진 등의 디지털 데이터에 포함된 인물과 관련하여 인물 태깅을 수행함에 있어서, 극도로 간편하고 정확한 태깅을 가능하도록 하기 위함이다.Accordingly, an object of the present invention is to solve the problems of the prior art and to achieve a high face recognition rate even when the user changes the face of the person at various angles or even generates a picture in a state of being seen from behind. By recommending a tag to a user, it is to enable extremely simple and accurate tagging when the user performs person tagging with respect to a person included in digital data such as a photo.

더 나아가, 본 발명의 추가적인 목적은 카메라, 핸드폰, PC 캠 등의 디지털 기기의 프리뷰 상태에서 인물을 검출 및 트래킹하여 프리뷰 히스토리 데이터를 생성하고 상기 프리뷰 히스토리 데이터를 데이터베이스화하여 기록함으로써, 향후 생성되는 디지털 데이터에 포함되는 인물에 대한 얼굴 인식율을 높일 수 있도록 하기 위함이다. Furthermore, an additional object of the present invention is to generate digitally generated preview history data by detecting and tracking a person in a preview state of a digital device such as a camera, a mobile phone, a PC cam, and the like. This is to increase the face recognition rate for the person included in the data.

상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 기능을 수행하기 위한, 본 발명의 특징적인 구성은 하기와 같다.In order to achieve the object of the present invention as described above, and to perform the characteristic functions of the present invention described below, the characteristic configuration of the present invention is as follows.

본 발명의 일 태양에 따르면, 데이터베이스에 기록되어 있는 복수의 얼굴 참조 이미지와의 비교를 통해 디지털 기기에 의해 생성된 디지털 데이터에 포함된 인 물의 얼굴을 인식하기 위한 방법에 있어서, (a) 상기 디지털 기기의 화면을 통해 디스플레이되는 인물에 대한 프리뷰 상태에서, 얼굴 검출 기술을 이용하여 상기 인물의 얼굴을 검출하고 검출된 얼굴을 트래킹하면서 상기 인물에 관한 얼굴 이미지를 적어도 하나 추출하여 프리뷰 히스토리 데이터로서 획득하는 단계, (b) 상기 디지털 기기를 조작하여 상기 인물에 관한 디지털 데이터가 생성되면, 얼굴 인식 기술을 이용하여 상기 생성된 디지털 데이터에 포함된 상기 인물에 대한 이미지 및 상기 프리뷰 히스토리 데이터에 포함된 상기 인물에 대한 이미지를 상기 얼굴 참조 이미지와 비교하여 유사도를 판단하는 매칭 작업을 수행하는 단계, 및 (c) 상기 생성된 디지털 데이터에 포함된 인물의 정체로서, 상기 유사도가 높은 상위 n 명의 인물에 대한 정보가 추천되는 단계를 포함하는 인물 인식 방법을 제공한다.According to one aspect of the present invention, there is provided a method for recognizing a face of a person included in digital data generated by a digital device through comparison with a plurality of face reference images recorded in a database, the method comprising: (a) the digital In the preview state of the person displayed through the screen of the device, by using a face detection technology to detect the face of the person, while tracking the detected face to extract at least one face image of the person to obtain as preview history data Step (b) When digital data about the person is generated by operating the digital device, the person included in the image and the preview history data of the person included in the generated digital data using face recognition technology. By comparing the image for the face reference image Performing a matching operation for determining an apostle; and (c) recommending information on the top n persons having high similarity as the identity of the person included in the generated digital data. to provide.

본 발명의 다른 태양에 따르면, 복수의 인물에 대한 얼굴 참조 이미지가 기록되어 있는 컨텐츠 DB, 디지털 기기의 화면을 통해 디스플레이되는 인물에 대한 프리뷰 상태에서, 얼굴 검출 기술을 이용하여 상기 인물의 얼굴을 검출하고 검출된 얼굴을 트래킹하면서 상기 인물에 관한 얼굴 이미지를 적어도 하나 추출하여 프리뷰 히스토리 데이터로서 획득하는 얼굴 검출&트래킹부, 및 상기 디지털 기기를 조작하여 상기 인물에 관한 디지털 데이터가 생성되면, 얼굴 인식 기술을 이용하여 상기 생성된 디지털 데이터에 포함된 상기 인물에 대한 이미지 및 상기 프리뷰 히스토리 데이터에 포함된 상기 인물에 대한 이미지를 상기 컨텐츠 DB에 기록된 상기 얼굴 참조 이미지와 비교하여 유사도를 판단하는 매칭 작업을 수행하는 얼굴 인식부를 포함하는 인물 인식 시스템을 제공한다.According to another aspect of the present invention, the face of the person is detected by using a face detection technique in the preview state of the content DB, the face reference image of the plurality of people is displayed on the screen of the digital device, A face detection and tracking unit for extracting at least one face image of the person and tracking the detected face and obtaining the preview image as preview history data; and generating digital data of the person by operating the digital device. Matching operation for determining similarity by comparing the image of the person included in the generated digital data and the image of the person included in the preview history data with the face reference image recorded in the content DB using Person who includes a face recognition unit to perform Provide system.

본 발명에 따르면, 인물의 얼굴을 다양한 각도로 변화시키거나 인물의 표정을 다양하게 변화시켜 가면서 사진 등을 생성하여도 높은 인식율로 얼굴 인식을 수행할 수 있으며, 이로써 바람직한 인물 태그를 사용자에게 추천할 수 있다.According to the present invention, face recognition can be performed with a high recognition rate even by generating a picture while changing a person's face at various angles or by changing a person's facial expression, thereby recommending a desirable person tag to the user. Can be.

또한, 본 발명에 따르면, 카메라 등의 디지털 기기의 셔터를 누르기 전에 생성된 프리뷰 히스토리 데이터를 데이터베이스화함으로써, 앞으로 생성될 디지털 데이터에 포함되는 인물에 대한 얼굴 인식율을 보다 높이는 효과를 달성할 수 있다.In addition, according to the present invention, by previewing the preview history data generated before the shutter of the digital device, such as a camera, the database, it is possible to achieve an effect of increasing the face recognition rate for the person included in the digital data to be generated in the future.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일 또는 유사한 기능을 지칭한다.DETAILED DESCRIPTION The following detailed description of the invention refers to the accompanying drawings that show, by way of illustration, specific embodiments in which the invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the invention. It should be understood that the various embodiments of the present invention are different but need not be mutually exclusive. For example, certain shapes, structures, and characteristics described herein may be embodied in other embodiments without departing from the spirit and scope of the invention with respect to one embodiment. In addition, it is to be understood that the location or arrangement of individual components within each disclosed embodiment may be changed without departing from the spirit and scope of the invention. The following detailed description, therefore, is not to be taken in a limiting sense, and the scope of the present invention, if properly described, is defined only by the appended claims, along with the full range of equivalents to which such claims are entitled. Like reference numerals in the drawings refer to the same or similar functions throughout the several aspects.

이하에서는 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하도록 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따라, 카메라, 핸드폰, PC 캠 등의 디지털 기기에 의해 생성된 사진, 동영상 등과 같은 디지털 데이터에 포함된 인물의 얼굴에 대한 인식율을 증강시키기 위한 전체 시스템(100)의 구성도이다. 1 is a view illustrating an entire system 100 for enhancing a recognition rate of a face of a person included in digital data such as a picture or a video generated by a digital device such as a camera, a mobile phone, or a PC cam according to an embodiment of the present invention. ) Is a configuration diagram.

이하에서는 주로 사진과 같은 정지 영상을 생성하는 경우에 있어서 본 발명이 적용되는 예를 설명할 것이지만, 동영상의 경우에 있어서도 유사하게 적용될 수 있음은 물론이다. In the following, an example in which the present invention is mainly applied to a case of generating a still image such as a photograph will be described.

도 1을 참조하면, 전체 시스템(100)은 피사체 해석부(110), 프리뷰 히스토리(preview history) 데이터베이스(120), 컨텐츠 데이터베이스(130), 인터페이스부(140), 통신부(150), 제어부(160) 등을 포함할 수 있다. Referring to FIG. 1, the entire system 100 includes a subject analyzer 110, a preview history database 120, a content database 130, an interface unit 140, a communication unit 150, and a controller 160. ) May be included.

본 발명의 일 실시예에 따르면, 피사체 해석부(110), 프리뷰 히스토리 데이터베이스(120), 컨텐츠 데이터베이스(130), 인터페이스부(140), 통신부(150)는 그 중 적어도 일부가 카메라 등의 사용자 단말 장치에 포함되거나 사용자 단말 장치와 통신하는 프로그램 모듈들일 수 있다(다만, 도 1에서는 피사체 해석부(110), 프리뷰 히스토리 데이터베이스(120), 컨텐츠 데이터베이스(130), 인터페이스부(140), 통신부(150)가 모두 사용자 단말 장치에 포함되어 있는 것으로 예시하고 있다). 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 사용자 단말 장치에 포함될 수 있으며, 물리적으로 여러가지 공지의 기억 장치 상에 저장될 수도 있다. 또한, 이러한 프로그램 모듈들은 사용자 단말 장치와 통신 가능한 원격 기억 장치에 저장될 수도 있다. 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다. According to an embodiment of the present invention, at least a part of the subject analyzer 110, the preview history database 120, the content database 130, the interface unit 140, and the communication unit 150 are a user terminal such as a camera. Program modules included in the device or in communication with the user terminal device (however, in FIG. 1, the object analyzing unit 110, the preview history database 120, the content database 130, the interface unit 140, and the communication unit 150 are provided. ) Are all included in the user terminal device). Such program modules may be included in the user terminal device in the form of an operating system, an application program module, and other program modules, and may also be physically stored on various known storage devices. Also, such program modules may be stored in a remote storage device that can communicate with a user terminal device. Such program modules include, but are not limited to, routines, subroutines, programs, objects, components, data structures, etc. that perform particular tasks or execute particular abstract data types, described below, in accordance with the present invention.

피사체 해석부는(110) 얼굴 검출부(110a), 얼굴 트래킹부(110b), 얼굴 인식부(110c) 등을 포함할 수 있다. 여기서, 얼굴 검출부(110a), 얼굴 트래킹부(110b), 얼굴 인식부(110c)는 얼굴 검출 및 인식의 기능을 수행하기 위해 편의상 분류한 것으로서, 반드시 이에 한정되는 것은 아님을 밝혀둔다. The subject analyzer 110 may include a face detector 110a, a face tracking unit 110b, a face recognition unit 110c, and the like. Here, the face detection unit 110a, the face tracking unit 110b, and the face recognition unit 110c are classified for convenience of performing the functions of face detection and recognition, and are not necessarily limited thereto.

얼굴 검출부(110a)는 카메라 등의 단말 장치에 의해 생성된 디지털 데이터에 포함된 적어도 한 명의 인물의 얼굴 영역을 검출하는 역할을 수행한다. The face detector 110a detects a face area of at least one person included in digital data generated by a terminal device such as a camera.

또한, 얼굴 트래킹부(110b)는 검출된 얼굴 영역을 주기적 또는 비주기적인 시간 간격으로 트래킹(tracking)해 가면서 상기 검출된 얼굴 영역을 수시로 추적할 수 있다. 이와 같은 얼굴 검출 및 얼굴 트래킹 프로세스에 대해, 이하에서 도 2를 참조로 설명한다. In addition, the face tracking unit 110b may track the detected face area at any time while tracking the detected face area at periodic or aperiodic intervals. This face detection and face tracking process will be described below with reference to FIG. 2.

도 2는 얼굴 검출 및 얼굴 트래킹 방법에 대한 일예를 도시한 도면이다.2 is a diagram illustrating an example of a face detection and face tracking method.

도 2를 참조하면, 카메라 등의 디지털 기기로 사진 등의 디지털 데이터를 생성하기 전에 상기 디지털 기기의 화면을 통해 피사체의 상태, 표정, 포즈 등을 관찰할 수 있는 프리뷰(preview) 상태가 도시되어 있다. Referring to FIG. 2, a preview state in which a state, an expression, a pose, etc. of a subject may be observed through a screen of the digital device before generating digital data such as a photograph by a digital device such as a camera is illustrated. .

도 2를 참조하면, 프리뷰 상태 동안, 검출된 얼굴 영역에 대해 1초마다 트래킹이 이루어지고 있음을 알 수 있고, 프리뷰 상태에 들어간지 4초째에 셔터를 눌러 디지털 데이터를 생성하고 있음을 예시적으로 보여준다. Referring to FIG. 2, it can be seen that tracking is performed every second for the detected face area during the preview state, and that the digital data is generated by pressing the shutter at the fourth second of entering the preview state. Shows.

구체적으로, 도 2를 참조하면, 얼굴 영역에 대한 트래킹은 프리뷰 상태에 들어간 후 1초째, 2초째, 3초째에 이루어지고 있으며, 1초째에는 피사체인 인물의 뒷모습이, 2초째에는 상기 인물의 옆모습이, 3초째에는 상기 인물의 앞모습이 화면에 나타나고 있음을 알 수 있다. 그러다가 4초째에 셔터를 눌렀을 때 생성된 디지털 데이터에는 상기 인물의 옆모습이 찍히는 경우를 상정해 본다. Specifically, referring to FIG. 2, the tracking of the face area is performed in the first, second, and third seconds after entering the preview state, and in the first second, the back of the person, which is the subject, is the side of the person. In the third second, it can be seen that the front of the person appears on the screen. Then, it is assumed that the side profile of the person is taken in the digital data generated when the shutter is pressed at the fourth second.

이와 같이 생성된 디지털 데이터에 포함된 인물의 얼굴이 정면이 아니라 옆모습이나 뒷모습, 또는 정면이라도 특이한 표정 등인 경우와 같이 얼굴 식별이 어려운 상태로 찍힌 경우, 종래 기술에 의하면 얼굴 인식율이 현저히 낮아진다는 곤란함이 있었다. 하지만, 본 발명에서는 하기에서 자세히 설명될 프리뷰 히스토리 DB(120) 및 컨텐츠 DB(130)의 존재 및 이들의 상호작용으로 인하여 상기와 같이 식별이 어려운 상태로 찍히더라도 얼굴 인식율을 현저히 높일 수 있게 된다. When the face of a person included in the digital data generated as described above is taken in a difficult state of face identification such as a side view, a back view, or even an unusual expression even in the front, according to the prior art, it is difficult to significantly reduce the face recognition rate. There was this. However, in the present invention, face recognition rate can be significantly increased even when the image is difficult to be identified as described above due to the existence of the preview history DB 120 and the content DB 130 and interaction thereof.

도 2에서 살펴본 바와 같은 프리뷰 상태에서 트래킹 작업이 수행될 때마다 트래킹된 얼굴 영역의 이미지를 획득하여 프리뷰 히스토리 DB(120)에 기록할 수 있다. 예를 들면, 도 2의 프리뷰 상태에서는 얼굴 영역이 검출되고 트래킹이 될 때마다 차례로 상기 인물의 뒷 모습, 옆 모습, 앞 모습 이미지가 획득되어 프리뷰 히스토리 DB(120)에 저장될 것이다.Whenever a tracking operation is performed in the preview state as shown in FIG. 2, an image of the tracked face area may be obtained and recorded in the preview history DB 120. For example, in the preview state of FIG. 2, whenever the face area is detected and tracked, the back, side, and front images of the person are sequentially obtained and stored in the preview history DB 120.

컨텐츠 DB(130)에는 기존에 생성 또는 획득된 인물 이미지 등에 대한 디지털 데이터가 기록되어 있으며, 상기 기록된 디지털 데이터마다 적절한 인물 태그가 부착되어 있을 수 있다.In the content DB 130, digital data about a person image, which is previously generated or acquired, is recorded, and an appropriate person tag may be attached to each of the recorded digital data.

한편, 얼굴 인식부(110c)는, 카메라 등의 디지털 기기의 셔터를 눌러 디지털 데이터가 새롭게 생성되면, 상기 얼굴 검출부(110a) 및 얼굴 트래킹부(110b)에 의해 검출되어 추적된 인물의 얼굴 영역으로부터 획득된 다양한 표정과 모습을 반영하고 있는 얼굴 이미지가 기록되어 있는 프리뷰 히스토리 DB(120) 및 상기 새롭게 생성된 디지털 데이터에 포함된 얼굴 이미지를, 컨텐츠 DB(130)에 기록되어 있는 복수의 인물의 얼굴 이미지와 비교하는 매칭 작업을 수행함으로써, 상기 새롭게 생성된 디지털 데이터에 포함된 인물의 정체를 파악할 수 있다. On the other hand, when the digital data is newly generated by pressing the shutter of a digital device such as a camera, the face recognition unit 110c detects and detects from the face region of the person detected and tracked by the face detection unit 110a and the face tracking unit 110b. The preview history DB 120 in which face images reflecting various acquired expressions and shapes are recorded and the face images included in the newly generated digital data are recorded in the content DB 130. By performing a matching operation to compare with the image, it is possible to determine the identity of the person included in the newly generated digital data.

예를 들어, 도 2에서와 같은 트래킹 작업 중에 획득된 얼굴 이미지가 프리뷰 히스토리 DB(120)에 저장되어 있다면, 얼굴 인식부(110c)는 프리뷰 히스토리 DB(120)에 저장되어 있는 상기 인물의 뒷 모습, 옆 모습, 앞 모습 이미지 및 상기 새롭게 생성된 디지털 데이터에 포함된 상기 인물의 옆 모습을, 컨텐츠 DB(130)에 기록되어 있는 이미지 데이터와 비교하는 매칭 작업을 수행한다. For example, if a face image acquired during a tracking operation as shown in FIG. 2 is stored in the preview history DB 120, the face recognition unit 110c may have a rear view of the person stored in the preview history DB 120. And matching the side view, the front view image, and the side view of the person included in the newly generated digital data with the image data recorded in the content DB 130.

컨텐츠 DB(130)에 상기 인물의 정면 모습이 찍혀 있는 이미지 데이터가 상기 인물에 관한 인물 태그가 부착된 상태로 기록되어 있는 일반적인 경우를 상정해 본다면, 도 2에서 보는 바와 같이 비록 상기 새롭게 생성된 디지털 데이터에는 상기 인물의 정면 모습이 담겨있지 않더라도, 프리뷰 히스토리 DB(120)에 상기 인물의 정면 모습을 포함하는 이미지(프리뷰 상태에서 3초째에 획득된 이미지)가 기록되어 있으므로, 상기 프리뷰 상태에서 3초째에 획득된 이미지와 컨텐츠 DB(130)에 저장되어 있던 상기 인물에 관한 정면 얼굴의 이미지를 비교하는 매칭 작업을 통해 상기 새롭게 생성된 디지털 데이터에 포함된 인물의 정체를 정확하게 파악할 수 있게 된다.Considering a general case in which the image data in which the front face of the person is photographed in the content DB 130 is recorded with the person tag associated with the person attached thereto, as shown in FIG. Even if the front view of the person is not contained in the data, since the image including the front view of the person (the image obtained in the third second in the preview state) is recorded in the preview history DB 120, the second view is performed in the preview state. The identity of the person included in the newly generated digital data may be accurately determined through a matching operation for comparing the image acquired in the image with the image of the front face of the person stored in the content DB 130.

상기의 경우에 의하면, 프리뷰 히스토리 DB(120)에 저장되어 있는 상기 인물의 뒷 모습, 옆 모습, 앞 모습 이미지 및 상기 새롭게 생성된 디지털 데이터에 포함된 상기 인물의 옆 모습 이미지 중, 상기 컨텐츠 DB(130)에 저장되어 있던 상기 인물에 관한 정면 얼굴의 이미지와 비교하여 계산된 유사도가 일정 임계치 이상의 높은 값을 가지는 이미지는 상기 프리뷰 상태에서 3초째 획득된 이미지 하나에 불과한데, 이와 같이 수많은 프리뷰 히스토리 데이터 및 생성된 디지털 데이터 중 적어도 하나의 이미지만 높은 유사도를 가지는 것으로 계산되어도 높은 얼굴 인식율을 달성할 수 있다는 장점이 있다. According to the above case, the content DB (rear view, side view, front view image and the side view image of the person included in the newly generated digital data stored in the preview history DB 120, the content DB ( An image having a high degree of similarity calculated by comparison with an image of the front face of the person stored in step 130 above a predetermined threshold is only one image obtained in the preview state for the third second. And even if only at least one image of the generated digital data is calculated to have a high similarity has the advantage that can achieve a high face recognition rate.

이와 같이 인물의 정체가 파악되면, 프리뷰 히스토리 DB(120)에 저장된 상기 이미지 데이터 및 상기 새롭게 생성된 이미지 데이터에는 상기 파악된 정체를 기초로 인물 태그가 부착될 수 있다. When the identity of the person is detected as described above, the person tag may be attached to the image data and the newly generated image data stored in the preview history DB 120 based on the identified person.

그 후, 상기 인물 태그가 부착된 프리뷰 히스토리 DB(120)에 저장된 이미지 데이터는 저장 용량 문제를 해결하기 위해 삭제될 수도 있지만, 보다 바람직하게는 향후 생성될 디지털 데이터에 포함될 인물에 대한 얼굴 인식율을 높이기 위해, 프리뷰 히스토리 DB(120)(또는, 컨텐츠 DB(130)) 내에 반영구적으로 기록될 수도 있을 것이다. 또한, 상기 셔터를 눌러 생성된 이미지 데이터도 컨텐츠 DB(130)에 새롭게 추가될 수 있다. Thereafter, image data stored in the preview history DB 120 to which the person tag is attached may be deleted to solve the storage capacity problem, but more preferably, to increase the face recognition rate for the person to be included in the digital data to be generated in the future. To this end, it may be recorded semi-permanently in the preview history DB 120 (or the content DB 130). In addition, image data generated by pressing the shutter may be newly added to the content DB 130.

프리뷰 히스토리 DB(120) 내에 프리뷰 히스토리 데이터가 반영구적으로 저장되는 경우, 향후 셔터를 눌러서 생성될 디지털 데이터에 포함될 이미지가 상기 인 물의 뒷 모습만이 찍힌 이미지라고 하더라도, 이미 도 2의 첫 번째 트래킹 수행 시 획득된 뒷 모습에 관한 이미지가 반영구적으로 저장되어 있는 상태이므로, 뒷 모습만을 보이고 있는 인물이 찍혔더라도 그 정체를 파악할 수 있을 것이다.When preview history data is semi-permanently stored in the preview history DB 120, even if the image to be included in the digital data to be generated by pressing the shutter is the image of only the back of the person, the first tracking of FIG. 2 is already performed. Since the image of the acquired rear view is stored semi-permanently, even if the figure showing only the rear view is taken, the identity of the figure can be understood.

한편, 본 발명에서 언급되는 프리뷰 히스토리 DB(120), 컨텐츠 DB(130) 등 각종 DB는 협의의 데이터베이스뿐만 아니라, 파일 시스템에 기반한 데이터 기록 등을 포함하는 넓은 의미의 데이터베이스도 포함하며, 시스템(100) 내에 포함되어 있을 수도 있으나, 시스템(100)과 통신 가능한 원격 기억 장치에 존재할 수도 있을 것이다.Meanwhile, various DBs, such as the preview history DB 120 and the content DB 130 mentioned in the present invention, include not only a database for consultation but also a database in a broad sense including a data system based on a file system. It may be included in, but may be present in the remote storage device that can communicate with the system (100).

얼굴 인식부(100c)는 얼굴 인식을 수행함에 있어서, 프리뷰 히스토리 DB(120)에 기록된 인물 이미지 및 셔터를 눌러 생성된 디지털 데이터에 포함된 인물 이미지 중 적어도 하나의 이미지에 포함된 얼굴의 눈, 코, 입, 머리카락 등의 얼굴의 각 부위의 특성(feature) 데이터를 컨텐츠 DB(130)에 이미 저장되어 있는 복수의 인물들의 얼굴의 각 부위의 특성 데이터와 비교하는 얼굴 매칭 과정을 수행함으로써, 얼굴 인식률을 높일 수 있다. 여기서, 얼굴 매칭을 수행함에 있어서는 이와 같이 부위별로 특성 데이터를 비교하여 유사도를 계산할 수도 있지만, 변형예로서 얼굴 전체의 특성 데이터를 추출하여 이를 비교하여 유사도를 계산할 수 있음은 물론이다.In performing face recognition, the face recognizing unit 100c includes an eye of a face included in at least one of a person image recorded in the preview history DB 120 and a person image included in digital data generated by pressing a shutter. By performing a face matching process comparing feature data of each part of the face such as nose, mouth, hair, etc. with characteristic data of each part of the face of a plurality of persons already stored in the content DB 130, The recognition rate can be increased. Here, in performing face matching, the similarity may be calculated by comparing the characteristic data for each region as described above, but as a variation, the similarity may be calculated by extracting and comparing the characteristic data of the entire face.

한편, 얼굴의 각 부위 중 눈 부위에 관련하여 특성 데이터를 비교하기 위한 얼굴 매칭과 관련된 기술로서, Baker, S. 외 1인이 저술하고, 2004년 IJCV(Internation Journal of Computer Vision)에 게재된 논문인 "Lucas-Kanade 20 Years On: A Unifying Framework"를 예로 들 수 있다. 상기 논문은 템플릿 매칭 방법을 이용하여 인물의 얼굴이 포함된 이미지로부터 눈의 위치를 효율적으로 검출할 수 있는 방법에 대하여 기재하고 있는데, 본 발명은 이러한 논문에 한정되는 것은 아니며, 다만 예시적으로 기술하고 있을 뿐이다.Meanwhile, as a technique related to face matching for comparing characteristic data with respect to the eye area of each part of the face, a paper by Baker, S. et al., Published in the International Journal of Computer Vision (IJCV) in 2004 For example, "Lucas-Kanade 20 Years On: A Unifying Framework". The paper describes a method for efficiently detecting the eye position from an image including a face of a person using a template matching method. However, the present invention is not limited to this paper, but is merely illustrative. I'm just doing it.

얼굴 검출부(110a) 및/또는 얼굴 인식부(110c)는 이와 같은 기술에 의해 검출된 눈의 위치에 기초하여 코와 입의 위치를 추정할 수 있으며, 이와 같이 추출된 눈, 코, 입 등의 얼굴의 부위를 중심으로 상기의 매칭 작업을 수행할 수 있다. The face detecting unit 110a and / or the face recognizing unit 110c may estimate the position of the nose and the mouth based on the position of the eye detected by the technique, and the extracted eyes, nose, mouth, etc. The matching operation may be performed centering on the part of the face.

여기서, 눈, 코, 입 등의 각 부위의 검색 방법은 얼굴의 검색 방법과 같이 P. N. Belhumeur 외 2인이 저술하고, 1997년 IEEE TRANSACTIONS ON PATTERN ALAYSIS AND MACHINE INTELLIGENCE에 게재된 논문인 "Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projection"에 개시된 “선형 판별법”등의 기술을 사용하여 행하여질 수 있다. Here, the search method of each part such as eyes, nose and mouth is written by PN Belhumeur et al. Like the search method of the face, and published in IEEE TRANSACTIONS ON PATTERN ALAYSIS AND MACHINE INTELLIGENCE in 1997, "Eigenfaces vs. Fisherfaces" "Recognition Using Class Specific Linear Projection".

한편, 인터페이스부(140)는 디지털 기기의 화면을 통해 프리뷰 상태를 보여줄 수 있고 셔터를 눌러 생성된 디지털 데이터의 이미지 상태를 보여줄 수 있으며, 상기 생성된 디지털 데이터에 포함된 인물의 얼굴이 얼굴 인식부(110c)에 의해 식별되면, 상기 생성된 디지털 데이터에 포함된 인물로서 판단될 가능성이 높은 후보 인물군에 대한 리스트를 화면에 제공해 주는 역할을 수행할 수 있으며, 사용자는 화면에 제공된 리스트 중 특정 후보 인물을 선택하여 인물의 정체를 결정할 수 있다. Meanwhile, the interface unit 140 may show a preview state through a screen of a digital device, show an image state of digital data generated by pressing a shutter, and the face of a person included in the generated digital data may be a face recognition unit. If identified by 110c, it may serve to provide a screen with a list of candidate person groups that are most likely to be determined as a person included in the generated digital data, and the user may select a specific candidate person from the list provided on the screen. Select to determine the identity of the person.

통신부(150)는 시스템(100) 내부의 각 구성 모듈 사이의 신호를 송수신하거 나 다양한 외부 장치와의 데이터 송수신을 수행하는 것을 담당한다.The communication unit 150 is responsible for transmitting and receiving signals between each component module in the system 100 or performing data transmission and reception with various external devices.

본 발명에 따른 제어부(160)는 피사체 해석부(110), 프리뷰 히스토리 DB(120), 컨텐츠 DB(130), 인터페이스부(140), 통신부(150) 간의 데이터의 흐름을 제어하는 기능을 수행한다. 즉, 본 발명에 따른 제어부(160)는 통신부(150)를 통하여 각 구성 모듈 간에 송수신되는 신호를 제어함으로써, 피사체 해석부(110), 프리뷰 히스토리 DB(120), 컨텐츠 DB(130), 인터페이스부(140)에서 각각의 고유의 기능을 수행하도록 제어한다. The controller 160 according to the present invention performs a function of controlling the flow of data between the subject analyzer 110, the preview history DB 120, the content DB 130, the interface unit 140, and the communication unit 150. . That is, the controller 160 according to the present invention controls the signals transmitted and received between each component module through the communication unit 150, so that the subject analyzer 110, the preview history DB 120, the content DB 130, the interface unit At 140, control to perform each unique function.

도 3은 본 발명의 일 실시예에 따라, 인물 이미지를 포함하는 디지털 데이터에 대한 인물 태깅 과정을 보여주는 흐름도이다. 3 is a flowchart illustrating a person tagging process for digital data including a person image according to an embodiment of the present invention.

우선, 카메라 등과 같은 디지털 기기는 피사체에 대한 정지영상(또는, 동영상)을 찍기 위한 프리뷰 상태에서 주기적으로 또는 비주기적으로 프리뷰 히스토리 데이터를 생성한다(S310). 디지털 기기의 화면을 통해 디스플레이되는 인물의 얼굴을 검출하고 이를 수시로 트래킹해가면서 프리뷰 히스토리 데이터를 획득할 수 있다.First, a digital device such as a camera generates preview history data periodically or aperiodically in a preview state for taking a still image (or a moving image) of a subject (S310). The preview history data may be acquired while detecting and tracking a face of a person displayed through a screen of a digital device.

프리뷰 상태를 단말기의 화면을 통해 지켜보다가 원하는 포즈일 때 셔터를 눌러 피사체를 촬영한다(S320). 이 때, 촬영 시점 전까지 획득된 프리뷰 히스토리 데이터는 프리뷰 히스토리 DB(120)에 기록된 상태이다. While watching the preview state through the screen of the terminal, the subject is photographed by pressing the shutter when the desired pose is made (S320). At this time, the preview history data acquired before the photographing time point is recorded in the preview history DB 120.

이후, 프리뷰 히스토리 DB(120)에 기록된 프리뷰 히스토리 데이터 및 촬영된 사진 내에 포함된 이미지 데이터를 컨텐츠 DB(130)에 포함된 인물 이미지와 매칭시키는 작업을 수행한다(S330). Thereafter, the operation of matching the preview history data recorded in the preview history DB 120 and the image data included in the photographed picture with the person image included in the content DB 130 is performed (S330).

한편, 컨텐츠 DB(130)에 저장된 인물 이미지 중 특정 인물 이미지와 유사도가 높다는 매칭 결과가 획득되면, 상기 특정 인물 이미지에 대한 인물 정보를 이용하여 촬영된 사진에 태깅을 수행한다(S340). On the other hand, if a matching result of having a high similarity with a specific person image among the person images stored in the content DB 130 is obtained, tagging is performed on the picture taken using the person information on the specific person image (S340).

본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Embodiments according to the present invention can be implemented in the form of program instructions that can be executed by various computer means can be recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.In the present invention as described above has been described by the specific embodiments, such as specific components and limited embodiments and drawings, but this is provided to help a more general understanding of the present invention, the present invention is not limited to the above embodiments. For those skilled in the art, various modifications and variations are possible from these descriptions.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the described embodiments, and all the things that are equivalent to or equivalent to the claims as well as the following claims will belong to the scope of the present invention. .

도 2는 얼굴 검출 및 얼굴 트래킹 기술을 사용하여 얼굴의 인식률을 높이기 위한 예를 도시한 도면이다.FIG. 2 is a diagram illustrating an example for increasing a face recognition rate using face detection and face tracking techniques.

도 3은 본 발명의 일 실시예에 따라, 인물 인식을 통해 디지털 데이터에 태깅을 수행하는 과정을 보여주는 흐름도이다. 3 is a flowchart illustrating a process of tagging digital data through person recognition according to an embodiment of the present invention.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for main parts of the drawings>

110 : 피사체 해석부110: subject analysis unit

110a : 얼굴 검출부110a: face detection unit

110b : 얼굴 태깅부110b: face tag

110c : 얼굴 인식부110c: face recognition unit

120 : 프리뷰 히스토리 DB120: preview history DB

130 : 컨텐츠 DB130: content DB

140 : 인터페이스부140: interface unit

150 : 통신부150: communication unit

160 : 제어부160: control unit

Claims

데이터베이스에 기록되어 있는 복수의 얼굴 참조 이미지와의 비교를 통해 디지털 기기에 의해 생성된 디지털 데이터에 포함된 인물의 얼굴을 인식하기 위한 방법에 있어서,A method for recognizing a face of a person included in digital data generated by a digital device through comparison with a plurality of face reference images recorded in a database, the method comprising:

(a) 상기 디지털 기기의 화면을 통해 디스플레이되는 인물에 대한 프리뷰 상태에서, 얼굴 검출 기술을 이용하여 상기 인물의 얼굴을 검출하고 검출된 얼굴을 트래킹하면서 상기 인물에 관한 얼굴 이미지를 적어도 하나 추출하여 프리뷰 히스토리 데이터로서 획득하는 단계,(a) In the preview state of the person displayed on the screen of the digital device, by using a face detection technology to detect the face of the person and track the detected face while extracting at least one face image of the person to preview Obtaining as historical data,

(b) 상기 디지털 기기를 조작하여 상기 인물에 관한 디지털 데이터가 생성되면, 얼굴 인식 기술을 이용하여 상기 생성된 디지털 데이터에 포함된 상기 인물에 대한 이미지 및 상기 프리뷰 히스토리 데이터에 포함된 상기 인물에 대한 이미지를 상기 얼굴 참조 이미지와 비교하여 유사도를 판단하는 매칭 작업을 수행하는 단계, 및(b) when digital data about the person is generated by operating the digital device, an image of the person included in the generated digital data and a person included in the preview history data by using face recognition technology. Comparing the image with the face reference image to perform a matching operation to determine similarity; and

(c) 상기 생성된 디지털 데이터에 포함된 인물의 정체로서, 상기 유사도가 높은 상위 n 명의 인물에 대한 정보가 추천되는 단계를 포함하는 인물 인식 방법.and (c) identifying the identity of the person included in the generated digital data and recommending information on the top n persons having high similarity.

제1항에 있어서,The method of claim 1,

상기 (a) 단계는,In step (a),

상기 프리뷰 상태 동안 상기 트래킹 작업이 수행될 때마다 상기 프리뷰 히스토리 데이터가 획득되는 것을 특징으로 하는 인물 인식 방법.And the preview history data is acquired every time the tracking operation is performed during the preview state.

제2항에 있어서,The method of claim 2,

상기 (b) 및 (c) 단계는,Step (b) and (c) is,

상기 생성된 디지털 데이터에 포함된 상기 인물에 대한 이미지 및 상기 프리뷰 히스토리 데이터에 포함된 상기 인물에 대한 이미지를 상기 얼굴 참조 이미지와 비교하여 유사도를 판단함에 있어서, In determining the similarity by comparing the image of the person included in the generated digital data and the image of the person included in the preview history data with the face reference image,

상기 생성된 디지털 데이터에 포함된 상기 인물에 대한 이미지 및 상기 프리뷰 히스토리 데이터에 포함된 상기 인물에 대한 이미지 중 적어도 하나의 이미지를 상기 얼굴 참조 이미지 중 특정 인물의 이미지와 비교하여 상기 유사도가 임계치 이상으로 높은 경우, 상기 생성된 디지털 데이터에 포함된 인물의 정체로서 상기 특정 인물에 대한 정보를 추천하는 것을 특징으로 하는 인물 인식 방법.The similarity is greater than or equal to a threshold value by comparing at least one of an image of the person included in the generated digital data and an image of the person included in the preview history data with an image of a specific person in the face reference image. If high, the person recognition method, characterized in that to recommend the information about the specific person as the identity of the person included in the generated digital data.

제2항에 있어서,The method of claim 2,

(d) 상기 추천된 상위 n 명의 인물에 대한 정보 중 특정 인물에 대한 정보가 선택되면, 상기 특정 인물에 대한 정보를 이용하여 상기 생성된 디지털 데이터에 태깅을 수행하는 단계를 더 포함하는 것을 특징으로 하는 인물 인식 방법. (d) if information on a specific person is selected from the information on the recommended top n people, further comprising tagging the generated digital data using the information on the specific person. How to recognize people.

제4항에 있어서,The method of claim 4, wherein

상기 생성된 디지털 데이터에 태깅이 수행되면, 상기 태깅된 디지털 데이터가 상기 데이터베이스에 얼굴 참조 이미지로서 추가적으로 기록되는 것을 특징으로 하는 인물 인식 방법.When tagging is performed on the generated digital data, the tagged digital data is additionally recorded in the database as a face reference image.

제5항에 있어서,The method of claim 5,

상기 (d) 단계는,In step (d),

상기 추천된 상위 n 명의 인물에 대한 정보 중 상기 특정 인물에 대한 정보가 선택되면, 상기 디지털 데이터를 생성하기 전에 획득된 상기 프리뷰 히스토리 데이터에 상기 특정 인물에 대한 정보에 관하여 태깅을 수행하는 것을 특징으로 하는 인물 인식 방법. When the information on the specific person is selected from the information on the recommended top n people, tagging of the information on the specific person is performed on the preview history data obtained before generating the digital data. How to recognize people.

제6항에 있어서,The method of claim 6,

추가로 디지털 데이터가 생성되는 경우, 상기 태깅된 프리뷰 히스토리 데이터 및 상기 데이터베이스에 기록된 얼굴 참조 이미지가 상기 추가로 생성된 디지털 데이터에 포함된 인물의 정체를 파악하기 위해 사용되는 것을 특징으로 하는 인물 인식 방법.In addition, when the digital data is generated, the tagged preview history data and the face reference image recorded in the database are used to determine the identity of the person included in the additionally generated digital data. Way.

제1항 내지 제7항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능매체.A computer readable medium for recording a computer program for executing the method according to any one of claims 1 to 7.

복수의 인물에 대한 얼굴 참조 이미지가 기록되어 있는 컨텐츠 DB,A content DB in which face reference images of a plurality of persons are recorded;

디지털 기기의 화면을 통해 디스플레이되는 인물에 대한 프리뷰 상태에서, 얼굴 검출 기술을 이용하여 상기 인물의 얼굴을 검출하고 검출된 얼굴을 트래킹하면서 상기 인물에 관한 얼굴 이미지를 적어도 하나 추출하여 프리뷰 히스토리 데이터로서 획득하는 얼굴 검출&트래킹부, 및In the preview state of the person displayed on the screen of the digital device, the face detection technology is used to detect the face of the person, and at least one face image of the person is extracted while tracking the detected face to obtain the preview history data. Face detection & tracking part to say, and

상기 디지털 기기를 조작하여 상기 인물에 관한 디지털 데이터가 생성되면, 얼굴 인식 기술을 이용하여 상기 생성된 디지털 데이터에 포함된 상기 인물에 대한 이미지 및 상기 프리뷰 히스토리 데이터에 포함된 상기 인물에 대한 이미지를 상기 컨텐츠 DB에 기록된 상기 얼굴 참조 이미지와 비교하여 유사도를 판단하는 매칭 작업을 수행하는 얼굴 인식부를 포함하는 인물 인식 시스템.When digital data of the person is generated by operating the digital device, the image of the person included in the generated digital data and the image of the person included in the preview history data are generated using face recognition technology. And a face recognition unit configured to perform a matching operation to determine a similarity level by comparing the face reference image recorded in a content DB.

제9항에 있어서,The method of claim 9,

상기 프리뷰 히스토리 데이터를 저장하는 프리뷰 히스토리 DB를 더 포함하는 것을 특징으로 하는 인물 인식 시스템. And a preview history DB for storing the preview history data.

제10항에 있어서,The method of claim 10,

상기 얼굴 검출&트래킹부는,The face detection & tracking unit,

상기 프리뷰 상태 동안 상기 트래킹 작업이 수행될 때마다 상기 프리뷰 히스토리 데이터를 획득하여 상기 프리뷰 히스토리 DB에 기록하는 것을 특징으로 하는 인물 인식 시스템.Each time the tracking operation is performed during the preview state, the preview history data is obtained and recorded in the preview history DB.

제11항에 있어서,The method of claim 11,

상기 얼굴 인식부는,The face recognition unit,

상기 생성된 디지털 데이터에 포함된 상기 인물에 대한 이미지 및 상기 프리뷰 히스토리 데이터에 포함된 상기 인물에 대한 이미지 중 적어도 하나의 이미지를 상기 얼굴 참조 이미지 중 특정 인물의 이미지와 비교하여 상기 유사도가 임계치 이상으로 높은 경우, 상기 생성된 디지털 데이터에 포함된 인물의 정체로서 상기 특정 인물에 대한 정보를 추천하는 것을 특징으로 하는 인물 인식 시스템.The similarity is greater than or equal to a threshold value by comparing at least one of an image of the person included in the generated digital data and an image of the person included in the preview history data with an image of a specific person of the face reference image. If high, the person recognition system, characterized in that to recommend the information about the specific person as the identity of the person included in the generated digital data.

제12항에 있어서,The method of claim 12,

상기 얼굴 인식부는,The face recognition unit,

상기 유사도가 높은 상위 n 명을 추천하는 것을 특징으로 하는 인물 인식 시스템.And recommending the top n persons having the high similarity.

제13항에 있어서,The method of claim 13,

상기 추천된 상위 n 명의 인물에 대한 정보 중 특정 인물에 대한 정보가 선택되면, 상기 특정 인물에 대한 정보를 이용하여 상기 생성된 디지털 데이터에 태깅을 수행하는 제어부를 더 포함하는 것을 특징으로 하는 인물 인식 시스템. If the information on the specific person is selected from the information on the recommended top n people, the person recognition further comprises a control unit for tagging the generated digital data using the information on the specific person system.

제14항에 있어서,The method of claim 14,

상기 제어부에 의해 상기 생성된 디지털 데이터에 태깅이 수행되면, 상기 컨텐츠 DB에 상기 태깅된 디지털 데이터가 추가적으로 기록되는 것을 특징으로 하는 인물 인식 시스템.When tagging is performed on the generated digital data by the controller, the tagged digital data is additionally recorded in the content DB.

제15항에 있어서,The method of claim 15,

상기 추천된 상위 n 명의 인물에 대한 정보 중 상기 특정 인물에 대한 정보가 선택되면, 상기 제어부는 상기 프리뷰 히스토리 데이터에 상기 특정 인물에 대한 정보에 관하여 태깅을 수행하는 것을 특징으로 하는 인물 인식 시스템.And when the information on the specific person is selected from the information on the recommended top n persons, the controller performs tagging on the preview history data about the information on the specific person.