KR100701163B1

KR100701163B1 - 디시젼 퓨전을 이용하여 디지털 데이터 내의 인물 식별을통해 태그를 부여 하고 부가 태그를 추천하는 방법

Info

Publication number: KR100701163B1
Application number: KR1020060077416A
Authority: KR
Inventors: 유중희
Original assignee: (주)올라웍스
Priority date: 2006-08-17
Filing date: 2006-08-17
Publication date: 2007-03-29
Also published as: US7634115B2; KR20060101359A; WO2008020663A1; US20090256678A1

Abstract

본 발명은 디시젼 퓨전(decision fusion)법을 사용하여 디지털 데이터로부터 인물 식별 정보를 추출할 때 보다 높은 정확도로 추출할 수 있도록 하고, 기존 태그 이외의 부가 태그를 추천하는 방법에 관한 것이다. 보다 상세하게는, 본 발명은, 디지털 데이터 관리 시스템에서, 디지털 데이터의 속성 및 내용에 따라 디지털 데이터로부터 인물 식별 정보를 추출하여 이를 기초로 디지털 데이터에 자동적으로 인물 태그를 부여할 때에, 다양한 부가 정보를 이용하여 보다 정확한 인물 식별 정보를 획득하고 이를 디지털 데이터에 태깅하는 방법과 새로 생성된 디지털 데이터에 부여되어 있는 태그와 동일한 태그를 부여받은 기존의 디지털 데이터에 자주 사용된 태그를 파악하여 이를 디지털 데이터에 추가적으로 부여하도록 하는 방법에 관한 것이다.

디지털 데이터, 자동 태깅, 얼굴 인식, 디시젼 퓨전, 베이지안 분석

Description

디시젼 퓨전을 이용하여 디지털 데이터 내의 인물 식별을 통해 태그를 부여 하고 부가 태그를 추천하는 방법 {Methods for Tagging Person Identification Information to Digital Data and Recommending Additional Tag by Using Decision Fusion}

도 1은, 본 발명의 바람직한 실시예에 따라, 동일 클러스터 내의 복수의 사진 중 어느 하나에 특정 인물이 나타나면 나머지 사진에도 특정 인물과 동일한 인물이 사진에 나타날 확률이 높다는 점에 착안하여 인물 인식에 대한 정확도를 높일 수 있다는 것을 나타내는 도면이다.

도 2는, 본 발명의 다른 바람직한 실시예에 따라, 2인 이상의 인물들이 만남을 가지기 전에 이메일, 전화 통화, SMS 메시지 등을 이용하여 통신을 하기 마련이므로, 만남 중에 촬영된 사진에 나타난 인물은 통신 시의 발신자 또는 수신자에 해당될 확률이 높다는 점에 착안하여 인물 인식에 대한 정확도를 높일 수 있다는 것을 나타내는 도면이다.

도 3a 및 3b는, 본 발명의 또 다른 바람직한 실시예에 따라, 복수의 사진에 나타난 적이 있는 모든 인물 중 일부 친분있는 인물만이 사진에 자주 나타난다는 점에 착안하여 인물 인식에 대한 정확도를 높일 수 있다는 것을 나타내는 도면이 다.

도 4는 본 발명의 바람직한 실시예에 따라, 인물 인식에 대한 각각의 결과를 베이지안 분석법에 의하여 결합하여 Top n 리스트를 만드는 것을 나타내는 도면이다.

도 5는 본 발명의 바람직한 실시예에 따라, 부가 태그를 추천하는 방법에 대한 플로우 차트이다.

도 6은 얼굴 인식의 정확도를 높이기 위한 종래 기술을 나타내는 도면이다.

본 발명은 디지털 데이터로부터 인물 식별 정보를 추출할 때 보다 높은 정확도로 추출할 수 있도록 하는 방법 및 부가 태그를 추천하는 방법에 관한 것이다.

보다 상세하게는, 본 발명은, 디지털 데이터 관리 시스템에서, 디지털 데이터의 속성 및 내용에 따라 디지털 데이터로부터 인물 식별 정보를 추출하여 이를 기초로 디지털 데이터에 자동적으로 인물 태그를 부여할 때에 다양한 부가 정보를 이용하여 보다 정확한 인물 식별 정보를 획득하고 이를 디지털 데이터에 태깅하는 방법과 새로 생성된 디지털 데이터에 부여되어 있는 태그와 동일한 태그를 가지고 있는 복수의 기존의 디지털 데이터에 자주 사용된 태그를 파악하여 이를 새로 생성된 디지털 데이터에 추가적으로 부여하도록 하는 방법에 관한 것이다.

근래에 들어서 디지털 카메라, 카메라 부착형 이동 통신 기기, 디지털 캠코더 및 MP3 플레이어 등의 디지털 기기가 널리 보급되면서 사용자들이 디지털 사진이나 디지털 동영상과 같은 디지털 데이터를 생성하여 교류하는 양과 빈도가 크게 증가되고 있다. 이러한 디지털 데이터의 생성 및 교류의 확대는 필연적으로 데이터의 관리 문제를 수반한다. 그러나, 통상적으로 디지털 데이터의 경우, 그 정보량이 방대한 바, 데이터의 분류 및 통합 등에 의한 데이터 관리(검색 및 정보 추출 등)가 용이하지 않을 수 있다.

디지털 데이터 관리를 위한 하나의 종래기술로서, 태그를 사용하여 데이터를 분류하거나 통합하는 등의 데이터 관리를 행하는 기술이 널리 알려져 있다. "태그"는 데이터에 대한 신속한 액세스 또는 검색을 위해 디지털 데이터에 부착되는 부가 데이터로 이해될 수 있다. 이러한 태그는 일련의 문자, 숫자, 또는 문자 및 숫자의 조합으로 이루어지는 것이 일반적이다.

이러한 태그의 종류로는 공간에 관한 태그, 인물에 관한 태그, 사물에 관한 태그, 시간에 관한 태그 등이 있으며, 이 중 특히 인물에 관한 태그를 보다 높은 정확도로 디지털 데이터로부터 추출하기 위한 시도가 종래부터 있었다.

도 6은 얼굴 인식을 위한 얼굴 모양 특성(face appearance feature)과 콘텍스트 특성(contextual features)을 개시하는데, 이와 관련된 논문으로서 마이크로소프트 리서치 아시아(Microsoft Research Asia)에서 2003년 발표된 논문인 "가족 앨범 내의 인간 얼굴에 대한 자동 주석달기(Automated Annotation of Human Faces in Family Albums)" 에서 볼 수 있듯이, 사진 속의 인물에 대한 얼굴 인식률을 높 이기 위해 일반적인 얼굴 인식 알고리즘에 콘텍스트 특성을 부가한 내용이 개시되어 있다. 콘텍스트 특성이란 동일한 날 또는 동일한 이벤트에 찍은 복수의 사진에 나타나는 개인은 동일한 옷을 입고 있을 확률이 크다는 것으로서, 이러한 콘텍스트 특성에 의해 앨범 내의 한정된 수의 개인을 구별하는 데에 사용될 수 있다는 것이다. 이 논문에 따르면, 서로 멀리 떨어진 다른 날(상기 논문에 따르면, 이틀이 넘는 간격)에 찍힌 두 개의 사진에는 이러한 콘텍스트 특성에 근거한 얼굴 인식은 적용되지 않는다는 것이며, 이러한 유사성을 적용하기 위해서는 적어도 이틀 내에 찍힌 사진들일 것을 조건으로 한다.

그러나, 상기 논문에 개시된 이러한 종래의 얼굴 인식 기술은 일반적인 얼굴 모양 특성에 대한 유사성 파악에 더하여 동일 시간 범위 내에 존재하는 인물들의 의상에 대한 유사성 파악만을 기초로 얼굴 인식을 행하고 있으므로 그 정확도에서 상당히 미흡한 면이 있다. 예를 들면, 동일 시간 범위를 하루 또는 이틀로 정하여도 동일 인물이 다른 의상을 입고 있는 경우가 자주 있을 수 있다. 특히, 여름을 제외한 봄, 가을, 겨울의 경우 실외에서는 셔츠 위에 점퍼를 입고 있던 사람이 실내에서는 셔츠만을 입고 있는 일이 비일비재하다. 또한, 인물의 모습이 정면이 아닐 때 얼굴의 모양에 대한 인식 뿐만 아니라 입고 있는 의상의 모양에 대한 인식의 정확도가 떨어질 수 밖에 없다는 치명적인 단점이 존재하게 된다.

한편, 종래에는 디지털 데이터가 새로 생성되었을 때 부여된 태그(예를 들면, 장소에 관한 태그, 인물에 관한 태그, 사물에 관한 태그, 시간에 관한 태그 중 적어도 하나)외에 부가 태그를 추가적으로 부여하고자 할 때 수동으로 일일이 입력 해야 하는 불편이 있었다. 이에 대해, 종래의 디지털 데이터 관리 시스템으로 웹 기반 시스템인 Flickr^TM(http://www.flickr.com)(이하, "플리커")를 예로 들어 설명하면, 이 시스템에 개에 관한 사진을 업로드하면서 "dog"라고 태그를 붙인 후 이 개에 관한 부가 태그(예를 들면, "뽀삐")를 추가로 부여하고 싶을 때, 수동으로 일일이 입력해야 하는 불편이 있었으며, 이는 추가로 부여하고 싶은 부가 태그가 늘어날수록 큰 단점으로 부각될 수 밖에 없었다.

따라서, 본 발명의 목적은, 종래의 얼굴 인식 방법보다 현저히 높은 정확도로 얼굴 인식을 행함으로써 생성된 인물 식별 정보를 디지털 데이터에 자동적으로 태깅하는 방법을 제공함으로써 사용자가 보다 편리하게 디지털 데이터를 관리하고 타 사용자와 공유할 수 있도록 하는 것이다.

더 나아가, 본 발명의 추가적인 목적은, 디시젼 퓨전(decision fusion)을 사용하여 새로 생성된 디지털 데이터에 이미 부여되어 있는 태그와 동일한 태그를 가지고 있는 기존의 디지털 데이터에 자주 사용된 태그를 파악하여 이를 디지털 데이터에 추가적으로 부여함으로써 사용자의 입력 부담을 상당히 경감시킬 수 있도록 하는 것이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실 시예를 예시로서 도시하는 첨부 도면을 참조하여 설명한다.　 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다.　 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다.　 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다.　 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다.

상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 기능을 수행하기 위한, 본 발명의 특징적인 구성은 하기와 같다:

본 발명의 일 태양에 따르면, 디지털 데이터 관리 시스템에서 디지털 기기에 의해 생성된 제1 디지털 데이터에 제1 인물의 식별 정보를 태그로서 부여하는 방법 - 상기 디지털 데이터 관리 시스템은 상기 디지털 기기의 사용자의 식별 정보 및 생활 패턴 정보를 포함하고, 상기 제1 디지털 데이터는 상기 제1 인물의 이미지를 포함함 - 으로서, 상기 제1 인물에 대한 부가 정보 중 적어도 하나를 이용하여 상기 제1 인물을 식별하는 단계, 및 상기 제1 인물의 식별 정보를 상기 제1 디지털 데이터에 태그로서 자동적으로 부여하는 단계를 포함하되, 상기 부가 정보는, 상기 제1 디지털 데이터와 동일 클러스터 내에 분포되는, 상기 제1 디지털 데이터와 다 른 적어도 하나의 디지털 데이터로 구성되는 제1 디지털 데이터군이 제2 인물의 이미지를 포함하는 경우, 상기 제1 인물이 상기 제2 인물과 동일 인물일 확률이 높음을 지시하는 정보, 상기 제1 디지털 데이터가 2인 이상의 만남 중에 생성된 것으로 판별되는 경우, 상기 제1 인물의 이미지는 상기 만남과 연관된 통신의 발신자 또는 수신자의 것일 확률이 높음을 지시하는 정보, 상기 제1 디지털 데이터와 다른 적어도 하나의 디지털 데이터로 구성되는 제2 디지털 데이터군에 제3 인물의 이미지가 m회 포함되는 경우, 상기 m의 회수에 기초하여 상기 제1 인물이 상기 제3 인물과 동일 인물일 확률이 높음을 지시하는 정보, 상기 제1 디지털 데이터의 생성 시각 및 장소 중 적어도 하나를 상기 디지털 기기의 사용자의 생활 패턴 정보와 함께 고려함으로써 획득되는 상기 제1 인물에 관한 정보, 상기 제1 인물의 이미지 내의 상기 제1 인물의 얼굴의 위치 및 사이즈에 따라 상기 제1 인물을 특정 인물로 식별할 확률을 지시하는 정보, 상기 디지털 기기가 듀얼 카메라인 경우, 상기 제1 디지털 데이터가 상기 듀얼 카메라의 렌즈가 상기 디지털 기기의 사용자 쪽을 향할 때에 생성된 것이면 상기 제1 인물은 상기 디지털 기기의 사용자일 확률이 높다는 정보, 및 상기 디지털 기기가 듀얼 카메라인 경우, 상기 제1 디지털 데이터가 상기 디지털 기기의 사용자 쪽을 향하지 않을 때에 생성된 것이면 상기 제1 인물은 상기 디지털 기기의 사용자가 아닐 확률이 높다는 정보 중 적어도 하나를 포함하는 방법이 제공된다.

본 발명의 다른 태양에 따르면, 디지털 데이터 관리 시스템에 포함된 데이터베이스에 복수의 기존 디지털 데이터가 저장되어 있고 특정 사용자가 디지털 기기 를 사용하여 특정 장소 S 에서 하루 중의 특정 시간대 T 에 특정 인물 P 또는 특정 사물 O 의 이미지 중 적어도 하나를 포함하는 제1 디지털 데이터를 생성할 때 - 상기 제1 디지털 데이터에 상기 장소 S, 상기 인물 P, 상기 사물 O, 상기 시간대 T 중 적어도 하나가 1차 태그로서 부여되어 있음 - , 상기 1차 태그와 다른 2차 태그를 식별 정보로서 추가적으로 상기 제1 디지털 데이터에 부여하는 방법으로서, 상기 기존 디지털 데이터 중 상기 1차 태그와 동일한 태그를 가지는 동일_태그_디지털 데이터를 검색하는 단계, 상기 동일_태그_디지털 데이터에 부여되어 있는 모든 태그 중 상기 1차 태그와 동일한 태그를 제외한 나머지 태그가 상기 동일_태그_디지털 데이터에 얼마나 자주 부여되었는지 각각의 빈도를 계산하는 단계, 상기 나머지 태그 중 상기 빈도가 가장 높은 N 개의 태그를 상기 디지털 기기의 화면에 표시하는 단계, 상기 사용자가 상기 화면에 표시된 N 개의 태그 중 적어도 하나를 상기 제1 디지털 데이터의 상기 2차 태그로서 선택하는 단계, 및 상기 선택된 태그를 상기 제1 디지털 데이터에 상기 2차 태그로서 부여하는 단계를 포함하는 방법이 제공된다.

[본 발명의 바람직한 실시예]

인물 식별을 위한 부가 정보 1

도 1은 본 발명의 바람직한 실시예에 따라 동일 클러스터 내에는 동일한 인물이 사진에 찍힐 확률이 높다는 점에 착안하여 인물 인식에 대한 정확도를 높일 수 있다는 것을 나타내는 도면이다. 여기서, 클러스터는 디지털 사진과 같은 디지털 데이터가 생성된 시간에 따라 구분지어질 수도 있고, 디지털 데이터가 생성된 장소에 따라 구분지어질 수도 있다.

이와 같이 클러스터 개념을 도입할 수 있는 근거는 동일한 출원인이 출원한 한국특허출원 제2006-14040호의 덩어리 태깅 부분의 설명에서 찾아볼 수 있다. 이에 따르면, 각 디지털 기기의 사용자는 본인이 원하는 시간 및 장소에서 디지털 데이터를 생성할 수 있다. 그러나, 이러한 디지털 데이터의 생성 시간이나 생성 장소 등을 살펴보면 실제로는 매우 불연속적인 분포를 갖는 경우가 많다. 즉, 디지털 기기의 사용자가 디지털 데이터를 매우 편중된 시간 및 장소에서만 생성하는 경향이 있기 마련이다. 따라서, 여러 디지털 데이터에 공통되는 장소나 시간대 등을 파악함으로써, 해당 디지털 데이터를 하나의 덩어리로 묶고 해당 디지털 데이터 모두에 공통되는 태그를 일괄적으로 부여하는 덩어리 태깅 방식이 존재할 수 있다는 것이다.

이와 같은 덩어리 태깅의 아이디어를 응용하여 인물에 관한 태그를 높은 정확도로 추출하도록 할 수 있다. 즉, 동일 클러스터 내에 복수의 디지털 데이터가 생성된 경우, 어느 하나의 디지털 데이터에 특정 인물의 이미지가 포함되었다고 한다면 나머지 디지털 데이터에도 동일한 인물의 이미지가 포함되어 있을 확률이 높다고 할 수 있다. 이는 짧은 시간대 내에서는 동일 인물에 관해 포즈를 달리하여 다량의 디지털 데이터가 생성될 가능성이 높고, 가까운 지역 내에서는 동일 인물과 만남을 가지면서 근방의 이곳 저곳을 함께 돌아다니면서 배경을 달리하여 다량의 디지털 데이터를 생성할 가능성이 높기 때문인데, 이는 사람들의 일반적인 경향이라고 말할 수 있다.

따라서, 이와 같은 클러스터 개념에 입각하여, 동일 시간대 또는 동일 지역권 내에 편중되어 생성된 디지털 데이터에 그 이미지가 포함되어 있는 인물들에 대한 정보를 디지털 데이터에 태깅함에 있어서, 상기와 같은 이유로 동일 클러스터 내에서는 동일 인물이 반복하여 나타날 확률이 높다는 점을 이용하면 인물 인식의 정확도를 상당 부분 높일 수 있게 된다.

한편, 동일 클러스터 내에서 이미 생성된 디지털 데이터의 이미지에 나타난 인물들의 출현 빈도에 대한 분석을 함으로써 동일 클러스터 내에서 가장 자주 사진이 찍혔다고 판단되는 후보군 리스트를 생성한 후, 동일 클러스터 내에서 디지털 데이터가 새로 생성되면 이미 생성되어 있는 후보군 리스트 중 가장 확률이 높게 배정되어 있는 인물 중의 하나가 새로 생성된 디지털 데이터의 이미지에 나타나는 인물로서 판단될 가능성이 상당히 높다고 볼 수 있다. 이에 따라, 새로 생성된 디지털 데이터의 이미지에 포함되는 인물의 정체가 밝혀지면 후보군 리스트에 포함된 각각의 인물들에 배정된 확률값에 대한 실시간 업데이트가 가능함은 물론이다. 이와 같은 프로세스는 이하에서 설명될 디시젼 퓨전, 예를 들면, 베이지안 분석법을 참조로 행해질 수 있다.

인물 인식을 위한 부가 정보 2

도 2는 본 발명의 다른 바람직한 실시예에 따라 2인 이상의 인물들이 만남을 가지기 전에 이메일, 전화 통화, SMS 메시지, 채팅(메신저 채팅) 등을 통해 의사 교환을 하기 마련이므로, 만남 중에 생성된 디지털 데이터의 이미지에 나타난 인물은 의사 교환 시의 발신자 또는 수신자에 해당될 확률이 높다는 점에 착안하여 인물 인식에 대한 정확도를 높일 수 있다는 것을 나타내는 도면이다.

이는 도 2에 도시된 문자의 예시에서도 볼 수 있듯이, 일반적으로 사람들은 지인을 만나기 전에 약속 장소나 시간 등에 관해 결정을 하기 위하여 연락을 하기 쉽상이다. 이러한 연락은 이메일, 전화 통화, 핸드폰을 이용한 SMS 메시지 교환, 메신저 서비스를 이용한 채팅 등을 통해서 가능할 것이다. 도 2에 나타나 있는 문자 교환을 구체적으로 예로 들어 설명해 보면, Jiro와 Tanaka 사이에 약속 시간을 몇 시로 할 것인가에 대한 문자 연락이 있었고, 실제로 그 문자 연락 후 Jiro와 Tanaka가 같이 찍힌 사진들이 생성되었음을 알 수 있다. 따라서, 이와 같은 상관 관계를 십분 이용하면 사진 속에 나타나는 인물에 대한 인식의 정확도를 높일 수 있게 된다.

이와 같은 부가 정보는 사람들의 일반적인 경향을 고려해 볼 때 상당히 강력한 툴이 될 수 있다. 이는 공간적으로 떨어져 있는 2인 이상의 사람이 만나 사진을 찍기 위해서는 공간적으로 떨어져 있는 사람들이 일정 시간이 흐른 후 어느 특정 장소에서 만나야 할 것을 필요조건으로 하는데, 공간적으로 떨어져 있는 사람들이 어느 특정 장소에서 만나기 위해서는 공간적으로 떨어져 있는 사람들 사이에서 장소 및 시간을 정하기 위한 의사 교환이 행해져야 하기 때문이다. 이와 같은 인간의 일반적인 경향을 적절히 사용하여 디지털 데이터의 이미지에 나타나는 인물에 대한 인식의 정확도를 상당히 높게 유지시킬 수 있음을 알 수 있다.

상기와 같이 디지털 데이터가 생성되기 전의 일정 기간 동안에 행하여진 의사 소통의 발신자 및 수신자를 파악함으로써 후보군 리스트가 생성된 후, 디지털 데이터가 새로 생성되면 이미 생성되어 있는 후보군 리스트 중 가장 확률이 높게 배정되어 있는 인물 중의 하나가 새로 생성된 디지털 데이터의 이미지에 나타나는 인물로서 판단될 가능성이 상당히 높다고 볼 수 있다. 이에 따라, 새로 생성된 디지털 데이터의 이미지에 포함되는 인물의 정체가 밝혀지면 후보군 리스트에 포함된 각각의 인물들에 배정된 확률 값에 대하여 실시간 업데이트 일어날 수 있음은 물론이며, 향후 또다시 새롭게 생성된 디지털 데이터의 이미지에 인물이 포함되어 있는 경우 업데이트된 확률 값을 가지고 있는 후보군 리스트를 참조로 하여 디지털 데이터의 이미지 내의 인물의 정체를 판단하게 된다. 이와 같은 프로세스는 이하에서 설명될 디시젼 퓨전, 예를 들면 베이지안 분석법을 참조로 행해질 수 있다.

인물 인식을 위한 부가 정보 3

도 3a 및 3b는 본 발명의 또 다른 바람직한 실시예에 따라 복수의 사진에 나타난 적이 있는 모든 인물 중 일부 친분있는 인물만이 사진에 자주 나타난다는 점에 착안하여 인물 인식에 대한 정확도를 높일 수 있다는 것을 나타내는 도면이다.

도 3a에서 x축은 모든 사진에 나타나는 개별 인물의 총수를 100으로 둘 때 모든 사진에 가장 자주 등장하는 인물을 내림차순으로 소팅한 것이며, y축은 모든 사진을 100%으로 가정할 때의 사진 수를 나타내는데, 이 때 xy평면에 도시된 그래 프 상의 좌표 값(X, Y)들의 궤적은 사진에 가장 자주 등장하는 인물 상위 X명이 등장하고 있는 사진 수가 총 Y %라는 것을 나타내는 것이다.

예를 들면, 도 3a에 따르면, 모든 사진을 통틀어 볼 때 가장 자주 등장하는 상위 9명이 나타나는 사진은 총 사진의 37%에 해당함을 알 수 있다. 이는 총 인물수가 100명임을 고려할 때 9명은 9%에 불과한 수치이지만, 이러한 9%의 인물들이 차지하는 비중은 총 사진의 37%에까지 이르게 된다는 것으로서 도 3a에서 볼 수 있듯이 그래프가 상당히 좌상 측으로 치우쳐져 있음을 알 수 있다.

xy평면에서 정비례하는 그래프라면 모든 인물이 동일한 빈도로 사진에 나타나고 있다는 것이므로 얼굴 인식을 위한 부가 정보로서 전혀 효용 가치가 없는 것이지만 실제로 사람들은 자신과 친분관계에 있는 자들과 보다 많은 사진을 찍는 것이 일반적인 경향이므로 도 3a에서와 같이 정비례 그래프로부터 상당히 벗어난 그래프의 모양을 가지게 된다면 얼굴 인식을 위한 부가 정보로서 상당한 효용 가치를 지니게 되며, 이와 같은 상관 관계에 근거하여 사진 속에 나타나는 인물에 대한 인식의 정확도를 높일 수 있게 된다.

도 3b는 x축이 사진 수를 나타내고 y축이 사람수를 나타낼 때의 막대그래프(X, Y)이다. 여기서, 막대그래프(X, Y)는 Y 명은 자신의 얼굴이 나타나는 사진이 X매 있음을 나타낸다. 예를 들면, X 값이 1에 해당할 때 Y 값이 24라는 것은 모든 사진을 고려할 때 24명은 자신의 얼굴이 나온 사진을 1 매 가지고 있다는 것이고, X 값이 40에 해당할 때의 Y 값이 1 이라는 것은 모든 사진을 고려할 때 1명은 자신의 얼굴이 나온 사진을 무려 40 매나 가지고 있다는 것을 나타낸다.

도 3b를 보면 3개의 점선 박스 모양이 나타나는데, 가장 오른쪽 점선 박스는 가장 높은 빈도로 사진이 찍힌 사람이므로 셀프 샷(self shot)이나 가족 사진일 확률이 높고, 가운데 점선 박스는 그 다음 높은 빈도로 사진이 찍힌 사람이므로 가장 친한 친구들일 확률이 높으며, 왼쪽 점선 박스는 그 다음 높은 빈도로 사진이 찍힌 사람이므로 친한 친구들일 확률이 높다. 왼쪽 점선 박스 보다도 왼쪽에 있는 막대그래프에 속하는 사람들은 별로 친분관계가 없는 사람에 해당될 확률이 높다고 할 수 있는데, 이에 대해서는 당연히 개인차가 있을 수 있으며 이러한 개인차는 본 명세서 곳곳에서 언급되고 있는 업데이트 과정을 통하여 반영될 수 있음은 물론이다. 예를 들면, 가장 오른쪽 점선 박스에 해당하는 사람이 셀프 샷이나 가족이기 보다는 가장 친한 친구들일 수도 있으며, 이는 특정 인물의 주변 인간 관계에 대해 피드백을 받아, 즉 이전에 찍혔던 사진들에 대한 인물 분석을 통하여 피드백을 받아, 각각의 점선 박스에 해당하는 인물 그룹의 정체에 대해 수정을 가할 수 있음은 물론이며, 이에 따라 사진에 나타나는 인물들에 대한 얼굴 인식의 정확도를 높일 수 있게 된다.

요컨대, 이미 생성되어 있는 디지털 데이터에 나타난 모든 인물 중 가장 높은 빈도로 나타난 상위 인물을 명단으로 하는 후보군 리스트가 생성된 후, 디지털 데이터가 새로 생성되면 이미 생성되어 있는 후보군 리스트 중 가장 확률이 높게 배정되어 있는 인물 중의 하나가 새로 생성된 디지털 데이터의 이미지에 나타나는 인물로서 판단될 가능성이 상당히 높다고 볼 수 있다. 이와 같은 프로세스를 거쳐 새로 생성된 디지털 데이터의 이미지에 나타나는 인물의 정체가 밝혀지면 후보군 리스트에 포함된 각각의 인물들에 배정된 확률 값에 대하여 실시간 업데이트 일어날 수 있음은 물론이며, 향후 또다시 새롭게 생성된 디지털 데이터의 이미지에 인물이 포함되어 있는 경우 업데이트된 확률 값을 가지고 있는 후보군 리스트를 참조로 하여 디지털 데이터의 이미지 내의 인물의 정체를 판단하게 된다. 이와 같은 프로세스는 이하에서 설명될 디시젼 퓨전, 예를 들면 베이지안 분석법을 참조로 행해질 수 있다.

인물 인식을 위한 부가 정보 4

사진 속에 나타나는 인물의 얼굴에 대한 인식의 정확도를 높이기 위해서는 해당 사진에 자동 또는 수동 태깅되어 있는 태그를 참조할 수 있다. 예를 들어, 자동 또는 수동 태깅되어 있는 공간 태그나 시간 태그를 참조할 수 있다. 이와 같이 태그를 참조로 하고 이에 특정 인물의 생활 패턴 정보를 부가하여 사진 속의 인물에 대한 인식을 행할 수 있다.

예를 들면, 사진이 주말에 생성된 것일 때(즉, 디지털 데이터의 시간 태그가 주말에 해당될 경우) 사진 속의 인물이 가족이나 친구일 확률이 높다고 가중치를 둘 수도 있고, 사진이 주중에 생성된 것일 때(즉, 디지털 데이터의 시간 태그가 주중에 해당될 경우) 사진 속의 인물이 동료일 확률이 높다고 가중치를 둘 수 있으며, 술집에서 사진이 찍힌 것일 때(즉, 디지털 데이터의 공간 태그가 술집에 해당될 경우) 사진 속의 인물이 친구나 동료일 확률이 높다고 가중치를 둘 수도 있고, 집안에서 사진이 찍힌 것일 때(즉, 디지털 데이터의 공간 태그가 집에 해당될 경 우) 사진 속의 인물이 가족일 확률이 높다고 가중치를 둘 수도 있다.

마찬가지로, 다른 생활 패턴을 가지고 있는 사람이라면, 예를 들어, 특정 친구와는 술집에서 만나지 않고 놀이 공원에서 주로 만나는 생활 패턴이라든지 주말에는 가족이나 친구와 같이 있지 않고 혼자 있는 자취생과 같은 경우라면, 그 사람의 과거 사진들의 생활 패턴을 자동 분석하여 그 생활 패턴에 맞게 확률의 가중치를 수정할 수 있음은 물론이다.

요컨대, 이미 생성되어 있는 디지털 데이터에 나타난 특정 인물의 생활 패턴 또는 특수한 습성을 분석 및 파악하여 특정 시간대 및 특정 지역에서 생성된 디지털 데이터의 이미지에 나타나는 인물로 판단될 가능성이 높은 인물을 명단으로 하는 후보군 리스트를 생성한 후, 디지털 데이터가 새로 생성되면 이미 생성되어 있는 후보군 리스트 중 가장 확률이 높게 배정되어 있는 인물 중의 하나가 새로 생성된 디지털 데이터의 이미지에 나타나는 인물로서 판단될 가능성이 상당히 높다고 볼 수 있다. 이와 같은 프로세스를 거쳐 새로 생성된 디지털 데이터의 이미지에 나타나는 인물의 정체가 밝혀지면 후보군 리스트에 포함된 각각의 인물들에 배정된 확률값에 대하여 실시간 업데이트가 일어날 수 있음은 물론이며, 향후 또다시 새롭게 생성된 디지털 데이터의 이미지에 인물이 포함되어 있는 경우 업데이트된 확률 값을 가지고 있는 후보군 리스트를 참조로 하여 디지털 데이터의 이미지 내의 인물의 정체를 판단하게 된다. 이와 같은 프로세스는 이하에서 설명될 디시젼 퓨전, 예를 들면 베이지안 분석법을 참조로 행해질 수 있다.

인물 인식을 위한 부가 정보 5

사진 속에 나타난 얼굴의 위치 및 크기를 분석하여 보면 얼굴 인식의 정확도를 높이는 데에 사용될 수 있음을 알 수 있다. 예를 들어, 사진의 센터에 하나의 큰 얼굴이 나타나면, 그것은 자신을 찍은 셀프샷일 수 있으며, 사진의 센터에 하나의 큰 얼굴이, 그 주변에 아주 작은 얼굴이 나타나면 센터의 큰 얼굴은 셀프샷이고 그 주변의 얼굴들은 모르는 사람들(예를 들면, 보행자)이 될 확률이 높다고 할 수 있다. 또한, 비슷한 크기의 얼굴이 두 개 나타나고, 그 두 얼굴 중 하나가 이미 나 자신으로 태깅되어 있는 상태라면 나머지 한 얼굴의 정체는 나의 친한 친구이거나 여자 친구일 확률이 높을 수 있다. 이 때, 상기에서 설명된 바와 같이, 과거 사진에 나타나는 인물들에 대한 분석에 따라, 즉 사진 주인공의 일반적인 경향 또는 특수한 습성에 따라, 확률의 가중치에 대하여 실시간 업데이터가 일어날 수 있음은 물론이다. 이와 같은 프로세스는 이하에서 설명될 디시젼 퓨전, 예를 들면 베이지안 분석법을 참조로 행해질 수 있다.

이 밖에도 얼굴 인식에 대한 정확도를 높이기 위한 여러 방법이 있을 수 있는데, 예를 들면, 듀얼 카메라의 경우, 카메라 사용자 쪽을 향하고 있는 렌즈를 통해 찍힌 인물의 정체는 자신일 확률이 높을 수 있고 그렇지 않은 쪽을 향하고 있는 렌즈를 통해 찍힌 인물의 정체는 나를 제외한 친구일 확률이 높을 수 있다. 셀프샷이 전체 사진의 상당한 부분을 차지한다고 가정할 때 렌즈가 카메라 사용자 쪽을 향하지 않을 경우 셀프샷을 배제하게 되므로 얼굴 인식의 정확도가 높아지게 된다.

디시젼 퓨전을 통한 인물 인식을 위한 부가 정보의 결합

도 4는 상기에서 언급된 여러 개의 바람직한 실시예에 나타난 단서를 디시젼 퓨전, 예를 들어 베이지안 분석법을 통하여 결합하여 총합적으로 모든 팩터를 고려함으로써 새롭게 생성된 디지털 데이터의 이미지에 포함되는 인물에 해당될 확률을 가장 높게 배정받은 상위 n 명의 리스트, 일명 Top n 리스트를 만드는 프로세스를 나타내는 도면이다. n은 자연수이며, 여기서는 예를 들어 n = 9로 한다.

디시젼 퓨전이란 시간의 흐름에 따라 축적되는 정보를 결합하여 과학적 질문에 답하기 위한 반복적인 프로세스로서, 이슈가 되고 있는 주제에 대한 현재 상태를 평가하고 나머지 질문에 대한 답을 찾기 위해 새로운 데이터를 수집하며, 그 후 수집된 새로운 데이터 및 예전 데이터를 결합함으로써 지식을 업데이트하고 오차를 줄이는 효과를 가지는 분석법이다. 요컨대, 복수의 단서(multiple cue)와 선험적 확률(a priori probability)로부터 특정 이슈에 대해 판단을 내리는(decision making) 프로세스를 일컫는다.

디시젼 퓨전에는 여러가지 방법이 있는데, 각각의 단서들로부터 확률을 구하고, 이 확률을 합쳐서 (예를 들면, 가중 확률 합(weighted probability sum)) 최종 확률을 구하여 Top n 리스트를 구하는 애드 혹(ad-hoc) 방법부터 애드 혹 방법과는 달리 각각의 단서들을 모두 고려한 확률을 계산하여 Top n 리스트를 구하는 베이지안 분석법(http://en.wikipedia.org/wiki/Bayesian_inference)에 이르기까지 여러가지 방법이 있다. 일반적으로 단서들은 상호 독립이 아니므로 (시간과 장소는 관련(correlate)되어 있는 경우가 있다. 예를 들면, 샐러리맨의 경우 주중 낮(=시 간)에는 보통 사무실(=장소)에 있을 것이다), 애드 혹 방법에서와 같이 각각의 단서들로부터 확률을 구하고, 이 확률을 합쳐서 최종 확률을 구하여 Top n 리스트를 구하는 것은 최적이 아닐수도 있으므로 본 발명은 베이지안 분석법에 의한 구현을 선호하지만 그렇다고 애드 혹 방법에 의한 구현을 배제하는 것은 아님을 명확히 밝혀둔다.

이와 같은 베이지안 분석법을 통하여 인물 인식을 위한 부가 정보(상기에서 언급된 실시예들로부터 얻어진 후보군 리스트) 각각을 결합하여 Top 9 리스트를 생성할 수 있다. 도 4에서 볼 수 있듯이 왼편의 박스의 내용은, 사진 속에 나타난 인물이 100명이라고 가정할 때 상기에서 언급되었던 인물 인식을 위한 부가 정보 모두를 이용하여 계산된 인물 100명 각각의 확률(사진에 나타난 인물로서 판단될 확률)을 나타낸다. 이와 같은 박스 내에 기재된 확률은 베이지안 분석법 특유의 성질상 디지털 데이터가 새로이 생성될 때마다 계속 업데이트되며, 업데이트된 확률을 근거로 추후에 생성될 디지털 데이터의 이미지에 나타나는 인물의 정체를 추정하게 되는 바, 각각의 확률이 동적으로 변경되어 정확한 예측을 가능하게 해준다. 이와 같은 베이지안 분석법에 의해 오른쪽 박스와 같은 Top 9 리스트를 생성하게 되는 것이다. 생성된 Top 9 리스트를 참조하면 사진 속에 나타난 인물에 대한 얼굴 인식 시 생길 수 있는 오류를 상당 부분 제거할 수 있게 된다.

부가 태그 추천 기능

도 5는 본 발명의 바람직한 실시예에 따라, 부가 태그를 추천하는 방법에 대 한 플로우 차트이다.

디지털 데이터 관리 시스템의 DB에 복수의 기존 디지털 데이터가 저장되어 있는 상태에서 특정 사용자가 디지털 기기를 사용하여 특정 장소에서 하루 중의 특정 시간대에 특정 인물 또는 특정 사물의 이미지 중 적어도 하나를 포함하는 디지털 데이터를 생성한다(단계 501). 이 때, 생성된 디지털 데이터에는 장소, 인물, 사물, 시간대 중 적어도 하나가 태그로서 부여되어 있으며, 이들 태그는 디지털 데이터의 생성과 함께 자동적으로 디지털 데이터에 부여된다(동일한 출원인이 출원한 한국특허출원 제2006-14040호 참조).

그 후, 생성된 디지털 데이터에 자동적으로 부여된 태그와 동일한 태그를 가지는 디지털 데이터를 DB에서 검색한다(단계 502).

그 다음, 검색이 완료된 1 개 이상의 디지털 데이터에 부여되어 있는 모든 태그로부터 단계 502의 동일한 태그를 제외한 것을 나머지 태그라고 일컬을 때, 나머지 태그 각각이 검색된 디지털 데이터에 얼마나 자주 부여되었는지 각각의 빈도를 계산한다(단계 503).

그 후, 나머지 태그 중 빈도가 가장 높은 N 개의 태그를 디지털 기기의 화면에 표시하여 사용자로 하여금 선택할 수 있는 기회를 주며(단계 504), 사용자는 화면에 표시된 N 개의 태그 중 적어도 하나를 선택한다(단계 505).

이에 따라 선택된 항목은 새로 생성된 디지털 데이터에 추가적으로 부여되어 부가 태그로서 기능하게 된다(단계 506).

예를 들면, 특정 사용자가 자신의 여자 친구와 사진을 찍을 때 대부분 특정 백화점에서 쇼핑을 하고 있을 때가 많다는 이유로 디지털 데이터에 '쇼핑'이라는 태그를 붙일 때가 많고, 또한 디지털 데이터에 '데이트'라는 태그를 붙일 때가 많다고 가정한다. 상기에서 언급된 한국특허출원 제2006-14040호의 명세서에서 볼 수 있듯이 특정 사용자에 의해 생성된 디지털 데이터에는 GPS에 의한 디지털 기기의 위치 추적으로 디지털 데이터가 생성된 장소를 알아내어 '특정 백화점'이라고 자동적으로 태그가 붙을 수 있으며, 본 발명에 의해 사진 속의 인물에 대한 얼굴 인식을 행함으로써 사진 속의 인물이 여자 친구임이 밝혀지면 여자 친구의 이름이 자동적으로 태그로서 붙을 수 있다. 이와 같이 자동적으로 부여된 장소 태그와 인물 태그 등을 검색어로 하여 DB에서 이와 동일한 태그를 가지고 있는 디지털 데이터를 검색하면, 이들 디지털 데이터에 가장 높은 빈도로 출현하는 태그는 아마도 '쇼핑' 이라는 태그 또는 '데이트'라는 태그일 것이다. 이와 같은 빈도를 디시젼 퓨전, 예를 들면 베이지안 분석법에 의해 계산하여 가장 빈도가 높은 n 개의 태그인 Top n 리스트, 예를 들면 Top 9 리스트를 생성할 수 있으며, 이들 리스트를 디지털 기기의 화면에 표시하여 사용자로 하여금 선택할 수 있게 해 준다. 따라서, 종래 기술인 플리커 등에서는 구현될 수 없었던 사용자 친화적인 태그 입력 방법을 구현할 수 있게 되는 것이다.

한편, 베이지안 분석법에 의해 Top n 리스트는 실시간으로 업데이트되게 되므로, 또 다른 디지털 데이터가 생성되면 그 직전에 생성된 디지털 데이터의 태그를 반영하여 업데이트 된 Top n 리스트로부터 부가 태그를 선택할 수 있는 기회를 사용자에게 제공할 수 있게 된다.

본 발명은 디지털 데이터로부터 인물 식별 정보를 추출할 때 보다 높은 정확도로 추출할 수 있도록 하며, 구체적으로는 디지털 데이터 관리 시스템에서, 디지털 데이터의 속성 및 내용에 따라 디지털 데이터로부터 인물 식별 정보를 추출하여 이를 기초로 디지털 데이터에 자동적으로 태그를 부여할 때, 사진 속의 인물들에 대한 제반 부가 정보를 활용하여 인물 식별 정보가 보다 정확하게 태깅될 수 있도록 한다.

또한, 본 발명은, 디시젼 퓨전을 사용하여 새로 생성된 디지털 데이터에 부여되어 있는 태그와 동일한 태그를 가지고 있는 기존의 디지털 데이터에 자주 사용된 태그를 파악하여 이를 디지털 데이터에 추가적으로 부여함으로써 사용자의 입력 부담을 상당히 경감시키는 역할을 한다.

비록 본 발명이 상술된 바와 같은 여러 실시예들과 관련하여 설명되었지만, 본 발명이 속하는 기술분야의 당업자가 이해할 수 있는 본 발명의 정신 및 범위를 벗어나지 않고 다른 변형예 및 변경예가 구현될 수 있다는 점이 이해되어야 할 것이다.　 그러한 변형예 및 변경예는 본 발명과 첨부된 특허청구범위의 범위 내에 속하는 것으로 고려되어야 할 것이다.

Claims

디지털 데이터 관리 시스템에서 디지털 기기에 의해 생성된 제1 디지털 데이터에 제1 인물의 식별 정보를 태그로서 부여하는 방법 - 상기 디지털 데이터 관리 시스템은 상기 디지털 기기의 사용자의 식별 정보 및 생활 패턴 정보를 포함하고, 상기 제1 디지털 데이터는 상기 제1 인물의 이미지를 포함함 - 으로서,

상기 제1 인물에 대한 부가 정보 중 적어도 하나를 이용하여 상기 제1 인물을 식별하는 단계, 및

상기 제1 인물의 식별 정보를 상기 제1 디지털 데이터에 태그로서 자동적으로 부여하는 단계를 포함하되,

상기 부가 정보는,

(a) 상기 제1 디지털 데이터와 동일 클러스터 내에 분포되는, 상기 제1 디지털 데이터와 다른 적어도 하나의 디지털 데이터로 구성되는 제1 디지털 데이터군이 제2 인물의 이미지를 포함하는 경우, 상기 제1 인물이 상기 제2 인물과 동일 인물일 확률이 높음을 지시하는 정보,

(b) 상기 제1 디지털 데이터가 2인 이상의 만남 중에 생성된 것으로 판별되는 경우, 상기 제1 인물의 이미지는 상기 만남과 연관된 통신의 발신자 또는 수신자의 것일 확률이 높음을 지시하는 정보,

(c) 상기 제1 디지털 데이터와 다른 적어도 하나의 디지털 데이터로 구성되는 제2 디지털 데이터군에 제3 인물의 이미지가 m회 포함되는 경우, 상기 m의 회수가 커질수록 상기 제1 인물이 상기 제3 인물과 동일 인물일 확률이 높음을 지시하는 정보 - 상기 m 은 자연수임 -,

(d) 상기 제1 디지털 데이터의 생성 시각 및 장소 중 적어도 하나를 상기 디지털 기기의 상기 사용자의 상기 생활 패턴 정보와 함께 고려함으로써 획득되는 상기 제1 인물에 관한 정보,

(e) 상기 제1 인물의 이미지 내의 상기 제1 인물의 얼굴의 위치 및 사이즈에 따라 상기 제1 인물을 특정 인물로 식별할 확률을 지시하는 정보,

(f) 상기 디지털 기기가 듀얼 카메라인 경우, 상기 제1 디지털 데이터가 상기 듀얼 카메라의 렌즈가 상기 디지털 기기의 상기 사용자 쪽을 향할 때에 생성된 것이면 상기 제1 인물은 상기 디지털 기기의 상기 사용자일 확률이 높다는 정보, 및

(g) 상기 디지털 기기가 듀얼 카메라인 경우, 상기 제1 디지털 데이터가 상기 디지털 기기의 상기 사용자 쪽을 향하지 않을 때에 생성된 것이면 상기 제1 인물은 상기 디지털 기기의 상기 사용자가 아닐 확률이 높다는 정보

중 적어도 하나를 포함하는

방법.
제1항에 있어서,

상기 제1 인물을 식별하는 단계는 상기 부가 정보를 디시젼 퓨전(decision fusion)에 의하여 결합하는 단계를 포함하되,

상기 디시젼 퓨전은 복수의 단서(multiple cue)와 선험적 확률(a priori probability)로부터 특정 이슈에 대해 판단을 내리는(decision making) 프로세스의 총칭인

방법.
제2항에 있어서,

상기 디시젼 퓨전은 베이지안(Bayesian) 분석법 또는 애드 혹(ad-hoc) 분석법을 포함하는

방법.
제3항에 있어서,

상기 제1 인물을 식별하는 단계는 상기 부가 정보를 상기 베이지안 분석법 또는 상기 애드 혹 분석법에 의하여 결합한 결과를 기초로 하여 상기 제1 인물일 확률이 가장 높은 n 명의 후보군 리스트인 Top n 리스트를 생성하는 단계를 더 포함하는

방법.
제4항에 있어서,

상기 Top n 리스트는 상기 베이지안 분석법 또는 상기 애드 혹 분석법에 의하여 실시간으로 업데이트되는

방법.
제4항 또는 제5항에 있어서,

상기 제1 인물의 식별 정보를 상기 제1 디지털 데이터에 태그로서 자동적으로 부여하는 상기 단계는, 상기 Top n 리스트의 후보군 중 상기 제1 인물일 확률이 가장 높은 인물에 관한 정보를 상기 제1 인물의 식별 정보로서 결정하는 단계를 포함하는

방법.
제1항에 있어서, 상기 통신은 이메일 통신, 유선 또는 무선 전화 통화 통신, SMS 메시지 통신, 및 메신저 통신 중 적어도 하나인

방법.
제1항에 있어서,

상기 (b) 정보 - 상기 만남과 연관된 통신의 상기 수신자 또는 발신자에 관한 정보 - 는 상기 만남과 연관되어 이용된 통신 장치로부터 획득되는

방법.
제1항에 있어서,

상기 (b) 정보 - 상기 만남과 연관된 통신의 상기 수신자 또는 발신자에 관한 정보 - 는 상기 통신의 내용을 인식함으로써 획득되는

방법.
제1항에 있어서,

상기 (d) 정보 - 상기 제1 디지털 데이터의 생성 시각 및 장소 중 적어도 하나를 상기 디지털 기기의 사용자의 상기 생활 패턴 정보와 함께 고려하여 획득되는 상기 제1 인물에 관한 정보 - 는,

상기 제1 디지털 데이터의 생성 시각이 휴일에 해당하는 경우에는 상기 제1 인물이 상기 디지털 기기의 사용자의 가족 또는 친구일 확률이 높음을 지시하는 정보이고,

상기 제1 디지털 데이터의 생성 시각이 휴일에 해당하지 않는 경우에는 상기 제1 인물이 상기 디지털 기기의 사용자의 직장 동료일 확률이 높음을 지시하는 정보인

방법.
제1항에 있어서,

상기 (d) 정보 - 상기 제1 디지털 데이터의 생성 시각 및 장소 중 적어도 하나를 상기 디지털 기기의 사용자의 상기 생활 패턴 정보와 함께 고려하여 획득되는 상기 제1 인물에 관한 정보 - 는,

상기 제1 디지털 데이터의 생성 장소가 술집에 해당하는 경우에는 상기 제1 인물이 상기 디지털 기기의 사용자의 친구 또는 직장 동료일 확률이 높음을 지시하는 정보이고,

상기 제1 디지털 데이터의 생성 장소가 집에 해당하는 경우에는 상기 제1 인물이 상기 디지털 기기의 사용자의 가족일 확률이 높음을 지시하는 정보인

방법.
제11항에 있어서,

상기 제1 디지털 데이터의 상기 생성 장소는 상기 제1 디지털 데이터의 태그를 참조함으로써 파악되는

방법.
제1항에 있어서,

상기 제1 디지털 데이터가 제4 인물의 이미지를 더 포함하는 경우에, 상기 (e) 정보 - 상기 제1 인물의 이미지 내의 상기 제1 인물의 얼굴의 위치 및 사이즈에 따라 상기 제1 인물을 특정 인물로 식별할 확률을 지시하는 정보 - 는,

상기 제4 인물의 이미지 내의 상기 제4 인물의 얼굴이 상기 제1 디지털 데이터의 전체 이미지의 중앙부에 위치하고, 상기 제4 인물의 얼굴이 상기 제1 인물의 얼굴보다 현저히 큰 경우, 상기 제1 인물을 특정 인물로 식별할 확률이 낮음을 지시하는 정보인

방법.
제1항에 있어서,

상기 제1 디지털 데이터가 제5 인물의 이미지를 더 포함하는 경우에, 상기 (e) 정보 - 상기 제1 인물의 이미지 내의 상기 제1 인물의 얼굴의 위치 및 사이즈에 따라 상기 제1 인물을 특정 인물로 식별할 확률을 지시하는 정보 - 는,

상기 제1 인물의 얼굴과 상기 제5 인물의 이미지 내의 얼굴의 크기가 유사한 경우, 상기 제1 인물은 상기 제5 인물의 친구일 확률이 높음을 지시하는 정보인

방법.
제14항에 있어서,

상기 제5 인물은 상기 제1 디지털 데이터의 태그를 참조함으로써 식별되는

방법.
디지털 데이터 관리 시스템에 포함된 데이터베이스에 복수의 기존 디지털 데이터가 저장되어 있고 특정 사용자가 디지털 기기를 사용하여 특정 장소 S 에서 하루 중의 특정 시간대 T 에 특정 인물 P 또는 특정 사물 O 의 이미지 중 적어도 하나를 포함하는 제1 디지털 데이터를 생성할 때 - 상기 제1 디지털 데이터에 상기 장소 S, 상기 인물 P, 상기 사물 O, 상기 시간대 T 중 적어도 하나가 1차 태그로서 부여되어 있음 - , 상기 1차 태그와 다른 2차 태그를 식별 정보로서 추가적으로 상기 제1 디지털 데이터에 부여하는 방법으로서,

상기 기존 디지털 데이터 중 상기 1차 태그와 동일한 태그를 가지는 동일_태 그_디지털 데이터를 검색하는 단계,

상기 동일_태그_디지털 데이터에 부여되어 있는 모든 태그 중 상기 1차 태그와 동일한 태그를 제외한 나머지 태그가 상기 동일_태그_디지털 데이터에 얼마나 자주 부여되었는지 각각의 빈도를 계산하는 단계,

상기 나머지 태그 중 상기 빈도가 가장 높은 N 개의 태그를 상기 디지털 기기의 화면에 표시하는 단계,

상기 사용자가 상기 화면에 표시된 N 개의 태그 중 적어도 하나를 상기 제1 디지털 데이터의 상기 2차 태그로서 선택하는 단계, 및

상기 선택된 태그를 상기 제1 디지털 데이터에 상기 2차 태그로서 부여하는 단계를 포함하는

방법.
제16항에 있어서,

상기 빈도를 디시젼 퓨전에 의해 계산하되,

상기 디시젼 퓨전은 복수의 단서(multiple cue)와 선험적 확률(a priori probability)로부터 특정 이슈에 대해 판단을 내리는(decision making) 프로세스의 총칭인

방법.
제17항에 있어서,

상기 디시젼 퓨전은 베이지안 분석법 또는 애드 혹 분석법을 포함하는

방법.
제18항에 있어서,

상기 N 개의 태그는 실시간으로 업데이트되는

방법.