KR20150029313A - 사진 기반 인물 친밀도 구축 장치 및 방법, 그리고 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 - Google Patents

Abstract

본 발명은 사진의 촬영된 인물, 촬영 시간, 촬영 장소 정보를 이용하여 사진 연관 그래프를 구축하고, 다시 이를 통해 인물 친밀도 연관 그래프를 새롭게 정의하여 인물 기반 사진 클러스터링을 수행하여 효과적인 사진 그룹핑을 위한 사진 기반 인물 친밀도 구축 장치 및 방법을 제공하기 위한 것으로서, 단말기로부터 사진 정보를 입력받는 사진 입력부와, 상기 입력된 사진을 분석 및 서술(description)하여, 사진식별자를 포함하는 사진서술(photo description) 정보 및 사진의 분석정보를 생성하는 사진서술정보 생성부와, 상기 생성된 다양한 사진 서술 정보를 포함하는 사진의 분석정보를 기반으로 사진의 촬영된 인물, 촬영장소, 촬영시간, 촬영장소 정보를 이용하여 사진을 보다 효율적으로 검색하고 그룹핑하기 위해 사진 간의 연관을 구축하고 이를 통해 인물 친밀도를 정의하여 인물 기반 사진 클러스터링을 수행하는 클러스터링부와, 상기 클러스터링부의 출력을 기반으로 사진 간의 연관성 및 인물 간의 친밀도를 이용하여 그룹 서술정보를 생성하는 사진 그룹정보 생성부와, 상기 사진 서술정보 생성부에서 생성된 사진서술 정보 및 사진 그룹정보 생성부에서 생성된 그룹 서술정보를 서로 매칭시켜 결합하여 사진앨범 정보를 생성하는 사진 앨범정보 생성부를 포함하여 구성되는데 있다.

Description

사진 기반 인물 친밀도 구축 장치 및 방법, 그리고 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체{Apparatus and method for creating closeness between people based on photos, and computer-readable recording medium with program therefor}

본 발명은 사진 기반 인물 친밀도 구축 장치 및 방법에 관한 것으로, 특히 사진의 촬영된 인물, 촬영 장소, 촬영 시간 정보를 이용하여 사진 간의 연관을 구축하고, 이를 통해 개인 간의 신뢰도 높은 연관을 구축하여 검색, 표출, 관리하는 장치 및 방법에 관한 것이다.

최근 디지털 카메라의 수요가 점점 더 증가하고 있다. 특히 메모리 기술의 발전으로 고집적/초소형 메모리의 사용이 일반화되고 있고, 화질을 크게 손상시키지 않는 디지털 영상 압축 기술이 개발됨에 따라, 사용자들은 한 개의 메모리 장치에 많게는 수백 장에서 수천 장의 사진을 저장할 수 있게 되었다. 이에 따라, 많은 사진들을 보다 효과적으로 관리하기 위한 장치와 도구가 필요하게 되었다. 이에 효율적인 디지털 사진 앨범에 대한 사용자의 요구가 증가하고 있다.

일반적인 디지털 사진 앨범은 사용자가 촬영한 사진을 디지털 카메라나 메모리 카드 등으로부터 사용자의 로컬 저장 장치로 옮겨오고, 사진 등을 컴퓨터에서 관리하기 위한 것이다. 사용자들은 사진 앨범을 이용하여 여러 사진들을 시간 별로, 인물 별로, 혹은 특정한 카테고리 별로 클러스터링하고 인덱싱한다. 이렇게 구성된 사진 앨범은 나중에 사용자가 사진 데이터를 브라우징하거나 다른 사용자들과 사진을 쉽게 공유할 수 있도록 한다.

David Frohlich는 Requirement for photoware (ACM CSCW, 2002)에서 많은 사용자들을 대상으로 한 설문을 통하여 사람들이 요구하는 사진 앨범의 기능을 조사하였다. 대부분의 사람들은 디지털 사진 앨범의 필요성에는 동감하였으나, 많은 사진을 일일이 그룹핑하거나 라벨링하는데 소요되는 시간과 노력을 크게 불편해했으며, 다른 사람들과 사진을 공유하는 데에도 많은 어려움을 호소하였다.

지금까지, 사진 데이터를 클러스터링하는 방법을 제안한 많은 연구들이 있었다. 기본적으로는 사진이 찍힌 시간에 따라 클러스터링하는 방법, 사진의 내용 기반 특징 정보를 사용하여 클러스터링하는 방법들 등이 있었다. 이에 더 나아가 사진의 이벤트에 기반하여 클러스터링하는 방법 및 사진에 찍힌 인물에 기반하여 사진을 클러스터링하는 방법들 등이 연구되었다.

이 가운데 사용자들이 가장 유용하게, 그리고 자주 사용할 수 있는 앨범화 방법들 가운데 하나가 사진 데이터를 인물별로 클러스터링하는 것이다. 대용량의 사진 데이터를 사진에 찍힌 인물별로 사진을 자동으로 클러스터링하는 것은 사용자가 다른 사람들과 사진 데이터를 공유하거나, 추후에 사진 데이터를 브라우징하는 것을 쉽게 해준다.

사진 데이터를 인물별로 클러스터링하는 과정에 있어서 가장 중요한 기술은 얼굴인식 기술이다. 얼굴인식은 사람마다 다른 얼굴을 모아서 얼굴 데이터베이스를 만들어 놓고, 입력되는 얼굴영상을 이미 만들어 놓은 데이터베이스의 얼굴 영상들과 비교해서 그것이 누구인지 판별해내는 과정으로 설명할 수 있다.

즉, 사진 데이터에서 얼굴 영상을 검출(detection)하고 이를 데이터베이스의 얼굴 영상들과 매칭하여 해당 얼굴을 인식(recognition)하는 과정이다. 이를 위해서 영상 처리 방법에서 패턴인식을 수행할 때와 거의 같은 과정을 거치게 되는데, 영상 획득, 전 처리, 얼굴추출, 얼굴인식 등의 과정을 거치게 된다.

영상으로부터 얼굴을 검출하거나 얼굴을 인식하는 방법에 대한 연구는 지금까지 매우 많이 이루어졌다. 얼굴인식 분야는 보안 시스템을 위주로 발전하였다. 예를 들어, 지능형 무인 감시 시스템이나 출입자 통제 시스템, 그리고 범죄 용의자 검색 등의 시스템을 위한 얼굴추출 및 인식에 대한 연구가 주로 수행되었다. 이러한 응용 분야에서는 인물의 얼굴을 보다 정확하게 추출하고, 외부 조명이나, 인물의 표정 및 포즈에 대한 강인한 얼굴 인식 방법을 개발하는데 연구의 초점이 맞춰져 있다.

이에 반하여, 사진 데이터에서 얼굴을 인식하는 연구는 매우 초기 단계이다. 사진 데이터에서 얼굴을 추출하거나 인식하는 과정은 보안 시스템에서 획득된 영상으로부터 얼굴을 추출하거나 인식하는 과정보다 훨씬 더 어렵다. 보안 시스템에서는 고정된 공간에 설치된 고정된 카메라를 사용하여 영상을 획득하기 때문에, 영상으로부터 추출된 얼굴 영상은 비교적 정형화된 배경을 가지고 있다. 이에 반하여 사진 데이터는 사용자가 카메라를 가지고 다니면서 찍은 영상이기 때문에, 사진 속의 배경은 일반적으로 매우 자주 변하고 다양하다. 뿐만 아니라, 사용자가 카메라를 조작하는 방법(예를 들어, 카메라 줌의 사용이나 플래쉬의 사용 등) 또는 사진을 찍을 당시의 카메라의 방향에 따라 고정된 공간에서도 다양한 배경을 가질 수 있으며, 외부 조명이나 조도의 변화가 훨씬 크다.

상기와 같은 이유로 인하여, 사진 데이터를 인물별로 클러스터링하는 방법에 있어서, 기존의 보안 시스템에서의 응용 방법처럼 얼굴 영상만 사용하면 매우 낮은 성능이 발생된다. 사진 데이터를 인물별로 보다 잘 클러스터링하기 위해서는 사진으로부터 추출된 얼굴영상 정보뿐만 아니라 사진으로부터 얻을 수 있는 그 외의 다양한 부가 정보를 함께 이용하는 방법 및 시스템이 요구된다.

이러한 문제점을 해결하기 위한 선행 연구로써, 다음의 연구들이 대표적이다.

첫째로, Face Recognition-Matching System Effective to Images Obtained in Different Imaging Conditions(US 6,345,109 B1, 2002/02)에서는 조명 등으로부터 비교적 간섭이 적은 정면의 얼굴영상으로 잡음이 심한 얼굴 영상을 인식해내는 시스템을 제안하였다. 하지만 이 시스템은 사용자가 잡음이 덜한 얼굴 영상들을 미리 준비해 두어야한다는 문제점이 있다.

둘째로, Automatic Cataloging of People in Digital Photographs (US 6,606,398 B2, 2003/08)에서는 데이터베이스에 저장되어 있는 각각의 얼굴 영상들과 관계된 식별 매개 변수(identification parameter)를 정의하고, 이를 얼굴기반 사진 클러스터링에 이용하였다. 식별 매개 변수로는 이름, 관계, 성별, 나이 등이 있다. 새로 들어오는 이미지는 사용자가 입력하는 식별매개 변수를 이용하여 데이터베이스에서 찾아서 클러스터링 한다. 그러나 사용자가 식별 매개 변수를 직접 입력해야하도록 하기 때문에, 식별 매개 변수의 입력에 많은 시간이 소요되므로 실용적이지 못하다.

셋째로, Automatic Face-based Image Grouping for Albuming (IEEE, 2003)에서는 각 얼굴의 나이와 성별을 자동으로 검출해내고, 이를 이용하여 사진 모음을 얼굴 기반으로 클러스터링하는 방법을 제안하였다. 이 방법은 사진의 얼굴 정보 외에 인물의 나이와 성별 정보를 함께 이용한다는 장점이 있으나, 사진의 다양한 부가 정보를 함께 이용한다면 보다 효과적인 사진 그룹핑이 될 수 있을 것이다.

이와 같이, 기존의 인물기반 디지털 사진 클러스터링 방법은 사진 데이터로부터 얻을 수 있는 다양한 부가 정보들을 적절하게 조합하여, 사진 영상에서 발생될 수 있는 외부 밝기 변화, 포즈 변화, 표정 변화, 시간 변화 등의 요소들을 고려하고 있지만, 사진에 저장된 정보 또는 사진을 분석하여 추출해낸 정보만을 이용하여 인물 기반 사진 클러스터링하고 있어, 사진을 소유한 개인끼리의 신뢰도(친밀도(personal closeness))를 함께 고려하여 인물 기반 사진 클러스터링을 수행한다면, 보다 효과적인 사진 그룹핑을 구축할 수 있을 것으로 판단된다.

국내등록번호 10-0601997 : 인물기반 디지털 사진 클러스터링 방법 및 장치와, 이를 이용한 인물기반 디지털 사진 앨버밍 방법 및 장치

국내등록번호 10-0624465 : 디지털 사진의 상황변환 검출 장치 및 방법 및 이를 이용한 디지털 사진 앨범의 상황 기반 클러스터링 방법 및 장치

국내공개번호 2013-0126529 : 촬영정보를 이용한 사용자 간 연관성 분석방법 및 시스템

따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 사진의 촬영된 인물, 촬영 시간, 촬영 장소 정보를 이용하여 사진 연관 그래프를 구축하고, 다시 이를 통해 인물 친밀도 연관 그래프를 새롭게 정의하여 인물 기반 사진 클러스터링을 수행하여 효과적인 사진 그룹핑을 위한 사진 기반 인물 친밀도 구축 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명의 다른 목적은 그래프를 형성하는 각 사진들을 로컬에 저장된 사진뿐 아니라 소셜 네트워크상에 업로드 한 사진들도 사용하여, 해당 사진들의 주소만 저장되는 가상앨범을 생성할 수 있는 사진 기반 인물 친밀도 구축 장치 및 방법을 제공하는데 있다.

본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 사진 기반 인물 친밀도 구축 장치의 특징은 단말기로부터 사진 정보를 입력받는 사진 입력부와, 상기 입력된 사진을 분석 및 서술(description)하여, 사진식별자를 포함하는 사진서술(photo description) 정보 및 사진의 분석정보를 생성하는 사진서술정보 생성부와, 상기 생성된 사진 서술 정보를 포함하는 사진의 분석정보를 기반으로 사진의 촬영된 인물, 촬영장소, 촬영시간, 촬영장소 정보 중 적어도 하나를 이용하여 사진을 검색하고 그룹핑하기 위한 사진 간의 연관을 구축하는 사진기반 클러스터링을 수행하는 사진기반 클러스터링부와, 상기 사진기반 클러스터링부의 출력을 기반으로 사진 간의 연관성을 이용하여 소정의 사진그룹 서술정보를 생성하는 사진 그룹정보 생성부와, 상기 사진 서술정보 생성부에서 생성된 사진서술 정보 및 사진 그룹정보 생성부에서 생성된 사진그룹 서술정보를 서로 매칭시켜 결합하여 사진앨범 정보를 생성하는 사진 앨범정보 생성부를 포함하여 구성되는데 있다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 사진 기반 인물 친밀도 구축 장치의 다른 특징은 단말기로부터 사진 정보를 입력받는 사진 입력부와, 상기 입력된 사진을 분석 및 서술(description)하여, 사진식별자를 포함하는 사진서술(photo description) 정보 및 사진의 분석정보를 생성하는 사진서술정보 생성부와, 상기 생성된 사진 서술 정보를 포함하는 사진의 분석정보를 기반으로 사진의 인물적 연관성, 장소적 연관성, 시간적 연관성을 통한 인물 간의 친밀도를 연관 구축하는 인물 친밀도 기반 클러스터링부와, 상기 인물 친밀도 기반 클러스터링부에서 출력되는 인물 간의 친밀도를 이용하여 소정의 인물그룹 서술정보를 생성하는 사진 그룹정보 생성부와, 상기 사진 서술정보 생성부에서 생성된 사진서술 정보 및 사진 그룹정보 생성부에서 생성된 인물그룹 서술정보를 서로 매칭시켜 결합하여 사진앨범 정보를 생성하는 사진 앨범정보 생성부를 포함하여 구성되는데 있다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 사진 기반 인물 친밀도 구축 장치의 또 다른 특징은 단말기로부터 사진 정보를 입력받는 사진 입력부와, 상기 입력된 사진을 분석 및 서술(description)하여, 사진식별자를 포함하는 사진서술(photo description) 정보 및 사진의 분석정보를 생성하는 사진서술정보 생성부와, 상기 생성된 다양한 사진 서술 정보를 포함하는 사진의 분석정보를 기반으로 사진의 촬영된 인물, 촬영장소, 촬영시간, 촬영장소 정보를 이용하여 사진을 보다 효율적으로 검색하고 그룹핑하기 위해 사진 간의 연관을 구축하고 이를 통해 인물 친밀도를 정의하여 인물 기반 사진 클러스터링을 수행하는 클러스터링부와, 상기 클러스터링부의 출력을 기반으로 사진 간의 연관성 및 인물 간의 친밀도를 이용하여 그룹 서술정보를 생성하는 사진 그룹정보 생성부와, 상기 사진 서술정보 생성부에서 생성된 사진서술 정보 및 사진 그룹정보 생성부에서 생성된 그룹 서술정보를 서로 매칭시켜 결합하여 사진앨범 정보를 생성하는 사진 앨범정보 생성부를 포함하여 구성되는데 있다.

바람직하게 상기 사진앨범 정보를 저장하는 앨범 데이터베이스를 더 포함하고, 상기 앨범 데이터베이스를 통해 여러 사용자 단말기로부터 입수한 사진 물리적/의미적 연관 그래프 및 인물 친밀도 그래프를 통합 관리하여 사진 간의 연관성과 보다 많은 인물간의 친밀도를 분석하는 것을 특징으로 한다.

바람직하게 상기 클러스터링부는 사진에 직접적으로 저장된 정보 또는 사진을 분석하여 추출해낸 정보를 이용하여 사진 간의 연관성을 표현하는 사진 연관 그래프를 생성하는 사진기반 클러스터링부와, 상기 사진기반 클러스터링부에서 생성한 사진 연관 그래프를 통해 추출한 사진 연관 정보를 이용하여 사진을 소유한 개인끼리의 신뢰도의 정도를 나타내는 인물 친밀도 연관 그래프를 생성하는 인물 친밀도 기반 클러스터링부를 포함하여 구성되는 것을 특징으로 한다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 사진 기반 인물 친밀도 구축 방법의 특징은 (A) 단말기로부터 사진 정보를 입력받는 단계와, (B) 상기 입력된 사진을 분석 및 서술(description)하여, 사진식별자를 포함하는 사진서술(photo description) 정보 및 사진의 분석정보를 생성하는 단계와, (C) 상기 생성된 다양한 사진 서술 정보를 포함하는 사진의 분석정보를 기반으로 사진의 촬영된 인물, 촬영장소, 촬영시간, 촬영장소 정보를 이용하여 사진을 보다 효율적으로 검색하고 그룹핑하기 위해 사진 클러스터링을 수행하는 단계와, (D) 상기 클러스터링부의 출력을 기반으로 사진 간의 연관성 및 인물 간의 친밀도를 이용하여 그룹 서술정보를 생성하는 단계와, (E) 상기 생성된 사진서술 정보 및 그룹 서술정보를 서로 매칭시켜 결합하여 사진앨범 정보를 생성하여 저장하는 단계를 포함하여 이루어지는데 있다.

바람직하게 상기 (C) 단계는 상기 생성된 사진 서술 정보를 포함하는 사진의 분석정보를 기반으로 사진의 촬영된 인물, 촬영장소, 촬영시간, 촬영장소 정보 중 적어도 하나를 이용하여 사진을 검색하고 그룹핑하기 위한 사진 간의 연관을 구축하는 사진기반 클러스터링을 수행하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 사진 기반 인물 친밀도 구축 방법의 다른 특징은 사용자 단말기를 통해 사용자가 보유한 사진이 서버로 입력되는 단계와, 상기 입력된 사진을 분석하여 사진서술 정보를 포함하는 사진의 분석정보를 생성하는 단계와, 상기 생성된 사진의 분석정보를 기반으로 촬영된 인물, 촬영장소, 촬영시간, 촬영장소 정보를 분류하여 사진을 보다 효율적으로 검색하고 그룹핑하기 위한 클러스터링을 수행하여 그룹 서술정보를 생성하는 단계와, 상기 생성된 사진서술 정보 및 클러스터링의 수행을 통해 생성된 그룹 서술정보를 서로 매칭되도록 결합하여 사진앨범 정보를 생성하여 저장하는 단계를 포함하여 이루어지는데 있다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 사진 기반 인물 친밀도 구축 방법의 또 다른 특징은 사용자 단말기 내에 미리 포함되어 있는 사진 분석 프로그램(Apps.)을 이용하여 사용자가 보유하고 있는 사진이 분석되어 추출된 사진서술 정보를 포함하는 사진의 분석정보가 서버로 입력되는 단계와, 상기 입력된 사진의 분석정보를 기반으로 촬영된 인물, 촬영장소, 촬영시간, 촬영장소 정보를 분류하여 사진을 보다 효율적으로 검색하고 그룹핑하기 위한 클러스터링을 수행하여 그룹 서술정보를 생성하는 단계와, 상기 생성된 사진서술 정보 및 클러스터링의 수행을 통해 생성된 그룹 서술정보를 서로 매칭되도록 결합하여 사진앨범 정보를 생성하여 저장하는 단계를 포함하여 이루어지는데 있다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 사진 기반 인물 친밀도 구축 방법의 또 다른 특징은 사용자 단말기 내에 미리 포함되어 있는 그래프 구축 프로그램(Apps.)을 이용하여 사용자가 보유하고 있는 사진을 분석하여 사진서술 정보를 포함하는 사진의 분석정보가 추출되고, 추출된 사진의 분석정보를 기반으로 촬영된 인물, 촬영장소, 촬영시간, 촬영장소 정보를 분류하여 사진을 검색하고 그룹핑하기 위한 클러스터링을 수행하여 생성된 사진 연관성 그래프 또는/및 인물 친밀도 그래프가 서버로 입력되는 단계와, 상기 입력된 사진 연관성 그래프 또는/및 인물 친밀도 그래프를 이용하여 다수의 사용자들로부터 입력되는 각 그래프들과 비교 및 매칭을 통해 사진 연관성 그래프 또는/및 인물 친밀도 그래프를 확장하여 그룹 서술정보를 생성하는 단계와, 상기 생성된 사진서술 정보 및 클러스터링의 수행을 통해 생성된 그룹 서술정보를 서로 매칭되도록 결합하여 사진앨범 정보를 생성하여 저장하는 단계를 포함하여 이루어지는데 있다.

바람직하게 상기 사진기반 클러스터링 방법은 사진에 직접적으로 저장된 정보 또는 사진을 분석하여 추출해낸 정보를 이용하여 사진 간의 연관성을 표현하는 사진 연관 그래프를 생성하는 단계와, 상기 생성된 사진 연관 그래프를 통한 사진 간의 연관성을 이용하여 소정의 사진그룹 서술정보를 생성하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

바람직하게 상기 인물 친밀도 클러스터링 방법은 상기 생성된 사진 서술 정보를 기반으로 사진의 인물적 연관성, 장소적 연관성, 시간적 연관성을 통한 인물 간의 친밀도를 정의하여 사진을 소유한 개인끼리의 신뢰도의 정도를 나타내는 인물 친밀도 연관 그래프를 생성하는 단계와, 상기 생성된 인물 친밀도 연관 그래프를 통한 인물 간의 친밀도를 이용하여 소정의 인물그룹 서술정보를 생성하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

바람직하게 상기 인물 친밀도 연관 그래프는 사진기반 클러스터링 방법을 통해 생성된 사진 연관 그래프를 통해 추출한 사진 연관 정보를 이용하여 생성하는 것을 특징으로 한다.

바람직하게 상기 사진 연관 그래프 또는 인물 친밀도 그래프의 내용을 암호화하여 처리하는 것을 특징으로 한다.

이상에서 설명한 바와 같은 본 발명에 따른 사진 기반 인물 친밀도 구축 장치 및 방법은 다음과 같은 효과가 있다.

첫째, 고정된 범위의 값으로 분류하는 것이 아니라 사람이 의미적으로 유사하다고 생각되는 범위에 맞는 가변적인 범위의 값으로 분류가 가능하다.

둘째, 기존 특허들과 달리 앨범에 포함되는 사진이 실제 물리적인 데이터가 아닌 주소로 이뤄져 있어, 이를 통하여 가상앨범을 생성할 수 있으므로 한 사진이 많은 앨범에 중복해서 포함될 수 있다.

셋째, 기존의 소셜 네트워크 분석 서비스는 사용자들의 텍스트 정보에 의존하였으나 본 발명은 사진 정보를 이용하여 친밀도를 측정할 수 있다.

도 1a는 본 발명의 제 1 실시예에 따른 사진 기반 인물 친밀도 구축 장치의 구성을 나타낸 블록도
도 1b는 본 발명의 제 2 실시예에 따른 사진 기반 인물 친밀도 구축 장치의 구성을 나타낸 블록도
도 1c는 본 발명의 제 3 실시예에 따른 사진 기반 인물 친밀도 구축 장치의 구성을 나타낸 블록도
도 2 는 본 발명에 따른 사진 기반 인물 친밀도 구축 장치에서 물리적 사진 연관 그래프를 나타낸 도면
도 3 은 본 발명에 따른 사진 기반 인물 친밀도 구축 장치에서 인물 친밀도 그래프를 나타낸 도면
도 4 내지 도 6 은 본 발명의 실시예에 따른 사진 기반 인물 친밀도 구축 방법을 설명하기 위한 흐름도

본 발명의 다른 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.

본 발명에 따른 사진 기반 인물 친밀도 구축 장치 및 방법의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록하며 통상의 지식을 가진자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

도 1a는 본 발명의 제 1 실시예에 따른 사진 기반 인물 친밀도 구축 장치의 구성을 나타낸 블록도이다.

도 1a와 같이, 사진 기반 인물 친밀도 구축 장치는 사진 입력부(100)와, 사진서술정보 생성부(200)와, 사진기반 클러스터링부(310)와, 사진 그룹정보 생성부(400)와, 사진 앨범정보 생성부(500)를 포함하여 구성된다. 그리고 상기 사진 기반 인물 친밀도 구축 장치는 앨범 데이터베이스(600)를 더 포함하여 구성된다.

상기 사진 입력부(100)는 디지털 카메라의 내부 메모리 장치나 휴대용 메모리 장치로부터 사진을 입력받는다. 이때, 입력되는 사진은 스마트폰, 태블릿 PC와 같은 스마트 디바이스에 저장된 사진 정보를 포함하며, 아울러, 스마트 디바이스 사용자가 접근 가능한 인터넷 상의 소셜 네트워크에 포함된 사진을 포함할 수도 있다.

상기 사진 서술정보 생성부(200)는 사진 입력부(100)에서 입력된 사진을 분석 및 서술(description)하여, 사진식별자를 포함하는 사진서술(photo description) 정보 및 사진의 분석정보를 생성한다. 이를 구체적으로 설명하면, 상기 사진 서술정보 생성부(200)는 입력된 각각의 사진들로부터 사진 파일 내에 저장된 카메라 정보 및 촬영 정보가 있는지 확인하고, 만일 해당 정보가 사진 파일 내에 존재한다면 정보를 추출하여 사진 서술 구조에 따라 표현된다. 그리고 상기 사진서술 정보는 사진을 그룹핑하기 위한 클러스터링부(300)로 입력된다. 이때, 사진 서술정보는 사진 간을 서로 구분하기 위한 고유 명칭(ID)으로 촬영날짜, 시간 등으로 설정된다.

상기 사진기반 클러스터링부(310)는 상기 생성된 다양한 사진서술 정보를 포함하는 사진의 분석정보를 기반으로 사진의 촬영된 인물, 촬영장소, 촬영시간, 촬영장소 정보를 이용하여 사진을 보다 효율적으로 검색하고 그룹핑하기 위해 사진 간의 연관을 구축하는 사진기반 클러스터링을 수행한다. 이때, 상기 사진기반 클러스터링부(310)는 사진에 직접적으로 저장된 정보 또는 사진을 분석하여 추출해낸 정보를 이용하여 사진 간의 연관성을 표현하는 사진 연관 그래프를 생성한다. 상기 사진 연관 그래프는 아래에서 다시 상세히 설명하도록 한다. 그리고 상기 사진 간의 연관성은 사진 촬영 시간, 촬영 장소, 사진 속 인물 정보에 따른 두 사진 간의 연관된 정도이다. 그리고 상기 사진 연관 그래프는 시간, 장소, 인물에 대한 물리적 정보만을 바탕으로 한 사진 물리적 연관 그래프와, 시간, 장소, 인물에 대한 의미적 해석을 부여한 사진 의미적 연관 그래프로 분류한다.

상기 사진 그룹정보 생성부(400)는 사진기반 클러스터링부(310)의 출력을 기반으로 사진 간의 연관성을 이용하여 소정의 사진그룹 서술정보를 생성한다. 이때, 사진그룹 서술정보는 사진 간의 연관성을 갖는 사진그룹을 구분하기 위한 고유 명칭(ID)을 말한다.

상기 사진 앨범정보 생성부(500)는 사진 서술정보 생성부(200)에서 생성된 사진서술 정보 및 사진 그룹정보 생성부(400)에서 생성된 사진그룹 서술정보를 서로 매칭시켜 결합하여 사진앨범 정보를 생성한다. 그리고 이렇게 생성된 사진앨범 정보는 앨범 데이터베이스(600)에 저장된다. 이때, 상기 앨범 데이터베이스(600)에는 사진앨범 정보와 함께 사진 입력부(100)를 통해 입력받은 사진정보도 함께 저장될 수도 있다.

도 1b는 본 발명의 제 2 실시예에 따른 사진 기반 인물 친밀도 구축 장치의 구성을 나타낸 블록도이다.

도 1b와 같이, 사진 기반 인물 친밀도 구축 장치는 사진 입력부(100)와, 사진서술정보 생성부(200)와, 인물 친밀도 클러스터링부(320)와, 사진 그룹정보 생성부(400)와, 사진 앨범정보 생성부(500)를 포함하여 구성된다. 그리고 상기 사진 기반 인물 친밀도 구축 장치는 앨범 데이터베이스(600)를 더 포함하여 구성된다.

상기 사진 입력부(100)는 디지털 카메라의 내부 메모리 장치나 휴대용 메모리 장치로부터 사진을 입력받는다. 이때, 입력되는 사진은 스마트폰, 태블릿 PC와 같은 스마트 디바이스에 저장된 사진 정보를 포함하며, 아울러, 스마트 디바이스 사용자가 접근 가능한 인터넷 상의 소셜 네트워크에 포함된 사진을 포함할 수도 있다.

상기 사진 서술정보 생성부(200)는 사진 입력부(100)에서 입력된 사진을 분석 및 서술(description)하여, 사진식별자를 포함하는 사진서술(photo description) 정보 및 사진의 분석정보를 생성한다. 이를 구체적으로 설명하면, 상기 사진 서술정보 생성부(200)는 입력된 각각의 사진들로부터 사진 파일 내에 저장된 카메라 정보 및 촬영 정보가 있는지 확인하고, 만일 해당 정보가 사진 파일 내에 존재한다면 정보를 추출하여 사진 서술 구조에 따라 표현된다. 그리고 상기 사진서술 정보는 사진을 그룹핑하기 위한 클러스터링부(300)로 입력된다.

상기 인물 친밀도 클러스터링부(320)는 상기 생성된 다양한 사진 서술 정보를 포함하는 사진의 분석정보를 기반으로 사진의 인물적 연관성, 장소적 연관성, 시간적 연관성을 통한 인물 간의 친밀도를 연관 구축하는 인물 친밀도 기반 클러스터링을 수행한다. 이때, 상기 인물 친밀도 기반 클러스터링부(320)는 사진을 소유한 개인끼리의 신뢰도가 얼마나 높은지를 나타내는 인물 친밀도 연관 그래프를 생성한다. 즉, 인물적 연관성, 장소적 연관성, 시간적 연관성을 통해 사진에 빈번히 등장하는 인물 간에 서로 친밀도가 높다고 정의된다. 상기 인물 친밀도 연관 그래프는 아래에서 다시 상세히 설명하도록 한다.

상기 사진 그룹정보 생성부(400)는 인물 친밀도 클러스터링부(320)에서 출력되는 인물 간의 친밀도를 이용하여 소정의 인물그룹 서술정보를 생성한다. 이때, 인물그룹 서술정보는 인물 간의 친밀도를 갖는 인물그룹을 구분하기 위한 고유 명칭(ID)을 말한다.

상기 사진 앨범정보 생성부(500)는 사진 서술정보 생성부(200)에서 생성된 사진서술 정보 및 사진 그룹정보 생성부(400)에서 생성된 인물그룹 서술정보를 서로 매칭시켜 결합하여 사진앨범 정보를 생성한다. 그리고 이렇게 생성된 사진앨범 정보는 앨범 데이터베이스(600)에 저장된다. 이때, 상기 앨범 데이터베이스(600)에는 사진앨범 정보와 함께 사진 입력부(100)를 통해 입력받은 사진정보도 함께 저장될 수도 있다.

도 1c는 본 발명의 제 3 실시예에 따른 사진 기반 인물 친밀도 구축 장치의 구성을 나타낸 블록도이다.

도 1c와 같이, 사진 기반 인물 친밀도 구축 장치는 사진 입력부(100)와, 사진서술정보 생성부(200)와, 클러스터링부(300)와, 사진 그룹정보 생성부(400)와, 사진 앨범정보 생성부(500)를 포함하여 구성된다. 그리고 상기 사진 기반 인물 친밀도 구축 장치는 앨범 데이터베이스(600)를 더 포함하여 구성된다.

상기 사진 입력부(100)는 디지털 카메라의 내부 메모리 장치나 휴대용 메모리 장치로부터 사진을 입력받는다. 이때, 입력되는 사진은 스마트폰, 태블릿 PC와 같은 스마트 디바이스에 저장된 사진 정보를 포함하며, 아울러, 스마트 디바이스 사용자가 접근 가능한 인터넷 상의 소셜 네트워크에 포함된 사진을 포함할 수도 있다.

상기 사진 서술정보 생성부(200)는 사진 입력부(100)에서 입력된 사진을 분석 및 서술(description)하여, 사진식별자를 포함하는 사진서술(photo description) 정보 및 사진의 분석정보를 생성한다. 이를 구체적으로 설명하면, 상기 사진 서술정보 생성부(200)는 입력된 각각의 사진들로부터 사진 파일 내에 저장된 카메라 정보 및 촬영 정보가 있는지 확인하고, 만일 해당 정보가 사진 파일 내에 존재한다면 정보를 추출하여 사진 서술 구조에 따라 표현된다. 그리고 상기 사진서술 정보는 사진을 그룹핑하기 위한 클러스터링부(300)로 입력된다.

상기 클러스터링부(300)는 상기 생성된 다양한 사진 서술 정보를 포함하는 사진의 분석정보를 기반으로 사진의 촬영된 인물, 촬영장소, 촬영시간, 촬영장소 정보를 이용하여 사진을 보다 효율적으로 검색하고 그룹핑하기 위해 사진 간의 연관을 구축하고 이를 통해 인물 친밀도를 정의하여 인물 기반 사진 클러스터링을 수행한다. 이를 위해 상기 클러스터링부(300)는 사진기반 클러스터링부(310)와, 인물 친밀도 기반 클러스터링부(320)로 구성된다.

이때, 상기 사진기반 클러스터링부(310)는 사진에 직접적으로 저장된 정보 또는 사진을 분석하여 추출해낸 정보를 이용하여 사진 간의 연관성을 표현하는 사진 연관 그래프를 생성한다. 상기 사진 연관 그래프는 아래에서 다시 상세히 설명하도록 한다. 그리고 상기 사진 간의 연관성은 사진 촬영 시간, 촬영 장소, 사진 속 인물 정보에 따른 두 사진 간의 연관된 정도이다. 그리고 상기 사진 연관 그래프는 시간, 장소, 인물에 대한 물리적 정보만을 바탕으로 한 사진 물리적 연관 그래프와, 시간, 장소, 인물에 대한 의미적 해석을 부여한 사진 의미적 연관 그래프로 분류한다.

그리고 상기 인물 친밀도 기반 클러스터링부(320)는 사진기반 클러스터링부(310)에서 생성한 사진 연관 그래프를 통해 추출한 사진 연관 정보를 이용하여 사진을 소유한 개인끼리의 신뢰도가 얼마나 높은지를 나타내는 인물 친밀도 연관 그래프를 생성한다. 즉, 사진 연관 그래프에서 연관성은 인물적 연관성, 장소적 연관성, 시간적 연관성을 포함하며, 이러한 연관성이 높은 사진에 빈번히 등장하는 인물 간의 친밀도는 높다고 간주된다. 따라서 사진 연관 그래프에서 연관성이 높은 사진을 소유한 개인 간의 친밀도는 높게 설정된다. 상기 인물 친밀도 연관 그래프는 아래에서 다시 상세히 설명하도록 한다.

상기 사진 그룹정보 생성부(400)는 클러스터링부(300)의 출력을 기반으로 사진 간의 연관성 및 인물 간의 친밀도를 이용하여 그룹 서술정보를 생성한다. 이때, 그룹 서술정보는 사진 간의 연관성을 갖는 사진그룹 및 인물 간의 친밀도를 갖는 인물그룹을 구분하기 위한 고유 명칭(ID)을 말한다.

상기 사진 앨범정보 생성부(500)는 사진 서술정보 생성부(200)에서 생성된 사진서술 정보 및 사진 그룹정보 생성부(400)에서 생성된 그룹 서술정보를 서로 매칭시켜 결합하여 사진앨범 정보를 생성한다. 그리고 이렇게 생성된 사진앨범 정보는 앨범 데이터베이스(600)에 저장된다. 이때, 상기 앨범 데이터베이스(600)에는 사진앨범 정보와 함께 사진 입력부(100)를 통해 입력받은 사진정보도 함께 저장될 수도 있다.

한편, 상기 사진기반 클러스터링부(310)에서 생성되는 사진 연관 그래프는 사진에 직접적으로 저장된 정보 또는 사진을 분석하여 추출해 낸 정보를 이용하여 사진의 연관성을 표현하는 그래프이다. 사진 연관 그래프는 사용되는 사진 정보가 물리적인 정보일 때 물리적 사진 연관 그래프로 분류하고, 사람이 일반적으로 이해하는 의미적인 정보일 때 의미적 사진 연관 그래프로 분류한다.

먼저, 물리적 사진 연관 그래프는 도 2에서 도시하고 있는 것과 같이, 일반적인 그래프와 동일하게 그래프의 노드와 에지로 구성된다. 도 2와 같이, 그래프의 노드는 각각의 사진들(P1~P10)이고, 그래프의 에지는 사진들의 촬영 시간(T), 사진 촬영 장소(L), 사진 속의 인물 정보를 이용하여 계산한 사진 간의 인물 연관성(H)이다. 참고로 물리적 시간 연관도(PTA)인 사진 촬영 시간(T)은 두 사진이 촬영된 시간의 차이에 따른 연관도로서, 기준 사진과의 시간 차이에 따라 각 사진에 서로 다른 연관도를 부여한다. 그리고 물리적 장소 연관도(PLA)인 사진 촬영 장소(L)는 두 사진이 촬영된 장소에 따른 연관도로서, 사진의 EXIF 정보에 저장되어 있는 GPS 좌표 간의 물리적 거리를 계산하여 거리 차이에 따라 각 사진에 서로 다른 연관도를 부여한다. 그리고 물리적 인물 연관도(PPA)인 인물 연관도(H)는 두 사진에 등장하는 인물에 따른 연관도로서, 두 사진에 등장하는 전체 인물 중 대비 두 사진에 공통으로 등장하는 인물의 비중으로 계산된다. 즉, 기준 사진에 포함된 인물들을 이용하여 각 사진에 대한 연관도를 부여한다. 이때, 촬영된 인물은 얼굴 인식 등과 같은 사진 인식 기술을 통하여 각 인물을 구분하고 다른 사진에서 동일한 인물들을 찾아 낼 수 있다.

도 2를 참조하여 사진 P1과 P2 간의 물리적 연관도(Physical Association : PA)는 다음 수학식 1과 같이 정의될 수 있다.

[수학식 1]

PA(p1,p1) = w1*PTA(p1,p2) + w2*PLA(p1,p2) + w3*PPA(p1,p2)

이때, w는 가중치로서, w1 + w2 + w3 = 1 이다.

다음으로 의미적 사진 연관 그래프는 그래프의 노드와 에지로 구성되고, 그래프의 노드는 각각의 사진들이고, 그래프의 에지는 물리적인 사진정보를 이용하여 계산한 두 사진 간의 의미적 관점에서의 연관도로서, 의미적 시간 연관도, 의미적 장소 연관도, 그리고 의미적 인물 연관도에 의해서 결정된다. 참고로 의미적 시간 연관도(STA)는 사진 촬영 시간에 따라 초, 분, 시간, 일, 월, 해와 같은 시간 단위 또는 사람이 일반적으로 인식하는 아침, 점심, 저녁과 같은 의미적인 단계로 사진을 분류하고 기준 사진과의 시간차에 따라 각 사진에 서로 다른 두 사진 간의 의미적 시간 연관도를 부여한다. 그리고 의미적 장소 연관도(SLA)는 사진의 EXIF 정보에 저장되어 있는 GPS 좌표를 이용하여 건물, 행정구역, 특정지역과 같은 단위로 사진을 분류하고 기준 사진과의 거리 차이에 따라 각 두 사진 간의 서로 다른 의미적 거리에 따른 연관도를 부여한다. 그리고 의미적 인물 연관도(SPA)는 물리적 인물 연관도, 즉, 두 사진에서 공통으로 등장하는 인물의 비율뿐만 아니라 인물의 표정, 사진에서 인물간의 거리 등을 바탕으로 의미적인 인물간의 거리에 따른 연관도를 부여한다. 예를 들어 사진 속의 인물의 표정을 인식하여 웃고 있는 표정과 같이 기분 좋은 표정에서는 사람간의 연관도를 더 높게 부여할 수 있으며, 사진 속 인물간의 물리적 거리가 가까울수록 연관도를 높게 부여할 수 있다.

마찬가지로 사진 P1과 P2 간의 의미적 연관도(Semantic Association : SA)는 다음 수학식 2와 같이 정의될 수 있다.

[수학식 2]

SA(p1,p1) = w1*STA(p1,p2) + w2*SLA(p1,p2) + w3*SPA(p1,p2)

이때, w는 가중치로서, w1 + w2 + w3 = 1 이다.

그리고 상기 인물 친밀도 기반 클러스터링부(320)에서 생성되는 인물 친밀도 연관 그래프는 사진 물리적/의미적 연관 그래프를 바탕으로 사진에 등장한 인물들 간의 친밀도를 표현하는 그래프이다. 예를 들어 사진 연관 그래프에서 연관성이 높은 사진에 빈번히 등장하는 인물간의 친밀도는 높다고 간주될 수 있다.

인물 친밀도 그래프는 도 3에서 도시하고 있는 것과 같이, 일반적인 그래프와 동일하게 그래프의 노드와 에지로 구성된다. 이때, 그래프 노드는 사진 물리적/의미적 연관 그래프에 등장한 인물(H1~H7)이고, 그래프 에지는 노드에 지시되는 두 인물간의 친밀도를 표시한다. 이때, 사진 물리적/의미적 연관 그래프를 바탕으로 두 인물간의 친밀도를 결정한다.

일 실시예로 두 인물 P1, P2에 대한 인물 친밀도(Personal Closeness)를 PC(p1,p2)라고 할 때, PC(p1,p2)는 다음과 같은 규칙을 통해서 계산될 수 있다. 이때 인물 p1과 인물 p2가 등장하는 사진을 각각 photo1, photo2라고 하면,

인물적 연관성(PPC)은 photo1과 photo2 간에 존재하는 경로의 수가 많을수록 p1과 p2의 친밀도가 높으며, photo1과 photo2 간의 거리에 의해서 결정된다. 예를 들어 동일 사진에서 p1과 p2가 등장하는 경우가 사진 물리적/의미적 연관 그래프 상에서 다른 사진을 통해서 간접적으로 연관된 경우보다 친밀도가 크다. 그리고 photo1과 photo2 간의 경로에서 의미적 인물 연관도가 클수록 p1과 p2의 친밀도가 높다.

또한 장소적 연관성(PLC)은 photo1과 photo2 간의 경로에서 의미적 장소 연관성이 클수록 p1과 p2의 친밀도는 높으며, photo1과 photo2 간의 경로에서 관광지 등과 같은 사적인 장소에 의한 장소 연관도가 회의장 같은 공식적인 장소에 의한 연관도보다 p1과 p2의 친밀도가 높다.

그리고 시간적 연관성(PTC)은 photo1과 photo2 간의 경로에서 의미적 시간 연관성이 클수록 p1과 p2의 친밀도는 높으며, photo1과 photo2 간의 경로에서 사적인 시간(휴일, 비일과 시간 등)에 의한 시간 연관도가 공적인 시간(일과시간 등)에 의한 시간 연관도보다 p1과 p2의 친밀도가 높다.

따라서 인물 p1과 p2 간의 인물 친밀도(Personal Closeness : PC)는 다음 수학식 3과 같이 정의될 수 있다.

[수학식 3]

PC(p1,p1) = w1*PPC(p1,p2) + w2*PLC(p1,p2) + w3*PTC(p1,p2)

이때, w는 가중치로서, w1 + w2 + w3 = 1 이다.

이처럼, 각 사용자의 스마트 디바이스에서 생성한 사진 물리적/의미적 연관 그래프 및 인물 친밀도 그래프를 이용하여 생성된 사진그룹 서술정보를 사진 기반 인물 친밀도 구축 장치의 앨범 데이터베이스(600)에 저장하여 통합함으로써, 여러 스마트 디바이스로부터 입수한 사진 물리적/의미적 연관 그래프 및 인물 친밀도 그래프를 통합 관리할 수 있어, 보다 많은 사진 간의 연관성과 보다 많은 인물간의 친밀도를 분석할 수 있다.

이와 같이 구성된 본 발명에 따른 사진 기반 인물 친밀도 구축 장치를 이용하여 각각의 스마트 디바이스에 존재하는 사진 정보 또는 사진 연관성 그래프 및 인물 친밀도 그래프를 바탕으로 사진 기반 인물 친밀도를 구축하는 방법은 다음 3가지 방법을 사용할 수 있다.

첫 번째 방법으로 사용자의 단말기에서 사진을 전송하는 과정만 처리하고, 사진 기반 인물 친밀도 구축 장치(이하 ‘서버’라 칭함)에서 업로드된 사진의 정보를 이용하여 사진을 분석하고 이를 통한 클러스터링을 통해 생성된 사진 연관 그래프 또는/및 인물 친밀도 그래프를 이용하여 사진앨범 정보를 생성하고, 앨범 데이터베이스(600)에 저장하는 방법이다. 이때, 서버는 아마존 웹 서비스와 같은 클라우드 서버, 개인 서버, 호스팅 서버 등을 포함하는 사진 기반 인물 친밀도 구축 장치를 포함하는 사진/인물 연관성 관리 서버를 말한다.

첫 번째 방법인 사전 전송을 통한 그래프 생성을 도 4를 참조하여 설명하면, 먼저 사용자는 단말기를 통해 자신이 보유한 사진을 사진 입력부(100)를 통해 서버로 업로드한다(S10). 이때, 사진은 단말기에 보유한 사진에 한정되지 않으며, 페이스북, 카카오 스토리와 같이 소셜 네트워크 같은 인터넷 상의 사진을 모두 포함한다.

그러면 서버는 사진 서술정보 생성부(200)를 통해 입력된 사진을 분석하여 사진서술 정보를 포함하는 사진의 분석정보를 생성하고, 클러스터링부(300)를 통해 사진의 분석정보를 기반으로 촬영된 인물, 촬영장소, 촬영시간, 촬영장소 정보를 분류하여 사진을 보다 효율적으로 검색하고 그룹핑하기 위한 클러스터링을 수행한다(S11). 이때 상기 사진의 분석정보는 사진의 촬영된 인물, 촬영장소, 촬영시간, 촬영장소 정보를 포함한다.

상기 클러스터링의 수행방법은 사진기반 클러스터링 및 인물 친밀도 기반 클러스터링으로 나눌 수 있으며, 이중 어느 하나 또는 둘 다를 이용하여 클러스터링을 수행할 수 있다.

먼저 사진기반 클러스터링 방법은 사진에 직접적으로 저장된 정보 또는 사진을 분석하여 추출해낸 정보를 이용하여 사진 간의 연관성을 표현하는 사진 연관 그래프를 생성한다. 이때, 상기 사진 간의 연관성은 사진 촬영 시간, 촬영 장소, 사진 속 인물 정보에 따른 두 사진 간의 연관된 정도이다. 그리고 상기 사진 연관 그래프는 시간, 장소, 인물에 대한 물리적 정보만을 바탕으로 한 사진 물리적 연관 그래프와, 시간, 장소, 인물에 대한 의미적 해석을 부여한 사진 의미적 연관 그래프로 분류한다. 사진 연관 그래프에 따른 상세한 설명은 위에서 기재하고 있으므로 생략한다.

그리고 상기 생성된 사진 연관 그래프를 통한 사진 간의 연관성을 이용하여 소정의 사진그룹 서술정보를 생성한다. 이때, 사진그룹 서술정보는 사진 간의 연관성을 갖는 사진그룹을 구분하기 위한 고유 명칭(ID)을 말한다.

다음으로 인물 친밀도 클러스터링 방법은 상기 생성된 사진 서술 정보를 기반으로 사진의 인물적 연관성, 장소적 연관성, 시간적 연관성을 통한 인물 간의 친밀도를 정의하여 사진을 소유한 개인끼리의 신뢰도가 얼마나 높은지를 나타내는 인물 친밀도 연관 그래프를 생성한다. 즉, 인물적 연관성, 장소적 연관성, 시간적 연관성을 통해 사진에 빈번히 등장하는 인물 간에 서로 친밀도가 높다고 정의된다. 이때, 인물 친밀도 연관 그래프는 연관성이 높은 사진을 소유한 개인 간의 신뢰도는 높게 설정된다. 상기 인물 친밀도 연관 그래프에 따른 상세한 설명은 위에서 기재하고 있으므로 생략한다.

한편, 인물 친밀도 클러스터링 방법에서 인물 친밀도 연관 그래프를 생성하는 과정에서 사진기반 클러스터링 방법을 통해 생성된 사진 연관 그래프를 통해 추출한 사진 연관 정보를 이용하여 사진을 소유한 개인끼리의 신뢰도가 얼마나 높은지를 나타내는 인물 친밀도 연관 그래프를 생성할 수도 있다.

그리고 상기 생성된 인물 친밀도 연관 그래프를 통한 인물 간의 친밀도를 이용하여 소정의 인물그룹 서술정보를 생성한다. 이때, 사진그룹 서술정보는 인물 간의 친밀도를 갖는 인물그룹을 구분하기 위한 고유 명칭(ID)을 말한다.

이처럼, 상기 클러스터링의 수행방법은 사진기반 클러스터링 및 인물 친밀도 기반 클러스터링을 각각 독립적으로 수행하여 그룹핑하기 위한 클러스터링을 수행할 수도 있지만, 사진기반 클러스터링 및 인물 친밀도 기반 클러스터링을 서로 연계하여 순차적(순서에 제한이 없음)으로 클러스터링을 수행하여 그룹핑하기 위한 클러스터링을 수행할 수도 있음을 주의하여야 한다.

이어 사진 앨범정보 생성부(500)를 통해 생성된 사진서술 정보 및 클러스터링부(300)를 통한 클러스터링의 수행을 통해 생성된 사진그룹 서술정보 또는 인물그룹 서술정보(이하 ‘그룹 서술정보’라 칭함)를 서로 매칭되도록 결합하여 사진앨범 정보를 생성한다. 그리고 이렇게 생성된 사진앨범 정보는 앨범 데이터베이스(600)에 저장된다(S12).

두 번째 방법으로 사용자의 단말기에서 사진을 전송할 때, 단말기 내에 미리 포함되어 있는 사진 분석 프로그램(Apps.)을 통해 보유하고 있는 사진을 미리 분석하여 사진의 분석정보들을 추출하고, 상기 추출된 사진의 분석정보들을 사용자의 단말기에서 서버로 전송한다. 그러면, 서버는 전송 받은 사진 분석정보들을 통한 클러스터링을 통해 생성된 사진 연관 그래프 또는/및 인물 친밀도 그래프를 이용하여 사진앨범 정보를 생성하고, 앨범 데이터베이스(600)에 저장하는 방법이다. 이때, 사용자가 전송하는 분석정보들은 암호화되어 전송되고, 정보의 종류는 EXIF와 같은 사진의 메타정보, 색상정보 및 특징값 같은 분석정보, 촬영된 인물의 정보를 포함한다.

두 번째 방법으로 사진의 기존 정보 전송을 통한 그래프 생성을 도 5를 참조하여 설명하면, 먼저 사용자는 단말기 내에 미리 포함되어 있는 사진 분석 프로그램(Apps.)을 이용하여 사용자가 보유하고 있는 사진을 분석하여 사진서술 정보를 포함하는 사진의 분석정보를 추출하고, 이렇게 추출된 분석정보를 사진 입력부(100)를 통해 서버로 업로드한다(S20). 이때, 사진은 단말기에 보유한 사진에 한정되지 않으며, 페이스북, 카카오 스토리와 같이 소셜 네트워크 같은 인터넷 상의 사진을 모두 포함하며, 또한 상기 사진의 분석정보는 사진의 촬영된 인물, 촬영장소, 촬영시간, 촬영장소 정보를 포함한다.

이어 서버는 클러스터링부(300)를 통해 입력된 사진의 분석정보를 기반으로 촬영된 인물, 촬영장소, 촬영시간, 촬영장소 정보를 분류하여 사진을 보다 효율적으로 검색하고 그룹핑하기 위한 클러스터링을 수행한다(S21).

이때, 상기 클러스터링의 수행방법은 사진기반 클러스터링 및 인물 친밀도 기반 클러스터링으로 나눌 수 있으며, 이중 어느 하나 또는 둘 다를 이용하여 클러스터링을 수행하여 그룹 서술정보를 생성한다. 참고로 상기 클러스터링 수행방법에 따른 상세한 설명은 위에서 기재하고 있으므로 생략한다.

이어 사진 앨범정보 생성부(500)를 통해 생성된 사진서술 정보 및 클러스터링부(300)를 통한 클러스터링의 수행을 통해 생성된 그룹 서술정보를 서로 매칭되도록 결합하여 사진앨범 정보를 생성한다. 그리고 이렇게 생성된 사진앨범 정보는 앨범 데이터베이스(600)에 저장된다(S22).

세 번째 방법으로 각 단말기에 미리 포함되어 있는 그래프 구축 프로그램(Apps.)을 통해 보유하고 있는 사진을 미리 분석하고, 분석된 사진 분석정보들을 기반으로 클러스터링을 통해 생성된 사진 연관성 그래프 또는/및 인물 친밀도 그래프를 구축한다. 그리고 이렇게 구축된 사진 연관성 그래프 또는/및 인물 친밀도 그래프를 서버로 전송하면, 서버에서는 전송받은 사진 연관성 그래프 또는/및 인물 친밀도 그래프 정보를 이용하여 서버 상에 이에 따른 그래프를 이용하여 사진앨범 정보를 생성하고 앨범 데이터베이스(600)에 저장한다.

세 번째 방법으로 그래프 정보 전송을 통한 그래프 생성을 도 6을 참조하여 설명하면, 먼저 사용자는 단말기 내에 미리 포함되어 있는 그래프 구축 프로그램(Apps.)을 이용하여 사용자가 보유하고 있는 사진을 분석하여 사진서술 정보를 포함하는 사진의 분석정보를 추출한다. 그리고 이렇게 추출된 분석정보를 기반으로 촬영된 인물, 촬영장소, 촬영시간, 촬영장소 정보를 분류하여 사진을 보다 효율적으로 검색하고 그룹핑하기 위한 클러스터링을 수행하고, 클러스터링을 통해 생성된 사진 연관성 그래프 또는/및 인물 친밀도 그래프를 서버로 업로드한다(S30).

이때, 사진은 단말기에 보유한 사진에 한정되지 않으며, 페이스북, 카카오 스토리와 같이 소셜 네트워크 같은 인터넷 상의 사진을 모두 포함하며, 또한 상기 사진의 분석정보는 사진의 촬영된 인물, 촬영장소, 촬영시간, 촬영장소 정보를 포함한다. 참고로 상기 클러스터링 수행방법에 따른 상세한 설명은 위에서 기재하고 있으므로 생략한다.

이어 서버는 입력된 사진 연관성 그래프 또는/및 인물 친밀도 그래프를 이용하여 다수의 사용자들로부터 입력되는 각 그래프들과 비교 및 매칭을 통해 사진 연관성 그래프 또는/및 인물 친밀도 그래프를 확장하여 그룹 서술정보를 생성한다(S31).

그리고 사진 앨범정보 생성부(500)를 통해 입력된 사진서술 정보 및 생성된 그룹 서술정보를 서로 매칭되도록 결합하여 사진앨범 정보를 생성한다. 그리고 이렇게 생성된 사진앨범 정보는 앨범 데이터베이스(600)에 저장된다(S32).

한편, 상기 사진 기반 인물 친밀도를 구축하는 방법에서 사진 연관 그래프 및 인물 친밀도 그래프의 내용을 악의적으로 사용하는 경우를 막기 위해 연관 연산에 사용되는 정보의 내용을 암호화하여 처리하는 과정이 필요하다.

따라서 사진 정보 중에서 시간정보와 장소정보는 각각 사진의 EXIF 정보에 포함된 사진 촬영시간 정보와 촬영장소 정보(GPS)를 암호화하여 처리한다. 그리고 인물정보는 얼굴 인식 시스템과 같이 인물의 고유한 정보들을 종합하여 암호화하는 방법을 사용한다. 이때, 사진 촬영시간, 촬영장소, 인물정보는 암호화 수행 후에 각각의 고유한 값으로 구분 가능하다.

그리고 사진 촬영시간은 암호화 후에도 두 시간 차이를 계산할 수 있는 형태로 암호화되며, 사진 촬영장소는 암호화 후에도 두 장소의 거리를 계산할 수 있는 형태로 암호화된다. 그리고 서로 다른 사진 속 인물이 동일 인물이라면 암호화 후에 두 인물에 대한 값을 동일한 값을 가진다.

한편, 본 발명의 실시예는 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하다. 즉, 본 발명에 따른 방법에 포함된 여러 단계들은 컴퓨터로 읽을 수 있는 기록매체에 저장될 수 있다. 상기 매체는 마그네틱 저장매체(예: 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독매체(예: CD-ROM, DVD), 디지털 저장매체(예: USB 메모리, 메모리 카드(SD, CF, MS, XD) 등) 및 캐리어 웨이브(예: 인터넷을 통한 전송)와 같은 기록매체를 포함한다.

상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (44)

1. 단말기로부터 사진 정보를 입력받는 사진 입력부와,
   상기 입력된 사진을 분석 및 서술(description)하여, 사진식별자를 포함하는 사진서술(photo description) 정보 및 사진의 분석정보를 생성하는 사진서술정보 생성부와,
   상기 생성된 사진 서술 정보를 포함하는 사진의 분석정보를 기반으로 사진의 촬영된 인물, 촬영장소, 촬영시간, 촬영장소 정보 중 적어도 하나를 이용하여 사진을 검색하고 그룹핑하기 위한 사진 간의 연관을 구축하는 사진기반 클러스터링을 수행하는 사진기반 클러스터링부와,
   상기 사진기반 클러스터링부의 출력을 기반으로 사진 간의 연관성을 이용하여 소정의 사진그룹 서술정보를 생성하는 사진 그룹정보 생성부와,
   상기 사진 서술정보 생성부에서 생성된 사진서술 정보 및 사진 그룹정보 생성부에서 생성된 사진그룹 서술정보를 서로 매칭시켜 결합하여 사진앨범 정보를 생성하는 사진 앨범정보 생성부를 포함하여 구성되는 것을 특징으로 하는 사진 기반 인물 친밀도 구축 장치.
2. 단말기로부터 사진 정보를 입력받는 사진 입력부와,
   상기 입력된 사진을 분석 및 서술(description)하여, 사진식별자를 포함하는 사진서술(photo description) 정보 및 사진의 분석정보를 생성하는 사진서술정보 생성부와,
   상기 생성된 사진 서술 정보를 포함하는 사진의 분석정보를 기반으로 사진의 인물적 연관성, 장소적 연관성, 시간적 연관성을 통한 인물 간의 친밀도를 연관 구축하는 인물 친밀도 기반 클러스터링부와,
   상기 인물 친밀도 기반 클러스터링부에서 출력되는 인물 간의 친밀도를 이용하여 소정의 인물그룹 서술정보를 생성하는 사진 그룹정보 생성부와,
   상기 사진 서술정보 생성부에서 생성된 사진서술 정보 및 사진 그룹정보 생성부에서 생성된 인물그룹 서술정보를 서로 매칭시켜 결합하여 사진앨범 정보를 생성하는 사진 앨범정보 생성부를 포함하여 구성되는 것을 특징으로 하는 사진 기반 인물 친밀도 구축 장치.
3. 단말기로부터 사진 정보를 입력받는 사진 입력부와,
   상기 입력된 사진을 분석 및 서술(description)하여, 사진식별자를 포함하는 사진서술(photo description) 정보 및 사진의 분석정보를 생성하는 사진서술정보 생성부와,
   상기 생성된 다양한 사진 서술 정보를 포함하는 사진의 분석정보를 기반으로 사진의 촬영된 인물, 촬영장소, 촬영시간, 촬영장소 정보를 이용하여 사진을 보다 효율적으로 검색하고 그룹핑하기 위해 사진 간의 연관을 구축하고 이를 통해 인물 친밀도를 정의하여 인물 기반 사진 클러스터링을 수행하는 클러스터링부와,
   상기 클러스터링부의 출력을 기반으로 사진 간의 연관성 및 인물 간의 친밀도를 이용하여 그룹 서술정보를 생성하는 사진 그룹정보 생성부와,
   상기 사진 서술정보 생성부에서 생성된 사진서술 정보 및 사진 그룹정보 생성부에서 생성된 그룹 서술정보를 서로 매칭시켜 결합하여 사진앨범 정보를 생성하는 사진 앨범정보 생성부를 포함하여 구성되는 것을 특징으로 하는 사진 기반 인물 친밀도 구축 장치.
4. 제 1 항 내지 제 3 항 중 어느 하나에 있어서,
   상기 입력되는 사진 정보는 사용자 개인용 단말기에 저장된 사진 및 상기 개인용 단말기를 통해 접근 가능한 인터넷 상의 소셜 네트워크에 포함된 사진을 포함하는 것을 특징으로 하는 사진 기반 인물 친밀도 구축 장치.
5. 제 1 항 내지 제 3 항 중 어느 하나에 있어서,
   상기 사진 서술정보는 사진 간을 서로 구분하기 위한 고유 명칭(ID)으로 촬영날짜, 시간 중 적어도 하나를 포함하여 설정되는 것을 특징으로 하는 사진 기반 인물 친밀도 구축 장치.
6. 제 1 항에 있어서,
   상기 사진기반 클러스터링부는 사진에 직접적으로 저장된 정보 또는 사진을 분석하여 추출해낸 정보를 이용하여 사진 간의 연관성을 표현하는 사진 연관 그래프를 생성하는 것을 특징으로 하는 사진 기반 인물 친밀도 구축 장치.
7. 제 6 항에 있어서, 상기 사진 연관 그래프는
   시간, 장소, 인물에 대한 물리적 정보만을 바탕으로 한 사진 물리적 연관 그래프와,
   시간, 장소, 인물에 대한 의미적 해석을 부여한 사진 의미적 연관 그래프로 분류되는 것을 특징으로 하는 사진 기반 인물 친밀도 구축 장치.
8. 제 6 항에 있어서,
   상기 사진 간의 연관성은 사진 촬영 시간, 촬영 장소, 사진 속 인물 정보에 따른 두 사진 간의 연관된 정도를 미리 정의되어 있는 수치로 나타낸 것을 특징으로 하는 사진 기반 인물 친밀도 구축 장치.
9. 제 1 항에 있어서,
   상기 사진그룹 서술정보는 사진 간의 연관성을 갖는 사진그룹을 구분하기 위한 고유 명칭(ID)인 것을 특징으로 하는 사진 기반 인물 친밀도 구축 장치.
10. 제 1 항 내지 제 3 항 중 어느 하나에 있어서,
    상기 사진앨범 정보를 저장하는 앨범 데이터베이스를 더 포함하고,
    상기 앨범 데이터베이스를 통해 여러 사용자 단말기로부터 입수한 사진 물리적/의미적 연관 그래프 및 인물 친밀도 그래프를 통합 관리하여 사진 간의 연관성과 보다 많은 인물간의 친밀도를 분석하는 것을 특징으로 하는 것을 특징으로 하는 사진 기반 인물 친밀도 구축 장치.
11. 제 2 항에 있어서,
    상기 인물 친밀도 기반 클러스터링부는 사진을 소유한 개인끼리의 신뢰도가 얼마나 높은지를 나타내는 인물 친밀도 연관 그래프를 생성하는 것을 특징으로 하는 사진 기반 인물 친밀도 구축 장치.
12. 제 11 항에 있어서,
    상기 인물 간의 친밀도는 인물적 연관성, 장소적 연관성, 시간적 연관성을 통해 사진에 등장하는 횟수가 많을수록 인물 간에 서로 친밀도가 높은 것을 특징으로 하는 사진 기반 인물 친밀도 구축 장치.
13. 제 2 항에 있어서,
    상기 인물그룹 서술정보는 인물 간의 친밀도를 갖는 인물그룹을 구분하기 위한 고유 명칭(ID)인 것을 특징으로 하는 사진 기반 인물 친밀도 구축 장치.
14. 제 3 항에 있어서, 상기 클러스터링부는
    사진에 직접적으로 저장된 정보 또는 사진을 분석하여 추출해낸 정보를 이용하여 사진 간의 연관성을 표현하는 사진 연관 그래프를 생성하는 사진기반 클러스터링부와,
    상기 사진기반 클러스터링부에서 생성한 사진 연관 그래프를 통해 추출한 사진 연관 정보를 이용하여 사진을 소유한 개인끼리의 신뢰도의 정도를 나타내는 인물 친밀도 연관 그래프를 생성하는 인물 친밀도 기반 클러스터링부를 포함하여 구성되는 것을 특징으로 하는 사진 기반 인물 친밀도 구축 장치.
15. 제 14 항에 있어서,
    상기 사진 연관 그래프에서 연관성이 높은 사진을 소유한 개인 간의 친밀도는 그렇지 않은 개인 간의 친밀도 보다 높게 설정되는 것을 특징으로 하는 사진 기반 인물 친밀도 구축 장치.
16. 제 1 항 또는 제 3 항에 있어서,
    상기 사진 연관 그래프는 사진에 직접적으로 저장된 정보 또는 사진을 분석하여 추출해 낸 정보를 이용하여 사진의 연관성을 표현하는 그래프로서, 사용되는 사진 정보가 물리적인 정보일 때 물리적 사진 연관 그래프로 분류하고, 사람이 일반적으로 이해하는 의미적인 정보일 때 의미적 사진 연관 그래프로 분류하는 것을 특징으로 하는 사진 기반 인물 친밀도 구축 장치.
17. 제 16 항에 있어서, 상기 물리적 사진 연관 그래프는
    그래프의 노드와 에지로 구성되고,
    그래프의 노드는 각각의 사진들이고, 그래프의 에지는 사진들의 촬영 시간, 사진 촬영 장소, 사진 속의 인물 정보를 이용하여 계산한 사진 간의 인물 연관성으로 구성되는 것을 특징으로 하는 사진 기반 인물 친밀도 구축 장치.
18. 제 17 항에 있어서,
    상기 물리적 시간 연관도(PTA)인 사진 촬영 시간(T)은 두 사진이 촬영된 시간의 차이에 따른 연관도로서, 기준 사진과의 시간 차이에 따라 각 사진에 서로 다른 연관도를 부여하고,
    상기 물리적 장소 연관도(PLA)인 사진 촬영 장소(L)는 두 사진이 촬영된 장소에 따른 연관도로서, 사진의 EXIF 정보에 저장되어 있는 GPS 좌표 간의 물리적 거리를 계산하여 거리 차이에 따라 각 사진에 서로 다른 연관도를 부여하고,
    상기 물리적 인물 연관도(PPA)인 인물 연관도(H)는 두 사진에 등장하는 인물에 따른 연관도로서, 두 사진에 등장하는 전체 인물 중 대비 두 사진에 공통으로 등장하는 인물의 비중으로 계산된, 즉, 기준 사진에 포함된 인물들을 이용하여 각 사진에 대한 연관도를 부여하는 것을 특징으로 하는 사진 기반 인물 친밀도 구축 장치.
19. 제 18 항에 있어서,
    사진 P1과 P2 간의 물리적 연관도(Physical Association : PA)는 다음 수식 PA(p1,p1) = w1*PTA(p1,p2) + w2*PLA(p1,p2) + w3*PPA(p1,p2)로 산출되며, 이때, w는 가중치로서, w1 + w2 + w3 = 1인 것을 특징으로 하는 사진 기반 인물 친밀도 구축 장치.
20. 제 16 항에 있어서, 상기 의미적 사진 연관 그래프는
    그래프의 노드와 에지로 구성되고,
    그래프의 노드는 각각의 사진들이고, 그래프의 에지는 물리적인 사진정보를 이용하여 계산한 두 사진 간의 의미적 관점에서의 연관도로서, 의미적 시간 연관도, 의미적 장소 연관도, 그리고 의미적 인물 연관도에 의해서 결정되는 것을 특징으로 하는 사진 기반 인물 친밀도 구축 장치.
21. 제 20 항에 있어서,
    상기 의미적 시간 연관도(STA)는 사진 촬영 시간에 따라 초, 분, 시간, 일, 월, 해와 같은 시간 단위 또는 사람이 일반적으로 인식하는 아침, 점심, 저녁과 같은 의미적인 단계로 사진을 분류하고 기준 사진과의 시간차에 따라 각 사진에 서로 다른 두 사진 간의 의미적 시간 연관도를 부여하고,
    상기 의미적 장소 연관도(SLA)는 사진의 EXIF 정보에 저장되어 있는 GPS 좌표를 이용하여 건물, 행정구역, 특정지역과 같은 단위로 사진을 분류하고 기준 사진과의 거리 차이에 따라 각 두 사진 간의 서로 다른 의미적 거리에 따른 연관도를 부여하고,
    상기 의미적 인물 연관도(SPA)는 물리적 인물 연관도, 즉, 두 사진에서 공통으로 등장하는 인물의 비율뿐만 아니라 인물의 표정, 사진에서 인물간의 거리를 바탕으로 의미적인 인물간의 거리에 따른 연관도를 부여하는 것을 특징으로 하는 사진 기반 인물 친밀도 구축 장치.
22. 제 21 항에 있어서,
    상기 의미적 인물 연관도는 사진 속의 인물의 표정을 인식하여 웃고 있는 표정과 같이 기분 좋은 표정에서는 사람간의 연관도를 더 높게 부여하고, 사진 속 인물간의 물리적 거리가 가까울수록 연관도를 높게 부여하는 것을 특징으로 하는 사진 기반 인물 친밀도 구축 장치.
23. 제 21 항에 있어서,
    사진 P1과 P2 간의 의미적 연관도(Semantic Association : SA)는 다음 수식 SA(p1,p1) = w1*STA(p1,p2) + w2*SLA(p1,p2) + w3*SPA(p1,p2)로 산출되며, 이때, w는 가중치로서, w1 + w2 + w3 = 1인 것을 특징으로 하는 사진 기반 인물 친밀도 구축 장치.
24. 제 2 항 또는 제 3 항에 있어서, 상기 인물 친밀도 연관 그래프는
    그래프의 노드와 에지로 구성되고,
    그래프 노드는 사진 연관 그래프에 등장한 인물이고, 그래프 에지는 노드에 지시되는 두 인물간의 친밀도로 구성되는 것을 특징으로 하는 사진 기반 인물 친밀도 구축 장치.
25. 제 24 항에 있어서,
    두 인물 P1, P2에 대한 인물 친밀도(Personal Closeness)를 PC(p1,p2)라고 하고, 인물 p1과 인물 p2가 등장하는 사진을 각각 photo1, photo2라고 하면,
    인물적 연관성(PPC)은 photo1과 photo2 간에 존재하는 경로의 수가 많을수록 p1과 p2의 친밀도가 높으며, photo1과 photo2 간의 거리에 의해서 결정되고, photo1과 photo2 간의 경로에서 의미적 인물 연관도가 클수록 p1과 p2의 친밀도를 높게 설정하고,
    장소적 연관성(PLC)은 photo1과 photo2 간의 경로에서 의미적 장소 연관성이 클수록 p1과 p2의 친밀도는 높으며, photo1과 photo2 간의 경로에서 관광지와 같은 사적인 장소에 의한 장소 연관도가 회의장 같은 공식적인 장소에 의한 연관도보다 p1과 p2의 친밀도를 높게 설정하고,
    시간적 연관성(PTC)은 photo1과 photo2 간의 경로에서 의미적 시간 연관성이 클수록 p1과 p2의 친밀도는 높으며, photo1과 photo2 간의 경로에서 사적인 시간에 의한 시간 연관도가 공적인 시간에 의한 시간 연관도보다 p1과 p2의 친밀도를 높게 설정하는 것을 특징으로 하는 사진 기반 인물 친밀도 구축 장치.
26. 제 25 항에 있어서,
    인물 p1과 p2 간의 인물 친밀도(Personal Closeness : PC)는 다음 수식 PC(p1,p1) = w1*PPC(p1,p2) + w2*PLC(p1,p2) + w3*PTC(p1,p2)로 산출되며, 이때, w는 가중치로서, w1 + w2 + w3 = 1인 것을 특징으로 하는 사진 기반 인물 친밀도 구축 장치.
27. (A) 단말기로부터 사진 정보를 입력받는 단계와,
    (B) 상기 입력된 사진을 분석 및 서술(description)하여, 사진식별자를 포함하는 사진서술(photo description) 정보 및 사진의 분석정보를 생성하는 단계와,
    (C) 상기 생성된 다양한 사진 서술 정보를 포함하는 사진의 분석정보를 기반으로 사진의 촬영된 인물, 촬영장소, 촬영시간, 촬영장소 정보를 이용하여 사진을 보다 효율적으로 검색하고 그룹핑하기 위해 사진 클러스터링을 수행하는 단계와,
    (D) 상기 클러스터링부의 출력을 기반으로 사진 간의 연관성 및 인물 간의 친밀도를 이용하여 그룹 서술정보를 생성하는 단계와,
    (E) 상기 생성된 사진서술 정보 및 그룹 서술정보를 서로 매칭시켜 결합하여 사진앨범 정보를 생성하여 저장하는 단계를 포함하여 이루어지는 것을 특징으로 하는 사진 기반 인물 친밀도 구축 방법.
28. 제 27 항에 있어서, 상기 (C) 단계는
    상기 생성된 사진 서술 정보를 포함하는 사진의 분석정보를 기반으로 사진의 촬영된 인물, 촬영장소, 촬영시간, 촬영장소 정보 중 적어도 하나를 이용하여 사진을 검색하고 그룹핑하기 위한 사진 간의 연관을 구축하는 사진기반 클러스터링을 수행하는 단계를 포함하여 이루어지는 것을 특징으로 하는 사진 기반 인물 친밀도 구축 방법.
29. 제 27 항에 있어서, 상기 (C) 단계는
    상기 생성된 사진 서술 정보를 포함하는 사진의 분석정보를 기반으로 사진의 인물적 연관성, 장소적 연관성, 시간적 연관성을 통한 인물 간의 친밀도를 연관 구축하는 단계를 포함하여 이루어지는 것을 특징으로 하는 사진 기반 인물 친밀도 구축 방법.
30. 제 27 항에 있어서, 상기 (C) 단계는
    상기 생성된 다양한 사진 서술 정보를 포함하는 사진의 분석정보를 기반으로 사진의 촬영된 인물, 촬영장소, 촬영시간, 촬영장소 정보를 이용하여 사진을 보다 효율적으로 검색하고 그룹핑하기 위해 사진 간의 연관을 구축하고 이를 통해 인물 친밀도를 정의하여 인물 기반 사진 클러스터링을 수행하는 단계를 포함하여 이루어지는 것을 특징으로 하는 사진 기반 인물 친밀도 구축 방법.
31. 사용자 단말기를 통해 사용자가 보유한 사진이 서버로 입력되는 단계와,
    상기 입력된 사진을 분석하여 사진서술 정보를 포함하는 사진의 분석정보를 생성하는 단계와,
    상기 생성된 사진의 분석정보를 기반으로 촬영된 인물, 촬영장소, 촬영시간, 촬영장소 정보를 분류하여 사진을 보다 효율적으로 검색하고 그룹핑하기 위한 클러스터링을 수행하여 그룹 서술정보를 생성하는 단계와,
    상기 생성된 사진서술 정보 및 클러스터링의 수행을 통해 생성된 그룹 서술정보를 서로 매칭되도록 결합하여 사진앨범 정보를 생성하여 저장하는 단계를 포함하여 이루어지는 것을 특징으로 하는 사진 기반 인물 친밀도 구축 방법.
32. 사용자 단말기 내에 미리 포함되어 있는 사진 분석 프로그램(Apps.)을 이용하여 사용자가 보유하고 있는 사진이 분석되어 추출된 사진서술 정보를 포함하는 사진의 분석정보가 서버로 입력되는 단계와,
    상기 입력된 사진의 분석정보를 기반으로 촬영된 인물, 촬영장소, 촬영시간, 촬영장소 정보를 분류하여 사진을 보다 효율적으로 검색하고 그룹핑하기 위한 클러스터링을 수행하여 그룹 서술정보를 생성하는 단계와,
    상기 생성된 사진서술 정보 및 클러스터링의 수행을 통해 생성된 그룹 서술정보를 서로 매칭되도록 결합하여 사진앨범 정보를 생성하여 저장하는 단계를 포함하여 이루어지는 것을 특징으로 하는 사진 기반 인물 친밀도 구축 방법.
33. 사용자 단말기 내에 미리 포함되어 있는 그래프 구축 프로그램(Apps.)을 이용하여 사용자가 보유하고 있는 사진을 분석하여 사진서술 정보를 포함하는 사진의 분석정보가 추출되고, 추출된 사진의 분석정보를 기반으로 촬영된 인물, 촬영장소, 촬영시간, 촬영장소 정보를 분류하여 사진을 검색하고 그룹핑하기 위한 클러스터링을 수행하여 생성된 사진 연관성 그래프 또는/및 인물 친밀도 그래프가 서버로 입력되는 단계와,
    상기 입력된 사진 연관성 그래프 또는/및 인물 친밀도 그래프를 이용하여 다수의 사용자들로부터 입력되는 각 그래프들과 비교 및 매칭을 통해 사진 연관성 그래프 또는/및 인물 친밀도 그래프를 확장하여 그룹 서술정보를 생성하는 단계와,
    상기 생성된 사진서술 정보 및 클러스터링의 수행을 통해 생성된 그룹 서술정보를 서로 매칭되도록 결합하여 사진앨범 정보를 생성하여 저장하는 단계를 포함하여 이루어지는 것을 특징으로 하는 사진 기반 인물 친밀도 구축 방법.
34. 제 31 항 내지 제 33 항 중 어느 하나에 있어서,
    상기 사진은 단말기에 보유한 사진 및 소셜 네트워크 같은 인터넷 상의 사진을 포함하는 것을 특징으로 하는 사진 기반 인물 친밀도 구축 방법.
35. 제 31 항 내지 제 33 항 중 어느 하나에 있어서,
    상기 사진의 분석정보는 사진의 촬영된 인물, 촬영장소, 촬영시간, 촬영장소 정보를 포함하는 것을 특징으로 하는 사진 기반 인물 친밀도 구축 방법.
36. 제 31 항 내지 제 33 항 중 어느 하나에 있어서,
    상기 클러스터링의 수행방법은 사진기반 클러스터링 및 인물 친밀도 기반 클러스터링 중 적어도 하나 이상으로 수행되는 것을 특징으로 하는 사진 기반 인물 친밀도 구축 방법.
37. 제 36 항에 있어서, 상기 사진기반 클러스터링 방법은
    사진에 직접적으로 저장된 정보 또는 사진을 분석하여 추출해낸 정보를 이용하여 사진 간의 연관성을 표현하는 사진 연관 그래프를 생성하는 단계와,
    상기 생성된 사진 연관 그래프를 통한 사진 간의 연관성을 이용하여 소정의 사진그룹 서술정보를 생성하는 단계를 포함하여 이루어지는 것을 특징으로 하는 사진 기반 인물 친밀도 구축 방법.
38. 제 37 항에 있어서,
    상기 사진 간의 연관성은 사진 촬영 시간, 촬영 장소, 사진 속 인물 정보에 따른 두 사진 간의 연관된 정도인 것을 특징으로 하는 사진 기반 인물 친밀도 구축 방법.
39. 제 37 항에 있어서, 상기 인물 친밀도 클러스터링 방법은
    상기 생성된 사진 서술 정보를 기반으로 사진의 인물적 연관성, 장소적 연관성, 시간적 연관성을 통한 인물 간의 친밀도를 정의하여 사진을 소유한 개인끼리의 신뢰도의 정도를 나타내는 인물 친밀도 연관 그래프를 생성하는 단계와,
    상기 생성된 인물 친밀도 연관 그래프를 통한 인물 간의 친밀도를 이용하여 소정의 인물그룹 서술정보를 생성하는 단계를 포함하여 이루어지는 것을 특징으로 하는 사진 기반 인물 친밀도 구축 방법.
40. 제 39 항에 있어서,
    상기 인물 친밀도 연관 그래프는 사진기반 클러스터링 방법을 통해 생성된 사진 연관 그래프를 통해 추출한 사진 연관 정보를 이용하여 생성하는 것을 특징으로 하는 사진 기반 인물 친밀도 구축 방법.
41. 제 36 항에 있어서, 상기 사진 연관 그래프는
    시간, 장소, 인물에 대한 물리적 정보만을 바탕으로 한 사진 물리적 연관 그래프와,
    시간, 장소, 인물에 대한 의미적 해석을 부여한 사진 의미적 연관 그래프로 분류하는 것을 특징으로 하는 사진 기반 인물 친밀도 구축 방법.
42. 제 31 항 내지 제 33 항 중 어느 하나에 있어서,
    상기 사진 연관 그래프 또는 인물 친밀도 그래프의 내용을 암호화하여 처리하는 것을 특징으로 하는 사진 기반 인물 친밀도 구축 방법.
43. 제 42 항에 있어서,
    상기 사진 정보 중에서 시간정보와 장소정보는 각각 사진의 EXIF 정보에 포함된 사진 촬영시간 정보와 촬영장소 정보(GPS)를 암호화하여 처리되고,
    상기 인물정보는 얼굴 인식 시스템과 같이 인물의 고유한 정보들을 종합하여 암호화하여 처리되고,
    상기 사진 촬영시간은 암호화 후에도 두 시간 차이를 계산할 수 있는 형태로 암호화하여 처리되고,
    상기 사진 촬영장소는 암호화 후에도 두 장소의 거리를 계산할 수 있는 형태로 암호화하여 처리되는 것을 특징으로 하는 사진 기반 인물 친밀도 구축 방법.
44. 제 27 항, 제 31 항, 제 32 항 및 제 33 항 중 어느 하나에 의한 사진 기반 인물 친밀도 구축 방법의 각 단계를 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images