KR101086773B1 - 다중 카메라로 촬영된 디지털 사진의 클러스터링을 위한 방법 및 장치 - Google Patents

Abstract

본 발명은 여러대의 디지털 카메라로 촬영된 사진들을 구조화하고 그래프 알고리듬을 적용하는 것에 의해 사진들을 상황 기반으로 유효하게 분류할 수 있도록 한 다중 카메라로 촬영된 디지털 사진의 클러스터링을 위한 방법 및 장치에 관한 것으로, 다수의 카메라, 촬영자로부터 입수된 사진을 클러스터링하는 방법에 있어서, 디지털 사진의 이미지 내용으로부터 내용기반 특징값을 추출하고, 디지털 사진의 메타데이터 및 파일정보로부터 부가정보 특징값을 추출하는 단계;사진들을 그룹화하고 특징값에 따라 구조화하는 단계;사진의 특징값 또는 해당사진이 포함된 그룹의 특징값을 이용하여 클러스터를 생성하는 단계;를 포함한다.

디지털 사진, 클러스터링, 상황기반, 그래프 알고리듬, 구조화, 특징값

Description

다중 카메라로 촬영된 디지털 사진의 클러스터링을 위한 방법 및 장치{Method and apparatus for clustering of digital photos obtained from multiple cameras}

본 발명은 디지털 사진의 클러스터링에 관한 것으로, 구체적으로 여러대의 디지털 카메라로 촬영된 사진들을 구조화하고 그래프 알고리듬을 적용하는 것에 의해 사진들을 상황 기반으로 유효하게 분류할 수 있도록 한 다중 카메라로 촬영된 디지털 사진의 클러스터링을 위한 방법 및 장치에 관한 것이다.

디지털 사진 클러스터링의 경우 이전의 방법에서는 주로 한 카메라나 한 명의 개인 사용자가 촬영한 사진에 대하여 사진의 이미지 내용 자체나 메타데이터 등의 부가 정보를 이용하여 클러스터링을 적용한 것이 대부분이었다. 특히 메타데이터 중 촬영시각을 클러스터링을 위한 주요 기준으로 사용하는 것이 보통이다.

이는 일반 개인이 촬영한 사진의 경우 시간적으로 인접한 사진은 그 내용에 있어서도 의미상 유사할 가능성이 많다는 사항이 전제가 된 것이다. 또한 사람들이 사진을 관리할 때 사용하는 주요 기준 중 하나가 바로 해당 사진을 언제 어떠한 상황이나 행사에서 촬영했는가에 따라 사진을 분류하는 것이다.

이같은 방법들은 주로 사진을 시간순으로 정렬해놓고 시간차이와 더불어 내용이 많이 바뀌는 구간을 선형적으로 분할하는 방법을 주로 사용한다.

메타데이터를 접근하고 분석하는 데에는 계산량이 많이 소요되지 않기에 처리 시간이 빠르다는 장점도 있었지만 이 같은 전제는 개인 혹은 한 카메라로 촬영된 일반적인 사진에 국한되는 제약이 있다.

따라서, 요즘과 같이 카메라가 대중화되고 보급률이 높아진 상황에서 어떤 동일한 행사나 여행에 있어서도 여러대의 카메라를 이용해서 촬영하게 되는 경우 동일한 시점에 서로 다른 대상을 촬영하거나, 같은 대상 혹은 같은 의미를 가지는 사물을 촬영하는 경우에도 사진간의 시간차이가 발생하는 경우가 발생하기 때문에 시간만을 주요 기준으로 하여 클러스터링 하는데 어려움이 따른다.

특히 여러대의 카메라로 촬영하는 경우 자신의 카메라로 상대방의 사진을 촬영해주는 경우도 흔히 발생하고 있기에 이들 사진을 관리하기 위해서 추후에 여러대의 카메라 혹은 촬영자의 사진을 취합하여 사진을 분류하고자 하는 경우에 있어서 어려움이 많다.

이와 같이 종래 기술에서는 클러스터링 대상이 특정 개인의 단일 카메라로 촬영된 사진으로 대상이 국한되기 때문에 동일한 상황에서 촬영된 사진이라 하더라도 여러 카메라로부터 얻은 촬영시각이나 기타 메타데이터 내용등이 일관적이지 않은 사진에 대해서는 적용이 불가능한 문제가 있다.

본 발명은 이와 같은 종래 기술의 문제를 해결하기 위한 것으로, 디지털 사진의 클러스터링시에 여러대의 디지털 카메라로 촬영된 사진들을 구조화하고 그래프 알고리듬을 적용하는 것에 의해 사진들을 상황 기반으로 유효하게 분류할 수 있도록 한 다중 카메라로 촬영된 디지털 사진의 클러스터링을 위한 방법 및 장치를 제공하는데 그 목적이 있다.

본 발명은 사진의 이미지에서 추출한 특징값과 파일정보 및 메타데이터에서 추출한 특징값을 바탕으로 사진을 그래프 구조화하고 사진을 정점으로 하는 그래프에서 에지의 가중치를 부여한 다음 그래프 알고리즘을 적용하여 가장 연결 강도가 떨어지는 부분을 분할하는 것을 반복하여 클러스터링하는 방법 및 장치를 제공하는데 그 목적이 있다.

본 발명은 사용자가 분류하고자 하는 클러스터의 기준 및 허용하고자 하는 시간간격을 설정할 수 있도록 하여 보다 적합한 클러스터 사진을 얻을 수 있고, 여러 촬영자에 의해 모인 사진들을 한가지의 분류 결과로 도출하는 것뿐만 아니라, 각자의 취향에 맞게 개별적으로 분류함으로써 자신의 원하는 방식대로 사진 관리를 수행할 수 있도록 한 디지털 사진의 클러스터링을 위한 방법 및 장치를 제공하는데 그 목적이 있다.

이와 같은 목적을 달성하기 위한 본 발명에 따른 다중 카메라로 촬영된 디지 털 사진의 클러스터링을 위한 방법은 다수의 카메라, 촬영자로부터 입수된 사진을 클러스터링하는 방법에 있어서, 디지털 사진의 이미지 내용으로부터 내용기반 특징값을 추출하고, 디지털 사진의 메타데이터 및 파일정보로부터 부가정보 특징값을 추출하는 단계;사진들을 그룹화하고 특징값에 따라 구조화하는 단계;사진의 특징값 또는 해당사진이 포함된 그룹의 특징값을 이용하여 클러스터를 생성하는 단계;를 포함하는 것을 특징으로 한다.

여기서, 상기 사진의 내용기반 특징값은, 사진의 픽셀정보를 이용하여 추출한, 색상, 질감, 형태 값을 포함하는 것을 특징으로 한다.

그리고 상기 사진의 내용기반 특징값은, 픽셀정보에서 추출한 색상, 질감, 형태 값에 기반한 통계적 분석값을 포함하는 것을 특징으로 한다.

그리고 상기 통계적 분석값은, 영상의 히스토그램 정보 및 웨이블릿을 이용한 질감 분석 정보, 퓨리에 변환을 이용한 주파수 정보를 포함하는 것을 특징으로 한다.

그리고 상기 부가정보 특징값은, 운영체제에서 제공하는 파일정보 및 디지털 사진에서 제공하는 EXIF 또는 IPTC와 같은 메타데이터에서 제공하는 사진 정보 필드값을 포함하는 것을 특징으로 한다.

그리고 상기 사진들을 구조화하는 단계에서, 사진을 특징값에 따라 그래프 구조로 변환하는 것을 포함하는 것을 특징으로 한다.

그리고 상기 사진을 그래프 구조로 변환하는데 있어서, 사진의 촬영자 또는 촬영된 카메라 별로 사진들을 정점으로 삼아 시간 순서로 정렬하여 이웃한 정점들 을 간선으로 연결함을 포함하는 것을 특징으로 한다.

그리고 사진들을 변환한 그래프 구조에 최대 플로우를 계산하는 그래프 알고리즘을 적용하여 최대 플로우를 가지는 에지를 최소 컷으로 그래프를 분할하는 것을 특징으로 한다.

그리고 분할된 그래프를 입력으로하여 최대 플로우 계산을 반복 적용하여 기준치를 만족할때까지 그래프를 분할해 나가는 것을 특징으로 한다.

그리고 상기 사진 정점들을 간선로 연결할 때 에지의 가중치는 두 사진간의 특징값을 기반으로한 유사한 정도로 설정하는 것을 특징으로 한다.

그리고 사진 정점들을 간선으로 연결할 때 같은 카메라로 촬영한 사진들은 시간 순서상 이웃한 정점끼리 간선으로 연결하는데 있어 유사도 이외의 일정한 수치를 적용하여 그래프 알고리즘 적용시 분할이 여러 곳에서 일어나지 못하도록 하는 것을 특징으로 한다.

그리고 상기 사진을 그래프 구조로 변환하는데 있어서, 각 사진은 그래프의 노드가 되며, 사진들간의 유사도를 고려하여 노드들간의 에지가 되는 방향 그래프를 구성하기 위하여,사진을 촬영한 카메라에 따라 롤 별로 나누고 촬영 시각에 따라서 정렬하는 과정;같은 롤에 속하는 사진은 시간상 이웃 노드들 사이를 촬영시각이 빠른 노드에서 다음 노드로 시간유사도 가중치를 가진 에지를 연결하는 과정;개별 사진들은 시간 및 내용 유사도를 같이 고려하여, 다른 롤에서 촬영시각이 더 늦은 것들 중 가장 유사한 사진 한장씩과 에지가 연결되도록 하는 과정;플로우를 흘려보내고 받아들이기 위한 시작 노드와 종료노드를 각 롤의 가장 첫 사진과 맨 마 지막 사진에 연결하는 과정;을 포함하는 것을 특징으로 한다.

다른 목적을 달성하기 위한 다중 카메라로 촬영된 디지털 사진의 클러스터링을 위한 장치는 디지털 사진의 클러스터링 장치에 있어서, 디지털 사진의 이미지 내용으로부터 내용기반 특징값을 추출하는 내용기반 특징값 추출부;디지털 사진의 메타데이터 및 파일정보로부터 부가정보 특징값을 추출하는 부가정보 특징값 추출부;사진들을 그룹화하는 그룹 정보 생성부상기 사진의 이미지 내용 특징점과 파일정보 및 메타데이터의 부가정보 특징점을 이용하여 그래프 구조로 변환하는 그래프 구조 변환부;사진의 특징값 또는 해당사진이 포함된 그룹의 특징값을 이용하여 클러스터를 생성하는 클러스터 생성부;를 포함하는 것을 특징으로 한다.

이와 같은 본 발명에 따른 다중 카메라로 촬영된 디지털 사진의 클러스터링을 위한 방법 및 장치는 다음과 같은 효과를 갖는다.

첫째, 여러대의 디지털 카메라로 촬영된 사진들을 구조화하고 그래프 알고리듬을 적용하는 것에 의해 사진들을 상황 기반으로 유효하게 분류할 수 있다.

즉, 여러명의 촬영자에 의해 다수 카메라로 촬영된 디지털 사진을 상황기반으로 효과적으로 클러스터링할 수 있다.

둘째, 여러명의 촬영자에 의해 다수 카메라로 촬영된 디지털 사진을 사진의 이미지 내용 특징점과 파일정보 및 메타데이터의 부가정보 특징점을 이용하여 그래프 구조로 변환하여 나타낼 수 있다.

따라서, 촬영시각이 일정하지 않은 다수 카메라로 촬영된 사진들을 그래프 알고리즘을 이용하여 효과적으로 분류할 수 있다.

셋째, 촬영된 많은 사진들을 사용자가 일일이 분류하는 번거로움 없이 자동으로 계산이 가능함으로써 사용자 편의를 도모할 수 있다.

넷째, 사용자가 분류하고자 하는 클러스터의 기준 및 허용하고자 하는 시간간격을 설정할 수 있도록 하여 자신의 목적에 보다 적합한 클러스터 사진을 얻을 수 있다.

따라서, 여러 촬영자에 의해 모인 사진들을 한가지의 분류 결과로 도출하는 것뿐만 아니라, 각자의 취향에 맞게 개별적으로 분류함으로써 자신의 원하는 방식대로 사진 관리를 수행할 수 있다.

이하, 본 발명에 따른 다중 카메라로 촬영된 디지털 사진의 클러스터링을 위한 방법 및 장치의 바람직한 실시예에 관하여 상세히 설명하면 다음과 같다.

본 발명에 따른 다중 카메라로 촬영된 디지털 사진의 클러스터링을 위한 방법 및 장치의 특징 및 이점들은 이하에서의 각 실시예에 대한 상세한 설명을 통해 명백해질 것이다.

도 1은 디지털 사진의 시간 유사도 함수 그래프이고, 도 2내지 도 4는 본 발명에 따른 디지털 사진 클러스터링을 위한 플로우 네트워크이다.

그리고 도 5는 본 발명에 따른 다중 카메라로 촬영된 디지털 사진의 클러스터링을 위한 장치의 구성도이고, 도 6은 본 발명에 따른 다중 카메라로 촬영된 디 지털 사진의 클러스터링을 위한 플로우 차트이다.

본 발명은 디지털 사진의 클러스터링시에 여러대의 디지털 카메라로 촬영된 사진들을 구조화하고 그래프 알고리듬을 적용하는 것에 의해 사진들을 상황 기반으로 유효하게 분류할 수 있도록 한 것이다.

본 발명에 따른 다중 카메라로 촬영된 디지털 사진의 클러스터링을 위한 장치는 도 5에서와 같이 디지털 사진의 이미지 내용으로부터 내용기반 특징값을 추출하는 내용기반 특징값 추출부(51)와, 디지털 사진의 메타데이터 및 파일정보로부터 부가정보 특징값을 추출하는 부가정보 특징값 추출부(52)와, 사진들을 촬영자 또는 촬영에 이용된 카메라별로 그룹화하는 그룹 정보 생성부(53)와, 상기 구해진 사진의 이미지 내용 특징점과 파일정보 및 메타데이터의 부가정보 특징점을 이용하여 그래프 구조로 변환하는 그래프 구조 변환부(54)와, 사진의 특징값 또는 해당사진이 포함된 그룹의 특징값을 이용하여 클러스터를 생성하는 클러스터 생성부(55)를 포함하고 구성된다.

이와 같은 구성을 갖는 본 발명에 따른 다중 카메라로 촬영된 디지털 사진의 클러스터링을 위한 장치를 이용하여 사진 클러스터링을 하는 과정을 구체적으로 설명하면 다음과 같다.

본 발명은 여러대의 카메라 혹은 여러명의 촬영자로부터 입수된 사진을 클러스터링하기 위해 도 6에서와 같은 과정을 수행한다.

크게 사진 입력이 이루어지면(S601), 디지털 사진의 이미지 내용으로부터 내용기반 특징값을 추출하고 디지털 사진의 메타데이터 및 파일정보로부터 부가정보 특징값을 추출한다.(S602)

그리고 사진들을 촬영자 또는 촬영에 이용된 카메라별로 그룹화하고, 이미지 내용 특징점과 파일정보 및 메타데이터의 부가정보 특징점을 이용하여 그래프 구조로 변환한다.(S604)

그리고 클러스터를 생성하기 위하여, 그래프 알고리듬을 적용하고 그래프 분할을(S604) 기준값을 충족시킬때까지 반복한다.(S605)

여기서, 디지털 사진으로부터 추출되는 내용기반 특징값은 디지털 사진 이미지의 색상, 질감, 형태등을 분석하여 얻은 수치값을 포함한다.

또한, 이들 수치값을 통계적으로 분석한 히스토그램이나 퓨리에 변환을 통한 주파수 분석값, 웨이블릿을 이용한 통계적 분석값 등을 포함할 수 있다.

그리고 디지털 사진으로부터 부가정보 특징값을 추출하는 것은 운영체제에서 제공되는 파일정보 속성, 즉 파일 생성시각, 수정시각, 크기, 파일속성 등을 포함한다.

또한, 디지털 사진에서 제공하는 메타데이터 정보, 예를 들면 EXIF나 IPTC와 같은 규격에서 제공하는 사진에 관한 촬영 정보 및 내용 기술 정보를 포함한다.

EXIF의 정보의 경우 사진이 촬영된 시각을 비롯하여, 조리개 설정, 셔터스피드, 초점거리, 플래쉬 설정, 화이트 밸런스 등과 같은 촬영당시의 카메라 설정에 관한 정보들이 다수 포함되어 있으며 이들은 사진 이미지 내용 비교시에 활용될 수 있다.

이에 더하여 부가정보 특징값은 메타데이터 정보를 확률 통계적으로 분석한 수치를 포함할 수 있다. 메타데이터의 속성값을 통해 베이지언(bayesian) 네트웍과 같은 확률적 분석 및 기계학습(machine learning)을 통해 얻은 사진의 내용 유추 결과 수치값을 부가정보 특징값에 포함시킬 수 있다. 이러한 값들은 디지털 사진의 분석 및 이미지 내용비교시에 참조값으로 적용가능하다.

상기한 사진을 카메라별로 그룹화하고 구조화 하는 것은 입력된 사진들을 그래프 형태로 구성함으로써 가능하다.

그래프 알고리즘을 적용할 수 있는데, 그래프에서 구하고자 하는 것은 각 그래프에서의 사진 간의 유사도를 나타내는 에지를 최소한으로 끊으면서 그래프를 두 영역으로 분할하는 것이다.

즉, 사진들간의 유사도가 가장 떨어지는 부분을 찾아서 둘로 갈라놓는 것으로 이는 그래프에서의 최소 컷(minimum cut)을 구하는 것에 해당한다.

최소 컷 문제는 그래프에서 최대 플로우(max flow)를 찾는 것과 동일한 문제이다.

따라서, 본 발명에서는 각각의 입력 사진이 노드로 이루어진 그래프를 최대 플로우 알고리즘을 적용시킬 수 있는 그래프 형태로 먼저 구성해야 한다.

최대 플로우에서 그래프는 물을 흘려보낼 수 있는 파이프들의 망으로 비유될 수 있으며 방향성이 있는 각각의 파이프 연결(에지)들은 처리량과 플로우 값을 가진다.

처리량(cap, capacity)은 해당 에지에서 물을 흘려보낼수 있는 수치이며, 각 파이프를 흐르는 처리량 이하의 물의 흐름이 플로우(flow)이다.

시작 노드(s)에서 종료노드(t)로 물을 흘려보낼 때 최대로 흐르는 물의 양(max flow)을 구하는 것은 곧 최대량의 플로우를 흘려보내는 에지들을 컷으로 가지는 최소 컷(minimum cut)문제와 같다.

사진을 그래프 형태로 구성하는 방식은 다음과 같은 과정을 거친다.

여기서 각 사진은 그래프의 노드가 되며, 사진들간의 유사도는 노드들간의 에지가 되는 방향 그래프를 구성한다.

(1)우선 사진을 촬영한 카메라에 따라 롤 별로 나누고 촬영 시각에 따라서 정렬한다.

(2)같은 롤에 속하는 사진(같은 카메라로 촬영한 사진)은 시간상 이웃 노드들 사이를 촬영시각이 빠른 노드에서 다음 노드로 시간유사도 가중치를 가진 에지를 연결한다.

(3)개별 사진들은 다른 롤에서 촬영시각이 더 늦은 것들 중 가장 유사한 사진 한장씩과 에지가 연결되며 이때 유사도는 시간 및 내용 유사도를 같이 고려한다.

(4)플로우를 흘려보내고 받아들이기 위한 시작 노드와 종료노드는 각 롤의 가장 첫 사진과 맨 마지막 사진에 연결된다.

상기한 사진간 유사도를 에지의 가중치로 연결하는데 있어서 사진간 유사도 중 시간유사도는 다음과 같이 구한다.

입력되는 모든 사진 집합을

라고 정의한다. 이때 u번째 롤에 해당하는 사진은 명시적으로

와 같이 표시한다

.

두 사진 pi와 pj 사이의 시간 유사도 ST는 수학식 1에서와 같이 같이 로지스틱 분포 함수(logistic distribution function)를 이용하여 시간간격이 멀어질수록 유사도 값이 떨어지도록 한다.

여기서 μ는 중간값의 위치를 나타내며 0보다 큰 실수 s는 스케일이며, ts(.)는 사진의 타임스탬프를 나타낸다. 함수의 출력값은 0부터 1까지이며 μ시간차가 날때 0.5의 값을 가진다. 본 발명에서 μ는 사용자 입력값을 사용하였으며 스케일 s는 주로 μ/5값을 사용하였으나 사용자의 의도에 따라 얼마든지 다른 값으로 사용가능하다.

시간 유사도 비교에서는 μ값과 s값을 조정함으로써 얼마만큼 시간간격이 떨어진 사진들을 같은 사진으로 용인할 것인지 그리고 시간차에 따른 유사도 값의 변화 정도를 조정할 수 있다.

도 1은 시간 유사도 함수의 예를 나타낸 것이다.

두 사진 간의 내용 유사도 SH는 앞서 구한 디지털 사진의 특징값을 이용한 비교를 통해서 구한다. 두 사진간의 통합 유사도 $S_C$는 수학식 2에서와 같이 시 간 유사도와 내용 유사도를 같이 고려한다.

그래프의 플로우 처리량 설정 및 에지 연결 과정을 구체적으로 설명하면 다음과 같다.

사진들의 촬영 순서가 반영되도록 하기 위해 그래프 G(V, E)의 각 노드(사진)를 연결하는데 있어 같은 롤에 속하는 이웃 사진(노드)들을 그래프로 구성하는 과정은 다음과 같다.

여기서 그래프에서 노드들의 집합 V는 그래프를 구성하기 위해 입력된 사진들과 소스(s), 싱크(t) 노드를 포함한다.

우선 시간적으로 이웃한 노드들 끼리 에지를 연결하며 에지 가중치(플로우 처리량,cap)는 시간 유사도만으로 적용한다.

이는 단일 카메라로 촬영한 사진의 경우 시간적으로 인접한 사진의 경우 의미상으로도 유사한 경우가 많은 상황에 근거한 것으로 이미 다수의 발표된 이전 연구에서 이같은 시간 분석 방식을 활용하였다[Loui et al.(2003), Cooper et al(2005). Grapham et al.(2002)].

다음은 어떤 롤 u에 속하는 이웃 노드들간의 에지 연결을 나타낸 것이다. 같은 롤에서 앞뒤 사진이 기준치 Ts 이상으로 유사할 경우 이는 거의 동일한 사물을 연속하여 찍은것으로 간주하여 이 둘 사이에 컷이 생기지 못하도록 충분히 큰 상수 값 Cs를 더해준다.

를 만족하는 각 사진에 대해서 수학식 3에서와 같이 에지 가중치를 부여한다.

다음으로 수학식 4에서와 같이 특정 사진과 유사한 각 롤별 사진들 간의 에지를 연결한다. 이 때에는 통합 유사도인 $S_C$를 이용하여 두 사진을 비교하게 된다.

이는 다른 롤에 포함되는 사진끼리 연결하는 경우 여러 카메라간의 응집도를 높여서 해당 사진들간에 컷이 지나지 않도록 함으로써 같은 클러스터에 포함되도록 하기 위함이다.

다만 네트워크 플로우 그래프가 방향그래프이기 때문에 에지의 연결 방향은 사진의 촬영시간을 고려하여 컷을 구하고 그래프 상에 사이클이 생기지 않도록 하기위해 타임스탬프(ts)가 빠른 사진에서 늦은 사진으로 연결되도록 한다.

특정 사진에서의 SC 가중치를 가지는 에지 연결은 각 롤별로 가장 유사한 사 진 하나씩만 연결되도록 한다. 이때 같은 롤에 포함되는(u = v인) 사진도 연결지어준다.

사진들 간의 이제 연결이 마무리 되었으면 이제 플로를 실제 보내고 받을 소스(s)와 싱크(t) 노드를 연결해줘야 한다 (s, t ∈ V). 소스와 싱크는 도 2 에서 보여지는 바와 같이 각 롤의 첫번째 사진과 마지막 사진과 연결된다.

위와 같이 구성된 플로우 네트워크 상에서 최대 플로우 알고리즘을 적용하여 최소 컷을 구하게 되는데 일반적인 경우 도 2에서와 같은 분할을 기대하지만 그래프의 구성 상태에 따라서 때로는 도 3과 같이 한 롤 내에서도 컷이 여러 부분을 분할하게 되는 경우가 발생한다.

물론 좁은 시간대의 사진들을 구성하는 그래프에서 앞뒤로 유사한 사진이 흩어져 있는 경우에는 이 같은 컷이 가능하지만 일반적인 경우처럼 롤 내에서 사진이 촬영된 순서를 유지하고자 하는 경우에는 그림과 같은 컷이 발생하지 않도록 그래프의 에지 가중치를 조정해줄 필요가 있다.

한가지 방법은 도 4에서처럼 같은 롤에 해당되는 사진들 이웃간의 에지 연결 에 더하여 충분히 가중치로 상수값 Cd를 가지는 에지를 소스에서부터 싱크까지 각각 중첩 연결함으로써 롤 내의 이웃 노드를 지나는 플로우를 매우 높여 같은 롤 내에서 컷이 여러 곳을 분할하지 못하도록 조정하는 것이다.

이와 같은 본 발명에 따른 다중 카메라로 촬영된 디지털 사진의 클러스터링을 위한 방법에서의 최대 플로우 알고리듬 적용에 관하여 설명하면 다음과 같다.

상기한 방법과 같이 구성된 그래프에서 최대 플로우를 구하기 위해서는 이미 사용되고 있는 최대 플로우 구현방법을 활용할 수 있다.

이같은 구현 방법에는 Goldberg와 Tarjan의 preflow-push 방법을 비롯하여 relabeling과 gap 휴리스틱이 등이 적용된 몇가지 방법이 알려져 있으며, 어떠한 구현 방법을 사용하여도 본 발명의 의미와 동작방식은 동일하다.

최대 플로우 알고리즘을 통해서는 최대 플로우의 양과 네트워크를 흐르는 에지별 플로우의 양을 알 수 있다. 이들을 이용하면 최소 컷과 이를 기준으로 양쪽으로 나뉜 노드들 역시 구해낼 수 있다.

최대 플로우는 결과 수치를 [0, 1]로 정규화하기 위해서 다음과 같이 그래프에 최대 입력 가능한 플로우 양으로 나누어준다.

만약, 최대 플로우 결과가 사용자 입력 기준치 Tm보다 크면 그래프를 구성하는 사진들이 서로간에 충분히 유사도가 큰 것으로 고려하여 최종적인 사진 클러스 터로 인식하고 기준치보다 작은 경우 그래프는 F와 R로 분할된다.

그리고 각각 F와 R에 속하는 사진들을 따로 플로우 네트워크 그래프를 형성하여 최대 플로우 알고리즘이 기준치 Tm을 만족하거나 분할된 한쪽 그래프가 s나 t 노드 밖에 남아있지 않을 때까지 반복 적용한다.

더 이상 분할되지 않는 서브 그래프에 남아있는 사진 노드들은 사진 클러스터를 형성하고 실제로 사용자에게 표시할 때는 이들을 시간 순 또는 사진의 내용 유사도순 혹은 사용자가 순서대로 정렬하여 제공한다.

이상에서와 같이 본 발명은 사진의 이미지에서 추출한 특징값과 파일정보 및 메타데이터에서 추출한 특징값을 바탕으로 사진을 그래프 구조화하고 사진을 정점으로 하는 그래프에서 에지의 가중치를 부여한 다음 그래프 알고리즘을 적용하여 가장 연결 강도가 떨어지는 부분을 분할하는 것을 반복하여 클러스터링한다.

또한, 사용자가 분류하고자 하는 클러스터의 기준 및 허용하고자 하는 시간간격을 설정할 수 있도록 하여 자신의 목적에 보다 적합한 클러스터 사진을 얻을 수 있다.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다.

따라서, 본 발명의 기술적 범위는 실시예에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의하여 정해져야 한다.

도 1은 디지털 사진의 시간 유사도 함수 그래프

도 2내지 도 4는 본 발명에 따른 디지털 사진 클러스터링을 위한 플로우 네트워크

도 5는 본 발명에 따른 다중 카메라로 촬영된 디지털 사진의 클러스터링을 위한 장치의 구성도

도 6은 본 발명에 따른 다중 카메라로 촬영된 디지털 사진의 클러스터링을 위한 플로우 차트

도면의 주요 부분에 대한 부호의 설명

51. 내용기반 특징값 추출부 52. 부가정보 특징값 추출부

53. 그룹정보 생성부 54. 그래프 구조 변환부

55. 클러스터 생성부

Claims (13)

1. 다수의 카메라, 촬영자로부터 입수된 사진을 클러스터링하는 방법에 있어서,

   디지털 사진의 이미지 내용으로부터 내용기반 특징값을 추출하고, 디지털 사진의 메타데이터 및 파일정보로부터 부가정보 특징값을 추출하는 단계;

   사진들을 그룹화하고 상기 내용기반 특징값, 부가정보 특징값을 이용하여 사진의 촬영자 또는 촬영된 카메라 별로 사진들을 정점으로 삼아 시간 순서로 정렬하여 이웃한 정점들을 간선으로 연결하여 그래프 구조로 변환하는 구조화 단계;

   사진 또는 해당사진이 포함된 그룹의 상기 내용기반 특징값, 부가정보 특징값을 이용하여 클러스터를 생성하는 단계;를 포함하는 것을 특징으로 하는 다중 카메라로 촬영된 디지털 사진의 클러스터링을 위한 방법.
2. 제 1 항에 있어서, 상기 사진의 내용기반 특징값은,

   사진의 픽셀정보를 이용하여 추출한, 색상, 질감, 형태 값을 포함하는 것을 특징으로 하는 다중 카메라로 촬영된 디지털 사진의 클러스터링을 위한 방법.
3. 제 1 항에 있어서, 상기 사진의 내용기반 특징값은,

   픽셀정보에서 추출한 색상, 질감, 형태 값에 기반한 통계적 분석값을 포함하는 것을 특징으로 하는 다중 카메라로 촬영된 디지털 사진의 클러스터링을 위한 방법.
4. 제 3 항에 있어서, 상기 통계적 분석값은,

   영상의 히스토그램 정보 및 웨이블릿을 이용한 질감 분석 정보, 퓨리에 변환을 이용한 주파수 정보를 포함하는 것을 특징으로 하는 다중 카메라로 촬영된 디지털 사진의 클러스터링을 위한 방법.
5. 제 1 항에 있어서, 상기 부가정보 특징값은,

   운영체제에서 제공하는 파일정보 및 디지털 사진에서 제공하는 EXIF 또는 IPTC의 메타데이터에서 제공하는 사진 정보 필드값을 포함하는 것을 특징으로 하는 다중 카메라로 촬영된 디지털 사진의 클러스터링을 위한 방법.
6. 삭제
7. 삭제
8. 제 1 항에 있어서, 사진들을 변환한 그래프 구조에 최대 플로우를 계산하는 그래프 알고리즘을 적용하여 최대 플로우를 가지는 에지를 최소 컷으로 그래프를 분할하는 것을 특징으로 하는 다중 카메라로 촬영된 디지털 사진의 클러스터링을 위한 방법.
9. 제 8 항에 있어서, 분할된 그래프를 입력으로하여 최대 플로우 계산을 반복 적용하여 기준치를 만족할때까지 그래프를 분할해 나가는 것을 특징으로 하는 다중 카메라로 촬영된 디지털 사진의 클러스터링을 위한 방법.
10. 제 1 항에 있어서, 상기 사진 정점들을 간선로 연결할 때 에지의 가중치는 두 사진간의 상기 내용기반 특징값, 부가정보 특징값을 기준으로 하여 설정하는 것을 특징으로 하는 다중 카메라로 촬영된 디지털 사진의 클러스터링을 위한 방법.
11. 제 10 항에 있어서, 사진 정점들을 간선으로 연결할 때 같은 카메라로 촬영한 사진들은 시간 순서상 이웃한 정점끼리 간선으로 연결하는데 있어 일정한 수치를 적용하여 그래프 알고리즘 적용시에 분할이 일어나는 것을 조정하는 것을 특징으로 하는 다중 카메라로 촬영된 디지털 사진의 클러스터링을 위한 방법.
12. 제 1 항에 있어서, 상기 사진을 그래프 구조로 변환하는데 있어서,

    사진을 촬영한 카메라에 따라 롤 별로 나누고 촬영 시각에 따라서 정렬하는 과정;

    같은 롤에 속하는 사진은 시간상 이웃 노드들 사이를 촬영시각이 빠른 노드에서 다음 노드로 촬영 시각을 기준으로한 가중치를 가진 에지를 연결하는 과정;

    개별 사진들은 상기 내용기반 특징값, 부가정보 특징값을 이용하여 추출한 시간 및 내용을 기준으로, 다른 롤에서 촬영시각이 더 늦은 것들 중의 사진 한장씩과 에지가 연결되도록 하는 과정;

    플로우를 흘려보내고 받아들이기 위한 시작 노드와 종료노드를 각 롤의 첫 사진과 마지막 사진에 연결하는 과정;을 포함하고 노드들간의 에지가 되는 방향 그래프를 구성하고, 여기서, 그래프의 노드는 각각의 사진인 것을 특징으로 하는 다중 카메라로 촬영된 디지털 사진의 클러스터링을 위한 방법.
13. 디지털 사진의 클러스터링 장치에 있어서,

    디지털 사진의 이미지 내용으로부터 내용기반 특징값을 추출하는 내용기반 특징값 추출부;

    디지털 사진의 메타데이터 및 파일정보로부터 부가정보 특징값을 추출하는 부가정보 특징값 추출부;

    사진들을 그룹화하는 그룹 정보 생성부

    상기 사진의 내용기반 특징값과 파일정보 및 메타데이터의 부가정보 특징값을 이용하여 사진의 촬영자 또는 촬영된 카메라 별로 사진들을 정점으로 삼아 시간 순서로 정렬하여 이웃한 정점들을 간선으로 연결하여 그래프 구조로 변환하는 그래프 구조 변환부;

    사진 또는 그룹의 내용기반 특징값,부가정보 특징값을 이용하여 클러스터를 생성하는 클러스터 생성부;를 포함하는 것을 특징으로 하는 다중 카메라로 촬영된 디지털 사진의 클러스터링을 위한 장치.

Images