KR20070047697A - 정보 처리 장치 및 방법과 프로그램 - Google Patents

정보 처리 장치 및 방법과 프로그램 Download PDF

Info

Publication number
KR20070047697A
KR20070047697A KR1020060105662A KR20060105662A KR20070047697A KR 20070047697 A KR20070047697 A KR 20070047697A KR 1020060105662 A KR1020060105662 A KR 1020060105662A KR 20060105662 A KR20060105662 A KR 20060105662A KR 20070047697 A KR20070047697 A KR 20070047697A
Authority
KR
South Korea
Prior art keywords
image
event
node
time
images
Prior art date
Application number
KR1020060105662A
Other languages
English (en)
Other versions
KR101325110B1 (ko
Inventor
슈 차오
고토시 토모히코
코지마 타마키
Original Assignee
소니 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시키가이샤 filed Critical 소니 가부시키가이샤
Publication of KR20070047697A publication Critical patent/KR20070047697A/ko
Application granted granted Critical
Publication of KR101325110B1 publication Critical patent/KR101325110B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Stored Programmes (AREA)

Abstract

본 발명은 정보 처리 장치에 관한 것으로, 대상으로 하는 화상 자체와 대상으로 하는 화상의 속성 정보 중 적어도 하나로부터 화상을 촬영했을 때의 이벤트를 식별하는데 사용되는 메타데이터를 추출하는데 작동하는 추출 수단과, 상기 추출 수단에 의해 추출된 메타데이터에 의거해서 미리 준비된 복수의 이벤트 중 대상으로 하는 화상을 촬영했을 때의 이벤트를 식별하는데 작동하는 식별 수단을 포함하는 정보 처리 장치에 관한 것이다.
퍼스널 컴퓨터,　디지털 카메라,　화상 DB,　특징 추출부,　이벤트 식별부,　연산부,　유저 인터페이스 제어부,　EXIF 정보 처리부,　얼굴정보 추출부,　유사화상인식 처리부,　클러스터링부,　계층 결정부.

Description

정보 처리 장치 및 방법과 프로그램{INFORMATION PROCESSING APPARATUS AND METHOD, AND PROGRAM}
도 1은 본 발명의 1실시 형태에 따른 퍼스널 컴퓨터에, 디지털 카메라가 접속되어 있는 상태를 도시하는 도면.
도 2는 화상의 열람 화면의 예를 도시하는 도면.
도 3은 화상의 열람 화면의 다른 예를 도시하는 도면.
도 4는 퍼스널 컴퓨터에 있어서의 화상의 관리의 개념을 도시하는 도면.
도 5는 퍼스널 컴퓨터의 구성예를 도시하는 블록도.
도 6은 퍼스널 컴퓨터의 기능 구성예를 도시하는 블록도.
도 7은 특징 추출부에 의해 추출되는 정보의 예를 도시하는 도면.
도 8은 메타데이터의 예를 도시하는 도면.
도 9는 학습과 테스트의 개념을 도시하는 도면.
도 10은 학습의 구체적인 예를 도시하는 도면.
도 11은 테스트의 구체적인 예를 도시하는 도면.
도 12 내지 20은 이분목 구조의 작성에 대해서 설명하는 도면.
도 21은 그룹화 조건에 의거하는 클러스터링에 대해서 설명하는 도면.
도 22는 클러스터의 입도의 수준을 도시하는 도면.
도 23은 그룹A 분할 플래그의 설정 예를 도시하는 도면.
도 24는 그룹화 조건 A에 의거하는 클러스터링 결과의 예를 도시하는 도면.
도 25는 그룹B 분할 플래그의 설정 예를 도시하는 도면.
도 26은 그룹화 조건 B에 의거하는 클러스터링 결과의 예를 도시하는 도면.
도 27은 클러스터의 내포 관계를 도시하는 도면.
도 28 내지 35는 이분목 구조의 작성에 대해서 설명하는 다른 도면.
도 35는 이분목 구조의 작성에 대해서 설명하는 도 34에 계속되는 도면.
도 36은 퍼스널 컴퓨터에 의해 수행되는 이벤트 식별 처리에 대해서 설명하는 플로차트.
도 37은 퍼스널 컴퓨터에 의해 수행되는 화상 표시 처리에 대해서 설명하는 플로차트.
도 38은 퍼스널 컴퓨터에 의해 수행되는 클러스터 데이터 생성 처리에 대해서 설명하는 플로차트.
도 39는 퍼스널 컴퓨터에 의해 수행되는 다른 이벤트 식별 처리에 대해서 설명하는 플로차트.
도 40은 퍼스널 컴퓨터에 의해 수행되는 다른 화상 표시 처리에 대해서 설명하는 플로차트.
도 41은 화상의 열람 화면의 다른 예를 도시하는 도면.
도 42는 이벤트 식별 서비스를 실행하는 구성의 예를 도시하는 도면.
<도면 주요 부분에 대한 부호의 설명>
1 :　퍼스널 컴퓨터 2 :　디지털 카메라
61 :　화상 DB 62 : 특징 추출부
63 :　이벤트 식별부 64 :　연산부
65 :　유저 인터페이스 제어부 71 :　EXIF 정보 처리부
72 :　얼굴정보 추출부 73 :　유사화상인식 처리부
81 :　클러스터링부 82 :　계층 결정부.
본 발명은 정보 처리 장치 및 방법과 프로그램에 관한 것으로서, 특히, 화상을 촬영했을 때의 이벤트를 식별할 수 있도록 한 정보 처리 장치 및 방법과 프로그램에 관한 것이다.
종래부터 디지털 카메라로 촬영된 화상을 분류(分類; classifying)하는 기술로서 여러 가지의 것이 제안되어 있다.
일본 특허공개 평성(特開平) 제10-51721호 공보에는, 촬영한 화상에 고쳐 쓰기(書換; change)할 수 없는 ID를 매립(embed)하고, 그 ID를 이용해서, 화상의 분류나 검색, 혹은, 화상 재생의 제한 등을 행하는 기술이 개시(開示)되어 있다. 일본 특허공개(特開) 제2002-32751호 공보에는, 1장(枚; shot)의 화상 전체로부터 소정(所定; predetermined)의 영역을 잘라내고(切出; separate), 잘라낸 영역으로부터 추출(抽出; extract)된 특징에 의거해서 화상의 카테고리를 결정하는 기술이 개 시되어 있다.
그런데, 어떤(임의의) "회식(飮會; party)"에서 촬영한 화상(photographs)을 한 그룹(one group)의 화상으로서 관리하거나, 어떤 "여행"에서 촬영한 화상을 한 그룹의 화상으로서 관리하거나 하도록, 촬영한 화상을 이벤트마다 관리하는 것이 일반적으로 행해지고 있다. 이와 같이 관리해 두는 것에 의해, 유저는, 예를 들면, "회식"의 화상을 보고 싶다고 생각했을 때에, "회식"으로서 정리된 화상을 지정하는 것만으로 그것을 볼 수가 있다.
종래, 이와 같은 이벤트마다 화상을 관리하기 위해서는, 유저 스스로가 이벤트마다 폴더를 작성하고, 촬영한 화상을 각각의 폴더에 배분(振分; accocate)할 필요가 있고, 이와 같은 정리에 익숙하지 않은 사람에게는 귀찮은(번거로운) 것이기 때문에, 만일, 화상 등으로부터, 그것을 촬영했을 때의 이벤트가 기기에 의해서 자동적으로 식별되고, 이벤트마다 화상이 관리되는 것으로 하면 매우 편리할 것으로 생각된다.
본 발명은 이와 같은 상황을 감안해서 이루어진 것으로서, 화상 자체나 화상의 속성 정보로부터, 그 화상을 촬영했을 때의 이벤트를 식별할 수 있도록 하는 것이다.
본 발명의 1측면(側面; embodiment; 실시 형태)의 정보 처리 장치는, 대상으로 하는 화상 자체와, 화상의 속성 정보 중의 적어도 어느 하나로부터, 화상을 촬 영했을 때의 이벤트의 식별에 이용되는 메타데이터를 추출하는 추출 수단과, 식별 가능한 것으로서 미리 준비되는 복수(複數; 여러 개)의 이벤트 중, 대상으로 하는 상기 화상을 촬영했을 때의 1개의 이벤트를 상기 추출 수단에 의해 추출된 상기 메타데이터에 의거해서 식별하는 식별 수단을 구비한다.
상기 식별 수단에는 또, 식별한 이벤트를 나타내는 정보를, 이벤트 식별의 대상으로 해서 상기 화상과 대응지어서 관리시킬 수가 있다.
정보처리장치는 복수의 화상의 그룹 나누기(分; dividing)를 행하는 연산 수단을 더 마련(設; include)할 수가 있다. 이 경우, 상기 식별 수단에는 또, 상기 연산 수단에 의해 구해진 그룹에 대해서 1개의 이벤트를 설정시킬 수가 있다.
복수의 정보처리장치는 같은(同; identical) 이벤트가 설정된 그룹의 각각에 포함되는 화상을 정렬해서(竝; align; 나란히 늘어놓아) 표시시키는 표시제어 수단을 더 마련할 수가 있다.
상기 표시제어 수단에는, 정렬해서 표시되는 화상 중에서 선택된 화상을 포함한 그룹에 포함되는 화상을 일람(一覽; list) 표시시킬 수가 있다.
상기 연산 수단에는, 그룹 나누기의 대상으로 되는 복수의 화상을, 각각의 화상의 속성(屬性) 정보에 포함되는 시각 정보에 의해 나타내어지는 시각의 시간 간격의 변동(variation) 정도가 임계값보다 큰 부분이 그룹의 경계 부분으로 되도록 그룹 나누기를 행하게 할 수가 있다.
연산 수단은 이분목 구조의 형태로 복수의 화상을 관리할 수 있고, 다수의 화상을 분할할 수 있는데, 상기 연산 수단이 타겟 노드를 아들 노드의 부모 노드로 하는 아들 노드간의 시간 간격의 편차 대 타겟 노드 상의 화상에 관한 시간 정보에 의해 표시된 시간의 시간 간격 표준 편차의 비를 계산하고, 상기 계산된 비를 상기 아들 노드에 포함된 화상이 서로 다른 그룹으로 분할되거나, 또는 동일 그룹으로 분류되는지를 결정하도록 임계치와 비교되는 것이다.
본 발명의 1측면의 정보 처리 방법 또는 프로그램은, 대상으로 하는 화상 자체와, 화상의 속성 정보 중의 적어도 어느 하나로부터, 화상을 촬영했을 때의 이벤트의 식별에 이용되는 메타데이터를 추출하고, 식별 가능한 것으로서 미리 준비되는 복수의 이벤트 중, 대상으로 하는 상기 화상을 촬영했을 때의 1개의 이벤트가 추출된 상기 메타데이터에 의거해서 식별하는 단계를 포함한다.
본 발명의 1측면에 있어서는, 대상으로 하는 화상 자체와, 화상의 속성 정보 중의 적어도 어느 하나로부터, 화상을 촬영했을 때의 이벤트의 식별에 이용되는 메타데이터가 추출되고, 식별 가능한 것으로서 미리 준비되는 복수의 이벤트 중, 대상으로 하는 화상을 촬영했을 때의 1개의 이벤트가 추출된 메타데이터에 의거해서 식별된다.
[발명을 실시하기 위한 최량의 형태]
이하에, 본 발명의 실시 형태를 설명하겠지만, 본 발명의 구성 요건과 명세서 또는 도면에 기재된 실시 형태와의 대응 관계를 예시하면, 다음과 같이 된다. 이 기재는, 본 발명을 서포트하는 실시 형태가, 명세서 또는 도면에 기재되어 있는 것을 확인하기 위한 것이다. 따라서, 명세서 또는 도면 중에는 기재되어 있지만, 본 발명의 구성 요건에 대응하는 실시 형태로서, 여기에는 기재되지 않은 실시 형 태가 있었다고 해도, 그것은, 그 실시 형태가, 그 구성 요건에 대응하는 것이 아닌 것을 의미하는 것은 아니다. 반대로(거꾸로), 실시 형태가 발명에 대응하는 것으로서, 여기에 기재되어 있었다고 해도, 그것은, 그 실시 형태가, 그 구성 요건 이외에는 대응하지 않는 것인 것을 의미하는 것도 아니다.
본 발명의 1측면의 정보 처리 장치(예를 들면, 도 1의 퍼스널 컴퓨터(1))는, 대상으로 하는 화상 자체와, 화상의 속성 정보(예를 들면, EXIF 정보) 중의 적어도 어느 하나로부터 , 화상을 촬영했을 때의 이벤트(예를 들면, 여행, 꽃놀이(꽃구경), 회식)의 식별에 이용되는 메타데이터를 추출하는 추출 수단(예를 들면, 도 6의 특징 추출부(62))과, 식별 가능한 것으로서 미리 준비되는 복수의 이벤트 중, 대상으로 하는 상기 화상을 촬영했을 때의 1개의 이벤트를 상기 추출 수단에 의해 추출된 상기 메타데이터에 의거해서 식별하는 식별 수단(예를 들면, 도 6의 이벤트 식별부(63))을 구비한다.
이 장치에는, 복수의 화상의 그룹 나누기를 행하는 연산 수단{예를 들면, 도 6의 연산부(64)}을 더 마련할 수가 있다.
이 장치에는, 같은 이벤트가 설정된 그룹의 각각에 포함되는 화상을 정렬해서 표시시키는 표시제어 수단{예를 들면, 도 6의 유저 인터페이스 제어부(65)}을 더 마련할 수가 있다.
본 발명의 1측면의 정보 처리 방법 또는 프로그램은, 대상으로 하는 화상 자체와, 화상의 속성 정보(예를 들면, EXIF 정보) 중의 적어도 어느 하나로부터, 화상을 촬영했을 때의 이벤트(예를 들면, 여행, 꽃놀이, 회식)의 식별에 이용되는 메 타데이터를 추출하는 단계와, 식별 가능한 것으로서 미리 준비되는 복수의 이벤트 중, 대상으로 하는 상기 화상을 촬영했을 때의 1개의 이벤트가 추출된 상기 메타데이터에 의거해서 식별하는 단계(예를 들면, 도 36의 단계 S4)를 포함한다.
이하, 본 발명의 실시 형태에 대해서 도면을 참조해서 설명한다.
도 1은, 본 발명의 1실시 형태에 따른 퍼스널 컴퓨터(1)에, 디지털 카메라(2)가 접속되어 있는 상태를 도시하는 도면이다.
도 1의 예에 있어서는, 퍼스널 컴퓨터(1)와 디지털 카메라(2)가 케이블(3)을 거쳐서 서로 접속되고, 퍼스널 컴퓨터(1)와 디지털 카메라(2) 사이에서는, 케이블(3)을 거쳐서 상호 통신을 행할 수 있도록 이루어져 있다. 디지털 카메라(2)의 내부에는 플래시 메모리 등의 기록 매체가 설치되어 있고, 그 기록 매체에는 유저에 의해 촬영된 화상이 기록되어 있다.
퍼스널 컴퓨터(1)와 디지털 카메라(2)가 접속되어 있는 도 1의 상태에서, 유저가 퍼스널 컴퓨터(1)를 조작하는 등 해서 디지털 카메라(2)에 기록되어 있는 화상을 퍼스널 컴퓨터(1)에 읽어들였을(取入, 讀入; read) 때, 퍼스널 컴퓨터(1) 상에서 기동(起動; run)하는 어플리케이션(어플리케이션 프로그램)에 의해, 리드 라이트된 각각의 화상을 촬영했을 때의 이벤트의 식별이 행해진다. 식별된 이벤트를 나타내는 정보는, 화상에 대응지어서 퍼스널 컴퓨터(1)에 있어서 관리된다.
예를 들면, 퍼스널 컴퓨터(1)에 있어서는, "여행", "꽃놀이", "불꽃놀이", "드라이브·외출", "회식", "결혼식", "바베큐/캠프", "스포츠"의 8개의 이벤트가 식별 가능한 것으로서 미리 준비되어 있고, 그 중에서 선택된 1개의 이벤트를 나타 내는 정보가, 이벤트 식별의 대상으로 하고 있는 화상에 대응 지어진다.
상세(詳細)에 대해서는 후술하겠지만, 퍼스널 컴퓨터(1)에 있어서는, 예를 들면, 이벤트 식별의 대상으로 하는 화상 자체나, EXIF(Exchangeable Image File Format) 정보 등의, 화상의 속성 정보로부터 메타데이터가 추출되고, 추출된 메타데이터에 의거해서, 대상으로 하고 있는 화상의 이벤트가 SVM(Support Vector Machine)에 의해서 식별된다. 1장의 화상으로부터 추출된 메타데이터에는, 화상으로부터 추출된, 화상에 찍혀(촬영되어, 포함되어) 있는 사람의 얼굴 개수(個數)나 위치 정보, 화상의 명도(明度), 색상(色相), 채도(彩度) 등의 색 공간 정보, EXIF 정보로부터 추출된 촬영 일시, 플래시를 터트렸는지 여부 등의 정보 등이 포함되고, 이러한 정보에 의거해서, 화상을 촬영했을 때의 이벤트가 식별된다. 메타데이터의 상세한 사항은 이하에 주어진다.
이와 같이, 촬영된 각각의 화상을 촬영했을 때의 이벤트가 퍼스널컴퓨터(1)에 의해서 자동적으로(유저에 의한 선택에 의하지 않고) 식별되고, 예를 들면, 이벤트에 따라 폴더가 생성되어 같은(同) 이벤트에서 촬영한 화상이 관리되기 때문에, 유저는 용이하게, 이벤트에 따라 화상을 관리할 수있고, 유저는 이벤트를 지정해서 화상을 열람(閱覽; see, view) 할 수가 있다.
한편, 퍼스널 컴퓨터(1) 측으로부터 하면, 최근 촬영한 "꽃놀이"의 화상을 유저가 보고 있을 때에 이전 해(前年; previous year)에 촬영한 "꽃놀이"의 화상을 자동적으로 표시하는 것에 의해서, 화상을 보고 있는 유저의 기억을 상기(想起; recall)시킬 수가 있다.
이와 같이, 퍼스널 컴퓨터(1)에 있어서는, 화상에 대응 지어서 관리되고 있는 이벤트에 의거해서 각종 처리가 실현된다.
도 2는, 퍼스널 컴퓨터(1)의 디스플레이에 표시되는, 화상의 열람 화면(閱覽畵面; viewing screen)의 예를 도시하는 도면이다.
도 2의 예에 있어서는, 화면의 위쪽(上方; upper portion)에 화상 표시 영역(11)이 형성되고, 여기에는, 이벤트의 식별 대상으로 되는 화상이 표시된다. 도 2의 화상 표시 영역(11)에는, 나무와 꽃놀이를 즐기는 가족을 포함하는 화상이 표시된다.
또, 도 2의 예에 있어서는, 화상 표시 영역(11)에 표시되고 있는 화상의 보존 장소(保存場所; storage location)의 정보(C:\Document and Settings∼)가 화상 표시 영역(11) 아래에 표시되고, 그 아래에, 식별 결과 표시 영역(12)이 형성되고 있다. 도 2의 식별 결과 표시 영역(12)에는, 화상 표시 영역(11)에 표시되고 있는 화상을 촬영했을 때의 이벤트의 식별 결과(인식 결과)로서 "꽃놀이"가 표시되고 있다.
이와 같이, 유저는, 식별 결과 표시 영역(12)의 표시로부터, 화상 표시 영역(11)에 표시되고 있는 화상을 촬영했을 때의 이벤트를 확인할 수가 있다.
도 2의 예에 있어서는, 식별 결과 표시 영역(12) 아래에는, 예를 들면, 화상 표시 영역(11)에 표시되고 있는 화상 대신에, 같은 폴더에서 관리되고 있는 화상 중의 선두(先頭; first, top) 화상을 화상 표시 영역(11)에 표시시킬 때 조작되는 버튼(13), 화상 표시 영역(11)에 표시되고 있는 화상 대신에 하나 앞(前; previous)의 화상을 화상 표시 영역(11)에 표시시킬 때 조작되는 버튼(14), 화상 표시 영역(11)에 표시되고 있는 화상 대신에 하나 뒤(後; next)의 화상을 화상 표시 영역(11)에 표시시킬 때 조작되는 버튼(15) 및, 화상 표시 영역(11)에 표시되고 있는 화상 대신에, 같은 폴더에서 관리되고 있는 화상 중의 최후(最後; last) 화상을 화상 표시 영역(11)에 표시시킬 때 조작되는 버튼(16)이 횡방향으로 정렬해서 표시되고 있다. 유저는 이들 버튼(13 내지 16)을 누르는 것에 의해서, 화상 표시 영역(11)에 표시시키는 화상, 즉 이벤트의 식별 대상으로 하는 화상을 전환(切換; switch)할 수가 있다.
또, 도 2의 예에 있어서는, 버튼(13∼16) 아래에는, "인식결과가 잘못되었으면, 이하(以下; following)의 버튼을 눌러서, 다시 해 주세요."의 문자가 표시되고, 그 아래에 각각의 이벤트를 선택할 때에 조작되는 이벤트 버튼(17)이 표시되고 있다. 이벤트 버튼(17)은, 상술한 각각의 이벤트를 지정할 때에 조작되는 버튼으로 구성되고, 다른 이벤트들이 나타나고, 유저는 이벤트 버튼(17)을 눌러 올바른 이벤트가 표시될 수 있다.
유저는 화상 표시 영역(11)에 표시되는 화상의 내용과, 식별 결과 표시 영역(12)에 표시되는 식별 결과를 비교하고, 이벤트가 정확하게 판단되어 있지 않다고 느꼈을 때에 이벤트 버튼(17)을 조작해서 정확한 이벤트를 지정하는 것에 의해서, 화상 표시 영역(11)에 표시되고 있는 화상을, 정확한 이벤트를 대응 지은 형태(形)로 퍼스널 컴퓨터(1)에 관리시킬 수가 있다.
이와 같이 유저에 의해 정확한 이벤트가 지정되었을 때, 퍼스널 컴퓨터(1) 내에 보존되는, 이벤트의 식별 시에 참조되는 파일(어떠한 메타데이터가 추출된 화상을, 어느 이벤트로서 판단할지를 기술한 파일)은, 이벤트의 식별 정밀도(精度; precision)가 보다 높아지도록 업데이트 된다. 상기 기술된 파일을 참조하여, 퍼스널 컴퓨터(1)는 이벤트가 화상으로부터 추출된 메타데이터 타입에 따른 화상을 인식하는 것을 체크한다.
도 3은, 퍼스널 컴퓨터(1)의 디스플레이에 표시되는 화상의 열람 화면 이외의 예를 도시하는 도면이다.
퍼스널 컴퓨터(1)에 있어서는 디지털 카메라(2)로부터 읽어들여진 화상은 자동적으로 그룹 나누기(그룹으로 분류)되어 관리되고, 유저는 화상의 열람이나 카피 등을 그룹 단위로 행할 수 있도록 이루어져 있다.
후술하는 바와 같이, 디지털 카메라(2)로부터 읽어들여진 화상은 예를 들면, 각각의 화상의 촬영 시각의 변동 정도가 임계값보다 큰 부분이 그룹간의 경계 부분으로 되도록 그룹 나누기된다. 1개의 그룹에는, 그룹에 포함되는 화상이나 속성 정보로부터 추출된 데이터에 의거해서 식별된 1개의 이벤트가 설정된다.
도 3의 열람 화면은, 기본적으로, 화면의 좌측에 형성되는 대표 화상(代表畵; typical image) 표시 영역(31)과, 화면의 우측에 형성되는 화상 표시 영역(32)으로 구성된다.
대표 화상 표시 영역(31)은, 같은 이벤트가 설정된 그룹의 대표 화상이 표시되는 영역이다. 도 3의 예에 있어서는, 대표 화상 표시 영역(31)에는, "2005년 불꽃놀이", "2004년 불꽃놀이", "2003년 불꽃놀이"의 이벤트명(名)이 설정된, "불꽃 놀이" 이벤트 그룹의 대표 화상이 종방향으로 정렬해서 표시되어 있다.
예를 들면, 유저가 "2005년 불꽃놀이" 그룹의 화상을 열람할 화상으로서 선택했을 때, "2005년 불꽃놀이" 그룹과 같은 "불꽃놀이" 이벤트가 설정된, "2004년 불꽃놀이" 그룹과 "2003년 불꽃놀이" 그룹이 퍼스널 컴퓨터(1)에 있어서 관리되고 있는 그룹 중에서 자동적으로 선택되고, 선택된 그룹의 대표 화상이 표시되는 것에 의해서, 도 3에 도시되는 바와 같은 열람 화면의 표시가 실현된다.
또한, 각각의 그룹에 설정되어 있는 이벤트명 중, "불꽃놀이"는, 그룹에 설정된 이벤트를 나타내는 것으로서 설정된 것이며, "2005년", "2004년", "2003년"은, 그룹에 포함되는 화상의 촬영 시간 및 일자(년월일)의 정보에 의거해서 설정된 것이다.
유저는, 이와 같이 해서 대표 화상이 표시되는 그룹으로부터 소정의 그룹을 선택하고, 선택한 그룹의 화상을 일람 표시시킬 수가 있다.
도 3의 예에 있어서는, "2005년 불꽃놀이" 그룹이 선택되고 있고, "2005년 불꽃놀이" 그룹에 포함되는 14장의 화상이 화상 표시 영역(32)에 일람표시(섬네일 표시)되고 있다. 도 3의 화상 표시 영역(32)에 표시되고 있는 각각의 화상은, "불꽃"시에 촬영한 화상이다.
이와 같이, 유저가 선택한 그룹과 같은(同) 이벤트가 설정되어 있는 그룹(그룹의 대표 화상)이 자동적으로 표시되기 때문에, 소위, 이벤트에 의거하는 현명한(賢; clever; 훌륭한, 만족스러운) 검색 기능이 실현되게 되며, 유저는, 자신이 선택한 화상을 촬영했을 때의 상황과 같은 상황에서 과거에 촬영한 화상을 볼 수 있 다.
또한, 이벤트가 설정되는 각각의 그룹은, 도 4에 도시되는 바와 같이, 계층 구조(階層構造; hierarchical structure)를 가지는 형태로 퍼스널 컴퓨터(1)에 있어서 관리된다. 도 4의 우측에 도시된 계층 구조에 있어서는, "여행"의 이벤트가 설정된 루트 노드 nroot는 상부에 배치되고, "드라이브/외출" 이벤트가 설정된 노드 n1과 "회식" 이벤트가 설정된 노드 n2가 아들(子; child) 노드로서 루트 노드 nroot에 연결된다. 노드 n2에는 같은 "회식" 이벤트가 설정된 노드 n3과 "B.B.Q(바베큐/캠프)" 이벤트가 설정된 노드 n4가 아들 노드로서 노드 n2에 연결되어 있다. 노드 n3과 n4에는 복수의 화상이 포함되는 것으로 되어 있다.
각각의 노드(그룹)에 포함되는 화상은, 노드에 직접, 또는 다른(他) 노드를 거쳐서 간접적으로 연결되는 화상이며, 유저는 소정의 노드를 선택하고, 희망하는(好; preferable) 입도(粒度; level of granularity)의 이벤트 단위로 화상을 열람하거나, 정리(整理; arrange)하거나 할 수가 있다.
이상과 같이 해서 화상을 관리하고, 열람 화면을 표시하는 퍼스널 컴퓨터(1)의 동작에 대해서는 플로차트를 참조해서 후술한다.
도 5는 도 1의 퍼스널 컴퓨터(1)의 구성예를 도시하는 블록도이다.
CPU(Central Processing Unit)(41)는, ROM(Read Only Memory)(42), 또는 기억부(48)에 기록되어 있는 프로그램에 따라서 각종 처리를 실행한다. RAM(Random Access Memory)(43)에는, CPU(41)가 실행하는 프로그램이나 데이터 등이 적당히 기록된다. 이들 CPU(41), ROM(42) 및 RAM(43)은, 버스(44)에 의해 상호 접속되어 있다.
또한, CPU(41)로서 "Cell Tanjo(신생 셀)", 닛케이(日經) 일렉트로닉스, 닛케이 BP사, 2005년 2월 28일, P.89∼P.117에 기재되어 있는 셀을 사용할 수 있다.
CPU(41)에는 또, 버스(44)를 거쳐서 입출력 인터페이스(45)가 접속되어 있다. 입출력 인터페이스(45)에는, 키보드, 마우스, 마이크로폰 등으로 이루어지는 입력부(46), 디스플레이, 스피커 등으로 이루어지는 출력부(47)가 접속되어 있다. CPU(41)는, 입력부(46)로부터 입력되는 지령(指令; instructions)에 대응해서 각종 처리를 실행한다. 그리고, CPU(41)는, 처리의 결과를 출력부(47)에 출력한다.
입출력 인터페이스(45)에 접속되어 있는 기억부(48)는, 예를 들면 하드디스크로부터, CPU(41)가 실행하는 프로그램, 디지털 카메라(2)로부터 읽어들여진 화상 등의 각종 데이터를 기록한다. 통신부(49)는, 디지털 카메라(2)와의 사이에서 통신을 행하고, 디지털 카메라(2)로부터 읽어들여진 화상이나 EXIF 정보를 CPU(41) 등에 출력한다. 통신부(49)에 있어서는, 인터넷이나 로컬에리어 네트워크(LAN) 등의 네트워크를 거쳐서 외부 장치와의 통신 등도 행해진다.
입출력 인터페이스(45)에 접속되어 있는 드라이브(50)는 자기(磁氣) 디스크, 광 디스크, 광자기(MO) 디스크, 혹은 반도체 메모리 등의 리무버블 매체(51)가 장착(裝着; install)되었을 때, 리무버블 매체를 구동하고, 리무버블 매체(51)에 기록되어 있는 프로그램이나 데이터 등을 취득(取得; obtain)한다. 취득된 프로그램 이나 데이터는, 필요에 따라서 기억부(48)에 전송(轉送; transfer)되어 기록된다. 디지털 카메라(2)로부터의 화상이나 EXIF 정보의 판독(取入; reading)은 이 리무버블 매체(51)를 거쳐서도 행해질 수 있다.
도 6은 퍼스널 컴퓨터(1)의 기능 구성예를 도시하는 블록도이다. 도 6에 도시하는 기능부 중의 적어도 일부는, 도 5의 CPU(41)에 의해 소정의 프로그램이 실행되는 것에 의해서 실현된다.
퍼스널 컴퓨터(1)에 있어서는 화상 DB(61), 특징 추출부(62), 이벤트 식별부(63), 연산부(64), 및 유저 인터페이스 제어부(65)가 실현된다. 특징 추출부(62)는 EXIF 정보 처리부(71), 얼굴 정보(顔情報; face-information) 추출부(72), 및 유사화상(類似畵像; similar-image) 인식 처리부(73)로 구성되고, 연산부(64)는 클러스터링부(81)와 계층 결정부(82)로 구성된다.
화상 DB(61)에는 디지털 카메라(2)로부터 판독된 화상이나, 각각의 화상의 속성 정보인 EXIF 정보(JEITA로 규정되어 있는, 주로 디지털 카메라용의 화상 정보 태그. JEITA CP-3451-1 EXIF Ver.2.21 및 JEITA CP-3461 DCF Ver.2.0에 준거)가 기록된다.
특징 추출부(62)는 이벤트의 식별 대상으로 하는 화상을 EXIF 정보와 함께 화상 DB(61)로부터 판독하고(讀出; read), 판독된 데이터로부터 추출한, 화상의 특징을 나타내는 메타데이터를 이벤트 식별부(63)에 출력한다.
구체적으로는 특징 추출부(62)의 EXIF 정보 처리부(71)는 화상 DB(61)로부터 판독된 EXIF 정보로부터 촬영 시각 및 일자 등의 소정의 정보를 추출한다. EXIF 정 보 처리부(71)는, EXIF 정보에 포함되는 촬영 시각 및 일자의 정보를 연산부(64)에도 출력한다.
얼굴 정보 추출부(72)는 화상 DB(61)로부터 판독된 화상을 분석하는 것에 의해서, 화상에 찍혀 있는 사람의 얼굴 정보를 추출한다. 얼굴정보를 추출하는 기술에 대해서는, 예를 들면 일본 특허공개 제2005-44330호 공보에 개시되어 있으며, 이 기술에 의해, 화상에 찍혀 있는 사람의 얼굴 개수 등의 정보가 추출된다.
유사화상인식 처리부(73)는 화상 DB(61)로부터 판독된 화상을 분석하는 것에 의해서, 화상의 색 공간의 정보 등을 추출한다. 색 공간의 정보 등을 추출하는 기술에 대해서는 예를 들면 국제 공개 제00/39712호 팜플렛에 개시되어 있다.
도 7은, EXIF 정보 처리부(71), 얼굴정보 추출부(72) 및 특징 추출부(62)를 구성하는 유사화상인식 처리부(73)로부터 추출된 정보의 일례를 도시한다.
"DateTimeOriginal"의 태그명으로 나타내어지는 정보는 화상의 촬영 일시(日時)을 나타내고, "Flash"의 태그명으로 나타내어지는 정보는 화상을 촬영할 때의 플래시 상태를 나타낸다. "ExposureTime"의 태그명으로 나타내어지는 정보는 화상의 촬영시의 노출 시간을 나타내고, "FNumber"의 태그명으로 나타내어지는 정보는 화상의 촬영시의 F값(F-number)(조리개값(絞値; diaphragm)을 나타낸다.
"DateTimeOriginal", "Flash", "ExposureTime", "FNumber"와 같은 4개의 항목은 대상으로 하는 화상의 EXIF 정보로부터 EXIF 정보 처리부(71)에 의해 추출된다.
"nx"의 이름으로 나타내어지는 값은, 화상에 찍혀 있는 사람 얼굴의 X축 방 향의 위치를 나타내고, "ny"의 이름으로 나타내어지는 값은, 화상에 찍혀 있는 사람 얼굴의 Y축 방향의 위치를 나타낸다. 예를 들면, 1장의 화상의 좌상단(左上端)을 (0, 0), 우상단(右上端)을 (1, 0), 좌하단(左下端)을 (0, 1), 우하단(右下端)을 (1, 1)로 하고, 검출된 얼굴의 범위를 나타내는 테두리(frame)의 X축 방향, Y축 방향의 위치(테두리의 왼쪽 위(左上)의 위치)가, "nx", "ny"의 값에 의해 나타내어진다.
"nwidth"의 이름으로 나타내어지는 값은, 화상에 찍혀 있는 사람의 얼굴 폭을 나타내고, "nheight"의 이름으로 나타내어지는 값은, 화상에 찍혀 있는 사람의 얼굴 높이를 나타낸다. "pitch"의 이름으로 나타내어지는 값은, 화상에 찍혀 있는 사람 얼굴의 상하 방향의 방향을 나타내고, "yaw"의 이름으로 나타내어지는 값은, 화상에 찍혀 있는 사람 얼굴의 좌우 방향의 방향을 나타낸다. "TotalFace"의 이름으로 나타내어지는 값은, 화상에 찍혀 있는 사람의 얼굴 개수를 나타낸다.
"nx", "ny", "nwidth", "nheight", "pitch", "yaw"및 "TotalFace"고 같은 이들 7개의 정보는 대상으로 하는 화상으로부터 얼굴 정보 추출부(72)에 의해 추출된다. 또한, "nx", "ny", "nwidth", "nheight", "pitch", "yaw" 및 "TotalFace"의 각각의 값은, 이벤트 식별의 대상으로 하는 1개의 화상에 찍혀 있는 사람의 얼굴 개수 분만큼 추출된다.
"L"의 이름으로 나타내어지는 값은 화상의 명도를 나타낸다. "a"의 이름으로 나타내어지는 값은 화상의 색상을 나타내고, "b"의 이름으로 나타내어지는 값은 화상의 채도를 나타낸다.
"L", "a", "b"와 같은 이들 3개의 정보는 대상으로 하는 화상으로부터 유사화상인식 처리부(73)에 의해 추출된다.
이상과 같은 각종 정보가 기술된 메타데이터가 특징 추출부(62)로부터 이벤트 식별부(63)에 출력되고, 화상을 촬영했을 때의 이벤트 식별에 이용된다.
도 6의 설명으로 되돌아가서, 이벤트 식별부(63)는 특징 추출부(62)로부터 공급된 메타데이터에 의거하여, 대상으로 하는 화상을 촬영했을 때의 이벤트를 예를 들면 상술한 8종류 중의 1개를 선택하는 것에 의해서 식별하고, 식별한 이벤트의 정보를 메타데이터에 기입하여(書入; write) 관리한다. 이벤트의 정보도 기입된 메타데이터는 적당히, 이벤트 식별부(63)로부터 연산부(64)나 유저 인터페이스 제어부(65)에 출력된다.
도 8은, 이벤트 식별부(63)에 의해 관리되는 메타데이터(이벤트의 정보도 써넣어진 메타데이터)의 예를 도시하는 도면이다. 도 8에 있어서, 각각의 행의 좌단(左端)에 나타내어지는 숫자와, ":"은 설명의 편의상 붙인 것이며, 메타데이터의 일부를 구성하는 것은 아니다.
도 8에 도시되는 바와 같이, 메타데이터는 예를 들면 XML(eXtensible Markup Language) 문서로서 관리된다.
1행째의 "Photo"는, 1장의 화상에 대응 지어지는 메타데이터의 개시 위치를 나타낸다.
2행째의 "guid"태그는, 도 8의 메타데이터가 대응 지어져 있는 화상의 GUID(Global Unique Identifier)를 나타낸다. 도 8의 예에 있어서는, 화상의 GUID 는 "{624D4F19-1249-4d18-AAF8-15E1BFFF076F}"로 되어 있다. 이 GUID에 의해, 메타데이터가 대응지어지는 화상이 식별된다.
3행째의 "FilePath"태그는, 도 8의 메타데이터가 대응 지어져 있는 화상의 퍼스널컴퓨터(1) 상에서의 보존 장소를 나타낸다. 도 8의 예에 있어서는, 화상의 보존 장소는 "C:\Documents and Settings\aaa\데스크톱\test\IMGP2198.JPG"로 되어 있다.
4행째의 "PixelXDimension"태그, 5행째의 "PixelYDimension"은, 각각, 도 8의 메타데이터가 대응 지어져 있는 화상의 횡방향(X축 방향), 종방향(Y축 방향)의 화소 수를 나타낸다. 도 8의 예에 있어서는, 화상의 횡방향, 종방향의 화소 수는 각각 "2400", "1600"이다.
6행째의 "Make"태그는, 도 8의 메타데이터가 대응 지어져 있는 화상을 촬영한 디지털 카메라(2)의 제조원(製造元)을 나타낸다. 도 8의 예에 있어서는, 디지털 카메라(2)의 제조원은 "AAA"이다.
7행째의 "Model"태그는 도 8의 메타데이터가 대응 지어져 있는 화상을 촬영한 디지털 카메라(2)의 모델명을 나타낸다. 도 8의 예에 있어서는, 디지털 카메라(2)의 모델명은 "BBB"이다.
8행째의 "EXIFversion"태그는 도 8의 메타데이터가 대응 지어져 있는 화상에 부가된 EXIF 정보의 버전을 나타낸다. 도 8의 예에 있어서는, EXIF 정보의 버전은 "0221"(버전 2.21)이다. 이 9행 내지 25행에서 EXIF 정보 처리부(71)에 의해 추출한 EXIF 정보가 기술된다.
9행째의 "DateTimeOriginal"태그와 10행째의 "DateTimeDigitized"태그는 도 8의 메타데이터가 대응 지어져 있는 화상의 촬영일, 촬영 시각을 나타낸다. 도 8의 예에 있어서는, 촬영일은 "2005:06:05"(2005년 6월 5일), 촬영 시각 "12:02:26"은 12시 2분 26초로 되어 있다.
11행째의 "SceneCaptureType"태그는 도 8의 메타데이터가 대응 지어져 있는 화상의 촬영시의 모드를 나타낸다. 도 8의 예에 있어서는 촬영시의 모드는 "묘사(Portrait)"이다.
12행째의 "Flash"태그는, 도 8의 메타데이터가 대응 지어져 있는 화상의 촬영시의 플래시의 모드를 나타낸다. 도 8의 예에 있어서는, 플래시의 모드는 "저장된(reserved)"으로 되어 있다.
13행째의 "ExposureTime"태그는, 도 8의 메타데이터가 대응 지어져 있는 화상의 촬영시의 노출 시간을 나타낸다. 도 8의 예에 있어서는, 노출 시간은 "1/8"로 되어 있다.
14행째의 "FNumber"태그는 도 8의 메타데이터가 대응 지어져 있는 화상의 촬영시의 F값을 나타낸다. 도 8의 예에 있어서는, F값은 "35/10"으로 되어 있다.
15행째의 "FocalLength"태그는, 도 8의 메타데이터가 대응 지어져 있는 화상의 촬영시의 초점 거리를 나타낸다. 도 8의 예에 있어서는, 초점 거리는 "18/1"로 되어 있다.
16행째의 "FocalLengthIn35mmFilm"태그는 도 8의 메타데이터가 대응 지어져 있는 화상의 촬영시의 35㎜ 환산의 초점 거리를 나타낸다. 도 8의 예에 있어서는, 35㎜ 환산의 초점 거리는 "27" 이다.
17행째의 "ExposureProgram"태그는 도 8의 메타데이터가 대응 지어져 있는 화상의 촬영시의 노출 조정 프로그램을 나타낸다. 도 8의 예에 있어서는, 노출 조정 프로그램은 "묘사 모드(Portrait mode)"로 되어 있다.
18행째의 "MeteringMode"태그는, 도 8의 메타데이터가 대응 지어져 있는 화상의 촬영시의 측광(測光) 모드(metering mode)를 나타낸다. 도 8의 예에 있어서는, 측광 모드는 "Pattern"이다.
19행째의 "ExposureMode"태그는 도 8의 메타데이터가 대응 지어져 있는 화상의 촬영시의 노출 모드를 나타낸다. 도 8의 예에 있어서는, 노출 모드는 "Manual exposure"로 되어 있다.
20행째의 "WhiteBalance"태그는 도 8의 메타데이터가 대응 지어져 있는 화상의 촬영시의 화이트 밸런스(white balance)의 설정을 나타낸다. 도 8의 예에 있어서는 화이트 밸런스의 설정은 "Auto white balance"로 되어 있다.
21행째의 "FaceNumber"태그는 도 8의 메타데이터가 대응 지어져 있는 화상에 찍혀 있는 사람의 얼굴 개수를 나타낸다. 도 8의 예에 있어서는 사람의 얼굴 개수는 2(2명의 얼굴이 찍혀 있다)로 되어 있다. 이 21행과 22행에서 이후에, 얼굴 정보 추출부(72)에 의해 추출된 얼굴 정보가 기술된다.
22행째의 "FaceData"태그는 도 8의 메타데이터가 대응 지어져 있는 화상에 찍혀 있는 2개의 얼굴 중의 한쪽 얼굴의 정보를 나타낸다. 도 8의 예에 있어서는, 얼굴 정보는 "0.766962, 0.477876, 0.088496, 0.058997, 0.000000, -30. 000000"으 로 되어 있고, 각각의 값은 왼쪽에서 오른쪽으로 얼굴의 X축 방향의 위치(도 7의 "nx"), 얼굴의 Y축 방향의 위치(도 7의 "ny"), 얼굴의 폭(도 7의 "nwidth"), 얼굴의 높이(도 7의 "nheight"), 얼굴의 상하 방향의 방향(도 7의 "Pitch"), 얼굴의 수평 방향의 방향(도 7의 "yaw")을 나타낸다.
23행째의 "FaceData"태그는 도 8의 메타데이터가 대응 지어져 있는 화상에 찍혀 있는 2개의 얼굴 중의 다른쪽 얼굴의 정보를 나타낸다. 도 8의 예에 있어서는, 얼굴 정보는 "0.501475, 0.433628, 0.088496, 0.058997, 0.000000, -30. 000000"으로 되어 있다. 이와 같이, 얼굴 정보는, 화상에 찍혀 있는 것으로서 검출된 얼굴마다 기술된다.
24행째의 "ClassifiedEvent"태그는 도 8의 메타데이터가 대응 지어져 있는 화상을 촬영했을 때의 이벤트를 나타낸다. 이벤트 식별부(63)에 의해 이벤트가 식별되었을 때, 이 태그 부분에, 식별 결과의 이벤트가 써넣어진다. 도 8의 예에 있어서는, 이벤트의 식별 결과는 "결혼식"으로 되어 있다.
25행째의 "UpdatedEvent"태그는, 도 8의 메타데이터가 대응 지어져 있는 화상을 촬영했을 때의 이벤트를 나타낸다. 예를 들면, 도 2에 도시되는 화면으로부터 이벤트 버튼(17)이 조작되는 것에 의해서 정확한 이벤트를 유저가 지정했을 때, 지정된 이벤트가 이 태그 부분에 이벤트 식별부(63)에 의해서 써넣어진다. 도 8의 예에 있어서는, 지정된 이벤트는 "No Update"(이벤트의 지정 없음)로 되어 있다.
26행째의 "/Photo"는 메타데이터의 종료 위치를 나타낸다. 이와 같은 정보로 이루어지는 도 8에 도시된 것과 같은 메타데이터가 화상마다 준비되고, 이벤트 식 별부(63)에 의해 관리된다. 또한, 유사화상인식 처리부(73)에 의해 추출된 정보도, EXIF 정보 처리부(71)와 얼굴정보 추출부(72)가 추출한 정보가 상기 기재된 것과 같이 기입되는 것과 유사한 방식으로 메타데이터에 기입된다.
여기서, 이벤트 식별부(63)에 의한 이벤트의 식별에 대해서 설명한다.
이벤트 식별부(63)에 있어서는, 예를 들면, SVM에 의해 이벤트가 식별된다.
SVM는 클래스 분류를 행하는 학습 기계의 일종이다. SVM은 "서포트 벡터(support vectors)"라고 불리는 클래스 경계 근방에 위치하는 훈련점(training point)과 식별면과의 거리인 마진을 최대화하도록 구성된 분리 초평면(分離超平面; separating hyperplane)을 구축하고, 그 구축한 분리 초평면을 이용해서 클래스 분류를 행하는 것이다. 선형으로의 분류가 어려운 경우에는, 커넬 트릭(kernel trick)으로 알려진 기법으로 입력 공간을 고차의 특징 공간으로 사상(寫像)하고, 그곳에서 선형 분류는 고차의 특징공간에서 수행된다. SVM 기법은 비선형 분류에 의한 문제를 해결할 수 있다. SVM의 특징에는, 종래의 패턴 인식의 분야에서 자주 이용되고 있던 역오차 전파법에 의해서 학습을 행하는 다층 퍼셉트론(multilayered perceptrons)에 비해, 높은 범용화(汎化; generalization; 일반화) 성능을 가지는 것이나, 2차의 볼록 계획(quadric conex programming) 문제를 풀기위해 정식화되기 때문에 학습의 결과로서 최적해결책을 얻을 수 있다는, 것 등이 있다.
도 9는, 이벤트 식별부(63)에 의한 학습과, 이벤트 식별의 테스트의 개념을 도시하는 도면이다. 이와 같은 도 9에 도시된 학습과 테스트가, 예를 들면, 도 6에 도시되는 바와 같은 기능부를 실현하는 어플리케이션의 개발시에 행해지고, 이벤트 의 식별에 참조되는 데이터로서 얻어진 식별 파일이 이벤트 식별부(63)에 준비된다.
1장의 화상의 메타데이터가 퍼스널 컴퓨터(1)에 공급된 경우, SVM 식별기(63A)가 학습 모드에 있을 때에는, 그 메타데이터는 판정기를 거쳐서 감시(supervisor) 데이터로서 SVM 식별기(63A)에 출력된다. SVM 식별기(63A)에 있어서는, 약 800장 분의 화상의 메타데이터를 이용한 SVM의 학습이 행해지고, 이벤트의 식별 시에 사용될 식별 파일이 생성된다.
한편, SVM 식별기(63A)가 테스트 모드에 있을 때에는, 퍼스널 컴퓨터(1)에 공급된 메타데이터는 판정기를 거쳐서 학습자 데이터로서 SVM 식별기(63A)에 출력된다. SVM 식별기(63A)에 있어서는, 학습 시에 얻어진 식별 파일이 참조되며, 공급된 메타데이터에 의거해서 이벤트가 식별된다.
SVM 식별기(63A)에 의한 식별 결과는 예를 들면 도 2에 도시되는 바와 같은 형태로 화면상에 출력되고, 그 식별 결과를 본 어플리케이션의 개발자(開發者; developer)는, 식별 결과가 정확한지 여부를 선택하는 것에 의해서 테스트 결과의 평가를 행한다. 식별결과가 정확하지 않다면, 식별 파일이 업데이트 되고, 1장의 화상을 대상으로 한 평가가 종료된다.
이와 같은 평가가, 예를 들면 학습에 이용된 것과 같은, 800장 분의 화상의 메타데이터를 이용해서 되풀이해서 행해지고, 최종적으로 얻어진 식별 파일이 이벤트 식별부(63)에 준비된다. 평가 방법에는 Holdout 또는 K-fold cross-validation 이 사용될 수 있다.
도 10은, 이벤트 식별 학습 과정의 구체적인 예를 도시하는 도면이다.
도 10에 도시되는 바와 같이, 학습용의 화상(Training photo data)을 이용해서, 학습 알고리즘(Training Algorithm)에 따른 학습이 행해지고, 식별 파일(Classification)이 생성된다. 도 10의 예에서 식별 파일에 따라, 메타데이터의 내용이, 화상에 찍혀 있는 사람의 얼굴 개수가 "5"보다 크고, 화상의 촬영시의 플래시 상태가 "No"(발광시키지 않은 상태)이며, 촬영 시각이 "19：00∼22：00" 사이인 경우에는, "회식"의 식별 결과가 얻어지는 바와 같은 식별 파일이 생성되고 있다.
도 11은, 테스트를 포함하는 이벤트 식별의 구체적인 예를 도시하는 도면이다.
도 10에 도시되는 바와 같이, 학습용의 화상과 같은 화상인 테스트 화상에 대한 이벤트의 식별이, 학습 시에 생성된 식별 파일(Classification)을 참조해서 행해진다. 또, 학습이나 테스트 등에 이용된 화상과는 다른 새로운 화상(New photo)의 메타데이터가 공급되었을 때, 같은 식별 파일이 참조되고, 그 새로운 화상을 촬영했을 때의 이벤트가 식별된다. 도 11의 예에 있어서는, 새로운 화상인 "New.jpg"의 파일명의 화상을 촬영했을 때의 이벤트는 "회식"으로서 식별되고 있다.
도 6의 설명으로 되돌아가서, 이벤트 식별부(63)는 또, 상술한 바와 같은 1장의 화상을 촬영했을 때의 이벤트를 식별할 뿐만이 아니라, 연산부(64)에 의해 나뉘어진 화상의 그룹에 대해서도 이벤트를 설정한다.
예를 들면, 이벤트 식별부(63)는, 그룹 나누기의 결과를 나타내는 정보를 연산부(64)로부터 판독하고, 특징 추출부(62)에서 공급된 그룹 화상의 메타데이터를 평균하여 얻어진 각각의 그룹에 대한 메타데이터를 생성한다. 이벤트 식별부(63)는 상기 생성된 메타 데이터에 의거하여 그룹에 대한 이벤트를 식별하고, 식별결과로서 그룹에서 이벤트를 설정한다.
그룹에 대해서 설정된 이벤트는, 예를 들면 유저에 의해 열람되고 있는 화상을 촬영했을 때와 같은 이벤트에서 촬영한 화상의 그룹을 제시하는 도 3에 도시되는 바와 같은 화면을 표시하는 경우에 이용된다.
연산부(64)의 클러스터링부(81)는, 클러스터링부(81)에서 보존유지(保持; store)하고 있는 클러스터 데이터와, EXIF 정보 처리부(71)로부터 공급된 촬영 시각에 의거해서 화상의 클러스터링(그룹 나누기)을 행한다. 예를 들면, 클러스터링부(81)에 의해 수행된 클러스터링의 결과로서 과거에 클러스터링이 행해진 화상도 포함해서, 대상 화상 전체가 이분목 구조(二分木構造; binary tree structure)를 가지는 형태로 관리되는 클러스터링 결과가 클러스터링부(81)에 의해 취득된다.
클러스터링부(81)가 보존유지하고 있는 클러스터 데이터에는 그때까지 구해진, 각각의 화상이 과거에 어느 클러스터(그룹)에 속하는지를 나타내는 정보나, 화상 전체의 이분목 구조를 나타내는 정보가 포함된다.
계층 결정부(82)는 클러스터링부(81)에 의해 취득된 클러스터링 결과인 이분목 구조를 나타내는 정보에 의거해서, 소정의 조건에 맞는 클러스터를 결정한다. 예를 들면, 각각의 클러스터가 어느 화상을 포함하는지를 나타내는 정보, 혹은, 각 각의 화상이 어느 클러스터에 속하는지를 나타내는 정보 등이 계층 결정부(82)에 의해 취득되고, 화상 전체의 이분목 구조를 나타냄과 동시에, 최종적인 클러스터링의 결과를 나타내는 클러스터 데이터가 얻어진다.
여기서, 연산부(64)에 의해 행해지는 처리의 상세에 대해서 설명한다.
예를 들면, 100장의 화상 p1∼p100을 클러스터링의 대상으로 해서, 그들의 화상을 이벤트 클러스터 A(그룹화 조건 A를 만족시키는 화상의 클러스터)와, 서브 이벤트 클러스터 B(그룹화 조건 B를 만족시키는 화상의 클러스터)로 나누는 처리에 대해서 설명한다.
처음에, 도 12∼도 20을 참조해서, 클러스터링부(81)에 의해 행해지는 이분목 구조의 작성에 대해서 설명한다.
도 12∼도 20에 있어서, "p"의 문자와 숫자가 그 속(中)에 쓰여져 있는 1개의 원은 1장의 화상을 나타내고, "n"의 문자와 숫자가 그 속에 쓰여져 있는 1개의 원은 1개의 노드를 나타낸다. 또, 도면의 우측은, 좌측보다 시간적으로 나중의 방향인 것으로 한다. 또한, 여기에서는, 화상 p1∼p100을, 촬영 시각순(撮影時刻順; photographing time order)(화상 p1에서 화상 p100의 시간적 순서로 화상 p1이 제일 오래되고, 화상 p100이 제일 새로운 데이터)으로 클러스터링의 대상으로 하는 경우에 대해서 설명한다. 화상 p1과 p2)을 클러스터링의 대상으로 한 후(이분목 구조에 화상 p1 및 p2를 삽입)에, 화상 p1보다 새롭고, 화상 p2보다 오래된 화상 p3을 새롭게 클러스터링의 대상으로 하도록, 촬영 시각 순으로가 아니라, 각각의 화상을 대상으로 해서 행해지는 클러스터링에 대해서는 후술한다.
클러스터링이 아직 행해져 있지 않은 상태에서 최초의 촬영에 의해 얻어지고, 디지털 카메라(2)로부터 읽어들여진 화상 p1이 트리(tree)에 삽입(揷入)되었을 때(클러스터링의 대상으로 되었을 때), 초기 상태에서는 트리의 루트(root)로 되는 노드가 존재하지 않기 때문에, 도 12에 도시되는 바와 같이, 화상 p1 자신이 루트 노드로 된다.
화상 p1에 계속해서 촬영된 화상 p2가 트리에 삽입되었을 때, 도 13에 도시되는 바와 같이, 새로운 노드 즉 노드 n1이 새롭게 만들어진다. 화상 p2의 촬영 시각은 화상 p1의 촬영 시각보다 나중이기 때문에, 노드 n1에는, 화상 p1이 왼쪽의 아들 노드로서 연결되고, 화상 p2가 오른쪽의 아들 노드로서 연결된다. 노드 n1은 화상 p1 대신에 루트 노드로 된다.
노드 n1의 최소 시각으로서 화상 p1의 촬영 시각이 기록되고, 최대 시각으로서 화상 p2의 촬영 시각이 기록된다. 노드의 시각으로서 그 노드를 부모 노드로 하는 2개의 아들 노드의 촬영 시각의 평균값(중간의 시각)이 기록되도록 해도 좋다.
화상 p2에 계속해서 촬영된 화상 p3이 트리에 삽입되고, 도 14에 도시되는 바와 같이, 화상 p3의 촬영 시각과 화상 p2의 촬영 시각의 시간 간격(tdp2p3)이, 화상 p2의 촬영 시각과 화상 p1의 촬영 시각의 시간 간격(tdp1p2)보다 작을 때, 도 15에 도시되는 바와 같이, 노드 n2가 새롭게 만들어진다. 노드 n2에는, 그의 왼쪽의 아들 노드로서 화상 p2가 연결되고, 오른쪽의 아들 노드로서 화상 p3이 연결된다. 또, 노드 n2가, 화상 p2 대신에 오른쪽의 아들 노드로서 노드 n1에 연결된다.
노드 n2의 최소 시각으로서 화상 p2의 촬영 시각이 기록되고, 노드 n2의 최대 시각으로서 화상 p3의 촬영 시각이 기록된다. 또, 이 때, 노드 n2의 부모(親; parent) 노드인 노드 n1의 최대 시각이 화상 p3의 촬영 시각에 업데이트 된다.
화상 p3에 계속해서 촬영된 화상 p4가 트리에 삽입되고, 도 16에 도시되는 바와 같이, 화상 p4의 촬영 시각과 화상 p3의 촬영 시각의 시간 간격(tdp3p4)이, 화상 p3의 촬영 시각과 화상 p2의 촬영 시각의 시간 간격(tdp2p3)보다 크고, 또한, 화상 p4의 촬영 시각과 노드 n2의 최대 시각의 시간 간격(tdn2maxp4)이, 노드 n2의 최소 시각과 화상 p1의 촬영 시각의 시간 간격(tdp1n2min)보다도 클 때, 도 17에 도시되는 바와 같이, 노드 n3이 새롭게 루트 노드로서 만들어진다. 또, 노드 n3에는, 그의 왼쪽의 아들 노드로서 노드 n1이 연결되고, 오른쪽의 아들 노드로서 화상 p4가 연결된다.
노드 n3의 최소 시각으로서 노드 n1의 최소 시각이 기록되고, 최대 시각으로서 화상 p4의 촬영 시각이 기록된다.
화상 p4에 계속해서 촬영된 화상 p5가 트리에 삽입되고, 도 18에 도시되는 바와 같이, 화상 p5의 촬영 시각과 화상 p4의 촬영 시각의 시간 간격(tdp4p5)보다, 화상 p4의 촬영 시각과 노드 n1의 최대 시각의 시간 간격(tdn1maxp4)이 클 때, 도 19에 도시되는 바와 같이, 노드 n4가 새롭게 만들어진다. 또, 노드 n4에는, 그의 왼쪽의 아들 노드로서 화상 p4가 연결되고, 오른쪽의 아들 노드로서 화상 p5가 연결 된다. 노드 n4가, 화상 p4 대신에 오른쪽의 아들 노드로서 노드 n3에 연결된다.
노드 n4의 최소 시각으로서 화상 p4의 촬영 시각이 기록되고, 최대 시각으로서 화상 p5의 촬영 시각이 기록된다. 이 때, 노드 n4의 부모 노드인 노드 n3의 최대 시각이 화상 p5의 촬영 시각에 업데이트 된다.
이 시점에서, 화상 p1∼p5의 5장의 화상을 포함하는 노드 n1∼n4로 이분목 구조가 형성된 상태로 된다.
각각의 노드에 포함되는 화상은, 각각의 노드에 직접 또는 다른 노드를 거쳐서 간접적으로 연결되는 화상이기 때문에, 도 19에 도시되는 바와 같은 트리가 작성되어 있을 때, 노드 n3에 포함되는 화상은 화상 p1∼p5의 5장의 화상으로 되고, 노드 n1에 포함되는 화상은 화상 p1∼p3의 3장의 화상으로 된다. 또, 노드 n2에 포함되는 화상은 화상 p2 및 p3의 2장의 화상으로 되고, 노드 n4에 포함되는 화상은 화상 p4 및 p5의 2장의 화상으로 된다.
이와 같이, 화상이 새롭게 삽입될 때마다, 촬영 시각의 시간 간격이 보다 작은 화상끼리, 또는 촬영 시각과 설정된 시각의 시간 간격이 보다 작은 화상과 노드가, 같은 노드에 매달리도록 연결되어 간다.
화상 p6∼p100이 트리에 삽입되었을 때에도 노드의 형성 및 화상들 또는 화상 및 노드의 결합이 화상 p1 내지 p5와 유사한 방식으로 행해진다. 최종적으로, 루트 노드 nroot에 화상 p1∼p100이 포함되는, 도 20에 도시되는 바와 같이 이분목 구조가 얻어진다.
다음에, 도 21∼도 27을 참조해서, 계층 결정부(82)에 의해 행해지는 그룹화 조건에 의거하는 클러스터링에 대해서 설명한다.
계층 결정부(82)에 있어서는 이분목 구조 내의 각각의 노드가 타겟 노드(target node)로서 지정되고, 타겟 노드내의 모든 화상에 대해 계산된 두 화상의 촬영 시각의 시간 간격의 표준 편차(偏差; deviation)(sd)가 하기 식(1)에 의해 산출된다.
[수학식 1]
Figure 112006078959390-PAT00001
N은 화상의 촬영 시각의 시간 간격의 수이며, "타겟 노드에 포함되는 화상의 수-1"로 나타내어진다. tdn은, N개의 시간 간격 중의, 시간적으로 앞서는 것부터 보아 n번째의 시간 간격이다.
Figure 112006078959390-PAT00002
는 타겟 노드 내의 시간 간격(td)의 평균값이다.
또, 타겟 노드(target node)를 부모 노드로 하는 아들 노드간의 시간 간격의 편차(dev)(편차는 아들 노드간의 시간 간격과, 촬영 시각의 시간 간격의 평균과의 차의 절대값)가 하기 식(2)에 의해 산출된다.
[수학식 2]
Figure 112006078959390-PAT00003
N은 화상의 촬영 시각의 시간 간격의 수이며, "타겟 노드에 포함되는 화상의 수-1"로 나타내어진다. tdc는 아들 노드간의 시간 간격이다.
Figure 112006078959390-PAT00004
는 타겟 노드 내의 시간 간격(td)의 평균값이다. 또한, 아들 노드간의 시간 간격(tdc)이라 함은, 타겟 노드를 부모 노드로 하는 2개의 아들 노드 중의 시간적으로 앞서는 아들 노드에 포함되는 시간적으로 최후의 화상의 촬영 시각과, 시간적으로 나중의 아들 노드에 포함되는 시간적으로 최초 화상의 촬영 시각의 시간 간격이다. 시간 간격(tdc)에 관한 구체예에 대해서는 후술한다.
또, 식(2)에 의해 산출된 편차(dev)의, 식(1)에 의해 산출된 표준 편차(sd)에 대한 비가, 분할 파라미터(th)로서, 타겟 노드로 설정된다. 분할 파라미터(th)는 하기 식(3)으로 나타내어지고, 타겟 노드를 부모 노드로 하는 아들 노드를, 각각 다른(異) 클러스터에 속하는 것으로서 분할할지 여부를 판단하는 기준으로 되는 파라미터이다.
[수학식 3]
Figure 112006078959390-PAT00005
여기서, 상기 식(1) 내지 (3)에 의해 구해지는 값에 대해서 도 21을 참조해서 구체적으로 설명한다.
도 21은 클러스터링부(81)에 의해 작성된 이분목 구조 전체 중의 일부의, 도 19와 같은 범위의 구조를 도시하는 도면이다.
도 21에 있어서 td1은 화상 p1의 촬영 시각과 화상 p2의 촬영 시각의 시간 간격이며, td2는 화상 p2의 촬영 시각과 화상 p3의 촬영 시각의 시간 간격이고, td3 은 화상 p3의 촬영 시각과 화상 p4의 촬영 시각의 시간 간격이며, td4는 화상 p4의 촬영 시각과 화상 p5의 촬영 시각의 시간 간격이다.
예를 들면 도 21 중의 루트 노드에 가장 가까운 노드인 노드 n3이 타겟 노드로 설정되는 경우, 식(1)에 각각의 값이 대입되고, 표준 편차(sd)는 하기 식(4)으로 나타내어진다.
[수학식 4]
Figure 112006078959390-PAT00006
촬영 시각의 시간 간격의 평균값은 하기 식(5)으로 나타내어진다.
[수학식 5]
Figure 112006078959390-PAT00007
편차(dev)는 하기 식(6)으로 나타내어진다.
[수학식 6]
Figure 112006078959390-PAT00008
보다 상세하게 타겟 노드 n3을 부모 노드로 하는 2개의 아들 노드는 노드 n1과 n4이다. 그 중의 시간적으로 앞서는 노드 n1에 포함되는 시간적으로 최후 화상 p3의 촬영 시각과, 시간적으로 나중의 노드 n4에 포함되는 시간적으로 최초의 화상 p4의 촬영 시각의 시간 간격(td3)이 노드 n1과 노드 n4의 시간 간격이며, 그것이 노 드 n3이 타겟 노드일 때의 편차(dev)의 산출에 이용된다.
노드 n3이 타겟 노드일 때 분할 파라미터(th)가 식(4)에 의해 산출된 표준 편차(sd)와 식(6)에 의해 산출된 편차(dev)로부터 산출되고, 노드 n3에 설정된다.
이상과 같이 해서 모든 노드에 대한 분할 파라미터(th)의 설정이 종료했을 때, 계층 결정부(82)에 있어서는, 다음에, 그룹화 조건으로서의 임계값이 설정된다.
예를 들면, 그룹화 조건 A로서 임계값 a가 설정되고, 그룹화 조건 B로서 임계값 b가 설정된다. "a=3. 0" 및 "b=2. 6"등과 같이, "a＞b" 조건을 만족시킬 때에는, 도 22에 도시되는 바와 같이, "그룹화 조건 A에 의해 규정되는 클러스터보다 큰 그룹화 조건 B에 의해 규정되는 클러스터"로 되는데 즉, 그룹화 조건 A에 의해 규정함 클러스터 중에, 그룹화 조건 B에 의해 규정되는 클러스터를 몇 개 형성되게 한다.
도 22의 예에 있어서는, 타겟 화상들이 그룹화 조건 A에 의해 그룹 g1과 g2의 2개의 클러스터로 나뉘어지는 반면, 그룹화 조건 B에 의해 그룹 g3∼g7의 5개의 클러스터로 나뉘어져 있다.
즉, 후술하는 바와 같이, 설정되어 있는 분할 파라미터의 값이 임계값보다 큰 경우에, 그 분할 파라미터가 설정되어 있는 노드 부분이 클러스터의 경계 부분으로 되기 때문에, 임계값이 클 수록, 그 노드 부분은 클러스터의 경계 부분으로 되기 어렵고, 따라서, 전체로서 보았을 때에 클러스터의 입도는 거칠어진다. 반대 로, 임계값이 작을 수록, 그 노드 부분은 클러스터의 경계 부분으로 되기 쉽고, 따라서, 전체로서 보았을 때에 클러스터의 입도는 미세하게(곱게) 된다.
또한, 한 화상의 촬영 시각과 다음에 촬영된 화상의 촬영 시각의 시간 간격이 30분 이상인 경우{시간 간격(td) ＞ 30 분}나 1일 이상인 경우{시간 간격(td) ＞ 1 일}, 그 시간 간격의 노드가 클러스터의 경계 부분으로 되는 바와 같은 그룹화 조건, 소위, 1개의 클러스터에 포함되는 화상의 촬영 시각의 시간 간격의 상한을 규정하는 바와 같은 그룹화 조건이 설정되도록 해도 좋다. 그룹화 조건에 따라, 촬영 시각의 시간 간격이 30분, 혹은 1일 이상인 화상끼리는 각각 다른 클러스터에 포함되는 화상으로 된다.
그룹화 조건으로서의 임계값이 설정된 후, 계층 결정부(82)에 있어서는, 다음에, 설정된 임계값과, 상술한 바와 같이 해서 각각의 노드에 설정된 분할 파라미터(th)에 의거해서 각각의 노드에 분할 플래그가 설정된다.
예를 들면, 분할 파라미터(th)가, 그룹화 조건 A로서 설정된 임계값 a를 넘는 노드에는 1의 값의 그룹 A분할 플래그가 설정되고, 임계값 a를 넘지 않는 노드에는 0의 값의 그룹 A분할 플래그가 설정된다.
분할 플래그로서 1의 값이 설정되어 있는 경우, 그 분할 플래그가 설정되어 있는 노드를 부모 노드로 하는 아들 노드간의 시간 간격이, 타겟 노드 내 전체 화상의 촬영 시각의 시간 간격보다 비교적 큰 것을 나타낸다. 반대로, 분할 플래그로서 0의 값이 노드에 설정되어 있는 경우, 그 분할 플래그가 설정되어 있는 노드를 부모 노드로 하는 아들 노드간의 시간 간격이, 타겟 노드 내 전체 화상의 촬영 시 각의 시간 간격과 그다지 변함없는 것을 나타낸다.
그룹 A분할 플래그 값의 설정이 종료했을 때, 계층결정부(82)는 연속적으로 이분목 구조내의 노드가 오름차순(昇順; ascending order)으로 (잎에서 뿌리 방향으로 순서대로) 타겟 노드로서 설정되고, 아들 노드의 시간 간격이 노드 내 전체 화상의 촬영 시각의 시간 간격보다 비교적 큰 노드, 즉 그룹 A분할 플래그로서 1의 값이 설정되어 있는 노드를 경계로 해서 화상이 구분지어지고, 그룹화 조건 A에 의해 클러스터가 규정된다.
도 23은 그룹 A분할 플래그의 설정 예를 도시하는 도면이다.
도 23의 예에 있어서는, 루트 노드에 가장 가까운 노드인 노드 n10에는, 노드 n11과 n12가 각각 좌우의 아들 노드로서 연결되고, 노드 n11에는, 노드 n13과 n14가 각각 좌우의 아들 노드로서 연결된다. 또, 노드 n12에는, 노드 n15와 n16이 각각 좌우의 아들 노드로서 연결되고, 노드 n14에는, 노드 n17과 n18이 각각 좌우의 아들 노드로서 연결된다.
또, 도 23의 예에 있어서는, 이들 노드 중의 노드 n10, n11, n12, n14의 각각에 그룹 A분할 플래그로서 1의 값이 설정되어 있고, 그들 노드의 부분을 경계로 해서 도 23의 굵은 선(太線)으로 나타내어지는 바와 같이 클러스터가 나뉘어진다.
또한, 도 23의 우측에 도시되는 바와 같이, 노드 n13은 화상 p1∼p17을 포함하는 노드이며, 노드 n17은 화상 p18∼p30을 포함하는 노드이며, 노드 n18은 화상 p31∼p68을 포함하는 노드이며, 노드 n15는 화상 p69∼p93을 포함하는 노드이고, 노드 n16은 화상 p94∼p100을 포함하는 노드이다.
따라서, 그룹 A분할 플래그의 값으로서 1이 설정되어 있는 노드의 부분을 경계로 해서 클러스터가 나뉘어진 경우, 지금 클러스터링의 대상으로 되어 있는 화상 p1∼p100은, 도 24에 도시되는 바와 같은 각각의 클러스터(이벤트 클러스터 A)로 나뉘어진다.
즉, 노드 n13에 포함되는 화상 p1∼p17로 클러스터 A1이 구성되고, 노드 n17에 포함되는 화상 p18∼p30으로 클러스터 A2가 구성되고, 노드 n18에 포함되는 화상 p31∼p68로 클러스터 A3이 구성되고, 노드 n15에 포함되는 화상 p69∼p93으로 클러스터 A4가 구성되고, 노드 n16에 포함되는 화상 p94∼p100으로 클러스터 A5가 구성된다.
이상과 같이 해서 그룹화 조건 A에 의거하는 클러스터링이 행해지고, 그룹화 조건 A에 의해 규정되는 각각의 클러스터가 어느 범위의 화상을 포함하는지를 나타내는 정보, 혹은, 각각의 화상이 어느 클러스터에 속하는지를 나타내는 정보 등이, 그룹화 조건 A에 의거하는 클러스터링 결과로서 취득된다.
그룹화 조건 A에 의거하는 클러스터링이 행해졌을 때, 유사한 방식으로 그룹화 조건 B에 의거하는 클러스터링이 행해진다.
보다 상세하게 계층 결정부(82)에 있어서는, 분할 파라미터(th)가, 그룹화 조건 B로서 설정된 임계값 b를 넘는 노드에는 1의 값의 그룹 B분할 플래그가 설정되고, 임계값 b를 넘지 않는 노드에는 0의 값의 그룹 B분할 플래그가 설정된다.
그룹 B분할 플래그 값의 설정이 종료했을 때, 이분목 구조내의 노드가 오름 차순으로 타겟 노드로서 설정되고, 아들 노드의 시간 간격이 타겟 노드 내 전체 화상의 촬영 시각의 시간 간격보다 비교적 큰 노드, 즉, 그룹 B분할 플래그로서 1의 값이 설정되어 있는 노드를 경계로 해서 화상이 구분지어지고, 그룹화 조건 B에 의해 클러스터가 규정된다.
도 25는 그룹 B분할 플래그의 설정의 예를 도시하는 도면이다.
도 25의 예에 있어서는, 루트 노드에 가장 가까운 노드인 노드 n10에는, 노드 n11이 왼쪽의 아들 노드로서 연결된다. 노드 n11에는, 노드 n13과 n14가 각각 좌우의 아들 노드로서 연결된다. 노드 n14에는, 노드 n17과 n18이 각각 좌우의 아들 노드로서 연결된다. 노드 n17에는, 노드 n19와 n20이 각각 좌우의 아들 노드로서 연결된다. 노드 n18에는, 노드 n21과 n22가 각각 좌우의 아들 노드로서 연결된다, 노드 n19에는, 노드 n23과 n24가 각각 좌우의 아들 노드로서 연결된다.
또, 도 25의 예에 있어서는, 이들 노드 중의 노드 n10, n11, n14, n17, n18, n19의 각각에 그룹 B분할 플래그로서 1의 값이 설정되어 있고, 그들 노드 부분을 경계로 해서 도 25의 굵은 선으로 나타내어지는 바와 같이 클러스터가 나뉘어진다.
도 25의 우측에 도시되는 바와 같이, 노드 n13은 화상 p1∼p17을 포함하는 노드이며, 노드 n23은 화상 p18∼p21을 포함하는 노드이고, 노드 n24는 화상 p22∼p26을 포함하는 노드이고, 노드 n20은 화상 p27∼p30을 포함하는 노드이고, 노드 n21은 화상 p31∼p57을 포함하는 노드이고, 노드 n22는 화상 p58∼p68을 포함하는 노드이다.
따라서, 그룹 B분할 플래그의 값으로서 1이 설정되어 있는 노드 부분을 경계 로 해서 클러스터가 나뉘어진 경우, 지금 클러스터링의 대상으로 되어 있는 화상 p1∼p100 중 화상 p1∼p68은, 도 26에 도시되는 바와 같은 각각의 클러스터(서브 이벤트 클러스터 B)로 나뉘어진다.
즉, 노드 n13에 포함되는 화상 p1∼p17로 클러스터 B1이 구성되고, 노드 n23에 포함되는 화상 p18∼p21로 클러스터 B2가 구성되고, 노드 n24에 포함되는 화상 p22∼p26으로 클러스터 B3이 구성되고, 노드 n20에 포함되는 화상 p27∼p30으로 클러스터 B4가 구성되고, 노드 n21에 포함되는 화상 p31∼p57로 클러스터 B5가 구성되고, 노드 n22에 포함되는 화상 p58∼p68로 클러스터 B6이 구성된다.
이상과 같이 해서 그룹화 조건 B에 의거하는 클러스터링이 행해지고, 그룹화 조건 B에 의해 규정되는 각각의 클러스터가 어느 범위의 화상을 포함하는지를 나타내는 정보, 혹은, 각각의 화상이 어느 클러스터에 속하는지를 나타내는 정보 등이, 그룹화 조건 B에 의거하는 클러스터링 결과로서 취득된다. 취득된 클러스터링 결과는 계층 결정부(82)에 의해 관리된다.
도 27은, 그룹화 조건 A에 의거하는 클러스터링 결과(도 24)와, 그룹화 조건 B에 의거하는 클러스터링 결과(도 26)를 겹쳐서 도시하는 도면이다.
도 27에 도시되는 바와 같이, 복수의 그룹화 조건에 의거해서 그룹화가 행해진 경우, 클러스터링 결과의 클러스터는 내포 관계(入子關係; nest relation)를 가진다.
도 27의 예에 있어서는, 클러스터 A1과 클러스터 B1은 같은 범위의 화상을 포함하는 클러스터이다. 클러스터 A2에는 클러스터 B2∼B4가 포함되고, 클러스터 A3에는 클러스터 B5와 B6이 포함된다.
도 27에 도시되는 바와 같은 내포관계를 각각의 클러스터가 가지는 경우, 예를 들면, 클러스터 A2를 나타내는 폴더의 하위 계층의 폴더로서, 클러스터 B2∼B4를 나타내는 폴더가 각각 표시되고, 클러스터 A3을 나타내는 폴더의 하위 계층의 폴더로서, 클러스터 B5와 B6을 나타내는 폴더가 각각 표시된다.
이상과 같이, 연산부(64)에 있어서는, 계층적인 클러스터링과 분할 클러스터링(화상 전체의 촬영 간격의 평균을 기준으로 한 클러스터링)이 행해진다. 계층 클러스터링과 분할 클러스터링의 결합 결과로서, 촬영 간격이 가까운 화상이 같은 클러스터에 포함되고, 또한 임계치 보다 짧은 시간 간격을 갖는 화상은 동일한 클러스터 내에 포함된다.
다음에, 클러스터링부(81)에 의해 행해지는 이분목 구조 작성의 다른 예에 대해서 도 28∼도 35를 참조해서 설명한다.
여기에서는 클러스터링은 촬영 시각 순으로가 아니라 시간순서와 관계없이 각각의 화상에 수행된다. 예를 들면, 디지털 카메라(2)로 촬영된 화상의 클러스터링을 퍼스널컴퓨터(1)에 실행시킨 후에, 다른 사람(他人)으로부터 받은 화상 등의, 다른 디지털 카메라로 촬영된 화상도 퍼스널 컴퓨터(1)에 판독된다. 그들 화상 전 체를 클러스터링시키는 경우 등에, 촬영 시각순으로가 아니라, 각각의 화상을 대상으로 한 클러스터링이 행해진다.
예를 들면, 도 13에 도시되는 바와 같이, 노드 n1의 왼쪽의 아들 노드로서 화상 p1이 연결되고, 오른쪽의 아들 노드로서 화상 p2가 연결되어 있는 상태에서, 화상 p1보다 새롭고, 화상 p2보다 오래된 화상인 화상 p3이 트리에 새롭게 삽입된다. 도 28에 도시되는 바와 같이, 화상 p1의 촬영 시각과 화상 p3의 촬영 시각의 시간 간격(tdp1p3)이, 화상 p2의 촬영 시각과 화상 p3의 촬영 시각의 시간 간격(tdp2p3)보다 클 때에는, 도 29에 도시되는 바와 같이, 노드 n2가 새롭게 만들어진다. 노드 n2에는, 그의 왼쪽의 아들 노드로서 화상 p3이 연결되고, 오른쪽의 아들 노드로서 화상 p2가 연결된다. 또, 노드 n2가, 화상 p2 대신에 오른쪽의 아들 노드로서 노드 n1에 연결된다.
노드 n2의 최소 시각으로서 화상 p3의 촬영 시각이 기록되고, 노드 n2의 최대 시각으로서 화상 p2의 촬영 시각이 기록된다. 이 때, 노드 n2의 부모 노드인 노드 n1의 최소 시각과 최대 시각에 변경은 없다. 즉 최소 시각은 화상 p1의 촬영 시각, 최대 시각은 화상 p2의 촬영 시각인 채로 된다.
한편, 도 13에 도시되는 바와 같이, 노드 n1의 왼쪽의 아들 노드로서 화상 p1이 연결되고, 오른쪽의 아들 노드로서 화상 p2가 연결되어 있는 상태에서, 화상 p1보다 새롭고, 화상 p2보다 오래된 화상인 화상 p3이 트리에 새롭게 삽입된다. 이 경우에 도 30에 도시되는 바와 같이, 화상 p1의 촬영 시각과 화상 p3의 촬영 시각 의 시간 간격(tdp1p3)이, 화상 p2의 촬영 시각과 화상 p3의 촬영 시각의 시간 간격(tdp2p3)보다 작을 때, 도 31에 도시되는 바와 같이, 노드 n2가 새롭게 만들어진다. 노드 n2에는, 그의 왼쪽의 아들 노드로서 화상 p1이 연결되고, 오른쪽의 아들 노드로서 화상 p3이 연결된다. 노드 n2가 화상 p1 대신에 왼쪽의 아들 노드로서 노드 n1에 연결된다.
노드 n2의 최소 시각으로서 화상 p1의 촬영 시각이 기록되고, 최대 시각으로서 화상 p3의 촬영 시각이 기록된다. 이 때, 노드 n2의 부모 노드인 노드 n1의 최소 시각과 최대 시각에 변경은 없다. 즉, 최소 시각은 화상 p1의 촬영 시각, 최대 시각은 화상 p2의 촬영 시각인 채로 된다.
또, 도 13에 도시되는 바와 같이, 노드 n1의 왼쪽의 아들 노드로서 화상 p1이 연결되고, 오른쪽의 아들 노드로서 화상 p2가 연결되어 있는 상태에서, 화상 p1보다 오래된 화상인 화상 p3이 트리에 새롭게 삽입된 경우, 도 32에 도시되는 바와 같이, 화상 p1의 촬영 시각과 화상 p3의 촬영 시각의 시간 간격(tdp1p3)이, 화상 p1의 촬영 시각과 화상 p2의 촬영 시각의 시간 간격(tdp1p2)보다 작을 때에는, 도 33에 도시되는 바와 같이, 노드 n2가 새롭게 만들어진다. 노드 n2에는, 그의 왼쪽의 아들 노드로서 화상 p3이 연결되고, 오른쪽의 아들 노드로서 화상 p1이 연결된다. 또, 노드 n2가 화상 p1 대신에 왼쪽의 아들 노드로서 노드 n1에 연결된다.
노드 n2의 최소 시각으로서 화상 p3의 촬영 시각이 기록되고, 최대 시각으로서 화상 p1의 촬영 시각이 기록된다. 이 때, 노드 n2의 부모 노드인 노드 n1의 최 소 시각이 화상 p3의 촬영 시각에 업데이트 되고, 노드 n1의 최대 시각에 변경은 없다. 즉 노드 n1의 최대 시각은 화상 p2의 촬영 시각인 채로 된다.
한편, 도 13에 도시되는 바와 같이, 노드 n1의 왼쪽의 아들 노드로서 화상 p1이 연결되고, 오른쪽의 아들 노드로서 화상 p2가 연결되어 있는 상태에서, 화상 p1보다 오래된 화상인 화상 p3이 트리에 새롭게 삽입된다. 이 경우에 도 34에 도시되는 바와 같이, 화상 p1의 촬영 시각과 화상 p3의 촬영 시각의 시간 간격(tdp1p3)이, 화상 p1의 촬영 시각과 화상 p2의 촬영 시각의 시간 간격(tdp1p2)보다 클 때에는, 도 35에 도시되는 바와 같이, 노드 n2가 새롭게 루트 노드로서 만들어진다. 또, 노드 n2에는, 그의 왼쪽의 아들 노드로서 화상 p3이 연결되고, 오른쪽의 아들 노드로서 노드 n1이 연결된다.
노드 n2의 최소 시각으로서 화상 p3의 촬영 시각이 기록되고, 최대 시각으로서 화상 p2의 촬영 시각이 기록된다. 이 때, 노드 n1의 최소 시각과 최대 시각에 변경은 없다. 즉 노드 n1의 최소 시각은 화상 p1의 촬영 시각, 최대 시각은 화상 p2의 촬영 시각인 채로 된다).
화상 p4, p5...와 같은 새로운 화상이 삽입될 때, 유사한 공정이 수행된다. 그 화상 p4가 클러스터링이 이미 행해진 화상 중에서 가장 새로운 화상인 경우에는, 도 12∼도 20을 참조해서 설명한 바와 같은 처리가 행해지고, 그 이외의 경우에는, 도 28∼도 35를 참조해서 설명한 처리가 행해진다.
이벤트 식별부(63)에 있어서는, 이상과 같이 해서 생성된 각각의 클러스터 (노드)에 1개의 이벤트가 설정되게 된다. 따라서, 예를 들면, 도 24에 도시되는 바와 같은 클러스터가 생성되어 있는 경우, 클러스터 A1에 대해서는, 화상 p1∼p17 자체나 그들 화상의 EXIF 정보로부터 추출된 메타데이터의 평균이 클러스터 A의 메타데이터로 설정되고, 클러스터 A의 메타데이터에 의거해서 식별된 이벤트가 대응지어서 관리된다. 이것에 의해, 유저는, 어떤 이벤트를 지정하고, 지정한 이벤트가 설정된 클러스터에 포함되는 화상만을 열람할 수 있다.
도 6의 설명으로 되돌아가서, 유저 인터페이스 제어부(65)는 디스플레이의 표시를 제어한다. 예를 들면, 유저 인터페이스 제어부(65)는, 화상 DB(61)로부터 읽어낸 화상을 표시시킴과 동시에, 이벤트 식별부(63)에 의해 관리되고 있는 메타데이터에 기술되는 이벤트의 식별 결과를 표시한다. 이것에 의해, 도 2에 도시되는 바와 같은, 화상과, 그것을 촬영했을 때의 이벤트가 표시되는 화면이 디스플레이에 표시된다.
또, 유저 인터페이스 제어부(65)는, 어떤 그룹의 화상을 표시하고 있을 때, 그 그룹과 같은 이벤트가 설정되어 있는 그룹을 연산부(64)의 계층 결정부(82)에 의해 관리되고 있는 정보에 의거해서 판단하고, 같은 이벤트가 설정되어 있는 그룹의 대표 화상을 정렬해서 표시시킨다. 이것에 의해, 도 3에 도시되는 바와 같은, 같은 이벤트가 설정된 그룹의 대표 화상이 정렬해서 표시되는 화면이 디스플레이에 표시된다.
다음에, 이상과 같은 구성을 가지는 퍼스널 컴퓨터(1)의 동작에 대해서 설명 한다.
처음에, 1장의 화상의 이벤트를 식별하고, 도 2에 도시되는 바와 같은 화면을 표시시키는 퍼스널컴퓨터(1)의 일련의 처리에 대해서 도 36과 도 37의 플로차트를 참조해서 설명한다.
도 36은, 퍼스널 컴퓨터(1)의 이벤트 식별 처리에 대해서 설명하는 플로차트이다.
단계 S1에 있어서, 통신부(49)는, 기록 매체에 기록되어 있는 화상을 EXIF 정보와 함께 디지털 카메라(2)로부터 읽어들인다. 통신부(49)에 의해 읽어들여진 화상과 EXIF 정보는, 예를 들면 기억부(48)에 형성되는 화상 DB(61)에 기록되고, 소정의 타이밍에서 이벤트 식별에 이용된다.
단계 S2에 있어서, 특징 추출부(62)는 타겟 화상과 EXIF 정보로부터 특징을 추출한다. 즉, 특징 추출부(62)의 EXIF 정보 처리부(71)에 의해, EXIF 정보에 포함되는 각종 정보 중의 소정의 정보가 추출된다. 얼굴정보 추출부(72)에 의해, 화상에 찍혀 있는 사람의 얼굴 정보가 추출되고, 유사 화상인식 처리부(73)에 의해, 화상의 색 공간의 정보 등이 추출된다.
단계 S3에 대해, 특징 추출부(62)는, 단계 S2에서 추출한 정보를 기술한 메타데이터를 생성하고(화상을 벡터화하고), 생성한 메타데이터를 이벤트 식별부(63)에 출력한다.
단계 S4에 있어서, 이벤트 식별부(63)는 특징 추출부(62)로부터 공급된 메타데이터에 기술되는 각종 정보로부터, 미리 준비되는 식별 파일을 참조해서 이벤트 를 식별한다. 단계 S5에서 이벤트 식별부(63)는 식별한 이벤트를 메타데이터에 써넣는다. 이것에, 도 8에 도시되는 바와 같은 메타데이터가 화상마다 생성된다.
단계 S6에 있어서, 이벤트 식별부(63)는, 생성한 메타데이터를 파일에 써넣고, 처리를 종료시킨다. 예를 들면, 복수(여러장)의 화상의 메타데이터가 1개의 파일에 관리되고 있으며, 생성된 메타데이터가 이 1개의 파일에 써넣어진다.
다음에, 도 37의 플로차트를 참조해서, 퍼스널 컴퓨터(1)의 화상 표시 처리에 대해서 설명한다.
단계 S11에 있어서, 유저 인터페이스 제어부(65)는 표시 대상의(표시할) 화상을 화상 DB(61)로부터 읽어내고, 읽어낸 화상을 촬영했을 때의 이벤트를 이벤트 식별부(63)에 의해 관리되고 있는 메타데이터로부터 확인(確認; check)한다.
단계 S12에 있어서, 유저 인터페이스 제어부(65)는 화상 DB(61)로부터 읽어낸 화상을 표시시킴과 동시에, 단계 S11에서 확인한 이벤트를 화상의 근방에 표시시킨다. 이것에 의해, 디스플레이에는, 도 2에 도시되는 바와 같은 화면이 표시된다.
다음에, 클러스터에 설정된 이벤트에 의거해서 도 3에 도시되는 바와 같은 화면을 표시하는 퍼스널 컴퓨터(1)의 일련의 처리에 대해서 도 38∼도 40을 참조해서 설명한다.
처음에, 도 38의 플로차트를 참조해서, 클러스터 데이터를 생성하는 퍼스널컴퓨터(1)의 처리에 대해서 설명한다.
단계 S21에 있어서, 통신부(49)는, 기록 매체에 기록되어 있는 화상을 EXIF 정보와 함께 디지털 카메라(2)로부터 읽어들인다. 읽어들여진 화상과 EXIF 정보는 화상 DB(61)에 기록된다.
단계 S22에 있어서, 특징 추출부(62)의 EXIF 정보 처리부(71)는 타겟 화상의 EXIF 정보로부터 촬영 시각을 취득하고, 취득한 촬영 시각을 연산부(64)에 출력한다.
단계 S23에 있어서, 연산부(64)의 클러스터링부(81)는 EXIF 정보 처리부(71)로부터 공급된 촬영 시각과, 클러스터링부(81)에 보존유지하고 있는 클러스터 데이터에 의거해서, 클러스터링의 대상으로 되는 화상 전체로 이루어지는 이분목 구조를 예를 들면 도 12 ∼도 20을 참조해서 설명한 바와 같이 해서 작성한다.
단계 S24에 있어서, 계층 결정부(82)는 타겟 노드가 되는 이분목 구조의 소정의 계층에 있는 1개의 노드를 설정한다. 단계 S25에서, 계층결정부(82)는 타겟 노드 내의 모든 화상의 촬영 시각의 시간 간격의 표준 편차(sd)를 산출한다.
단계 S26에 있어서, 계층 결정부(82)는 타겟 노드를 부모 노드로 하는 아들 노드간의 시간 간격의 편차(dev)를 산출한다.
단계 S27에 있어서, 계층 결정부(82)는 단계 S26에서 산출한 편차(dev) 대 단계 S25에서 산출한 표준 편차(sd)의 비를 산출하고, 산출한 비를 분할 파라미터(th)로서 타겟 노드에 기록한다.
단계 S28에 있어서, 계층 결정부(82)는 이분목 구조의 모든 노드가 타겟 노드로서 설정되었는지 여부를 판정한다. 타겟 노드로서 설정되지 않은 노드가 단계 S28에서 발견된다면 단계 S24로 되돌아가서, 타겟 노드를 전환한다.
한편, 계층 결정부(82)는, 단계 S28에 있어서, 이분목 구성의 모든 노드가 타겟 노드로서 설정되었다고 판정한 경우, 단계 S29로 진행하고, 그룹화 조건으로서의 임계값을 설정한다. 같은 화상을 대상으로 해서 다른 입도의 클러스터를 구하는 경우, 단계 S29에서는 복수의 그룹화 조건이 설정된다.
단계 S30에 있어서, 계층 결정부(82)는, 단계 S29에서 설정한 그룹화 조건으로서의 임계값과, 각각의 노드에 설정된 분할 파라미터(th)를 비교한다. 예를 들면, 분할 파라미터(th)가 임계값을 넘는 노드에는 1의 값의 분할 플래그를 설정하고, 임계값을 넘지 않는 노드에는 0의 값의 분할 플래그를 설정한다. 그룹화 조건이 복수 설정되어 있는 경우, 각각의 그룹화 조건에 대해서 분할 파라미터의 설정이 행해진다.
단계 S31에 있어서, 계층 결정부(82)는 이분목 구조의 각각의 노드를 오름차순으로 타겟 노드를 설정하고, 분할 플래그에 1의 값이 설정되어 있는 노드를 경계로 해서 클러스터를 나누고, 각각의 클러스터의 범위를 나타내는 클러스터 데이터를 작성한다.
단계 S32에 있어서, 계층 결정부(82)는, 작성한 클러스터 데이터를 보존하고, 처리를 종료시킨다.
다음에, 도 39의 플로차트를 참조해서, 이상과 같이 해서 생성된 클러스터의 이벤트를 식별하는 퍼스널 컴퓨터(1)의 처리에 대해서 설명한다.
단계 S41에 있어서, 이벤트 식별부(63)는, 계층 결정부(82)에 의해 관리되고 있는 클러스터 데이터를 읽어들인다. 그 다음 이벤트 식별자 (63)는 단계 S42로 진 행하고, 클러스터의 특징을 추출한다. 예를 들면, 이벤트 식별자(63)는 각각의 클러스터에 포함되는 화상의 메타데이터의 평균이 구해지고, 클러스터의 특징으로 된다.
단계 S43에 있어서, 이벤트 식별부(63)는, 단계 S42에서 구한 클러스터의 특징이 기술된 메타데이터를 생성한다.
단계 S44에 있어서, 이벤트 식별부(63)는, 단계 S43에서 생성한 메타데이터에 의거해서 클러스터의 이벤트를 식별한다. 그 다음 단계 S45에서 이벤트 식별자(63)는 각각의 클러스터와 이벤트의 식별 결과를 대응시키는 것에 의해서 이벤트를 설정한다. 설정된 이벤트의 정보는 계층 결정부(82)에 출력된다.
단계 S46에 있어서, 계층 결정부(82)는 각각의 클러스터에 이벤트가 설정된 이분목 구조를 나타내는 클러스터 데이터를 보존하고, 처리를 종료시킨다.
다음에, 도 40의 플로차트를 참조해서, 퍼스널 컴퓨터(1)의 화상 표시 처리에 대해서 설명한다.
단계 S51에 있어서, 유저 인터페이스 제어부(65)는, 어떤 화상을 표시해서 유저에게 열람시킨다.
예를 들면, 화상을 표시하고 있는 상태에서 소정의 조작이 행해졌을 때, 유저 인터페이스 제어부(65)는, 단계 S52에 있어서, 각각의 클러스터에 이벤트가 설정된 이분목 구조를 나타내는 클러스터 데이터를 연산부(64)의 계층 결정부(82)로부터 읽어들인다.
단계 S53에 있어서, 유저 인터페이스 제어부(65)는, 유저에게 열람시키고 있 는 화상을 촬영했을 때의 이벤트와 같은 이벤트가 설정된 클러스터이며, 또한, 같은 입도의 클러스터를 열람 대상의 클러스터로서 선택한다. 유저 인터페이스 제어부(65)는 선택된 클러스터의 대표 화상이 표시되고, 각각의 대표 화상으로 나타내어지는 클러스터 중에서 선택된 1개의 클러스터에 포함되는 모든 화상이 섬네일(thumbnail)로 표시되는 것에 의해서, 도 3에 도시되어 있는 바와 같은 열람 화면의 표시가 실현된다.
유저가 보고 있는 화상과 같은 이벤트에서 촬영한 화상이 자동적으로 제시되기 때문에, 이것에 의해, 유저의 기억을 상기시킬 수가 있다. 유저의 기억의 상기를 도모하기 위한 화면의 표시는, 도 3에 도시되는 것에 한정되지 않고, 다른 표시에 의해 유저의 기억의 상기를 도모할 수도 있다.
도 41은 화상의 열람 화면의 다른 예를 도시하는 도면이다.
도 41에서, 화면의 횡방향으로 표시되는 띠모양(帶狀)의 영역(91)은, 촬영 시각에 따라 시계열 순으로 왼쪽에서 오른쪽으로, 각각의 클러스터의 대표 화상이 표시되는 영역이다. 우측이 시간적으로 나중의 시각을 나타내고, 도 41의 예에 있어서는, 화상(91A∼91F)이 왼쪽부터 순서대로 표시되어 있다.
또, 도 41의 예에 있어서는, 클러스터에 포함되는 화상이, 영역(91)과 직교하는 방향의 종방향으로 정렬해서 표시되도록 이루어져 있으며, 띠모양의 영역(92와 93)이 표시되어 있다.
예를 들면, 영역(91)에 정렬해서 표시되고 있는 화상 중에서 유저가 화상(91B)을 선택했을 때, 화상(91B)의 위치를 기준으로 해서 화상(91B)을 대표 화상 으로 하는 클러스터에 포함되는 화상이 영역(92)에 표시된다.
또, 유저가 화상(91B)을 선택했을 때, 영역(92)에 화상이 표시되는 것에 연동해서, 화상(91E)의 위치를 기준으로 해서 화상(91E)을 대표 화상으로 하는 클러스터에 포함되는 화상이 영역(93)에 표시된다. 이와 같은 표시는, 유저가 영역(91) 중에서 선택한 화상(91B)을 대표 화상으로 하는 클러스터로 설정되어 있는 이벤트와 화상(91E)을 대표 화상으로 하는 클러스터에 설정되어 있는 이벤트가 같은 것에 의거해서 행해지는 것이다.
즉, 도 41의 화면에 있어서는, 영역(91)에 표시되고 있는 것 중에서 어떤 화상에 유저가 선택했을 때, 유저가 선택한 화상을 대표 화상으로 하는 클러스터에 포함되는 화상이 표시됨과 동시에, 그 클러스터와 같은 이벤트가 설정된 클러스터에 포함되는 화상이, 자동적으로 표시된다. 같은 상황에서 촬영한 화상이 자동적으로 표시되기 때문에, 이 표시에 의해서도, 유저의 기억의 상기(想起)가 도모되게 된다.
마찬가지로, 예를 들면 도 41 상태로부터, 유저가 타켓 화상을 화상(91B)에서 화상(91C)으로 전환했을 때, 화상(91C)을 대표 화상으로 하는 클러스터에 포함되는 화상이 화상(91C)의 위치를 기준으로 해서 종방향으로 정렬해서 표시됨과 동시에, 그것에 연동해서, 화상(91C)을 대표 화상으로 하는 클러스터와 같은 이벤트가 설정된 클러스터에 포함되는 화상도, 그 클러스터의 대표화의 위치를 기준으로 해서 종방향으로 정렬해서 표시된다.
또한, 도 41에 있어서, 화면의 거의 중앙에 형성되는 영역(94)은, 유저가 선 택한 소정의 클러스터에 포함되는 화상이 슬라이드 쇼 형태로 표시된다. 영역(95)은 슬라이드 쇼 표시되고 있는 화상의 정보가 표시되는 영역이다. 화면의 우측에 형성되는 영역(96)은 유저가 선택한 화상{도 41의 경우, 화상(91B)}의 정보와 유저가 선택한 화상을 대표 화상으로 하는 클러스터와 같은 이벤트가 설정되어 있는 클러스터의 대표 화상{도 41의 경우, 화상(91E)}의 정보가 표시되는 영역이다.
이상에 있어서는, 이벤트의 식별은 퍼스널 컴퓨터(1)에 의해 행해진다. 대안적으로 네트워크 상의 서버에 의해 이벤트의 식별이 행해진다. 화상이나 EXIF 정보를 서버에 송신해 온 유저에게 식별 결과가 되돌려 보내지는 이벤트 식별 서비스가 실현되도록 해도 좋다.
도 42는 이벤트 식별 서비스를 실현하는 구성의 예를 도시하는 도면이다.
도 42에 있어서는 디지털 카메라(2)와 서버(101)가 인터넷 등의 네트워크(102)를 거쳐서 접속되고, 디지털 카메라(2)와 서버(101)가 서로 통신을 행할 수 있도록 이루어져 있다.
예를 들면, 디지털 카메라(2)의 유저가 소정의 조작을 행했을 때, 디지털 카메라(2) 내에 기록되어 있는 화상이 EXIF 정보와 함께 네트워크(102)를 거쳐서 서버(101)에 송신되고, 디지털 카메라(2)로부터 송신된 정보를 수신한 서버(101)에 있어서, 상술한 바와 같은 이벤트 식별이 행해진다. 이벤트의 식별 결과는, 디지털 카메라(2)나 유저가 사용하는 퍼스널 컴퓨터에 네트워크(102)를 거쳐서 송신되고, 도 2에 도시되는 바와 같은 화상 열람 화면을 표시시키기 위해서 이용된다.
이와 같이, 네트워크(102)를 거쳐서 접속되는 서버(101) 상에서 이벤트의 식 별이 행해지고, 화상이나 EXIF 정보를 송신해 온 기기에 대해서 이벤트의 식별 결과가 서버(101)로부터 되돌려 보내지는 바와 같은 서비스가 실현되도록 해도 좋다.
이러한 이벤트 식별 서비스에 있어서, 상술한 바와 같은 클러스터링도 서버(101)에서 행해져서 클러스터링 결과가 서버(101)로부터 되돌려 보내진다. 그 다음 기기는 이벤트의 식별 결과와 클러스터링 결과를 수신한 기기에 있어서, 도 3에 도시되는 바와 같은 화면이 표시되도록 해도 좋다. 대안적으로, 이벤트 식별에 이용되는 메타데이터가 디지털 카메라(2)에 있어서 추출되고, 화상 자체는 송신되는 일 없이, 추출된 메타데이터만이 서버(101)에 송신되며, 서버(101)에 있어서 이벤트의 식별이 행해지도록 해도 좋다.
이상에 대해서는, "여행", "꽃놀이", "불꽃놀이", "드라이브·외출", "회식", "결혼식", "바베큐/캠프", "스포츠"의 8개의 이벤트가 식별을 위한 타겟 이벤트이다. 그러나 다른 이벤트를 식별하기 위한 식별 파일을 학습에 의해서 생성하고, 미리 준비해 두는 것에 의해서 다른 여러 가지 이벤트를 식별할 수 있도록 해도 좋다.
또, 이벤트를 식별하기 위해서 이용되는 데이터는, 도 8에 도시되는 바와 같은 데이터에 한정되는 것이 아니고, 촬영한 화상이나 EXIF 정보로부터 얻어진 다른 데이터 등의 각종 정보를 이용하는 것도 가능하다. 예를 들면, GPS(Global Positioning System) 센서에 의해 얻어진 촬영 위치의 정보 등이 이용되도록 해도 좋다.
이상에 있어서는, 이벤트의 식별, 클러스터링 및 그들 결과를 이용한 화상의 표시가 퍼스널 컴퓨터(1)에 의해 행해진다. 대안적으로, 이벤트 식별, 클러스터링 및 화상 표시와 같은 것을 수행하는 기능들이 디지털 카메라 자체나, 디지털 카메라를 내장(內藏)하는 휴대전화기, PDA(Personal Digital Assistants), 휴대용 게임기 등의 다른 기기에 탑재되도록 해도 좋다.
또, 이상에 있어서는, 디지털 카메라(2)에 의해 촬영된 정지 화상(靜止畵; still image)을 대상으로 해서 이벤트의 식별이 행해진다. 대안적으로 동영상(動畵; moving picture)을 촬영했을 때의 이벤트의 식별이나, 음악의 분위기의 식별 등의, 다른 컨텐츠를 대상으로 한 식별이 행해질 수 있다. 음악의 분위기를 식별할 수 있는 경우, 예를 들면, 어떤 이벤트에서 촬영한 화상을 슬라이드 쇼 표시하고 있을 때, 그 이벤트에 있던 분위기의 음악을 자동적으로 재생하거나 할 수가 있다.
상술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용 하드웨어에 실장(내장)되어 있는 컴퓨터, 또는 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들면 범용 퍼스널 컴퓨터 등에, 프로그램 기록 매체로부터 인스톨된다.
이 기록 매체는, 도 5에 도시되는 바와 같이, 장치 본체와는 별도로, 유저에게 프로그램을 제공하기 위해서 배포되는 리무버블 매체에 의해 구성될 뿐만 아니라, 장치 본체에 미리 실장된 상태에서 유저에게 제공되는, 프로그램이 기록되어 있는 ROM(42)이나, 기억부(48)에 포함되는 하드디스크 등으로 구성된다.
또한, 본 명세서에 있어서, 프로그램 기록 매체에 저장(格納; store)되는 프 로그램을 기술하는 단계는, 기재된 순서(順序)에 따라서 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 혹은 개별적으로 실행되는 처리도 포함하는 것이다.
본 발명의 기술 분야 당업자는 다양한 변경, 조합, 부조합 및 변경이 첨부된 청구항 또는 이와 동등한 범위 내에 있는 한 구성요건 및 다른 요소에 따라 발생할 수 있다고 이해할 수 있다.
본 발명의 1측면에 따르면, 화상을 촬영했을 때의 이벤트를 식별할 수가 있다.

Claims (10)

  1. 정보처리 장치에 있어서,
    대상(對象)으로 하는 화상 자체와, 화상의 속성 정보 중의 적어도 어느 하나로부터, 화상을 촬영했을 때의 이벤트의 식별에 이용되는 메타데이터를 추출(抽出; extract)하는 추출 수단과,
    식별 가능한 것으로서 미리 준비되는 복수(複數; 여러 개)의 이벤트 중, 대상으로 하는 상기 화상을 촬영했을 때의 1개의 이벤트를 상기 추출 수단에 의해 추출된 상기 메타데이터에 의거해서 식별하는 식별 수단
    을 구비하는
    정보처리 장치.
  2. 제1항에 있어서,
    상기 식별 수단은 식별한 이벤트를 나타내는 정보를, 이벤트 식별의 대상으로 한 상기 화상과 대응 지어서 관리하는
    정보처리 장치.
  3. 제1항에 있어서,
    복수의 화상의 그룹 나누기(分; dividing)를 행하는 연산 수단을 더 구비하고,
    상기 식별 수단은 상기 연산 수단에 의해 구해진 그룹에 대해서 1개의 이벤트를 설정하는
    정보처리 장치.
  4. 제3항에 있어서,
    같은(同; identical) 이벤트가 설정된 그룹의 각각에 포함되는 화상을 정렬해서(竝; align; 나란히 늘어놓아) 표시시키는 표시제어 수단을 더 구비하는
    정보처리 장치.
  5. 제4항에 있어서,
    상기 표시제어 수단은, 정렬해서 표시되는 화상 중에서 선택된 화상을 포함하는 그룹에 포함되는 화상을 일람(一覽; list) 표시시키는
    정보처리 장치.
  6. 제3항에 있어서,
    상기 연산 수단은, 그룹 나누기의 대상으로 되는 복수의 화상을, 각각의 화상의 속성(屬性) 정보에 포함되는 시각 정보에 의해 나타내어지는 시각의 시간 간격의 변동(variation) 정도가 임계값보다 큰 부분이 그룹의 경계 부분으로 되도록 그룹 나누기를 행하는
    정보처리 장치.
  7. 제 3항에 있어서, 상기 연산 수단은 이분목 구조 형태로 다수의 화상을 관리하여 다수의 화상을 분할하는데, 상기 연산 수단은 아들 노드의 부모 노드인 타겟 노드에 연결되는 아들 노드간의 시간 간격의 편차 대 타겟 노드의 화상에 관한 시간 정보로 표시된 시간의 시간 간격의 표준 편차의 비를 계산하고 상기 계산된 비를 아들 노드에 포함된 화상이 다른 그룹으로 분할하거나 동일 그룹으로 분류되는 것을 결정하도록 임계치와 비교하는
    정보처리 장치.
  8. 정보처리 방법에 있어서,
    대상으로 하는 화상 자체와, 화상의 속성 정보 중의 적어도 어느 하나로부터, 화상을 촬영했을 때의 이벤트의 식별에 이용되는 메타데이터를 추출하는 단계; 및
    식별 가능한 것으로서 미리 준비되는 복수의 이벤트 중, 대상으로 하는 상기 화상을 촬영했을 때의 1개의 이벤트가 추출된 상기 메타데이터에 의거해서 식별하는 단계를 포함하는
    정보처리 방법.
  9. 처리를 컴퓨터에 실행시키는 프로그램에 있어서,
    대상으로 하는 화상 자체와, 화상의 속성 정보 중의 적어도 어느 하나로부 터, 화상을 촬영했을 때의 이벤트의 식별에 이용되는 메타데이터를 추출하는 단계; 및
    식별 가능한 것으로서 미리 준비되는 복수의 이벤트 중, 대상으로 하는 상기 화상을 촬영했을 때의 1개의 이벤트가 추출된 상기 메타데이터에 의거해서 식별하는 단계를 포함하는
    처리를 컴퓨터에 실행시키는 프로그램.
  10. 정보처리 장치에 있어서,
    대상으로 하는 화상 자체와 대상으로 하는 화상에 관한 속성 정보 중 적어도 어느 하나로부터 화상을 촬영했을 때의 이벤트 식별에 사용되는 메타데이터를 추출하는데 작동하는 추출 수단; 및
    상기 추출 수단에 의해 추출된 메타데이터에 의거해서, 미리 준비된 다수의 이벤트 중 대상으로 하는 화상을 촬영했을 때의 이벤트를 식별하는데 작동하는 식별 수단을 포함하는
    정보처리 장치.
KR1020060105662A 2005-11-02 2006-10-30 정보 처리 장치 및 방법과 컴퓨터 판독가능한 기록 매체 KR101325110B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2005-00319724 2005-11-02
JP2005319724A JP4232774B2 (ja) 2005-11-02 2005-11-02 情報処理装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
KR20070047697A true KR20070047697A (ko) 2007-05-07
KR101325110B1 KR101325110B1 (ko) 2013-11-06

Family

ID=37671132

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060105662A KR101325110B1 (ko) 2005-11-02 2006-10-30 정보 처리 장치 및 방법과 컴퓨터 판독가능한 기록 매체

Country Status (6)

Country Link
US (2) US8538961B2 (ko)
EP (1) EP1785896A3 (ko)
JP (1) JP4232774B2 (ko)
KR (1) KR101325110B1 (ko)
CN (1) CN100435166C (ko)
TW (1) TWI351620B (ko)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2006201734A1 (en) 2005-04-27 2006-11-16 Aruze Corp. Gaming machine
JP5127507B2 (ja) 2007-02-27 2013-01-23 キヤノン株式会社 情報処理装置、情報処理方法、プログラムおよび露光システム
US8094948B2 (en) * 2007-04-27 2012-01-10 The Regents Of The University Of California Photo classification using optical parameters of camera from EXIF metadata
US7730036B2 (en) * 2007-05-18 2010-06-01 Eastman Kodak Company Event-based digital content record organization
KR100908890B1 (ko) * 2007-07-18 2009-07-23 (주)엔써즈 동영상 데이터 클러스터를 이용한 동영상 데이터 검색서비스 제공 방법 및 장치
JP5014241B2 (ja) * 2007-08-10 2012-08-29 キヤノン株式会社 撮像装置、およびその制御方法
JP5223293B2 (ja) * 2007-10-25 2013-06-26 沖電気工業株式会社 位置表現抽出装置、方法及びプログラム
TWI393116B (zh) * 2007-11-01 2013-04-11 Htc Corp 顯示影像的方法
JP5156335B2 (ja) * 2007-11-01 2013-03-06 キヤノン株式会社 画像表示装置及び画像表示方法、プログラム
US20100278396A1 (en) * 2008-01-18 2010-11-04 Nikon Corporation Image group title assigning device, image grouping device, representative image determination device for image group, image display device, camera, and image display program
JP2009217742A (ja) * 2008-03-12 2009-09-24 Fujifilm Corp メタデータ付与方法及び装置、並びにメタデータ付与プログラム
JP5068690B2 (ja) 2008-04-25 2012-11-07 富士フイルム株式会社 画像記録装置及び方法
JP2009294902A (ja) * 2008-06-05 2009-12-17 Nikon Corp 画像処理装置、およびカメラ
GB2461050A (en) * 2008-06-18 2009-12-23 Geotate Bv Storing location metadata independently of image data
JP5228655B2 (ja) * 2008-07-09 2013-07-03 株式会社ニコン デジタルフォトフレーム
KR101460612B1 (ko) * 2008-10-10 2014-11-13 삼성전자주식회사 디지털 이미지 처리장치, 그 제어방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체
JP2010111093A (ja) * 2008-11-10 2010-05-20 Seiko Epson Corp 画像形成装置およびプログラム
TWI552608B (zh) * 2008-12-19 2016-10-01 湯姆生特許公司 旨在保護存取於儲存機構上所記錄視聽文件之顯示裝置及方法
US8340436B2 (en) * 2009-06-19 2012-12-25 Eastman Kodak Company Detecting significant events in consumer image collections
TWI458291B (zh) * 2009-06-22 2014-10-21 Wistron Corp 實像網控裝置及其相關方法
WO2011007418A1 (ja) * 2009-07-14 2011-01-20 株式会社ビジョナリスト 画像データ表示システム及び画像データ表示プログラム
US20110239163A1 (en) * 2009-12-04 2011-09-29 Daisuke Mochizuki Display screen control method, graphical user interface, information processing apparatus, information processing method, and program
JP5434569B2 (ja) * 2009-12-22 2014-03-05 ソニー株式会社 情報処理装置および方法、並びにプログラム
WO2011089884A1 (ja) * 2010-01-25 2011-07-28 パナソニック株式会社 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路
US9465993B2 (en) * 2010-03-01 2016-10-11 Microsoft Technology Licensing, Llc Ranking clusters based on facial image analysis
US10191609B1 (en) 2010-03-26 2019-01-29 Open Invention Network Llc Method and apparatus of providing a customized user interface
JP2011215963A (ja) * 2010-03-31 2011-10-27 Sony Corp 電子機器、画像処理方法及びプログラム
GB2479734A (en) * 2010-04-19 2011-10-26 Alamy Ltd Selection of Images by converting unstructured textual data to search attributes
US8713064B1 (en) * 2010-06-28 2014-04-29 Open Invention Network, Llc Attribute category enhanced search
US8892594B1 (en) 2010-06-28 2014-11-18 Open Invention Network, Llc System and method for search with the aid of images associated with product categories
JP5739428B2 (ja) * 2010-08-04 2015-06-24 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路
US8654148B2 (en) * 2010-12-23 2014-02-18 Sony Corporation Display control apparatus for deciding a retrieval range for displaying stored pieces of information
JP5890325B2 (ja) 2011-01-28 2016-03-22 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像データ処理装置、方法、プログラム及び集積回路
KR101102896B1 (ko) * 2011-03-04 2012-01-09 (주)올라웍스 복수의 사용자가 동시에 콜렉션을 수행할 수 있도록 지원하기 위한 방법, 서버 및 컴퓨터 판독 가능한 기록 매체
KR101703931B1 (ko) * 2011-05-24 2017-02-07 한화테크윈 주식회사 감시 시스템
CN103597432A (zh) * 2011-06-08 2014-02-19 索尼公司 信息处理装置、信息处理方法以及计算机程序产品
JP5995520B2 (ja) * 2011-06-14 2016-09-21 キヤノン株式会社 画像に関する処理支援システム、情報処理装置、及び画像に関する処理影支援方法
US9239967B2 (en) 2011-07-29 2016-01-19 Hewlett-Packard Development Company, L.P. Incremental image clustering
US9497249B2 (en) * 2011-08-08 2016-11-15 Sony Corporation Information processing apparatus, information processing method, program, and information processing system
JP5204283B2 (ja) * 2011-09-27 2013-06-05 楽天株式会社 画像編集装置、画像編集方法、プログラムおよびコンピュータ読み取り可能な記憶媒体
KR101952260B1 (ko) * 2012-04-03 2019-02-26 삼성전자주식회사 다수의 동영상 썸네일을 동시에 표시하기 위한 영상 재생 장치 및 방법
WO2013177515A1 (en) * 2012-05-24 2013-11-28 Nant Holdings Ip, Llc Event archiving, systems and methods
US20150156247A1 (en) * 2012-09-13 2015-06-04 Google Inc. Client-Side Bulk Uploader
US10272848B2 (en) * 2012-09-28 2019-04-30 Digital Ally, Inc. Mobile video and imaging system
US9424280B2 (en) * 2012-12-28 2016-08-23 Animoto Inc. Organizing media items based on metadata similarities
JP2014106527A (ja) * 2013-07-04 2014-06-09 Sky Co Ltd 画像比較表示システムおよび画像比較表示プログラム
JP5938379B2 (ja) * 2013-09-24 2016-06-22 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
US9070048B2 (en) * 2013-10-17 2015-06-30 Adobe Systems Incorporated Method and apparatus for automatically identifying a representative image for an image group
US10467279B2 (en) 2013-12-02 2019-11-05 Gopro, Inc. Selecting digital content for inclusion in media presentations
CN105338237A (zh) * 2014-08-06 2016-02-17 腾讯科技（深圳）有限公司 图像处理方法及装置
JP6402934B2 (ja) * 2015-05-19 2018-10-10 カシオ計算機株式会社 動画生成装置、動画生成方法、及びプログラム
CN105654105A (zh) * 2015-05-27 2016-06-08 宇龙计算机通信科技(深圳)有限公司 一种照片分类方法和装置
JP6178524B2 (ja) * 2015-07-31 2017-08-09 カディンチェ株式会社 パノラマ動画再生装置、パノラマ動画編集装置、パノラマ動画再生方法、パノラマ動画再生プログラム、パノラマ動画再生システム及びパノラマ動画送信装置
JP6513009B2 (ja) * 2015-09-30 2019-05-15 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
CN106656725B (zh) * 2015-10-29 2020-06-19 深圳富泰宏精密工业有限公司 智能终端、服务器及信息更新***
CN106921744A (zh) * 2017-03-14 2017-07-04 湖南威达科技有限公司 一种基于大数据与图像识别的家庭养护鸡爪槭的app
CN106921743A (zh) * 2017-03-14 2017-07-04 湖南威达科技有限公司 一种基于大数据与图像识别的家庭养护海棠花的app
US11169661B2 (en) * 2017-05-31 2021-11-09 International Business Machines Corporation Thumbnail generation for digital images
JP6934001B2 (ja) 2018-09-27 2021-09-08 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
US11574002B1 (en) * 2022-04-04 2023-02-07 Mindtech Global Limited Image tracing system and method

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1051721A (ja) 1996-08-02 1998-02-20 Ricoh Co Ltd デジタルスチルビデオカメラ
JP3246384B2 (ja) 1997-03-13 2002-01-15 株式会社日立製作所 画像記録装置および画像記録方法
US6606411B1 (en) * 1998-09-30 2003-08-12 Eastman Kodak Company Method for automatically classifying images into events
US6721759B1 (en) * 1998-12-24 2004-04-13 Sony Corporation Techniques for spatial representation of data and browsing based on similarity
JP3972527B2 (ja) 1999-08-06 2007-09-05 カシオ計算機株式会社 撮像装置及びフォルダの自動作成方法
JP4089097B2 (ja) 1999-08-09 2008-05-21 カシオ計算機株式会社 データ保存装置及びデータ記憶方法
JP4017804B2 (ja) 2000-02-18 2007-12-05 富士フイルム株式会社 画像撮影装置、画像処理装置、及び画像管理方法
GB2360658B (en) * 2000-03-20 2004-09-08 Hewlett Packard Co Camera with user identity data
JP2001282813A (ja) * 2000-03-29 2001-10-12 Toshiba Corp マルチメディアデータ検索方法、インデックス情報提供方法、マルチメディアデータ検索装置、インデックスサーバ及びマルチメディアデータ検索サーバ
JP2002032751A (ja) * 2000-07-18 2002-01-31 Olympus Optical Co Ltd 学習型画像分類装置及び方法並びにその処理プログラムを記録した記録媒体
JP2003037731A (ja) * 2001-05-14 2003-02-07 Canon Inc 画像処理装置およびその方法
US6943842B2 (en) * 2001-11-02 2005-09-13 Hewlett-Packard Development Company, L.P. Image browsing user interface apparatus and method
JP4235393B2 (ja) * 2002-03-11 2009-03-11 富士フイルム株式会社 インデックス画像表示制御装置
JP2003274368A (ja) * 2002-03-14 2003-09-26 Fuji Photo Film Co Ltd サムネイル表示装置及びサムネイル表示プログラム
JP2003298991A (ja) * 2002-03-29 2003-10-17 Fuji Photo Film Co Ltd 画像整理方法および装置並びにプログラム
US7197158B2 (en) * 2002-06-28 2007-03-27 Microsoft Corporation Generation of metadata for acquired images
JP2004213129A (ja) 2002-12-27 2004-07-29 Fuji Photo Film Co Ltd 画像分類方法および装置並びにプログラム
JP2005044330A (ja) * 2003-07-24 2005-02-17 Univ Of California San Diego 弱仮説生成装置及び方法、学習装置及び方法、検出装置及び方法、表情学習装置及び方法、表情認識装置及び方法、並びにロボット装置
JP4457660B2 (ja) 2003-12-12 2010-04-28 パナソニック株式会社 画像分類装置、画像分類システム、画像分類に関するプログラム、およびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
US7528868B2 (en) * 2003-12-18 2009-05-05 Eastman Kodak Company Image metadata attachment
US7760956B2 (en) * 2005-05-12 2010-07-20 Hewlett-Packard Development Company, L.P. System and method for producing a page using frames of a video stream
US7421455B2 (en) * 2006-02-27 2008-09-02 Microsoft Corporation Video search and services

Also Published As

Publication number Publication date
JP2007129434A (ja) 2007-05-24
US20070103565A1 (en) 2007-05-10
KR101325110B1 (ko) 2013-11-06
CN1959705A (zh) 2007-05-09
TWI351620B (en) 2011-11-01
US20130279815A1 (en) 2013-10-24
US8538961B2 (en) 2013-09-17
EP1785896A3 (en) 2007-06-27
TW200739371A (en) 2007-10-16
CN100435166C (zh) 2008-11-19
US9507802B2 (en) 2016-11-29
JP4232774B2 (ja) 2009-03-04
EP1785896A2 (en) 2007-05-16

Similar Documents

Publication Publication Date Title
KR101325110B1 (ko) 정보 처리 장치 및 방법과 컴퓨터 판독가능한 기록 매체
JP4577173B2 (ja) 情報処理装置および方法、並びにプログラム
US7716157B1 (en) Searching images with extracted objects
US20200279426A1 (en) Apparatus, method and storage medium
JP4810420B2 (ja) 画像処理装置及び画像処理方法、サーバ及びその制御方法、プログラム並びに記憶媒体
US11450045B2 (en) Apparatus, method and medium
JP2020140577A (ja) 装置、方法、及びプログラム
KR101475939B1 (ko) 이미지 처리 장치의 제어 방법과 이미지 처리 장치, 이미지파일
US20070242138A1 (en) Camera user input based image value index
US20200234076A1 (en) Image candidate determination apparatus, image candidate determination method, program for controlling image candidate determination apparatus, and recording medium storing program
US11645795B2 (en) Apparatus, method and medium
JP2007041964A (ja) 画像処理装置
JP4457988B2 (ja) 画像管理装置、画像管理方法およびコンピュータプログラム
US9542594B2 (en) Information processing apparatus, method for processing information, and program
US20130002903A1 (en) Camera user input based image value index
CN106454064A (zh) 图像处理装置以及图像处理方法
US8320609B2 (en) Device and method for attaching additional information
JP2020140557A (ja) 画像処理装置、制御方法、及びプログラム
JP2007133838A (ja) 画像表示方法及び画像表示プログラム
JP2020140555A (ja) 画像処理装置、制御方法、及びプログラム
JP2010250634A (ja) 画像サーバー、画像検索システム、画像検索方法およびインデックス作成方法
US8682834B2 (en) Information processing apparatus and information processing method
WO2020172366A1 (en) Method and system for image searching and evaluation using tags
WO2023127366A1 (ja) 画像ファイル変換方法、画像ファイル変換装置、及びプログラム
JP2010250633A (ja) 画像サーバー、画像検索システム、画像検索方法およびインデックス作成方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee