KR100750424B1 - 화상 유사도 산출 시스템, 화상 검색 시스템, 화상 유사도산출 방법 및 화상 유사도 산출용 프로그램 - Google Patents
화상 유사도 산출 시스템, 화상 검색 시스템, 화상 유사도산출 방법 및 화상 유사도 산출용 프로그램 Download PDFInfo
- Publication number
- KR100750424B1 KR100750424B1 KR1020067000668A KR20067000668A KR100750424B1 KR 100750424 B1 KR100750424 B1 KR 100750424B1 KR 1020067000668 A KR1020067000668 A KR 1020067000668A KR 20067000668 A KR20067000668 A KR 20067000668A KR 100750424 B1 KR100750424 B1 KR 100750424B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- similarity
- small
- processing
- region
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Abstract
가공 처리가 실시된 화상과 원화상 간의 화상 유사도를 높은 값으로서 산출하는 화상 유사도 산출 시스템을 제공한다. 국소 영역 가중치 산출 수단(14)은 화상의 국소 영역마다 가공 처리가 실시되는 확률에 기초하여 화상의 국소 영역마다의 가중치를 국소 영역 가중치로서 산출하고, 산출된 국소 영역 가중치를 화상 유사도 산출 수단(122)에 출력한다. 소영역 유사도 산출 수단(121)은, 조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을 비교하여, 각 소영역마다의 특징량의 유사도를 산출한다. 화상 유사도 산출 수단(122)은, 산출된 각 소영역마다의 특징량의 유사도에 국소 영역 가중치 산출 수단(14)으로부터 입력되는 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 작용시켜 조회 화상과 참조 화상의 화상 유사도를 산출한다.
소영역 유사도 산출 수단, 화상 분할 수단, 화상 유사도, 특징량 추출부
Description
본 발명은, 복수의 화상의 유사도를 산출하는 화상 유사도 산출 시스템, 화상 유사도 산출 방법 및 화상 유사도 산출용 프로그램 및 조회 화상과 유사한 화상을 검색하는 화상 검색 시스템에 관한 것으로, 특히 가공 처리가 실시된 화상과 원화상의 유사도를 산출하는 화상 유사도 산출 시스템, 화상 유사도 산출 방법 및 화상 유사도 산출용 프로그램 및 가공 처리가 실시된 조회 화상과 유사한 화상을 검색하는 화상 검색 시스템에 관한 것이다.
비교하고 있는 2개의 화상의 유사도를 산출하는 화상 유사도 산출 방법은, 일반적으로 등록된 검색 대상의 화상군 중에서, 조회 화상과 유사한 화상을 검색하는 화상 검색에서, 조회 화상과 검색 대상 화상의 유사도를 산출하기 위해 이용되고 있다.
종래의 화상 검색 방법의 일례가 특허 문헌1에 기재되어 있다. 특허 문헌1에 기재되어 있는 화상 검색 방법에서는, 화상을 복수의 블록으로 분할하고, 각 블 록의 특징량을 산출한다. 또한, 각 블록에 대하여 취득된 특징량에 따라 각 블록에 라벨을 부여하고, 라벨을 소정의 순서로 열거하여 라벨 행렬을 생성한다. 그리고, 조회 화상과 검색 대상 화상의 화상 유사도를, 각각의 화상으로부터 얻어지는 라벨열의 유사도로서 산출하고, 검색에서는 화상 유사도가 임계치를 초과하는 검색 대상 화상을 검색 결과로서 출력한다.
또한, 조회 화상과 부분적으로 유사한 화상의 검색을 행하는 화상 검색 방법이, 특허 문헌2에 기재되어 있다. 특허 문헌2에 기재되어 있는 화상 검색 방법에서는, 조회 화상을 입력함과 함께, 조회 화상 내의 검색의 대상으로 하는 영역을 조회 영역으로서 입력한다. 그리고, 조회 화상을 블록 분할하고, 각 블록과 조회 영역이 겹치는 면적에 따라 설정한 가중치로 각 블록의 특징량을 가중치 부여하여 특징량을 산출한다. 검색 대상의 화상에 대해서도 마찬가지로 특징량을 산출하고, 쌍방의 특징량을 비교하여 화상 유사도를 산출한다. 검색에서는, 화상 유사도가 높은 화상을 검색 결과로서 출력한다.
또한, 유저의 검색의 의도를 반영한 화상 검색 방법이, 특허 문헌3에 기재되어 있다. 특허 문헌3에 기재되어 있는 화상 검색 방법에서는, 조회 화상 및 검색 대상의 화상을 복수의 영역으로 나누고, 유저가 각 분할 영역에 상이한 가중치를 설정한다. 조회 화상과 검색 대상의 화상 사이에서 각 분할 영역마다 특징량을 비교하여 얻어지는 유사도에 대하여, 각 분할 영역에 설정된 가중치를 작용시킴으로써 화상 유사도를 산출한다. 유저가 검색 시에 중요시하고자 하는 영역을 지정할 수 있기 때문에, 유저의 검색의 의도를 반영한 화상 검색을 행할 수 있다.
특허 문헌1 : 일본 특개평11-312248호 공보(단락0012-0013, 도 9, 도 13)
특허 문헌2 : 일본 특개2000-163576호 공보(단락0017-0020, 도 7, 도 8)
특허 문헌3 : 일본 특개2001-134765호 공보(단락0028-0031, 도 11)
<발명이 해결하고자 하는 과제>
그러나, 특허 문헌1에 기재되어 있는 방법에서는, 조회 화상과 검색 대상의 화상의 동일성을 전제로 하고 있다. 이 때문에, 화상에 텔롭 중첩, 화상의 일부의 오려내기·잘라내기 등의 각종 가공 처리가 실시되어 화상의 그림이 부분적으로 변화한 화상과, 가공 전의 원화상 간의 화상 유사도는 낮은 값으로서 산출된다. 따라서, 가공 처리가 실시된 화상으로부터 원화상을 판정이나 검색하는 데 충분한 성능을 얻을 수 없다고 하는 문제점이 있다.
또한, 특허 문헌2에 기재되어 있는 방법에서는, 부분적으로 그림이 상이한 가공 화상에 대응할 수 있지만, 검색의 대상으로 하는 영역을 미리 지정할 필요가 있다. 특허 문헌3에 기재되어 있는 방법에서도, 마찬가지로 화상의 영역마다 가중치를 설정함으로써, 검색 시에 중요시하고자 하는 영역을 유저가 지정할 필요가 있다. 이 때문에, 가공 처리가 실시된 화상으로부터, 가공 전의 원화상을 판정하거나 검색하거나 하는 목적으로 화상 유사도를 산출하기 위해, 유저가 가공 처리가 실시되어 있지 않은 영역을 미리 지정할 필요가 있다. 따라서, 유저에게 큰 부담이 된다고 하는 문제점이 있다.
본 발명은, 상기의 문제점을 해결하기 위해 이루어진 것으로, 영역을 지정한다고 하는 부담을 유저에게 주지 않고, 가공 처리가 실시되어 부분적으로 그림이 변화한 화상으로부터 가공 전의 원화상을 정밀도 높게 판정하거나 검색하거나 하기 위해, 가공 처리가 실시된 화상과 가공 전의 원화상 간의 화상 유사도를 높은 값으로서 산출할 수 있는 화상 유사도 산출 시스템, 화상 검색 시스템, 화상 유사도 산출 방법 및 화상 유사도 산출용 프로그램을 제공하는 것을 목적으로 한다.
<과제를 해결하기 위한 수단>
본 발명에 따른 화상 유사도 산출 시스템, 화상 유사도 산출 방법 및 화상 유사도 산출용 프로그램은, 화상에 가공 처리가 실시되는 확률 모델을 고려하면서, 조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을 비교하여, 조회 화상과 참조 화상의 화상 유사도를 산출하도록 구성되어 있는 것을 특징으로 한다.
본 발명에 따른 다른 양태의 화상 유사도 산출 시스템, 화상 유사도 산출 방법 및 화상 유사도 산출용 프로그램은, 조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을 영역마다 화상에 가공 처리가 실시되는 확률 모델을 고려하면서 비교하여, 조회 화상과 참조 화상의 화상 유사도를 산출하도록 구성되어 있는 것을 특징으로 한다.
본 발명에 따른 또 다른 양태의 화상 유사도 산출 시스템, 화상 유사도 산출 방법 및 화상 유사도 산출용 프로그램은, 조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을 비교한 후, 화상에 가공 처리가 실시되는 확률 모델을 고려하여 조회 화상과 참조 화상의 화상 유사도를 산출하도록 구성되어 있는 것을 특징으로 한다.
본 발명에 따른 또 다른 양태의 화상 유사도 산출 시스템, 화상 유사도 산출 방법 및 화상 유사도 산출용 프로그램은, 조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을, 영역마다 화상에 가공 처리가 실시되는 확률 모델을 고려하면서 비교한 후, 확률 모델을 고려하여 조회 화상과 참조 화상의 화상 유사도를 산출하도록 구성되어 있는 것을 특징으로 한다.
본 발명에 따른 화상 유사도 산출 시스템의 바람직한 일 양태는, 예를 들면 영역마다 화상에 가공 처리가 실시되는 확률에 기초하여 화상의 영역마다의 가중치를 산출하는 국소 영역 가중치 산출 수단과, 조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을 비교하여 소영역마다의 특징량의 유사도를 산출하는 소영역 유사도 산출 수단과, 산출된 소영역마다의 유사도에 영역마다의 가중치를 작용시켜 조회 화상과 참조 화상의 화상 유사도를 산출하는 화상 유사도 산출 수단을 구비한 구성이다. 이러한 구성을 채용하여, 화상의 영역마다의 가공 확률을 고려하여 화상 유사도를 산출함으로써, 화상의 유사도의 판정에서 가공 처리가 실시된 확률이 높은 영역의 영향을 배제할 수 있기 때문에, 가공 처리가 실시된 화상과 원화상 간의 화상 유사도를 높은 값으로서 산출할 수 있다.
본 발명에 따른 화상 유사도 산출 시스템의 바람직한 일 양태는, 예를 들면 영역마다 화상에 가공 처리가 실시되는 확률에 기초하여 화상 간의 일치를 판정하는 임계치를 산출하는 일치 판정 임계치 산출 수단과, 조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을 비교하여 소영역마다의 특징량의 유사도를 산출하는 소영역 유사도 산출 수단과, 산출된 소영역마다의 유사도로부터 화상 전체의 유사도를 산출한 후 일치를 판정하는 임계치를 이용하여 화상 전체의 유사도를 수정하여 조회 화상과 참조 화상의 화상 유사도를 산출하는 화상 유사도 산출 수단을 구비한 구성이다. 이러한 구성을 채용하여, 화상에 가공 처리가 실시되는 확률 모델에 기초하여 화상 간의 유사도의 확률 분포를 추정함으로써, 비교하는 2개의 화상이 일치하는지의 여부를 판정하는 최적의 임계치를 산출하고, 상기 임계치를 이용하여 화상 간의 유사도를 수정함으로써, 가공 처리가 실시된 화상과 원화상 간의 화상 유사도를 높은 값으로서 산출할 수 있어, 전혀 무관한 2개의 화상 간의 화상 유사도를 낮은 값으로서 산출할 수 있고, 가공 처리가 실시된 조회 화상이 참조 화상으로부터 생성된 것인지의 여부를 판정하는 데 적합한 화상 유사도를 산출할 수 있다.
본 발명에 따른 화상 검색 시스템의 바람직한 일 양태는, 예를 들면 입력으로서 주어지는 학습 화상 또는 기기 특성으로부터 화상의 국소 영역마다 가공 처리가 실시되는 확률을 국소 영역 가공 확률로서 산출하는 가공 확률 모델 추정 수단과, 국소 영역 가공 확률에 기초하여 화상의 국소 영역마다의 가중치를 국소 영역 가중치로서 산출하는 국소 영역 가중치 산출 수단과, 입력으로서 주어지는 가공 처리가 실시된 조회 화상을 소영역으로 분할하는 화상 분할 수단과, 분할된 소영역으로부터 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하는 소영역 특징량 추출 수단과, 사전에 등록된 복수의 참조 화상으로 이루어지는 참조 화상군에서의 각각의 참조 화상의 소영역 특징량을 기억하는 참조 화상군 소영역 특징량 기억부와, 참조 화상군 소영역 특징량 기억부에 기억된 각 참조 화상의 소영역 특징량과 조회 화상의 소영역 특징량을 비교하여, 각 참조 화상에 대한 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하는 소영역 유사도 산출 수단과, 소영역 유사도 산출 수단이 산출한 각 참조 화상에 대한 소영역 유사도에 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여를 행하여 조회 화상과 참조 화상군의 각 참조 화상과의 화상 유사도를 산출하는 화상 유사도 산출 수단과, 화상 유사도 산출 수단이 산출한 각 참조 화상에 대한 화상 유사도에 기초하여, 참조 화상군 중에서 조회 화상에 대한 검색 결과를 출력하는 검색 결과 출력 수단을 구비한 구성이다. 이러한 구성을 채용하여, 화상의 영역마다의 가공 확률을 고려하여 화상 유사도를 산출함으로써, 화상의 유사도의 판정에서 가공 처리가 실시된 확률이 높은 영역의 영향을 배제할 수 있기 때문에, 가공 처리가 실시된 화상과 유사도가 높은 참조 화상을 추출할 수 있다.
<발명의 효과>
본 발명의 제1 효과는, 가공 처리가 실시된 화상과 원화상 간의 화상 유사도를 높은 값으로서 산출할 수 있는 것에 있다. 그 이유는, 화상에 가공 처리가 실시되는 확률 모델을 고려하면서 화상 유사도를 산출함으로써, 화상 유사도의 산출에서 가공 처리가 실시된 확률이 높은 영역의 영향을 배제할 수 있기 때문이다.
본 발명의 제2 효과는, 가공 처리가 실시된 화상으로부터 원화상을 정밀도 높게 검색할 수 있는 것에 있다. 그 이유는, 가공 처리가 실시된 화상과 원화상 간의 화상 유사도를 높은 값으로서 산출할 수 있는 제1 효과를 갖는 화상 유사도의 산출 방법을 이용하여 화상의 검색을 행하기 때문이다.
도 1은 본 발명의 제1 실시 형태의 구성을 도시하는 블록도.
도 2는 본 발명의 제1 실시 형태의 동작을 도시하는 플로우차트.
도 3은 국소 영역 가공 확률의 산출의 방법을 설명하는 설명도.
도 4는 제1 실시 형태의 변형예를 도시하는 블록도.
도 5는 가공 확률 모델 기억 수단에 기억되는 국소 영역 가공 확률의 일례를 도시하는 설명도.
도 6은 제1 실시 형태의 다른 변형예를 도시하는 블록도.
도 7은 본 발명의 제2 실시 형태의 구성을 도시하는 블록도.
도 8은 본 발명의 제2 실시 형태의 동작을 도시하는 플로우차트.
도 9는 본 발명의 제3 실시 형태의 구성을 도시하는 블록도.
도 10은 본 발명의 제4 실시 형태의 구성을 도시하는 블록도.
도 11은 본 발명의 제5 실시 형태의 구성을 도시하는 블록도.
도 12는 본 발명의 제5 실시 형태의 동작을 도시하는 플로우차트.
도 13은 본 발명의 제6 실시 형태의 구성을 도시하는 블록도.
도 14는 본 발명의 제6 실시 형태의 동작을 도시하는 플로우차트.
도 15는 본 발명의 제7 실시 형태의 구성을 도시하는 블록도.
도 16은 본 발명의 제8 실시 형태의 구성을 도시하는 블록도.
도 17은 본 발명의 제9 실시 형태의 구성을 도시하는 블록도.
도 18은 본 발명의 제10 실시 형태의 구성을 도시하는 블록도.
도 19는 본 발명의 제11 실시 형태의 구성을 도시하는 블록도.
도 20은 본 발명의 제12 실시 형태의 구성을 도시하는 블록도.
<부호의 설명>
11 : 특징량 추출부
111 : 화상 분할 수단
112 : 소영역 특징량 추출 수단
12, 22, 32, 42, 52, 62, 72, 82, 92, 1120, 1220 : 화상 유사도 산출부
121, 221, 321, 421, 521, 621, 721, 821, 9211, 1021, 1121, 1221, : 소영역 유사도 산출 수단
122, 222, 322, 422, 522, 622, 722, 822, 922, 1022, 1122, 1222 : 화상 유사도 산출 수단
13, 53, 93 : 가공 확률 모델 추정 수단
139 : 가공 확률 모델 기억 수단
14, 34, 94, 114 : 국소 영역 가중치 산출 수단
25 : 참조 화상군 소영역 특징량 기억부
26 : 검색 결과 출력 수단
33, 73, 113 : 가공 영역 검출 수단
54, 74, 95, 115 : 일치 판정 임계치 산출 수단
이하, 본 발명을 실시하기 위한 최량의 형태에 대하여 도면을 참조하여 상세히 설명한다.
(제1 실시 형태)
본 발명의 제1 실시 형태에 대하여 도면을 참조하여 설명한다. 도 1의 블록도에 도시한 바와 같이, 본 발명의 화상 유사도 산출 시스템의 제1 실시 형태는, 기능 상 특징량 추출부(11)와, 화상 유사도 산출부(12)와, 가공 확률 모델 추정 수단(가공 확률 산출 수단의 일례)(13)과, 국소 영역 가중치 산출 수단(14)을 구비하고 있다.
특징량 추출부(11)는, 기능 상 화상 분할 수단(111)과, 소영역 특징량 추출 수단(112)을 포함한다.
화상 분할 수단(111)은 가공 처리가 실시된 조회 화상이 입력되면, 조회 화상을 소영역으로 분할하고, 소영역으로 분할된 조회 화상을 소영역 특징량 추출 수단(112)에 출력한다. 가공 처리는, 화상의 그림을 부분적으로 변화시키는 처리를 의미한다. 가공 처리의 예로서, 화상에 대한 텔롭 자막이나 캐릭터 등의 중첩 오브젝트의 오버레이, 화상의 일부의 오려내기·잘라내기, 화상의 일부에 대한 모자이크 처리·바림 처리 등이 있다. 소영역으로 분할하는 방법은 임의적이다. 소영역으로 분할하는 방법의 예로서, 화상을 동일한 크기의 사각형으로 분할하는 방법, 화상을 불균일한 크기의 사각형으로 분할하는 방법, 화상을 원형이나 삼각형 등의 사각형 이외의 임의의 형상·임의의 크기로 분할하는 방법 등이 있지만, 이들 분할 방법에 한정된 것은 아니다. 또한, 소영역의 일부가 중복되도록 분할하여도 된다. 또한, 화상 전체를 소영역으로 분할할 필요도 없이, 화상의 일부만을 소영역으로 분할하여도 된다.
소영역 특징량 추출 수단(112)은, 화상 분할 수단(111)으로부터 입력되는 소영역으로 분할된 조회 화상으로부터 각 소영역의 특징량을 추출하고, 추출된 조회 화상의 소영역 특징량을 소영역 유사도 산출 수단(121)에 출력한다. 추출하는 소영역 특징량의 예로서, 색 정보, 엣지 정보, 텍스쳐 정보, 형상 정보, 움직임 정보 등이 있지만, 이들에 한정된 것은 아니다.
색 정보의 소영역 특징량의 예로서, 각 소영역 내의 전체 화소값의 평균값, 최빈도값, 미디언값 등의 대표값이나, 화소값의 출현 히스토그램 등이 있다. 화소값이란, RGB 표색 공간, HSV 표색 공간, YUV 표색 공간, YIQ 표색 공간, YCbCr 표색 공간, L*a*b* 표색 공간, XYZ 표색 공간 등의 각종 표색 공간계의 좌표값을 의미한다. 또한, 국제 표준 규격 ISO/IEC 15938-3에 규정되어 있는 Dominant Color, Color Layout, Scalable Color, Color Structure 등의 색 정보에 관한 특징량을 이용해도 된다.
엣지 정보의 소영역 특징량의 예로서, 각 소영역의 대국적인 엣지 패턴을, 복수개 있는 엣지 패턴 중 가장 합치하는 패턴으로서 기술하는 특징량(이후, 엣지 요소 특징량이라고 함)을 이용하여도 되고, 각 소영역 내의 국소적인 엣지 패턴의 출현 히스토그램을 이용해도 된다. 또한, ISO/IEC 15938-3에 규정되어 있는 Edge Histogram을 이용해도 된다. 텍스쳐 정보의 특징량의 예로서는, ISO/IEC 15938-3에 규정되어 있는 Homogeneous Texture나 Texture Browsing 등이 있다. 형상 정보 의 특징량의 예로서는, ISO/IEC 15938-3에 규정되어 있는 Rejon Shape, Contour Shape, Shape 3D 등이 있다.
또한, 조회 화상이 동화상의 프레임 화상인 경우에는, 소영역 특징량으로서 움직임 정보를 이용해도 된다. 움직임 정보의 특징량의 예로서는, ISO/IEC 15938-3에 규정되어 있는 Parametric Motion이나 Motion Activity 등이 있다.
가공 확률 모델 추정 수단(13)은, 입력으로서 주어지는 가공 처리가 실시된 학습 화상 또는 가공 처리를 실시하는 기기의 특성으로부터, 화상의 국소 영역마다 가공 처리가 실시되는 확률을 국소 영역 가공 확률로서 산출하고, 산출된 국소 영역 가공 확률을 국소 영역 가중치 산출 수단(14)에 출력한다. 국소 영역은, 화상 분할 수단(111)에서 분할되는 소영역과 대응하는 것이 바람직하지만, 화상 분할 수단(111)에서 분할되는 소영역을 더 작은 복수의 영역으로 분할한 것이어도 되고, 화상의 각 화소를 국소 영역으로 하여도 된다. 또한, 화상 분할 수단(111)에서의 소영역 분할 방법과는 상이한 임의의 형상이나 크기로 분할한 영역을 국소 영역으로 하여도 된다.
학습 화상은, 가공 확률 모델 추정 수단(13)이 국소 영역 가공 확률을 산출하기 위한 기초로 되는 하나 또는 복수의 가공 처리가 실시된 화상이다. 예를 들면, 본 발명이 영상 편집 장치에 적용되는 경우에는, 가공 처리가 실시된 임의의 영상을 구성하는 프레임 화상을 학습 화상으로서 이용할 수 있다. 또한, 학습 화상은 1 종류에 한정되지 않고, 예를 들면 뉴스 프로그램으로서 사용되는 뉴스 화상, 스포츠 프로그램으로서 사용되는 스포츠 화상, 버라이어티 프로그램으로서 사 용되는 버라이어티 화상 등, 화면에서 텔롭 삽입 등의 가공 처리가 실시되는 장소에 특징이 있다고 상정되는 종별마다 분류되어 있어도 된다. 예를 들면, 스포츠 화상에 대해서는, 화면에서의 주변 부분에 가공 처리가 실시되는 가능성이 높다고 상정되고, 버라이어티 프로그램 화상에 대해서는, 화면에서의 중앙 부분에 가공 처리가 실시되는 가능성이 높다고 상정되는 경우 등에, 스포츠 화상용의 학습 화상과, 버라이어티 프로그램 화상용의 학습 화상을 구분하여 사용하면 된다. 이 경우에는, 가공 확률 모델 추정 수단(13)은 종별마다의 국소 영역 가공 확률을 산출한다. 또한, 유저가 조회 화상의 종별을 지정함으로써, 조회 화상의 종별에 대응한 국소 영역 가공 확률을 사용할 수 있다.
가공 처리가 실시된 학습 화상이 입력으로서 주어지는 경우에는, 학습 화상에서 가공 처리가 실시된 영역을 특정하여, 국소 영역 가공 확률을 계측한다. 가공 처리가 실시된 영역을 특정하는 방법으로서는, 수동으로 행하여도 되고, 예를 들면 일본 특개2003-179888호 공보에 기재되어 있는 화상 정보와 문자 정보를 분리하는 방법(이하, 텔롭 검출 방법이라고 함) 등의 가공 처리를 자동적으로 검출하는 방법을 이용해도 된다. 가공 처리를 실시하는 기기의 특성이 입력으로서 주어지는 경우에는, 해당 기기가 화상에 대하여 실시하는 가공 패턴 및 각 가공 패턴의 사용 빈도의 정보에 기초하여, 국소 영역 가공 확률을 계측하는 방법이 있다.
기기 특성의 일례로서, 가공 처리를 실시하는 기기가 화상에 대하여 실시하는 가공의 패턴 및 각 가공 패턴의 사용 빈도의 정보가 있다. 예를 들면, 본 발명이 영상 편집 장치에 적용되는 경우에는, 임의의 영상 편집 장치를 이용했을 때에 화면에서의 특정한 하나 또는 복수의 영역에 가공 처리가 실시되는 가능성이 높다고 상정되고, 다른 영상 편집 장치를 이용했을 때에 화면에서의 별도의 특정한 하나 또는 복수의 영역에 가공 처리가 실시되는 가능성이 높다고 상정되는 경우에, 이들 영역을 가공 처리가 실시되는 영역으로서 나타내는 정보를, 가공의 패턴을 나타내는 정보로서 사용할 수 있다. 또한, 예를 들면 스포츠 화상에 대해서는, 화면에서의 주변 영역에 가공 처리가 실시되는 가능성이 높다고 상정되고, 버라이어티 프로그램 화상에 대해서는, 화면에서의 중앙 영역에 가공 처리가 실시되는 가능성이 비교적 높다고 상정되는 경우 등에, 이들 영역을 가공 처리가 실시되는 영역으로서 나타내는 정보를 가공의 패턴을 나타내는 정보로서 사용할 수 있다. 즉, 본래의 의미에서의 기기의 특성뿐만 아니라, 하나의 기기(예를 들면 텔롭 삽입 장치)가 이용되는 경우에도 화상의 종별에 따라 가공 패턴을 바꿀 때에는 각각의 가공 패턴 및 각 가공 패턴의 사용 빈도의 정보는 기기 특성에 포함된다.
국소 영역 가중치 산출 수단(14)은, 가공 확률 모델 추정 수단(13)으로부터 입력되는 국소 영역 가공 확률에 기초하여, 화상의 각 국소 영역으로부터 추출되는 특징량이 화상 전체의 유사도의 산출에 어느 정도 유효한지를 수치화한 가중치를 국소 영역 가중치로서 산출하고, 산출된 국소 영역 가중치를 화상 유사도 산출 수단(122)에 출력한다. 국소 영역 가중치는, 해당 국소 영역의 국소 영역 가공 확률이 낮을수록, 높은 값으로 설정하는 것이 유효하다. 국소 영역 가중치의 산출 방법의 일례로서,
국소 영역 가중치=1-국소 영역 가공 확률
로 하는 방법이 있지만, 이것에 한정된 것은 아니고, 국소 영역 가중치를, 국소 영역 가공 확률이 높은 경우에는 낮은 값, 국소 영역 가공 확률이 낮은 경우에는 높은 값으로 하는 등, 화상 유사도 산출 처리에서, 가공 처리가 실시된 확률이 높은 영역의 영향을 배제할 수 있는 다른 산출 방법을 이용해도 된다.
국소 영역은, 가공 확률 모델 추정 수단(13)에서의 국소 영역과 마찬가지로, 화상 분할 수단(111)에서 분할되는 소영역과 대응하는 것이 바람직하지만, 화상 분할 수단(111)에서 분할되는 소영역을 더 작은 복수의 영역으로 분할한 것이어도 되고, 화상의 각 화소를 국소 영역으로 하여도 된다. 또한, 화상 분할 수단(111)에서의 소영역 분할 방법과는 상이한 임의의 형상이나 크기로 분할한 영역을 국소 영역으로 하여도 된다.
화상 유사도 산출부(12)는, 기능 상 소영역 유사도 산출 수단(121)과, 화상 유사도 산출 수단(122)을 포함한다.
소영역 유사도 산출 수단(121)은, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역의 특징량과, 입력으로서 주어지는 참조 화상의 소영역 특징량을 비교하여, 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하고, 산출된 소영역 유사도를 화상 유사도 산출 수단(122)에 출력한다. 소영역 유사도의 산출 방법은 사용하는 소영역 특징량에 따라 임의로 정해진다. 예를 들면, 소영역의 색의 평균값, 최빈도값, 미디언값 등의 대표값을 소영역 특징량으로서 이용한 경우에는, 사용하고 있는 표색 공간에서의 거리값이나 상관값에 기초하여 유사도를 산출하는 방법이 있다. 색이나 엣지 요소의 출현 히스토그램을 소영역 특징 량으로서 이용하는 경우에는, 히스토그램 간의 유사도를 산출하는 방법이 있다.
또한, ISO/IEC 15938-3에 규정되어 있는 Dominant Color, Color Layout, Scalable Color, Color Structure, Edge Histogram, Homogeneous Texture, Texture Browsing, Region Shape, Contour Shape, Shape 3D, Parametric Motion, Motion Activity 등을 소영역 특징량으로서 이용한 경우에는, ISO/IEC 15938-3에서 추천되어 있는 거리(유사도) 계산법에 따라 유사도를 산출할 수 있다.
또한, 유사도를 1, 0의 2 값 판정 결과로 하여도 된다. 예를 들면, 엣지 요소 특징량을 소영역 특징량으로서 이용하는 경우에는, 엣지 요소가 일치하는 경우에는 유사도를 1, 일치하지 않는 경우에는 유사도를 0으로 하는 방법이 있다. 여기서, 입력으로서 주어지는 참조 화상의 소영역 특징량에 관한 소영역은, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량에 관한 소영역과 대응하고 있는 것이 바람직하다. 대응하는 소영역을 직접 비교할 수 있기 때문이다.
화상 분할 방법이 상이하기 때문에, 조회 화상의 소영역과 참조 화상의 소영역이 대응하고 있지 않은 경우에는, 어느 한 쪽의 화상의 소영역 특징량으로부터, 다른 한쪽의 화상의 소영역에 대응한 특징량을 보완한 후에, 유사도를 산출하면 된다. 예를 들면, 참조 화상의 소영역 특징량에 관한 소영역이, 조회 화상의 소영역 특징량에 관한 소영역을 보다 작은 복수의 영역으로 분할한 것이면, 참조 화상의 복수의 소영역 특징량의 평균값을 산출함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다. 또한, 참조 화상의 소영역 특징량에 관한 소영역 분할 방 법이, 조회 화상의 소영역 특징량에 관한 소영역 분할 방법과 완전히 상이한 형상이나 크기의 분할 방법인 경우에는, 조회 화상의 각 소영역과 중복되는 참조 화상의 복수의 소영역의 소영역 특징량을, 중복되는 면적에 비례한 가중치 부여를 행하여 총합함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.
화상 유사도 산출 수단(122)은, 소영역 유사도 산출 수단(121)으로부터 입력되는 소영역 유사도에 대하여, 국소 영역 가중치 산출 수단(14)으로부터 입력되는 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여를 행한다. 또한, 구해진 가중치 부여된 소영역 유사도로부터 화상 전체의 유사도를 화상 유사도로서 산출하고, 산출된 화상 유사도를 출력한다. 화상 유사도의 산출 방법으로서, 가중치 부여된 소영역 유사도의 전체 소영역의 총합으로서 구하는 방법이나, 평균값으로서 구하는 방법 등이 있다.
국소 영역 가중치 산출 수단(14)으로부터 입력되는 국소 영역 가중치를 갖는 국소 영역이, 소영역 유사도 산출 수단(121)으로부터 입력되는 소영역 유사도를 갖는 소영역과 대응하는 경우에는, 국소 영역 가중치를 직접 소영역마다의 가중치로서 이용할 수 있다. 소영역 유사도를 갖는 소영역과, 국소 영역 가중치를 갖는 국소 영역이 대응하고 있지 않은 경우에는, 국소 영역 가중치를 이용하여 소영역 유사도를 갖는 소영역에 대응한 가중치를 보완하면 된다. 예를 들면, 국소 영역 가중치를 갖는 국소 영역이, 소영역 유사도를 갖는 소영역을 보다 작은 복수의 영역으로 분할한 것이면, 복수의 국소 영역 가중치의 평균값을 산출함으로써, 소영역 유사도를 갖는 소영역에 대응한 가중치를 생성할 수 있다. 또한, 국소 영역 가중 치에 관한 국소 영역 분할 방법이, 소영역 유사도에 관한 소영역 분할 방법과 완전히 상이한 형상이나 크기의 분할 방법인 경우에는, 소영역과 중복되는 복수의 국소 영역의 가중치를, 중복되는 면적에 비례한 가중치 부여를 행하여 총합함으로써, 소영역 유사도를 갖는 소영역에 대응한 가중치를 생성할 수 있다.
또한, 화상 유사도 산출 시스템은 컴퓨터로 실현 가능하고, 화상 유사도 산출 시스템을 구성하는 각 구성 요소, 즉 특징량 추출부(11), 화상 유사도 산출부(12), 가공 확률 모델 추정 수단(13) 및 국소 영역 가중치 산출 수단(14)은, 컴퓨터의 처리 장치(CPU)에 전술한 기능을 실현시키기 위한 프로그램으로서 실현 가능하다. 화상 유사도 산출 시스템을 구성하는 각 구성 요소가 컴퓨터로 실현 가능한 것, 및 프로그램으로서 실현 가능한 것은 제1 실시 형태에 한하지 않고, 후술하는 다른 실시 형태라도 마찬가지이다.
다음으로, 도 1의 블록도 및 도 2의 플로우차트를 참조하여, 제1 실시 형태의 동작에 대하여 설명한다.
학습 화상 또는 기기 특성이 입력으로서 주어지면(스텝 A1), 가공 확률 모델 추정 수단(13)은, 입력된 학습 화상 또는 기기 특성으로부터, 화상의 국소 영역마다 가공 처리가 실시되는 확률을 국소 영역 가공 확률로서 산출한다(스텝 A2).
도 3은 가공 확률 모델 추정 수단(13)에 의한 국소 영역 가공 확률의 산출 방법을 설명하는 설명도이다. 도 3에 도시하는 예에서는, 화상 데이터에 대응하는 화상의 영역은 16개의 국소 영역으로 나누어져 있다. 가공 확률 모델 추정 수단(13)은 복수의 학습 화상 각각의 국소 영역에 대하여 가공 처리가 실시되어 있는 경우에는 「1」로 하고, 실시되어 있지 않은 경우에는 「0」으로 하여, 국소 영역마다 평균을 취하는 등의 처리에 의해, 국소 영역마다 가공 처리가 실시되는 확률을 산출한다. 즉, 국소 영역 가공 확률을 나타내는 확률 모델을 추정한다. 또한, 여기서 설명한 확률 모델의 추정 방법은 일례이며, 다른 방법을 이용해도 된다.
그리고, 가공 확률 모델 추정 수단(13)은 산출한 국소 영역 가공 확률을 국소 영역 가중치 산출 수단(14)에 출력한다. 다음으로, 국소 영역 가중치 산출 수단(14)은 국소 영역 가공 확률에 기초하여 화상의 국소 영역마다의 가중치를 국소 영역 가중치로서 산출한다(스텝 A3).
또한, 가공 처리가 실시된 조회 화상이 입력으로서 주어지면(스텝 A4), 화상 분할 수단(111)은 입력된 조회 화상을 소영역으로 분할하고, 소영역으로 분할된 화상을 소영역 특징량 추출 수단(112)에 출력한다(스텝 A5). 소영역 특징량 추출 수단(112)은 소영역으로 분할된 화상의 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하고, 추출된 조회 화상 소영역 특징량을 소영역 유사도 산출 수단(121)에 출력한다(스텝 A6). 다음으로, 참조 화상의 소영역 특징량이 입력으로서 주어지면(스텝 A7), 소영역 유사도 산출 수단(121)은, 입력된 참조 화상의 소영역 특징량과 조회 화상 소영역 특징량을 비교하여 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하고, 산출된 소영역 유사도를 화상 유사도 산출 수단(122)에 출력한다(스텝 A8). 다음으로, 화상 유사도 산출 수단(122)은, 소영역 유사도에 대하여, 스텝 A3에서 국소 영역 가중치 산출 수단(14)에 의해 산출된 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여를 행하여 조회 화상과 참조 화상의 화상 유사도를 산출한다(스텝 A9). 이와 같이 하여, 국소 영역 가중치를 이용하기 때문에, 가공 처리가 실시된 확률이 높은 영역의 영향을 배제할 수 있다. 마지막으로, 화상 유사도 산출 수단(122)은 산출된 화상 유사도를 출력한다(스텝 A10).
본 발명의 제1 실시 형태에서는, 화상의 분할된 소영역마다의 유사도에 대하여, 화상에 가공 처리가 실시되는 확률 모델을 고려하여 산출한 가중치 부여를 실시하여 화상 유사도를 산출하고 있다. 이 때문에, 화상 유사도의 산출에서 가공 처리가 실시된 확률이 높은 영역의 영향을 배제하여, 조회 화상의 가공 전의 상태와 참조 화상의 유사도를 정확하게 측정을 할 수 있고, 가공 처리가 실시된 화상과 원화상 간의 화상 유사도를 높은 값으로서 산출할 수 있다. 또한, 본 발명의 제1 실시 형태에서는, 조회 화상으로부터 가공 처리가 실시된 영역을 검출하는 처리를 필요로 하지 않고, 또한 학습 화상 또는 기기 특성으로부터 국소 영역 가중치를 산출하고 있기 때문에, 별도의 처리에서 국소 영역 가중치를 미리 구해 둘 수 있어, 화상 유사도의 산출을 고속으로 행할 수 있다.
또한, 이 실시 형태에서는 화상 유사도 산출 수단(122)이 가공 확률 모델 추정 수단(13)이 추정한 화상에 가공 처리가 실시되는 확률 모델, 구체적으로는 국소 영역마다 화상에 가공 처리가 실시되는 확률 모델을 고려하여 화상 유사도를 산출했지만, 소영역 유사도 산출 수단(121)이 확률 모델을 고려하면서, 입력된 참조 화상의 소영역 특징량과 조회 화상 소영역 특징량을 비교하여 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하도록 하여도 된다. 예를 들면, 가공 처리가 실 시되는 확률이 높은 소영역에 대하여 소영역 유사도를 낮게 조정하는 등의 처리를 실시하도록 하여도 된다. 또한, 소영역 유사도 산출 수단(121)이 확률 모델을 고려하면서 소영역 유사도를 산출해도 되는 것은, 이하의 실시 형태에서도 마찬가지이다.
또한, 가공 확률 모델 추정 수단(13)은, 조회 화상의 입력의 각각에 대응한 타이밍에서 국소 영역 가공 확률을 산출할 필요는 없다. 예를 들면, 본 발명이 적용되는 장치, 또는 시스템의 설치 시에나, 그 후의 정기적인 시기 등에 국소 영역 가공 확률의 산출 처리를 행하면 된다. 그리고, 가공 확률 모델 추정 수단(13)은 산출 결과를 유지하고, 조회 화상이 입력되면, 유지하고 있는 국소 영역 가공 확률을 국소 영역 가중치 산출 수단(14)에 출력한다. 또한, 이것은 이하의 각 실시 형태에서의 가공 확률 모델 추정 수단에 대해서도 마찬가지이다.
따라서, 국소 영역 가공 확률을 미리 산출하고, 산출된 국소 영역 가공 확률을 ROM 등의 기억 수단에 저장하여도 된다. 도 4는 가공 확률 모델 추정 수단(13) 대신에 국소 영역 가공 확률을 기억하는 기억 수단이 설치되어 있는 제1 실시 형태의 변형예를 도시하는 블록도이다.
도 4에 도시하는 구성에서, 가공 확률 모델 기억 수단(139)은, 국소 영역 가공 확률을 기억하고 있다. 국소 영역은, 화상 분할 수단(111)에서 분할되는 소영역과 대응하는 것이 바람직하지만, 화상 분할 수단(111)에서 분할되는 소영역을 더 작은 복수의 영역으로 분할한 것이어도 되고, 화상의 각 화소를 국소 영역으로 하여도 된다. 또한, 화상 분할 수단(111)에서의 소영역 분할 방법과는 상이한 임의 의 형상이나 크기로 분할한 영역을 국소 영역으로 하여도 된다. 국소 영역 가공 확률로서, 모든 화상에 대하여 공통으로 사용하는 값을 기억해 두어도 되고, 뉴스 화상, 스포츠 화상, 버라이어티 화상 등, 사용되는 화상의 종별마다 상이한 값을 기억해 두어도 된다. 후자의 경우에 있어서, 유저가 조회 화상의 종별을 지정함으로써, 조회 화상의 종별에 대응한 국소 영역 가공 확률을 사용할 수 있다.
도 5는 가공 확률 모델 기억 수단(139)에 기억되는 국소 영역 가공 확률의 일례를 도시하는 설명도이다. 이 예에서는, 뉴스 화상, 스포츠 화상, 버라이어티 화상의 각 종별에 따라, 화상의 분할된 국소 영역마다 가공 처리가 실시되는 확률이 기억되어 있다. 뉴스 화상이나 스포츠 화상에서는, 화상의 좌측 위, 우측 위, 하부에 가공 처리가 실시되는 확률이 높기 때문에, 해당하는 국소 영역의 국소 영역 가공 확률의 값이 높아지고 있다. 또한 버라이어티 화상에서는, 화상의 중앙부에 가공 처리가 실시되는 확률도 높게 되어 있다.
또한, 도 4에 도시하는 가공 확률 모델 기억 수단(139) 이외의 각 블록의 구성 및 동작은, 도 1에 도시된 각 블록의 구성 및 동작과 동일하다. 이러한 변형예에 따르면, 연산 기능을 갖는 가공 확률 모델 추정 수단(13)을 구비할 필요가 없게 된다.
또한, 국소 영역 가공 확률을 플래시 메모리 등의 재기입 가능한 기억 수단에 기억시켜, 국소 영역 가공 확률이 변경 가능하게 되도록 구성하여도 된다. 도 6은, 가공 확률 모델 추정 수단(13) 대신에, 국소 영역 가공 확률을 기억하는 재기입 가능한 기억 수단이 설치되어 있는 제1 실시 형태의 다른 변형예를 도시하는 블 록도이다.
도 6에 도시하는 구성에서, 가공 확률 모델 추정 수단(13)은, 수시 추가로 입력되는 가공 처리가 실시된 학습 화상 또는 가공 처리를 실시하는 기기의 특성으로부터, 화상의 국소 영역마다 가공 처리가 실시되는 확률을 국소 영역 가공 확률로서 산출하고, 산출된 국소 영역 가공 확률을 가공 확률 모델 갱신 수단(149)에 출력한다. 또한, 가공 확률 모델 추정 수단(13)에는, 예를 들면 정기적으로, 또는 가공 확률 모델이 크게 변할 가능성이 있는 어떠한 사상이 발생했을 때 등에 학습 화상 또는 가공 처리를 실시하는 기기의 특성이 입력된다.
가공 확률 모델 갱신 수단(149)은, 가공 확률 모델 기억 수단(139)에 기억되어 있는 국소 영역 가공 확률을 미리 읽어들여, 가공 확률 모델 기억 수단(139)으로부터 읽어들인 국소 영역 가공 확률과, 가공 확률 모델 추정 수단(13)으로부터 입력되는 국소 영역 가공 확률을 이용하여, 국소 영역 가공 확률을 갱신하고, 갱신한 국소 영역 가공 확률을 가공 확률 모델 기억 수단(139)에 기억시킨다. 또한, 가공 확률 모델 갱신 수단(149)은, 가공 확률 모델 기억 수단(139)으로부터 읽어들인 새로운 국소 영역 가공 확률을, 그대로 가공 확률 모델 기억 수단(139)에 기억시킴으로써, 국소 영역 가공 확률을 갱신하도록 하여도 된다.
또한, 도 6에 도시한 가공 확률 모델 갱신 수단(149) 및 가공 확률 모델 기억 수단(139) 이외의 각 블록의 구성 및 동작은, 도 1에 도시된 각 블록의 구성 및 동작과 동일하다. 이러한 변형예에 따르면, 가공 확률 모델 기억 수단(139)에 기억되어 있는 국소 영역 가공 확률을, 적절한 내용으로 유지할 수 있다.
(제2 실시 형태)
본 발명의 제2 실시 형태에 대하여 도면을 참조하여 설명한다. 도 7의 블록도에 도시한 바와 같이, 본 발명의 화상 유사도 산출 시스템의 제2 실시 형태는, 도 1에 도시된 제1 실시 형태에서의 화상 유사도 산출부(12)가, 화상 유사도 산출부(22)로 치환되고, 또한 참조 화상군 소영역 특징량 기억부(25)와 검색 결과 출력 수단(26)을 갖는 점이 제1 실시 형태와는 상이하다. 또한, 이 실시 형태와 같이 참조 화상군 소영역 특징량 기억부(25)와 검색 결과 출력 수단(26)을 갖는 화상 유사도 산출 시스템은, 화상 검색 시스템을 실현한다.
참조 화상군 소영역 특징량 기억부(25)는, 사전에 등록된 복수의 참조 화상의 소영역 특징량을 기억하고 있다. 참조 화상군 소영역 특징량 기억부(25)에 기억되어 있는 각 참조 화상의 소영역 특징량에 관한 소영역은, 화상 분할 수단(111)에서 분할되는 조회 화상의 소영역과 대응하고 있는 것이 바람직하지만, 조회 화상의 소영역과는 상이한 형상이나 크기로 분할된 것이어도 된다.
화상 유사도 산출부(22)는, 기능 상, 소영역 유사도 산출 수단(221)과, 화상 유사도 산출 수단(222)을 포함한다.
소영역 유사도 산출 수단(221)은, 참조 화상군 소영역 특징량 기억부(25)로부터 복수의 참조 화상의 소영역 특징량을 1 화상분씩 읽어들이고, 읽어들인 각 참조 화상의 소영역 특징량과, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량을 비교하여, 소영역마다 특징량의 유사도를 소영역 유사도로서 산출한다. 산출된 참조 화상군의 각 참조 화상에 대한 소영역 유사도를 화상 유 사도 산출 수단(222)에 출력한다.
소영역 유사도의 산출 방법은, 사용하는 소영역 특징량에 따라서 임의로 정해진다. 예를 들면, 소영역의 색의 평균값, 최빈도값, 미디언값 등의 대표값을 소영역 특징량으로서 이용한 경우에는, 사용하고 있는 표색 공간에서의 거리값이나 상관값에 기초하여 유사도를 산출하는 방법이 있다. 색이나 엣지 요소의 출현 히스토그램을 소영역 특징량으로서 이용하는 경우에는, 히스토그램 간의 유사도를 산출하는 방법이 있다.
또한, 국제 표준 규격 ISO/IEC 15938-3에 규정되어 있는 Dominant Color, Color Layout, Scalable Color, Color Structure, Edge Histogram, Homogeneous Texture, Texture Browsing, Region Shape, Contour Shape, Shape 3D, Parametric Motion, Motion Activity 등을 소영역 특징량으로서 이용한 경우에는, ISO/IEC 15938-3에 의해 추천되어 있는 거리(유사도) 계산법에 따라서 유사도를 산출할 수 있다.
또한, 유사도를 1, 0의 2값 판정 결과로 하여도 된다. 예를 들면, 엣지 요소 특징량을 소영역 특징량으로서 이용하는 경우는, 엣지 요소가 일치하는 경우에는 유사도를 1, 일치하지 않는 경우에는 유사도를 0으로 하는 방법이 있다. 여기서, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량에 관한 소영역과, 참조 화상군 소영역 특징량 기억부(25)로부터 읽어들인 참조 화상의 소영역 특징량에 관한 소영역이, 화상 분할 방법이 상이하기 때문에 대응하지 않는 경우에는, 어느 한 쪽의 화상의 소영역 특징량으로부터, 다른 한 쪽의 화상의 소영 역에 대응한 특징량을 보완한 뒤에, 유사도를 산출하면 된다. 예를 들면, 참조 화상의 소영역 특징량에 관한 소영역이, 조회 화상의 소영역 특징량에 관한 소영역을 보다 작은 복수의 영역으로 분할한 것이면, 참조 화상의 복수의 소영역 특징량의 평균값을 산출함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.
또한, 참조 화상의 소영역 특징량에 관한 소영역 분할 방법이, 조회 화상의 소영역 특징량에 관한 소영역 분할 방법과 전혀 상이한 형상이나 크기의 분할 방법인 경우에는, 조회 화상의 각 소영역과 중복되는 참조 화상의 복수의 소영역의 소영역 특징량을, 중복되는 면적에 비례한 가중치 부여를 하여 총합함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.
화상 유사도 산출 수단(222)은, 소영역 유사도 산출 수단(221)으로부터 입력되는 참조 화상군의 각 참조 화상에 대한 소영역 유사도에 대하여, 국소 영역 가중치 산출 수단(14)으로부터 입력되는 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여를 하고, 구해진 가중치 부여된 소영역 유사도로부터 화상 전체의 유사도를 화상 유사도로서 산출한다. 그리고, 산출된 참조 화상군의 각 참조 화상에 대한 화상 유사도를 검색 결과 출력 수단(26)에 출력한다.
화상 유사도의 산출 방법으로서, 가중치 부여된 소영역 유사도의 전체 소영역의 총합으로서 구하는 방법이나, 평균값으로서 구하는 방법 등이 있다. 국소 영역 가중치 산출 수단(14)으로부터 입력되는 국소 영역 가중치를 갖는 국소 영역이, 소영역 유사도 산출 수단(121)으로부터 입력되는 소영역 유사도를 갖는 소영역과 대응하는 경우에는, 국소 영역 가중치를 직접 소영역마다의 가중치로서 이용할 수 있다. 소영역 유사도를 갖는 소영역과, 국소 영역 가중치를 갖는 국소 영역이 대응하지 않는 경우에는, 국소 영역 가중치를 이용하여 소영역 유사도를 갖는 소영역에 대응한 가중치를 보완하면 된다. 예를 들면, 국소 영역 가중치를 갖는 국소 영역이, 소영역 유사도를 갖는 소영역을 보다 작은 복수의 영역으로 분할한 것이면, 복수의 국소 영역 가중치의 평균값을 산출함으로써, 소영역 유사도를 갖는 소영역에 대응한 가중치를 생성할 수 있다.
또한, 국소 영역 가중치에 관한 국소 영역 분할 방법이, 소영역 유사도에 관한 소영역 분할 방법과 전혀 상이한 형상이나 크기의 분할 방법인 경우에는, 소영역과 중복되는 복수의 국소 영역의 가중치를, 중복되는 면적에 비례한 가중치 부여를 하여 총합함으로써, 소영역 유사도를 갖는 소영역에 대응한 가중치를 생성할 수 있다.
검색 결과 출력 수단(26)은, 화상 유사도 산출 수단(222)으로부터 입력되는 참조 화상군의 각 참조 화상에 대한 화상 유사도에 기초하여, 참조 화상군 중에서 조회 화상에 대한 검색 결과를 출력한다. 검색으로서, 참조 화상군의 전체 참조 화상중에서, 가장 화상 유사도가 큰 값을 갖는 참조 화상을 출력하는 방법이 있다. 또한 참조 화상군의 각 참조 화상에 대한 화상 유사도와, 미리 설정한 임계치를 비교하여, 화상 유사도가 임계치 이상인 참조 화상을 모두 출력하여도 된다.
다음으로, 도 7의 블록도 및 도 8의 플로우차트를 참조하여, 제2 실시 형태의 동작에 대하여 설명한다.
학습 화상 또는 기기 특성이 입력으로서 주어지면(스텝 B1), 가공 확률 모델 추정 수단(13)은, 입력된 학습 화상 또는 기기 특성으로부터, 화상의 국소 영역마다 가공 처리가 실시되는 확률을 국소 영역 가공 확률로서 산출하고, 산출된 국소 영역 가공 확률을 국소 영역 가중치 산출 수단(14)에 출력한다(스텝 B2). 국소 영역 가중치 산출 수단(14)은, 국소 영역 가공 확률에 기초하여 화상의 국소 영역마다의 가중치를 국소 영역 가중치로서 산출한다(스텝 B3).
가공 처리가 실시된 조회 화상이 입력으로서 주어지면(스텝 B4), 화상 분할 수단(111)은, 입력된 조회 화상을 소영역으로 분할하고, 소영역 분할된 화상을 소영역 특징량 추출 수단(112)에 출력한다(스텝 B5). 소영역 특징량 추출 수단(112)은, 소영역 분할된 화상의 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하고, 추출된 조회 화상 소영역 특징량을 소영역 유사도 산출 수단(221)에 출력한다(스텝 B6). 다음으로, 참조 화상군 소영역 특징량 기억부(25)로부터, 1 화상분의 참조 화상의 소영역 특징량을 읽어들인다(스텝 B7).
소영역 유사도 산출 수단(221)은, 읽어들여진 1 화상분의 참조 화상의 소영역 특징량과 조회 화상 소영역 특징량을 비교하여 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하고, 산출된 소영역 유사도를 화상 유사도 산출 수단(222)에 출력한다(스텝 B8). 다음으로, 화상 유사도 산출 수단(222), 소영역 유사도에 대하여, 스텝 B3에서 국소 영역 가중치 산출 수단(14)에 의해 산출된 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여를 하여 읽어들여진 1 화상분의 참조 화상과 조회 화상의 화상 유사도를 산출한다(스텝 B9). 다음으로, 참조 화상군 소영역 특징량 기억부(25)에 기억되어 있는 모든 참조 화상에 대한 화상 유사도를 산출하였는지의 여부를 조사한다(스텝 B10). 화상 유사도를 산출하지 않은 참조 화상이 남아 있는 경우에는, 스텝 B7로 되돌아간다. 모든 참조 화상에 대한 화상 유사도가 산출되어 있는 경우에는, 스텝 B11로 진행한다. 마지막으로, 검색 결과 출력 수단(26)은, 모든 참조 화상에 대한 화상 유사도에 기초하여, 참조 화상군 중에서 조회 화상에 대한 검색 결과를 출력한다(스텝 B11).
본 발명의 제2 실시 형태에서는, 본 발명의 제1 실시 형태의 효과를 갖는 화상 유사도의 산출 방법을 이용하여 화상의 검색을 행한다. 따라서, 가공 처리가 실시된 확률이 높은 영역의 영향을 배제하여 산출한 화상 유사도를 이용하여 화상의 검색을 행하기 때문에, 가공 처리가 실시된 화상으로부터 원화상을 정밀도 좋게 검색할 수 있다. 또한, 제1 실시 형태와 마찬가지로, 조회 화상으로부터 가공 영역을 검출하는 처리를 필요로 하지 않고, 미리 국소 영역 가중치를 구해둘 수 있기 때문에, 화상 검색을 고속으로 행할 수 있다.
또한, 제2 실시 형태에서는, 제1 실시 형태에 대한 각 변형예를 적용할 수 있다. 즉, 가공 확률 모델 추정 수단(13) 대신에 가공 확률 모델 기억 수단(139)을 설치하여도 되고, 가공 확률 모델 갱신 수단(149)과 가공 확률 모델 기억 수단(139)을 설치하여도 된다.
(제3 실시 형태)
본 발명의 제3 실시 형태에 대하여 도면을 참조하여 설명한다. 도 9의 블록도에 도시한 바와 같이, 본 발명의 화상 유사도 산출 시스템의 제3 실시 형태는, 특징량 추출부(11)와, 화상 유사도 산출부(32)와, 가공 영역 검출 수단(가공 확률 산출 수단의 일례)(33)과, 국소 영역 가중치 산출 수단(34)을 구비하고 있다. 특징량 추출부(11)는, 제1 실시 형태에서 구비하고 있었던 것과 동일한 것이다.
가공 영역 검출 수단(33)은, 입력으로서 주어지는 가공 처리가 실시된 조회 화상에 대하여, 텔롭 검출 방법 등의 가공 영역을 자동적으로 검출하는 방법에 의해, 조회 화상의 국소 영역마다 가공 처리가 실시된 확률을 국소 영역 가공 확률로서 산출하고, 산출된 국소 영역 가공 확률을 국소 영역 가중치 산출 수단(34)에 출력한다. 국소 영역 가공 확률의 확률값은, 임의의 값이어도 되고, 1, 0의 2값이어도 된다. 또한, 국소 영역은, 화상 분할 수단(111)에 의해 분할되는 소영역을 더 작은 복수의 영역으로 분할한 것이어도 되고, 화상의 각 화소를 국소 영역으로 하여도 된다. 또한, 화상 분할 수단(111)에서의 소영역 분할 방법과는 상이한 임의의 형상이나 크기로 분할한 영역을 국소 영역으로 하여도 된다.
국소 영역 가중치 산출 수단(34)은, 가공 영역 검출 수단(33)으로부터 입력되는 국소 영역 가공 확률에 기초하여, 화상의 각 국소 영역으로부터 추출되는 특징량이 화상 전체의 유사도의 산출에 어느 정도 유효한지를 수치화한 가중치를 국소 영역 가중치로서 산출한다. 그리고, 산출된 국소 영역 가중치를 화상 유사도 산출 수단(322)에 출력한다. 국소 영역은, 화상 분할 수단(111)에서 분할되는 소영역과 대응하는 것이 바람직하지만, 화상 분할 수단(111)에서 분할되는 소영역을 더 작은 복수의 영역으로 분할한 것이어도 되고, 화상의 각 화소를 국소 영역으로 하여도 된다. 또한, 화상 분할 수단(111)에서의 소영역 분할 방법과는 상이한 임의의 형상이나 크기로 분할한 영역을 국소 영역으로 하여도 된다. 국소 영역 가중치의 산출 방법의 일례로서,
국소 영역 가중치=1-국소 영역 가공 확률
로 하는 방법이 있지만, 이것에 한하는 것은 아니고, 화상 유사도 산출 처리에서, 가공 처리가 실시된 확률이 높은 영역의 영향을 배제할 수 있는 다른 산출 방법을 이용하여도 된다. 또한, 가공 영역 검출 수단(33)으로부터 입력되는 국소 영역 가공 확률이 1, 0의 2값의 확률값으로서 공급되는 경우에는, 복수의 국소 영역을 통합한 영역을 새로운 국소 영역으로 하고, 국소 영역 가중치를 통합 후의 국소 영역 내에 포함되는 국소 영역 가공 확률인 통합 전의 국소 영역의 면적의 비율로서 구하는 방법이 있다.
화상 유사도 산출부(32)는, 기능 상, 소영역 유사도 산출 수단(321)과, 화상 유사도 산출 수단(322)을 포함한다.
소영역 유사도 산출 수단(321)은, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량과, 입력으로서 주어지는 참조 화상의 소영역 특징량을 비교하여, 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하고, 산출된 소영역 유사도를 화상 유사도 산출 수단(322)에 출력한다. 소영역 유사도의 산출 방법은, 사용하는 소영역 특징량에 따라서 임의로 정해진다. 예를 들면, 소영역의 색의 평균값, 최빈도값, 미디언값 등의 대표값을 소영역 특징량으로서 이용한 경우에는, 사용하고 있는 표색 공간에서의 거리값이나 상관값에 기초하여 유사도를 산출하는 방법이 있다.
색이나 엣지 요소의 출현 히스토그램을 소영역 특징량으로서 이용하는 경우 에는, 히스토그램 간의 유사도를 산출하는 방법이 있다. 또한 ISO/IEC 15938-3에 규정되어 있는 Dominant Color, Color Layout, Scalable Color, Color Structure, Edge Histogram, Homogeneous Texture, Texture Browsing, Region Shape, Contour Shape, Shape 3D, Parametric Motion, Motion Activity 등을 소영역 특징량으로서 이용한 경우에는, ISO/IEC 15938-3에 의해 추천되어 있는 거리(유사도) 계산법에 따라서 유사도를 산출할 수 있다.
또한, 유사도를 1, 0의 2값 판정 결과로 하여도 된다. 예를 들면, 엣지 요소 특징량을 소영역 특징량으로서 이용하는 경우는, 엣지 요소가 일치하는 경우에는 유사도를 1, 일치하지 않는 경우에는 유사도를 0으로 하는 방법이 있다. 여기서, 입력으로서 주어지는 참조 화상의 소영역 특징량에 관한 소영역은, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량에 관한 소영역과 대응하고 있는 것이 바람직하다. 대응하는 소영역을 직접 비교할 수 있기 때문이다. 조회 화상의 소영역과 참조 화상의 소영역이 화상 분할 방법이 상이하기 때문에 대응하지 않는 경우에는, 어느 한쪽의 화상의 소영역 특징량으로부터, 다른 한쪽의 화상의 소영역에 대응한 특징량을 보완한 뒤에, 유사도를 산출하면 된다. 예를 들면, 참조 화상의 소영역 특징량에 관한 소영역이, 조회 화상의 소영역 특징량에 관한 소영역을 보다 작은 복수의 영역으로 분할한 것이면, 참조 화상의 복수의 소영역 특징량의 평균값을 산출함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.
또한, 참조 화상의 소영역 특징량에 관한 소영역 분할 방법이, 조회 화상의 소영역 특징량에 관한 소영역 분할 방법과 전혀 상이한 형상이나 크기의 분할 방법인 경우에는, 조회 화상의 각 소영역과 중복되는 참조 화상의 복수의 소영역의 소영역 특징량을, 중복되는 면적에 비례한 가중치 부여를 하여 총합함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.
화상 유사도 산출 수단(322)은, 소영역 유사도 산출 수단(321)으로부터 입력되는 소영역 유사도에 대하여, 국소 영역 가중치 산출 수단(34)으로부터 입력되는 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여를 하여, 구해진 가중치 부여된 소영역 유사도로부터 화상 전체의 유사도를 화상 유사도로서 산출하고, 산출된 화상 유사도를 출력한다. 화상 유사도의 산출 방법으로서, 가중치 부여된 소영역 유사도의 전체 소영역의 총합으로서 구하는 방법이나, 평균값으로서 구하는 방법 등이 있다.
국소 영역 가중치 산출 수단(34)으로부터 입력되는 국소 영역 가중치를 갖는 국소 영역이, 소영역 유사도 산출 수단(321)으로부터 입력되는 소영역 유사도를 갖는 소영역과 대응하는 경우에는, 국소 영역 가중치를 직접 소영역마다의 가중치로서 이용할 수 있다. 소영역 유사도를 갖는 소영역과, 국소 영역 가중치를 갖는 국소 영역이 대응하지 않는 경우에는, 국소 영역 가중치를 이용하여 소영역 유사도를 갖는 소영역에 대응한 가중치를 보완하면 된다. 예를 들면, 국소 영역 가중치를 갖는 국소 영역이, 소영역 유사도를 갖는 소영역을 보다 작은 복수의 영역으로 분할한 것이면, 복수의 국소 영역 가중치의 평균값을 산출함으로써, 소영역 유사도를 갖는 소영역에 대응한 가중치를 생성할 수 있다.
또한, 국소 영역 가중치에 관한 국소 영역 분할 방법이, 소영역 유사도에 관한 소영역 분할 방법과 전혀 상이한 형상이나 크기의 분할 방법인 경우에는, 소영역과 중복되는 복수의 국소 영역의 가중치를, 중복되는 면적에 비례한 가중치 부여를 하여 총합함으로써, 소영역 유사도를 갖는 소영역에 대응한 가중치를 생성할 수 있다.
제3 실시 형태에서는, 제1 실시 형태와 마찬가지로, 가공 처리가 실시된 확률이 높은 영역의 영향을 배제하여 화상 유사도를 산출하지만, 국소 영역 가중치를 조회 화상으로부터 직접 산출한 국소 영역 가공 확률에 기초하여 산출하고 있다. 학습 화상 또는 기기 특성으로부터 학습적으로 국소 영역 가중치를 평균값으로서 구하는 제1 실시 형태와는 달리, 조회 화상마다 국소 영역 가중치를 산출하기 때문에, 가공 처리가 실시된 화상과 원화상 간의 화상 유사도를 보다 높은 값으로서 산출할 수 있다. 또 본 실시 형태에서는, 학습 화상 또는 기기 특성의 입력을 필요로 하지 않는다.
(제4 실시 형태)
본 발명의 제4 실시 형태에 대하여 도면을 참조하여 설명한다. 도 10의 블록도에 도시한 바와 같이, 본 발명의 화상 유사도 산출 시스템의 제4 실시 형태는, 도 9에 도시된 제3 실시 형태에서의 화상 유사도 산출부(32)가, 화상 유사도 산출부(42)로 치환되고, 또한 참조 화상군 소영역 특징량 기억부(25)와 검색 결과 출력 수단(26)을 갖는 점에서 제3 실시 형태와는 상이하다. 참조 화상군 소영역 특징량 기억부(25) 및 검색 결과 출력 수단(26)은, 제2 실시 형태에서 구비하고 있었던 것 과 동일한 것이다.
화상 유사도 산출부(42)는, 기능 상, 소영역 유사도 산출 수단(421)과, 화상 유사도 산출 수단(422)을 포함한다.
소영역 유사도 산출 수단(421)은, 참조 화상군 소영역 특징량 기억부(25)로부터 복수의 참조 화상의 소영역 특징량을 1 화상분씩 읽어들이고, 읽어들인 각 참조 화상의 소영역 특징량과, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량을 비교하여, 소영역마다 특징량의 유사도를 소영역 유사도로서 산출한다. 산출된 참조 화상군의 각 참조 화상에 대한 소영역 유사도를 화상 유사도 산출 수단(422)에 출력한다. 소영역 유사도의 산출 방법은, 사용하는 소영역 특징량에 따라서 임의로 정해진다. 예를 들면, 소영역의 색의 평균값, 최빈도값, 미디언값 등의 대표값을 소영역 특징량으로서 이용한 경우에는, 사용하고 있는 표색 공간에서의 거리값이나 상관값에 기초하여 유사도를 산출하는 방법이 있다.
색이나 엣지 요소의 출현 히스토그램을 소영역 특징량으로서 이용하는 경우에는, 히스토그램 간의 유사도를 산출하는 방법이 있다. 또한, 국제 표준 규격 ISO/IEC 15938-3에 규정되어 있는 Dominant Color, Color Layout, Scalable Color, Color Structure, Edge Histogram, Homogeneous Texture, Texture Browsing, Region Shape, Contour Shape, Shape 3D, Parametric Motion, Motion Activity 등을 소영역 특징량으로서 이용한 경우에는, ISO/IEC 15938-3에 의해 추천되어 있는 거리(유사도) 계산법에 따라서 유사도를 산출할 수 있다.
또한, 유사도를 1, 0의 2값 판정 결과로 하여도 된다. 예를 들면, 엣지 요소 특징량을 소영역 특징량으로서 이용하는 경우는, 엣지 요소가 일치하는 경우에는 유사도를 1, 일치하지 않는 경우에는 유사도를 0으로 하는 방법이 있다. 여기서, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량에 관한 소영역과, 참조 화상군 소영역 특징량 기억부(25)로부터 읽어들인 참조 화상의 소영역 특징량에 관한 소영역이, 화상 분할 방법이 상이하기 때문에 대응하지 않는 경우에는, 어느 한쪽의 화상의 소영역 특징량으로부터, 다른 한쪽의 화상의 소영역에 대응한 특징량을 보완한 뒤에, 유사도를 산출하면 된다. 예를 들면, 참조 화상의 소영역 특징량에 관한 소영역이, 조회 화상의 소영역 특징량에 관한 소영역을 보다 작은 복수의 영역으로 분할한 것이면, 참조 화상의 복수의 소영역 특징량의 평균값을 산출함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.
또한, 참조 화상의 소영역 특징량에 관한 소영역 분할 방법이, 조회 화상의 소영역 특징량에 관한 소영역 분할 방법과 전혀 상이한 형상이나 크기의 분할 방법인 경우에는, 조회 화상의 각 소영역과 중복되는 참조 화상의 복수의 소영역의 소영역 특징량을, 중복되는 면적에 비례한 가중치 부여를 하여 총합함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.
화상 유사도 산출 수단(422)은, 소영역 유사도 산출 수단(421)으로부터 입력되는 참조 화상군의 각 참조 화상에 대한 소영역 유사도에 대하여, 국소 영역 가중치 산출 수단(34)으로부터 입력되는 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여를 하여, 구해진 가중치 부여된 소영역 유사도로부터 화상 전체의 유사도를 화상 유사도로서 산출한다. 산출된 참조 화상군의 각 참조 화상에 대한 화상 유사도를 검색 결과 출력 수단(26)에 출력한다.
화상 유사도의 산출 방법으로서, 가중치 부여된 소영역 유사도의 전체 소영역의 총합으로서 구하는 방법이나, 평균값으로서 구하는 방법 등이 있다. 국소 영역 가중치 산출 수단(34)으로부터 입력되는 국소 영역 가중치를 갖는 국소 영역이, 소영역 유사도 산출 수단(421)으로부터 입력되는 소영역 유사도를 갖는 소영역과 대응하는 경우에는, 국소 영역 가중치를 직접 소영역마다의 가중치로서 이용할 수 있다. 소영역 유사도를 갖는 소영역과, 국소 영역 가중치를 갖는 국소 영역이 대응하지 않는 경우에는, 국소 영역 가중치를 이용하여 소영역 유사도를 갖는 소영역에 대응한 가중치를 보완하면 된다. 예를 들면, 국소 영역 가중치를 갖는 국소 영역이, 소영역 유사도를 갖는 소영역을 보다 작은 복수의 영역으로 분할한 것이면, 복수의 국소 영역 가중치의 평균값을 산출함으로써, 소영역 유사도를 갖는 소영역에 대응한 가중치를 생성할 수 있다.
또한, 국소 영역 가중치에 관한 국소 영역 분할 방법이, 소영역 유사도에 관한 소영역 분할 방법과 전혀 상이한 형상이나 크기의 분할 방법인 경우에는, 소영역과 중복되는 복수의 국소 영역의 가중치를, 중복되는 면적에 비례한 가중치 부여를 하여 총합함으로써, 소영역 유사도를 갖는 소영역에 대응한 가중치를 생성할 수 있다.
검색 결과 출력 수단(26)은, 제2 실시 형태인 경우와 마찬가지로, 검색 결과를 출력한다.
제4 실시 형태에서는, 제3 실시 형태의 효과를 갖는 화상 유사도의 산출 방 법을 이용하여 화상의 검색을 행한다. 또한, 제2 실시 형태와는 달리, 조회 화상마다 국소 영역 가중치를 산출하기 때문에, 가공 처리가 실시된 화상으로부터 원화상을 보다 고정밀도로 검색할 수 있다. 또한, 제3 실시 형태와 마찬가지로, 본 실시 형태에서는 학습 화상 또는 기기 특성의 입력을 필요로 하지 않는다.
(제5 실시 형태)
본 발명의 제5 실시 형태에 대하여 도면을 참조하여 설명한다. 도 11의 블록도에 도시한 바와 같이, 본 발명의 화상 유사도 산출 시스템의 제5 실시 형태는, 특징량 추출부(11)와, 화상 유사도 산출부(52)와, 가공 확률 모델 추정 수단(53)과, 일치 판정 임계치 산출 수단(54)을 구비하고 있다. 특징량 추출부(11)는, 본 발명의 제1 실시 형태에서 구비하고 있었던 것과 동일한 것이다.
가공 확률 모델 추정 수단(가공 확률 산출 수단의 일례)(53)은, 입력으로서 주어지는 가공 처리가 실시된 학습 화상 또는 가공 처리를 실시하는 기기의 특성으로부터, 화상의 국소 영역마다 가공 처리가 실시되는 확률인 국소 영역 가공 확률, 또는 화상에 가공 처리가 실시되는 국소 영역 수의 확률 분포인 가공 국소 영역 수 확률 분포를 산출하고, 산출된 국소 영역 가공 확률 또는 가공 국소 영역 수 확률 분포를 일치 판정 임계치 산출 수단(54)에 출력한다.
기기 특성의 일례로서, 가공 처리를 실시하는 기기가 화상에 대하여 실시하는 가공의 패턴 및 각 가공 패턴의 사용 빈도의 정보가 있다. 국소 영역은, 화상 분할 수단(111)에서 분할되는 소영역과 대응하는 것이 바람직하지만, 화상 분할 수단(111)에서 분할되는 소영역을 더 작은 복수의 영역으로 분할한 것이어도 되고, 화상의 각 화소를 국소 영역으로 하여도 된다. 또한, 화상 분할 수단(111)에서의 소영역 분할 방법과는 상이한 임의의 형상이나 크기로 분할한 영역을 국소 영역으로 하여도 된다.
가공 처리가 실시된 학습 화상이 입력으로서 주어지는 경우에는, 학습 화상에서 가공 처리가 실시된 영역을 특정하여, 국소 영역 가공 확률을 계측한다. 가공 처리가 실시된 영역을 특정하는 방법으로서, 수동으로 행하여도 되고, 텔롭 검출 방법 등의 가공 처리를 자동적으로 검출하는 방법을 이용하여도 된다. 가공 처리를 실시하는 기기의 특성이 입력으로서 주어지는 경우에는, 해당 기기가 화상에 대하여 실시하는 가공 패턴 및 각 가공 패턴의 사용 빈도의 정보에 기초하여, 국소 영역 가공 확률을 계측하는 방법이 있다.
일치 판정 임계치 산출 수단(54)은, 가공 확률 모델 추정 수단(53)으로부터 입력되는 국소 영역 가공 확률 또는 가공 국소 영역 수 확률 분포에 기초하여, 후술하는 화상 유사도 산출 수단(522)에 의해 구해지는 화상 전체의 유사도에 대하여, 비교하고 있는 2개의 화상이 일치하는지의 여부를 판정하는 최적의 임계치를 일치 판정 임계치로서 산출하고, 산출된 일치 판정 임계치를 화상 유사도 산출 수단(522)에 출력한다. 최적의 임계치의 산출 방법으로서, 국소 영역 가공 확률 또는 가공 국소 영역 수 확률 분포에 기초하여 가공 처리가 실시되어 부분적으로 그림이 변화한 가공 화상과 원래의 화상 사이에서, 화상 유사도 산출 수단(522)에서 화상의 소영역마다의 유사도로부터 구해지는 화상 전체의 유사도의 생기 확률 분포를 추정하고, 추정된 화상 전체의 유사도의 생기 확률 분포에 기초하여 가공 화상과 원화상이 불일치하다고 판정하는 확률이 충분히 작다고 판단할 수 있는 임계치로 설정하는 방법이 있다. 화상 전체의 유사도의 생기 확률 분포를 추정할 때에, 가공 처리에 의한 그림의 변화의 영향 외에, 화상의 재인코드에 기인하는 노이즈 발생에 의한 특징량의 변동의 영향도 고려하여도 된다.
화상 유사도 산출부(52)는, 기능 상, 소영역 유사도 산출 수단(521)과, 화상 유사도 산출 수단(522)을 포함한다.
소영역 유사도 산출 수단(521)은, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량과, 입력으로서 주어지는 참조 화상의 소영역 특징량을 비교하여, 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하고, 산출된 소영역 유사도를 화상 유사도 산출 수단(522)에 출력한다. 소영역 유사도의 산출 방법은, 사용하는 소영역 특징량에 따라서 임의로 구하여도 된다. 예를 들면, 소영역의 색의 평균값, 최빈도값, 미디언값 등의 대표값을 소영역 특징량으로서 이용한 경우에는, 사용하고 있는 표색 공간에서의 거리값이나 상관값에 기초하여 유사도를 산출하는 방법이 있다.
색이나 엣지 요소의 출현 히스토그램을 소영역 특징량으로서 이용하는 경우에는, 히스토그램 간의 유사도를 산출하는 방법이 있다. 또한 ISO/IEC 15938-3에 규정되어 있는 Dominant Color, Color Layout, Scalable Color, Color Structure, Edge Histogram, Homogeneous Texture, Texture Browsing, Region Shape, Contour Shape, Shape 3D, Parametric Motion, Motion Activity 등을 소영역 특징량으로서 이용한 경우에는, ISO/IEC 15938-3에 의해 추천되어 있는 거리(유사도) 계산법에 따라서 유사도를 산출할 수 있다.
또한, 유사도를 1, 0의 2값 판정 결과로 하여도 된다. 예를 들면, 엣지 요소 특징량을 소영역 특징량으로서 이용하는 경우는, 엣지 요소가 일치하는 경우에는 유사도를 1, 일치하지 않는 경우에는 유사도를 0으로 하는 방법이 있다. 여기서, 입력으로서 주어지는 참조 화상의 소영역 특징량에 관한 소영역은, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량에 관한 소영역과 대응하고 있는 것이 바람직하다. 대응하는 소영역을 직접 비교할 수 있기 때문이다. 조회 화상의 소영역과 참조 화상의 소영역이 화상 분할 방법이 상이하기 때문에 대응하지 않는 경우에는, 어느 한쪽의 화상의 소영역 특징량으로부터, 다른 한쪽의 화상의 소영역에 대응한 특징량을 보완한 뒤에, 유사도를 산출하면 된다. 예를 들면, 참조 화상의 소영역 특징량에 관한 소영역이, 조회 화상의 소영역 특징량에 관한 소영역을 보다 작은 복수의 영역으로 분할한 것이면, 참조 화상의 복수의 소영역 특징량의 평균값을 산출함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.
또한, 참조 화상의 소영역 특징량에 관한 소영역 분할 방법이, 조회 화상의 소영역 특징량에 관한 소영역 분할 방법과 전혀 상이한 형상이나 크기의 분할 방법인 경우에는, 조회 화상의 각 소영역과 중복되는 참조 화상의 복수의 소영역의 소영역 특징량을, 중복되는 면적에 비례한 가중치 부여를 하여 총합함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.
화상 유사도 산출 수단(522)은, 소영역 유사도 산출 수단(521)으로부터 입력 되는 소영역 유사도로부터 화상 전체의 유사도를 산출하고, 산출된 화상 전체의 유사도를 일치 판정 임계치 산출 수단(54)으로부터 입력되는 일치 판정 임계치를 이용하여 수정하고, 수정된 유사도를 화상 유사도로서 출력한다. 화상 전체의 유사도의 산출 방법으로서, 소영역 유사도의 전체 소영역의 총합으로서 구하는 방법이나, 평균값으로서 구하는 방법 등이 있다. 화상 전체의 유사도를 일치 판정 임계치를 이용하여 수정하는 방법으로서, 화상 전체의 유사도가 일치 판정 임계치 이상이면 유사도를 1로, 화상 전체의 유사도가 일치 판정 임계치 미만이면 유사도를 0으로 수정하는 방법이 있다.
다음으로, 도 11의 블록도 및 도 12의 플로우차트를 참조하여, 제5 실시 형태의 동작에 대하여 설명한다.
학습 화상 또는 기기 특성이 입력으로서 주어지면(스텝 C1), 가공 확률 모델 추정 수단(53)은, 입력된 학습 화상 또는 기기 특성으로부터, 화상의 국소 영역마다 가공 처리가 실시되는 확률인 국소 영역 가공 확률 또는 화상에 가공 처리가 실시되는 국소 영역 수의 확률 분포인 가공 국소 영역 수 확률 분포를 산출하고, 산출된 국소 영역 가공 확률 또는 가공 국소 영역 수 확률 분포를 일치 판정 임계치 산출 수단(54)에 출력한다(스텝 C2). 다음으로, 일치 판정 임계치 산출 수단(54)은, 국소 영역 가공 확률 또는 가공 국소 영역 수 확률 분포에 기초하여 화상 간의 일치를 판정하는 임계치를 일치 판정 임계치로서 산출한다(스텝 C3).
가공 처리가 실시된 조회 화상이 입력으로서 주어지면(스텝 C4), 화상 분할 수단(111)은, 입력된 조회 화상을 소영역으로 분할하고, 소영역 분할된 화상을 소 영역 특징량 추출 수단(112)에 출력한다(스텝 C5). 소영역 특징량 추출 수단(112)은, 소영역 분할된 화상의 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하고, 추출된 조회 화상 소영역 특징량을 소영역 유사도 산출 수단(521)에 출력한다(스텝 C6). 다음으로, 참조 화상의 소영역 특징량이 입력으로서 주어진다(스텝 C7). 소영역 유사도 산출 수단(521)은, 입력된 참조 화상의 소영역 특징량과 조회 화상 소영역 특징량을 비교하여 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하고, 산출된 소영역 유사도를 화상 유사도 산출 수단(522)에 출력한다(스텝 C8). 화상 유사도 산출 수단(522)은, 소영역 유사도로부터 화상 전체의 유사도를 산출하고, 스텝 C3에서 일치 판정 임계치 산출 수단(54)에 의해 산출된 일치 판정 임계치를 이용하여 화상 전체의 유사도를 수정하여 조회 화상과 참조 화상의 화상 유사도를 산출한다(스텝 C9). 마지막으로, 화상 유사도 산출 수단(522)은, 산출된 화상 유사도를 출력한다(스텝 C10).
제5 실시 형태에서는, 화상에 가공 처리가 실시되는 확률 모델에 기초하여, 비교하는 2개의 화상이 일치하는지의 여부를 판정하는 최적의 임계치를 산출하고, 이 임계치에 기초하여 화상 간의 유사도를 수정하여 화상 유사도를 산출한다. 화상이 일치하는지의 여부를 판정하는 임계치에 기초하여 유사도를 수정하기 위해서, 본 실시 형태는, 가공 처리가 실시된 조회 화상이 참조 화상으로부터 생성된 것인지의 여부를 판정하는 데 적합한 화상 유사도를 산출할 수 있다. 또한, 제5 실시 형태에서는, 조회 화상으로부터 가공 처리가 실시된 영역을 검출하는 처리를 필요로 하지 않고, 또한 학습 화상 또는 기기 특성으로부터 일치 판정 임계치를 산출하 고 있기 때문에, 미리 별도의 처리에서 일치 판정 임계치를 구해 둘 수 있고, 화상 유사도의 산출을 고속으로 행할 수 있다.
또한, 제5 실시 형태에서는, 제1 실시 형태에 대한 각 변형예를 적용할 수 있다. 즉, 가공 확률 모델 추정 수단(53) 대신에 가공 확률 모델 기억 수단을 설치하여도 되고, 가공 확률 모델 갱신 수단과 가공 확률 모델 기억 수단을 설치하여도 된다.
(제6 실시 형태)
본 발명의 제6 실시 형태에 대하여 도면을 참조하여 설명한다. 도 13의 블록도에 도시한 바와 같이, 본 발명의 화상 유사도 산출 시스템의 제6 실시 형태는, 도 11에 도시된 제5 실시 형태에서의 화상 유사도 산출부(52)가, 화상 유사도 산출부(62)로 치환되고, 또한 참조 화상군 소영역 특징량 기억부(25)와 검색 결과 출력 수단(26)을 갖는 점에서 제5 실시 형태와는 상이하다. 참조 화상군 소영역 특징량 기억부(25) 및 검색 결과 출력 수단(26)은, 제2 실시 형태에서 구비하고 있었던 것과 동일한 것이다.
화상 유사도 산출부(62)는, 기능 상, 소영역 유사도 산출 수단(621)과 화상 유사도 산출 수단(622)을 포함한다.
소영역 유사도 산출 수단(621)은, 참조 화상군 소영역 특징량 기억부(25)로부터 복수의 참조 화상의 소영역 특징량을 1 화상분씩 읽어들이고, 읽어들인 각 참조 화상의 소영역 특징량과, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량을 비교하여, 소영역마다 특징량의 유사도를 소영역 유사도로 서 산출한다. 산출된 참조 화상군의 각 참조 화상에 대한 소영역 유사도를 화상 유사도 산출 수단(622)에 출력한다. 소영역 유사도의 산출 방법은, 사용하는 소영역 특징량에 따라서 임의로 정해진다.
예를 들면, 소영역의 색의 평균값, 최빈도값, 미디언값 등의 대표값을 소영역 특징량으로서 이용한 경우에는, 사용하고 있는 표색 공간에서의 거리값이나 상관값에 기초하여 유사도를 산출하는 방법이 있다. 색이나 엣지 요소의 출현 히스토그램을 소영역 특징량으로서 이용하는 경우에는, 히스토그램 간의 유사도를 산출하는 방법이 있다.
또한, 국제 표준 규격 ISO/IEC 15938-3에 규정되어 있는 Dominant Color, Color Layout, Scalable Color, Color Structure, Edge Histogram, Homogeneous Texture, Texture Browsing, Region Shape, Contour Shape, Shape 3D, Parametric Motion, Motion Activity 등을 소영역 특징량으로서 이용한 경우에는, ISO/IEC 15938-3에서 추천되어 있는 거리(유사도) 계산법에 따라 유사도를 산출할 수 있다.
또한, 유사도를 1, 0의 2값 판정 결과로 해도 된다. 예를 들면, 엣지 요소 특징량을 소영역 특징량으로서 이용하는 경우에는, 엣지 요소가 일치하는 경우에는 유사도를 1, 일치하지 않는 경우에는 유사도를 0으로 하는 방법이 있다. 여기서, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량에 관한 소영역과, 참조 화상군 소영역 특징량 기억부(25)로부터 읽어들인 참조 화상의 소영역 특징량에 관한 소영역이, 화상 분할 방법이 서로 다르기 때문에 대응하고 있지 않은 경우에는, 어느 한쪽의 화상의 소영역 특징량으로부터, 다른 한쪽의 화 상의 소영역에 대응한 특징량을 보완한 후에, 유사도를 산출하면 된다. 예를 들면, 참조 화상의 소영역 특징량에 관한 소영역이, 조회 화상의 소영역 특징량에 관한 소영역을 보다 작은 복수의 영역으로 분할한 것이면, 참조 화상의 복수의 소영역 특징량의 평균값을 산출함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.
또한, 참조 화상의 소영역 특징량에 관한 소영역 분할 방법이, 조회 화상의 소영역 특징량에 관한 소영역 분할 방법과 전혀 다른 형상이나 크기의 분할 방법인 경우에는, 조회 화상의 각 소영역과 중복되는 참조 화상의 복수의 소영역의 소영역 특징량을, 중복되는 면적에 비례한 가중치 부여를 행하여 총합함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.
화상 유사도 산출 수단(622)은, 소영역 유사도 산출 수단(621)으로부터 입력되는 참조 화상군의 각 참조 화상에 대한 소영역 유사도로부터 화상 전체의 유사도를 산출하고, 산출된 화상 전체의 유사도를 일치 판정 임계치 산출 수단(54)으로부터 입력되는 일치 판정 임계치를 이용하여 수정한다. 수정된 참조 화상군의 각 참조 화상에 대한 유사도를 화상 유사도로서 검색 결과 출력 수단(26)에 출력한다. 화상 전체의 유사도의 산출 방법으로서, 소영역 유사도의 모든 소영역의 총합으로서 구하는 방법이나, 평균값으로서 구하는 방법 등이 있다. 화상 전체의 유사도를 일치 판정 임계치를 이용하여 수정하는 방법으로서, 화상 전체의 유사도가 일치 판정 임계치 이상이면 유사도를 1로, 화상 전체의 유사도가 일치 판정 임계치 미만이면 유사도로 수정하는 방법이 있다.
검색 결과 출력 수단(26)은, 제2 실시 형태의 경우와 마찬가지로, 검색 결과를 출력한다.
다음으로, 도 13의 블록도 및 도 14의 플로우차트를 참조하여, 제6 실시 형태의 동작에 대하여 설명한다.
학습 화상 또는 기기 특성이 입력으로서 주어지면(스텝 D1), 가공 확률 모델 추정 수단(53)은, 입력된 학습 화상 또는 기기 특성으로부터, 화상의 국소 영역마다 가공 처리가 실시되는 확률인 국소 영역 가공 확률 또는 화상에 가공 처리가 실시되는 국소 영역 수의 확률 분포인 가공 국소 영역 수 확률 분포를 산출하고, 산출된 국소 영역 가공 확률 또는 가공 국소 영역 수 확률 분포를 일치 판정 임계치 산출 수단(54)에 출력한다(스텝 D2). 일치 판정 임계치 산출 수단(54)은, 국소 영역 가공 확률 또는 가공 국소 영역 수 확률 분포에 기초하여 화상 간의 일치를 판정하는 임계치를 일치 판정 임계치로서 산출한다(스텝 D3).
가공 처리가 실시된 조회 화상이 입력으로서 주어지면(스텝 D4), 화상 분할 수단(111)은, 입력된 조회 화상을 소영역으로 분할하고, 소영역 분할된 화상을 소영역 특징량 추출 수단(112)에 출력한다(스텝 D5). 소영역 특징량 추출 수단(112)은, 소영역 분할된 화상의 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하고, 추출된 조회 화상 소영역 특징량을 소영역 유사도 산출 수단(621)에 출력한다(스텝 D6). 다음으로, 참조 화상군 소영역 특징량 기억부(25)로부터, 1화상분의 참조 화상의 소영역 특징량을 읽어들인다(스텝 D7). 소영역 유사도 산출 수단(621)은, 읽어들인 1화상분의 참조 화상의 소영역 특징량과 조회 화상 소영역 특 징량을 비교하여 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하고, 산출된 소영역 유사도를 화상 유사도 산출 수단(622)에 출력한다(스텝 D8).
화상 유사도 산출 수단(622)은, 소영역 유사도로부터 화상 전체의 유사도를 산출하고, 스텝 D3에서 일치 판정 임계치 산출 수단(54)에 의해 산출된 일치 판정 임계치를 이용하여 화상 전체의 유사도를 수정하여 읽어들인 1이 증분된 참조 화상과 조회 화상의 화상 유사도를 산출한다(스텝 D9). 다음으로, 참조 화상군 소영역 특징량 기억부(25)에 기억되어 있는 모든 참조 화상에 대한 화상 유사도를 산출하였는지의 여부를 조사한다(스텝 D10). 화상 유사도를 산출하고 있지 않은 참조 화상이 남아 있는 경우에는, 스텝 D7로 되돌아간다. 모든 참조 화상에 대한 화상 유사도가 산출되어 있는 경우에는, 스텝 D11로 진행한다. 마지막으로, 검색 결과 출력 수단(26)은, 모든 참조 화상에 대한 화상 유사도에 기초하여, 참조 화상군 중으로부터 조회 화상에 대한 검색 결과를 출력한다(스텝 D11).
제6 실시 형태에서는, 가공 처리가 실시된 조회 화상이 참조 화상으로부터 생성된 것인지의 여부를 판정하는 데 적합한 화상 유사도를 산출하는 제5 실시 형태를 이용하여, 화상의 검색을 행한다. 이 때문에, 본 실시 형태에서는, 가공 처리가 실시된 조회 화상의 원화상이 참조 화상군 중에 복수 등록되어 있는 경우에도, 가공 완료된 조회 화상의 원화상이다라고 판정되는 모든 화상을 정확하게 검색할 수 있다. 또한, 제5 실시 형태와 마찬가지로, 조회 화상으로부터 가공 영역을 검출하는 처리를 필요로 하지 않아, 미리 일치 판정 임계치를 구해 놓을 수 있기 때문에, 화상 검색을 고속으로 행할 수 있다.
또한, 제6 실시 형태에서도, 제1 실시 형태에 대한 각 변형예를 적용할 수 있다. 즉, 가공 확률 모델 추정 수단(53) 대신에 가공 확률 모델 기억 수단을 설치해도 되고, 가공 확률 모델 갱신 수단과 가공 확률 모델 기억 수단을 설치해도 된다.
(제7 실시 형태)
본 발명의 제7 실시 형태에 대하여 도면을 참조하여 설명한다. 도 15의 블록도에 도시한 바와 같이, 본 발명의 화상 유사도 산출 시스템의 제7 실시 형태는, 기능상, 특징량 추출부(11)와, 화상 유사도 산출부(72)와, 가공 영역 검출 수단(73)과, 일치 판정 임계치 산출 수단(74)을 구비하고 있다. 특징량 추출부(11)는, 본 발명의 제1 실시 형태에서 구비되어 있었던 것과 동일한 것이다.
가공 영역 검출 수단(73)은, 입력으로서 주어지는 가공 처리가 실시된 조회 화상에 대하여, 텔롭 검출 방법 등의 가공 영역을 자동적으로 검출하는 방법에 의해, 조회 화상의 국소 영역마다 가공 처리가 실시되는 확률인 국소 영역 가공 확률, 또는 조회 화상에 가공 처리가 실시된 국소 영역 수의 확률 분포인 가공 국소 영역 수 확률 분포를 산출하고, 산출된 국소 영역 가공 확률 또는 가공 국소 영역 수 확률 분포를 일치 판정 임계치 산출 수단(74)에 출력한다. 국소 영역 가공 확률의 확률값은, 임의의 값이어도 되고, 1, 0의 2값이어도 된다. 또한, 국소 영역은, 화상 분할 수단(111)에 의해 분할되는 소영역을 더 작은 복수의 영역으로 분할한 것이어도 되고, 화상의 각 화소를 국소 영역으로 해도 된다. 또한, 화상 분할 수단(111)에서의 소영역 분할 방법과는 다른 임의의 형상이나 크기로 분할한 영역 을 국소 영역으로 해도 된다.
일치 판정 임계치 산출 수단(74)은, 가공 영역 검출 수단(73)으로부터 입력되는 국소 영역 가공 확률 또는 가공 국소 영역 수 확률 분포에 기초하여, 후술하는 화상 유사도 산출 수단(722)에 의해 구해지는 화상 전체의 유사도에 대하여, 비교하고 있는 2개의 화상이 일치하는지의 여부를 판정하는 최적의 임계치를 일치 판정 임계치로서 산출하고, 산출된 일치 판정 임계치를 화상 유사도 산출 수단(722)에 출력한다. 최적의 임계치의 산출 방법으로서, 국소 영역 가공 확률 또는 가공 국소 영역 수 확률 분포에 기초하여 가공 처리가 실시되어 부분적으로 그림이 변화된 가공 화상과 원래의 화상 사이에서, 화상 유사도 산출 수단(522)에서 화상의 소영역마다의 유사도로부터 구해지는 화상 전체의 유사도의 생기 확률 분포를 추정하고, 추정된 화상 전체의 유사도의 생기 확률 분포에 기초하여 가공 화상과 원화상이 불일치하다고 판정하는 확률이 충분히 작다라고 판단할 수 있는 임계치로 설정하는 방법이 있다. 화상 전체의 유사도의 생기 확률 분포를 추정할 때에, 가공 처리에 의한 그림의 변화의 영향 외에, 화상의 재인코드에 기인하는 노이즈 발생에 의한 특징량의 변동의 영향도 고려해도 된다.
화상 유사도 산출부(72)는, 기능상, 소영역 유사도 산출 수단(721)과, 화상 유사도 산출 수단(722)을 포함한다.
소영역 유사도 산출 수단(721)은, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량과, 입력으로서 주어지는 참조 화상의 소영역 특징량을 비교하여, 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하고, 산출된 소영역 유사도를 화상 유사도 산출 수단(722)에 출력한다. 소영역 유사도의 산출 방법은, 사용하는 소영역 특징량에 따라 임의로 정해진다. 예를 들면, 소영역의 색의 평균값, 최빈도값, 미디언값 등의 대표값을 소영역 특징량으로서 이용한 경우에는, 사용하고 있는 표색 공간에서의 거리값이나 상관값에 기초하여 유사도를 산출하는 방법이 있다. 색이나 엣지 요소의 출현 히스토그램을 소영역 특징량으로서 이용하는 경우에는, 히스토그램간의 유사도를 산출하는 방법이 있다.
또한, ISO/IEC 15938-3에 규정되어 있는 Dominant Color, Color Layout, Scalable Color, Color Structure, Edge Histogram, Homogeneous Texture, Texture Browsing, Region Shape, Contour Shape, Shape 3D, Parametric Motion, Motion Activity 등을 소영역 특징량으로서 이용한 경우에는, ISO/IEC 15938-3에서 추천되어 있는 거리(유사도) 계산법에 따라 유사도를 산출할 수 있다.
또한, 유사도를 1, 0의 2값 판정 결과로 해도 된다. 예를 들면, 엣지 요소 특징량을 소영역 특징량으로서 이용하는 경우에는, 엣지 요소가 일치하는 경우에는 유사도를 1, 일치하지 않는 경우에는 유사도를 0으로 하는 방법이 있다. 여기서, 입력으로서 주어지는 참조 화상의 소영역 특징량에 관한 소영역은, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량에 관한 소영역과 대응하고 있는 것이 바람직하다. 대응하는 소영역을 직접 비교할 수 있기 때문이다. 조회 화상의 소영역과 참조 화상의 소영역이 화상 분할 방법이 서로 다르기 때문에 대응하고 있지 않은 경우에는, 어느 한쪽의 화상의 소영역 특징량으로부터, 다른 한쪽의 화상의 소영역에 대응한 특징량을 보완한 후에, 유사도를 산출하면 된다. 예를 들면, 참조 화상의 소영역 특징량에 관한 소영역이, 조회 화상의 소영역 특징량에 관한 소영역을 보다 작은 복수의 영역으로 분할한 것이면, 참조 화상의 복수의 소영역 특징량의 평균값을 산출함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.
또한, 참조 화상의 소영역 특징량에 관한 소영역 분할 방법이, 조회 화상의 소영역 특징량에 관한 소영역 분할 방법과 전혀 다른 형상이나 크기의 분할 방법인 경우에는, 조회 화상의 각 소영역과 중복되는 참조 화상의 복수의 소영역의 소영역 특징량을, 중복되는 면적에 비례한 가중치 부여를 행하여 총합함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.
화상 유사도 산출 수단(722)은, 소영역 유사도 산출 수단(721)으로부터 입력되는 소영역 유사도로부터 화상 전체의 유사도를 산출하고, 산출된 화상 전체의 유사도를 일치 판정 임계치 산출 수단(74)으로부터 입력되는 일치 판정 임계치를 이용하여 수정하고, 수정된 유사도를 화상 유사도로서 출력한다. 화상 전체의 유사도의 산출 방법으로서, 소영역 유사도의 모든 소영역의 총합으로서 구하는 방법이나, 평균값으로서 구하는 방법 등이 있다. 화상 전체의 유사도를 일치 판정 임계치를 이용하여 수정하는 방법으로서, 화상 전체의 유사도가 일치 판정 임계치 이상이면 유사도를 1로, 화상 전체의 유사도가 일치 판정 임계치 미만이면 유사도를 0으로 수정하는 방법이 있다.
제7 실시 형태에서는, 제5 실시 형태와 마찬가지로, 가공 처리가 실시된 조회 화상이 참조 화상으로부터 생성된 것인지의 여부를 판정하는 데 적합한 화상 유 사도를 산출하지만, 일치 판정 임계치를 조회 화상으로부터 직접 산출한 국소 영역 가공 확률에 기초하여 산출하고 있다. 학습 화상 또는 기기 특성으로부터 학습적으로 일치 판정 임계치를 평균값으로서 구하는 제5 실시 형태와는 달리, 조회 화상마다 일치 판정값을 산출하기 때문에, 가공 처리가 실시된 조회 화상이 참조 화상으로부터 생성된 것인지의 여부를 판정하는 데 적합한 화상 유사도를 보다 정확하게 구할 수 있다. 또한 본 실시 형태에서는, 학습 화상 또는 기기 특성의 입력을 필요로 하지 않는다.
(제8 실시 형태)
본 발명의 제8 실시 형태에 대하여 도면을 참조하여 설명한다. 도 16의 블록도에 도시한 바와 같이, 본 발명의 화상 유사도 산출 시스템의 제8 실시 형태는, 도 15에 도시한 제7 실시 형태에서의 화상 유사도 산출부(72)가, 화상 유사도 산출부(82)로 치환되고, 또한, 참조 화상군 소영역 특징량 기억부(25)와 검색 결과 출력 수단(26)을 갖는 점에서 상이하다. 참조 화상군 소영역 특징량 기억부(25) 및 검색 결과 출력 수단(26)은, 본 발명의 제2 실시 형태에서 구비하고 있었던 것과 동일한 것이다.
화상 유사도 산출부(82)는, 기능상, 소영역 유사도 산출 수단(821)과, 화상 유사도 산출 수단(822)을 포함한다.
소영역 유사도 산출 수단(821)은, 참조 화상군 소영역 특징량 기억부(25)로부터 복수의 참조 화상의 소영역 특징량을 1화상분씩 읽어들이고, 읽어들인 각 참조 화상의 소영역 특징량과, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량을 비교하여, 소영역마다 특징량의 유사도를 소영역 유사도로서 산출한다. 산출된 참조 화상군의 각 참조 화상에 대한 소영역 유사도를 화상 유사도 산출 수단(822)에 출력한다. 소영역 유사도의 산출 방법은, 사용하는 소영역 특징량에 따라 임의로 구해도 된다. 예를 들면, 소영역의 색의 평균값, 최빈도값, 미디언값 등의 대표값을 소영역 특징량으로서 이용한 경우에는, 사용하고 있는 표색 공간에서의 거리값이나 상관값에 기초하여 유사도를 산출하는 방법이 있다. 색이나 엣지 요소의 출현 히스토그램을 소영역 특징량으로서 이용하는 경우에는, 히스토그램간의 유사도를 산출하는 방법이 있다.
또한, 국제 표준 규격 ISO/IEC 15938-3에 규정되어 있는 Dominant Color, Color Layout, Scalable Color, Color Structure, Edge Histogram, Homogeneous Texture, Texture Browsing, Region Shape, Contour Shape, Shape 3D, Parametric Motion, Motion Activity 등을 소영역 특징량으로서 이용한 경우에는, ISO/IEC 15938-3에서 추천되어 있는 거리(유사도) 계산법에 따라 유사도를 산출할 수 있다.
또한, 유사도를 1, 0의 2값 판정 결과로 해도 된다. 예를 들면, 엣지 요소 특징량을 소영역 특징량으로서 이용하는 경우에는, 엣지 요소가 일치하는 경우에는 유사도를 1, 일치하지 않는 경우에는 유사도를 0으로 하는 방법이 있다. 여기서, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량에 관한 소영역과, 참조 화상군 소영역 특징량 기억부(25)로부터 읽어들인 참조 화상의 소영역 특징량에 관한 소영역이, 화상 분할 방법이 서로 다르기 때문에 대응하고 있지 않은 경우에는, 어느 한쪽의 화상의 소영역 특징량으로부터, 다른 한쪽의 화 상의 소영역에 대응한 특징량을 보완한 후에, 유사도를 산출하면 된다. 예를 들면, 참조 화상의 소영역 특징량에 관한 소영역이, 조회 화상의 소영역 특징량에 관한 소영역을 보다 작은 복수의 영역으로 분할한 것이면, 참조 화상의 복수의 소영역 특징량의 평균값을 산출함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.
또한, 참조 화상의 소영역 특징량에 관한 소영역 분할 방법이, 조회 화상의 소영역 특징량에 관한 소영역 분할 방법과 전혀 다른 형상이나 크기의 분할 방법인 경우에는, 조회 화상의 각 소영역과 중복되는 참조 화상의 복수의 소영역의 소영역 특징량을, 중복되는 면적에 비례한 가중치 부여를 행하여 총합함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.
화상 유사도 산출 수단(822)은, 소영역 유사도 산출 수단(821)으로부터 입력되는 참조 화상군의 각 참조 화상에 대한 소영역 유사도로부터 화상 전체의 유사도를 산출하고, 산출된 화상 전체의 유사도를 일치 판정 임계치 산출 수단(74)으로부터 출력되는 일치 판정 임계치를 이용하여 수정한다. 수정된 참조 화상군의 각 참조 화상에 대한 유사도를 화상 유사도로서 검색 결과 출력 수단(26)에 출력한다. 화상 전체의 유사도의 산출 방법으로서, 소영역 유사도의 모든 소영역의 총합으로서 구하는 방법이나, 평균값으로서 구하는 방법 등이 있다. 화상 전체의 유사도를 일치 판정 임계치를 이용하여 수정하는 방법으로서, 화상 전체의 유사도가 일치 판정 임계치 이상이면 유사도를 1로, 화상 전체의 유사도가 일치 판정 임계치 미만이면 유사도를 0으로 수정하는 방법이 있다.
검색 결과 출력 수단(26)은, 제2 실시 형태의 경우와 마찬가지로, 검색 결과를 출력한다.
제8 실시 형태에서는, 제7 실시 형태의 효과를 갖는 화상 유사도의 산출 방법을 이용하여 화상의 검색을 행한다. 제6 실시 형태와는 달리, 조회 화상마다 일치 판정 임계치를 산출하기 때문에, 참조 화상군 중으로부터 가공 처리가 실시된 조회 화상의 모든 원화상을 보다 정확하게 검색할 수 있다. 또한, 제7 실시 형태와 마찬가지로, 본 실시 형태에서는 학습 화상 또는 기기 특성의 입력을 필요로 하지 않는다.
(제9 실시 형태)
본 발명의 제9 실시 형태에 대하여 도면을 참조하여 설명한다. 도 17의 블록도에 도시한 바와 같이, 본 발명의 화상 유사도 산출 시스템의 제9 실시 형태는, 기능상, 특징량 추출부(11)와, 화상 유사도 산출부(92)와, 가공 확률 모델 추정 수단(93)과, 국소 영역 가중치 산출 수단(94)과, 일치 판정 임계치 산출 수단(95)을 구비하고 있다. 특징량 추출부(11)는, 본 발명의 제1 실시 형태에서 구비되어 있었던 것과 동일한 것이다. 국소 영역 가중치 산출 수단(94)과 일치 판정 임계치 산출 수단(95)을, 1개의 가중치 및 일치 판정 임계치 산출 수단으로서 구성해도 된다.
가공 확률 모델 추정 수단(93)은, 입력으로서 주어지는 가공 처리가 실시된 학습 화상 또는 가공 처리를 실시하는 기기의 특성으로부터, 화상의 국소 영역마다 가공 처리가 실시되는 확률을 국소 영역 가공 확률로서 산출하고, 산출된 국소 영 역 가공 확률을 국소 영역 가중치 산출 수단(94)에 출력한다.
기기 특성의 일례로서, 가공 처리를 실시하는 기기가 화상에 대하여 실시하는 가공의 패턴 및 각 가공 패턴의 사용 빈도의 정보가 있다. 국소 영역은, 화상 분할 수단(111)에서 분할되는 소영역과 대응하는 것이 바람직하지만, 화상 분할 수단(111)에서 분할되는 소영역을 더 작은 복수의 영역으로 분할한 것이어도 되며, 화상의 각 화소를 국소 영역으로 해도 된다. 또한, 화상 분할 수단(111)에서의 소영역 분할 방법과는 다른 임의의 형상이나 크기로 분할한 영역을 국소 영역으로 해도 된다.
가공 처리가 실시된 학습 화상이 입력으로서 주어지는 경우에는, 학습 화상에서 가공 처리가 실시된 영역을 특정하고, 국소 영역 가공 확률을 계측한다. 가공 처리가 실시된 영역을 특정하는 방법으로서, 수동으로 행해도 되고, 텔롭 검출 방법 등의 가공 처리를 자동적으로 검출하는 방법을 이용해도 된다. 가공 처리를 실시하는 기기의 특성이 입력으로서 주어지는 경우에는, 해당 기기가 화상에 대하여 실시하는 가공 패턴 및 각 가공 패턴의 사용 빈도의 정보에 기초하여, 국소 영역 가공 확률을 계측하는 방법이 있다.
국소 영역 가중치 산출 수단(94)은, 가공 확률 모델 추정 수단(93)으로부터 입력되는 국소 영역 가공 확률에 기초하여, 화상의 각 국소 영역으로부터 추출되는 특징량이 화상 전체의 유사도의 산출에 어느 정도 유효한지를 수치화한 가중치를 국소 영역 가중치로서 산출하고, 산출된 국소 영역 가중치를 화상 유사도 산출 수단(922) 및 일치 판정 임계치 산출 수단(95)에 출력한다. 국소 영역 가중치는, 해 당 국소 영역의 국소 영역 가공 확률이 낮을수록, 높은 값으로 설정하는 것이 유효하다. 국소 영역 가중치의 산출 방법의 일례로서,
국소 영역 가중치=1-국소 영역 가공 확률
로 하는 방법이 있지만, 이에 한정된 것은 아니며, 화상 유사도 산출 처리에서, 가공 처리가 실시된 확률이 높은 영역의 영향을 배제할 수 있는 다른 산출 방법을 이용해도 된다.
국소 영역은, 가공 확률 모델 추정 수단(93)에서의 국소 영역과 마찬가지로, 화상 분할 수단(111)에서 분할되는 소영역과 대응하는 것이 바람직하지만, 화상 분할 수단(111)에서 분할되는 소영역을 더 작은 복수의 영역으로 분할한 것이어도 되고, 화상의 각 화소를 국소 영역으로 해도 된다. 또한, 화상 분할 수단(111)에서의 소영역 분할 방법과는 다른 임의의 형상이나 크기로 분할한 영역을 국소 영역으로 해도 된다.
일치 판정 임계치 산출 수단(95)은, 국소 영역 가중치 산출 수단(94)으로부터 입력되는 국소 영역 가중치에 기초하여, 후술하는 화상 유사도 산출 수단(922)에 의해 구해지는 화상 전체의 유사도에 대하여, 비교하고 있는 2개의 화상이 일치하는지의 여부를 판정하는 최적의 임계치를 일치 판정 임계치로서 산출하고, 산출된 일치 판정 임계치를 화상 유사도 산출 수단(922)에 출력한다. 화상 유사도 산출 수단(922)은, 국소 영역 가중치로부터 구해지는 소영역마다의 가중치에 의해 소영역마다의 유사도를 가중치 부여하여, 가공 처리의 영향을 배제한 후에 화상 전체의 유사도를 산출하고 있기 때문에, 일치 판정 임계치를 화상 유사도 산출 수단 (922)은, 일치 판정 임계치를 국소 영역 가중치를 고려하여 산출한다. 최적의 임계치의 산출 방법으로서, 가공 처리가 실시된 화상과 원래의 화상 사이에서, 화상 유사도 산출 수단(922)에서 국소 영역 가중치를 작용시켜 가공 처리의 영향을 배제하여 구해지는 화상 전체의 유사도의 추정값을, 국소 영역 가중치에 기초하여 산출하고, 추정된 화상 전체의 유사도에 기초하여, 가공 화상과 원화상이 불일치하다고 판정하는 가능성이 충분히 낮다라고 판단할 수 있는 임계치로 설정하는 방법이 있다. 또한 이 때에, 화상의 재인코드에 기인하는 노이즈 발생에 의한 특징량의 변동의 영향도 고려해도 된다.
화상 유사도 산출부(92)는, 기능상, 소영역 유사도 산출 수단(921)과, 화상 유사도 산출 수단(922)을 포함한다.
소영역 유사도 산출 수단(921)은, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량과, 입력으로서 주어지는 참조 화상의 소영역 특징량을 비교하여, 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하고, 산출된 소영역 유사도를 화상 유사도 산출 수단(922)에 출력한다. 소영역 유사도의 산출 방법은, 사용하는 소영역 특징량에 따라 임의로 구해도 된다. 예를 들면, 소영역의 색의 평균값, 최빈도값, 미디언값 등의 대표값을 소영역 특징량으로서 이용한 경우에는, 사용하고 있는 표색 공간에서의 거리값이나 상관값에 기초하여 유사도를 산출하는 방법이 있다. 색이나 엣지 요소의 출현 히스토그램을 소영역 특징량으로서 이용하는 경우에는, 히스토그램간의 유사도를 산출하는 방법이 있다.
또한, ISO/IEC 15938-3에 규정되어 있는 Dominant Color, Color Layout, Scalable Color, Color Structure, Edge Histogram, Homogeneous Texture, Texture Browsing, Region Shape, Contour Shape, Shape 3D, Parametric Motion, Motion Activity 등을 소영역 특징량으로서 이용한 경우에는, ISO/IEC 15938-3에서 추천되어 있는 거리(유사도) 계산법에 따라 유사도를 산출할 수 있다.
또한, 유사도를 1, 0의 2값 판정 결과로 해도 된다. 예를 들면, 엣지 요소 특징량을 소영역 특징량으로서 이용하는 경우에는, 엣지 요소가 일치하는 경우에는 유사도를 1, 일치하지 않는 경우에는 유사도를 0으로 하는 방법이 있다. 여기서, 입력으로서 주어지는 참조 화상의 소영역 특징량에 관한 소영역은, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량에 관한 소영역과 대응하고 있는 것이 바람직하다. 대응하는 소영역을 직접 비교할 수 있기 때문이다. 조회 화상의 소영역과 참조 화상의 소영역이 화상 분할 방법이 서로 다르기 때문에 대응하고 있지 않은 경우에는, 어느 한쪽의 화상의 소영역 특징량으로부터, 다른 한쪽의 화상의 소영역에 대응한 특징량을 보완한 후에, 유사도를 산출하면 된다. 예를 들면, 참조 화상의 소영역 특징량에 관한 소영역이, 조회 화상의 소영역 특징량에 관한 소영역을 보다 작은 복수의 영역으로 분할한 것이면, 참조 화상의 복수의 소영역 특징량의 평균값을 산출함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.
또한, 참조 화상의 소영역 특징량에 관한 소영역 분할 방법이, 조회 화상의 소영역 특징량에 관한 소영역 분할 방법과 전혀 다른 형상이나 크기의 분할 방법인 경우에는, 조회 화상의 각 소영역과 중복되는 참조 화상의 복수의 소영역의 소영역 특징량을, 중복되는 면적에 비례한 가중치 부여를 행하여 총합함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.
화상 유사도 산출 수단(922)은, 소영역 유사도 산출 수단(921)으로부터 입력되는 소영역 유사도에 대하여, 국소 영역 가중치 산출 수단(94)로부터 입력되는 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여를 행하고, 구해진 가중치 부여된 소영역 유사도로부터 화상 전체의 유사도를 산출하며, 산출된 화상 전체의 유사도를 일치 판정 임계치 산출 수단(95)으로부터 입력되는 일치 판정 임계치를 이용하여 수정하고, 수정된 유사도를 화상 유사도로서 출력한다. 화상 전체의 유사도의 산출 방법으로서, 가중치 부여된 소영역 유사도의 모든 소영역의 총합으로서 구하는 방법이나, 평균값으로서 구하는 방법 등이 있다.
국소 영역 가중치 산출 수단(94)으로부터 입력되는 국소 영역 가중치를 갖는 국소 영역이, 소영역 유사도 산출 수단(921)으로부터 입력되는 소영역 유사도를 갖는 소영역과 대응하는 경우에는, 국소 영역 가중치를 직접 소영역마다의 가중치로서 이용할 수 있다. 소영역 유사도를 갖는 소영역과, 국소 영역 가중치를 갖는 국소 영역이 대응하고 있지 않은 경우에는, 국소 영역 가중치를 이용하여 소영역 유사도를 갖는 소영역에 대응한 가중치를 보완하면 된다. 예를 들면, 국소 영역 가중치를 갖는 국소 영역이, 소영역 유사도를 갖는 소영역을 보다 작은 복수의 영역으로 분할한 것이면, 복수의 국소 영역 가중치의 평균값을 산출함으로써, 소영역 유사도를 갖는 소영역에 대응한 가중치를 생성할 수 있다.
또한, 국소 영역 가중치에 관한 국소 영역 분할 방법이, 소영역 유사도를 갖 는 소영역 분할 방법과 전혀 다른 형상이나 크기의 분할 방법인 경우에는, 소영역과 중복되는 복수의 국소 영역의 가중치를, 중복되는 면적에 비례한 가중치 부여를 행하여 총합함으로써, 소영역 유사도를 갖는 소영역에 대응한 가중치를 생성할 수 있다. 또한, 화상 전체의 유사도를 일치 판정 임계치를 이용하여 수정하는 방법으로서, 화상 전체의 유사도가 일치 판정 임계치 이상이면 유사도를 1로, 화상 전체의 유사도가 일치 판정 임계치 미만이면 유사도를 0으로 수정하는 방법이 있다.
제9 실시 형태는, 제1 실시 형태 및 제5 실시 형태의 효과를 더불어 갖고, 가공 처리가 실시된 조회 화상이 참조 화상으로부터 생성된 것인지의 여부를 판정하는 데 적합한 화상 유사도를, 가공 처리가 실시되는 확률이 높은 영역의 영향을 배제하여 산출할 수 있다. 본 실시 형태에서는, 국소 영역 가중치 산출 수단(94)에서 산출되는 국소 영역 가중치가 일치 판정 임계치 산출 수단(95)에 공급된다. 이 구성에 의해, 일치 판정 임계치 산출 수단(95)은, 일치 판정 임계치를 산출할 때에 참조하는 국소 영역 가중치를, 가공 확률 모델 추정 수단(93)으로부터 출력되는 국소 영역 가공 확률로부터 재차 산출할 필요가 없기 때문에, 연산량을 억제할 수 있다. 또한, 제9 실시 형태에서는, 조회 화상으로부터 가공 처리가 실시된 영역을 검출하는 처리를 필요로 하지 않고, 또한 학습 화상 또는 기기 특성으로부터 국소 영역 가중치 및 일치 판정 임계치를 산출하고 있기 때문에, 미리 별도의 처리에서 국소 영역 가중치 및 일치 판정 임계치를 구해 놓을 수 있어, 화상 유사도의 산출을 고속으로 행할 수 있다.
또한, 제9 실시 형태에서도, 제1 실시 형태에 대한 각 변형예를 적용할 수 있다. 즉, 가공 확률 모델 추정 수단(93) 대신에 가공 확률 모델 기억 수단을 설치해도 되고, 가공 확률 모델 갱신 수단과 가공 확률 모델 기억 수단을 설치해도 된다.
(제10 실시 형태)
본 발명의 제10 실시 형태에 대하여 도면을 참조하여 설명한다. 도 18의 블록도에 도시한 바와 같이, 본 발명의 화상 유사도 산출 시스템의 제10 실시 형태는, 도 17에 도시한 제9 실시 형태에서의 화상 유사도 산출부(92)가, 화상 유사도 산출부(1020)로 치환되고, 또한, 참조 화상군 소영역 특징량 기억부(25)와 검색 결과 출력 수단(26)을 갖는 점에서 제9 실시 형태와는 다르다. 참조 화상군 소영역 특징량 기억부(25) 및 검색 결과 출력 수단(26)은, 제2 실시 형태에서 구비되어 있었던 것과 동일한 것이다.
화상 유사도 산출부(1020)는, 기능상, 소영역 유사도 산출 수단(1021)과, 화상 유사도 산출 수단(1022)을 포함한다.
소영역 유사도 산출 수단(1021)은, 참조 화상군 소영역 특징량 기억부(25)로부터 복수의 참조 화상의 소영역 특징량을 1화상분씩 읽어들이고, 읽어들인 각 참조 화상의 소영역 특징량과, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량을 비교하여, 소영역마다 특징량의 유사도를 소영역 유사도로서 산출한다. 산출된 참조 화상군의 각 참조 화상에 대한 소영역 유사도를 화상 유사도 산출 수단(1022)에 출력한다. 소영역 유사도의 산출 방법은, 사용하는 소영역 특징량에 따라 임의로 구해도 된다. 예를 들면, 소영역의 색의 평균값, 최빈도값, 미디언값 등의 대표값을 소영역 특징량으로서 이용한 경우에는, 사용하고 있는 표색 공간에서의 거리 값이나 상관값에 기초하여 유사도를 산출하는 방법이 있다. 색이나 엣지 요소의 출현 히스토그램을 소영역 특징량으로서 이용하는 경우에는, 히스토그램간의 유사도를 산출하는 방법이 있다.
또한, 국제 표준 규격 ISO/IEC 15938-3에 규정되어 있는 Dominant Color, Color Layout, Scalable Color, Color Structure, Edge Histogram, Homogeneous Texture, Texture Browsing, Region Shape, Contour Shape, Shape 3D, Parametric Motion, Motion Activity 등을 소영역 특징량으로서 이용한 경우에는, ISO/IEC 15938-3에서 추천되어 있는 거리(유사도) 계산법에 따라 유사도를 산출할 수 있다.
또한, 유사도를 1, 0의 2값 판정 결과로 해도 된다. 예를 들면, 엣지 요소 특징량을 소영역 특징량으로서 이용하는 경우에는, 엣지 요소가 일치하는 경우에는 유사도를 1, 일치하지 않는 경우에는 유사도를 0으로 하는 방법이 있다. 여기서, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량에 관한 소영역과, 참조 화상군 소영역 특징량 기억부(25)로부터 읽어들인 참조 화상의 소영역 특징량에 관한 소영역이, 화상 분할 방법이 서로 다르기 때문에 대응하고 있지 않은 경우에는, 어느 한쪽의 화상의 소영역 특징량으로부터, 다른 한쪽의 화상의 소영역에 대응한 특징량을 보완한 후에, 유사도를 산출하면 된다. 예를 들면, 참조 화상의 소영역 특징량에 관한 소영역이, 조회 화상의 소영역 특징량에 관한 소영역을 보다 작은 복수의 영역으로 분할한 것이면, 참조 화상의 복수의 소영역 특징량의 평균값을 산출함으로써, 조회 화상의 소영역에 대응한 특징량을 생성 할 수 있다.
또한, 참조 화상의 소영역 특징량에 관한 소영역 분할 방법이, 조회 화상의 소영역 특징량에 관한 소영역 분할 방법과 전혀 다른 형상이나 크기의 분할 방법인 경우에는, 조회 화상의 각 소영역과 중복되는 참조 화상의 복수의 소영역의 소영역 특징량을, 중복되는 면적에 비례한 가중치 부여를 행하여 총합함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.
화상 유사도 산출 수단(1022)은, 소영역 유사도 산출 수단(1021)으로부터 입력되는 참조 화상군의 각 참조 화상에 대한 소영역 유사도에 대하여, 국소 영역 가중치 산출 수단(94)으로부터 입력되는 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여를 행하고, 구해진 가중치 부여된 소영역 유사도로부터 화상 전체의 유사도를 산출하며, 산출된 화상 전체의 유사도를 일치 판정 임계치 산출 수단(95)으로부터 입력되는 일치 판정 임계치를 이용하여 수정한다. 수정된 참조 화상군의 각 참조 화상에 대한 유사도를 화상 유사도로서 검색 결과 출력 수단(26)에 출력한다. 화상 전체의 유사도의 산출 방법으로서, 가중치 부여된 소영역 유사도의 모든 소영역의 총합으로서 구하는 방법이나, 평균값으로서 구하는 방법 등이 있다.
국소 영역 가중치 산출 수단(94)으로부터 입력되는 국소 영역 가중치를 갖는 국소 영역이, 소영역 유사도 산출 수단(1021)으로부터 입력되는 소영역 유사도를 갖는 소영역과 대응하는 경우에는, 국소 영역 가중치를 직접 소영역마다의 가중치로서 이용할 수 있다. 소영역 유사도를 갖는 소영역과, 국소 영역 가중치를 갖는 국소 영역이 대응하고 있지 않은 경우에는, 국소 영역 가중치를 이용하여 소영역 유사도를 갖는 소영역에 대응한 가중치를 보완하면 된다. 예를 들면, 국소 영역 가중치를 갖는 국소 영역이, 소영역 유사도를 갖는 소영역을 보다 작은 복수의 영역으로 분할한 것이면, 복수의 국소 영역 가중치의 평균값을 산출함으로써, 소영역 유사도를 갖는 소영역에 대응한 가중치를 생성할 수 있다.
또한, 국소 영역 가중치에 관한 국소 영역 분할 방법이, 소영역 유사도에 관한 소영역 분할 방법과 전혀 다른 형상이나 크기의 분할 방법인 경우에는, 소영역과 중복되는 복수의 국소 영역의 가중치를, 중복되는 면적에 비례한 가중치 부여를 행하여 총합함으로써, 소영역 유사도를 갖는 소영역에 대응한 가중치를 생성할 수 있다. 또한, 화상 전체의 유사도를 일치 판정 임계치를 이용하여 수정하는 방법으로서, 화상 전체의 유사도가 일치 판정 임계치 이상이면 유사도를 1로, 화상 전체의 유사도가 일치 판정 임계치 미만이면 유사도를 0으로 수정하는 방법이 있다.
검색 결과 출력 수단(26)은, 제2 실시 형태의 경우와 마찬가지로, 검색 결과를 출력한다.
제10 실시 형태에서는, 제9 실시 형태의 효과를 갖는 화상 유사도의 산출 방법을 이용하여 화상의 검색을 행한다. 또한, 제9 실시 형태와 마찬가지로, 조회 화상으로부터 가공 영역을 검출하는 처리를 필요로 하지 않아, 미리 국소 영역 가중치 및 일치 판정 임계치를 구해 놓을 수 있기 때문에, 화상 검색을 고속으로 행할 수 있다.
또한, 제10 실시 형태에서도, 제1 실시 형태에 대한 각 변형예를 적용할 수 있다. 즉, 가공 확률 모델 추정 수단(93) 대신에 가공 확률 모델 기억 수단을 설치해도 되고, 가공 확률 모델 갱신 수단과 가공 확률 모델 기억 수단을 설치해도 된다.
(제11 실시 형태)
본 발명의 제11 실시 형태에 대하여 도면을 참조하여 설명한다. 도 19의 블록도에 도시한 바와 같이, 본 발명의 화상 유사도 산출 시스템의 제11 실시 형태는, 기능상, 특징량 추출부(11)와, 화상 유사도 산출부(1120)와, 가공 영역 검출 수단(113)과, 국소 영역 가중치 산출 수단(114)과, 일치 판정 임계치 산출 수단(115) 구비하고 있다. 특징량 추출부(11)는, 본 발명의 제1 실시 형태에서 구비되어 있었던 것과 동일한 것이다.
가공 영역 검출 수단(113)은, 입력으로서 주어지는 가공 처리가 실시된 조회 화상에 대하여, 텔롭 검출 방법 등의 가공 영역을 자동적으로 검출하는 방법에 의해, 조회 화상의 국소 영역마다 가공 처리가 실시된 확률을 국소 영역 가공 확률로서 산출하고, 산출된 국소 영역 가공 확률을 국소 영역 가중치 산출 수단(114)에 출력한다. 국소 영역 가공 확률의 확률값은 임의의 값이어도 되고, 1, 0의 2값이어도 된다. 또한, 국소 영역은, 화상 분할 수단(111)에 의해 분할되는 소영역을 더 작은 복수의 영역으로 분할한 것이어도 되고, 화상의 각 화소를 국소 영역으로 하여도 된다. 또한, 화상 분할 수단(111)에서의 소영역 분할 방법과는 다른 임의의 형상이나 크기로 분할한 영역을 국소 영역으로 하여도 된다.
국소 영역 가중치 산출 수단(114)은, 가공 영역 검출 수단(113)으로부터 입 력되는 국소 영역 가공 확률에 기초하여, 화상의 각 국소 영역으로부터 추출되는 특징량이 화상 전체의 유사도의 산출에 어느 정도 유효한지를 수치화한 가중치를 국소 영역 가중치로서 산출하고, 산출된 국소 영역 가중치를 화상 유사도 산출 수단(1122) 및 일치 판정 임계치 산출 수단(115)에 출력한다.
국소 영역은, 화상 분할 수단(111)에서 분할되는 소영역과 대응하는 것이 바람직하지만, 화상 분할 수단(111)에서 분할되는 소영역을 더 작은 복수의 영역으로 분할한 것이어도 되고, 화상의 각 화소를 국소 영역으로 하여도 된다. 또한, 화상 분할 수단(111)에서의 소영역 분할 방법과는 다른 임의의 형상이나 크기로 분할한 영역을 국소 영역으로 하여도 된다. 국소 영역 가중치의 산출 방법의 일례로서,
국소 영역 가중치=1-국소 영역 가공 확률
로 하는 방법이 있지만, 이에 한정된 것이 아니라, 화상 유사도 산출 처리에서, 가공 처리가 실시된 확률이 높은 영역의 영향을 배제할 수 있는 다른 산출 방법을 이용하여도 된다.
또한, 가공 영역 검출 수단(113)으로부터 입력되는 국소 영역 가공 확률이 1, 0의 2값의 확률값으로서 제공되는 경우에는, 복수의 국소 영역을 통합한 영역을 새로운 국소 영역으로 하고, 국소 영역 가중치를, 통합 후의 국소 영역 내에 포함되는 국소 영역 가공 확률인 통합 전의 국소 영역의 면적의 비율로서 구하는 방법이 있다.
일치 판정 임계치 산출 수단(115)은, 국소 영역 가중치 산출 수단(114)으로부터 입력되는 국소 영역 가중치에 기초하여, 후술하는 화상 유사도 산출 수단 (1122)에서 구해지는 화상 전체의 유사도에 대하여, 비교하고 있는 2개의 화상이 일치하는지의 여부를 판정하는 최적의 임계치를 일치 판정 임계치로서 산출하고, 산출된 일치 판정 임계치를 화상 유사도 산출 수단(1122)에 출력한다. 화상 유사도 산출 수단(1122)은, 국소 영역 가중치로부터 구해지는 소영역마다의 가중치에 의해 소영역마다의 유사도를 가중치 부여하고, 가공 처리의 영향을 배제한 후에 화상 전체의 유사도를 산출하고 있기 때문에, 일치 판정 임계치 산출 수단(115)은 일치 판정 임계치를, 국소 영역 가중치를 고려하여 산출한다. 최적의 임계치의 산출 방법으로서, 가공 처리가 실시된 화상과 원래의 화상 사이에서, 화상 유사도 산출 수단(1122)에서 국소 영역 가중치를 작용시켜 가공 처리의 영향을 배제하여 구해지는 화상 전체의 유사도의 추정치를, 국소 영역 가중치에 기초하여 산출하고, 추정된 화상 전체의 유사도에 기초하여, 가공 화상과 원화상이 불일치하다고 판정하는 가능성이 충분히 낮다고 판단할 수 있는 임계치로 설정하는 방법이 있다. 또한, 이 때에, 화상의 재인코드에 기인하는 노이즈 발생에 의한 특징량의 변동의 영향도 고려하여도 된다.
화상 유사도 산출부(1120)는, 기능상, 소영역 유사도 산출 수단(1121)과 화상 유사도 산출 수단(1122)을 포함한다.
소영역 유사도 산출 수단(1121)은, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량과, 입력으로서 주어지는 참조 화상의 소영역 특징량을 비교해서, 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하고, 산출된 소영역 유사도를 화상 유사도 산출 수단(1122)에 출력한다. 소영역 유사도 의 산출 방법은, 사용하는 소영역 특징량에 따라서 임의로 구하여도 된다. 예를 들면, 소영역의 색의 평균값, 최빈도값, 미디언값 등의 대표값을 소영역 특징량으로서 이용한 경우에는, 사용하고 있는 표색 공간에서의 거리값이나 상관값에 기초하여 유사도를 산출하는 방법이 있다. 색이나 엣지 요소의 출현 히스토그램을 소영역 특징량으로서 이용하는 경우에는, 히스토그램 간의 유사도를 산출하는 방법이 있다.
또한, ISO/IEC 15938-3에 규정되어 있는 Dominant Color, Color Layout, Scalable Color, Color Structure, Edge Histogram, Homogeneous Texture, Texture Browsing, Region Shape, Contour Shape, Shape 3D, Parametric Motion, Motion Activity 등을 소영역 특징량으로서 이용한 경우에는, ISO/IEC 15938-3에서 추장되어 있는 거리(유사도) 계산법에 따라서 유사도를 산출할 수 있다.
또한, 유사도를 1, 0의 2값 판정 결과로 하여도 된다. 예를 들면, 엣지 요소 특징량을 소영역 특징량으로서 이용하는 경우에는, 엣지 요소가 일치하는 경우에는 유사도를 1, 일치하지 않는 경우에는 유사도를 0으로 하는 방법이 있다. 여기서, 입력으로서 주어지는 참조 화상의 소영역 특징량에 대한 소영역은, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량에 대한 소영역과 대응하고 있는 것이 바람직하다. 대응하는 소영역을 직접 비교할 수 있기 때문이다. 조회 화상의 소영역과 참조 화상의 소영역이, 화상 분할 방법이 서로 다르기 때문에 대응하지 않는 경우에는, 어느 한쪽의 화상의 소영역 특징량으로부터, 다른 한쪽의 화상의 소영역에 대응한 특징량을 보완한 후에, 유사도를 산출하면 된 다. 예를 들면, 참조 화상의 소영역 특징량에 대한 소영역이, 조회 화상의 소영역 특징량에 대한 소영역을 더 작은 복수의 영역으로 분할한 것이면, 참조 화상의 복수의 소영역 특징량의 평균값을 산출함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.
또한, 참조 화상의 소영역 특징량에 대한 소영역 분할 방법이, 조회 화상의 소영역 특징량에 대한 소영역 분할 방법과 전혀 다른 형상이나 크기의 분할 방법인 경우에는, 조회 화상의 각 소영역과 중복되는 참조 화상의 복수의 소영역의 소영역 특징량을, 중복되는 면적에 비례한 가중치 부여하여 총합함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.
화상 유사도 산출 수단(1122)은, 소영역 유사도 산출 수단(1121)으로부터 입력되는 소영역 유사도에 대하여, 국소 영역 가중치 산출 수단(114)으로부터 입력되는 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여하고, 구해진 가중치 부여된 소영역 유사도로부터 화상 전체의 유사도를 산출하고, 산출된 화상 전체의 유사도를, 일치 판정 임계치 산출 수단(115)으로부터 입력되는 일치 판정 임계치를 이용하여 수정하고, 수정된 유사도를 화상 유사도로서 출력한다. 화상 유사도의 산출 방법으로서, 가중치 부여된 소영역 유사도의 모든 소영역의 총합으로서 구하는 방법이나, 평균값으로서 구하는 방법 등이 있다.
국소 영역 가중치 산출 수단(114)으로부터 입력되는 국소 영역 가중치를 갖는 국소 영역이, 소영역 유사도 산출 수단(1121)으로부터 입력되는 소영역 유사도를 갖는 소영역과 대응하는 경우에는, 국소 영역 가중치를 직접 소영역마다의 가중 치로서 이용할 수 있다. 소영역 유사도를 갖는 소영역과, 국소 영역 가중치를 갖는 국소 영역이 대응하지 않는 경우에는, 국소 영역 가중치를 이용하여 소영역 유사도를 갖는 소영역에 대응한 가중치를 보완하면 된다. 예를 들면, 국소 영역 가중치를 갖는 국소 영역이, 소영역 유사도를 갖는 소영역을 더 작은 복수의 영역으로 분할한 것이면, 복수의 국소 영역 가중치의 평균값을 산출함으로써, 소영역 유사도를 갖는 소영역에 대응한 가중치를 생성할 수 있다.
또한, 국소 영역 가중치에 대한 국소 영역 분할 방법이, 소영역 유사도를 갖는 소영역 분할 방법과 전혀 다른 형상이나 크기의 분할 방법인 경우에는, 소영역과 중복되는 복수의 국소 영역의 가중치를, 중복되는 면적에 비례한 가중치 부여하여 총합함으로써, 소영역 유사도를 갖는 소영역에 대응한 가중치를 생성할 수 있다. 또한, 화상 전체의 유사도를, 일치 판정 임계치를 이용하여 수정하는 방법으로서, 화상 전체의 유사도가 일치 판정 임계치 이상이면 유사도를 1로, 화상 전체의 유사도가 일치 판정 임계치 미만이면 유사도를 로 수정하는 방법이 있다.
제11 실시 형태에서는, 제9 실시 형태와 마찬가지로, 가공 처리가 실시된 조회 화상이 참조 화상으로부터 생성된 것인지의 여부를 판정하는 데 적합한 화상 유사도를, 가공 처리가 실시되는 확률이 높은 영역의 영향을 배제하여 산출하지만, 국소 영역 가중치 및 일치 판정 임계치를, 조회 화상으로부터 직접 산출한 국소 영역 가공 확률에 기초하여 산출하고 있다. 학습 화상 또는 기기 특성으로부터 학습적으로 국소 영역 가중치 및 일치 판정 임계치를 평균값으로서 구하는 제9 실시 형태와는 달리, 조회 화상마다 국소 영역 가중치 및 일치 판정치를 산출하기 때문에, 가공 처리가 실시된 조회 화상이 참조 화상으로부터 생성된 것인지의 여부를 판정하는 데 적합한 화상 유사도를 보다 정확하게 구할 수 있다. 또한, 본 실시 형태에서는, 학습 화상 또는 기기 특성의 입력을 필요로 하지 않는다. 또한, 제9 실시 형태와 마찬가지로, 국소 영역 가중치 산출 수단(114)에서 산출되는 국소 영역 가중치가 일치 판정 임계치 산출 수단(115)에 공급되기 때문에, 일치 판정 임계치 산출 수단(115)은, 일치 판정 임계치를 산출할 때에 참조하는 국소 영역 가중치를, 가공 확률 모델 추정 수단(113)으로부터 출력되는 국소 영역 가공 확률로부터 재차 산출할 필요가 없기 때문에, 연산량을 억제할 수 있다.
(제12 실시 형태)
본 발명의 제12 실시 형태에 대하여 도면을 참조하여 설명한다. 도 20의 블록도에 도시하는 바와 같이, 본 발명의 화상 유사도 산출 시스템의 제12 실시 형태는, 도 19에 도시된 제11 실시 형태에서의 화상 유사도 산출부(112)가, 화상 유사도 산출부(1220)로 치환되고, 또한, 참조 화상군 소영역 특징량 기억부(25)와 검색 결과 출력 수단(26)을 갖는 점에서 제11 실시 형태와는 다르다. 참조 화상군 소영역 특징량 기억부(25)는, 본 발명의 제2 실시 형태에서 구비하고 있었던 것과 동일한 것이다.
화상 유사도 산출부(1220)는, 기능상, 소영역 유사도 산출 수단(1221)과 화상 유사도 산출 수단(1222)을 포함한다.
소영역 유사도 산출 수단(1221)은, 참조 화상군 소영역 특징량 기억부(25)로부터 복수의 참조 화상의 소영역 특징량을 1 화상분씩 읽어들이고, 읽어들인 각 참 조 화상의 소영역 특징량과, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량을 비교해서, 소영역마다 특징량의 유사도를 소영역 유사도로서 산출한다. 산출된 참조 화상군의 각 참조 화상에 대한 소영역 유사도를 화상 유사도 산출 수단(1222)에 출력한다. 소영역 유사도의 산출 방법은, 사용하는 소영역 특징량에 따라 임의로 구하여도 된다. 예를 들면, 소영역의 색의 평균값, 최빈도값, 미디언값 등의 대표값을 소영역 특징량으로서 이용한 경우에는, 사용하고 있는 표색 공간에서의 거리값이나 상관값에 기초하여 유사도를 산출하는 방법이 있다. 색이나 엣지 요소의 출현 히스토그램을 소영역 특징량으로서 이용하는 경우에는, 히스토그램 간의 유사도를 산출하는 방법이 있다.
또한, 국제표준규격 ISO/IEC 15938-3에 규정되어 있는 Dominant Color, Color Layout, Scalable Color, Color Structure, Edge Histogram, Homogeneous Texture, Texture Browsing, Region Shape, Contour Shape, Shape 3D, Parametric Motion, Motion Activity 등을 소영역 특징량으로서 이용한 경우에는, ISO/IEC 15938-3에서 추장되어 있는 거리(유사도) 계산법에 따라서 유사도를 산출할 수 있다.
또한, 유사도를 1, 0의 2값 판정 결과로 하여도 된다. 예를 들면, 엣지 요소 특징량을 소영역 특징량으로서 이용하는 경우에는, 엣지 요소가 일치하는 경우에는 유사도를 1, 일치하지 않는 경우에는 유사도를 0으로 하는 방법이 있다. 여기서, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량에 대한 소영역과, 참조 화상군 소영역 특징량 기억부(25)로부터 읽어들인 참조 화 상의 소영역 특징량에 대한 소영역이, 화상 분할 방법이 서로 다르기 때문에 대응하지 않는 경우에는, 어느 한쪽의 화상의 소영역 특징량으로부터, 다른 한쪽의 화상의 소영역에 대응한 특징량을 보완한 후에, 유사도를 산출하면 된다. 예를 들면, 참조 화상의 소영역 특징량에 대한 소영역이, 조회 화상의 소영역 특징량에 대한 소영역을 더 작은 복수의 영역으로 분할한 것이면, 참조 화상의 복수의 소영역 특징량의 평균값을 산출함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다. 또한, 참조 화상의 소영역 특징량에 대한 소영역 분할 방법이, 조회 화상의 소영역 특징량에 대한 소영역 분할 방법과 전혀 다른 형상이나 크기의 분할 방법인 경우에는, 조회 화상의 각 소영역과 중복되는 참조 화상의 복수의 소영역의 소영역 특징량을, 중복되는 면적에 비례한 가중치 부여하여 총합함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.
화상 유사도 산출 수단(1222)은, 소영역 유사도 산출 수단(1221)으로부터 입력되는 참조 화상군의 각 참조 화상에 대한 소영역 유사도에 대하여, 국소 영역 가중치 산출 수단(114)으로부터 입력되는 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여를 하고, 구해진 가중치 부여된 소영역 유사도로부터 화상 전체의 유사도를 산출하고, 산출된 화상 전체의 유사도를, 일치 판정 임계치 산출 수단(115)으로부터 출력되는 일치 판정 임계치를 이용하여 수정한다. 수정된 참조 화상군의 각 참조 화상에 대한 유사도를 화상 유사도로서 검색 결과 출력 수단(26)에 출력한다. 화상 전체의 유사도의 산출 방법으로서, 가중치 부여된 소영역 유사도의 모든 소영역의 총합으로서 구하는 방법이나, 평균값으로서 구 하는 방법 등이 있다.
국소 영역 가중치 산출 수단(114)으로부터 입력되는 국소 영역 가중치를 갖는 국소 영역이, 소영역 유사도 산출 수단(1221)으로부터 입력되는 소영역 유사도를 갖는 소영역과 대응하는 경우에는, 국소 영역 가중치를 직접 소영역마다의 가중치로서 이용하는 것이 가능하다. 소영역 유사도를 갖는 소영역과, 국소 영역 가중치를 갖는 국소 영역이 대응하지 않는 경우에는, 국소 영역 가중치를 이용하여 소영역 유사도를 갖는 소영역에 대응한 가중치를 보완하면 된다. 예를 들면, 국소 영역 가중치를 갖는 국소 영역이, 소영역 유사도를 갖는 소영역을 더 작은 복수의 영역으로 분할한 것이면, 복수의 국소 영역 가중치의 평균값을 산출함으로써, 소영역 유사도를 갖는 소영역에 대응한 가중치를 생성할 수 있다.
또한, 국소 영역 가중치에 대한 국소 영역 분할 방법이, 소영역 유사도에 대한 소영역 분할 방법과 전혀 다른 형상이나 크기의 분할 방법인 경우에는, 소영역과 중복되는 복수의 국소 영역의 가중치를, 중복되는 면적에 비례한 가중치 부여하여 총합함으로써, 소영역 유사도를 갖는 소영역에 대응한 가중치를 생성할 수 있다. 또한, 화상 전체의 유사도를, 일치 판정 임계치를 이용하여 수정하는 방법으로서, 화상 전체의 유사도가 일치 판정 임계치 이상이면 유사도를 1로, 화상 전체의 유사도가 일치 판정 임계치 미만이면 유사도를 0으로 수정하는 방법이 있다.
검색 결과 출력 수단(26)은, 제2 실시 형태의 경우와 마찬가지로, 검색 결과를 출력한다.
제12 실시 형태에서는, 제11 실시 형태의 효과를 갖는 화상 유사도의 산출 방법을 이용하여 화상의 검색을 행한다. 제1 실시 형태 등과는 달리, 조회 화상마다 국소 영역 가중치 및 일치 판정 임계치를 산출하기 때문에, 참조 화상군 중에서 가공 처리가 실시된 조회 화상의 모든 원화상을 보다 정확하게 검색할 수 있다. 또한, 제11 실시 형태와 마찬가지로, 본 실시 형태에서는 학습 화상 또는 기기 특성의 입력을 필요로 하지 않는다.
본 발명은, 복수의 화상의 유사도를 산출하는 화상 유사도 산출 시스템, 화상 유사도 산출 방법 및 화상 유사도 산출용 프로그램 및 조회 화상과 유사한 화상을 검색하는 화상 검색 시스템 등의 용도에 적용할 수 있다.
Claims (66)
- 화상에 가공 처리가 실시되는 확률 모델을 고려하면서, 조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을 비교해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 화상 유사도 산출부를 구비하는 화상 유사도 산출 시스템.
- 제1항에 있어서,상기 확률 모델이 영역마다 결정되고,상기 화상 유사도 산출부는, 상기 조회 화상의 분할된 소영역마다의 특징량과 상기 참조 화상의 분할된 소영역마다의 특징량을 비교할 때에, 상기 확률 모델을 고려하는 화상 유사도 산출 시스템.
- 제1항에 있어서,상기 화상 유사도 산출부는, 상기 조회 화상과 상기 참조 화상의 상기 화상 유사도를 산출할 때에, 상기 확률 모델을 고려하는 화상 유사도 산출 시스템.
- 제1항에 있어서,상기 확률 모델이 영역마다 결정되고,상기 화상 유사도 산출부는, 상기 조회 화상의 분할된 소영역마다의 특징량 과 상기 참조 화상의 분할된 소영역마다의 특징량을 비교할 때 및 상기 조회 화상과 상기 참조 화상의 상기 화상 유사도를 산출할 때에, 상기 확률 모델을 고려하는 화상 유사도 산출 시스템.
- 조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을, 국소 영역마다 화상에 가공 처리가 실시되는 확률에 기초하여 산출된 화상의 영역마다의 가중치를 작용시켜 비교해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 화상 유사도 산출부를 구비하는 화상 유사도 산출 시스템.
- 조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을 비교해서 화상 전체의 유사도를 산출한 후, 국소 영역마다 화상에 가공 처리가 실시되는 확률 또는 화상에 가공 처리가 실시되는 국소 영역 수의 확률 분포에 기초하여 산출된 화상 간의 일치를 판정하는 임계치를 이용하여 상기 유사도를 수정해서 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 화상 유사도 산출부를 구비하는 화상 유사도 산출 시스템.
- 국소 영역마다 화상에 가공 처리가 실시되는 확률에 기초하여 산출된 화상의 영역마다의 가중치를 작용시켜, 조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을 비교해서 화상 전체의 유사도를 산출한 후, 상기 국소 영역마다 화상에 가공 처리가 실시되는 확률에 기초하여 산출된 화상 간의 일치를 판정하는 임계치를 이용하여 상기 유사도를 수정해서 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 화상 유사도 산출부를 구비하는 화상 유사도 산출 시스템.
- 제5항에 있어서,상기 국소 영역마다 화상에 가공 처리가 실시되는 확률이, 학습 화상 또는 기기 특성으로부터 국소 영역마다 화상에 가공 처리가 실시되는 확률을 산출하는 가공 확률 산출 수단에 의해서 산출되는 화상 유사도 산출 시스템.
- 제5항에 있어서,상기 국소 영역마다 화상에 가공 처리가 실시되는 확률이, 가공 처리가 실시된 조회 화상으로부터 국소 영역마다 화상에 가공 처리가 실시된 확률을 산출하는 가공 확률 산출 수단에 의해서 산출되는 화상 유사도 산출 시스템.
- 제6항에 있어서,상기 국소 영역마다 화상에 가공 처리가 실시되는 확률 또는 상기 화상에 가공 처리가 실시되는 국소 영역 수의 확률 분포가, 학습 화상 또는 기기 특성으로부터 국소 영역마다 화상에 가공 처리가 실시되는 확률 또는 화상에 가공 처리가 실시되는 국소 영역 수의 확률 분포를 산출하는 가공 확률 분포 산출 수단에 의해서 산출되는 화상 유사도 산출 시스템.
- 제6항에 있어서,상기 국소 영역마다 화상에 가공 처리가 실시되는 확률 또는 상기 화상에 가공 처리가 실시되는 국소 영역 수의 확률 분포가, 가공 처리가 실시된 조회 화상으로부터 국소 영역마다 화상에 가공 처리가 실시되는 확률 또는 화상에 가공 처리가 실시되는 국소 영역 수의 확률 분포를 산출하는 가공 확률 산출 수단에 의해서 산출되는 화상 유사도 산출 시스템.
- 제7항에 있어서,상기 국소 영역마다 화상에 가공 처리가 실시되는 확률이, 학습 화상 또는 기기 특성으로부터 국소 영역마다 화상에 가공 처리가 실시되는 확률을 산출하는 가공 확률 산출 수단에 의해서 산출되는 화상 유사도 산출 시스템.
- 제7항에 있어서,상기 국소 영역마다 화상에 가공 처리가 실시되는 확률이, 가공 처리가 실시된 조회 화상으로부터 국소 영역마다 화상에 가공 처리가 실시된 확률을 산출하는 가공 확률 산출 수단에 의해서 산출되는 화상 유사도 산출 시스템.
- 입력으로서 주어지는 학습 화상 또는 기기 특성으로부터 화상의 국소 영역마 다 가공 처리가 실시되는 확률을 국소 영역 가공 확률로서 산출하는 가공 확률 모델 추정 수단과,상기 국소 영역 가공 확률에 기초하여 화상의 국소 영역마다의 가중치를 국소 영역 가중치로서 산출하는 국소 영역 가중치 산출 수단과,입력으로서 주어지는 가공 처리가 실시된 조회 화상을 소영역으로 분할하는 화상 분할 수단과,상기 분할된 소영역으로부터 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하는 소영역 특징량 추출 수단과,입력으로서 주어지는 참조 화상의 사전에 준비된 소영역 특징량인 참조 화상 소영역 특징량과 상기 조회 화상 소영역 특징량을 비교해서 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하는 소영역 유사도 산출 수단과,상기 소영역 유사도에, 상기 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여를 해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 화상 유사도 산출 수단을 구비하는 화상 유사도 산출 시스템.
- 입력으로서 주어지는 가공 처리가 실시된 조회 화상으로부터 화상의 국소 영역마다 가공 처리가 실시된 확률을 국소 영역 가공 확률로서 산출하는 가공 영역 검출 수단과,상기 국소 영역 가공 확률에 기초하여 화상의 국소 영역마다의 가중치를 국소 영역 가중치로서 산출하는 국소 영역 가중치 산출 수단과,상기 조회 화상을 소영역으로 분할하는 화상 분할 수단과,상기 분할된 소영역으로부터 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하는 소영역 특징량 추출 수단과,입력으로서 주어지는 참조 화상의 사전에 준비된 소영역 특징량인 참조 화상 소영역 특징량과 상기 조회 화상 소영역 특징량을 비교해서 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하는 소영역 유사도 산출 수단과,상기 소영역 유사도에, 상기 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여를 해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 화상 유사도 산출 수단을 구비하는 화상 유사도 산출 시스템.
- 입력으로서 주어지는 학습 화상 또는 기기 특성으로부터 화상의 국소 영역마다 가공 처리가 실시되는 확률인 국소 영역 가공 확률 또는 화상에 가공 처리가 실시되는 국소 영역 수의 확률 분포인 가공 국소 영역 수 확률 분포를 산출하는 가공 확률 모델 추정 수단과,상기 국소 영역 가공 확률 또는 가공 국소 영역 수 확률 분포에 기초하여 화상 간의 일치를 판정하는 임계치를 일치 판정 임계치로서 산출하는 일치 판정 임계치 산출 수단과,입력으로서 주어지는 가공 처리가 실시된 조회 화상을 소영역으로 분할하는 화상 분할 수단과,상기 분할된 소영역으로부터 각 소영역의 특징량을 조회 화상 소영역 특징량 으로서 추출하는 소영역 특징량 추출 수단과,입력으로서 주어지는 참조 화상의 사전에 준비된 소영역 특징량인 참조 화상 소영역 특징량과 상기 조회 화상 소영역 특징량을 비교해서 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하는 소영역 유사도 산출 수단과,상기 소영역 유사도로부터 화상 전체의 유사도를 산출하고, 상기 일치 판정 임계치를 이용하여 상기 유사도를 수정해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 화상 유사도 산출 수단을 구비하는 화상 유사도 산출 시스템.
- 입력으로서 주어지는 가공 처리가 실시된 조회 화상으로부터 화상의 국소 영역마다 가공 처리가 실시된 확률인 국소 영역 가공 확률 또는 화상에 가공 처리가 실시된 국소 영역 수의 확률 분포인 가공 국소 영역 수 확률 분포를 산출하는 가공 영역 검출 수단과,상기 국소 영역 가공 확률 또는 가공 국소 영역 수 확률 분포에 기초하여 화상 간의 일치를 판정하는 임계치를 일치 판정 임계치로서 산출하는 일치 판정 임계치 산출 수단과,상기 조회 화상을 소영역으로 분할하는 화상 분할 수단과,상기 분할된 소영역으로부터 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하는 소영역 특징량 추출 수단과,입력으로서 주어지는 참조 화상의 사전에 준비된 소영역 특징량인 참조 화상 소영역 특징량과 상기 조회 화상 소영역 특징량을 비교해서 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하는 소영역 유사도 산출 수단과,상기 소영역 유사도로부터 화상 전체의 유사도를 산출하고, 상기 일치 판정 임계치를 이용하여 상기 유사도를 수정해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 화상 유사도 산출 수단을 구비하는 화상 유사도 산출 시스템.
- 제16항 또는 제17항에 있어서,상기 일치 판정 임계치 산출 수단은, 상기 국소 영역 가공 확률 또는 상기 가공 국소 영역 수 확률 분포에 기초하여 가공 처리가 실시되는 화상과 원래의 화상 사이에서, 화상의 소영역마다의 유사도로부터 구해지는 화상 전체의 유사도의 생기 확률 분포를 추정함으로써, 상기 일치 판정 임계치의 최적값을 산출하는 화상 유사도 산출 시스템.
- 제16항 또는 제17항에 있어서,상기 일치 판정 임계치 산출 수단은, 상기 국소 영역 가중치를 작용시켜 구해지는 화상 전체의 유사도를 국소 영역 가중치에 기초하여 추정함으로써, 상기 일치 판정 임계치의 최적값을 산출하는 화상 유사도 산출 시스템.
- 제14항 또는 제15항에 있어서,상기 국소 영역 가중치 산출 수단은, 상기 국소 영역 가중치를, 상기 국소 영역 가공 확률이 높은 경우에는 낮은 값, 상기 국소 영역 가공 확률이 낮은 경우에는 높은 값으로 하는 화상 유사도 산출 시스템.
- 제20항에 있어서,상기 국소 영역 가중치 산출 수단은, 상기 국소 영역 가중치를, 1과 상기 국소 영역 가공 확률의 차로서 산출하는 화상 유사도 산출 시스템.
- 제8항 내지 제13항 중 어느 한 항에 있어서,상기 가공 확률 산출 수단은, 상기 국소 영역 가공 확률을, 상기 가공 처리가 실시된 영역을 자동적으로 검출하는 방법에 의해 상기 가공 처리가 실시된 영역을 특정한 후에 산출하는 화상 유사도 산출 시스템.
- 제14항 또는 제16항에 있어서,상기 가공 확률 모델 추정 수단은, 상기 국소 영역 가공 확률을, 상기 가공 처리가 실시된 영역을 자동적으로 검출하는 방법에 의해 상기 가공 처리가 실시된 영역을 특정한 후에 산출하는 화상 유사도 산출 시스템.
- 제15항 또는 제17항에 있어서,상기 가공 영역 검출 수단은, 상기 국소 영역 가공 확률을, 상기 가공 처리가 실시된 영역을 자동적으로 검출하는 방법에 의해 상기 가공 처리가 실시된 영역을 특정한 후에 산출하는 화상 유사도 산출 시스템.
- 제5항 내지 제17항 중 어느 한 항에 있어서,상기 국소 영역이, 상기 조회 화상 또는 상기 참조 화상에서의 소영역과 대응하도록 분할된 영역인 화상 유사도 산출 시스템.
- 제1항 내지 제17항 중 어느 한 항에 있어서,상기 조회 화상 또는 상기 참조 화상에서의 소영역이, 화상을 동일한 크기의 사각형으로 분할한 영역인 화상 유사도 산출 시스템.
- 제1항 내지 제17항 중 어느 한 항에 있어서,상기 조회 화상 또는 상기 참조 화상에서의 소영역이, 영역의 일부가 중복되도록 분할한 영역인 화상 유사도 산출 시스템.
- 제1항 내지 제17항 중 어느 한 항에 있어서,상기 조회 화상 또는 상기 참조 화상에서의 소영역이, 화상의 일부만을 분할하여 얻어진 영역인 화상 유사도 산출 시스템.
- 제1항 내지 제17항 중 어느 한 항에 있어서,상기 특징량이, 색 정보, 엣지 정보, 텍스처 정보, 형상 정보, 움직임 정보 중 적어도 하나의 정보에 의한 특징량인 화상 유사도 산출 시스템.
- 제1항 내지 제17항 중 어느 한 항에 있어서,상기 특징량이, RGB 표색 공간, HSV 표색 공간, YUV 표색 공간, YIQ 표색 공간, YCbCr 표색 공간, L*a*b* 표색 공간, XYZ 표색 공간 중 어느 하나의 표색 공간계에 의해 규정되는 색 좌표의 평균값, 최빈값, 미디언값, 국제표준규격 ISO/IEC 15938-3에 규정되어 있는 Dominant Color, Color Layout, Scalable Color, Color Structure, Edge Histogram, Homogeneous Texture, Texture Browsing, Contour Shape, Shape 3D 중 적어도 하나의 특징량인 화상 유사도 산출 시스템.
- 제1항 내지 제17항 중 어느 한 항에 있어서,상기 가공 처리가, 화상에 대한 텔롭의 중첩 처리, 화상에 대한 자막의 중첩 처리, 화상에 대한 캐릭터의 중첩 처리, 화상에 대한 오브젝트의 중첩 처리, 화상의 일부의 오려내기 처리, 화상의 일부의 잘라내기 처리, 화상의 일부에 대한 모자이크 처리, 화상의 일부에 대한 바림 처리 중 적어도 하나의 처리인 화상 유사도 산출 시스템.
- 제1항 내지 제13항 중 어느 한 항의 화상 유사도 산출 시스템에서 산출되는 화상 유사도를 이용하여 화상을 검색하는 화상 검색 시스템.
- 입력으로서 주어지는 학습 화상 또는 기기 특성으로부터 화상의 국소 영역마다 가공 처리가 실시되는 확률을 국소 영역 가공 확률로서 산출하는 가공 확률 모델 추정 수단과,상기 국소 영역 가공 확률에 기초하여 화상의 국소 영역마다의 가중치를 국소 영역 가중치로서 산출하는 국소 영역 가중치 산출 수단과,입력으로서 주어지는 가공 처리가 실시된 조회 화상을 소영역으로 분할하는 화상 분할 수단과,상기 분할된 소영역으로부터 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하는 소영역 특징량 추출 수단과,사전에 등록된 복수의 참조 화상으로 이루어지는 참조 화상군에서의 각각의 참조 화상의 소영역 특징량을 기억하는 참조 화상군 소영역 특징량 기억부와,상기 참조 화상군 소영역 특징량 기억부에 기억된 각 참조 화상의 소영역 특징량과 상기 조회 화상 소영역 특징량을 비교해서, 각 참조 화상에 대한 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하는 소영역 유사도 산출 수단과,상기 소영역 유사도 산출 수단이 산출한 상기 각 참조 화상에 대한 소영역 유사도에, 상기 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여를 해서, 상기 조회 화상과 상기 참조 화상군의 각 참조 화상과의 화상 유사도를 산출하는 화상 유사도 산출 수단과,상기 화상 유사도 산출 수단이 산출한 각 참조 화상에 대한 화상 유사도에 기초하여, 상기 참조 화상군 중에서 상기 조회 화상에 대한 검색 결과를 출력하는 검색 결과 출력 수단을 구비하는 화상 검색 시스템.
- 입력으로서 주어지는 가공 처리가 실시된 조회 화상으로부터 화상의 국소 영역마다 가공 처리가 실시된 확률을 국소 영역 가공 확률로서 산출하는 가공 영역 검출 수단과,상기 국소 영역 가공 확률에 기초하여 화상의 국소 영역마다의 가중치를 국소 영역 가중치로서 산출하는 국소 영역 가중치 산출 수단과,상기 조회 화상을 소영역으로 분할하는 화상 분할 수단과,상기 분할된 소영역으로부터 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하는 소영역 특징량 추출 수단과,사전에 등록된 복수의 참조 화상으로 이루어지는 참조 화상군에서의 각각의 참조 화상의 소영역 특징량을 기억하는 참조 화상군 소영역 특징량 기억부와,상기 참조 화상군 소영역 특징량 기억부에 기억된 각 참조 화상의 소영역 특징량과 상기 조회 화상 소영역 특징량을 비교해서, 각 참조 화상에 대한 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하는 소영역 유사도 산출 수단과,상기 소영역 유사도 산출 수단이 산출한 상기 각 참조 화상에 대한 소영역 유사도에, 상기 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여를 해서, 상기 조회 화상과 상기 참조 화상군의 각 참조 화상과의 화상 유사도를 산출하는 화상 유사도 산출 수단과,상기 화상 유사도 산출 수단이 산출한 각 참조 화상에 대한 화상 유사도에 기초하여, 상기 참조 화상군 중에서 상기 조회 화상에 대한 검색 결과를 출력하는 검색 결과 출력 수단을 구비하는 화상 검색 시스템.
- 입력으로서 주어지는 학습 화상 또는 기기 특성으로부터 화상의 국소 영역마다 가공 처리가 실시되는 확률인 국소 영역 가공 확률 또는 화상에 가공 처리가 실시되는 국소 영역 수의 확률 분포인 가공 국소 영역 수 확률 분포를 산출하는 가공 확률 모델 추정 수단과,상기 국소 영역 가공 확률 또는 가공 국소 영역 수 확률 분포에 기초하여 화상 간의 일치를 판정하는 임계치를 일치 판정 임계치로서 산출하는 일치 판정 임계치 산출 수단과,입력으로서 주어지는 가공 처리가 실시된 조회 화상을 소영역으로 분할하는 화상 분할 수단과,상기 분할된 소영역으로부터 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하는 소영역 특징량 추출 수단과,사전에 등록된 복수의 참조 화상으로 이루어지는 참조 화상군에서의 각각의 참조 화상의 소영역 특징량을 기억하는 참조 화상군 소영역 특징량 기억부와,상기 참조 화상군 소영역 특징량 기억부에 기억된 참조 화상군의 각 참조 화상의 소영역 특징량과 상기 조회 화상 소영역 특징량을 비교해서, 각 참조 화상에 대한 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하는 소영역 유사도 산출 수단과,상기 소영역 유사도 산출 수단이 산출한 상기 각 참조 화상에 대한 소영역 유사도로부터 화상 전체의 유사도를 산출하고, 상기 일치 판정 임계치를 이용하여 상기 유사도를 수정해서, 상기 조회 화상과 상기 참조 화상군의 각 참조 화상과의 화상 유사도를 산출하는 화상 유사도 산출 수단과,상기 화상 유사도 산출 수단이 산출한 각 참조 화상에 대한 화상 유사도에 기초하여, 상기 참조 화상군 중에서 상기 조회 화상에 대한 검색 결과를 출력하는 검색 결과 출력 수단을 구비하는 화상 검색 시스템.
- 입력으로서 주어지는 가공 처리가 실시된 조회 화상으로부터 화상의 국소 영역마다 가공 처리가 실시된 확률인 국소 영역 가공 확률 또는 화상에 가공 처리가 실시된 국소 영역 수의 확률 분포인 가공 국소 영역 수 확률 분포를 산출하는 가공 영역 검출 수단과,상기 국소 영역 가공 확률 또는 가공 국소 영역 수 확률 분포에 기초하여 화상 간의 일치를 판정하는 임계치를 일치 판정 임계치로서 산출하는 일치 판정 임계치 산출 수단과,상기 조회 화상을 소영역으로 분할하는 화상 분할 수단과,상기 분할된 소영역으로부터 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하는 소영역 특징량 추출 수단과,사전에 등록된 복수의 참조 화상으로 이루어지는 참조 화상군에서의 각각의 참조 화상의 소영역 특징량을 기억하는 참조 화상군 소영역 특징량 기억부와,상기 참조 화상군 소영역 특징량 기억부에 기억된 참조 화상군의 각 참조 화상의 소영역 특징량과 상기 조회 화상 소영역 특징량을 비교해서, 각 참조 화상에 대한 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하는 소영역 유사도 산출 수단과,상기 소영역 유사도 산출 수단이 산출한 상기 각 참조 화상에 대한 소영역 유사도로부터 화상 전체의 유사도를 산출하고, 상기 일치 판정 임계치를 이용하여 상기 유사도를 수정해서, 상기 조회 화상과 상기 참조 화상군의 각 참조 화상과의 화상 유사도를 산출하는 화상 유사도 산출 수단과,상기 화상 유사도 산출 수단이 산출한 각 참조 화상에 대한 화상 유사도에 기초하여, 상기 참조 화상군 중에서 상기 조회 화상에 대한 검색 결과를 출력하는 검색 결과 출력 수단을 구비하는 화상 검색 시스템.
- 제35항 또는 제36항에 있어서,상기 일치 판정 임계치 산출 수단은, 상기 국소 영역 가공 확률 또는 상기 가공 국소 영역 수 확률 분포에 기초하여 가공 처리가 실시되는 화상과 원래의 화상 사이에서, 화상의 소영역마다의 유사도로부터 구해지는 화상 전체의 유사도의 생기 확률 분포를 추정함으로써, 상기 일치 판정 임계치의 최적값을 산출하는 화상 검색 시스템.
- 제35항 또는 제36항에 있어서,상기 일치 판정 임계치 산출 수단은, 상기 국소 영역 가중치를 작용시켜 구해지는 화상 전체의 유사도를 상기 국소 영역 가중치에 기초하여 추정함으로써, 상기 일치 판정 임계치의 최적값을 산출하는 화상 검색 시스템.
- 제33항 또는 제34항에 있어서,상기 국소 영역 가중치 산출 수단은, 상기 국소 영역 가중치를, 상기 국소 영역 가공 확률이 높은 경우에는 낮은 값, 상기 국소 영역 가공 확률이 낮은 경우에는 높은값으로 하는 화상 검색 시스템.
- 제39항에 있어서,상기 국소 영역 가중치 산출 수단은, 상기 국소 영역 가중치를, 1과 상기 국소 영역 가공 확률의 차로서 산출하는 화상 검색 시스템.
- 제33항 또는 제35항에 있어서,상기 가공 확률 모델 추정 수단은, 상기 국소 영역 가공 확률을, 상기 가공 처리가 실시된 영역을 자동적으로 검출하는 방법에 의해 상기 가공 처리가 실시된 영역을 특정한 후에 산출하는 화상 검색 시스템.
- 제34항 또는 제36항에 있어서,상기 가공 영역 검출 수단은, 상기 국소 영역 가공 확률을, 상기 가공 처리가 실시된 영역을 자동적으로 검출하는 방법에 의해 상기 가공 처리가 실시된 영역을 특정한 후에 산출하는 화상 검색 시스템.
- 제33항 내지 제36항 중 어느 한 항에 있어서,상기 국소 영역이, 상기 조회 화상 또는 상기 참조 화상에서의 소영역과 대응하도록 분할된 영역인 화상 검색 시스템.
- 제33항 내지 제36항 중 어느 한 항에 있어서,상기 조회 화상 또는 상기 참조 화상에서의 소영역이, 화상을 동일한 크기의 사각형으로 분할한 영역인 화상 검색 시스템.
- 제33항 내지 제36항 중 어느 한 항에 있어서,상기 조회 화상 또는 상기 참조 화상에서의 소영역이, 영역의 일부가 중복되도록 분할한 영역인 화상 검색 시스템.
- 제33항 내지 제36항 중 어느 한 항에 있어서,상기 조회 화상 또는 상기 참조 화상에서의 소영역이, 화상의 일부만을 분할하여 얻어진 영역인 화상 검색 시스템.
- 제33항 내지 제36항 중 어느 한 항에 있어서,상기 특징량이, 색 정보, 엣지 정보, 텍스처 정보, 형상 정보, 움직임 정보 중 적어도 하나의 정보에 의한 특징량인 화상 검색 시스템.
- 제33항 내지 제36항 중 어느 한 항에 있어서,상기 특징량이, RGB 표색 공간, HSV 표색 공간, YUV 표색 공간, YIQ 표색 공간, YCbCr 표색 공간, L*a*b* 표색 공간, XYZ 표색 공간 중 어느 하나의 표색 공간계에 의해 규정되는 색 좌표의 평균값, 최빈값, 미디언값, 국제표준규격 ISO/IEC 15940-3에 규정되어 있는 Dominant Color, Color Layout, Scalable Color, Color Structure, Edge Histogram, Homogeneous Texture, Texture Browsing, Contour Shape, Shape 3D 중 적어도 하나의 특징량인 화상 검색 시스템.
- 제33항 내지 제36항 중 어느 한 항에 있어서,상기 가공 처리가, 화상에 대한 텔롭의 중첩 처리, 화상에 대한 자막의 중첩 처리, 화상에 대한 캐릭터의 중첩 처리, 화상에 대한 오브젝트의 중첩 처리, 화상의 일부의 오려내기 처리, 화상의 일부의 잘라내기 처리, 화상의 일부에 대한 모자이크 처리, 화상의 일부에 대한 바림 처리 중 적어도 하나의 처리인 화상 검색 시스템.
- 복수의 참조 화상 중에서 조회 화상과 유사한 화상을 출력하는 화상 검색 시스템으로서,제1항 내지 제17항 중 어느 한 항의 화상 유사도 산출 시스템을 이용하여 산출되는 화상 유사도에 기초하여 복수의 참조 화상 중에서 조회 화상과 유사한 참조 화상을 출력하는 화상 검색 시스템.
- 화상에 가공 처리가 실시되는 확률 모델을 고려하면서, 조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을 비교해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 화상 유사도 산출 방법.
- 조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을, 국소 영역마다 화상에 가공 처리가 실시되는 확률에 기초하여 산출된 화상의 영역마다의 가중치를 작용시켜 비교해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 화상 유사도 산출 방법.
- 조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을 비교해서 화상 전체의 유사도를 산출한 후, 국소 영역마다 화상에 가공 처리가 실시되는 확률 또는 화상에 가공 처리가 실시되는 국소 영역 수의 확률 분포에 기초하여 산출된 화상 간의 일치를 판정하는 임계치를 이용하여 상기 유사도를 수정해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 화상 유사도 산출 방법.
- 국소 영역마다 화상에 가공 처리가 실시되는 확률에 기초하여 산출된 화상의 영역마다의 가중치를 작용시켜, 조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을 비교해서 화상 전체의 유사도를 산출한 후, 상기 국소 영역마다 화상에 가공 처리가 실시되는 확률에 기초하여 산출된 화상 간의 일치를 판정하는 임계치를 이용하여 상기 유사도를 수정해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 화상 유사도 산출 방법.
- 입력으로서 주어지는 학습 화상 또는 기기 특성으로부터 화상의 국소 영역마다 가공 처리가 실시되는 확률을 국소 영역 가공 확률로서 산출하고,상기 국소 영역 가공 확률에 기초하여 화상의 국소 영역마다의 가중치를 국소 영역 가중치로서 산출하고,입력으로서 주어지는 가공 처리가 실시된 조회 화상을 소영역으로 분할하고,상기 분할된 소영역으로부터 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하고,입력으로서 주어지는 참조 화상의 사전에 준비된 소영역 특징량인 참조 화상 소영역 특징량과 상기 조회 화상 소영역 특징량을 비교해서 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하고,상기 소영역 유사도에 상기 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여를 해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 화상 유사도 산출 방법.
- 입력으로서 주어지는 가공 처리가 실시된 조회 화상으로부터 화상의 국소 영역마다 가공 처리가 실시된 확률을 국소 영역 가공 확률로서 산출하고,상기 국소 영역 가공 확률에 기초하여 화상의 국소 영역마다의 가중치를 국소 영역 가중치로서 산출하고,상기 조회 화상을 소영역으로 분할하고,상기 분할된 소영역으로부터 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하고,입력으로서 주어지는 참조 화상의 사전에 준비된 소영역 특징량인 참조 화상 소영역 특징량과 상기 조회 화상 소영역 특징량을 비교해서, 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하고,상기 소영역 유사도에, 상기 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여를 해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 화상 유사도 산출 방법.
- 입력으로서 주어지는 학습 화상 또는 기기 특성으로부터 화상의 국소 영역마다 가공 처리가 실시되는 확률인 국소 영역 가공 확률 또는 화상에 가공 처리가 실시되는 국소 영역 수의 확률 분포인 가공 국소 영역 수 확률 분포를 산출하고,상기 국소 영역 가공 확률 또는 가공 국소 영역 수 확률 분포에 기초하여 화상 간의 일치를 판정하는 임계치를 일치 판정 임계치로서 산출하고,입력으로서 주어지는 가공 처리가 실시된 조회 화상을 소영역으로 분할하고,상기 분할된 소영역으로부터 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하고,입력으로서 주어지는 참조 화상의 사전에 준비된 소영역 특징량인 참조 화상 소영역 특징량과 상기 조회 화상 소영역 특징량을 비교해서, 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하고,상기 소영역 유사도로부터 화상 전체의 유사도를 산출하고, 상기 일치 판정 임계치를 이용하여 상기 유사도를 수정해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 화상 유사도 산출 방법.
- 입력으로서 주어지는 가공 처리가 실시된 조회 화상으로부터 화상의 국소 영역마다 가공 처리가 실시된 확률인 국소 영역 가공 확률 또는 화상에 가공 처리가 실시된 국소 영역 수의 확률 분포인 가공 국소 영역 수 확률 분포를 산출하고,상기 국소 영역 가공 확률 또는 가공 국소 영역 수 확률 분포에 기초하여 화상 간의 일치를 판정하는 임계치를 일치 판정 임계치로서 산출하고,상기 조회 화상을 소영역으로 분할하고,상기 분할된 소영역으로부터 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하고,입력으로서 주어지는 참조 화상의 사전에 준비된 소영역 특징량인 참조 화상 소영역 특징량과 상기 조회 화상 소영역 특징량을 비교해서, 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하고,상기 소영역 유사도로부터 화상 전체의 유사도를 산출하고, 상기 일치 판정 임계치를 이용하여 상기 유사도를 수정해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 화상 유사도 산출 방법.
- 컴퓨터에,화상에 가공 처리가 실시되는 확률 모델을 고려하면서, 조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을 비교해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 처리를 실행시키기 위한 화상 유사도 산출 프로그램을 기록한 기록 매체.
- 컴퓨터에,조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을, 국소 영역마다 화상에 가공 처리가 실시되는 확률에 기초하여 산출된 화상의 영역마다의 가중치를 작용시켜 비교해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 처리를 실행시키기 위한 화상 유사도 산출 프로그램을 기록한 기록 매체.
- 컴퓨터에,조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을 비교해서 화상 전체의 유사도를 산출한 후, 국소 영역마다 화상에 가공 처리가 실시되는 확률 또는 화상에 가공 처리가 실시되는 국소 영역 수의 확률 분포에 기초하여 산출된 화상 간의 일치를 판정하는 임계치를 이용하여 상기 유사도를 수정해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 처리를 실행시키기 위한 화상 유사도 산출 프로그램을 기록한 기록 매체.
- 컴퓨터에,국소 영역마다 화상에 가공 처리가 실시되는 확률에 기초하여 산출된 화상의 영역마다의 가중치를 작용시켜, 조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을 비교해서 화상 전체의 유사도를 산출한 후, 상기 국소 영역마다 화상에 가공 처리가 실시되는 확률에 기초하여 산출된 화상 간의 일치를 판정하는 임계치를 이용하여 상기 유사도를 수정해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 처리를 실행시키기 위한 화상 유사도 산출 프로그램을 기록한 기록 매체.
- 컴퓨터에,입력으로서 주어지는 학습 화상 또는 기기 특성으로부터 화상의 국소 영역마다 가공 처리가 실시되는 확률을 국소 영역 가공 확률로서 산출하는 처리와,상기 국소 영역 가공 확률에 기초하여 화상의 국소 영역마다의 가중치를 국소 영역 가중치로서 산출하는 처리와,입력으로서 주어지는 가공 처리가 실시된 조회 화상을 소영역으로 분할하는 처리와,상기 분할된 소영역으로부터 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하는 처리와,입력으로서 주어지는 참조 화상의 사전에 준비된 소영역 특징량인 참조 화상 소영역 특징량과 상기 조회 화상 소영역 특징량을 비교해서, 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하는 처리와,상기 소영역 유사도에, 상기 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여를 해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 처리를 실행시키기 위한 화상 유사도 산출 프로그램을 기록한 기록 매체.
- 컴퓨터에,입력으로서 주어지는 가공 처리가 실시된 조회 화상으로부터 화상의 국소 영역마다 가공 처리가 실시된 확률을 국소 영역 가공 확률로서 산출하는 처리와,상기 국소 영역 가공 확률에 기초하여 화상의 국소 영역마다의 가중치를 국소 영역 가중치로서 산출하는 처리와,상기 조회 화상을 소영역으로 분할하는 처리와,상기 분할된 소영역으로부터 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하는 처리와,입력으로서 주어지는 참조 화상의 사전에 준비된 소영역 특징량인 참조 화상 소영역 특징량과 상기 조회 화상 소영역 특징량을 비교해서, 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하는 처리와,상기 소영역 유사도에, 상기 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여를 해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 처리를 실행시키기 위한 화상 유사도 산출 프로그램을 기록한 기록 매체.
- 컴퓨터에,입력으로서 주어지는 학습 화상 또는 기기 특성으로부터 화상의 국소 영역마다 가공 처리가 실시되는 확률인 국소 영역 가공 확률 또는 화상에 가공 처리가 실시되는 국소 영역 수의 확률 분포인 가공 국소 영역 수 확률 분포를 산출하는 처리와,상기 국소 영역 가공 확률 또는 가공 국소 영역 수 확률 분포에 기초하여 화상 간의 일치를 판정하는 임계치를 일치 판정 임계치로서 산출하는 처리와,입력으로서 주어지는 가공 처리가 실시된 조회 화상을 소영역으로 분할하는 처리와,상기 분할된 소영역으로부터 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하는 처리와,입력으로서 주어지는 참조 화상의 사전에 준비된 소영역 특징량인 참조 화상 소영역 특징량과 상기 조회 화상 소영역 특징량을 비교해서, 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하는 처리와,상기 소영역 유사도로부터 화상 전체의 유사도를 산출하고, 상기 일치 판정 임계치를 이용하여 상기 유사도를 수정해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 처리를 실행시키기 위한 화상 유사도 산출 프로그램을 기록한 기록 매체.
- 컴퓨터에,입력으로서 주어지는 가공 처리가 실시된 조회 화상으로부터 화상의 국소 영역마다 가공 처리가 실시된 확률인 국소 영역 가공 확률 또는 화상에 가공 처리가 실시된 국소 영역 수의 확률 분포인 가공 국소 영역 수 확률 분포를 산출하는 처리와,상기 국소 영역 가공 확률 또는 가공 국소 영역 수 확률 분포에 기초하여 화상 간의 일치를 판정하는 임계치를 일치 판정 임계치로서 산출하는 처리와,상기 조회 화상을 소영역으로 분할하는 처리와,상기 분할된 소영역으로부터 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하는 처리와,입력으로서 주어지는 참조 화상의 사전에 준비된 소영역 특징량인 참조 화상 소영역 특징량과 상기 조회 화상 소영역 특징량을 비교해서, 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하는 처리와,상기 소영역 유사도로부터 화상 전체의 유사도를 산출하고, 상기 일치 판정 임계치를 이용하여 상기 유사도를 수정해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 처리를 실행시키기 위한 화상 유사도 산출 프로그램을 기록한 기록 매체.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004059736 | 2004-03-03 | ||
JPJP-P-2004-00059736 | 2004-03-03 | ||
PCT/JP2005/003468 WO2005086092A1 (ja) | 2004-03-03 | 2005-03-02 | 画像類似度算出システム、画像検索システム、画像類似度算出方法および画像類似度算出用プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20060030112A KR20060030112A (ko) | 2006-04-07 |
KR100750424B1 true KR100750424B1 (ko) | 2007-08-21 |
Family
ID=34917987
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020067000668A KR100750424B1 (ko) | 2004-03-03 | 2005-03-02 | 화상 유사도 산출 시스템, 화상 검색 시스템, 화상 유사도산출 방법 및 화상 유사도 산출용 프로그램 |
Country Status (7)
Country | Link |
---|---|
US (1) | US7991232B2 (ko) |
EP (1) | EP1722331B1 (ko) |
JP (2) | JP3899523B2 (ko) |
KR (1) | KR100750424B1 (ko) |
CN (1) | CN100583148C (ko) |
DE (1) | DE602005025088D1 (ko) |
WO (1) | WO2005086092A1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101029437B1 (ko) | 2009-04-01 | 2011-04-14 | 엔에이치엔(주) | 동영상 중복 검출 방법 및 시스템 |
Families Citing this family (84)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100750424B1 (ko) * | 2004-03-03 | 2007-08-21 | 닛본 덴끼 가부시끼가이샤 | 화상 유사도 산출 시스템, 화상 검색 시스템, 화상 유사도산출 방법 및 화상 유사도 산출용 프로그램 |
WO2006131967A1 (ja) * | 2005-06-08 | 2006-12-14 | Fujitsu Limited | 画像処理装置 |
CN100433016C (zh) * | 2006-09-08 | 2008-11-12 | 北京工业大学 | 基于信息突变的图像检索方法 |
US8990681B2 (en) | 2007-01-24 | 2015-03-24 | Bluebeam Software, Inc. | Method for aligning a modified document and an original document for comparison and difference highlighting |
KR100824829B1 (ko) | 2007-01-24 | 2008-04-23 | 조선대학교산학협력단 | 알지비 컬러 이미지 특징정보 추출에 메디언 필터링을이용한 이미지 검색 방법 |
US7907794B2 (en) * | 2007-01-24 | 2011-03-15 | Bluebeam Software, Inc. | Method for aligning a modified document and an original document for comparison and difference highlighting |
US7995857B2 (en) * | 2007-09-03 | 2011-08-09 | Himax Technologies Limited | Method and apparatus utilizing step-wise gain control for image processing |
JP4457140B2 (ja) * | 2007-10-02 | 2010-04-28 | シャープ株式会社 | 画像処理方法、画像処理装置、画像形成装置、画像読取装置、コンピュータプログラム及び記録媒体 |
JP5408128B2 (ja) * | 2008-05-15 | 2014-02-05 | 株式会社ニコン | 画像処理装置、画像処理方法、処理装置、およびプログラム |
JP5169648B2 (ja) * | 2008-09-04 | 2013-03-27 | 富士ゼロックス株式会社 | 原画像探索装置及び原画像探索プログラム |
US20100085371A1 (en) * | 2008-10-02 | 2010-04-08 | Microsoft Corporation | Optimal 2d texturing from multiple images |
US8406573B2 (en) | 2008-12-22 | 2013-03-26 | Microsoft Corporation | Interactively ranking image search results using color layout relevance |
US8224157B2 (en) | 2009-03-30 | 2012-07-17 | Electronics And Telecommunications Research Institute | Method and apparatus for extracting spatio-temporal feature and detecting video copy based on the same in broadcasting communication system |
KR101033296B1 (ko) * | 2009-03-30 | 2011-05-09 | 한국전자통신연구원 | 방송통신시스템에서 시공간적 특징정보 추출 및 비교판별 장치 및 방법 |
WO2010146786A1 (ja) * | 2009-06-16 | 2010-12-23 | 日本電気株式会社 | 画像識別子照合装置 |
CN102122389A (zh) * | 2010-01-12 | 2011-07-13 | 阿里巴巴集团控股有限公司 | 一种图像相似性判断的方法及装置 |
CN102883651B (zh) * | 2010-01-28 | 2016-04-27 | 宾夕法尼亚州研究基金会 | 可应用于支气管镜引导的基于图像的全局配准***和方法 |
JP5556262B2 (ja) * | 2010-03-15 | 2014-07-23 | オムロン株式会社 | 画像属性判別装置、属性判別支援装置、画像属性判別方法、属性判別支援装置の制御方法、および、制御プログラム |
US9311708B2 (en) * | 2014-04-23 | 2016-04-12 | Microsoft Technology Licensing, Llc | Collaborative alignment of images |
EP2407928A1 (en) * | 2010-07-16 | 2012-01-18 | STMicroelectronics (Grenoble 2) SAS | Fidelity measurement of digital images |
JP5238767B2 (ja) * | 2010-07-26 | 2013-07-17 | 株式会社東芝 | 視差画像生成方法及び装置 |
CN102376088A (zh) * | 2010-08-24 | 2012-03-14 | 康博公司 | 用于在计算上量化图像间相似性的*** |
US8792728B2 (en) * | 2010-09-27 | 2014-07-29 | Hewlett-Packard Development Company, L.P. | Near-duplicate image detection |
US8493402B2 (en) * | 2011-01-06 | 2013-07-23 | Intel Corporation | System, method and computer program product for color processing of point-of-interest color |
US9092520B2 (en) * | 2011-06-20 | 2015-07-28 | Microsoft Technology Licensing, Llc | Near-duplicate video retrieval |
JP5558431B2 (ja) * | 2011-08-15 | 2014-07-23 | 株式会社東芝 | 画像処理装置、方法及びプログラム |
US8929687B2 (en) * | 2011-08-29 | 2015-01-06 | Dst Technologies, Inc. | System and method for candidate sorting and clustering |
JP5896661B2 (ja) * | 2011-09-14 | 2016-03-30 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
WO2013049159A2 (en) * | 2011-09-26 | 2013-04-04 | Carnegie Mellon University | Quantitative comparison of image data using a linear optimal transportation |
US8831358B1 (en) | 2011-11-21 | 2014-09-09 | Google Inc. | Evaluating image similarity |
EP2783302A4 (en) * | 2011-11-25 | 2015-07-15 | Microsoft Technology Licensing Llc | INDEXIZATION AND SEARCH BASED ON BILDATTRACTIVITY |
EP2608062A1 (en) * | 2011-12-23 | 2013-06-26 | Thomson Licensing | Method of automatic management of images in a collection of images and corresponding device |
US9111140B2 (en) | 2012-01-10 | 2015-08-18 | Dst Technologies, Inc. | Identification and separation of form and feature elements from handwritten and other user supplied elements |
CN103348381B (zh) * | 2012-02-09 | 2017-10-24 | 松下电器(美国)知识产权公司 | 图像识别装置、图像识别方法及集成电路 |
CN102663431B (zh) * | 2012-04-17 | 2013-12-25 | 北京博研新创数码科技有限公司 | 一种基于区域加权的图像匹配计算方法 |
US8923626B1 (en) | 2012-06-25 | 2014-12-30 | Google Inc. | Image retrieval |
US10540566B2 (en) | 2012-06-29 | 2020-01-21 | Nec Corporation | Image processing apparatus, image processing method, and program |
KR101343554B1 (ko) | 2012-07-06 | 2013-12-20 | 인텔렉추얼디스커버리 주식회사 | 영상 검색방법 및 장치 |
CN102866871B (zh) * | 2012-08-03 | 2015-10-07 | 甲壳虫(上海)网络科技有限公司 | 图像动态显示方法 |
US9058660B2 (en) * | 2012-11-21 | 2015-06-16 | Gravity Jack, Inc. | Feature searching based on feature quality information |
US9460214B2 (en) | 2012-12-28 | 2016-10-04 | Wal-Mart Stores, Inc. | Ranking search results based on color |
US9305118B2 (en) | 2012-12-28 | 2016-04-05 | Wal-Mart Stores, Inc. | Selecting search result images based on color |
US9460157B2 (en) | 2012-12-28 | 2016-10-04 | Wal-Mart Stores, Inc. | Ranking search results based on color |
CN102999751A (zh) * | 2013-01-06 | 2013-03-27 | 山东神思电子技术股份有限公司 | 一种基于sift特征的眉毛识别方法 |
CN103440646B (zh) * | 2013-08-19 | 2016-08-10 | 成都品果科技有限公司 | 用于颜色分布和纹理分布图像检索的相似度获取方法 |
CN103577537B (zh) * | 2013-09-24 | 2016-08-17 | 上海交通大学 | 面向图像分享网站图片的多重配对相似度确定方法 |
WO2015136714A1 (ja) * | 2014-03-14 | 2015-09-17 | オムロン株式会社 | 画像識別装置、画像センサ、画像識別方法 |
US20150269456A1 (en) * | 2014-03-21 | 2015-09-24 | Bicdroid Inc | Methods and systems for determining a perceptual similarity between images |
CN104065932B (zh) * | 2014-06-30 | 2019-08-13 | 东南大学 | 一种基于修正加权二部图的无重叠视域目标匹配方法 |
US9508151B2 (en) * | 2014-07-10 | 2016-11-29 | Ditto Labs, Inc. | Systems, methods, and devices for image matching and object recognition in images using image regions |
CN105447842B (zh) * | 2014-07-11 | 2019-05-21 | 阿里巴巴集团控股有限公司 | 一种图像匹配的方法及装置 |
JP6027065B2 (ja) * | 2014-08-21 | 2016-11-16 | 富士フイルム株式会社 | 類似画像検索装置、類似画像検索装置の作動方法、および類似画像検索プログラム |
TWI571753B (zh) * | 2014-11-07 | 2017-02-21 | 財團法人資訊工業策進會 | 用於產生一影像之一互動索引碼圖之電子計算裝置、其方法及其電腦程式產品 |
CN104504055B (zh) * | 2014-12-19 | 2017-12-26 | 常州飞寻视讯信息科技有限公司 | 基于图像相似度的商品相似计算方法及商品推荐*** |
US10311329B2 (en) | 2015-01-30 | 2019-06-04 | International Business Machines Corporation | Social connection via real-time image comparison |
CN104657081B (zh) * | 2015-03-19 | 2018-04-27 | 上海创功通讯技术有限公司 | 移动终端及其图片的处理方法 |
CN104915955A (zh) * | 2015-05-27 | 2015-09-16 | 上海交通大学 | 基于图像分割的图片搜索方法 |
CN105204850B (zh) * | 2015-08-31 | 2019-05-17 | 深圳市金立通信设备有限公司 | 一种图片处理方法及终端 |
JP2017134598A (ja) * | 2016-01-27 | 2017-08-03 | キヤノン株式会社 | 画像検索装置、画像検索方法及びプログラム |
JP6840957B2 (ja) | 2016-09-01 | 2021-03-10 | 株式会社リコー | 画像類似度算出装置、画像処理装置、画像処理方法、及び記録媒体 |
US10489676B2 (en) | 2016-11-03 | 2019-11-26 | Adobe Inc. | Image patch matching using probabilistic sampling based on an oracle |
CN110114776B (zh) * | 2016-11-14 | 2023-11-17 | 柯达阿拉里斯股份有限公司 | 使用全卷积神经网络的字符识别的***和方法 |
US10628890B2 (en) * | 2017-02-23 | 2020-04-21 | International Business Machines Corporation | Visual analytics based vehicle insurance anti-fraud detection |
CN107516105B (zh) * | 2017-07-20 | 2020-06-16 | 阿里巴巴集团控股有限公司 | 图像处理方法及装置 |
CN109389015A (zh) * | 2017-08-10 | 2019-02-26 | 丽宝大数据股份有限公司 | 脸部相似度评估方法与电子装置 |
CN107862710A (zh) * | 2017-11-28 | 2018-03-30 | 奕响(大连)科技有限公司 | 一种基于转换线条的图片相似判定方法 |
US11037019B2 (en) | 2018-02-27 | 2021-06-15 | Adobe Inc. | Generating modified digital images by identifying digital image patch matches utilizing a Gaussian mixture model |
CN108845998B (zh) * | 2018-04-03 | 2022-04-29 | 南昌奇眸科技有限公司 | 一种商标图像检索匹配方法 |
CN108537788B (zh) * | 2018-04-06 | 2021-02-02 | 中国人民解放军92942部队 | 迷彩伪装效果评测方法及装置、计算机设备及存储介质 |
US10762680B1 (en) | 2019-03-25 | 2020-09-01 | Adobe Inc. | Generating deterministic digital image matching patches utilizing a parallel wavefront search approach and hashed random number |
JP7385241B2 (ja) * | 2019-06-19 | 2023-11-22 | 国立大学法人 東京大学 | 画像抽出装置、画像抽出システム、画像抽出方法及び画像抽出プログラム |
CN110348519A (zh) * | 2019-07-12 | 2019-10-18 | 深圳众赢维融科技有限公司 | 金融产品欺诈团伙的识别方法和装置 |
CN110633387A (zh) * | 2019-09-29 | 2019-12-31 | 四川乐为科技有限公司 | 基于局部信息的图像检索方法 |
KR102260335B1 (ko) | 2019-10-16 | 2021-06-03 | 한국생산기술연구원 | 인공지능 기반 이미지 변조 분류 장치 및 방법 |
CN110765356A (zh) * | 2019-10-23 | 2020-02-07 | 绍兴柯桥浙工大创新研究院发展有限公司 | 一种根据用户习惯检索排序的工业设计人机数据查询*** |
US11449974B2 (en) | 2019-11-08 | 2022-09-20 | Adobe Inc. | Generating modified digital images utilizing nearest neighbor fields from patch matching operations of alternate digital images |
CN111079793A (zh) * | 2019-11-21 | 2020-04-28 | 北京云聚智慧科技有限公司 | 图标相似度的确定方法和电子设备 |
CN111274345A (zh) * | 2020-01-21 | 2020-06-12 | 成都智库二八六一信息技术有限公司 | 一种基于网格划分和取值的相似区域检索方法和*** |
CN111571598A (zh) * | 2020-05-29 | 2020-08-25 | 杭州申昊科技股份有限公司 | 一种防爆巡检机器人的智能巡检方法 |
US11645733B2 (en) | 2020-06-16 | 2023-05-09 | Bank Of America Corporation | System and method for providing artificial intelligence architectures to people with disabilities |
JP7417504B2 (ja) | 2020-10-23 | 2024-01-18 | 株式会社日立ソリューションズ | 類似画像差分抽出装置、類似画像差分抽出方法、プログラム及び記録媒体 |
CN113379990B (zh) * | 2021-05-19 | 2022-07-12 | 深圳市安星数字***有限公司 | 监控保护装置及*** |
CN113705367A (zh) * | 2021-08-07 | 2021-11-26 | 北京惠朗时代科技有限公司 | 基于特征与长宽比检测的公式图像区域识别方法及*** |
CN114429649B (zh) * | 2022-04-07 | 2022-06-24 | 青岛美迪康数字工程有限公司 | 目标图像识别方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030074414A (ko) * | 2002-03-14 | 2003-09-19 | 마쯔시다덴기산교 가부시키가이샤 | 화상 처리 장치 및 초음파 진단 장치 |
KR20060058147A (ko) * | 2003-10-21 | 2006-05-29 | 닛본 덴끼 가부시끼가이샤 | 화상 대조 시스템 및 화상 대조 방법 |
Family Cites Families (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03282683A (ja) * | 1990-03-30 | 1991-12-12 | Hitachi Ltd | ノイズ量に自動的に適応するパターン検出方法および装置 |
DE69124777T2 (de) * | 1990-11-30 | 1997-06-26 | Canon Kk | Gerät zur Detektion des Bewegungsvektors |
JP3302472B2 (ja) | 1993-10-22 | 2002-07-15 | キヤノン株式会社 | 画像振れ補正装置および方法 |
US5614945A (en) * | 1993-10-19 | 1997-03-25 | Canon Kabushiki Kaisha | Image processing system modifying image shake correction based on superimposed images |
US5515453A (en) * | 1994-01-21 | 1996-05-07 | Beacon System, Inc. | Apparatus and method for image processing in symbolic space |
JPH0898133A (ja) | 1994-09-28 | 1996-04-12 | Toshiba Corp | 映像音声記録装置及び記録再生装置 |
US5745601A (en) * | 1995-07-31 | 1998-04-28 | Neopath, Inc. | Robustness of classification measurement apparatus and method |
US5963670A (en) * | 1996-02-12 | 1999-10-05 | Massachusetts Institute Of Technology | Method and apparatus for classifying and identifying images |
JP3053164B2 (ja) | 1996-03-15 | 2000-06-19 | 株式会社プラスミック | 画像認識方法 |
JP3386102B2 (ja) | 1996-10-04 | 2003-03-17 | 日本電信電話株式会社 | 映像検索方法および装置 |
US6092059A (en) * | 1996-12-27 | 2000-07-18 | Cognex Corporation | Automatic classifier for real time inspection and classification |
US6118888A (en) * | 1997-02-28 | 2000-09-12 | Kabushiki Kaisha Toshiba | Multi-modal interface apparatus and method |
JP3747589B2 (ja) * | 1997-09-17 | 2006-02-22 | コニカミノルタビジネステクノロジーズ株式会社 | 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体 |
US6163622A (en) * | 1997-12-18 | 2000-12-19 | U.S. Philips Corporation | Image retrieval system |
JP3576025B2 (ja) | 1998-03-02 | 2004-10-13 | 富士写真フイルム株式会社 | 主要被写体抽出方法および装置 |
US6529630B1 (en) * | 1998-03-02 | 2003-03-04 | Fuji Photo Film Co., Ltd. | Method and device for extracting principal image subjects |
JP3952592B2 (ja) | 1998-04-30 | 2007-08-01 | キヤノン株式会社 | 画像検索装置及び方法 |
US6285995B1 (en) * | 1998-06-22 | 2001-09-04 | U.S. Philips Corporation | Image retrieval system using a query image |
US6564206B1 (en) * | 1998-10-05 | 2003-05-13 | Canon Kabushiki Kaisha | Information search apparatus and method, and storage medium |
US7099507B2 (en) * | 1998-11-05 | 2006-08-29 | Ricoh Company, Ltd | Method and system for extracting title from document image |
JP2000259847A (ja) | 1999-03-05 | 2000-09-22 | Ricoh Co Ltd | 情報検索方法、装置および記録媒体 |
JP2000163576A (ja) | 1998-11-25 | 2000-06-16 | Hitachi Ltd | 画像検索方法及びその実施装置並びにその処理プログラムを記録した媒体 |
CN1207664C (zh) * | 1999-07-27 | 2005-06-22 | 国际商业机器公司 | 对语音识别结果中的错误进行校正的方法和语音识别*** |
US6741756B1 (en) * | 1999-09-30 | 2004-05-25 | Microsoft Corp. | System and method for estimating the orientation of an object |
JP2001134765A (ja) | 1999-11-09 | 2001-05-18 | Canon Inc | 画像検索方法及び装置 |
US6999636B1 (en) * | 1999-11-09 | 2006-02-14 | Canon Kabushiki Kaisha | Image search method and apparatus |
US6782395B2 (en) * | 1999-12-03 | 2004-08-24 | Canon Kabushiki Kaisha | Method and devices for indexing and seeking digital images taking into account the definition of regions of interest |
JP2001245269A (ja) * | 2000-02-25 | 2001-09-07 | Sony Corp | コミュニケーション・データ作成装置及び作成方法、コミュニケーション・データ再生装置及び再生方法、並びに、プログラム記憶媒体 |
JP2002044573A (ja) | 2000-07-21 | 2002-02-08 | Sony Corp | 情報信号処理装置および情報信号処理方法 |
JP2002074265A (ja) | 2000-09-01 | 2002-03-15 | Mitsubishi Electric Corp | テロップパターン認識装置 |
JP2002304415A (ja) | 2001-04-04 | 2002-10-18 | Omron Corp | 画像検索装置 |
US7006250B2 (en) * | 2001-09-27 | 2006-02-28 | Lexmark International, Inc. | Method of setting laser power and developer bias in an electrophotographic machine based on an estimated intermediate belt reflectivity |
JP4000844B2 (ja) * | 2001-12-11 | 2007-10-31 | 日本電気株式会社 | コンテンツ配信システム、コンテンツ配信システムの配信サーバ及び表示端末、コンテンツ配信プログラム |
JP2003179884A (ja) | 2001-12-11 | 2003-06-27 | Sony Corp | プルダウン信号検出装置、プルダウン信号検出方法、高解像度化画像処理装置、高解像度化画像処理方法、画像符号化装置および画像符号化方法 |
JP2003216649A (ja) | 2002-01-25 | 2003-07-31 | Nippon Hoso Kyokai <Nhk> | 画像検索装置及び画像検索プログラム |
JP4161659B2 (ja) | 2002-02-27 | 2008-10-08 | 日本電気株式会社 | 画像認識システム及びその認識方法並びにプログラム |
JP2004005484A (ja) | 2002-03-15 | 2004-01-08 | Hitachi Kokusai Electric Inc | 物体検出方法及び物体検出装置 |
US7215827B2 (en) * | 2002-03-15 | 2007-05-08 | Hitachi Kokusai Electric Inc. | Object detection method using an image-pickup device with easy detection masking region setting and object detection apparatus using the method |
US6879954B2 (en) * | 2002-04-22 | 2005-04-12 | Matsushita Electric Industrial Co., Ltd. | Pattern matching for large vocabulary speech recognition systems |
JP4095336B2 (ja) | 2002-05-13 | 2008-06-04 | 日本放送協会 | 原画像復元装置、及び原画像復元プログラム |
GB2396001B (en) * | 2002-10-09 | 2005-10-26 | Canon Kk | Gaze tracking system |
US7359572B2 (en) * | 2003-03-26 | 2008-04-15 | Microsoft Corporation | Automatic analysis and adjustment of digital images with exposure problems |
US20040228505A1 (en) * | 2003-04-14 | 2004-11-18 | Fuji Photo Film Co., Ltd. | Image characteristic portion extraction method, computer readable medium, and data collection and processing device |
US7286710B2 (en) * | 2003-10-01 | 2007-10-23 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Coding of a syntax element contained in a pre-coded video signal |
US20060020597A1 (en) * | 2003-11-26 | 2006-01-26 | Yesvideo, Inc. | Use of image similarity in summarizing a collection of visual images |
KR100750424B1 (ko) * | 2004-03-03 | 2007-08-21 | 닛본 덴끼 가부시끼가이샤 | 화상 유사도 산출 시스템, 화상 검색 시스템, 화상 유사도산출 방법 및 화상 유사도 산출용 프로그램 |
JP2006119723A (ja) * | 2004-10-19 | 2006-05-11 | Canon Inc | 画像処理装置、画像処理方法 |
JP4559935B2 (ja) * | 2005-08-25 | 2010-10-13 | 株式会社東芝 | 画像記憶装置及び方法 |
KR100734849B1 (ko) * | 2005-11-26 | 2007-07-03 | 한국전자통신연구원 | 얼굴 인식 방법 및 그 장치 |
JP2008146603A (ja) * | 2006-12-13 | 2008-06-26 | Canon Inc | 文書検索装置、文書検索方法、プログラム及び記憶媒体 |
-
2005
- 2005-03-02 KR KR1020067000668A patent/KR100750424B1/ko not_active IP Right Cessation
- 2005-03-02 EP EP05719783A patent/EP1722331B1/en not_active Expired - Fee Related
- 2005-03-02 JP JP2006515313A patent/JP3899523B2/ja not_active Expired - Fee Related
- 2005-03-02 US US10/567,561 patent/US7991232B2/en active Active
- 2005-03-02 WO PCT/JP2005/003468 patent/WO2005086092A1/ja not_active Application Discontinuation
- 2005-03-02 CN CN200580006681A patent/CN100583148C/zh not_active Expired - Fee Related
- 2005-03-02 DE DE602005025088T patent/DE602005025088D1/de active Active
-
2006
- 2006-09-04 JP JP2006239103A patent/JP4175413B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030074414A (ko) * | 2002-03-14 | 2003-09-19 | 마쯔시다덴기산교 가부시키가이샤 | 화상 처리 장치 및 초음파 진단 장치 |
KR20060058147A (ko) * | 2003-10-21 | 2006-05-29 | 닛본 덴끼 가부시끼가이샤 | 화상 대조 시스템 및 화상 대조 방법 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101029437B1 (ko) | 2009-04-01 | 2011-04-14 | 엔에이치엔(주) | 동영상 중복 검출 방법 및 시스템 |
Also Published As
Publication number | Publication date |
---|---|
CN1926575A (zh) | 2007-03-07 |
JPWO2005086092A1 (ja) | 2007-08-09 |
CN100583148C (zh) | 2010-01-20 |
US20080152225A1 (en) | 2008-06-26 |
JP4175413B2 (ja) | 2008-11-05 |
EP1722331B1 (en) | 2010-12-01 |
EP1722331A4 (en) | 2008-01-16 |
DE602005025088D1 (de) | 2011-01-13 |
KR20060030112A (ko) | 2006-04-07 |
EP1722331A1 (en) | 2006-11-15 |
JP3899523B2 (ja) | 2007-03-28 |
WO2005086092A1 (ja) | 2005-09-15 |
JP2006331460A (ja) | 2006-12-07 |
US7991232B2 (en) | 2011-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100750424B1 (ko) | 화상 유사도 산출 시스템, 화상 검색 시스템, 화상 유사도산출 방법 및 화상 유사도 산출용 프로그램 | |
US10762608B2 (en) | Sky editing based on image composition | |
JP5713790B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN105184763B (zh) | 图像处理方法和装置 | |
US20060008145A1 (en) | Image data processing apparatus and method, and image data processing program | |
CN109033955B (zh) | 一种人脸跟踪方法和*** | |
JP2008527525A (ja) | グラフィカルなオブジェクトを検出するための方法及び電子装置 | |
CN110390260B (zh) | 图片扫描件处理方法、装置、计算机设备及存储介质 | |
US20060110029A1 (en) | Pattern recognizing method and apparatus | |
CN110458790B (zh) | 一种图像检测方法、装置及计算机存储介质 | |
CN110196917B (zh) | 个性化logo版式定制方法、***和存储介质 | |
US20040247179A1 (en) | Image processing apparatus, image processing method, and image processing program | |
JP2008225692A (ja) | 画像検索方法、装置およびプログラム | |
US20020076108A1 (en) | Region extraction apparatus, region extraction method and computer readable recording medium | |
JP4632830B2 (ja) | 画像検索方法及び画像検索装置 | |
US8934710B2 (en) | Image processing apparatus, image processing method, and computer-readable medium | |
JP4349160B2 (ja) | 画像類似度算出システム、画像検索システム、画像類似度算出方法および画像類似度算出用プログラム | |
JP4396328B2 (ja) | 画像類似度算出システム、画像検索システム、画像類似度算出方法および画像類似度算出用プログラム | |
JP4941299B2 (ja) | 画像識別システム及び方法 | |
JPH11110542A (ja) | パターン抽出方法および装置、そのプログラムを記録した媒体 | |
EP1638038A1 (en) | Method of determining an image descriptor, image comparison method, image search method and associated devices | |
US8300926B2 (en) | Image processing apparatus and image processing method | |
US20230169708A1 (en) | Image and video matting | |
JP2001043388A (ja) | 画像処理方法、画像処理装置及び記憶媒体 | |
Sadique et al. | Content based unsupervised video summarization using birds foraging search |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |