KR100737974B1

KR100737974B1 - 이미지 분리 합성 장치 및 방법, 그리고 그것을 이용한이미지 검색방법

Info

Publication number: KR100737974B1
Application number: KR1020050064256A
Authority: KR
Inventors: 황후; 이정헌
Original assignee: 황후
Priority date: 2005-07-15
Filing date: 2005-07-15
Publication date: 2007-07-13
Also published as: KR20070009174A

Abstract

본 발명은 이미지 분리 합성 장치 및 방법, 그리고 그것을 이용한 이미지 검색방법에 관한 것이다.

더욱 상세하게는 다양한 촬영수단을 이용하여 촬영된 컬러 이미지들 중 사용자가 분리를 원하는 이미지 객체를 분리하고 합성하는 장치와 방법에 있어서 개인PC, PDA, 휴대폰 등에 탑재되어 디지털 카메라, 스캐너, 웹카메라, 휴대폰 카메라 등으로 촬영되어 입력된 원본이미지에 이미지 세그멘테이션 알고리즘을 적용하여 원본이미지 중 분리하고자 하는 특정 이미지 객체를 분리 및 합성하고, 상기 세그멘테이션 처리과정에서 발생하는 특징값을 이용하여 원본이미지 또는 합성이미지를 검색하기 위한 그래픽 인터페이스와 관련된 사용자 인터페이스를 제공하는 클라이언트 및 상기 클라이언트에 의해 분리된 원본이미지와 합성하고자 하는 계층이미지에 따라 원본이미지와 계층이미지를 각 상태에 맞는 합성방법을 적용하여 합성이미지를 생성하고 저장하며, 상기 세그멘테이션 처리과정에서 생성되는 특징값을 저장하여 상기 원본이미지 또는 합성이미지를 검색할 수 있는 기능을 제공하는 서버를 포함하여 이루어지는 이미지 분리 합성 장치와 방법, 그리고 그것을 이용한 이미지 검색방법을 제공한다.

계층이미지, 분리, 합성, 세그멘테이션, 매개변수

Description

이미지 분리 합성 장치 및 방법, 그리고 그것을 이용한 이미지 검색방법{Image extraction combination system and the method, And the image search method which uses it}

도 1은 본 발명의 바람직한 일 실시예에 따른 이미지 분리 합성 장치의 전체 내부 블럭 구성을 나타내는 도면이다.

도 2a,b는 본 발명의 바람직한 일 실시예에 따른 이미지 분리 방법을 나타내는 순서도이다.

도 3은 본 발명의 바람직한 일 실시예에 따른 이미지 합성 방법을 나타내는 순서도이다.

도 4는 본 발명의 다른 바람직한 일 실시예에 따른 이미지 검색 방법을 나타내는 순서도이다.

*** 도면의 주요부분에 대한 부호의 설명 ***

100 : 클라이언트 105 : 서버 연결모듈

110 : 메모리 관리모듈 115 : 일반 이미지 로딩모듈

120 : 이미지 뷰어모듈 125 : 계층이미지 로딩모듈

130 : 계층이미지 정보 생성모듈 135 : 세그멘테이션 모듈

140 : 세그멘테이션 영역 선택기모듈 145 : 특징값 생성모듈

150 : 특징값 검색 요청모듈 160 : 편집기 모듈

165 : 프린트 모듈 170 : 정보 입력기

175 : 사용자 이미지리스트 모듈 180 : 사용자D/B

200 : 서버 220 : 계층이미지 콘텐츠DB 서버

230 : 회원정보 관리서버 240 : 사용자 합성이미지DB 서버

250 : 사용자 합성이미지 특징값DB 서버

260 : 사용자 합성이미지 특징값 검색엔진

더욱 상세하게는 디지털 카메라, 웹카메라, 휴대폰 카메라 등의 촬영수단을 이용하여 촬영된 사진 이미지에 칼라 정보와 질감 정보를 함께 적용할 수 있는 이미지 세그멘테이션 알고리즘을 적용하여 사진 이미지 안의 특정 이미지 객체을 편리하게 분리하고 합성할 수 있는 이미지 분리 합성 장치와 그 방법, 그리고 그것을 이용한 이미지 검색방법에 관한 것이다.

일반적으로 디지털 카메라, 웹카메라, 휴대폰 카메라 등을 이용하여 다양한 피사체를 촬영한 후, 촬영된 사진 이미지에 다양한 효과를 주어 전자앨범, 스티커 사진 등을 만든다. 또한, 촬영된 사진 이미지를 이용하여 다양한 합성 작업들을 하고 있는데, 원하는 부분만을 신속하고 정확하게 분리해 낼 수 있는 편집기술은 블로그 서비스 및 다양한 웹서비스에서 필요한 기술로 대두되고 있다.

하지만, 디지털 카메라를 이용하여 촬영된 인물 이미지나 자연 이미지의 경우, 사진 이미지 안에 특정 이미지 부분만을 분리하기 위한 이미지 편집작업은 최소한 몇 분 이상이 소요되고, 전문가들이라 하여도 시간이 많이 걸리는 작업이다. 특히, 초보자들에게는 매우 어려운 작업이다.

한편, 이러한 이미지를 자동적으로 분리하는 방법에는 영역 생성방법에 따라 픽셀기반, 영역기반, 에지 기반 이미지 세그멘테이션 방법이 있다. 픽셀 기반 세그멘테이션 방법은 픽셀 단위로 영역을 구분하는 방법으로 일반적으로 칼라 히스토그램의 1개 이상의 임계치를 통해 각각의 픽셀들이 어느 영역의 원소인지를 구분하는 방법이다. 영역기반 세그멘테이션 방법은 씨앗(seed) 영역을 찾아 낸 후, 그 씨앗 영역을 인접 픽셀 혹은 인접영역과 비교하여 영역을 확장하는 방법과 영역을 분할하거나 병합하는 과정을 통해 이미지를 나누는 방법을 사용한다. 반면, 에지 기반 세그멘테이션 방법은 영역기반 이미지 세그멘테이션이 씨앗 영역을 찾아내는 것과는 달리 에지를 먼저 잡아내는 방법을 사용한다. 추출한 에지는 에지 연결과정을 통해 영역을 생성하게 된다. 영역기반과 에지기반은 둘 다 지역적으로 인접한 픽셀들을 영역으로 판단하므로 영역기반 이미지 검색을 위한 영역생성이 가능하다.

하지만, 범용적인 목적의 칼라 이미지 세그멘테이션은 많은 어려움이 존재하는데, 이는 이미지 내에 많은 칼라 정보와 함께 질감 정보가 포함되어 있어 명확한 에지를 판단하기 어렵기 때문이다. 특정분야의 이미지는 오브젝트와 배경간의 구별이 쉽고 단순 칼라를 가진다는 장점이 있어 손쉬운 세그멘테이션이 가능하다. 그러나 범용적인 분야에서의 이미지 세그멘테이션은 영역구분이 쉽지 않기 때문에 많은 선처리 과정이 필요한 문제점이 있었다.

본 발명은 상술한 바와 같은 문제점을 해결하기 위해 안출된 것으로, 다양한 촬영수단으로 촬영된 사진의 원본이미지를 칼라 정보와 질감 정보를 함께 적용할 수 있는 이미지 세크멘테이션 알고리즘을 적용하여 최소의 시간으로 편리하게 특정 이미지 객체를 분리하고 합성할 수 있는 이미지 분리 합성 장치 및 그 방법을 제공하는 데 있다.

다른 목적으로는, 상기와 같이 이미지 세그멘테이션을 적용하는 과정에서 생성되는 특징값을 이용하여 합성이미지를 쉽게 검색할 수 있는 이미지 검색방법을 제공하는 데 그 목적이 있다.

상술한 바와 같은 목적은, 다양한 촬영수단을 이용하여 촬영된 컬러 이미지들 중 사용자가 분리를 원하는 이미지 객체를 분리하고 합성하는 장치와 방법, 그리고 그것을 이용한 이미지 검색방법에 있어서, 개인PC, PDA, 휴대폰 등에 탑재되어 디지털 카메라, 스캐너, 웹카메라, 휴대폰 카메라 등으로 촬영되어 입력된 원본이미지에 이미지 세그멘테이션 알고리즘을 적용하여 원본이미지 중 분리하고자 하는 특정 이미지 객체를 분리 및 합성하고, 상기 세그멘테이션 처리과정에서 발생하 는 특징값을 이용하여 원본이미지 또는 합성이미지를 검색하기 위한 그래픽 인터페이스와 관련된 사용자 인터페이스를 제공하는 클라이언트 및 상기 클라이언트에 의해 분리된 원본이미지와 합성하고자 하는 계층이미지에 따라 원본이미지와 계층이미지를 각 상태에 맞는 합성방법을 적용하여 합성이미지를 생성하고 저장하며, 상기 세그멘테이션 처리과정에서 생성되는 특징값을 저장하여 상기 원본이미지 또는 합성이미지를 검색할 수 있는 기능을 제공하는 서버를 포함하여 이루어지는 이미지 분리 합성 장치가 제공되고,

촬영한 이미지들 중 분리하고자 하는 원본이미지를 읽어들이는 단계와, 원본이미지를 이미지 세그멘테이션(Segmentation) 알고리즘을 적용하여 유사한 픽셀들을 하나의 구역으로 설정한 후 유사한 영역들을 구분짓고 구분지은 영역은 영역의 평균 칼라값으로 채우는 단계와, 좌측과 우측으로 양분된 화면 인터페이스의 좌측에 세그멘테이션 처리를 한 이미지를 출력하는 단계와, 좌측 출력된 영역 중 세그멘테이션 영역을 선택하여, 우측의 영역에 선택되어 출력된 해당 원본이미지의 영상을 확인하고 원하는 부분만을 선택하는 단계와, 원본이미지에서 원하는 객체 부분의 분리가 완성되면 분리된 이미지를 파일로 저장하거나 이미지 합성 서비스를 위한 이미지 파일로 이용하는 단계를 포함하여 이루어지는 이미지 분리 방법이 제공되고,

사용자가 클라이언트를 이용하여 서버에 접속하면 계층이미지들의 리스트를 썸네일 이미지 형태로 보여주는 단계와, 이미지 합성을 하기 원하는 하나의 계층이미지를 선택하여 다운로드 한 후 계층이미지를 파싱하여 파일의 내용에 맞게 계층 구조로 위치시키는 단계와, 합성하고자 하는 원본이미지를 로딩하여 하나의 계층을 할당하여 위치시키고, 상기 원본이미지에서 원하는 부분을 분리하기 위해 세그멘테이션 처리를 수행하여 분리된 이미지를 생성하는 단계와, 분리된 이미지를 상기 계층이미지와 매칭하여 크기 및 잡음 제거 등의 편집을 통하여 최종 합성이미지를 생성하는 단계와, 상기 최종 합성이미지를 계층이미지 정보에 맞게 생성하여 상기 최종 합성이미지와 관련 정보(계층이미지 정보, 특징값)를 상기 서버로 전송하여 저장하는 단계를 포함하여 이루어지는 이미지 합성 방법이 제공되고,

상기 사용자가 클라이언트를 이용하여 검색하고자 하는 이미지를 입력하는 단계와, 상기 입력된 이미지를 세그멘테이션 처리하여 특징값을 생성하는 단계와, 상기 생성된 특징값을 상기 서버로 전송하여 유사한 이미지 검색을 요청하는 단계와, 상시 수신된 특징값을 이용하여 유사한 합성이미지를 검색하여 유사한 합성이미지 리스트를 상기 클라이언트로 전송하는 단계와, 상기 전송받은 유사한 합성이미지 리스트 중 찾고자 하는 이미지를 선택하는 단계를 포함하여 이루어지는 이미지 검색방법을 제공함으로써 달성된다.

이하, 도면을 참조하여 본 발명의 바람직한 일 실시예에 따른 이미지 분리 합성 장치 및 그 방법에 대하여 더욱 상세하게 설명한다.

원본이미지에서 특정이미지 객체를 자동적으로 분리하는 이미지 세그멘테이션 방법은 영역생성 방법에 따라 픽셀기반, 영역기반, 에지기반 이미지 세그멘테이 션 방법 등이 있지만, 본 발명의 바람직한 일 실시예에 사용되는 이미지 세그멘테이션은 먼저 에지를 추출한 후 에지를 연결하여 영역을 생성하는 에지 기반 이미지 세그멘테이션 방법을 사용한다.

본 발명의 바람직한 일 실시예에 사용되어지는 상기 에지 기반 이미지 세그멘테이션 방법은 최초 양자화를 통해 칼라 수를 줄이고 양자화 된 이미지를 Fisher의 클래스 선형 판별식을 이용하여 이미지의 전체적인 에지를 보여주는 그레이 레벨의 이미지를 생성하게 된다. 이렇게 얻은 그레이 레벨 에지 이미지를 윈도우 단위의 임계치 비교를 통해 이진 에지 이미지로 변환하게 되고, 상기 이진 에지 이미지는 잡음제거와 함께 끊어진 에지 정보를 끊어진 방향에서 가장 가까운 에지를 연결하여 끊어지지 않은 에지 이미지를 생성하고 유사한 인접영역을 합병하는 작업을 통해 최종적인 세그멘테이션 결과를 얻게되는 방법이다.

상기 에지 기반 이미지 세그멘테이션(이하에서는 본 발명의 설명을 간편하게 하기 위해 '이미지 세그멘테이션'이라 한다) 방법에 대한 상세한 설명은 본 발명의 이미지 분리방법에서 더욱 상세하게 설명하기로 한다.

도 1은 본 발명의 바람직한 일 실시예에 따른 이미지 분리 합성 장치의 전체 내부 블럭 구성을 나타내는 도면이다. 도 1을 참조하여 더욱 상세하게 설명하면,

먼저 본 발명의 장치는 클라이언트(100), 서버(200), 유무선인터넷(300) 등으로 구성된다.

상기 클라이언트(100)는 일반 사용자들이 디지털 카메라, 웹카메라, 휴대폰 카메라 등으로 개인 이미지나 자연 이미지 등을 촬영하여 저장할 수 있고, 유무선 인터넷(300)을 통하여 상기 서버(200)에 접속할 수 있는 개인PC, PDA, 휴대폰 등을 포함하는 단말기에 탑재된 사용자 인터페이스로서, 상기 디지털 카메라, 웹카메라, 휴대폰 카메라 등으로 촬영된 외부의 원본이미지를 입력받아 원본이미지 중에서 상기 사용자가 분리하고자 하는 부분을 선택하여 분리하고, 또한 합성하고자 하는 계층이미지를 상기 서버(200)로부터 다운받거나 상기 클라이언트(100)가 탑재된 단말기내에 저장된 다수의 원본이미지를 이용하여 합성이미지를 생성하는 기능과, 상기 세그멘테이션 처리과정에서 발생하는 특징값을 이용하여 원본이미지 또는 합성이미지를 검색하기 위한 그래픽 인터페이스를 제공하는 기능을 수행한다.

상기 서버(200)는 다수의 데이타베이스 서버들을 포함하여 구성되고, 유무선 인터넷(300)으로 접속하는 상기 클라이언트(100)와 이미지 분리 및 합성에 필요한 데이터 통신을 수행하는데, 상기 클라이언트(100)에 의해 분리된 원본이미지와 합성하고자 하는 계층이미지를 미리 생성하여 저장하고, 상기 계층이미지에 따라 원본이미지와 계층이미지를 각 상태에 맞는 합성 방법을 적용하여 합성된 계층이미지를 생성할 수 있도록 하고, 상기 합성된 계층이미지와 계층이미지 정보를 저장하고 제공하는 기능과 상기 세그멘테이션 처리과정에서 생성되는 특징값을 저장하여 상기 원본이미지 또는 합성이미지를 검색할 수 있는 기능을 제공한다.

상기 유무선 인터넷(300)은 상기 개인PC, PDA, 셀룰라폰과 PCS폰을 포함하는 휴대폰 등을 이용하여 상기 서버(200)에 접속할 수 있는 유무선 네트워크의 기반체계를 사용하기 때문에 별도의 설명은 생략한다.

상기 본 발명의 구성인 클라이언트(100)에 대해 더욱 상세하게 설명하면,

상기 클라이언트(100)는 서버 연결모듈(105), 메모리 관리모듈(110), 일반 이미지 로딩모듈(115), 이미지 뷰어모듈(120), 계층이미지 로딩모듈(125), 계층이미지 정보 생성모듈(130), 세그멘테이션 모듈(135), 세그멘테이션 영역 선택기 모듈(140), 특징값 생성모듈(145), 특징값 검색 요청모듈(150), 편집기 모듈(160), 프린트 모듈(165), 정보 입력기(170), 사용자 이미지 리스트 요청모듈(175), 사용자 DB(180) 등을 더 포함하여 구성된다.

상기 서버 연결모듈(105)은 유무선 인터넷을 통하여 서비스를 하는 상기 서버(200)와 통신을 하기 위한 연결 및 자료 전달 역할을 수행한다.

상기 메모리 관리모듈(110)은 사용자가 이미지 합성 작업을 하는 동안 사용되는 계층이미지와 일반이미지의 원본 및 결과 이미지를 유지하고 관리하기 위한 일을 수행한다.

상기 일반 이미지 로딩모듈(115)은 사용자가 이미지 합성에 사용하고자 디지털 카메라로 촬영한 이미지나 일반적인 이미지 파일을 상기 클라이언트(100)가 탑재된 단말기의 사용자 DB(180)로부터 로딩하여 상기 메모리 관리모듈(110)에 의해 하나의 계층으로 위치시키는 일을 수행한다.

상기 이미지 뷰어모듈(120)은 계층이미지나 사용자가 사용하고자 하는 이미지들을 모니터에서 볼 수 있도록 디스플레이 해주는 역할을 수행한다.

상기 계층이미지 로딩모듈(125)은 사용자가 선택한 계층이미지를 상기 서버(200)로부터 다운로드 받아 압축되어 있는 형식을 디코딩이나 파싱하여 상기 메모 리 관리모듈(110)에 의해 계층적으로 위치시키는 일을 수행한다.

상기 계층이미지 정보 생성모듈(130)은 이미지 합성 서비스를 위하여 만들어진 계층이미지 형식에 맞추어 상기 메모리 관리모듈(110)에 의해 사용자가 작업한 파일을 사용자 합성이미지DB 서버(240)에 등록하기 위해서 계층이미지 정보를 생성하는 기능을 수행한다.

상기 세그멘테이션 모듈(135)은 본 발명의 에지 기반 이미지 세그멘테이션 알고리즘이 적용된 모듈로서, 일반이미지에서 원하는 영역을 쉽게 분리하기 위하여 유사하다고 여겨지는 영역을 다양한 기준에 의해 하나의 영역을 구분지으며 전체 이미지를 일정 개수의 영역으로 구분 짓는 과정을 수행하고, 이미지 검색을 위한 특징값 생성을 위해 사용자 합성이미지 특징값DB 서버(250)에 저장되어 있는 특징값과 동일한 영역 구분 작업을 수행하는 세그멘테이션 처리과정을 수행한다.

상기 세그멘테이션 영역 선택기 모듈(140)은 상기 세그멘테이션 모듈(135)을 통하여 생성된 결과물 이미지에서 사용자가 원하는 영역을 쉽게 선택하여 분리할 수 있도록 마우스나 키보드와 같은 인터페이스를 통하여 구분되어진 영역을 선택함으로써 분리하고자 하는 영역이 결정되게 하는 세그멘테이션 영역 선택 정보를 생성한다.

상기 특징값 생성모듈(145)은 상기 에지 기반 이미지 세그멘테이션 처리 과정을 통하여 생성되는 각 세그먼트의 상관관계에 의한 평균 칼라값과 위치값으로 구성된 특징값을 생성하여 검색을 위한 데이터로 제공한다.

상기 특징값 검색 요청모듈(150)은 사용자 합성이미지 특징값 검색엔진(260) 에 검색을 위한 상기 특징값을 전달하고 유사한 합성이미지 검색을 요청한다.

상기 편집기 모듈(160)은 계층이미지의 세부적인 조정을 위한 일반적인 이미지 편집기능을 제공한다.

상기 프린트 모듈(165)은 합성된 결과 이미지를 사진 프린트를 원하는 형태(스티커 사진, 일반사진 등)로 출력하기 위한 기능을 수행한다.

상기 정보 입력기(170)는 계층이미지의 이미지 합성 서비스에 필요한 이미지에 대한 정보를 입력하기 위한 기능 및 인터페이스를 제공한다.

상기 사용자 이미지 리스트 요청모듈(175)은 사용자 합성이미지 특징값 검색엔진(260)을 통하여 얻어진 인덱스 정보를 기초로 해당되는 실제 합성이미지 정보를 요청하여 다운로드 받는 역할을 수행한다.

사용자 DB(180)는 상기 디지털 카메라, 웹카메라, 휴대폰 카메라 등으로 촬영된 원본이미지를 저장하여 제공하고 또한, 상기 클라이언트(100)에서 합성된 계층이미지를 저장한다.

다음으로, 본 발명의 구성요소인 상기 서버(200)에 대해 설명하면,

상기 서버(200)는 계층이미지 콘텐츠DB 서버(220), 회원정보 관리서버(230), 사용자 합성이미지DB 서버(240), 사용자 합성이미지 특징값DB 서버(250), 사용자 합성이미지 특징값 검색엔진(260) 등을 포함하여 구성된다.

상기 계층이미지 콘텐츠DB 서버(220)는 이미지 합성 서비스의 기본이 되는 배경화면이 되주기 위한 다양한 이미지를 계층이미지로 생성한 후 분류하여 저장하 고 관리한다.

상기 회원정보 관리서버(230)는 인증된 사용자만 이미지 합성 서비스를 받을 수 있도록 관리한다.

상기 사용자 합성이미지DB 서버(240)는 사용자가 이미지 합성 서비스를 이용하여 사용자 사진을 합성한 후 발생하는 결과 이미지들을 저장하고 관리한다.

상기 사용자 합성이미지 특징값DB 서버(250)는 사용자가 만든 합성 이미지들 중에 찾고자 하는 이미지를 빠르게 찾기 위한 각 합성이미지의 특징값 정보를 저장하고 관리한다.

상기 사용자 합성이미지 특징값 검색엔진(260)은 상기 특징값을 이용하여 상기 사용자가 만든 합성이미지들 중에 찾고자 하는 이미지를 빠르게 찾기 위해 유사한 합성 이미지를 검색하는 기능을 수행한다.

이하에서는, 상기와 같이 구성된 이미지 분리 합성 장치를 이용하여 이미지를 분리하는 방법과 합성하는 방법, 그리고 이미지 검색방법을 더욱 상세하게 설명한다.

도 2a와 b는 본 발명의 바람직한 일 실시예에 따른 이미지 분리 방법을 나타내는 순서도이다. 도 2a와 b를 참조하여 더욱 상세하게 설명하면,

사용자는 본 발명의 상기 클라이언트(100)가 탑재된 개인PC를 이용하여 디지털 카메라나 웹카메라, 원본사진을 스캔하여 저장하고 있는 다수의 이미지들 중에 서 분리하고자 하는 원본이미지를 선택하게 되면 일반이미지 로딩모듈(115)에 의해 상기 원본이미지가 로딩되고 이미지 뷰어모듈(120)에 의해 상기 사용자의 개인PC에 디스플레이된다(S302).

상기 로딩된 원본이미지는 세그멘테이션 모듈(135)에 의해 이미지 세그멘테이션 과정을 거치게 되는데,

상기 원본이미지를 이미지 내에 주된 24개 칼라를 잡아 칼라 맵에 저장하고 원본이미지를 칼라 맵에 저장된 24개의 칼라를 통해 표현하는 이미지 양자화 처리과정을 거쳐 칼라 정보를 저장하는 칼라 맵과 칼라 번호로 이루어진 인덱스 이미지를 생성한다(S304).

상기 생성된 인덱스 이미지는 에지를 추출하기 위한 정보로 사용되는데, 다양한 질감 성분의 존재로 인해 정확한 에지 판단이 어렵기 때문에 인접픽셀간의 정보를 비교하는 것이 아니라 좀 더 넓은 범위의 윈도우에서 그 칼라 정보의 분포를 통해 에지를 판단하기 위하여 Fisher의 선형 판별식을 적용하는데, 상기 Fisher의 선평 판별식은 두개의 클래스로 이루어진 d차원 점들의 집합이 1차원의 직선에 맵핑될 때, 두 클래스를 가장 잘 나누는 직선의 기울기를 찾는 알고리즘으로, 상기 인덱스 이미지는 양자화된 칼라의 개수를 클래스로 2차원 점으로 나타낼 수 있다. 상기 이미지 양자화 과정에서 총 24개의 칼라를 추출하였으므로 총 24개의 클래스를 가진 2차원 점에 대해 상기 Fisher의 선형 판별식을 사용하여 이미지의 각 픽셀은 해당 크기의 윈도우에 포함되는 인접 픽셀과의 선형 판별식을 통해 에지 정도를 판단하게 된다.

상기와 같이 Fisher의 선형 판별식을 상기 인덱스 이미지에 적용하여 생성된 값에 0에서 255사이의 값으로 확장하여 그레이 레벨의 에지 이미지를 생성한다(S306).

상기 그레이 레벨의 에지 이미지를 영역과 경계로 명확히 구분하기 위하여 이진 정보를 가지는 이미지로 변환하여야 하는데, 상기 Fisher의 선형 판별식으로 생성된 그레이 레벨 이미지는 지역적으로 에지의 밝기가 다르게 나타나기 때문에 윈도우 단위(11*11 등)로 지역적인 임계치를 구해 이진 에지 이미지를 생성한다(S308).

상기와 같이 윈도우 단위로 지역적인 임계치를 이용해 생성된 이진 에지 이미지는 뚜렷한 에지의 형태와 함께 잡음성분이 많이 존재하게 된다. 따라서, 이러한 잡음이 포함된 이진 에지 이미지에서 명확한 에지만을 남기고 불필요한 잡음을 제거하기 위해 형태연산(morphological operation)인 열림(Opening)연산을 사용하여 잡음을 제거하게 되는데, 열림연산은 침식(erosion)작업 후 팽창(dilation)작업을 연속적으로 수행한다.

상기 침식작업은 침식연산에 사용하는 블록의 원점을 이진 이미지의 해당 픽셀에 맞춘 후 해당 픽셀과 위쪽 그리고 오른쪽 픽셀이 모두 1인 픽셀은 남기고 그렇지 못한 픽셀은 0으로 바꾸어 상기 이진 에지 이미지의 잡음성분을 제거하고 오브젝트를 줄여주고, 상기 팽창작업은 이진 에지 이미지의 해당 픽셀과 팽창연산에 사용할 블록의 원점을 맞추고 원점과 픽셀이 모두 1값을 가지면 왼쪽, 위쪽 그리고 왼쪽 위의 픽셀을 모두 1로 바꾸어 작은 틈을 채워주고 오브젝트를 확장 해주어 주 요 이진 에지 이미지의 형태만을 잡고 불필요한 잡음을 제거한다. 하지만, 상기와 같이 생성된 이진 에지 이미지 경계의 굵기가 가변적일 경우에는 경계가 끊어졌는지를 판단하기 어렵기 때문에 끊어진 경계 판단 이전에 각 경계의 굵기를 1로 줄이기 위한 Thinning처리 과정을 수행하게 되는데 본 발명의 바람직한 일 실시예에서는 이진 에지 이미지의 x축과 y축을 한번씩 체크하는 2-pass 알고리즘을 사용하여 각 경계의 굵기를 1로 줄이고, 끊어진 에지 정보를 끊어진 방향에서 가장 가까운 에지를 연결하여 이진 에지 이미지를 생성한다(S310).

상기에서 생성된 이진 에지 이미지는 에지 연결과정에서 불필요한 영역을 생성하므로 에지로 둘러 쌓인 영역은 각 영역을 구분하기 위해 영역에 포함되는 픽셀 값에 영역 번호를 부여하고 영역 번호를 통해 각 영역의 크기와 원본이미지의 평균 RGB 칼라를 구하여 유사한 영역간의 칼라를 동일하게 한 후 동일 칼라 사이의 에지를 제거하는 방법으로 영역을 병합한다(S312).

영역간의 유사성 계산은 평균 RGB의 유클리드 거리계산으로 구하는 것이 바람직하고, 이 과정에서 특징값 생성모듈은 각 세그먼트(영역)들의 상관관계에서 생성된 평균 칼라값과 위치값으로 구성된 특징값을 생성하여 임시 저장 공간에 트리형식으로 저장하게 된다.

상기의 과정을 거쳐 이미지 세그멘테이션 처리가 완료되면 이미지 뷰어모듈(120)에 의해 상기 사용자의 개인PC에는 좌측화면과 우측화면으로 구분된 화면이 디스플레이되고, 상기 좌측화면에는 세그멘테이션 처리된 원본이미지가 디스플레이된다(S314). 물론, 상기 사용자로 하여금 원하는 영역을 정확하게 선택할 수 있게 하기 위해 원본이미지를 출력하거나 원본이미지 위에 세그멘테이션 처리된 영역의 외곽선 만을 오버래핑(Overlapping)하여 출력할 수도 있다.

상기 사용자가 개인PC에 도시된 좌측화면에 세그멘테이션 처리된 원본이미지 중 분리하고자 하는 원본이미지의 특정 부분을 마우스나 키보드로 선택을 하게 되면, 세그멘테이션 영역 선택기 모듈(140)에 의해 상기 우측화면에는 좌측화면에서 선택된 세그멘테이션 영역에 해당하는 원본이미지의 영역이 디스플레이되고, 상기 사용자는 우측화면을 확인하면서 분리하고자 하는 특정 이미지를 계속적으로 선택하면 된다(S316).

좌측화면에 옵션을 두어 사용자의 편의에 따라 선택적으로 보여줄 수도 있고, 너무 작게 설정되어 있는 영역의 경우 축소/확대하면서 정확하고 신속하게 선택할 수도 있다.

상기 사용자는 마우스나 키보드를 이용하여 분리를 원하는 부분을 모두 분리할 때까지 반복하여 원하는 영역의 분리를 마무리하게 된다(S318).

상기 사용자는 상기와 같이 분리하던 중 우측화면에서 분리된 영역에 잘못 선택된 부분이 있는 경우에는(S320), 상기 세그멘테이션 영역 선택기 모듈(140)에 의해 제공되는 선택 해제 도구를 이용하여 세그멘테이션의 처리된 해당 영역을 클릭하여 영역을 지우게 된다(S322).

그러나, 세그멘테이션 처리의 이상으로 유사 영역의 분리가 정확히 이루어지지 않은 영역에 대해서는(S324) 그 영역 부분만 매개변수가 다른 세그멘테이션 처리를 재 수행한 후 영역 설정을 다시하면 된다(S326). 그래도 정확히 분리가 되지 않으면 수동으로 해당 영역을 분리하거나 지우는 기능을 수행하면 된다.

키보드나 휴대폰의 경우는, 정확히 원하는 영역을 선택하는 것이 어렵지만, 세그멘테이션 결과 이미지를 확대하여 그 분리된 공간에 숫자를 출력하도록 하여 상기 사용자는 키와 (+)키나 (확인)키를 이용하여 영역을 분리할 수 있고, 다른 방법으로는 키보드의 (탭)키나 핸드폰의 (메뉴) 키 등을 눌러서 좌측의 상단으로부터 선택된 영역들이 이동되도록 하여 해당되는 영역의 경우(+)키나 (확인)키를 이용하여 영역을 분리하도록 하는 것이 바람직하다.

상기 좌측화면의 세그멘테이션 처리된 원본이미지에서 원하는 객체 부분을 선택하고 우측화면에서 원하는 부분의 분리가 완성되면 분리된 이미지를 파일로 사용자 DB에 저장하면 된다(S328).

도 3은 본 발명의 바람직한 일 실시예에 따른 이미지 합성 방법을 나타내는 순서도이다. 도 3을 참조하여 더욱 상세하게 설명하면,

먼저, 본 발명의 관리자는 다양한 원본이미지를 이용하여 계층이미지를 생성한 후 계층이미지와 정보를 계층이미지 콘텐츠DB 서버(220)에 저장하고 있다.

사용자는 상기 클라이언트(100)가 탑재된 개인PC를 이용하여 상기 서버(200)에 접속하면 회원정보 관리서버(230)에 의해 사용자의 인증을 받고, 계층이미지 콘텐츠DB 서버(220)에 의해 썸네일의 형태로 보여주는 다양한 계층이미지들의 리스트를 확인한다(S502).

상기 사용자가 이미지 합성을 하기 원하는 하나의 계층이미지를 선택하게 되면 서버 연결모듈(105)을 통하여 선택된 계층이미지 파일을 상기 사용자 개인PC의 임시 저장 장소로 자동적으로 다운로드 되고(S504),

상기 다운로드된 계층이미지는 계층이미지 로딩모듈(125)에 의해 파싱되어 파일의 내용에 맞게 메모리 관리모듈(110)에 의해 계층 구조로 위치시키게 된다(S506).

상기 사용자가 합성하고자 하는 원본이미지를 일반이미지 로딩모듈(120)에 의해 로딩시키면 메모리 관리모듈(110)에 의해 상기 계층 구조에서 하나의 계층을 할당하여 위치시키게 된다(S508).

로딩된 원본이미지에서 상기 사용자가 원하는 부분을 분리하기 위하여 세그멘테이션 모듈을 실행시켜 영역 구분 과정을 진행하고, 특징값 생성모듈(145)은 세그멘테이션 과정 중에 생기는 각 세그먼트들의 상관관계를 이용한 특징값(평균 칼라값과 위치값)을 임시 저장 공간에 트리형식으로 저장하게 된다(S510). 상기 사용자는 마우스나 키보드를 이용하여 분리를 원하는 부분을 모두 분리할 때까지 반복하여 원하는 영역의 분리를 마무리하면 된다.

상기 사용자가 원하는 부분을 선택하여 분리된 이미지를 기존에 읽어들인 계층이미지와 매칭시키고 편집기 모듈(160)을 이용하여 크기 및 잡음 제거 등의 편집과정을 거쳐 최종 합성이미지가 생성된다. 상기 편집기 모듈(160)을 이용한 편집 과정이 끝나면 최종 합성이미지의 어색함을 없애기 위한 그림자 처리 및 블랜딩 처리를 상기 사용자의 선택에 의하여 처리할 수도 있다. 상기 최종 합성이미지는 메 모리 관리모듈(110)에 의해 사용자DB에 저장하거나 최종 합성이미지 정보를 상기 서버(200)에 저장하기 전에 계층이미지 정보에 맞게 생성하게 된다(S512).

상기 최종 합성이미지를 상기 서버(200)에 저장하기 위해서는 상기 사용자가 클라이언트(100)를 이용하여 서버에 접속한 후 계층이미지 리스트를 요청하고(S514),

상기 서버(200)는 계층이미지 리스트를 썸네일 이미지 형식으로 상기 클라이언트(100)로 전송하게 되고(S516), 상기 사용자는 사용자 이미지 리스트 요청모듈(175)에 의해 수신된 계층이미지 리스트를 확인하여 저장하고자 하는 부분을 선택하게 되면 상기 최종 합성이미지와 계층이미지 정보, 그리고 특징값을 상기 서버(200)로 전송하게 된다(S518).

상기 서버(200)는 최종 합성이미지는 사용자 합성이미지DB 서버(240)에 저장하고, 상기 계층이미지 정보는 계층이미지 콘텐츠DB 서버(220)에 저장하고, 상기 특징값은 사용자 합성이미지 특징값DB 서버(250)에 저장하게 된다(S520).

도 4는 본 발명의 다른 바람직한 일 실시예에 따른 이미지 검색방법을 나타내는 순서도이다. 도 4를 참조하여 더욱 상세하게 설명하면,

도 3의 이미지 합성 방법에 의하여 합성되어 상기 서버(200)에 저장된 합성이미지를 검색하고자 할 경우에, 상기 사용자는 클라이언트(100)를 이용하여 사용자 합성이미지DB 서버(240)에서 찾고자 하는 이미지 파일을 사용자 DB(180)에서 로딩하고(S602).

상기 사용자 DB(180)에서 로딩시킨 이미지에서 특징값을 추출하기 위하여 합성된 부분에 대한 세그멘테이션 모듈(135)을 실행시켜 특징값을 추출하게 된다. 상기 클라이언트에서 생성된 특징값을 상기 사용자 합성이미지 특징값DB 서버(250)로 전송하여 유사한 합성이미지 검색을 요청하게 되면(S604),

상기 사용자 합성이미지 특징값DB 서버(250)는 사용자 합성이미지 특징값 검색엔진(260)으로부터 유사한 합성이미지 검색을 요청하고 상기 사용자 합성이미지 특징값 검색엔진(260)에서 검색된 유사한 합성이미지 리스트를 전송받게 된다(S606).

상기 사용자 합성이미지 특징값DB 서버(250)는 전송받은 유사한 합성이미지 리스트를 상기 클라이언트(100)로 전송하게 되고, 상기 사용자는 유사한 합성이미지 리스트 중 찾고자 하는 이미지를 선택하면된다(S608).

상기 단계에서는 동일한 합성이미지가 없을 경우, 출력된 유사한 합성이미지 리스트를 선택하여 반복적인 질의를 던져 찾고자 하는 합성이미지를 검색할 수도 있다.

이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술 사상과 아래에 기재될 특허 청구범위의 균등 범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

상술한 바와 같이 본 발명인 이미지 분리 합성 장치 및 방법, 그리고 이미지 검색방법은, 다양한 촬영수단으로 촬영된 사진의 원본이미지를 칼라 정보와 질감 정보를 함께 적용할 수 있는 이미지 세크멘테이션 알고리즘을 적용하여 마우스나 키보드의 간단한 절차에 의해 최소의 시간으로 편리하게 특정 이미지 객체를 분리 및 합성 할 수 있는 효과가 있고,

다른 효과로는 합성이미지와 관련된 정보만을 데이타베이스에 저장함으로써 유무선 네트워크를 통한 통신을 효율적으로 사용할 수 있고, 이미지 세그멘테이션을 적용하는 과정에서 생성되는 특징값을 이용하여 합성이미지를 쉽게 검색할 수 있는 효과가있다.

Claims

다양한 촬영수단을 이용하여 촬영된 컬러 이미지들 중 사용자가 분리를 원하는 이미지 객체를 분리하고 합성하는 장치에 있어서,

개인PC, PDA, 휴대폰 등에 탑재되어 디지털 카메라, 스캐너, 웹카메라, 휴대폰 카메라 등으로 촬영되어 입력된 원본이미지에 이미지 세그멘테이션 알고리즘을 적용하여 원본이미지 중 분리하고자 하는 특정 이미지 객체를 분리 및 합성하고, 상기 세그멘테이션 처리과정에서 발생하는 특징값을 이용하여 원본이미지 또는 합성이미지를 검색하기 위한 그래픽 인터페이스와 관련된 사용자 인터페이스를 제공하는 클라이언트; 및

상기 클라이언트에 의해 분리된 원본이미지와 합성하고자 하는 계층이미지에 따라 원본이미지와 계층이미지를 각 상태에 맞는 합성방법을 적용하여 합성이미지를 생성하고 저장하며, 상기 세그멘테이션 처리과정에서 생성되는 특징값을 저장하여 상기 원본이미지 또는 합성이미지를 검색할 수 있는 기능을 제공하는 서버; 를 포함하여 이루어지는 이미지 분리 합성 장치.
제 1 항에 있어서, 상기 클라이언트는

유무선 인터넷을 통하여 서비스를 하는 상기 서버와 통신을 하기 위한 연결 및 자료 전달 역할을 수행하는 서버 연결모듈;

사용자가 이미지 합성 작업을 하는 동안 사용되는 계층이미지와 일반이미지의 원본 및 결과 이미지의 계층 구조를 유지하고 관리하기 위한 일을 수행하는 메모리 관리모듈;

사용자가 이미지 합성에 사용하고자 일반적인 이미지 파일을 사용자DB로부터 로딩하여 상기 메모리 관리모듈에 의해 하나의 계층으로 위치시키는 일을 수행하거나, 사용자 합성이미지DB 서버에서 찾기 위해 비교의 대상이 되는 이미지를 로딩하는 일반이미지 로딩모듈;

계층이미지나 사용자가 사용하고자 하는 이미지들을 모니터에서 볼 수 있도록 디스플레이 해주는 역할을 수행하는 이미지 뷰어모듈;

사용자 합성이미지 특징값 검색 엔진을 통하여 얻어진 인덱스 정보를 기초로 해당되는 실제 합성이미지 정보를 요청하여 다운로드 받는 역할을 수행하는 사용자 이미지 리스트 요청모듈;

사용자가 선택한 계층이미지를 사용자 DB에서 읽어들이거나 서버로부터 다운로드 받아 압축되어 있는 형식을 디코딩이나 파싱하여 상기 메모리 관리모듈에 의해 계층적으로 위치시키는 일을 수행하는 계층이미지 로딩모듈;

이미지 합성 서비스를 위하여 만들어진 계층이미지 형식에 맞추어 메모리 관리모듈에 의해 사용자가 작업한 파일을 사용자 합성이미지DB 서버에 등록하기 위해서 계층이미지 정보를 생성하는 계층이미지 정보 생성모듈;

계층이미지의 이미지 합성 서비스에 필요한 이미지에 대한 정보를 입력하기 위한 기능 및 인터페이스를 제공하는 정보 입력기;

세그멘테이션 모듈에 의한 세그멘테이션 처리 작업을 통하여 이미지 검색에 필요한 특징값을 생성하는 특징값 생성모듈;

사용자 합성이미지 특징값 검색엔진에 검색을 위한 특징값을 전달하고 검색요청하는 특징값 검색요청 모듈;

원본이미지에서 원하는 영역을 쉽게 분리하기 위하여 유사하다고 여겨지는 영역을 다양한 이미지 세그멘테이션 알고리즘(픽셀기반, 영역기반, 에지기반 등)에 의해 하나의 영역을 구분지으며 전체 이미지를 일정 개수의 영역으로 구분 짓는 작업을 수행하고, 이미지 검색을 위한 특징값 생성을 위해 사용자 합성이미지 특징값DB 서버에 저장되어 있는 특징값과 동일한 영역 구분 작업을 수행하는 세그멘테이션 모듈;

상기 세그멘테이션 모듈을 통하여 생성된 결과물 이미지에서 사용자가 원하는 영역을 쉽게 선택하여 분리할 수 있도록 마우스나 키보드와 같은 인터페이스를 통하여 구분되어진 영역을 선택함으로써 분리하고자 하는 영역이 결정되게 하는 세그멘테이션 영역 선택 정보를 생성하는 세그멘테이션 영역 선택기 모듈;

상기 계층이미지의 세부적인 조정을 위한 일반적인 이미지 편집기능을 제공하는 편집기 모듈; 및

합성된 결과 이미지를 사진 프린트를 원하는 형태(스티커 사진, 일반사진 등)로 출력하기 위한 기능을 수행하는 프린트 모듈; 를 더 포함하여 이루어지는 이미지 분리 합성 장치.
제 1 항에 있어서, 상기 서버는

이미지 합성 서비스의 기본이 되는 합성의 배경으로 제공되는 계층 이미지 콘텐츠를 저장하고 관리하기 위한 계층이미지 콘텐츠DB 서버;

인증된 사용자만 서비스를 받을 수 있도록 관리하기 위한 회원정보 관리서버;

사용자가 서비스를 이용하여 사용자 사진을 합성한 후 발생하는 결과 이미지들을 저장하고 관리하기 위한 사용자 합성이미지DB 서버;

사용자가 만든 합성 이미지들 중에 찾고자 하는 이미지를 빠르게 찾기 위한 특징값 정보를 저장하고 관리하는 사용자 합성이미지 특징값DB 서버; 및

사용자가 만든 합성 이미지들 중에 찾고자 하는 이미지를 빠르게 찾기 위해 유사한 데이터를 검색해주기 위한 사용자 합성이미지 검색엔진; 를 더 포함하여 이루어지는 이미지 분리 합성 장치.
다양한 촬영수단을 이용하여 촬영된 컬러 이미지들 중 사용자가 분리를 원하는 이미지 객체를 분리하는 방법에 있어서,

(a) 촬영한 이미지들 중 분리하고자 하는 원본이미지를 읽어들이는 단계;

(b) 원본이미지를 이미지 세그멘테이션(Segmentation) 알고리즘을 적용하여 유사한 픽셀들을 하나의 구역으로 설정한 후 유사한 영역들을 구분짓고 구분지은 영역은 영역의 평균 칼라값으로 채우는 단계;

(c) 좌측과 우측으로 양분된 화면 인터페이스의 좌측에 세그멘테이션 처리를 한 이미지를 출력하는 단계;

(d) 좌측 출력된 영역 중 세그멘테이션 영역을 선택하여, 우측의 영역에 선택되어 출력된 해당 원본이미지의 영상을 확인하고 원하는 부분만을 선택하는 단계;

(e) 원본이미지에서 원하는 객체 부분의 분리가 완성되면 분리된 이미지를 파일로 저장하거나 이미지 합성 서비스를 위한 이미지 파일로 이용하는 단계; 를 포함하여 이루어지는 이미지 분리 방법.
제 4 항에 있어서, 상기 (b)단계는

(b-1) 상기 원본이미지를 이미지 양자화 처리과정을 통해 칼라 수를 줄여 인덱스 이미지를 생성하는 단계;

(b-2) 상기 인덱스 이미지를 Fisher의 선형 판별식을 적용하여 그레이 레벨의 에지 이미지를 생성하는 단계;

(b-3) 상기 그레이 레벨의 에지 이미지를 윈도우 단위의 임계치 비교를 통해 이진 에지 이미지로 변환하는 단계;

(b-4) 상기 이진 에지 이미지를 열림(Opening)연산을 수행하여 잡음을 제거하는 단계;

(b-5) 상기 잡음이 제거된 이진 에지 이미지를 Thinning처리 과정을 거쳐 끊어진 에지 정보를 끊어진 방향에서 가장 가까운 에지를 연결하여 이진 에지 이미지를 생성하는 단계;

(b-6) 상기 연결된 이진 에지 이미지를 유사한 인접영역을 합병하여 평균 칼 라값를 구하여 채우는 단계; 를 더 포함하여 이루어지는 이미지 분리 방법.
제 4 항에 있어서, 상기 (c)단계는

사용자로 하여금 원하는 영역을 정확하게 선택할 수 있게 하기 위해 원본이미지를 출력하거나 원본이미지 위에 세그멘테이션 처리된 영역의 외곽선 만을 오버래핑(Overlappong)하여 출력할 수 있는 것을 특징으로 하는 이미지 분리 방법.
제 4 항에 있어서, 상기 (d)단계는

세그멘테이션 처리의 이상으로 유사 영역의 분리가 정확히 이루어지지 않은 영역에 대해서는 그 영역 부분만 매개변수가 다른 세그멘테이션 처리를 재 수행한 후 영역 설정을 다시하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 이미지 분리 방법.
다양한 촬영수단을 이용하여 촬영된 컬러 이미지들 중 사용자가 분리를 원하는 이미지 객체를 분리하고 합성하는 방법에 있어서,

(A) 사용자가 클라이언트를 이용하여 서버에 접속하면 계층이미지들의 리스트를 썸네일 이미지 형태로 보여주는 단계;

(B) 이미지 합성을 하기 원하는 하나의 계층이미지를 선택하여 다운로드 한 후 계층이미지를 파싱하여 파일의 내용에 맞게 계층 구조로 위치시키는 단계;

(C) 합성하고자 하는 원본이미지를 로딩하여 하나의 계층을 할당하여 위치시 키고, 상기 원본이미지에서 원하는 부분을 분리하기 위해 세그멘테이션 처리를 수행하여 분리된 이미지를 생성하는 단계;

(D) 분리된 이미지를 상기 계층이미지와 매칭하여 크기 및 잡음 제거 등의 편집을 통하여 최종 합성이미지를 생성하는 단계;

(E) 상기 최종 합성이미지를 계층이미지 정보에 맞게 생성하여 상기 최종 합성이미지와 관련 정보(계층이미지 정보, 특징값)를 상기 서버로 전송하여 저장하는 단계; 를 포함하여 이루어지는 이미지 합성 방법.
제 8 항에 있어서, 상기 (C)단계는

세그멘테이션 처리중에 생기는 각 세그먼트들의 상관관계를 이용한 특징값(평균 칼라값과 위치 값)을 생성하여 임시 저장 공간에 저장하는 단계와 세그멘테이션 처리를 통해서 분리된 영역을 마우스나 키보드를 이용하여 분리하고자 하는 이미지 영역을 선택하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 이미지 합성 방법.
제 8 항에 있어서, 상기 (E)단계에서 상기 서버에 저장하는 단계는

(G-1) 상기 사용자가 클라이언트를 이용하여 계층이미지 리스트를 요청하는 단계;

(G-2) 상기 계층이미지 리스트를 상기 클라이언트로 전송하는 단계;

(G-3) 상기 계층이미지 리스트에서 합성이미지를 저장하고자 하는 하나의 계 층이미지 리스트를 선택하는 단계;

(G-4) 상기 합성이미지와 관련정보(계층이미지 정보, 특징값) 다운받아 관련 서버에 저장하는 단계; 를 더 포함하여 이루어지는 이미지 합성 방법.
다양한 촬영수단을 이용하여 촬영된 컬러 이미지들 중 사용자가 분리를 원하는 이미지 객체를 분리하고 합성하여 저장된 합성이미지를 검색하는 방법에 있어서,

(AA) 상기 사용자가 클라이언트를 이용하여 검색하고자 하는 이미지를 입력하는 단계;

(BB) 상기 입력된 이미지를 세그멘테이션 처리하여 특징값을 생성하는 단계;

(CC) 상기 생성된 특징값을 상기 서버로 전송하여 유사한 이미지 검색을 요청하는 단계;

(DD) 상시 수신된 특징값을 이용하여 유사한 합성이미지를 검색하여 유사한 합성이미지 리스트를 상기 클라이언트로 전송하는 단계;

(EE) 상기 전송받은 유사한 합성이미지 리스트 중 찾고자 하는 이미지를 선택하는 단계; 를 포함하여 이루어지는 이미지 검색 방법.
제 11 항에 있어서, 상기 (EE)단계는

출력된 유사한 합성이미지 리스트를 선택하여 반복적인 질의를 던져 찾고자 하는 합성이미지를 검색하는 단계와 상기 선택한 이미지에 대한 합성이미지를 생성 한 사용자 정보를 상기 클라이언트로 전송하여 확인하는 단계; 를 더 포함하여 이루어지는 이미지 검색 방법.