KR101363374B1 - Multiple level image search system using multiple element analysis - Google Patents
Multiple level image search system using multiple element analysis Download PDFInfo
- Publication number
- KR101363374B1 KR101363374B1 KR1020110127000A KR20110127000A KR101363374B1 KR 101363374 B1 KR101363374 B1 KR 101363374B1 KR 1020110127000 A KR1020110127000 A KR 1020110127000A KR 20110127000 A KR20110127000 A KR 20110127000A KR 101363374 B1 KR101363374 B1 KR 101363374B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- analysis module
- module
- search
- analyzing
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/20—Contour coding, e.g. using detection of edges
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
다차원의 입력이미지를 분석하고, 이 입력으로부터 개체별다중구성요소분석모듈을 이용해 개체의 특징들 즉, 구성요소분석 또는 이미지초점 또는 이미지광원초점에 기초하여 검색질의어를 확정할 수 있는 시스템으로서, 예컨대, 검색시스템의 입력자료로서 이미지 또는 동영상 또는 그래픽이 단수 혹은 복수로 입력될 수 있고, 이미지에 패턴인식 및 이미지분석이 적용되고 나서, 이 이미지입력으로부터 개체들의 다중구성요소 특징에 대응하는 검색 질의를 확정할 수 있으며, 이 시스템은 또한 검색가능항목을 인덱싱함으로써 이미지검색 질의에 대한 결과로서 검색될 수 있게 하는 것을 용이하게 해줄 수 있다.A system capable of analyzing a multidimensional input image and determining a search query based on the characteristics of an object, ie, component analysis or image focus or image light source focus, using an object-specific multiple component analysis module. In this case, images, videos, or graphics may be input singularly or plurally as input data of a retrieval system, and pattern recognition and image analysis are applied to the images. It is also possible to confirm, and the system can also facilitate indexing the searchable items so that they can be searched as a result for the image search query.
Description
본 발명은 입력된 이미지를 관심영역으로 구분하여 입력하고, 입력된 이미지를 검색시스템에 등록하거나 “개체별구성요소분석”을 이용하여 이미지를 이루는 구성요소로 분석한 후 분석된 특징을 이용하여 데이터베이스에서 이미지검색을 수행하여 수행된 검색결과를 검색자에게 보여주도록 한 “개체별다중구성요소분석”을 이용한 내용기반 다차원 이미지 검색시스템에 관한 것이다.
The present invention divides the input image into a region of interest, inputs the image, registers the input image in a search system, or analyzes the components that form an image using “component analysis by object” and then analyzes the database using the analyzed features. The present invention relates to a content-based multi-dimensional image retrieval system using "multi-element analysis of individual objects" to show the searcher's search results.
일반적으로, 종래의 컴퓨터 기반 검색은 검색 엔진이 통상적으로 문자, 숫자 등의 검색 질의를 분석하여 결과를 보여준다는 점에서 극히 텍스트 중심적이다. 현재에는 웹을 통한 이미지의 공유가 증가함에 따라 텍스트 중심의 정보검색뿐만 아니라 이미지에 대한 검색 요구도 증가하고 있다.
이미지를 검색하는 방법은 크게 이미지에 딸린 텍스트 정보를 이용하는 방법과 이미지 자체의 내용을 기반으로 검색하는 방법으로 구별할 수 있다. 최근에는 이미지가 급격하게 증가함에 따라, 이미지에 딸린 텍스트 정보를 이용할 수 없는 경우가 많아 이미지의 내용에 기반한 검색방법이 요구되고 있다.
디지털 카메라 및 휴대폰 카메라 등과 같은 휴대용 이미지 촬영 장치의 폭발적인 보급에 따라서 사용자들은 관리하기 어려울 정도로 많은 양의 이미지들을 저장하고 사용하게 되었다. 이러한 많은 양의 이미지들 중에서 사용자가 원하는 이미지를 효과적으로 제공하기 위해, 다양한 내용 기반의 이미지 검색 기법들이 제안되었다.
정확한 이미지 검색을 위해서는 효과적인 이미지의 특징 정보를 정의해야 하는데, 이러한 특징 정보로써 이미지의 색상(Color), 질감(Texture) 및 윤곽선(Shape) 정보가 널리 사용된다. 하지만, 이러한 특징 정보들 중 대부분이 높은 차원의 분석능력을 요구하게 되고, 이를 만족시키기 위해서는 한 가지 기법이 아닌 이들 모두를 분석하여 이미지들 간의 유사성으로 분석하여 검색을 한다.
그러므로, 처리속도뿐만 아니라 검색결과도 아주 낮은 단계의 결과를 보여주고 있다. 이것은 전체를 색상, 질감, 윤곽선으로 분석하다 보니 분석은 되었지만 어떤 개체인지를 알 수가 없게 되었다. 그래서 고안 되어진 이미지 분석법이 다양한 인덱싱 기법들이다. 이들은 전체를 하나의 이미지로 보지 않고 다양한 방법으로 인덱싱해서 분석을 하고 인덱싱된 값들에서 유사성을 찾는 방법들로 대표적인 인덱싱 기법으로는SS-트리, SR-트리, R-트리 등의 트리 구조를 사용한 기법과 해시를 사용한 기법을 들 수 있다.
그러나, 분석된 수많은 DB에서 유사정보를 찾아내는 방법으로는 매우 진보되었지만, 형태나 개체를 분석할 수 없는 것은 여전하다. 어떤 방법으로 색상, 질감, 윤곽선을 분석해도 이미지들은 중첩과 빛의 간섭 등으로 본래의 모습을 가지고 있는 것들이 없다. 그래서 현재 이미지 검색에서 보여주고 있는 방식은 인덱싱한 색 분해방식을 주로 하고 있다.
예를 들어, 붉은 장미를 내용기반으로 이미지 검색하면, 이미지 색 분석 값의 비율이 같거나 유사한 비율로 있는 모든 이미지가 검색된다. 그렇다고 질감으로 분석하기에는 모든 이미지가 질감 특성으로 분석하기 어렵기 때문에 전적으로 사용하기 어렵고, 윤곽선으로 분석하자니 모든 윤곽선들이 겹쳐있어서 누구의 윤곽선인지 알 수가 없는 실정이다. 결국 세 가지를 모두 합친 검색어를 만들면 거의 무한대의 변수가 만들어지므로 검색이 불가능해진다. 무한대의 변수가 만들어지는 것을 막기 위해서 다양한 인덱싱방법이 연구되었지만 변수만 줄어들었을 뿐 방식은 동일함으로 현재의 모습에서 정체되어 있는 것이다.
이미지 검색의 어려운 점은 검색자의 의도를 알 수 없다는 것이다. 글이나 기호가 포함되었다 해도 어떤 것을 원하는지 표현의 방법을 가지지 못한다는 것이 이미지나 동영상의 한계적인 검색조건이다. 그러므로 2차원 이미지뿐만 아니라 3차원의 이미지가 넘쳐나는 현실에서 보다 효율적이고, 분석이 용이한 시스템의 등장이 절실한 것이다.
In general, conventional computer-based searches are extremely text oriented in that search engines typically analyze search queries such as letters, numbers, and display the results. Currently, as the sharing of images through the web increases, not only text-oriented information retrieval but also retrieval of images are increasing.
Searching for an image can be classified into a method of using text information largely attached to the image and a method of searching based on the contents of the image itself. Recently, as the number of images increases rapidly, text information accompanying images is often unavailable, and a search method based on the contents of the images is required.
The proliferation of portable imaging devices, such as digital cameras and mobile phone cameras, has resulted in users storing and using large amounts of images that are difficult to manage. In order to effectively provide a user's desired image among such a large amount of images, various content-based image retrieval techniques have been proposed.
For accurate image retrieval, effective image feature information should be defined, and color, texture, and outline information of the image are widely used as such feature information. However, most of these feature informations require high-level analysis ability, and in order to satisfy this, all of them are analyzed, not by one technique, but analyzed by similarity between images.
Therefore, the search results as well as the processing speed show very low results. This was analyzed by color, texture, and outline, but it was not possible to know what kind of object it was. Thus, the designed image analysis methods are various indexing techniques. They do not see the whole image as a single image, but analyze them by various methods and find similarities in the indexed values. And techniques using hashes.
However, the method of finding similar information in a large number of analyzed databases is very advanced, but it is still impossible to analyze form or individual. No matter how you analyze colors, textures, and contours, the images don't have their original appearance due to superposition and interference of light. So the current method of image retrieval is mainly indexed color separation.
For example, if you search for images based on red roses, all images with the same or similar ratio of image color analysis values are searched. However, it is difficult to use all the images because it is difficult to analyze by texture characteristics, and it is difficult to know whose outline is because all the contours are overlapped. In the end, creating a search term that combines all three makes an almost infinite variable, making it impossible to search. Various indexing methods have been studied to prevent infinite variables from being created, but only the variables have been reduced, and the method is the same, which is stagnant in the current state.
The difficulty with image search is that the searcher's intent is unknown. Even if a text or a symbol is included, it does not have a way of expressing what it wants. Therefore, in the reality that not only 2D images but also 3D images are overflowing, a more efficient and easy to analyze system is desperately needed.
본 발명은 상술한 문제점들을 개선하고 필요성들을 충족시키기 위한 것으로, 입력된 이미지를 관심영역으로 구분하여 입력하고, 입력된 이미지를 검색시스템에 등록하거나 개체별 구성요소분석을 이용하여 이미지를 이루는 구성요소로 분석한 후 분석된 특징을 이용하여 데이터베이스에서 이미지검색을 수행하여 수행된 검색결과를 검색자에게 보여주도록 한 개체별다중구성요소분석을 이용한 내용기반 다차원이미지검색시스템을 제공하는데 그 목적이 있다.
The present invention is to improve the above-mentioned problems and to meet the needs, to input the input image by dividing the input image into a region of interest, and to register the input image to the search system or to form an image using the component analysis of each object The purpose of this study is to provide a content-based multidimensional image retrieval system using multi-component analysis of individual objects to show searchers the results of the search by performing image retrieval from the database using the analyzed features.
입력된 데이터가 이미지 또는 동영상 또는 그래픽인지를 분석하는 입력자료분석모듈과 입력된 이미지 또는 동영상 또는 그래픽으로부터 윤곽선을 추출하여 분석하는 다중개체구성요소분석모듈을 가진 개체별다중구성요소분석모듈; 상기 입력자료의 윤곽선정보와 데이터베이스에 저장된 자료의 윤곽선정보를 비교하여 유사여부를 판단하여 사용자에게 유사이미지정보를 제공하는 검색엔진으로 이루어지고, 상기 입력자료 분석모듈은 동영상이나 그래픽데이터를 이미지로 변환시키는 동영상/그래픽데이터변환모듈; 변환된 이미지를 분석하는 이미지특성분석모듈을 포함하며, 상기 다중개체구성요소분석모듈은, 입력자료 자체적인 특징을 분석하는 개체본질적구성요소분석모듈; 구성요소 간 상관관계를 분석하는 결합조건적구성요소분석모듈을 포함하고, 상기 동영상/그래픽데이터변환모듈은, 동영상과 그래픽을 이미지로 변환하는 변환모듈; 미리 입력된 조건에 따라 동영상을 분석하는 동영상분석모듈; 미리 입력된 조건에 따라 그래픽을 분석하는 그래픽분석모듈을 포함하는 개체별 다중구성요소분석을 이용한 내용기반 다차원이미지검색시스템에 있어서,
상기 이미지특성분석모듈은,
윤곽선에 연접한 윤곽선을 추출하여 분석하는 연접한윤곽선특징분석모듈;
이미지의 초점좌표를 추출하는 이미지초점좌표분석모듈;
이미지의 광원초점좌표를 추출하는 이미지광원초점좌표분석모듈을 포함한다.
An object-specific multi-component analysis module having an input data analysis module for analyzing whether the input data is an image or a video or a graphic, and a multi-object component analysis module for extracting and analyzing contours from the input image or video or a graphic; It consists of a search engine that compares the contour information of the input data and the contour information of the data stored in the database to determine similarity and provides similar image information to the user. The input data analysis module converts video or graphic data into an image. Moving video / graphic data conversion module; And an image characteristic analysis module for analyzing the converted image, wherein the multi-object component analysis module comprises: an object-essential component analysis module for analyzing a feature of input data itself; And a combined conditional component analysis module for analyzing correlations between components, wherein the video / graphic data conversion module comprises: a conversion module for converting video and graphics into images; A video analysis module for analyzing a video according to a pre-input condition; In the content-based multi-dimensional image retrieval system using multi-component analysis of each object including a graphic analysis module for analyzing the graphics according to the pre-input conditions,
The image characteristic analysis module,
A concatenated contour feature analysis module for extracting and analyzing the contour connected to the contour;
An image focal coordinate analysis module for extracting focal coordinates of an image;
And an image light source focal coordinate analysis module for extracting light source focal coordinates of the image.
본 발명은 스마트폰에서 이미지나, 동영상 등의 모드에서 직접입력하고 관심영역을 지정하여 검색하면 사용자가 원하는 정보를 얻을 수 있다. 물론 스마트폰 내의 저장장치는 직접 선택할 수 있고, 다른 장비에 있는 자료라도 각종 통신방법을 이용해서 정보를 입력하여 검색할 수 있다. 그뿐 아니라 최신 유행하고 있는 터치패드 등 즉석입력장치에 의해 입력된 정보는 글이나 그림의 정보를 분석해서 정보를 검색할 수 있다.
또한, 본 발명은 실용화하고 있는 스마트TV를 이용하는 것도 스마트폰과 매우 유사하게 검색할 수 있다. 예를 들어 영화를 보다가 어떤 배우가 입은 옷을 선택했다면 옷에 대한 모든 정보를 제공할 수 있다. 또한 홈소핑에서 소품으로 사용되는 개체를 검색하면 원하는 대로 관련 홈페이지나 관련 정보로 연결될 수 있다. 특히 대표이미지를 등록했다면, 이 대표이미지는 바코드나, QR코드, 기타 삼차원코드가 하는 역할을 대신할 수 있다. 대표이미지는 본인이 정보를 입력 또는 등록하므로 이미지 검색에서는 있을 수 없는 100%의 확률로 검색될 수 있으며, 비즈니스나, 기타 관련자가 사용자들에게 무한대의 정보를 제공하므로 또 다른 비즈니스 영역을 만들어 낼 수 있다.
또한, 본 발명은 스마트카메라에 인터넷이 연결되었다면 사진을 찍으면서 피사체에 보이는 물건들을 검색하면서 사진을 원하는 부분만 찍을 수도 있다. 날아가는 철새를 찍었다면, 철새의 이름, 생식습성, 수명, 이동경로 등 다양한 정보를 얻을 수 있다. 그러므로 카메라는 더 이상 사진을 찍는 것이 아니라 망원경이나, 현미경으로서의 기능도 수행할 수 있다. 이러한 정보는 이미지에 연결하여 저장할 수도 있고 따로 저장하여 자료로 사용도 가능하다.
또한, 본 발명은 스마트망원경에서 어떤 물체나 사물에 초점이 고정되었다면 그 화면에서 관심영역을 지정하여 바로 정보를 얻을 수 있다. 그러면 정보를 망원경내부에 중첩하여 디스플레이할 수도 있고, 같은 정보를 이미지와 같이 저장할 수도 있다.
또한, 본 발명은 군사용 장비에 장착한 조준경/망원경이나 군사장비의 모니터에 나타나는 정보는 바로 검색하여 디스플레이할 수 있으므로, 목표물을 좀더 정확하게 확인하고 다음 단계로 이동이 가능하므로 정확성이나 정밀성, 그리고 효율성을 극대화할 수 있다.
또한, 본 발명은 앞으로의 스마트 전자현미경은 관찰하면서 어떤 세균인지 어떤 물체인지를 보면서 비교분석하고 저장해서 연구의 성과를 높일 수 있다. 현미경을 사용하는 모든 사람들이 같은 분야의 전문가 일수는 없지만 많은 발견과 발명 또는 연구를 할 수 있도록 기회를 제공할 수 있다.
또한, 본 발명은 모든 스마트자동차의 네비게이션과 같은 장착전자장비를 이용하면 자동항법 운행에 많은 도움을 줄 수 있다. 사물을 파악하고 대비할 수 있는 어플의 개발은 사고를 예방하고, 쾌적한 운전상황을 만들어낼 수 있다.
또한, 본 발명은 스마트간판을 스마트 기기를 이용하여 이미지를 입력하면, 그 식당에서 오늘의 메뉴, 오늘의 식단이나 서비스를 알 수 있다, 미장원, 주유소, 어떤 매장이나 백화점의 간판을 입력하면 대 고객에 관한 정보를 모두 제공할 수 있고, 전화를 바로 연결해서 예약이나 구매도 가능해진다.
또한, 본 발명은 스마트검색을 할 수 있다. 상표권이나 의장권 등의 이미지를 검색할 때 이미지검색시스템을 구축하면 매우 용이하게 관련정보를 얻어낼 수 있다. 모든 DB는 코드값이나 인덱스로 구분하여 저장되어 있기 때문에, 텍스트는 인덱스 하는데 문제가 없지만 그림이나 블록도 들을 인덱스 하는 데는 문제가 있으므로 이미지를 분석해서 이들을 관련된 코드와 연결한다면 유사 정도로 모두 검색이 가능할 것이다.
또한, 신문이나 방송의 수많은 미디어자료에서 특정이미지에 대한 정보를 쉽게 도출해낼 수 있다.
또한, 본 발명은 스마트학습을 제공한다. 학생들이 수업을 받을 때 교과서에 있는 그림을 입력하거나 실험장치가 있는 이미지를 입력하면 좀더 자세하게 정보를 얻을 수 있다. 이것은 체험학습을 할 때 더 다양한 효과를 볼 수 있다. 체험학습이나 실습을 개발한 사람은 무료 또는 유료로 이러한 프로그램을 만들면 가족끼리 체험실습을 해도 전문가와 멘토링 학습하는 효과를 제공할 수 있다. 이때, 스마트 이미지코드를 입력하면 더욱 효율적인 정보를 얻을 수 있다.
또한, 본 발명은 스마트관광으로 문화나 자연에 대한 정보를 제공할 수 있다. 만약에 불국사를 갔다면 안내판에 모든 내용이 축약되어서 표현되어 있고, 좀더 다양한 정보는 팜플렛이나 관광가이드북에 나올 수 있다. 그러나 그것이 전부이다. 그러나, 여기에 스마트를 접목하면 쉽게 다양한 정보를 얻을 수 있다. 만약 안내판을 이미지코드로 등록했다면 자세한 정보를 제공하는 사이트나 웹페이지로 이동될 수 있다. 또한, 전시된 유물을 이미지코드로 등록해놓으면 사용자는 자신이 관심 있는 유물에 대해 좀더 폭넓은 정보를 얻을 수 있다. 도로표지판을 입력하면 노선안내가 자동으로 나타나며, 현재의 위치를 기반으로 지역이나 교통에 대한 다양한 정보를 제시할 수 있다.
또한, 본 발명은 스마트산업에 적용할 수 있다. 모든 장비에 이미지코드를 넣었다면, 장비의 재원, 능력, 사용법, AS, 구입장소 등 다양한 정보를 알 수 있다.
또한, 본 발명은 스마트 지역검색을 제공할 수 있다. 요즘 검색엔진에서 제공되고 있는 로드뷰나, 스카이뷰 등 GPS기반의 다양한 정보가 제공되고 있지만 이미지가 전부이다. 그러나, 이미지에 대한 정보나 이미지에 등장하는 개체를 설명할 수 없으므로 반쪽정보를 제공한다고 볼 수 있다. 스마트한 지역검색은 로드뷰나 스카이뷰 등에서 제공하는 정보를 분석하여 보이는 영상의 개체마다 설명을 제공하는 서비스가 가능하다.
또한, 본 발명은 스마트한 광고 및 홍보에 사용되는 마크, 상표, 광고탑, 전단지, 포스터, 유인물, 명함 등을 입력하면 모든 정보가 있는 홈페이지나 웹으로 연결이 가능하다. 또는 동영상이나 즉석 정보제공이 가능하므로 다양한 어플을 제공할 수 있다.
또한, 본 발명은 스마트한 일상을 제공한다. 벽에 걸린 사진을 찍으면 누구의 작품인지 알 수가 있다, 제품에 대한 가격 및 구매 여부도 알 수 있다. 출판물에 대표 이미지를 지정하면 출판자의 홈 페이지 등의 지정 매체로 이동한다. 신문이나 잡지의 광고면을 대표 이미지로 지정하면 광고자의 지정매체로 이동한다.
또한, 본 발명은 스마트 산행이 가능하다. 등산하다가 예쁜 꽃, 들풀, 버섯, 약초 등을 검색하면 분류, 식용 여부, 효능 등 다양한 정보를 확보할 수 있다. 산속에서, 지층의 화석, 바위나 암석, 강가의 자갈이나 모래, 바닷가의 갯벌이나 생명체 등을 검색하면 정보를 얻을 수 있다.
또한, 본 발명은 스마트선거운동 지나가면서 포스트를 검색하면 자세한 정보를 얻을 수 있다.
또한, 본 발명은 스마트보안을 제공한다. 방범카메라 저장자료에 어떤 인물이나 사물을 검색하면 매우 길게 녹화된 동영상에서 원하는 부분만 검색해서 보여준다. 은행의 입출금, 회사출입, 보안지역출입 등에 응용하면 다양한 정보를 용이하게 얻을 수 있다. 출입국관리에 사용되는 얼굴인식시스템을 획기적으로 효율성을 높일 수 있다.
또한, 본 발명은 스마트요리를 제공한다. 식당에서 요리를 찍으면 구성요소 및 관련된 정보를 알 수 있다. 다른 밥상과 비교할 수 있다, 먹는 음식의 식단별 칼로리를 분석할 수 있다.
또한, 본 발명은 스마트한 병원을 운영할 수 있도록 해준다. 진료 영상이나 필름으로 얻어진 정보를 이미지 분석하여 보관함으로써 임상에 대한 다양한 정보와 치료방법 연구에 응용될 수 있다. 현대사회는 첨단장비와 이 장비에서 얻어진 자료를 해독하는 의사의 능력이 매우 중요하므로 의료분야에서 스마트진료는 많은 연구자원을 제공할 수 있을 것이다.
또한, 본 발명은 사람 찾기에 응용할 수 있다. 개인의 사생활에 관련된 부분은 법적인 한도 내에서 정보를 제공할 수 있다. 실종자나 범죄자 등의 정보를 원할 경우 자세한 정보를 제공하기 위해 법적인 범위 내에서 정보를 제공한다.
또한, 본 발명은 유물이나 문화재 찾기를 지원할 수 있다. 유실물의 정보를 입력하면 DB에 자료가 있는 한 찾아낼 수 있다. 특히 표시가 된 것이라면 유용하다. 유물이나 문화재 등의 정보를 입력하면 유사 검색이 가능하다.
또한, 스마트 동영상검색이 가능하다. 예를 들면 영화에서 특정인물이 나오는 부분만 감상할 수도 있다. 공연자료 중 특정인물이 나오는 부분만의 동영상을 검색하는 것도 가능하며, 그룹 멤버 중 특정연예인의 동영상을 제외한 부분만 볼 수도 있다.
또한, 본 발명은 스마트이미지코드를 제공할 수 있다. 이미지를 등록할 때 대표이미지로 지정할 경우 이 이미지는 코드 역할을 할 수 있다. 예를 들어 간판에 이미지코드가 있다면 지나가는 사람이 코드를 스마트장비로 입력하면 오늘의 메뉴, 오늘의 상품, 오늘의 이벤트 등 다양한 정보를 제공해줄 수 있다. 그러므로 전화를 하지 않아도 효율적인 고객유도가 가능하고, 소비자는 원하는 상황을 선택할 수 있다. 같은 의미로 화가나 예술가 등 전문직 종사자들의 싸인이 이미지코드로 입력되었다면 조각이나, 그림 등에 들어있는 싸인(이미지코드)를 검색하면 작품설명뿐 아니라 다양한 작가의 세계를 보여 줄 수도 있다. 이것은 정확도나 검색시간을 획기적으로 단축시킬 수 있는 방법이다.
According to the present invention, when a user directly inputs an image or a video in a mode and specifies and searches a region of interest, the user can obtain desired information. Of course, the storage device in the smartphone can be selected directly, and information on other devices can be searched by inputting information using various communication methods. In addition, information input by an instantaneous input device such as a touch pad, which is popular, can be searched by analyzing information of a text or a picture.
In addition, the present invention can be used very similarly to a smart phone using a smart TV that has been put to practical use. For example, if you go to a movie and choose an actor's clothes, you can provide all the information about the clothes. In addition, searching for objects used as props in home soap can lead to related homepages or related information as desired. In particular, if a representative image is registered, this representative image can take the place of a barcode, QR code, or other three-dimensional code. Representative images can be searched with a 100% probability that image search cannot be performed because the user inputs or registers information, and another business area can be created because a business or other related person provides users with infinite information. have.
In addition, when the Internet is connected to the smart camera, the present invention may take only a desired part of the picture while searching for objects visible on the subject while taking a picture. If you have taken a flying migratory bird, you can get various information such as the migratory bird's name, reproductive habits, lifespan, and migration route. Therefore, the camera can no longer take pictures, but can also function as a telescope or microscope. This information can be linked to and stored in images or stored separately for use as data.
In addition, in the present invention, if a focus is fixed on an object or an object in a smart telescope, the information may be directly obtained by designating a region of interest on the screen. The information can then be superimposed and displayed inside the telescope, or the same information can be stored as an image.
In addition, the present invention can be displayed by immediately searching the information displayed on the monitor of the sight or telescope mounted on the military equipment or military equipment, it is possible to check the target more accurately and move to the next step to improve accuracy, precision, and efficiency It can be maximized.
In addition, the present invention can improve the results of the study by comparing and analyzing and storing what bacteria or what objects while observing the future smart electron microscope. Not everyone who uses a microscope can be an expert in the same field, but it can provide opportunities for many discoveries, inventions, or studies.
In addition, the present invention can be very helpful for automatic navigation operation using the equipped electronic equipment, such as navigation of all smart vehicles. Developing an application that can identify and prepare things can prevent accidents and create a pleasant driving situation.
In addition, the present invention, if you enter the image using the smart sign smart device, you can know the menu of the day, today's diet or service in the restaurant, beauty shop, gas station, any store or department store sign if you enter a customer You can provide all of the information, and you can make a reservation or purchase by connecting the phone directly.
In addition, the present invention can be a smart search. When searching for images such as trademark rights or design rights, it is very easy to obtain relevant information by constructing an image search system. Since all DBs are stored as code values or indexes, text is not a problem for indexing, but there is a problem for indexing pictures or blocks, so if you analyze an image and associate them with related code, you can search for all similarities. .
In addition, it is easy to derive information on a specific image from a large number of media data of newspapers and broadcasts.
In addition, the present invention provides smart learning. When students are in class, they can enter information from textbooks or images with experimental devices to get more information. This can have more effect when doing experiential learning. Those who develop hands-on learning or practice can create a program such as free or for a fee, which can provide mentoring and learning experiences with family members. At this time, if the smart image code is input, more efficient information can be obtained.
In addition, the present invention can provide information about culture or nature by smart tourism. If you have gone to Bulguksa, all information is abbreviated in the information board, and more information can be found in pamphlets or tourist guidebooks. But that's it. However, if you combine smart with it, you can easily obtain various information. If you sign up for the signboard as an image code, you can be redirected to a site or web page that provides more information. In addition, if the exhibited artifacts are registered as image codes, the user can obtain more extensive information about the artifacts of interest. When you enter a road sign, the route guide automatically appears, and you can present various information about the area or traffic based on your current location.
In addition, the present invention can be applied to the smart industry. If you have an image code on every piece of equipment, you can find information about the equipment, its capabilities, how to use it, its AS and where it was purchased.
In addition, the present invention can provide a smart local search. Recently, various information based on GPS, such as road view and sky view, which are provided by search engines, is provided, but images are all. However, since the information about the image or the object appearing in the image cannot be described, it can be regarded as providing half information. Smart local search is a service that provides a description for each object of the visible image by analyzing the information provided by road view and sky view.
In addition, the present invention can be connected to the homepage or the web with all the information by entering a mark, trademark, advertising tower, flyers, posters, handouts, business cards and the like used for smart advertising and promotion. Alternatively, it is possible to provide a video or instant information can provide a variety of applications.
In addition, the present invention provides a smart routine. If you take a picture on the wall, you can see whose work it is. You can also see the price and purchase of the product. Assigning a representative image to a publication takes you to a designated medium, such as the publisher's home page. If you designate the advertisement page of newspaper or magazine as the representative image, it moves to the advertiser's designated medium.
In addition, the present invention is capable of smart hiking. If you search for beautiful flowers, wild grass, mushrooms, herbs, etc. while climbing, you can obtain various information such as classification, edible status, and efficacy. In the mountains, you can find information by searching for fossils in rocks, rocks and rocks, gravel and sand by the river, and tidal flats and creatures along the beach.
In addition, the present invention can obtain detailed information by searching the post while passing the smart election campaign.
In addition, the present invention provides smart security. Searching for a person or object in the security camera stored data shows only the desired part of the recorded video for a long time. Various information can be easily obtained by applying to bank's deposit and withdrawal, company withdrawal, and secure area withdrawal. The face recognition system used for immigration can be improved efficiency.
In addition, the present invention provides a smart dish. Dishes in the restaurant reveal the components and related information. You can compare it with other meals, and analyze the calories in your diet.
In addition, the present invention makes it possible to operate a smart hospital. By analyzing and storing information obtained from medical images or films, it can be applied to various information about clinical and research of treatment methods. In modern society, smart medical care can provide a lot of research resources in the medical field because the state-of-the-art equipment and the doctor's ability to decode the data obtained from this equipment are very important.
In addition, the present invention can be applied to people search. The part related to personal privacy can provide information within legal limits. If you want information about missing persons or criminals, provide the information within the legal scope to provide more information.
In addition, the present invention can support the search for relics or cultural assets. Enter the information of the lost and found as long as there is data in the DB. This is especially useful if it is marked. Similar information can be entered by entering information such as relics or cultural assets.
In addition, smart video search is possible. For example, you may want to watch only the part of a movie where a particular person appears. It is also possible to search for videos of only the part of the performance material that comes out of a specific person, and to view only the part of the group members except the video of a specific celebrity.
In addition, the present invention can provide a smart image code. This image can serve as a code if you designate it as a representative image when you register the image. For example, if there is an image code on the signboard, a person passing by can enter the code as a smart device and can provide various information such as today's menu, today's product, today's event, and so on. Therefore, efficient customer induction can be made without a phone call, and consumers can select the desired situation. In the same sense, if signatures of professional workers such as painters and artists are entered as image codes, searching for signs (image codes) contained in sculptures or paintings can show not only the description of works but also the world of various artists. This is a way to drastically reduce the accuracy and search time.
도 1은 본 발명의 제 1 검색시스템을 개략적으로 나타낸 블록도이다.
도 2는 본 발명의 제 1 검색방법을 개략적으로 나타낸 순서도이다.
도 3은 본 발명의 제 2 검색방법을 나타낸 순서도이다.
도 4는 본 발명의 개체별다중구성요소분석모듈을 세부적으로 나타낸 블록도이다.
도 5는 본 발명의 윤곽선특징분석모듈과 다중개체구성요소분석모듈을 세부적으로 나타낸 블록도이다.
도 6은 본 발명의 동영상/그래픽데이터변환모듈을 세부적으로 나타낸 블록도이다.
도 7은 본 발명의 이미지특성분석모듈을 세부적으로 나타낸 블록도이다.
도 8은 본 발명의 연접한윤곽선특징분석모듈을 세부적으로 나타낸 블록도이다.
도 9는 본 발명의 이미지초점좌표분석모듈을 세부적으로 나타낸 블록도이다.
도 10은 본 발명의 이미지광원초점좌표분석모듈을 세부적으로 나타낸 블록도이다.
도 11은 본 발명의 개체본질적구성요소분석모듈을 세부적으로 나타낸 블록도이다.
도 12는 본 발명의 개체의색구성특징분석모듈을 세부적으로 나타낸 블록도이다.
도 13은 본 발명의 개체의질감특징분석모듈을 세부적으로 나타낸 블록도이다.
도 14는 본 발명의 윤곽선특징분석모듈을 세부적으로 나타낸 블록도이다.
도 15는 본 발명의 결합조건적구성요소분석모듈을 세부적으로 나타낸 블록도이다.
도 16은 본 발명의 제 2 검색시스템을 나타낸 블록도이다.
도 17은 본 발명의 제 3 검색시스템을 나타낸 블록도이다.
도 18은 본 발명의 제 4 검색시스템을 나타낸 블록도이다.
도 19는 본 발명의 결과구성콤포넌트를 세부적으로 나타낸 블록도이다.
도 20은 본 발명의 제 5 검색시스템을 나타낸 블록도이다.
도 21은 본 발명의 이미지편집모듈과 검색이미지지정모듈을 세부적으로 나타낸 블록도이다.
도 22는 본 발명의 제 6 검색시스템을 나타낸 블록도이다.
도 23은 본 발명의 다중이미지등록모듈과 이미지코드등록모듈을 세부적으로 나타낸 블록도이다.
도 24는 본 발명의 시스템연결구성을 예시한 블록도이다.
도 25는 본 발명의 제 3 검색방법을 나타낸 순서도이다.
도 26 내지 도 28은 본 발명의 윤곽선을 설명하기 위한 도면이다.1 is a block diagram schematically showing a first search system of the present invention.
2 is a flowchart schematically showing a first search method of the present invention.
3 is a flowchart illustrating a second search method of the present invention.
Figure 4 is a block diagram showing in detail the multiple component analysis module of the present invention.
5 is a block diagram showing in detail the contour feature analysis module and the multi-objective component analysis module of the present invention.
6 is a detailed block diagram illustrating a video / graphic data conversion module of the present invention.
7 is a block diagram showing in detail the image characteristic analysis module of the present invention.
8 is a block diagram showing in detail a concatenated contour feature analysis module of the present invention.
9 is a block diagram showing in detail the image focus coordinate analysis module of the present invention.
10 is a detailed block diagram illustrating an image light source focal coordinate analysis module according to the present invention.
11 is a block diagram showing in detail the individual essential component analysis module of the present invention.
12 is a block diagram showing in detail a color composition feature analysis module of an object of the present invention.
Figure 13 is a block diagram showing in detail the texture characteristics analysis module of the subject of the present invention.
14 is a block diagram showing in detail the contour feature analysis module of the present invention.
15 is a block diagram showing in detail the binding conditional component analysis module of the present invention.
16 is a block diagram showing a second search system of the present invention.
17 is a block diagram illustrating a third search system of the present invention.
18 is a block diagram showing a fourth search system of the present invention.
19 is a block diagram showing details of the resulting component of the present invention.
20 is a block diagram showing a fifth search system of the present invention.
21 is a detailed block diagram illustrating an image editing module and a search image designation module according to the present invention.
22 is a block diagram showing a sixth search system of the present invention.
23 is a block diagram illustrating in detail a multiple image registration module and an image code registration module of the present invention.
24 is a block diagram illustrating a system connection configuration of the present invention.
25 is a flowchart illustrating a third search method of the present invention.
26 to 28 are diagrams for explaining the outline of the present invention.
이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명하도록 한다.
본 출원에서 사용되는 용어 중에 모듈(Module)은 잘 정의된 한 가지 일을 수행하는 프로그램의 논리적인 일부분으로 큰 시스템 중 비교적 독립적인 한 부분으로 사용되고 있으며, “시스템”은 이러한 여러 개의 모듈이 모여서 하나의 완전한 프로그램으로 만들어진 것을 의미한다.
여기에서 “시스템”은 컴퓨터 관련 개체, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어를 말하는 것이다. 구성요소(Component)는 객체, 개체의 요소, 실행파일, 프로세서상에서 실행중인 프로세서, 프로세서, 프로그램, 컴퓨터일 수 있지만 한정되지는 않는다. 예를 들어 어떤 개체나, 형태를 만들어내기 위한 것일 수도 있으며, 시스템이나 모듈에서 실행중인 어플리케이션 및 서버 둘 다 컴포넌트일 수도 있다.
프로세스(Process)나 쓰레드(Thread)내에 하나 이상의 컴포넌트가 존재할 수 있고, 컴포넌트는 하나의 컴퓨터 내에 있을 수도 있지만 2개 이상의 컴퓨터 간에 분산되어 있을 수 있다.
또한, 본 명세서에서 사용되는 “추론”의 의미는 실행명령이나 데이터를 통해 포착된 일련의 관찰 결과로부터 시스템이나 사용자의 상태를 추리하거나 추리해내는 프로세서를 말하고, 여기서 추론은 특정의 상황 또는 동작을 식별하는 데 이용될 수 있는데, 예를 들어 상태들에 대한 확률 분포를 생성할 수 있다.
사용자에게 정보를 디스플레이하는 용어로 "화면", "웹 페이지", 및 "페이지"는 일반적으로 본 명세서에서 서로 바꾸어 사용될 수 있다. 페이지 또는 화면은 디스플레이설명으로서, 그래픽 사용자 인터페이스로서, 또는 화면(예를 들어, 퍼스널 컴퓨터, PDA, 모바일 전화, 또는 기타 등가 장치) 상에 정보를 나타내는 다른 방법에 의해 저장 또는 전송되며, 이때 페이지 상에 디스플레이될 레이아웃 및 정보 또는 컨텐츠는 메모리, 데이터베이스, 또는 다른 저장 수단에 저장된다.
도 1을 참조하면, 다차원이미지검색시스템(100)에는 검색하고자 하는 이미지의 특징을 분석하는 개체별다중구성요소분석모듈(102), 이미지검색을 수행하는 검색엔진(104)이 구비된다. 이것은 적어도 2개의 전체적인 측면을 가진 다차원이미지검색시스템(100)을 나타낸 것이다. 다차원이미지검색시스템(100)은 다수의 차원(예를 들어, 이미지 또는 동영상 또는 그래픽)을 갖는 입력으로부터 특징 및 데이터를 추출할 수 있다. 추출된 경우, 이 특징들은 검색 질의를 생성하거나 수정하는 데 이용될 수 있다. 그리고, 검색 질의는 입력에 관계된 검색 결과를 보여주는데 이용될 수 있다. 다차원이미지검색시스템(100)의 다른 기능은 검색가능 데이터 항목의 특징들에 기초하여 검색 결과를 찾아내는 기능이다.
다시 말하면, 다차원이미지검색시스템(100)은 특징들을 추출하기 위해 검색가능 데이터 항목들(예를 들어, 이미지 파일 또는 비디오(동영상)파일 또는 그래픽 파일)을 분석하는 것을 용이하게 해줄 수 있다. 데이터 항목으로부터 특징들이 추출된 경우, 다차원이미지검색시스템(100)은 그 항목을 인덱싱함으로써 검색될 수 있게 해주는 것을 용이하게 해줄 수 있다.
다차원이미지검색시스템(100)은 도시된 바와 같이 입력(예를 들어, 이미지 또는 동영상 또는 그래픽)이 “개체별다중구성요소분석모듈” 컴포넌트(102)에 전달될 수 있고, 이 “개체별다중구성요소분석모듈” 컴포넌트(102)에서 특징들(예를 들어, 속성들, 특성들)이 입력으로부터 추출될 수 있다. 아래에서 기술하는 바와 같이, 한 측면에서, 이미지 입력으로부터 속성들 및 특성들을 알아내기 위해 패턴인식이 이용될 수 있다. 보다 구체적인 예에서, 입력이 어떤 자동차 옆에 서있는 사람의 이미지라고 가정하면, “개체별다중구성요소분석모듈” 은 사용자의 신원을 알아내기 위해 특수화된 형태의 패턴 인식(예를 들어, 구성요소간 상관관계를 이용해 얼굴 인식)을 사용할 수 있다. 이와 유사하게, 그 자동차를 분석하여 그 사람이 어떤 자동차 옆에서 사진을 찍었는지를 알아내기 위해 패턴 인식(예를 들어, 구성요소간 상관관계를 이용해 자동차를 인식하고, 사람이 입고 있는 옷, 자동차와 사람간의 결합조건구성요소분석으로 사람뿐 아니라 사람이 착용하고 있는 문체들을 분석)이 사용될 수 있다.
검색이미지의 패턴분석과 시스템에서 다른 특징들 및 속성들을 알아낸 경우, 검색 질의가 작성되어 검색엔진(104)에 전달될 수 있다. 검색엔진(104)은 이 질의에 따라 검색 결과들을 검색하는 데 이용될 수 있다. 다른 예들에서, 검색엔진(104)은 인터넷, 인트라넷, 로컬 또는 원격 서버/저장소, 기타 등등으로부터 결과들을 검색할 수 있다. 사실상, 본 발명의 실시 예들은 다양한 형태의 이미지 입력으로부터 검색 질의를 작성하는 것을 용이하게 해준다.
종래의 시스템들이 다양한 데이터 유형(예를 들어, 텍스트, 웹 페이지 링크, 이미지 파일)으로 결과들을 표현할 수 있지만, 이 종래의 시스템들이 여전히 텍스트 중심적인 이유는 검색 질의를 가능한 결과들에 매핑(Mapping;연결)하기 위해 수작업으로 생성된 메타데이터(Metadata; 다른 데이터를 설명해 주는 데이터) 및 태그에 의존하기 때문이다. 시각화(다양한 이미지)가 포함되어 있는 한, 이러한 시각화는 통상적으로 사용자 정의에 의한 메타데이터를 사용하여 수행되며, 검색가능 항목들은 수작업으로 이 항목의 속성에 대응하는 메타데이터로 사전에 태깅(Tagging) 되어 있다.
일부 시스템에서 사용하고 있는 내용기반이미지분석은 이러한 방식을 사용하지 않고 색상분포(color histogram)와 질감분해, 외형분해의 방식을 사용하고 있다. 이러한 검색은 매우 고도화되어 다양한 형태의 검색방식을 만들어냈다. 그 중심에 색 분해방식이 있다. 이러한 방식은 미리 분석되어 저장된 기존의 이미지데이터를 찾는 방법에는 효율적이지만 검색이미지가 새롭게 만들어진 경우, 다시 말하면 미리 분석되어 있지 않은 신규의 이미지분석에는 그 효율성이 현저하게 떨어진다.
종래의 검색 메카니즘과는 달리, 본 발명의 다차원이미지검색시스템(100)의 한 가지 특징은 입력으로부터 구성요소적인 특징들 및 속성들을 추출하는 것이다. 예를 들어, 본 발명의 다차원이미지검색시스템은 입력으로서 입력 파일을 수신하고 컬러 또는 패턴 또는 외형 또는 구성요소 또는 구성요소간 상관관계 또는 이미지초점 또는 광원초점 기타 등등(이에 한정되지 않음)을 비롯한 특징들을 추출할 수 있다. 이러한 것은 패턴 인식 시스템이 이미지를 다중으로 분석한 다음에 관련검색 결과를 검색하는 데 사용될 수 있는 검색 질의를 작성하는 데 이용될 수 있다.
검색에서 고려되는 속성들로는, 이미지고유초점 또는 이미지고유광원초점 또는 이미지구성요소 또는 이미지구성요소간 상관관계 또는 이미지의 크기 또는 동영상의 길이 또는 출처 또는 전체적인 성질(예를 들어 이미지 또는 동영상 또는 커리커쳐 또는 만화 또는 이미지코드 또는 이미지 고유정보 예컨대, 촬영일자 또는 GPS 또는 크기 또는 인용프로그램 또는 기타 등의 측면들을 비롯한, 이미지의 형태 및 구조가 있을 수 있고 이미지 컨텐츠의 다른 속성들(그래픽 컨텐츠 중의 포인터 또는 URL(Uniform ResourceLocator) 등에 대한 관계가 인덱싱 및 검색에서 고려될 수 있다.
이하의 시나리오는 본 발명에 대한 전반적인 이해를 더하기 위해 제공된 것이며 결코 본 발명을 제한하기 위한 것이 아니다. 이를 위해, 본 발명의 특징들을 이용하는 다른 시나리오들이 있을 수 있다는 것은 당연하고, 이 부가의 시나리오들은 본 발명 및 첨부된 청구항들의 범위 내에 포함된다.
상기한 바와 같이, 서로 다른 차원에 대해 본 발명에 따른 검색이 수행될 수 있다. 예를 들어, 검색 질의가 특정의 상황에 있는 이미지를 포함할 수 있다. 따라서, 설원에서 아름다운 스키복을 입고 스키를 즐기는 대한민국의 대통령과 그 옆에 경호원 있는 이미지가 다차원이미지검색시스템(100)에의 입력으로서 사용될 수 있다. 도 1의 시스템(100)에 따르면, 개체별다중구성요소분석모듈(102)는 입력된 이미지로부터 관련 정보(예를 들어, 컬러 또는 패턴 또는 외형 또는 구성요소 또는 구성요소간 상관관계 또는 이미지초점 또는 광원초점을 분석하여 대통령의 특징과 경호원의 특징을 분석) 추출하고, 질의를 작성하며, 검색을 실행하면 검색이미지와 가장 유사한 정보를 이미지뿐 아니라 동영상과 그래픽에서도 검색해 줄 수 있다.
도 2를 참조하면, 검색하고자 하는 이미지 등의 자료가 검색엔진으로 입력되는 단계 202, 입력자료가 분석되는 단계 204, 입력자료로부터 검색질의를 생성하는 단계 206, 위 검색질의에 유사성을 가진 이미지에 대한 검색결과를 검색하는 단계 208, 검색된 결과를 출력하는 단계 210으로 진행된다.
즉, 본 발명의 한 측면에 따른 입력으로부터 검색 질의를 생성하는 방법을 나타낸 것이다. 설명의 간단함을 위해, 본 명세서에 나타낸 하나 이상의 방법(예를 들어, 플로우차트 형태임)이 일련의 동작으로 도시되고 기술되어 있지만, 본 발명에 따르면, 어떤 동작들이 본 명세서에 도시되고 기술된 것과 다른 순서로 또는 다른 동작들과 동시에 행해질 수 있기 때문에, 본 발명이 동작들의 순서에 의해 제한되지 않는다. 본 발명에 따른 방법을 구현하는데 도시된 동작들 모두가 필요한 것은 아닐 수 있다. 그러므로 도 2는 표준적인 흐름을 표현한 것이다.
도 2의 202에서, 특정 유형의 데이터를 나타내는 입력이 수신될 수 있다. 예를 들어, 이 입력은 이미지 또는 동영상이미지 또는 그래픽이미지 또는 기타 등등(이에 한정되지 않음)을 비롯한 형태의 데이터를 포함할 수 있다. 또한, 이 입력은 2개 이상의 유형의 데이터를 포함하는 다차원 데이터의 형태를 가질 수 있다. 예를 들어, 이미지와 동영상이미지를 입력이미지로 사용할 수 있으며, 그래픽은 이미지와 터치패드나 그래픽패드 등의 디바이스를 이용하여 각기 다른 두 이미지를 포함한 이미지 데이터, 다시 말해 그래픽을 포함할 수 있다.
204에서, 이 입력과 연관된 특징과 속성들 또는 특성들을 식별하기 위해 이 입력이 분석될 수 있다. 예를 들어, 상기한 바와 같이, 특정 이미지의 대상물(들) 및 상황을 식별하기 위해 패턴 인식 메카니즘이 이미지 문서에 적용될 수 있다. 특정의 예로 등산하다가 이름 모를 야생화를 발견하고 사진을 찍어서 검색하려고 이미지가 입력되었다면, “개체별다중구성요소분석모듈”에서 패턴모듈을 이용한 분석 및 개체구성요소분석과 개체구성요소간 상관관계의 분석을 이용해 이들 분석자료는 검색 질의를 생성하기 위해 사용될 수 있다.
특정의 예를 참조하면, 이 이미지가 서울 남산에 있는 “한국들국화”를 나타내는 것으로 판정하기 위해 패턴인식이 이용될 수 있다. 그에 따라, 206에서, 추출된 특징은 들국화의 구성요소인 꽃잎, 꽃줄기, 꽃 수술, 암술, 등등과 구성요소간 상관관계인 꽃잎들과 수술, 암술간의 중심간 거리비율 등의 다중의 구성요소 특징을 만족하는 검색 질의가 작성될 수 있다.
이미지 입력으로부터 설정된 검색 질의에 따라, 208에서, 결과가 검색될 수 있다. 계속하여 이 예에서, 들국화와 관련된 다양한 정보들이 검색될 수 있다. 보다 상세하게는, 들국화의 이미지와 동영상을 선택하면 웹 페이지 링크 등의 방법으로 상세하고 다양한 정보를 확인할 수 있다. 210에서, 이들 결과가 렌더링(예를 들어, 디스플레이)될 수 있다. 또한 결과의 이미지에는 검색된 이미지 중 들국화로 검색된 부분을 별도의 표시방법(예를 들어, 사각형 줄 박스 형태 등)보여줄 수 있으며, 동영상 영역에서는 발견되는 부분의 프레임을 별도(예를 들어, 시간 축으로 표현되는 프레임부분에 별도표시 등)로 보여줄 수도 있다.
도 3을 참조하면, 검색을 위한 자료입력장치를 선택하는 단계 302, 위 자료입력장치로 입력된 자료를 입력받는 단계 304, 입력된 자료가 이미지인지 판단하는 단계 306, 이미지를 이루는 구성요소를 분석하는 단계 308, 입력된 자료가 그래픽인지 판단하는 단계 310, 그래픽데이터의 패턴을 분석하는 단계 312, 그래픽을 이루는 구성요소를 분석하는 단계 314, 입력된 자료가 동영상인지 판단하는 단계 316, 동영상을 프레임별로 분석하는 단계 318, 동영상의 각 프레임을 이루는 구성요소를 분석하는 단계 320, 위 단계별로 분석된 특징들을 검색질의어로 생성시키는 단계 322, 위 검색질의어로 유사이미지를 검색하는 단계 324로 수행된다.
이것은 본 발명의 한 측면에 따른, 입력을 분석하는 방법을 나타낸 것이다. 302에서, 상기한 바와 같이, 기본적으로 입력디바이스를 선택할 수도 있다. 입력디바이스에는 휴대폰, 스마트폰, 카메라기기, 동영상기기, 그래픽패드입력장치, 이기종간무선입력장치, 저장장치 등에서 어떤 기기에서도 직접 입력이 수신될 수 있다. 예를 들어, 이미지입력을 컴퓨터기기의 저장장치에서 이미지나 동영상을 업로드 할 수 있다, 또 다른 예로, 카메라기기(스마트 기기 또는 디지털카메라 등)에서 이미지 생성과 동시에 유,무선을 이용하여 업로드 할 수 있다. 그래픽패드장치에서도 원하는 이미지를 만들어서 입력하거나 기존의 이미지와 통합하여 업로드 할 수 있다. 또는 이들의 조합일 수 있다. 이하의 방법을 검토하면 잘 알 것인 바와 같이 대부분의 다차원 및 단일 차원의 입력기기는 입력을 위해 본 발명에서 이용될 수 있다.
304에서 상기한 바와 같이, 기본적으로 어떠한 이미지유형이라도 입력으로 수신될 수 있다. 예를 들어, 입력은 이미지, 동영상, 그래픽이미지, 트리밍이미지, 또는 이들의 조합일 수 있다. 이하의 방법을 검토하면 잘 알겠지만 대부분의 다차원(또는 단일차원) 입력을 분석하기 위해 본 발명이 이용될 수 있다.
306에서, 입력이 시각데이터(일반이미지)를 포함하는지를 결정하기 위해 판정이 행해진다. 시각데이터를 포함하는 경우, 308에서, 이미지검색키워드를 결정하기 위해 입력이 구성요소분석모듈로 분석될 수 있다.
이와 유사하게, 310에서, 입력이 그래픽시각데이터를 포함하고 있는지를 결정하기 위해 판정이 행해질 수 있다.
입력이 그래픽시각데이터를 포함하는 경우, 312에서, 그래픽시각데이터패턴분석과 연관된 이미지키워드를 확정하기 위해 구성요소분석모듈이 사용될 수 있다. 예로서, 구성요소분석데이터가 그래픽인 경우, 그래픽과 관련하여 구성요소분석을 이용하여 그래픽 인식이 사용될 수 있다.
또한, 316에서, 입력이 동영상 데이터(예를 들어, 비디오 데이터)를 포함하는지의 판정이 행해진다. 상기한 시각이미지와 조성시각이미지에서와 같이, 동영상 데이터가 존재하는 경우, 318에서 동영상프레임분석을 통해 주요 특징(예를 들어, 속성들 및 특성들)이 확정될 수 있다. 이렇게 분석된 정보는 구성요소분석을 이용하여 동영상이미지인식에 사용될 수 있다.
입력이 분석된 경우(예를 들어, 306~316), 322에서, 수집된 정보를 이용하여 검색 질의가 확정될 수 있다. 그 다음에, 324에서, 검색 질의와 관련한 결과가 검색될 수 있다. 그 다음 도면을 참조하여 더 상세히 기술되는 바와 같이, 이 결과가 사용자에게 렌더링(예를 들어, 디스플레이)할 때 원하는 바(카테고리)에 따라 구성(예를 들어, 필터링, 순위 지정, 정렬)될 수 있다.
도 4를 참조하면, 개체별다중구성요소분석모듈(102)에는 입력자료분석모듈(402), 다중개체구성요소분석모듈(404)이 구비되고, 개체별다중구성요소분석모듈(102)은 검색엔진(104)과 연결된다.
다차원이미지검색시스템(100)의 입력정보를 분석하고 검색어를 만들어낼 수 있는 정보를 만들어주는 모듈인 “개체별다중구성요소분석모듈”(102)에서 입력자료분석(402)은 입력된 자료가 이미지 또는 동영상 또는 그래픽인지를 분석하는 단계와 입력된 자료의 특성 및 특징들을 다양한 방법으로 분석하는 단계로 나누어졌다. 여기에서 분석한 입력이미지정보를 가지고, “다중개체구성요소분석”(404)에서는 구성요소로 분석을 하는데, 주로 형태적인 방법과 결합조건관계의 구성요소로 분석을 한다. 이 단계에서 제일 중요한 것은 분석된 자료를 다층구조를 가진 매트릭(matrix) 구조로 만들어 구성요소를 분석하는 것이다. 이러한 구성요소분석은 검색어를 만들 수 있는 기초정보가 된다.
도 5를 참조하면, 윤곽선특징분석모듈(402)에는 동영상/그래픽데이터변환모듈(502)과 이미지특성분석모듈(504)이 구비되고, 다중개체구성요소분석모듈(404)에는 개체본질적구성요소분석모듈(506)과 결합조건적구성요소분석모듈(508)이 구비된다.
개체별다중구성요소분석모듈(102)의 윤곽선특징분석모듈(402)은 동영상/그래픽데이터변환모듈(502)과 이미지특성분석모듈(504)로 특성분석을 할 수 있으며, 개체의 구성요소 구분을 개체본질적구성요소분석모듈(506) 특성을 분석해서 인식하고, 개체의 구성요소들 간의 상관관계를 이용하며 개체의 주체를 찾아낼 수가 있다. 예를 들어, 유명연예인의 얼굴을 검색이미지로 입력했다면, 입력분석자료에서 정지이미지인지를 확인하고, 다수의 윤곽선이 만들어내는 소그룹으로 분석하면 사람의 개체요소가 다수 포함되었고, 반지와 목걸이 구성요소도 다수 포함된 다중의 분석도가 만들어진다. 이러한 분석도는 구성요소간 상관관계를 분석하는 모듈에서 반지와 목걸이는 유명연예인이 착용한 것으로 판단하는 결합조건적구성요소분석으로 확인된다.
그러므로 유명연예인이 주 검색요소가 되고, 나머지요소인 반지나 목걸이는 부차적인 검색요소로 되기 때문에 유명연예인을 검색이미지의 대표검색어로 만들어 낼 수가 있다. 이것은 매우 중요한 사실이다. 왜냐하면, 검색이미지가 들어왔을 때 기존의 검색방식은 구성요소분석방식이 아니므로 주 검색어를 찾는다는 것이 불가능했으므로 내용기반의 이미지 검색을 하면, 어떤 개체요소가 검색어로 될지 알 수가 없었다. 사람, 바위, 꽃, 반지, 목걸이… 이미지 내에 있는 어떤 개체도 아닌 통합 정밀 분석된 값으로 검색되어서 결과를 도출시키므로, 이미지검색에 매우 어려움을 느꼈다고 볼 수 있다.
도 6은 동영상/그래픽 변환모듈의 분석을 설명하는 블록 예시도로서, 동영상/그래픽데이터변환모듈(502)에는 변환모듈(602), 동영상분석모듈(604), 그래픽분석모듈(606)로 이루어지고, 동영상분석모듈에는 동영상프레임이미지변환모듈(608)이 구비되며, 그래픽분석모듈에는 그래픽이미지변환모듈(610)이 구비된다.
이미지검색시스템은 입력되는 다차원의 입력자료를 분석이 용이한 이미지로의 변환이 필요하다. 예를 들어 동영상이미지나 애니메이션(Animation)이 검색이미지로 입력이 되었다면, 수많은 이미지의 시간적 결합으로 만들어진 자료에서 전체를 분석한 내용으로 검색할 것이 아니라면, 동영상 중에서 어떤 프레임을 선정해야 할 것이다. 이러한 행위를 가능하게 해주는 동영상프레임이미지변환모듈(608)이 이용될 수 있다. 또 다른 예로 그래픽이미지가 검색이미지로 입력된 경우를 보면, 그래픽(상품화, 정보 제공, 일러스트레이트, 엔터테인먼트를 위한, 벽, 캔버스, 컴퓨터 화면, 종이, 돌과 같은 어떠한 표면에 보여 줄 시각 표현을 말할 수 있는데. 예를 들면, 가공된 사진, 드로잉, 라인 아트, 그래프, 다이어그램, 타이포그래피, 숫자, 기호, 기하학 디자인, 지도, 도면, 포스터, 브로슈어, 기타 이미지 등으로 주로 예술적일 수 있다)은 전통적인 이미지보다는 설계되고 편집된 이미지를 의미하므로 이러한 이미지의 특징을 분석하고, 구성요소를 분석하려면 다중의 구성요소분석이 가능해야 한다. 그러므로 그래픽이미지를 표준적인 이미지로 변화하는 모듈을 이용할 필요가 있다.
도 7을 참조하면, 이미지특성분석모듈(504)에는 연접한윤곽선특징분석모듈(702), 이미지초점좌표분석모듈(704), 이미지광원초점좌표분석모듈(706)이 구비된다.
연접한윤곽선특징분석모듈(702)에서, 이미지의 검색은, 수많은 개체로 만들어진 이미지 조합체를 하나의 이미지로 입력시켜 놓고 무조건 검색해달라는 것과 같다.
이렇게 입력된 이미지는 “색특성분석방식”과 “질감특징분석” 그리고 “외형선특성분석방식”의 분석을 이용해서, 관심영역의 중심으로부터 방사상으로 검색해서 최소의 픽셀로 만들어진 “윤곽선”을 찾는다.
도 8을 참조하면, 연접한윤곽선특징분석모듈(702)에는 윤곽선특징분석모듈(802), 윤곽선과연접한윤곽선특징분석모듈(804), 윤곽선그룹기반분석특성생성모듈(806)이 구비된다. 여기에서 도 8의 “윤곽선특징분석모듈”(802)에서 “윤곽선”이란, 같은 특징이 있는 픽셀들의 최소 조합을 말하는데, 단위픽셀로 만들어진 것도 윤곽선일 수 있다. 그러나 이러한 윤곽선은 검색이미지의 해상도나 크기를 컴퓨터가 윤곽선으로 분석하는데 용이한 픽셀수로 정의하여 실행할 수 있다.
이렇게 “색”과 “질감”과 “외형선”을 이용하여 찾아낸 정의된 “윤곽선”이 없다면, 보다 많은 픽셀로 만들어진 윤곽선의 조합을 검색이미지를 특성분석 하는 “초기값윤곽선”으로 이용할 수 있다. 이렇게 만들어진 “초기값윤곽선”을 이용하여 순차적으로 “연접윤곽선”을 찾는 방식이다.
도 8에서 말하는 “윤곽선과연접한윤곽선특징분석모듈”(804) 다시 말해 연접한 윤곽선이란 윤곽선을 포함하는 단일 연접선이거나 윤곽선과 연접한 윤곽선으로 윤곽선과 같거나 큰 윤곽선 모두를 1차 연접한 윤곽선이라 한다. 다음단계로 이제 각각의 연접한 윤곽선이 “2차 초기값윤곽선”이 된다. 그러면 2차 초기값 윤곽선에 연접하는 윤곽선을 모두 찾아낸다. 계속 반복하면 이미지 내에서 더 이상 연접하는 윤곽선을 찾을 수 없게 되었을 때 정지하고, 지금까지 만들어진 윤곽선들의 조합을 1차 윤곽선에 의해 만들어진 이미지 특성분석 소-그룹이라 한다. 이렇게 수차에 걸쳐서 만들어진 특성분석 소-그룹들을 “윤곽선그룹 기반분석특성생성모듈”(806)를 이용하여 관리 저장된다. 그런 다음 “다중개체구성요소분석모듈”(102)로 보내서 같은 조건을 만족하는 요소가 있는지 찾는다. 이것은 건축물을 만드는 것과 같아서 기둥이나 유리창을 하나 가지고 오더라도 이 개체들이 건물의 어느 곳에 들어가는지, 또한 다 만들어진 건물은 어떤 건물의 모습일지 알 수 없듯 하나의 초기값윤곽선이 만들어내는 소그룹으로는 만족하는 개체의 구성요소로 분석하기가 어려울 것이다. 하지만 계속해서 또 다른 “초기값윤곽선”을 이용해 같은 방법으로 실행한 후 #2번 소-그룹에 저장하고 이번에는 #1번 소-그룹과 2번 소-그룹의 특성 값을 만족하는 요소가 있는가 확인한다. 이와 같은 찾는 행위를 윤곽 개수만큼 반복한다.
이렇게 해서 발견된 모든”초기값윤곽선”개수와 같은 개수의 입력된 정보의 분석특성값을 가지는 모든 소-그룹이 만들어지면, 이제는 이러한 소-그룹의 조합을 만들어서 “다중개체구성요소분석모듈”(102)에서 같은 구성요소특징을 가지는 데이터가 있는지 검색을 실행한다. 그러면 어떤 단계에서는 검색이미지에서 만들어진 분석자료가 “다중개체구성요소분석모듈”(102)에서도 같은 요소가 발견될 수 있다. 본 시스템에서는 이와 같이 초기값윤곽선소그룹이 만들어질 때마다 비교검색하고, 모든 초기값윤곽선소그룹이 만들어 졌을 때는 초기값윤곽선소그룹의 조합을 만들어서 검색을 한다.
이것을 다른 방법으로 설명하면, 검색이미지에서 10개의 “초기값윤곽선”이 발견되었다면, 1번” 초기값윤곽선”을 이용하여 자신을 포함한 연접한 윤곽선들로 하나의 투명한 층을 만들고 이를 만족하는 데이터가 있는지 확인한다. 그리고, 2번”초기값윤곽선”을 이용하여 자신을 포함한 연접한 윤곽선들이 모여있는 또 하나의 투명 아크릴층을 만들고 이를 만족하는 데이터가 있는지 확인한다. 이렇게 해서 10개의 아크릴층이 만들었다 하자. 이들의 아크릴층을 하나만 보면 어떤 것인지 알 수 없지만, 2개를 적층해 보면 보이지 않던 요소가 보일 수 있다. 하나를 더 적층해서 보면 또다시 보이지 않던 물체를 인식할 수 있을 것이다. 이런 식으로 아크릴층을 모두 적층해서 보면 좀더 개체의 분석을 용이하게 할 수 있다.
여기에서 10개의 층들의 조합으로 만들어 분석하면 좀더 정확한 분석을 할 수 있을 것이다. 여기에서 분석한 정보는 검색이미지분석을 구성요소로 분석한 것과 같다는 말이다. 다시 말해, 어떤 객체의 구성요소가 10,000개중 500개가 발견되었고, 또 어떤 객체의 구성요소가 500개중 20개가 발견될 수도 있다. 또 어떤 객체의 구성요소가…00개,…로 분석될 수 있다. 결국 컴퓨터는 입력된 이미지를 다중으로 분석하여 각 구성요소들의 조건을 만족하는 입력이미지구성요소와 유사한 이미지를 찾아내는 방식이다. 이렇게 분석된 층들의 조합을 변형시키면 좀더 정확한 구성요소분석이 가능해질 수 있다.
보충 설명하면, 윤곽선을 아무리 분석하였다 하더라도 어떤 개체의 요소인지 알기란 불가능하다. 그래서 앞에서도 언급했던 윤곽선간의 상관관계를 분석하는 것이 매우 중요하다. 상관관계는 이렇게 분석할 수 있다. 모든 윤곽선은 중심선을 가지고 있다. 그러나 이러한 윤곽선이 개체의 윤곽선으로 인정받기 위해서는 여러 층에서 만들어진 윤곽선의 중심선들이 겹칠 때 인정받을 수 있다. 이렇게 인정받은 윤곽선들의 상관관계를 분석하는 것이 구성요소를 분석할 수 있는 기초자료가 된다. 여기에서 말하는 상관관계란 발견된 인접한 윤곽선간의 가상의 중심선들이 만들어내는 다양한 다각형을 말할 수도 있다.
도 9를 참조하면, 이미지초점좌표분석모듈(704)에는 이미지초점분석모듈(902), 이미지초점값분석모듈(904), 좌표값을이용한개체원형복원분석모듈(906)이 구비된다.
모든 물체나 개체는 입체로 만들어져 있으므로 촬영된 실사의 모든 이미지는 포커스(초점)를 가지게 된다. 이러한 상의 초점은, 동일한 시간과 공간 속에서 촬영되었어도, 이미지를 만드는 조건은 조금씩은 다를 수밖에 없다. 그러므로 정확하게 분석하면 초점은 같을 수가 없다. 따라서 검색이미지에 있는 모든 개체는 “고유의 구성요소”와 “고유의 초점좌표 값”으로 표시될 수도 있다.
도 5의 이미지특성분석모듈(504)에서 이미지초점좌표분석을 하기 위해서는 이미지초점분석을 먼저 수행해야 한다. 고유의 초점을 분석하기 위해서는 찍은 곳의 위치를 찾으면 된다. 이것은 찍은 곳과 반대쪽 방향에 이미지 다시 말해 상의 초점이 만들어지기 때문이다. 이미지의 초점은 이미지에서 어떤 개체의 측면에 있는 선을 연장시키면 바로 초점을 찾을 수가 있다. 예를 들어 주사위를 찍었다면 정면은 사각형으로 보이겠지만 우 측면은 사다리꼴로 보일 수 있다. 이미지 내에 있는 모든 사다리꼴들의 연장선을 따라가면 초점이 있을 것이다. 이렇게 윗면, 좌 측면 경사면들의 초점을 찾으면 3개의 초점에 모든 연장선들이 만들어질 것이다. 이것이 상의 x축, y축, z축의 좌표 값이 된다. “이미지초점값분석모듈”(904)은 이러한 좌표 값들을 찾아내는 모듈이다. 그러므로 이 3점의 초점에 수렴되지 않는 물체의 초점은 다른 값일 것이다. 그러므로 그러한 값들은 무시한다.
도 9에서 좌표 값을 이용한 개체원형분석복원분석모듈(906)은 모든 이미지의 이러한 “초점좌표값”은 어떤 물체의 3차원 분석에 매우 중요한 분석방법으로 적용될 수 있다. 어떤 물체를 삼차원으로 완벽하게 복원할 수 있다면, 그 물체가 어떤 모습으로 이미지가 만들어졌다 해도 구분해 낼 수가 있기 때문이다. 이러한 분석을 하려면 확보된 이미지에서 이미지초점을 찾아낸다면 완벽하게 복원할 수 있다. 한 장의 이미지는 보이는 모든 측면에서만 복원이 가능하므로 각기 다른 이미지가 많이 있다면 그건 완벽한 삼차원복원이 가능하다는 말이 된다.
다시 말해 이미지의 초점좌표를 알고 있다면 어떤 이미지의 측면이 초점좌표로부터 나온 각도에 의해 변형되어 보인다는 것을 알 수 있다. 그러므로 각도의 변화 량을 알고 있으므로 측면의 본래 모습을 재현하는데 전혀 문제가 없게 된다. 예를 들어 구성요소분석에서 나무 잎의 정면에 대해 특성분석 해놨는데, 검색이미지의 초점좌표분석이 없다면, 약간 비스듬하게 보이는 잎을 어떤 개체의 구성요소로 판단한다는 것이 쉽지가 않다. 그러나 이미지초점좌표를 알기 때문에 비스듬한 잎사귀에 “이미지초점촤표값”을 적용하면 정확한 정면의 모습으로 분석 복원해낼 수 있다. 이것이 구성요소 분석에서 모습이 다르더라도 구성요소의 분석을 쉽게 해주는 중요한 기술적 분석방법이다. 결론적으로 이미지구성요소와 구성요소의 상관관계로 개체의 이미지를 분석하는 본 특허에서는 매우 중요한 분석모듈이 된다.
다르게 설명해 보면, 입력한 이미지의 초점 값이 구좌표로(X=0.001, Y=0.001, Z=0.001) 이라고 하자. 이것을 DB에서 이미지를 검색했다. 만약 같은 것이 없다면 우리는 이와 비슷한 좌표를 검색한 이미지를 답으로 제시할 수 있다. 그러한 예로 여기에서 검색엔진이 제시한 유사이미지가 구좌표값이(X=0.005,Y=0.001,Z=0.001) 검색되었다고 하자. 이것을 분석하면 모든 값이 같고 X값만 + 0.004로 다른 것을 볼 수 있다. 이렇게 유사한 이미지가 검색될 수 있는 환경은 같은 장소에서 같은 기기로 찍을 때 만 발생할 수 있는 환경으로밖에 설명할 수가 없다. 사용자는 잘 모르겠지만 같이 찍은 사진 중 하나가 검색된 것으로 분석할 수 있다. 이렇게 분석하는 근거는 한쪽으로만 흔들림이 있었다고 분석했기 때문이다. 우리는 이 이미지에서 X=0.005값을 X=0.001로 변환해서 분석해보면 검색한 값과 거의 똑같은 이미지라는 것을 알 수 있을 것이다. 이와 같이 이미지의 초점은 시뮬레이션도 가능하게 하는 다양한 정보를 제공할 수 있다.
카메라의 초점은 유일무이하므로 사람의 지문과 같은 역할을 할 수 있다. 그러므로 이것을 이용해 이미지를 분석해서 찾는다면 같은 이미지는 100% 찾을 수 있다. 유사한 이미지도 매우 높은 확률로 찾아낼 수 있다. 그러나 모든 이미지가 초점이 명확하게 나타나는 것도 아니고 하나인 것도 아닐 수 있다. 촬영한 이미지 중 확대를 극대화할 때는 이미지초점의 분석이 어려울 수도 있고, 편집한 이미지나 그래픽이미지, 예술이나 창작한 이미지는 초점이 다중으로 발견될 수가 있다. 그러므로 초점이 다중 발견될 때는 구성요소의 특징분석과 광원의 초점을 같이 분석해서 이미지의 특성분석 효율성을 높일 수 있다.
도 10을 참조하면, 이미지광원초점좌표분석모듈(706)에는 광원직사광의분석모듈(1002)과, 광원이만든그림자분석모듈(1004), 다초점광원에의한분석모듈(1006)이 구비된다.
이것은 직사 광으로 들어오는 빛이나 조명기구에 의한 빛들의 광원을 분석하는 직사광의광원분석모듈(1002)과, 다양한 광원들에 의해서 만들어지는 그림자의 특성을 분석하는 광원이만든그림자분석모듈(1004), 그리고 다양한 방향에서 나오는 광원의 분석 및 반사에 의해서 만들어지는 간접광원에서의 분석을 용이하게 해주는 다초점광원에의한분석모듈(1006)로 구성되어있다. 모든 이미지는 다중 또는 단독 광원(빛, 조명, 반사 등)의 초점을 가지고 있다. 세상의 모든 이미지는 빛에 의해서 만들어지므로 빛이 이미지에 미치는 영향을 알고 있다면, 좀더 정확한 개체정보분석결과를 제공할 수 있다.
그러므로, 빛의 초점은 이미지검색시스템의 정확도를 높일 수 있는 조건이 된다. 광원에 의한 “빛의초점좌표값”과, 광원에 의한 “그림자의초점좌표값”은 같은 “구(x,y,z,)좌표값”으로 표현된다. 주의할 요소는 이미지에 영향을 주는 광원이 매우 많다는 것이다. 원광이 있고, 반사되어 이미지에 조사되는 광원이 있다.
그뿐 아니라 빛은 입자의 특성과 파장의 특성을 가지고 있으므로 빛의 간섭이나, 사물의 인력에 대한 부분을 분석해서 “이미지광원초점분석”에 적용하고 있다.
광원의 초점을 분석해내는 방식은, 직사광에 의해서 만들어지는 선들의 연장선을 이용해서 빛의 초점을 찾아내고, 역시 개체의 그림자에 의해 만들어지는 선들의 연장선을 만들어서 초점을 분석하면 좀더 정확한 이미지의 “초점좌표값”을 만들 수 있다.
이미지의 광원에 의한 초점도 이미지고유의 초점 좌표 값과 마찬가지로 단일 이미지 내에서 주광에 의한 빛의 초점(x,y,z) 값으로 발견된다. 이들의 값이 바로 광원의 초점 좌표값인 x,y,z의 값을 의미한다. 당연한 말이지만, 이러한 좌표값은 이미지 내에 여러 곳이 발견될 수 있다. 주광말고도 다양한 광원이 있기 때문이다. 이러한 다양한 광원에 의한 빛의 간섭과 굴절에 대한 분석 값은 이미지내의 정확한 광원분석에 매우 중요한 요소가 된다.
어떤 개체의 구성요소를 분석하기 위해서는 구성요소들의 참값과 거짓값을 찾아내는 일은 매우 중요하다. 그러나, 구성요소를 분석하기 위해서 폐곡선을 찾아낼 때, 광원에서 나오는 광선과 그림자는 가상의 폐곡선을 수없이 많이 만들어낸다. 그러므로 광원의 초점으로 만들어지는 경계선, 다시 말해 광원의 초점으로부터 나오는 각과 같은 각을 가지는 경계선을 특성분석 프로그램에서 무시하라는 명령을 내리면, 이미지분석에서 적어도 그림자나 광선 때문에 발생하는 오류를 현격하게 줄일 수 있다.
도 11을 참조하면, 개체본질적구성요소분석모듈(506)에는 개체의색구성특징분석모듈(1102), 개체의질감특징분석모듈(1104), 개체의윤곽선특징분석모듈(1106)이 구비된다.
다중개체구성요소분석모듈(404)에서는 개체본질적구성요소분석모듈(506)과 결합조건적구성요소분석모듈(508)로 분류되며, 그 중에 개체본질적구성요소분석모듈(506)은 또다시 개체의색구성특징분석모듈(1102), 개체의질감특징분석모듈(1104), 개체의윤곽선특징분석모듈(1106)등을 이용하여 모든 개체들의 구성요소들의 특성과 특징들을 분석해 놓았다. 사람을 예로 들어보자, 사람은 머리부분, 몸통부분, 사지의 3요소로 구성되어 있으며, 머리는 다시 머리카락, 이미, 눈썹, 미간, 코, 눈썹, 눈, 귀, 인중, 입, 입술, 이, 턱, 볼, 등으로 구성되어 있다. 눈은 다시 수정체, 동공, 각막, 홍체, 모양체, 유리체, 망막, 진대, 눈썹, 속눈썹 등으로 구성되어 있다. 수정체(Crystalline lens)는 표피, 상피세포, 수정체섬유, 체근, 수정체낭, 핵, 피질 등으로 구성되어있다. 더 낮은 단계로 구성요소를 분석해낼 수도 있다. 중요한 것은 누구라도 구성요소라는 것은 알고 있지만 어디까지가 눈이고, 코인지, 또는 입인지 알 수 없다는 것이다. 그렇기 때문에 공산품일 경우와 유기체나 자연을 대상으로 할 때는 구성요소간의 상관관계를 분석할 때 개체간의 중심선의 상관관계를 분석하는 것이 중요하며, 이들 상관관계가 만드는 다각형을 적용하여 특히 유기체중 경골을 가지는 개체들은 골격들이 만드는 상관관계를 분석하여 객체의 구성요소분석에 사용하는 것이 본 시스템의 특징이다.
또한, 이들 구성요소는 각각 색구성특징분석모듈(1102), 질감특징분석모듈(1104), 외형선특징분석모듈(1106)들을 가지고 있으며, 이들 구성요소들은 일정한 거리비율의 상관관계의 위치에 존재하는 특징을 가지고 있는 것으로 분석되어 있다. 이러한 객체들의 구성요소특징은 많은 이미지들을 분석하여 가장 표준적인 것을 기준으로 분석되어 있으며, 같은 구성요소 특징분석이라 할지라도 생로병사와, 희노애락적 요소를 분석하여 역시 각각의 개체간 상관관계를 고려하여 변화의 폭(대역/진폭)으로 분석되어 있다.
그러므로, 눈의 구성요소가 발견되었다 하더라도 눈을 구성하고 있는 요소들간의 거리비율이 변화의 대역폭 내에 있다면 개체가 사람인지, 원숭이인지, 돼지인지 등의 다른 개체로 오해될 경우는 매우 감소할 것이다.
예를 들면, 구성요소 중 눈썹의 요소가 발견되었다면 연접한 윤곽선조합에서 이마도 보일 것이고, 눈동자와 흰자위, 코 등이 연접한 윤곽선으로 나타날 것이다.
이러한 요소들의 분석은 윤곽선을 이용한 연접윤곽선의 소 그룹들의 다층분석으로 요소들간의 중심선과 위치를 확인할 수 있을 것이다. 이들 중심선들이 만들어내는 개체들의 특별한 상관관계들이 만드는 다각형으로 인하여 검색이미지에 알맞은 검색어 요소를 만들어낼 수 있다.
도 12를 참조하면, 개체의색구성특징분석모듈(1102)에는 히스트그램분석모듈(1202), 광원에의한명암분석모듈(1204), 색조,채도,명도분석모듈(1206)이 구비된다.
개체본질적구성요소분석모듈(506)은 구성요소의 가장 근간이 되는 색 구분을 어떻게 할 것인가를 설명하고 있는 것이 개체의색구성특징분석모듈(1102)이다. 여기에는 색 고유의 값으로 이미지를 분석하는 방식인 히스토그램분석모듈(1202)을 이용하며, 이미지 본래의 색을 찾아내기 위해서는 다양한 광원에 대한 영향을 적용해야 하는데 여기에서 분석하는 방법은 광원에의한명암분석모듈(1204)을 적용하고 있다. 또한 다양한 색으로 만들어진 이미지의 원색으로 복원하기 위해서는 색의 구성 자체를 분석해야 할 때도 있다. 이때 사용하는 방식이 색조,채도,명도분석모듈(1206)을 적용한다.
그러므로 본 시스템에서는 다양한 색으로 만들어진 이미지를 가지고 개체를 분석한다는 것은 정확한 색 분해는 당연하게 분석해야 하지만, 색에 영향을 주는 광원에 의한 명암이나 채도, 명도 등이 이미지에 미치는 부분을 분석해서 개체분석의 효율성을 높이도록 했다.
도 13을 참조하면, 개체의질감특징분석모듈(1104)에는 패턴질감특징분석모듈(1302), 거칠기질감특징분석모듈(1304), 입체특징분석모듈(1306)이 구비된다.
개체본질적구성요소분석모듈(506)은 개체마다 독특한 질감이 있는데 이것을 어떻게 질량적으로 판단할 것인가를 분석하기 위한 모듈인 개체의질감특징분석모듈(1104)에 대하여 설명하고 있다. 벽지, 옷감, 곡물, 대리석등은 고유한 패턴이 있는 질감을 가지고 있다. 이것을 정량 분석하는 것이 패턴질감특징분석모듈(1302)이다. 그리고 어떤 개체들은 패턴은 없지만 거친 정도나 부드러운 정도 등의 특성을 가지는 것도 있는데 이러한 것들을 분석하기 위하여 거칠기질감특징분석모듈(1304)를 가지고 있다. 이러한 거칠기나 패턴들이 어떤 규칙적인 배열을 가질 수 있는데 이러한 특성을 분석하는 모듈이 입체특징특성분석(1306)이다. 이러한 특징들로 질감의 특징을 분석한다.
도 14를 참조하면, 개체의윤곽선특징분석모듈(1106)에는 에지검출분석모듈(1402), 불필요한잡상제거분석모듈(1404), 의미적내용분석모듈(1406)이 구비된다.
개체본질적구성요소분석모듈(506)은 개체마다 독특한 윤곽선을 가지는데 이러한 개체의윤곽선특징분석모듈(1106)을 이용하여 개체의 구성요소를 찾아내는 설명을 하고 있다. 개체에서 윤곽선을 찾아내려면 이미지의 구분이 어떤 경계선으로 구분되는지 판단해야 한다. 이러한 판단을 하는 분석이 이미지에서 모서리를 찾는 에지검출분석모듈(1402)이다. 그리고 이미지를 분석하면 이미지분석에는 전혀 관계없는 요소들이 많이 있다. 예를 들어 광원에 의한 그림자, 빛의 간섭에 의한 색 변화 등이 있는데 이들을 제거하거나 무시하는 기능을 하는 모듈이 불필요한잡상제거분석모듈(1404)이다. 그리고, 본 시스템에서 가장 강조하는 요소인 이미지의 의미적 내용을 판단할 필요가 있다. 예를 들어 얼굴인식에 한정해서 보면 얼굴에는 눈, 코, 입, 귀 등의 길이와 두께, 머리카락의 색상 등이 정의되어 있다면 이러한 구성요소들의 관계를 분석할 수 있는 모듈이 필요한데 이것이”의미적내용분석모듈”이 제공하는 분석정보이다. 이것은 한정된 주제에서 검색할 경우에는 유효하지만 주제가 확대될 경우에도 적용하면 너무 많은 변수로 인해 검색이 무한루프에 빠질 수도 있으므로 적용범위를 제한하여 적용하는 것이 중요하다.
도 15를 참조하면, 결합조건적구성요소분석모듈(508)에는 개체간 주종관계모듈 (1502), 관심영역관계모듈(1504), 변형분석모듈(1506)이 구비된다.
다중개체구성요소분석모듈(404)에서는 개체본질적구성요소분석모듈(506)과 결합조건적구성요소분석모듈(508)로 구분되어 분석되며, 그 중에 결합조건적구성요소분석모듈(508)은 주로 구성요소분석 중 대표 검색어를 생성하기 위하여 가중치를 만들기 위한 분석방식이다. 개체간주종관계모듈(1502), 관심영역관계모듈(1504), 인위적비중관계모듈(1506)등과 같이 어떤 관계에 있는지를 분석하는 유형이다. 개체간주종관계모듈(1502)는 개체간 “주종관계가중치”라고 말할 수 있으며 이것은 모든 사물은 연관관계 또는 개체간 주종관계(수평관계, 결합관계 포함)등으로 구성되어 있다고 판단하는 기준이다.
예를 들어, 사람은 옷을 입고, 모자를 쓰며, 신발이나 양말 그리고 장갑 등등을 착용할 수 있다. 사람 입장에서 보면 이러한 물체나 개체는 사람과의 주종관계에 있다.
그러므로, 관심영역의 이미지에서 수많은 개체의 구성요소가 발견되더라도 사람의 구성요소가 한 개라도 발견된다면, 이 개체들은 사람을 구성하는 결합요소로 보고 사람이 착용하고 있는 것으로 생각하는 것이다. 이와 같은 경우를 주종관계에 있다고 할 수 있다. 이러한 경우 어떤 개체의 윤곽선(contour)의 합이 가장 크다 해도 그 개체가 주된 검색어로 될 수는 없다는 것이다.
만약, 인간의 구성요소가 하나도 발견되지 않았다면 그것은 종속관계가 해제되므로 구성요소가 많이 발견되었거나 개체윤곽선의합이 큰 개체(옷이나 모자,신발.. 등)가 주된 검색어로 당연하게 만들어진다. 이것을 주종관계의 가중치라 한다. 이러한 주종관계는 다양하게 만들어질 수 있다. 예를 들어 자동차와 수 천 가지의 부품들, 휴대폰과 수 백 개의 부품들, 개와 개를 치장하는 목걸이, 옷, 리본 등, TV의 스피커, 모니터, 스탠드 등, 수 백 개의 부품들, 나무와 나무에 기생하는 식물들, 밥상 위의 반찬, 수저,…, 등의 유연관계를 이해하면 정확도를 높일 수 있기 때문에 만들어진 가중치이다.
개체의 관심영역관계(1504)는“관심영역의가중치”와 같은 의미로 사용자의 입력한 이미지를 분석했을 때 어떤 개체의 윤곽선(contour)의 면적 합이 넓었을 경우, 다른 검색조건이 없다면 사용자의 관심개체를 윤곽선(contour)의 면적이 제일 넓은 개체를 대표검색어로 만들어 검색하는 방식을 말한다.
예를 들어, 일반적인 사람이 등장한 이미지를 “개체분석”해본 결과 사람의 구성요소 10,000개 중 300개, 반지의 구성요소 500개 중 200개, 목걸이의 구성요소 600개 중 300개로 구성된 것으로 분석되었다면, 여기에서 주된 검색어는 사람, 반지, 목걸이 중 당연하게 구성요소 비율이 제일 높게 검색된 목걸이가 될 수 있다. 그러나 각각 개체 구성요소의 윤곽선(contour) 면적의 합으로 보면 사람이 주인공으로 되는 검색어가 만들어진다. 이것은 윤곽선(contour)의 면적에 대한 가중치가 있기 때문이다. 다르게 말하면 구성요소에 면적을 고려해야만 주 관심부분을 이해했다고 보는 분석방식이다. 여기에서 사용되는 관심영역에는 면적, 이미지중심배치, 동일개체복수검색 등의 요소도 병용 적용될 수 있다.
개체의 “인위적비중관계”(1506)는 개체의 구성요소를 시간적 특성으로 분석할 때 일어나는 변수를 보완하기 위한 특성분석이다. 개체의 모든 구성요소는 자연적으로 변하는 요소가 있지만 강제적으로 변화시키는 방법이 있다. 어떤 구성요소를 외부의 힘을 빌어 더 낡아 보이게 하거나, 어떤 구성요소에 외부의 힘을 빌어 시간의 함수를 줄이는(젊어 보이게 하는)방식들이 있다. 또한, 어떤 개체를 복제하거나 모방을 할 경우 원본과 카피본의 차이를 분석하여 적용해줄 필요가 있다. 다른 예로는 창작작품이나 예술작품을 분류하거나 분석하는 정보를 제공할 필요가 있다. 이렇게 본질적이거나 결합적인 방법이 아닌 인위적인 작용이 구성요소분석에 장애요인으로 작용하는 것을 줄이기 위한 방법으로 적용하는 특성분석방식이다.
도 16을 참조하면, 개체별다중구성요소분석모듈(102)은 검색엔진(104)과 연결되고, 검색엔진에는 다차원인덱스발생기컴포넌트(1602), 검색인덱스(1604), 결과검색구성요소(1606)가 구비된다.
이는 다차원이미지검색시스템(100)의 다른 실시형태로서, 시스템(100)의 대안의 측면은 검색엔진(104)이 결과검색컴포넌트(1006), 다차원인덱스발생기 컴포넌트 (1602), 및 검색인덱스(1604)를 포함할 수 있다는 것을 나타내고 있다.
동작을 설명하면, 이들 3개의 서브컴포넌트(1602, 1604, 1606)는 검색 질의와 관련하여 다차원 항목들을 동적으로 인덱싱 및 검색하는 것을 용이하게 해줄 수 있다.
상기한 바와 같이, 한 측면에서, 검색엔진(104)은 검색가능 항목들로부터 시각적 정보를 추출하기 위해, 예를 들어, 결과검색컴포넌트(1606)를 통해 개체별다중구성요소분석 시스템을 이용할 수 있다. 다른 측면에서, 이러한 이미지 정보의 추출은 도 16에 나타낸 바와 같이 인덱싱 시스템의 일부로서 수행될 수 있다. 도 16에 나타낸 측면에 따르면, 다차원인덱스발생기컴포넌트(1602)는 데이터 항목(예를 들어, 이미지데이터, 동영상데이터, 그래픽데이터, 등)과 연관된 특징들에 기초하여 인덱스(1604)를 작성할 수 있다.
도 17을 참조하면, 개체별다중구성요소분석모듈(102)에는 이미지분석모듈(1702), 동영상분석(1706), 그래픽분석모듈(1710)이 구비되고, 다차원인덱스발생기컴포넌트(1602)에는 이미지분석모듈(1704), 동영상분석모듈(1708), 그래픽분석모듈(1712)이 구비되며, 개체별다중구성요소분석모듈(102)은 다차원인덱스발생기 컴포넌트(1602)와 연결되고 다차원인덱스 발생기컴포넌트(1602)는 검색인덱스 (1604)와 연결된다.
도 17의 시스템(100)의 개체별다중구성요소분석모듈(102)은 다차원인덱스발생기 컴포넌트(1602) 각각이 이미지분석모듈(1702,1704), 동영상분석모듈(1706,1708), 및 그래픽분석모듈(1710,1712)를 포함할 수 있다는 것을 나타내고 있다. 각각의 컴포넌트(102,1602)가 컨텐츠 분석기 컴포넌트(1702-1712)를 포함하는 것으로 도시되어 있지만, 입력 및 검색가능 항목들 내에 각각 포함된 특징들을 찾기 위해 개체별다중구성요소분석모듈(102)은 물론 다차원 인덱스 발생기(1602)에 의해서도 단일 세트의 컨텐츠 분석기 컴포넌트가 제공되어 이용될 수 있다는 것을 생각할 수 있다.
상기한 바와 같이, 서브컴포넌트(1702-1712) 각각에 의해 시스템은 입력은 물론 검색가능 항목으로부터 특징들을 추출할 수 있다. 한 측면에서, 이 특징 추출에 의해 사용자 입력이 분석될 수 있고 그 다음에 이 추출된 특징들로부터 검색 질의를 확정할 수 있다. 다른 측면에서, 이 특징 추출은 검색가능 항목들의 자동적이고 동적인 인덱싱을 용이하게 해준다.
바꾸어 말하면, 이 인덱싱 메카니즘에 따르면, 본 시스템은 검색가능 항목들로부터 특징들을 자동적으로 또는 동적으로 추출할 수 있고 그 다음에 하나의 특정 질의 또는 일련의 특정 질의에 기초하여 이 특징들이 검색될 수 있게 해준다.
개체별다중구성요소분석모듈(102)내의 이미지분석모듈(1702, 1704), 동영상분석모듈 (1706, 1708), 및 그래픽분석모듈(1710, 1712)은 모두 이미지 내의 식별된 패턴들로부터 추출되는 통계적 정보 및 선험적 지식에 기초하여 데이터의 패턴을 분류할 수 있는 기계 학습 및 추론(machine learning and reasoning, MLR)의 영역 내의 한 분야를 말할 수 있다. 종종, 분류된 패턴들은 적절한 다차원 공간에서의 점들을 정의하는 측정치들이거나 관찰 결과들의 그룹이다.
개체별다중구성요소분석시스템은 색구성 특징, 질감특징, 외형선 특징들을 이용하여 상기한 바와 같이 분류 또는 기술될 관찰 결과들을 수집한다. 또한, 개체별다중구성요소분석시스템은 추출된 특징들에 기초하여 관찰 결과들을 실제로 분류 또는 기술하는 분류 또는 기술 메카니즘을 포함할 수 있다. 이미지 분석은 개체별다중구성요소분석시스템에의 입력인 디지털 이미지에 관한 패턴 인식의 한 형태이다.
도 18을 참조하면, 결과구성컴포넌트(1802)에는 카테고리컴포넌트(1902), 필터 컴포넌트(1904), 순위지정컴포넌트(1906), 정렬컴포넌트(1908)이 구비된다.
다차원이미지검색시스템이 결과구성컴포넌트(1802)를 포함하고 있는 시스템(100)의 대안의 측면이 도시되어 있다. 동작을 설명하면, 결과구성컴포넌트(1802)는 결과를 원하는 방식으로 필터링, 정렬, 인덱싱, 순위 지정하고 그에 따라 디스플레이하는 것을 용이하게 해줄 수 있다. 한 구체적인 예에서, 본 발명의 특징은 검색 결과가 보다 이미지중심의 형태를 취할 수 있게 해주는 것이다.
예를 들어, 검색 결과로서 적어도 하나 이상의 이미지 형태로 제시될 수 있으며, 검색된 이미지에는 이미지의 어느 부분이 사용자가 검색 요구한 부분과 같은 부분이라는 것을 표시해줄 수도 있다. 동영상에서의 검색결과표기는 전통이미지처럼 별도의 자료로 표현하기가 어렵다. 왜냐하면 검색된 파일 전부를 봐야만 검색된 부분을 알 수 있기 때문이다.
그러므로 동영상에서의 검색결과 표기는 검색된 동영상의 시간 축에 동기 된 부분에 검색동영상이 나오는 부분에만 별도의 표시를 할 수 있다. 이것은 같은 동영상 내에서 여러 곳에서 검색결과가 각각 다르게 나타날 수 있기 때문이다. 그러므로 동일 동영상 내에 검색되는 모든 부분을 표시하는 것이 가장 좋은 방법이다. 그러면 사용자는 표시된 부분에서 플레이를 누르면 검색동영상(이미지)을 볼 수 있다.
여기에서도 동영상이미지마다 검색된 부분에 별도의 표시를 할 수도 있다. 물론 부분별로 보거나 나온 전체를 볼 수가 있다. 또한 발견되지 않은 부분만 “inverse”기능을 이용해 볼 수 도 있다. 그러므로 검색된 정보는 그에 따라 높은 파악성(glanceability)을 용이하게 해줄 수 있다.
동영상 검색의 예를 보자. 어떤 아이가 실종이 되었다. 그래서 주변의 녹화 자료를 확보했다. 혹시 발견될지 모르므로 본 시스템에 녹화자료를 등록한 후 실종아이의 이미지나 동영상자료를 검색이미지로 입력한다. 그리고 카테고리에서 내가 입력한 동영상(녹화자료)에서 검색하기를 지정한다. 그러면 그 동영상 내에서 실종된 아이의 정보가 나오는 모든 프레임을 보여 준다. 이렇게 분석하면, 수많은 CCTV정보도 순식간에 검색하여 실종 아이와 관련된 정보를 검색해낼 수 있다. 상기한 바와 같이 녹화자료 중 실종 아이와 관련된 부분만 볼 수가 있으므로 수많은 녹화자료에서 검색하는 시간을 현저하게 줄일 수 있다. 만약 실종 아이의 다른 모든 정보도 알고 싶다면 카테고리를 지정하지 않고 검색을 하면 실종 아이에 대한 공개되거나 노출된 모든 정보를 검색해낼 수 있다. 당연하지만 합법적인 방법 한도 내에서 실행한다.
또 다른 예를 보자. 나는 유명배우 “아놀드”의 팬이다. 그러나 그의 영화모두를 보기에는 시간이 부족하니까. 그 영화 중에서 “아놀드”가 나오는 곳만 본다고 했을 때. 사용자는 “아놀드”의 자료를 입력하고, 옵션으로 문화나 영화의 카테고리를 선택하면 그 영화배우가 나오는 모든 컨텐츠가 검색될 것이다. 그 검색된 모든 컨텐츠에서 “아놀드”가 나온 부분만 볼 수가 있다. 당연하게 영화 전체를 볼 수도 있고, 주인공이 등장하는 부분만 볼 수도 있고, 반대로 나오지 않는 부분만 볼 수도 있다. 이와 같은 것은 뮤직비디오에서 내가 좋아하는 “아이돌”이 나오는 부분의 뮤직비디오의 시청도 가능하게 해줄 수 있다.
도 19는 본 발명의 한 측면에 따른 예시적인 결과구성컴포넌트(1802)를 나타낸 것이다. 도시된 바와 같이, 결과구성컴포넌트(1802)는 카테고리컴포넌트(1902), 필터컴포넌트(1904), 순위지정컴포넌트(1906), 및 정렬컴포넌트(1908)를 포함할 수 있다. 이들 컴포넌트 각각은 원하는 우선순위 및 다차원 컨텍스트에 따라 검색 결과의 렌더링에 영향을 주는 데 사용될 수 있다.
예를 들어, 적어도 부분적으로 시간, 장소, 장치 컨텍스트(Context), 기타 등등에 기초하여 검색 결과들의 일부분을 관심영역에서 검색하기 위해 카테고리컴포넌트(1902)를 지정하거나, 자동적으로 필터링하기 위해 필터 컴포넌트(1904)가 이용될 수 있다. 각각의 시나리오에서, 필터 컴포넌트(1904)는 부수적인 다차원 요인들에 기초하여 적절한 정렬 또는 필터링 기준을 추론할 수 있다. 이와 유사하게, 결정되거나 추론된 컨텍스트 또는 부수적인 다차원 데이터에 기초하여 결과를 정리하기 위해 순위 지정 컴포넌트(1906) 및 정렬 컴포넌트(1908)가 이용될 수 있다.
도 20을 참조하면, 다차원이미지검색시스템(100)이 관심영역지정모듈(2000)를 포함하고 있는 시스템(100)의 대안의 측면이 도시되어 있다. 동작을 설명하면, 관심영역지정모듈(2000)은 내용기반으로 이미지 검색하려면, 제일 중요한 것이 입력된 이미지가 관심영역인지 확인하는 것이다. 이미지검색을 할 때 일반적으로 “관심영역”을 표시하지 않는다면, 이미지 전역에 걸쳐서 특성 값을 찾아내므로 전체를 이해하는 방법으로는 유효하지만 사용자가 관심을 갖는 대상을 중심으로 만들어진 특성 값이 아니므로 전혀 다른 특성 값으로 분석될 수 있다.
도 21을 참조하면, 이미지편집모듈(2102)과 검색이미지지정모듈(2104)은 연결되고, 이미지편집모듈(2102)에는 이미지관심영역지정모듈(21022), 동영상관심영역지정 모듈(210224), 그래픽관심영역지정모듈(21026)이 구비되며, 검색이미지지정모듈 (2104)에는 단독및다중지정모듈(21042), 동일개체이미지 지정모듈(21044)이 구비된다.
관심영역지정모듈(2000)은 관심영역을 이미지 내에서 지정할 수 있도록 해주는 이미지편집모듈(2102)과 이렇게 지정한 영역을 검색이미지로 지정해주는 검색이미지지정모듈(2104)로 구성되어 있다. 만약 입력된 자료 전체가 관심영역이라면 확인을 선택한다. 그러면 이미지의 관심영역은 전체가 될 수 있다.
그렇지 않을 경우 관심영역의 지정은 각각 이미지와 동영상이미지, 그래픽이미지 일 때 지정방법이 다르므로 아래에서 상세 설명할 것이다. 이렇게 관심영역으로 지정된 이미지는 단독및다중지정모듈(21042)에서 세부 지정하며, 검색이미지의 보다 정확한 정보를 구하기 위하여 동일한 개체의 다양한 이미지를 입력했다면, 동일개체이미지지정(21044)에서 이를 확인해 주면 검색을 용이하게 해줄 수 있다.
도 21에서 이미지편집모듈(2102)은 이미지관심영역지정(21022)에서 검색할 입력이미지의 전체영역이 관심영역과 일치한다면 그대로 확인하고 검색을 실행하면 된다. 그러나 입력한 이미지 중 관심영역 지정이 필요한 경우에는 따로 관심영역의 지정을 하면 된다. 이미지편집모듈(2102)에서는 이미지가 입력되면 자동적으로 초점을 가진 사각형의 박스(관심존박스)가 나타나는데, 이 관심존박스는 이미지의 중심에 있다. 그러므로 중심에 있는 개체이미지 검색을 원한다면 관심존박스의 크기를 조정하여 개체의 이미지에 맞춘 다음 확인을 입력하면 검색할 이미지가 지정이 된다. 중심에 있지 않다면 관심존박스를 이동하여 원하는 곳에 초점을 맞춘 후 크기를 지정하면 된다. 이러한 관심영역은 하나의 이미지에서 단독및다중지정모듈(20142)에 의해 “관심영역”으로 지정된 이미지를 “검색” 완료되고 난 후, 자동적으로 순차 “관심영역”지정된 이미지가 검색페이지로 지정되므로 사용자는 검색 실행하거나 취소할 수 있다.
도 21에서 동영상관심영역지정모듈(21024)은 일반 이미지 검색과는 다르게 동영상을 입력하여 검색하는 것이다. 동영상은 매우 많은 프레임이 시간 축과 연동된 이미지이므로 시간 축을 변화시켜야만 한다. 이러한 행위를 동영상을 동작(플레이)시킨다 라고 말한다. 이렇게 동작되는 동영상에서 관심이미지가 보이면 동작을 정지시킨다. 그러면 나타나는 프레임을 본 시스템에서는 동영상에서 입력된 이미지로 판단한다.
이렇게 동영상으로 입력된 검색이미지에서 관심영역의 지정이 없다면, 자동 생성된 ”관심존박스”가 나타났다 하더라도 검색을 실행하면 된다. 이것은 관심프레임의 이미지전체를 관심영역으로 판단하였다고 분석되기 때문에 선택된 프레임의 특성분석을 한 후 이미지의 검색을 실행한다.
만약 관심영역지정을 할 경우에는 스톱된 프레임에서 “관심존박스”를 이동시키고, 크기를 변화시킨 후 확인을 하면 동영상에서의 이미지검색이 실행되는 것이다.
만약 사용자가 동영상을 입력한 후 동영상을 동작시키지 않고 바로 검색을 실행하면, 본 시스템에서는 입력된 동영상 전체의 특성 값을 분석해서 결과를 도출해낸다. 이러한 경우 사용자는 입력한 동영상 전체를 분석한 결과이므로 원하는 결과가 아니라고 판단하면, 다시 동영상을 동작시켜 프레임형태의 동영상이미지 검색을 실행할 수 있다.
도 21에서 그래픽이미지관심영역지정(21026)은 그래픽이미지 즉, 조성된 이미지인데, 이것은 말 그대로 하나의 이미지를 변화시키거나 다중의 이미지를 가지고 하나의 이미지를 만든 경우를 말한다. 여기에서 말하는 그래픽(Graphic)이란 사진, 드로잉, 라인 아트, 그래프, 다이어그램, 타이포그래피, 숫자, 기호, 기하학 디자인, 지도, 도면, 포스터, 기타 이미지를 포함할 수 있다. 정의에서도 알 수 있듯 예술성이나 상업성이 많이 포함된 이미지를 그래픽이미지라 한다. 여기에서는 전통적인 의미에 기존의 이미지나 동영상에 별도의 이미지도구(예를 들면, 그래픽패드, 터치패드 등)를 이용하여 부가적인 의미를 부여하는 복합이미지도 포함하고 있다.
이러한 이미지가 입력되었다면 기존의 구성요소분석이나, 이미지초점, 광원초점 등의 특성분석은 그 검색 효율적인 면에서 매우 낮은 결과치를 만들어낼 수도 있다.
그러므로 이러한 경우에는 여기에서 관심영역은 복수로 선택하는 것이 좋은 결과를 만들어낼 수 있다. 예를 들면, 포스터이미지를 분석할 경우 이미지를 편집했으므로 이미지초점이 여러 개가 등장할 수 있으며, 광원의 초점도 다중으로 분석될 것이다. 뿐만 아니라 예술적인 부분도 포함될 수도 있다.
이러한 경우 사용자는 관심영역을 초점이 다른 사진을 모두 각기 선택하고, 예술적인 부분도 각기 선택한다면, 이들을 모두 만족하는 검색어를 만들어내므로 보다 사용자의 요구에 근접할 수 있는 결과를 추출해 낼 수 있다.
도 22를 참조하면, 다중이미지등록모듈(2200), 개체별다중구성요소분석모듈(102), 검색엔진(104)이 하나의 검색시스템(100)으로 구성된다.
다차원이미지검색시스템(100)이 다중이미지등록모듈(2200)을 포함하고 있는 시스템(100)의 대안의 측면이 도시되어 있다. 동작을 설명하면, 다중이미지등록모듈(2200)은 도 23에서 보는 것과 같이 두 가지 기능이 있다.
도 23을 참조하면, 다중이미지등록모듈(2302)와 이미지코드등록모듈(2304)가 연결되고, 이미지코드등록모듈(2304)에는 이미지코드연결카테고리설정모듈(23042), 이미지다중지정설정모듈(23044)이 구비된다.
하나는 다중이미지등록모듈(2302)을 이용하여 검색도구로 사용하는 것이 있다. 예를 들면, 수많은 CC-TV자료정보에서 어떤 특정인이 들어 있는 부분을 검색하거나, 실종자의 정보를 다양하게 입력한 후 그 실종자의 정보를 등록한 정보에서 검색할 때 매우 유용하게 정보분석을 할 수 있다.
결국 특정 등록정보 내에서 자료를 분석하거나 찾아내는 도구로 사용할 수 있다는 말이다. 다른 하나는 이미지코드등록모듈(2304)로 다양의 제품의 바코드나 QR코드처럼 어떤 특정한 이미지를 코드화해서 실생활에 이용하고자 하는데 목적이 있는 기능이다.
기존의 이미지검색시스템은 이미지만을 대상으로 모든 솔루션을 제공하기 때문에 자신의 홈페이지가 있어도 바로 연결할 방법이 없다. 여러 검색엔진을 같이 이용할 경우에는 별문제이지만 이미지검색시스템만 사용할 때는 이러한 문제를 가지고 있다.
이것을 보완하기 위하여 본 시스템은 대표이미지등록이라는 방법을 사용하고 있다. 이것을 본 시스템에서는 이미지코드라 정의한다. 이미지코드를 이용하는 방법은, 사용자가 판단하기에 자신이 정보를 제공하기에 가장 적합한 이미지를 선정한다.
다시 말하면, 이미지는 로고, 상표, 본인 싸인, 특별이미지, 명함, 고유이미지 등 자신이나 설명할 대상을 대표할만한 이미지를 선정한다. 입력한 다음 이미지코드연결카테고리설정모듈(23042)를 이용하여 연결할 매체(홈페이지, 블러그, 카페, 페이스북..등)를 설정/해제하면 된다. 그러면 어떤 사용자가 대표이미지로 등록한 이미지를 검색하면 본 시스템에서 지정한 연결매체로 연결해주는 기능이다.
대표 이미지들을 사용하는 예를 보면, 화가가 본인의 싸인을 대표이미지로 연결했다 하자, 어느 날 지나가는 사람이 벽에 걸려있는 그림이 너무 좋아서 그 예술가의 정보를 더 알고 싶었다. 그래서 혹시 연락처가 있나 보니까. 그런 것은 없고 이미지코드를 등록한 이미지에 표시되는 특별마크(예를 들어 ⓘ)표시가 있어서 그림의 싸인을 이미지 휴대폰으로 찍은 다음 검색했다면, 작품이 설명될 수 있는 화가 자신의 홈페이지나 갤러리로 고객을 연결해 다양한 자신의 예술세계를 보여줄 수 있다.
로고를 대표이미지로 입력한 회사(위 로고들 참조)는 사용자가 로고만 입력하면 회사 내의 다양한 광고나 이벤트는 물론, 기업설명을 할 수 있는 곳으로 연결해서 사업에 적극 이용할 수 있다. 또 다른 예로 간판을 입력했다면 지나가는 사람이 간판을 찍어서 이미지 검색하면 전화번호로 연결해줄 수도 있고, 오늘의 특선메뉴를 소개해줄 수도 있다. 교과서의 어떤 실험하는 사진을 대표이미지로 등록했다면, 이 실험이미지를 입력하면 책을 만든 저자가 지정한 실험실로 바로 연결해서 정확한 학습을 지도받을 수 있다. 또한, 명함을 대표이미지로 했다면 명함을 입력하는 사람에게 본인의 다양한 정보를 제공해줄 수 있다.
본 시스템에서 이미지의 등록은 어떤 장비나 기기의 설명에 이용하면 매우 유용하다. 오래된 기기에 안내되어있는 전화나 AS망의 연락처도 세월 앞에서는 그 진실성을 의심받을 수도 있으며, 나아가 제작사에게는 신뢰도를 떨어뜨리는 문제도 야기할 수 있는데, 이러한 오래된 기계나 장비 또는 가전제품이라도 본 시스템에서 “이미지코드”라고 대표이미지만 등록하면 아주 효율적인 생산제품의 관리를 할 수 있다. 이러한 것은 바코드나 QR코드가 인쇄나 등록되어 있지 않더라도 대표 이미지등록만 하고, 고객이 사진을 찍어 이미지 검색하면 자동연결 해준다는 메시지를 공지한다면 고품위의 서비스를 해줄 수 있다.
이것은 기존의 바코드나 QR코드를 이용하려면 필요했던 관련전문성도 필요 없다. 본인이 이미지를 찍어서 등록만 하면 되고, 언제라도 이미지 정보를 수정할 수 있는 장점이 있다. 옛날간판이나 광고탑이라도 이미지코드 등록만 하면 살아있는 광고를 해줄 수 있다는 말이다. 다시 말하면 기존의 방식은 RF칩이나 QR코드나 바코드 등을 미리 설치하지 않으면 불가능했던 것을 별도의 비용을 추가하지 않아도 스마트광고로 사용할 수 있음을 의미한다.
도 24를 참조하면, 본 발명에 따른 예시적인 컴퓨팅 환경(2400)의 개략 블록도가 도시되어 있다. 시스템은 하나 이상의 클라이언트(들)(2402)를 포함한다. 클라이언트(들)(2402)는 하드웨어 또는 소프트웨어(예를 들어, 쓰레드, 프로세스, 컴퓨팅 장치)일 수 있다. 클라이언트(들)(2402)는, 예를 들어, 본 발명을 이용함으로써 쿠키(들) 또는 연관된 컨텍스트 정보를 가지고 있을 수 있다.
시스템은 또한 하나 이상의 서버(들)(2404)를 포함한다. 서버(들)(2404)도 역시 하드웨어 및 소프트웨어(예를 들어, 쓰레드, 프로세스, 컴퓨팅 장치)일 수 있다. 서버(2404)는, 예를 들어, 본 발명을 이용함으로써 변환을 수행하는 쓰레드를 가지고 있을 수 있다. 클라이언트(2402)와 서버(2404) 간의 한가지 가능한 통신은 2개 이상의 컴퓨터 프로세스 간에 전송되도록 구성된 데이터 패킷의 형태로 되어 있을 수 있다.
데이터패킷은, 예를 들어, 쿠키 및 관련된 컨텍스트 정보를 포함할 수 있다. 시스템은 클라이언트(들)(2402)와 서버(들)(2404) 간의 통신을 용이하게 해주는 데 이용될 수 있는 통신 프레임워크(2406)(예를 들어, 인터넷 등의 전세계 통신 네트워크)를 포함한다.
통신이 유선(광 섬유를 포함함) 및 무선 기술을 통해 용이하게 될 수 있다. 클라이언트(들)(2402)는 클라이언트(들)(2402)에 로컬인 정보(예를 들어, 쿠키(들) 및 관련된 컨텍스트 정보)를 저장하는 데 이용될 수 있는 하나 이상의 클라이언트 데이터 저장소(들)(2408)와 연결되어 동작한다. 이와 유사하게, 서버(들)(1404)는 서버(2404)에 로컬인 정보를 저장하는 데 이용될 수 있는 하나 이상의 서버 데이터 저장소(들)(2410)에 연결되어 동작한다.
이러한 구성을 토대로 이미지검색과 이미지코드등록이 다음과 같은 흐름을 가질 수 있다.
도 25를 참조하면, 클라이언트로부터 이미지를 입력받는 단계 2501, 클라이언트로부터 상기 이미지의 관심영역을 입력받는 단계 2502, 클라이언트로부터 입력이미지검색여부를 입력받는 단계 2503이 차례로 진행된다.
클라이언트로부터 입력이미지등록여부를 입력받는 단계 2504, 상기 이미지에 대한 이미지특성인 윤곽선, 이미지초점좌표, 이미지광원좌표를 분석하는 단계 2505, 상기 이미지에 대한 색구성, 질감, 윤곽선에 대한 정보와 구성요소간 주종관계, 관심영역관계, 변형정보를 분석하여 이미지가중치를 부여하는 단계 2506이 차례로 수행된다.
상기 이미지에 대한 특성과 가중치를 색인으로 생성하는 단계 2507, 클라이언트로부터 이미지코드등록여부를 입력받는 단계 2508, 상기 이미지코드에 대한 연결카테고리를 입력받는 단계 2509가 차례로 진행된다.
클라이언트로부터 입력된 이미지를 이미지코드로 등록하는 단계 2510, 상기 이미지코드에 대한 색인과 링크된 정보를 데이터베이스에 저장하는 단계 2511이 차례로 수행된다.
또한, 상기 이미지의 카테고리에 대하여 카테고리설정여부를 입력받는 단계 2512, 카테고리를 입력받아 지정하는 단계 2513, 카테고리지정완료여부를 입력받는 단계 2514가 차례로 진행된다.
상기 이미지에 대한 이미지특성인 윤곽선, 이미지초점좌표, 이미지광원좌표를 분석하는 단계 2515, 상기 이미지에 대한 색구성, 질감, 윤곽선에 대한 정보와 구성요소간 주종관계, 관심영역관계, 변형정보를 분석하여 이미지가중치를 부여하는 단계 2516, 분석된 이미지의 특징들을 색인으로 생성하는 단계 2517이 차례로 수행된다.
미리 저장된 데이터베이스의 특징들과 상기 이미지의 특징들을 비교하여 이미지검색을 실행하는 단계 2518, 상기 특징들과 유사한 이미지들을 검색결과로 표시하는 단계 2519가 차례로 진행된다.
다음으로, 윤곽선을 이용하여 계속 연접한 윤곽선을 찾아내어 소그룹을 만드는 방법을 예시해본다.
도 26은 상단우측의 원본이미지에서 윤곽선이 5개가 발견되었다고 가정할 때 윤곽선들이 만들어내는 소그룹이 만들어지는 과정을 설명한 것이다. 1번 윤곽선이 세 번째 손가락일 경우 만들어낸 연접한 윤곽선들의 소그룹 #01, 2번 윤곽선이 네 번째 손가락일 경우 만들어낸 연접한 윤곽선들의 소그룹 #02, 3번 윤곽선이 다섯 번째 손가락일 경우 만들어낸 연접한 윤곽선들의 소그룹 #03, 4번 윤곽선이 오른쪽 눈동자일 경우 만들어낸 연접한 윤곽선들의 소그룹 #04, 5번 윤곽선이 왼쪽 눈동자일 경우 만들어낸 연접한 윤곽선들의 소그룹 #05를 도시한 것이다.
도 27은 도 26에서 윤곽선(폐곡선)을 이용하여 계속 연접한 윤곽선들을 찾아내어 윤곽선 #01, #02, #03, #04, #05가 만들어낸 소-그룹을 다층으로 만들어 분석하는 방법을 도시한 것이다. 이러한 소-그룹은 윤곽선의 수와 정확하게 일치한다. 이렇게 만들어진 소-그룹은 투명아크릴로 만든 다층의 레이어와 같아서 투명 아크릴층을 계속 적층해서 보면 어떤 개체의 구성요소 인지를 정확하게 분석해낼 수 있다. 그것은 윤곽선들이 만들어내는 중심선을 찾아내는 것으로 분석한다는 말이다. 왜냐하면 윤곽선 자체는 작은 변수인 빛이나 간섭 등에 의해서도 변할 수 있지만 윤곽선이 만들어내는 중심선은 상대적으로 변화가 적다는 것에 중점을 둔 분석방식이다. 이러한 것은 투명아크릴층으로 표현되는 윤곽선이 만들어낸 소-그룹의 다양한 조합으로 중심선들의 진위 여부를 분석할 수 있으므로 구성요소분석의 신뢰성을 높일 수 있다.
도 28에서 보면, 도 27에서 윤곽선들이 만들어내는 중심선들 중에서 연접한 중심선들을 연결하여 다각형을 만들어내면 개체 고유의 다각형 조합을 찾아낼 수도 있으며, 이러한 다각형들은 개체구성요소들간의 상관관계를 분석하는데 본 시스템에서 매우 중요한 기초 자료가 된다.
Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
In the terminology used in this application, a module is a logical part of a program that performs a well-defined one, and is used as a relatively independent part of a large system. It's meant to be a complete program.
"System" here refers to computer-related entities, hardware, a combination of hardware and software, and software. A component may be, but is not limited to, an object, an element of an object, an executable, a processor running on a processor, a processor, a program, a computer. For example, it may be to create an object or form, or both an application and a server running on a system or module may be a component.
There can be more than one component in a process or thread, and the components can be on one computer, but they can be distributed between two or more computers.
Also, as used herein, “inference” refers to a processor that infers or infers the state of a system or user from a series of observations captured through execution instructions or data, where inference refers to a particular situation or action. Can be used to identify, for example, generating a probability distribution over states.
The terms "screen", "web page", and "page" in terms of displaying information to the user are generally used interchangeably herein. The page or screen may be stored or transmitted as a display description, as a graphical user interface, or by other means of displaying information on the screen (e.g., a personal computer, PDA, mobile phone, or other equivalent device). The layout and information or content to be displayed in is stored in a memory, a database, or other storage means.
Referring to FIG. 1, the multi-dimensional
In other words, the multidimensional
The multi-dimensional
When pattern analysis of the search image and other features and attributes are found in the system, a search query may be written and forwarded to the
While conventional systems can represent the results in various data types (eg, text, web page links, image files), the reason why these conventional systems are still text-centric is to map a search query to possible results; Because they rely on manually generated metadata (data describing other data) and tags. As long as visualizations (various images) are included, such visualizations are typically performed using user-defined metadata, and searchable items are manually tagged with metadata corresponding to the properties of this item by hand. It is.
The content-based image analysis used in some systems does not use this method but uses color histogram, texture decomposition, and appearance decomposition. These searches have been very advanced, resulting in various forms of search. At the center is the color separation method. This method is efficient for finding existing image data that has been previously analyzed and stored. However, when a search image is newly created, that is, the efficiency of the new image analysis that is not pre-analyzed is significantly lowered.
Unlike conventional search mechanisms, one feature of the multidimensional
Attributes considered in the search may include image intrinsic focus or image intrinsic light source focus or image components or correlations between image components or the size of an image or the length or origin or overall nature of a video (e.g., image or video or curriculum or There may be a form and structure of the image, including cartoon or image code or image specific information such as date of shooting or GPS or size or citation program or the like, and other attributes of the image content (pointer or URL in the graphic content ( Uniform ResourceLocator) and the like can be considered in indexing and searching.
The following scenarios are provided to add to an overall understanding of the present invention and are by no means limiting of the present invention. To this end, it will be appreciated that there may be other scenarios utilizing the features of the present invention, which additional scenarios fall within the scope of the present invention and the appended claims.
As noted above, a search according to the present invention may be performed for different dimensions. For example, the search query may include an image that is in a particular situation. Therefore, the image of the president of the Republic of Korea who enjoys skiing in a snowy ski suit in a snowy field and the bodyguard next to it can be used as input to the multi-dimensional
Referring to FIG. 2,
In other words, it illustrates a method for generating a search query from input in accordance with an aspect of the present invention. For simplicity of description, one or more of the methods (e.g., in the form of a flowchart) shown herein are shown and described in a series of acts, but in accordance with the present invention, certain acts are depicted and described herein. The invention is not limited by the order of the operations, as it may be done in a different order than or concurrently with other operations. Not all illustrated acts may be required to implement a methodology in accordance with the present invention. Therefore, Figure 2 represents the standard flow.
At 202 of FIG. 2, an input representing a particular type of data may be received. For example, this input may include data in the form including, but not limited to, an image or video image or a graphic image or the like. The input may also take the form of multidimensional data comprising two or more types of data. For example, an image and a video image may be used as an input image, and the graphic may include image data including two different images, that is, graphics, using an image and a device such as a touch pad or a graphic pad.
At 204, this input may be analyzed to identify the feature and attributes or properties associated with this input. For example, as noted above, a pattern recognition mechanism can be applied to an image document to identify the object (s) and the situation of a particular image. As a specific example, if an image is inputted to find a wild flower that is unknown and take a picture and search for it, the analysis is performed by using the pattern module and analysis of individual component and correlation between individual component. These analyzes can then be used to generate search queries.
Referring to a particular example, pattern recognition may be used to determine that this image represents “Korean wild chrysanthemum” in Namsan, Seoul. Accordingly, at 206, the extracted feature is a multiple component feature, such as the ratio of the center-to-center ratio between the petals and the stamens, pistils, which is a component of the wild chrysanthemum, petals, stalks, flower stamens, pistils, etc. A search query that satisfies may be written.
According to the search query set from the image input, the result may be retrieved, at 208. In this example, various information related to wild chrysanthemum may be retrieved. In more detail, when an image and a video of wild chrysanthemum are selected, detailed and various information can be confirmed by a method such as a web page link. At 210, these results can be rendered (eg, displayed). In addition, in the result image, the searched image of wild chrysanthemum can be displayed in a separate display method (for example, in the form of a square line box). It can also be shown as a separate display on the frame part to be expressed).
Referring to FIG. 3, a
This illustrates a method for analyzing input, according to one aspect of the present invention. At 302, as described above, the input device may be selected by default. The input device may directly receive input from any device, such as a mobile phone, a smartphone, a camera device, a video device, a graphic pad input device, a heterogeneous wireless input device, or a storage device. For example, an image input can upload an image or a video from a storage device of a computer device. In another example, an image can be uploaded from a camera device (smart device or a digital camera) using wired or wireless at the same time. have. In the graphics pad device, you can create and input the desired image or upload it by integrating with the existing image. Or a combination thereof. As will be appreciated by reviewing the following methods, most multi- and single-dimensional input devices can be used in the present invention for input.
As described above at 304, basically any image type can be received as an input. For example, the input may be an image, a video, a graphic image, a trimmed image, or a combination thereof. As will be appreciated by reviewing the following methods, the present invention can be used to analyze most multi-dimensional (or single-dimensional) inputs.
At 306, a determination is made to determine if the input includes visual data (general image). Including the visual data, at 308, the input may be analyzed with a component analysis module to determine an image search keyword.
Similarly, at 310, a determination may be made to determine if the input includes graphical visual data.
If the input includes graphical visual data, then at 312, the component analysis module can be used to determine an image keyword associated with the graphical visual data pattern analysis. For example, if the component analysis data is a graphic, graphic recognition may be used using the component analysis in relation to the graphic.
Further, at 316, a determination is made whether the input includes moving picture data (eg, video data). As in the visual image and the composition visual image, when there is video data, a main feature (eg, attributes and properties) may be determined through video frame analysis at 318. The analyzed information can be used for video image recognition using component analysis.
If the input is analyzed (eg, 306-316), then at 322 a search query can be confirmed using the collected information. Next, at 324, results related to the search query may be retrieved. As then described in more detail with reference to the drawings, these results can be organized (eg, filtered, ranked, sorted) according to the desired (category) when rendered (eg, displayed) to the user. have.
Referring to FIG. 4, the
The
Referring to FIG. 5, the contour
The contour
Therefore, the famous celebrity becomes the main search element, and the remaining elements, such as rings or necklaces, become secondary search elements, so that the famous celebrity can be made the representative search word of the search image. This is a very important fact. Because when the search image came in, the existing search method was not the component analysis method, so it was impossible to find the main search word. Therefore, when the content-based image search was performed, it was impossible to know which object element would be the search word. People, rocks, flowers, rings, necklaces… Since no object in the image is searched by the integrated precisely analyzed value to derive the result, it can be said that it was very difficult to search the image.
6 is an exemplary block diagram illustrating analysis of a video / graphic conversion module. The video / graphic
The image retrieval system needs to convert the multidimensional input data into an image that can be easily analyzed. For example, if a video image or animation is input as a search image, a frame may be selected from the video unless the entire image is searched from the data created by the temporal combination of many images. A video frame
Referring to FIG. 7, the image
In the concatenated contour
The input image is searched radially from the center of the region of interest using the analysis of “color characteristic analysis”, “texture characteristic analysis” and “appearance characteristic analysis” to find “contours” made up of the minimum number of pixels. .
Referring to FIG. 8, the concatenated contour
If there are no defined "contours" found using "color", "texture" and "outline", then a combination of contours made of more pixels can be used as "initial contours" characterizing the search image. The "contour outline" is sequentially found using the "initial value outline" thus created.
In other words, the “contour contour characteristic analysis module connected to the contour” (804), that is, the contour connected to the contour is a single connection including the contour or a contour connected to the contour, and the contour is the first concatenation of all contours equal to or larger than the contour. do. As a next step, each contiguous outline now becomes a "secondary initial value outline". This finds all contours that are concatenated with the second initial contour. Repeatedly, it stops when it can no longer find contiguous contours in the image, and the combination of the contours created so far is called the image characterization sub-group created by the primary contour. The characteristic analysis sub-groups created over several aberrations are managed and stored using the "contour group-based analysis characteristic generation module" 806. It is then sent to the “Multiple Component Analysis Module” (102) to find out if there are any elements that meet the same conditions. It's like building a building, and even if you have a column or glass window, you can't know where these objects go into the building, and what kind of building it will look like. It will be difficult to analyze as a component of an entity. But continue with another "initial outline" and do it in the same way and save it to small group # 2 and this time do you have any element that satisfies the characteristic values of
In this way, once all the small-groups have been analyzed that have the same analysis characteristic value of the number of inputs as the number of "initial outlines" found, we now create a combination of these small-groups to create a "multi-element component analysis module" ( In
In other words, if 10 "initial contours" are found in the search image, use "No. 1 initial contours" to create a transparent layer with contiguous contours including itself and the data satisfying them. Check if it is. Then, by using No. 2 “initial value outline”, another transparent acrylic layer including contiguous outlines including itself is gathered and the data is satisfied. Let's make 10 acrylic layers. If you look at only one of these acrylic layers, it is not known what it is, but when two are stacked, an invisible element can be seen. By stacking up one another, you'll recognize objects that weren't visible again. By stacking all of the acrylic layers in this way, it is easier to analyze the objects.
Here, a combination of ten layers can be analyzed for a more accurate analysis. The information analyzed here is the same as the analysis of search image analysis as a component. In other words, 500 of 10,000 components of an object are found, and 20 of 500 components of an object may be found. Another object's components… 00,… Can be analyzed as As a result, the computer analyzes the input image multiplely and finds an image similar to the input image component satisfying the condition of each component. Modifying the combination of layers analyzed in this way may enable more accurate component analysis.
In addition, no matter how analyzed the contours, it is impossible to know which elements of the object. Therefore, it is very important to analyze the correlation between the contours mentioned above. Correlation can be analyzed in this way. Every contour has a centerline. However, in order for these contours to be recognized as the contours of objects, they can be recognized when the centerlines of the contours made from several layers overlap. Analyzing the correlations of these recognized contours is the basis for analyzing the components. Correlation as used herein may refer to various polygons created by virtual centerlines between adjacent found contours.
Referring to FIG. 9, the image focus coordinate
Every object or object is made in three dimensions, so every image of the photographed photorealistic image has focus. Although the focus of the image is photographed in the same time and space, the conditions for making the image are inevitably different. Therefore, if analyzed correctly, the focus cannot be the same. Therefore, all objects in the search image may be displayed as "unique components" and "unique focal coordinate values".
In order to perform image focus coordinate analysis in the image
In FIG. 9, the object circular analysis restoring
In other words, if you know the focal coordinates of an image, you can see that the side of an image looks deformed by the angle from the focal coordinates. Therefore, there is no problem in reproducing the original shape of the side because the angle change amount is known. For example, in the component analysis, the front of the tree leaf is characterized. If there is no focal coordinate analysis of the search image, it is not easy to judge a leaf that looks slightly oblique as the component of an object. However, since we know the image focal coordinates, applying “image focal point values” to oblique leaves can analyze and restore the image to the exact frontal view. This is an important technical analysis method that makes it easier to analyze components even if they are different in component analysis. In conclusion, this patent, which analyzes the image of an object by the correlation between image components and components, becomes a very important analysis module.
In other words, it is assumed that the focal value of the input image is spherical (X = 0.001, Y = 0.001, Z = 0.001). I retrieved the image from the DB. If there is no such thing, we can give the answer as an image of similar coordinates. For example, suppose that a similar image presented by a search engine is searched for a spherical coordinate value (X = 0.005, Y = 0.001, Z = 0.001). Analyzing this, we can see that all the values are the same and only the X value is + 0.004. The environment in which similar images can be searched can only be described as an environment that can occur only when the same device is taken in the same place. You don't know, but you can analyze that one of your pictures was retrieved. The reason for this analysis is that there was only one side shaking. If we analyze X = 0.005 in this image and convert it to X = 0.001, we can see that the image is almost identical to the searched value. As such, the focus of the image can provide a variety of information that enables simulation.
The focus of the camera is unique, so it can act as a human fingerprint. Therefore, if you analyze and find an image using it, you can find 100% of the same image. Similar images can be found with a very high probability. However, not all images may have a clear focus and may not be one. When maximizing the magnification of the captured images, it may be difficult to analyze the image focus, and the edited image, the graphic image, the art or the created image may be found in multiple focus. Therefore, when multiple focuses are found, the characteristic analysis of the component and the focus of the light source can be analyzed together to increase the efficiency of characterization of the image.
Referring to FIG. 10, an image light source focal coordinate
This is a direct light
Therefore, the focus of light is a condition for increasing the accuracy of the image retrieval system. The "focal coordinate value of light" by the light source and the "focal coordinate value of the shadow" by the light source are expressed by the same "spherical (x, y, z,) coordinate value". One factor to note is that there are many light sources that affect the image. There is raw light, and there is a light source that is reflected and irradiated to the image.
In addition, since light has the characteristics of particles and wavelengths, it is applied to "image light source focus analysis" by analyzing the interference of light or the attraction of objects.
The method of analyzing the focus of the light source is to find the focus of the light by using the extension lines of the direct light, and to analyze the focus by making the extension of the lines created by the shadow of the object. Coordinate values ”.
The focus by the light source of the image is found to be the focus (x, y, z) value of the light due to the main light in a single image as well as the focus coordinate value unique to the image. These values mean the values of x, y, and z, which are focal coordinate values of the light source. Naturally, these coordinate values can be found in many places in the image. This is because there are various light sources besides daylight. The analysis values of the interference and refraction of light by various light sources are very important for accurate light source analysis in an image.
In order to analyze a component of an entity, finding the true and false values of the components is very important. However, when finding closed curves to analyze components, the rays and shadows from the light source create numerous virtual closed curves. Therefore, by ordering the characterization program to ignore the boundary line created by the focus of the light source, that is, the angle from the focus of the light source, the error caused by the shadow or light in the image analysis can be significantly reduced. .
Referring to FIG. 11, the object essential
In the multi-object
In addition, each of these components has a color composition
Therefore, even if the components of the eye are found, if the distance ratio between the elements constituting the eye is within the bandwidth of the change, it will be greatly reduced if the object is misunderstood as another entity such as human, monkey or pig.
For example, if any of the components of the eyebrow are found, the forehead will also be seen in the contiguous contour combination, and the pupils, whites, and nose will appear as contiguous contours.
The analysis of these elements can identify the centerline and the location of the elements by multi-layer analysis of small groups of contiguous outlines using contours. The polygons created by the special correlations of the objects created by these centerlines can produce search term elements suitable for the search image.
Referring to FIG. 12, the color composition
The entity essential
Therefore, in this system, analyzing an object with an image made of various colors requires accurate color separation, but it is necessary to analyze an object by analyzing the part of light, shade, saturation, brightness, etc. caused by the light source affecting the color. To increase efficiency.
Referring to FIG. 13, the texture
The object essential
Referring to FIG. 14, an outline
The object essential
Referring to FIG. 15, the coupling conditional
In the multi-objective
For example, a person may wear clothes, wear a hat, wear shoes, socks, gloves, and so on. From a human standpoint, these objects or entities are subject to human relationships.
Therefore, even if a large number of individual components are found in the image of the region of interest, if a single human component is found, they are considered to be worn by a person as a coupling element. Such a case can be said to be a master-slave relationship. In this case, even if the sum of the contours of an object is the largest, that object cannot be the main search term.
If no human component is found, then the dependency is released, so many components are found or objects with large sums of object outlines (clothes, hats, shoes, etc.) are naturally made into the main search term. This is called the weight of the master-slave relationship. These master and slave relationships can be created in various ways. For example, cars and thousands of parts, cell phones and hundreds of parts, dogs and dog collars, clothes, ribbons, TV speakers, monitors, stands, hundreds of parts, trees and trees Plants parasitic on the table, side dishes on the table, cutlery,… It is a weight that is created because understanding the flexible relations such as
The region of
For example, if an “personal analysis” of an image of a common person is performed and is analyzed as consisting of 300 of 10,000 human components, 200 of 500 rings, and 300 of 600 necklaces, In this case, the main search word may be a necklace having the highest component ratio among people, rings, and necklaces. However, the sum of the contour areas of the individual elements creates a search term in which a person becomes the main character. This is because there is a weight for the area of the contour. In other words, it is an analysis that considers the main points of interest only by considering the area of the component. In the region of interest used here, elements such as area, image centering, and searching for the same object may also be used in combination.
An “artificial weight relationship” of an individual (1506) is a characterization to compensate for the variables that occur when analyzing a component of an object as a temporal characteristic. Every component of an entity has elements that change naturally, but there are ways to force them to change. There are ways to make an element look older by using external forces, or reduce the function of time by making an element external. Also, when replicating or copying an object, it is necessary to analyze and apply the difference between the original and the copy. Another example is the need to provide information that classifies or analyzes a work or work of art. This is a characteristic analysis method that is applied as a way to reduce the effect of artificial action on the component analysis rather than the essential or combined method.
Referring to FIG. 16, an object-specific multiple
This is another embodiment of the multi-dimensional
In operation, these three
As noted above, in one aspect, the
Referring to FIG. 17, the multiple
In the object-specific
As noted above, each of the subcomponents 1702-1712 allows the system to extract features from searchable items as well as input. In one aspect, user input may be analyzed by this feature extraction and then a search query may be confirmed from these extracted features. In another aspect, this feature extraction facilitates automatic and dynamic indexing of searchable items.
In other words, according to this indexing mechanism, the system can automatically or dynamically extract features from searchable items and then retrieve these features based on one particular query or a series of specific queries. Do it.
The
The per-object multi-component analysis system collects observations to be classified or described as described above using colorimetric features, texture features, and outline features. In addition, the individual component analysis system may include a classification or description mechanism that actually classifies or describes the observations based on the extracted features. Image analysis is a form of pattern recognition for digital images that is input to an individual component analysis system.
Referring to FIG. 18, the
An alternative aspect of the
For example, the search result may be presented in the form of at least one image, and the searched image may indicate that a part of the image is the same part as the part requested by the user. Search result notation in video is difficult to express as separate material like traditional image. This is because you only need to look at all the searched files to know what you searched for.
Therefore, the search result notation in the video can be separately displayed only in the part where the search video appears in the part synchronized with the time axis of the searched video. This is because search results can appear differently in different places within the same video. Therefore, it is best to mark all the parts searched within the same video. Then, when the user presses play in the displayed portion, the user can see the search video (image).
Here, it is also possible to separately display the searched portion for each video image. You can, of course, see the parts or the whole. You can also use the “inverse” function only on the missing part. Therefore, the retrieved information can thus facilitate high glanceability.
Let's look at an example of video search. A child is missing. So I secured recordings of surroundings. As it may be found, register the recorded data on this system and input the missing child's image or video data as the search image. And in the category, you specify to search in the video (recorded material) that I entered. The video then shows every frame of missing child information. In this way, a lot of CCTV information can also be searched in an instant to retrieve information related to missing children. As described above, only the part related to the missing child can be seen in the recorded data, which can significantly reduce the time for searching in a large number of recorded data. If you want to know all the other information about a missing child, you can do a search without specifying a category to retrieve all the public or exposed information about the missing child. Naturally, do it within the legal limits.
Let's look at another example. I am a fan of actress "Arnold". But not enough time to see all of his movies. When you say you only see the place where "Arnold" appears in the movie. The user enters "Arnold" material, optionally selects a culture or movie category, and will retrieve all the content for which the movie actor appears. You can only see the part where "Arnold" appears in all of the searched content. Of course, you can watch the whole movie, see only the part where the main character appears, or see only the part that doesn't come out. This can also allow me to watch the music video of my favorite “Idol” in the music video.
19 illustrates an
For example, to specify a
Referring to FIG. 20, an alternative aspect of the
Referring to FIG. 21, an
The region of
Otherwise, the designation of the region of interest will be described in detail below because the designation method is different for image, video image and graphic image. The image designated as the region of interest is specified in detail in the single and
In FIG. 21, if the entire region of the input image to be searched for in the image region of
In FIG. 21, the video region
If there is no designation of the region of interest in the search image input as a video, the search may be executed even if the automatically generated “interest zone box” appears. Since it is analyzed that the entire image of the frame of interest is determined as the region of interest, the image is searched after the selected frame is characterized.
If you designate a region of interest, move the “zone of interest box” on the stopped frame, change the size, and confirm the image search in the video.
If the user executes the search immediately after inputting the video without operating the video, the system analyzes the characteristic values of the entire input video and derives the result. In this case, since the user analyzes the entire input video, if it is determined that the result is not the desired result, the user can execute the video again and execute the frame image search.
In FIG. 21, the graphic image
If such an image is input, the existing component analysis, or the image analysis such as image focusing and light source focusing, may produce very low results in terms of search efficiency.
Therefore, in this case, selecting multiple regions of interest here can produce good results. For example, when analyzing a poster image, since the image is edited, multiple image focuses may appear, and the focus of the light source may be analyzed in multiple ways. It may also include artistic parts.
In this case, if the user selects all the pictures with different focus and the artistic part, the user generates a search word that satisfies them all, so that the user can extract a result closer to the needs of the user.
Referring to FIG. 22, the multiple
An alternative aspect of the
Referring to FIG. 23, a multiple
One is to use a
After all, it can be used as a tool to analyze or find data within a particular property. The other is an image
Existing image retrieval system provides all solutions for images only, so there is no direct way to connect even if you have your own homepage. This is a different issue when using multiple search engines together, but has a problem when using only an image search system.
To compensate for this, the system uses a method called image registration. This system defines this as image code. The method of using an image code selects an image that is most suitable for providing information for the user to judge.
In other words, the image selects an image representative of oneself or an object to be described, such as a logo, a trademark, an autograph, a special image, a business card, a unique image. After inputting, the image code connection
In the example of using representative images, the artist linked his autograph to the representative image. One day a passing person liked the painting on the wall so much that he wanted to know more about the artist. So if you have any contacts. There is no such thing. There is a special mark (e.g. mark) displayed on the registered image code, so if the sign of the picture is taken with an image mobile phone and then searched, the artist who explains the work can connect the customer to his homepage or gallery. You can show a variety of your own art world.
A company that enters a logo as a representative image (see above logos) can be actively used in a business by simply entering a logo and connecting to various advertisements and events within the company as well as a company description. As another example, if you enter a signboard, a person passing by can take a sign and search for images. If you register a photograph of an experiment in a textbook as a representative image, you can enter this experiment image and connect it directly to the laboratory designated by the author of the book to receive accurate instruction. In addition, if the business card as a representative image can provide a variety of information to the person entering the business card.
Registration of images in this system is very useful when used to describe a device or device. Calls from older devices or contacts on the AS network can be questioned for their authenticity in the years ahead, and can also cause problems for the manufacturer. If you register only the representative image as "image code", you can manage the product very efficiently. Even if the barcode or QR code is not printed or registered, it can provide high-quality service if only the representative image is registered and if the customer takes a picture and announces a message that the image is automatically connected.
This eliminates the need for the expertise required to use existing barcodes or QR codes. You only need to register by taking an image, and you have the advantage of modifying the image information at any time. Even old-fashioned signboards and advertising towers can provide live advertising by simply registering an image code. In other words, the existing method means that it could be used as a smart advertisement without adding an additional cost that was impossible without RF chip, QR code or barcode installed in advance.
Referring to FIG. 24, a schematic block diagram of an exemplary computing environment 2400 in accordance with the present invention is shown. The system includes one or more client (s) 2402. Client (s) 2402 may be hardware or software (eg, threads, processes, computing devices). Client (s) 2402 may have cookie (s) or associated context information, for example, by using the present invention.
The system also includes one or more server (s) 2404. Server (s) 2404 may also be hardware and software (eg, threads, processes, computing devices).
The data packet may include, for example, a cookie and associated context information. The system includes a communication framework 2406 (eg, a worldwide communication network such as the Internet) that can be used to facilitate communication between client (s) 2402 and server (s) 2404.
Communication can be facilitated via wired (including optical fiber) and wireless technologies. Client (s) 2402 may be one or more client data store (s) (which may be used to store information (eg, cookie (s) and associated context information) local to client (s) 2402). In operation 2408). Similarly, server (s) 1404 operate in connection with one or more server data store (s) 2410 that can be used to store information local to
Based on this configuration, image retrieval and image code registration can have the following flow.
Referring to FIG. 25,
Receiving whether or not the input image registration from the
A
In addition,
Analyzing contours, image focal coordinates, and image light coordinates, which are image characteristics of the image, 2515, information on color composition, texture, and contours of the image, and the master / slave relationship, region of interest relationship, and deformation information between components are analyzed.
Next, use the outlines to find a series of contiguous outlines to create a small group.
FIG. 26 illustrates a process of creating a small group of outlines assuming that five outlines are found in the original image on the upper right side. Small group # 01 of contiguous contours created when
FIG. 27 is a diagram illustrating a method of finding and continuously concatenating contours using contours (closed curves) in FIG. 26 and analyzing small-groups generated by contours # 01, # 02, # 03, # 04, and # 05 in multiple layers. It is. These small groups exactly match the number of contours. This small group is like a multi-layered layer made of transparent acrylic, so that by stacking the transparent acrylic layers, it is possible to accurately analyze the components of an object. That means analyzing it by finding the centerline that the contours produce. Because the contour itself can be changed by small variables such as light or interference, the centerline produced by the contour is relatively small. This can increase the reliability of the component analysis because it is possible to analyze the authenticity of the center lines by various combinations of small-groups produced by the contours represented by the transparent acrylic layer.
Referring to FIG. 28, when a polygon is formed by connecting contiguous centerlines among the centerlines generated by the contours in FIG. 27, an inherent polygon combination may be found, and these polygons are used to analyze correlations between individual components. It is a very important base material in the system.
100 ; 검색시스템 102 ; 개체별다중구성요소분석모듈
104 ; 검색엔진 402 ; 입력자료분석모듈
404 ; 다중개체구성요소분석모듈 502 ; 동영상/그래픽데이터변환모듈
504 ; 이미지분석특성모듈 506 ; 개체본질적구성요소분석모듈
508 ; 결합조건적구성요소분석모듈 602 ; 변환모듈
604 ; 동영상분석모듈 606 ; 그래픽분석모듈
608 ; 동영상프레임이미지변환 610 ; 그래픽이미지변환
702 ; 연접한윤곽선특징분석모듈 704 ; 이미지초점좌표분석모듈
706 ; 이미지광원초점좌표분석모듈 802 ; 윤곽선특징분석모듈
804 ; 윤곽선과연접한윤곽선특징분석모듈
806 ; 윤곽선그룹기반분석특성생성모듈
902 ; 이미지초점분석모듈 904 ; 이미지초점값분석모듈
906 ; 좌표값을이용한개체원형복원분석모듈
1002 ; 광원직사광의분석모듈 1004 ; 광원이만든그림자분석모듈
1006 ; 다초점광원에의한분석모듈 100;
104;
404; Multi-object
504; Image analysis
508; Coupled conditional
604;
608; Video
702; Concatenated Contour
706; Image source focal coordinate
804; Contour Feature Analysis Module Connected with Contours
806; Contour Group-based Analysis Feature Generation Module
902; Image
906; Object circle restoration analysis module using coordinate values
1002; Analysis module for direct
1006; Analysis module by multifocal light source
Claims (18)
상기 이미지특성분석모듈은,
윤곽선에 연접한 윤곽선을 추출하여 분석하는 연접한윤곽선특징분석모듈;
이미지의 초점좌표를 추출하는 이미지초점좌표분석모듈;
이미지의 광원초점좌표를 추출하는 이미지광원초점좌표분석모듈을 포함하는 개체별다중구성요소분석을 이용한 내용기반 다차원이미지검색시스템.
An object-specific multi-component analysis module having an input data analysis module for analyzing whether the input data is an image or a video or a graphic, and a multi-object component analysis module for extracting and analyzing contours from the input image or video or a graphic; It consists of a search engine that compares the contour information of the input data and the contour information of the data stored in the database to determine similarity and provides similar image information to the user. The input data analysis module converts video or graphic data into an image. Moving video / graphic data conversion module; And an image characteristic analysis module for analyzing the converted image, wherein the multi-object component analysis module comprises: an object-essential component analysis module for analyzing a feature of input data itself; And a combined conditional component analysis module for analyzing correlations between components, wherein the video / graphic data conversion module comprises: a conversion module for converting video and graphics into images; A video analysis module for analyzing a video according to a pre-input condition; In the content-based multi-dimensional image retrieval system using multi-component analysis of each object including a graphic analysis module for analyzing the graphics according to the pre-input conditions,
The image characteristic analysis module,
A concatenated contour feature analysis module for extracting and analyzing the contour connected to the contour;
An image focal coordinate analysis module for extracting focal coordinates of an image;
Content-based multi-dimensional image retrieval system using multiple component analysis by object including image light source focal coordinate analysis module for extracting light source focal coordinates of an image.
상기 연접한윤곽선특징분석모듈은,
입력자료에서 윤곽선을 추출하는 윤곽선특징분석모듈;
윤곽선과 연접하는 다른 윤곽선을 추출하는 윤곽선과연접한윤곽선특징분석모듈;
다수의 윤곽선에 의해 만들어진 연접한 윤곽선 소그룹을 조합으로 추출하는 윤곽선그룹기반분석특성생성모듈을 포함하는 개체별 다중구성요소분석을 이용한 내용기반 다차원이미지검색시스템.
The method according to claim 6,
The connected contour feature analysis module,
Contour feature analysis module for extracting contours from input data;
A contour feature analysis module connected to the contour for extracting another contour that is connected to the contour;
Content-based multi-dimensional image retrieval system using multi-component analysis of each object including contour group-based analysis feature generation module that extracts contiguous outline small groups created by multiple contours.
상기 이미지초점좌표분석모듈은,
이미지의 초점을 추출하는 이미지초점분석모듈;
이미지의 초점값을 추출하는 이미지초점값분석모듈;
이미지의 초점 좌표값을 기준으로 개체원형을 복원하여 복원이미지를 생성하는 좌표값을이용한개체원형복원분석모듈을 포함하는 개체별 다중구성요소분석을 이용한 내용기반 다차원이미지검색시스템.
The method according to claim 6,
The image focus coordinate analysis module,
An image focusing analysis module for extracting a focus of an image;
An image focus value analysis module for extracting a focus value of the image;
Content-based multi-dimensional image retrieval system using multi-component analysis for each object including object circular restoration analysis module using coordinate values for restoring the object prototype based on the focal coordinate value of the image.
상기 이미지광원초점좌표분석모듈은,
광원직사광을 추출하는 광원직사광의분석모듈;
광원에 의한 그림자를 추출하는 광원이 만든 그림자분석모듈;
다초점광원에 의한 이미지영역을 분석하는 다초점광원에의한분석모듈을 포함하는 개체별다중구성요소분석을 이용한 내용기반 다차원이미지검색시스템.
The method according to claim 6,
The image light source focal coordinate analysis module,
An analysis module for direct light source for extracting direct light source;
A shadow analysis module made by the light source for extracting the shadow by the light source;
Content-based multi-dimensional image retrieval system using multi-component analysis of individual objects including analysis module by multifocal light source for analyzing image area by multifocal light source.
상기 개체본질적구성요소분석모듈은,
입력자료의 색구성을 분석하는 개체의색구성특징분석모듈;
입력자료의 질감을 분석하는 개체의질감특징분석모듈;
입력자료의 윤곽선을 분석하는 개체의윤곽선특징분석모듈을 포함하는 개체별다중구성요소분석을 이용한 내용기반 다차원이미지검색시스템.
The method according to claim 6,
The individual essential component analysis module,
A color composition characteristic analysis module of an object for analyzing a color composition of input data;
Texture characteristic analysis module of an object for analyzing texture of input data;
Content-based multi-dimensional image retrieval system using multiple component analysis of each object including contour feature analysis module of the object analyzing the contour of input data.
상기 개체의색구성특징분석모듈은,
히스토그램을 분석하는 히스토그램분석모듈;
광원으로 인한 명암영역을 추출하는 광원에 의한 명암분석모듈;
색조 또는 채도 또는 명도를 추출하는 색조,채도,명도분석모듈을 포함하는 개체별다중구성요소분석을 이용한 내용기반 다차원이미지검색시스템.
The method of claim 11,
The color composition feature analysis module of the object,
A histogram analysis module for analyzing the histogram;
Contrast analysis module by the light source for extracting the contrast region due to the light source;
Content-based multi-dimensional image retrieval system using multi-component analysis by object including hue, saturation, and brightness analysis module to extract hue, saturation, or brightness.
상기 개체의질감특징분석모듈은,
패턴질감을 추출하는 패턴질감특징분석모듈;
거칠기질감을 추출하는 거칠기질감특징분석모듈;
입체특징을 추출하는 입체특징분석모듈을 포함하는 개체별 다중구성요소분석을 이용한 내용기반 다차원이미지 검색시스템.
The method of claim 11,
The texture characteristics analysis module of the individual,
A pattern texture feature analysis module for extracting a pattern texture;
Roughness texture feature analysis module for extracting a rough texture;
Content-based multi-dimensional image retrieval system using multi-component analysis of individual objects including stereoscopic feature analysis module to extract stereoscopic features.
상기 개체의윤곽선특징분석모듈은,
에지를 검출하여 분석하는 에지검출분석모듈;
미리 설정된 불필요한 잡상을 제거하는 불필요한 잡상제거분석모듈;
구성요소간 관계분석을 위한 의미적내용 분석모듈을 포함하는 개체별다중구성요소분석을 이용한 내용기반 다차원이미지 검색시스템.
The method of claim 11,
The contour feature analysis module of the individual,
Edge detection analysis module for detecting and analyzing the edges;
Unnecessary object removal analysis module for removing the unnecessary unnecessary object preset;
Content-based multidimensional image retrieval system using multiple component analysis by object including semantic content analysis module for relationship analysis between components.
상기 결합조건적구성요소분석모듈은,
개체간 주종관계를 추출하는 개체간주종관계모듈;
사용자로부터 입력된 관심영역인지 여부를 체크하는 관심영역관계모듈;
변형여부를 검출하여 변형영역을 추출하는 변형분석모듈을 포함하는 개체별 다중구성요소분석을 이용한 내용기반 다차원이미지 검색시스템.The method according to claim 6,
The coupling conditional component analysis module,
An inter-subject slave relationship module for extracting a subordinate relationship between entities;
A region of interest relationship module configured to check whether the region of interest is input from a user;
Content-based multi-dimensional image retrieval system using multi-component analysis of each object including deformation analysis module to detect deformation and extract deformation area.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110127000A KR101363374B1 (en) | 2011-11-30 | 2011-11-30 | Multiple level image search system using multiple element analysis |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110127000A KR101363374B1 (en) | 2011-11-30 | 2011-11-30 | Multiple level image search system using multiple element analysis |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130060766A KR20130060766A (en) | 2013-06-10 |
| KR101363374B1 true KR101363374B1 (en) | 2014-02-14 |
Family
ID=48859131
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110127000A KR101363374B1 (en) | 2011-11-30 | 2011-11-30 | Multiple level image search system using multiple element analysis |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101363374B1 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102016545B1 (en) | 2013-10-25 | 2019-10-21 | 한화테크윈 주식회사 | System for search and method for operating thereof |
| KR101941693B1 (en) | 2017-05-31 | 2019-01-24 | 서강대학교산학협력단 | Method and system for content based image search |
| KR102457568B1 (en) * | 2017-09-29 | 2022-10-21 | 삼성전자주식회사 | Electronic device for providing image associated with input information and operating method thereof |
| KR20210055962A (en) | 2019-11-08 | 2021-05-18 | 박소희 | payment basket |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007109130A (en) * | 2005-10-17 | 2007-04-26 | Fujifilm Corp | Image retrieval device, method, and program |
-
2011
- 2011-11-30 KR KR1020110127000A patent/KR101363374B1/en not_active IP Right Cessation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007109130A (en) * | 2005-10-17 | 2007-04-26 | Fujifilm Corp | Image retrieval device, method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20130060766A (en) | 2013-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10049308B1 (en) | Synthesizing training data | |
| Cheng et al. | Use of tencent street view imagery for visual perception of streets | |
| Greene et al. | Visual scenes are categorized by function. | |
| Mazza | Introduction to information visualization | |
| US8126907B2 (en) | Commercial shape search engine | |
| Schertz et al. | A thought in the park: The influence of naturalness and low-level visual features on expressed thoughts | |
| CN106201535A (en) | The method and apparatus that toolbar background color converts along with the domain color of picture | |
| KR102102571B1 (en) | System and method for providing online shopping platform | |
| CN107729361A (en) | It is automatically synthesized picture method for pushing, device and storage medium | |
| KR101363374B1 (en) | Multiple level image search system using multiple element analysis | |
| Arnold et al. | Distant viewing: computational exploration of digital images | |
| CN106909684A (en) | Panoramic picture is retrieved and methods of exhibiting | |
| Fiallos et al. | Detecting topics and locations on Instagram photos | |
| CN107506362A (en) | Image classification based on customer group optimization imitates brain storage method | |
| Zhong et al. | Notice of Violation of IEEE Publication Principles: A Big Data Framework to Identify Tourist Interests Based on Geotagged Travel Photos | |
| Bogucka et al. | Cartographic design of cultural maps | |
| Lonn et al. | Smartphone picture organization: A hierarchical approach | |
| Stacchio et al. | Toward a holistic approach to the socio-historical analysis of vernacular photos | |
| Tsai et al. | Album-based object-centric event recognition | |
| CN105740360B (en) | Method for identifying and searching classical titles in artwork images | |
| Matthews et al. | Designing glanceable peripheral displays | |
| Blaney et al. | Photography in India: From archives to contemporary practice | |
| Stacchio et al. | Imago: A family photo album dataset for a socio-historical analysis of the twentieth century | |
| Artese et al. | Good 50x70 project: a portal for cultural and social campaigns | |
| Dong et al. | Customer visual perception of indoor environments: computer vision analysis of social media photos of cafes in China |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant | ||
| LAPS | Lapse due to unpaid annual fee |