KR20210097347A - 인공지능 기반 이미지 검색 방법 및 장치 - Google Patents

Abstract

인공지능 기반 이미지 검색 방법이 개시된다. 본 발명에 따른 인공지능 기반 이미지 검색 방법은 이미지 검색엔진 검색 결과에 기초하여 검색 이미지 및 이미지 주소 중 적어도 하나를 포함하는 검색 정보와 사용자 질의를 획득하는 단계, 획득된 상기 사용자 질의의 종류에 기초하여 키워드-카테고리 조합을 검출하는 단계, 검출된 상기 키워드-카테고리 조합과 매치(match)되는 캐시 데이터의 존재 여부를 판단하는 단계, 상기 키워드-카테고리 조합과 매치되는 캐시 데이터가 존재하지 않는 경우 획득된 상기 검색 정보에 대한 인공지능 기술 기반 객체 검출을 통해 객체-카테고리 조합을 생성하는 단계, 획득된 상기 키워드-카테고리 조합과 상기 객체-카테고리 조합 간의 매칭을 수행하여 매칭이 되는 경우 상기 객체-카테고리 조합이 검출된 이미지를 표시하는 단계 및 상기 키워드-카테고리 조합과 상기 검색 정보를 맵핑하여 새로운 캐시 데이터로 저장하는 단계를 포함한다.

Description

인공지능 기반 이미지 검색 방법 및 장치{METHOD FOR IMAGE SEARCHING BASED ON ARTIFICIAL INTELLIGENCE AND APPARATUS FOR THE SAME}

본 발명은 이미지 검색 방법 방법 및 장치에 관한 것으로, 상세하게는 인공지능 기술 및 검색엔진을 이용한 인공지능 기반 이미지 검색 방법 및 장치에 관한 것이다.

기존의 검색엔진에서 사용자가 원하는 이미지를 검색하기 위해서는 사용자가 입력한 질의를 이미지에 부착된 텍스트 정보와 매칭시키는 색인 방식이 널리 이용되고 있다. 하지만, 이러한 텍스트 기반의 이미지 검색 기술은 이미지에 대한 텍스트 정보와 사용자 질의를 매칭시키는 기술이 뛰어나더라도 이미지를 설명하는 텍스트 자체가 잘못되었다면 검색결과의 정확도가 떨어지는 한계가 있다.

또한, 텍스트 기반 질의에 기초한 이미지 검색 기술은 이미지에 부착된 카테고리 코드에 해당하는 색인(index)에 기반하므로 질의(query) 별 라벨링(labeled)된 이미지 수에 따라 최종 결과에 바이어스(bias)가 발생할 수 있다. 또한, 종래 텍스트 기반 질의에 기초한 이미지 검색 기술은 단어 기반 매칭(matching)이 주를 이루기 때문에 사용자가 검색하는 이미지와 관련이 없어도 잠정적으로 검색된 이미지 주변에 사용자가 검색한 질의, 사진, 또는 그림과 관련된 텍스트가 있으면 이를 최종 검색 결과로서 사용자에게 제공하게 되는 문제가 있다.

이와 같은 문제를 해결하기 위해 종래의 텍스트 기반의 이미지 검색에서는 최적 랭킹 시그널에 기초한 랭킹 알고리즘들을 변형적용하여 사용자가 검색한 텍스트 기반 질의에서 뽑아낸 키워드와 검색된 이미지의 파일명 또는 이미지 주변의 단어가 상호간에 정확하게 일치하지 않아도 매칭 시키는 방법 등을 이용하였다.

그러나 검색 엔진을 위한 랭킹 시그널 기술을 자체적으로 개발하는 경우 시간적으로나 비용적으로 많은 자원이 필요하고, 타업체가 제공하는 검색엔진을 사용하는 경우에는 관련 핵심 기술이 공개되지 않은 경우가 많아 응용 및 연동을 위한 커스터마이징(customizing)이 용이하지 않다. 또한 랭킹 알고리즘은 매칭 수행 후에 적용되기 때문에 매칭 단계부터 잘못되는 경우에는 랭킹 알고리즘이 우수하더라도 최종 검색 결과가 제한적일 수 있다. 이외에도 이미지 관련 정보와 사용자 질의를 매칭시키는 기술이 우수해도 이미지를 설명하는 텍스트 자체에 오류가 있으면 결과적으로 이미지 검색 결과의 성능은 떨어지는 문제가 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 사용자 질의에 기초한 이미지 검색을 수행하는 경우 검색 엔진에서 사용자의 질의 요청에 대한 검색 수행 시 인공지능 기술을 활용하여 사용자의 검색 질의에 대한 자연어 처리 분석 결과 및 객체 검출 분석 결과와 검색 엔진에서 수집한 결과 이미지들에 대한 객체 검출 결과를 비교해서 상호 부합되는 이미지만을 최종적으로 사용자에게 검색결과로서 제공하는 인공지능 기반 이미지 검색 방법 및 장치를 제공하는 데 있다.

본 발명의 다른 목적은 사용자가 원하는 정확한 이미지 검색 결과를 보여주기 위하여, 기존 검색엔진을 기반으로 인공지능 기술에 기초한 자연어 처리 및 객체 인식을 이용해서 사용자가 원하는 이미지를 높은 정확도로 검색하여 제공하는 인공지능 기반 이미지 검색 방법 및 장치를 제공하는 데 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 인공지능 기반 이미지 검색 방법은 이미지 검색엔진 검색 결과에 기초하여 검색 이미지 및 이미지 주소 중 적어도 하나를 포함하는 검색 정보와 사용자 질의를 획득하는 단계, 획득된 상기 사용자 질의의 종류에 기초하여 키워드-카테고리 조합을 검출하는 단계, 검출된 상기 키워드-카테고리 조합과 매치(match)되는 캐시 데이터의 존재 여부를 판단하는 단계, 상기 키워드-카테고리 조합과 매치되는 캐시 데이터가 존재하지 않는 경우 획득된 상기 검색 정보에 대한 인공지능 기술 기반 객체 검출을 통해 객체-카테고리 조합을 생성하는 단계, 획득된 상기 키워드-카테고리 조합과 상기 객체-카테고리 조합 간의 매칭을 수행하여 매칭이 되는 경우 상기 객체-카테고리 조합이 검출된 이미지를 표시하는 단계 및 상기 키워드-카테고리 조합과 상기 검색 정보를 맵핑하여 새로운 캐시 데이터로 저장하는 단계를 포함하고, 상기 인공지능 기술은 자연어 처리 기술 및 이미지 객체 인식 기술 중 적어도 하나를 포함한다.

또한, 획득된 상기 사용자 질의의 종류가 텍스트 기반 질의인 경우 상기 키워드-카테고리 조합을 검출하는 단계는 상기 텍스트 기반 질의에 대해 상기 자연어 처리 기술을 적용하여 검출된 키워드가 사전에 정의된 객체검출 대상 카테고리 정보에 포함되는지 여부를 확인하는 단계 및 검출된 상기 키워드가 상기 객체검출 대상 카테고리 정보에 포함되면 상기 키워드를 포함하는 후보 키워드가 해당되는 객체-카테고리와 객체의 위치 및 방향에 관한 정보를 포함하는 디렉션 정보가 조합된 자료구조 형태로 생성되어 저장된 키워드-카테고리 조합 모음에서 상기 키워드에 대한 키워드-카테고리 조합을 검출하는 단계를 포함한다.

또한, 획득된 상기 사용자 질의의 종류가 음성 기반 질의인 경우 상기 키워드-카테고리 조합을 검출하는 단계는 상기 음성 기반 질의에의 음성 인식 수행 결과에 대해 상기 자연어 처리 기술을 적용하여 검출된 키워드가 사전에 정의된 객체검출 대상 카테고리 정보에 포함되는지 여부를 확인하는 단계 및 검출된 상기 키워드가 상기 객체검출 대상 카테고리 정보에 포함되면 상기 키워드를 포함하는 후보 키워드가 해당되는 객체-카테고리와 객체의 위치 및 방향에 관한 정보를 포함하는 디렉션 정보가 조합된 자료구조 형태로 생성되어 저장된 키워드-카테고리 조합 모음에서 상기 키워드에 대한 키워드-카테고리 조합을 검출하는 단계를 포함한다.

또한, 상기 자연어 처리 기술은 형태소 분석, 개체명 인식 및 질문 분석 중 적어도 하나를 포함한다.

또한, 상기 형태소 분석은 획득된 상기 사용자 질의에서 검출된 형태소가 상기 객체검출 대상 카테고리 정보 내에 속하는 지 여부와 상기 형태소가 상기 키워드-카테고리 조합 모음에서의 상기 디렉션 정보에 속하는지 여부를 분석한다.

또한, 상기 개체명 인식은 검출된 상기 형태소로부터 개체명을 검출하고, 검출된 상기 개체명이 상기 객체-카테고리에 포함되는지 여부를 확인한다.

또한, 상기 질문분석은 상기 형태소 분석 및 개체명 인식을 통해 검출은 됐으나 상기 객체검출 대상 카테고리에 속하지 않은 상기 형태소에 대해 상기 사용자 질의를 분석하여 의미를 이해하고 구조화하여 상기 객체검출 대상 카테고리에 속하는지 여부를 확인한다.

또한, 획득된 상기 사용자 질의의 종류가 이미지 기반 질의인 경우 상기 키워드-카테고리 조합을 검출하는 단계는 이미지 객체 검출 과정을 통해 검출된 상기 검색 이미지에 대한 객체-카테고리 조합을 생성하는 단계를 포함한다.

또한, 상기 객체-카테고리 조합은 상기 이미지 객체 검출 과정을 통해 검출된 상기 검색 이미지 내의 적어도 하나의 객체에 대한 객체검출 대상 카테고리 정보에 속하는 객체-카테고리와 검출된 상기 검색 이미지 내의 객체 간의 위치 및 방향에 관한 정보를 포함하는 디렉션 정보의 조합이다.

또한, 상기 캐시 데이터의 존재 여부를 판단하는 단계는 상기 사용자 질의에 대해 생성된 키워드-카테고리 조합과 그 이전에 수집되어 저장된 요청 처리 내용에 대한 키워드-카테고리 조합 데이터간의 매치를 수행하고, 상기 키워드-카테고리 조합과 매치되는 상기 키워드-카테고리 조합 데이터에 해당하는 캐시 데이터를 검출한 후에 상기 캐시 데이터에 매핑된 이미지 주소에 접근하여 획득된 이미지를 표시한다.

또한, 상기 객체-카테고리 조합을 생성하는 단계는 상기 이미지 검색엔진결과에서 검색된 검색 이미지에 대해 객체 검출을 수행하여 상기 객체검출 대상 카테고리 정보에 속해 있는 객체-카테고리로 객체-카테고리 조합을 생성하여 특정 자료구조 형태로 저장한다.

또한, 상기 특정 자료구조는 선형 및 비선형 자료구조 중 적어도 하나에 해당한다.

또한, 상기 객체-카테고리 조합은 상기 이미지 검색엔진에서 검색된 검색 이미지에 대한 객체 검출을 통해 검출된 객체에 대한 객체-카테고리와 상기 검색 이미지의 객체의 상기 검색 이미지에서의 위치 및 방향에 관한 정보를 포함하는 디렉션 정보가 조합이다.

본 발명의 다른 실시예에 따른 인공지능 기반 이미지 검색 장치는 이미지 검색엔진 검색 결과에 기초하여 검색 이미지 및 이미지 주소 중 적어도 하나를 포함하는 검색 정보와 사용자 질의를 획득하는 데이터 수집부, 획득된 상기 사용자 질의의 종류에 기초하여 키워드-카테고리 조합을 검출하는 질의 키워드 검출부, 검출된 상기 키워드-카테고리 조합과 매치되는 캐시 데이터의 존재 여부를 판단하는 캐시 데이터 매칭부, 상기 키워드-카테고리 조합과 매치되는 캐시 데이터가 존재하지 않는 경우 획득된 상기 검색 정보에 대한 인공지능 기술 기반 객체 검출을 객체-카테고리 조합을 생성하는 이미지 객체 검출부, 및 획득된 상기 키워드-카테고리 조합과 상기 객체-카테고리 조합 간의 조합 요소에 대한 매칭 수행 결과, 조합 요소간 매칭이 되는 경우 상기 객체-카테고리 조합이 검출된 상기 검색 이미지를 표시하고 상기 키워드-카테고리 조합과 상기 검색 이미지에 대한 이미지 주소를 맵핑하여 새로운 캐시 데이터로 저장하는 요소매칭 저장부를 포함한다.

또한, 상기 인공지능 기술은 형태소 분석, 개체명 인식 및 질문 분석 중 적어도 하나를 포함하는 자연어 처리 기술 및 이미지 객체 인식 기술 중 적어도 하나를 포함한다.

또한, 상기 질의 키워드 검출부는 획득된 상기 사용자 질의의 종류가 텍스트 기반 질의인 경우 상기 텍스트 기반 사용자 질의에 대해 상기 자연어 처리 기술을 적용하여 상기 키워드-카테고리 조합을 검출하고, 획득된 상기 사용자 질의의 종류가 음성 기반 질의인 경우 획득된 상기 음성 기반 사용자 질의에 대해 음성 인식을 수행한 결과에 대해한 상기 자연어 처리 기술을 적용하여 상기 키워드-카테고리 조합을 검출하고, 획득된 상기 사용자 질의의 종류가 이미지 기반 질의인 경우 이미지 객체 검출 과정을 통해 상기 검색 이미지 내의 객체와 상기 검색 이미지 내의 객체의 상기 검색 이미지에서의 위치 및 방향에 관한 정보를 포함하는 디렉션 정보인 객체-카테고리 조합을 검출하고, 상기 키워드-카테고리 조합은 상기 사용자 질의로부터 검출된 키워드가 속해있는 객체검출 대상 카테고리 정보에서의 객체-카테고리와 객체의 위치 및 방향에 관한 정보를 포함하는 디렉션 정보가 조합된 것이다.

본 발명에 의하면, 사용자 질의에 기초한 이미지 검색을 수행하는 경우 이미지 검색엔진에서 사용자의 질의 요청에 대한 검색을 수행 할 때 인공지능 기술을 기반으로 한 사용자 질의에 대한 자연어 처리 분석 결과 및 객체 검출 분석 결과와 이미지 검색엔진에서 수집한 검색 이미지들에 대한 객체 검출 결과를 상호 비교해서 부합되는 검색 이미지만을 최종적으로 사용자에게 최종 이미지 검색 결과로서 제공할 수 있어 사용자가 원하는 이미지를 높은 정확도로 제공할 수 있다.

또한 본 발명에 따르면, 다양한 객체검출모델을 활용할 수 있어 특정 응용 분야(예: 특정 행동을 하는 사람 얼굴, 어떤 연예인이 특정 행동을 하는 사진, 특정 캐릭터들이 등장하는 장면 찾기 등)에서 검색대상인 객체의 행동에 부합되는 이미지를 검출하는 분야에 널리 응용하여 이용될 수 있다.

도 1은 본 발명의 일 실시예에 따른 인공지능 기반 이미지 검색 장치를 설명하는 구성도.
도 2는 본 발명의 일 실시예에 따른 인공지능 기반 이미지 검색 장치의 데이터 수집부에서의 동작 수행을 설명하는 순서도.
도 3은 본 발명의 일 실시예에 따른 인공지능 기반 이미지 검색 장치의 텍스트 질의 키워드 검출부에서의 동작 수행을 설명하는 순서도.
도 4는 본 발명의 일 실시예에 따른 인공지능 기반 이미지 검색 장치의 음성 질의 키워드 검출부에서의 동작 수행을 설명하는 순서도.
도 5는 본 발명의 일 실시예에 따른 인공지능 기반 이미지 검색 장치의 이미지 질의 키워드 검출부에서의 동작 수행을 설명하는 순서도.
도 6은 본 발명의 일 실시예에 따른 인공지능 기반 이미지 검색 장치의 캐시 데이터 매칭부에서의 동작 수행을 설명하는 순서도.
도 7은 본 발명의 일 실시예에 따른 인공지능 기반 이미지 검색 장치의 이미지 객체 검출부에서의 동작 수행을 설명하는 순서도.
도 8은 본 발명의 일 실시예에 따른 인공지능 기반 이미지 검색 장치의 요소 매칭 및 저장부에서의 동작 수행을 설명하는 순서도.
도 9는 본 발명의 일 실시예에 따른 인공지능 기반 이미지 검색 장치를 이용한 이미지 검색 방법을 설명하는 순서도.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 몇몇 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 권리범위는 실시예들로부터 관념되는 본 발명의 기술적 사상에 속하는 모든 변경, 변형, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에만, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 제시되는 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 출원에서 사용된 "상기" 및이와 유사한 지시어는 단수 및 복수 모두를 지시하는 것일 수 있다. 또한 본 개시에 따른 방법을 설명하는 단게들의 순서를 명백하게 지정하는 기재가 없다면, 기재된 단계들은 목적하는 바를 수행하기 위한 순서로 행해질 수 있다. 기재된 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다.

기술적이거나 과학적인 용어를 포함해서 본 명세서에서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있으며, 이상적이거나 과도하게 축소된 형식적인 의미로 해석되지 않아야 할 것이며, 본 명세서에서 어떤 용어의 의미를 정의할 경우 해 용어는 그 정의된 대로 해석되어야 한다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 일 실시예에 따른 인공지능 기반 이미지 검색 장치를 설명하는 구성도이다.

본 발명의 일 실시예에 따른 검색엔진과 결합한 인공지능 기반 이미지 검색 장치(100)는 이미지 검색엔진 검색 결과에 대한 사용자 질의 및 검색 이미지 및 이미지 주소를 포함하는 검색 정보를 획득하여 이미지 주소 정렬 등을 포함하는 전처리를 수행하는 데이터 수집부(110), 획득한 사용자 질의로부터 키워드-카테고리 조합을 획득하기 위한 인공지능 기반의 질의 키워드 검출부(120), 획득된 키워드-카테고리 조합이 캐시(cache)에 저장되었는지 여부를 확인하는 캐시 데이터 매칭부(130), 인공지능에 기반하여 수집한 검색 이미지에서 객체를 검출하는 이미지 객체 검출(image detecton)부(140), 획득된 키워드-카테고리 조합과 이미지 객체-카테고리 조합을 매치(match)하고 그 결과를 캐시에 저장하는 요소 매칭 및 저장부(150)를 포함한다.

도 1에 도시된 본 발명의 일 실시예에 따른 인공지능 기반 이미지 검색 장치(100)는 데이터 수집부(110)에 의해 기존의 이미지 검색엔진 검색 결과를 기반으로 검색에 관한 사용자 질의 및 검색 정보를 획득한 후 획득된 사용자 질의의 종류에 따른 키워드-카테고리 조합을 검출하여 이전의 검색 결과를 이용할 수 있는지 여부를 검토해서 그 결과에 따라 인공지능을 활용한 이미지 객체를 검출하고 앞서 검출한 키워드-카테고리 조합과 객체-카테고리 조합 데이터 간 매칭 여부를 판단해서 매칭된 검색 이미지를 최종 결과로서 디스플레이에 표시하는 것을 요지로 한다.

이때, 본 발명의 일 실시예에 따른 인공지능 기반 이미지 검색 장치(100)는 기존의 이미지 검색엔진을 기반으로 하기 때문에 사용자의 질의에 대한 자연어 처리 기술 적용 결과 및 객체 검출 분석 결과를 이미지 검색엔진에서 수집한 검색 이미지에 대한 객체 검출 결과와 비교하는 과정을 수행한다.

다음으로 본 발명의 일 실시예에 따른 인공지능 기반 이미지 검색 장치(100)의 각 구성요소에 대해 상세히 설명한다.

본 발명에서 사용자 질의(query)란 서버에 특정한 정보를 보여달라는 클라이언트의 요청 및 그에 대한 처리를 의미하며, 일반적으로 서버의 데이터베이스로부터 특정한 주제어, 어귀 및 이미지 등을 찾는데 사용되며, 찾고자 하는 주제어 등이 검색엔진의 검색 필드 내에 입력된 후 그 입력된 내용이 서버로 넘겨진다.

검색엔진은 자체의 데이터베이스에서 검색하거나 또는 검색 대상이 되는 각 웹 페이지 또는 모든 웹사이트의 대표 페이지로 이동하여 검색할 수 있다. 웹 상에서의 검색은 웹 페이지에 접근하여, 각 페이지 상의 하이퍼텍스트(hypertext) 링크를 사용하여 그 사이트의 다른 페이지들을 읽어 오는 스파이더 (크롤러(crawler) 또는 봇(bot) 이라고도 호칭됨)라는 프로그램, 읽어들인 웹페이지에 대해 거대한 색인(카탈로그라고도 함)을 만드는 프로그램, 사용자의 검색요구를 받아들이고, 색인 내에 있는 내용과 비교한뒤, 검색 결과를 돌려 주는 프로그램 등을 이용하여 검색 대상을 찾는 것을 의미한다(검색엔진을 사용하는 다른 방법으로 주제별 구조를 갖는 디렉토리를 탐색하는 방안도 가능하며 다수의 웹 포탈사이트들은 질의와 관련된 정보를 검색하기 위해 검색엔진과 함께 디렉토리 방식을 제공하기도 한다)

한편 단순한 문자 형태의 사용자 질의에 대한 검색만이 아니라 이미지 형태를 요청하는 사용자 질의에 대한 검색도 가능하다. 검색엔진을 통해 이미지를 검색하는 방식은 기본적으로 텍스트 기반 사용자 질의에서 사용자가 요청하는 이미지와 관련된 사진, 또는 그림과 관련 있는 이미지를 모두 추려내는 매칭 단계, 매칭된 이미지에 대한 피처(feature) 추출 단계, 추출된 피처를 기반으로 매칭된 이미지의 등급을 매기는 랭킹(ranking) 단계를 통해 수행된다. 매칭 단계에서는 이미지의 색상, 전체적인 모양, 배치 등을 고려하는 패턴인식(pattern recognition)을 이용하여 매칭을 수행한다.

이러한 종래 텍스트 기반 질의에 기초한 이미지 검색 기술에서는 전술한 바와 같이 랭킹 알고리즘이 매칭 수행 후에 적용되므로 매칭단계에서부터 잘못되는 경우에는 랭킹 알고리즘이 우수해도 최종 검색 결과가 제한적일 수 있다. 도 1의 본 발명의 일 실시예에 따른 인공지능 기반 이미지 검색 장치(100)에서는 이러한 문제를 해결하기 위해 기존의 이미지 검색엔진과 인공지능 기술을 결합한다. 도 1의 본 발명의 일 실시예에 따른 인공지능 기반 이미지 검색 장치에서의 인공지능 기술은 사용자 질의에서 키워드를 추출하는 자연어 처리 기술과 이미지에 어떠한 사람 혹은 물체가 있는지, 그리고 한 단계 더 나아가 어떠한 배치로 구성되어 있는지 등을 감지(detect)하는 이미지 내 객체 인식 기술을 포함한다.

본 발명의 일 실시예에 따른 인공지능 기반 이미지 검색 장치(100)의 데이터 수집부(110)는 도 2에 도시된 바와 같이 이미지 검색엔진의 검색 결과를 획득해서(S210) 그에 기초하여 사용자 질의 및 검색 이미지와 그에 대한 이미지 주소(저장된 웹사이트 경로 주소 등)를 포함하는 검색 정보를 검출하고(S220) 그 검출된 질의와 이미지 주소에 대해 검색 엔진의 이미지 랭크 정보를 이용해서 전처리(일례로, 이미지 주소 정렬 수행 등)를 수행하여(S230) 검색된 이미지에 대한 전처리된 사용자 질의 및 검색 정보를 도출한다.

본 발명의 일 실시예에 따른 인공지능 기반 이미지 검색 장치(100)의 질의 키워드 검출부(120)에서는 데이터 수집부(110)에서 획득한 사용자 질의와 사전에 구축된 객체검출 대상 카테고리 정보에 기초하여 검색된 이미지의 이미지 카테고리에 해당하는 키워드-카테고리 조합을 검출한다. 이때 데이터 수집부(110)에서 획득된 질의의 종류에 따라 각각 다른 키워드 검출 과정을 수행하게 된다.

키워드-카테고리 조합이란 자연어 텍스트에 대해 자연어 처리 분석을 한 결과(이를 키워드라 정의함) 중, 사전에 미리 정의된 객체검출 대상 카테고리 정보에 해당되는 카테코리명을 모아놓은 것을 의미한다. 예컨대, 미리 정의되는 객체검출 대상 카테고리 정보는 '개', '고양이', '자동차'와 같은 상위 개념의 카테고리를 의미할 수 있고, 또는 '치와와', '진돗개', '앙골라', '러시안 블루', '캐딜락', '포르쉐'와 같은 좀더 하위 개념의 카테고리를 의미할 수 있다(그러나 이에 한정되지 않고 상하위 개념을 모두 포함하거나 더욱 세분화된 카테고리로 정의될 수 있음).

일례로 획득된 사용자 질의가 텍스트 기반 질의인 경우 도 3에 도시된 바와 같이 인공지능 자연어 처리 기술을 이용하여 키워드-카테고리 조합을 검출한다. 구체적으로는 입력된 텍스트 질의에 대해 객체검출 대상 카테고리 정보에 기초하여 형태소 분석(part of speech tagging) 수행(S310), 개체명 인식(NER, named entity recognition) 수행(S320), 및 질문 분석(question analysis) 수행(S330)과 같은 자연어 처리기술을 적용한다.

형태소 분석 과정에서는 입력으로 들어오는 사용자 질의에서 형태소를 검출하고, 검출된 형태소가 사전에 정의된 객체검출 대상 카테고리 정보 내의 객체-카테고리의 이름과 동일한지 여부와 검출된 형태소가 위치 및 방향을 나타내는 명사에 속해 있는지 여부를 분석한다(다른 표현으로 형태소 분석은 단어의 정의와 문맥에 따라 특정 단어의 특정 부분에 해당하는 텍스트로 단어를 표시하는 프로세스로서 문구, 문장 또는 단락에서 인접 단어 및 관련 단어와의 관계에 대해 도출하고 각 형태소에 대해 태그를 할당함).

개체명 인식 과정에서는 검출된 형태소로부터 개체명을 검출하고 해당 개체명이 객체검출 대상 카테고리 정보에 포함되는지 여부를 확인하고, 질문분석 과정에서는 두 단계(형태소 분석 과정 및 개체명 인식 과정)를 거치며 검출은 됐으나 객체검출 대상 카테고리 정보에 속하지 않은 형태소(이를 미분류 객체-카테고리라 칭함)에 대해 질문분석(질문에 해당하는 자연어를 분석하여 의미를 이해하고 구조화하여 질문 의도 분석 등 수행)을 수행하여 객체-카테고리에 속하는지를 여부를 분석하는 과정이다.

이와 같은 세가지 과정을 수행한 후 획득되는 결과물에 대해 사용자 질의에서 객체검출 대상 카테고리 정보에 속해있는 객체-카테고리와 객체의 위치 및 방향에 관한 정보를 포함하는 디렉션 정보가 조합된 키워드-카테고리 조합을 검출하여스택, 큐, 2진 트리 등과 같은 선형 및/또는 비선형 자료구조 형태로 저장하게 된다(S340).

이와 유사하게 데이터 획득부(110)에서 획득된 사용자 질의가 음성 기반 질의인 경우는 도 4에 도시된 바와 같이 음성 질의에 대한 음성 인식과정과 전술한 인공지능 자연어 처리 기술을 이용하여 키워드-카테고리 조합을 검출한다. 구체적인 과정은 획득된 음성 질의에 대해 음성인식기(도면 미도시됨) 등을 통한 음성인식 과정(S410)을 거친 후 그에 대해 전술한 객체검출 대상 카테고리 정보에 기초하여 형태소 분석 수행(S420), 개체명 인식 수행(S430), 및 질문 분석 수행(S440)을 한다.

이와 같은 세가지 과정을 수행한 후 획득되는 결과물에 대해 사용자 질의에서 객체검출 대상 카테고리 정보에 속해있는 객체-카테고리와 객체의 위치 및 방향에 관한 정보를 포함하는 디렉션 정보가 조합된 키워드-카테고리 조합을 검출하여 스택, 큐, 2진 트리 등과 같은 선형 및/또는 비선형 자료구조 형태로 저장하게 된다(S450).

한편 데이터 수집부(110)에서 획득된 사용자 질의가 이미지 기반 질의인 경우는 도 5에 도시된 바와 같이 입력된 이미지 기반 질의에 대해 전술한 객체검출 대상 카테고리 정보에 기초하는 이미지 객체 검출을 수행하여 검색 이미지 내 객체와 객체들 간의 위치 관계를 검출해낸다(S510). 이후 사용자 질의에서 객체검출 대상 카테고리 정보에 속해있는 객체-카테고리명과 객체의 위치 및 방향에 관한 정보를 포함하는 디렉션 정보가 조합된 객체-카테고리 조합을 검출하여 스택, 큐, 2진 트리 등과 같은 선형 및/또는 비선형 자료구조 형태로 저장한다(S520).

본 발명의 일 실시예에 따른 인공지능 기반 이미지 검색 장치(100)의 캐시 데이터 매칭부(130)에서는 질의 키워드 검출부(120)에서 검출된 키워드-카테고리 조합이 캐시(cache)에 이미 저장되어 있는 지 여부를 확인하여 이미 저장되어 있으면 이전 요청 처리 내용을 이용해서 이미지 검색 처리 시간을 단축할 수 있도록 한다. 구체적으로는 도 6에 도시된 바와 같이 질의 키워드 검출부(120)에서 검출된 키워드-카테고리 조합 데이터들에 대해 질의 자연어 처리부(질의에 대해 인공지능 기술의 자연어 처리를 수행하는 모듈)를 거쳐 얻은 키워드-카테고리 조합과 캐시 데이터 매칭부(130)의 캐시 데이터 저장소에서 수집되어 저장된 이전 요청 처리 내용에 해당하는 캐시 데이터와의 매치를 수행해서 매치되는 질의 캐시 데이터를 검출(S610)한 후에 매치된 캐시 데이터에 매핑된 이미지 주소에 접근(S620)하여 획득된 이미지를 표시한다(S630).

이와 같은 과정을 통해 매치된 질의 캐시 데이터가 있을 시 캐시 데이터 매칭부(130)에서의 과정 수행으로 이미지 검색 절차가 종료되고, 매치되는 질의 캐시 데이터가 없다고 결정된 경우는 후술하는 이미지 객체 검출부(140)에서 이미지 객체 검출 단계를 수행한다.

본 발명의 일 실시예에 따른 인공지능 기반 이미지 검색 장치(100)의 이미지 객체 검출부(140)는 도 7에 도시된 바와 같이 데이터 수집부(110)에서 획득한 검색 이미지에 객체 검출을 수행하여 이미지 검색엔진에서 검색된 결과 이미지들에 대한 객체 검출을 수행한다(S710). 이미지 객체 검출은 전술한 인공지능 기술(객체 인식 기술)을 활용해 수행하고, 이때 객체들에 대한 객체-카테고리 뿐만 아니라 검출된 상기 검색 이미지 내의 객체 간의 위치 및 방향에 관한 정보(좌표 값을 활용해 검색 이미지 내 객체들간의 위치 관계)를 포함하는 디렉션 정보의 조합인 객체-카테고리 조합을 생성하여 스택, 큐, 2진 트리 등과 같은 선형 및/또는 비선형 자료 구조 형태로 저장한다(S720).

본 발명의 일 실시예에 따른 인공지능 기반 이미지 검색 장치(100)의 요소매칭 및 저장부(150)는 도 8에 도시된 바와 같이 획득된 키워드-카테고리 조합과 객체-카테고리 조합에 대해 각 조합 요소간의 매칭을 수행한다(S810). 이때 각 조합 요소이란 키워드-카테고리 조합과 객체-카테고리 조합에 각각 저장된 객체-카테고리와 객체에 대한 위치를 의미한다.

모든 키워드-카테고리 조합 요소들이 객체-카테고리 조합 요소들에 매칭된다면 해당 객체-카테고리 조합이 검출된 이미지를 표시한다(S820). 각 조합 요소간의 매칭 정확도의 정도에 대해서는 운영 환경에 따라 다양하게 설정될 수 있다. 일례로, 객체-카테고리의 상하위 카테고리 일치의 허용 여부, 디렉션 정보에서의 위치의 일치 정도에 대해서는 다양하게 설정될 수 있다. 이후 해당 키워드-카테고리 조합과 검색 정보는 서로 매핑되어 캐시 데이터에 저장된다(S830).

다음으로 본 발명의 일 실시예에 따른 인공지능 기반 이미지 검색 장치를 이용한 이미지 검색 방법에 대해 설명한다.

도 9는 본 발명의 일 실시예에 따른 인공지능 기반 이미지 검색 장치를 이용한 이미지 검색 방법을 설명하는 순서도이다.

도 9의 본 발명의 일 실시예에 따른 인공지능 기반 이미지 검색 장치를 이용한 이미지 검색 방법은 도 1에 도시된 본 발명의 일 실시예에 따른 인공지능 기반 이미지 검색 장치를 이용해서 이미지를 검색하는 방법에 대한 것이다.

먼저 이미지 검색엔진의 검색 결과에 기초하여 검색된 이미지에 대한 사용자 질의와 검색 이미지 및 그에 대한 이미지 주소를 포함하는 검색 정보를 검출해서 그 검출된 사용자 질의와 검색정보에 대해 이미지 검색엔진의 이미지 랭크 정보를 이용해서 이미지 주소 정렬과 같은 전처리를 수행하여 전처리된 사용자 질의 및 검색 정보를 획득하는 데이터 수집을 수행한다(S910).

다음으로 획득된 질의와 사전에 구축된 객체검출 대상 카테고리 정보에 기초하여 검색된 이미지의 객체검출 대상 카테고리 정보에 해당하는 키워드-카테고리 조합을 검출하는 질의 키워드 검출을 수행한다(S920). 이때 데이터 수집 단계에서 획득된 질의의 종류(텍스트 기반 질의, 음성 기반 질의, 이미지 기반 질의)에 따라 전술한 바와 같이 각각 다른 키워드 검출 과정을 수행하게 된다. 특히 텍스트 기반 및 음성 기반 사용자 질의인 경우 인공지능 기술 중 자연어 처리 기술을 활용하여 키워드를 검출한다.

질의 키워드 검출 단계에서 검출된 키워드-카테고리 조합 데이터들에 대해 자연어 처리 기술를 거쳐 얻은 키워드-카테고리 조합과 캐시 데이터 매칭부(130)의 캐시 데이터 저장소에서 수집되어 저장된 것으로서 이전 요청 처리 내용에 해당하는 캐시 데이터와의 매치 여부를 파악해서 매치되는 질의 캐시 데이터를 검출한 후에 매치된 캐시 데이터에 매핑된 이미지 주소에 접근하여 획득된 이미지를 표시하는 캐시 데이터 매칭을 수행한다(S930). 이때 사용자 질의에 매치되는 캐시 데이터가 있다 판정되면(S940의 예) 이를 최종 결과로서 도출하고(S970) 캐시 데이터 매칭부에서의 과정 수행으로 이미지 검색 절차가 종료된다. 사용자 질의에 매치되는 캐시 데이터가 없다 판정된 경우(S940의 아니오)는 이미지 객체 검출을 수행(S950)한다.

즉, 데이터 수집 단계에서 획득한 이미지 주소에 객체 검출 과정을 수행하여 검색 엔진에서 검색된 결과 이미지들에 대한 객체 검출을 수행하는 이미지 객체 검출 단계를 수행한다. 이미지 객체 검출 단계 수행은 전술한 인공지능 기술(객체 인식 기술)을 활용해 수행하고, 이때 객체들의 카테고리뿐만 아니라 좌표 값을 활용해 객체들간의 위치 관계를 표현하는 명사도 검출한다.

이미지 객체 검출 단계 수행 후 획득된 키워드-카테고리 조합과 객체-카테고리 조합에 대해 각 조합 요소들의 매칭을 수행하고, 모든 키워드-카테고리 조합 요소들이 객체-카테고리 조합 요소들에 매칭된다면 해당 객체-카테고리 조합이 검출된 검색 이미지를 표시한 후 해당 키워드-카테고리 조합과 이미지 주소를 매핑하여 캐시 데이터에 저장하는 요소 매칭 및 저장 단계가 수행된다(S960). 위와 같은 수행 과정이 완료되면 검색하고자 하는 이미지에 대해 이미지 객체 검출 단계(S950) 및 요소 매칭 및 저장 단계(S960)가 반복 수행될 수 있다.

이와 같이 본 발명은 검색엔진 기술과 인공지능 기술(자연어 처리, 이미지 객체 검출)을 결합하여 이미지를 검색하므로 기존 검색엔진이 가지고 있던 이점외에도 질의 내 객체 검출 모델이 검출해 낼 수 있는 객체가 포함되어 있는 경우 해당 객체가 검출된 이미지만을 최종 표시하므로 높은 이미지 검색 정확도를 가질 수 있다. 그러므로 본 발명은 다양한 객체 검출 모델을 활용하여 다양한 응용분야에 적용하여 특정 연예인이 특정 행동을 하는 사진을 검색하거나 특정 캐릭터들이 등장하는 장면을 검색 등에 활용될 수 있다.

한편, 전술한 각 구성은 각각이 별도의 장치로 설명되었으나, 이는 설명의 편의와 이해의 증진을 위한 예시적 설명에 불과한 것으로서, 본 발명의 기술적 사상의 범주 내에서 다양한 형태로 구현될 수 있음은 물론이다. 예컨대, 각 데이터 수집부(110) 및 질의 키워드 검출부(120)는 하나의 모듈로 통합되어 구현될 수도 있고, 둘이나 그 이상의 장치로 분할하여 구현될 수 있다.

한편, 본 발명의 실시예에 인공지능 기반 이미지 검색 장치 및 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.

컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 상기 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다.

상기 메모리 및 상기 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 상기 메모리는 ROM 및 RAM을 포함할 수 있다.

따라서, 본 발명의 실시예에 따른 인공지능 기반 이미지 검색 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 인공지능 기반 이미지 검색 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 인식 방법을 수행할 수 있다.

본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수 있다.

컴퓨터 판독 가능 매체의 예에는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상, 본 발명의 바람직한 실시예를 통해 본 발명의 구성에 대하여 상세히 설명하였다. 그러나 전술한 실시예는 예시에 불과한 것으로서, 본 발명의 권리범위를 제한하지 아니한다. 본 발명의 기술분야에 통상의 지식을 가진 자라면 본 명세서의 교시와 시사로부터 본 발명의 기술적 사상의 범주내의 다양한 변형과 변경이 가능할 것이다. 따라서, 본 발명의 보호범위는 이하의 특허청구범위의 기재에 의하여 정하여짐이 마땅하다.

Claims (16)

1. 이미지 검색엔진 검색 결과에 기초하여 검색 이미지 및 이미지 주소 중 적어도 하나를 포함하는 검색 정보와 사용자 질의를 획득하는 단계;
   획득된 상기 사용자 질의의 종류에 기초하여 키워드-카테고리 조합을 검출하는 단계;
   검출된 상기 키워드-카테고리 조합과 매치(match)되는 캐시 데이터의 존재 여부를 판단하는 단계;
   상기 키워드-카테고리 조합과 매치되는 캐시 데이터가 존재하지 않는 경우 획득된 상기 검색 정보에 대한 인공지능 기술 기반 객체 검출을 통해 객체-카테고리 조합을 생성하는 단계;
   획득된 상기 키워드-카테고리 조합과 상기 객체-카테고리 조합 간의 매칭을 수행하여 매칭이 되는 경우 상기 객체-카테고리 조합이 검출된 이미지를 표시하는 단계; 및
   상기 키워드-카테고리 조합과 상기 검색 정보를 맵핑하여 새로운 캐시 데이터로 저장하는 단계를 포함하고,
   상기 인공지능 기술은 자연어 처리 기술 및 이미지 객체 인식 기술 중 적어도 하나를 포함하는, 인공지능 기반 이미지 검색 방법.
2. 제1항에 있어서,
   획득된 상기 사용자 질의의 종류가 텍스트 기반 질의인 경우 상기 키워드-카테고리 조합을 검출하는 단계는,
   상기 텍스트 기반 질의에 대해 상기 자연어 처리 기술을 적용하여 검출된 키워드가 사전에 정의된 객체검출 대상 카테고리 정보에 포함되는지 여부를 확인하는 단계; 및
   검출된 상기 키워드가 상기 객체검출 대상 카테고리 정보에 포함되면 상기 키워드를 포함하는 후보 키워드가 해당되는 객체-카테고리와 객체의 위치 및 방향에 관한 정보를 포함하는 디렉션 정보가 조합된 자료구조 형태로 생성되어 저장된 키워드-카테고리 조합 모음에서 상기 키워드에 대한 키워드-카테고리 조합을 검출하는 단계를 포함하는, 인공지능 기반 이미지 검색 방법.
3. 제1항에 있어서,
   획득된 상기 사용자 질의의 종류가 음성 기반 질의인 경우 상기 키워드-카테고리 조합을 검출하는 단계는,
   상기 음성 기반 질의에의 음성 인식 수행 결과에 대해 상기 자연어 처리 기술을 적용하여 검출된 키워드가 사전에 정의된 객체검출 대상 카테고리 정보에 포함되는지 여부를 확인하는 단계; 및
   검출된 상기 키워드가 상기 객체검출 대상 카테고리 정보에 포함되면 상기 키워드를 포함하는 후보 키워드가 해당되는 객체-카테고리와 객체의 위치 및 방향에 관한 정보를 포함하는 디렉션 정보가 조합된 자료구조 형태로 생성되어 저장된 키워드-카테고리 조합 모음에서 상기 키워드에 대한 키워드-카테고리 조합을 검출하는 단계를 포함하는, 인공지능 기반 이미지 검색 방법.
4. 제2항 내지 제3항 중 어느 한 항에 있어서,
   상기 자연어 처리 기술은 형태소 분석, 개체명 인식 및 질문 분석 중 적어도 하나를 포함하는, 인공지능 기반 이미지 검색 방법.
5. 제4항에 있어서,
   상기 형태소 분석은 획득된 상기 사용자 질의에서 검출된 형태소가 상기 객체검출 대상 카테고리 정보 내에 속하는 지 여부와 상기 형태소가 상기 키워드-카테고리 조합 모음에서의 상기 디렉션 정보에 속하는지 여부를 분석하는, 인공지능 기반 이미지 검색 방법.
6. 제5항에 있어서,
   상기 개체명 인식은 검출된 상기 형태소로부터 개체명을 검출하고, 검출된 상기 개체명이 상기 객체-카테고리에 포함되는지 여부를 확인하는, 인공지능 기반 이미지 검색 방법.
7. 제5항에 있어서,
   상기 질문분석은 상기 형태소 분석 및 개체명 인식을 통해 검출은 됐으나 상기 객체검출 대상 카테고리에 속하지 않은 상기 형태소에 대해 상기 사용자 질의를 분석하여 의미를 이해하고 구조화하여 상기 객체검출 대상 카테고리에 속하는지 여부를 확인하는, 인공지능 기반 이미지 검색 방법.
8. 제1항에 있어서,
   획득된 상기 사용자 질의의 종류가 이미지 기반 질의인 경우 상기 키워드-카테고리 조합을 검출하는 단계는,
   이미지 객체 검출 과정을 통해 검출된 상기 검색 이미지에 대한 객체-카테고리 조합을 생성하는 단계를 포함하는, 인공지능 기반 이미지 검색 방법.
9. 제8항에 있어서,
   상기 객체-카테고리 조합은
   상기 이미지 객체 검출 과정을 통해 검출된 상기 검색 이미지 내의 적어도 하나의 객체에 대한 객체검출 대상 카테고리 정보에 속하는 객체-카테고리와 검출된 상기 검색 이미지 내의 객체 간의 위치 및 방향에 관한 정보를 포함하는 디렉션 정보의 조합인, 인공지능 기반 이미지 검색 방법.
10. 제1항에 있어서,
    상기 캐시 데이터의 존재 여부를 판단하는 단계는,
    상기 사용자 질의에 대해 생성된 키워드-카테고리 조합과 그 이전에 수집되어 저장된 요청 처리 내용에 대한 키워드-카테고리 조합 데이터간의 매치를 수행하고, 상기 키워드-카테고리 조합과 매치되는 상기 키워드-카테고리 조합 데이터에 해당하는 캐시 데이터를 검출한 후에 상기 캐시 데이터에 매핑된 이미지 주소에 접근하여 획득된 이미지를 표시하는, 인공지능 기반 이미지 검색 방법.
11. 제1항에 있어서,
    상기 객체-카테고리 조합을 생성하는 단계는,
    상기 이미지 검색엔진결과에서 검색된 검색 이미지에 대해 객체 검출을 수행하여 상기 객체검출 대상 카테고리 정보에 속해 있는 객체-카테고리로 객체-카테고리 조합을 생성하여 특정 자료구조 형태로 저장하는, 인공지능 기반 이미지 검색 방법.
12. 제11항에 있어서,
    상기 특정 자료구조는 선형 및 비선형 자료구조 중 적어도 하나에 해당하는 자료구조인, 인공지능 기반 이미지 검색 방법.
13. 제11항에 있어서,
    상기 객체-카테고리 조합은 상기 이미지 검색엔진에서 검색된 검색 이미지에 대한 객체 검출을 통해 검출된 객체에 대한 객체-카테고리와 상기 검색 이미지의 객체의 상기 검색 이미지에서의 위치 및 방향에 관한 정보를 포함하는 디렉션 정보가 조합된 것인, 인공지능 기반 이미지 검색 방법.
14. 이미지 검색엔진 검색 결과에 기초하여 검색 이미지 및 이미지 주소 중 적어도 하나를 포함하는 검색 정보와 사용자 질의를 획득하는 데이터 수집부;
    획득된 상기 사용자 질의의 종류에 기초하여 키워드-카테고리 조합을 검출하는 질의 키워드 검출부;
    검출된 상기 키워드-카테고리 조합과 매치되는 캐시 데이터의 존재 여부를 판단하는 캐시 데이터 매칭부;
    상기 키워드-카테고리 조합과 매치되는 캐시 데이터가 존재하지 않는 경우 획득된 상기 검색 정보에 대한 인공지능 기술 기반 객체 검출을 객체-카테고리 조합을 생성하는 이미지 객체 검출부; 및
    획득된 상기 키워드-카테고리 조합과 상기 객체-카테고리 조합 간의 조합 요소에 대한 매칭 수행 결과, 조합 요소간 매칭이 되는 경우 상기 객체-카테고리 조합이 검출된 상기 검색 이미지를 표시하고 상기 키워드-카테고리 조합과 상기 검색 이미지에 대한 이미지 주소를 맵핑하여 새로운 캐시 데이터로 저장하는 요소매칭 저장부를 포함하는 인공지능 기반 이미지 검색 장치.
15. 제14항에 있어서,
    상기 인공지능 기술은 형태소 분석, 개체명 인식 및 질문 분석 중 적어도 하나를 포함하는 자연어 처리 기술 및 이미지 객체 인식 기술 중 적어도 하나를 포함하는, 인공지능 기반 이미지 검색 장치.
16. 제15항에 있어서,
    상기 질의 키워드 검출부는
    획득된 상기 사용자 질의의 종류가 텍스트 기반 질의인 경우 상기 텍스트 기반 사용자 질의에 대해 상기 자연어 처리 기술을 적용하여 상기 키워드-카테고리 조합을 검출하고,
    획득된 상기 사용자 질의의 종류가 음성 기반 질의인 경우
    획득된 상기 음성 기반 사용자 질의에 대해 음성 인식을 수행한 결과에 대해한 상기 자연어 처리 기술을 적용하여 상기 키워드-카테고리 조합을 검출하고,
    획득된 상기 사용자 질의의 종류가 이미지 기반 질의인 경우 이미지 객체 검출 과정을 통해 상기 검색 이미지 내의 객체와 상기 검색 이미지 내의 객체의 상기 검색 이미지에서의 위치 및 방향에 관한 정보를 포함하는 디렉션 정보인 객체-카테고리 조합을 검출하고,
    상기 키워드-카테고리 조합은 상기 사용자 질의로부터 검출된 키워드가 속해있는 객체검출 대상 카테고리 정보에서의 객체-카테고리와 객체의 위치 및 방향에 관한 정보를 포함하는 디렉션 정보가 조합된 것인, 인공지능 기반 이미지 검색 장치.

Images