KR102611680B1 - 통합된 이미지 검색 시스템 - Google Patents

통합된 이미지 검색 시스템 Download PDF

Info

Publication number
KR102611680B1
KR102611680B1 KR1020227020493A KR20227020493A KR102611680B1 KR 102611680 B1 KR102611680 B1 KR 102611680B1 KR 1020227020493 A KR1020227020493 A KR 1020227020493A KR 20227020493 A KR20227020493 A KR 20227020493A KR 102611680 B1 KR102611680 B1 KR 102611680B1
Authority
KR
South Korea
Prior art keywords
image
image search
action
operating system
native operating
Prior art date
Application number
KR1020227020493A
Other languages
English (en)
Other versions
KR20220088805A (ko
Inventor
메리 애더웨이 티투스
현태 김
벤자민 엘리오트 클라인
보 리
막심 만코
스티븐 앤소니 네올라
앤드루 다니엘 시어
Original Assignee
이베이 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이베이 인크. filed Critical 이베이 인크.
Publication of KR20220088805A publication Critical patent/KR20220088805A/ko
Application granted granted Critical
Publication of KR102611680B1 publication Critical patent/KR102611680B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7335—Graphical querying, e.g. query-by-region, query-by-sketch, query-by-trajectory, GUIs for designating a person/face/object as a query predicate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9558—Details of hyperlinks; Management of linked annotations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

다양한 실시예들에서, 통합된 이미지 검색 시스템을 구현하기 위한 방법들 및 시스템들이 제공된다. 통합된 이미지 검색 시스템은 모바일 디바이스 상에서 콘텐츠 애플리케이션의 이미지 검색 피처를 지원한다. 이미지 검색 동작을 실행하기 위해 이미지 식별자가 수신된다. 이미지 식별자는 이미지 검색 피처를 지원하도록 커스터마이즈된 네이티브 운영 체제 액션을 통해 수신된다. 네이티브 운영 체제 액션은 이미지 검색 피처에 대한 진입 지점을 정의한다. 진입 지점들은 이미지 공유 액션, 유니폼 리소스 로케이터(URL) 공유 액션, URL 복사 공유 액션, 또는 드래그-앤드-드롭 액션으로부터 식별된 이미지 식별자들에 기초할 수 있다. 이미지 식별자의 이미지는 이미지 검색 결과들을 식별하기 위해 이미지 검색 동작을 실행하기 위해 사용된다. 하나 이상의 이미지 검색 결과를 갖는 이미지 검색 결과 페이지가 디스플레이되도록 야기된다.

Description

통합된 이미지 검색 시스템{INTEGRATED IMAGE SEARCH SYSTEM}
사용자들은 종종 상이한 유형의 웹 페이지들 및 애플리케이션들을 사용하여 온라인으로 제품을 검색하고 발견한다. 웹 페이지들은 예를 들어 블로그들 및 소셜 미디어 웹사이트들을 포함할 수 있고, 애플리케이션들은 예를 들어 메시징 애플리케이션들 및 멀티미디어 모바일 애플리케이션들을 포함할 수 있다. 구체적으로, 이러한 웹 페이지들 및 애플리케이션들에서, 사용자들은 제품의 이미지들에 기초하여 상이한 제품들을 식별할 수 있다. 사용자는 온라인으로 제품 이미지를 본 후, 제품을 구매하고 싶어할 수 있다. 그러나, 현재 콘텐츠 목록 도구들을 사용하면, 제품의 이미지를 보는 컨텍스트로부터 제품을 구매할 수 있는 컨텍스트로 넘어가는 것이 어려울 수 있다.
본 발명의 실시예들은 통합된 이미지 검색 시스템을 구현하기 위한 방법들 및 시스템들을 제공한다. 통합된 이미지 검색 시스템은 모바일 디바이스 상의 콘텐츠 애플리케이션의 이미지 검색 피처(image search feature)를 지원한다. 콘텐츠 애플리케이션은 이미지 검색 피처와 모바일 디바이스의 네이티브 운영 체제(native operating system)의 통합에 부분적으로 기초하여 동작하는 이미지 검색 피처를 포함한다. 네이티브 운영 체제는 이미지 검색 피처에 대한 진입 지점들로서 동작하는 통합된 커스텀 액션들을 구축하기 위해 사용되는 애플리케이션 프로그래밍 인터페이스들을 포함할 수 있다.
동작에서, 이미지 검색 동작을 실행하기 위해 이미지 식별자가 수신된다. 이미지 식별자는 콘텐츠 애플리케이션의 이미지 검색 피처를 지원하도록 커스터마이즈된 네이티브 운영 체제 액션을 통해 수신된다. 네이티브 운영 체제 액션은 콘텐츠 애플리케이션의 이미지 검색 피처에 대한 진입 지점을 정의하는 통합된 커스텀 액션이다. 진입 지점들을 정의하는 통합된 커스텀 액션들은 다음 중 하나를 포함할 수 있다: 이미지 검색을 실행하기 위해 이미지를 공유하는 것을 허용하는 네이티브 운영 체제의 이미지 공유 액션, 이미지 검색을 실행하기 위해 유니폼 리소스 로케이터(Uniform Resource Location)(URL)을 공유하는 것을 허용하는 네이티브 운영 체제의 URL 공유 액션, 클립보드 관리자와 함께 사용되는 네이티브 운영 체제의 URL 복사 공유 액션(copy share URL action) - 클립보드 관리자는 이미지 검색을 실행할 이미지를 식별하기 위해 쿼리됨 -, 및 이미지 검색을 실행할 이미지를 식별하기 위해 사용되는 네이티브 운영 체제의 드래그-앤드-드롭 액션. 콘텐츠 애플리케이션은 이미지 식별자에 대응하는 이미지에 기초하여 이미지 검색 결과들을 식별하도록 이미지 검색을 실행하기 위해 콘텐츠 플랫폼과 통신한다. 하나 이상의 이미지 검색 결과를 갖는 이미지 검색 결과 페이지가 디스플레이되게 된다.
본 개요는 이하의 상세한 설명에서 추가로 설명되는 개념들 중 선택된 것들을 단순화된 형태로 소개하기 위해 제공된다. 본 개요는 청구된 발명의 주제의 주요 피처들 또는 필수적인 피처들을 식별하도록 의도된 것이 아니며, 청구된 발명의 주제의 범위를 결정하는 데 도움을 주기 위해 단독으로 사용되도록 의도된 것도 아니다.
본 발명은 첨부된 도면들을 참조하여 이하에 상세하게 설명된다.
도 1은 여기에 설명된 실시예들이 이용될 수 있는 예시적인 통합된 이미지 검색 시스템(integrated image search system)의 블록도이다.
도 2는 여기에 설명된 실시예들에 따라 통합된 이미지 검색 시스템을 구현하기 위한 예시적인 인터페이스들의 도시들을 포함한다.
도 3은 여기에 설명된 실시예들에 따라 통합된 이미지 검색 시스템을 구현하기 위한 예시적인 인터페이스들의 도시를 포함한다.
도 4는 여기에 설명된 실시예들에 따라 통합된 이미지 검색 시스템을 구현하기 위한 예시적인 인터페이스의 도시이다.
도 5는 여기에 설명된 실시예들에 따라 통합된 이미지 검색 시스템을 구현하기 위한 예시적인 방법을 보여주는 흐름도이다.
도 6a는 여기에 설명된 실시예들에 따라 통합된 이미지 검색 시스템을 구현하기 위한 예시적인 방법을 보여주는 흐름도이다.
도 6b는 여기에 설명된 실시예들에 따라 통합된 이미지 검색 시스템을 구현하기 위한 예시적인 방법을 보여주는 흐름도이다.
도 7은 여기에 설명된 실시예들을 구현하는 데 사용하기에 적합한 예시적인 컴퓨팅 환경의 블록도이다.
사용자들은 종종 구매하려는 제품에 대해 웹 페이지들 및 애플리케이션들을 통해 온라인에서 제품 이미지들을 무작위로 찾는다. 그러나, 현재의 콘텐츠 애플리케이션들 및 서비스들의 경우, 제품의 이미지를 보는 웹 페이지 또는 애플리케이션 컨텍스트로부터 제품을 구매할 수 있는 컨텍스트로 넘어가는 것이 어려울 수 있다. 예를 들어, 블로그 웹사이트 상에서 제품의 이미지를 찾은 사용자는 블로그 웹사이트 컨텍스트를 떠난 다음 콘텐츠 사이트로 내비게이트하여 제품을 찾으려고 시도할 것이다. 종종, 사용자는 제품을 찾고 구매하기 위해 텍스트 기반 검색을 사용해야 한다. 또한, 사용자는 이미지를 저장하는 것(예를 들어, 스크린 샷 또는 원본 이미지 저장), 콘텐츠 웹사이트를 여는 것, 이미지를 업로드하는 것, 및 콘텐츠 웹사이트 제품 카탈로그에서 제품을 식별하기 위해 이미지 검색을 실행하는 것을 포함하여, 이미지에 기초하여 제품을 검색하기 위한 복수의 단계를 거쳐야 할 수 있다. 매끄러운 사용자 구매 경험은 사용자가 관심있는 제품의 이미지를 찾고, 임의의 애플리케이션으로부터, 통합된 방식으로 콘텐츠 사이트를 통해 이미지 검색을 수행하는 것을 허용할 것이다. 다음으로, 사용자는 콘텐츠 사이트를 통해 제품을 구매할 수 있다. 이와 같이, 손쉽게 트리거될 수 있는 이미지 검색을 통해 콘텐츠 제품 카탈로그 내의 제품 식별을 단순화하는 포괄적인 시스템은 사용자의 온라인 구매 경험을 향상시킬 것이다.
본 발명의 실시예들은 통합된 이미지 검색 시스템을 구현하기 위한 단순하고 효율적인 방법들 및 시스템들을 제공한다. 상위 레벨에서, 모바일 디바이스 상의 콘텐츠 애플리케이션은 이미지 검색 피처와 모바일 디바이스의 네이티브 운영 체제의 통합에 부분적으로 기초하여 동작하는 이미지 검색 피처를 포함한다. 네이티브 운영 체제는 이미지 검색 피처에 대한 진입 지점들로서 동작하는 통합된 커스텀 액션들을 구축하기 위해 사용되는 애플리케이션 프로그래밍 인터페이스를 포함할 수 있다. 이와 관련하여, 이미지 검색 피처는 모바일 디바이스 상의 외부 애플리케이션들로부터 시작될 수 있다. 이미지 검색 피처는 네이티브 운영 체제를 통해, 활성 외부 애플리케이션으로부터 콘텐츠 애플리케이션에 수신된 입력들 및 커맨드들에 기초하여 실행된다.
동작에서, 이미지 식별자는 콘텐츠 애플리케이션 상에서 이미지 검색 동작들을 수행하는 것을 지원하도록 커스터마이즈되고 액세스되는 네이티브 운영 체제 통합된 커스텀 액션 인터페이스에 기초하여 식별될 수 있다. 본 명세서에서 사용되는 이미지 식별자는 대응하는 이미지의 아이덴티티 정보에 연관된 이미지 파일, 이미지 파일 이름, URL 링크, 또는 임의의 다른 이름 또는 로케이터 정보를 지칭할 수 있다. 네이티브 운영 체제 액션(예를 들어, 이미지 공유, URL 공유, URL 복사 공유, 및 드래그-앤드-드롭)은, 그 액션이 콘텐츠 애플리케이션과 함께 동작하여 이미지 검색 피처를 시작하고 실행하도록 커스터마이즈된다. 상이한 유형들의 통합된 커스터마이즈된 액션들은 이미지 검색 피처를 실행하기 위한 콘텐츠 애플리케이션에 대한 진입 지점들로서 동작한다. 진입 지점은 일반적으로 모바일 디바이스 컴포넌트들 사이에서 모바일 디바이스의 처리 제어를 전달하는 트리거를 지칭할 수 있다. 이와 관련하여, 진입 지점들은 다양한 기술을 사용하여 콘텐츠 애플리케이션의 이미지 검색 피처에 제어를 전달하는 것을 지원한다.
제1 진입 지점에서, 네이티브 운영 체제의 이미지 공유 액션(share image action)은 식별된 이미지에 대한 이미지 검색을 실행하도록 선택될 수 있는 이미지 검색 옵션을 실행하기 위한 이미지 공유(share image)를 포함한다. 예를 들어, 전화기에서 사진 애플리케이션을 브라우징하는 사용자는 사진 애플리케이션으로부터 이미지를 식별하고 공유하도록 선택할 수 있다. 이미지는 이미지 검색 동작을 수행하기 위해 콘텐츠 애플리케이션과 공유된다.
제2 진입 지점에서, 네이티브 운영 체제의 URL 공유 액션(share URL action)은 URL에 대응하는 이미지에 대한 이미지 검색을 실행하도록 선택될 수 있는 이미지 검색 옵션을 실행하기 위한 URL 공유(share URL)를 포함한다. 예를 들어, 웹사이트를 브라우징하는 사용자는 웹사이트로부터 URL을 식별하고 공유할 수 있다. 이미지 검색 동작을 수행하기 위해 URL이 콘텐츠 애플리케이션과 공유된다. 하나의 예시적인 구현에서, 썸네일 추출 서비스(extract thumbnail service)는 URL에 기초하여 이미지 또는 이미지의 썸네일 표현을 추출하기 위해 사용될 수 있다. 예를 들어, 오픈 그래프 프로토콜(open graph protocol)은 이미지의 썸네일을 추출하기 위해 사용될 수 있는 오픈 그래프 이미지 태그들을 지원한다. 이미지 또는 이미지의 추출된 썸네일 표현은 콘텐츠 애플리케이션에 대한 이미지 검색 동작을 수행하기 위해 사용될 수 있다.
제3 진입 지점에서, 네이티브 운영 체제의 URL 복사 공유 액션(copy share URL action)은 클립보드 관리자와 함께 사용되며, 클립보드 관리자는 이미지 검색을 실행할 이미지를 식별하도록 쿼리된다. 콘텐츠 애플리케이션은 클립보드의 클립보드 저장소에 저장된 이미지 식별자를 식별하기 위해 클립보드에 질의한다. 예를 들어, 사용자가 콘텐츠 애플리케이션을 열면, 콘텐츠 애플리케이션은 클립보드에서 이미지를 식별하고, 사용자가 이미지 검색 동작을 실행하길 원하는지를 사용자에게 묻는 이미지 검색 프롬프트를 생성할 수 있다.
제4 진입 지점에서, 네이티브 운영 체제의 드래그-앤드-드롭 액션은 이미지 검색을 실행하기 위해 드래그-앤드-드롭된 이미지를 식별하기 위해 사용될 수 있다. 콘텐츠 애플리케이션은 드래그-앤드-드롭 액션을 인식한 후, 드래그-앤드-드롭 포인팅 제스처를 사용하여 식별된 이미지를 사용하여 이미지 검색을 수행한다. 예를 들어, 사진 애플리케이션 또는 웹사이트 내의 사용자는 단순히 사진 애플리케이션 또는 웹사이트로부터 이미지를 드래그한 후 그 이미지를 콘텐츠 애플리케이션에 드롭할 수 있고, 그러면 콘텐츠 애플리케이션은 이미지 검색 동작의 실행을 트리거한다.
일부 실시예들에서, 이미지 검색 피처는 이미지를 편집하기 위한 그래픽 편집기 도구를 포함한다. 이미지 식별자가 수신되고 이미지의 표현이 이용가능해진 후, 그래픽 편집기 도구가 트리거될 수 있다. 그래픽 편집기 도구는 외부 애플리케이션(예를 들어, 카메라 또는 사진 인터페이스)에 대한 확장을 사용하여 콘텐츠 애플리케이션에서 시작될 수 있다. 예를 들어, 사용자가 이미지 검색을 시작하기로 선택한 후, 이미지는 이미지를 자르도록 사용자에게 프롬프트하는 크롭퍼 프롬프트(cropper prompt)와 함께 그래픽 편집기 도구에 로딩된다.
또한, 이미지는 이미지에 대한 이미지 검색 결과들을 식별하기 위해 콘텐츠 애플리케이션을 통해 이미지 검색 동작을 실행하기 위해 사용된다. 특히, 이미지는 콘텐츠 애플리케이션의 콘텐츠 플랫폼의 제품 카탈로그를 검색하기 위해 사용된다. 이미지 식별자 또는 이미지는 콘텐츠 플랫폼으로 전달되고, 이미지 검색 결과들은 콘텐츠 플랫폼으로부터 수신된다. 이미지 검색에 대한 이미지 검색 결과들은 이미지 검색 결과 페이지 상에 제공된다. 이미지 검색 결과 페이지는 콘텐츠 애플리케이션 내에 있을 수 있거나[즉, 앱 내 검색 결과 페이지(in-app search results page)], 또는 검색 결과들이 외부 애플리케이션의 인터페이스를 통해 전달되고 디스플레이될 수 있다[즉, 앱 외부 검색 결과 페이지(out-of-app search results page)].
앱 내 검색 결과 페이지는 또한 이미지 검색 피처들을 지원하는 추가 기능성에 연관될 수 있다. 특히, 검색 결과 페이지는 외부 애플리케이션에 대한 진입 지점의 역할을 하는 링크와 함께 디스플레이될 수 있다. 예를 들어, 검색 결과 페이지는 관련 외부 애플리케이션(예를 들어, 카메라 애플리케이션, 사진 애플리케이션 또는 브라우저 애플리케이션)에 대한 진입 지점으로서 동작하는 검색 입력 바 내부에 썸네일 이미지와 함께 디스플레이될 수 있다.
유리하게는, 이미지 검색 피처에 대한 진입 지점들이 네이티브 운영 체제에 매끄럽게 통합되기 때문에, 이미지 검색 피처는 모바일 디바이스의 동작을 향상시킨다. 진입 지점들을 정의하는 통합된 커스텀 액션들은 네이티브 운영 체제 API를 사용하여 이루어진 커스터마이제이션에 기초하여 네이티브 운영 체제와 완전히 통합된다. 이와 관련하여, 통합된 이미지 검색 시스템은 단순히 번거로울 수 있고 다른 단점들을 또한 가질 수 있는, 호스트 애플리케이션에 등록하거나 공유 라이브러리들에 액세스해야 하는 플러그인 또는 확장이 아니다. 본 명세서에 설명된 실시예들에서, 상이한 컴포넌트들이 이미지 검색 피처를 위해 이미지 식별자를 외부 애플리케이션들로부터 콘텐츠 애플리케이션으로 공유하도록 상호동작함에 따라, 모바일 디바이스 컴포넌트들 사이의 통신들은 더 효율적이다. 더욱이, 사용자가 외부 애플리케이션에서 찾은 이미지에 기초하여 제품 카탈로그를 검색하기 위해 복수의 수동 단계를 거칠 필요가 없으므로, 사용자 경험이 개선된다. 본 개시내용의 실시예들은 예시적인 시스템 컴포넌트들을 참조하여 아래에 추가로 설명된다.
도 1을 참조하면, 도 1은 본 개시내용의 구현들이 이용될 수 있는 예시적인 통합된 이미지 검색 시스템(100)을 도시한다. 특히, 도 1은 본 개시내용의 구현에 따른 컴포넌트들을 갖는 통합된 이미지 검색 시스템(100)의 상위 레벨 아키텍처를 보여준다. 본 명세서에 설명된 이러한 구성들 및 다른 구성들은 단지 예로서 제시된 것임을 이해해야 한다. 추가로, 본 명세서에서 사용된 시스템은 임의의 디바이스, 프로세스 또는 서비스, 또는 이들의 조합을 지칭한다. 시스템은 하드웨어, 소프트웨어, 펌웨어, 특수 목적 디바이스, 또는 이들의 임의의 조합으로서 컴포넌트들을 사용하여 구현될 수 있다. 시스템은 단일 디바이스에 통합될 수 있거나 복수의 디바이스에 걸쳐 분산될 수 있다. 시스템의 다양한 컴포넌트들은 함께 위치되거나 분산될 수 있다. 예를 들어, 명확성을 위해 콘텐츠 애플리케이션 컴포넌트로서 논의되었지만, 논의된 동작들은 분산 방식으로 수행될 수 있다. 시스템은 다른 시스템들 및 그것의 컴포넌트들로 형성될 수 있다. 본 명세서에 설명된 이러한 구성들 및 다른 구성들은 단지 예로서만 제시된 것임을 이해해야 한다.
도시되지 않은 다른 컴포넌트들 중에서, 통합된 이미지 검색 시스템(100)은 네이티브 운영 체제 컴포넌트들(120), 외부 애플리케이션들(130)[예를 들어, 사진 애플리케이션(132) 및 브라우저 애플리케이션(134)], 및 이미지 검색 동작 컴포넌트(142)를 갖는 콘텐츠 애플리케이션(140)을 갖는 모바일 디바이스(110)를 포함한다. 통합된 이미지 검색 시스템(100)은 또한 이미지 검색 서버 동작 컴포넌트(152)를 갖는 콘텐츠 플랫폼 컴포넌트(150)를 포함한다. 통합된 이미지 검색 시스템(100)의 컴포넌트들은 하나 이상의 네트워크(예를 들어, 공용 네트워크 또는 가상 사설 네트워크 "VPN")를 통해 서로 통신할 수 있다. 네트워크(도시되지 않음)는 하나 이상의 근거리 통신망(LAN) 및/또는 광역 통신망(WAN)을 포함할 수 있지만, 그에 제한되지 않는다. 모바일 디바이스(110)는 도 7을 참조하여 여기에 설명된 컴퓨팅 디바이스에 대응하는 클라이언트 컴퓨팅 디바이스일 수 있다.
통합된 이미지 검색 시스템(100)의 컴포넌트들은 본 명세서에 설명된 통합된 이미지 검색을 위한 기능성을 제공하도록 함께 동작할 수 있다. 통합된 이미지 검색 시스템(100)은 컴퓨팅 디바이스[예를 들어, 모바일 디바이스(110)]에서 콘텐츠 애플리케이션(140)의 이미지 검색 피처를 지원한다. 콘텐츠 애플리케이션(140)은 모바일 디바이스 상에서 실행하기 위해 콘텐츠 애플리케이션(140)을 시작하는 것을 지원하는 콘텐츠 애플리케이션 컴포넌트(도시되지 않음)를 포함할 수 있다. 콘텐츠 애플리케이션(140)은 온라인 소매 거래, 예를 들어 제품의 구매 및 판매를 처리하기 위한 전자 상거래 애플리케이션일 수 있다. 콘텐츠 애플리케이션은 대응하는 콘텐츠 플랫폼[예를 들어, 콘텐츠 플랫폼 컴포넌트(150)]과 함께 동작하기 위한, eBAY INC.에 의해 개발된 eBay 모바일 앱일 수 있다. 콘텐츠 플랫폼(예를 들어, 전자 상거래 플랫폼)은 소비자 대 소비자, 및 사업체 대 소비자 온라인 판매를 용이하게 할 수 있다. 콘텐츠 플랫폼은 특히 콘텐츠 플랫폼 제품 카탈로그에서 제품들을 식별하기 위한 이미지 검색을 지원할 수 있다. 이미지 검색[이미지에 의한 검색, 또는 역 이미지 검색(reverse image search)이라고도 알려져 있음]은 키워드가 아닌 이미지에 기초하여 검색하여, 이미지의 정확히 동일한 이미지 또는 실질적으로 유사한 이미지들을 이미지 검색 결과들로서 찾는 것을 지칭할 수 있다. 콘텐츠 애플리케이션(140)은 이미지 검색 동작 컴포넌트(142)를 사용하여 이미지 검색을 제공한다.
이미지 검색 동작 컴포넌트(142)는 통합된 이미지 검색 기능성을 제공하기 위해 상이한 유형의 동작들을 수행하도록 구성된다. 이미지 검색 동작 컴포넌트(142)는 네이티브 운영 체제 액션을 통해 이미지 식별자를 수신하여 이미지 검색 동작을 실행한다. 네이티브 운영 체제는 모바일 디바이스들을 지원하는 모바일 운영 체제(예를 들어, GOOGLE INC.에 의해 개발된 ANDROID 또는 APPLE INC.에 의해 개발된 iOS)일 수 있다. 네이티브 운영 체제는 서브루틴 정의들, 프로토콜들 및 도구들의 세트들을 포함하는 복수의 애플리케이션 프로그래밍 인터페이스(application programming interface)(API)를 사용하여 개발된다. API들은 또한 콘텐츠 애플리케이션의 이미지 검색 피처에 대한 진입 지점들인 통합된 커스텀 액션들을 구축하기 위해 사용될 수 있다. 네이티브 운영 체제 액션은 콘텐츠 애플리케이션의 이미지 검색 피처에 대한 진입 지점을 정의하는 통합된 커스텀 액션이다.
본 명세서에 설명된 실시예들에서, 통합된 커스텀 액션들이 외부 애플리케이션들로부터 이미지 검색 피처를 시작하기 위해 사용될 수 있도록, 이미지 검색 피처는 이미지 검색 피처와 네이티브 운영 체제의 통합에 부분적으로 기초하여 동작한다. 모바일 디바이스(100)는 네이티브 운영 체제 컴포넌트들(120)을 사용하여 콘텐츠 애플리케이션(140), 그리고 또한 다른 외부 애플리케이션들[예를 들어, 사진 애플리케이션(132) 및 브라우저 애플리케이션(134)]을 실행한다. 이와 관련하여, 외부 애플리케이션은 콘텐츠 애플리케이션(140)과 통신할 수 있다. 특히, 외부 애플리케이션에서, 네이티브 운영 체제 컴포넌트들(120)은 네이티브 운영 체제 통합된 커스텀 액션 인터페이스들을 시작하라는 지시를 수신하고 외부 애플리케이션에서 네이티브 운영 체제 통합된 커스텀 액션 인터페이스를 생성하는 것을 지원한다. 네이티브 운영 체제 컴포넌트들(120)은 통합된 커스텀 액션 인터페이스를 통해 액션을 실행하라는 지시를 수신한다. 아래에서 더 상세히 논의되는 바와 같이, 통합된 커스텀 액션 인터페이스는 외부 애플리케이션의 이미지 또는 URL에 연관될 수 있다.
이미지 검색 동작 컴포넌트(142)는 이미지 검색 피처에 대한 진입 지점들을 정의하는 이하의 통합된 커스텀 액션들과 함께 동작한다: 이미지 검색을 실행할 이미지를 공유하는 것을 허용하는 네이티브 운영 체제의 이미지 공유 액션, 이미지 검색을 실행할 URL을 공유하는 것을 허용하는 네이티브 운영 체제의 URL 공유 액션, 네이티브 운영 체제의 URL 복사 공유 액션 - 클립보드 관리자는 이미지 검색을 실행하기 위해 이미지 식별자들을 식별하도록 쿼리됨 -, 및 이미지 검색을 실행하기 위해 드래그-앤드-드롭된 이미지를 식별하기 위해 사용되는 네이티브 운영 체제의 드래그-앤드-드롭 액션. 통합된 커스텀 액션들은 선택가능한 옵션들로서 액션들을 생성하는 대응하는 액션 인터페이스들에 연관될 수 있다.
이미지 검색 동작 컴포넌트(142)는 이미지 검색을 위해 콘텐츠 애플리케이션(140) 내에서 지원되는 기능성을 위한 추가 인터페이스들을 생성하는 것을 추가로 지원한다. 예를 들어, 이미지 검색 동작 컴포넌트(142)는 이미지를 자르기 위한 프롬프트를 디스플레이하는 그래픽 편집 도구 인터페이스의 생성을 지원한다. 이미지 검색 동작 컴포넌트(142)는 또한 URL 공유 액션으로부터 식별된 URL에 기초하여 이미지의 적어도 썸네일 표현을 추출하기 위해 썸네일 추출 서비스와 함께 동작할 수 있다. 이미지 검색 동작 컴포넌트(142)는 클립보드 관리자 상에서 이미지 식별자를 자동으로 추가로 검출하고 - 여기서 이미지 식별자는 모바일 디바이스의 네이티브 운영 체제의 URL 복사 공유 액션에 기초하여 수신된 유니폼 리소스 로케이터(Uniform Resource Locator)(URL)임 -, 다음으로, 이미지 검색 프롬프트 인터페이스를 생성한다. 이미지 검색 프롬프트 인터페이스는 사용자 개입 없이 생성되며, 이미지 식별자에 연관된 이미지의 썸네일 표현, 및 이미지 검색 동작을 실행하지 않는다는 선택가능한 옵션을 포함할 수 있다. 이미지 검색 동작 컴포넌트(142)는 이미지 검색 프롬프트 인터페이스를 통해 이미지 검색 동작을 실행하라는 지시를 수신할 수 있다. 통합된 커스텀 액션들은 아래에서 도 2, 도 3 및 도 4를 추가로 참조하여 더 상세히 논의되는 대응하는 그래픽 사용자 인터페이스에 더 연관될 수 있다.
이미지 검색 동작 컴포넌트(142)는 이미지 또는 이미지 식별자에 기초하여 검색을 수행하기 위해 콘텐츠 플랫폼 컴포넌트(150)와 통신한다. 이미지 검색 동작 컴포넌트(142)는 이미지 식별자 또는 이미지를 이미지 검색 서버 동작 컴포넌트(152)에 전달한다. 이미지 검색 서버 동작 컴포넌트(152)는 이미지 또는 이미지 식별자를 수신하고, 대응하는 이미지를 사용하여 이미지 검색 결과들을 식별한다. 이미지 검색 서버 동작 컴포넌트(152)는 콘텐츠 플랫폼에 연관된 제품들의 컬렉션을 위한 이미지들을 저장하는 이미지 저장소를 포함하거나 그에 액세스할 수 있다. 이미지 검색 서버 동작 컴포넌트(152)는 이미지 검색 결과들을 콘텐츠 애플리케이션(140)에 전달한다. 이미지 검색 동작 컴포넌트(142)는 이미지 검색 결과들을 수신하고, 이미지 검색 결과들을 갖는 이미지 검색 결과 페이지의 디스플레이를 야기할 수 있다. 이미지 검색 동작 컴포넌트(142)는 콘텐츠 애플리케이션(140)의 인터페이스를 사용하여 디스플레이되는 이미지 검색 결과 페이지의 디스플레이를 야기할 수 있다. 대안적으로, 이미지 검색 동작 컴포넌트(142)는 이미지의 선택이 이루어진 외부 애플리케이션[예를 들어, 브라우저 애플리케이션(134)]의 인터페이스를 통해 디스플레이되는 이미지 검색 결과 페이지의 디스플레이를 야기할 수 있다. 이와 관련하여, 사용자는 이미지(312)가 식별된 원래의 컨텍스트로 되돌아간다. 일 구현에서, 이미지 검색 결과 페이지는 외부 애플리케이션에 대한 진입 지점으로서 동작하는 링크와 함께 디스플레이된다. 링크는 이미지의 썸네일 표현을 포함할 수 있으며, 이미지의 썸네일 표현은 이미지 검색 입력 바에 디스플레이된다.
도 2, 도 3 및 도 4는 통합된 이미지 검색 시스템의 기능성을 지원하는 그래픽 사용자 인터페이스(GUI)의 몇몇 예시를 포함한다. 이미지 공유 액션을 참조하면, 사용자는 GUI(210)에 보여진 바와 같이 외부 애플리케이션[예를 들어, 브라우저 애플리케이션(134)]에서 온라인으로 콘텐츠를 브라우징할 수 있다. 외부 애플리케이션은 네이티브 운영 체제를 사용하여 다이렉트-투-애플리케이션 공유(direct to application sharing)를 직접 지원한다. 브라우징하는 동안, 사용자는 사용자가 구매하고자 하는 제품의 이미지(212)를 발견할 수 있다. 사용자는 정의된 선택 입력(예를 들어, 길게 누르기, 메뉴 선택, 또는 다른 미리 정의된 제스처)을 사용하여 이미지 공유 액션을 개시할 수 있다. 예를 들어, 사용자는 GUI(220)에 보여진 바와 같이 이미지 공유 액션 인터페이스(222)를 불러오기 위해 이미지(212)를 길게 누르는 것을 수행할 수 있다. 이미지 공유 액션 인터페이스(222)는 이미지 검색 피처를 실행하기 위한 콘텐츠 애플리케이션에 대한 진입 지점으로서 동작하는 이미지 공유 액션 아이콘(224)을 포함한다. 사용자는 이미지 공유 액션 아이콘(224)을 선택하여 콘텐츠 애플리케이션을 시작할 수 있다.
콘텐츠 애플리케이션은 GUI(230)에 보여진 바와 같이 이미지 검색 랜딩 페이지(232)(즉, 이미지 검색 프롬프트 인터페이스) 내로 시작될 수 있다. 이미지 검색 랜딩 페이지(232)는 이미지(212)를 포함한다. 이미지 검색 랜딩 페이지(232)는 또한 다른 프롬프트들 및 기능성을 포함할 수 있다. 예를 들어, 사용자가 이미지 검색 랜딩 페이지(232) 상의 디스플레이 상의 이미지(212)에 대해 이미지 검색 동작이 수행되어야 하는지를 결정하도록 하기 위해, 이 이미지를 검색하라(search this page)는 프롬프트(234)가 생성될 수 있다. 이미지(212)가 부정확한 경우, 사용자는 표준 키워드 검색을 수행하기로 선택할 수 있다. 이미지 검색 랜딩 페이지(232)를 통해 이미지 검색 동작을 실행하라는 지시를 수신하면, GUI(240)에 보여진 바와 같이, 이미지를 자르기 위한 프롬프트(244)를 디스플레이하는 그래픽 편집 도구 인터페이스(242)가 생성될 수 있다. 사용자는 이미지(212)를 자르고, 이미지 검색 동작을 실행하기 위해 선택 입력[예를 들어, 검색(SEARCH)(246)]을 입력할 수 있다.
GUI(250)는 이미지 검색 결과 페이지(252)를 도시한다. 이미지 검색 결과 페이지는 이미지(212)에 대해 식별된 이미지 검색 결과들(254)을 포함할 수 있다. GUI(260)는 일치하는 이미지가 식별되지 않을 때 생성되는, 일치하는 발견 없음(no matches found) 랜딩 페이지(262)를 도시한다. 일치하는 발견 없음 랜딩 페이지(262)는 또한 다른 프롬프트들 및 기능성을 포함할 수 있다. 예를 들어, 사용자가 키워드 검색 동작이 수행되어야 하는지를 결정하도록 하기 위해, 키워드 검색 프롬프트(264)가 생성될 수 있다.
URL 공유 액션 인터페이스(도시되지 않음)는 사용자가 외부 애플리케이션[예를 들어, 브라우저 애플리케이션(134)]에서 온라인으로 콘텐츠를 브라우징할 때 생성될 수 있다. 외부 애플리케이션은 네이티브 운영 체제를 통해 URL 공유를 지원한다. 브라우징하는 동안, 사용자는 사용자가 구매하려는 제품의 이미지를 발견할 수 있다. 사용자는 정의된 선택 입력을 사용하여 URL 공유 액션을 개시할 수 있다. 이미지 검색 동작을 수행하기 위해 URL이 콘텐츠 애플리케이션과 공유된다. 특히, 썸네일 추출 서비스는 URL에 기초하여 이미지 또는 이미지의 썸네일 표현을 추출하기 위해 사용될 수 있다. 예를 들어, 오픈 그래프 프로토콜은 이미지의 썸네일을 추출하기 위해 사용될 수 있는 오픈 그래프 이미지 태그들을 지원한다.
URL 복사 공유 액션을 도시하는 도 3을 보면, 사용자는 GUI(310)에 보여진 바와 같이 외부 애플리케이션[예를 들어, 사진 애플리케이션(132)]에서 온라인으로 콘텐츠를 브라우징할 수 있다. 외부 애플리케이션은 모든 애플리케이션에 대해 네이티브 운영 체제를 통한 다이렉트-투-애플리케이션 공유를 지원하지 않을 수 있다. 브라우징하는 동안, 사용자는 사용자가 구매하고자 하는 제품의 이미지(312)를 발견할 수 있다. 사용자는 정의된 선택 입력(예를 들어, 길게 누르기, 메뉴 선택, 또는 다른 미리 정의된 제스처)을 사용하여 URL 복사 공유 액션을 개시할 수 있다. 예를 들어, 사용자는 GUI(320)에 보여진 바와 같이 복사 공유 URL 인터페이스(322)를 불러오기 위해 이미지(312)를 길게 누를 수 있다. 이미지 공유 액션 인터페이스(322)는 적어도 부분적으로, 이미지 검색 피처를 실행하기 위한 콘텐츠 애플리케이션에 대한 진입 지점으로서 동작하는 URL 복사 공유 아이콘(324)을 포함한다. GUI(330)는 그 이미지(312)를 디스플레이하는 복사 확인 페이지(332), 및 링크가 클립보드(즉, 클립보드 관리자)에 복사되었음을 나타내는 메시지(334)를 제시할 수 있다. 복사 확인 페이지(332)는 사용자가 조작하고 있는 특정 외부 애플리케이션에 의해 트리거되는 피처일 수 있다. 사용자는 외부 애플리케이션을 닫을 수 있다.
콘텐츠 애플리케이션은 GUI(340)에 보여진 바와 같이 랜딩 페이지(342) 내로 시작될 수 있다. 랜딩 페이지(342)는 관찰된 아이템들(344), 또는 사용자의 다른 이전 쇼핑 이력을 포함한다. 콘텐츠 애플리케이션은 시작 시에 클립보드 관리자로부터 이미지 식별자를 자동으로 검출할 수 있다. 이미지 식별자는 모바일 디바이스의 네이티브 운영 체제의 URL 복사 공유 액션에 기초하여 수신된 유니폼 리소스 로케이터(URL)이다. 랜딩 페이지(342)는 특히 클립보드 관리자 상의 이미지 식별자를 검출하는 것에 기초하여 사용자 개입 없이 자동으로 생성되는 이미지 검색 프롬프트 인터페이스(346)를 포함할 수 있다. 사용자가 이미지(312)에 대해 이미지 검색 동작이 수행되어야 하는지를 결정하도록 하기 위해, 이미지 검색 프롬프트 인터페이스(346)가 생성될 수 있다. 이미지 검색 프롬프트 인터페이스(346)는 이미지 식별자에 연관된 이미지의 썸네일 표현, 및 이미지 검색 동작을 실행하지 않는다는 선택가능한 옵션과 함께 생성될 수 있다. 사용자는 이미지 검색 동작을 실행하기 위해 선택 입력[예를 들어, 검색(348)]을 입력할 수 있다. GUI(350)에 보여진 바와 같이, 이미지 검색 동작을 수행하라는 지시를 수신하면, 이미지를 자르기 위한 자르기 프롬프트(354)를 디스플레이하는 그래픽 편집 도구 인터페이스(352)가 생성된다. 사용자는 이미지(312)를 자르고, 이미지 검색 동작을 실행하기 위해 선택 입력[예를 들어, 검색(search)(356)]을 입력할 수 있다.
GUI(360)는 이미지 검색 결과 페이지(362)를 도시한다. 이미지 검색 결과 페이지는 이미지에 대해 식별된 이미지 검색 결과들(364)을 포함할 수 있다. 이미지 검색 결과 페이지(362)는 외부 애플리케이션에 대한 진입 지점으로서 동작하는 링크(366)와 함께 디스플레이될 수 있다. 링크는 이미지의 썸네일 표현을 포함하고, 여기서 이미지의 썸네일 표현은 이미지 검색 입력 바(368)에 디스플레이된다.
드래그-앤드-드롭 액션을 도시한 도 4를 보면, 사용자는 GUI(420)에 보여진 바와 같이, 외부 애플리케이션에 대해 열린 콘텐츠 애플리케이션을 갖는 GUI(410)에 보여진 바와 같이, 외부 애플리케이션[예를 들어, 사진 애플리케이션(132) 또는 브라우저 애플리케이션(134)]에서 온라인으로 콘텐츠를 브라우징할 수 있다. 외부 애플리케이션은 네이티브 운영 체제를 통해 애플리케이션들에 대한 드래그-앤드-드롭 공유를 지원할 수 있다. 브라우징하는 동안, 사용자는 사용자가 구매하고자 하는 제품의 이미지(412)를 발견할 수 있다. 사용자는 정의된 드래그-앤드-드롭 입력 제스처를 사용하여 드래그-앤드-드롭 액션(414)을 개시할 수 있다. 드래그-앤드-드롭 랜딩 페이지(422) 상의 GUI(420)에 보여진 바와 같이, 콘텐츠 애플리케이션은 드래그-앤드-드롭 액션을 인식한 다음, 드래그-앤드-드롭 포인팅 제스처를 사용하여 식별된 이미지를 사용하여 이미지 검색을 수행한다. 드래그-앤드-드롭 랜딩 페이지(422)는 또한 다른 프롬프트들 및 기능성도 포함한다. 예를 들어, 사용자가 이미지(412)에 대해 이미지 검색 동작이 수행되어야 하는지를 결정하도록 하기 위해, 이 이미지를 검색하라는 프롬프트(424)가 생성될 수 있다. 이미지(412)가 부정확한 경우, 사용자는 표준 키워드 검색을 수행하도록 선택할 수 있다. 드래그-앤드-드롭 랜딩 페이지(422)를 통해 이미지 검색 동작을 실행하라는 지시[예를 들어, 검색(SEARCH)(426)]를 수신하면, 그래픽 편집 도구 인터페이스(도시되지 않음)는 이미지를 자르기 위한 프롬프트를 디스플레이할 수 있다. 사용자는 이미지(212)를 자를 수 있고, 이미지 검색 동작을 실행하기 위한 선택 입력을 입력할 수 있다.
도 5, 도 6a 및 도 6b를 참조하면, 통합된 이미지 검색 시스템을 구현하기 위한 방법들을 도시한 흐름도들이 제공된다. 방법들은 본 명세서에 설명된 통합된 이미지 검색 시스템을 사용하여 수행될 수 있다. 실시예들에서, 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서가 통합된 이미지 검색 시스템에서 방법들을 수행하게 할 수 있는 컴퓨터 실행가능한 명령어들이 구현된 하나 이상의 컴퓨터 저장 매체.
도 5를 보면, 통합된 이미지 검색 시스템을 구현하기 위한 방법(500)을 도시하는 흐름도가 제공된다. 처음에, 블록(510)에서, 콘텐츠 애플리케이션이 모바일 디바이스 상에서 시작된다. 콘텐츠 애플리케이션은 이미지들을 검색하기 위한 이미지 검색 피처를 포함한다. 블록(520)에서, 이미지 식별자는 모바일 디바이스의 네이티브 운영 체제의 클립보드 관리자로부터 자동으로 검출된다. 이미지 식별자는 모바일 디바이스의 네이티브 운영 체제의 URL 복사 공유 액션에 기초하여 수신된 URL이다. URL 복사 공유 액션은 이미지 검색 피처에 대한 진입 지점을 정의하는 커스텀 액션이다. 추가로, 이미지 식별자는 외부 애플리케이션에서 네이티브 운영 체제 URL 복사 공유 액션 인터페이스를 시작하라는 지시를 수신하고, 외부 애플리케이션에서 네이티브 운영 체제 URL 복사 공유 액션 인터페이스를 생성하고, 외부 애플리케이션에서 이미지에 연관된 URL을 복사 공유하라는 지시를 수신하는 것에 기초하여 이미지 식별자가 수신된다. URL은 클립보드 관리자에 연관하여 저장된다.
블록(530)에서, 이미지 검색 프롬프트 인터페이스가 생성된다. 이미지 검색 프롬프트 인터페이스는 이미지 검색 동작을 실행하라는 프롬프트를 디스플레이한다. 블록(540)에서, 이미지 검색 프롬프트 인터페이스를 통해 이미지 검색 동작을 실행하라는 지시가 수신된다. 블록(550)에서, 이미지 검색 동작은 이미지 식별자에 대응하는 이미지에 기초하여 이미지 검색 결과들을 식별하기 위해 실행된다. 이미지 검색 동작은 콘텐츠 애플리케이션의 콘텐츠 플랫폼에 연관된 복수의 제품에 대한 이미지 저장소에 기초하여 실행된다. 블록(560)에서, 이미지에 기초한 이미지 검색 결과들을 포함하는 이미지 검색 결과 페이지가 디스플레이되게 된다.
도 6a를 보면, 통합된 이미지 검색 시스템을 구현하기 위한 방법(600A)을 도시하는 흐름도가 제공된다. 초기에, 단계(610A)에서, 이미지 검색 동작을 실행할 이미지 식별자가 네이티브 운영 체제의 통합된 커스텀 액션을 통해 수신된다. 이미지 식별자는 모바일 디바이스 상에서 실행되는 콘텐츠 애플리케이션에서 수신된다. 네이티브 운영 체제는 복수의 애플리케이션 프로그래밍 인터페이스(API)를 지원하는 모바일 운영 체제이며, API들은 콘텐츠 애플리케이션의 이미지 검색 피처에 대한 진입 지점들인 통합된 커스텀 액션들을 구축하기 위해 사용된다.
진입 지점들을 정의하는 통합된 커스텀 액션들은 이하를 포함한다: 이미지 검색을 실행할 이미지를 공유하는 것을 허용하는 네이티브 운영 체제의 이미지 공유 액션, 이미지 검색을 실행할 URL을 공유하는 것을 허용하는 네이티브 운영 체제의 URL 공유 액션, 네이티브 운영 체제의 URL 복사 공유 액션 - 클립보드 관리자는 이미지 검색을 실행할 이미지 식별자들을 식별하도록 쿼리됨 -, 이미지 검색을 실행하기 위해 드래그-앤드-드롭되는 이미지를 식별하기 위해 사용되는 네이티브 운영 체제의 드래그-앤드-드롭 액션.
블록(620A)에서, 이미지 검색 동작은 이미지 식별자에 대응하는 이미지에 기초하여 이미지 검색 결과들을 식별하기 위해 실행된다. 이미지 검색 동작은 콘텐츠 애플리케이션의 콘텐츠 플랫폼에 연관된 복수의 제품에 대한 이미지 저장소에 기초하여 실행된다. 블록(630A)에서, 이미지에 기초한 이미지 검색 결과들을 포함하는 이미지 검색 결과 페이지가 디스플레이되게 된다.
도 6b를 보면, 통합된 이미지 검색 시스템을 구현하기 위한 방법(600B)을 도시하는 흐름도가 제공된다. 처음에, 단계(610B)에서, 이미지 검색 동작을 실행할 이미지 식별자는 네이티브 운영 체제의 URL 공유 액션을 통해 수신된다. 이미지 식별자는 모바일 디바이스에서 실행되는 콘텐츠 애플리케이션에서 수신된다. 네이티브 운영 체제는 복수의 애플리케이션 프로그래밍 인터페이스(API)를 지원하는 모바일 운영 체제이며, API들은 콘텐츠 애플리케이션의 이미지 검색 피처에 대한 진입 지점들인 통합된 커스텀 액션들을 구축하기 위해 사용된다.
블록(620B)에서, URL 공유 액션의 URL에 대응하는 이미지의 적어도 썸네일 표현이 썸네일 추출 서비스를 사용하여 추출된다. 썸네일 추출 서비스는 대안적으로 또는 추가로 이미지 자체를 추출할 수 있다. 썸네일 추출 서비스는 특히 이미지의 썸네일을 추출하기 위해 사용될 수 있는 오픈 그래프 이미지 태그들을 지원하는 오픈 그래프 프로토콜일 수 있다.
블록(630B)에서, 이미지 검색 동작은 이미지 식별자에 대응하는 이미지에 기초하여 이미지 검색 결과들을 식별하기 위해 실행된다. 이미지 검색 동작은 콘텐츠 애플리케이션의 콘텐츠 플랫폼에 연관된 복수의 제품에 대한 이미지 저장소에 기초하여 실행된다. 블록(640B)에서, 이미지에 기초한 이미지 검색 결과들을 포함하는 이미지 검색 결과 페이지가 디스플레이되게 된다.
통합된 이미지 검색 시스템(100)을 참조하면, 본 명세서에 설명된 실시예들은 모바일 디바이스 상의 콘텐츠 애플리케이션의 이미지 검색 피처를 지원한다. 콘텐츠 애플리케이션은 이미지 검색 피처와 모바일 디바이스의 네이티브 운영 체제의 통합에 부분적으로 기초하여 동작하는 이미지 검색 피처를 포함한다. 통합된 이미지 검색 시스템 컴포넌트들은 이미지 검색 시스템을 구현하는 통합된 컴포넌트들을 참조한다. 통합된 컴포넌트들은 통합된 이미지 검색 시스템 컴포넌트들을 사용하여 기능성을 지원하는 하드웨어 아키텍처 및 소프트웨어 프레임워크를 지칭한다. 하드웨어 아키텍처는 물리적 컴포넌트들 및 이들의 상호 관계들을 지칭하고, 소프트웨어 프레임워크는 디바이스 상에서 동작하는 하드웨어로 구현될 수 있는 기능성을 제공하는 소프트웨어를 지칭한다. 엔드-투-엔드 소프트웨어 기반의 통합된 이미지 검색 시스템은 통합된 이미지 검색 시스템 기능성을 제공하도록 컴퓨터 하드웨어를 작동시키기 위해 다른 컴포넌트들 내에서 동작할 수 있다. 이와 같이, 통합된 이미지 검색 시스템 컴포넌트들은 자원들을 관리하고 통합된 이미지 검색 시스템 기능성을 위한 서비스들을 제공할 수 있다. 임의의 다른 변형들 및 이들의 조합이 본 발명의 실시예들과 함께 고려된다.
예로서, 통합된 이미지 검색 시스템은 루틴들, 데이터 구조들, 객체 클래스들에 대한 사양을 포함하는 API 라이브러리를 포함할 수 있으며, 변수들은 디바이스의 하드웨어 아키텍처와 통합된 이미지 검색 시스템의 소프트웨어 프레임워크의 상호작용을 지원할 수 있다. 이러한 API들은 통합된 이미지 검색 시스템에 대한 구성 사양들을 포함하여, 그 내부의 컴포넌트들이 본 명세서에 설명된 것과 같이 이미지 검색을 위해 서로 통신할 수 있게 된다.
통합된 이미지 검색 시스템(100)의 다양한 컴포넌트들을 확인한 후, 본 개시내용의 범위 내에서 요구되는 기능성을 달성하기 위해 임의의 수의 컴포넌트가 이용될 수 있음에 유의해야 한다. 비록, 명확성을 위해, 도 1의 다양한 컴포넌트들이 선들로 도시되지만, 실제로 다양한 컴포넌트들을 묘사하는 것은 그렇게 명확하지 않으며, 은유적으로, 선들은 더 정확하게는 회색이거나 희미할 수 있다. 또한, 도 1의 일부 컴포넌트들이 단일 컴포넌트들로서 도시되어 있으며, 도시들은 성질 및 개수 면에서 예시적이며 본 개시내용의 모든 구현에 대한 제한으로서 해석되어서는 안 된다. 통합된 이미지 검색 시스템(100) 기능성은 위에서 나열된 컴포넌트들의 기능성 및 피처들에 기초하여 추가로 설명될 수 있다.
다른 구성들 및 요소들(예를 들어, 머신들, 인터페이스들, 기능들, 순서들 및 기능들의 그룹화 등)은 도시된 것에 더하여 또는 그를 대신하여 사용될 수 있으며, 일부 요소들은 함께 생략될 수 있다. 또한, 본 명세서에 기술된 요소들 중 다수는 개별된 또는 분산된 컴포넌트들로서 또는 다른 컴포넌트들과 함께, 그리고 임의의 적절한 조합 및 위치로 구현될 수 있는 기능적 엔티티들이다. 하나 이상의 엔티티에 의해 수행되는 것으로서 본 명세서에 설명된 다양한 기능들은 하드웨어, 펌웨어, 및/또는 소프트웨어에 의해 수행될 수 있다. 예를 들어, 메모리에 저장된 명령어들을 실행하는 프로세서에 의해 다양한 기능들이 수행될 수 있다.
본 발명의 실시예들의 개요를 간략하게 설명하였고, 본 발명의 다양한 양태에 대한 일반적인 맥락을 제공하기 위해, 본 발명의 실시예들이 구현될 수 있는 예시적인 운영 환경이 이하에 설명된다. 특히, 처음에 도 7을 참조하면, 본 발명의 실시예들을 구현하기 위한 예시적인 운영 환경이 일반적으로 컴퓨팅 디바이스(700)로서 도시되고 지정된다. 컴퓨팅 디바이스(700)는 적합한 컴퓨팅 환경의 일례일 뿐이며, 본 발명의 기능성 또는 사용의 범위에 대한 임의의 제한을 시사하도록 의도되지 않는다. 컴퓨팅 디바이스(700)가 도시된 컴포넌트들 중 임의의 하나 또는 그것들의 조합에 관한 임의의 종속성 또는 요건을 갖는 것으로 해석되어서도 안 된다.
본 발명은 컴퓨터, 또는 개인용 휴대 정보 단말기(personal data assistant) 또는 다른 핸드헬드 디바이스와 같은 다른 머신에 의해 실행되는 프로그램 모듈들과 같은 컴퓨터 실행가능한 명령어들을 포함하는 컴퓨터 코드 또는 머신 사용가능한 명령어들의 일반적인 맥락에서 설명될 수 있다. 일반적으로, 루틴들, 프로그램들, 객체들, 컴포넌트들, 데이터 구조들 등을 포함하는 프로그램 모듈들은 특정 작업들을 수행하거나 특정 추상 데이터 유형을 구현하는 코드를 지칭한다. 본 발명은 핸드헬드 디바이스들, 가전 제품들, 범용 컴퓨터들, 보다 특수한 컴퓨팅 디바이스들 등을 포함하는 다양한 시스템 구성에서 실시될 수 있다. 본 발명은 또한 통신 네트워크를 통해 링크된 원격 처리 디바이스들에 의해 작업들이 수행되는 분산 컴퓨팅 환경들에서 실시될 수 있다.
도 7을 참조하면, 컴퓨팅 디바이스(700)는 이하의 디바이스들: 메모리(712), 하나 이상의 프로세서(714), 하나 이상의 프레젠테이션 컴포넌트(716), 입력/출력 포트들(718), 입력/출력 컴포넌트들(720), 및 예시적인 전력 공급부(722)를 직접적으로 또는 간접적으로 결합하는 버스(710)를 포함한다. 버스(710)는 하나 이상의 버스(예컨대, 주소 버스, 데이터 버스 또는 이들의 조합 등)일 수 있는 것들을 나타낸다. 비록, 명확성을 위해, 도 7의 다양한 블록들이 선들로 도시되지만, 실제로 다양한 컴포넌트들을 묘사하는 것은 그렇게 명확하지 않으며, 은유적으로, 선들은 더 정확하게는 회색이거나 희미할 수 있다. 예를 들어, 디스플레이 디바이스와 같은 프레젠테이션 컴포넌트가 I/O 컴포넌트로 고려될 수 있다. 또한, 프로세서들은 메모리를 갖는다. 그러한 것이 본 기술의 본질이라는 것이 인식되고, 도 7의 도면은 단순히 본 발명의 하나 이상의 실시예와 관련하여 사용될 수 있는 예시적인 컴퓨팅 디바이스를 도시한 것임이 반복된다. "워크스테이션", "서버", "랩탑", "핸드헬드 디바이스" 등과 같은 범주들 사이에서 구별이 이루어지는 것은 아닌데, 왜냐하면 이들 모두가 도 7의 범위 내에서 고려되며 "컴퓨팅 디바이스"를 참조하기 때문이다.
컴퓨팅 디바이스(700)는 전형적으로 다양한 컴퓨터 판독가능한 매체를 포함한다. 컴퓨터 판독가능한 매체는 컴퓨팅 디바이스(700)에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있으며, 휘발성 및 비휘발성 매체, 이동식 및 고정식 매체 모두를 포함한다. 제한이 아닌 예로서, 컴퓨터 판독가능한 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다.
컴퓨터 저장 매체는 컴퓨터 판독가능한 명령어들, 데이터 구조들, 프로그램 모듈들 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 이동식 및 고정식 매체를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 다목적 디스크(DVD), 또는 다른 광 디스크 저장소, 자기 카세트, 자기 테이프, 자기 디스크 저장소 또는 다른 자기 저장 디바이스, 또는 원하는 정보를 저장하기 위해 사용될 수 있고 컴퓨팅 디바이스(700)에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만 이에 제한되지 않는다. 컴퓨터 저장 매체는 신호들 자체를 배제한다.
통신 매체는 전형적으로 반송파 또는 다른 전송 메커니즘과 같은 변조된 데이터 신호로 컴퓨터 판독가능한 명령어들, 데이터 구조들, 프로그램 모듈들 또는 다른 데이터를 구현하고, 임의의 정보 전달 매체를 포함한다. "변조된 데이터 신호"라는 용어는 그것의 특성들 세트 중 하나 이상이 신호에 정보를 인코딩하는 방식으로 설정되거나 변경된 신호를 의미한다. 제한이 아닌 예로서, 통신 매체는 유선 네트워크 또는 직접 유선 연결과 같은 유선 매체, 및 음향, RF, 적외선 및 다른 무선 매체와 같은 무선 매체를 포함한다. 상술한 것들 중 임의의 것의 조합들이 또한 컴퓨터 판독가능한 매체의 범위 내에 포함되어야 한다.
메모리(712)는 휘발성 및/또는 비휘발성 메모리 형태의 컴퓨터 저장 매체를 포함한다. 메모리는 이동식, 고정식, 또는 이들의 조합일 수 있다. 예시적인 하드웨어 디바이스들은 고체 상태 메모리, 하드 드라이브들, 광 디스크 드라이브들 등을 포함한다. 컴퓨팅 디바이스(700)는 메모리(712) 또는 I/O 컴포넌트들(720)과 같은 다양한 엔티티들로부터 데이터를 판독하는 하나 이상의 프로세서를 포함한다. 프레젠테이션 컴포넌트(들)(716)는 데이터 표시들을 사용자 또는 다른 디바이스에 제시한다. 예시적인 프레젠테이션 컴포넌트들은 디스플레이 디바이스, 스피커, 인쇄 컴포넌트, 진동 컴포넌트 등을 포함한다.
I/O 포트들(718)은 컴퓨팅 디바이스(700)가 I/O 컴포넌트들(720)을 포함하는 다른 디바이스들에 논리적으로 결합되는 것을 허용하며, 이들 중 일부는 내장될 수 있다. 예시적인 컴포넌트들은 마이크로폰, 조이스틱, 게임 패드, 위성 접시, 스캐너, 프린터, 무선 디바이스 등을 포함한다.
상술한 단락들에서 설명된 실시예들은 구체적으로 설명된 대안들 중 하나 이상과 결합될 수 있다. 특히, 청구되는 실시예는 대안적으로 하나보다 많은 다른 실시예에 대한 참조를 포함할 수 있다. 청구된 실시예는 청구된 주제의 추가 제한을 지정할 수 있다.
본 발명의 실시예들의 주제는 법적 요건들을 충족시키기 위해 본 명세서에서 구체적으로 설명된다. 그러나, 설명 자체는 본 특허의 범위를 제한하도록 의도된 것이 아니다. 오히려, 본 발명자들은 청구된 주제가 다른 현재 또는 미래의 기술과 관련하여 본 문서에 기술된 것과 유사한 상이한 단계들 또는 단계들의 조합을 포함하도록 다른 방식으로도 구현될 수 있음을 고려한다. 더욱이, 용어 "단계" 및/또는 "블록"은 본 명세서에서 이용되는 방법들의 상이한 요소들을 의미하기 위해 사용될 수 있지만, 용어들은 개별 단계들의 순서가 명시적으로 설명되지 않은 한, 또한 그와 같이 설명된 경우를 제외하고는, 본 명세서에 개시된 다양한 단계들 사이의 임의의 특정한 순서를 암시하는 것으로 해석되어서는 안 된다.
본 개시내용을 위해, "포함하는(including)"이라는 단어는 "포함하는(comprising)"이라는 단어와 동일한 넓은 의미를 가지며, "액세스하는"이라는 단어는 "수신하는", "참조하는" 또는 "검색하는"을 포함한다. 또한, "통신하는"이라는 단어는 본 명세서에 설명된 통신 매체를 사용하여 소프트웨어 또는 하드웨어 기반 버스들, 수신기들 또는 송신기들에 의해 용이하게 되는 "수신하는" 또는 "전송하는"이라는 단어와 동일한 넓은 의미를 갖는다. 또한, "개시하는"이라는 단어는 "실행하는" 또는 "지시하는"이라는 단어와 동일한 넓은 의미를 가지며, 여기서 대응하는 액션은 다른 액션의 발생에 기초하여 완료되거나 중단되도록 수행될 수 있다. 추가로, 달리 지시되지 않는 한, "a" 및 "an"과 같은 단어들은 단수형뿐만 아니라 복수형도 포함한다. 따라서, 예를 들어, 하나 이상의 피처가 존재하는 경우, "피처"의 제약이 충족된다. 또한, 용어 "또는"은 접속사, 이접 접속사, 및 둘 다를 포함한다(따라서, a 또는 b는 a 또는 b는 물론, a 및 b도 포함한다).
위의 상세한 논의를 위해, 본 발명의 실시예들은 분산 컴퓨팅 환경을 참조하여 설명되지만; 본 명세서에 도시된 분산 컴퓨팅 환경은 단지 예시일 뿐이다. 컴포넌트들은 실시예들의 신규한 양태들을 수행하도록 구성될 수 있으며, 여기서 용어 "구성된"은 코드를 사용하여 특정 작업들을 수행하거나 특정 추상 데이터 유형을 구현하도록 "프로그래밍된" 것을 지칭할 수 있다. 또한, 본 발명의 실시예들은 일반적으로 본 명세서에 설명된 분산 데이터 객체 관리 시스템 및 개략도들을 참조할 수 있지만, 설명된 기술들은 다른 구현 컨텍스트들로 확장될 수 있음이 이해된다.
본 발명의 실시예들은 모든 면에서 제한적인 것이 아니라 예시적인 것으로 의도된 특정 실시예와 관련하여 설명되었다. 본 발명의 범위를 벗어나지 않는 대안적인 실시예들은 본 발명이 속하는 기술 분야의 통상의 기술자에게 명백할 것이다.
전술한 것으로부터, 본 발명은 명백하며 구조에 고유한 다른 장점들과 함께 제시된, 상술한 모든 목표들 및 목적들을 달성하도록 잘 적응된 것임을 알 수 있을 것이다.
특정한 피처들 및 하위 조합들은 유용하며, 다른 피처들 또는 하위 조합들을 참조하지 않고 이용될 수 있음을 이해할 것이다. 이는 청구 범위에 의해 고려되고 그 범위 내에 있다.

Claims (20)

  1. 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금 통합된 이미지 검색을 제공하기 위한 방법을 수행하게 하는 컴퓨터 실행가능한 명령어들이 구현된 하나 이상의 컴퓨터 저장 매체로서,
    상기 방법은:
    모바일 디바이스 상에서 실행되고 있는 콘텐츠 애플리케이션에서, 네이티브 운영 체제의 통합된 커스텀 액션을 통해, 이미지 검색 동작을 실행할 이미지 식별자를 수신하는 단계 - 상기 통합된 커스텀 액션은 상기 콘텐츠 애플리케이션의 이미지 검색 피처에 대한 진입 지점을 정의하고, 상기 통합된 커스텀 액션은 외부 애플리케이션에서의 네이티브 운영 체제 통합 커스텀 액션 인터페이스를 사용하여 실행됨 -;
    상기 콘텐츠 애플리케이션에서, 상기 이미지 식별자를 수신하는 것에 응답하여, 상기 이미지 식별자에 대응하는 이미지에 기초하여 이미지 검색 결과들을 식별하기 위해 이미지 검색 동작을 실행하는 단계 - 상기 이미지 검색 동작은 상기 콘텐츠 애플리케이션의 콘텐츠 플랫폼에 연관된 복수의 제품에 대한 이미지 저장소에 기초하여 실행됨 -; 및
    상기 콘텐츠 애플리케이션에서, 상기 이미지에 기초한 상기 이미지 검색 결과들을 포함하는 이미지 검색 결과 페이지의 디스플레이를 야기하는 단계
    를 포함하고,
    상기 이미지 식별자는,
    상기 외부 애플리케이션에서, 상기 네이티브 운영 체제 통합된 커스텀 액션 인터페이스를 시작하라는 지시를 수신하는 단계;
    상기 외부 애플리케이션에서 상기 네이티브 운영 체제 통합된 커스텀 액션 인터페이스를 생성하는 단계; 및
    상기 외부 애플리케이션에서 이미지 또는 URL에 연관된 상기 통합된 커스텀 액션 인터페이스를 사용하여 액션을 실행하라는 지시를 수신하는 단계
    에 기초하여 수신되는 컴퓨터 저장 매체.
  2. 삭제
  3. 제1항에 있어서, 상기 통합된 커스텀 액션은 상기 이미지 식별자를 상기 이미지 검색을 실행할 이미지로서 공유하는 것을 허용하는 상기 네이티브 운영 체제의 이미지 공유 액션인 컴퓨터 저장 매체.
  4. 제1항에 있어서, 상기 통합된 커스텀 액션은 상기 이미지 검색을 실행할 URL을 공유하는 것을 허용하는 상기 네이티브 운영 체제의 URL 공유 액션이고, 상기 URL 공유 액션은 상기 URL 공유 액션으로부터 식별된 URL에 기초하여 상기 이미지의 적어도 썸네일 표현을 추출하기 위해 썸네일 추출 서비스와 함께 동작하는 컴퓨터 저장 매체.
  5. 제1항에 있어서, 상기 통합된 커스텀 액션은 상기 이미지 검색을 실행하기 위해 드래그-앤드-드롭된 이미지를 식별하기 위해 사용되는 상기 네이티브 운영 체제의 드래그-앤드-드롭 액션이고, 상기 방법은 상기 이미지를 수신할 때, 상기 이미지를 자르기 위한 프롬프트를 디스플레이하는 그래픽 편집 도구 인터페이스를 생성하는 단계를 더 포함하는 컴퓨터 저장 매체.
  6. 제1항에 있어서, 상기 이미지 검색 결과들을 식별하기 위해 상기 이미지 검색 동작을 실행하는 단계는
    상기 이미지 식별자 또는 상기 이미지를 콘텐츠 플랫폼에 전달하는 단계; 및
    상기 콘텐츠 플랫폼에 연관된 상기 복수의 제품에 대한 상기 이미지 저장소로부터의 식별된 이미지 검색 결과들을 수신하는 단계
    를 더 포함하는 컴퓨터 저장 매체.
  7. 통합된 이미지 검색 시스템으로서,
    하나 이상의 프로세서; 및
    컴퓨터 사용가능한 명령어들을 저장하는 하나 이상의 컴퓨터 저장 매체
    를 포함하고, 상기 컴퓨터 사용가능한 명령어들은 상기 하나 이상의 프로세서에 의해 사용될 때, 상기 하나 이상의 프로세서로 하여금:
    모바일 디바이스 상에서 콘텐츠 애플리케이션을 시작하고 - 상기 콘텐츠 애플리케이션은 이미지들을 검색하기 위한 이미지 검색 피처를 포함함 -;
    상기 콘텐츠 애플리케이션에서, 네이티브 운영 체제 액션을 통해, 이미지 검색 동작을 실행할 이미지 식별자를 수신하고 - 상기 네이티브 운영 체제 액션은 상기 콘텐츠 애플리케이션의 상기 이미지 검색 피처에 대한 진입 지점을 정의하는 통합된 커스텀 액션이고, 상기 네이티브 운영 체제 액션은 외부 애플리케이션에서의 네이티브 운영 체제 액션 인터페이스를 사용하여 실행됨 -;
    상기 콘텐츠 애플리케이션에서, 상기 이미지 식별자를 수신하는 것에 응답하여, 상기 이미지 식별자에 대응하는 이미지에 기초하여 이미지 검색 결과들을 식별하기 위해 상기 이미지 검색 동작을 실행하고 - 상기 이미지 검색 동작은 상기 콘텐츠 애플리케이션의 콘텐츠 플랫폼에 연관된 복수의 제품에 대한 이미지 저장소에 기초하여 실행됨 -; 및
    상기 콘텐츠 애플리케이션에서, 상기 이미지에 기초한 상기 이미지 검색 결과들을 포함하는 이미지 검색 결과 페이지의 디스플레이를 야기하도록
    하고,
    상기 이미지 식별자는,
    상기 외부 애플리케이션에서, 상기 네이티브 운영 체제 액션 인터페이스를 시작하라는 지시를 수신하는 단계;
    상기 외부 애플리케이션에서 상기 네이티브 운영 체제 액션 인터페이스를 생성하는 단계; 및
    상기 외부 애플리케이션에서 이미지 또는 URL에 연관된 상기 네이티브 운영 체제 액션 인터페이스를 사용하여 액션을 실행하라는 지시를 수신하는 단계
    에 기초하여 수신되는 시스템.
  8. 제7항에 있어서, 상기 네이티브 운영 체제는 복수의 애플리케이션 프로그래밍 인터페이스(API)를 지원하는 모바일 운영 체제이고, 상기 API들은 상기 콘텐츠 애플리케이션의 상기 이미지 검색 피처에 대한 진입 지점들인 통합된 커스텀 액션들을 구축하기 위해 사용되는 시스템.
  9. 제7항에 있어서, 진입 지점들을 정의하는 상기 통합된 커스텀 액션들은:
    상기 이미지 검색을 실행할 이미지를 공유하는 것을 허용하는 상기 네이티브 운영 체제의 이미지 공유 액션;
    상기 이미지 검색을 실행할 URL을 공유하는 것을 허용하는 상기 네이티브 운영 체제의 URL 공유 액션;
    상기 네이티브 운영 체제의 URL 복사 공유 액션 - 상기 이미지 검색을 실행할 이미지 식별자들을 식별하기 위해 클립보드 관리자가 쿼리됨 -; 및
    상기 이미지 검색을 실행하기 위해 드래그-앤드-드롭된 이미지를 식별하기 위해 사용되는 상기 네이티브 운영 체제의 드래그-앤드-드롭 액션
    을 포함하는 시스템.
  10. 제9항에 있어서, 상기 URL 공유 액션은 상기 URL 공유 액션으로부터 식별된 URL에 기초하여 상기 이미지의 적어도 썸네일 표현을 추출하기 위해 썸네일 추출 서비스와 함께 동작하는 시스템.
  11. 제9항에 있어서, 상기 콘텐츠 애플리케이션은:
    클립보드 관리자로부터 이미지 식별자를 자동으로 검출하고 - 상기 이미지 식별자는 상기 모바일 디바이스의 상기 네이티브 운영 체제의 URL 복사 공유 액션에 기초하여 수신된 유니폼 리소스 로케이터(URL)임 -;
    이미지 검색 프롬프트 인터페이스를 생성하고 - 상기 이미지 검색 프롬프트 인터페이스는 사용자에게 이미지 검색 동작을 실행하도록 프롬프트하고, 상기 이미지 검색 프롬프트 인터페이스는 사용자 개입 없이 생성되며, 상기 이미지 검색 프롬프트 인터페이스는 상기 이미지 식별자에 연관된 이미지의 썸네일 표현, 및 상기 이미지 검색 동작을 실행하지 않는다는 선택가능한 옵션을 포함함 -;
    상기 이미지 검색 프롬프트 인터페이스를 통해 상기 이미지 검색 동작을 실행하라는 지시를 수신하고;
    상기 이미지 식별자에 대응하는 상기 이미지를 자르기 위한 프롬프트를 디스플레이하는 그래픽 편집 도구 인터페이스를 생성하도록
    추가로 구성되는 시스템.
  12. 제10항에 있어서, 콘텐츠 플랫폼을 더 포함하고, 상기 콘텐츠 플랫폼은:
    상기 콘텐츠 애플리케이션으로부터 상기 이미지 또는 이미지 식별자를 수신하고;
    상기 콘텐츠 플랫폼에 연관된 상기 복수의 제품에 대한 상기 이미지 저장소로부터의 이미지 검색 결과들을 식별하고;
    상기 이미지 검색 결과들을 상기 콘텐츠 애플리케이션에 전달하도록
    구성되는 시스템.
  13. 제7항에 있어서, 상기 콘텐츠 애플리케이션은:
    상기 이미지에 기초한 상기 이미지 검색 결과들을 포함하는 상기 이미지 검색 결과 페이지의 디스플레이를 야기하고 - 상기 이미지 검색 결과 페이지는 상기 콘텐츠 애플리케이션의 인터페이스를 통해 디스플레이됨 -;
    상기 이미지에 기초한 상기 이미지 검색 결과들을 포함하는 상기 이미지 검색 결과 페이지의 디스플레이를 야기하도록 - 상기 이미지 검색 결과 페이지는 외부 애플리케이션의 인터페이스를 통해 디스플레이됨 -
    추가로 구성되는 시스템.
  14. 제7항에 있어서, 상기 이미지 검색 결과 페이지는 상기 외부 애플리케이션에 대한 진입 지점으로서 동작하는 링크와 함께 디스플레이되고, 상기 링크는 상기 이미지의 썸네일 표현을 포함하고, 상기 이미지의 상기 썸네일 표현은 이미지 검색 입력 바에 디스플레이되는 시스템.
  15. 통합된 이미지 검색을 제공하기 위한 컴퓨터 구현 방법으로서, 상기 방법은 모바일 디바이스에 의해 수행되고, 상기 방법은,
    상기 모바일 디바이스 상에서 실행되고 있는 콘텐츠 애플리케이션에서, 네이티브 운영 체제의 통합된 커스텀 액션을 통해, 이미지 검색 동작을 실행할 이미지 식별자를 수신하는 단계 - 상기 통합된 커스텀 액션은 콘텐츠 애플리케이션의 이미지 검색 피처에 대한 진입 지점을 정의하고, 상기 통합된 커스텀 액션은 외부 애플리케이션에서의 네이티브 운영 체제 통합 커스텀 액션 인터페이스를 사용하여 실행됨 -;
    상기 콘텐츠 애플리케이션에서, 상기 이미지 식별자를 수신하는 것에 응답하여, 상기 이미지 식별자에 대응하는 이미지에 기초하여 이미지 검색 결과들을 식별하기 위해 이미지 검색 동작을 실행하는 단계 - 상기 이미지 검색 동작은 상기 콘텐츠 애플리케이션의 콘텐츠 플랫폼에 연관된 복수의 제품에 대한 이미지 저장소에 기초하여 실행됨 -; 및
    상기 콘텐츠 애플리케이션에서, 상기 이미지에 기초한 상기 이미지 검색 결과들을 포함하는 이미지 검색 결과 페이지의 디스플레이를 야기하는 단계
    를 포함하고,
    상기 이미지 식별자는,
    상기 외부 애플리케이션에서, 상기 네이티브 운영 체제 통합된 커스텀 액션 인터페이스를 시작하라는 지시를 수신하는 단계;
    상기 외부 애플리케이션에서 상기 네이티브 운영 체제 통합된 커스텀 액션 인터페이스를 생성하는 단계; 및
    상기 외부 애플리케이션에서 이미지 또는 URL에 연관된 상기 통합된 커스텀 액션 인터페이스를 사용하여 액션을 실행하라는 지시를 수신하는 단계
    에 기초하여 수신되는 방법.
  16. 삭제
  17. 제15항에 있어서, 상기 통합된 커스텀 액션은 상기 이미지 식별자를 상기 이미지 검색을 실행할 이미지로서 공유하는 것을 허용하는 상기 네이티브 운영 체제의 이미지 공유 액션인 방법.
  18. 제15항에 있어서, 상기 통합된 커스텀 액션은 상기 이미지 검색을 실행할 URL을 공유하는 것을 허용하는 상기 네이티브 운영 체제의 URL 공유 액션이고, 상기 URL 공유 액션은 상기 URL 공유 액션으로부터 식별된 URL에 기초하여 상기 이미지의 적어도 썸네일 표현을 추출하기 위해 썸네일 추출 서비스와 함께 동작하는 방법.
  19. 제15항에 있어서, 상기 통합된 커스텀 액션은 상기 이미지 검색을 실행하기 위해 드래그-앤드-드롭된 이미지를 식별하기 위해 사용되는 상기 네이티브 운영 체제의 드래그-앤드-드롭 액션이고, 상기 방법은 상기 이미지를 수신할 때, 상기 이미지를 자르기 위한 프롬프트를 디스플레이하는 그래픽 편집 도구 인터페이스를 생성하는 단계를 더 포함하는 방법.
  20. 제15항에 있어서, 상기 이미지 검색 결과들을 식별하기 위해 상기 이미지 검색 동작을 실행하는 단계는
    상기 이미지 식별자 또는 상기 이미지를 콘텐츠 플랫폼에 전달하는 단계; 및
    상기 콘텐츠 플랫폼에 연관된 상기 복수의 제품에 대한 상기 이미지 저장소로부터의 식별된 이미지 검색 결과들을 수신하는 단계
    를 더 포함하는 방법.
KR1020227020493A 2017-07-18 2018-07-18 통합된 이미지 검색 시스템 KR102611680B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201762534025P 2017-07-18 2017-07-18
US62/534,025 2017-07-18
US15/887,667 US11816143B2 (en) 2017-07-18 2018-02-02 Integrated image system based on image search feature
US15/887,667 2018-02-02
KR1020207004655A KR102411402B1 (ko) 2017-07-18 2018-07-18 통합된 이미지 검색 시스템
PCT/US2018/042579 WO2019018459A1 (en) 2017-07-18 2018-07-18 INTEGRATED IMAGE SEARCH SYSTEM

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020207004655A Division KR102411402B1 (ko) 2017-07-18 2018-07-18 통합된 이미지 검색 시스템

Publications (2)

Publication Number Publication Date
KR20220088805A KR20220088805A (ko) 2022-06-28
KR102611680B1 true KR102611680B1 (ko) 2023-12-11

Family

ID=63104090

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020227020493A KR102611680B1 (ko) 2017-07-18 2018-07-18 통합된 이미지 검색 시스템
KR1020207004655A KR102411402B1 (ko) 2017-07-18 2018-07-18 통합된 이미지 검색 시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020207004655A KR102411402B1 (ko) 2017-07-18 2018-07-18 통합된 이미지 검색 시스템

Country Status (5)

Country Link
US (1) US11816143B2 (ko)
EP (1) EP3655866A1 (ko)
KR (2) KR102611680B1 (ko)
CN (1) CN110945502A (ko)
WO (1) WO2019018459A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11816143B2 (en) 2017-07-18 2023-11-14 Ebay Inc. Integrated image system based on image search feature
WO2023191121A1 (ko) * 2022-03-29 2023-10-05 엘지전자 주식회사 디스플레이 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090248671A1 (en) 2008-03-28 2009-10-01 Daisuke Maruyama Information classification system, information processing apparatus, information classification method and program
US20150046848A1 (en) 2013-08-07 2015-02-12 Linkedln Corporation Navigating between a mobile application and a mobile browser
WO2015153925A1 (en) 2014-04-04 2015-10-08 Ebay Inc. Processing requests to access content
US20160189316A1 (en) * 2014-12-31 2016-06-30 Michael George Lenahan Native selling platform
US20170004632A1 (en) 2010-03-29 2017-01-05 Ebay Inc. Finding products that are similar to a product selected from a plurality of products

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6763376B1 (en) * 1997-09-26 2004-07-13 Mci Communications Corporation Integrated customer interface system for communications network management
US6591295B1 (en) * 1999-11-05 2003-07-08 Oracle International Corp. Methods and apparatus for using multimedia data stored in a relational database in web applications
US20070133947A1 (en) 2005-10-28 2007-06-14 William Armitage Systems and methods for image search
US8117554B1 (en) * 2006-04-25 2012-02-14 Parallels Holdings, Ltd. Seamless integration of non-native widgets and windows with dynamically scalable resolution into native operating system
JP2008059512A (ja) 2006-09-04 2008-03-13 Seiko Instruments Inc Ｉｄ画像提供装置、店舗端末、接続情報提供装置、ｉｄ画像提供方法、印刷方法、及び接続情報提供方法
US20090199093A1 (en) 2007-09-04 2009-08-06 Tridib Chakravarty Image Capture And Sharing System and Method
US8392842B1 (en) * 2008-06-19 2013-03-05 Adobe Systems Incorporated Quick search for replacement of portion of image
KR101718891B1 (ko) 2010-01-26 2017-03-23 삼성전자주식회사 영상 검색 방법 및 장치
US8762360B2 (en) * 2011-05-06 2014-06-24 Microsoft Corporation Integrating applications within search results
JP4976578B1 (ja) 2011-09-16 2012-07-18 楽天株式会社 画像検索装置およびプログラム
US20130124303A1 (en) 2011-11-14 2013-05-16 Google Inc. Advertising Keyword Generation Using an Image Search
US10313279B2 (en) * 2011-12-12 2019-06-04 Rcs Ip, Llc Live video-chat function within text messaging environment
US20140095463A1 (en) 2012-06-06 2014-04-03 Derek Edwin Pappas Product Search Engine
JP2015032253A (ja) * 2013-08-06 2015-02-16 ソニー株式会社 情報処理装置および情報処理方法
US10866931B2 (en) * 2013-10-22 2020-12-15 Box, Inc. Desktop application for accessing a cloud collaboration platform
US10296641B2 (en) * 2014-12-23 2019-05-21 Samsung Electronics Co., Ltd. Techniques for efficient access of software application functionality in search
US11295300B2 (en) 2015-06-10 2022-04-05 Digital Candy, Inc. Online image retention, indexing, search technology with integrated image licensing marketplace and a digital rights management platform
US10346546B2 (en) * 2015-12-23 2019-07-09 Oath Inc. Method and system for automatic formality transformation
US11816143B2 (en) 2017-07-18 2023-11-14 Ebay Inc. Integrated image system based on image search feature
US10616148B2 (en) * 2017-11-13 2020-04-07 International Business Machines Corporation Progressively extending conversation scope in multi-user messaging platform

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090248671A1 (en) 2008-03-28 2009-10-01 Daisuke Maruyama Information classification system, information processing apparatus, information classification method and program
US20170004632A1 (en) 2010-03-29 2017-01-05 Ebay Inc. Finding products that are similar to a product selected from a plurality of products
US20150046848A1 (en) 2013-08-07 2015-02-12 Linkedln Corporation Navigating between a mobile application and a mobile browser
WO2015153925A1 (en) 2014-04-04 2015-10-08 Ebay Inc. Processing requests to access content
US20150286737A1 (en) 2014-04-04 2015-10-08 Ebay Inc. System and method to share content utilizing universal link format
US20160189316A1 (en) * 2014-12-31 2016-06-30 Michael George Lenahan Native selling platform

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Google's Amazing New "Search by Image" Functionality, https://tips.slaw.ca/2011/technology/***s-amazing-new-search-by-image-functionality/

Also Published As

Publication number Publication date
EP3655866A1 (en) 2020-05-27
KR20200037279A (ko) 2020-04-08
US11816143B2 (en) 2023-11-14
CN110945502A (zh) 2020-03-31
KR20220088805A (ko) 2022-06-28
KR102411402B1 (ko) 2022-06-22
US20190026316A1 (en) 2019-01-24
WO2019018459A1 (en) 2019-01-24

Similar Documents

Publication Publication Date Title
CN108292206B (zh) 具有易于使用特征的工作流开发***
AU2017232108B9 (en) Object based contextual menu controls
CN107004008B (zh) 使用对不同的数据存储位置的自动化查询的相关文件识别
TWI379233B (en) Method and computer-readable medium for inserting a multimedia file through a web-based desktop productivity application
US8751493B2 (en) Associating a file type with an application in a network storage service
CN108712478B (zh) 一种分享寄宿应用的方法及设备
US10169374B2 (en) Image searches using image frame context
US20150294400A1 (en) Methods and systems for online collections
JP6404351B2 (ja) 商品情報を通信および提示するための方法、装置、および、システム
US20160342449A1 (en) Data exchange across multiple computing devices through a proactive intelligent clipboard
US10496696B2 (en) Search method and apparatus
US9679081B2 (en) Navigation control for network clients
US8706778B2 (en) Methods and systems for an action-based interface for files and other assets
EP3779746A1 (en) Systems and methods for cloud-based management of digital forensic evidence
KR102611680B1 (ko) 통합된 이미지 검색 시스템
US20200019419A1 (en) Image-based skill triggering
US10339195B2 (en) Navigation control for network clients
US10846328B2 (en) Digital asset association with search query data
US20140074585A1 (en) Method for personally curating an offer list
US10289741B2 (en) Using relevant objects to add content to a collaborative repository
US9134930B2 (en) Delayed content production
US20140074628A1 (en) System for personally curating an offer list
WO2021223161A1 (en) Page personalization
JP2018116403A (ja) 情報処理システム、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant