KR20160088049A - 이미지 분석 방법과 이를 수행하는 전자 장치 및 서버 - Google Patents

이미지 분석 방법과 이를 수행하는 전자 장치 및 서버 Download PDF

Info

Publication number
KR20160088049A
KR20160088049A KR1020150007236A KR20150007236A KR20160088049A KR 20160088049 A KR20160088049 A KR 20160088049A KR 1020150007236 A KR1020150007236 A KR 1020150007236A KR 20150007236 A KR20150007236 A KR 20150007236A KR 20160088049 A KR20160088049 A KR 20160088049A
Authority
KR
South Korea
Prior art keywords
image
information
electronic device
analysis
module
Prior art date
Application number
KR1020150007236A
Other languages
English (en)
Other versions
KR102251960B1 (ko
Inventor
조성호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150007236A priority Critical patent/KR102251960B1/ko
Priority to US14/991,094 priority patent/US9953248B2/en
Priority to CN201610028209.8A priority patent/CN105808635A/zh
Priority to EP16151510.1A priority patent/EP3046041A1/en
Publication of KR20160088049A publication Critical patent/KR20160088049A/ko
Application granted granted Critical
Publication of KR102251960B1 publication Critical patent/KR102251960B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • A—HUMAN NECESSITIES
    • A23—FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23L—FOODS, FOODSTUFFS, OR NON-ALCOHOLIC BEVERAGES, NOT COVERED BY SUBCLASSES A21D OR A23B-A23J; THEIR PREPARATION OR TREATMENT, e.g. COOKING, MODIFICATION OF NUTRITIVE QUALITIES, PHYSICAL TREATMENT; PRESERVATION OF FOODS OR FOODSTUFFS, IN GENERAL
    • A23L33/00—Modifying nutritive qualities of foods; Dietetic products; Preparation or treatment thereof
    • A23L33/30—Dietetic or nutritional methods, e.g. for losing weight
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • A—HUMAN NECESSITIES
    • A23—FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23V—INDEXING SCHEME RELATING TO FOODS, FOODSTUFFS OR NON-ALCOHOLIC BEVERAGES AND LACTIC OR PROPIONIC ACID BACTERIA USED IN FOODSTUFFS OR FOOD PREPARATION
    • A23V2002/00—Food compositions, function of food ingredients or processes for food or foodstuffs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mycology (AREA)
  • Nutrition Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Food Science & Technology (AREA)
  • Polymers & Plastics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

이미지로부터 추출된 특징에 기반한 이미지 분석 방법과 이를 수행하는 전자 장치 및 서버가 개시된다.
본 발명의 다양한 실시 예에 따른 전자 장치는, 이미지를 획득하는 이미지 획득 모듈, 상기 획득된 이미지에 포함된 객체에 대한 특징을 추출하는 이미지 처리 모듈, 및 상기 특징을 서버로 전송하고, 상기 서버로부터 상기 객체에 대한 분석 정보를 수신하는 통신 모듈을 포함할 수 있다. 이 외에도 명세서를 통해 파악되는 다양한 실시 예가 가능하다.

Description

이미지 분석 방법과 이를 수행하는 전자 장치 및 서버{METHOD FOR ANALYSING IMAGES, ELECTRONIC DEVICE AND SERVER FOR PERFORMING THE METHOD}
본 발명의 다양한 실시 예들은 이미지로부터 추출된 특징에 기반한 이미지 분석 방법과 이를 수행하는 전자 장치 및 서버에 관한 것이다.
최근의 스마트폰(smartphone), 핸드헬드 디바이스(hand-held device), 태블릿(tablet) PC와 같은 휴대 기기에는 일반적으로 카메라가 탑재되어 제공되고 있다. 일반적으로 사용자는 상기와 같은 기기를 휴대하면서 원하는 피사체를 촬영하고 기기에 저장하며, 이를 다시 다른 사용자와 공유할 수 있다.
그러나 상기와 같은 사용자 단말에 의해 획득된 이미지로부터 사용자가 얻을 수 있는 정보는 제한적이다. 또한 단말에 탑재되는 카메라의 성능이 높아지면서 이미지의 용량도 대용량화 되어가는 추세에 있다. 이 따라 자세한 분석 정보를 획득하기 위해 이미지를 서버로 전송하여 분석을 요청하는 방법은 많은 양의 데이터 트래픽을 발생시킬 수 있다.
본 발명의 다양한 실시 예는, 획득된 이미지에 포함된 객체에 대한 특징(feature)을 추출하고, 추출된 특징을 서버로 전송하는 전자 장치, 상기 추출된 특징에 대응하는 객체의 분석 정보를 전자 장치에 제공하는 서버, 및 이들에 의한 이미지 분석 방법을 제공하는 것을 목적으로 한다.
본 발명의 다양한 실시 예에 따른 전자 장치는, 이미지를 획득하는 이미지 획득 모듈, 상기 획득된 이미지에 포함된 객체에 대한 특징을 추출하는 이미지 처리 모듈, 및 상기 특징을 서버로 전송하고, 상기 서버로부터 상기 객체에 대한 분석 정보를 수신하는 통신 모듈을 포함할 수 있다.
본 발명의 다양한 실시 예에 의하면, 전자 장치는 획득한 이미지 자체를 서버에 전송하는 대신 획득한 이미지로부터 추출된 특징을 서버로 전송하므로, 네트워크의 데이터 트래픽을 현저하게 저감시킬 수 있다. 또한, 상기 특징에 대응하는 유용하고 신뢰도 높은 분석 정보를 사용자에게 제공할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 이미지 분석 방법을 수행하는 전자 장치 및 서버를 나타낸다.
도 2는 본 발명의 일 실시 예에 따른 이미지 분석 방법이 수행되는 전자 장치를 나타낸다.
도 3은 본 발명의 일 실시 예에 따른 이미지 분석 방법이 수행되는 서버를 나타낸다.
도 4는 본 발명의 일 실시 예에 따른 전자 장치와 서버에서의 이미지 분석 방법을 나타낸다.
도 5는 본 발명의 일 실시 예에 따른 전자 장치에서의 이미지 분석 방법의 예시를 나타낸다.
도 6은 본 발명의 일 실시 예에 따른 이미지에서 특징을 추출하는 예시를 나타낸다.
도 7은 본 발명의 일 실시 예에 따른 이미지 분석 정보가 어플리케이션에 제공되는 예시를 나타낸다.
도 8은 본 발명의 일 실시 예에 따른 이미지 분석 정보가 디스플레이에 표시되는 예시를 나타낸다.
도 9는 본 발명의 일 실시 예에 따른 서버에서의 이미지 분석 방법을 나타낸다.
도 10은 본 발명의 다양한 실시 예에 따른 전자 장치의 블록도를 나타낸다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
다양한 실시 예에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및 중요도에 상관없이 수식할 수 있고, 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성(또는 설정)된"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성(또는 설정)된 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명의 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의된 용어들은 관련 기술의 문맥 상 가지는 의미와 동일 또는 유사한 의미를 가지는 것으로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 발명의 실시 예들을 배제하도록 해석될 수 없다.
이하, 첨부 도면을 참조하여, 다양한 실시 예에 따른 전자 장치가 설명된다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 이미지 분석 방법을 수행하는 전자 장치 및 서버를 나타낸다.
도 1을 참조하면, 일 실시 예에 따른 이미지 분석 방법을 수행하는 전자 장치 1000 및 서버 2000이 도시되어 있다. 전자 장치 1000과 서버 2000은 유선 또는 무선 네트워크를 통해 서로 통신할 수 있다.
전자 장치 1000은 스마트폰, 태블릿 PC, 노트북형 PC, PDA, PMP와 같은 휴대형 단말, 데스크탑 PC와 같은 고정형 단말, 스마트 워치, 스마트 안경, 머리 착용형 장치(HMD: head-mounted-device)와 같은 웨어러블 장치(wearable device) 중 어느 하나에 해당할 수 있다. 전자 장치 1000은 자체에 탑재된 카메라를 이용하여 이미지를 촬영하거나 다른 전자 장치로부터 이미지를 수신함으로써 이미지를 획득할 수 있다. 전자 장치 1000은 획득된 이미지에 포함된 객체(object)에 대한 특징(feature)을 추출하고 이를 서버 2000으로 전송할 수 있다. 다양한 실시 예에서, 전자 장치 1000은 이미지로부터 추출된 상기 특징과 함께, 상기 이미지에 대한 부가 정보 및/또는 전자 장치 1000의 사용자 정보를 더 전송할 수 있다. 전자 장치 1000의 상세 구성 및 동작에 관하여는 도 2, 4, 5 내지 8을 참조하여 후술한다.
서버 2000은 전자 장치 1000으로부터 수신한 상기 특징, 상기 부가 정보, 및/또는 상기 사용자 정보를 분석하여 상기 이미지에 포함된 객체에 관한 분석 정보를 획득할 수 있다. 서버 2000은 전자 장치 1000으로 상기 분석 정보를 전송하여, 전자 장치 1000로 하여금 상기 분석 정보를 제공받을 수 있게 할 수 있다. 서버 2000의 상세 구성 및 동작에 관하여는 도 3,9를 참조하여 후술한다.
도 2는 본 발명의 일 실시 예에 따른 이미지 분석 방법이 수행되는 전자 장치를 나타낸다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 전자 장치 1000은, 이미지 획득 모듈 101, 이미지 처리 모듈 103, 이미지 데이터베이스(DB) 105, 통신 모듈 107, 위치 정보 획득 모듈 109, 및 디스플레이 111을 포함할 수 있다. 도시하지는 않았으나, 전자 장치 1000의 구성은 상기 나열된 구성이나 각 구성요소의 명칭에 제한되지 않는다. CPU 또는 AP(Application Processor)와 같은 프로세서, 어플리케이션 등을 저장하기 위한 메모리 등이 상기 전자 장치 1000에 포함될 수도 있다. 또한, 다양한 실시 예에서, AP와 같은 프로세서(또는 제어 모듈)는 이미지 처리 모듈 103의 기능을 수행할 수 있다. 또한, 전자 장치 1000은 CP(communication processor)를 포함하고, 상기 CP는 통신 모듈 107 또는 위치 정보 획득 모듈 109의 기능을 수행할 수 있다. 이와 같이, 본 문서에 개시된 다양한 실시 예를 구현하기 위한 전자 장치의 구성이, 당업자 수준에서 다양하게 변형되어 구현될 수 있다. 이하에서는 설명의 편의를 위해, 기능 중심으로 각각의 구성을 설명한다.
이미지 획득 모듈 101은, 본 발명의 다양한 실시 예가 적용될 수 있는 이미지를 획득할 수 있다. 예를 들어, 이미지 획득 모듈 101은 카메라 모듈에 의해 촬영된 이미지를 획득하거나, 기 생성된 이미지를 내부 저장소 또는 외부 저장 장치로부터 전달받을 수 있다. 또한, 이미지 획득 모듈 101은 특정 동영상 파일의 어느 한 정지 영상(예: 키 프레임 등)으로부터 이미지를 획득할 수도 있다.
이미지 처리 모듈 103은, 이미지에 포함된 객체에 대한 특징을 추출할 수 있다. 본 문서에 개시되는 설명에 있어서, '객체(object)'는 카메라에 의해 촬영되는 주된 피사체가 이미지상에서 표현된 것을 의미할 수 있다. 가령 테이블 위에 놓인 스테이크를 카메라로 촬영하는 경우 스테이크 자체는 피사체가 되며, 상기 카메라에 의해 획득된 이미지(스테이크, 접시, 테이블, 및 배경 등을 포함하는 이미지)상에 표현된 스테이크는 객체가 될 수 있다.
이미지로부터 추출되는 '특징(feature)'은, 이미지 디스크립터(image discriptor), MPEG 표준 CDVS(Compact Descriptors for Visual Search), HOG(Histograms of Oriented Gradient) 특징, SIFT(Scale Invariant Feature Transform) 특징, dense-SIFT 특징, 및 SURF (Speeded Up Robust Features) 특징 중 하나 이상을 포함할 수 있다.
어떤 실시 예에 따르면, 이미지 처리 모듈 103은 이미지 DB 105에 포함된 적어도 하나의 표준 이미지를 기초로, 이미지 획득 모듈 101에서 획득된 이미지를 미리 정해진 유형에 따라 분류할 수 있다. 예를 들어, 이미지 처리 모듈 103은 획득된 이미지와 상기 표준 이미지의 매칭 정도를 나타내는 스코어를 생성하고, 상기 스코어를 기초로 상기 획득된 이미지를 분류할 수 있다. 이미지 처리 모듈 103은 상기 분류된 이미지로부터 특징을 추출할 수 있다.
가령, 전자 장치 1000에 있어서 '음식'에 대한 이미지만을 대상으로 특징을 추출하고, 이에 대응하는 분석 정보를 서버 2000으로부터 수신하고자 하는 경우를 상정할 수 있다. 이 경우, 전자 장치 1000의 이미지 처리 모듈 103은 이미지 DB 105에 포함된 유형별(예: 음식, 인물, 풍경) 표준 이미지와 이미지 획득 모듈 101에서 획득된 이미지(스테이크 이미지)와의 매칭 정도를 나타내는 스코어를 상기 유형별로 각각 생성할 수 있다. 이미지 처리 모듈 103은 생성된 스코어 중에서 가장 스코어가 높은 유형으로 상기 이미지의 유형(예: 음식)을 분류할 수 있다. 이미지 처리 모듈 103은 상기 유형(예: 음식)으로 분류된 이미지로부터 특징을 추출할 수 있다. 이와 같이, 유형별 분류를 미리 수행하면 획득된 전자 장치 1000은 모든 이미지로부터 특징을 추출할 필요 없이 '음식'으로 분류된 이미지로부터만 특징을 추출할 수 있다. 이로써 이미지의 특징 추출에 사용되는 불요불급한 리소스의 사용을 방지할 수 있다.
또한, 어떤 실시 예에 따르면, 이미지 처리 모듈 103은 특징을 추출하기 이전에, 획득된 이미지상에서 객체를 포함한 일정 영역을 선택하고, 상기 선택된 영역으로부터 특징을 추출할 수 있다. 예를 들어, 테이블 위에 놓인 스테이크를 촬영한 경우 스테이크를 중심으로 일정한 영역을 잘라내고(예: 크로핑(cropping)), 상기 일정한 영역으로부터 스테이크의 특징을 추출할 수 있다. 즉, 상기 테이블 위에 놓인 글래스잔, 포크, 나이프 등 객체 인식에 불필요한 부분은 특징 추출의 대상에서 제외될 수 있다. 이로써 특징 추출의 대상이 되는 이미지 영역이 현저히 줄어들 수 있다.
또한, 이미지 처리 모듈 103은 상기 특징을 추출하기 이전에, 이미지에 대하여 소정의 이미지 프로세싱(예: Y-image 변환)을 적용할 수 있다. 상기 이미지 프로세싱은 전술한 크로핑과 함께 효율적인 특징 추출을 지원할 수 있다.
한편, 어떤 다른 실시 예에 따르면, 이미지 처리 모듈 103은, 획득된 이미지에 대한 부가 정보를 획득할 수 있다. 이때 부가 정보는, 상기 이미지의 메타데이터(metadata), 상기 이미지가 획득될 때의 시간 정보, 또는 상기 이미지가 획득될 때의 상기 전자 장치의 위치 정보 중 적어도 하나를 포함할 수 있다.
상기 메타데이터는, 예를 들어 촬영한 카메라의 종류, 감도, 노출정보, 촬영일시, ISO 값, 초점거리, 또는 해상도 등을 포함할 수 있다. 이미지 획득 모듈 101이 자체에 포함되어 있는 카메라를 통해서 상기 이미지를 획득한 경우에는 상기 이미지가 획득될 때의 시간 정보 또는 상기 이미지가 획득될 때의 전자 장치 1000의 위치 정보는 상기 메타데이터에 포함된 촬영일시 또는 촬영장소와 일치할 수 있다. 그러나 상기 이미지가 외부의 다른 장치로부터 전송되어서 획득되는 경우, 상기 이미지가 획득될 때의 시간 정보 또는 상기 이미지가 획득될 때의 전자 장치 1000의 위치 정보는 상기 메타 데이터에 포함된 촬영일시 또는 촬영장소와 각각 상이할 수 있다.
일반적으로, Y-image 변환 또는 크로핑과 같은 이미지 프로세싱이 수행되면 이미지에 부가되어 있는 메타데이터는 삭제되거나 변경될 수 있다. 따라서, 본 발명의 일 실시 예에 따른 이미지 처리 모듈 103은 이미지 프로세싱 수행 전에 미리 메타데이터를 획득하여 별도의 저장 공간 또는 이미지 데이터 베이스(DB) 105에 저장해 둘 수 있다.
이미지 데이터베이스(DB) 105는, 적어도 하나의 표준 이미지를 저장할 수 있다. 표준 이미지란, 이미지의 유형에 따라 일반적으로 포함될 수 있는 이미지(혹은 이미지의 특징)일 수 있다. 예를 들어, 유형이 '음식'인 경우 음식에 대한 표준 이미지에는 쌀밥, 김치찌개, 스테이크, 식빵 등의 이미지가 포함될 수 있고, 유형이 '여행'인 경우 여행에 대한 표준 이미지에는 경복궁, 석굴암, 에펠탑, 자유의 여신상 등의 이미지가 포함될 수 있다. 이미지 처리 모듈 103은 이미지 DB 105에 포함된 표준 이미지들을 참조하여, 이미지 획득 모듈 101에서 획득된 이미지를 미리 정해진 유형에 따라 분류할 수 있다.
통신 모듈 107은, 상기 이미지로부터 추출된 특징, 및/또는 부가 정보를 서버 2000으로 전송할 수 있다. 또한, 통신 모듈 107은 전자 장치 1000의 사용자 정보를 더 전송할 수도 있다. 이때 사용자 정보는 전자 장치 1000을 이용하는 사용자의 계정(account)(예: 삼성 계정)에 관한 정보를 포함할 수 있다.
또한, 통신 모듈 107은, 서버 2000으로부터 분석 정보를 수신할 수 있다. 이때, 분석 정보는 상기 이미지로부터 추출된 특징과 관련된 객체의 분석 정보일 수 있다. 예를 들어, 이미지로부터 추출된 특징이 스테이크에 관한 것이고, 상기 특징이 서버 2000으로 전송된 경우, 서버 2000은 분석 정보로서 스테이크의 성분 정보, 영양 정보, 재료 정보, 조리법, 및 의학 정보 중 적어도 하나를 전자 장치 1000로 전송할 수 있다.
통신 모듈 107은, 전자 장치 1000과 서버 2000을 연결하는 네트워크에 대응한 구성을 포함할 수 있다. 통신 모듈 107은, 예를 들면, 3G/4G 통신 인터페이스 모듈, Wi-Fi 모듈, 블루투스 모듈, 및 RF(radio frequency) 모듈 중 적어도 하나를 포함할 수 있다.
어떤 실시 예에 따르면, 통신 모듈 107의 송수신 동작은 과금 정보에 기초하여 수행될 수 있다. 예를 들어, 통신 모듈 107은 비용이 발생하지 않는 네트워크(예: Wi-Fi) 또는 상대적으로 저렴한 네트워크에 연결되었을 때, 추출된 특징을 전송하고 분석 정보를 수신하는 동작을 수행할 수 있다.
위치 정보 획득 모듈 109는, 예를 들어 GPS(Global Positioning System) 모듈 등으로 구현되어, 전자 장치(100)의 지리적 위치 정보를 획득할 수 있다. 다양한 실시 예에서, 위치 정보 획득 모듈 109는 통신 모듈로부터 현재 접속된 기지국(예: eNB) 정보 또는 현재 접속된 AP(access point) 정보 등으로부터 위치 정보를 획득하거나 보완할 수 있다.
디스플레이 111은, 서버 2000으로부터 수신한 분석 정보를 시각적으로 표시할 수 있다. 상기 전자 장치 1000은 상기 분석 정보를 어플리케이션(예: S-health 어플리케이션, 3rd 파티 어플리케이션 등)을 이용하여 상기 디스플레이 111에 표시할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 이미지 분석 방법이 수행되는 서버를 나타낸다.
도 3을 참조하면, 본 발명의 일 실시 예에 따른 서버 2000은, 통신 모듈 201, 이미지 분석 모듈 203, 이미지 데이터베이스(DB) 205, 분석 정보 데이터베이스(DB) 207, 및 분석 이력 데이터베이스(DB) 209를 포함할 수 있다. 도시하지는 않았으나, 서버 2000의 구성은 상기 나열된 구성에 제한되는 것이 아니며, CPU와 같은 제어 모듈이나 운영체제(OS), 응용 프로그램 또는 기타 데이터를 저장하기 위한 메모리 등을 추가로 포함할 수 있다.
통신 모듈 201은, 전자 장치 1000에서 획득된 이미지(이하 제1 이미지)에 포함된 객체에 대한 특징, 상기 제1 이미지에 대한 부가 정보, 및/또는 전자 장치 1000의 사용자 정보를 수신할 수 있다. 또한, 통신 모듈 201은, 이미지 분석 모듈 203이 획득한 분석 정보를 상기 전자 장치 1000으로 전송할 수 있다.
통신 모듈 201은, 전자 장치 1000의 통신 모듈 107과 마찬가지로 전자 장치 1000과 서버 2000을 연결하는 네트워크에 대응된 구성을 포함할 수 있다. 통신 모듈 201은, 예를 들면, 3G, LTE, Wi-Fi 모듈, 블루투스 모듈, 및 RF 모듈 중 적어도 하나를 포함할 수 있다.
이미지 분석 모듈 203은, 전자 장치 1000으로부터 수신된 특징을 분석하여 대응하는 분석 정보를 획득할 수 있다. 예를 들어, 이미지 분석 모듈 203은 상기 특징을 가진 객체를 포함한 이미지(이하 제2 이미지)를 결정하고, 제2 이미지에 포함된 객체의 분석 정보를 획득할 수 있다. 이미지 분석 모듈 203은 객체를 인식하고 상기 객체를 포함한 제2 이미지를 결정함에 있어서 예를 들어 로컬/글로벌 디스크립터(local/global descriptor), CNN(Convolutional Neural Network)기반 분류기, 및/또는 및 SVM(Support Vector Machine) 분류기를 이용할 수 있다.
다양한 실시 예에서, 상기 제2 이미지는 서버에 포함된 이미지 데이터베이스(DB) 205를 참조함으로써 결정될 수 있고, 상기 분석 정보는 분석 정보 데이터베이스(DB) 207을 참조함으로써 획득될 수 있다. 다만, 제2 이미지의 결정 및 분석 정보의 획득 방법은 전술한 것으로 제한되지 않는다. 상기 제2 이미지는, 보다 방대한 이미지 데이터베이스를 구축한 다른 서버로부터 수신될 수도 있고, 상기 분석 정보 역시 보다 상세한 분석 정보를 가진 다른 서버로부터 획득 수도 있다.
예를 들어, 전자 장치 1000으로부터 수신된 특징이 스테이크에 대한 특징인 경우, 이미지 분석 모듈 203은 스테이크에 대한 특징을 분석하여 스테이크를 포함한 제2 이미지를 이미지 데이터베이스(DB) 205(혹은 외부 서버)를 참조함으로써 결정할 수 있다. 이미지 분석 모듈 203은 상기 제2 이미지에 결부되어 있는 분석 정보(예: 성분 정보, 영양 정보, 재료 정보, 조리법, 또는 의학 정보)를 분석 정보 데이터베이스(DB) 207(혹은 외부 서버)을 참조함으로써 획득할 수 있다.
다양한 실시 예에서, 서버 2000은 상기 특징과 함께 부가 정보를 전자 장치 1000으로부터 수신할 수 있다. 이 경우 이미지 분석 모듈 203은 상기 특징 및/또는 상기 부가 정보에 기초하여 대응하는 분석 정보를 획득할 수 있다. 상기 부가 정보는 상기 제1 이미지의 메타데이터, 상기 제1 이미지가 획득될 때의 시간 정보, 및 상기 제1 이미지가 획득될 때의 상기 전자 장치의 위치 정보 중 적어도 하나를 포함할 수 있다.
예를 들어, 제1 이미지로부터 추출된 특징은 스테이크에 대한 특징을 포함하고, 부가 정보는 저녁 시간대의 시간 정보를 포함할 수 있다. 이 경우, 이미지 분석 모듈 203은 스테이크에 대한 특징을 분석하여 제2 이미지를 결정함에 있어서 저녁 시간대의 시간 정보를 고려할 수 있다. 즉, 이미지 분석 모듈 203은 이미지 데이터베이스(DB) 205(혹은 외부 서버)를 참조하여 제2 이미지를 결정할 때, 통상적으로 아침 식사로 고려되는 음식(예: 토스트, 시리얼)의 이미지를 미리 배제할 수 있다. 이로써 스테이크를 포함하는 제2 이미지를 결정함에 있어서 신뢰도를 더욱 향상시킬 수 있다.
다른 예로서, 제1 이미지로부터 추출된 특징은 스테이크에 대한 특징을 포함하고, 부가 정보는 스테이크 레스토랑의 위치 정보를 포함할 수 있다. 이 경우, 이미지 분석 모듈 203은 스테이크에 대한 특징을 분석하여 제2 이미지를 결정함에 있어서 스테이크 레스토랑의 위치 정보를 고려할 수 있다. 즉, 이미지 분석 모듈 203은 이미지 데이터베이스(DB) 205(혹은 외부 서버)를 참조하여 제2 이미지를 결정할 때, 통상적인 스테이크 레스토랑이 제공하는 음식(예: 각종 스테이크, 매쉬드 포테이토)의 이미지를 우선적으로 고려할 수 있다. 이로써 스테이크를 포함하는 제2 이미지를 결정함에 있어서 신뢰도를 더욱 향상시킬 수 있다.
한편, 메타데이터에 포함된 각종 정보는 상기 특징과 함께 분석되어 제2 이미지의 탐색 또는 결정에 이용될 수 있다.
다양한 실시 예에서, 서버 2000은 상기 특징과 함께 전자 장치 1000으로부터 전자 장치 1000의 사용자 정보를 수신할 수 있다. 이 경우 이미지 분석 모듈 203은 상기 특징 및/또는 상기 사용자 정보에 기초하여 대응하는 분석 정보를 획득할 수 있다. 상기 사용자 정보는 전자 장치 1000의 사용자를 다른 사용자와 식별하기 위한 정보로, 본 발명의 다양한 실시 예를 제공하기 위한 통합 서비스 계정(예: 삼성 계정)에 관한 정보를 포함할 수 있다.
예를 들어, 제1 이미지로부터 추출된 특징은 스테이크에 대한 특징을 포함하고, 사용자 정보는 전자 장치 1000의 사용자 A를 식별하기 위한 사용자 계정을 포함할 수 있다. 이 경우, 이미지 분석 모듈 203은 스테이크에 대한 특징을 분석하여 제2 이미지를 결정함에 있어서 상기 사용자 A에 대한 분석 이력 데이터베이스(DB) 209를 참조할 수 있다. 즉, 이미지 분석 모듈 203은, 분석 이력 데이터베이스(DB) 209를 참조하여 제2 이미지를 결정할 때, 상기 사용자 A가 과거에 섭취하였던 음식의 이미지를 우선적으로 고려할 수 있다. 또한, 분석 정보를 획득할 경우에도 이미지 분석 모듈 203은 분석 이력 데이터베이스(DB) 209를 참조함으로써 과거에 사용자 A가 섭취하였던 음식에 관한 분석 정보를 우선적으로 고려할 수 있다.
전술한 방법을 활용하여 스테이크를 포함하는 제2 이미지를 결정함에 있어서 신뢰도가 더욱 향상될 수 있다. 일반적으로 개인의 음식 섭취 습관은 대체로 유지되는 경향이 있기 때문에, 사용자별 분석 이력을 참조하는 것은 제2 이미지 또는 분석 정보를 획득함에 있어서 그 신뢰도에 기여할 수 있다. 또한 분석 결과의 신뢰도 향상을 위해, 분석 이력 데이터베이스(DB) 209에는 사용자가 과거에 실제로 섭취하였던 음식에 대한 이미지 및/또는 해당 이미지에 대응하는 분석 정보가 입력 및 저장될 수 있다.
이미지 데이터베이스(DB) 205는 이미지 분석 모듈 203에 의하여 참조될 수 있는 다수의 이미지를 저장할 수 있다. 예를 들어, 분석 정보 데이터베이스(DB) 207에 저장된 다수의 분석 정보와 대응되는 상기 다수의 이미지가 이미지 데이터베이스 205에 저장될 수 있다. 이미지 분석 모듈 203은 이미지 데이터베이스(DB) 205를 참조함으로써 전자 장치 1000로부터 수신된 특징에 대응되는 객체를 포함한 제2 이미지를 결정할 수 있다.
한편, 다양한 실시 예에서 이미지 분석 모듈 203이 외부에 별도로 마련된 서버를 참조하여 상기 제2 이미지를 결정하는 경우, 이미지 데이터베이스(DB) 205는 서버 2000의 구성에서 생략될 수 있다.
분석 정보 데이터베이스(DB) 207은 이미지 분석 모듈 203에 의하여 획득될 수 있는 다수의 분석 정보를 저장할 수 있다. 이미지 데이터베이스(DB) 205에 저장된 다수의 이미지들에 대응되는 다수의 분석 정보들이 분석 정보 데이터베이스 207에 저장될 수 있다. 이미지 분석 모듈 203은 분석 정보 데이터베이스(DB) 207을 참조하여 제2 이미지에 대응되는 분석 정보를 획득할 수 있다.
한편, 다양한 실시 예에서 이미지 분석 모듈 203이 외부에 별도로 마련된 서버를 참조하여 상기 분석 정보를 획득하는 경우, 분석 정보 데이터베이스(DB) 207은 서버 2000의 구성에서 생략될 수 있다.
분석 이력 데이터베이스(DB) 209는 이미지 분석 모듈 203이 과거에 획득한 분석 정보를 사용자별로 저장할 수 있다. 예를 들어, 분석 이력 데이터베이스(DB) 209에는 [사용자 정보]-[과거에 결정되었던 제2 이미지]-[상기 과거에 결정되었던 제2 이미지에 대응되는 분석 정보]가 각각의 대응 관계와 함께 저장될 수 있다. [과거에 결정되었던 제2 이미지] 또는 [상기 과거에 결정되었던 제2 이미지에 대응되는 분석 정보]는, 각각이 저장되어 있는 이미지 데이터베이스(DB) 205 또는 분석 정보 데이터베이스(DB) 207에서 지정된 포맷(예: 데이터 어드레스 포맷)으로 구성될 수 있다.
본 발명의 다양한 실시 예에 의하면, 전자 장치 1000은 획득한 이미지 자체를 서버 2000에 전송하지 않고 획득한 이미지로부터 추출된 특징을 전송하므로, 상대적으로 전송에 사용되는 데이터를 현저하게 감소시킬 수 있다. 나아가, 부가 정보 및/또는 사용자 정보를 서버에 전송함으로써 분석 정보의 신뢰도를 향상시킬 수 있다. 이로써, 전자 장치 1000의 사용자는 유용하고 신뢰도 높은 분석 정보를 제공받을 수 있다. 이하에서는 본 발명의 다양한 실시 예에 따른 이미지 분석 방법을 도 4 내지 도 9를 참조하여 설명하기로 한다.
도 4는 본 발명의 일 실시 예에 따른 이미지 분석 방법을 나타낸다.
도 4를 참조하면, 동작 401에서 전자 장치 1000의 이미지 획득 모듈 101은 객체를 포함하는 이미지를 획득할 수 있다. 예를 들어, 이미지 획득 모듈 101은 카메라에 의해 촬영된 이미지를 획득하거나, 이미 생성된 이미지를 내부 저장소 또는 외부 저장 장치로부터 획득할 수 있다. 또한, 이미지 획득 모듈 101은 특정 동영상 파일의 어느 한 정지 영상으로부터 이미지를 획득할 수도 있다.
동작 403에서 전자 장치 1000의 이미지 처리 모듈 103은 동작 401에서 획득된 이미지에 포함된 객체에 대한 특징을 추출할 수 있다. 상기 객체에 대한 특징은, 이미지 디스크립터, MPEG 표준 CDVS, HOG 특징, SIFT 특징, dense-SIFT 특징, 및 SURF 특징 중 하나 이상을 포함할 수 있다.
동작 405에서 전자 장치 1000의 통신 모듈 107은 상기 객체에 대한 특징을 서버 2000으로 전송할 수 있다. 또한 서버 2000의 통신 모듈 201은 상기 객체에 대한 특징을 수신할 수 있다.
동작 407에서 서버 2000의 이미지 분석 모듈 203은 수신한 상기 객체에 대한 특징을 분석할 수 있다.
동작 409에서 서버 2000의 이미지 분석 모듈 203은 동작 407에서 수행한 분석을 기초로 상기 객체에 대응하는 분석 정보를 획득할 수 있다. 이때, 이미지 분석 모듈 203은 이미지 DB 205, 분석 정보 DB 207, 및 분석 이력 DB 209 중 적어도 하나 이상을 참조할 수 있다.
동작 411에서 서버 2000의 통신 모듈 201은 상기 획득된 분석 정보를 전자 장치 1000로 전송할 수 있다. 또한 전자 장치 1000의 통신 모듈 107은 서버 2000로부터 상기 객체에 대한 분석 정보를 수신할 수 있다.
동작 413에서 전자 장치 1000의 디스플레이 111은 예를 들어 다른 어플리케이션을 통해 수신한 분석 정보를 전자 장치 1000의 사용자에게 제공할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 전자 장치 1000에서의 이미지 분석 방법을 나타낸다. 또한, 도 6 내지 도 8은 본 발명의 일 실시 예에 따른 이미지 분석 방법이 스마트폰이나 태블릿과 같은 사용자 단말에서 구현되는 것을 설명하기 위한 도면이다.
도 5를 참조하면, 동작 501에서, 전자 장치 1000의 이미지 획득 모듈 101은 객체를 포함하는 이미지를 획득할 수 있다. 예를 들어, 이미지 획득 모듈 101은 도 6(a)와 같은 객체(스테이크) 601을 포함하는 이미지를 획득할 수 있다.
동작 503에서, 전자 장치 1000의 이미지 처리 모듈 103은 이미지 DB 105에 포함된 적어도 하나의 표준 이미지를 기초로, 이미지 획득 모듈 101에서 획득한 이미지를 정해진 유형에 따라 분류할 수 있다. 예를 들어, 도 6(b)에 도시한 것과 같이 객체(스테이크) 601을 포함하는 이미지는 '음식' 유형(혹은 카테고리) 603에 포함될 수 있다.
동작 505에서, 전자 장치 1000의 이미지 처리 모듈 103은 동작 501에서 획득한 이미지에 대한 부가 정보를 획득할 수 있다. 상기 부가 정보는, 상기 이미지의 메타데이터, 상기 이미지가 획득될 때의 시간 정보, 및 상기 이미지가 획득될 때의 상기 전자 장치의 위치 정보 중 적어도 하나를 포함할 수 있다.
동작 507에서, 전자 장치 1000의 이미지 처리 모듈 103은 소정의 유형으로 분류된 이미지 상에서 객체를 포함한 일정 영역을 선택(예를 들어, 이미지 상의 객체를 중심으로 cropping함으로써)할 수 있다. 이때, 소정의 이미지 프로세싱(예: Y-image 변환)을 추가로 적용할 수도 있다. 예를 들어, 도 6(c)에 도시한 것과 같이, 이미지 처리 모듈 103은 도 6(b)의 이미지상에서 객체(스테이크) 601을 포함한 일정 영역만을 남기고 포크, 글래스잔 및 기타 여백은 잘라내어 제거할 수 있다. 또한 도 6(c)의 이미지는 6(a) 또는 6(b)의 이미지에 소정의 영상 처리(예: Y-image 변환 처리)가 적용된 이미지일 수 있다.
동작 509에서, 전자 장치 1000의 이미지 처리 모듈 103은 선택된 일정 영역으로부터 객체에 대한 특징을 추출할 수 있다. 도 6(d)에는 일례로서 도 6(c)의 이미지로부터 추출된 객체(스테이크) 601에 대한 HOG 특징이 도시되어 있다.
동작 511에서, 전자 장치 1000의 이미지 처리 모듈 103은 전자 장치 1000의 사용자 정보를 획득할 수 있다. 예를 들어 전자 장치 1000의 사용자 A의 서비스 계정이 획득될 수 있다.
동작 513에서, 전자 장치 1000의 통신 모듈 107은 동작 509에서 추출한 특징, 동작 505에서 획득한 부가 정보, 및/또는 동작 511에서 획득한 사용자 정보를 서버 2000으로 전송할 수 있다.
동작 515에서, 전자 장치 1000의 통신 모듈 107은 서버 2000으로부터 객체에 대한 분석 정보를 수신할 수 있다. 예를 들어, 상기 분석 정보는 도 6(a) 내지 (c)에 도시된 객체(스테이크) 601의 성분 정보, 영양 정보, 재료 정보, 조리법, 또는 의학 정보를 포함할 수 있다.
동작 517에서, 수신된 분석 정보는 어플리케이션에 제공될 수 있다. 예를 들어 도 7(a) 내지 (f)에는 건강 관리 어플리케이션(S-health)의 식사 추적 기능(food tracker)이 분석 정보를 이용하는 것이 도시되어 있다.
도 7(a) 내지 (c)를 참조하면, 사용자는 이미지를 표시할 수 있는 뷰어 어플리케이션인 "Gallery" 어플리케이션을 실행시킬 수 있고, 미리 정해진 이미지 분류 중에서 "Food" 711 항목을 선택할 수 있다(도 7(a)). 상기 "Food" 711 항목이 선택되면 백그라운드에서 실행되고 있던 건강 관리 어플리케이션은 스테이크의 분석 정보가 수신되었다는 것을 알림(notification) 713으로 사용자에게 제공할 수 있다(도 7(b)). 사용자가 건강 관리 어플리케이션에 의한 알림 713을 통해 상기 분석 정보를 반영(입력)하는 것으로 선택(Yes)하면, 건강 관리 어플리케이션은 상기 분석 정보를 반영하여 도 7(c)와 같이 저녁(Dinner)으로서 852kcal의 스테이크가 섭취되었다는 것을 사용자에게 알려 줄 수 있다.
유사하게, 도 7(d) 내지 (f)를 참조하면, 사용자는 건강 관리 어플리케이션을 실행시켜 다양한 기능 목록 중에서 "Food" 721 항목을 선택할 수 있다(도 7(d)). 사용자가 상기 "Food" 721 항목을 선택하면, 건강 관리 어플리케이션이 스테이크의 분석 정보가 수신되었다는 것을 알림 723으로 사용자에게 제공할 수 있다(도 7(e)). 사용자가 건강 관리 어플리케이션에 의한 알림 713을 통해 상기 분석 정보를 반영(입력)하는 것으로 선택(Yes)하면, 건강 관리 어플리케이션은 상기 분석 정보를 반영하여 도 7(f)와 같이 저녁(Dinner)으로서 852kcal의 스테이크가 섭취되었다는 것을 사용자에게 알려 줄 수 있다.
동작 519에서, 전자 장치 1000의 디스플레이 111는 분석 정보를 사용자에게 표시할 수 있다. 예를 들어, 도 7(c)의 사용자 선택 715 또는 도 7(f)의 사용자 선택 725가 이루어지면, 도 8의 화면 801이 디스플레이 111에 표시될 수 있다. 화면 801에는 수신한 분석 정보 즉, 스테이크의 영양 정보(예: 열량 852Kcal, 지방 60g, 콜레스테롤 268mg, 나트륨 219mg 등)가 제공되어 있으나, 추가로 스테이크에 관한 성분 정보, 의학 정보, 맛집 위치 등이 더 제공될 수도 있다.
도 9는 본 발명의 일 실시 예에 따른 서버 2000에서의 이미지 분석 방법을 나타낸다.
도 9를 참조하면, 예를 들어 도 9의 동작 901 내지 907은 도 5의 동작 513과 동작 515 사이에서 수행될 수 있다.
동작 901에서 서버 2000의 통신 모듈 201은 스테이크를 포함하는 제1 이미지에 포함된 객체에 대한 특징, 제1 이미지에 대한 부가 정보, 및/또는 전자 장치 1000의 사용자 정보를 수신할 수 있다.
동작 903에서 서버 2000의 이미지 분석 모듈 203은 상기 특징, 상기 부가 정보를 분석하고, 이미지 DB 205 및/또는 상기 사용자 정보에 대응하는 분석 이력 데이터베이스 209를 참조하여 제2 이미지를 결정할 수 있다.
동작 905에서 서버 2000의 이미지 분석 모듈 203은, 분석 정보 DB 207 및/또는 상기 사용자 정보에 대응하는 분석 이력 데이터베이스 209를 참조하여 제2 이미지에 포함된 음식물의 분석 정보를 획득할 수 있다.
동작 907에서 서버 2000의 통신 모듈 201은 동작 905에서 획득한 분석 정보를 전자 장치 1000으로 전송할 수 있다.
본 문서에서 사용된 용어 "모듈"은, 예를 들면, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "모듈"은, 예를 들면, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component), 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "모듈"은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, "모듈"은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시 예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 저장 매체는 명령어(instructions)를 포함할 수 있다. 상기 명령어들은 상기 전자 장치에 의해 수행될 때, 전자 장치 1000으로 하여금 이미지를 획득하는 동작, 상기 획득된 이미지에 포함된 객체에 대한 특징을 추출하는 동작, 상기 특징을 서버 2000으로 전송하는 동작, 및 서버 2000으로부터 상기 객체에 대한 분석 정보를 수신하는 동작이 수행되도록 할 수 있다.
도 10은 다양한 실시 예에 따른 전자 장치 1001의 블록도를 나타낸다.
도 10을 참조하면, 전자 장치 1001은, 예를 들면, 도 1에 도시된 전자 장치 1000의 전체 또는 일부를 포함할 수 있다. 전자 장치 1001은 하나 이상의 프로세서(예: 어플리케이션 프로세서(AP)) 1010, 통신 모듈 1020, 가입자 식별 모듈 1024, 메모리 1030, 센서 모듈 1040, 입력 장치 1050, 디스플레이 1060, 인터페이스 1070, 오디오 모듈 1080, 카메라 모듈 1091, 전력 관리 모듈 1095, 배터리 1096, 인디케이터 1097, 및 모터 1098을 포함할 수 있다.
프로세서 1010은, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서 1010에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서 1010은, 예를 들면, SoC(system on chip)로 구현될 수 있다. 한 실시 예에 따르면, 프로세서 1010은 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서(image signal processor)(예: 도 2의 이미지 획득 모듈 101 및 이미지 처리 모듈 103)를 더 포함할 수 있다. 프로세서 1010은 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
통신 모듈 1020(예: 통신 모듈 107)은, 예를 들면, 셀룰러 모듈 1021, Wi-Fi 모듈 1023, 블루투스 모듈 1025, GPS 모듈 1027(예: 위치 정보 획득 모듈 109), NFC 모듈 1028 및 RF(radio frequency) 모듈 1029를 포함할 수 있다.
셀룰러 모듈 1021은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈 1021은 가입자 식별 모듈(예: SIM 카드) 1024을 이용하여 통신 네트워크 내에서 전자 장치 1001의 구별 및 인증을 수행할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈 1021은 프로세서 1010이 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈 1021은 커뮤니케이션 프로세서(CP)를 포함할 수 있다.
Wi-Fi 모듈 1023, 블루투스 모듈 1025, GPS 모듈 1027 또는 NFC 모듈 1028 각각은, 예를 들면, 해당하는 모듈을 통해서 송수신되는 데이터를 처리하기 위한 프로세서를 포함할 수 있다. 어떤 실시 예에 따르면, 셀룰러 모듈 1021, Wi-Fi 모듈 1023, 블루투스 모듈 1025, GPS 모듈 1027 또는 NFC 모듈 1028 중 적어도 일부(예: 두 개 이상)는 하나의 IC(integrated chip) 또는 IC 패키지 내에 포함될 수 있다.
RF 모듈 1029는, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈 1029는, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter), LNA(low noise amplifier), 또는 안테나 등을 포함할 수 있다. 다른 실시 예에 따르면, 셀룰러 모듈 1021, Wi-Fi 모듈 1023, 블루투스 모듈 1025, GPS 모듈 1027 또는 NFC 모듈 1028 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다.
가입자 식별 모듈 1024는, 예를 들면, 가입자 식별 모듈을 포함하는 카드 및/또는 내장 SIM(embedded SIM)을 포함할 수 있으며, 고유한 식별 정보(예: ICCID (integrated circuit card identifier)) 또는 가입자 정보(예: IMSI (international mobile subscriber identity))를 포함할 수 있다.
메모리 1030는, 예를 들면, 내장 메모리 1032 또는 외장 메모리 1034를 포함할 수 있다. 예를 들어 메모리 1030에는 도 1의 이미지 데이터 베이스 105가 구축되어 있을 수 있다.
내장 메모리 1032는, 예를 들면, 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비-휘발성(non-volatile) 메모리 (예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), 마스크(mask) ROM, 플래시(flash) ROM, 플래시 메모리(예: 낸드플래시(NAND flash) 또는 노아플래시(NOR flash) 등), 하드 드라이브, 또는 SSD(solid state drive) 중 적어도 하나를 포함할 수 있다.
외장 메모리 1034는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(MultiMediaCard), 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 외장 메모리 1034는 다양한 인터페이스를 통하여 전자 장치 1000과 기능적으로 및/또는 물리적으로 연결될 수 있다.
센서 모듈 1040은, 예를 들면, 물리량을 계측하거나 전자 장치 1000의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈 1040은, 예를 들면, 제스처 센서 1040A, 자이로 센서 1040B, 기압 센서 1040C, 마그네틱 센서 1040D, 가속도 센서 1040E, 그립 센서 1040F, 근접 센서 1040G, 컬러 센서 1040H(예: RGB 센서), 생체 센서 1040I, 온/습도 센서 1040J, 조도 센서 1040K, 또는 UV(ultra violet) 센서 1040M 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 센서 모듈 1040은, 예를 들면, 후각 센서(E-nose sensor), EMG(electromyography) 센서, EEG(electroencephalogram) 센서, ECG(electrocardiogram) 센서, IR(infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 센서 모듈 1040은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시 예에서는, 전자 장치 1000은 프로세서 1010의 일부로서 또는 별도로, 센서 모듈 1040을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서 1010이 슬립(sleep) 상태에 있는 동안, 센서 모듈 1040을 제어할 수 있다.
입력 장치 1050은, 예를 들면, 터치 패널(touch panel) 1052, (디지털) 펜 센서(pen sensor) 1054, 키(key) 1056, 또는 초음파(ultrasonic) 입력 장치 1058을 포함할 수 있다. 터치 패널 1052는, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널 1052는 제어 회로를 더 포함할 수도 있다. 터치 패널 1052는 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다.
(디지털) 펜 센서 1054는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 시트(sheet)를 포함할 수 있다. 키 1056은, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치 1058은 마이크(예: 마이크 1088)를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.
디스플레이 1060(예: 도 1의 디스플레이 111)은 패널 1062, 홀로그램 장치 1064, 또는 프로젝터 1066을 포함할 수 있다. 패널 1062는, 패널 1062는, 예를 들면, 유연하게(flexible), 투명하게(transparent), 또는 착용할 수 있게(wearable) 구현될 수 있다. 패널 1062는 터치 패널 1052와 하나의 모듈로 구성될 수도 있다. 홀로그램 장치 1064는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터 1066은 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치 1000의 내부 또는 외부에 위치할 수 있다. 한 실시 예에 따르면, 디스플레이 1060은 상기 패널 1062, 상기 홀로그램 장치 1064, 또는 프로젝터 1066를 제어하기 위한 제어 회로를 더 포함할 수 있다.
인터페이스 1070은, 예를 들면, HDMI 1072, USB 1074, 광 인터페이스(optical interface) 1076, 또는 D-sub(D-subminiature) 1078을 포함할 수 있다. 추가적으로 또는 대체적으로, 인터페이스 1070은, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD 카드/MMC 인터페이스, 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
오디오 모듈 1080은, 예를 들면, 소리(sound)와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈 1080은, 예를 들면, 스피커 1082, 리시버 1084, 이어폰 1086, 또는 마이크 1088 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
카메라 모듈 1091은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시 예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, ISP(image signal processor), 또는 플래시(flash)(예: LED 또는 제논 램프(xenon lamp))를 포함할 수 있다.
전력 관리 모듈 1095는, 예를 들면, 전자 장치 1001의 전력을 관리할 수 있다. 한 실시 예에 따르면, 전력 관리 모듈 1095는 PMIC(power management integrated circuit), 충전 IC(charger integrated circuit), 또는 배터리 또는 연료 게이지(battery or fuel gauge)를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 배터리 게이지는, 예를 들면, 배터리 1096의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 배터리 1096은, 예를 들면, 충전식 전지(rechargeable battery) 및/또는 태양 전지(solar battery)를 포함할 수 있다.
인디케이터 1097은 전자 장치 1001 혹은 그 일부(예: 프로세서 1010)의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터 1098은 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동(vibration), 또는 햅틱(haptic) 효과 등을 발생시킬 수 있다. 도시되지는 않았으나, 전자 장치 1000은 모바일 TV 지원을 위한 처리 장치(예: GPU)를 포함할 수 있다. 모바일 TV 지원을 위한 처리 장치는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting), 또는 미디어플로(MediaFloTM) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.
본 문서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성 요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시 예에서, 전자 장치는 본 문서에서 기술된 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 다양한 실시 예에 따른 전자 장치의 구성 요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.
다양한 실시 예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시 예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
그리고 본 문서에 개시된 실시 예는 개시된 기술 내용의 설명 및 이해를 위해 제시된 것이며 본 발명의 범위를 한정하는 것은 아니다. 따라서, 본 문서의 범위는 본 발명의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시 예를 포함하는 것으로 해석되어야 한다.

Claims (20)

  1. 이미지(image)를 획득하는 이미지 획득 모듈;
    상기 획득된 이미지에 포함된 객체(object)에 대한 특징(feature)을 추출하는 이미지 처리 모듈; 및
    상기 특징을 서버로 전송하고, 상기 서버로부터 상기 객체에 대한 분석 정보를 수신하는 통신 모듈을 포함하는 전자 장치.
  2. 청구항 1에 있어서,
    상기 객체는 음식물을 포함하는, 전자 장치.
  3. 청구항 2에 있어서,
    상기 분석 정보는, 상기 음식의 성분 정보, 영양 정보, 재료 정보, 조리법, 및 의학 정보 중 적어도 하나를 포함하는, 전자 장치.
  4. 청구항 1에 있어서,
    상기 특징은, 이미지 디스크립터(Image discriptor), MPEG 표준 CDVS(Compact Descriptors for Visual Search), HOG(Histograms of Oriented Gradient) 특징, SIFT(Scale Invariant Feature Transform) 특징, dense-SIFT 특징, 및 SURF (Speeded Up Robust Features) 특징 중 하나 이상을 포함하는, 전자 장치.
  5. 청구항 1에 있어서,
    상기 이미지 처리 모듈은, 상기 획득된 이미지 상에서 상기 객체를 포함한 일정 영역을 선택하고, 상기 선택된 영역으로부터 상기 특징을 추출하는, 전자 장치.
  6. 청구항 1에 있어서,
    상기 이미지 처리 모듈은, 상기 획득된 이미지에 대한 부가 정보를 획득하고,
    상기 통신 모듈은, 상기 부가 정보를 상기 서버로 전송하는, 전자 장치.
  7. 청구항 6에 있어서,
    상기 부가 정보는, 상기 획득된 이미지의 메타데이터를 포함하는, 전자 장치.
  8. 청구항 6에 있어서,
    상기 부가 정보는, 상기 획득된 이미지가 획득될 때의 시간 정보, 및 상기 획득된 이미지가 획득될 때의 상기 전자 장치의 위치 정보 중 적어도 하나를 포함하는, 전자 장치.
  9. 청구항 1에 있어서,
    상기 통신 모듈은, 상기 전자 장치의 사용자 정보를 더 전송하는, 전자 장치.
  10. 청구항 1에 있어서,
    적어도 하나의 표준 이미지를 저장하는 이미지 데이터베이스를 더 포함하고,
    상기 이미지 처리 모듈은, 상기 적어도 하나의 표준 이미지를 기초로 상기 획득된 이미지를 미리 정해진 유형에 따라 분류하고, 상기 분류된 이미지로부터 상기 특징을 추출하는, 전자 장치.
  11. 청구항 10에 있어서,
    상기 이미지 처리 모듈은, 상기 획득된 이미지와 상기 표준 이미지의 매칭 정도를 나타내는 스코어를 생성하고, 상기 스코어를 기초로 상기 획득된 이미지를 분류하는, 전자 장치.
  12. 청구항 1에 있어서,
    상기 분석 정보는, 상기 전자 장치에 탑재된 어플리케이션을 통해 제공되는, 전자 장치.
  13. 청구항 1에 있어서,
    상기 분석 정보를 표시하기 위한 디스플레이를 더 포함하는, 전자 장치.
  14. 제1 이미지에 포함된 객체에 대한 특징(feature)을 전자 장치로부터 수신하는 통신 모듈;
    상기 특징을 분석하여 대응하는 분석 정보를 획득하는 이미지 분석 모듈;을 포함하고,
    상기 통신 모듈은, 상기 분석 정보를 상기 전자 장치로 전송하는, 서버.
  15. 청구항 14에 있어서,
    상기 이미지 분석 모듈은, 상기 특징을 가진 객체를 포함한 제2 이미지를 결정하고, 상기 제2 이미지에 포함된 객체의 분석 정보를 획득하는, 서버.
  16. 청구항 14에 있어서,
    상기 통신 모듈은 상기 전자 장치로부터 상기 제1 이미지에 대한 부가 정보를 더 수신하고,
    상기 이미지 분석 모듈은, 상기 특징과 상기 부가 정보를 기초로 상기 분석 정보를 획득하는, 서버.
  17. 청구항 16에 있어서,
    상기 부가 정보는 상기 제1 이미지가 획득될 때의 시간 정보, 및 상기 제1 이미지가 획득될 때의 상기 전자 장치의 위치 정보 중 적어도 하나를 포함하는, 서버.
  18. 청구항 14에 있어서,
    상기 이미지 분석 모듈이 과거에 획득한 분석 정보를 사용자별로 저장하는 분석 이력 데이터베이스를 더 포함하고,
    상기 통신 모듈은, 상기 전자 장치의 사용자 정보를 더 수신하며,
    상기 이미지 분석 모듈은, 상기 분석 이력 데이터베이스를 참조하여 상기 특징과 상기 사용자 정보에 대응하는 분석 정보를 획득하는, 서버.
  19. 이미지(image)를 획득하는 동작;
    상기 획득된 이미지에 포함된 객체(object)에 대한 특징(feature)을 추출하는 동작;
    상기 특징을 서버로 전송하는 동작; 및
    상기 서버로부터 상기 객체에 대한 분석 정보를 수신하는 동작을 포함하는 이미지 분석 방법.
  20. 청구항 19에 있어서,
    상기 특징은, 이미지 디스크립터(Image discriptor), MPEG 표준 CDVS(Compact Descriptors for Visual Search), HOG(Histograms of Oriented Gradient) 특징, SIFT(Scale Invariant Feature Transform) 특징, dense-SIFT 특징, 및 SURF (Speeded Up Robust Features) 특징 중 하나 이상을 포함하는, 이미지 분석 방법.
KR1020150007236A 2015-01-15 2015-01-15 이미지 분석 방법과 이를 수행하는 전자 장치 및 서버 KR102251960B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020150007236A KR102251960B1 (ko) 2015-01-15 2015-01-15 이미지 분석 방법과 이를 수행하는 전자 장치 및 서버
US14/991,094 US9953248B2 (en) 2015-01-15 2016-01-08 Method and apparatus for image analysis
CN201610028209.8A CN105808635A (zh) 2015-01-15 2016-01-15 用于图像分析的方法和装置
EP16151510.1A EP3046041A1 (en) 2015-01-15 2016-01-15 Method and apparatus for image analysis

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150007236A KR102251960B1 (ko) 2015-01-15 2015-01-15 이미지 분석 방법과 이를 수행하는 전자 장치 및 서버

Publications (2)

Publication Number Publication Date
KR20160088049A true KR20160088049A (ko) 2016-07-25
KR102251960B1 KR102251960B1 (ko) 2021-05-14

Family

ID=55299205

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150007236A KR102251960B1 (ko) 2015-01-15 2015-01-15 이미지 분석 방법과 이를 수행하는 전자 장치 및 서버

Country Status (4)

Country Link
US (1) US9953248B2 (ko)
EP (1) EP3046041A1 (ko)
KR (1) KR102251960B1 (ko)
CN (1) CN105808635A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190010576A (ko) * 2017-05-17 2019-01-30 에바 · 재팬 가부시키가이샤 정보 탐색 시스템 및 방법, 정보 탐색 프로그램
KR20190066218A (ko) * 2017-12-05 2019-06-13 이원 유해물 관리 방법, 이를 실행하는 컴퓨팅 장치 및 컴퓨터 프로그램
KR20190113523A (ko) * 2018-03-27 2019-10-08 에바 · 재팬 가부시키가이샤 정보 탐색 시스템 및 프로그램
KR20210075592A (ko) * 2019-12-13 2021-06-23 주식회사리디쉬 포인트 보상 기반의 그릇을 회수하기 위한 방법 및 이를 위한 장치

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109214238B (zh) * 2017-06-30 2022-06-28 阿波罗智能技术(北京)有限公司 多目标跟踪方法、装置、设备及存储介质
US10572632B2 (en) * 2017-10-02 2020-02-25 Robert M. Buckley Using augmented reality interface and real-time glucose data to control insulin delivery device
WO2019182378A1 (en) * 2018-03-21 2019-09-26 Lg Electronics Inc. Artificial intelligence server
KR102172772B1 (ko) * 2018-07-18 2020-11-02 엘지전자 주식회사 인공지능 서버 및 인공지능 디바이스
KR102528453B1 (ko) 2018-10-18 2023-05-02 삼성전자주식회사 영상 내의 특징 추출 방법, 이를 이용하는 영상 매칭 방법 및 영상 처리 방법
EP3886423B1 (en) 2018-12-05 2024-01-24 Sony Group Corporation Image capturing element, image capturing device and method
US20220188948A1 (en) * 2019-03-06 2022-06-16 Cj Cheiljedang Corporation Recipe providing system and method
JP7329611B2 (ja) * 2019-03-06 2023-08-18 シージェイ チェイルジェダン コーポレーション レシピ提供システム及び方法
CN110705621A (zh) * 2019-09-25 2020-01-17 北京影谱科技股份有限公司 基于dcnn的食物图像的识别方法和***及食物热量计算方法
CN112822390A (zh) * 2019-11-15 2021-05-18 三星电子株式会社 处理图像的方法和图像处理设备
KR20210062477A (ko) * 2019-11-21 2021-05-31 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2022015939A1 (en) * 2020-07-15 2022-01-20 June Life, Inc. Method and system for foodstuff identification
CN113592003B (zh) * 2021-08-04 2023-12-26 智道网联科技(北京)有限公司 一种图片传输方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120179665A1 (en) * 2011-01-07 2012-07-12 Access Business Group International Llc Health monitoring system
CN103793450A (zh) * 2012-10-30 2014-05-14 索尼公司 信息处理设备以及信息处理方法
US20140170608A1 (en) * 2012-12-14 2014-06-19 Industrial Technology Research Institute Method and system for diet management

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050015370A1 (en) * 2003-07-14 2005-01-20 Stavely Donald J. Information management system and method
KR20060122111A (ko) 2005-05-25 2006-11-30 주식회사 팬택 음식물 영상을 통한 칼로리 계산 방법
KR20090046991A (ko) 2007-11-07 2009-05-12 주식회사 휴민텍 패턴 인식 기법을 통한 식단 인식
US8363913B2 (en) 2008-09-05 2013-01-29 Purdue Research Foundation Dietary assessment system and method
US9195898B2 (en) * 2009-04-14 2015-11-24 Qualcomm Incorporated Systems and methods for image recognition using mobile devices
US8392957B2 (en) 2009-05-01 2013-03-05 T-Mobile Usa, Inc. Automatic content tagging, such as tagging digital images via a wireless cellular network using metadata and facial recognition
JP2011221637A (ja) * 2010-04-06 2011-11-04 Sony Corp 情報処理装置、情報出力方法及びプログラム
CN101945327A (zh) * 2010-09-02 2011-01-12 郑茂 基于数字图像识别和检索的无线定位方法、***
US20130004923A1 (en) 2011-06-10 2013-01-03 Aliphcom Nutrition management method and apparatus for a wellness application using data from a data-capable band
US8548459B1 (en) * 2011-09-27 2013-10-01 Emc Corporation Replacing field hardware involving utilization of a smart phone
US9111143B2 (en) * 2013-09-27 2015-08-18 At&T Mobility Ii Llc Method and apparatus for image collection and analysis
US9177225B1 (en) * 2014-07-03 2015-11-03 Oim Squared Inc. Interactive content generation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120179665A1 (en) * 2011-01-07 2012-07-12 Access Business Group International Llc Health monitoring system
CN103793450A (zh) * 2012-10-30 2014-05-14 索尼公司 信息处理设备以及信息处理方法
US20140170608A1 (en) * 2012-12-14 2014-06-19 Industrial Technology Research Institute Method and system for diet management

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190010576A (ko) * 2017-05-17 2019-01-30 에바 · 재팬 가부시키가이샤 정보 탐색 시스템 및 방법, 정보 탐색 프로그램
KR20190066218A (ko) * 2017-12-05 2019-06-13 이원 유해물 관리 방법, 이를 실행하는 컴퓨팅 장치 및 컴퓨터 프로그램
KR20190113523A (ko) * 2018-03-27 2019-10-08 에바 · 재팬 가부시키가이샤 정보 탐색 시스템 및 프로그램
KR20210075592A (ko) * 2019-12-13 2021-06-23 주식회사리디쉬 포인트 보상 기반의 그릇을 회수하기 위한 방법 및 이를 위한 장치
WO2021118332A3 (ko) * 2019-12-13 2021-07-29 주식회사리디쉬 포인트 보상 기반의 그릇을 회수하기 위한 방법 및 이를 위한 장치

Also Published As

Publication number Publication date
US20160210536A1 (en) 2016-07-21
CN105808635A (zh) 2016-07-27
EP3046041A1 (en) 2016-07-20
US9953248B2 (en) 2018-04-24
KR102251960B1 (ko) 2021-05-14

Similar Documents

Publication Publication Date Title
KR102251960B1 (ko) 이미지 분석 방법과 이를 수행하는 전자 장치 및 서버
US11350033B2 (en) Method for controlling camera and electronic device therefor
KR102287043B1 (ko) 카메라를 이용하여 획득한 이미지를 처리하는 전자 장치 및 그 동작 방법
US10244177B2 (en) Method for processing image to generate relevant data based on user inputs and electronic device supporting the same
US10075653B2 (en) Method and electronic device for image processing
US10003785B2 (en) Method and apparatus for generating images
US20200302108A1 (en) Method and apparatus for content management
US11232305B2 (en) Method for outputting content corresponding to object and electronic device therefor
US20170064199A1 (en) Electronic device and method for processing image
KR20160058519A (ko) 복수의 영상들에 대한 영상 처리
US10504560B2 (en) Electronic device and operation method thereof
KR20150137504A (ko) 영상처리 방법 및 이를 구현한 전자 장치
EP3280131B1 (en) Method of processing image and electronic device supporting the same
US10185724B2 (en) Method for sorting media content and electronic device implementing same
KR20150141426A (ko) 전자 장치 및 전자 장치에서의 이미지 처리 방법
EP3446240B1 (en) Electronic device and method for outputting thumbnail corresponding to user input
US20160055391A1 (en) Method and apparatus for extracting a region of interest
US10198828B2 (en) Image processing method and electronic device supporting the same
KR102133718B1 (ko) 바코드를 이용한 정보 제공 방법 및 장치
US11132574B2 (en) Method for detecting marker and electronic device thereof
KR102391490B1 (ko) 이미지 내의 오브젝트를 트래킹하기 위한 방법 및 그 전자 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant