KR102232798B1 - 관심영역 추정 서비스 장치, 사용자 장치 및 방법, 컴퓨터 프로그램이 기록된 기록매체 - Google Patents

관심영역 추정 서비스 장치, 사용자 장치 및 방법, 컴퓨터 프로그램이 기록된 기록매체 Download PDF

Info

Publication number
KR102232798B1
KR102232798B1 KR1020140031514A KR20140031514A KR102232798B1 KR 102232798 B1 KR102232798 B1 KR 102232798B1 KR 1020140031514 A KR1020140031514 A KR 1020140031514A KR 20140031514 A KR20140031514 A KR 20140031514A KR 102232798 B1 KR102232798 B1 KR 102232798B1
Authority
KR
South Korea
Prior art keywords
roi
interest
region
content
information
Prior art date
Application number
KR1020140031514A
Other languages
English (en)
Other versions
KR20150108569A (ko
Inventor
전혁준
신형철
장언동
전병기
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020140031514A priority Critical patent/KR102232798B1/ko
Publication of KR20150108569A publication Critical patent/KR20150108569A/ko
Application granted granted Critical
Publication of KR102232798B1 publication Critical patent/KR102232798B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/41—Indexing; Data structures therefor; Storage structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 관심영역 추정 서비스 장치, 사용자 장치 및 방법, 컴퓨터 프로그램이 기록된 기록매체를 개시한다. 즉, 본 발명은 컨텐츠의 관심영역 지정을 사용자 장치에 요청하고, 사용자 장치로부터 컨텐츠의 관심영역 정보를 수신하여 사용자 장치로부터 수신한 컨텐츠의 관심영역 정보를 누적하여 최종 관심영역을 선택할 수 있다. 이러한 방법을 사용함으로써 실제 사용자에 의해 선택된 관심영역의 정보를 수집, 누적하여 관심영역에 대한 기준을 수정할 수 있다.

Description

관심영역 추정 서비스 장치, 사용자 장치 및 방법, 컴퓨터 프로그램이 기록된 기록매체{Service apparatus, user apparatus estimating regions of interest and method therefor, computer readable medium having computer program recorded therefor}
본 발명은 관심영역 추정 서비스 장치, 사용자 장치 및 방법, 컴퓨터 프로그램이 기록된 기록매체에 관한 것으로, 특히 사용자가 체감하는 관심영역에 대한 정보를 수집하고, 이를 통해 관심영역의 학습과 자동 선택이 가능하도록 하는 관심영역 추정 서비스 장치, 사용자 장치 및 방법, 컴퓨터 프로그램이 기록된 기록매체에 관한 것이다.
디지털 컨텐츠에 대한 수요가 증가하면서 우리 주변에는 방대한 양의 멀티미디어 컨텐츠(비디오, 음악, 영상, 이미지 등)가 끈임 없이 생성, 제작, 유통 및 서비스되고 있다. 그 중에서도 디지털 영상 및 이미지는 고성능, 휴대용 디지털 카메라의 보급과 대용량 저장장치나 휴대용 저장매체의 가격하락과 함께 가히 폭발적으로 그 수가 증가하고 있다. 반면에 이러한 영상 및 이미지가 포함하고 있는 정보를, 필요시 효율적으로 찾아내고 원하는 대상을 다른 것과 정확하게 식별하고 분류하여 검색하는 서비스 장치, 사용자 장치 및 방법에 대한 수요도 점점 늘어나고 있다.
종래의 영상 또는 이미지의 분류는 설계자의 기준에 따라 영상 또는 이미지 내에서 관심의 대상이 되는 영역인 관심영역(region-of-interest: ROI)이 설정되고 학습되어, 이를 사용자에게 일괄 적용하여 왔다.
그러나 관심영역은 사용자에 따라, 그리고 영상 또는 이미지가 활용되는 분야에 따라 각각 다르게 선택될 수 있기 때문에 이러한 일괄 적용은 효과적이지 않으며, 서비스 장치로부터 통신망을 통해 일방적으로 사용자 장치로 전달되는 영상 또는 이미지의 관심영역에 대해서 사용자 장치로부터의 피드백 과정이 없으므로 사용자의 기호가 제대로 반영되지 않는 문제점이 존재한다.
한국공개특허 제10-2012-0043995호 [명칭: 복수 개의 카메라를 이용한 관심영역 추출 시스템 및 그 방법]
본 발명의 목적은 사용자에 의해 관심영역이 선택되고, 사용자가 선택한 관심영역에 대한 정보를 누적하여 영상 내에 관심영역에 대한 기준을 수정하도록 하는 관심영역 추정 서비스 장치, 사용자 장치 및 방법, 컴퓨터 프로그램이 기록된 기록매체를 제공하는 데 있다.
본 발명의 다른 목적은 실제 사용자가 체감하는 관심영역에 대한 정보를 수집하고, 이에 대한 피드백을 통해서 관심영역의 학습 및 자동 선택이 가능하도록 하는 관심영역 추정 서비스 장치, 사용자 장치 및 방법, 컴퓨터 프로그램이 기록된 기록매체를 제공하는 데 있다.
본 발명의 실시예에 따른 관심영역 추정 서비스 장치는 사용자 장치와 통신망을 통해 통신하는 통신부; 통신부를 통해 사용자 장치로 컨텐츠에 대해 관심영역의 선택을 요청하는 관심영역 선택 요청부; 사용자 장치로부터 컨텐츠의 관심영역 정보를 수집, 취합하여 관심영역을 선택하는 관심영역 취합부; 및 관심영역 정보를 저장하는 데이터베이스;를 포함할 수 있다.
본 발명과 관련된 일 예로서 데이터베이스는 관심영역 정보를 관심영역 식별기로 송신할 수 있다.
본 발명과 관련된 일 예로서 컨텐츠는 영상 또는 이미지를 포함할 수 있다.
본 발명과 관련된 일 예로서 사용자 장치는 선택된 관심영역과 관련된 링크 정보를 사용자 장치로 제시하는 링크 제공부;를 포함할 수 있다.
본 발명의 실시예에 따른 관심영역 추정 사용자 장치는 서비스 장치와의 통신을 수행하는 통신부; 서비스 장치로부터 컨텐츠에 대한 관심영역 선택 요청을 수신하고 관심영역을 선택하여 선택한 관심영역의 정보를 서비스 장치로 송신하는 관심영역 선택부; 및 선택된 관심영역의 정보를 저장하는 저장부;를 포함할 수 있다.
본 발명과 관련된 일 예로서 컨텐츠는 영상 또는 이미지를 포함할 수 있다.
본 발명의 실시예에 따른 관심영역 추정 방법은 컨텐츠에 대해 관심영역 식별기로 판별한 컨텐츠 내 최초 관심영역의 수보다 많거나 적은 수로 컨텐츠의 관심영역 지정을 사용자 장치에 요청하는 단계; 사용자 장치로부터 컨텐츠의 관심영역 정보를 수신하는 단계; 및 사용자 장치로부터 수신한 컨텐츠의 관심영역 정보를 누적하여 최종 관심영역을 선택하는 단계;를 포함할 수 있다.
본 발명과 관련된 일 예로서 최종 관심영역을 기준으로 관심영역 식별기를 재학습시키는 단계;를 더 포함할 수 있다.
본 발명의 실시예에 따른 컴퓨터 프로그램이 기록된 기록매체에는 상술한 실시예에 따른 방법을 수행하는 컴퓨터 프로그램이 저장될 수 있다.
본 발명은 실제 사용자에 의해 선택된 관심영역의 정보를 수집, 누적하여 관심영역에 대한 기준을 수정할 수 있는 효과가 있다.
또한, 본 발명은 수집, 누적된 관심영역에 대한 정보를 이용하여 관심영역을 피드백함으로써 관심영역의 학습 및 자동 선택이 가능한 효과가 있다.
도 1은 본 발명의 실시예에 따른 관심영역의 초기 학습 과정을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따라 관심영역을 설정하는 서비스 장치를 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 학부모 사용자 장치의 세부 구성을 나타낸 도면이다.
도 4는 관심영역 식별기에 의해 선택된 초기 관심영역을 나타낸 도면이다.
도 5는 제1 사용자에 의해 선택된 관심영역을 나타낸 도면이다.
도 6은 제2 사용자에 의해 선택된 관심영역을 나타낸 도면이다.
도 7은 복수의 사용자에 의해 선택된 최종 관심영역을 나타낸 도면이다.
도 8은 본 발명의 실시예에 따라 관심영역을 추정하는 방법을 나타낸 순서도이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1은 본 발명의 실시예에 따른 관심영역의 초기 학습 과정을 나타낸 도면이다. 관심영역의 초기 학습 및 추정은 이미지 및 영상에 대해서 적용될 수 있으나 이하 이미지를 예로 들어 설명한다.
도시된 바와 같이 이미지(100)에는 여러 객체가 포함될 수 있다. 복수의 객체를 각각 관심영역으로 검색, 설정되도록 하기 위해서는 각각의 객체에 대한 학습이 필요하다.
이미지(100)에서 객체를 검색하는 과정은 예를 들어, 하기의 방법으로 실행될 수 있다. 먼저, 프레임 내의 기본 가중치는, 인간의 시각이 가장 머물고 싶은 곳에 카메라를 위치시킨다는 가정하에, 어두운 곳에는 높은 가중치, 밝은 곳은 낮은 가중치를 부여한다.
관심영역 식별기(200)는 움직임 벡터와 복잡도를 이용하여 관심영역을 추출한 후, 추출한 관심영역에 대한 가중치를 부여한다.
즉, 이미지의 중심을 기준으로 움직임 벡터의 분포를 체크하여, 균일한 크기를 가지는 움직임 벡터군을 하나 선정한 후, 선정한 움직임 벡터군에 대하여 에지(edge) 추출로 물체의 윤곽을 찾아 높은 가중치를 부여하는데, 각 메크로 블록의 움직임 벡터의 분포를 이용하여 복잡도를 구하고, 그 움직임 벡터와 복잡도를 이용하여 객체를 추출한다.
관심영역 식별기(200)는 각각의 객체를 검색하여 관심영역을 설정할 수 있으며, 이를 위해 하나 이상의 테스트 세트(300: 300-1, 300-2, 300-3, 300-4...)와 연결되어 각각의 객체를 학습한다.
구체적으로, 제1 관심영역 식별기(200-1)는 사람의 얼굴을 검색하고, 이를 위해 제1 테스트 세트(300-1)는 제1 관심영역 식별기(200-1)가 얼굴에 대한 학습이 가능하도록 여러 얼굴에 대한 데이터를 제1 관심영역 식별기(200-1)에 제공하여 제1 관심영역 식별기(200-1)가 얼굴을 검색할 수 있도록 한다.
제2 관심영역 식별기(200-2)는 가방을 검색하고, 이를 위해 제2 테스트 세트(300-2)는 제2 관심영역 식별기(200-2)가 가방에 대한 학습이 가능하도록 여러 가방에 대한 데이터를 제2 관심영역 식별기(200-2)에 제공하여 제2 관심영역 식별기(200-2)가 가방의 형상을 검색할 수 있도록 한다.
제3 관심영역 식별기(200-3)는 캐리어를 검색하고, 이를 위해 제3 테스트 세트(300-3)는 제3 관심영역 식별기(200-3)가 캐리어에 대한 학습이 가능하도록 여러 캐리어에 대한 데이터를 제3 관심영역 식별기(200-3)에 제공하여 제3 관심영역 식별기(200-3)가 캐리어의 형상을 검색할 수 있도록 한다.
제4 관심영역 식별기(200-4)는 구두를 검색하고, 이를 위해 제4 테스트 세트(300-4)는 제4 관심영역 식별기(200-4)가 구두에 대한 학습이 가능하도록 여러 구두에 대한 데이터를 제4 관심영역 식별기(200-4)에 제공하여 제4 관심영역 식별기(200-4)가 구두의 형상을 검색할 수 있도록 한다.
객체 및 이미지의 크기는 매번 상이할 수 있으며, 동일한 객체인 경우에도 이미지(100)의 크기에 따라 이미지(100) 내에서 차지하는 크기가 상이할 수 있으므로 테스트 세트(300)는 관심영역 식별기(200)가 하나의 객체가 갖는 여러 사이즈에 대해 학습하도록 한다.
이러한 과정을 통해 학습된 관심영역 식별기(200)는 이미지(100) 내에서 해당 객체를 관심영역으로 검색할 수 있게 된다. 즉, 이미지(100) 내에서 사람의 얼굴, 가방, 캐리어, 구두 등의 객체를 관심영역으로 검색할 수 있게 된다. 다른 이미지에서도 각각의 관심영역 식별기(200)는 해당 객체를 자동으로 검색 및 태깅할 수 있게 되어, 사람이 이미지마다 관심영역을 일일이 검색, 태깅하지 않아도 된다.
또한 이렇게 관심영역이 태깅된 이미지(101)에서 태깅된 관심영역을 선택하면 해당 객체와 관련된 링크 정보를 사용자 장치(600)로 제시할 수 있다.
이하, 초기 관심영역 중 사용자에 의해 최종 관심영역이 선택되는 과정을 도면을 참조하여 설명한다.
도 2는 본 발명의 실시예에 따라 관심영역을 설정하는 서비스 장치를 도시한 도면이다. 도 1의 관심영역 식별기(200)에 의해 관심영역이 태깅된 이미지(101)는 서비스 장치(400)로 전달된다. 서비스 장치(400)는 관심영역 선택 요청부(410), 데이터베이스(420), 관심영역 취합부(430), 링크 제공부(440) 및 통신부(450)를 포함할 수 있다.
서비스 장치(400)는 통신부(450)를 통해 통신망(500)과 연결되고, 사용자 장치(600)와 연결될 수 있다. 사용자 장치(User Equipment, UE)(600)는 고정되거나 이동성을 가질 수 있으며, PC(personal computer), MS(mobile station), MT(mobile terminal), UT(user terminal), SS(subscriber station), 무선기기(wireless device), PDA(personal digital assistant), 휴대기기(handheld device), 단말 등 다른 용어로 불릴 수 있다.
관심영역 선택 요청부(410)는 통신망(500)을 통해 사용자 장치(600)에 관심영역의 선택을 요청할 수 있다. 사용자 장치(600)는 관심영역 식별기(200)에 의해 자동 태깅된 복수의 관심영역 중, 필요로 하는 관심영역을 선택할 수 있고 선택한 관심영역에 대한 정보를 통신망(500)을 통해 관심영역 취합부(430)로 송신할 수 있다. 선택하는 관심영역의 수는, 관심영역 식별기(200)에 의해 자동 태깅된 관심영역의 수보다 많거나 적을 수 있다.
사용자 장치(600)는 복수일 수 있으며, 각각의 사용자 장치(600)에 의해 선택되는 관심영역은 상이할 수 있다. 예를 들어, 제1 사용자 장치(601)는 복수의 관심영역이 태깅된 이미지(101)에서 가방(120) 및 구두(140)를 관심영역으로 설정할 수 있고, 제2 사용자 장치(602)는 복수의 관심영역이 태깅된 이미지(101)에서 가방(120) 및 캐리어(130)를 관심영역으로 설정할 수 있다.
사용자 장치(600)는 각각 상이한 수로 관심영역을 설정할 수 있다. 예를 들어, 제1 사용자 장치(601)는 하나의 관심영역을 선택할 수 있고, 제2 사용자 장치(602)는 두 개의 관심영역을 선택할 수 있다.
각각의 사용자 장치(600)에 의해 선택된 관심영역에 대한 정보는 관심영역 통신망(500)을 통해서 취합부(430)로 송신되고, 관심영역 취합부(430)는 복수의 사용자 장치(600)로부터의 관심영역 정보를 취합 및 누적하여 많이 선택된 순으로 상위 몇 개를 최종 관심영역으로 설정할 수 있다.
데이터베이스(420)는 최종 관심영역에 대한 정보를 저장한다. 즉, 사용자 장치(600)로부터의 관심영역 정보를 취합한 관심영역 취합부(430)에서 최종 관심영역으로 선택된 객체 정보를 저장하여 사용자별 맞춤형 관심영역을 제공하는데 사용될 수 있다.
또한 데이터베이스(420)는 관심영역 식별기(200)에 의해 선택된 하나 이상의 최초 관심영역 중에서 최종 관심영역을 기준으로 관심영역을 선택하고, 이를 사용자 장치(600)로 제공한다. 이에 따라, 사용자 장치(600)에 의해 선택된 관심영역이 피드백되어 이미지(101)에 적용될 수 있다.
링크 제공부(440)는 선택된 관심영역에 대한 정보를 제공하는 사이트를 사용자 장치(600)로 제공할 수 있다. 이에 따라 사용자 장치(600)에 제시된 최종 관심영역 중, 특정 관심영역을 선택하면 해당되는 객체에 대한 정보를 제공하는 하나 이상의 사이트를 제시하거나 해당 사이트로 바로 연결될 수도 있다.
도 3은 본 발명의 실시예에 따른 사용자 장치(600)의 세부 구성을 나타낸 도면이다. 본 발명의 실시예에 따른 사용자 장치(600)는 통신부(610), 입력부(620), 제어부(630), 관심영역 선택부(640), 저장부(650), 표시부(660) 등을 포함한다.
통신부(610)는 통신망(500)을 통해 서비스 장치(400)와의 데이터 통신을 수행한다.
입력부(620)는 데이터의 입력, 선택 등과 같이 사용자의 조작이 가능한 입력 수단을 포함한다. 입력 수단은 일반적인 키패드, 마우스 등을 포함할 수 있으며, 표시부(660)가 터치 입력이 가능한 터치 스크린으로 구비되는 경우 표시부(660)와 일체로 구비될 수도 있다.
관심영역 선택부(640)는 사용자의 관심영역 선택을 처리하고, 통신부(610)를 통해 선택된 관심영역의 정보를 서비스 장치(400)로 송신한다.
저장부(650)는 관심영역 선택부(640)에 필요한 데이터, 선택된 관심영역의 정보 및 사용자 장치 정보와 이미지(101)가 포함하는 정보를 저장한다.
표시부(660)는 사용자 장치(600)의 구동에 관한 각종 정보를 시각적으로 표시한다.
제어부(630)는 사용자 장치(600)의 동작을 전체적으로 제어하며, 관심영역 선택부(640)와 다른 구성요소 간을 상호 연결하여 서비스에 필요한 동작을 수행하도록 제어한다.
제어부(630)는 통신부(610)를 통해 관심영역의 요청이 수신되면 표시부(660)에 이를 표시하도록 하고 입력부(620)에 의해 이미지 보기가 선택되면 관심영역 선택부(640)의 실행을 요청하고, 관심영역 선택부(640)가 실행되면 이미지를 표시부(660)에 표시하도록 한다.
도 4는 관심영역 식별기에 의해 선택된 초기 관심영역을 나타낸 도면이다. 도시된 바와 같이 관심영역 식별기(200)에 의해 선택된 초기 관심영역은 사람의 얼굴(110), 가방(120) 및 캐리어(130)를 포함한다. 이는 관심영역 식별기(200)가 사람의 얼굴(110), 가방(120) 및 캐리어(130)를 구분하고 관심영역으로 선택하기 때문인 것으로 관심영역 식별기(200)의 구성 및 설정에 따라 다른 객체를 관심영역으로 선택할 수도 있을 것이다.
초기 관심영역으로 선택되지 않은 건물, 비행기, 사람의 의상 등은 추후 사용자 단말(600)에 의해 관심영역으로 선택될 수도 있다.
도 5 및 도 6은 사용자에 의해 선택된 관심영역을 나타낸 도면이다.
도 5에 도시된 바와 같이, 제1 사용자 장치(601)에 의해 선택된 관심영역은 얼굴(110), 가방(120), 캐리어(130 및 상의(150)이고, 도 6에 도시된 바와 같이, 제2 사용자 장치(602)에 의해 선택된 관심영역은 구두(140), 상의(150), 넥타이(151) 및 하의(160)이다.
이와 같이, 각각의 사용자 장치(600)에 의해 선택되는 관심영역은 그 개수 및 객체가 상이할 수 있다. 이는 사용자의 기호에 따라, 또는 이미지(101)가 사용되는 분야에 따라서 다르게 결정될 수 있을 것이다.
도 7은 복수의 사용자에 의해 선택된 최종 관심영역을 나타낸 도면이다.
복수의 사용자 장치(600)에 의해 선택된 관심영역의 정보를 취합 및 누적하여 많이 선택된 순으로 상위 몇 개를 최종 관심영역으로 설정할 수 있다.
최종 관심영역으로 설정되는 수는 최초 관심영역의 수보다 많거나 적을 수 있다. 이에 의해 기 지정된 관심영역의 신뢰도를 검증할 수 있다. 즉, 최초 관심영역 중에서 사용자 장치(600)에 의해 적게 선택된 순으로 하위 몇 개를 관심영역에서 제외하여, 다음 이미지에 대한 관심영역의 검색에서는 관심영역 식별기(200)가 해당되는 객체를 관심영역으로 설정하지 않을 수 있고, 또한 관심영역 식별기(200)에 의해 최초 관심영역으로 설정되지 않았으나 사용자 장치(600)에 의해 미리 설정된 개수 이상으로 선택된 최종 관심영역의 객체는 다음 이미지에 대한 관심영역의 검색에서는 해당되는 객체를 관심영역으로 설정할 수 있다.
이에 따라 배경과 관심영역을 단순 구분하는 경우 외에도 구체적인 객체에 대해서도 어떠한 기준으로 구분해야 하는지를 알 수 있게 되므로 여러 상황에 적용 가능하다.
구체적으로, 사용자가 물품 판매자인 경우에는 물건에 대해 설정된 관심영역을 제시할 수 있으며, 사용자가 여행사인 경우에는 배경 건물, 랜드 마크를 중심으로 설정된 관심영역을 제시할 수 있다.
도 8은 본 발명의 실시예에 따라 관심영역을 추정하는 방법을 나타낸 순서도이다. 처음으로, 입력 이미지에 대해 관심영역 식별기에 의해 판별된 관심영역의 수보다 많거나 적은 수로 해당 이미지의 관심영역 지정을 사용자 장치에 요청한다(S100).
구체적으로, 관심영역 식별기(200)가 세 개의 초기 관심영역을 설정한 경우, 서비스 장치(400)는 복수의 사용자 장치(600)로 두 개 또는 네 개 이상의 관심영역을 설정할 것을 요청할 수 있다.
다음으로, 복수의 사용자 장치(600)로부터 해당 이미지의 관심영역 정보를 수신한다. 복수의 사용자 장치(600)는 각각 선택한 관심영역이 상이할 수 있으므로, 서비스 장치(400)는 관심영역에 대한 정보를 수신하여 이를 저장한다.
다음으로, 사용자 장치(600)로부터 수신한 관심영역 정보를 누적하여 최종 관심영역을 선택한다(S300). 최종 관심영역을 선택하는 기준은 많이 선택된 순으로 상위 몇 개로 설정할 수 있으며, 사용자 장치(600)로부터 수신한 관심영역 정보를 누적한 최종 관심영역의 개수는 관심영역 식별기(200)에 의해 검색된 최초 관심영역의 개수와 동일하거나 상이할 수 있다.
다음으로, 선택된 최종 관심영역을 기준으로 관심영역 식별기(200)를 재학습시킨다(S400). 즉, 사용자에 따라, 그리고 이미지가 사용되는 분야에 따라 관심영역이 다르게 설정될 수 있으며, 서비스 장치는 이를 데이터베이스에 저장하고 선택된 최종 관심영역을 기준으로 관심영역 식별기(200)를 재학습시킴으로써, 이후 다른 이미지에 대한 관심영역을 설정하는 경우, 이를 적용할 수 있다.
본 발명의 실시예에 따른 관심영역 추정 서비스 장치, 사용자 장치 및 방법은 컴퓨터 프로그램으로 작성 가능하며, 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 해당 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터나 본 발명의 실시예에 따른 사용자 장치 등에 의하여 읽혀지고 실행될 수 있다.
정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다. 본 발명의 실시예에 따른 관심영역 추정 방법을 구현하는 컴퓨터 프로그램은 사용자 장치 등의 내장 메모리에 저장 및 설치될 수 있다. 또는, 본 발명의 실시예에 따른 관심영역 추정 서비스 방법을 구현하는 컴퓨터 프로그램을 저장 및 설치한 스마트 카드 등의 외장 메모리가 인터페이스를 통해 단말 등에 장착될 수도 있다.
전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은 사용자 장치로부터 관심영역의 정보를 수집, 취합하여 최종 관심영역을 선택하고, 이를 이용하여 관심영역 분류기를 재학습시킬 수 있다. 이는 설계자에 의해 일방적으로 설정되는 관심영역을 사용자에게 일괄 적용하는 기존 방법에 의해 효과적인 관심영역의 검색이 가능하다.
100: 이미지 101: 관심영역이 태깅된 이미지
200: 관심영역 식별기 300: 테스트 세트
400: 서비스 장치 410: 관심영역 선택 요청부
420: 데이터베이스 430: 관심영역 취합부
440: 링크 제공부 450: 통신부
500: 통신망 600: 사용자 장치
610: 통신부 620: 입력부
630: 제어부 640: 관심영역 선택부
650: 저장부 660: 표시부

Claims (9)

  1. 사용자 장치와 통신망을 통해 통신하는 통신부;
    복수의 서로 다른 객체를 학습한 관심영역 식별기로 컨텐츠에 대해 설정한 상기 컨텐츠 내 최초 관심영역의 수보다 많거나 적은 수로 상기 컨텐츠의 관심영역 지정을 상기 통신부를 통해 복수의 상기 사용자 장치로 요청하는 관심영역 선택 요청부;
    상기 복수의 사용자 장치 각각으로부터 상기 컨텐츠의 관심영역 정보를 수집한 후 취합 및 누적하여 많이 선택된 순으로 상위 몇 개를 최종 관심영역으로 선택하는 관심영역 취합부; 및
    상기 최종 관심영역에 대한 정보를 저장하며, 상기 최종 관심영역에 대한 정보를 상기 사용자 장치에 제공하는 데이터베이스;를 포함하며,
    상기 최종 관심영역을 기준으로 상기 관심영역 식별기를 재학습시켜 다른 컨텐츠에 대해 관심영역 설정시 상기 최종 관심영역이 적용되도록 하는 것을 특징으로 하는 관심영역 추정 서비스 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    선택된 상기 관심영역과 관련된 링크 정보를 상기 사용자 장치로 제시하는 링크 제공부;를 포함하는 것을 특징으로 하는 관심영역 추정 서비스 장치.
  5. 삭제
  6. 삭제
  7. 관심영역 추정 서비스 장치가, 복수의 서로 다른 객체를 학습한 관심영역 식별기로 컨텐츠에 대해 설정한 컨텐츠 내 최초 관심영역의 수보다 많거나 적은 수로 상기 컨텐츠의 관심영역 지정을 복수의 사용자 장치에 요청하는 단계;
    상기 관심영역 추정 서비스 장치가, 상기 복수의 사용자 장치 각각으로부터 상기 컨텐츠의 관심영역 정보를 수신하는 단계;
    상기 관심영역 추정 서비스 장치가, 상기 복수의 사용자 장치 각각으로부터 수신한 상기 컨텐츠의 관심영역 정보를 누적하고, 상기 누적된 관심영역 정보를 기초로 많이 선택된 순으로 상위 몇 개를 최종 관심영역으로 선택하여 상기 사용자 장치에 제공하는 단계; 및
    상기 관심영역 추정 서비스 장치가, 상기 최종 관심영역을 기준으로 상기 관심영역 식별기를 재학습시켜 다른 컨텐츠에 대해 관심영역 설정시 상기 최종 관심영역이 적용되도록 하는 단계;를 포함하는 것을 특징으로 하는 관심영역 추정 방법.
  8. 삭제
  9. 삭제
KR1020140031514A 2014-03-18 2014-03-18 관심영역 추정 서비스 장치, 사용자 장치 및 방법, 컴퓨터 프로그램이 기록된 기록매체 KR102232798B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140031514A KR102232798B1 (ko) 2014-03-18 2014-03-18 관심영역 추정 서비스 장치, 사용자 장치 및 방법, 컴퓨터 프로그램이 기록된 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140031514A KR102232798B1 (ko) 2014-03-18 2014-03-18 관심영역 추정 서비스 장치, 사용자 장치 및 방법, 컴퓨터 프로그램이 기록된 기록매체

Publications (2)

Publication Number Publication Date
KR20150108569A KR20150108569A (ko) 2015-09-30
KR102232798B1 true KR102232798B1 (ko) 2021-03-26

Family

ID=54246500

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140031514A KR102232798B1 (ko) 2014-03-18 2014-03-18 관심영역 추정 서비스 장치, 사용자 장치 및 방법, 컴퓨터 프로그램이 기록된 기록매체

Country Status (1)

Country Link
KR (1) KR102232798B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100571347B1 (ko) * 2002-10-15 2006-04-17 학교법인 한국정보통신학원 사용자 선호도 기반의 멀티미디어 컨텐츠 서비스 시스템과방법 및 그 기록 매체
US20100313141A1 (en) 2009-06-03 2010-12-09 Tianli Yu System and Method for Learning User Genres and Styles and for Matching Products to User Preferences

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006126147A2 (en) * 2005-05-27 2006-11-30 Koninklijke Philips Electronics N.V. Method and apparatus for estimating total interest of a group of users directing to a content
KR20110014029A (ko) * 2009-08-04 2011-02-10 에스케이 텔레콤주식회사 사용자 설정형 관심정보 수집 시스템 및 방법
KR20120043995A (ko) 2010-10-27 2012-05-07 건국대학교 산학협력단 복수개의 카메라를 이용한 관심영역 추출 시스템 및 그 방법
KR101564161B1 (ko) * 2014-02-05 2015-10-28 인하대학교 산학협력단 스마트 ｔｖ 환경에서 ｔｖ 콘텐츠에 상품 메타 정보를 합성하여 제공하는 시스템 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100571347B1 (ko) * 2002-10-15 2006-04-17 학교법인 한국정보통신학원 사용자 선호도 기반의 멀티미디어 컨텐츠 서비스 시스템과방법 및 그 기록 매체
US20100313141A1 (en) 2009-06-03 2010-12-09 Tianli Yu System and Method for Learning User Genres and Styles and for Matching Products to User Preferences

Also Published As

Publication number Publication date
KR20150108569A (ko) 2015-09-30

Similar Documents

Publication Publication Date Title
US10380170B2 (en) Integrated image searching system and service method thereof
US10366519B2 (en) Operating method for image and electronic device supporting the same
US20130051615A1 (en) Apparatus and method for providing applications along with augmented reality data
EP3005268B1 (en) Method and system for providing sign data and sign history
KR101611388B1 (ko) 태그를 활용한 검색 서비스 제공 방법 및 시스템
CN104303181B (zh) 相机导引的网络浏览
CN109947989B (zh) 用于处理视频的方法和装置
CN105389325A (zh) 内容搜索方法和实施内容搜索方法的电子装置
CN103218382A (zh) 信息处理装置和方法以及程序
US9514206B2 (en) System and method for providing content list through social network service
US11334758B2 (en) Method and apparatus of data processing using multiple types of non-linear combination processing
CN110084317B (zh) 用于识别图像的方法和装置
CN105843855A (zh) 搜题的方法、装置及智能设备
CN105825721A (zh) 拍照提问的方法、装置及智能设备
CN110046571B (zh) 用于识别年龄的方法和装置
JP2015141530A (ja) 情報処理装置、スコア算出方法、プログラム、およびシステム
EP3396566A1 (en) Method, information processing apparatus and program
KR102316846B1 (ko) 미디어 컨텐츠를 선별하는 방법 및 이를 구현하는 전자장치
JP6404529B1 (ja) コンピュータシステム、ａｐｉ提供方法及びプログラム
KR101976816B1 (ko) SaaS 어플리케이션 연동 서비스의 제공장치 및 그 제공방법
US20160055391A1 (en) Method and apparatus for extracting a region of interest
CN105897570A (zh) 推送方法及装置
CN110677448A (zh) 关联信息推送方法、装置和***
US20180033215A1 (en) Photographing system for long-distance running event and operation method thereof
KR102232798B1 (ko) 관심영역 추정 서비스 장치, 사용자 장치 및 방법, 컴퓨터 프로그램이 기록된 기록매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant