KR101715708B1 - 이미지 분석기반의 자동화된 관계형 태그 생성 시스템과 이를 이용한 서비스 제공방법 - Google Patents
이미지 분석기반의 자동화된 관계형 태그 생성 시스템과 이를 이용한 서비스 제공방법 Download PDFInfo
- Publication number
- KR101715708B1 KR101715708B1 KR1020150173190A KR20150173190A KR101715708B1 KR 101715708 B1 KR101715708 B1 KR 101715708B1 KR 1020150173190 A KR1020150173190 A KR 1020150173190A KR 20150173190 A KR20150173190 A KR 20150173190A KR 101715708 B1 KR101715708 B1 KR 101715708B1
- Authority
- KR
- South Korea
- Prior art keywords
- tag
- image
- image data
- metadata
- module
- Prior art date
Links
- 238000010191 image analysis Methods 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims description 34
- 238000004458 analytical method Methods 0.000 claims abstract description 58
- 238000004891 communication Methods 0.000 claims abstract description 16
- 230000008451 emotion Effects 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims description 6
- 230000001815 facial effect Effects 0.000 claims description 4
- 238000007405 data analysis Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000006855 networking Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000008909 emotion recognition Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- SNICXCGAKADSCV-UHFFFAOYSA-N nicotine Chemical compound CN1CCCC1C1=CC=CN=C1 SNICXCGAKADSCV-UHFFFAOYSA-N 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- G06F17/30268—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/067—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components
- G06K19/07—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips
- G06K19/0723—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips the record carrier comprising an arrangement for non-contact communication, e.g. wireless communication circuits on transponder cards, non-contact smart cards or RFIDs
-
- G06Q50/30—
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Networks & Wireless Communication (AREA)
- Operations Research (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 발명에 따른 이미지 분석기반의 자동화된 관계형 태그생성 시스템은, 통신망에 접속하는 기능을 수행하는 통신부; 애플리케이션 및 데이터를 저장하는 저장부; 디스플레이부; 사용자 입력부를 포함하는 단말기; 및 상기 단말기로부터 적어도 하나의 사람이 객체로 포함되는 이미지 데이터를 수신하는 이미지 수신모듈; 기설정된 이미지 분석 알고리즘을 적용하여 상기 이미지 데이터에 상기 객체로 포함된 사람의 수, 성별, 나이 또는 감정 중 적어도 어느 하나를 분석하여 관계 분석결과 정보를 생성하는 이미지 분석모듈; 상기 관계 분석결과 정보를 기반으로 상기 객체로 포함된 사람 또는 사람들에 관한 텍스트화된 관계형 태그를 생성하는 관계형 태그 생성모듈; 및 상기 단말기의 상기 통신부를 제어하여 상기 이미지 데이터 및 상기 이미지 데이터를 기반으로 생성된 상기 관계형 태그를 각각 게시 이미지 및 게시 이미지 태그로서 사회 관계망 서비스 서버에 업로드하는 업로드 모듈;을 포함하여 구성되고, 상기 단말기에서 실행 가능하도록 설치되는 태그생성 애플리케이션;를 포함하여 구성되는 것을 특징으로 한다.
Description
본 발명은 이미지 분석기반의 자동화된 관계형 태그 생성 시스템과 이를 이용한 서비스 제공방법에 관한 것으로 보다 상세하게는 게시 이미지에 포함된 인물의 분석을 통해 자동으로 그 사진에 적합한 설명을 함축하는 관계형 태그를 생성하는 시스템과 그 방법에 관한 것이다.
사회 관계망 서비스를 통해 많은 사용자들이 자신이 촬영한 사진을 공유하고 있다. 기존에는 서로 지인으로 등록된 사용자간 사진을 공유하는 방식에서 점차 관심사별 또는 주제별로 인덱싱(indexing)된 해시태그를 이용하여 관심사가 같은 사람끼리 지인등록 여부와 무관하게 사진을 공유하는 방식이 널리 사용되고 있다.
해시태그는 그 사진을 설명하는 짧은 텍스트로 구성되며, 동일한 해시태그가 적용된 사진들은 쉽게 검색이 되기 때문에 자신의 사진의 노출빈도 및 노출범위를 확대하여 사용자간의 협업, 취미공유에 도움이 되고 있다. 대표적인 사회 관계망 서비스인 Instragram, Facebook 등이 게시이미지와 그와 관련된 게시 이미지 태그를 등록할 수 있도록 하고 있다. 한편 활동적인 사용자일수록 자신의 사진의 노출범위, 노출빈도가 높아지도록 수십 개의 해시태그를 이용하는 경향성이 발견되고 있다. 하지만 종래의 경우 사용자가 매 사진게시시마다 직접 해당 해시태그를 타이핑하거나 선택하도록 하고 있어 사진등록에 소요되는 시간도 많으며, 동일한 주제에 대해 다른 단어를 사용함으로써 통일성 있는 게시 이미지의 분류가 어려워지는 문제가 발생하고 있다. 예컨대 미국의 경우 “#U.S.A”, “#USA”, “America”, “United States” 등 다양한 표현이 가능하기 때문에 해당 주제에 가능한 모든 표현들을 해시태그로 일일이 입력하는 것은 매우 어려운 일이 되고 있다.
한편, 최근 이미지 프로세싱 기술의 발전으로 인해 촬영된 사진에서 인물의 안면을 검출하고, 특이성 분석을 통해 사람의 이름을 추정하거나, 웃음도 검출, 성별검출, 나이검출 등의 기술이 개발된 바 있다. 또한 배경추출을 통해 해당 배경이 촬영된 지역을 추정하거나 배경에 찍인 간판의 글씨를 식별하는 기술이 개발되었다. 하지만 이러한 기술들은 해시태그와는 무관하게 범죄자 식별, 디지털 앨범 정리의 용도로만 제한적으로 사용되고 있다.
본 발명은 상기의 문제를 해결하기 위한 것으로, 본 발명에 따른 이미지 분석기반의 자동화된 관계형 태그생성 시스템 및 태그생성 방법에 따르면, 피사체인 인물에 대한 이미지 프로세싱을 통해 자동화된 방법으로 게시 이미지로부터 텍스트 기반의 관계형 태그를 추출하여 사회 관계망 서비스 서버에 업로드하여 다양한 사용자에 의해 업로드되는 사진들이 일정한 알고리즘에 의해 체계적으로 분류되도록 하여 빅데이터의 효율적 관리를 가능하게 하고, 사용자 편의성을 높이는 것을 목적으로 한다.
본 발명의 실시예에 따른 이미지 분석기반의 자동화된 관계형 태그생성 시스템 및 태그생성 방법에 따르면, 피사체인 배경에 대한 이미지 프로세싱을 통해 자동화된 방법으로 게시 이미지로부터 텍스트 기반의 배경관련 태그를 추출하여 사회 관계망 서비스에 업로드하여 다양한 사용자에 의해 업로드되는 사진들이 일정한 알고리즘에 의해 체계적으로 분류되도록 하여 빅데이터의 효율적 관리를 가능하게 하고, 사용자 편의성을 높이는 것을 다른 목적으로 한다.
본 발명의 실시예에 따른 이미지 분석기반의 자동화된 관계형 태그생성 시스템 및 태그생성 방법에 따르면, 피사체인 인물에 대한 관계형 태그 뿐 아니라 메타데이터에 기반한 메타데이터 태그, 사용자가 직접 입력한 초기설정 태그를 게시 이미지에 관련된 게시 이미지 태그로 업로드함으로써 사진과 관련된 다양한 태그를 자동으로 생성하는 것을 다른 목적으로 한다.
본 발명은 상기의 목적을 달성하기 위한 것으로, 본 발명에 따른 이미지 분석기반의 자동화된 관계형 태그생성 방법은, 단말기에서 실행되는 태그생성 애플리케이션이, 적어도 하나의 사람이 객체로 포함되는 이미지 데이터를 입력받는 제 1 단계; 상기 태그생성 애플리케이션이 기설정된 이미지 분석 알고리즘을 적용하여 상기 이미지 데이터에 상기 객체로 포함된 사람의 수, 성별, 나이 또는 감정 중 적어도 어느 하나를 분석하여 관계 분석결과 정보를 생성하는 제 2 단계; 상기 태그생성 애플리케이션이 상기 관계 분석결과 정보를 기반으로 상기 객체로 포함된 사람 또는 사람들에 관한 텍스트화된 관계형 태그를 생성하는 제 3 단계; 및 상기 태그생성 애플리케이션이 상기 이미지 데이터 및 상기 이미지 데이터를 기반으로 생성된 상기 관계형 태그를 각각 게시 이미지 및 상기 게시 이미지에 대한 게시 이미지 태그로서 사회 관계망 서비스 서버에 업로드하는 제 4 단계;를 포함하여 구성되는 것을 특징으로 한다.
본 발명의 실시예에 따른 이미지 분석기반의 자동화된 관계형 태그생성 방법에 있어서, 상기 제 1 단계는, 상기 태그생성 애플리케이션이 상기 단말기의 저장부에 저장된 이미지 데이터를 불러오거나, 상기 단말기의 카메라부에서 촬상된 이미지 데이터를 입력받는 것을 특진으로 한다.
본 발명의 실시예에 따른 이미지 분석기반의 자동화된 관계형 태그생성 방법에 있어서, 상기 제 3 단계는, 상기 제 2 단계의 관계 분석결과 정보가 사람의 수가 2명이고, 2명의 성별이 서로 다른 경우 상기 태그생성 애플리케이션은 “연인” 관련 관계형 태그를 생성하는 것을 특징으로 한다.
본 발명의 실시예에 따른 이미지 분석기반의 자동화된 관계형 태그생성 방법에 있어서, 상기 제 3 단계는, 상기 제 2 단계의 관계 분석결과 정보가 사람의 수가 3명 이상이고, 그 중 적어도 1명은 성인 남성이고, 그 중 적어도 1명은 성인 여성이고, 그 중 적어도 1명은 남성 또는 여성 아이인 경우 상기 태그생성 애플리케이션은 “가족”관련 관계형 태그를 생성하는 것을 특징으로 한다.
본 발명의 실시예에 따른 이미지 분석기반의 자동화된 관계형 태그생성 방법에 있어서, 상기 제 2 단계는, 상기 태그생성 애플리케이션이 기설정된 이미지 분석 알고리즘을 적용하여 상기 이미지 데이터의 배경에 포함된 인공물 또는 자연물을 분석하여 배경 분석결과 정보를 더 생성하고, 상기 제 3 단계는, 상기 태그생성 애플리케이션이 상기 배경 분석결과 정보를 기반으로 상기 배경에 대한 텍스트화된 배경관련 태그를 더 생성하고, 상기 제 4 단계는, 상기 태그생성 애플리케이션이 상기 배경관련 태그를 상기 게시 이미지에 대한 태그로서 상기 사회 관계망 서비스 서버에 업로드하는 것을 특징으로 한다.
본 발명의 실시예에 따른 이미지 분석기반의 자동화된 관계형 태그생성 방법에 있어서, 상기 제 2 단계는, 상기 태그생성 애플리케이션이 상기 이미지 데이터와 연관된 메타데이터에 포함된 촬영시간 정보, 촬영장소 정보, 이미지 속성 정보 중 적어도 하나를 분석하여 메타데이터 분석결과 정보를 더 생성하고, 상기 제 3 단계는, 상기 태그생성 애플리케이션이 상기 메타데이터 분석결과 정보를 기반으로 상기 메타데이터에 관한 텍스화된 메타데이터 태그를 더 생성하고, 상기 제 4 단계는, 상기 태그생성 애플리케이션이 상기 메타데이터 태그를 상기 게시 이미지에 대한 태그로서 상기 사회 관계망 서비스 서버에 업로드하는 것을 특징으로 한다.
본 발명의 실시예에 따른 이미지 분석기반의 자동화된 관계형 태그생성 방법에 있어서, 상기 제 1 단계는, 상기 태그생성 애플리케이션이 상기 이미지 데이터를 입력받기 전에 상기 사용자로부터 적어도 하나의 초기설정 태그를 입력받아 저장하고, 상기 제 4 단계는, 상기 태그생성 애플리케이션이 상기 초기설정 태그를 상기 게시 이미지 태그로서 상기 사회 관계망 서비스 서버에 업로드하는 것을 특징으로 한다.
본 발명의 실시예에 따른 이미지 분석기반의 자동화된 관계형 태그생성 방법에 있어서, 상기 제 4 단계는, 상기 태그를 업로드하기 전에 상기 태그생성 애플리케이션이 복수의 상기 태그를 사용자에게 추천하고, 상기 추천한 복수의 태그 중 상기 사용자가 선택한 태그만 선택적으로 상기 사회 관계망 서비스 서버에 업로드하는 것을 특징으로 한다.
본 발명에 따른 이미지 분석기반의 자동화된 관계형 태그생성 시스템은, 통신망에 접속하는 기능을 수행하는 통신부; 애플리케이션 및 데이터를 저장하는 저장부; 디스플레이부; 사용자 입력부를 포함하는 단말기; 및 상기 단말기로부터 적어도 하나의 사람이 객체로 포함되는 이미지 데이터를 수신하는 이미지 수신모듈; 기설정된 이미지 분석 알고리즘을 적용하여 상기 이미지 데이터에 상기 객체로 포함된 사람의 수, 성별, 나이 또는 감정 중 적어도 어느 하나를 분석하여 관계 분석결과 정보를 생성하는 이미지 분석모듈; 상기 관계 분석결과 정보를 기반으로 상기 객체로 포함된 사람 또는 사람들에 관한 텍스트화된 관계형 태그를 생성하는 관계형 태그 생성모듈; 및 상기 단말기의 상기 통신부를 제어하여 상기 이미지 데이터 및 상기 이미지 데이터를 기반으로 생성된 상기 관계형 태그를 각각 게시 이미지 및 게시 이미지 태그로서 사회 관계망 서비스 서버에 업로드하는 업로드 모듈;을 포함하여 구성되고, 상기 단말기에서 실행 가능하도록 설치되는 태그생성 애플리케이션;를 포함하여 구성되는 것을 특징으로 한다.
본 발명의 실시예에 따른 이미지 분석기반의 자동화된 관계형 태그생성 시스템에 있어서, 상기 단말기는, 카메라부를 더 포함하여 구성되고, 상기 이미지 수신모듈은, 상기 단말기의 상기 저장부에 저장된 이미지 데이터를 불러오거나, 상기 단말기의 상기 카메라부에서 촬상된 이미지 데이터를 입력받는 것을 특징으로 한다.
본 발명의 실시예에 따른 이미지 분석기반의 자동화된 관계형 태그생성 시스템에 있어서, 상기 관계형 태그 생성모듈은, 상기 이미지 분석모듈의 관계 분석결과 정보가 사람의 수가 2명이고, 2명의 성별이 서로 다른 경우, “연인” 관련 관계형 태그를 생성하는 것을 특징으로 한다.
본 발명의 실시예에 따른 이미지 분석기반의 자동화된 관계형 태그생성 시스템에 있어서, 상기 관계형 태그 생성모듈은, 상기 이미지 분석모듈의 관계 분석결과 정보가 사람의 수가 3명 이상이고, 그 중 적어도 1명은 성인 남성이고, 그 중 적어도 1명은 성인 여성이고, 그 중 적어도 1명은 남성 또는 여성 아이인 경우, “가족” 관련 관계형 태그를 생성하는 것을 특징으로 한다.
본 발명의 실시예에 따른 이미지 분석기반의 자동화된 관계형 태그생성 시스템에 있어서, 상기 이미지 분석모듈은, 기설정된 이미지 분석 알고리즘을 적용하여 상기 이미지 데이터의 배경에 포함된 인공물 또는 자연물을 분석하여 배경 분석결과 정보를 더 생성하고, 상기 태그생성 애플리케이션은, 상기 배경 분석결과 정보를 기반으로 상기 배경에 대한 텍스트화된 배경관련 태그를 생성하는 배경관련 태그 생성모듈를 더 포함하여 구성되고, 상기 업로드 모듈은 상기 배경관련 태그를 상기 게시 이미지 태그로서 상기 사회 관계망 서비스 서버에 업로드하는 것을 특징으로 한다.
본 발명의 실시예에 따른 이미지 분석기반의 자동화된 관계형 태그생성 시스템에 있어서, 상기 태그생성 애플리케이션은, 상기 이미지 데이터와 연관된 메타데이터에 포함된 촬영시간 정보, 촬영장소 정보, 이미지 속성 정보 중 적어도 하나를 분석하여 메타데이터 분석결과 정보를 생성하는 메타데이터 분석모듈; 및 상기 메타데이터 분석결과 정보를 기반으로 상기 메타데이터에 관한 텍스화된 메타데이터 태그를 생성하는 메타데이터 태그 생성모듈;을 더 포함하여 구성되고, 상기 업로드 모듈은, 상기 메타데이터 태그를 상기 게시 이미지 태그로서 상기 사회 관계망 서비스 서버에 업로드하는 것을 특징으로 한다.
본 발명의 실시예에 따른 이미지 분석기반의 자동화된 관계형 태그생성 시스템에 있어서, 상기 태그생성 애플리케이션은, 상기 이미지 데이터를 입력받기 전에 상기 사용자 입력부를 통해 사용자로부터 적어도 하나의 초기설정 태그를 입력받아 저장하는 초기설정 태그 저장모듈을 더 포함하고, 상기 업로드 모듈은, 상기 초기설정 태그를 상기 게시 이미지 태그로서 상기 사회 관계망 서비스 서버에 업로드하는 것을 특징으로 한다.
본 발명의 실시예에 따른 이미지 분석기반의 자동화된 관계형 태그생성 시스템에 있어서, 상기 태그를 업로드하기 전에 상기 디스플레이부를 제어하여 복수의 상기 태그를 사용자에게 추천하고, 상기 추천한 복수의 태그 중 상기 사용자가 상기 사용자 입력부를 통해 선택한 태그만 선택적으로 상기 사회 관계망 서비스 서버에 업로드하는 것을 특징으로 한다.
상기의 구성에 의한 본 발명에 따른 이미지 분석기반의 자동화된 관계형 태그생성 시스템 및 태그생성 방법에 따르면, 피사체인 인물에 대한 이미지 프로세싱을 통해 자동화된 방법으로 게시 이미지로부터 텍스트 기반의 관계형 태그를 추출하여 사회 관계망 서비스 서버에 업로드하여 다양한 사용자에 의해 업로드되는 사진들이 일정한 알고리즘에 의해 체계적으로 분류되도록 하여 빅데이터의 효율적 관리를 가능하게 하고, 사용자 편의성을 높이는 효과를 제공한다.
본 발명의 실시예에 따른 이미지 분석기반의 자동화된 관계형 태그생성 시스템 및 태그생성 방법에 따르면, 피사체인 배경에 대한 이미지 프로세싱을 통해 자동화된 방법으로 게시 이미지로부터 텍스트 기반의 배경관련 태그를 추출하여 사회 관계망 서비스에 업로드하여 다양한 사용자에 의해 업로드되는 사진들이 일정한 알고리즘에 의해 체계적으로 분류되도록 하여 빅데이터의 효율적 관리를 가능하게 하고, 사용자 편의성을 높이는 효과를 제공한다.
본 발명의 실시예에 따른 이미지 분석기반의 자동화된 관계형 태그생성 시스템 및 태그생성 방법에 따르면, 피사체인 인물에 대한 관계형 태그 뿐 아니라 메타데이터에 기반한 메타데이터 태그, 사용자가 직접 입력한 초기설정 태그를 게시 이미지에 관련된 게시 이미지 태그로 업로드함으로써 사진과 관련된 다양한 태그를 자동으로 생성하는 효과를 제공한다.
도 1은 본 발명의 실시예에 따른 이미지 분석기반의 자동화된 관계형 태그 생성 시스템과 사회 관계망 서비스 서버를 도시하는 구성도.
도 2는 본 발명의 실시예에 따른 이미지 분석기반의 자동화된 관계형 태그 생성 시스템을 도시하는 구성도.
도 3은 본 발명의 실시예에 따른 태그생성 애플리케이션을 도시하는 세부 구성도.
도 4는 본 발명의 실시예에 따른 태그생성 애플리케이션이 제공하는 이미지 데이터 수신화면의 구성 예시도.
도 5는 본 발명의 실시예에 따른 태그생성 애플리케이션이 제공하는 태그 추천 화면의 구성 예시도.
도 6은 사회 구성망 서비스 서버가 제공하는 게시물 화면의 구성 예시도.
도 2는 본 발명의 실시예에 따른 이미지 분석기반의 자동화된 관계형 태그 생성 시스템을 도시하는 구성도.
도 3은 본 발명의 실시예에 따른 태그생성 애플리케이션을 도시하는 세부 구성도.
도 4는 본 발명의 실시예에 따른 태그생성 애플리케이션이 제공하는 이미지 데이터 수신화면의 구성 예시도.
도 5는 본 발명의 실시예에 따른 태그생성 애플리케이션이 제공하는 태그 추천 화면의 구성 예시도.
도 6은 사회 구성망 서비스 서버가 제공하는 게시물 화면의 구성 예시도.
이하에서는 도면을 참조하여 본 발명에 따른 이미지 분석기반의 자동화된 관계형 태그 생성 시스템을 설명한다. 도 1 내지 도 3은 은 본 발명의 태그생성 시스템을 도시한다.
본 발명에 따른 태그생성 시스템은, 단말기(10) 및 태그생성 애플리케이션(100)을 포함하여 구성된다. 단말기(10)는 통신망에 접속가능한 장치로서 특별히 제한되지 않으며 예컨대 스마트폰, 셀룰러폰, PC, 태블릿 등의 정보기기일 수 있다. 태그생성 애플리케이션(100)은 앱 또는 프로그램으로서 사용자 단말기(10)에 설치되어 구동될 수 있다.
단말기(10)는 도 2에 도시된 바와 같이 통신부(15), 저장부(11), 디스플레이부(14), 및 사용자 입력부(13)를 포함하여 구성된다. 통신부(15)는 인터넷 등의 통신망에 접속하여 데이터 통신을 수행하며, 예컨대 WiFi 모뎀, CDMA 모뎀, LTE 모뎀, LAN 카드 등일 수 있다. 저장부(11)는 애플리케이션 및 이미지 데이터(data_img)를 포함하는 각종 데이터를 저장하는 기능을 수행하며, 예컨대 하드드라이버, 플래쉬 메모리, SSD, DRAM, 플래쉬 메모리 등의 저장장치일 수 있다. 디스플레이부(14)는 화면을 통해 이미지, 텍스트 등의 시각화된 정보를 사용자에게 제공하는 기능을 수행한다. 사용자 입력부(13)는 사용자의 입력을 전기적인 신호로 변환하여 단말기(10) 내부에서 처리될 수 있는 데이터의 형태로 제공하는 기능을 수행하며, 예컨대 키보드, 마우스, 터치 스크린 등일 수 있다. 실시예에 따라서는 촬상소자를 통해 피사체를 이미지 데이터(data_img)로 변환하는 카메라부를 더 포함할 수 있다.
태그생성 애플리케이션(100)은 도 3에 도시된 바와 같이 이미지 수신모듈(110), 이미지 분석모듈(121), 관계형 태그 생성모듈(131), 및 업로드 모듈(140)을 포함하여 구성된다. 이러한 모듈들은 발명의 설명을 위해 기능상으로 구분한 것이다.
이미지 수신모듈(110)은 단말기(10)로부터 적어도 하나의 사람이 객체로 포함되는 이미지 데이터(data_img)를 수신하는 기능을 수행한다. 이때 단말기(10)가 카메라부를 더 포함하는 실시예의 경우, 이미지 수신모듈(110)은 단말기(10)의 저장부(11)에 저장된 이미지 데이터(data_img)를 불러오거나, 단말기(10)의 카메라부에서 촬상된 이미지 데이터(data_img)를 입력받도록 구현할 수 있다. 이러한 이미지는 예컨대 JPEG, GIF, BMP 파일포맷 등의2차원 사진 이미지, 일러스트 이미지 등이거나 MP4, MOV, AVI 파일포맷 등의 2차원 동영상 이미지이거나, 인텔사의 Real Sense 등과 같이 3차원 입체영상 포맷의 정지영상 또는 동영상 이미지일 수 있다.
이미지 분석모듈(121)은, 기설정된 이미지 분석 알고리즘을 적용하여 이미지 데이터(data_img)에 객체로 포함된 사람의 수, 성별, 나이 또는 감정 중 적어도 어느 하나를 분석하여 관계 분석결과 정보(info_relation)를 생성하는 기능을 수행한다. 이러한 분석 알고리즘에 기반한 이미지 분석기법은 출원일 현재 안면인식, 성별인식, 연령인식, 감정인식이 가능한 단계이다. 이미지 분석모듈(121)은 상용화된 프로그램들을 사용하여 구현할 수 있으며, 예컨대 Face Recognition, Animetrics Face Recognition, Skybiometry Face Detection and Recognition, Face++, FaceMark, EmoVu by Eyeris, FaceRect, EyeFace, Kairos 등의 프로그램들은 각각 안면인식, 성별인식, 연령인식, 감정인식의 전부 또는 일부를 제공한다. 한편 이미지 분석모듈(121)은 반드시 단말기(10) 내부에 설치되어야 하는 것은 아니고 통신망을 통해 연결되는 외부의 이미지 분석 서버일 수 있다. 이러한 실시예에 따르면 모바일 단말기(10)의 한정된 연산 자원으로는 수행하기에 불가능하거나 너무 오랜 시간이 소요되는 복잡한 이미지 분석 알고리즘을 적용하여 보다 고도화된 자동화 태그를 생성할 수 있는 효과를 제공한다.
관계형 태그 생성모듈(131)은, 관계 분석결과 정보(info_relation)를 기반으로 객체로 포함된 사람 또는 사람들에 관한 텍스트화된 관계형 태그(tag_relation)를 생성하는 기능을 수행한다. 예컨대 이미지 분석모듈(121)의 관계 분석결과 정보(info_relation)가 이미지 데이터(data_img)에 촬영된 사람의 수가 2명이고, 2명의 성별이 서로 다른 경우, “#연인”, “#Lover”, “#애인”, “#사랑”, “#데이트”와 같은 “연인” 관련 관계형 태그(tag_relation)를 생성하도록 할 수 있다. 보다 바람직하게는, 인식된 안면간의 상대적 거리를 연산하는 방법으로, 임계수치 이하로 가까운 경우 “연인” 관계로 추정하도록 할 수 있다. 또 다른 예로는, 이미지 분석모듈(121)의 관계 분석결과 정보(info_relation)가 이미지 데이터(data_img)에 촬영된 사람의 수가 3명 이상이고, 그 중 적어도 1명은 성인 남성이고, 그 중 적어도 1명은 성인 여성이고, 그 중 적어도 1명은 남성 또는 여성 아이인 경우, “#행복”, “#사랑하는 가족” 등과 같은 “가족” 관련 관계형 태그(tag_relation)를 생성하도록 할 수 있다.
업로드 모듈(140)은, 단말기(10)의 통신부(15)를 제어하여 이미지 데이터(data_img) 및 이미지 데이터(data_img)를 기반으로 생성된 관계형 태그(tag_relation)를 각각 게시 이미지(post_img) 및 게시 이미지 태그(post_tag)로서 사회 관계망 서비스 서버(20)에 업로드하는 기능을 수행한다. 이때 관계형 태그(tag_relation) 및 게시 이미지 태그(post_tag)는 각각 하나 이상일 수 있다. 이러한 게시 이미지 태그(post_tag)는 사회 관계망 서비스에서 많이 사용되고, 해시마크(#)와 텍스트가 결합된 형태의 해시태그일 수 있다.
다양한 자동화된 태그를 사용자에게 제공하기 위해 실시예에 따라서는 배경 이미지 분석을 통해 생성된 태그, 사진의 메타데이터(data_meta) 분석을 통해 생성된 태그, 사용자가 기설정한 태그를 게시 이미지 태그(post_tag)로서 업로드하는 것이 보다 바람직하다. 이하에서는 각각의 실시예에 대해서 설명한다.
배경 이미지 분석을 통해 생성된 태그를 더 추출하는 실시예에 따르면, 이미지 분석모듈(121)은, 기설정된 이미지 분석 알고리즘을 적용하여 이미지 데이터(data_img)의 배경에 포함된 인공물 또는 자연물을 분석하여 배경 분석결과 정보(info_background)를 더 생성하도록 한다.
인공물은 예컨대 유명 건축물, 자동차, 간판 등일 수 있고, 자연물은 예컨대 산, 호수, 해변, 폭포 등과 같은 유명 명승지 또는 기상상태 등일 수 있다.
배경 분석결과 정보(info_background)는 예컨대 자동화된 방법으로 구글(Google)과 같은 검색엔진이 제공하는 이미지 검색을 통해 유사한 배경 이미지를 추출하여 그 위치정보를 파악하거나, ViBe 등의 배경 추출 알고리즘이 적용된 상용화된 프로그램을 모듈화하는 방법으로 구현할 수 있다. 인공물의 배경 분석결과 정보(info_background)의 예로는 유명 건축물의 경우 에펠타워, 자유의 여신상, 엠파이어 스테이트 빌딩 등과 같은 건축물에 대한 식별정보 또는 해당 건축물이 위치하는 위치정보일 수 있으며, 자동차의 경우 해당 자동차의 차종정보, 색상정보일 수 있으며, 간판의 경우 이미지 처리를 통해 인식된 간판의 텍스트 또는 간판의 텍스트나 간판의 형상으로 파악된 간판의 위치정보일 수 있다. 자연물의 배경 분석결과 정보(info_background)의 예로는 유명 명승지의 경우 나이아가라 폭포, 그랜드 캐니언, 에베레스트 산 등과 같은 명승지에 대한 식별정보 또는 해당 명승지가 위치하는 위치정보일 수 있으며, 기상상태의 경우 촬영당시의 하늘의 색상, 구름의 위치, 이미지의 밝기 등으로 유추되는 촬영시 기상정보, 시각정보 등일 수 있다.
그리고, 태그생성 애플리케이션(100)은, 배경 분석결과 정보(info_background)를 기반으로 배경에 대한 텍스트화된 배경관련 태그(tag_background)를 생성하는 배경관련 태그 생성모듈(132)를 더 포함하여 구성된다. 마지막으로, 업로드 모듈(140)은 배경관련 태그(tag_background)를 게시 이미지 태그(post_tag)로서 사회 관계망 서비스 서버(20)에 업로드하도록 구성한다.
예컨대 도 4와 같은 이미지 데이터(data_img)의 경우 배경으로 파리의 에펠탑이 포함되어 있다. 이 경우 “#에펠타워”, “#프랑스”, “#파리”, “#I love Paris”와 같은 배경관련 태그(tag_background)를 생성하여 이를 게시 이미지 태그(post_tag)로 업로드할 수 있다.
사진의 메타데이터(data_meta) 분석을 통해 생성된 태그를 더 추출하는 실시예에 따르면, 태그생성 애플리케이션(100)은, 메타데이터 분석모듈(122) 및 메타데이터(data_meta) 생성모듈을 더 포함하여 구성된다. 메타데이터 분석모듈(122)은 이미지 데이터(data_img)와 연관된 메타데이터(data_meta)에 포함된 촬영시간 정보, GPS 좌표 등의 촬영장소 정보, 필터, 초점, 해상도 등의 이미지 속성 정보 중 적어도 하나를 분석하여 메타데이터 분석결과 정보(info_metadata)를 생성하는 기능을 수행한다. 메타데이터 태그 생성모듈(133)은, 메타데이터 분석결과 정보(info_metadata)를 기반으로 메타데이터(data_meta)에 관한 텍스화된 메타데이터 태그(tag_metadata)를 생성하는 기능을 수행한다. 이 경우 업로드 모듈(140)은 메타데이터 태그(tag_metadata)를 게시 이미지 태그(post_tag)로서 사회 관계망 서비스 서버(20)에 업로드한다.
예컨대 메타데이터(data_meta)에 촬영시간이 아침시간이고, 촬영장소가 “스퀘어 광장”인 경우 “#아침”, “#스퀘어 광장”, “#스퀘어 광장의 아침”, “#눈내린 스퀘어 광장”(메타데이터(data_meta)에 날씨정보가 포함되지 않더라도, 촬영시간 정보 및 촬영장소 정보를 통해 해당 장소, 해당 일시의 날씨정보를 날씨조회 서비스 서버에 조회하는 방법으로 기상상태를 메타데이터 태그(tag_metadata)로 생성할 수 있다)의 메타데이터 태그(tag_metadata)를 생성할 수 있다.
이러한 실시예에 따르면, 관계형 태그(tag_relation) 뿐만 아니라 메타데이터(data_meta)를 기반으로 한 메타데이터 태그(tag_metadata)를 자동화된 방법으로 생성하여 사회 관계망 서비스에 포스팅되는 사용자의 게시 이미지(post_img)를 적합하고 규격화된 게시 이미지 태그(post_tag)로 기술함으로써 규격화된 관리를 통해 해당 게시 이미지(post_img)의 노출빈도를 상승시키고, 사용자의 게시 이미지(post_img) 관리의 용이성을 향상스킬 수 있는 효과를 제공한다.
사용자는 자신만의 태그 또는 자신이 선호하는 그룹의 태그와 같이 사진이 아닌 게시사와 관련된 태그를 초기설정 태그(tag_default)를 매 게시 이미지(post_img)마다 부가하고자 하는 경우가 있다. 이하에서는 사용자가 지정한 초기설정 태그(tag_default)를 자동화된 방법으로 포스팅하는 실시예를 설명한다. 이러한 실시예에 따르면, 태그생성 애플리케이션(100)은, 이미지 데이터(data_img)를 입력받기 전에 사용자 입력부(13)를 통해 사용자로부터 적어도 하나의 초기설정 태그(tag_default)를 입력받아 저장하는 초기설정 태그 저장모듈(134)을 더 포함하고, 업로드 모듈(140)은, 초기설정 태그(tag_default)를 게시 이미지 태그(post_tag)로서 사회 관계망 서비스 서버(20)에 업로드하도록 구성할 수 있다. 이러한 실시예에 따르면 사용자는 자신이 선호하는 태그를 초기설정 태그(tag_default)로서 미리 입력하고, 태그생성 애플리케이션(100)은 매번 초기설정 태그(tag_default)를 게시를 사용자가 입력하는 불편함 없이 자동으로 수행하는 효과를 제공한다.
전술한 바와 같이 태그 생성모듈들(131,132,133) 또는 초기설정 태그 저장모듈(134)에 의해 생성 또는 입력되는 관계형 태그(tag_relation), 배경관련 태그(tag_background), 메타데이터 태그(tag_metadata), 초기설정 태그(tag_default) 등은 하나의 태그만 형성되는 것이 아니고, 복수의 태그들을 제공하는 것이 바람직하다. 이 경우 태그생성 애플리케이션(100)은 디스플레이부(14)를 통해 도 6에 도시된 바와 같이 복수의 태그들을 태그 추천창(211)을 통해 사용자에게 추천하고, 사용자가 기입력한 초기설정 태그(tag_default)들을 초기설정 태그(tag_default)창(212)을 통해 사용자에게 디스플레이하여 사용자가 선택한 태그를 선별적으로 사회 관계망 서비스 서버(20)에 게시 이미지 태그(post_tag)로서 제공하는 것이 바람직하다. 더욱 바람직하게는 태그 추천과정에서 사용자가 새로운 태그를 추가할 수 있도록 하는 기능을 더 포함하거나, 해당 시간대에서 사회 관계망 서비스 서버(20)에서 인기있는 태그들을 더 추천하는 기능을 포함할 수 있다.
이러한 실시예를 구현하기 위해, 업로드 모듈(140)은 태그를 업로드하기 전에 디스플레이부(14)를 제어하여 복수의 태그를 사용자에게 추천하고, 추천한 복수의 태그 중 사용자가 사용자 입력부(13)를 통해 선택한 태그만 선택적으로 사회 관계망 서비스 서버(20)에 업로드하도록 구성할 수 있다.
도 4는 이미지 입력단계에서 사용자에게 제공되는 화면 구성예, 도 5는 태그 추천단계에서 사용자에게 제공되는 화면 구성예, 도 6은 사회 관계망 서비스 서버(20)에서 사용자에게 제공되는 게시 이미지(post_img) 및 게시 이미지 태그(post_tag)의 화면 구성예를 각각 도시한다.
본 발명의 실시예에 따른 관계형 태그(tag_relation)생성 방법은, 먼저 단말기(10)에서 실행되는 태그생성 애플리케이션(100)이, 적어도 하나의 사람이 객체로 포함되는 이미지 데이터(data_img)를 입력받는 제 1 단계(s10)를 수행한다.
이 때 제 1 단계(s10)는, 태그생성 애플리케이션(100)이 단말기(10)의 저장부(11)에 저장된 이미지 데이터(data_img)를 불러오거나, 단말기(10)의 카메라부에서 촬상된 이미지 데이터(data_img)를 입력받도록 구현할 수 있다. 도 4에 도시된 바와 같이 단말기(10)의 카메라부로 촬영된 영상 또는 단말기(10)의 저장부(11)에서 업로드 할 이미지 데이터(data_img)(201)를 선택하고, 하단의 사회 관계망 서비스 서버(20) 업로드 아이콘(202)을 사용자 입력기를 통해 사용자가 선택하는 방법으로 구현할 수 있다.
다음으로, 태그생성 애플리케이션(100)이 기설정된 이미지 분석 알고리즘을 적용하여 이미지 데이터(data_img)에 객체로 포함된 사람의 수, 성별, 나이 또는 감정 중 적어도 어느 하나를 분석하여 관계 분석결과 정보(info_relation)를 생성하는 제 2 단계(s20)를 수행한다. 이러한 이미지 분석단계는 안면인식, 성별인식, 연령인식, 인물간 거리인식 등을 수행하는 프로그램에 의해 수행될 수 있다.
다음으로, 상기 태그생성 애플리케이션(100)이 상기 관계 분석결과 정보(info_relation)를 기반으로 상기 객체로 포함된 사람 또는 사람들에 관한 텍스트화된 관계형 태그(tag_relation)를 생성하는 제 3 단계(s30)를 수행한다. 이러한 제 3 단계(s30)는 다양한 분석결과와 그에 적합한 태그를 매칭시킨 매칭테이블을 단말기(10) 또는 외부의 서버에 저장하고 관계 분석결과 정보(info_relation)에 적합한 관계형 태그(tag_relation)를 불러오는 방법으로 구현할 수 있다.
예컨대 제 2 단계(s20)의 관계 분석결과 정보(info_relation)가 사람의 수가 2명이고, 2명의 성별이 서로 다른 경우 태그생성 애플리케이션(100)은 “연인” 관련 관계형 태그(tag_relation)를 생성하거나, 제 2 단계(s20)의 관계 분석결과 정보(info_relation)가 사람의 수가 3명 이상이고, 그 중 적어도 1명은 성인 남성이고, 그 중 적어도 1명은 성인 여성이고, 그 중 적어도 1명은 남성 또는 여성 아이인 경우 상기 태그생성 애플리케이션(100)은 “가족”관련 관계형 태그(tag_relation)를 생성하도록 구현할 수 있다.
마지막으로, 태그생성 애플리케이션(100)이 이미지 데이터(data_img) 및 이미지 데이터(data_img)를 기반으로 생성된 관계형 태그(tag_relation)를 각각 게시 이미지(post_img) 및 게시 이미지(post_img)에 대한 게시 이미지 태그(post_tag)로서 사회 관계망 서비스 서버(20)에 업로드하는 제 4 단계(s40) 수행한다.
이하에서는 배경이미지 분석을 통해 배경관련 태그(tag_background)를 더 생성하는 실시예를 설명한다. 이 경우 제 2 단계(s20)에서는, 태그생성 애플리케이션(100)이 기설정된 이미지 분석 알고리즘을 적용하여 이미지 데이터(data_img)의 배경에 포함된 인공물 또는 자연물을 분석하여 배경 분석결과 정보(info_background)를 더 생성하고, 제 3 단계(s30)에서는, 태그생성 애플리케이션(100)이 배경 분석결과 정보(info_background)를 기반으로 배경에 대한 텍스트화된 배경관련 태그(tag_background)를 더 생성하고, 제 4 단계(s40)에서는, 태그생성 애플리케이션(100)이 배경관련 태그(tag_background)를 게시 이미지(post_img)에 대한 태그로서 사회 관계망 서비스 서버(20)에 업로드하도록 구현한다.
이하에서는, 이미지 데이터(data_img)와 연관된 메타데이터(data_meta) 분석을 통해 메타데이터 태그(tag_metadata)를 더 생성하는 실시예를 설명한다. 이 경우 제 2 단계(s20)는, 태그생성 애플리케이션(100)이 이미지 데이터(data_img)와 연관된 메타데이터(data_meta)에 포함된 촬영시간 정보, 촬영장소 정보, 이미지 속성 정보 중 적어도 하나를 분석하여 메타데이터 분석결과 정보(info_metadata)를 더 생성한다.
다음으로, 제 3 단계(s30)에서는, 태그생성 애플리케이션(100)이 메타데이터 분석결과 정보(info_metadata)를 기반으로 메타데이터(data_meta)에 관한 텍스화된 메타데이터 태그(tag_metadata)를 더 생성한다.
마지막으로, 제 4 단계(s40)에서는, 태그생성 애플리케이션(100)이 메타데이터 태그(tag_metadata)를 게시 이미지(post_img)에 대한 태그로서 사회 관계망 서비스 서버(20)에 업로드한다.
이하에서는, 사용자가 설정한 초기설정 태그(tag_default)를 업로드하는 실시예를 설명한다. 이 경우 제 1 단계(s10)에서는, 태그생성 애플리케이션(100)이 이미지 데이터(data_img)를 입력받기 전에 사용자로부터 적어도 하나의 초기설정 태그(tag_default)를 입력받아 저장한다.
그리고, 제 4 단계(s40)에서는, 태그생성 애플리케이션(100)이 초기설정 태그(tag_default)를 게시 이미지 태그(post_tag)로서 사회 관계망 서비스 서버(20)에 업로드한다.
이하에서는, 복수의 태그를 추천하고 사용자가 선택한 게시 이미지 태그(post_tag)를 선별적으로 업로드하는 실시예를 설명한다. 이 경우 제 4 단계(s40)에서는, 태그를 업로드하기 전에 태그생성 애플리케이션(100)이 복수의 태그를 사용자에게 추천하고, 추천한 복수의 태그 중 사용자가 선택한 태그만 선택적으로 사회 관계망 서비스 서버(20)에 업로드하도록 구성한다. 즉 태그생성 애플리케이션(100)이 업로드하기 전에 도 5와 같은 태그추천 화면의 태그추천창(211)을 디스플레이부(14)를 통해 사용자에게 제공하고, 사용자가 기입력한 초기설정 태그(tag_default)를 초기설정 태그(tag_default)창(212)으로 디스플레이부(14)를 통해 사용자에게 제공한다.
도 5의 실시예에 있어서, 관계형 태그 생성모듈(131)은 이미지 분석을 통해 이미지 데이터(data_img)에 한 명의 성인남자가 인식된 것을 기반으로 “#man”, “#selfie”의 관계형 태그(tag_relation)를 생성하여 사용자에게 추천한다. 배경관련 태그(tag_background) 생성부는 이미지 분석을 통해 이미지 데이터(data_img) 배경의 에펠탑, 구름이 존재하는 것을 인식하여 “#eiffel”, “#clouds”의 배경관련 태그(tag_background)를 생성하고, 유명 명승지인 에펠탑을 배경으로 성인남성이 촬영되었다는 것을 기반으로 여행중에 찍은 사진으로 추정하여 “#trip”의 관계 및 배경관련 태그(tag_background)를 생성한다. 메타데이터 태그 생성모듈(133)은 사진의 위치정보를 기반으로 프랑스, 파리임을 인식하여 “#french”, “#paris”의 메타데이터 태그(tag_metadata)를 생성한다. 초기설정 태그 저장모듈(134)은 사용자로부터 “#fashion”, “#style”, “#stylish”, “#instagood”, “#ottd”, “#photooftheday”, “#guy”를 초기설정 태그(tag_default)로 미리 입력받아 저장하고 이를 초기설정 태그(tag_default)창(212)을 통해 사용자에게 자동으로 제공한다. 한편 해당 업로드 시각의 인기 태그를 파악하여 제공하는 실시예에 따르면, “#follow”, “#instacool”, “#instadaily”, “#awesome”, “#picoftheday”와 같은 인기태그를 더 추천함으로써 게시 이미지(post_img)가 보다 빈번하게 노출되도록 구성할 수 있다. 이때 추가적으로 태그생성 애플리케이션(100)은 광고주가 설정한 상품 또는 서비스 광고관련 해시태그인 “#MakeItHappy”, “#BestBuds”를 더 제공함으로써 사용자 또는 태그생성 서비스 주체가 광고주로부터 소정의 인센티브를 받도록 구현할 수도 있다.
도 5의 실시예의 경우 사용자는, 자신이 기입력한 초기설정 태그(tag_default) 전부인 “#fashion”, “#style”, “#stylish”, “#instagood”, “#ottd”, “#photooftheday”, “#guy”를 선택하고, 관계형 태그(tag_relation)인 “#selfie”, 배경관련 태그(tag_background)인 “#eiffel”, 메타데이터 태그(tag_metadata)인 “#french”, “#paris”, 광고관련 태그인 “#MakeItHappy”, “#BestBuds”, 실시간 인기 태그인 “#follow”, “#awesome”을 선택하였다. 이에 따라 도 6에 도시된 바와 같이 태그생성 애플리케이션(100)은 사용자가 선택한 이미지 데이터(data_img)를 게시 이미지(post_img)(221)로서 업로드하고, 사용자가 선택한 “#fashion”, “#style”, “#stylish”, “#instagood”, “#ottd”, “#photooftheday”, “#guy”, “#selfie”, “#eiffel”, “#french”, “#paris”, “#MakeItHappy”, “#BestBuds”, “#follow”, “#awesome”를 게시 이미지 태그(post_tag)(222)로서 사회 관계망 서비스 서버(20)에 업로드하게 된다.
본 발명인 이미지 분석기반의 자동화된 관계형 태그 생성 시스템과 이를 이용한 서비스 제공방법은 전술한 실시예에 국한하지 않고, 본 발명의 기술 사상이 허용되는 범위 내에서 다양하게 변형하여 실시할 수 있다.
10 : 단말기 11 : 저장부
12 : 카메라부 13 : 사용자 입력부
14 : 디스플레이부 15 : 통신부
100 : 태그생성 애플리케이션 110 : 이미지 수신모듈
121 : 이미지 분석모듈 122 : 메타데이터 분석모듈
131 : 관계형 태그 생성모듈 132 : 배경관련 태그 생성모듈
133 : 메타데이터 태그 생성모듈 134 : 초기설정 태그 저장모듈
140 : 업로드 모듈 20 : 사회 관계망 서비스 서버
12 : 카메라부 13 : 사용자 입력부
14 : 디스플레이부 15 : 통신부
100 : 태그생성 애플리케이션 110 : 이미지 수신모듈
121 : 이미지 분석모듈 122 : 메타데이터 분석모듈
131 : 관계형 태그 생성모듈 132 : 배경관련 태그 생성모듈
133 : 메타데이터 태그 생성모듈 134 : 초기설정 태그 저장모듈
140 : 업로드 모듈 20 : 사회 관계망 서비스 서버
Claims (16)
- 이미지 분석기반의 자동화된 관계형 태그생성 방법에 있어서,
단말기에서 실행되는 태그생성 애플리케이션이 상기 단말기의 저장부에 저장된 이미지 데이터를 불러오거나 상기 단말기의 카메라부에서 촬상된 이미지 데이터를 입력받되, 상기 이미지 데이터에는 적어도 하나의 사람이 객체로 포함되는 제 1 단계;
상기 태그생성 애플리케이션이 기설정된 이미지 분석 알고리즘을 적용하여 상기 이미지 데이터에 상기 객체로 포함된 사람의 수, 성별, 나이 또는 감정 중 적어도 어느 하나를 분석하여 관계 분석결과 정보를 생성하고, 상기 태그생성 애플리케이션이 기설정된 이미지 분석 알고리즘을 적용하여 상기 이미지 데이터의 배경에 포함된 인공물 또는 자연물을 분석하여 배경 분석결과 정보를 더 생성하며, 상기 태그생성 애플리케이션이 상기 이미지 데이터와 연관된 메타데이터에 포함된 촬영시간 정보, 촬영장소 정보, 이미지 속성 정보 중 적어도 하나를 분석하여 메타데이터 분석결과 정보를 더 생성하는 제 2 단계;
상기 태그생성 애플리케이션이 상기 관계 분석결과 정보를 기반으로 상기 객체로 포함된 사람 또는 사람들에 관한 텍스트화된 관계형 태그를 생성하고, 상기 태그생성 애플리케이션이 상기 배경 분석결과 정보를 기반으로 상기 배경에 대한 텍스트화된 배경관련 태그를 더 생성하며, 상기 태그생성 애플리케이션이 상기 메타데이터 분석결과 정보를 기반으로 상기 메타데이터에 관한 텍스화된 메타데이터 태그를 더 생성하는 제 3단계; 및
상기 태그생성 애플리케이션이 상기 이미지 데이터 및 상기 이미지 데이터를 기반으로 생성된 상기 관계형 태그를 각각 게시 이미지 및 상기 게시 이미지에 대한 게시 이미지 태그로서 사회 관계망 서비스 서버에 업로드하고, 상기 태그생성 애플리케이션이 상기 배경관련 태그를 상기 게시 이미지에 대한 태그로서 상기 사회 관계망 서비스 서버에 업로드하며, 상기 태그생성 애플리케이션이 상기 메타데이터 태그를 상기 게시 이미지에 대한 태그로서 상기 사회 관계망 서비스 서버에 업로드하는 제 4 단계;를 포함하여 구성되되,
상기 제 1 단계는 상기 태그생성 애플리케이션이 상기 이미지 데이터를 입력받기 전에 사용자로부터 적어도 하나의 초기설정 태그를 입력받아 저장하고, 상기 제 4 단계는 상기 태그생성 애플리케이션이 상기 초기설정 태그를 상기 게시 이미지 태그로서 상기 사회 관계망 서비스 서버에 업로드하며,
상기 제 3 단계에서는, 상기 제 2 단계의 관계 분석결과 정보가 사람의 수가 2명이고, 2명의 성별이 서로 다르며 인식된 안면간의 상대적 거리를 연산하는 방법으로 임계수치 이하로 가까운 경우 상기 태그생성 애플리케이션은 “연인” 관련 관계형 태그를 생성하고, 상기 제 2 단계의 관계 분석결과 정보가 사람의 수가 3명 이상이고 그 중 적어도 1명은 성인 남성이고 그 중 적어도 1명은 성인 여성이고 그 중 적어도 1명은 남성 또는 여성 아이인 경우 상기 태그생성 애플리케이션은 “가족”관련 관계형 태그를 생성하며,
상기 제 2단계에서는, 상기 이미지 데이터의 배경에 포함된 인공물 또는 자연물에 대한 정보와, 상기 이미지 데이터와 연관된 메타데이터에 포함된 GPS좌표를 이용하여 상기 이미지 데이터 상의 촬영위치를 파악하고,
상기 제 3단계에서는, 상기 촬영위치와 관련된 태그를 생성하며,
상기 제 4단계에서는, 상기 태그를 업로드하기 전에 상기 태그생성 애플리케이션이 복수의 상기 태그를 사용자에게 추천하고, 상기 추천한 복수의 태그 중 상기 사용자가 선택한 태그만 선택적으로 상기 사회 관계망 서비스 서버에 업로드하며, 해당 업로드 시간대에서 상기 사회 관계망 서비스 서버에서 인기있는 태그를 파악하여 더 추천하는 것을 특징으로 하는 이미지 분석기반의 자동화된 관계형 태그생성 방법.
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 통신망에 접속하는 기능을 수행하는 통신부; 애플리케이션 및 데이터를 저장하는 저장부; 디스플레이부; 사용자 입력부; 및 카메라부를 포함하는 단말기와;
상기 단말기에서 실행 가능하도록 설치되는 태그생성 애플리케이션;를 포함하여 구성되며,
상기 태그생성 애플리케이션은,
상기 단말기의 상기 저장부에 저장된 이미지 데이터를 불러오거나 상기 단말기의 상기 카메라부에서 촬상된 이미지 데이터를 입력받아, 상기 단말기로부터 적어도 하나의 사람이 객체로 포함되는 이미지 데이터를 수신하는 이미지 수신모듈;
기설정된 이미지 분석 알고리즘을 적용하여 상기 이미지 데이터에 상기 객체로 포함된 사람의 수, 성별, 나이 또는 감정 중 적어도 어느 하나를 분석하여 관계 분석결과 정보를 생성하고, 기설정된 이미지 분석 알고리즘을 적용하여 상기 이미지 데이터의 배경에 포함된 인공물 또는 자연물을 분석하여 배경 분석결과 정보를 더 생성하는 이미지 분석모듈;
상기 이미지 데이터와 연관된 메타데이터에 포함된 촬영시간 정보, 촬영장소 정보, 이미지 속성 정보 중 적어도 하나를 분석하여 메타데이터 분석결과 정보를 생성하는 메타데이터 분석모듈;
상기 관계 분석결과 정보를 기반으로 상기 객체로 포함된 사람 또는 사람들에 관한 텍스트화된 관계형 태그를 생성하는 관계형 태그 생성모듈;
상기 배경 분석결과 정보를 기반으로 상기 배경에 대한 텍스트화된 배경관련 태그를 생성하는 배경관련 태그 생성모듈;
상기 메타데이터 분석결과 정보를 기반으로 상기 메타데이터에 관한 텍스화된 메타데이터 태그를 생성하는 메타데이터 태그 생성모듈; 및
상기 단말기의 상기 통신부를 제어하여 상기 이미지 데이터 및 상기 이미지 데이터를 기반으로 생성된 상기 관계형 태그를 각각 게시 이미지 및 게시 이미지 태그로서 사회 관계망 서비스 서버에 업로드하고, 상기 배경관련 태그를 상기 게시 이미지 태그로서 상기 사회 관계망 서비스 서버에 업로드하며, 상기 메타데이터 태그를 상기 게시 이미지 태그로서 상기 사회 관계망 서비스 서버에 업로드하는 업로드 모듈;을 포함하여 구성되되,
상기 태그생성 애플리케이션은, 상기 이미지 데이터를 입력받기 전에 상기 사용자 입력부를 통해 사용자로부터 적어도 하나의 초기설정 태그를 입력받아 저장하는 초기설정 태그 저장모듈을 더 포함하고, 상기 업로드 모듈은, 상기 초기설정 태그를 상기 게시 이미지 태그로서 상기 사회 관계망 서비스 서버에 업로드하며,
상기 관계형 태그 생성모듈은, 상기 이미지 분석모듈의 관계 분석결과 정보가 사람의 수가 2명이고 2명의 성별이 서로 다르며 인식된 안면간의 상대적 거리를 연산하는 방법으로 임계수치 이하로 가까운 경우 “연인” 관련 관계형 태그를 생성하며, 상기 이미지 분석모듈의 관계 분석결과 정보가 사람의 수가 3명 이상이고 그 중 적어도 1명은 성인 남성이고 그 중 적어도 1명은 성인 여성이고 그 중 적어도 1명은 남성 또는 여성 아이인 경우 “가족” 관련 관계형 태그를 생성하며,
상기 이미지 분석모듈과 상기 메타데이터 분석모듈은, 상기 이미지 데이터의 배경에 포함된 인공물 또는 자연물에 대한 정보와, 상기 이미지 데이터와 연관된 메타데이터에 포함된 GPS좌표를 이용하여 상기 이미지 데이터 상의 촬영위치를 파악하고,
상기 배경관련 태그 생성모듈과 상기 메타데이터 태그 생성모듈은, 상기 촬영위치와 관련된 태그를 생성하며,
상기 업로드 모듈은, 상기 태그를 업로드하기 전에 상기 디스플레이부를 제어하여 복수의 상기 태그를 사용자에게 추천하고, 상기 추천한 복수의 태그 중 상기 사용자가 선택한 태그만 선택적으로 상기 사회 관계망 서비스 서버에 업로드하며, 해당 업로드 시간대에서 상기 사회 관계망 서비스 서버에서 인기있는 태그를 파악하여 더 추천하는 것을 특징으로 하는 이미지 분석기반의 자동화된 관계형 태그생성 시스템. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150173190A KR101715708B1 (ko) | 2015-12-07 | 2015-12-07 | 이미지 분석기반의 자동화된 관계형 태그 생성 시스템과 이를 이용한 서비스 제공방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150173190A KR101715708B1 (ko) | 2015-12-07 | 2015-12-07 | 이미지 분석기반의 자동화된 관계형 태그 생성 시스템과 이를 이용한 서비스 제공방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101715708B1 true KR101715708B1 (ko) | 2017-03-14 |
Family
ID=58459878
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150173190A KR101715708B1 (ko) | 2015-12-07 | 2015-12-07 | 이미지 분석기반의 자동화된 관계형 태그 생성 시스템과 이를 이용한 서비스 제공방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101715708B1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101898648B1 (ko) | 2018-01-02 | 2018-09-13 | 단국대학교 산학협력단 | 영상 등장 인물들 사이의 상호 작용 그룹 탐지를 위한 장치 및 방법 |
| KR20190061666A (ko) | 2017-11-28 | 2019-06-05 | (주)타이거컴퍼니 | 명시적 사용자 등록 방법 |
| KR102310714B1 (ko) * | 2021-04-27 | 2021-10-08 | 주식회사 레코더즈 | 사용자 맞춤형 프로필 이미지 생성방법, 장치 및 컴퓨터프로그램 |
| KR20240026788A (ko) | 2022-08-22 | 2024-02-29 | 주식회사 스톡폴리오 | 영상 컨텐츠 키워드 태깅 시스템 및 이를 이용한 영상 컨텐츠 키워드 태깅 방법 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110138850A (ko) * | 2010-06-22 | 2011-12-28 | 한국과학기술원 | 사용자 적응형 이미지 관리 시스템 및 사용자 적응형 이미지 관리 방법 |
| KR20120011138A (ko) * | 2010-07-28 | 2012-02-07 | 엘지전자 주식회사 | 이동 단말기 및 그를 이용한 증강 현실 정보의 편집 방법 |
| WO2014060843A2 (en) | 2012-10-16 | 2014-04-24 | Ocean Images UK Ltd. | Interactive photography system and method employing facial recognition |
| US8798401B1 (en) | 2012-06-15 | 2014-08-05 | Shutterfly, Inc. | Image sharing with facial recognition models |
| KR20150029313A (ko) * | 2013-09-10 | 2015-03-18 | 부산대학교 산학협력단 | 사진 기반 인물 친밀도 구축 장치 및 방법, 그리고 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 |
-
2015
- 2015-12-07 KR KR1020150173190A patent/KR101715708B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110138850A (ko) * | 2010-06-22 | 2011-12-28 | 한국과학기술원 | 사용자 적응형 이미지 관리 시스템 및 사용자 적응형 이미지 관리 방법 |
| KR20120011138A (ko) * | 2010-07-28 | 2012-02-07 | 엘지전자 주식회사 | 이동 단말기 및 그를 이용한 증강 현실 정보의 편집 방법 |
| US8798401B1 (en) | 2012-06-15 | 2014-08-05 | Shutterfly, Inc. | Image sharing with facial recognition models |
| WO2014060843A2 (en) | 2012-10-16 | 2014-04-24 | Ocean Images UK Ltd. | Interactive photography system and method employing facial recognition |
| KR20150029313A (ko) * | 2013-09-10 | 2015-03-18 | 부산대학교 산학협력단 | 사진 기반 인물 친밀도 구축 장치 및 방법, 그리고 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190061666A (ko) | 2017-11-28 | 2019-06-05 | (주)타이거컴퍼니 | 명시적 사용자 등록 방법 |
| KR101898648B1 (ko) | 2018-01-02 | 2018-09-13 | 단국대학교 산학협력단 | 영상 등장 인물들 사이의 상호 작용 그룹 탐지를 위한 장치 및 방법 |
| KR102310714B1 (ko) * | 2021-04-27 | 2021-10-08 | 주식회사 레코더즈 | 사용자 맞춤형 프로필 이미지 생성방법, 장치 및 컴퓨터프로그램 |
| KR20240026788A (ko) | 2022-08-22 | 2024-02-29 | 주식회사 스톡폴리오 | 영상 컨텐츠 키워드 태깅 시스템 및 이를 이용한 영상 컨텐츠 키워드 태깅 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7091504B2 (ja) | 顔認識アプリケーションにおけるフォールスポジティブの最小化のための方法および装置 | |
| KR101782590B1 (ko) | 이미지 분석기반의 관계형 태그생성 및 추천 방법 | |
| US10303948B2 (en) | Photo processing method and apparatus | |
| EP2851811B1 (en) | Method and device for achieving augmented reality application | |
| US10593085B2 (en) | Combining faces from source images with target images based on search queries | |
| US9436682B2 (en) | Techniques for machine language translation of text from an image based on non-textual context information from the image | |
| US9727565B2 (en) | Photo and video search | |
| US20160154826A1 (en) | Computer-vision-assisted location accuracy augmentation | |
| CN106294798A (zh) | 一种基于缩略图的图像分享方法和终端 | |
| KR20130102549A (ko) | 셔터 클릭을 통한 자동 미디어 공유 | |
| KR101715708B1 (ko) | 이미지 분석기반의 자동화된 관계형 태그 생성 시스템과 이를 이용한 서비스 제공방법 | |
| KR101832680B1 (ko) | 참석자들에 의한 이벤트 검색 | |
| JP6947085B2 (ja) | 電子機器及びその制御方法 | |
| CN104063444A (zh) | 缩略图的生成方法和装置 | |
| US20240143654A1 (en) | Systems and methods for determining whether to modify content | |
| US9875512B2 (en) | Photo and video sharing | |
| WO2014043738A1 (en) | Facial recognition with social networking aiding | |
| CN103353879B (zh) | 图像处理方法及设备 | |
| CN108446737B (zh) | 用于识别对象的方法和装置 | |
| CN106777030B (zh) | 信息推送方法及装置 | |
| US20230067628A1 (en) | Systems and methods for automatically detecting and ameliorating bias in social multimedia | |
| CN106778449B (zh) | 动态影像的物件辨识方法及自动截取目标图像的互动式影片建立方法 | |
| KR20200009888A (ko) | 다중 메타데이터 분석기반의 관계형 개인화 태그생성 및 추천 방법 | |
| Runge et al. | Keep an eye on your photos: automatic image tagging on mobile devices | |
| JP5834950B2 (ja) | 写真系列の類似度算出装置、方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20191224 Year of fee payment: 4 |