KR20200009888A - 다중 메타데이터 분석기반의 관계형 개인화 태그생성 및 추천 방법 - Google Patents

Abstract

본 발명은 이미지 분석기반의 관계형 태그생성 및 추천 방법에 관한 것으로 보다 상세하게는 이미지 데이터에 포 함된 인물의 분석을 통해 자동으로 그 사진에 적합한 설명을 함축하는 관계형 태그를 추천하고, 이를 생성하여 SNS서버에 업로드하는 방법에 관한 것이다.

Description

다중 메타데이터 분석기반의 관계형 태그생성 및 그 방법{Method for Providing and Recommending Related Tag Using Image Analysis}

본 발명은 다중 메타데이타 분석기반의 관계형 태그생성 및 추천 방법에 관한 것으로 보다 상세하게는 이미지, 사운드, 텍스트 데이터에 포함된 정보의 분석을 통해 자동으로 그 사진에 적합한 설명을 함축하는 개인별 관계형 태그를 생성 및 추천하는 방법에 관한 것이다.

사회 관계망 서비스를 통해 많은 사용자들이 자신이 촬영한 사진을 공유하고 있다. 기존에는 서로 지인으로 등록된 사용자간 사진을 공유하는 방식에서 점차 관심사별 또는 주제별로 인덱싱(indexing)된 해시태그를 이용하여 관심사가 같은 사람끼리 지인등록 여부와 무관하게 사진을 공유하는 방식이 널리 사용되고 있다.

해시태그는 그 사진을 설명하는 짧은 텍스트로 구성되며, 동일한 해시태그가 적용된 사진들은 쉽게 검색이 되기 때문에 자신의 사진의 노출빈도 및 노출범위를 확대하여 사용자간의 협업, 취미공유에 도움이 되고 있다. 대표적인 사회 관계망 서비스인 Instragram, Facebook 등이 게시이미지와 그와 관련된 게시 이미지 태그를 등록할 수 있도록 하고 있다. 한편 활동적인 사용자일수록 자신의 사진의 노출범위, 노출빈도가 높아지도록 수십 개의 해시태그를 이용하는 경향성이 발견되고 있다. 하지만 종래의 경우 사용자가 매 사진게시시마다 직접 해당 해시 태그를 타이핑하거나 선택하도록 하고 있어 사진등록에 소요되는 시간도 많으며, 동일한 주제에 대해 다른 단어 를 사용함으로써 통일성 있는 게시 이미지의 분류가 어려워지는 문제가 발생하고 있다. 예컨대 미국의 경우 " #U.S.A", "#USA", "America", "United States" 등 다양한 표현이 가능하기 때문에 해당 주제에 가능한 모든 표현들을 해시태그로 일일이 입력하는 것은 매우 어려운 일이 되고 있다.

한편, 최근 이미지 프로세싱 기술의 발전으로 인해 촬영된 사진에서 인물의 안면을 검출하고, 특이성 분석을 통해 사람의 이름을 추정하거나, 웃음도 검출, 성별검출, 나이검출 등의 기술이 개발된 바 있다. 또한 배경추출 을 통해 해당 배경이 촬영된 지역을 추정하거나 배경에 찍인 간판의 글씨를 식별하는 기술이 개발되었다. 하지만 이러한 기술들은 해시태그와는 무관하게 범죄자 식별, 디지털 앨범 정리의 용도로만 제한적으로 사용되고 있다.

본 발명은 상기의 문제를 해결하기 위한 것으로, 이미지 데이터로부터 텍스트 기반의 관계형 태그를 추천받아 추출하여 사회 관계망 서비스 서버에 업로드하여 다양한 사용자에 의해 업로드되는 사진들이 일정한 알고리즘에 의해 체계적으로 분류되도록 하여 빅데이터의 효율적 관리를 가능하게 하고, 사용자 편의성을 높이는 것을 목적으로 한다.

분석기반의 자동화된 관계형 태그생성 방법에 있어서, 단말기에서 실행되는 태그생성 애플리케이션이, 적어도 하나의 사람이 객체로 포함되는 이미지 데이터를 상기 단말기의 저장부로부터 불러오거나 상기 단말기의 카메라 부에서 촬상되어 입력받는 제 1 단계; 상기 태그생성 애플리케이션이 기설정된 이미지 분석 알고리즘을 적용하 여 상기 이미지 데이터에 상기 객체로 포함된 사람의 수, 성별, 나이 또는 감정 중 적어도 어느 하나를 분석하 여 관계 분석결과 정보를 생성하는 제 2 단계; 상기 태그생성 애플리케이션이 상기 관계 분석결과 정보를 기반 으로 상기 객체로 포함된 사람 또는 사람들에 관한 텍스트화된 관계형 태그를 생성하는 제 3 단계; 상기 태그생 성 애플리케이션에서 생성된 상기 관계형 태그를 네트워크를 통해 태그관리서버로 전송하는 제 4 단계; 상기 태 그관리서버로 전송된 상기 관계형 태그를 수집 및 저장하고, 이를 기설정된 태그분석 알고리즘을 이용하여 태그 데이터베이스로 구축하는 제 5 단계; 신규로 생성되어 상기 태그관리서버에 저장되는 관계형 태그를 상기 태그 데이터베이스와 비교 분석하여, 관련성 있는 태그를 사용자에게 추천하는 제 6 단계; 추천된 태그 중 사용자가 선택한 태그와 상기 이미지 데이터를 사회 관계망 서비스 서버에 업로드하는 제 7 단계;를 포함하여 이루어진 것을 특징으로 한다.

상기의 구성에 의한 본 발명에 따른 이미지 분석기반의 관계형 태그생성 및 추천 방법에 따르면, 이미지 데이터 로부터 텍스트 기반의 관계형 태그를 추천받아 이를 이미지 데이터와 함께 사회 관계망 서비스 서버에 업로드하 여 다양한 사용자에 의해 업로드되는 사진들이 일정한 알고리즘에 의해 체계적으로 분류되도록 하여 빅데이터의 효율적 관리를 가능하게 하고, 사용자 편의성을 높일 수 있다

도 1은 본 발명의 실시예에 따른 이미지 분석기반의 관계형 태그생성 및 추천 방법을 설명하기 위한 각 구성의 구성도,
도 2는 본 발명의 실시예에 따른 이미지 분석기반의 관계형 태그생성 및 추천 방법에서 단말기의 세부 구성도, 도 3은 본 발명의 실시예에 따른 태그생성 애플리케이션을 도시하는 세부 구성도,
도 4는 본 발명의 실시예에 따른 이미지 분석기반의 관계형 태그생성 및 추천 방법의 개략적인 순서도

이하에서는 도면을 참조하여 본 발명에 따른 이미지 분석기반의 관계형 태그생성 및 추천 방법을 설명한다. 본 발명에 따른 태그생성 시스템은, 단말기(10) 및 태그생성 애플리케이션(100)을 포함하여 구성된다. 단말기 (10)는 통신망에 접속 가능한 장치로서 특별히 제한되지 않으며 예컨대 스마트폰, 셀룰러폰, PC, 태블릿 등의 정 보기기일 수 있다. 태그생성 애플리케이션(100)은 앱 또는 프로그램으로서 사용자 단말기(10)에 설치되어 구동 될 수 있다.

단말기(10)는 도 2에 도시된 바와 같이 태그생성 애플리케이션(100), 통신부, 저장부, 디스플레이부, 및 사용자 입력부를 포함하여 구성된다. 통신부는 인터넷 등의 통신망에 접속하여 데이터 통신을 수행하며, 예컨대 WiFi 모뎀, CDMA 모뎀, LTE 모뎀, LAN 카드 등일 수 있다. 저장부는 애플리케이션 및 이미지 데이터(data_img)를 포 함하는 각종 데이터를 저장하는 기능을 수행하며, 예컨대 하드드라이버, 플래쉬 메모리, SSD, DRAM, 플래쉬 메 모리 등의 저장장치일 수 있다. 디스플레이부는 화면을 통해 이미지, 텍스트 등의 시각화된 정보를 사용자에게 제공하는 기능을 수행한다. 사용자 입력부는 사용자의 입력을 전기적인 신호로 변환하여 단말기(10) 내부에서 처리될 수 있는 데이터의 형태로 제공하는 기능을 수행하며, 예컨대 키보드, 마우스, 터치 스크린 등일 수 있다. 실시예에 따라서는 촬상소자를 통해 피사체를 이미지 데이터(data_img)로 변환하는 카메라부를 더 포함할 수 있다. 태그생성 애플리케이션(100)은 도 3에 도시된 바와 같이 이미지 수신모듈(110), 이미지 분석모듈(121), 관계형 태그 생성모듈(131), 추천모듈(140) 및 업로드 모듈(150)을 포함하여 구성된다. 이러한 모듈들은 발명의 설명을 위해 기능상으로 구분한 것이다. 이미지 수신모듈(110)은 단말기(10)로부터 적어도 하나의 사람이 객체로 포함되는 이미지 데이터(data_img)를 수신하는 기능을 수행한다. 이때 단말기(10)가 카메라부를 더 포함하는 실시예의 경우, 이미지 수신모듈(110)은 단말기(10)의 저장부에 저장된 이미지 데이터(data_img)를 불러오거나, 단말기(10)의 카메라부에서 촬상된 이미 지 데이터(data_img)를 입력받도록 구현할 수 있다. 이러한 이미지는 예컨대 JPEG, GIF, BMP 파일포맷 등의2차 원 사진 이미지, 일러스트 이미지 등이거나 MP4, MOV, AVI 파일포맷 등의 2차원 동영상 이미지이거나, 인텔사의 Real Sense 등과 같이 3차원 입체영상 포맷의 정지영상 또는 동영상 이미지일 수 있다.

이미지 분석모듈(121)은, 기설정된 이미지 분석 알고리즘을 적용하여 이미지 데이터(data_img)에 객체로 포함된 사람의 수, 성별, 나이 또는 감정 중 적어도 어느 하나를 분석하여 관계 분석결과 정보(info_relation)를 생성 하는 기능을 수행한다. 이러한 분석 알고리즘에 기반한 이미지 분석기법은 출원일 현재 안면인식, 성별인식, 연 령인식, 감정인식이 가능한 단계이다. 이미지 분석모듈(121)은 상용화된 프로그램들을 사용하여 구현할 수 있으 며, 예컨대 Face Recognition, Animetrics Face Recognition, Skybiometry Face Detection and Recognition, Face++, FaceMark, EmoVu by Eyeris, FaceRect, EyeFace, Kairos 등의 프로그램들은 각각 안면인식, 성별인식, 연령인식, 감정인식의 전부 또는 일부를 제공한다. 한편 이미지 분석모듈(121)은 반드시 단말기(10) 내부에 설 치되어야 하는 것은 아니고 통신망을 통해 연결되는 외부의 이미지 분석 서버일 수 있다. 이러한 실시예에 따르 면 모바일 단말기(10)의 한정된 연산 자원으로는 수행하기에 불가능하거나 너무 오랜 시간이 소요되는 복잡한 이미지 분석 알고리즘을 적용하여 보다 고도화된 자동화 태그를 생성할 수 있는 효과를 제공한다. 관계형 태그 생성모듈(131)은, 관계 분석결과 정보(info_relation)를 기반으로 객체로 포함된 사람 또는 사람들 에 관한 텍스트화된 관계형 태그(tag_relation)를 생성하는 기능을 수행한다. 예컨대 이미지 분석모듈(121)의 관계 분석결과 정보(info_relation)가 이미지 데이터(data_img)에 촬영된 사람의 수가 2명이고, 2명의 성별이 서로 다른 경우, "#연인", "#Lover", "#애인", "#사랑", "#데이트"와 같은 "연인" 관련 관계형 태그(tag_relation)를 생성하도록 할 수 있다. 보다 바람직하게는, 인식된 안면간의 상대적 거리를 연산하는 방법 으로, 임계수치 이하로 가까운 경우 "연인" 관계로 추정하도록 할 수 있다.

또한, 이미지 분석모듈(121)의 관계 분석결과 정보(info_relation)가 이미지 데이터(data_img)에 촬영된 사람의 수가 2명 이상이고, 성별이 서로 같은 경우, "#친구", "#friend", "#우정", "#절친", "#선후배"와 같 은 "친구"와 관련 관계형 태그(tag_relation)를 생성하도록 할 수 있다. 보다 바람직하게는, 인식된 안면간의 상대적 거리를 연산하는 방법으로, 임계수치 이하로 가까운 경우 "친구" 관계로 추정하도록 할 수 있다.

또 다른 예로는, 이미지 분석모듈(121)의 관계 분석결과 정보(info_relation)가 이미지 데이터(data_img)에 촬 영된 사람의 수가 3명 이상이고, 그 중 적어도 1명은 성인 남성이고, 그 중 적어도 1명은 성인 여성이고, 그 중 적어도 1명은 남성 또는 여성 아이인 경우, "#행복", "#사랑하는 가족" 등과 같은 "가족" 관련 관계형 태 그(tag_relation)를 생성하도록 할 수 있다.

10 : 단말기 20 : 태그관리서버
30 : 사회 관계망 서비스(SNS) 서버
100 : 태그생성 애플리케이션 110 : 이미지 수신모듈

Claims (1)

1. 이미지 분석기반의 자동화된 관계형 태그생성 및 추천 방법에 있어서,
   단말기에서 실행되는 태그생성 애플리케이션이, 적어도 하나의 사람이 객체로 포함되는 이미지 데이터를 상기 단말기의 저장부로부터 불러오거나 상기 단말기의 카메라부에서 촬상되어 입력받는 제 1 단계;
   상기 태그생성 애플리케이션이 기설정된 이미지 분석 알고리즘을 적용하여 상기 이미지 데이터에 상기 객체로 포함된 사람의 수, 성별, 나이 또는 감정 중 적어도 어느 하나를 분석하여 관계 분석결과 정보를 생성하는 제 2 단계;
   상기 태그생성 애플리케이션이 상기 관계 분석결과 정보를 기반으로 상기 객체로 포함된 사람 또는 사람들에 관 한 텍스트화된 관계형 태그를 생성하는 제 3 단계;
   상기 태그생성 애플리케이션에서 생성된 상기 관계형 태그를 네트워크를 통해 태그관리서버로 전송하는 제 4 단 계;
   상기 태그관리서버로 전송된 상기 관계형 태그를 수집 및 저장하고, 이를 기설정된 태그분석 알고리즘을 이용하 여 태그데이터베이스로 구축하는 제 5 단계;
   신규로 생성되어 상기 태그관리서버에 저장되는 관계형 태그를 상기 태그데이터베이스와 비교 분석하여, 관련성 있는 태그를 사용자에게 추천하는 제 6 단계;
   추천된 태그 중 사용자가 선택한 태그와 상기 이미지 데이터를 사회 관계망 서비스 서버에 업로드하는 제 7 단 계;를 포함하여 이루어지되,
   상기 제 3 단계는,
   상기 제 2 단계의 관계 분석결과 정보가 사람의 수가 2명이고, 2명의 성별이 서로 다른 경우 상기 태그생성 애 플리케이션은 "연인" 관련 관계형 태그를 생성하고,
   상기 제 2 단계의 관계 분석결과 정보가 사람의 수가 2명 이상이고, 성별이 서로 같은 경우 상기 태그생성 애플 리케이션은 "친구" 관련 관계형 태그를 생성하고,
   상기 제 2 단계의 관계 분석결과 정보가 사람의 수가 3명 이상이고, 그 중 적어도 1명은 성인 남성이고, 그 중 적어도 1명은 성인 여성이고, 그 중 적어도 1명은 남성 또는 여성 아이인 경우 상기 태그생성 애플리케이션은 "가족"관련 관계형 태그를 생성하는 것을 특징으로 하는 이미지 분석기반의 관계형 태그생성 및 추천 방법

Images