KR20200009888A - 다중 메타데이터 분석기반의 관계형 개인화 태그생성 및 추천 방법 - Google Patents
다중 메타데이터 분석기반의 관계형 개인화 태그생성 및 추천 방법 Download PDFInfo
- Publication number
- KR20200009888A KR20200009888A KR1020180084903A KR20180084903A KR20200009888A KR 20200009888 A KR20200009888 A KR 20200009888A KR 1020180084903 A KR1020180084903 A KR 1020180084903A KR 20180084903 A KR20180084903 A KR 20180084903A KR 20200009888 A KR20200009888 A KR 20200009888A
- Authority
- KR
- South Korea
- Prior art keywords
- tag
- relational
- image
- image data
- generation application
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 발명은 이미지 분석기반의 관계형 태그생성 및 추천 방법에 관한 것으로 보다 상세하게는 이미지 데이터에 포 함된 인물의 분석을 통해 자동으로 그 사진에 적합한 설명을 함축하는 관계형 태그를 추천하고, 이를 생성하여 SNS서버에 업로드하는 방법에 관한 것이다.
Description
본 발명은 다중 메타데이타 분석기반의 관계형 태그생성 및 추천 방법에 관한 것으로 보다 상세하게는 이미지, 사운드, 텍스트 데이터에 포함된 정보의 분석을 통해 자동으로 그 사진에 적합한 설명을 함축하는 개인별 관계형 태그를 생성 및 추천하는 방법에 관한 것이다.
사회 관계망 서비스를 통해 많은 사용자들이 자신이 촬영한 사진을 공유하고 있다. 기존에는 서로 지인으로 등록된 사용자간 사진을 공유하는 방식에서 점차 관심사별 또는 주제별로 인덱싱(indexing)된 해시태그를 이용하여 관심사가 같은 사람끼리 지인등록 여부와 무관하게 사진을 공유하는 방식이 널리 사용되고 있다.
해시태그는 그 사진을 설명하는 짧은 텍스트로 구성되며, 동일한 해시태그가 적용된 사진들은 쉽게 검색이 되기 때문에 자신의 사진의 노출빈도 및 노출범위를 확대하여 사용자간의 협업, 취미공유에 도움이 되고 있다. 대표적인 사회 관계망 서비스인 Instragram, Facebook 등이 게시이미지와 그와 관련된 게시 이미지 태그를 등록할 수 있도록 하고 있다. 한편 활동적인 사용자일수록 자신의 사진의 노출범위, 노출빈도가 높아지도록 수십 개의 해시태그를 이용하는 경향성이 발견되고 있다. 하지만 종래의 경우 사용자가 매 사진게시시마다 직접 해당 해시 태그를 타이핑하거나 선택하도록 하고 있어 사진등록에 소요되는 시간도 많으며, 동일한 주제에 대해 다른 단어 를 사용함으로써 통일성 있는 게시 이미지의 분류가 어려워지는 문제가 발생하고 있다. 예컨대 미국의 경우 " #U.S.A", "#USA", "America", "United States" 등 다양한 표현이 가능하기 때문에 해당 주제에 가능한 모든 표현들을 해시태그로 일일이 입력하는 것은 매우 어려운 일이 되고 있다.
한편, 최근 이미지 프로세싱 기술의 발전으로 인해 촬영된 사진에서 인물의 안면을 검출하고, 특이성 분석을 통해 사람의 이름을 추정하거나, 웃음도 검출, 성별검출, 나이검출 등의 기술이 개발된 바 있다. 또한 배경추출 을 통해 해당 배경이 촬영된 지역을 추정하거나 배경에 찍인 간판의 글씨를 식별하는 기술이 개발되었다. 하지만 이러한 기술들은 해시태그와는 무관하게 범죄자 식별, 디지털 앨범 정리의 용도로만 제한적으로 사용되고 있다.
본 발명은 상기의 문제를 해결하기 위한 것으로, 이미지 데이터로부터 텍스트 기반의 관계형 태그를 추천받아 추출하여 사회 관계망 서비스 서버에 업로드하여 다양한 사용자에 의해 업로드되는 사진들이 일정한 알고리즘에 의해 체계적으로 분류되도록 하여 빅데이터의 효율적 관리를 가능하게 하고, 사용자 편의성을 높이는 것을 목적으로 한다.
분석기반의 자동화된 관계형 태그생성 방법에 있어서, 단말기에서 실행되는 태그생성 애플리케이션이, 적어도 하나의 사람이 객체로 포함되는 이미지 데이터를 상기 단말기의 저장부로부터 불러오거나 상기 단말기의 카메라 부에서 촬상되어 입력받는 제 1 단계; 상기 태그생성 애플리케이션이 기설정된 이미지 분석 알고리즘을 적용하 여 상기 이미지 데이터에 상기 객체로 포함된 사람의 수, 성별, 나이 또는 감정 중 적어도 어느 하나를 분석하 여 관계 분석결과 정보를 생성하는 제 2 단계; 상기 태그생성 애플리케이션이 상기 관계 분석결과 정보를 기반 으로 상기 객체로 포함된 사람 또는 사람들에 관한 텍스트화된 관계형 태그를 생성하는 제 3 단계; 상기 태그생 성 애플리케이션에서 생성된 상기 관계형 태그를 네트워크를 통해 태그관리서버로 전송하는 제 4 단계; 상기 태 그관리서버로 전송된 상기 관계형 태그를 수집 및 저장하고, 이를 기설정된 태그분석 알고리즘을 이용하여 태그 데이터베이스로 구축하는 제 5 단계; 신규로 생성되어 상기 태그관리서버에 저장되는 관계형 태그를 상기 태그 데이터베이스와 비교 분석하여, 관련성 있는 태그를 사용자에게 추천하는 제 6 단계; 추천된 태그 중 사용자가 선택한 태그와 상기 이미지 데이터를 사회 관계망 서비스 서버에 업로드하는 제 7 단계;를 포함하여 이루어진 것을 특징으로 한다.
상기의 구성에 의한 본 발명에 따른 이미지 분석기반의 관계형 태그생성 및 추천 방법에 따르면, 이미지 데이터 로부터 텍스트 기반의 관계형 태그를 추천받아 이를 이미지 데이터와 함께 사회 관계망 서비스 서버에 업로드하 여 다양한 사용자에 의해 업로드되는 사진들이 일정한 알고리즘에 의해 체계적으로 분류되도록 하여 빅데이터의 효율적 관리를 가능하게 하고, 사용자 편의성을 높일 수 있다
도 1은 본 발명의 실시예에 따른 이미지 분석기반의 관계형 태그생성 및 추천 방법을 설명하기 위한 각 구성의 구성도,
도 2는 본 발명의 실시예에 따른 이미지 분석기반의 관계형 태그생성 및 추천 방법에서 단말기의 세부 구성도, 도 3은 본 발명의 실시예에 따른 태그생성 애플리케이션을 도시하는 세부 구성도,
도 4는 본 발명의 실시예에 따른 이미지 분석기반의 관계형 태그생성 및 추천 방법의 개략적인 순서도
도 2는 본 발명의 실시예에 따른 이미지 분석기반의 관계형 태그생성 및 추천 방법에서 단말기의 세부 구성도, 도 3은 본 발명의 실시예에 따른 태그생성 애플리케이션을 도시하는 세부 구성도,
도 4는 본 발명의 실시예에 따른 이미지 분석기반의 관계형 태그생성 및 추천 방법의 개략적인 순서도
이하에서는 도면을 참조하여 본 발명에 따른 이미지 분석기반의 관계형 태그생성 및 추천 방법을 설명한다. 본 발명에 따른 태그생성 시스템은, 단말기(10) 및 태그생성 애플리케이션(100)을 포함하여 구성된다. 단말기 (10)는 통신망에 접속 가능한 장치로서 특별히 제한되지 않으며 예컨대 스마트폰, 셀룰러폰, PC, 태블릿 등의 정 보기기일 수 있다. 태그생성 애플리케이션(100)은 앱 또는 프로그램으로서 사용자 단말기(10)에 설치되어 구동 될 수 있다.
단말기(10)는 도 2에 도시된 바와 같이 태그생성 애플리케이션(100), 통신부, 저장부, 디스플레이부, 및 사용자 입력부를 포함하여 구성된다. 통신부는 인터넷 등의 통신망에 접속하여 데이터 통신을 수행하며, 예컨대 WiFi 모뎀, CDMA 모뎀, LTE 모뎀, LAN 카드 등일 수 있다. 저장부는 애플리케이션 및 이미지 데이터(data_img)를 포 함하는 각종 데이터를 저장하는 기능을 수행하며, 예컨대 하드드라이버, 플래쉬 메모리, SSD, DRAM, 플래쉬 메 모리 등의 저장장치일 수 있다. 디스플레이부는 화면을 통해 이미지, 텍스트 등의 시각화된 정보를 사용자에게 제공하는 기능을 수행한다. 사용자 입력부는 사용자의 입력을 전기적인 신호로 변환하여 단말기(10) 내부에서 처리될 수 있는 데이터의 형태로 제공하는 기능을 수행하며, 예컨대 키보드, 마우스, 터치 스크린 등일 수 있다. 실시예에 따라서는 촬상소자를 통해 피사체를 이미지 데이터(data_img)로 변환하는 카메라부를 더 포함할 수 있다. 태그생성 애플리케이션(100)은 도 3에 도시된 바와 같이 이미지 수신모듈(110), 이미지 분석모듈(121), 관계형 태그 생성모듈(131), 추천모듈(140) 및 업로드 모듈(150)을 포함하여 구성된다. 이러한 모듈들은 발명의 설명을 위해 기능상으로 구분한 것이다. 이미지 수신모듈(110)은 단말기(10)로부터 적어도 하나의 사람이 객체로 포함되는 이미지 데이터(data_img)를 수신하는 기능을 수행한다. 이때 단말기(10)가 카메라부를 더 포함하는 실시예의 경우, 이미지 수신모듈(110)은 단말기(10)의 저장부에 저장된 이미지 데이터(data_img)를 불러오거나, 단말기(10)의 카메라부에서 촬상된 이미 지 데이터(data_img)를 입력받도록 구현할 수 있다. 이러한 이미지는 예컨대 JPEG, GIF, BMP 파일포맷 등의2차 원 사진 이미지, 일러스트 이미지 등이거나 MP4, MOV, AVI 파일포맷 등의 2차원 동영상 이미지이거나, 인텔사의 Real Sense 등과 같이 3차원 입체영상 포맷의 정지영상 또는 동영상 이미지일 수 있다.
이미지 분석모듈(121)은, 기설정된 이미지 분석 알고리즘을 적용하여 이미지 데이터(data_img)에 객체로 포함된 사람의 수, 성별, 나이 또는 감정 중 적어도 어느 하나를 분석하여 관계 분석결과 정보(info_relation)를 생성 하는 기능을 수행한다. 이러한 분석 알고리즘에 기반한 이미지 분석기법은 출원일 현재 안면인식, 성별인식, 연 령인식, 감정인식이 가능한 단계이다. 이미지 분석모듈(121)은 상용화된 프로그램들을 사용하여 구현할 수 있으 며, 예컨대 Face Recognition, Animetrics Face Recognition, Skybiometry Face Detection and Recognition, Face++, FaceMark, EmoVu by Eyeris, FaceRect, EyeFace, Kairos 등의 프로그램들은 각각 안면인식, 성별인식, 연령인식, 감정인식의 전부 또는 일부를 제공한다. 한편 이미지 분석모듈(121)은 반드시 단말기(10) 내부에 설 치되어야 하는 것은 아니고 통신망을 통해 연결되는 외부의 이미지 분석 서버일 수 있다. 이러한 실시예에 따르 면 모바일 단말기(10)의 한정된 연산 자원으로는 수행하기에 불가능하거나 너무 오랜 시간이 소요되는 복잡한 이미지 분석 알고리즘을 적용하여 보다 고도화된 자동화 태그를 생성할 수 있는 효과를 제공한다. 관계형 태그 생성모듈(131)은, 관계 분석결과 정보(info_relation)를 기반으로 객체로 포함된 사람 또는 사람들 에 관한 텍스트화된 관계형 태그(tag_relation)를 생성하는 기능을 수행한다. 예컨대 이미지 분석모듈(121)의 관계 분석결과 정보(info_relation)가 이미지 데이터(data_img)에 촬영된 사람의 수가 2명이고, 2명의 성별이 서로 다른 경우, "#연인", "#Lover", "#애인", "#사랑", "#데이트"와 같은 "연인" 관련 관계형 태그(tag_relation)를 생성하도록 할 수 있다. 보다 바람직하게는, 인식된 안면간의 상대적 거리를 연산하는 방법 으로, 임계수치 이하로 가까운 경우 "연인" 관계로 추정하도록 할 수 있다.
또한, 이미지 분석모듈(121)의 관계 분석결과 정보(info_relation)가 이미지 데이터(data_img)에 촬영된 사람의 수가 2명 이상이고, 성별이 서로 같은 경우, "#친구", "#friend", "#우정", "#절친", "#선후배"와 같 은 "친구"와 관련 관계형 태그(tag_relation)를 생성하도록 할 수 있다. 보다 바람직하게는, 인식된 안면간의 상대적 거리를 연산하는 방법으로, 임계수치 이하로 가까운 경우 "친구" 관계로 추정하도록 할 수 있다.
또 다른 예로는, 이미지 분석모듈(121)의 관계 분석결과 정보(info_relation)가 이미지 데이터(data_img)에 촬 영된 사람의 수가 3명 이상이고, 그 중 적어도 1명은 성인 남성이고, 그 중 적어도 1명은 성인 여성이고, 그 중 적어도 1명은 남성 또는 여성 아이인 경우, "#행복", "#사랑하는 가족" 등과 같은 "가족" 관련 관계형 태 그(tag_relation)를 생성하도록 할 수 있다.
10 : 단말기 20 : 태그관리서버
30 : 사회 관계망 서비스(SNS) 서버
100 : 태그생성 애플리케이션 110 : 이미지 수신모듈
30 : 사회 관계망 서비스(SNS) 서버
100 : 태그생성 애플리케이션 110 : 이미지 수신모듈
Claims (1)
- 이미지 분석기반의 자동화된 관계형 태그생성 및 추천 방법에 있어서,
단말기에서 실행되는 태그생성 애플리케이션이, 적어도 하나의 사람이 객체로 포함되는 이미지 데이터를 상기 단말기의 저장부로부터 불러오거나 상기 단말기의 카메라부에서 촬상되어 입력받는 제 1 단계;
상기 태그생성 애플리케이션이 기설정된 이미지 분석 알고리즘을 적용하여 상기 이미지 데이터에 상기 객체로 포함된 사람의 수, 성별, 나이 또는 감정 중 적어도 어느 하나를 분석하여 관계 분석결과 정보를 생성하는 제 2 단계;
상기 태그생성 애플리케이션이 상기 관계 분석결과 정보를 기반으로 상기 객체로 포함된 사람 또는 사람들에 관 한 텍스트화된 관계형 태그를 생성하는 제 3 단계;
상기 태그생성 애플리케이션에서 생성된 상기 관계형 태그를 네트워크를 통해 태그관리서버로 전송하는 제 4 단 계;
상기 태그관리서버로 전송된 상기 관계형 태그를 수집 및 저장하고, 이를 기설정된 태그분석 알고리즘을 이용하 여 태그데이터베이스로 구축하는 제 5 단계;
신규로 생성되어 상기 태그관리서버에 저장되는 관계형 태그를 상기 태그데이터베이스와 비교 분석하여, 관련성 있는 태그를 사용자에게 추천하는 제 6 단계;
추천된 태그 중 사용자가 선택한 태그와 상기 이미지 데이터를 사회 관계망 서비스 서버에 업로드하는 제 7 단 계;를 포함하여 이루어지되,
상기 제 3 단계는,
상기 제 2 단계의 관계 분석결과 정보가 사람의 수가 2명이고, 2명의 성별이 서로 다른 경우 상기 태그생성 애 플리케이션은 "연인" 관련 관계형 태그를 생성하고,
상기 제 2 단계의 관계 분석결과 정보가 사람의 수가 2명 이상이고, 성별이 서로 같은 경우 상기 태그생성 애플 리케이션은 "친구" 관련 관계형 태그를 생성하고,
상기 제 2 단계의 관계 분석결과 정보가 사람의 수가 3명 이상이고, 그 중 적어도 1명은 성인 남성이고, 그 중 적어도 1명은 성인 여성이고, 그 중 적어도 1명은 남성 또는 여성 아이인 경우 상기 태그생성 애플리케이션은 "가족"관련 관계형 태그를 생성하는 것을 특징으로 하는 이미지 분석기반의 관계형 태그생성 및 추천 방법
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180084903A KR20200009888A (ko) | 2018-07-20 | 2018-07-20 | 다중 메타데이터 분석기반의 관계형 개인화 태그생성 및 추천 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180084903A KR20200009888A (ko) | 2018-07-20 | 2018-07-20 | 다중 메타데이터 분석기반의 관계형 개인화 태그생성 및 추천 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20200009888A true KR20200009888A (ko) | 2020-01-30 |
Family
ID=69321936
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180084903A KR20200009888A (ko) | 2018-07-20 | 2018-07-20 | 다중 메타데이터 분석기반의 관계형 개인화 태그생성 및 추천 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20200009888A (ko) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113641857A (zh) * | 2021-08-13 | 2021-11-12 | 三星电子(中国)研发中心 | 视觉媒体个性化搜索方法和装置 |
US12038968B2 (en) | 2021-08-13 | 2024-07-16 | Samsung Electronics Co., Ltd. | Method and device for personalized search of visual media |
-
2018
- 2018-07-20 KR KR1020180084903A patent/KR20200009888A/ko unknown
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113641857A (zh) * | 2021-08-13 | 2021-11-12 | 三星电子(中国)研发中心 | 视觉媒体个性化搜索方法和装置 |
WO2023018150A1 (en) * | 2021-08-13 | 2023-02-16 | Samsung Electronics Co., Ltd. | Method and device for personalized search of visual media |
US12038968B2 (en) | 2021-08-13 | 2024-07-16 | Samsung Electronics Co., Ltd. | Method and device for personalized search of visual media |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10885380B2 (en) | Automatic suggestion to share images | |
CN108304435B (zh) | 信息推荐方法、装置、计算机设备及存储介质 | |
US8917913B2 (en) | Searching with face recognition and social networking profiles | |
US10121060B2 (en) | Automatic group formation and group detection through media recognition | |
US20200019756A1 (en) | Private Photo Sharing System, Method and Network | |
US9727565B2 (en) | Photo and video search | |
US8422747B1 (en) | Finding untagged images of a social network member | |
CN105612514B (zh) | 通过将语境线索与图像关联进行图像分类的***和方法 | |
KR101782590B1 (ko) | 이미지 분석기반의 관계형 태그생성 및 추천 방법 | |
US9626550B2 (en) | Grouping face images using statistic distribution estimate | |
US20160117347A1 (en) | Method and system of using image recognition and geolocation signal analysis in the construction of a social media user identity graph | |
US20180032882A1 (en) | Method and system for generating recommendations based on visual data and associated tags | |
KR20130102549A (ko) | 셔터 클릭을 통한 자동 미디어 공유 | |
US9070024B2 (en) | Intelligent biometric identification of a participant associated with a media recording | |
US10652454B2 (en) | Image quality evaluation | |
KR101832680B1 (ko) | 참석자들에 의한 이벤트 검색 | |
US20170186044A1 (en) | System and method for profiling a user based on visual content | |
CN103109273A (zh) | 用于管理数据的方法和装置 | |
KR101715708B1 (ko) | 이미지 분석기반의 자동화된 관계형 태그 생성 시스템과 이를 이용한 서비스 제공방법 | |
KR20200009888A (ko) | 다중 메타데이터 분석기반의 관계형 개인화 태그생성 및 추천 방법 | |
US10958603B2 (en) | Instant photo sharing via local area network setups | |
EP3871117A1 (en) | Providing images with privacy label | |
US20170011256A1 (en) | Image product creation based on face images grouped using image product statistics | |
CN106777030B (zh) | 信息推送方法及装置 | |
US20190197352A1 (en) | Image sharing promoting apparatus, image sharing promoting method, and program |