KR101720685B1 - 웹 데이터 기반 방송 콘텐츠 객체 식별 검증 장치 및 방법 - Google Patents

웹 데이터 기반 방송 콘텐츠 객체 식별 검증 장치 및 방법 Download PDF

Info

Publication number
KR101720685B1
KR101720685B1 KR1020150117556A KR20150117556A KR101720685B1 KR 101720685 B1 KR101720685 B1 KR 101720685B1 KR 1020150117556 A KR1020150117556 A KR 1020150117556A KR 20150117556 A KR20150117556 A KR 20150117556A KR 101720685 B1 KR101720685 B1 KR 101720685B1
Authority
KR
South Korea
Prior art keywords
broadcast content
web data
tagging
knowledge network
content
Prior art date
Application number
KR1020150117556A
Other languages
English (en)
Other versions
KR20160052316A (ko
Inventor
손정우
김선중
김화숙
박소영
이경하
장원일
조기성
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US14/932,426 priority Critical patent/US9762934B2/en
Publication of KR20160052316A publication Critical patent/KR20160052316A/ko
Application granted granted Critical
Publication of KR101720685B1 publication Critical patent/KR101720685B1/ko

Links

Images

Classifications

    • G06F17/30038—
    • G06F17/30312—
    • G06F17/3079—
    • G06F17/30864—

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 웹 데이터 기반 방송 콘텐츠 객체 식별 검증 장치 및 방법으로, 방송 콘텐츠와 연관된 웹 데이터를 수집 및 가공하여 상기 방송 콘텐츠에 태깅한 형태의 콘텐츠 지식 정보를 생성하는 웹데이터 처리부와, 상기 콘텐츠 지식 정보를 저장하는 콘텐츠지식정보저장부와, 상기 방송 콘텐츠에 포함된 객체에 대한 식별 결과를 상기 콘텐츠 지식 정보를 이용하여 검증하는 객체 식별 결과 검증부를 포함한다.

Description

웹 데이터 기반 방송 콘텐츠 객체 식별 검증 장치 및 방법{Apparatus and Method for Web Data based Identification System for Object Identification Performance Enhancement}
본 발명은 방송 통신 기술에 관한 것으로, 특히 방송 콘텐츠 내에 존재하는 객체를 식별하기 위한 기술에 관한 것이다.
일반적으로 방송 콘텐츠에서의 객체 식별을 위해 적용되는 기술은 영상 처리 기술로 방송 콘텐츠의 특정 장면(프레임)으로부터 특징을 추출하고, 해당 특징을 가장 잘 나타난 객체를 식별 대상 객체군으로부터 선택한다. 방송 콘텐츠에서의 객체 식별을 위해 적용되는 기술이 특허 "Object Identification in Images Sequences"(미국 특허 출원 번호 2013-792483)에 기재되어 있습니다.
하지만, 영상 처리 기술의 현재 수준은 AP(Average Precision) 0.45 정도이며, 이마저도 식별 대상 객체군의 크기가 늘수록 기하급수적으로 떨어진다. 방송 콘텐츠에 등장 인물, 차량, 장소, 휴대 물품 등 다양한 종류의 객체들이 등장하는 상황에서 영상 처리 기술만을 상용화를 고려한 객체 식별에 적용하기에는 미흡하다.
본 발명에서는 영상 처리 기술로부터 얻어진 객체 식별 결과에 대해 방송 콘텐츠 외부에서 얻어진 정보를 활용하여 검증을 수행함으로써 그 성능을 높이는 객체 식별 검증 장치 및 방법을 제공한다.
본 발명은 웹 데이터 기반 방송 콘텐츠 객체 식별 검증 장치 및 방법으로, 방송 콘텐츠와 연관된 웹 데이터를 수집 및 가공하여 상기 방송 콘텐츠에 태깅한 형태의 콘텐츠 지식 정보를 생성하는 웹데이터 처리부와, 상기 콘텐츠 지식 정보를 저장하는 콘텐츠지식정보저장부와, 상기 방송 콘텐츠에 포함된 객체에 대한 식별 결과를 상기 콘텐츠 지식 정보를 이용하여 검증하는 객체 식별 결과 검증부를 포함한다.
본 발명은 웹 데이터 기반 방송 콘텐츠 객체 식별 검증 방법으로, 방송 콘텐츠와 연관된 웹 데이터를 수집 및 가공하여 상기 방송 콘텐츠에 태깅한 형태의 콘텐츠 지식 정보를 생성하는 단계와, 상기 방송 콘텐츠에 포함된 객체에 대한 식별 결과를 상기 콘텐츠 지식 정보를 이용하여 검증하는 단계를 포함한다.
방송 콘텐츠에 대한 객체 식별 성능을 향상시킴으로써 객체 단위 검색이나 추천, 매시업 등에 활용 가능하다.
도 1은 본 발명의 일 실시 예에 따른 웹 데이터 기반 방송 콘텐츠 객체 식별 검증 장치의 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 웹 데이터 처리부의 블록 구성도이다.
도 3은 본 발명에 따른 지식망이 방송 콘텐츠에 태깅되는 예시도이다.
도 4는 본 발명의 일 실시 예에 따른 객체 식별 결과 검증부의 블록 구성도이다.
도 5는 본 발명의 일 실시 예에 따른 웹 데이터 기반 방송 콘텐츠 객체 식별 검증 방법을 설명하기 위한 순서도이다.
도 6은 본 발명의 일 실시 예에 따른 웹 데이터를 이용하여 콘텐츠 지식 정보를 생성하는 단계를 설명하기 위한 순서도이다.
도 7은 본 발명의 일 실시 예에 따른 객체 식별 결과 검증 단계를 설명하기 위한 순서도이다.
이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시 예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.
본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시 예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 발명을 설명하기에 앞서, 명세서 전반에 걸쳐 사용되는 용어들은 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 발명의 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명은 영상 처리 기술로부터 얻어진 객체 식별 결과에 대해 방송 콘텐츠 외부에서 얻어진 정보를 활용하여 검증을 수행하는 기술을 제안한다. 여기서, 방송 콘텐츠는 일반적인 영상에 비하여 다수의 사용자에게 신속히 전달될 뿐만 아니라, 사용자에 의한 콘텐츠 재생산도 빈번하게 일어난다. 예컨대, '별에서 온 그대'라는 드라마 콘텐츠의 경우, 방영 기간인 약 3개월 동안 만에도 관련되어 생산된 블로그 포스팅 건수가 4만 건을 넘어선 바 있다.
따라서, 이와 같이 방송 콘텐츠와 연관된 웹 데이터가 방송 콘텐츠 전반에 걸친 정보를 담고 있을 뿐만 아니라 그 데이터 또한 방대하다는 점에 착안하여, 본 발명에서는 객체 식별 검증을 위해 웹 데이터로부터 추출된 정보를 활용한다.
도 1은 본 발명의 일 실시 예에 따른 웹 데이터 기반 방송 콘텐츠 객체 식별 검증 장치를 도시한 도면이다.
도 1을 참조하면, 웹 데이터 기반 객체 식별 검증 장치(100)는 크게 방송 콘텐츠와 연관된 웹 데이터를 수집 및 가공하여 방송 콘텐츠에 태깅한 형태의 콘텐츠 지식 정보를 생성하는 웹 데이터 처리부(110)와, 콘텐츠 지식 정보를 저장하는 콘텐츠지식정보저장부(120)와, 방송 콘텐츠에 포함된 객체에 대한 식별 결과를 콘텐츠 지식 정보를 이용하여 검증하는 객체 식별 결과 검증부(130)를 포함한다.
방송 콘텐츠 DB(10)는 방송 콘텐츠에 포함된 용어들이 저장되어 있는 방송 콘텐츠 요청집(11) 및 방송 콘텐츠 영상(12)으로 구성된다. 이러한 방송 콘텐츠 DB(10)는 방송사 서버에 저장되어 있을 수도 있고, 다양한 형태로 제공될 수 있다. 방송 콘텐츠 DB(10)는 웹 데이터 처리부(110)에 방송 콘텐츠에 관련된 정보를 제공하여, 웹 데이터 처리부(110)가 객체 식별기(20)에 의한 객체 식별 결과를 검증할 수 있는 데이터를 생성하도록 한다.
객체 식별기(20)는 영상 인식 기술을 이용하여 방송 콘텐츠 영상에서 객체를 식별하는데, 이러한 객체 식별 결과는 객체 식별 결과 검증부(130)에 의해 검증된다.
도 2는 본 발명의 일 실시 예에 따른 웹 데이터 처리부의 블록 구성도이다.
도 2를 참조하면, 웹 데이터 처리부(110)는 상세하게는 웹 데이터 수집부(111), 지식망 구축부(112) 및 지식망 태깅부(113)를 포함한다.
웹데이터 수집부(111)는 방송 콘텐츠에 대한 객체 연관 키워드들을 이용하여 웹 데이터를 수집한다. 이를 위해 웹데이터 수집부(111)는 외부의 방송 콘텐츠 DB에 존재하는 방송 콘텐츠 연관 용어집(11)을 검색하여, 웹데이터 수집에 필요한 키워드들을 획득하고, 획득된 키워드들을 조합하여 쿼리(query)를 생성하고, 웹포털(30)에 접속하여 생성된 쿼리를 이용하여 검색되는 웹데이터(Web data)를 수집한다. 여기서, 객체 연관 키워드들은 예컨대, 콘텐츠 명, 주인공 이름, PPL(Product Placement)로 등장한 자동차, 장소 등의 단어가 포함될 수 있다.
지식망 구축부(112)는 수집된 웹 데이터에서 추출된 용어들 및 이미지들 중 적어도 하나 이상으로 구성되는 지식망을 구축하는데, 상세하게는 정보/이미지 추출부(112a) 및 지식망 생성부(112b)를 포함한다. 정보/이미지 추출부(112a)는 웹 데이터, 즉 웹 페이지(web page)에 포함되어 있는 용어들 및 이미지들을 추출한다. 지식망 생성부(112b)는 정보/이미지 추출부(112a)에 의해 추출된 용어들 및 이미지들을 노드로 하는 지식망을 구성한다. 지식망에 대해서는 도 3을 참조하여 하기에서 좀 더 상세히 살펴보기로 한다.
지식망 태깅부(113)는 방송 콘텐츠 영상에 지식망에 포함된 이미지와 매칭되는 영상을 포함하는 프레임을 검색하여, 검색된 프레임에 지식망을 태깅하는데, 상세하게는 매칭 모델 학습부(113a), 매칭 모델 생성부(113b) 및 이미지 매칭부(113c) 및 태깅부(113d)를 포함한다.
매칭 모델 학습부(113a)는 방송 콘텐츠 DB에 포함된 방송 콘텐츠 영상(12)을 구성하는 프레임들을 기반으로 매칭 모델을 학습하고, 매칭 모델 생성부(113b)는 학습된 매칭 모델을 생성한다.
이미지 매칭부(113c)는 매칭 모델에서는 방송콘텐츠 프레임이나, 웹 이미지들로부터 추출된 특징벡터 X를 X'로 변환하고, 변환된 벡터 간의 유사도 측정을 수행한다. 여기서, 특징 벡터의 변환은 방송 콘텐츠 프레임들 간의 유사도가 하기의 <수학식 1>을 최대한 만족하도록 수행된다.
<수학식 1>
Figure 112015080961105-pat00001
상기 <수학식 1>에서 sim()은 유사도 계산 함수를 의미하며, #x는 x의 프레임 넘버를 의미한다. 즉, 상기 <수학식 1>을 만족하는 매칭 모델은 프레임 위치가 가까울수록 유사도를 높이도록 학습된다.
일 실시 예에 따라, 이미지 매칭부(113c)는 특징벡터 X를 구축하는데 사용한 특징 추출 기법과 상이한 특성을 가지는 특징 추출 기법을 사용하여 한번 더 매칭 순위를 계산하게 된다. 즉, X를 추출하는데, 색상 정보를 사용했다면, 후처리에서는 이미지의 텍스쳐, 경계선 등의 정보를 사용하여 특징 벡터 Y를 구축하고 유사도를 계산함으로써 매칭 모델을 통해 얻은 n개의 후보에 대해 한 번 더 순위를 조정하게 된다. 매칭 모델의 구축에는 SVMRank, manifold learning 등 다양한 선형, 비선형 모델 학습 기법이 적용될 수 있으며, 후처리를 위한 특징 추출에도 다양한 특징 추출 기술들이 사용될 수 있다.
이미지 매칭부(113c)는 웹 이미지 하나에 대해 n개의 프레임을 매칭한다.
태깅부(113d)는 매칭 결과에 의한 최종 태깅은 n개 프레임 넘버들 중, 가장 높은 점수의 1개 최종 프레임을 선택하고, 최종 프레임 전후 m개의 프레임에 대해 지식망을 태깅하게 되며, m개의 프레임은 최종 결정된 프레임과의 거리에 기반하여 가중치를 부여할 수 있다.
이와 같이 매칭 결과와 지식망구축부(120)을 통해 구축된 지식망은 결합되어 콘텐츠지식정보저장부(140)에 저장된다. 즉, 콘텐츠 지식 정보는 지식망의 집합 G=g1, g2, g3, ..., gm와 태깅 결과 얻어진 프레임 넘버에 대한 분포의 집합 T=t1, t2, t3, ..., tm를 결합한 C=(g1,t1), (g2,t2), (g3,t3), ..., (gm,tm)가 될 수 있다.
도 3은 본 발명에 따른 지식망이 방송 콘텐츠에 태깅되는 예시도이다.
도 3을 참조하면, 지식망(G)(310)은 다수의 노드(N)들(311a, 311b)과 노드들(311a, 311b)을 연결하는 엣지(E)들(312)로 이루어진다. 여기서, 노드(N)는 수집된 웹 데이터에서 추출되는 단어들(311a) 및 이미지들(311b)의 집합이다. 엣지(E)는 노드(N)에 해당되는 정보들이 해당 웹 페이지에서의 중요도와 정보들 간 연관성 정보를 기반으로 구성된다. 이러한 지식망(310)에 포함된 이미지(311b)는 방송 콘텐츠(320) 영상을 구성하는 프레임들(321)과 매칭된다.
도 4는 본 발명의 일 실시 예에 따른 객체 식별 결과 검증부의 블록 구성도이다.
도 4를 참조하면, 객체 식별 결과 검증부(130)는 상세하게는 지식망 추출부(131), 그래프 탐색 기반 확률 계산부(132), 확률 통합부(133), 식별 점수 재조정부(134) 및 최종 식별 결과 출력부(135)를 포함한다.
지식망 추출부(131)는 객체 식별 결과를 전달받으면, 콘텐츠 지식 정보 저장부(120)에 요청하여, 식별이 수행된 해당 프레임과 연관된 지식망 집합 C'
Figure 112015080961105-pat00002
C를 전달받는다.
그래프 탐색 기반 확률 계산부(132)는 객체 식별 후보군 O와 C'를 기반으로 객체에 대한 출연 확률을 계산한다. 즉, 식별 대상 객체 o
Figure 112015080961105-pat00003
O에 대해 다음의 <수학식 2>를 이용하여 출연 확률을 계산한다.
<수학식 2>
Figure 112015080961105-pat00004
<수학식 2>에서 #f는 식별이 일어난 해당 프레임 넘버이다. 즉, C'에 속한 지식망 gc에서 객체 o가 나타날 확률, 각 지식망의 프레임 #f에 대한 가중치를 곱하고, 이를 모든 c
Figure 112015080961105-pat00005
C'에 대해 계산한다.
확률 통합부(133)는 그래프 탐색 기반 확률 계산부(132)에 의해 계산된 출연 확률을 합산하여 객체 o의 확률을 구한다.
식별 점수 재조정부(134)는 구해낸 확률값을 이용하여 객체식별기(20)의 식별 결과를 재조정함으로써 식별 결과에 대한 검증을 수행한다.
도 5는 본 발명의 일 실시 예에 따른 웹 데이터 기반 방송 콘텐츠 객체 식별 검증 방법을 설명하기 위한 순서도이다.
도 5를 참조하면, 웹 데이터 기반 객체 식별 검증 장치(100)는 크게 방송 콘텐츠와 연관된 웹 데이터를 수집 및 가공하여 방송 콘텐츠에 태깅한 형태의 콘텐츠 지식 정보를 생성하는 단계(S510)와, 방송 콘텐츠에 포함된 객체에 대한 식별 결과를 콘텐츠 지식 정보를 이용하여 검증하는 단계(S520)를 포함한다.
도 6은 본 발명의 일 실시 예에 따른 웹 데이터를 이용하여 콘텐츠 지식 정보를 생성하는 단계를 설명하기 위한 순서도이다.
도 6을 참조하면, 웹 데이터 처리부(110)는 웹 데이터를 수집하는 단계(S610), 지식망 구축하는 단계(S620) 및 지식망 태깅하는 단계(S630)를 포함한다.
웹데이터 수집하는 단계(S610)에서는 방송 콘텐츠에 대한 객체 연관 키워드들을 이용하여 웹 데이터를 수집한다. 이를 위해 웹데이터 수집부(111)는 외부의 방송 콘텐츠 DB에 존재하는 방송 콘텐츠 연관 용어집(11)을 검색하여, 웹데이터 수집에 필요한 키워드들을 획득하고, 획득된 키워드들을 조합하여 쿼리(query)를 생성하고, 웹포털(30)에 접속하여 생성된 쿼리를 이용하여 검색되는 웹데이터(Web data)를 수집한다. 여기서, 객체 연관 키워드들은 예컨대, 콘텐츠 명, 주인공 이름, PPL(Product Placement)로 등장한 자동차, 장소 등의 단어가 포함될 수 있다.
지식망을 구축하는 단계(S620)는 수집된 웹 데이터에서 추출된 용어들 및 이미지들 중 적어도 하나 이상으로 구성되는 지식망을 구축하는데, 상세하게는 정보/이미지 추출하는 단계(S621) 및 지식망을 생성하는 단계(S622)를 포함한다. 정보/이미지 추출하는 단계(S621)에서는 웹 데이터, 즉 웹 페이지(web page)에 포함되어 있는 용어들 및 이미지들이 추출된다. 지식망을 생성하는 단계(S622)에서는 추출된 용어들 및 이미지들을 노드로 하는 지식망을 구성된다.
지식망 태깅하는 단계(S630)는 방송 콘텐츠 영상에 지식망에 포함된 이미지와 매칭되는 영상을 포함하는 프레임을 검색하여, 검색된 프레임에 지식망을 태깅하는데, 상세하게는 매칭 모델 학습 단계(S631), 매칭 모델 생성 단계(S632) 및 이미지 매칭 단계(S633) 및 프레임에 지식망을 태깅하는 단계(S633)를 포함한다.
매칭 모델 학습부(113a)는 방송 콘텐츠 DB에 포함된 방송 콘텐츠 영상(12)을 구성하는 프레임들을 기반으로 매칭 모델을 학습(S631)하고, 매칭 모델 생성부(113b)는 학습된 매칭 모델을 생성한다(S632).
이미지 매칭부(113c)는 매칭 모델에서는 방송콘텐츠 프레임이나, 웹 이미지들로부터 추출된 특징벡터 X를 X'로 변환하고, 변환된 벡터 간의 유사도 측정을 수행한다. 여기서, 특징 벡터의 변환은 방송 콘텐츠 프레임들 간의 유사도가 하기의 <수학식 3>을 최대한 만족하도록 수행된다.
<수학식 3>
for x,y,z in X', sim(x', y')
Figure 112015080961105-pat00006
sim(x', z'),if |(#x -#y)|
Figure 112015080961105-pat00007
|(#x -#z)|
상기 <수학식 3>에서 sim()은 유사도 계산 함수를 의미하며, #x는 x의 프레임 넘버를 의미한다. 즉, 상기 <수학식 3>을 만족하는 매칭 모델은 프레임 위치가 가까울수록 유사도를 높이도록 학습된다.
일 실시 예에 따라, 이미지 매칭부(113c)는 특징벡터 X를 구축하는데 사용한 특징 추출 기법과 상이한 특성을 가지는 특징 추출 기법을 사용하여 한번 더 매칭 순위를 계산하게 된다. 즉, X를 추출하는데, 색상 정보를 사용했다면, 후처리에서는 이미지의 텍스쳐, 경계선 등의 정보를 사용하여 특징 벡터 Y를 구축하고 유사도를 계산함으로써 매칭 모델을 통해 얻은 n개의 후보에 대해 한 번 더 순위를 조정하게 된다. 매칭 모델의 구축에는 SVMRank, manifold learning 등 다양한 선형, 비선형 모델 학습 기법이 적용될 수 있으며, 후처리를 위한 특징 추출에도 다양한 특징 추출 기술들이 사용될 수 있다. 이미지 매칭부(113c)는 웹 이미지 하나에 대해 n개의 프레임을 매칭한다(S633)
태깅부(113d)는 매칭 결과에 의한 최종 태깅은 n개 프레임 넘버들 중, 가장 높은 점수의 1개 최종 프레임을 선택하고, 최종 프레임 전후 m개의 프레임에 대해 지식망을 태깅하게 되며, m개의 프레임은 최종 결정된 프레임과의 거리에 기반하여 가중치를 부여할 수 있다(S634).
도 7은 본 발명의 일 실시 예에 따른 객체 식별 결과 검증 단계를 설명하기 위한 순서도이다.
도 7을 참조하면, 객체 식별 결과 검증하는 단계는 상세하게는 지식망 추출하는 단계(S710), 그래프 탐색 기반 확률 계산 단계(S720), 확률 통합 단계(S730), 식별 점수 재조정 단계(S740) 및 최종 식별 결과 출력 단계(S750)를 포함한다.
지식망 추출부(131)는 객체 식별 결과를 전달받으면, 콘텐츠 지식 정보 저장부(120)에 요청하여, 식별이 수행된 해당 프레임과 연관된 지식망 집합 C'
Figure 112015080961105-pat00008
C를 전달받는다(S710).
그래프 탐색 기반 확률 계산부(132)는 객체 식별 후보군 O와 C'를 기반으로 객체에 대한 출연 확률을 계산한다. 즉, 식별 대상 객체 o
Figure 112015080961105-pat00009
O에 대해 다음의 <수학식 4>를 이용하여 출연 확률을 계산한다(S720).
<수학식 4>
Figure 112015080961105-pat00010
<수학식 4>에서 #f는 식별이 일어난 해당 프레임 넘버이다. 즉, C'에 속한 지식망 gc에서 객체 o가 나타날 확률, 각 지식망의 프레임 #f에 대한 가중치를 곱하고, 이를 모든 c
Figure 112015080961105-pat00011
C'에 대해 계산한다.
확률 통합부(133)는 그래프 탐색 기반 확률 계산부(132)에 의해 계산된 출연 확률을 합산하여 객체 o의 확률을 구한다(S730).
식별 점수 재조정부(134)는 구해낸 확률값을 이용하여 객체식별기(20)의 식별 결과를 재조정함으로써 식별 결과에 대한 검증을 수행하고(S740), 재조정된 최종 식별 결과를 출력한다(S750).

Claims (16)

  1. 방송 콘텐츠와 연관된 웹 데이터를 수집 및 가공하여 상기 방송 콘텐츠에 태깅한 형태의 콘텐츠 지식 정보를 생성하는 웹데이터 처리부와,
    상기 콘텐츠 지식 정보를 저장하는 콘텐츠지식정보저장부와,
    상기 방송 콘텐츠에 포함된 객체에 대한 식별 결과를 상기 콘텐츠 지식 정보를 이용하여 검증하는 객체 식별 결과 검증부를 포함하되,
    상기 객체 식별 검증부는
    객체 식별 후보군과 상기 식별된 객체가 포함되는 프레임과 연관된 지식망 집합을 기반으로 객체에 대한 출연 확률을 계산하여 상기 식별 결과를 재조정함을 특징으로 하는 웹 데이터 기반 방송 콘텐츠 객체 식별 검증 장치.
  2. 제 1항에 있어서, 상기 웹데이터 처리부는
    방송 콘텐츠에 대한 객체 연관 키워드들을 이용하여 쿼리(query)를 생성하고, 생성된 쿼리를 기반으로 웹포털에 검색을 요청하여 웹데이터를 수집하는 웹데이터 수집부와,
    상기 수집된 웹 데이터에서 추출된 단어들 및 이미지들 중 적어도 하나 이상으로 구성되는 지식망을 구축하는 지식망 구축부와,
    상기 지식망을 연관된 방송 콘텐츠의 소정 프레임 구간에 태깅하는 지식망 태깅부를 포함함을 특징으로 하는 웹 데이터 기반 방송 콘텐츠 객체 식별 검증 장치.
  3. 제 2항에 있어서, 상기 지식망은
    상기 웹데이터로부터 추출된 이미지들 및 단어들 중 적어도 하나 이상을 포함하는 노드들과, 상기 노드들에 해당하는 정보들의 중요도 및 연관성을 기반으로 노드들간에 연결 에지로 구성됨을 특징으로 하는 웹 데이터 기반 방송 콘텐츠 객체 식별 검증 장치.
  4. 제 2항에 있어서, 상기 지식망 태깅부는
    상기 웹데이터로부터 추출된 이미지를 상기 객체 식별 검증 대상 방송 콘텐츠의 프레임에 태깅함을 특징으로 하는 웹 데이터 기반 방송 콘텐츠 객체 식별 검증 장치.
  5. 제 4항에 있어서, 상기 지식망 태깅부는
    방송콘텐츠 프레임들을 기반으로 매칭 모델을 학습하고, 학습된 매칭 모델에서 방송콘텐츠 프레임 또는 웹 이미지들로부터 추출된 특징 벡터간의 유사도 측정을 통해 이미지 매칭 순위를 계산함을 특징으로 하는 웹 데이터 기반 방송 콘텐츠 객체 식별 검증 장치.
  6. 제 5항에 있어서,
    상기 유사도 측정을 위해 사용된 특징과는 상이한 특징을 이용한 특징 추출 기법을 사용하여 한번 더 매칭 순위를 계산함을 특징으로 하는 웹 데이터 기반 방송 콘텐츠 객체 식별 검증 장치.
  7. 제 5항에 있어서, 상기 지식망 태깅부는
    가장 높은 점수를 가지는 최종 프레임을 선택하고, 선택된 최종 프레임 전후 소정 갯수의 프레임들에 대해 지식망을 태깅하게 되며, 상기 소정 갯수의 프레임들은 최종 프레임과의 거리에 기반하여 가중치를 가짐을 특징으로 하는 웹 데이터 기반 방송 콘텐츠 객체 식별 검증 장치.
  8. 제 1항에 있어서, 상기 콘텐츠 지식 정보 저장부는
    지식망 및 지식망에 태깅된 방송 콘텐츠의 프레임 넘버를 원소로 하는 집합을 콘텐츠 지식 정보로 저장함을 특징으로 하는 웹 데이터 기반 방송 콘텐츠 객체 식별 검증 장치.
  9. 삭제
  10. 웹 데이터 기반 방송 콘텐츠 객체 식별 검증 장치에 의해 수행되는 웹 데이터 기반 방송 콘텐츠 객체 식별 검증 방법에 있어서,
    방송 콘텐츠와 연관된 웹 데이터를 수집 및 가공하여 상기 방송 콘텐츠에 태깅한 형태의 콘텐츠 지식 정보를 생성하는 단계와,
    상기 방송 콘텐츠에 포함된 객체에 대한 식별 결과를 상기 콘텐츠 지식 정보를 이용하여 검증하는 단계를 포함하되,
    상기 검증하는 단계는
    객체 식별 후보군과 상기 식별된 객체가 포함되는 프레임과 연관된 지식망 집합을 기반으로 객체에 대한 출연 확률을 계산하여 상기 식별 결과를 재조정함을 특징으로 하는 웹 데이터 기반 방송 콘텐츠 객체 식별 검증 방법.
  11. 제 10항에 있어서, 상기 생성하는 단계는
    방송 콘텐츠에 대한 객체 연관 키워드들을 이용하여 쿼리(query)를 생성하고, 생성된 쿼리를 기반으로 웹포털에 검색을 요청하여 웹데이터를 수집하는 단계와,
    상기 수집된 웹 데이터에서 추출된 단어들 및 이미지들 중 적어도 하나 이상으로 구성되는 지식망을 구축하는 단계와,
    상기 지식망을 연관된 방송 콘텐츠의 소정 프레임 구간에 태깅하는 단계를 포함함을 특징으로 하는 웹 데이터 기반 방송 콘텐츠 객체 식별 검증 방법.
  12. 제 11항에 있어서, 상기 지식망은
    상기 웹데이터로부터 추출된 이미지들 및 단어들 중 적어도 하나 이상을 포함하는 노드들과, 상기 노드들에 해당하는 정보들의 중요도 및 연관성을 기반으로 노드들간에 연결 에지로 구성됨을 특징으로 하는 웹 데이터 기반 방송 콘텐츠 객체 식별 검증 방법.
  13. 제 11항에 있어서, 상기 태깅하는 단계는
    방송콘텐츠 프레임들을 기반으로 매칭 모델을 학습하는 단계와,
    학습된 매칭 모델을 생성하는 단계와,
    방송콘텐츠 프레임 또는 이미지들로부터 추출된 특징 벡터간의 유사도 측정을 통해 이미지 매칭 순위를 계산하는 단계와,
    상기 이미지 매칭 순위에 따라, 상기 이미지를 포함하는 지식망을 해당 프레임에 태깅하는 단계를 포함함을 특징으로 하는 웹 데이터 기반 방송 콘텐츠 객체 식별 검증 방법.
  14. 제 13항에 있어서, 상기 이미지 매칭 순위를 계산하는 단계는
    상기 유사도 측정을 위해 사용된 특징과는 상이한 특징을 이용한 특징 추출 기법을 사용하여 한번 더 매칭 순위를 계산함을 특징으로 하는 웹 데이터 기반 방송 콘텐츠 객체 식별 검증 방법.
  15. 제 13항에 있어서, 상기 태깅하는 단계는
    가장 높은 점수를 가지는 최종 프레임을 선택하고, 선택된 최종 프레임 전후 소정 갯수의 프레임들에 대해 지식망을 태깅하게 되며, 상기 소정 갯수의 프레임들은 최종 프레임과의 거리에 기반하여 가중치를 가짐을 특징으로 하는 웹 데이터 기반 방송 콘텐츠 객체 식별 검증 방법.
  16. 삭제
KR1020150117556A 2014-11-04 2015-08-20 웹 데이터 기반 방송 콘텐츠 객체 식별 검증 장치 및 방법 KR101720685B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/932,426 US9762934B2 (en) 2014-11-04 2015-11-04 Apparatus and method for verifying broadcast content object identification based on web data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140152315 2014-11-04
KR20140152315 2014-11-04

Publications (2)

Publication Number Publication Date
KR20160052316A KR20160052316A (ko) 2016-05-12
KR101720685B1 true KR101720685B1 (ko) 2017-04-10

Family

ID=56024813

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150117556A KR101720685B1 (ko) 2014-11-04 2015-08-20 웹 데이터 기반 방송 콘텐츠 객체 식별 검증 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101720685B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018060839A1 (en) * 2016-09-29 2018-04-05 Reliance Jio Infocomm Limited Systems and methods for providing targeted content in an embms stream to a user device
KR102551550B1 (ko) 2018-04-20 2023-07-06 삼성전자주식회사 오브젝트에 대한 정보를 검색하기 위한 전자 장치 및 이의 제어 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120072420A1 (en) * 2010-09-16 2012-03-22 Madhav Moganti Content capture device and methods for automatically tagging content
US20130243307A1 (en) 2012-03-16 2013-09-19 Thomson Licensing Object identification in images or image sequences

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140095956A (ko) * 2013-01-25 2014-08-04 한국전자통신연구원 크라우드 소싱기반 영상 지식 콘텐츠 생성 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120072420A1 (en) * 2010-09-16 2012-03-22 Madhav Moganti Content capture device and methods for automatically tagging content
US20130243307A1 (en) 2012-03-16 2013-09-19 Thomson Licensing Object identification in images or image sequences

Also Published As

Publication number Publication date
KR20160052316A (ko) 2016-05-12

Similar Documents

Publication Publication Date Title
CN108304435B (zh) 信息推荐方法、装置、计算机设备及存储介质
US9323785B2 (en) Method and system for mobile visual search using metadata and segmentation
JP6536058B2 (ja) ユーザの人口統計学特性を推定する方法、コンピュータ・システム、及びプログラム
US7684651B2 (en) Image-based face search
US8831352B2 (en) Event determination from photos
CN114342353B (zh) 用于视频分割的方法和***
JP5857073B2 (ja) 画像のテキスト化とテキストの画像化の関連性のためのシステム及び方法
CN112348117B (zh) 场景识别方法、装置、计算机设备和存储介质
CN110348362B (zh) 标签生成、视频处理方法、装置、电子设备及存储介质
US20140193077A1 (en) Image retrieval apparatus, image retrieval method, query image providing apparatus, query image providing method, and program
EP2639745A1 (en) Object identification in images or image sequences
US8990134B1 (en) Learning to geolocate videos
US11347739B2 (en) Performing a chained search function
US20150104065A1 (en) Apparatus and method for recognizing object in image
US9762934B2 (en) Apparatus and method for verifying broadcast content object identification based on web data
KR101720685B1 (ko) 웹 데이터 기반 방송 콘텐츠 객체 식별 검증 장치 및 방법
JP6377917B2 (ja) 画像検索装置及び画像検索プログラム
KR101743169B1 (ko) 얼굴 정보를 이용한 실종 가족 찾기 시스템 및 방법 그리고 이를 구현하는 프로그램을 기록한 기록 매체
CN108804492B (zh) 用于多媒体对象推荐的方法及装置
JP2019083532A (ja) 画像処理システム、画像処理方法および画像処理プログラム
CN113282781B (zh) 图像检索方法及装置
CN112333182B (zh) 档案处理方法、装置、服务器及存储介质
KR101910825B1 (ko) 이미지 검색 모델을 제공하는 방법, 장치, 시스템 및 컴퓨터 프로그램
CN114168728A (zh) 一种图像识别模型的训练方法及图像识别方法
EP2665018A1 (en) Object identification in images or image sequences

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200224

Year of fee payment: 4