KR102296318B1 - 동영상분류장치 및 동영상분류방법 - Google Patents

동영상분류장치 및 동영상분류방법 Download PDF

Info

Publication number
KR102296318B1
KR102296318B1 KR1020190171078A KR20190171078A KR102296318B1 KR 102296318 B1 KR102296318 B1 KR 102296318B1 KR 1020190171078 A KR1020190171078 A KR 1020190171078A KR 20190171078 A KR20190171078 A KR 20190171078A KR 102296318 B1 KR102296318 B1 KR 102296318B1
Authority
KR
South Korea
Prior art keywords
video
frames
extracting
motion vector
classification
Prior art date
Application number
KR1020190171078A
Other languages
English (en)
Other versions
KR20210079028A (ko
Inventor
위동윤
오광진
배순민
김유진
Original Assignee
네이버 주식회사
라인 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버 주식회사, 라인 가부시키가이샤 filed Critical 네이버 주식회사
Priority to KR1020190171078A priority Critical patent/KR102296318B1/ko
Priority to JP2020210439A priority patent/JP7159274B2/ja
Publication of KR20210079028A publication Critical patent/KR20210079028A/ko
Application granted granted Critical
Publication of KR102296318B1 publication Critical patent/KR102296318B1/ko

Links

Images

Classifications

    • G06K9/00718—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06K9/481—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

본 출원은 동영상분류장치 및 동영상분류방법에 관한 것으로서, 본 발명의 일 실시예에 의한 동영상분류방법은 입력받은 대상 동영상으로부터 복수의 프레임을 추출하는 단계; 상기 프레임들 사이의 광흐름(optical flow)을 나타내는 이동벡터를 추출하는 단계; 및 미리 학습된 분류모델에 상기 이동벡터에 대한 정보를 입력하여, 상기 동영상이 상기 슬라이드 쇼 타입 동영상에 해당하는지 판별하는 단계를 포함할 수 있다.

Description

동영상분류장치 및 동영상분류방법 {Apparatus and method for classifying videos}
본 출원은 동영상분류장치 및 동영상분류방법에 관한 것으로, 특히 슬라이드 쇼 타입 동영상을 일반 동영상으로부터 구별할 수 있는 동영상분류장치 및 동영상분류방법에 관한 것이다.
최근 동영상 컨텐츠에 대한 사용자들의 수요가 증가하면서, 슬라이드 쇼(slide show) 타입 동영상들이 급증하고 있다. 슬라이드 쇼 타입 동영상은 한 장 이상의 슬라이드 이미지가 표시되는 동영상으로, 제작이 쉽고 간편하므로 최근 광고나 홍보용으로 주로 활용되고 있다.
슬라이드 쇼 타입 동영상은 한 장의 슬라이드 이미지가 표시된 상태에서 음향이나 나래이션 등이 추가되는 형태로 구현될 수 있으며, 복수의 슬라이드 이미지들이 순차적으로 표시되도록 하는 것도 가능하다.
한편, 사용자들은 자신이 원하는 정보를 찾기 위해, 인터넷 검색 서비스를 이용할 수 있으며, 이때 검색되는 다양한 동영상 중에는 슬라이드 쇼 타입 동영상들이 다수 포함될 수 있다. 다만, 슬라이드 쇼 타입 동영상들은 광고나 홍보성 내용이거나, 질이 낮은 컨텐츠를 포함하는 경우가 대부분이므로, 사용자들은 슬라이드 쇼 타입 동영상들을 선호하지 않는 경향이 있다.
본 출원은, 슬라이드 쇼 타입 동영상을 일반 동영상으로부터 구별할 수 있는 동영상분류장치 및 동영상분류방법을 제공하고자 한다.
본 출원은, 동영상 내에 포함된 프레임들 사이의 광흐름(optical flow)를 활용하여, 슬라이드 쇼 타입 동영상들을 구별할 수 있는 동영상분류장치 및 동영상분류방법을 제공하고자 한다.
본 발명의 일 실시예에 의한 동영상분류방법은, 슬라이드 쇼(slide show) 타입 동영상을 구별하는 동영상분류방법에 관한 것으로, 입력받은 대상 동영상으로부터 복수의 프레임을 추출하는 단계; 상기 프레임들 사이의 광흐름(optical flow)을 나타내는 이동벡터를 추출하는 단계; 및 미리 학습된 분류모델에 상기 이동벡터에 대한 정보를 입력하여, 상기 대상 동영상이 상기 슬라이드 쇼 타입 동영상에 해당하는지 판별하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 의한 동영상분류장치는, 슬라이드 쇼(slide show) 타입 동영상을 구별하는 것으로, 입력받은 대상 동영상으로부터 복수의 프레임을 추출하는 프레임추출부; 상기 프레임들 사이의 광흐름(optical flow)를 나타내는 이동벡터를 추출하는 이동벡터 추출부; 및 미리 학습된 분류모델에 상기 이동벡터에 대한 정보를 입력하여, 상기 대상동영상이 상기 슬라이드 쇼 타입 동영상에 해당하는지 판별하는 판별부를 포함할 수 있다.
덧붙여 상기한 과제의 해결수단은, 본 발명의 특징을 모두 열거한 것이 아니다. 본 발명의 다양한 특징과 그에 따른 장점과 효과는 아래의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 의한 동영상분류장치 및 동영상분류방법에 의하면, 슬라이드 쇼 타입 동영상을 일반 동영상으로부터 구별할 수 있으므로, 인터넷 검색 서비스 제공시 슬라이드 쇼 타입 동영상을 제외하고 사용자에게 제공하는 것이 가능하다. 따라서, 인터넷 검색 서비스 제공시 사용자 편의성을 높이고 검색의 정확성을 높일 수 있다.
본 발명의 일 실시예에 의한 동영상분류장치 및 동영상분류방법에 의하면, 동영상 내의 광흐름을 머신러닝을 이용하여 분류하므로, 보다 정확하고 신속한 동영상 분류가 가능하다.
다만, 본 발명의 실시예들에 따른 동영상분류장치 및 동영상분류방법이 달성할 수 있는 효과는 이상에서 언급한 것들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도1은 본 발명의 일 실시예에 의한 동영상분류장치를 나타내는 블록도이다.
도2 내지 도4는 본 발명의 일 실시예에 의한 슬라이드 쇼 타입 동영상을 나타내는 개략도이다.
도5는 본 발명의 일 실시예에 의한 슬라이드 쇼 타입 동영상과 일반 영상의 광흐름을 나타내는 개략도이다.
도6은 본 발명의 일 실시예에 의한 분류모델의 학습을 위한 학습동영상의 레이블링을 나타내는 개략도이다.
도7 및 도8은 본 발명의 일 실시예에 의한 동영상분류장치의 동작을 나타내는 블록도이다.
도9는 본 발명의 일 실시예에 의한 슬라이드 쇼 타입 동영상과 일반 영상의 광흐름 변화패턴을 나타내는 그래프이다.
도10 및 도11은 본 발명의 일 실시예에 의한 동영상분류방법을 나타내는 순서도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 즉, 본 발명에서 사용되는 '부'라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '부'는 어떤 역할들을 수행한다. 그렇지만 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부'들로 결합되거나 추가적인 구성요소들과 '부'들로 더 분리될 수 있다.
또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
최근 동영상 컨텐츠에 대한 사용자들의 수요가 증가하면서, 슬라이드 쇼(slide show) 타입 동영상들이 급증하고 있다. 슬라이드 쇼 타입 동영상은 한 장 이상의 슬라이드 이미지가 표시되는 동영상으로, 제작이 쉽고 간편하므로 최근 광고나 홍보용으로 주로 활용되고 있다.
슬라이드 쇼 타입 동영상은 한 장의 슬라이드 이미지가 표시된 상태에서 음향이나 나래이션 등이 추가되는 형태로 구현될 수 있으며, 도2에 도시한 바와 같이 복수의 슬라이드 이미지들이 순차적으로 표시되도록 하는 것도 가능하다.
또한, 도3에 도시한 바와 같이, 슬라이드 이미지가 동영상 내에서 일정한 방향으로 이동하거나, 도4에 도시한 바와 같이 슬라이드 이미지를 줌-인(zoom-in)하는 등 슬라이드 이미지에 대한 특수효과를 추가한 경우에도, 슬라이드 쇼 타입 동영상으로 볼 수 있다.
여기서, 슬라이드 이미지에 추가되는 특수효과는 줌-인 이외에, 페이드-인(fade-in), 페이드-아웃(fade-out), 줌-아웃(zoom-out), 슬라이드 이미지에 대한 스티커 부착 등 다양하게 존재할 수 있다.
한편, 사용자들은 자신이 원하는 정보를 찾기 위해, 인터넷 검색 서비스를 이용할 수 있으며, 이때 검색되는 다양한 동영상 중에는 슬라이드 쇼 타입 동영상들이 다수 포함될 수 있다. 다만, 슬라이드 쇼 타입 동영상들은 광고나 홍보성 내용이거나, 질이 낮은 컨텐츠를 포함하는 경우가 대부분이므로, 사용자들은 슬라이드 쇼 타입 동영상들을 선호하지 않는 경향이 있다.
따라서, 사용자 편의를 위하여, 인터넷 검색 서비스 제공시, 슬라이드 쇼 타입 동영상 등을 제외하거나 검색결과 제공시 후순위로 제공할 필요가 있다. 즉, 슬라이드쇼 타입 동영상들에 대하여 별도의 주석(annotation) 등을 추가하여, 일반 동영상과 슬라이드쇼 타입 동영상들을 구별하여 처리하도록 하는 방안을 고려할 수 있다.
여기서, 본 발명의 일 실시예에 의한 동영상분류장치에 의하면, 슬라이드 쇼 타입 동영상들을 일반 동영상으로부터 구별할 수 있으므로, 이후 구별된 각각의 슬라이드 쇼 타입 동영상들에 대한 주석을 추가하는 것이 가능하다. 이하, 본 발명의 일 실시예에 의한 동영상분류장치를 설명한다.
도1은 본 발명의 일 실시예에 의한 동영상분류장치를 나타내는 블록도이다.
도1을 참조하면, 본 발명의 일 실시예에 의한 동영상분류장치(100)는 프레임 추출부(110), 이동벡터 추출부(120) 및 판별부(130)를 포함할 수 있다.
프레임추출부(110)는 입력받은 대상 동영상(V)으로부터 복수의 프레임을 추출할 수 있다. 프레임추출부(110)는 대상동영상(V) 중에서 특정재생구간을 기준시간간격으로 샘플링하여, 목표개수의 프레임들 추출할 수 있다.
예를들어, 특정재생구간을 대상동영상(V)의 재생시점부터 15초까지로 설정하고, 기준시간간격은 0.3sec로 설정할 수 있다. 이 경우, 50개의 프레임이 추출되므로, 목표개수는 50개에 해당한다. 즉, 대상동영상(V)의 초반 50개의 프레임을 확인하여 대상동영상(V)이 슬라이드 타입 동영상(V1)에 해당하는지 판별할 수 있다. 다만, 특정재생구간의 길이나 기준시간간격 등은 실시예에 따라 다양하게 변경가능하며, 특정재생구간을 대상동영상(V)의 시작시점이외에 임의의 시점으로 설정하는 것도 가능하다.
한편, 실시예에 따라서는 대상동영상(V)의 전체 재생구간의 길이가 특정재생구간의 길이보다 짧은 경우가 있을 수 있다. 예를들어, 특정재생구간의 길이가 15초일 때, 대상동영상(V)의 전체 재생구간의 길이가 15초 미만인 경우에는, 0.3sec의 기준시간간격으로 샘플링하는 경우 목표개수의 프레임들을 추출하지 못하게 된다. 이 경우, 프레임추출부(110)는 대상동영상(V)의 전체 재생구간을 기준시간간격으로 샘플링하여 가능한 최대 개수의 프레임만을 추출하도록 할 수 있다.
이동벡터 추출부(120)는 프레임들 사이의 광흐름(optical flow)를 나타내는 이동벡터를 추출할 수 있다. 여기서, 이동벡터 추출부(120)는 이동벡터 추출을 위해 Lucas-Kanade 기법을 활용할 수 있으며, 이외에도 광흐름을 추출하기 위한 다양한 기법들을 활용할 수 있다.
구체적으로, 도5에 도시한 바와 같이, 프레임에 포함된 객체들의 움직임에 대응한 이동량과 이동방향을 나타내는 이동벡터(A)들이 표시될 수 있다. 여기서, 이동벡터들은 각각의 시점별(t-1, t, t+1)로 추출할 수 있다.
도5(a)에 도시한 바와 같이 슬라이드 쇼 타입 동영상(V1)의 경우, 동일한 시점 내에서의 이동벡터(A)들은 일정한 크기와 방향성을 가지는 것을 확인할 수 있다. 즉, (t) 시점에서의 이동벡터(A)들을 확인하면, 각각 동일한 방향성을 가지며, 크기의 편차도 크지 않음을 확인할 수 있다. 이는 (t-1) 시점과 (t+1) 시점에서도 동일하다. 또한, (t-1) 시점부터 (t+1) 시점으로의 변화에 따라, 이동벡터(A)들이 일정한 방향으로 점차 크기가 증가하는 일정한 패턴을 가지는 것도 확인할 수 있다.
반면에, 도5(b)의 일반 영상(V2)의 경우에는, 동일한 시점 내에서의 이동벡터(A)들은 각자 상이한 크기와 방향성을 가지며, (t-1) 시점부터 (t+1) 시점으로의 변화에 불구하고, 이동벡터(A)들의 변화에는 특별한 패턴이 존재하지 않을 확인할 수 있다.
따라서, 이동벡터 추출부(120)에서 추출한 이동벡터들을 활용하여, 입력받은 대상동영상(V)이 슬라이드 쇼 타입 동영상(V1)인지, 아니면 일반 동영상(V2)인지를 구별하는 것이 가능하다.
구체적으로, 이동벡터 추출부(120)는 복수의 프레임 중에서 연속하는 두 개의 프레임들을 순차적으로 선택할 수 있으며, 선택한 두 개의 프레임에 대응하는 시점별로, 두 개의 프레임 내에 포함된 객체들의 이동량 및 이동방향을 나타내는 복수의 이동벡터들을 추출할 수 있다. 즉, 도7에 도시한 바와 같이, 이동벡터 추출부(120)는 (t-1)시점과 (t) 시점의 프레임을 선택한 후, 이로부터 (t-1) 시점에 해당하는 이동벡터들을 추출할 수 있으며, 이후 (t) 시점과 (t+1) 시점의 프레임을 선택한 후, 이로부터 (t) 시점에 대한 이동벡터들을 추출할 수 있다. 이후, 동일한 방식으로 목표개수의 프레임에 대하여 각각 대응하는 시점별 이동벡터들을 추출할 수 있다.
실시예에 따라서는, 도7에 도시한 바와 같이, 이동벡터 추출부(120)가 각각의 이동벡터를 x축 성분과 y축 성분으로 분리하고, x축 성분들의 표준편차와 y축 성분들의 표준편차를 연산할 수 있다. 예를들어, (t-1) 시점에 생성한 복수의 이동벡터들을 각각 x축 성분과 y축 성분으로 분리하고, x축 성분들의 표준편차와 상기 y축 성분들의 표준편차를 각각 연산할 수 있다. 여기서, 연산한 결과값들이 (t-1) 시점에서의 x축 표준편차(x-std(t-1))와, y축 표준편차(y-std(t-1))에 해당한다.
이후, 동일한 방식으로 각 시점별 x축 성분들의 표준편차와 y축 성분들의 표준편차를 연산하여, 각각의 시점에서의 x축 표준편차와 y축 표준편차로 설정할 수 있다. 여기서, 생성된 각각의 시점별 x축 표준편차와 y축 표준편차는 이후 1차원 입력으로 판별부(130)로 제공될 수 있다.
한편, 대상동영상(V)의 전체 재생구간의 길이가 특정재생구간의 길이보다 짧은 경우에는 가능한 최대 개수의 프레임만을 추출하였으므로, 1차원 입력의 개수가 부족할 수 있다. 예를들어, 가능한 최대 개수의 프레임의 수가 20개이고, 목표개수가 30개인 경우, 목표개수에 따른 1차원 입력은 [x-std(i=1~29), y-std(i=1~29)]이므로, 1차원입력은 dim(1, 58) 즉, 총 58개의 디멘션이 입력되어야 한다. 그러나, 실제로는 20개의 프레임만이 생성되었으므로, 그에 대응하는 1차원 입력에는 [x-std(i=1~19), y-std(i=1~19)]가 포함될 수 있다. 즉, 1차원 입력의 디멘션(dimenstion)은 dim(1,38)에 해당하므로, 디멘션 차이를 맞추기 위하여, 이동벡터 추출부(120)는 dim(1,38) 이후의 디멘션에 대해 패딩을 수행할 수 있다. 이 경우, 이동벡터 추출부(120)는 0을 입력하거나, 임의의 랜덤값을 입력하는 등 다양한 방식으로 패딩을 수행할 수 있다.
판별부(130)는 미리 학습된 분류모델(C)에 이동벡터의 정보를 입력하여, 대상동영상(V)이 슬라이드 쇼 타입 동영상(V1)에 해당하는지 판별할 수 있다. 여기서, 슬라이드 쇼 타입 동영상(V1)이 아닌 것으로 판별되면 일반 동영상(V2)으로 분류할 수 있다.
판별부(130)가 입력하는 이동벡터의 정보는, 이동벡터 추출부(120)로부터 제공받은 1차원 입력일 수 있으며, 판별부(130)는 1차원 입력을 분류모델(C)에 입력할 수 있다. 이 경우, 분류모델(C)은 1차원 입력에 포함된 각각의 시점별 x축 표준편차 및 y축 표준편차와, 연속하는 시점들 사이의 x축 표준편차와 y축 표준편차의 변화량을 이용하여, 대상동영상(V)이 슬라이드 쇼 타입 동영상(V1)에 해당하는지 판별할 수 있다.
구체적으로, 도9를 참조하면, 슬라이드 쇼 타입 동영상의 경우 각각의 시점별 x축 표준편차 및 y축 표준편차가 일정한 패턴을 가지면서 변화하지만, 일반 동영상의 경우 일정한 패턴이 없음을 확인할 수 있다. 즉, 분류모델(C)은 x축 표준편차 및 y축 표준편차의 변화패턴을 확인하는 방식으로 슬라이드 쇼 타입 동영상(V1)에 해당하는지를 판별하는 것이 가능하다.
여기서, 분류모델(C)에는, 다양한 종류의 슬라이드 쇼 타입 동영상들의 각각의 시점별 x축 표준편차 및 y축 표준편차와, 연속하는 시점들 사이의 x축 표준편차와 y축 표준편차의 변화량들이 미리 학습되어 있을 수 있다. 따라서, 분류모델(C)은 이미 학습된 슬라이드 쇼 타입 동영상들을 각각의 시점별 x축 표준편차 및 y축 표준편차와, 연속하는 시점들 사이의 x축 표준편차와 y축 표준편차의 변화량을, 입력받은 1차원 입력과 비교하여 대상동영상이 슬라이드 쇼 타입 동영상에 해당하는지를 판별할 수 있다.
분류모델(C)은 지도학습(Supervised learing) 기법에 따라 미리 레이블링(labeling)된 복수의 학습동영상들을 DT(Decision Tree), RF(Random Forest), SVM(Support vector machine), DNN(Deep Neural Network) 등의 머신러닝 기법에 따라 학습하여 형성할 수 있다.
구체적으로, 도6에 도시한 바와 같이, 각각의 학습동영상들은 슬라이드쇼 타입 동영상인지 여부와, 슬라이드쇼 타입 동영상인 경우에는 슬라이드 이미지의 개수, 슬라이드 이미지의 이동여부, 특수효과의 포함여부 등을 표시하도록 각각 레이블링(labeling)될 수 있다. 이후, 레이블링된 각각의 학습동영상을 이용하여 분류모델(C)을 학습시킬 수 있다. 실시예에 따라서는, CNN(Convolutioinal Neural Network) 등을 이용하여 생성한 임의의 슬라이드 이미지로, 다양한 종류의 슬라이드 쇼 타입 동영상을 생성한 후, 생성한 슬라이드 쇼 타입 동영상들을 학습시키는 방식으로 분류모델(C)을 생성하는 것도 가능하다.
한편, 도8에 도시한 바와 같이, 본 발명의 다른 실시예에 의한 동영상분류장치(100)는, 이동벡터들을 x축 성분과 y축 성분으로 분리하지 않고, 시간에 따라 변화하는 이동벡터들을 포함하는 3차원 입력을 바탕으로, 해당 대상동영상이 슬라이드 쇼 타입 동영상에 해당하는지 판별하는 것도 가능하다.
즉, 이동벡터 추출부(120)는, 이동벡터들을 x축 성분과 y축 성분으로 분리하여 표준편차를 연산하는 대신에, 각각의 시점별 이동벡터들을 취합하여, 시간에 따라 이동벡터들이 변화하는 3차원 입력을 생성할 수 있다.
이후, 판별부(130)는 3차원 입력을 분류모델(C)에 입력할 수 있으며, 분류모델(C)은 시간에 따른 이동벡터들의 변화를 학습된 변화패턴과 비교하여, 대상동영상이 슬라이드 쇼 타입 동영상에 해당하는지 판별할 수 있다. 여기서, 분류모델(C)은 지도학습 기법에 따라 미리 레이블링된 복수의 학습동영상들을 3D-ResNet, SlowFast, R(2+1)D 등의 3차원 입력을 처리하는 머신러닝 기법, 특히 콘벌루션(convolution) 계열의 기계학습 모델에 따라 학습하여 미리 생성된 것일 수 있다. 즉, 분류모델(C)은 복수의 학습동영상들의 각 시점별 이동벡터들을 추출하여 형성한 3차원 입력들을 학습할 수 있으며, 이를 통하여 슬라이드 타입 동영상에 대응하는 변화패턴과 일반 동영상의 변화패턴을 구별할 수 있다.
도10 및 도11은 본 발명의 일 실시예에 의한 동영상분류방법을 나타내는 순서도이다. 여기서, 본 발명의 일 실시예에 의한 동영상분류방법은 슬라이드 쇼(slide show) 타입 동영상을 일반 동영상으로부터 구별하는 것으로, 실시예에 따라서는 동영상분류장치에 의하여 각각의 단계가 수행될 수 있다.
슬라이드 쇼 타입 동영상은 한 장 이상의 슬라이드 이미지가 표시되는 동영상으로, 동영상 내에서 슬라이드 이미지가 이동하거나, 슬라이드 이미지에 대한 특수효과가 표시되는 경우에도 슬라이드 쇼 타입 동영상에 해당하는 것으로 판단할 수 있다. 여기서, 특수효과는 슬라이드 이미지에 대한 페이드-인(fade-in), 페이드-아웃(fade-out), 줌-인(zoom-in), 줌-아웃(zoom-out), 스티커 부착 등을 포함할 수 있으며, 이외에도 실시예에 따라 다양하게 추가, 변경될 수 있다.
도10을 참조하면, 본 발명의 일 실시예에 의한 동영상분류방법은, 먼저 입력받은 대상 동영상으로부터 복수의 프레임을 추출할 수 있다(S100). 즉, 대상동영상 중에서 특정재생구간을 기준시간간격으로 샘플링하여, 목표개수의 프레임들 추출할 수 있다. 예를들어, 특정재생구간은 대상동영상의 재생시작시점부터 15초까지의 구간으로 설정하고, 기준시간간격은 0.3sec로 설정할 수 있다. 이 경우, 총 50개의 프레임을 추출하여, 슬라이드 쇼 타입 동영상에 해당하는지 판별하도록 할 수 있다.
실시예에 따라서는, 대상동영상의 전체 재생구간의 길이가 특정재생구간의 길이보다 짧은 경우가 있을 수 있다. 이 경우, 전체 재생구간을 기준시간간격으로 샘플링하여 가능한 최대 개수의 프레임을 추출할 수 있다.
대상동영상으로부터 복수의 프레임을 추출한 이후에는, 프레임들 사이의 광흐름(optical flow)을 나타내는 이동벡터를 추출할 수 있다(S200). 여기서, 이동벡터들은 Lucas-Kanade 기법 등을 활용하여 추출할 수 있으며, 추출한 각각의 이동벡터들은 프레임 내에 포함된 객체들의 움직임에 따른 이동량과 이동방향을 나타낼 수 있다. 따라서, 이동벡터들을 이용하여 대상동영상이 슬라이드 쇼 타입 동영상에 해당하는지 판별하는 것이 가능하다.
구체적으로, 도11(a)에 도시한 바와 같이, 복수의 프레임 중에서 연속하는 두 개의 프레임들을 순차적으로 선택할 수 있으며(S211), 선택한 두 개의 프레임에 대응하는 시점별로, 두 개의 프레임 내에 포함된 객체들의 이동량 및 이동방향을 나타내는 복수의 이동벡터들을 추출할 수 있다.
이후, 하나의 시점에서 생성한 복수의 이동벡터들을 각각 x축 성분과 y축 성분으로 분리하고, x축 성분들의 표준편차와 상기 y축 성분들의 표준편차를 연산하여, 해당 시점에서의 x축 표준편차와 y축 표준편차로 설정할 수 있다(S213). 또한, 각각의 시점별로 x축 성분들의 표준편차와 y축 성분들의 표준편차를 동일한 방식으로 연산하여, 각각의 시점에서의 x축 표준편차와 y축 표준편차로 설정할 수 있다(S214).
이동벡터들이 추출된 이후에는, 미리 학습된 분류모델에 이동벡터의 정보를 입력하여, 대상 동영상이 슬라이드 쇼 타입 동영상에 해당하는지 판별할 수 있다(S300). 여기서는, 각각의 시점별 x축 표준편차와 y축 표준편차를 분류모델에 입력할 수 있으며, 분류모델은 각각의 시점별 x축 표준편차 및 y축 표준편차와, 연속하는 시점들 사이의 x축 표준편차와 y축 표준편차의 변화량을 이용하여, 대상동영상이 슬라이드 쇼 타입 동영상에 해당하는지 판별할 수 있다. 이때, 분류모델은 지도학습(supervised learning) 기법에 따라, 미리 레이블링(labeling)된 복수의 학습동영상들을 DT(Decision Tree), RF(Random Forest), SVM(Support vector machine), DNN(Deep Neural Network) 등의 머신러닝 기법으로 학습하여 형성한 것일 수 있다.
한편, 본 발명의 다른 실시예에 의한 동영상분류방법에 의하면, 이동벡터들을 x축 성분과 y축 성분으로 분리하지 않고, 시간에 따라 변화하는 이동벡터들을 포함하는 3차원 입력을 바탕으로, 해당 대상동영상이 슬라이드 쇼 타입 동영상에 해당하는지 판별하는 것도 가능하다. 즉, 도11(b)에 도시한 바와 같이, 이동벡터를 추출하는 단계(S200)에서는 먼저 복수의 프레임 중에서 연속하는 두 개의 프레임들을 순차적으로 선택할 수 있으며(S221), 선택한 두 개의 프레임에 대응하는 시점별로, 두 개의 프레임 내에 포함된 객체들의 이동량 및 이동방향을 나타내는 복수의 이동벡터들을 추출할 수 있다(S222). 이후, 각각의 시점별 이동벡터들을 취합하여, 시간에 따라 상기 이동벡터들이 변화하는 3차원 입력을 생성할 수 있다(S223).
이 경우, 판별하는 단계(S300)에서는, 3차원 입력을 분류모델에 입력할 수 있으며, 분류모델은 시간에 따른 이동벡터들 변화를 학습된 변화패턴과 비교하여, 대상동영상이 슬라이드 쇼 타입 동영상에 해당하는지 판별할 수 있다. 이때, 분류모델은 지도학습 기법에 따라 미리 레이블링된 복수의 학습동영상들을 3D-ResNet, SlowFast, R(2+1)D 등의 3차원 입력을 처리하는 머신러닝 기법에 따라 학습하여 미리 생성된 것일 수 있다. 즉, 분류모델은 복수의 학습동영상들의 각 시점별 이동벡터들을 추출하여 형성한 3차원 입력들을 학습할 수 있으며, 이를 통하여 슬라이드 타입 동영상에 대응하는 변화패턴과 일반 동영상의 변화패턴을 구별할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.
100: 동영상분류장치 110: 프레임추출부
120: 이동벡터 추출부 130: 판별부

Claims (13)

  1. 슬라이드 쇼(slide show) 타입 동영상을 구별하는 동영상분류방법에 있어서,
    입력받은 대상 동영상으로부터 복수의 프레임을 추출하는 단계;
    상기 프레임들 사이의 광흐름(optical flow)을 나타내는 이동벡터를 추출하는 단계; 및
    미리 학습된 분류모델에 상기 이동벡터에 대한 정보를 입력하여, 상기 대상 동영상이 상기 슬라이드 쇼 타입 동영상에 해당하는지 판별하는 단계를 포함하는 것으로,
    상기 이동벡터를 추출하는 단계는
    상기 복수의 프레임 중에서 연속하는 두 개의 프레임들을 순차적으로 선택하는 단계;
    상기 선택한 두 개의 프레임에 대응하는 시점별로, 상기 두 개의 프레임 내에 포함된 객체들의 이동량 및 이동방향을 나타내는 복수의 이동벡터들을 추출하는 단계; 및
    각각의 시점별 이동벡터들을 취합하여, 시간에 따라 상기 이동벡터들이 변화하는 3차원 입력을 생성하는 단계를 포함하는 것을 특징으로 하는 동영상분류방법.
  2. 제1항에 있어서, 상기 슬라이드 쇼 타입 동영상은
    한 장 이상의 슬라이드 이미지가 표시되는 동영상으로, 상기 동영상 내에서 상기 슬라이드 이미지가 이동하거나, 상기 슬라이드 이미지에 대한 특수효과가 표시되는 것을 특징으로 하는 동영상분류방법.
  3. 제2항에 있어서, 상기 특수효과는
    상기 슬라이드 이미지에 대한 페이드 인(fade-in), 페이드 아웃(fade-out), 줌인(zoom-in), 줌아웃(zoom-out) 및 스티커 부착 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 동영상분류방법.
  4. 제1항에 있어서, 상기 프레임을 추출하는 단계는
    상기 대상동영상 중에서 특정재생구간을 기준시간간격으로 샘플링하여, 목표개수의 프레임들 추출하는 것을 특징으로 하는 동영상분류방법.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 제1항에 있어서, 상기 판별하는 단계는
    상기 3차원 입력을 상기 분류모델에 입력하고, 상기 분류모델은 시간에 따른 상기 이동벡터들의 변화가 학습된 변화패턴과 비교하여, 상기 대상동영상이 상기 슬라이드 쇼 타입 동영상에 해당하는지 판별하는 것을 특징으로 하는 동영상분류방법.
  11. 제10항에 있어서, 상기 분류모델은
    지도학습 기법에 따라 미리 레이블링(labeling)된 복수의 동영상들을 3D-ResNet, SlowFast, R(2+1)D 중 적어도 어느 하나의 3차원 입력을 처리하는 머신러닝 기법에 따라 학습하여 형성한 것을 특징으로 한 동영상분류방법.
  12. 하드웨어와 결합되어, 제1항 내지 제4항, 제10항 및 제11항 중 어느 한 항의 동영상분류방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
  13. 슬라이드 쇼(slide show) 타입 동영상을 구별하는 동영상분류장치에 있어서,
    입력받은 대상 동영상으로부터 복수의 프레임을 추출하는 프레임추출부;
    상기 프레임들 사이의 광흐름(optical flow)를 나타내는 이동벡터를 추출하는 이동벡터 추출부; 및
    미리 학습된 분류모델에 상기 이동벡터에 대한 정보를 입력하여, 상기 대상동영상이 상기 슬라이드 쇼 타입 동영상에 해당하는지 판별하는 판별부를 포함하는 것으로,
    상기 이동벡터 추출부는
    상기 복수의 프레임 중에서 연속하는 두 개의 프레임들을 순차적으로 선택하고, 상기 선택한 두 개의 프레임에 대응하는 시점별로, 상기 두 개의 프레임 내에 포함된 객체들의 이동량 및 이동방향을 나타내는 복수의 이동벡터들을 추출한 후, 각각의 시점별 이동벡터들을 취합하여, 시간에 따라 상기 이동벡터들이 변화하는 3차원 입력을 생성하는 것을 특징으로 하는 동영상분류장치.
KR1020190171078A 2019-12-19 2019-12-19 동영상분류장치 및 동영상분류방법 KR102296318B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190171078A KR102296318B1 (ko) 2019-12-19 2019-12-19 동영상분류장치 및 동영상분류방법
JP2020210439A JP7159274B2 (ja) 2019-12-19 2020-12-18 動画像分類装置及び動画像分類方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190171078A KR102296318B1 (ko) 2019-12-19 2019-12-19 동영상분류장치 및 동영상분류방법

Publications (2)

Publication Number Publication Date
KR20210079028A KR20210079028A (ko) 2021-06-29
KR102296318B1 true KR102296318B1 (ko) 2021-09-01

Family

ID=76541987

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190171078A KR102296318B1 (ko) 2019-12-19 2019-12-19 동영상분류장치 및 동영상분류방법

Country Status (2)

Country Link
JP (1) JP7159274B2 (ko)
KR (1) KR102296318B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012015903A (ja) * 2010-07-02 2012-01-19 Nec Corp サーバ装置、移動ベクトル検出方法及びプログラム
JP2019216354A (ja) 2018-06-13 2019-12-19 株式会社Ｊｖｃケンウッド 映像信号検出装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09181951A (ja) * 1995-12-25 1997-07-11 Canon Inc 映像入力装置
JP2008278347A (ja) * 2007-05-02 2008-11-13 Nikon System:Kk 画像表示システム
JP5321033B2 (ja) * 2008-12-11 2013-10-23 ソニー株式会社 表示装置及び表示装置の駆動方法
JP5421627B2 (ja) * 2009-03-19 2014-02-19 キヤノン株式会社 映像データ表示装置及びその方法
JP2016201617A (ja) * 2015-04-08 2016-12-01 シャープ株式会社 動画像再生装置および方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012015903A (ja) * 2010-07-02 2012-01-19 Nec Corp サーバ装置、移動ベクトル検出方法及びプログラム
JP2019216354A (ja) 2018-06-13 2019-12-19 株式会社Ｊｖｃケンウッド 映像信号検出装置

Also Published As

Publication number Publication date
JP2021099806A (ja) 2021-07-01
KR20210079028A (ko) 2021-06-29
JP7159274B2 (ja) 2022-10-24

Similar Documents

Publication Publication Date Title
US12014542B2 (en) Selecting and presenting representative frames for video previews
US10528821B2 (en) Video segmentation techniques
JP5510167B2 (ja) ビデオ検索システムおよびそのためのコンピュータプログラム
US8457469B2 (en) Display control device, display control method, and program
US6587574B1 (en) System and method for representing trajectories of moving objects for content-based indexing and retrieval of visual animated data
JP2009095013A (ja) ビデオ要約システムおよびビデオ要約のためのコンピュータプログラム
US20120057775A1 (en) Information processing device, information processing method, and program
Sreeja et al. Towards genre-specific frameworks for video summarisation: A survey
Mahrishi et al. Index point detection and semantic indexing of videos—a comparative review
US11263493B2 (en) Automatic metadata detector based on images
CN111209897A (zh) 视频处理的方法、装置和存储介质
US20230140369A1 (en) Customizable framework to extract moments of interest
Sharma et al. Automatic analysis of broadcast football videos using contextual priors
Helm et al. Shot boundary detection for automatic video analysis of historical films
González-Díaz et al. Temporal segmentation and keyframe selection methods for user-generated video search-based annotation
Leibetseder et al. Sketch-based similarity search for collaborative feature maps
KR102296318B1 (ko) 동영상분류장치 및 동영상분류방법
JP4995770B2 (ja) 画像辞書生成装置，画像辞書生成方法，および画像辞書生成プログラム
CN109299389B (zh) 一种旅游景点推荐方法及装置
Ainasoja et al. Keyframe-based Video Summarization with Human in the Loop.
Marvaniya et al. Real-time video summarization on mobile
Fukusato et al. Computational cartoonist: A comic-style video summarization system for anime films
Rodrigo et al. Automatic highlight detection in videos of martial arts tricking
Burget et al. Supervised video scene segmentation using similarity measures
Xu et al. Automatic generated recommendation for movie trailers

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant