KR100260005B1 - 동영상 하이퍼 미디어 시스템 - Google Patents

Abstract

본발명은 동영상 하이퍼 미디어 시스템(Moving Picture Hypermedia System)에 관한 것으로서, 특히 동적 미디어에 앵커를 설치하고 처리하는 시스템에 관한 것이다.

종래의 하이퍼 미디어 시스템은 정지화상과 같은 정적 미디어에 앵커를 설치하고 있으며, 일반적으로 동영상에 앵커를 설치하고 있지 않다.

본발명은 대화형 멀티미디어 시스템으로서, 특히 동적 미디어에 앵커를 설치하고 처리하는 시스템에 관한 것으로서, 동영상의 프레임을 숏(shot) 단위로 구분하여 숏의 처음과 끝에 앵커를 설치함과 함께 그 중간의 프레임 앵커는 보간법을 이용해서 자동적으로 앵커의 설치와 처리가 이루어질 수 있도록 한 동적 멀티미디어에 대한 하이퍼 미디어 시스템을 제공한다.

Description

동영상 하이퍼 미디어 시스템

본발명은 대화형 멀티미디어 응용 기술을 위한 동영상 앵커처리 기술에 관한 것으로서, 동적 미디어에 앵커(anchor)를 설치하고 이것을 처리할 수 있도록 한 동영상 하이퍼 미디어 시스템(Moving Picture Hypermedia System)에 관한 것이다.

종래에 하이퍼미디어 시스템은 정적 미디어와 동적 미디어에 대한 하이퍼 미디어 시스템으로 구분할 수 있는데, 시간의 변화에 따라 내용의 변화가 없는 모노 미디어와 시간의 변화가 미디어의 출력에 영향을 미치는 동적 미디어 시스템이 그것이다.

정적 미디어 시스템으로서 하이퍼텍스트를 들 수 있으며, 동적 미디어 시스템으로서는 동영상을 들 수 있고, 일반적으로 정지화상과 같은 정적 미디어에 앵커를 설치하고 처리하는 기술은 그 기술의 용이성으로 인하여 다양한 방법들이 널리 알려지고 있으나 동적 미디어로서 동영상에 앵커를 설치하고 있지는 못하다.

동영상에 앵커를 설치하고 처리하는 종래의 기술에 관련된 연구로는, (1) 1996년 포항공대 산업공학과의 곽지영, 김미정, 한성호가 제시한 "하이퍼미디어 시스템에서 동영상 노드의 앵커구현",[Proceedings of HCI'96 학술대회, 1996,pp.145-149], (2) H.P.Brondmo and G.Davenport, "Creating and viewing the Elastic Charles: a hypermedia jounal," hypertext: State of the Art, Intellect Limited, 1990, pp43-51., (3) M.Palaniappan, N.Yankelovice, and M.Sawtell, "Linking Active Anchors: A Stage in the Evolution of Hypermedia,"Hypermidea, Vol.2 No.1,1990, pp47-66., (4) J.Geissler, "Surfing the Movie Space: Advanced Navigation in Movie-Only Hypermedia," Proceedings of ACM Multimedia'95,1995,pp.391-400. 등이 있다.

위 연구들에서 포항공대의 연구는 동영상에 적합한 앵커의 구현방법을 알아내기 위하여 앵커의 종류와 앵커의 시각화를 같이 나타내는 변수인 앵커표시방법과 화면당 앵커의 수로 정의한 시스템 복잡성의 두가지 변수에 대한 인간공학적 실험의 수행결과로서, 동영상에서의 앵커의 구현은 정보검색의 용이성을 위해서 화면당 앵커의 수는 적게 유지해 주는 것이 좋으며, 특히 한 장면에서 너무 많은 앵커가 제시되는 경우는 피해야 된다고 주장하였다.

한 화면당 앵커의 수를 줄일 수 없을 때에는 객체부각(object highlight)이나 앵커를 다른 화면에서 처리하는 기법들은 피하는 것이 좋다고 지적하였으며, 또한 동영상의 특징을 감안하여 일시정지 기능을 제공해 주는 것이 바람직함을 제시하였다.

다른 연구로서 MIT 미디어 실험실에서는 동적링크(dynamic link)라는 개념의 접근방법을 제안하였으며, 이와 유사한 연구가 Palaniappan에 의해서도 제안되었고, Geissler는 동영상만으로 이루어진 하이퍼미디어 시스템에서 앵커를 다는 문제를 기술하고 그 해결방안을 제시하였으나, 동영상에서 앵커를 단다는 문제에서는 앵커의 다양성에 대한 언급이 미흡하고 앵커를 구현할 때에 발생하는 문제점들에 대한 해결책은 제시하지 못하고 있다.

알려진 바와 같이, 정적 미디어는 시간에 따라 내용이 변하지 않기 때문에 정적미디어에서 앵커를 달고 링크를 연결하는 것은 대상객체의 공간적 위치를 기억하였다가 사용자가 마우스 등을 이용해서 그 위치를 지정하였을 때 해당하는 링크를 활성화시키면 된다.

그러나, 동적 미디어는 대상객체가 시간에 따라 위치이동하게 되므로 앵커의 공간적 위치가 시간이 지남에 따라 변하는 문제가 발생되므로, 동영상에서 앵커를 처리하기 위해서는 첫째, 움직이는 대상객체에 앵커를 달 때 사용자가 마우스의 움직임 등을 바탕으로 앵커를 인식하거나 지정하거나 처리하는 문제와, 둘째 매 프레임마다 앵커를 달게 되므로 대상객체가 움직이는 매 프레임마다 앵커를 정의해 주어야 하는데 이를 사람이 직접 달기에는 지루하고 많은 시간이 걸리는 문제점과, 셋째 매 프레임마다 정의된 앵커정보는 동영상 전체로 볼 때 적지 않은 정보량을 갖게 되므로 이를 절약할 수 있어야 하는 문제점이 그것이다.

본발명에서는 이러한 문제점을 감안하여 동영상에 앵커를 설치하고 이것을 처리하는 기술을 제시하고자 한다.

본발명은 동적 미디어에 앵커를 달고 이것을 처리하는 시스템을 제공하며, 특히 동영상에 앵커를 설치하는 기술과, 이 설치된 앵커의 편집기능과, 앵커가 설치된 동영상 시스템의 재생기술을 제공하고자 한다.

본발명은 특히 동영상에 앵커를 달고 이것을 처리하는 동영상 하이퍼 미디어 시스템을 제공하고자 한다.

도1A는 본발명의 동영상 하이퍼 미디어 시스템에서의 내부데이타 구조

도1B는 본발명의 동영상 하이퍼 미디어 시스템에서의 동영상 JPEG화일의 데이터구조

도2는 본발명에서 앵커의 설정과정을 나타낸 플로우차트

도3은 본발명에서 앵커의 재생과정을 나타낸 플로우차트

본발명의 동영상 하이퍼 미디어 시스템에서 앵커의 정의도구와 재생도구의 구현은 C++언어이며, 하드웨어는 SparcStation의 SunVideo 보드를 이용하였다.

SunVideo보드는 JPEG을 기반으로 동영상을 인코딩/디코딩해 주며 음성처리는 SparcStation에 내장된 음성처리기능을 이용하였다.

앵커정보와 링크의 이름은 동영상 JPEG화일에 삽입되어 출력되며 재생도구를 작성하는데 도움이 되도록 C언어의 헤더화일에 링크의 이름을 저장하여 출력하였다.

동영상에서 앵커를 지원하기 위하여 동영상을 포함하는 하이퍼 미디어 시스템을 만들기 전에 일단 앵커정보를 설정해야 하고, 이때 앵커의 모양, 앵커표시 프레임의 선정, 설정된 앵커정보의 저장에 대하여 고려하며, 도1A, 도1B는 본발명에서 정의한 앵커정보의 데이타구조를 나타내고, 도2는 앵커설정과정을 나타내며, 도3은 앵커정보의 재생과정을 각각 나타낸다.

이하, 도1A 내지 도3을 참조하여 본발명의 동영상 하이퍼 미디어 시스템을 설명하며, 예제로서 동영상에 앵커를 설치하고 이것을 처리하는 것에 대하여 설명한다.

[1] 앵커의 모양

대상객체를 지정했을 때 정확히 지정할 수 있도록 앵커의 모양을 정형 앵커와 비정형 앵커로 분류하였다.

정형앵커는 사각형, 원, 타원 등과 같이 정해진 모양을 가지면서 크기만 다른 것이고, 비정형 앵커는 다각형 또는 대상객체의 외곽경계 그 자체를 앵커의 모양으로 하는 것과 같이 대상객체의 형태에 의존성이 높은 경우이다.

앵커의 모양은 대상객체를 지정하는 정밀도를 나타내는 해상도나 앵커표시정보의 양에 영향을 미치므로 2가지를 적절하게 고려하여 선정하며, 응용분야에 따라 선별적으로 결정한다.

[2] 앵커표시 프레임의 선정

앵커표시 프레임은 프레임 사이의 유사성(시간적 중복성)에 근거하여 선정하는데 본발명에서는 카메라가 단속없이 찍은 연속적인 영상들의 단위로 처리할 수 있는 숏(shot)에 근거하여 앵커표시 프레임을 선정하였다.

이와 같이, 앵커표시 프레임을 선정하면 프레임마다 앵커정보를 주지 않고 처리할 수 있으므로 정보의 양을 줄이면서 필요한 적재적소에 앵커를 설치할 수 있다.

즉, 어떤 프레임에서 앵커정보를 주고(숏의 시작 프레임), 그 프레임과 유사한 프레임들은 건너뛰며, 그 프레임과 유사한 최종 프레임(숏의 최종 프레임)에 다시 앵커정보를 준다.

그리고, 그 중간의 프레임들에 대해서는 첫 프레임과 최종 프레임의 앵커정보를 이용해서 추정한다.

예를 들면 보간(interpolation)법을 이용해서 중간 프레임에 대한 앵커를 처리하는 것이다.

이것은, 동영상을 구성하는 프레임의 유사성을 숏에 근거해서 찾아냄으로써, 대상객체의 이동이 적고, 또 이동이 있더라도 일정한 속도를 가지기 때문에 대상객체의 위치를 추정하기 용이한 것에 착안하여, 숏의 시작 프레임과 최종 프레임에 앵커정보를 주고 그 중간의 프레임들은 두 대표 프레임(숏의 시작과 최종 프레임)의 앵커정보들로부터 보간법을 이용해서 앵커의 위치와 앵커의 크기를 추정함으로써 정보량을 줄이면서도 적재적소의 필요한 곳에 앵커를 단 것과 같은 최대한의 효과를 확보하게 한다.

[3] 앵커정보의 저장

위와 같이 얻어진 앵커정보들은 파일에 저장되어 출력되는데, 이때 동영상 데이타와 같은 화일에 저장하면 동영상 데이타 처리 표준화일들의 순수성 손상의 우려를 감수해야 하고, 별도의 화일로 저장하는 경우에는 화일의 관리시에 항상 영상데이타와 앵커데이타의 2개의 화일을 함께 처리해야 하는 불편함을 감수해야 한다.

[4] 앵커정보의 입력

하이퍼미디어 시스템에서 앵커정보를 읽어들일 때 시스템 초기화시에 모든 앵커정보를 한꺼번에 읽어들이거나, 동영상을 출력하는 중간중간에 필요한 앵커정보를 읽어들일 수 있다.

전자의 경우는 앵커정보의 양이 많을 경우 메모리 부담이 커지고, 후자의 경우는 동영상을 복원하고 출력하는 과정에서 앵커정보의 처리를 위한 자원을 차지함으로써 원활한 출력을 방해할 우려가 있다.

앵커정보를 입력하는 시점은 앵커정보를 화일에 저장하는 양식과도 관계가 깊은데, 앵커정보를 동영상 화일의 해당 프레임과 같은 위치에 저장한다면 동영상을 읽는 과정에서 자연스럽게 앵커정보가 읽혀질 것이다.

본발명에서는 도1A 및 도1B에 나타낸 바와 같이, 동영상 화일의 헤더에 앵커정보와 링크의 이름을 저장하여 출력한다.

JPEG화일은 사용자의 필요에 따라 부가적인 정보를 저장할 수 있도록 허용하므로, 이미지 정보의 전단에 앵커정보를 삽입할 수 있다.

JPEG 표준에서는 FFE0부터 FFFF까지를 사용자 정의용으로 지정하고 있으므로 그 중의 임의의 수를 선택할 수 있고, 앵커정보가 큰 경우에는 후속하는 내용을 FFE0로 시작되는 별도의 블럭에 필요한 만큼 연속적으로 저장하면 된다.

이렇게 화일구조를 잡게 되면 이 화일을 일반적인 JPEG 재생기에서도 출력할 수 있는 잇점이 따른다.

[5] 앵커 존재 표시방법

하이퍼미디어 시스템에서 동영상이 출력되고 있을 때 앵커의 존재여부를 표시하는 방법으로는 앵커존재 위치를 항상 들어나게 하는 명시적인 방법, 동영상 경계 밖에 앵커존재를 알리는 아이콘을 두는 방법, 사용자가 커서를 동영상 안으로 움직였을 때 앵커를 표시하거나 동영상을 정지시키면 앵커를 명시하는 방법, 그리고 전혀 앵커를 표시하지 않고 사용자의 추측에 의해 앵커를 선택하도록 하는 방법을 들 수 있다.

명시적인 방법이나 별도의 아이콘을 두는 방법은 앵커존재를 분명하게 해 주는 장점이 있으나 앵커량이 많을 경우 혼란스럽게 된다는 부담이 있다.

그러므로 본발명에서는 암시적인 방법으로 앵커 존재를 표시하는 것이 좋다는 포항공대의 산업공학적인 실험결과를 인용한다.

[본발명에 의한 동영상 앵커의 설정과정]

위와 같이 본발명에서는 앵커의 모양을 응용의 종류에 따라 정형화된 것과 그렇지 않은 것으로 지원할 수 있게 하였고, 앵커표시 프레임은 기본적으로 모든 프레임마다 앵커를 달 수 있지만 동영상 프레임의 유사성에 근거하여 최초와 최종의 두 프레임을 대표 프레임으로 하여 앵커를 설치하고, 그 중간의 프레임들에 대해서는 보간법을 이용해서 앵커의 위치와 크기를 추론해 내며, 앵커의 저장은 JPEG 화일의 헤더에 사용자 정의영역을 이용해서 저장하였다.

도2는 이 과정을 나타낸다.

즉, 동영상을 읽어들이고(화일 오픈), 프레임의 유사성에 근거하여 다음 숏을 찾아서 유사성 최종 프레임인 경우 설정된 앵커정보를 화일헤더에 저장하고, 그렇지 않으면 숏의 첫번째 프레임에 앵커를 설정하여 마지막 프레임에는 자동으로 앵커를 설정해 준다.

그리고, 최종 프레임의 앵커 설정이 이루어지지 않았다면 최종 프레임의 앵커위치를 수정하고 숏 사이의 중간 프레임들에 대해서 앵커를 설정하되, 중간 프레임들에서 앵커 설정이 어려운 경우에는 앵커 설정위치가 가장 많이 틀린 프레임을 기준으로 숏을 둘로 나누어서 나뉘어진 첫번째 숏의 최초, 최종 프레임에 앵커를 달고, 나뉘어진 두번째 숏의 최초, 최종 프레임에 앵커를 달아 줌으로써, 동영상에 앵커정보를 설치하는 것이다.

[링크 편집기]

링크 편집기는 앵커 정의도구에서 정의된 앵커를 부착한 동영상 화일과 관련 정보를 읽어들여 앵커마다 필요한 정보를 링크할 수 있도록 하는 것이다.

링크되는 정보는 일반적인 하이퍼미디어 형태를 가진다.

링크 편집기는 동영상 화일을 적재하거나 폐쇄하는 기능 및 전체 프로그램의 수행을 종료하는 기능을 가지는 화일 관련기능과, 동영상 화일 적재시에 정의된 앵커에 따라 하나씩 링크 정보를 덧붙여 가는 앵커 관련 기능, 링크 편집기능으로 구성된다.

링크관련 기능은 순차적인 방법과 비순차적인 방법으로 수행될 수 있다.

순차적인 편집을 위해서는 화면이 순차적으로 출력되면서 해당 화면의 앵커를 모두 별도의 아이콘으로 나타내고, 사용자가 현재 앵커에 대한 정보를 편집하고자 하는 경우 편집 기능을 선택하게 되며 그렇지 않으면 다음 앵커로 진행한다.

비순차적인 편집으로 위해서는 전체 앵커 목록정보의 출력과 선택 기능이 주어지며, 편집하고자 하는 앵커를 선택하면 그 앵커가 처음 정의된 프레임이 화면으로 출력되며, 역시 해당 화면의 앵커가 모두 아이콘으로 나타나도록 하였다.

링크 편집기능은 일반적인 하이퍼미디어의 정보의 편집기능을 모두 갖추도록 하였다.

또한, 앵커에서 정보로 가는 링크 뿐만 아니라, 링크된 정보에서부터 화면상의 또다른 앵커로 링크될 수 있도록 한다.

대표적인 하이퍼 미디어 정보는 HTML문서이며, 그 외에 여러가지 양식의 하이퍼 화일을 만들 수 있다.

[동영상 하이퍼 미디어 재생기]

위와 같이 하여 동영상 하이퍼 미디어 시스템의 저작도구에 의해 앵커 및 그 관련 정보들이 구축된 화일-동영상 타이틀-을 재생하기 위한 동영상 재생기를 구현한다.

이것의 구현은 이미 설명한 바와 같이, C++언어, SunVideo보드를 이용한다.

이 과정은 도3에 나타낸다.

동영상 및 앵커정보를 읽어들이고, 동영상을 플레이한다.

이때, 사용자에 의한 마우스 클릭을 판단한다.

마우스 클릭이 있는 경우 몇번째 프레임인지를 검사하여 그 프레임, 그 위치에 앵커가 정의되어 있는지를 검사한다.

앵커가 정의되어 있다면 앵커에 연결된 처리루틴을 호출하여 해당 정보를 디스플레이함으로써 해당 정보를 제공해 준다.

본발명의 동영상 하이퍼 미디어 시스템에 의하면 동영상에 앵커를 부착하고 이 것을 재생할 수 있게 되었다.

그러므로 기존의 동영상 저작물의 부가가치의 향상은 물론, 문서, 도움말 등의 동영상처리와 함께 그 하이퍼 미디어 구조화는 물론, 교육용 교재와 하이퍼 박물관 등의 응용을 가능하게 한다.

또한, 여행 안내서나 풍물 기행기, 광고와 홍보용 저작물의 동영상 처리를 가능하게 한다.

Claims (5)

1. 동영상을 읽어 들여 프레임의 유사성에 근거한 단위로 앵커를 설정하는 과정과, 상기 설정된 앵커정보를 화일에 저장하는 과정과, 상기 앵커설정 동영상을 재생하면서 마우스 클릭이 일어난 위치의 동영상에 대한 앵커 존재여부를 검색하는 과정과, 상기 검색결과 앵커가 정의되어 있는 프레임의 경우 해당 앵커정보를 읽어서 출력하는 과정으로 이루어짐을 특징으로 하는 동영상 하이퍼 미디어 시스템.
2. 제1항에 있어서, 상기 앵커가 설정되는 프레임은 프레임의 유사성을 검색하여 숏단위로 최초, 최종 프레임에 앵커정보를 설정하고 그 중간 프레임들에 대해서는 보간법으로 앵커의 위치와 크기를 검색함을 특징으로 하는 동영상 하이퍼 미디어 시스템.
3. 제1항에 있어서, 설정되는 앵커는 정형화된 앵커와 비정형화된 앵커로 설정됨을 특징으로 하는 동영상 하이퍼 미디어 시스템.
4. 제1항에 있어서, 앵커정보는 동영상 처리를 위한 JPEG화일 헤더에 적재됨을 특징으로 하는 동영상 하이퍼 미디어 시스템.
5. 제2항에 있어서, 상기 숏의 중간 프레임에 대한 앵커 설정에 곤란성이 따르는 경우에는 가장 많이 틀린 프레임을 기준으로 숏을 복수개로 분리하여 분리된 각각의 것에 대하여 최초, 최종 프레임을 대표로 하는 앵커를 설정함을 특징으로 하는 동영상 하이퍼 미디어 시스템.