KR102215256B1 - 동기화된 음성과 동작을 지원하는 멀티미디어 저작 장치 및 그 방법 - Google Patents

동기화된 음성과 동작을 지원하는 멀티미디어 저작 장치 및 그 방법 Download PDF

Info

Publication number
KR102215256B1
KR102215256B1 KR1020190147624A KR20190147624A KR102215256B1 KR 102215256 B1 KR102215256 B1 KR 102215256B1 KR 1020190147624 A KR1020190147624 A KR 1020190147624A KR 20190147624 A KR20190147624 A KR 20190147624A KR 102215256 B1 KR102215256 B1 KR 102215256B1
Authority
KR
South Korea
Prior art keywords
clip
syllable
motion
voice
timeline
Prior art date
Application number
KR1020190147624A
Other languages
English (en)
Inventor
김대승
Original Assignee
주식회사 인공지능연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인공지능연구원 filed Critical 주식회사 인공지능연구원
Priority to KR1020190147624A priority Critical patent/KR102215256B1/ko
Priority to US16/703,857 priority patent/US10885943B1/en
Application granted granted Critical
Publication of KR102215256B1 publication Critical patent/KR102215256B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G10L15/05—Word boundary detection
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G10L2015/027—Syllables being the recognition units

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

컴퓨터 프로그램으로 구현되는, 멀티미디어 콘텐츠 저작 도구에 관한 기술이 개시된다. 음성 클립을 타임 라인 상에 표시하되, 음절 단위의 재생 시점과 그 음절의 발음 정보가 표시된다. 또 그 음절 단위의 재생 시점에 기초하여 모션 클립이 음성 클립에 동기화 편집될 수 있다. 음성 클립의 음절을 타임 라인상에서 이동시킴에 의해, 음성 클립의 일부를 변조시킬 수 있다.

Description

동기화된 음성과 동작을 지원하는 멀티미디어 저작 장치 및 그 방법{multimedia authoring apparatus with synchronized motion and voice feature and method for the same}
컴퓨터 그래픽, 특히 컴퓨터 프로그램으로 구현되는, 멀티미디어 콘텐츠 저작 도구에 관한 기술이 개시된다.
음성과 모션을 포함하는 멀티미디어 콘텐츠는 멀티미디어 재생기의 입력이 된다. 멀티미디어 재생기는 음성 클립을 재생하면서 모션 클립에 포함된 시각 정보를 참조하여, 예를 들면 3차원으로 모델링된 아바타의 움직임을 제어하여 모션을 연출한다. 모션 클립은 아바타의 관절을 경계로 나뉜 신체 부분들의 시각별 위치 혹은 움직임을 벡터의 움직임이나 좌표로 표시하며, 시각과 위치 정보를 포함하여 구성된다고 볼 수 있다.
아바타의 동작을 좀 더 현실감 있게 연출하기 위해서는 음성과 모션의 섬세한 동기화가 요구된다. 2001.03.20.자 발행된 미국특허6,204,840호는 스토리라인 스트립(storyline strip) 상에 멀티미디어 데이터 세그먼트들을 드래그하여 멀티미디어 파일을 생성(produce)하는 기술을 개시하고 있다. 그러나 이 선행기술은 영상과 음성의 음절 수준 동기화에는 착상이 미치지 못하고 있다.
1999.10.05.자 등록된 한국특허 제236,974호에서 개시된 바와 같이, TTS(text-to-speech conversion system)에서 영상 신호의 입술 움직임에 동기화하여 음성을 재생하는 기술들이 알려져 있다. 이러한 기술은 영상에서 입술의 움직임 시각과 지속시간 정보를 이용하여 합성음의 합성을 제어하는 접근을 가지고 있다. 이러한 영상 주도의 음성 동기화는 음성의 부자연스러운 재생을 초래하며, 이미 만들어진 음성 클립에는 적용할 수 없다는 한계가 있다.
제안된 발명은 모션과 음성의 자연스러운 동기화 재생이 가능한 멀티미디어 콘텐츠 저작 기술을 제공하는 것을 목적으로 한다.
나아가 제안된 발명은 모션과 음성의 동기화된 저작을 편리하게 할 수 있는 사용자 인터페이스를 제공하는 것을 목적으로 한다.
더 나아가 제안된 발명은 모션과 동기화되면서 자연스럽게 음성을 재생할 수 있는 멀티미디어 저작 기술을 제공하는 것을 목적으로 한다.
제안된 발명의 일 양상에 따르면, 타임 라인 상에서 편집하는 음성 클립을 표시하되, 음절 단위의 재생 시점이 표시된다.
추가적인 양상에 따라 음절 단위의 재생 시점에 기초하여 모션 클립이 음성 클립에 동기화 편집될 수 있다.
추가적인 양상에 따르면, 음절별 재생 시점은 음성 클립을 음성 인식하여 자동적으로 추출될 수 있다.
추가적인 양상에 따르면, 음성 클립의 음절을 타임 라인상에서 이동시킴에 의해, 음성 클립의 일부를 변조시킬 수 있다. 모션에 따라 음절 단위로 변조함으로써, 자연스러운 연출이 가능할 수 있다.
제안된 발명에 따라, 음성 클립의 음절 단위로 모션을 동기화시켜 편집할 수 있다. 타임 라인 상에서 모션 클립 아이콘을 드래그함으로써 모션 클립을 저작자가 의도하는 가장 적절한 시점에서 음성 클립과 동기화시킬 수 있다. 나아가 음성 클립의 음절을 표시하는 아이콘을 드래그함으로써 모션을 고려하여 음성의 재생을 변조함으로써 자연스러운 동기화 연출이 달성될 수 있다.
도 1과 도 2는 제안된 발명의 일실시예에 따른 사용자 인터페이스를 도식적으로 설명하는 도면이다.
도 3은 일 실시예에 따른 멀티미디어 저작 방법의 구성을 도시한 흐름도이다.
도 4는 도 3에서 일 실시예에 따른 음성 클립 입력 단계의 구성을 도시한 흐름도이다.
도 5는 일 실시예에 따른 모션 클립 입력 단계의 구성을 도시한 흐름도이다.
도 6은 일 실시예에 따른 음성 클립 편집 단계의 구성을 도시한 흐름도이다.
도 7은 일 실시예에 따른 멀티미디어 저작 장치의 구성을 도시한 블록도이다.
전술한, 그리고 추가적인 양상들은 첨부된 도면을 참조하여 설명하는 실시예들을 통해 구체화된다. 각 실시예들의 구성 요소들은 다른 언급이나 상호간에 모순이 없는 한 실시예 내에서 다양한 조합이 가능한 것으로 이해된다.
도 1과 도2는 제안된 발명의 일실시예에 따른 사용자 인터페이스를 도식적으로 설명하는 도면이다. 도 1에 도시된 예는 단지 예시적인 것으로 제안된 발명의 이해를 돕기 위한 것이며 특허 청구항에 기재된 특정한 기능의 설명으로 이해되어야지 구성에 대한 한정으로 이해되어서는 안된다.
도시된 바와 같이, 일실시예에 따른 사용자 인터페이스의 출력 화면은 음성 클립과 모션 클립을 입력하기 위한 타임 라인들(151,153,155)과, 음성 클립 데이터베이스에서 음성 클립을 검색하거나 추출하기 위한 음성 클립 선택 메뉴(141,143)와, 모션 클립 데이터베이스에서 모션 클립을 검색하거나 추출하기 위한 모션 클립 선택 메뉴(161,163)와, 편집 중인 멀티미디어 콘텐츠에서 사용자가 선택한 타임 라인 상의 구간 부분을 재생하여 출력하는 미리보기 메뉴(121,123)를 포함할 수 있다. 타임 라인은 음성 클립 아이콘(110)을 입력하기 위한 타임 라인(151)과, 음성 클립(110)에 포함된 각각의 음절의 타임 라인 상의 재생 시점을 표시하는 음절 표시 아이콘들(110-1,…,110-5)을 출력하기 위한 타임 라인(153)과, 모션 클립 아이콘(130)을 입력하기 위한 타임 라인(155)을 포함한다. 도시된 실시예에서 타임 라인은 음성 클립, 모션 클립, 음절 표시 부분을 별도로 구비하고 있으나 이들 전부 혹은 일부가 통합되어 하나 혹은 둘이 될 수도 있다.
사용자는 먼저 음성 클립 선택 버튼(141)을 마우스로 클릭하여 음성 클립 데이터베이스에서 음성 클립을 검색하거나 추출할 수 있다. 예를 들어 음성 클립 선택 버튼(141)을 클릭하면 음성 클립 UI 윈도우(143)가 활성화되고 음성 클립 UI 윈도우(143)의 키워드 입력 필드에 키워드를 입력하면 관련된 음성 클립들의 내용과 속성이 리스트로 제공된다. 출력 리스트는 음성 클립 UI 윈도우(143) 또는 다른 윈도우, 예를 들면 출력 윈도우(123)에 표시될 수 있다. 예를 들면 리스트에는 음성 클립의 내용인 텍스트와, 화자가 여성인지 남성인지, 밝은 목소리/정중한 목소리 등의 속성 정보를 포함할 수 있다. 또 다른 예로, 아바타가 정해지면 사용자는 음성 클립 UI 윈도우(143)의 검색 제한 필드들에 특정한 속성들을 미리 한정하고 그 속성을 가진 리스트만을 검색할 수도 있다.
사용자가 리스트에서 특정한 음성 클립을 선택하면, 해당 음성 클립이 추출되고, 그 음성 클립의 음성 클립 아이콘이 타임 라인(151)의 기본 위치, 예를 들면 마지막으로 입력된 음성 클립 아이콘의 바로 다음 단위 시간대에 등장할 수 있다. 사용자는 타임 라인(151) 상에서 본인이 원하는 적절한 시점의 위치로 그 음성 클립 아이콘(110)을 마우스로 드래그하여 이동시킬 수 있다.
제안된 발명의 일 양상에 따라, 음성 클립이 선택되면, 멀티미디어 저작 장치는 그 음성 클립에 포함된 각각의 음절 정보와, 그 음절의 재생 시점을 결정하여 그 음절의 발음 정보를 표시하는 음절 표시 아이콘들(110-1,…,110-5)을 타임 라인(153) 상에 표시한다.
이후에, 사용자는 표시된 음절 표시 아이콘들(110-1,…,110-5)로부터 모션 클립의 적절한 재생 시점을 판단하여 모션 클립을 편집한다. 사용자는 모션 클립 선택 버튼(161)을 마우스로 클릭하여 모션 클립 데이터베이스에서 모션 클립을 검색하거나 추출할 수 있다. 예를 들어 모션 클립 선택 버튼(161)을 클릭하면 모션 클립 UI 윈도우(163)가 활성화되고 모션 클립 UI 윈도우(163)의 키워드 입력 필드에 키워드를 입력하면 관련된 모션 클립들의 내용과 속성이 리스트로 제공된다. 출력 리스트는 모션 클립 UI 윈도우(163) 또는 다른 윈도우, 예를 들면 출력 윈도우(123)에 표시될 수 있다. 예를 들면 리스트에는 모션 클립의 동작을 표현하는 텍스트와, 동작의 느낌, 예를 들면 거친 동작, 활발한 동작, 조용한 동작 등의 속성 정보를 포함할 수 있다. 또 다른 예로, 아바타가 정해지면 사용자는 모션 클립 UI 윈도우(163)의 검색 제한 필드들에 특정한 속성들을 미리 한정하고 그 속성을 가진 리스트만을 검색할 수도 있다.
사용자가 리스트에서 특정한 모션 클립을 선택하면, 해당 모션 클립이 추출되고, 그 모션 클립의 모션 클립 아이콘이 타임 라인(155)의 기본 위치, 예를 들면 마지막으로 입력된 모션 클립 아이콘의 바로 다음 단위 시간대에 등장할 수 있다. 사용자는 타임 라인(155) 상에서 본인이 원하는 적절한 시점의 위치로 그 모션 클립 아이콘(130)을 마우스로 드래그하여 이동시킬 수 있다.
도시된 바와 같이, 음성 클립 아이콘(110)은 관련된 음성 클립에 포함된 음성을 표현하는 정보, 예를 들면 텍스트를 포함할 수 있다. 추가로, 해당 음성 클립의 속성을 칼라나 그래픽 형태로 표현할 수 있다. 동일한 타임 라인 상에 음성 클립 아이콘, 모션 클립 아이콘, 음절 표시 아이콘들 중에 복수개가 동시에 표시될 경우 도시된 바와 같이 아이콘의 형상이 뚜렷이 구별되는 것이 필요하다.
도시된 바와 같이, 모션 클립 아이콘(130)은 그 모션 클립 아이콘의 동작 구간들을 표현하는 동작 구간 표시부들(131,133,135)을 가질 수 있다. 예를 들어 동작 구간 표시부(131)는 허리를 굽히는 구간, 동작 구간 표시부(133)는 구부린 상태에서 정지한 구간, 동작 구간 표시부(135)는 허리를 펴는 구간을 나타낼 수 있다. 동작 구간 표시부들은 부가 정보 혹은 속성 정보를 포함할 수 있다. 예를 들어 동작의 가속도를 색상으로 표현하거나 정지 동작을 특정한 형태로 표현할 수 있다.
도 1에서 음성 클립의 “안녕하세요”란 음성은 모션 클립의 허리를 굽히는 동작이 마무리되기 전에 재생이 완료되는 타이밍으로 표시되어 있다. 어떤 사용자는 “안녕하세요”란 음성이 허리를 굽히고 정지하는 일부 구간에서 재생이 완료되는 것이 더 공손하고 자연스럽다고 생각할 수 있다. 이러한 경우 예를 들어 사용자는 마지막 음절 표시 아이콘(110-5)을 마우스로 선택하고 변형시킴으로써 도 2와 같이 그 발음을 연장할 수 있다.
도 3은 일 실시예에 따른 멀티미디어 저작 방법의 구성을 도시한 흐름도이다. 도시된 실시예에서, 멀티미디어 저작 방법은 컴퓨터에서 실행 가능한 프로그래밍 코드로 구현될 수 있다. 컴퓨터는 하나 혹은 복수의 마이크로프로세서, 메모리, 보조 스토리지, 네트워크 인터페이스와 같은 주변 장치 및 마우스나 키보드와 같은 입력 장치, 그리고 디스플레이와 같은 출력 장치를 포함하는 일반적인 컴퓨터일 수 있다. 모션 클립 데이터베이스나 음성 클립 데이터베이스는 외부 서버, 네트워크 스토리지 혹은 로컬 스토리지에 저장될 수 있다.
도시된 바와 같이, 일 실시예에 따른 멀티미디어 저작 방법은 타임 라인 표시 단계(310)와, 음성 클립 입력 단계(400)를 포함할 수 있다. 추가로, 새로운 콘텐츠 파일을 생성하는 단계(300)가 먼저 처리될 수 있다. 사용자는 새로운 콘텐츠 파일의 파일명을 입력하고 컴퓨터는 해당 파일명을 가진 콘텐츠 파일을 생성하여 저장한다. 타임 라인 표시 단계(310)에서 도 1에 도시된 바와 같은 타임 라인이 화면에 출력될 수 있다. 타임 라인이 출력된 후 컴퓨터는 사용자가 음성 클립 입력 메뉴를 선택하였는지 체크한다(단계 320). 음성 클립 입력 메뉴가 선택되면 음성 클립 입력 단계(400)가 실행된다.
도 4는 일 실시예에 따른 음성 클립 입력 단계(400)의 구성을 도시한 흐름도이다. 일 양상에 따르면, 음성 클립 입력 단계(400)는 음성 클립 재생시점입력 단계(430)와, 음절별 재생 시점 결정 단계(450)와 음절별 재생 시점 표시 단계(470)를 포함할 수 있다.
먼저 음성 클립이 준비된다. 이를 위해 음성 클립 입력 단계(400)는 음성 클립 선택 단계(410)를 더 포함할 수 있다. 음성 클립 선택 단계(410)에서 사용자의 선택에 따라 음성 클립이 선택될 수 있다. 예를 들어 사용자는 출력된 음성 클립 리스트에서 선택할 수 있다. 또 다른 예로 사용자는 키워드 검색 등 필드 검색을 통해 음성 클립을 선택할 수 있다. 그러나 음성 클립은 선택되지 않고 외부, 예를 들면 마이크나 네트워크를 통해 다른 시스템이나 주변기기로부터 선택되어 입력될 수도 있다.
음성 클립 재생 시점 입력 단계(430)에서 컴퓨터는 사용자로부터 입력 장치를 통해 음성 클립의 타임 라인 상의 재생 시작 시점을 입력 받는다. 예를 들어 타임 라인 상에 사용자가 음성 클립 아이콘을 드래그한 위치를 검출함으로써 재생 시작 시점을 입력 받을 수 있다. 마우스의 위치로부터 실제 재생 시작 시점을 표현하는 데이터, 예를 들면 타임 스탬프는 비례 연산에 의해 쉽게 산출할 수 있다. 선택된 음성 클립을 나타내는 아이콘이 타임 라인 상에 기본 위치, 예를 들면 이전 입력된 음성 클립의 바로 다음 단위 시간에 표시될 수 있다.
음절별 재생 시점 결정 단계(450)에서, 컴퓨터는 음성 클립에 포함된 각각의 음절의 타임 라인 상의 재생 시점을 결정한다. 일 실시예에서, 음성 클립에 포함된 음절이나 각각의 음절의 재생 시점 정보는 메타 데이터로 미리 준비되어 음성 클립에 관련되어 음성 클립 데이터베이스에 저장되어 있을 수 있다. 음성 클립에 관련지어 저장된 각각의 음절의 재생 시점 정보는 그 음성 클립 내의 상대적인 재생 시점 값이므로 이 값에 음성 클립의 재생 시작 시점 값을 가산하면 콘텐츠 전체에서의 해당 음절의 재생 시점 값을 구할 수 있다.
또 다른 양상에 따르면, 음절별 재생 시점은 음성 클립의 음성 신호로부터 직접 검출될 수 있다. 이러한 양상에 따르면, 예를 들어 음절별 재생 시점은 음성 클립을 음성 인식하여 결정될 수 있다. 여기서 음성 인식 처리는 음성 클립의 내용인 텍스트 데이터와, 각 음절의 경계가 되는 음절별 재생 시점을 포함한다. 또 다른 예로, 음성 클립 데이터베이스는 음성 클립별 메타 데이터로 음성 클립의 내용인 텍스트 데이터를 저장하고, 음성 인식 처리는 음성 클립의 주파수 특성으로부터 각 음절의 경계가 되는 음절별 재생 시점만을 검출할 수도 있다.
음절별 재생 시점 표시 단계(470)에서 컴퓨터는 타임 라인 상의 각각의 음절의 재생 시점에 그 음절의 발음 정보를 표시하는 음절 표시 아이콘들을 표시한다. 각각의 음절 표시 아이콘들의 타임 라인 상에서의 표시 위치는 각각의 재생 시점 값의 전체 콘텐츠 재생시간에 대한 타임 라인 길이에 따른 비례 연산에 의해 쉽게 산출할 수 있다.
추가적인 양상에 따라, 멀티미디어 저작 방법은 콘텐츠 파일 갱신 단계(490)를 더 포함할 수 있다. 도 3에 도시된 실시예에서, 콘텐츠 파일이 먼저 생성되고, 새로운 오브젝트들이 편집될 때마다 콘텐츠 파일이 갱신된다. 또 다른 실시예에서 콘텐츠 파일은 모든 오브젝트들의 편집이 완료된 후 생성되고 한번에 저장 혹은 갱신될 수도 있다. 음성 클립의 입력이 완료되면, 콘텐츠 파일이 갱신된다(단계 490). 콘텐츠 파일에 저장된 마지막 음성 클립에 이어서 새롭게 편집된 음성 클립이 타임 라인 상의 편집 위치에 따라 결정된 재생 시간으로 추가되고 저장된다.
다시 도 3으로 돌아가서, 단계 320에서 음성 클립 입력 입력이 선택되지 않으면 모션 클립 입력이 선택되었는지 체크한다(단계 330). 모션 클립 입력이 선택되면 모션 클립 입력을 처리한다(단계 500). 도시되지 않았지만, 모션 클립 입력이 선택될 경우, 동기화 저작 대상이 되는 음성 클립이 입력된 것이 있는지 체크하여 없는 경우에는 에러를 출력할 수도 있다.
도 5는 일 실시예에 따른 모션 클립 입력 단계의 구성을 도시한 흐름도이다. 먼저 모션 클립이 준비된다. 이를 위해 모션 클립 입력 단계(500)는 모션 클립 선택 단계(510)를 더 포함할 수 있다. 모션 클립 선택 단계(510)에서 사용자의 선택에 따라 모션 클립이 선택될 수 있다. 예를 들어 사용자는 출력된 모션 클립 리스트에서 선택할 수 있다. 또 다른 예로 사용자는 키워드 검색 등 필드 검색을 통해 모션 클립을 선택할 수 있다. 그러나 모션 클립은 선택되지 않고 외부, 예를 들면 네트워크를 통해 다른 시스템이나 주변기기로부터 선택되어 입력될 수도 있다. 선택된 모션 클립을 나타내는 아이콘이 타임 라인 상에 기본 위치, 예를 들면 이전 입력된 모션 클립의 바로 다음 단위 시간에 표시될 수 있다.
도시되지 않았지만, 모션 클립 입력이 선택될 경우, 동기화 저작 대상이 되는 음성 클립이 입력된 것이 있는지 체크하여 없는 경우에는 에러를 출력할 수도 있다.
모션 클립 재생 시점 입력 단계(530)에서 컴퓨터는 사용자로부터 입력 장치를 통해 모션 클립의 타임 라인 상의 재생 시작 시점을 입력 받는다. 예를 들어 타임 라인 상에 사용자가 기본 위치에 있는 모션 클립 아이콘을 드래그한 위치를 검출함으로써 재생 시작 시점을 입력 받을 수 있다. 마우스의 위치로부터 실제 재생 시작 시점을 표현하는 데이터, 예를 들면 타임 스탬프는 비례 연산에 의해 쉽게 산출할 수 있다. 사용자가 기본 위치에 있는 모션 클립 아이콘을 움직이지 않으면 현재 기본 위치가 재생 시작 시점으로 입력된다.
추가적인 양상에 따라, 멀티미디어 저작 방법은 콘텐츠 파일 갱신 단계(550)를 더 포함할 수 있다. 모션 클립의 입력이 완료되면, 콘텐츠 파일이 갱신된다(단계 550). 콘텐츠 파일에 저장된 마지막 모션 클립에 이어서 새롭게 편집된 모션 클립이 추가되고 저장된다. 타임 라인 상에서의 표시 위치에 따라 추가된 음성 클립과 모션 클립의 재생 시점이 동기화된다. 예를 들어 추가된 모션 클립의 타임 스탬프는 대응하는 음성 클립 혹은 음절의 재생 시점을 표현하는 타임 스탬프와 일치하도록 혹은 그 인접한 값들로부터 산출된 값으로 설정된다.
또 다른 양상에 따르면, 제안된 멀티미디어 저작 방법은 입력된 음성 클립 편집을 지원할 수 있다. 다시 도 3으로 돌아가서, 사용자가 음성 클립 편집을 선택하면(단계 340), 음성 클립 편집이 처리된다(단계 600). 도 6은 일 실시예에 따른 음성 클립 편집 단계의 구성을 도시한 흐름도이다. 사용자는 입력되어 있는 음성 클립 중 하나의 교체를 선택할 수 있다(단계 610). 예를 들어 사용자는 음성 클립을 마우스로 선택하고 마우스 우측 버튼을 눌러 리스트되는 메뉴 중 음성 클립 교체를 선택할 수 있다.
이후에 교체할 음성 클립이 선택된다(단계 611). 교체할 음성 클립의 선택은 예를 들어 도 4의 단계 410와 유사하게 이루어질 수 있다. 이후에, 교체된 음성 클립에 포함된 각각의 음절의 타임 라인 상의 재생 시점을 결정한다. 이러한 재생 시점의 결정은 예를 들면, 마찬가지로 도 4의 단계 450과 유사하게 이루어질 수 있다. 결정된 음절의 재생 시점은 음절 표시 아이콘으로 타임 라인 상에 표시된다(단계 615). 이후에, 편집된 내용을 반영하여 콘텐츠 파일이 갱신된다(단계 617). 이러한 콘텐츠 파일의 갱신은 예를 들면, 마찬가지로 도 4의 단계 490와 유사하게 이루어질 수 있다.
단계 610에서 음성 클립의 교체가 선택되지 않은 경우, 음성 클립의 이동이 선택되었는지 체크한다(단계 630). 예를 들어 사용자는 음성 클립을 마우스로 선택하고 드래그하여 음성 클립의 이동을 지시할 수 있다(단계 630). 일 실시예에서, 음성 클립이 타임 라인 상에서 드래그되면 드래그된 위치를 음성 클립의 새로운 재생 시점으로 입력받는다(단계 631). 입력된 타임 라인 상의 위치로부터 실제 음성 클립의 재생 시작 시점을 표현하는 데이터, 예를 들면 타임 스탬프는 비례 연산에 의해 쉽게 산출할 수 있다. 이후에, 음성 클립의 새로운 재생 시점에 따라서 그 음성 클립에 포함된 각각의 음절의 타임 라인 상의 재생 시점을 결정한다(단계 633). 이러한 재생 시점의 결정은 예를 들면, 마찬가지로 도 4의 단계 450과 유사하게 이루어질 수 있다. 결정된 음절의 재생 시점은 음절 표시 아이콘으로 타임 라인 상에 표시된다(단계 635). 이후에, 편집된 내용을 반영하여 콘텐츠 파일이 갱신된다(단계 637). 이러한 콘텐츠 파일의 갱신은 예를 들면, 마찬가지로 도 4의 단계 490와 유사하게 이루어질 수 있다.
단계 630에서 음성 클립의 이동이 선택되지 않은 경우, 음절 변조가 선택되었는지 체크한다(단계 650). 예를 들어 사용자는 음절 표시 아이콘을 마우스로 선택하여 변형시켜서 해당 음절의 변조를 지시할 수 있다(단계 650). 일 양상에 따르면, 타임 라인 상의 인접한 음절 표시 아이콘들의 범위 안에서 대상 음절 표시 아이콘을 사용자가 이동시키는 것을 검출할 수 있다. 일 예로, 음절 표시 아이콘의 이동은 예를 들면 음절의 발음의 시작을 표시하는 아이콘과 음절의 발음의 종료를 표시하는 아이콘 중 어느 하나를 이동시킴에 의해 이루어질 수 있다. 또 다른 예로, 음절 표시 아이콘의 이동은 음절 표시 아이콘이 타임 라인 상에서 차지하는 영역이 넓어지거나 좁아지도록 변형시킴에 의해 이루어질 수도 있다. 일 실시예에서, 타임 라인 상에서 음절 표시 아이콘이 차지하는 영역의 크기로부터 음절 변조의 시간폭이 입력된다(단계 651). 이후에 그 시간폭에 따라 음절 신호가 변조된다. 예를 들어 동일한 음절 발음의 음성 신호를 복사하여 기존 음성 신호에 연결하여 재생 시간을 늘일 수 있다. 반대로 음절 발음의 음성 신호에서 후단의 일부를 잘라 냄으로써 재생 시간을 줄일 수 있다. 이후에, 편집된 내용을 반영하여 콘텐츠 파일이 갱신된다(단계 637).
다시 도 3으로 돌아가서, 음성 클립의 편집이 선택되지 않은 경우(단계 340), 모션 클립의 편집이 선택되었는지 체크한다(단계 350). 모션 클립의 편집은 기존에 존재하는 모션 클립의 교체나 모션 클립의 이동을 포함할 수 있다. 일 실시예에서, 모션 클립의 교체는 교체할 모션 클립을 선택하면 기존에 존재하던 모션 클립을 대체하여 그 재생 시점 위치에 선택된 모션 클립을 삽입한 후 콘텐츠 파일을 갱신하여 처리할 수 있다. 일 실시예에서, 모션 클립의 이동은 사용자가 모션 클립 아이콘을 마우스로 드래그하면 그 드래그한 위치로부터 모션 클립의 새로운 재생 시점을 결정하여 콘텐츠 파일에 반영하여 처리할 수 있다.
단계 340에서 모션 클립의 편집이 선택되지 않은 경우 프리뷰가 선택되었는지 체크한다(단계 360). 프리뷰의 선택은 예를 들면 도 1에서 프리뷰 버튼(121)을 마우스로 선택하여 지시될 수 있다. 프리뷰가 선택되면 타임 라인 상에 프리뷰할 시간 간격을 선택하도록 시작 시점과 종료 시점을 표시하는 2개의 버튼이 표시된다. 사용자가 그 2개의 버튼을 마우스로 드래그하여 이동시켜 프리뷰할 구간을 입력할 수 있다. 이후에 예를 들면 사용자가 프리뷰 창(123)에 나타난 재생 버튼을 눌러 재생을 지시하면 멀티미디어 재생기가 호출되고 해당 구간의 음성 클립과 모션 클립 및 재생을 제어하는 메타 데이터가 공급되어 해당 구간이 재생되어 프리뷰 창에 출력될 수 있다.
도 7은 일 실시예에 따른 멀티미디어 저작 장치의 구성을 도시한 블록도이다. 도시된 실시예에서, 일 실시예에 따른 멀티미디어 저작 장치는 마이크로프로세서와 메모리, 보조기억장치와 이더넷 통신 모뎀을 포함하는 컴퓨터와, 그 주변 장치, 예를 들면 마우스, 키보드, 액정 모니터 등을 포함하며, 메모리에 저장된 운영체제, 응용 프로그램으로 구현된다.
음성 클립 입력부(710), 모션 클립 입력부(730), 음성 클립 편집부(750), 모션 클립 편집부(780), 프리뷰 처리부(791)는 마이크로프로세서에서 실행되는 컴퓨터 프로그래밍 명령어들의 집합으로 구현된다. 조작부(743)는 마우스, 키보드 등의 하드웨어와 그 드라이버 프로그램들을 표현하고, 디스플레이(745)는 액정 모니터 등의 하드웨어와 그 드라이버 프로그램들을 표현하며, 통신부(749)는 이더넷 모뎀과 같은 하드웨어와 그 드라이버 프로그램들을 표현한다. 각종 데이터베이스(721,723,725)들의 일부 혹은 전부는 보조기억장치에 저장되거나 네트워크 상에 연결된 스토리지에 저장되거나, 네트워크 상에 연결된 서버에 별도로 존재할 수도 있다.
도시된 바와 같이, 일 실시예에 따른 멀티미디어 저작 장치는 음성 클립 데이터베이스(721)와, 음성 클립 입력부(710)를 포함한다. 음성 클립 입력부(710)는 사용자 인터페이스(741)를 통해 사용자로부터 선택받은 음성 클립을 콘텐츠 파일에 추가한다. 일 실시예에서, 음성 클립 입력부(710)는 음절별 재생 시점 결정부(711)와, 음절별 발음 시점 표시부(713)를 포함한다.
일 실시예에서, 음성 클립 데이터베이스(721)에는 음성 클립과, 그 음성 클립의 내용인 텍스트 정보가 관련지어 저장된다. 음절별 재생 시점 결정부(711)는 타임 라인 상에 입력된 음성 클립의 재생 시작 시점으로부터 음성 클립에 포함된 각각의 음절의 타임 라인 상의 재생 시점을 결정한다. 사용자는 사용자 인터페이스(741)를 통해 음성 클립을 선택하고 타임 라인 상에 드래그하여 음성 클립의 재생 시점을 입력한다. 음절별 발음 시점 표시부(713)는 타임 라인 상의 상기 각각의 음절의 재생 시점에 그 음절의 발음 정보를 표시하는 음절 표시 아이콘을 표시한다. 이들의 동작은 도 4에서 음성 클립 선택 단계(410), 음성 클립 재생 시점 입력 단계(430), 음절별 재생 시점 결정 단계(450), 그리고 음절별 재생 시점 표시 단계(470)에 각각 대응될 수 있어 상세한 설명은 생략한다.
추가적인 양상에 따르면, 음성 클립 입력부(710)는 재생 시점 검출부(715)를 더 포함할 수 있다. 재생 시점 검출부(715)는 음성 클립을 음성 인식하여 결정된 음절별 재생 시점을 음절별 재생 시점 결정부(711)로 출력한다. 여기서 음성 인식 처리는 음성 클립의 내용인 텍스트 데이터와, 각 음절의 경계가 되는 음절별 재생 시점을 포함한다. 또 다른 예로, 음성 클립 데이터베이스는 음성 클립별 메타 데이터로 음성 클립의 내용인 텍스트 데이터를 저장하고, 음성 인식 처리는 음성 클립의 주파수 특성으로부터 각 음절의 경계가 되는 음절별 재생 시점만을 검출할 수도 있다.
추가적인 양상에 따르면, 멀티미디어 저작 장치는 모션 클립 입력부(730)를 더 포함할 수 있다. 모션 클립 입력부(730)는 모션 클립의 타임 라인 상의 재생 시작 시점을 입력 받아 모션 클립 아이콘을 표시한다. 모션 클립 입력부(730)의 동작은 도 5를 참조하여 상세히 설명한 바와 대응되므로 설명을 생략한다.
추가적인 양상에 따르면, 멀티미디어 저작 장치는 콘텐츠 파일 갱신부(750)를 더 포함할 수 있다. 콘텐츠 파일 갱신부(750)는 음성 클립과 모션 클립을 콘텐츠 파일의 각각 기존의 음성 클립 데이터와 모션 클립 데이터에 추가하되, 타임 라인 상에서의 표시 위치에 따라 추가된 음성 클립과 모션 클립의 재생 시점을 동기화시켜 저장한다. 일 실시예에서, 콘텐츠 파일에 저장된 데이터는 예를 들면 음성 클립과, 그 음성 클립의 재생 시점을 나타내는 타임 스탬프가 순차적으로 저장되고, 모션 클립과, 그 모션 클립의 재생 시점을 나타내는 타임 스탬프가 순차적으로 저장된 형태일 수 있다. 이 경우 새로운 음성 클립이나 모션 클립의 추가는 기존의 데이터에 단순히 새로운 데이터를 추가하기만 하면 된다. 기존의 음성 클립이나 모션 클립의 변경은 그 변경된 음성 클립이나 모션 클립으로 인해 그 이후의 음성 클립들이나 모션 클립들의 타임 스탬프의 전체적인 변경을 초래할 수 있다.
추가적인 양상에 따르면, 멀티미디어 저작 장치는 음성 클립 편집부(770)를 더 포함할 수 있다. 음성 클립 편집부(770)는 음성 클립 교체부(771)와, 음성 클립 이동부(773)를 포함할 수 있다. 추가로, 음성 클립 편집부(770)는 음절 변조부(775)를 더 포함할 수 있다. 음절 변조부(775)는 타임 라인 상의 인접한 음절 표시 아이콘들의 범위 안에서 대상 음절 표시 아이콘을 사용자가 사용자 인터페이스를 통해 이동시키는 것을 검출하고 이동시킨 변위에 따라 해당 음절의 발음이 길어지거나 짧아지도록 해당 음성 클립을 변조한다. 음성 클립 교체부(771)와, 음성 클립 이동부(773)와, 음절 변조부(775)의 구체적인 동작은 도 6을 참조하여 설명한 바에 대응되므로 설명을 생략한다.
추가적인 양상에 따르면, 멀티미디어 저작 장치는 모션 클립 편집부(780)를 더 포함할 수 있다. 추가적인 양상에 따르면, 멀티미디어 저작 장치는 프리뷰 처리부(791)와 멀티미디어 재생기(793)를 더 포함할 수 있다. 이들의 동작에 대해서는 도 3의 모션 클립 편집 단계(700)와 프리뷰 처리 단계(800)에서 각각 설명한 바에 대응되므로 설명을 생략한다.
이상에서 본 발명을 첨부된 도면을 참조하는 실시예들을 통해 설명하였지만 이에 한정되는 것은 아니며, 이들로부터 당업자라면 자명하게 도출할 수 있는 다양한 변형예들을 포괄하도록 해석되어야 한다. 특허청구범위는 이러한 변형예들을 포괄하도록 의도되었다.
710 : 음성 클립 입력부
711 : 음절별 재생 시점 결정부 713 : 음절별 발음 시점 표시부
715 : 재생 시점 검출부
721 : 음성 클립 데이터베이스 723 : 모션 클립 데이터베이스
725 : 콘텐츠 파일
730 : 모션 클립 입력부
741 : 사용자 인터페이스 743 : 조작부
745 : 디스플레이 749 : 통신부
770 : 음성 클립 편집부
771 : 음성 클립 교체부 773 : 음성 클립 이동부
775 : 음절 변조부
780 : 모션 클립 편집부
791 : 프리뷰 처리부 793 : 멀티미디어 재생기

Claims (12)

  1. 사용자로부터 지시에 응답하여 멀티미디어 콘텐츠를 저작하는 컴퓨터에서 실행 가능한 멀티미디어 저작 방법에 있어서,
    타임 라인을 표시하는 타임 라인 표시 단계와;
    음성 클립의 타임 라인 상의 재생 시작 시점을 입력 받는 음성 클립 재생시점입력 단계와;
    음성 클립에 포함된 각각의 음절의 타임 라인 상의 재생 시점을 결정하는 음절별 재생 시점 결정 단계와;
    타임 라인 상의 상기 각각의 음절의 재생 시점에 그 음절의 발음 정보를 표시하는 음절 표시 아이콘들을 표시하는 음절별 발음 시점 표시 단계;를 포함하고,
    상기 멀티미디어 저작 방법이 :
    타임 라인 상의 인접한 음절 표시 아이콘들의 범위 안에서 대상 음절 표시 아이콘을 사용자가 이동시키는 것을 검출하는 단계;
    이동시킨 변위에 따라 해당 음절의 발음이 길어지거나 짧아지도록 해당 음성 클립을 변조하는 음성 클립 변조 단계;
    를 더 포함하는 멀티미디어 저작 방법.
  2. 청구항 1에 있어서, 상기 음절별 재생 시점 결정 단계는 :
    음성 클립을 음성 인식하여 음절별 재생 시점을 결정하는 멀티미디어 저작 방법.
  3. 청구항 1에 있어서, 상기 음절별 재생 시점 결정 단계는 :
    음성 클립에 관련되어 저장된 메타 데이터로부터 음절별 재생 시점을 결정하는 멀티미디어 저작 방법.
  4. 청구항 1에 있어서, 상기 멀티미디어 저작 방법이 :
    모션 클립의 타임 라인 상의 재생 시작 시점을 입력 받아 모션 클립 아이콘을 표시하는 모션 클립 입력 단계;
    를 더 포함하는 멀티미디어 저작 방법.
  5. 청구항 4에 있어서, 상기 멀티미디어 저작 방법이 :
    음성 클립과 모션 클립을 콘텐츠 파일의 각각 기존의 음성 클립 데이터와 모션 클립 데이터에 추가하되, 타임 라인 상에서의 표시 위치에 따라 추가된 음성 클립과 모션 클립의 재생 시점을 동기화시키는 콘텐츠 파일 갱신 단계;
    를 더 포함하는 멀티미디어 저작 방법.
  6. 삭제
  7. 음성 클립 데이터베이스와;
    타임 라인 상에 입력된 음성 클립의 재생 시작 시점으로부터 음성 클립에 포함된 각각의 음절의 타임 라인 상의 재생 시점을 결정하는 음절별 재생 시점 결정부와, 타임 라인 상의 상기 각각의 음절의 재생 시점에 그 음절의 발음 정보를 표시하는 음절 표시 아이콘을 표시하는 음절별 발음 시점 표시부를 포함하는 음성 클립 입력부와;
    타임 라인 상의 인접한 음절 표시 아이콘들의 범위 안에서 대상 음절 표시 아이콘을 사용자가 이동시키는 것을 검출하고 이동시킨 변위에 따라 해당 음절의 발음이 길어지거나 짧아지도록 해당 음성 클립을 변조하는 음성 클립 편집부;를 포함하는 멀티미디어 저작 장치.
  8. 청구항 7에 있어서, 음성 클립 입력부는 :
    음성 클립을 음성 인식하여 결정된 음절별 재생 시점을 음절별 재생 시점 결정부로 출력하는 재생 시점 검출부;
    를 더 포함하는 멀티미디어 저작 장치.
  9. 삭제
  10. 청구항 7에 있어서, 멀티미디어 저작 장치가 :
    모션 클립의 타임 라인 상의 재생 시작 시점을 입력 받아 모션 클립 아이콘을 표시하는 모션 클립 입력부;
    를 더 포함하는 멀티미디어 저작 장치.
  11. 청구항 10에 있어서, 멀티미디어 저작 장치가 :
    음성 클립과 모션 클립을 콘텐츠 파일의 각각 기존의 음성 클립 데이터와 모션 클립 데이터에 추가하되, 타임 라인 상에서의 표시 위치에 따라 추가된 음성 클립과 모션 클립의 재생 시점을 동기화시켜 저장하는 콘텐츠 파일 갱신부;
    를 더 포함하는 멀티미디어 저작 장치.
  12. 삭제
KR1020190147624A 2019-11-18 2019-11-18 동기화된 음성과 동작을 지원하는 멀티미디어 저작 장치 및 그 방법 KR102215256B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190147624A KR102215256B1 (ko) 2019-11-18 2019-11-18 동기화된 음성과 동작을 지원하는 멀티미디어 저작 장치 및 그 방법
US16/703,857 US10885943B1 (en) 2019-11-18 2019-12-04 Multimedia authoring apparatus with synchronized motion and voice feature and method for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190147624A KR102215256B1 (ko) 2019-11-18 2019-11-18 동기화된 음성과 동작을 지원하는 멀티미디어 저작 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR102215256B1 true KR102215256B1 (ko) 2021-02-15

Family

ID=74045248

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190147624A KR102215256B1 (ko) 2019-11-18 2019-11-18 동기화된 음성과 동작을 지원하는 멀티미디어 저작 장치 및 그 방법

Country Status (2)

Country Link
US (1) US10885943B1 (ko)
KR (1) KR102215256B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102666838B1 (ko) 2024-03-11 2024-05-20 (주)비디오몬스터 멀티 카메라 촬영 영상 소스의 텍스트 기반 동영상 편집 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060031449A (ko) * 2004-10-08 2006-04-12 비쥬텍쓰리디(주) 음성 기반 자동 립싱크 애니메이션 장치와 방법 및 기록매체
KR20080008432A (ko) * 2008-01-04 2008-01-23 주식회사 이머시스 음성 신호에 대한 립싱크 동기화 방법 및 장치
KR20170052976A (ko) * 2015-11-05 2017-05-15 삼성전자주식회사 모션을 수행하는 전자 장치 및 그 제어 방법
KR20190110566A (ko) * 2017-01-26 2019-09-30 디-박스 테크놀러지스 인코포레이트 레코딩된 오디오/비디오와 모션의 동기화 및 캡쳐
KR20190117772A (ko) * 2017-03-31 2019-10-16 그레이스노트, 인코포레이티드 모션 비디오를 갖는 음악 서비스

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5613909A (en) 1994-07-21 1997-03-25 Stelovsky; Jan Time-segmented multimedia game playing and authoring system
KR100236974B1 (ko) 1996-12-13 2000-02-01 정선종 동화상과 텍스트/음성변환기 간의 동기화 시스템
CA2202106C (en) 1997-04-08 2002-09-17 Mgi Software Corp. A non-timeline, non-linear digital multimedia composition method and system
KR100453500B1 (ko) 2001-12-12 2004-10-20 (주)엔룩스 3차원 아바타 메일 서비스 방법 및 장치
US8555169B2 (en) * 2009-04-30 2013-10-08 Apple Inc. Media clip auditioning used to evaluate uncommitted media content
US20140039871A1 (en) * 2012-08-02 2014-02-06 Richard Henry Dana Crawford Synchronous Texts
US10038153B2 (en) 2014-04-03 2018-07-31 Versitech Limited Platinum (II) emitters for OLED applications
KR101856192B1 (ko) 2016-10-06 2018-06-20 주식회사 카카오 자막 생성 시스템, 자막 생성 방법, 그리고 콘텐트 생성 프로그램

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060031449A (ko) * 2004-10-08 2006-04-12 비쥬텍쓰리디(주) 음성 기반 자동 립싱크 애니메이션 장치와 방법 및 기록매체
KR20080008432A (ko) * 2008-01-04 2008-01-23 주식회사 이머시스 음성 신호에 대한 립싱크 동기화 방법 및 장치
KR20170052976A (ko) * 2015-11-05 2017-05-15 삼성전자주식회사 모션을 수행하는 전자 장치 및 그 제어 방법
KR20190110566A (ko) * 2017-01-26 2019-09-30 디-박스 테크놀러지스 인코포레이트 레코딩된 오디오/비디오와 모션의 동기화 및 캡쳐
KR20190117772A (ko) * 2017-03-31 2019-10-16 그레이스노트, 인코포레이티드 모션 비디오를 갖는 음악 서비스

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102666838B1 (ko) 2024-03-11 2024-05-20 (주)비디오몬스터 멀티 카메라 촬영 영상 소스의 텍스트 기반 동영상 편집 장치 및 방법

Also Published As

Publication number Publication date
US10885943B1 (en) 2021-01-05

Similar Documents

Publication Publication Date Title
US7653550B2 (en) Interface for providing modeless timeline based selection of an audio or video file
US8762864B2 (en) Background removal tool for a presentation application
US7095413B2 (en) Animation producing method and device, and recorded medium on which program is recorded
JP5230096B2 (ja) 映像音声出力装置及び映像音声出力方法
JP4741406B2 (ja) ノンリニア編集装置およびそのプログラム
US9076489B1 (en) Circular timeline for video trimming
KR20080048362A (ko) 렌더링 장치 및 방법
KR102215256B1 (ko) 동기화된 음성과 동작을 지원하는 멀티미디어 저작 장치 및 그 방법
JPH08263681A (ja) アニメーション作成装置およびその方法
JP2000149046A (ja) 曲線生成装置及び方法、プログラムを格納した記録媒体、並びに対応点設定方法
JP3755503B2 (ja) アニメーション制作システム
JP5014184B2 (ja) データ編集装置、データ編集プログラム及び再生装置
JP4455644B2 (ja) 動画再生装置、動画再生方法及びそのコンピュータ・プログラム
JP3368739B2 (ja) アニメーション制作システム
JP5082971B2 (ja) 音声合成装置およびそれを用いた読み上げシステム。
JP2982697B2 (ja) テロップ表示装置
US7376332B2 (en) Information processing method and information processing apparatus
JPH07168691A (ja) 表示図形領域選択方式
JP2008210500A5 (ko)
JP4720974B2 (ja) 音声発生装置およびそのためのコンピュータプログラム
JP6367733B2 (ja) 画面制御装置、画面制御方法及び画面制御プログラム
CN112988018B (zh) 多媒体文件输出方法、装置、设备及计算机可读存储介质
JP2006065588A (ja) 情報閲覧装置、情報閲覧プログラム及び情報閲覧プログラム記録媒体
KR102112738B1 (ko) 노래방 기기의 가사 표시 방법 및 장치
KR20200019939A (ko) 노래방 기기의 가사 표시 방법 및 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant