KR20010077433A - 가상 음악 영상 시스템 및 그 시스템의 영상 표시 방법 - Google Patents

가상 음악 영상 시스템 및 그 시스템의 영상 표시 방법 Download PDF

Info

Publication number
KR20010077433A
KR20010077433A KR1020000005225A KR20000005225A KR20010077433A KR 20010077433 A KR20010077433 A KR 20010077433A KR 1020000005225 A KR1020000005225 A KR 1020000005225A KR 20000005225 A KR20000005225 A KR 20000005225A KR 20010077433 A KR20010077433 A KR 20010077433A
Authority
KR
South Korea
Prior art keywords
music
reference value
frequency band
beat
image
Prior art date
Application number
KR1020000005225A
Other languages
English (en)
Other versions
KR100365989B1 (ko
Inventor
김경미
최광진
Original Assignee
김경미
주식회사 미디어아트랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김경미, 주식회사 미디어아트랩 filed Critical 김경미
Priority to KR1020000005225A priority Critical patent/KR100365989B1/ko
Publication of KR20010077433A publication Critical patent/KR20010077433A/ko
Application granted granted Critical
Publication of KR100365989B1 publication Critical patent/KR100365989B1/ko

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/366—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems with means for modifying or correcting the external signal, e.g. pitch correction, reverberation, changing a singer's voice
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G06F17/142—Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/06—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour
    • G10H1/12—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by filtering complex waveforms
    • G10H1/125—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by filtering complex waveforms using a digital filter
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/021—Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs, seven segments displays
    • G10H2220/081—Beat indicator, e.g. marks or flashing LEDs to indicate tempo or beat positions

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

본 발명은 시스템에 입력되는 라이브 음악의 주파수 분석을 통해 비트(beat)를 검출함과 동시에 음향 패턴을 결정하여 다양한 영상 효과를 매핑하도록 한 가상 음악 영상 시스템 및 그 시스템의 영상 표시 방법에 관한 것이다.
종래의 음악에 따른 색의 변화 및 난반사 형태의 영상 처리 방법은 형태가 단조로와서 실시간(라이브) 음악을 처리하지 못했으며, 음악 파일이나 CD 음악을 입력으로 하기 때문에 잡음에 대한 고려나 음량을 고정적인 값에 비교하여 비트를 검출함에 따라 영상 표시에 오류가 발생하는 단점이 있었다.
따라서, 본 발명은 음악 신호를 소정시간 단위로 고속 퓨리에 변환하여 소정개수의 가청 주파수 대역별 주파수 성분으로 분해하는 고속 퓨리에 변환부와; 상기 고속 퓨리에 변환부에 의해 분해된 주파수 대역별 파워 변화량을 소정시간 주기로 측정하여 비트를 검출하는 음악 비트 검출부와; 상기 고속 퓨리에 변환부에 의해 분해된 주파수 대역별 분포 특성에 따라 음향 패턴을 결정하는 음향 패턴 결정부와; 상기 음악 비트 검출부에 의해 검출된 음악 비트와 상기 음향 패턴 결정부에 의해 결정된 음향 패턴 정보를 영상 효과로 매핑하여 표시하는 영상 매핑부를 포함하는 가상 음악 영상 시스템을 제공함으로써, 라이브 음악 진행에 따른 변화에 대해 실시간으로 다양한 형태의 가상 영상을 생성할 수 있게 된다.

Description

가상 음악 영상 시스템 및 그 시스템의 영상 표시 방법{Virtual Sound Responsive Landscape System And Visual Display Method In That System}
본 발명은 가상 음악 영상 시스템 및 그 시스템의 영상 표시 방법에 관한 것으로, 특히 시스템에 입력되는 라이브 음악의 주파수 분석을 통해 비트(beat)를 검출함과 동시에 음향 패턴을 결정하여 다양한 영상 효과를 매핑하도록 한 가상 음악영상 시스템 및 그 시스템의 영상 표시 방법에 관한 것이다.
일반적으로, 음의 영상 효과 기술은 음악의 비트(beat)를 검출하고, 간유리의 난반사를 이용하여 색전구를 점멸시켜 일정한 색상 및 형태를 변화시켜 왔었다. 그리고, 종래 영상과 오디오를 처리하는 시스템에서도 영상 소스가 없을 경우에는 음악만을 감상할 수 있을뿐 음악을 시각적으로 나타내는 기능이 없었다.
특히, 종래의 상기한 음악에 따른 색의 변화 및 난반사 형태의 영상 처리 방법은 형태가 단조로와서 실시간(라이브) 음악을 처리하지 못했는데, 이는 각종 음악적 요소를 검출하기 위한 검출 기준들이 동적으로 음악에 적응하지 못함에 따른 것이다.
한편, 음악에 반응하여 영상을 생성하는 종래의 인터액티브(interactive) 시스템은 음악 파일(MP3) 또는 CD(Compact Disk) 플레이어를 통해 연주되는 음악에 반응하여 2차원 또는 3차원 영상을 생성하는데, 이때의 애니메이션 효과는 미리 프로그래밍되어 있어야 했으며, 해당 음악의 비트를 검출하여 애니메이션간의 스위치를 수행했다.
즉, 실시간 상호 작용을 위해 미리 기록된 음악에 반응하는 기존의 시스템은 검출되는 음악적 요소가 비트로 제한되어 있으므로, 단순히 비트에 의해 스위치되는 영상만을 표시할 수 있어 가상 현실 시스템으로서의 의미가 없었다.
또한, 종래에는 음악 파일이나 CD 음악을 입력으로 하기 때문에 잡음에 대한 고려나 음량을 고정적인 값에 비교하여 비트를 검출함에 따라 영상 표시에 오류가발생하는 단점이 있었다.
본 발명은 전술한 바와 같은 문제점을 해결하기 위한 것으로 그 목적은, 음악 파일이나 CD 플레이어(Compact Disk player)에 의한 음악이나 마이크로폰을 통해 입력되는 라이브 음악에 대해 각각의 동적인 기준값을 이용하여 주파수 대역별 비트를 검출함과 동시에 음향 패턴을 결정함으로써, 해당 음악 진행에 따른 변화에 대해 실시간으로 다양한 형태의 가상 영상을 생성할 수 있도록 하는데 있다.
본 발명의 다른 목적은, 음악의 주파수 대역별로 검출한 비트 정보를 이용하여 영상 효과간의 스위칭 및 새로운 3차원 영상의 생성/소멸을 수행하고, 해당 음악의 음향 패턴 정보를 이용하여 애니메이션 영상의 속도와 색상 테이블을 결정함으로써, 라이브 음악에 대해 다양한 형태의 가상 영상을 실시간으로 생성하여 표시할 수 있도록 하는데 있다.
도 1은 본 발명에 따른 가상 음악 영상 시스템의 개략적인 구성 블록도.
도 2는 본 발명에 따른 가상 음악 영상 시스템의 영상 표시 동작 순서도.
도 3은 도 2에 있어, 음악의 비트 검출 동작을 의사 코드로 구현한 알고리즘을 도시한 도면.
* 도면의 주요 부분에 대한 부호의 설명 *
11 : 고속 퓨리에 변환부 12 : 음악 비트 검출부
13 : 음향 패턴 결정부 14 : 영상 매핑부
상술한 바와 같은 목적을 해결하기 위한 본 발명의 특징은, 음악 신호를 소정시간 단위로 고속 퓨리에 변환하여 소정개수의 가청 주파수 대역별 주파수 성분으로 분해하는 고속 퓨리에 변환부와; 상기 고속 퓨리에 변환부에 의해 분해된 주파수 대역별 파워 변화량을 소정시간 주기로 측정하여 비트를 검출하는 음악 비트 검출부와; 상기 고속 퓨리에 변환부에 의해 분해된 주파수 대역별 분포 특성에 따라 음향 패턴을 결정하는 음향 패턴 결정부와; 상기 음악 비트 검출부에 의해 검출된 음악 비트와 상기 음향 패턴 결정부에 의해 결정된 음향 패턴 정보를 영상 효과로 매핑하여 표시하는 영상 매핑부를 포함하는 가상 음악 영상 시스템을 제공하는데 있다.
여기서, 상기 고속 퓨리에 변환부는 입력되는 음악 신호에 포함된 소음 및 잡음을 제거하기 위한 프리필터링을 수행하되, 시스템 초기화시 일정시간 동안 측정한 주파수 대역별 분포를 이후에 측정되는 데이터에서 감산하여 필터링하는 것을 특징으로 하며, 상기 음악 비트 검출부는 각 주파수 대역별로 소정시간 주기마다 측정한 파워 변화량을 매 주기마다 측정된 파워 변화량의 최대값으로 변경된 동적인 기준값과 비교하여 음악 비트를 검출하는 것을 특징으로 한다.
그리고, 상기 음향 패턴 결정부는 각 주파수 대역별로 추적한 음량의 크기 자체를 동적인 기준값과 비교하여 음향 패턴을 결정하는 것을 특징으로 하며, 상기 영상 매핑부는 음악 비트를 이용하여 영상 효과간의 스위칭 및 새로운 3차원 오브젝트를 생성 및 소멸하고, 음향 패턴을 이용하여 애니메이션 영상의 속도와 색상 테이블을 결정하여 다양한 형태의 가상 영상을 실시간으로 생성해서 표시하는 것을 특징으로 한다.
본 발명의 다른 특징은, 음악 신호를 소정시간 단위로 고속 퓨리에 변환하여 가청 주파수 대역별 주파수 성분으로 분해하는 과정과; 분해된 주파수 신호로부터 음량 크기의 변화에 따른 음악 비트를 검출함과 동시에 주파수 분포 특성에 따른 음향 패턴을 결정하는 과정과; 음악 비트와 음향 패턴에 따라 영상 효과를 매핑하여 표시하는 과정을 포함하는 가상 음악 영상 시스템의 영상 표시 방법을 제공하는데 있다.
여기서, 상기 가청 주파수 대역별 주파수 성분으로 분해하는 과정은, 시스템 초기화시 주파수 대역별 분포를 일정시간 동안 측정하는 단계와; 측정한 주파수 대역별 분포를 이후에 측정되는 데이터에서 감산하여 음악 신호에 포함된 특정 주파수 대역의 지속적인 소음 및 잡음을 제거하는 단계를 더 포함하는 것을 특징으로 한다.
그리고, 상기 음악 비트를 검출함과 동시에 음향 패턴을 결정하는 과정에서, 상기 음악 비트 검출은 주파수 대역별 파워 변화량을 소정시간 주기로 측정하는 단계와; 각 대역별로 측정된 파워 변화량과 각각의 동적인 기준값을 비교하여 비트를 검출하는 단계와; 상기 동적인 기준값을 측정된 파워 변화량의 최대값으로 변경하는 단계와; 상기 비트 검출 여부에 따라 동적인 기준값을 변경하는 단계를 더 포함하는 것을 특징으로 한다.
여기서, 상기 파워 변화량과 동적인 기준값을 비교하여 비트를 검출하는 단계는, 주파수 대역별로 구분한 모든 대역에서 파워 변화량이 기준값의 70%이상인 경우 스네어 드럼류의 비트로 검출하고, 가장 낮은 주파수 대역에서만 파워 변화량이 기준값의 70% 이상인 경우 베이스 드럼류의 비트로 검출하는 것을 특징으로 하며, 상기 비트 검출 여부에 따라 동적인 기준값을 변경하는 단계는, 상기 비트가 검출된 경우 동적인 기준값을 소정 비율만큼 증가시키고, 상기 비트가 검출되지 않은 경우 동적인 기준값을 소정 비율만큼 감소시키되, 상기 증가 비율을 감소 비율보다 크게 설정하여 변경하는 것을 특징으로 한다.
나아가, 상기 음악 비트를 검출함과 동시에 음향 패턴을 결정하는 과정에서, 상기 음향 패턴 결정은 주파수 대역별 분포 특성에 따라 음량 크기를 동적인 기준값과 비교하는 단계와; 상기 각 대역별 음량 크기가 기준값의 50%보다 큰 경우 '1'을, 기준값의 50%보다 작은 경우 '0'을 음향 패턴으로 결정하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 상기 음악 비트와 음향 패턴에 따라 영상 효과를 매핑하여 표시하는 과정은, 상기 음악 비트에 따라 영상 효과간의 스위칭 및 새로운 3차원 오브젝트의 생성/소멸을 수행하는 단계와; 상기 음향 패턴에 따라 애니메이션 영상의 속도와 색상 테이블을 결정하여 다양한 형태의 가상 영상을 실시간으로 표시하는 단계를 더 포함하는 것을 특징으로 한다.
이하, 본 발명에 따른 실시예를 첨부한 도면을 참조하여 상세하게 설명하면 다음과 같다.
본 발명에 따른 아이캔디(eye-candy)나 화면보호기(screen saver)의 기능을 넘어서는 인터액티브 가상 현실 응용 시스템 즉, 음악에 반응하여 실시간으로 영상을 표시하는 가상 음악 영상 시스템은 첨부한 도면 도 1에 도시한 바와 같이 고속 퓨리에 변환부(11)와, 음악 비트 검출부(12)와, 음향 패턴 결정부(13) 및 영상 매핑부(14)를 구비하여 이루어진다.
해당 고속 퓨리에 변환부(11)는 입력되는 음악 신호(sound wave)에 대해 소정시간(수십 ms) 단위의 고속 퓨리에 변환을 수행하여 소정개수의 가청 주파수 대역별 주파수 성분으로 분해하며, 해당 음악 비트 검출부(12)는 고속 퓨리에 변환부(11)에 의해 분해된 주파수 대역별 파워(power) 변화량을 소정시간 주기로 측정하여 비트의 시작(onset) 시점을 검출한다.
그리고, 해당 음향 패턴 결정부(13)는 고속 퓨리에 변환부(11)에 의해 분해된 주파수 대역별 분포 특성에 따라 음향의 패턴을 결정하며, 해당 영상 매핑부(14)는 음악 비트 검출부(12)에 의해 검출된 비트와 음향 패턴 결정부(13)에 의해 결정된 음향 패턴 정보를 3차원 영상 효과로 매핑하여 표시한다.
이와 같이 구성된 본 발명에 따른 가상 음악 영상 시스템의 영상 표시 동작을 첨부한 도면 도 2를 참조하여 설명하면 다음과 같다.
먼저, 음악 파일이나 CD 플레이어를 통해 연주되는 음악 또는 마이크로폰을 통해 입력되는 음악 신호는 고속 퓨리에 변환부(11)에 의해 15ms 단위로 가청 주파수 대역별 주파수 성분으로 분해되는데(스텝 S21), 이때, 해당 고속 퓨리에 변환부(11)에서는 입력된 음악 신호에 포함된 소음 및 잡음을 제거하기 위한 프리필터링(pre-filtering)을 수행하게 된다.
여기서, 프리필터링이란 단순히 저역 통과(low-pass) 필터링 기능이 아닌 주변(ambient) 환경 소음을 제거하는 기능으로서, 다양한 환경에 적응하기 위해 주변의 에어콘 소음, 쿨링팬과 같이 컴퓨터에서 발생하는 소음 등 특정 주파수 대역에서 지속적으로 발생하는 소음을 제거하게 되는데, 이는 시스템 초기화시 주파수 대역별 분포를 일정시간(약 1초) 동안 측정하고, 측정한 주파수 대역별 분포를 이후에 측정되는 데이터에서 감산하는 방식으로 필터링을 수행하게 된다.
이후, 해당 고속 퓨리에 변환부(11)에 의해 소정 주파수 대역별로 분해된 주파수 신호로부터 음량 크기의 변화에 따른 비트를 검출함과 동시에 음향 패턴을 결정하게 되는데, 먼저, 해당 음량 크기의 변화에 따른 비트 검출은 음악 비트 검출부(12)에서 주파수 대역별 파워(power) 변화량을 소정시간 주기로 측정함으로써, 해당 음악의 비트 시작(onset) 시점을 검출하게 된다.
즉, 해당 음악 비트 검출부(12)는 고속 퓨리에 변환부(11)에 의해 소정 주파수 대역별로 분해된 각 대역별 주파수 신호의 파워(power) 변화량을 15ms 주기로 측정한 후(스텝 S22), 각 대역별로 측정된 파워 변화량과 각각의 동적인 기준값을 비교하여 비트를 검출하게 된다(스텝 S23).
예를 들어, 가청 주파수 대역을 5등분 하는 경우 0~22Khz의 가청 주파수 대역을 동일한 간격으로 분해하지 않고 악기의 특성을 고려하여 분해하게 되는데, 우선 사람의 목소리로 낼 수 없는 낮은 주파수 대역과, 사람의 목소리로 낼 수 있는 보통 주파수 대역과, 사람의 목소리로 낼 수 있는 높은 주파수 대역 대역과, 사람의 목소리로 낼 수는 없지만 악기로 낼 수 있는 주파수 대역 및 악기로 낼 수 있는 가장 높은 주파수 대역으로 분해할 수 있다.
이때, 가청 주파수 대역별로 구분한 5개의 모든 대역에서 파워 변화량이 기준값의 70% 이상의 값으로 측정되는 경우에는 스네어 드럼(snare drum)류의 비트로 검출하게 되고, 가장 낮은 주파수 대역에서만 파워 변화량이 기준값의 70% 이상의 값으로 측정되는 경우에는 베이스 드럼(bass drum)류의 비트로 검출하게 되는데,이는 각 드럼류에 대한 음향의 주파수 특성을 고려하여 비트로 판정하기 위한 파워 변화량의 기준값을 고정시키지 않고 시간에 따라 변경되도록 한 것으로서, 단순히 음악 신호(wave)로부터 음량의 크기를 측정하고, 이의 변화량을 계산하는 것과는 다르다.
여기서, 해당 스네어 드럼류(임팩트시에 진동이 적고 여운이 급격이 감소하는 파형을 갖는 모든 타악기)의 비트 검출시 모든 대역의 파워 변화량을 살펴보는 이유는 스네어 드럼이 금속성의 소리와 같이 이상적인(idle) 임펄스(impulse) 파형(Dirac delta function)에 가까우며, 이러한 아이들한 임펄스 파형의 퓨리에 변환은 상수이기 때문에 즉, 모든 주파수 대역의 값이 일정한 값을 갖기 때문이다.
반대로, 해당 베이스 드럼류(특정 주파수 대역에서만 감지되는 모든 타악기)의 비트 검출시 낮은 주파수 대역의 파워 변화량만을 살펴보는 이유는 베이스 드럼이 임팩트시에 낮은 주파수의 파형을 발생시키기 때문이다.
한편, 상술한 각 대역별 파워 변화량에 대한 기준값은 시스템의 초기화시 일정한 값으로 설정하고, 매 주기마다 측정되는 파워 변화량의 최대값으로 변경함으로써, 각 대역별로 15ms 주기마다 측정하는 파워 변화량의 동적인 기준값을 갖게 된다.
따라서, 해당 음악 비트 검출부(12)는 주기적으로 측정한 파워 변화량을 동적인 기준값과 비교하여 입력되는 음악의 진행에 따라 비트를 검출할 수 있게 되며, 이와 동시에 해당 기준값은 바로 이전 주기에 비트가 검출된 경우 이전 기준값의 101%로 변경하게 되고, 이전 주기에 비트가 검출되지 않은 경우 이전 기준값의99.9%로 변경하게 되는데, 이로써, 초기값보다 작은 값으로 변경되지 않는 범위내에서 음악의 다양한 변화에 적응하여 동적인 음량의 변화량 예를 들면, 천둥이 치는 가운데 박수 소리는 비트로 검출하지 않으며, 적막한 가운데 치아가 서로 부딪히는 소리는 비트로 검출할 수 있게 된다.
즉, 상술한 동적인 음량의 변화량 검출이 가능한 이유를 설명하면 다음과 같다.
첫째, 기준값이 매우 높은 상태에서 음악의 진행상 전반적으로 음량이 작아지면, 이후의 작은 소리의 비트를 계속 검출하지 못하는 현상을 방지할 수 있는데, 이는 이후 비트가 검출되지 않으면 기준값은 매 주기마다 소정 비율만큼 감소하기 때문이며, 해당 감소 비율을 0.1%로 했을 경우 15ms의 주기를 가정하면 약 10초 후에 기준값은 대략 절반으로 감소하게 된다.
둘째, 상술한 상황과는 반대로 기준값이 낮은 상태에서 음악의 진행상 갑자기 음량이 전반적으로 커지는 경우 실제 비트가 아닌 부분을 비트로 오인하는 현상을 방지할 수 있는데, 이는 비트가 연속적으로 검출되는 경우 기준값이 소정 비율만큼 증가하기 때문이며, 해당 증가 비율을 1%로 했을 경우 15ms의 주기를 가정하면 약 1초 후에 기준값은 대략 두배로 증가하게 된다.
여기서, 해당 비트의 검출 여부에 따라 증가 비율(1%)을 감소 비율(0.1%)보다 크게 설정하는 것은 작은 소리에서 비트를 검출하지 못하는 것보다 큰 소리에서 비트가 발생하지 않았을 때 비트를 검출하는 것이 사람들에게 오류로 인식되기 쉽기 때문에 비트 검출시 기준값이 보다 빨리 반응하게 하기 위함이다.
상술한 음악의 비트 검출 동작을 의사 코드(Pseudo-code)로 구현한 알고리즘은 첨부한 도면 도 3과 같으며, 이는 음악의 진행에 따라 검출 감도(sensitivity)가 변화하므로 라이브 음악을 처리하기에 적합하다.
한편, 음향 패턴의 결정은 음향 패턴 결정부(13)에서 고속 퓨리에 변환부(11)에 의해 분해된 주파수 대역별 분포 특성 즉, 전체적인 음량 크기와 주파수 대역별 특성에 따라 음향 패턴을 결정하게 되는데(스텝 S24), 이때의 음향 패턴 결정은 비트 검출 즉, 음량 크기의 변화량을 측정하여 비트의 발생 여부에 대한 이진 정보를 제공하는 것과는 달리 음량의 크기 자체를 추적하여 매 주기마다 연속적인 값으로 정보를 제공하게 된다.
여기서, 음량 크기의 정보는 비트 검출시와 동일하게 동적인 기준값과 비교하여 '0'에서 '1' 사이의 패턴값으로 결정함으로써, 음악 진행에 따른 변화에 적응할 수 있게 되며, 각 대역별로 음량 크기가 기준값의 50%보다 크면 1을, 작으면 0으로 결정함에 따라 총 32개(25개)의 음향 패턴을 결정할 수 있게 된다.
이때, 해당 동적인 기준값은 음악 비트 검출시와 같이, 측정된 파워 변화량의 최대값으로 변경하되, 해당 비트 검출 여부에 따라 1% 증가시키거나 0,1% 감소시키게 된다.
이에, 해당 영상 매핑부(14)는 음악 비트 검출부(12)에 의해 검출된 음악 비트와 음향 패턴 결정부(13)에 의해 결정된 음향 패턴에 따라 해당되는 영상 효과를 매핑하게 되는데(스텝 S25), 이때, 해당 음악 비트에 따라 영상 효과간의 스위칭및 새로운 3차원 오브젝트(object)의 생성/소멸이 수행되며, 해당 음향 패턴에 따라 애니메이션 영상의 속도와 색상 테이블이 결정됨에 따라 음악 파일이나 CD 플레이어를 통한 음악 뿐아니라, 마이크로폰을 통한 라이브 음악에 대해 실시간으로 다양한 형태의 가상 영상(Viaual)을 생성하여 표시할 수 있게 된다.
해당 검출된 음악 비트와 음향 패턴에 따라 해당되는 영상 효과를 매핑하는 경우를 3차원 영상에 해당되는 우주 생성을 예로 설명하면, 완전한 무에서 시작하여 비트 검출시 비트의 강약에 따라 크기가 다른 별을 생성하게 되며, 해당 별 생성시의 텍스처(texture)는 비트 검출 시점까지의 음향 패턴에 따라 결정하게 된다.
그리고, 음량의 크기는 별들의 이동 속도와 매핑되어 사용자를 향해 다가오며, 이러한 별들이 많아지고 비트의 간격이 잦아지는 경우 안개와 같은 은하수가 생성되기 시작하고, 해당 음량의 크기에 따라 나선 회전 속도가 결정되며, 이때의 은하수 색상은 음향 패턴에 따라 연속적으로 변화하게 된다.
한편, 해당 검출된 음악 비트와 결정된 음향 패턴에 따라 해당되는 영상 효과를 매핑한 후, 스텝 S21로 귀환하여 반복적인 영상 효과 매핑 동작을 수행하게 되는데, 이때, 사용자에 의해 발생된 종료 이벤트가 검출되는지를 확인하여(스텝 S26), 해당 종료 이벤트가 검출되는 경우에는 해당 가상 음악 영상 시스템의 영상 표시 동작을 종료하게 된다.
또한, 본 발명에 따른 가상 음악 영상 시스템의 영상 표시 동작에 대한 실시예는 상술한 것으로 한정되지 않고, 본 발명과 관련하여 통상의 지식을 가진자에게 자명한 범위내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있다.
이상과 같이, 본 발명은 음악 파일이나 CD 플레이어(Compact Disk player)에 의한 음악이나 마이크로폰을 통해 입력되는 라이브 음악에 대해 각각의 동적인 기준값을 이용하여 주파수 대역별 비트를 검출함과 동시에 음향 패턴을 결정함으로써, 해당 음악 진행에 따른 변화에 대해 실시간으로 다양한 형태의 가상 영상을 생성할 수 있게 된다.
또한, 본 발명은 음악의 주파수 대역별로 검출한 비트 정보를 이용하여 영상 효과간의 스위칭 및 새로운 3차원 영상의 생성/소멸을 수행하고, 해당 음악의 음향 패턴 정보를 이용하여 애니메이션 영상의 속도와 색상 테이블을 결정함에 따라 라이브 음악에 대해 다양한 형태의 가상 영상을 실시간으로 생성하여 표시할 수 있게 된다.

Claims (12)

  1. 음악 신호를 소정시간 단위로 고속 퓨리에 변환하여 소정개수의 가청 주파수 대역별 주파수 성분으로 분해하는 고속 퓨리에 변환부와; 상기 고속 퓨리에 변환부에 의해 분해된 주파수 대역별 파워 변화량을 소정시간 주기로 측정하여 비트를 검출하는 음악 비트 검출부와; 상기 고속 퓨리에 변환부에 의해 분해된 주파수 대역별 분포 특성에 따라 음향 패턴을 결정하는 음향 패턴 결정부와; 상기 음악 비트 검출부에 의해 검출된 음악 비트와 상기 음향 패턴 결정부에 의해 결정된 음향 패턴 정보를 영상 효과로 매핑하여 표시하는 영상 매핑부를 포함하는 것을 특징으로 하는 가상 음악 영상 시스템.
  2. 제 1항에 있어서,
    상기 고속 퓨리에 변환부는, 입력되는 음악 신호에 포함된 소음 및 잡음을 제거하기 위한 프리필터링을 수행하되, 시스템 초기화시 일정시간 동안 측정한 주파수 대역별 분포를 이후에 측정되는 데이터에서 감산하여 필터링하는 것을 특징으로 하는 가상 음악 영상 시스템.
  3. 제 1항에 있어서,
    상기 음악 비트 검출부는, 각 주파수 대역별로 소정시간 주기마다 측정한 파워 변화량을 매 주기마다 측정된 파워 변화량의 최대값으로 변경된 동적인 기준값과 비교하여 음악 비트를 검출하는 것을 특징으로 하는 가상 음악 영상 시스템.
  4. 제 1항에 있어서,
    상기 음향 패턴 결정부는, 각 주파수 대역별로 추적한 음량의 크기 자체를 동적인 기준값과 비교하여 음향 패턴을 결정하는 것을 특징으로 하는 가상 음악 영상 시스템.
  5. 제 1항에 있어서,
    상기 영상 매핑부는, 음악 비트를 이용하여 영상 효과간의 스위칭 및 새로운 3차원 오브젝트를 생성 및 소멸하고, 음향 패턴을 이용하여 애니메이션 영상의 속도와 색상 테이블을 결정하여 다양한 형태의 가상 영상을 실시간으로 생성해서 표시하는 것을 특징으로 하는 가상 음악 영상 시스템.
  6. 음악 신호를 소정시간 단위로 고속 퓨리에 변환하여 가청 주파수 대역별 주파수 성분으로 분해하는 과정과; 분해된 주파수 신호로부터 음량 크기의 변화에 따른 음악 비트를 검출함과 동시에 주파수 분포 특성에 따른 음향 패턴을 결정하는 과정과; 음악 비트와 음향 패턴에 따라 영상 효과를 매핑하여 표시하는 과정을 포함하는 것을 특징으로 하는 가상 음악 영상 시스템의 영상 표시 방법.
  7. 제 6항에 있어서,
    상기 가청 주파수 대역별 주파수 성분으로 분해하는 과정은, 시스템 초기화시 주파수 대역별 분포를 일정시간 동안 측정하는 단계와; 측정한 주파수 대역별 분포를 이후에 측정되는 데이터에서 감산하여 음악 신호에 포함된 특정 주파수 대역의 지속적인 소음 및 잡음을 제거하는 단계를 더 포함하는 것을 특징으로 하는 가상 음악 영상 시스템의 영상 표시 방법.
  8. 제 6항에 있어서,
    상기 음악 비트를 검출함과 동시에 음향 패턴을 결정하는 과정에서, 상기 음악 비트 검출은 주파수 대역별 파워 변화량을 소정시간 주기로 측정하는 단계와; 각 대역별로 측정된 파워 변화량과 각각의 동적인 기준값을 비교하여 비트를 검출하는 단계와; 상기 동적인 기준값을 측정된 파워 변화량의 최대값으로 변경하는 단계와; 상기 비트 검출 여부에 따라 동적인 기준값을 변경하는 단계를 더 포함하는 것을 특징으로 하는 가상 음악 영상 시스템의 영상 표시 방법.
  9. 제 8항에 있어서,
    상기 파워 변화량과 동적인 기준값을 비교하여 비트를 검출하는 단계는, 주파수 대역별로 구분한 모든 대역에서 파워 변화량이 기준값의 70%이상인 경우 스네어 드럼류의 비트로 검출하고, 가장 낮은 주파수 대역에서만 파워 변화량이 기준값의 70% 이상인 경우 베이스 드럼류의 비트로 검출하는 것을 특징으로 하는 가상 음악 영상 시스템의 영상 표시 방법.
  10. 제 8항에 있어서,
    상기 비트 검출 여부에 따라 동적인 기준값을 변경하는 단계는, 상기 비트가 검출된 경우 동적인 기준값을 소정 비율만큼 증가시키고, 상기 비트가 검출되지 않은 경우 동적인 기준값을 소정 비율만큼 감소시키되, 상기 증가 비율을 감소 비율보다 크게 설정하여 변경하는 것을 특징으로 하는 가상 음악 영상 시스템의 영상 표시 방법.
  11. 제 6항에 있어서,
    상기 음악 비트를 검출함과 동시에 음향 패턴을 결정하는 과정에서, 상기 음향 패턴 결정은 주파수 대역별 분포 특성에 따라 음량 크기를 동적인 기준값과 비교하는 단계와; 상기 각 대역별 음량 크기가 기준값의 50%보다 큰 경우 '1'을, 기준값의 50%보다 작은 경우 '0'을 음향 패턴으로 결정하는 단계를 더 포함하는 것을 특징으로 하는 가상 음악 영상 시스템의 영상 표시 방법.
  12. 제 6항에 있어서,
    상기 음악 비트와 음향 패턴에 따라 영상 효과를 매핑하여 표시하는 과정은, 상기 음악 비트에 따라 영상 효과간의 스위칭 및 새로운 3차원 오브젝트의 생성/소멸을 수행하는 단계와; 상기 음향 패턴에 따라 애니메이션 영상의 속도와 색상 테이블을 결정하여 다양한 형태의 가상 영상을 실시간으로 표시하는 단계를 더 포함하는 것을 특징으로 하는 가상 음악 영상 시스템의 영상 표시 방법.
KR1020000005225A 2000-02-02 2000-02-02 가상 음악 영상 시스템 및 그 시스템의 영상 표시 방법 KR100365989B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020000005225A KR100365989B1 (ko) 2000-02-02 2000-02-02 가상 음악 영상 시스템 및 그 시스템의 영상 표시 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020000005225A KR100365989B1 (ko) 2000-02-02 2000-02-02 가상 음악 영상 시스템 및 그 시스템의 영상 표시 방법

Publications (2)

Publication Number Publication Date
KR20010077433A true KR20010077433A (ko) 2001-08-20
KR100365989B1 KR100365989B1 (ko) 2002-12-26

Family

ID=19643894

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020000005225A KR100365989B1 (ko) 2000-02-02 2000-02-02 가상 음악 영상 시스템 및 그 시스템의 영상 표시 방법

Country Status (1)

Country Link
KR (1) KR100365989B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100911689B1 (ko) * 2007-12-04 2009-08-10 한국과학기술연구원 실시간 음악 비트 주기 추출 방법 및 실시간 음악 비트주기 추출 장치
KR101363534B1 (ko) * 2006-01-25 2014-02-14 소니 주식회사 비트 추출 장치 및 비트 추출 방법
KR20150112048A (ko) * 2014-03-25 2015-10-07 서강대학교산학협력단 모바일 앱 기반의 실시간 영상의 배경음악 생성방법
WO2020032552A1 (ko) * 2018-08-09 2020-02-13 삼성전자 주식회사 전화수신화면을 출력하는 전자 장치 및 전화수신화면을 출력하기 위한 방법
CN114079803A (zh) * 2020-08-21 2022-02-22 上海昊骇信息科技有限公司 一种基于虚拟现实的音乐直播方法和***
CN114079799A (zh) * 2020-08-21 2022-02-22 上海昊骇信息科技有限公司 一种基于虚拟现实的音乐直播***和方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101363534B1 (ko) * 2006-01-25 2014-02-14 소니 주식회사 비트 추출 장치 및 비트 추출 방법
KR100911689B1 (ko) * 2007-12-04 2009-08-10 한국과학기술연구원 실시간 음악 비트 주기 추출 방법 및 실시간 음악 비트주기 추출 장치
KR20150112048A (ko) * 2014-03-25 2015-10-07 서강대학교산학협력단 모바일 앱 기반의 실시간 영상의 배경음악 생성방법
WO2020032552A1 (ko) * 2018-08-09 2020-02-13 삼성전자 주식회사 전화수신화면을 출력하는 전자 장치 및 전화수신화면을 출력하기 위한 방법
US11425243B2 (en) 2018-08-09 2022-08-23 Samsung Electronics Co., Ltd Electronic device to which incoming call screen is output and method for outputting incoming call screen
CN114079803A (zh) * 2020-08-21 2022-02-22 上海昊骇信息科技有限公司 一种基于虚拟现实的音乐直播方法和***
CN114079799A (zh) * 2020-08-21 2022-02-22 上海昊骇信息科技有限公司 一种基于虚拟现实的音乐直播***和方法

Also Published As

Publication number Publication date
KR100365989B1 (ko) 2002-12-26

Similar Documents

Publication Publication Date Title
US9330546B2 (en) System and method for automatically producing haptic events from a digital audio file
JP6178456B2 (ja) デジタル音声信号からハプティック・イベントを自動生成するシステム及び方法
US9239700B2 (en) System and method for automatically producing haptic events from a digital audio signal
US6140568A (en) System and method for automatically detecting a set of fundamental frequencies simultaneously present in an audio signal
JP5241805B2 (ja) タイミング・オフセット許容型カラオケゲーム
US7203558B2 (en) Method for computing sense data and device for computing sense data
KR100365989B1 (ko) 가상 음악 영상 시스템 및 그 시스템의 영상 표시 방법
Moffat et al. Sound effect synthesis
Jensen The timbre model
Groß-Vogt et al. The augmented floor-assessing auditory augmentation
JP3645364B2 (ja) 周波数検出装置
JP4483561B2 (ja) 音響信号分析装置、音響信号分析方法及び音響信号分析プログラム
Järveläinen et al. Audibility of Initial Pitch Glides in String Instrument Sounds.
WO2019176029A1 (ja) 音検出装置
JP2002287744A (ja) 波形データ分析方法、波形データ分析装置およびプログラム
Castle et al. Integrated modal and granular synthesis of haptic tapping and scratching sounds
JP3659121B2 (ja) 楽音信号の分析・合成方法、楽音信号合成方法、楽音信号合成装置および記録媒体
Pai Expressive Interaction with Contact Sounds
JPH05158478A (ja) 電子楽器
JP2000214850A (ja) 電子楽器
楊瀚儒 et al. Real-Time Musical Rhythm Detection
JP2001265353A (ja) 楽音合成方法、楽音合成装置および記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee