KR100958008B1 - Emotional lighting represent system according to music atmosphere and method thereof - Google Patents
Emotional lighting represent system according to music atmosphere and method thereof Download PDFInfo
- Publication number
- KR100958008B1 KR100958008B1 KR1020070139597A KR20070139597A KR100958008B1 KR 100958008 B1 KR100958008 B1 KR 100958008B1 KR 1020070139597 A KR1020070139597 A KR 1020070139597A KR 20070139597 A KR20070139597 A KR 20070139597A KR 100958008 B1 KR100958008 B1 KR 100958008B1
- Authority
- KR
- South Korea
- Prior art keywords
- atmosphere
- lighting
- sound source
- module
- music
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/105—Controlling the light source in response to determined parameters
- H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
- H05B47/12—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by detecting audible sound
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63J—DEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
- A63J17/00—Apparatus for performing colour-music
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
본 발명은, 각종 장르 및 리듬의 음원을 저장하는 음원 DB; 상기 음원 DB로부터 추출된 음원의 분위기를 판별하는 분위기 판별 모듈; 조명과 사람 심리 사이의 상관관계 정보를 저장하는 조명 시나리오 DB; 및 상기 조명 시나리오 DB에 저장되어 있는 정보를 이용하여 상기 분위기 판별 모듈을 통하여 판별된 음원의 분위기에 부합하는 조명을 연출하는 조명 조절 모듈을 포함하는 음악 분위기에 따른 감성 조명 연출 시스템을 제공한다.The present invention, the sound source DB for storing a sound source of various genres and rhythms; An atmosphere determination module for determining an atmosphere of a sound source extracted from the sound source DB; A lighting scenario DB for storing correlation information between lighting and human psychology; And using the information stored in the lighting scenario DB provides an emotional lighting production system according to the music atmosphere comprising a lighting control module for producing a light corresponding to the atmosphere of the sound source determined through the atmosphere determination module.
또한, 본 발명은 (A) 세그먼트 분리 모듈을 통하여 음원을 음악의 특징 변화에 따라 복수의 세그먼트로 분리하는 단계; (B) 분위기 추출 모듈을 통하여 상기 음원을 세그먼트로 분리한 후 분리된 각 세그먼트 별로 음향의 특징 및 분위기를 추출하는 단계; (C) 심리 파악 모듈을 통하여 상기 분위기가 판별된 음원에 따른 사람의 심리를 파악하는 단계; 및 (D) 조명 연출 모듈을 통하여 상기 심리 파악 모듈을 통하여 인지된 심리와 부합하는 조명을 연출하는 단계를 포함하는 음악 분위기에 따른 감성 조명 연출 방법을 제공한다.In addition, the present invention comprises the steps of: (A) separating the sound source into a plurality of segments in accordance with the characteristic change of music through the segment separation module; (B) separating the sound source into segments through an atmosphere extracting module and extracting a feature and an atmosphere of the sound for each segment; (C) identifying a psychology of the person according to the sound source from which the mood is determined through a psychological grasp module; And (D) directing the light corresponding to the perceived psychology through the psychological grasp module through the lighting directing module.
음원, 분위기, 음악, 조명 Audio, Atmosphere, Music, Lighting
Description
본 발명은 여러 분위기로 구성된 음악 데이터로부터 분위기 별로 세그먼트를 나누고 해당 세그먼트의 분위기를 판별하는 한편, 위와 같이 음악 데이터의 세그먼트를 통하여 인지된 분위기와 어울리는 조명의 색상이나 밝기를 파악하여 연출하는 음악 분위기에 따른 감성 조명 연출 시스템 및 방법에 관한 것이다.The present invention divides a segment for each mood from the music data composed of various atmospheres and determines the mood of the segment. The present invention relates to a music atmosphere that is produced by grasping the color or brightness of lighting that matches the perceived atmosphere through the segment of the music data. Emotional lighting production system and method according to the present invention.
산업화 이후 인간의 주 활동 공간이 실외에서 실내로 바뀌게 되면서 조명은 우리 삶의 큰 부분을 차지하고 있다. 그러나 지금까지의 조명은 단순히 어둠을 밝히는 기능적 요소와 인테리어와 익스테리어의 장식적 요소로만 파악되어져 왔으나, 근래에 있어 감성공학에 대한 관심이 높아지면서 이와 관련한 감성 조명 제품들이 주목 받고 있다.Lighting has become a big part of our lives as the main human activity space has changed from outdoor to indoor after industrialization. However, until now, lighting has been identified only as a functional element that illuminates the dark and as a decorative element for interior and exterior, but in recent years, as the interest in emotional engineering has increased, related emotional lighting products have attracted attention.
그러나, 현재까지의 감성 조명들에 관한 연구 중 인간의 감정이나 상황을 대입시키기 위한 연구는 미비한 수준이고, 단순히 공간이나 시간과 관련한 통상적인 정보에 맞춘 감성 조명의 조절이나 주변 감성과 관련한 요소 중 음악의 단순한 음높이, 음색의 변화와 같은 하위 정보를 통한 조명의 조절에 대해서만 다루어져 왔 다.However, studies on emotional lightings to date have been insufficient in order to substitute human emotions or situations, and music among the elements related to the control of emotional lighting or the surrounding emotions simply adjusted to general information regarding space or time. It has only dealt with lighting adjustments through sub-information, such as the simple pitch and change of timbre.
인간의 감성에 맞춘 조명의 자동적인 조절을 위해서는 현재 사용자의 상황(situation)이나 행위(behavior)를 파악하는 상황 인지가 필요하다. 사람의 감정을 파악하기 위한 많은 연구들이 진행되어 왔다. 직접적인 파악으로는 사람의 신체적인 변화를 직접 센싱하여, 예를 들어 사용자의 체온이나 심박수의 변화를 분석하거나 사용자의 얼굴의 표정이나 음성 특징으로부터 사람의 감정을 파악할 수 있을 것이고, 간접적으로는 사용자가 현재 하고 있는 행위를 바탕으로, 예를 들어 현재 듣고 있는 음악으로부터 사용자의 감정을 추론하는 등의 방법을 사용할 수 있을 것이다.In order to automatically adjust the lighting according to the human emotion, it is necessary to recognize the situation of the current user's situation or behavior. Many studies have been conducted to understand human emotions. A direct grasp may directly sense a person's physical changes, for example, to analyze changes in the user's body temperature or heart rate, or to grasp a person's emotions from facial expressions or voice features of the user's face. Based on what you are doing, you might be able to infer, for example, the user's emotions from the music you are currently listening to.
한편, 음악은 사람의 감정과 밀접한 관계를 맺고 있어 심리 치료 분야 등에서 치료방법으로도 사용되고 있다. 사용자가 현재 듣고 있는 음악을 현재 사용자가 느끼는 감정이라고 가정하면 이를 통한 주변의 감성 조명을 제어함으로써 사용자의 현재의 감정을 증폭시킬 수 있다. 일반적으로 음악은 전체과정 중에 동일한 분위기를 유지하기보다는 중간 중간에 다른 분위기들로 변화한다. 따라서 음악의 분위기에 따라 조명을 달리하려면 무엇보다도 음악을 분석하여 비슷한 분위기 단위로 세그먼트할 필요가 있다. 수작업으로 이러한 작업을 수행할 수도 있으나 새로이 출판되는 음악들이 많고 유용한 정보를 입력할 전문가들이 부족한 관계로 그리 현실적이지 않다. 다행히 최근 들어 음악 데이터로부터 분위기나 장르 정보 등을 추출하는 연구들이 속속 발표되고 있어 이러한 작업을 자동화할 수 있는 가능성이 높아지고 있다. 따라서 이러한 흐름에 맞추어 음악 데이터로부터 음악분위기를 추출하고 이를 기반으로 조명을 달리하는 감성 조명에 대한 연구 및 발명이 요구된다.On the other hand, music has a close relationship with human emotions and is also used as a treatment method in the field of psychotherapy. Assuming that the user is currently listening to music, the user's current emotion can be amplified by controlling the emotional lighting around the user. In general, music changes into different atmospheres in the middle, rather than maintaining the same atmosphere throughout the process. Therefore, to change the lighting according to the atmosphere of music, it is necessary to analyze the music and segment it into similar atmosphere units. You can do this by hand, but it's not very realistic, as there are a lot of newly published music and a lack of experts to enter useful information. Fortunately, recent studies have been published to extract mood and genre information from music data, increasing the possibility of automating these tasks. Therefore, research and invention on the emotional lighting that extracts the music atmosphere from the music data and changes the lighting based on this flow are required.
상기 문제점을 해결하기 위하여 안출된 본 발명은 먼저 여러 분위기로 구성된 음악 데이터로부터 분위기 별로 세그먼트를 나누는 기술과 해당 세그먼트의 분위기를 판별하는 기술을 제공하는 것을 목적으로 한다.Disclosure of Invention The present invention devised to solve the above problems aims to provide a technique of dividing segments by atmosphere from music data composed of various atmospheres and a technique of discriminating the atmosphere of the segments.
또한, 위와 같이 음악 데이터의 세그먼트를 통하여 인지된 분위기와 어울리는 조명의 색상이나 밝기를 파악하여 연출하는 기술을 제공하는 것을 목적으로 한다.In addition, it is an object of the present invention to provide a technique for grasping and directing the color or brightness of lighting that matches the perceived atmosphere through the segment of music data as described above.
상기 목적을 달성하기 위한 본 발명은, 각종 장르 및 리듬의 음원을 저장하는 음원 DB; 상기 음원 DB로부터 추출된 음원의 분위기를 판별하는 분위기 판별 모듈; 조명과 사람 심리 사이의 상관관계 정보를 저장하는 조명 시나리오 DB; 및 상기 조명 시나리오 DB에 저장되어 있는 정보를 이용하여 상기 분위기 판별 모듈을 통하여 판별된 음원의 분위기에 부합하는 조명을 연출하는 조명 조절 모듈을 포함하는 음악 분위기에 따른 감성 조명 연출 시스템을 제공한다.The present invention for achieving the above object, the sound source DB for storing a sound source of various genres and rhythms; An atmosphere determination module for determining an atmosphere of a sound source extracted from the sound source DB; A lighting scenario DB for storing correlation information between lighting and human psychology; And using the information stored in the lighting scenario DB provides an emotional lighting production system according to the music atmosphere comprising a lighting control module for producing a light corresponding to the atmosphere of the sound source determined through the atmosphere determination module.
바람직하게는, 상기 분위기 판별 모듈은 음악의 특징의 변화에 따라 음원을 복수의 세그먼트로 분리하는 세그먼트 분리 모듈과, 상기 세그먼트 분리 모듈을 통하여 분리된 음원의 각 세그먼트별 분위기를 추출하는 분위기 추출 모듈을 포함할 수 있다.Preferably, the atmosphere determination module comprises a segment separation module for separating the sound source into a plurality of segments according to a change in the characteristics of the music, and an atmosphere extraction module for extracting the atmosphere for each segment of the sound source separated through the segment separation module; It may include.
또한, 상기 조명 조절 모듈은 상기 분위기 판별 모듈을 통하여 분위기가 판 별된 음원에 따른 사람의 심리를 파악하는 심리 파악 모듈, 및 상기 조명 시나리오 DB에 저장되어 있는 조명에 따른 사람의 심리 사이의 상관관계 정보를 참조하여, 상기 심리 파악 모듈을 통하여 인지된 심리와 부합하는 조명을 연출하는 조명 연출 모듈을 포함할 수 있다.In addition, the lighting control module is a psychological grasp module for grasping the psychology of the person according to the sound source, the atmosphere is determined through the atmosphere determination module, and the correlation information between the psychology of the person according to the illumination stored in the lighting scenario DB With reference to, the psychological grasp module may include a lighting directing module for producing a light corresponding to the perceived psychology.
또한, 음악의 분위기 정보가 추출된 음악의 특성 벡터가 저장되는 음원별 분위기 DB를 더 포함할 수 있다.The sound source may further include an atmosphere DB for each sound source in which the characteristic vector of the music from which the atmosphere information of the music is extracted is stored.
또한, 본 발명은 (A) 세그먼트 분리 모듈을 통하여 음원을 음악의 특징 변화에 따라 복수의 세그먼트로 분리하는 단계; (B) 분위기 추출 모듈을 통하여 상기 음원을 세그먼트로 분리한 후 분리된 각 세그먼트 별로 음향의 특징 및 분위기를 추출하는 단계; (C) 심리 파악 모듈을 통하여 상기 분위기가 판별된 음원에 따른 사람의 심리를 파악하는 단계; 및 (D) 조명 연출 모듈을 통하여 상기 심리 파악 모듈을 통하여 인지된 심리와 부합하는 조명을 연출하는 단계를 포함하는 음악 분위기에 따른 감성 조명 연출 방법을 제공한다.In addition, the present invention comprises the steps of: (A) separating the sound source into a plurality of segments in accordance with the characteristic change of music through the segment separation module; (B) separating the sound source into segments through an atmosphere extracting module and extracting a feature and an atmosphere of the sound for each segment; (C) identifying a psychology of the person according to the sound source from which the mood is determined through a psychological grasp module; And (D) directing the light corresponding to the perceived psychology through the psychological grasp module through the lighting directing module.
바람직하게는, 상기 (A) 단계는, (a) 프레임마다 특징 벡터를 계산하는 단계와, (b) 이웃한 두 프레임 사이의 거리를 계산하는 단계와, (c) 변화량 
또한, 상기 (B) 단계는, 음원 신호 자체의 시간영역의 내용, 푸리에 변환을 사용한 주파수 영역의 내용 그리고 웨이블릿 변환을 사용한 스케일 영역의 내용을 이용하여 음향의 특징을 추출할 수 있다.Also, in the step (B), the feature of the sound may be extracted using the contents of the time domain of the sound source signal itself, the contents of the frequency domain using the Fourier transform, and the contents of the scale region using the wavelet transform.
이상에서 설명한 바와 같이, 본 발명은 먼저 여러 분위기로 구성된 음악 데이터로부터 분위기 별로 세그먼트를 나누는 기술과 해당 세그먼트의 분위기를 판별하는 기술을 제공한다.As described above, the present invention first provides a technique of dividing segments by atmosphere from music data composed of various atmospheres and a technique of determining the atmosphere of the segment.
또한, 위와 같이 음악 데이터의 세그먼트를 통하여 인지된 분위기와 어울리는 조명의 색상이나 밝기를 파악하여 연출하는 기술을 제공한다.In addition, through the segment of the music data as described above, it provides a technique for identifying and directing the color or brightness of the lighting that matches the perceived atmosphere.
또한, 본 발명은 음악 데이터 분위기의 자동 판정을 통한 내용 기반 필터링, 추천 시스템, 그리고 정보 검색 분야에서도 활용이 가능하다.In addition, the present invention can be used in the field of content-based filtering, recommendation system, and information retrieval through automatic determination of music data atmosphere.
본 발명과 본 발명의 동작성의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.In order to fully understand the present invention, the advantages of the operability of the present invention, and the objects achieved by the practice of the present invention, reference should be made to the accompanying drawings which illustrate preferred embodiments of the present invention and the contents described in the accompanying drawings.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. Like reference numerals in the drawings denote like elements.
도 1은 본 발명에 따른 음악 분위기에 따른 감성 조명 연출 시스템의 구성을 도시한 도면이다.1 is a view showing the configuration of the emotional lighting production system according to the music atmosphere according to the present invention.
도 1을 참조하면, 본 발명은 크게 분위기 판별 모듈(100)과, 조명 조절 모듈(200)로 구성된다.Referring to FIG. 1, the present invention is largely composed of an
상기 분위기 판별 모듈(100)은 각종 장르 및 리듬의 음원을 저장하는 음원 DB(110)로부터 추출된 음원을 음악의 특징의 변화에 따라 복수의 세그먼트로 분리하는 세그먼트 분리 모듈(120), 상기 세그먼트 분리 모듈(120)을 통하여 분리된 음원의 각 세그먼트별 분위기를 추출하는 분위기 추출 모듈(130)을 포함한다.The
또한, 상기 조명 조절 모듈(200)은 상기 분위기 판별 모듈(100)을 통하여 분위기가 판별된 음원에 따른 사람의 심리를 파악하는 심리 파악 모듈(220), 조명 시나리오 DB(210)에 저장되어 있는 조명에 따른 사람의 심리 사이의 상관관계 정보를 참조하여, 상기 심리 파악 모듈(220)을 통하여 인지된 심리와 부합하는 조명을 연출하는 조명 연출 모듈(230)을 포함한다.In addition, the
본 발명을 통하여 음악의 분위기를 고려한 감성 조명 연출 시스템을 제공한다. 이를 위해 음악의 음향 데이터를 분석하여 음악의 분위기 정보를 추출하고, 그 결과물로 음악의 특성 벡터(각 분위기의 가능성으로 표현)로 구성된 음원별 분위기 DB(미도시)가 추가적으로 구축될 수 있다. 음악 분위기 판별 후, 이를 바탕으로 현재의 음악의 분위기에 부합하는 조명을 연출한다. 상기 시스템을 통한 음원의 분위기 추출 및 조명 연출 과정은 아래와 같다.The present invention provides an emotional lighting production system considering the atmosphere of music. To this end, the atmosphere data of the music may be extracted by analyzing the acoustic data of the music, and as a result, an atmosphere DB (not shown) for each sound source may be additionally composed of a characteristic vector of the music (expressed as the possibility of each atmosphere). After the music atmosphere is determined, lighting is produced based on the current music atmosphere. The atmosphere extraction and lighting directing process of the sound source through the system is as follows.
도 2는 본 발명에 따른 음악 분위기에 따른 감성 조명 연출 방법을 나타낸 플로우 차트이다.2 is a flowchart illustrating a method of directing emotional lighting according to a musical atmosphere according to the present invention.
도 2를 참조하면, 본 발명은 먼저 디지털 음악의 기본 데이터 형태인 PCM 데이터를 추출하여 각 음악 소스(한 개의 음악 파일이나 CD 등의 한 개의 트랙)로부터 음향의 특징들을 추출하여 하위의 음향 특징들로부터 분위기를 추론한다.Referring to FIG. 2, the present invention first extracts PCM data, which is a basic form of digital music, and extracts features of sound from each music source (one track, such as one music file or CD). Infer the mood from
이를 위한 첫 과정은 음원의 세그먼트를 분리하는 과정이다(S100). 음악은 전체과정 중에 동일한 분위기의 특징을 유지하기보다는 중간 중간에 다른 특징들로 변화한다. 따라서, 전체 오디오 데이터를 음악의 특징의 변화에 따라 몇 개의 부분으로 나누고 이들 각각에 대해서 분위기를 판단하는 것이 보다 합리적이다. 이를 위해 본 발명에서는 아래와 같은 방법을 사용한다. 이 방법을 사용할 경우, 패러미터, 특징 그리고 휴리스틱의 선택에 따라 다양한 분리방법을 만들어 낼 수 있다. 그 과정은 도 3을 참조하여 설명되며, 아래와 같이 4단계로 이루어진다.The first process for this is a process of separating the segment of the sound source (S100). Music changes to other features in the middle, rather than maintaining the same ambience characteristics throughout the process. Therefore, it is more reasonable to divide the entire audio data into several parts according to the change of the characteristics of the music and to judge the atmosphere for each of them. To this end, the present invention uses the following method. Using this method, various separation methods can be created depending on the choice of parameters, features, and heuristics. The process is described with reference to FIG. 3 and consists of four steps as follows.
먼저, 프레임마다 특징 벡터를 계산한다(S110). 이 후, 이웃한 두 프레임 사이의 거리를 계산한다(S120). 이후 변화량 
위와 같이 음원을 세그먼트로 분리한 후에는 분리된 각 세그먼트 별로 음향의 특징을 추출한다(S200).After the sound source is divided into segments as described above, the characteristic of the sound is extracted for each segment (S200).
Tao Li는 DWCH라 불리는 웨이블릿 계수 히스토그램에 기초한 새로운 음악 특징 추출 방법을 제안한 바 있다. DWCH는 여러(different) 분해능에서 나타나는 상이한 주파수 대역분할(subband)에서 다우비치(Daubechies) 웨이블릿 계수를 히스토그램화 함으로써 국부적이고 전역적인 정보 모두를 표현하게 된다. Tao Li의 연구 결과를 보면 음색 특색을 DWCH로 대치했을 경우 장르 판정 시 더 좋은 성능을 보이는 것으로 알려져 있다. 따라서 본 발명은 음악 장르 분류에 좋은 성능을 보인 상기 DWCH를 이용하여 음향의 특징 및 성능을 추출한다. 본 발명에서 고려되는 음향 특징들은 장르 분류, 분위기 판정에 모두 사용되어 질 수 있는 공통된 특성들로 기존 관련 연구에서는 이 중 몇몇 개의 특징들만을 사용하였으며 다른 특징들과의 상대적인 성능평가가 없었다. 따라서 본 발명에서는 아래의 다양한 특징들의 조합에 대해서 성능 평가를 한 후 성능이 좋은 부분집합을 파악하고 이를 바탕으로 음악의 내용을 표현한다.Tao Li has proposed a new method of music feature extraction based on a wavelet coefficient histogram called DWCH. The DWCH represents both local and global information by histogramming the Dowchies wavelet coefficients at different frequency subdivisions that appear at different resolutions. Tao Li's findings suggest that replacing the tone features with DWCH provides better performance when determining genres. Accordingly, the present invention extracts the features and performance of sound using the DWCH which has shown good performance in music genre classification. The acoustic features considered in the present invention are common characteristics that can be used for both genre classification and mood determination. In the related studies, only a few of them are used and there is no performance evaluation with other features. Therefore, in the present invention, after evaluating the performance of the following combinations of various features, a subset of good performances is identified and the contents of the music are expressed based on this.
음색(Timbral Texture) 특징들로 기존 음악-음성(music-speech) 구별을 위해 제시되었던 특징들(스펙트럴 중심, 스펙트럴 롤오프, 스펙트럴 플럭스, SSF, MFCC)과 기존 MFCC를 대체 하여 장르 분류에 좋은 결과를 보였던 스펙트럴 대비 특징들을 사용한다. 피치 정보로는 Tolenen과 Karjalainen에 의해 제안된 다중 피치 탐지(multiple pitch detection) 기술에 기초한 피치 특징들(FA0, UP0, FP0, IPO1, SUM)을 사용한다. 이러한 특징들은 두 종류의 피치 히스토그램인 FPH와 UPH를 이용 하여 계산되는데 FPH는 피치 클래스(pitch class) 또는 화음(harmonic content)에 관한 내용을 포함하고 있으며 UPH는 음악 작품의 피치 범위에 대한 정보를 포함하고 있다.Timber Texture features replace the existing MFCC with features that were suggested for differentiating music-speech (spectral center, spectral rolloff, spectral flux, SSF, MFCC). Use spectral contrast features that did a good job. As pitch information, pitch features FA0, UP0, FP0, IPO1 and SUM based on the multiple pitch detection technique proposed by Tolenen and Karjalainen are used. These features are calculated using two types of pitch histograms, FPH and UPH, which contain information about the pitch class or harmonic content, and UPH contains information about the pitch range of a piece of music. Doing.
리듬 구조를 나타내기 위한 특징들 대부분이 신호의 두드러진 주기성을 탐지하는데 바탕을 두고 있다. 본 발명에서는 리듬 정보를 나타내기 위하여 Gorge의 방법에 의해 얻어지는 박자 히스토그램(beat histogram)에 기초한 6가지 특징(A0, A1, RA, P1, P2, SUM)을 사용한다. 음악의 세기는 Thayer의 2차원 분위기 분류법에 있어 필수적인 요소인데 본 발명에서는 음악 신호의 전역적인 세기를 추출하거나 주파수 차원의 각 주파수 서브 밴드별 세기를 추출한다. 다른 특징으로 아티큘레이션(Articulation)을 모델링하기 위해 ASR(Average Silence Ratio)를 도입하여 사용한다.Most of the features used to represent the rhythm structure are based on detecting the prominent periodicity of the signal. In the present invention, six characteristics (A0, A1, RA, P1, P2, SUM) based on beat histogram obtained by Gorge's method are used to represent rhythm information. The strength of music is an essential element in Thayer's two-dimensional atmosphere classification. In the present invention, the global strength of the music signal is extracted or the strength of each frequency subband in the frequency dimension is extracted. Another feature is the introduction of ASR (Average Silence Ratio) to model articulation.
음향의 특징 추출이 완료되면, 음악의 분위기를 탐지한다(S300). 분위기 탐지와 관련해서 먼저 탐지할 분위기의 종류 즉, 분류법(taxonomy)을 결정해야 한다. 1930년대 Hevner에 의해 8개의 분위기 그룹(Sober, Gloomy, Longing, Lyrical, Sprightly, Joyous, Restless, Robust)에서 뽑힌 67개의 분위기 형용사가 제공되어 그 이후의 분위기 반응 연구의 초석이 되어왔다. 하지만, 이 방법은 같은 그룹에 속한 형용사 사이의 의미가 너무 비슷하여 이들 사이를 구별하기가 어렵고 분류에 대한 이론적 근거가 미비하였다. 1990년대 후반에 Thayer는 2차원 분위기 분류법을 제안하였다. 이 방법은, Hevner의 방법과는 달리, 분위기는 두 요소, 즉 스트레스(happy/anxious)와 에너지(calm/energitic)에 의해 결정된다는 이론을 채택하였 으며 이에 따라 분위기를 도 4에 개시되었듯, 4개(Contentment, Depression, Exuberance, Anxious/Frantic)로 분류하였다. Contentment는 행복(happy)하면서 조용한(calm) 음악을, Depression은 조용(calm)하면서 근심어린(anxious) 음악을, Exuberance는 행복(happy)하면서 활동적인(energitic) 음악을, Anxious/Frantic은 근심어리(anxious)면서 활동적인(energitic) 음악을 의미한다. 본 발명에서도 이 분류법에 기초하여 분위기를 탐지한다.When the feature extraction of the sound is completed, the atmosphere of the music is detected (S300). With regard to mood detection, the first thing to do is to determine the type of atmosphere to be detected, namely taxonomy. In the 1930s, 67 atmospheric adjectives from eight atmospheric groups (Sober, Gloomy, Longing, Lyrical, Sprightly, Joyous, Restless, Robust) were provided by Hevner, and have been the cornerstone of subsequent atmospheric reaction studies. However, this method is so similar between adjectives belonging to the same group that it is difficult to distinguish between them, and the theoretical basis for classification is insufficient. In the late 1990s, Thayer proposed a two-dimensional atmosphere classification. This method, unlike Hevner's method, adopted the theory that the atmosphere is determined by two factors: stress (happy / anxious) and energy (calm / energitic). It was classified into four (Contentment, Depression, Exuberance, Anxious / Frantic). Contentment is happy and calm music, Depression is calm and anxious music, Exuberance is happy and energgitic music, Anxious / Frantic is anxious It means anxious and energgitic music. The present invention also detects the atmosphere based on this classification.
특징들이 추출되고 나면 분위기 탐지 문제는 분류문제로 귀착된다. 따라서, 본 발명에서는 분류 방법에서 성능이 좋기로 알려져 있는 대표적인 방법인 뉴럴 네트워크, SVM(support vector machine), KNN(K-Nearest Neighbor), GMM(Gaussian Mixture Model) 방법을 이용하여 분위기탐지 성능을 평가한다.After the features are extracted, the mood detection problem results in a classification problem. Therefore, the present invention evaluates the atmosphere detection performance using a neural network, a support vector machine (SVM), a K-Nearest Neighbor (KNN), and a Gaussian Mixture Model (GMM), which are representative methods known to have good performance in the classification method. do.
음악분위기 탐지가 완료되면 음원별 분위기 DB를 구축하여 이를 조명연출시사용한다(S400).When the music atmosphere detection is completed, the atmosphere DB for each sound source is constructed and used for lighting output (S400).
음악의 분위기는 전문가의 수준에서 정확하게 판단할 수 있는 정보이나, 음악을 접하는 일반인의 주관적인 판단이 더욱 범용적인 분위기 탐지의 조건이 될 수도 있다. 분위기 탐지에 있어서의 자료의 수집은 우선 일반인의 주관적인 판단을 기초로 하여, 본 발명에서 사용하는 Thayer의 분위기 분류법의 네 개의 분위기 클래스를 기초로 한 개인 평가 테이블을 사용, 일반인을 상대로 설문조사를 통하여 분위기 판정 클래스에 대한 정보를 수집한 후 이를 데이터베이스로 구축하여 사용할 수 있다.The atmosphere of music is information that can be accurately judged at the expert level, but subjective judgment of the general public who encounters music may be a condition for general purpose atmosphere detection. The collection of data in mood detection is based on the subjective judgments of the general public, and then through a survey of the general public using a personal evaluation table based on the four mood classes of Thayer's mood classification method used in the present invention. After collecting information on mood judgment class, it can be used as a database.
음원의 분위기에 대한 판정이 완료되면, 현재 음악의 분위기에 맞는 감성 조 명이 연출되어야 한다. 이를 위해서 먼저, 심리 파악 모듈(220)을 통하여 상기 분위기 판별 모듈(100)을 통하여 분위기가 판별된 음원에 따른 사람의 심리를 파악해야 한다(S600). 다음, 조명 시나리오 DB(210)에 저장되어 있는 조명에 따른 사람의 심리 사이의 상관관계 정보를 참조하여, 상기 심리 파악 모듈(220)을 통하여 인지된 심리와 부합하는 조명을 연출해야 한다(S700). 이를 위해서는 조명과 사람의 감정과의 상관관계에 관한 관계성을 파악이 선행되어야 한다.When the judgment on the mood of the sound source is completed, an emotional light suitable for the mood of the current music should be produced. To this end, first, through the psychological grasping
음악 분위기에 맞는 조명을 연출하기 위해선 우선적으로 조명의 감성 요인을 평가하는 것이 우선되어야 한다. 조명에 있어서의 사람의 감성요인에 관한 연구는 아직 뚜렷한 기준이 제시되지는 않았으나, 본 발명에서는 국내 연구에서 사용된 평가 항목을 기준으로 사용한다. 조명광원에 의한 인간의 생리적/심리적 반응을 고려하여 시기능(명시성, 피로/스트레스), 조명 환경의 쾌적성, 실내공간 분위기의 3개지 항목으로 평가 항목을 분류한다. 각 항목의 평가 방법은 아래와 같다.In order to create a lighting that suits the mood of music, it is first necessary to evaluate the sensitivity of lighting. Although a clear standard has not yet been proposed for the study of human emotional factors in lighting, the present invention uses the criteria used in the domestic study as a reference. Considering the physiological and psychological responses of humans by lighting sources, the evaluation items are classified into three categories: visual function (explanation, fatigue / stress), comfort of lighting environment, and indoor atmosphere. The evaluation method of each item is as follows.
먼저 시기능의 평가 방법은 명시성에 있어서, A4크기의 백색용지에 란돌트 환을 구성하여 피 실험자의 명시성 항목을 측정한다, 반복되는 란돌트 환표의 사용으로 인한 피실험자의 인지성 향상을 막기 위해 각 광원별 각기 다른 방향으로 임으로 뚫린 란돌트 환표를 사용한다. 한편, 시기능의 피로/스트레스 항목은 A4크기의 백색용지에 5포인트의 크기의 인쇄된 문장을 5분간 읽도록 한 뒤 그때의 피로/스트레스 정도를 7단계 가치 단계법을 이용하여 평가한다.First of all, the evaluation method of visual function is to measure the subject's clarity by constructing a Randol ring on an A4 size white paper in terms of clarity. Use a Landolt ring that is punctured in different directions for each light source. On the other hand, the fatigue / stress item of visual function is to read a five-point printed sentence on an A4 size white paper for five minutes and then evaluate the fatigue / stress level using a seven-step value step method.
조명 환경의 쾌적성은 밝기감, 연색성, 눈부심 총 3개의 항목에 해당하는 평가 어휘(밝기가 적당한, 햇빛색에 가까워보이는, 눈부심 있는)를 구성하여 실험 및 평가한다.The comfort of the lighting environment is experimented and evaluated by constructing an evaluation vocabulary (brightness suitable, glare that seems close to sunlight color) corresponding to three items of brightness, color rendering and glare.
실내공간의 분위기 평가를 위한 감성이미지로는 기존 실험에 사용된 어휘를 수집하여 유사 어휘로 생각되는 어휘들간의 그룹핑을 실시하여 SD법을 이용한 실험 및 평가를 수행한다.As an emotional image for evaluating the atmosphere of the indoor space, the vocabulary used in the existing experiment is collected and grouped among the vocabulary that is considered as similar vocabulary.
현대인들은 많은 시간을 실내 공간에서 보내고 있다. 또한 현대 심리학과 의학에서 색과 빛을 통한 컬러테라피와 라이트테라피가 화두가 되고 있을 정도로 빛과 관련된 조명은 일상생활에 있어 큰 영향력을 가지고 있다. 이와 같이 일상과 밀접한 관계가 있는 조명에 대해 사람의 감정에 따른 자동 연출이 이루어 질 수 있다면, 더 나아가 조명 조절을 통해 사람의 감정 기복을 평온하게 유지할 수 있다면 지능형 주택 등 우리의 일상생활을 더욱 풍족하게 할 수 있을 것이다.Modern people spend a lot of time indoors. In addition, light-related lighting has a great influence in everyday life, as color therapy and light therapy through color and light are becoming a hot topic in modern psychology and medicine. If the automatic lighting according to the emotion of a person can be made for the lighting that is closely related to everyday life, and furthermore, if the emotional ups and downs of the human being can be kept calm by adjusting the lighting, the intelligent house will be more abundant in our daily life. You will be able to.
본 발명은 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.Although the present invention has been described with reference to one embodiment shown in the drawings, this is merely exemplary, and those skilled in the art will understand that various modifications and equivalent other embodiments are possible therefrom. . Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.
도 1은 본 발명에 따른 음악 분위기에 따른 감성 조명 연출 시스템의 구성을 도시한 도면.1 is a view showing the configuration of a emotional lighting production system according to the music atmosphere according to the present invention.
도 2는 본 발명에 따른 음악 분위기에 따른 감성 조명 연출 방법을 나타낸 플로우 차트.2 is a flow chart showing a method for directing the emotional lighting according to the music atmosphere according to the present invention.
도 3은 본 발명에 따른 음원을 세그먼트로 분리하는 과정을 보다 상세히 나타낸 플로우 차트.Figure 3 is a flow chart illustrating in more detail the process of separating the sound source according to the present invention into segments.
도 4는 본 발명에 따른 음악의 분위기 분류법을 나타낸 도면.4 is a diagram illustrating an atmosphere classification method of music according to the present invention.
***도면의 주요부분에 대한 부호의 설명****** Explanation of symbols for main parts of drawing ***
100: 분위기 판별모듈 120: 세그먼트분리모듈100: atmosphere determination module 120: segment separation module
130: 분위기 추출모듈 200: 조명조절모듈130: atmosphere extraction module 200: lighting control module
220: 심리파악분리모듈 230: 조명연출모듈220: psychological separation module 230: lighting output module
Claims (5)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070139597A KR100958008B1 (en) | 2007-12-28 | 2007-12-28 | Emotional lighting represent system according to music atmosphere and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070139597A KR100958008B1 (en) | 2007-12-28 | 2007-12-28 | Emotional lighting represent system according to music atmosphere and method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20090071720A KR20090071720A (en) | 2009-07-02 |
| KR100958008B1 true KR100958008B1 (en) | 2010-05-17 |
Family
ID=41329021
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020070139597A KR100958008B1 (en) | 2007-12-28 | 2007-12-28 | Emotional lighting represent system according to music atmosphere and method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100958008B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022260395A1 (en) * | 2021-06-07 | 2022-12-15 | 엘지전자 주식회사 | Method and device for controlling controlled device by obtaining and analyzing media data by control device in wireless lan system of smart home environment |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102109404B1 (en) | 2012-11-21 | 2020-05-12 | 엘지전자 주식회사 | Light emitting diode lighting apparatus and method for controlling the same |
| CN108093526A (en) * | 2017-12-28 | 2018-05-29 | 美的智慧家居科技有限公司 | Control method, device and the readable storage medium storing program for executing of LED light |
| CN117440583B (en) * | 2023-12-18 | 2024-03-15 | 深圳市千岩科技有限公司 | Indoor lighting lamp, lamp efficiency configuration method, device and equipment |
| CN118019194B (en) * | 2024-04-08 | 2024-06-07 | 深圳市华电照明有限公司 | Automatic light parameter adjusting method, device, equipment and storage medium |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR19980083350A (en) * | 1997-05-13 | 1998-12-05 | 김남균 | Emotional Lighting Audio System |
| KR20030054187A (en) * | 2001-12-24 | 2003-07-02 | 박기고 | Automatic lighting and aroma spraying system controlled by signal inserted to multimedia contents |
| KR20070075616A (en) * | 2006-01-13 | 2007-07-24 | 주식회사 필룩스 | Lighting apparatus employing audio |
| KR20070092479A (en) * | 2006-03-10 | 2007-09-13 | 허정영 | Lighting fixtures have sound sensing function |
-
2007
- 2007-12-28 KR KR1020070139597A patent/KR100958008B1/en not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR19980083350A (en) * | 1997-05-13 | 1998-12-05 | 김남균 | Emotional Lighting Audio System |
| KR20030054187A (en) * | 2001-12-24 | 2003-07-02 | 박기고 | Automatic lighting and aroma spraying system controlled by signal inserted to multimedia contents |
| KR20070075616A (en) * | 2006-01-13 | 2007-07-24 | 주식회사 필룩스 | Lighting apparatus employing audio |
| KR20070092479A (en) * | 2006-03-10 | 2007-09-13 | 허정영 | Lighting fixtures have sound sensing function |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022260395A1 (en) * | 2021-06-07 | 2022-12-15 | 엘지전자 주식회사 | Method and device for controlling controlled device by obtaining and analyzing media data by control device in wireless lan system of smart home environment |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20090071720A (en) | 2009-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lu et al. | Automatic mood detection and tracking of music audio signals | |
| KR101687942B1 (en) | System and method for automatically creating an atmosphere suited to social setting and mood in an environment | |
| WO2018103028A1 (en) | Audio playback device, system, and method | |
| Xing et al. | Exploiting EEG signals and audiovisual feature fusion for video emotion recognition | |
| CN109147804A (en) | A kind of acoustic feature processing method and system based on deep learning | |
| EP3389002A1 (en) | Information processing device, information processing method, and program | |
| KR100958008B1 (en) | Emotional lighting represent system according to music atmosphere and method thereof | |
| CN107464572B (en) | Multi-mode interactive music perception system and control method thereof | |
| CN102509084A (en) | Multi-examples-learning-based method for identifying horror video scene | |
| CN106861012A (en) | User emotion adjusting method based on Intelligent bracelet under VR experience scenes | |
| Gumelar et al. | Human voice emotion identification using prosodic and spectral feature extraction based on deep neural networks | |
| Hsiao et al. | Methodology for stage lighting control based on music emotions | |
| JP4281790B2 (en) | Information processing apparatus, information processing method, and program | |
| CN111601433A (en) | Method and device for predicting stage lighting effect control strategy | |
| CN110377786A (en) | Music emotion classification method | |
| Tsatsishvili | Automatic subgenre classification of heavy metal music | |
| Dewi et al. | Kid's song classification based on mood parameters using K-Nearest Neighbor classification method and Self Organizing Map | |
| KR102125406B1 (en) | Method and system for music classification based on image | |
| CN117545144A (en) | Stage lighting regulation and control method, system and storage medium based on Internet of things | |
| CN111191585A (en) | Method and system for controlling emotion lamp based on expression | |
| Chaudhary et al. | A survey on autonomous techniques for music classification based on human emotions recognition | |
| Jia | [Retracted] Music Emotion Classification Method Based on Deep Learning and Explicit Sparse Attention Network | |
| CN107507629B (en) | Thermal touch music perception system and control method thereof | |
| KR20230148166A (en) | Apparatus and method for modifying a user's emotional state | |
| CN109273025A (en) | A kind of China National Pentatonic emotion identification method and system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20130506 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20140429 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20150423 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20160826 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20170926 Year of fee payment: 8 |
|
| LAPS | Lapse due to unpaid annual fee |