KR101203706B1 - apparatus for generating moving image file in which information on sound source location is included and method thereof, and recording medium - Google Patents

apparatus for generating moving image file in which information on sound source location is included and method thereof, and recording medium Download PDF

Info

Publication number
KR101203706B1
KR101203706B1 KR1020100038707A KR20100038707A KR101203706B1 KR 101203706 B1 KR101203706 B1 KR 101203706B1 KR 1020100038707 A KR1020100038707 A KR 1020100038707A KR 20100038707 A KR20100038707 A KR 20100038707A KR 101203706 B1 KR101203706 B1 KR 101203706B1
Authority
KR
South Korea
Prior art keywords
information
sound source
sound
audio data
image data
Prior art date
Application number
KR1020100038707A
Other languages
Korean (ko)
Other versions
KR20110119166A (en
Inventor
박민수
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to KR1020100038707A priority Critical patent/KR101203706B1/en
Publication of KR20110119166A publication Critical patent/KR20110119166A/en
Application granted granted Critical
Publication of KR101203706B1 publication Critical patent/KR101203706B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/801—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/164—File meta data generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/326—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

동영상 파일 생성 장치는, 소리가 발생한 음원의 위치를 측정하는 관련된 정보인 음원 위치 관련 정보를 획득하고, 회득한 음원 위치 관련 정보를 헤더에 기록하고 음원으로부터 발생한 소리를 포함하는 오디오 데이터를 페이로드에 기록하여 오디오 데이터부를 생성한다. 이러한 오디오 데이터부와 영상 데이터부를 동시시켜 동영상 파일을 생성한다. The video file generating apparatus obtains sound source position related information, which is related information for measuring the position of the sound source where the sound is generated, records the acquired sound source position related information in a header, and stores audio data including sound generated from the sound source in the payload. Record to generate an audio data portion. The audio data portion and the image data portion are simultaneously generated to generate a moving image file.

Description

음원 위치 관련 정보를 포함하는 동영상 파일 생성 장치 및 그 방법 그리고 기록 매체 {apparatus for generating moving image file in which information on sound source location is included and method thereof, and recording medium}Apparatus for generating moving image file in which information on sound source location is included and method approximately, and recording medium}

본 발명은 동영상 파일을 생성하는 장치 및 그 방법에 관한 것으로, 더욱 상세하게 말하자면, 음원 위치 관련 데이터를 포함하는 동영상 파일을 생성하는 장치 및 그 방법 그리고 기록 매체에 관한 것이다. The present invention relates to an apparatus and method for generating a moving image file, and more particularly, to an apparatus and method for generating a moving image file including sound source position-related data, and a recording medium.

동영상 저장 및 재생에 사용되는 동영상 파일은 영상 데이터 및 오디오 데이터와 이에 관련된 각종 정보로 이루어진 부가 데이터를 포함한다. 이러한 동영상 파일은 일반적으로 미디어 컨테이너 파일 형태로 이루어지며, 미디어 컨테이너 파일은 압축된 영상 데이터 또는 오디오 데이터를 컨테이너 파일에 저장한다. 또는 동영상 파일은 미디어 컨테이너 없이 영상 데이터와 오디오 데이터 그리고 메터 데이터 등의 부가 데이터를 계층별로 오버레이(overlay) 하기도 한다. A video file used for storing and playing a video includes additional data including image data and audio data and various kinds of information related thereto. Such video files are generally formed in a media container file, and the media container file stores compressed image data or audio data in a container file. Alternatively, the video file may overlay layer-by-layer additional data such as image data, audio data, and meter data without a media container.

부가 데이터에는 일반적으로 동영상 파일에 저장된 영상 데이터나 오디오 데이터에 관련된 각종 부가 정보를 포함한다. 예를 들어, 동영상 파일이 인터넷 상의 소정 사이트로부터 제공되는 경우에는 부가 데이터에 해당 동영상이 위치하고 있는 URL 정보, 저작권, 제목, 파일의 크기, 파일 형태 등이 포함된다. The additional data generally includes various additional information related to video data or audio data stored in a moving image file. For example, when a video file is provided from a predetermined site on the Internet, the additional data includes URL information, copyright, title, file size, file type, etc. in which the video is located.

동영상 파일은 AVI(audio video interleaved), MOV(moving), MPG/MPEG(moving picture experts group), ASF(advanced streaming format) 등과 같은 다양한 포맷으로 이루어지며, ISO/IEC 국제 표준에 따라 압축되어 데이터 전송 효율의 극대화를 도모한다. Video files come in a variety of formats, such as AVI (audio video interleaved), MOV (moving), MPG / MPEG (moving picture experts group), ASF (advanced streaming format), etc., and are compressed according to ISO / IEC international standards to transfer data. We aim to maximize efficiency.

본 발명이 해결하고자 하는 과제는 동영상 파일에 소리가 발생된 음원 위치관련 정보를 저장하여, 동영상내의 소리를 발생하는 음원에 대한 위치를 효과적으로 파악할 수 있도록 하는 것이다. The problem to be solved by the present invention is to store the location information associated with the sound source generated sound in the video file, to effectively determine the position of the sound source for generating sound in the video.

또한 본 발명이 해결하고자 하는 과제는 동영상의 프레임 단위로 음원 위치관련정보와 촬영에 관련된 정보를 저장하는 장치 및 방법을 제공하는 것이다. Another object of the present invention is to provide an apparatus and method for storing sound source position-related information and information related to photographing in units of frames of a video.

본 발명의 과제를 위한 본 발명의 특징에 따른 동영상 파일 생성 장치는, 소리가 발생한 음원의 위치를 측정하는데 관련된 정보인 음원 위치 관련 정보를 획득하는 음원 위치 정보 획득부; 소리를 포함하는 오디오 데이터를 획득하는 오디오 데이터 획득부; 상기 음원 위치 관련 정보를 헤더에 기록하고 상기 오디오 데이터를 페이로드에 기록하여 오디오 데이터부를 생성하는 생성부; 및 상기 오디오 데이터부를 포함하는 동영상 파일을 생성하는 생성부를 포함한다. According to an aspect of the present invention, there is provided an apparatus for generating a video file, the sound source position information obtaining unit obtaining sound source position related information which is information related to measuring a position of a sound source in which sound is generated; An audio data acquisition unit for acquiring audio data including sound; A generator configured to record the sound source position related information in a header and record the audio data in a payload to generate an audio data unit; And a generation unit generating a video file including the audio data unit.

본 발명의 다른 특징에 따른 동영상 파일 생성 방법은, 동영상 파일을 생성하는 장치가 동영상 파일을 생성하는 방법이다. 이 방법은 상기 장치가, 소리가 발생한 음원의 위치를 측정하는 관련된 정보인 음원 위치 관련 정보를 획득하는 단계; 상기 장치가, 소리를 포함하는 오디오 데이터를 획득하는 단계; 상기 장치가, 상기 오디오 데이터에 동기되는 영상 데이터를 획득하는 단계; 상기 장치가, 상기 음원 위치 관련 정보를 헤더에 기록하고 상기 오디오 데이터를 페이로드에 기록하여 오디오 데이터부를 생성하는 단계; 상기 장치가, 상기 영상 데이터를 페이로드에 기록하여 영상 데이터부를 생성하는 단계; 및 상기 오디오 데이터부와 영상 데이터부를 동기시켜 동영상 파일을 생성하는 단계를 포함한다. According to another aspect of the present invention, a method for generating a video file is a method for generating a video file by an apparatus for generating a video file. The method includes the steps of: acquiring, by the device, sound source position related information, which is related information for measuring the position of the sound source where the sound is generated; Acquiring, by the device, audio data comprising sound; Acquiring, by the device, image data synchronized with the audio data; Generating, by the device, audio data portion by recording the sound source position related information in a header and recording the audio data in a payload; Generating, by the apparatus, an image data portion by recording the image data in a payload; And generating a moving image file by synchronizing the audio data unit with the image data unit.

본 발명의 다른 특징에 따른 오디오 데이터 구조는 소리가 발생한 음원의 위치를 측정하는데 관련된 정보인 음원 위치 관련 정보가 기록된 헤더; 및 소리를 포함하는 오디오 데이터가 기록된 페이로드를 포함한다. According to another aspect of the present invention, an audio data structure includes: a header in which sound source position related information, which is information related to measuring a position of a sound source where sound is generated, is recorded; And a payload in which audio data including sound is recorded.

이러한 특징을 가지는 본 발명에서, 상기 음원 위치 관련 정보는 소리를 측정하는 마이크로폰들의 개수, 마이크로폰들 사이의 거리, 소리를 획득하는데 사용된 마이크로폰들의 위치에 관련된 기준 좌표, 마이크로폰들의 각도, 소리 속도 결정 정보 중 적어도 하나를 포함할 수 있다. In the present invention having such a feature, the sound source position related information includes the number of microphones for measuring sound, the distance between the microphones, reference coordinates related to the position of the microphones used to obtain the sound, the angle of the microphones, and the sound velocity determination information. It may include at least one of.

본 발명의 실시 예에 따르면, 유선 또는 무선 네트워크를 통하여 전송되는 동영상 파일을 구성하는 프레임별로 소리가 발생되는 음원의 위치를 효과적으로 파악할 수 있다. 특히 동영상 파일에 포함되어 있는 음원 위치에 관련된 정보를 토대로 동영상 재생시 음원 위치를 별도로 표시하거나 오디오 등의 다양한 형태로 출력함으로써, 재생되는 영상 데이터의 식별이 용이하지 않는 경우에도 소리를 발생한 음원의 위치를 용이하게 알 수 있다. According to an embodiment of the present invention, it is possible to effectively grasp the position of the sound source from which sound is generated for each frame constituting a video file transmitted through a wired or wireless network. In particular, by displaying the sound source position separately or outputting it in various forms such as audio based on the information related to the sound source position included in the video file, the position of the sound source that generated sound even when the image data to be played is not easily identified. It can be easily seen.

도1은 본 발명의 실시 예에 따른 동영상 파일의 구조도이다.
도2는 본 발명의 실시 예에 따른 동영상 파일 생성 장치의 구조도이다.
도3은 본 발명의 실시 예에 따른 동영상 파일 생성 장치가 음원 위치 관련 정보 및 카메라 촬영 정보를 획득하는 경로를 나타낸 예시도이다.
도4는 본 발명의 실시 예에 따른 동영상 파일 생성 장치가 음원 위치 관련 정보 및 카메라 촬영 정보를 획득하는 다른 경로를 나타낸 예시도이다.
도5는 본 발명의 실시 예에 따른 동영상 파일 생성 방법의 흐름도이다.
도6은 본 발명의 실시 예에 따른 음원 위치 관련 정보와 카메라 촬영 정보를 데이터부의 헤더에 매핑하여 동영상 파일을 생성하는 과정을 나타낸 도이다. 1 is a structural diagram of a video file according to an embodiment of the present invention.
2 is a structural diagram of a video file generating apparatus according to an embodiment of the present invention.
3 is an exemplary diagram illustrating a path for acquiring sound source position related information and camera photographing information by a video file generating apparatus according to an exemplary embodiment of the present invention.
4 is an exemplary diagram illustrating another path for acquiring sound source position related information and camera photographing information by the apparatus for generating a video file according to an exemplary embodiment of the present invention.
5 is a flowchart illustrating a video file generation method according to an exemplary embodiment of the present invention.
6 is a diagram illustrating a process of generating a moving image file by mapping sound source position related information and camera photographing information to a header of a data unit according to an exemplary embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and like reference numerals designate like parts throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification, when a part is said to "include" a certain component, it means that it can further include other components, without excluding other components unless specifically stated otherwise.

이하, 도면을 참조하여 본 발명의 실시 예에 따른 음원 위치 관련 정보를 포함하는 동영상 파일 생성 장치 및 그 방법에 대하여 설명한다. Hereinafter, an apparatus and method for generating a video file including sound source position related information according to an exemplary embodiment of the present invention will be described with reference to the accompanying drawings.

도1은 본 발명의 실시 예에 따른 음원 위치 관련 정보를 포함한 동영상 파일의 구조를 나타낸 구조도이다.1 is a structural diagram showing a structure of a video file including sound source position related information according to an embodiment of the present invention.

본 발명의 실시 예에 따른 동영상 파일은 영상 데이터부(F1)와 오디오 데이터부(F2)를 포함하며, 각각의 영상 데이터부(F1) 및 오디오 데이터부(F2)는 각각 헤더(header)(H1, H2) 및 페이로드(payload)(P1, P2)를 포함한다. The video file according to an exemplary embodiment of the present invention includes an image data unit F1 and an audio data unit F2, and each of the image data unit F1 and the audio data unit F2 has a header H1, respectively. , H2) and payloads P1 and P2.

헤더(H1, H2)는 고정된 영역을 가지며 예를 들어 32 비트로 이루어진다. 헤더(H1, H2)에는 페이로드(P1, P2)에 포함되는 데이터를 재생하기 위한 정보들이 저장되며, 특히 본 발명의 실시 예에 따른 영상 데이터부(F1)의 헤더(H1)는 카메라 촬영 정보를 포함하며, 오디오 데이터부(F2)의 헤더(H2)는 음원 위치 관련 정보를 포함한다. The headers H1 and H2 have a fixed area and consist of 32 bits, for example. Information for reproducing the data included in the payloads P1 and P2 is stored in the headers H1 and H2. In particular, the header H1 of the image data unit F1 according to the embodiment of the present invention may include camera photographing information. The header H2 of the audio data unit F2 includes sound source position related information.

영상 데이터부(F1)의 헤더(H1)에서 카메라 촬영 정보를 제외한 나머지 정보들을 설명의 편의상 "영상 관련 정보"라고 명명하며, 오디오 데이터부(F2)의 헤더(H2)에서 음원 위치 관련 정보를 제외한 나머지 정보들을 설명의 편의상 "오디오 관련 정보"라고 명명한다. In the header H1 of the image data unit F1, the remaining information except for the camera photographing information is referred to as "image related information" for convenience of description, and the header H2 of the audio data unit F2 except for the sound source position related information. The remaining information is referred to as "audio related information" for convenience of explanation.

영상 관련 정보 및 오디오 관련 정보는 동기를 맞추기 위한 동기(sync) 워드, 계층(layer)과 샘플링 주파수, 남아 있는 프레임과 같은 정보, 또는 저작권 등의 정보를 포함할 수 있다. The image related information and the audio related information may include information such as a sync word for synchronization, information such as a layer and sampling frequency, remaining frames, or copyright.

본 발명의 실시 예에 따른 음원 위치 관련 정보는 오디오 데이터가 생성된 음원의 위치를 측정하는데 사용된 파라미터에 대한 정보를 포함한다. 구체적으로, 음원으로부터의 신호를 수신하는 수단들 즉, 마이크로폰(microphone)의 개수, 마이크로폰들 사이의 거리, 마이크로폰들의 각도, 기준 좌표, 마이크로폰과 채널의 매칭 정보 중 적어도 하나를 포함한다. 이외에도 소리가 전달되는 속도에 영향을 주는 환경 파라미터(예를 들어, 온도, 습도, 압력 등)에 대한 측정 정보(예를 들어, 음원이 위치된 환경에서의 온도, 또는 습도 또는 압력 등)인 소리 결정 정보를 포함한다. The sound source position related information according to an embodiment of the present invention includes information on a parameter used to measure the position of a sound source for which audio data is generated. Specifically, at least one of means for receiving a signal from a sound source, that is, the number of microphones, the distance between the microphones, the angle of the microphones, the reference coordinates, and the matching information of the microphone and the channel. In addition, sound that is measurement information (e.g., temperature or humidity or pressure in the environment in which the sound source is located, etc.) about environmental parameters (e.g., temperature, humidity, pressure, etc.) affecting the speed at which the sound is transmitted. Contains decision information.

여기서 마이크로폰들의 각도는 하나의 마이크로폰이 다른 마이크로폰에 대하여 가지는 상대 각도를 나타낸다. 그리고 마이크로폰과 채널의 매칭 정보는 소정 마이크로폰에서 획득된 오디오 데이터가 어떤 채널에 해당하는지를 나타내는 정보이다. 예를 들어, 3개의 마이크로폰이 사용된 경우, 마이크로폰과 채널의 매칭 정보는, 제1마이크로폰은 오디오 데이터부(F2)의 다수 채널별 오디오 데이터 중에서 제1채널에 대응하고, 제2마이크로폰은 제2채널에 대응하며, 제3마이크로폰은 제3채널에 대응함을 나타낼 수 있다. 이러한 마이크로폰과 채널의 매칭 정보를 토대로 임의 채널의 오디오 데이터가 어떤 마이크로폰으로부터 획득된 것인지를 용이하게 알 수 있다Here the angle of the microphones represents the relative angle that one microphone has with respect to the other microphone. The matching information between the microphone and the channel is information indicating which channel the audio data obtained from the predetermined microphone corresponds to. For example, when three microphones are used, the matching information of the microphone and the channel corresponds to the first microphone corresponding to the first channel among the plurality of channels of audio data of the audio data unit F2, and the second microphone to the second microphone. Corresponding to the channel, the third microphone may indicate that corresponds to the third channel. Based on the matching information of the microphone and the channel, it is easy to know which microphone the audio data of any channel is obtained from.

기준 좌표는 마이크로폰들의 위치에 관련된 것으로, 마이크로폰들 중에서 하나의 마이크로폰에 대한 위치 좌표일 수 있으며, 또는 이후 동영상 재생시 사용되는 화면 배율을 고려하여 설정되는 좌표일 수 있다. 또는 기준 좌표는 소리를 포함하는 오디오 데이터를 획득하는 마이크로폰들이 하나의 모듈에 포함되는 형태로 구성된 경우, 해당 모듈의 크기를 고려하여 설정되는 좌표일 수 있다. 이와 같이 기준 좌표는 동영상이 재생되거나 오디오 데이터가 획득되거나 영상 데이터가 획득되는 등의 환경을 고려하여 설정될 수 있다. 한편 음원 위치 관련 정보는 오디오 데이터부(F2)에 포함되는 모든 오디오 데이터가 아니라, 오디오 데이터들 중에 설정 주파수 이상의 오디오에 관련된 정보일 수 있다. The reference coordinate is related to the position of the microphones, and may be a position coordinate of one of the microphones, or may be a coordinate set in consideration of a screen magnification used in later video playback. Alternatively, the reference coordinate may be a coordinate set in consideration of the size of the module when microphones for acquiring audio data including sound are configured to be included in one module. In this way, the reference coordinate may be set in consideration of an environment in which a video is played, audio data is acquired, or image data is acquired. The sound source position related information may not be all audio data included in the audio data unit F2 but may be information related to audio of a predetermined frequency or more among the audio data.

또한 본 발명의 실시 예에 따른 카메라 촬영 정보는 영상 데이터를 획득하는데 사용된 촬영 정보로서, 구체적으로 영상 데이터 획득시 사용된 카메라의 픽셀 정보, 카메라의 줌배율 정보, 그리고 카메라의 모션 정보를 포함한다. 여기서 카메라의 모션 정보는 카메라의 렌즈부가 팬 틸트(pan tilt) 또는 시프트(shift) 등의 기능으로 촬영을 위하여 전후 상하 방향으로 움직이는 경우 움직인 방향 및 움직임 정도에 해당하는 정보를 나타낸다. Also, the camera photographing information according to an embodiment of the present invention is photographing information used to acquire image data, and specifically includes camera information, camera zoom ratio information, and camera motion information used when the image data is acquired. . Here, the motion information of the camera indicates information corresponding to a moving direction and a degree of movement when the lens unit of the camera moves in the front and rear up and down directions for capturing with a function such as pan tilt or shift.

한편 영상 데이터부(F1)의 페이로드(P1)는 메인 데이터 즉, 영상 데이터를 포함하며, 오디오 데이터부(F2)의 페이로드(P2)는 메인 데이터 즉, 오디오 데이터를 포함한다. The payload P1 of the image data unit F1 includes main data, that is, image data, and the payload P2 of the audio data unit F2 includes main data, that is, audio data.

이러한 영상 데이터부(F1) 및 오디오 데이터부(F2)는 CRC(error detection code)를 선택적으로 포함할 수 있으며, CRC는 예를 들어 16 비트로 이루어질 수 있다. The image data unit F1 and the audio data unit F2 may optionally include an error detection code (CRC), and the CRC may be, for example, 16 bits.

또한 영상 데이터부(F1) 및 오디오 데이터부(F2)는 프레임 단위 구조로 이루어지며, 오디오 데이터부(F2)를 구성하는 오디오 비트열의 한 프레임을 AAU(audio access unit)라고 명명할 수 있다. AAU는 각각 단독으로 복호화할 수 있는 최소 단위이며, 위에 기술된 바와 같이 헤더, CRC, 오디오 데이터를 포함하는 페이로드를 포함하는 구성으로 이루어진다. Also, the image data unit F1 and the audio data unit F2 have a frame unit structure, and one frame of the audio bit string constituting the audio data unit F2 may be referred to as an audio access unit (AAU). Each AAU is a minimum unit that can be decoded independently, and has a configuration including a payload including a header, a CRC, and audio data as described above.

다음에는 이러한 구조로 이루어지는 동영상 파일을 생성하는, 본 발명의 실시 예에 따른 동영상 파일 생성 장치의 구조에 대하여 설명한다. Next, a structure of a video file generating apparatus according to an embodiment of the present invention for generating a video file having such a structure will be described.

도2는 본 발명의 실시 예에 따른 동영상 파일 생성 장치의 구조도이다. 2 is a structural diagram of a video file generating apparatus according to an embodiment of the present invention.

본 발명의 실시 예에 따른 동영상 파일 생성 장치(1)는 첨부한 도2에 도시되어 있듯이, 음원 위치 정보 획득부(10), 촬영 정보 획득부(20), 영상 데이터 획득부(30), 오디오 데이터 획득부(40), 그리고 동영상 파일의 영상 데이터부를 생성하는 제1 생성부(50), 동영상 파일의 오디오 데이터부를 생성하는 제2 생성부(60), 그리고 영상 데이터부와 오디오 데이터부를 토대로 동영상 파일을 생성하는 제3 생성부(70)를 포함한다. 여기서 제1, 제2, 제3의 표현은 각 생성부(50, 60, 70)를 구별하기 위하여 부가적으로 부여한 명칭이며, 각 생성부를 한정하는 것은 아니다. As shown in FIG. 2, the video file generating apparatus 1 according to an exemplary embodiment of the present invention includes a sound source position information obtaining unit 10, a shooting information obtaining unit 20, an image data obtaining unit 30, and audio. A data acquisition unit 40, a first generation unit 50 for generating an image data portion of a moving image file, a second generation unit 60 for generating an audio data portion of a moving image file, and a moving image based on the image data portion and an audio data portion A third generation unit 70 for generating a file is included. Here, the first, second, and third expressions are additionally given names for distinguishing the respective generation units 50, 60, and 70, and are not limited to each generation unit.

음원 위치 정보 획득부(10)는 소리가 발생한 음원의 위치를 측정하는데 관련된 정보인 음원 위치 관련 정보를 획득하며, 촬영 정보 획득부(20)는 영상 데이터 획득에 사용된 카메라 촬영 정보를 제공받는다. 영상 데이터 획득부(30)는 촬영에 따라 생성되는 영상 데이터를 획득하며, 오디오 데이터 획득부(40)는 촬영시 발생한 소리를 포함하는 오디오 데이터를 획득한다. The sound source position information obtaining unit 10 obtains sound source position related information, which is information related to measuring the position of the sound source where the sound is generated, and the photographing information obtaining unit 20 receives the camera photographing information used for image data acquisition. The image data acquisition unit 30 obtains image data generated by shooting, and the audio data acquisition unit 40 obtains audio data including sound generated during shooting.

제1 생성부(50)는 촬영 정보 획득부(20)로부터 전달되는 촬영 정보와 영상 데이터 획득부(40)로부터 전달되는 영상 데이터를 토대로 영상 데이터부(F1)를 생성한다. 제2 생성부(60)는 음원 위치 정보 획득부(10)로부터 전달되는 음원 위치 관련 정보와 오디오 데이터 획득부(40)로부터 전달되는 오디오 데이터를 토대로 오디오 데이터부(F2)를 생성한다. 그리고 제3 생성부(70)는 제1 생성부(50)로부터 전달되는 영상 데이터부(F1)와 제2 생성부(60)로부터 전달되는 오디오 데이터부(F2)를 토대로 동영상 파일을 생성한다. The first generator 50 generates the image data unit F1 based on the photographing information transmitted from the photographing information obtaining unit 20 and the image data transmitted from the image data obtaining unit 40. The second generation unit 60 generates the audio data unit F2 based on the sound source position related information transmitted from the sound source position information acquisition unit 10 and the audio data transmitted from the audio data acquisition unit 40. The third generation unit 70 generates a video file based on the image data unit F1 transferred from the first generation unit 50 and the audio data unit F2 transferred from the second generation unit 60.

본 발명의 실시 예에 따른 음원 위치 정보 획득부(10) 및 촬영 정보 획득부(20)는 다양한 경로를 통하여 관련 정보들을 획득할 수 있다. The sound source location information acquisition unit 10 and the shooting information acquisition unit 20 according to an embodiment of the present invention may obtain related information through various paths.

도3은 본 발명의 실시 예에 따른 동영상 파일 생성 장치가 관련 정보를 획득하는 경로를 나타낸 예시도이다. 여기서는 음원 위치 관련 정보가 마이크로폰 개수, 마이크로폰들 사이의 거리, 마이크로폰들의 각도를 포함한 것으로 예시되어 있지만, 이것에 한정되지는 않는다. 마이크로폰 개수는 오디오 데이터부에 몇 개의 채널에 해당하는 오디오 데이터가 포함되어 있는지를 판단하기 위한 근거로서 사용될 수 있으며, 이외에도 마이크로폰과 채널의 매칭 정보, 기준 좌표, 소리 속도 결정 정보 중 적어도 하나가 더 포함될 수 있다. 3 is an exemplary diagram illustrating a path for obtaining a related information by a video file generating apparatus according to an exemplary embodiment of the present invention. Here, the sound source position related information is illustrated as including, but not limited to, the number of microphones, the distance between the microphones, and the angles of the microphones. The number of microphones may be used as a basis for determining how many channels of audio data are included in the audio data unit, and at least one of microphone and channel matching information, reference coordinates, and sound speed determination information may be further included. Can be.

첨부한 도 3에 예시되어 있듯이, 음원 위치 정보 획득부(10)는 음원 위치 관련 정보의 일부(예를 들어, 마이크로폰 개수, 마이크로폰들 사이의 거리, 마이크로폰들의 각도 등)를 등록 정보로 하여 미리 저장하여 사용하고, 나머지(예를 들어, 소리 속도 결정 정보)는 입력 장치를 통하여 제공받을 수 있다. As illustrated in FIG. 3, the sound source position information obtaining unit 10 stores in advance some of the sound source position related information (for example, the number of microphones, the distance between the microphones, and the angle of the microphones) as registration information. The rest (for example, sound velocity determination information) may be provided through an input device.

촬영 정보 획득부(20)도 카메라 촬영 정보의 일부(예를 들어, 카메라 픽셀 정보)를 등록 정보로 하여 미리 저장하여 사용하고, 나머지(예를 들어, 카메라 줌배율 정보, 카메라 모션 정보)는 입력 장치를 통하여 제공받을 수 있다. The shooting information acquisition unit 20 also stores and uses a portion of the camera shooting information (for example, camera pixel information) in advance as registration information, and inputs the rest (for example, camera zoom ratio information and camera motion information). It can be provided through the device.

또는 동영상 파일 생성 장치(1)의 음원 위치 정보 획득부(10) 및 촬영 정보 획득부(20)는 입력 장치를 통하여 음원 위치 관련 정보 및 카메라 촬영 정보를 제공받을 수 있다. Alternatively, the sound source position information obtaining unit 10 and the shooting information obtaining unit 20 of the video file generating apparatus 1 may receive sound source position related information and camera photographing information through an input device.

이와는 달리, 음원 위치 정보 획득부(10)는 오디오 데이터를 출력하면서 오디오 데이터가 생성된 음원에 대한 위치를 측정하는 음원 측정 장치로부터 음원 위치 관련 정보를 제공받을 수 있다. Alternatively, the sound source position information acquisition unit 10 may receive sound source position related information from a sound source measuring device that measures the position of the sound source from which the audio data is generated while outputting the audio data.

도4는 발명의 실시 예에 따른 동영상 파일 생성 장치(1)가 정보를 획득하는 경로를 나타낸 다른 예시도이다. 4 is another exemplary diagram illustrating a path for obtaining information by the video file generating apparatus 1 according to an exemplary embodiment.

첨부한 도4에 예시되어 있듯이, 동영상 파일 생성 장치(1)는 음원 측정 장치(2)로부터 음원 위치 관련 정보 및 오디오 데이터를 제공받을 수 있다. As illustrated in FIG. 4, the video file generating apparatus 1 may receive sound source position related information and audio data from the sound source measuring apparatus 2.

이 경우 음원 측정 장치(2)는 복수의 마이크로폰(M1, M2, M3, M4, 여기서는 4개의 마이크로폰을 사용한 것을 예로 들었으나, 이러한 개수에 한정되지 않는다)과 복수의 마이크로폰들로부터 출력되는 신호를 입력받아 처리하여 음원 신호를 생성하는 신호 처리부(21), 그리고 음원 신호를 토대로 음원 위치를 측정하는 연산부(22)를 포함하며, 이외에도 동영상 파일 생성 장치(1)로 관련 정보를 제공하는 인터페이스부(23)를 포함한다. 또한 환경 파라미터(예를 들어, 온도, 습도, 압력 등)를 토대로 소리 속도를 결정하는 소리 속도 센서(24)를 더 포함할 수 있다. In this case, the sound source measuring device 2 inputs a plurality of microphones (M1, M2, M3, M4, in which four microphones are used here, but is not limited thereto) and signals output from the plurality of microphones. A signal processor 21 for receiving and processing a sound source signal, and an arithmetic unit 22 for measuring a sound source position based on the sound source signal, and in addition, an interface unit 23 for providing related information to the video file generating device 1. ). It may further include a sound velocity sensor 24 that determines the sound velocity based on environmental parameters (eg, temperature, humidity, pressure, etc.).

각각의 마이크로폰(M1, M2, M3, M4)은 음원으로부터 발생되는 소리를 수신하여 그에 해당하는 전기적인 신호를 출력한다.Each microphone (M1, M2, M3, M4) receives the sound generated from the sound source and outputs an electrical signal corresponding thereto.

신호 처리부(21)는 각각의 마이크로폰으로부터 출력되는 신호를 처리하며, 예를 들어, 마이크로폰으로부터 출력되는 신호를 디지털 신호로 변환하고, 이를 DFT(discrete fourier transform) 또는 FFT(fast fourier transform) 등의 주파수 변환을 하여, 주파수 영역의 신호로 변환한다. 그리고 주파수 영역의 신호들 중에서 설정 주파수 이상의 신호를 검출하여 음원 신호로 출력한다. The signal processor 21 processes a signal output from each microphone and, for example, converts a signal output from the microphone into a digital signal, which is a frequency such as a discrete fourier transform (DFT) or a fast fourier transform (FFT). The conversion is performed to a signal in the frequency domain. And a signal of a predetermined frequency or more among the signals in the frequency domain is detected and output as a sound source signal.

연산부(22)는 신호 처리부(21)로부터 출력되는 음원 신호들을 토대로 음원의 위치를 산출한다. The calculator 22 calculates the position of the sound source based on the sound source signals output from the signal processor 21.

한편 소리 속도 센서(24)는 환경 파라미터를 측정하고 측정된 환경 파라미터 값을 토대로 소리 속도를 결정할 수 있다. 이와는 달리 소리 속도 센서(24)가 환경 파라미터를 측정하고, 연산부(22)가 소리 속도 센서(24)로부터 제공되는 환경 파라미터값을 토대로 소리 속도를 결정할 수도 있다. The sound speed sensor 24 may measure an environmental parameter and determine a sound speed based on the measured environmental parameter value. Alternatively, the sound velocity sensor 24 may measure an environmental parameter, and the calculation unit 22 may determine the sound velocity based on an environmental parameter value provided from the sound velocity sensor 24.

신호 처리부(21)는 이러한 소리 속도 센서(24)로부터 출력되는 신호를 처리할 수 있으며, 예를 들어 소리 속도 센서(24)로부터 출력되는 환경 파라미터에 해당하는 신호를 디지털 신호로 변환하여 연산부(22)나 인터페이스부(23)로 제공한다. 여기서 환경 파라미터에 해당하는 신호는 소리 속도 센서(24)에 의하여 측정된 온도 또는 습도 또는 압력에 해당하는 신호일 수 있다. 여기서, 연산부(22)는 신호 처리부(21)를 통하여 전달되는 환경 파라미터에 해당하는 신호를 토대로 현재의 소리 속도를 결정할 수 있다. 소리 속도 결정시 환경 파라미터를 구성하는 다양한 파라미터(온도, 습도, 압력 등)의 다양한 값별로 소리 속도가 대응되어 있는 소리 속도 보정 테이블을 이용할 수 있으며, 또는 별도의 연산 알고리즘을 이용하여 소리 속도를 결정할 수 있다. The signal processor 21 may process a signal output from the sound speed sensor 24, and for example, convert the signal corresponding to an environmental parameter output from the sound speed sensor 24 into a digital signal to calculate the calculator 22. ) And the interface unit 23. Herein, the signal corresponding to the environmental parameter may be a signal corresponding to temperature, humidity, or pressure measured by the sound velocity sensor 24. Here, the calculator 22 may determine the current sound speed based on a signal corresponding to an environmental parameter transmitted through the signal processor 21. When determining the sound speed, you can use the sound speed correction table that corresponds to the sound speed according to various values of various parameters (temperature, humidity, pressure, etc.) constituting the environmental parameters, or determine the sound speed by using a separate calculation algorithm. Can be.

이러한 구조로 이루어지는 음원 측정 장치(2)의 인터페이스부(23)는 음원 위치 측정시 사용된 마이크로폰들의 개수, 마이크로폰들 사이의 거리(예를 들어, M1, M2, M3, M4의 마이크로폰이 사용된 경우, M1과 M2사이의 거리, M2와 M3사이의 거리, M3와 M4사이의 거리, M4와 M1사이의 거리 등), 마이크로폰들의 각도(∠M1, ∠M2, ∠M3, ∠M4), 기준 좌표, 마이크로폰과 채널의 매칭 정보 중 적어도 하나를 포함하는 음원 위치 관련 정보를 동영상 파일 생성 장치(1)로 제공한다. The interface unit 23 of the sound source measuring device 2 having such a structure includes the number of microphones used when measuring the sound source position and the distance between the microphones (for example, when microphones of M1, M2, M3, and M4 are used). , The distance between M1 and M2, the distance between M2 and M3, the distance between M3 and M4, the distance between M4 and M1, etc., the angle of the microphone (∠M1, ∠M2, ∠M3, ∠M4), reference coordinate , The sound source position-related information including at least one of matching information between the microphone and the channel is provided to the video file generating apparatus 1.

이외에도 인터페이스부(23)는 소리 속도 센서(24)로부터 측정되고 신호 처리부(21)를 통하여 전달되는 환경 파라미터에 해당하는 신호를 토대로 하는 소리 속도 결정 정보를 동영상 파일 생성 장치(1)로 전달한다. 여기서 소리 속도 결정 정보는 소리 속도에 영향을 주는 소리 속도 센서(24)에 의하여 측정된 환경 파라미터값(온도, 습도, 압력 중 적어도 하나) 그리고 측정된 환경 파라미터값에 따라 결정된 소리 속도(예를 들어, 340M/s) 중 적어도 하나를 포함한다. 또한 인터페이스부(23)는 연산부(22)로부터 제공되거나 또는 신호 처리부(21)로부터 제공되는 음원 신호를 오디오 데이터로 하여 동영상 파일 생성 장치(1)로 제공한다.In addition, the interface unit 23 transmits the sound velocity determination information based on a signal measured by the sound velocity sensor 24 and corresponding to an environmental parameter transmitted through the signal processor 21 to the video file generating apparatus 1. Herein, the sound velocity determination information includes an environmental parameter value (at least one of temperature, humidity, and pressure) measured by the sound velocity sensor 24 that affects the sound velocity, and a sound velocity determined by the measured environmental parameter value (for example, , 340M / s). In addition, the interface unit 23 provides the video file generating apparatus 1 with the sound source signal provided from the calculator 22 or the signal processor 21 as audio data.

동영상 파일 생성 장치(1)는 음원 측정 장치(2) 이외에도 별도의 오디오 데이터 생성 장치(도시하지 않음)로부터 오디오 데이터를 제공받을 수도 있다. 여기서 제공되는 오디오 데이터들은 마이크로폰들 각각에 의하여 출력되는 음원 신호에 대응하는 데이터들이다. 예를 들어 4개의 마이크로폰이 사용된 경우, 각각의 마이크로폰에 대응하는 오디오 데이터들이 채널별로 처리되어, 4개의 채널별 오디오 데이터들이 제공될 수 있다.  The video file generating apparatus 1 may receive audio data from a separate audio data generating apparatus (not shown) in addition to the sound source measuring apparatus 2. The audio data provided herein are data corresponding to sound source signals output by each of the microphones. For example, when four microphones are used, audio data corresponding to each microphone may be processed for each channel, and four channel-specific audio data may be provided.

한편 음원 측정 장치(2)의 마이크로폰들의 개수, 마이크로폰들 사이의 거리, 마이크로폰들의 각도들은 미리 설정되어 저장될 수 있으며, 이 경우 인터페이스부(23)는 저장된 이러한 정보들을 읽어서 음원 위치 관련 정보를 생성할 수 있다. 또는 연산부(22)가 음원 신호들이나 별도의 신호를 이용하여 마이크로폰들 사이의 거리, 마이크로폰들의 각도들을 산출한 경우에, 인터페이스부(23)는 연산부(22)로부터 이러한 정보를 제공받아 음원 위치 관련 정보를 생성할 수 있다. The number of microphones, the distance between the microphones, and the angles of the microphones of the sound source measuring device 2 may be preset and stored. In this case, the interface unit 23 may read the stored information to generate sound source position related information. Can be. Alternatively, when the calculating unit 22 calculates the distance between the microphones and the angles of the microphones using sound source signals or separate signals, the interface unit 23 receives such information from the calculating unit 22 and receives sound source position related information. Can be generated.

이러한 음원 측정 장치(2)의 구조는 예시된 것이며, 위에 기술된 것에 한정되지 않는다. The structure of such a sound source measuring device 2 is illustrated and is not limited to that described above.

한편, 동영상 파일 생성 장치(1)의 촬영 정보 획득부(20)도 카메라와 같은 촬영 장치(3)로부터 카메라 촬영 정보 및 영상 데이터를 제공받을 수 있다. 이러한 촬영 장치(3)의 구조는 이미 공지된 기술임으로 여기서는 상세한 설명을 생략한다. 촬영 장치(3)는 일반적으로 렌즈를 사용하면서 렌즈의 배율을 가변시키는 줌(zoom) 동작, 렌즈의 방향을 변경하는 팬 틸트 동작 및 시프트 동작을 수행하면서 촬영을 하게 된다. 촬영 장치(3)는 이와 같이 각 프레임별 영상 데이터를 촬영시 사용된 줌배율, 픽셀 정보, 팬 틸트 또는 시프트 동작에 따른 카메라 모션 정보 중 적어도 하나를 동영상 파일 생성 장치(1)로 제공한다. Meanwhile, the photographing information acquisition unit 20 of the video file generating apparatus 1 may also receive camera photographing information and image data from a photographing apparatus 3 such as a camera. Since the structure of the photographing apparatus 3 is a known technique, a detailed description thereof will be omitted here. The photographing apparatus 3 generally takes a photograph while performing a zoom operation for changing the magnification of the lens while using a lens, a pan tilt operation for changing the direction of the lens, and a shift operation. The photographing apparatus 3 provides the video file generating apparatus 1 with at least one of zoom magnification, pixel information, pan tilt, or shift motion used in capturing the image data for each frame.

다음에는 이러한 장치들을 토대로 동영상 파일을 생성하는 방법에 대하여 설명한다. Next, a method of generating a video file based on such devices will be described.

도 5는 본 발명의 실시 예에 따른 동영상 파일 생성 방법의 흐름도이다. 도5에 도시된 흐름은 단지 예시된 것이며, 본 발명의 실시 예에 따른 동영상 파일 생성 방법에서 동영상 파일을 생성하는 과정이 이하에 기술되는 흐름에 한정되는 것은 아니다. 5 is a flowchart illustrating a video file generating method according to an exemplary embodiment of the present invention. 5 is merely illustrative, and the process of generating a video file in the video file generating method according to an embodiment of the present invention is not limited to the flow described below.

먼저, 첨부한 도 5에 도시되어 있듯이, 본 발명의 실시 예에 따른 동영상 파일 생성 장치(1)는 영상 데이터부(F1)를 생성하는 경우, 영상 데이터부(F1)를 구성하는 헤더(H1)를 생성하고(S100), 헤더(H1)에 기록할 정보를 획득한다. 즉, 영상 데이터 획득시 사용된 촬영 장치 즉, 카메라의 픽셀 정보, 카메라의 렌즈의 줌배율 정보, 카메라의 렌즈의 이동에 따른 모션 정보를 획득하고(S110~S130), 획득된 정보들을 포함하는 카메라 촬영 정보를 영상 데이터부(F1)의 헤더(H1)에 기록한다(S140). 물론 이 경우 영상 데이터에 관련된 영상 관련 정보도 헤더(H1)에 기록된다. 그리고 동영상 파일 생성 장치(1)는 영상 데이터를 획득하고 이를 영상 데이터부(F1)의 페이로드(P1)에 기록한다(S150~S160). First, as shown in FIG. 5, when the video file generating apparatus 1 generates the image data unit F1, the header H1 constituting the image data unit F1 is included. To generate the information to be recorded in the header H1. That is, a photographing apparatus used when acquiring image data, that is, pixel information of the camera, zoom ratio information of the lens of the camera, motion information according to the movement of the lens of the camera is obtained (S110 to S130), and a camera including the obtained information. The shooting information is recorded in the header H1 of the image data unit F1 (S140). In this case, of course, image related information related to the image data is also recorded in the header H1. The video file generating apparatus 1 obtains image data and records the image data in the payload P1 of the image data unit F1 (S150 to S160).

또한 동영상 파일 생성 장치(1)는 오디오 데이터부(F2)를 생성하는 경우, 오디오 데이터부(F2)를 구성하는 헤더(H2)를 생성하고(S170), 헤더(H2)에 기록할 정보를 획득한다. 즉, 오디오 데이터 획득시 사용된 마이크로폰들의 개수, 마이크로폰들간의 거리, 마이크로폰들의 각도, 그리고 오디오 데이터 획득시에 측정된 환경 파라미터에 대응하는 소리 속도 결정 정보를 획득하고(S180~S210), 획득된 정보들을 포함하는 음원 위치 관련 정보를 오디오 데이터부(F2)의 헤더(H2)에 기록한다(S220). 물론 이 경우 오디오 데이터에 관련된 오디오 관련 정보도 헤더(H2)에 기록되며, 기준 좌표, 마이크로폰과 채널의 매칭 정보 중 적어도 하나가 헤더(H2)에 기록될 수 있다. 그리고 동영상 파일 생성 장치(1)는 오디오 데이터를 획득하고 이를 오디오 데이터부(F2)의 페이로드(P2)에 기록한다(S230~S240). In addition, when generating the audio data unit F2, the video file generating apparatus 1 generates the header H2 constituting the audio data unit F2 (S170) and obtains information to be recorded in the header H2. do. That is, sound speed determination information corresponding to the number of microphones used for audio data acquisition, the distance between the microphones, the angle of the microphones, and the environmental parameter measured at the time of audio data acquisition are obtained (S180 to S210). Sound source position-related information including the data is recorded in the header H2 of the audio data unit F2 (S220). In this case, audio-related information related to the audio data may also be recorded in the header H2, and at least one of reference coordinates and matching information between the microphone and the channel may be recorded in the header H2. The video file generating apparatus 1 obtains audio data and records the audio data in the payload P2 of the audio data unit F2 (S230 to S240).

도6은 본 발명의 실시 예에 따른 음원 측정 장치(2) 및 촬영 장치(3)로부터 획득되는 정보와, 이러한 정보를 각 데이터부의 헤더에 기록하는 과정이 예시되어 있다. 6 illustrates information obtained from the sound source measuring apparatus 2 and the photographing apparatus 3 according to an embodiment of the present invention, and a process of recording such information in the header of each data unit.

도6에 예시된 바와 같이, 음원 측정 장치(2)를 구성하는 마이크로폰들(M1, M2, M3, M4)로부터 발생된 음원 신호에 대응하는 오디오 데이터들이 다수의 채널별로 분류되어 동영상 파일 생성 장치(1)로 제공되며, 이러한 오디오 데이터가 오디오 데이터부의 페이로드에 기록된다. 그리고 마이크로폰들의 개수, 마이크로폰들의 거리(D1, D2, D3, D4), 마이크로폰들의 각도(∠M1, ∠M2, ∠M3, ∠M4)가 오디오 데이터부의 헤더에 기록된다. 또한 온도, 습도, 압력 중 적어도 하나의 환경 파라미터에 대응하는 값 그리고 환경 파라미터를 토대로 결정된 소리 속도 중 적어도 하나를 포함하는 소리 속도 결정 정보가 헤더에 기록된다. 이러한 환경 파라미터는 온도, 습도, 압력 이외에, 별도로 환경 상태를 나타내는 기타 정보가 더 추가될 수도 있다. As illustrated in FIG. 6, audio data corresponding to sound source signals generated from the microphones M1, M2, M3, and M4 constituting the sound source measuring apparatus 2 may be classified into a plurality of channels to generate a video file generating apparatus ( 1), this audio data is recorded in the payload of the audio data portion. The number of microphones, the distances D1, D2, D3, and D4 of the microphones and the angles of the microphones M1, M2, M3, and M4 are recorded in the header of the audio data unit. In addition, sound velocity determination information including at least one of a value corresponding to at least one environmental parameter of temperature, humidity, and pressure, and a sound velocity determined based on the environmental parameter is recorded in the header. In addition to temperature, humidity, and pressure, such environmental parameters may further include other information indicating environmental conditions separately.

또한 카메라와 같은 촬영 장치에 의하여 영상 데이터가 획득되면서, 이러한 영상 데이터 획득시 사용된 카메라 촬영 정보가 동영상 파일 생성 장치(1)로 제공되며, 동영상 파일 생성 장치(1)는 영상 데이터를 페이로드에 기록하고 카메라 촬영 정보를 헤더에 기록한다. In addition, as image data is acquired by a photographing apparatus such as a camera, the camera photographing information used in obtaining the image data is provided to the video file generating apparatus 1, and the video file generating apparatus 1 sends the image data to the payload. Record and record the camera shooting information in the header.

이와 같이 획득되는 카메라 촬영 정보 및 음원 위치 관련 정보를 각각 포함하는 영상 데이터부(F1)와 오디오 데이터부(F2)를 생성한 다음에, 동영상 파일 생성 장치(1)는 영상 데이터부(F1)와 오디오 데이터부(F2)를 조합하여 동영상 파일을 생성한다. 생성된 동영상 파일은 미디어 컨테이너 파일 형태로 구성될 수 있다. 본 발명의 실시 예에 따른 동영상 파일 생성 장치를 통하여 생성된 동영상 파일은 유선, 무선 등의 다양한 형태의 네트워크를 통하여 스트리밍(streaming) 등의 다양한 전송 방식으로 동영상 파일을 재생하는 장치로 제공될 수 있다. 동영상파일에는 음원 위치 관련 정보 즉, 음원으로부터의 소리를 수신하여 출력하는 마이크로폰들의 개수, 그리고 이러한 마이크로폰들 사이의 거리, 마이크로폰들의 각도와, 소리 속도에 영향을 주는 환경 파라미터 또는 이러한 환경 파라미터에 따라 결정되는 소리 속도를 포함하는 소리 속도 결정 정보가 포함되어 있으므로, 동영상 재생 장치(도시하지 않음)에서는 이러한 음원 위치 관련 정보를 토대로 음원의 위치를 산출할 수 있다. 이후 동영상 재생 장치는 산출된 음원의 위치를 해당 영상 데이터가 표시되는 화면상에 표시하거나, 화면상의 영상 데이터가 표시되는 영역을 제외한 별도의 영역에 음원의 위치를 표시하거나 또는 오디오로 음원 위치를 출력하는 등의 과정을 통하여, 산출된 음원 위치를 다양한 형태로 출력할 수 있다. After generating the image data unit F1 and the audio data unit F2 each including the camera photographing information and the sound source position-related information thus obtained, the video file generating apparatus 1 is connected to the image data unit F1. The audio data unit F2 is combined to generate a video file. The generated video file may be configured in the form of a media container file. The video file generated by the video file generating apparatus according to an embodiment of the present invention may be provided as a device for playing the video file by various transmission methods such as streaming through various types of networks such as wired and wireless. . The video file contains information related to the sound source location, that is, the number of microphones that receive and output sound from the sound source, and the distance between these microphones, the angle of the microphones, and the environmental parameters affecting the sound speed or these environmental parameters. Since sound velocity determination information including the sound velocity is included, the video player (not shown) may calculate the position of the sound source based on the sound source position related information. Thereafter, the video reproducing apparatus displays the calculated position of the sound source on the screen on which the corresponding image data is displayed, displays the position of the sound source in a separate area except the area where the image data on the screen is displayed, or outputs the sound source position through audio. Through such a process, the calculated sound source position can be output in various forms.

한편, 동영상 재생 장치가 음원 위치 관련 정보를 토대로 음원 위치를 산출할 경우, 소정의 기준 좌표를 이용할 수 있다. 이 기준 좌표는 마이크로폰들의 위치를 산출하는데 사용되며, 기준 좌표와 음원 위치 관련 정보에 포함된 마이크로폰들간의 거리를 토대로 마이크로폰들의 위치를 산출할 수 있다. 산출된 마이크로폰들의 위치 좌표는 음원 위치 산출시 사용될 수 있다. Meanwhile, when the video reproducing apparatus calculates the sound source position based on the sound source position related information, predetermined reference coordinates may be used. The reference coordinate is used to calculate the positions of the microphones, and the positions of the microphones may be calculated based on the distance between the reference coordinates and the microphones included in the sound source position related information. The calculated position coordinates of the microphones may be used when calculating the sound source position.

음원 위치 관련 정보가 위에 기술된 실시 예와 같이 기준 좌표를 포함하지 않는 경우에는, 기준 좌표가 미리 설정되어 동영상 재생 장치가 음원 위치를 산출할 때 사용될 수 있다. When the sound source position related information does not include the reference coordinate as in the above-described embodiment, the reference coordinate may be set in advance and used when the video reproducing apparatus calculates the sound source position.

기준 좌표는 예를 들어, 도 6에서와 같이, 4개의 마이크로폰이 사용된 경우, 4개의 마이크로폰들 중에서 마이크로폰(M1)의 위치 좌표(X1, Y1)일 수 있다. 또는 기준 좌표는 4개의 마이크로폰들 모두(M1, M2, M3, M4)에 대한 위치 좌표들((X1, Y1), (X2, Y2), (X3, Y3), (X4, Y4))일 수 있다. For example, as shown in FIG. 6, when four microphones are used, the reference coordinates may be position coordinates X1 and Y1 of the microphone M1 among the four microphones. Or the reference coordinate may be the position coordinates ((X1, Y1), (X2, Y2), (X3, Y3), (X4, Y4) for all four microphones (M1, M2, M3, M4) have.

이와 같이 음원 위치 관련 정보가 마이크로폰들의 위치 좌표들인 경우, 동영상 재생 장치는 수신되는 동영상 파일로부터 음원 위치 관련 정보를 추출하고, 추출된 음원 위치 관련 정보에 포함된 마이크로폰들의 위치 좌표들과 마이크로폰들의 개수에 대응하는 채널별 오디오 데이터들이 출력되는 시간들의 시간차 등을 토대로 음원의 위치를 산출할 수 있다. 물론 음원 위치 관련 정보에 하나의 기준 좌표가 포함되어 있는 경우에는, 기준 좌표와 마이크로폰들 사이의 거리를 토대로 각 마이크로폰들의 위치 좌표를 산출하고, 이들을 이용하여 음원 위치를 산출할 수 있다. As such, when the sound source position related information is the position coordinates of the microphones, the video reproducing apparatus extracts the sound source position related information from the received video file, and displays the position coordinates of the microphones and the number of the microphones included in the extracted sound source position related information. The position of the sound source may be calculated based on the time difference of the times at which the corresponding channel-specific audio data are output. Of course, when one reference coordinate is included in the sound source position related information, the position coordinates of the microphones may be calculated based on the distance between the reference coordinate and the microphones, and the sound source position may be calculated using the reference coordinates.

위에 기술된 바와 같이 본 발명의 실시 예에 따라 다양한 형태로 이루어지는 음원 위치 관련 정보를 토대로 동영상 재생 장치가 음원 위치를 산출할 수 있다. 이러한 경우 영상 데이터 재생에 문제가 있어서 영상이 표시되지 않거나 영상 데이터의 휘도가 낮아서 표시되는 영상의 식별이 용이하지 않는 경우에도, 소리가 발생한 음원에 대한 위치 정보를 알 수 있으며, 표시되는 영상의 어떠한 영역에 소리가 발생한 음원이 위치되는지를 용이하게 알 수 있다. As described above, the video reproducing apparatus may calculate a sound source position based on sound source position related information having various forms according to an embodiment of the present invention. In this case, even if the image is not displayed due to a problem in the reproduction of the image data or the luminance of the image data is low, the identification of the displayed image is not easy. It is easy to know whether the sound source generating the sound is located in the region.

이러한 본 발명의 실시 예에 따른 음원 위치 관련 정보가 포함된 동영상 파일은 다양한 분야에 사용될 수 있으며, 특히, 감시나 경비를 수행하는 시스템에서 보다 효과적으로 사용될 수 있다. 감시나 경비가 이루어지는 공간의 경우 휘도가 낮아서 영상에 포함되는 객체의 식별이 용이한 영상 데이터를 획득하기가 용이하지 않다. 이러한 상황에서 촬영되는 영상 데이터에 소리가 발생한 음원에 대한 위치 관련 정보가 포함되어 제공됨으로써, 관제 센터에서 재생되는 영상의 식별이 용이하지 않은 경우에도 소리가 발생된 음원의 위치를 알 수 있으며, 이를 토대로 신속하고 적절한 경비 대응이 이루어질 수 있다. 이러한 것은 본 발명의 실시 예에 따른 동영상 파일이 적용되는 것에 대한 예일 뿐이며, 위에 기술된 것들에 한정되지 않는다. The video file including the sound source location-related information according to an embodiment of the present invention can be used in various fields, in particular, it can be used more effectively in a system for performing surveillance or security. In the case of a surveillance or security space, the luminance is low, and thus it is not easy to obtain image data for easy identification of an object included in the image. In this situation, the image data photographed in this situation is provided with the location-related information on the sound source that generated the sound, so that the location of the sound source where the sound is generated can be known even when the image reproduced at the control center is not easy. On the basis of this, prompt and appropriate cost response can be achieved. This is only an example to which a video file according to an embodiment of the present invention is applied, and is not limited to those described above.

이상에서 설명한 본 발명의 실시 예는 장치(물건) 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예에 따른 동영상 파일 생성 방법의 구성에 대응하는 기능을 실행시킬 수 있는 프로그램 또는 그 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다. The embodiment of the present invention described above is not implemented only through an apparatus (object) and a method, but a program or a program capable of executing a function corresponding to the configuration of a video file generating method according to an embodiment of the present invention. It may be implemented through a recorded computer-readable recording medium, which can be easily implemented by those skilled in the art from the description of the above-described embodiments.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

Claims (15)

소리가 발생한 음원의 위치를 측정하는데 관련된 정보인 음원 위치 관련 정보를 획득하는 음원 위치 정보 획득부;
소리를 포함하는 오디오 데이터를 획득하는 오디오 데이터 획득부;
상기 음원 위치 관련 정보를 제1 헤더에 기록하고 상기 오디오 데이터를 제1 페이로드에 기록하여 오디오 데이터부를 생성하는 생성부; 및
상기 오디오 데이터부를 포함하는 동영상 파일을 생성하는 생성부
를 포함하며,
상기 음원 위치 관련 정보는 소리 속도 결정 정보를 포함하고, 소리를 측정하는 마이크로폰들의 개수, 마이크로폰들 사이의 거리, 소리를 획득하는데 사용된 마이크로폰들의 위치에 관련된 기준 좌표, 마이크로폰들의 각도 중 적어도 하나를 더 포함하며,
상기 소리 속도 결정 정보는 상기 오디오 데이터가 획득된 환경을 나타내는 온도, 습도, 압력 중 적어도 하나를 포함하는 환경 파라미터의 측정값을 포함하는, 동영상 파일 생성 장치.A sound source position information obtaining unit obtaining sound source position related information which is information related to measuring a position of a sound source in which sound is generated;
An audio data acquisition unit for acquiring audio data including sound;
A generator configured to record the sound source position related information in a first header and record the audio data in a first payload to generate an audio data unit; And
A generation unit generating a video file including the audio data unit
Including;
The sound source position related information includes sound speed determination information, and further includes at least one of the number of microphones for measuring sound, the distance between the microphones, a reference coordinate related to the position of the microphones used to acquire the sound, and the angle of the microphones. Include,
And the sound velocity determination information includes a measurement value of an environmental parameter including at least one of temperature, humidity, and pressure indicating an environment in which the audio data is obtained. 제1항에 있어서
상기 오디오 데이터 획득시 촬영되는 영상 데이터를 획득하는 영상 데이터 획득부;
상기 영상 데이터 촬영시 관련된 카메라 촬영 정보를 획득하는 촬영 정보 획득부; 및
상기 카메라 촬영 정보를 제2 헤더에 기록하고 상기 영상 데이터를 제2 페이로드에 기록하여 영상 데이터부를 생성하는 생성부
를 더 포함하고,
상기 동영상 파일을 생성하는 생성부는 상기 영상 데이터부와 오디오 데이터부를 서로 동기시켜 상기 동영상 파일을 생성하는, 동영상 파일 생성 장치.The method of claim 1, wherein
An image data acquisition unit configured to acquire image data photographed when the audio data is acquired;
A photographing information obtaining unit which obtains camera photographing information related to photographing the image data; And
A generator configured to record the camera photographing information in a second header and record the image data in a second payload to generate an image data unit;
Further comprising:
The generating unit for generating the moving image file generates the moving image file by synchronizing the image data unit and the audio data unit with each other. 제2항에 있어서
상기 카메라 촬영 정보는 촬영시 사용된 카메라 픽셀 정보, 카메라 줌배율 정보, 및 카메라 모션 정보 중 적어도 하나를 포함하는, 동영상 파일 생성 장치.The method according to claim 2, wherein
The camera photographing information includes at least one of camera pixel information, camera zoom ratio information, and camera motion information used during photographing. 제1항에 있어서,
상기 소리 속도 결정 정보는 상기 환경 파라미터의 측정값을 토대로 결정된 소리 속도인, 동영상 파일 생성 장치.The method of claim 1,
And the sound velocity determination information is a sound velocity determined based on the measured value of the environmental parameter. 제1항 내지 제4항 중 어느 한 항에 있어서
상기 음원 위치 관련 정보는 상기 오디오 데이터부의 제1 페이로드에 기록되는 각 채널별 오디오 데이터가 어느 마이크로폰으로부터 획득된 것인지를 나타내는 마이크로폰과 채널의 매칭 정보를 더 포함하는, 동영상 파일 생성 장치.The method according to any one of claims 1 to 4.
The sound source position related information further includes a microphone and channel matching information indicating which microphone the audio data for each channel recorded in the first payload of the audio data unit is obtained from. 제1항에 있어서
상기 동영상 파일 생성 장치는 적어도 두 개의 마이크로폰들을 사용하여 소리가 발생한 음원의 위치를 측정하는 음원 측정 장치로부터 상기 음원 위치 관련 정보를 제공받는, 동영상 파일 생성 장치.The method of claim 1, wherein
The video file generating device receives the sound source position related information from a sound source measuring device for measuring the position of the sound source where the sound is generated using at least two microphones. 동영상 파일을 생성하는 장치가 동영상 파일을 생성하는 방법에서,
상기 장치가, 소리가 발생한 음원의 위치를 측정하는 관련된 정보인 음원 위치 관련 정보를 획득하는 단계;
상기 장치가, 소리를 포함하는 오디오 데이터를 획득하는 단계;
상기 장치가, 상기 오디오 데이터에 동기되는 영상 데이터를 획득하는 단계;
상기 장치가, 제1 헤더와 제1 페이로드를 포함하는 오디오 데이터부의 상기 제1 헤더에 상기 음원 위치 관련 정보를 기록하고 상기 제1 페이로드에 오디오 데이터를 기록하는 단계;
상기 장치가, 제2 헤더와 제2 페이로드를 포함하는 영상 데이터부의 상기 제2 페이로드에 상기 영상 데이터를 기록하는 단계; 및
상기 오디오 데이터부와 영상 데이터부를 동기시켜 동영상 파일을 생성하는 단계
를 포함하는, 동영상 파일 생성 방법.In the way that the device generating the video file generates the video file,
Acquiring, by the device, sound source position related information, which is related information measuring a position of a sound source where a sound is generated;
Acquiring, by the device, audio data comprising sound;
Acquiring, by the device, image data synchronized with the audio data;
Recording, by the apparatus, the sound source position related information in the first header of the audio data portion including a first header and a first payload and recording audio data in the first payload;
Recording, by the apparatus, the image data in the second payload of the image data portion including a second header and a second payload; And
Generating a video file by synchronizing the audio data unit with the image data unit;
Including, a video file generation method. 제7항에 있어서
상기 음원 위치 관련 정보는 소리를 측정하는 마이크로폰들의 개수, 마이크로폰들 사이의 거리, 소리를 획득하는데 사용된 마이크로폰들의 위치에 관련된 기준 좌표, 마이크로폰들의 각도, 소리 속도 결정 정보 중 적어도 하나를 포함하는, 동영상 파일 생성 방법.The method of claim 7, wherein
The sound source position related information includes at least one of a number of microphones for measuring sound, a distance between the microphones, reference coordinates related to the position of the microphones used to acquire the sound, angles of the microphones, and sound velocity determination information. How to create a file. 제7항에 있어서
상기 장치가, 상기 영상 데이터 촬영시 관련된 카메라 촬영 정보를 획득하는 단계를 더 포함하고,
상기 영상 데이터부를 기록하는 단계는 상기 카메라 촬영 정보를 상기 영상 데이터부의 제2 헤더에 기록하고 상기 영상 데이터를 상기 제2 페이로드에 기록하는, 동영상 파일 생성 방법.The method of claim 7, wherein
The apparatus further includes the step of acquiring camera shooting information related to the image data capture,
The recording of the image data unit may include recording the camera photographing information in a second header of the image data unit, and recording the image data in the second payload. 제9항에 있어서
상기 카메라 촬영 정보는 촬영시 사용된 카메라 픽셀 정보, 카메라 줌배율 정보, 및 카메라 모션 정보 중 적어도 하나를 포함하는, 동영상 파일 생성 방법.The method of claim 9
The camera photographing information includes at least one of camera pixel information, camera zoom ratio information, and camera motion information used at the time of shooting. 제8항에 있어서,
상기 소리 속도 결정 정보는, 상기 오디오 데이터가 획득된 환경을 나타내는 온도, 습도, 압력 중 적어도 하나를 포함하는 환경 파라미터의 측정값 그리고, 상기 환경 파라미터의 측정값을 토대로 결정된 소리 속도 중 적어도 하나인, 동영상 파일 생성 방법.9. The method of claim 8,
The sound speed determination information may be at least one of a measurement value of an environmental parameter including at least one of temperature, humidity, and pressure indicating an environment in which the audio data is obtained, and a sound speed determined based on the measurement value of the environmental parameter. How to create a movie file. 제8항에 있어서
상기 음원 위치 관련 정보는 상기 오디오 데이터부의 제1 페이로드에 기록되는 각 채널별 오디오 데이터가 어느 마이크로폰으로부터 획득된 것인지를 나타내는 마이크로폰과 채널의 매칭 정보를 더 포함하는, 동영상 파일 생성 방법.
The method of claim 8, wherein
The sound source position related information further includes a microphone and a channel matching information indicating which microphone the audio data for each channel recorded in the first payload of the audio data unit is obtained from.
삭제delete 삭제delete 삭제delete
KR1020100038707A 2010-04-26 2010-04-26 apparatus for generating moving image file in which information on sound source location is included and method thereof, and recording medium KR101203706B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100038707A KR101203706B1 (en) 2010-04-26 2010-04-26 apparatus for generating moving image file in which information on sound source location is included and method thereof, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100038707A KR101203706B1 (en) 2010-04-26 2010-04-26 apparatus for generating moving image file in which information on sound source location is included and method thereof, and recording medium

Publications (2)

Publication Number Publication Date
KR20110119166A KR20110119166A (en) 2011-11-02
KR101203706B1 true KR101203706B1 (en) 2012-11-23

Family

ID=45390796

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100038707A KR101203706B1 (en) 2010-04-26 2010-04-26 apparatus for generating moving image file in which information on sound source location is included and method thereof, and recording medium

Country Status (1)

Country Link
KR (1) KR101203706B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100489449B1 (en) * 2002-03-13 2005-05-11 (주)아이디스 method for generating and playing multimedia data file

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100489449B1 (en) * 2002-03-13 2005-05-11 (주)아이디스 method for generating and playing multimedia data file

Also Published As

Publication number Publication date
KR20110119166A (en) 2011-11-02

Similar Documents

Publication Publication Date Title
KR101155611B1 (en) apparatus for calculating sound source location and method thereof
JP4778306B2 (en) Matching asynchronous image parts
US20150003802A1 (en) Audio/video methods and systems
US10347298B2 (en) Method and apparatus for smart video rendering
US20140337742A1 (en) Method, an apparatus and a computer program for determination of an audio track
US20180330163A1 (en) Image processing apparatus and image processing method
JP2008048374A (en) Video camera apparatus
CN106507172B (en) Information coding method, coding/decoding method and device
KR101155610B1 (en) Apparatus for displaying sound source location and method thereof
KR101721085B1 (en) Device and method for time syncronization between photographing apparatus and sensor
JP2018207152A (en) Synchronization controller and synchronization control method
KR101203706B1 (en) apparatus for generating moving image file in which information on sound source location is included and method thereof, and recording medium
JP2006250638A (en) Video camera provided with clock synchronization function
JP2009188674A (en) Transmitting apparatus, receiving apparatus, moving image sound transmission quality evaluating method, and moving image sound transmission quality evaluation program
KR101168742B1 (en) Apparatus and Method for generating subtitle included information of sound source location
JP5885025B2 (en) Signal processing apparatus, signal processing method, program, and electronic apparatus
JP6210940B2 (en) Information presentation device, information input device, and program
US9025930B2 (en) Chapter information creation apparatus and control method therefor
JP6098458B2 (en) Information processing device
JP5952720B2 (en) Information presentation device, information input device, identification information embedding method, and program
KR20070061033A (en) Apparatus and method for generating video signal of multi-view panoramic video, apparatus and method for playing video
KR102599664B1 (en) System operating method for transfering multiview video and system of thereof
KR101411636B1 (en) System, apparatus, method and computer readable recording medium for providing n-screen service through the recognition of circumstantial based on the smart tv
JP2018155897A (en) Information processing method
JP2016015584A (en) Network camera system, network camera, and sound and image transmission method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151029

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181029

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191030

Year of fee payment: 8