WO2023048494A1 - 음향 신호를 이용한 공간 감시 장치의 노이즈 회피 방법 - Google Patents

음향 신호를 이용한 공간 감시 장치의 노이즈 회피 방법 Download PDF

Info

Publication number
WO2023048494A1
WO2023048494A1 PCT/KR2022/014236 KR2022014236W WO2023048494A1 WO 2023048494 A1 WO2023048494 A1 WO 2023048494A1 KR 2022014236 W KR2022014236 W KR 2022014236W WO 2023048494 A1 WO2023048494 A1 WO 2023048494A1
Authority
WO
WIPO (PCT)
Prior art keywords
noise
sound signal
received
acoustic signal
signal
Prior art date
Application number
PCT/KR2022/014236
Other languages
English (en)
French (fr)
Inventor
김재환
Original Assignee
김재환
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김재환 filed Critical 김재환
Priority to KR1020247005389A priority Critical patent/KR20240034828A/ko
Priority to EP22873198.0A priority patent/EP4407343A1/en
Priority to CN202280064353.0A priority patent/CN118043699A/zh
Publication of WO2023048494A1 publication Critical patent/WO2023048494A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H17/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/534—Details of non-pulse systems
    • G01S7/536—Extracting wanted echo signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H3/00—Measuring characteristics of vibrations by using a detector in a fluid
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/534—Details of non-pulse systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/16—Actuation by interference with mechanical vibrations in air or other fluid
    • G08B13/1609—Actuation by interference with mechanical vibrations in air or other fluid using active vibration detection systems
    • G08B13/1618—Actuation by interference with mechanical vibrations in air or other fluid using active vibration detection systems using ultrasonic detection means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/50—Systems of measurement, based on relative movement of the target
    • G01S15/52—Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S15/523—Discriminating between fixed and moving objects or between objects moving at different speeds for presence detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/50—Systems of measurement, based on relative movement of the target
    • G01S15/52—Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S15/523—Discriminating between fixed and moving objects or between objects moving at different speeds for presence detection
    • G01S15/526—Discriminating between fixed and moving objects or between objects moving at different speeds for presence detection by comparing echos in different sonar periods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/16—Actuation by interference with mechanical vibrations in air or other fluid
    • G08B13/1654—Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems
    • G08B13/1672—Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems using sonic detecting means, e.g. a microphone operating in the audio frequency range

Definitions

  • the present invention relates to a technique for accurately grasping a spatial situation while avoiding noise in a space to be monitored in a space monitoring apparatus that monitors a spatial situation using an acoustic signal.
  • CCTVs, IR cameras, vibration detection sensors, gas detection sensors, etc. are applied to detect intrusion of outsiders into the indoor space, occurrence of fire, gas leakage, and the like.
  • individual sensing devices are required for each situation such as intrusion, fire, gas, etc., so many sensing devices are required to monitor various indoor space conditions, and accordingly, a lot of cost is consumed to build facilities and power Consumption is also a significant problem.
  • a sound field sensor can be used as one of the technologies for grasping a spatial situation based on sound signals.
  • the sound field sensor (SOFIS) emits sounds (sound signals) of various frequencies and analyzes changes in the sound field formed in a certain space. It is a device that measures the movement of objects, the flow of air, and the change in temperature within a certain space.
  • noise may cause an error in misdetermining that a specific situation that has not actually occurred has occurred in the corresponding space, or an error in not recognizing it may be caused even in an emergency situation.
  • Such a recognition error may completely reduce the reliability of the spatial monitoring operation of the sound field sensor. Therefore, in order to detect spatial situations more accurately and with higher reliability, a method for processing noise is required.
  • the present invention has been made to solve the problems of the prior art as described above, and solves the problem of an error in grasping the space situation when noise generated temporarily or continuously in the space to be monitored is mixed with the sound signal and received. want to do
  • An embodiment of a noise avoidance method of a space monitoring apparatus includes a sound signal emitting step of emitting a sound signal to a target space; a sound signal reception step of receiving a sound signal of the target space; A noise evaluation step of determining a noise section of the received acoustic signal; and a context determination section extraction step of extracting a section excluding the noise section from the received sound signal as a context determination section.
  • an acoustic signal corresponding to a frequency of a specific section may be selectively received using an appropriate frequency filter, or acoustic signals having different frequency bands may be discriminated and received.
  • the received acoustic signal is divided into a plurality of previously set determination sections to evaluate noise, and in the situation determination section extraction step, there is no noise or relatively little noise among the plurality of determination sections. It is possible to extract a section determined as a situation determination section.
  • noise of the received acoustic signal may be evaluated by comparing the received acoustic signal with a specific reference signal.
  • noise may be evaluated by comparing the envelope of the received acoustic signal with the envelope of the reference signal.
  • the received acoustic signal received on the time domain is converted into a spectrum on the frequency domain through Fourier transform or fast Fourier transform, and noise may be evaluated based on the spectrum of the received acoustic signal.
  • noise of the received sound signal may be evaluated by determining reception strength of frequency components other than the frequency of the emitted sound signal among the received sound signals.
  • the sound signal emitting step may periodically emit a sound signal
  • the sound signal receiving step may include an active time period in which the sound signal is emitted and an idle time period in which the sound signal is not emitted.
  • a sound signal of the target space is received in a section
  • the noise evaluation step may evaluate the noise of the received sound signal of the activation time section based on the received sound signal received in the idle time section before and after the activation time section.
  • the spatial situation of the target space may be determined using the sound signal received in the extracted situation determination section.
  • all of the sound signals received in the extracted situation determination section may be used, or some of them may be used.
  • a new context determination section may be created by combining a plurality of extracted context determination sections, and the spatial situation of the target space may be determined using a sound signal of the newly created context determination section.
  • the accuracy and reliability of the space monitoring device can be further improved.
  • FIG. 1 shows a configuration diagram of an embodiment of a space monitoring device to which the present invention is applied.
  • FIG. 2 shows a configuration diagram of an embodiment of a noise avoidance unit in a space monitoring device to which the present invention is applied.
  • FIG. 3 shows a flowchart of an embodiment of a method for monitoring a target space through noise avoidance of a space monitoring apparatus according to the present invention.
  • Figure 4 shows a flow chart of one embodiment of the process of avoiding noise-containing acoustic signals in the present invention.
  • 5 to 9 show an example of dividing a complex sound received acoustic signal into a plurality of judgment sections in the noise avoidance method according to the present invention.
  • 10 to 12 show an example of dividing a received acoustic signal of a single sound whose frequency changes with time in a noise avoidance method according to the present invention into a plurality of judgment intervals.
  • FIG 13 and 14 show examples of reference signals in the noise avoidance method according to the present invention.
  • 15 to 17 show an example of avoiding noise for a received acoustic signal having continuous noise in the noise avoiding method according to the present invention.
  • 21 to 23 show an example of avoiding noise by dividing a received sound signal having an activation time section and an idle time section in the noise avoidance method according to the present invention.
  • 24 to 26 show an example of generating a situation judgment interval by synthesizing a plurality of judgment intervals extracted through noise evaluation in the noise avoidance method according to the present invention.
  • the present invention proposes a method for monitoring a target space of a space monitoring apparatus capable of accurately grasping a spatial situation by avoiding noise in a target space to be monitored.
  • a space monitoring apparatus to which the present invention is applied may emit an acoustic signal to a space to be monitored and receive an acoustic signal of the space to be monitored, and determine a spatial situation based on a measured frequency response of the space.
  • the frequency response of space referred to in the present invention can be explained as follows.
  • an acoustic signal is emitted as an input signal, and then an acoustic signal is received as an output signal. It can be defined as 'frequency response'.
  • the frequency response of such a space may be graphically displayed with frequency as the horizontal axis and the sound pressure of the received sound as the vertical axis, and a phase component may be displayed on the vertical axis instead of the sound pressure component.
  • the physical situation of the space can be inferred using the frequency response of the space, and furthermore, the change in the physical characteristics of the space can be grasped using the changing pattern of the frequency response of the space. can It is possible to determine the spatial situation occurring in the target space by grasping the change in the physical characteristics of the space.
  • the space monitoring device to which the present invention is applied can determine the spatial situation based on the frequency response of the space described above.
  • the space monitoring device detects noise in the space to be monitored. Reliability may deteriorate.
  • acoustic signals emitted from other space monitoring devices may act as noise to a specific space monitoring device. In this way, a plurality of space sensing devices arranged to closely monitor a space to be monitored may cause deterioration in monitoring performance.
  • the present invention intends to further increase the accuracy and reliability of the space monitoring device by suggesting a method for grasping the spatial situation of the space to be monitored by avoiding noise in the space to be monitored.
  • FIG. 1 shows a configuration diagram of an embodiment of a space monitoring device to which the present invention is applied.
  • the space monitoring device 100 to which the present invention is applied includes a sound signal emitting unit 110, a sound signal receiving unit 130, a sound signal processing unit 150, a situation determination unit 170, a noise avoiding unit 200, and the like. can include
  • the sound signal emitter 110 may include a speaker 111 and the like to emit a sound signal to a target space.
  • the sound signal emitter 110 may emit a single sound signal whose frequency changes with time, a compound sound signal having a plurality of frequency components, or a plurality of sound signals whose frequency changes with time.
  • An acoustic signal of a compound sound having a frequency component may be emitted, or an acoustic signal in which a single sound and a compound sound are alternated may be emitted.
  • the sound signal emitter 110 may emit sound signals through one speaker or through a plurality of speakers. When sound signals are emitted through a plurality of speakers, the same sound signal or different sound signals may be emitted.
  • the sound signal receiving unit 130 may receive a sound signal on the target space by including a microphone 131 or the like.
  • the sound signal receiving unit 130 may receive sound signals through one microphone or through a plurality of microphones.
  • the sound signal receiver 130 may be disposed at the same location as the sound signal emitter 110 as a single device or may be disposed at a different location apart from the sound signal emitter 110 .
  • the sound signal processor 150 may provide the sound signal to be emitted to the target space to the sound signal emitter 110 . Also, the sound signal processor 150 may measure a frequency response of a space based on the sound signal received by the sound signal receiver 130 . As an example, the sound signal processor 150 may measure a frequency response of a space by transforming the received sound signal into a frequency domain through a Fourier transform (FT) or fast Fourier transform (FFT).
  • FT Fourier transform
  • FFT fast Fourier transform
  • the context determination unit 170 may determine the context of the target space based on the frequency response of the space.
  • the received acoustic signal is also changed accordingly, and the frequency response of the space measured based on the received acoustic signal is also changed. Therefore, by analyzing the pattern in which the frequency response of the space changes over time, it is possible to grasp what kind of situation changes have occurred in the target space.
  • the situation determination unit 170 may determine a situation change in the space to be monitored by determining whether the frequency response of the space has changed, the degree of change, and the change pattern.
  • the noise avoidance unit 200 may receive the received sound signal from the sound signal receiver 130, determine a noise section, and extract a noise-free section or a relatively low-noise section from the received sound signal as a situation determination section.
  • the noise avoidance unit 200 may determine a noise section in the received acoustic signal by comparing the received acoustic signal with a specific reference signal.
  • the reference signal may be set to, for example, a sound signal received in a noise-free state.
  • the noise avoidance unit 200 may provide the sound signal processing unit 150 with a situation determination section extracted by avoiding noise in the received sound signal.
  • noise-free sections or relatively noise-less sections are extracted from the received acoustic signal through the noise avoidance unit 200 and the spatial situation of the target space is determined based on the extracted sections, so that the accuracy and reliability of the space monitoring device is improved. can be improved
  • FIG. 2 shows a configuration diagram of an embodiment of the noise avoidance unit of the space monitoring device to which the present invention is applied.
  • the noise avoidance unit 200 may include a sound signal pre-processing unit 210, a noise evaluation unit 230, a situation determination section extraction unit 250, and the like.
  • the sound signal preprocessor 210 may receive the received sound signal from the sound signal receiver 130 and process the received sound signal to determine a noise section.
  • the sound signal pre-processing unit 210 may divide the received sound signal into a plurality of determination sections in order to determine a noise section in the received sound signal.
  • the sound signal pre-processing unit 210 may divide the received sound signal into a plurality of determination sections based on the period of the received sound signal. Alternatively, the sound signal pre-processing unit 210 may divide the received sound signal into a plurality of determination sections based on a preset time unit.
  • the sound signal emitter 110 periodically emits a sound signal and the sound signal receiver 130 has an active time period in which the sound signal is emitted and an idle time period in which the sound signal is not emitted.
  • the sound signal pre-processing unit 210 may divide a plurality of judgment sections by dividing an active time section in which the sound signal is emitted and an idle time section in which the sound signal is not emitted. there is.
  • the sound signal pre-processing unit 210 divides and divides the received sound signal received in the time domain into a plurality of decision sections, and transforms each decision section into a spectrum in the frequency domain through Fourier transform or fast Fourier transform. can do.
  • the noise evaluator 230 may evaluate the noise level of the received sound signal.
  • the noise evaluator 230 may evaluate the noise level of an arbitrary section while scanning the entire received sound signal, or the sound signal pre-processor 210 may evaluate the noise level for a plurality of judgment sections obtained by dividing the received sound signal.
  • the noise evaluator 230 may evaluate the noise of the received acoustic signal based on the reference signal for each of a plurality of determination intervals.
  • the reference signal may be set to a sound signal received by the sound signal receiver 130 after the sound signal emitter 110 emits a sound signal in a noise-free state, and by comparing the received sound signal with the reference signal A section in which noise is included in the received acoustic signal may be evaluated.
  • noise may be evaluated through envelope analysis of the received acoustic signal. For example, noise may be evaluated by detecting an envelope for each of a plurality of determination sections and comparing the shape and size of the detected envelope with the envelope of the reference signal.
  • a frequency component other than the frequency component of the emitted acoustic signal appears as a sound pressure of a certain level or higher on the spectrum of the received acoustic signal, it can be evaluated that noise is present.
  • the noise can be evaluated by comparing the reference spectrum obtained by converting the reference signal in the frequency domain with the spectrum of the received acoustic signal.
  • the noise may be evaluated by measuring reception strength of frequency components other than the frequency of the emitted sound signal using a frequency filter. For example, in a situation where there is no noise at all, sound should not be received in a frequency domain other than the frequency band of the emitted sound signal. If so, it can be regarded as noise.
  • the noise when noise of a frequency component different from the frequency of the emitted acoustic signal is measured, the noise includes noise of the same frequency component as the frequency of the emitted acoustic signal, or even if not, We start with the assumption that there is a high probability of causing an error in the process of grasping the situation.
  • an appropriate frequency filter is used to separate and receive the emitted frequency and other frequencies, and receive the separated latter frequency component sound.
  • a sound signal received in the time domain may be converted into a frequency domain signal through Fourier transform or fast Fourier transform, and then reception strength of a frequency other than the emission frequency may be determined.
  • the noise evaluator 230 evaluates noise
  • the noise evaluator 230 determines the specific activation time period. Noise for a previous and subsequent idle time interval may be evaluated, and based on this, noise for a specific activation time interval may be evaluated. For example, if noise is evaluated by calculating a noise level for a idle time section before or after a specific activation time section, and the idle time section is evaluated as a noise section, the specific activation time section may be determined as a noise section.
  • the noise evaluation process has been described based on the case where the noise evaluation step starts only after the sound signal reception step is completed.
  • the noise evaluation step does not necessarily have to be started after the acoustic signal receiving step is completed.
  • the noise evaluation step of that section should begin.
  • the step of comparing the envelope begins after the reception of the acoustic signal in the specific section is completed.
  • the step of receiving a sound signal of a specific section starts at t1 and ends at t2
  • the step of evaluating the noise of the specific section starts at t3 and ends at t4.
  • the noise evaluation completion time t4 of the specific section must be later than the acoustic signal reception completion time t2 of the specific section.
  • the noise evaluation start time t3 of the specific section does not have to be later than the time t2 when the reception of the sound signal is completed. Rather, t3 is an earlier time than t2, and it may be more preferable to be the time right after t1.
  • the acoustic signal receiving step and the noise evaluation step may substantially overlap in time. That is, it is natural that the step of receiving the sound signal logically precedes the step of evaluating the noise, but physically, the step of receiving the sound signal and the step of evaluating the noise may be performed almost simultaneously in time. This is logically equivalent to the fact that the sound signal emitting step precedes the sound signal receiving step, but physically the sound signal emitting step and the sound signal receiving step overlap in time.
  • the situation determination section extractor 250 may extract a noise-free section or a relatively noise-less section from the received sound signal as a situation determination section based on the noise evaluation result of the noise evaluator 230. .
  • the situation determination interval extractor 250 may extract a determination interval having a noise level less than or equal to a reference value as a situation determination interval. there is. Alternatively, the situation determination interval extractor 250 may extract a determination interval having a relatively lowest noise level as a situation determination interval.
  • the situation judgment section extracted in this way is qualified to be used as data for determining the situation of the target space. Therefore, in the next step of the situation determination section extraction step, when the spatial situation for the target space is determined using the sound signal received in the extracted situation determination section, all of the acoustic signals received in the extracted situation determination section may be used. may be used, or only some of them may be used.
  • the situation determination unit 170 can determine the change in the situation of the space to be monitored based on the situation determination period obtained by excluding the noise period from the received sound signal through the noise avoidance unit 200, the accuracy and Reliability can be improved.
  • the present invention a method for monitoring a target space by avoiding a noise section in the space monitoring apparatus 100 described above is proposed.
  • the present invention described above is applied to the method for monitoring a target space through noise avoidance according to the present invention Let's take a look at with reference to the embodiment of the space monitoring device 100 together.
  • FIG. 3 shows a flowchart of an embodiment of a method for monitoring a target space through noise avoidance of a space monitoring apparatus according to the present invention.
  • the space monitoring device 100 may emit a sound signal to the space to be monitored (S110).
  • the space monitoring device 100 may emit an acoustic signal of a single sound whose frequency changes with time to the space to be monitored, or may emit an acoustic signal of a complex sound having a plurality of frequency components, and the frequency changes with time.
  • An acoustic signal of a complex sound having a plurality of changing frequency components may be emitted, or an acoustic signal of alternating single sounds and complex sounds may be emitted.
  • the space monitoring device 100 may receive a sound signal of the space to be monitored (S130).
  • the noise avoidance unit 200 of the space monitoring device 100 evaluates the noise of the received acoustic signal (S150) and extracts a noise-free section or a relatively low-noise section from the received acoustic signal as a situation determination section (170).
  • the space monitoring apparatus 100 may determine the situation of the space to be monitored based on the situation determination section with less noise (S190).
  • the situation determination unit 170 of the space monitoring apparatus 100 may measure a frequency response of the space based on the sound signal in the situation determination section to determine a change in the situation of the space to be monitored.
  • FIGS. 3 and 4 illustrate an embodiment in which the noise evaluation step of the section is started only after the sound signal receiving step of the specific section is completed.
  • the sound signal preprocessor 210 of the noise avoidance unit 200 may receive and process the received sound signal from the sound signal receiver 130 .
  • the sound signal pre-processing unit 210 may classify the received sound signal by section and divide it into a plurality of determination sections (S151).
  • the received sound signal in the noise avoidance method according to the present invention shown in FIGS. 5 to 12 Let's look at with reference to an example of dividing into a plurality of judgment intervals.
  • the received sound signal 310 as shown in FIG. 5 is received by emitting a sound signal of a complex sound composed of 17 frequencies with a center frequency of 4 KHz and a frequency interval of 4 Hz.
  • the sound signal pre-processing unit 210 may divide each section into a plurality of determination sections based on the period of the received sound signal. For example, as shown in FIG. 6, four sections S11 (311), S12 (312), S13 (313), and S14 (314) are determined by dividing them into 0.25 second time units based on the period of the received sound signal 310. It can be divided into segments. The division of the received acoustic signal can be appropriately set to a multiple of the period.
  • the sound signal pre-processing unit 210 may divide each section of the received sound signal into a plurality of determination sections by a predetermined time unit. For example, as shown in FIG. 7, the received sound signal 310 may be divided into 0.5 second time units, and two sections S21 (311, 312) and S22 (313, 314) may be divided into determination sections.
  • the sound signal pre-processing unit 210 may divide a plurality of judgment sections by dividing them into sections in which a part of the sound signal overlaps. For example, as shown in FIG. 8, the received sound signal 310 is divided into 0.5 second time units, but some sections overlap, so that three sections S23 (311, 312), S24 (312, 313), S25 (313, 314) ) may be divided into judgment intervals. In addition, as shown in FIG. 9, the received sound signal 310 is divided into 0.75 second time units, but some of the sections are overlapped, so that two sections S26 (311, 312, 313) and S27 (312, 313, 314) are used as the judgment section. can also be split.
  • the total length of the received acoustic signal and the length of the individual judgment section may be appropriately set as needed.
  • the total length of the received acoustic signal may be 5 minutes or 24 hours.
  • the sound signal pre-processing unit 210 may classify and divide the received acoustic signal into a plurality of decision sections, and transform each decision section into a spectrum in the frequency domain through Fourier transform or fast Fourier transform.
  • the sound signal pre-processing unit 210 divides three sections S31 (411), S32 (412), and S33 (413) into determination sections by dividing them into 0.5 second time units based on the period of the sound signal.
  • the sound signal pre-processing unit 210 divides six sections S34 (414), S35 (415), S36 (416), and S37 (417) by 0.25 second time units regardless of the period of the sound signal. , S38 (418), and S39 (419) can be divided into judgment intervals.
  • the noise evaluator 230 of the noise avoidance unit 200 In a state in which the sound signal pre-processing unit 210 processes the received acoustic signal as necessary and divides it into a plurality of judgment intervals, the noise evaluator 230 of the noise avoidance unit 200 generates noise for each judgment interval of the received acoustic signal.
  • the noise level may be calculated by evaluating the degree (S153).
  • the noise evaluator 230 may calculate a noise level by comparing the determination period with the reference signal.
  • the reference signal may be set based on the received sound signal received by the sound signal receiver 130 from the sound signal emitted by the sound signal emitter 110 in the absence of noise.
  • FIG. 13 shows an example of a reference signal in the noise avoidance method according to the present invention.
  • the noise evaluator 230 may compare the reference signal 320 with each determination section to evaluate noise for each determination section.
  • the envelope of the reference signal as shown in FIG. 14 may be extracted and set as the reference envelope 325.
  • the noise evaluator 230 may compare the reference envelope 325 with the envelope of each determination section to evaluate noise for each determination section.
  • the noise evaluator 230 may compare each determination interval with the reference signal 320 or compare the envelope for each determination interval with the reference envelope 325 and calculate the noise level according to the degree of difference. .
  • the noise evaluator 230 determines that the frequency components other than the frequency components of the sound signal emitted on the spectrum of the received sound signal are constant.
  • the noise level may be calculated by determining whether the sound pressure is higher than the level or not, or the noise level may be calculated by comparing the spectrum of the received sound signal with the reference spectrum obtained by converting the reference signal in the frequency domain.
  • the situation determination interval extractor 250 of the noise avoidance unit 200 selects a noise-free interval or a relatively noise-less interval as a situation determination interval in the received sound signal based on the evaluation result of the noise evaluation unit 230. (S155) can be extracted (S170).
  • 15 and 16 show an example of avoiding noise for a received acoustic signal having continuous noise in the noise avoiding method according to the present invention.
  • the sound signal pre-processing unit 210 converts the received sound signal 330 received for 1 second into a plurality of judgment sections S41 (331), S42 (332), S43 (333) based on a period of 0.25 seconds, It can be divided into S44 (334).
  • the noise evaluation unit 230 evaluates the noise based on the reference signal for each of the determination intervals S41 (331), S42 (332), S43 (333), and S44 (334), the determination interval S41 as shown in FIG. 16 It can be evaluated that continuous noise 335 exists in 331, and continuous noise 336 exists throughout the determination period S43 333 and S44 334.
  • the noise evaluation for each of the determination intervals S41 (331), S42 (332), S43 (333), and S44 (334) is received in a frequency domain other than the frequency band of the emitted sound signal using a frequency filter. By measuring the intensity of the sound, it is possible to evaluate the noise for each judgment section S41 (331), S42 (332), S43 (333), and S44 (334).
  • each determination interval S41 (331), S42 (332) by comparing the reference envelope obtained by extracting the envelope for the reference signal and the envelope of each determination interval S41 (331), S42 (332), S43 (333), and S44 (334) , S43 (333), and S44 (334) noise can be evaluated.
  • the received acoustic signal is expressed as a spectrum in the frequency domain by performing a Fourier transform or a fast Fourier transform, and the frequency components other than the frequency components of the sound signal emitted on the spectrum of each determination period Sound pressure of a certain level or more Noise may be evaluated by determining whether it appears as .
  • the noise may be evaluated by comparing the reference spectrum obtained by converting the reference signal in the frequency domain with the spectrum of each determination section.
  • noise may be evaluated by selectively overlapping and applying the plurality of evaluation methods described above to each determination section.
  • the situation determination section extractor 250 may select the determination section S42 (332) having no noise or relatively least noise as the situation determination section.
  • the situation determination section extractor 250 may extract S42 (332) from the received acoustic signal 330 as a situation determination section.
  • FIGS. 18 to 20 show an example of avoiding noise with respect to a received acoustic signal having temporary noise in the noise avoiding method according to the present invention.
  • the sound signal pre-processing unit 210 converts the received sound signal 340 received for 1 second into a plurality of judgment sections S51 (341), S52 (342), S53 (343) based on a period of 0.25 seconds, It can be divided into S54 (344).
  • the noise evaluator 230 evaluates the noise for each of the judgment intervals S51 (341), S52 (342), S53 (343), and S54 (344), the judgment interval S51 (341) is temporary as shown in FIG. Noise 345 exists, and it can be evaluated that temporary noise 346 exists in the judgment section S54 343 .
  • the method described above with reference to FIG. 8 may be applied to the noise evaluation for each of the determination intervals S51 (341), S52 (342), S53 (343), and S54 (344).
  • the situation determination section extractor 250 may select determination sections S52 (342) and S53 (343) having no noise or relatively least noise as the situation determination section. .
  • the situation determination section extractor 250 may extract one or both of S52 (342) and S53 (343) from the received acoustic signal 330 as a situation determination section.
  • FIGS. 21 to 23 show an example of avoiding noise by dividing a received sound signal having an activation time section and an idle time section in the noise avoidance method according to the present invention.
  • the sound signal preprocessor 210 considers the period of the received sound signal and activates the time period S62 ( 352), S64 (354), and S66 (356) and idle time intervals S61 (351), S63 (353), and S65 (355) may be divided into judgment intervals.
  • the noise evaluator 230 may extract the idle time intervals, i.e., judgment intervals S61 (351), S63 (353), and S65 (355), and evaluate the noise for them.
  • the sound signal emitting unit 110 is a resting time period in which the sound signal is not emitted, the sound signal is not received in this period, or even if the sound signal is received, the size is sufficiently small, or the frequency of the sound signal is If the degree of influencing the spatial situation determination due to the difference in frequency of the emitted acoustic signal is smaller than the standard, it may be evaluated that there is no or small noise as a whole.
  • the context determination interval extractor 250 may extract a context determination interval based on the evaluation result of the noise evaluation unit 230.
  • the activation time interval is evaluated as a noise interval.
  • a time interval can be evaluated as a noise interval. That is, when noise exists in the idle time section before or after the activation time section, it is highly likely that noise exists in the corresponding activation time section, so the corresponding activation time section can be regarded as a noise section.
  • the idle time intervals S61 (351) and S63 (353) can be evaluated as having no noise or noise below a certain level, but the idle time interval S65 (355) has noise (357). can be evaluated as present.
  • the previous activation time interval S64 (354) of the idle time interval S65 (355) can be regarded as a noise interval, and also the subsequent activation of the idle time interval S65 (355).
  • Time interval S66 356 may also be considered a noise time interval.
  • the activation time interval S62 (352) can be evaluated as having no noise or noise below a certain level in both the previous idle time interval S61 (351) and the subsequent idle time interval S63 (353). (250) may select the activation time interval S62 (352) as the situation determination interval.
  • the situation determination section extractor 250 may extract S62 (352) from the received acoustic signal 350 as a situation determination section.
  • FIGS. 15 to 23 The embodiments examined through FIGS. 15 to 23 have been described for the case where the emitted sound signal is a complex sound, and the sound signal emitter 110 emits a sound signal of a single sound whose frequency changes with time. Even in this case, the noise section can be evaluated by applying the noise evaluation method of FIGS. 15 to 23 above.
  • Noise can be evaluated by introducing the noise evaluation method described above.
  • a judgment period having no or relatively little noise may be extracted as a situation judgment period.
  • a plurality of decision intervals having no or relatively little noise are extracted through noise evaluation for a plurality of judgment intervals, and a situation judgment interval synthesized into a new received sound signal can be generated by combining the extracted plurality of determination intervals. In relation to this, it will be described with reference to FIGS. 24 to 26 .
  • the received acoustic signal 420 is passed through a plurality of judgment intervals S71 (421) to S76 (426) as described above. It can be separated and divided.
  • condition judgment intervals S77 (431, 432) can be generated as the received sound signal 430 as shown in FIG. 26.
  • a noise-avoiding sound signal can be obtained by extracting and synthesizing a decision section having no noise or relatively little noise to generate a new situation decision section.
  • the total length of the received acoustic signal, the interval of individual judgment intervals, and the number of situation determination intervals extracted from all received acoustic signals may be adjusted as necessary.
  • the received sound signal may be scanned as a whole to extract a noise-free interval at an arbitrary interval, and may be set as a situation determination interval.
  • the spatial situation of the space to be monitored can be determined by avoiding the noise section in the received acoustic signal, the accuracy and reliability of the space monitoring device can be further increased.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

본 발명은 음향 신호를 이용한 공간 감시 장치의 노이즈 회피 방법으로서, 음향 신호를 이용하여 공간 상황을 감시하는 공간 감시 장치에서 감시 대상 공간 상의 노이즈를 회피하여 공간 상황을 정확하게 파악할 수 있는 기술을 개시한다.

Description

음향 신호를 이용한 공간 감시 장치의 노이즈 회피 방법
본 발명은 음향 신호를 이용하여 공간 상황을 감시하는 공간 감시 장치에서, 감시 대상 공간 상의 노이즈를 회피하면서 공간 상황을 정확하게 파악할 수 있는 기술에 대한 것이다.
실내 공간 내의 외부인 침입, 화재 발생, 가스 누출 등을 감지하기 위해 CCTV, IR 카메라, 진동 감지 센서, 가스 감지 센서 등이 적용되고 있다. 종래기술들의 경우 침입, 화재, 가스 등 각각의 상황별로 그에 따른 개별적인 센싱 장치가 요구되기에 다양한 실내 공간 상황을 감시하기 위해서는 그만큼 많은 센싱 장치가 요구되며, 그에 따라 설비 구축에 많은 비용이 소모되고 전력 소모량도 상당한 문제가 있다.
상기의 제반 문제 해결을 위해 최근에는 음향 신호를 방출하고, 수신된 음향 신호의 변화를 기초로 실내 공간 상황을 파악하는 기술이 제시된 바 있다.
음향 신호를 기초로 공간 상황을 파악하는 기술의 하나로서 음장 센서를 들 수 있는데, 음장 센서(SOFIS)는 여러 주파수의 소리(음향 신호)를 방출하고 일정 공간에 형성된 음장(sound field) 변화를 분석하여 일정 공간 내에서 사물의 움직임, 공기의 흐름, 온도의 변화 등을 측정하는 장비이다.
이러한 음장 센서를 이용하여 공간 상황을 파악함에 있어서, 공간에서 일시적 또는 지속적으로 발생되는 노이즈가 음향 신호에 섞여서 수신되는 경우, 공간 상황 파악에 오류가 발생되는 문제가 있다.
가령, 노이즈로 인해 실제 발생되지 않은 특정 상황이 해당 공간에서 발생된 것으로 잘못 판단하는 오류가 유발되거나 또는 긴급한 상황이 발생된 상태에서도 노이즈로 인해 이를 인식하지 못하는 오류가 유발될 수 있다.
이러한 인식 오류는 음장 센서의 공간 감시 동작에 대한 신뢰성을 완전히 실추시킬 수 있다. 따라서 보다 정확하고 신뢰도가 높은 공간 상황 감지를 위해서는 노이즈를 처리할 수 있는 방안이 필요하다.
본 발명은 상술한 바와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 것으로, 감시 대상 공간에서 일시적 또는 지속적으로 발생되는 노이즈가 음향 신호에 섞여서 수신되는 경우, 공간 상황 파악에 오류가 발생되는 문제를 해결하고자 한다.
특히, 노이즈로 인해 실제 발생되지 않은 특정 상황이 해당 공간에서 발생된 것으로 잘못 판단하는 오류가 유발되는 문제를 해소하고, 긴급한 상황이 발생된 상태에서 노이즈로 인해 이를 인식하지 못하는 오류가 유발되는 문제를 해소하고자 한다.
본 발명의 목적은 전술한 바에 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있다.
본 발명에 따른 공간 감시 장치의 노이즈 회피방법의 일실시예는, 대상 공간으로 음향 신호를 방출하는 음향 신호 방출 단계; 상기 대상 공간의 음향 신호를 수신하는 음향 신호 수신 단계; 수신 음향 신호의 노이즈 구간을 판단하는 노이즈 평가 단계; 및 상기 수신 음향 신호에서 상기 노이즈 구간을 제외한 구간을 상황 판단 구간으로 추출하는 상황 판단 구간 추출 단계를 포함할 수 있다. 이때, 음향 신호 수신 단계에서, 적절한 주파수 필터를 사용하여 특정 구간의 주파수에 해당되는 음향 신호를 선택적으로 수신할 수도 있고, 또는 주파수 대역을 달리 하는 음향 신호들을 구별하여 수신할 수도 있다.
일례로서, 상기 노이즈 평가 단계는, 상기 수신 음향 신호를 사전에 설정된 복수의 판단 구간별로 구분하여 노이즈를 평가하며, 상기 상황 판단 구간 추출 단계는, 복수의 판단 구간 중 노이즈가 없거나 상대적으로 노이즈가 적다고 판단되는 구간을 상황 판단 구간으로 추출할 수 있다.
일례로서 상기 노이즈 평가 단계는, 수신 음향 신호를 특정한 기준 신호와의 대비를 통하여 상기 수신 음향 신호의 노이즈를 평가할 수 있다.
이때 수신된 음향 신호를 기준 신호와 비교하는 방법은, 상기 수신 음향 신호에 대한 포락선과 상기 기준 신호의 포락선을 대비하여 노이즈를 평가할 수 있다. 또는 시간 도메인 상에서 수신되는 수신 음향 신호를 푸리에 변환 또는 고속 푸리에 변환을 통하여 주파수 도메인상의 스펙트럼으로 변환한 다음에, 수신 음향 신호의 스펙트럼을 기초로 노이즈를 평가할 수도 있다.
또 다른 실시 예로서, 상기 노이즈 평가 단계는, 수신된 음향 신호 중에서, 방출되는 음향 신호 주파수 이외의 다른 주파수 성분의 수신 강도를 파악함으로써 상기 수신 음향 신호의 노이즈를 평가할 수 있다.
또 다른 실시예로서, 상기 음향 신호 방출 단계는, 주기적으로 음향 신호를 방출하며, 상기 음향 신호 수신 단계는, 음향 신호가 방출되는 활성화 시간 구간과 음향 신호가 방출되지 않는 휴지 시간 구간을 포함하는 시간 구간에서 상기 대상 공간의 음향 신호를 수신하며, 상기 노이즈 평가 단계는, 활성화 시간 구간의 전후 휴지 시간 구간에서 수신된 수신 음향 신호를 기초로 상기 활성화 시간 구간의 수신 음향 신호에 대한 노이즈를 평가할 수 있다.
상황 판단 구간 추출 단계의 다음 단계로, 추출된 상황 판단 구간에서 수신된 음향 신호를 이용하여 상기 대상 공간에 대한 공간 상황을 판단할 수 있다. 이때 추출된 상황 판단 구간에서 수신된 음향 신호 전부를 이용할 수도 있고, 그 중 일부를 이용할 수도 있다.
한걸음 더 나아가서 추출된 복수의 상황 판단 구간을 조합하여 새롭게 상황 판단 구간을 만들고, 새로 만들어진 상황 판단 구간의 음향 신호를 이용하여 상기 대상 공간에 대한 공간 상황을 판단할 수도 있다.
이와 같은 본 발명에 의하면, 수신 음향 신호에서 노이즈 구간을 회피하여 감시 대상 공간의 공간 상황을 판단할 수 있으므로 공간 감시 장치의 정확도와 신뢰성을 더욱 높일 수 있다.
나아가서 수신 음향 신호에 대하여 포락선 분석, 대역 필터링 등의 다양한 노이즈 평가 방식을 선택적으로 적용하거나 복합적으로 적용하여 보다 정밀하게 수신 음향 신호 상에서 노이즈 구간을 회피할 수 있다.
본 발명의 효과는 위에서 언급한 것들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명이 적용되는 공간 감시 장치의 일실시예에 대한 구성도를 도시한다.
도 2는 본 발명이 적용되는 공간 감시 장치에서 노이즈 회피부에 대한 일실시예의 구성도를 도시한다.
도 3은 본 발명에 따른 공간 감시 장치의 노이즈 회피를 통한 대상 공간 감시 방법에 대한 일실시예의 흐름도를 도시한다.
도 4는 본 발명에서 노이즈가 포함된 음향 신호를 회피하는 과정에 대한 일실시예의 흐름도를 도시한다.
도 5 내지 도 9는 본 발명에 따른 노이즈 회피 방법에서 복합음 수신 음향 신호를 복수의 판단 구간으로 분할하는 일례를 도시한다.
도 10 내지 도 12는 본 발명에 따른 노이즈 회피 방법에서 시간에 따라 주파수가 변하는 단일음의 수신 음향 신호를 복수의 판단 구간으로 분할하는 일례를 도시한다.
도 13 및 도 14는 본 발명에 따른 노이즈 회피 방법에서 기준 신호의 일례를 도시한다.
도 15 내지 도 17은 본 발명에 따른 노이즈 회피 방법에서 지속적인 노이즈가 존재하는 수신 음향 신호에 대하여 노이즈를 회피하는 일례를 도시한다.
도 18 내지 도 20은 본 발명에 따른 노이즈 회피 방법에서 일시적 노이즈가 존재하는 수신 음향 신호에 대하여 노이즈를 회피하는 일례를 도시한다.
도 21 내지 도 23은 본 발명에 따른 노이즈 회피 방법에서 활성화 시간 구간과 휴지 시간 구간을 갖는 수신 음향 신호를 분할하여 노이즈를 회피하는 일례를 도시한다.
도 24 내지 도 26은 본 발명에 따른 노이즈 회피 방법에서 노이즈 평가를 통해 추출한 복수의 판단 구간을 합성하여 상황 판단 구간을 생성하는 일례를 도시한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세하게 설명하지만, 본 발명이 실시예들에 의해 한정되거나 제한되는 것은 아니다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 설명하기 위하여 이하에서는 본 발명의 바람직한 실시예를 예시하고 이를 참조하여 살펴본다.
먼저, 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 또한 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명을 설명함에 있어서, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명은 감시 대상 공간 상의 노이즈를 회피하여 공간 상황을 정확하게 파악할 수 있는 공간 감시 장치의 대상 공간 감시 방법을 제시한다.
본 발명이 적용되는 공간 감시 장치는 감시 대상 공간으로 음향 신호를 방출하고 상기 감시 대상 공간의 음향 신호를 수신하여 측정된 공간의 주파수 응답을 기초로 공간 상황을 파악할 수 있다.
본 발명에서 언급하는 공간의 주파수 응답(frequency response)은 다음과 같이 설명될 수 있다. 대상 공간을 일종의 폐회로로 간주하고, 여기에 입력 신호로서 음향 신호를 방출한 후, 출력 신호로서 음향 신호를 수신하는 경우, 이때 수신 음향 신호의 주파수별 음압 또는 주파수별 위상 등의 요소를 '공간의 주파수 응답'이라고 정의할 수 있다.
이러한 공간의 주파수 응답을 표현하는 일례로서, 주파수를 가로축으로 하고, 수신 음향의 음압을 세로축으로 하여 그래프적으로 표시할 수 있으며, 음압 요소 대신 위상 요소를 세로축에 표시할 수도 있다.
공간의 주파수 응답은 공간의 물리적 특성에 따라서 달라지므로, 공간의 주파수 응답을 이용하여 공간의 물리적 상황을 추론할 수 있고, 나아가서 공간의 주파수 응답이 변화하는 패턴을 이용하여 공간의 물리적 특성 변화를 파악할 수 있다. 이러한 공간의 물리적 특성 변화를 파악함으로써 대상 공간에서 발생되는 공간 상황을 판단할 수 있게 된다.
본 발명이 적용되는 공간 감시 장치는 상기에서 설명한 공간의 주파수 응답을 기초로 공간 상황을 파악할 수 있는데, 공간 감시 장치를 통해 공간 상황을 감시함에 있어서, 감시 대상 공간 상의 노이즈로 인해 공간 감시 장치의 감지 신뢰성은 저하될 수 있다. 특히, 인접 공간 상에 복수의 공간 감시 장치가 배치된 경우에 다른 공간 감시 장치에서 방출되는 음향 신호는 특정 공간 감시 장치에게 노이즈로 작용할 수 있다. 이와 같이 감시 대상 공간을 더욱 촘촘히 감시하기 위해 배치된 복수의 공간 감지 장치가 오히려 감시 성능을 저하시키는 원인이 될 수 있다.
따라서 본 발명에서는 감시 대상 공간 상의 노이즈를 회피하여 감시 대상 공간의 공간 상황을 파악할 수 있는 방안을 제시함으로써 공간 감시 장치의 정확도와 신뢰성을 더욱 높이고자 한다.
도 1은 본 발명이 적용되는 공간 감시 장치의 일실시예에 대한 구성도를 도시한다.
본 발명이 적용되는 공간 감시 장치(100)는, 음향 신호 방출부(110), 음향 신호 수신부(130), 음향 신호 처리부(150), 상황 판단부(170), 노이즈 회피부(200) 등을 포함할 수 있다.
음향 신호 방출부(110)는 스피커(111) 등을 포함하여 대상 공간으로 음향 신호를 방출할 수 있다. 음향 신호 방출부(110)는 시간에 따라 주파수가 변하는 단일음의 음향 신호를 방출할 수도 있고, 복수의 주파수 성분을 갖는 복합음의 음향신호를 방출할 수도 있고, 시간에 따라 주파수가 변화하는 복수의 주파수 성분을 갖는 복합음의 음향신호를 방출할 수도 있고, 단일음과 복합음이 교번하는 음향신호를 방출할 수도 있다.
또한 음향 신호 방출부(110)는 하나의 스피커를 통해 음향 신호를 방출할 수도 있고 복수의 스피커를 통해 음향 신호를 방출할 수도 있다. 복수의 스피커를 통해 음향 신호를 방출하는 경우, 동일한 음향 신호를 방출할 수도 있고 각기 다른 음향 신호를 방출할 수도 있다.
음향 신호 수신부(130)는 마이크로폰(131) 등을 포함하여 대상 공간 상의 음향 신호를 수신할 수 있다. 음향 신호 수신부(130)는 하나의 마이크로폰을 통해 음향 신호를 수신할 수도 있고 복수의 마이크로폰을 통해 음향 신호를 수신할 수도 있다.
음향 신호 수신부(130)는 음향 신호 방출부(110)와 하나의 장치로 동일 위치에 배치될 수도 있고 또는 음향 신호 방출부(110)와는 이격되어 다른 위치에 배치될 수도 있다.
음향 신호 처리부(150)는 대상 공간으로 방출할 음향 신호를 음향 신호 방출부(110)로 제공할 수 있다. 또한 음향 신호 처리부(150)는 음향 신호 수신부(130)가 수신한 음향 신호를 기초로 공간의 주파수 응답을 측정할 수 있다. 일례로서, 음향 신호 처리부(150)는 수신된 음향 신호를 푸리에 변환(FT) 또는 고속 푸리에 변환(FFT)를 통해 주파수 도메인으로 변환하여 공간의 주파수 응답을 측정할 수 있다.
상황 판단부(170)는 공간의 주파수 응답을 기초로 대상 공간의 상황을 판단할 수 있다. 대상 공간에서 물체 이동, 온도 변화, 공기 이동 등 다양한 상황 변화가 발생하면, 이에 따라서 수신되는 음향 신호 역시 변화되고, 수신되는 음향신호를 바탕으로 측정한 공간의 주파수 응답도 변화된다. 그러므로 공간의 주파수 응답이 시간에 따라 변화하는 패턴을 분석하면, 대상 공간에 어떠한 상황 변화가 발생되었는지를 파악할 수 있다. 상황 판단부(170)는 공간의 주파수 응답의 변화 여부, 변화의 정도, 변화 패턴 등을 파악하여 감시 대상 공간 상의 상황 변화를 판단할 수 있다.
노이즈 회피부(200)는 음향 신호 수신부(130)로부터 수신 음향 신호를 전달받아 노이즈 구간을 판단하고 수신 음향 신호에서 노이즈가 없는 구간 또는 상대적으로 노이즈가 적은 구간을 상황 판단 구간으로 추출할 수 있다.
예를 들어, 노이즈 회피부(200)는 수신 음향 신호를 특정한 기준 신호와 대비하여 수신 음향 신호에서 노이즈 구간을 판단할 수 있다. 여기서 기준 신호는, 예를 들어서, 노이즈가 없는 상태에서 수신되는 음향 신호로 설정될 수 있다.
그리고 노이즈 회피부(200)는 수신 음향 신호에서 노이즈를 회피하여 추출한 상황 판단 구간을 음향 신호 처리부(150)로 제공할 수 있다.
이와 같이 본 발명에서는 노이즈 회피부(200)를 통해 수신 음향 신호에서 노이즈가 없는 구간 또는 상대적으로 노이즈가 적은 구간을 추출하여 이를 기초로 대상 공간의 공간 상황을 판단하므로 공간 감시 장치의 정확도와 신뢰성이 향상될 수 있다.
노이즈 회피부(200)와 관련하여 도 2는 본 발명이 적용되는 공간 감시 장치의 노이즈 회피부에 대한 일실시예의 구성도를 도시한다.
노이즈 회피부(200)는 음향 신호 전처리부(210), 노이즈 평가부(230), 상황 판단 구간 추출부(250) 등을 포함할 수 있다.
음향 신호 전처리부(210)는 음향 신호 수신부(130)로부터 수신 음향 신호를 전달받고 노이즈 구간 판단을 위해 수신 음향 신호를 가공 처리할 수 있다. 음향 신호 전처리부(210)는 수신 음향 신호에서 노이즈 구간을 판단하기 위해 수신 음향 신호를 복수의 판단 구간으로 분할할 수 있다.
일실시예로서, 음향 신호 전처리부(210)는 수신 음향 신호의 주기를 기초로 수신 음향 신호를 복수의 판단 구간으로 분할할 수 있다. 또는 음향 신호 전처리부(210)는 기설정된 시간 단위를 기초로 수신 음향 신호를 복수의 판단 구간으로 분할할 수 있다.
다른 실시예로서, 음향 신호 방출부(110)가 주기적으로 음향 신호를 방출하고 음향 신호 수신부(130)가 음향 신호가 방출되는 활성화 시간 구간과 음향 신호가 방출되지 않는 휴지 시간 구간을 포함하는 전체 시간 구간에서 감시 대상 공간의 음향 신호를 수신하는 경우, 음향 신호 전처리부(210)는 음향 신호가 방출되는 활성화 시간 구간과 음향 신호가 방출되지 않는 휴지 시간 구간을 구분하여 복수의 판단 구간을 분할할 수 있다.
또 다른 실시예로서, 음향 신호 전처리부(210)는 시간 도메인 상에서 수신되는 수신 음향 신호를 복수의 판단 구간으로 구분하여 분할하고 각 판단 구간을 푸리에 변환 또는 고속 푸리에 변환을 통하여 주파수 도메인상의 스펙트럼으로 변환할 수 있다.
노이즈 평가부(230)는 수신 음향 신호에 대한 노이즈 정도를 평가할 수 있다. 노이즈 평가부(230)는 수신 음향 신호 전체를 스캔하면서 임의 구간의 노이즈 정도를 평가할 수도 있고, 또는 음향 신호 전처리부(210)에서 수신 음향 신호를 분할한 복수의 판단 구간을 대상으로 노이즈 정도를 평가할 수 있다.
노이즈 평가부(230)는, 복수의 판단 구간 각각에 대하여, 기준 신호를 기초로 수신 음향 신호의 노이즈를 평가할 수 있다. 가령, 상기 기준 신호는 노이즈가 없는 상태에서 음향 신호 방출부(110)에서 음향 신호를 방출하고 음향 신호 수신부(130)에서 수신한 음향 신호로 설정될 수 있으며, 수신 음향 신호를 기준 신호와 대비함으로써 수신 음향 신호에 노이즈가 포함된 구간을 평가할 수 있다.
수신 음향 신호를 기준 신호와 대비하는 방법의 하나로, 수신 음향 신호에 대한 포락선 분석(envelope analysis)을 통해 노이즈를 평가할 수 있다. 예를 들어 복수의 판단 구간 각각에 대한 포락선을 검출하고 검출된 포락선의 형태와 크기를 기준 신호의 포락선과 대비하여 노이즈를 평가할 수 있다.
수신 음향 신호를 기준 신호와 대비하는 또 다른 실시 예로서, 복수의 판단 구간 각각에 대하여, 수신 음향 신호를 푸리에 변환 또는 고속 푸리에 변환을 하여 주파수 도메인상에서 스펙트럼으로 변환하고, 수신 음향 신호의 스펙트럼을 기초로 노이즈를 평가할 수도 있다.
가령, 수신 음향 신호의 스펙트럼 상에 방출되는 음향 신호의 주파수 성분 이외의 주파수 성분이 일정 수준 이상의 음압으로 나타나는 경우, 이는 노이즈가 존재하는 것으로 평가할 수 있다. 또는 기준 신호를 주파수 도메인상에서 변환한 기준 스펙트럼과 수신 음향 신호의 스펙트럼을 대비함으로써 노이즈를 평가할 수 있다.
노이즈 평가부(230)가 노이즈를 평가하는 다른 실시 예로서, 주파수 필터를 이용하여, 방출되는 음향 신호 주파수 이외의 다른 주파수 성분의 수신 강도를 측정함으로써 노이즈를 평가할 수 있다. 예를 들어서 노이즈가 전혀 없는 상황에서는, 방출되는 음향신호 주파수 대역 이외의 다른 주파수 영역에서는 음이 수신되지 않아야 되는데, 만약 방출되는 음향신호 주파수 대역 이외의 다른 주파수 영역에서 일정 수준 이상의 강도로 음이 수신되는 경우 이를 노이즈로 간주할 수 있다.
이와 같은 방법은, 방출되는 음향 신호의 주파수와는 다른 주파수 성분의 노이즈가 측정되는 경우에는, 그 노이즈는 방출되는 음향 신호의 주파수와 같은 주파수 성분의 노이즈도 포함되어 있거나, 설령 그렇지 않다고 하더라도, 공간의 상황 파악 과정에서 오류를 초래할 개연성이 높다는 가정에서 출발한다.
이때, 방출되는 음향 신호 주파수 이외의 다른 주파수 성분의 수신 강도를 파악하기 위해서, 적절한 주파수 필터를 사용하여 방출되는 주파수와 그 이외의 주파수를 분리하여 수신하고, 분리된 후자의 주파수 성분 음향의 수신 강도를 측정하는 방법을 사용할 수 있다. 또는 시간 도메인 상에서 수신되는 음향신호를 푸리에 변환 또는 고속 푸리에 변환을 통하여 주파수 도메인 신호로 변환한 다음에, 방출 주파수 이외의 주파수의 수신 강도를 파악할 수도 있다.
노이즈 평가부(230)가 노이즈를 평가하는 또 다른 실시예로서, 음향 신호 방출 여부에 따른 활성화 시간 구간과 휴지 시간 구간으로 판단 구간이 분할된 경우, 노이즈 평가부(230)는 특정 활성화 시간 구간의 이전과 이후의 휴지 시간 구간에 대한 노이즈를 평가하여 이를 기초로 특정 활성화 시간 구간에 대한 노이즈를 평가할 수 있다. 예를 들어 특정 활성화 시간 구간의 이전 휴지 시간 구간 또는 이후 휴지 시간 구간에 대하여 노이즈 레벨을 산출하여 노이즈를 평가하고 상기 휴지 시간 구간이 노이즈 구간으로 평가되는 경우 상기 특정 활성화 시간 구간을 노이즈 구간으로 판단할 수 있다.
위 실시예에서는, 설명의 편의상, 음향신호의 수신 단계가 완료된 다음에 비로소 노이즈 평가 단계가 시작되는 경우를 기준으로 하여 노이즈 평가 과정을 설명하였다. 그러나 반드시 음향신호 수신 단계가 완료된 다음에 노이즈 평가 단계가 시작될 필요는 없다.
예를 들어서 특정 구간의 수신 음향 신호를 고속 푸리에 변환을 하여 주파수 응답을 측정하고, 측정된 주파수 응답을 기준이 되는 주파수 응답과 비교함으로써 특정 구간의 노이즈를 평가하는 경우에는 필연적으로 특정 구간의 음향 신호 수신이 완료된 이후에 그 구간의 노이즈 평가 단계가 시작되어야 한다.
그러나 예를 들어서 특정 구간의 수신 음향 신호의 포락선을 검출하고, 이를 기준 신호의 포락선과 비교하여 노이즈를 평가하는 경우에는, 그 특정 구간의 음향 신호의 수신이 완료된 이후에 포락선을 비교하는 단계를 시작해도 되지만, 그 특정 구간의 음향 신호 수신이 완료되기 전부터 포락선 비교 단계를 개시하는 것이 더 바람직할 수 있다. 예를 들어서, 특정 구간의 음향 신호를 수신하는 단계는 t1에서 시작하여 t2에 종료된다고 하고, 그 특정 구간의 노이즈를 평가하는 단계는 t3에서 시작하여 t4에 종료된다고 하자. 이때, 논리필연적으로 특정 구간의 노이즈 평가 완료 시점 t4는 특정 구간의 음향신호 수신 완료 시점 t2보다 이후의 시간이 될 수밖에 없다. 그러나 특정 구간의 노이즈 평가 시작 시점 t3는 그 음향신호의 수신 완료 시점 t2 보다 이후의 시점일 필요는 없다. 오히려 t3는 t2 보다 더 이른 시간으로써, t1 직후의 시간이 되는 것이 더 바람직할 수 있다. 결국 이 경우는 음향 신호의 수신 단계과 노이즈 평가 단계는 시간적으로 거의 겹칠 수 있다. 즉, 논리적으로는 음향 신호 수신 단계가 노이즈 평가 단계보다 앞서는 것은 당연하지만, 물리적으로는 음향 신호 수신 단계와 노이즈 평가 단계가 시간적으로 거의 동시에 이루어질 수 있다. 이것은, 논리적으로는 음향 신호 방출 단계가 음향 신호 수신 단계보다 앞서지만, 물리적으로는 음향 신호 방출 단계와 음향 신호 수신 단계가 사실상 시간이 겹치는 것과 같다. 즉, 특정 구간의 음향 신호 방출 단계가 t5에서 시작해서 t6에 종료된다고 할때, t1은 사실상 t5와 겹치고, t2는 사실상 t6와 같게 된다. 결국, t1, t3, t5가 거의 같은 시간이 되고, t2, t4, t6가 거의 같은 시간이 된다. 다시 말해서, (1) 음향 신호의 방출과 (2) 음향 신호의 수신과 (3) 노이즈 평가는 논리적으로는 순서대로 진행되지만, 물리적으로는 거의 동시에 진행될 수 있다.
그러나 이하에서는, 오직 설명의 편의상, 특정 구간의 음향 신호 수신 단계가 완료된 다음에, 비로소 그 구간의 노이즈 평가 단계가 시작되는 실시예를 기준으로 설명한다.
도 2에서, 상황 판단 구간 추출부(250)는 노이즈 평가부(230)의 노이즈 평가 결과를 기초로 수신 음향 신호에서 노이즈가 없는 구간 또는 상대적으로 노이즈가 작은 구간을 상황 판단 구간으로 추출할 수 있다.
일례로서, 노이즈 평가부(230)가 복수의 판단 구간 각각에 대하여 노이즈 레벨을 산출한 경우, 상황 판단 구간 추출부(250)는 기준치 이하의 노이즈 레벨을 갖는 판단 구간을 상황 판단 구간으로 추출할 수 있다. 또는 상황 판단 구간 추출부(250)는 상대적으로 가장 낮은 노이즈 레벨을 갖는 판단 구간을 상황 판단 구간으로 추출할 수도 있다.
이와 같이 추출된 상황 판단 구간은, 대상 공간의 상황을 판단하는 자료로 사용될 수 있는 자격을 얻게 된다. 그러므로 상황 판단 구간 추출 단계의 다음 단계로, 추출된 상황 판단 구간에서 수신된 음향 신호를 이용하여 상기 대상 공간에 대한 공간 상황을 판단할 때, 추출된 상황 판단 구간에서 수신된 음향 신호 전부가 이용될 수도 있고, 그 중 일부만 이용될 수도 있다.
노이즈 회피부(200)를 통해 수신 음향 신호에서 노이즈 구간을 제외시킨 상황 판단 구간을 기초로 상황 판단부(170)가 감시 대상 공간의 상황 변화를 판단할 수 있으므로 공간 감시 장치(100)의 정확성과 신뢰도가 향상될 수 있다.
본 발명에서는 상기에서 살펴본 공간 감시 장치(100)에서 노이즈 구간을 회피하여 대상 공간을 감시하는 방법을 제시하는데, 이하에서는 본 발명에 따른 노이즈 회피를 통한 대상 공간 감시 방법을 앞서 설명한 본 발명이 적용되는 공간 감시 장치(100)의 실시예를 함께 참조하여 살펴보기로 한다.
도 3은 본 발명에 따른 공간 감시 장치의 노이즈 회피를 통한 대상 공간 감시 방법에 대한 일실시예의 흐름도를 도시한다.
공간 감시 장치(100)는 감시 대상 공간으로 음향 신호를 방출(S110)할 수 있다. 여기서 공간 감시 장치(100)는 감시 대상 공간으로 시간에 따라 주파수가 변하는 단일음의 음향 신호를 방출할 수도 있고, 복수의 주파수 성분을 갖는 복합음의 음향신호를 방출할 수도 있고, 시간에 따라 주파수가 변화하는 복수의 주파수 성분을 갖는 복합음의 음향신호를 방출할 수도 있고, 단일음과 복합음이 교번하는 음향신호를 방출할 수도 있다.
그리고 공간 감시 장치(100)는 감시 대상 공간의 음향 신호를 수신(S130)할 수 있다.
공간 감시 장치(100)의 노이즈 회피부(200)는 수신 음향 신호의 노이즈를 평가(S150)하여 수신 음향 신호에서 노이즈가 없는 구간 또는 상대적으로 노이즈가 적은 구간을 상황 판단 구간으로 추출(170)할 수 있다.
공간 감시 장치(100)는 노이즈가 적은 상황 판단 구간을 기초로 감시 대상 공간의 상황을 판단(S190)할 수 있다. 공간 감시 장치(100)의 상황 판단부(170)는 상기 상황 판단 구간의 음향 신호를 기초로 공간의 주파수 응답을 측정하여 감시 대상 공간의 상황 변화를 판단할 수 있다.
노이즈 회피부(200)가 수신 음향 신호의 노이즈를 평가하여 상황 판단 구간을 추출하는 과정을 도 4에 도시된 실시예의 흐름도를 참조하여 좀더 자세히 살펴보기로 한다. 위에서 설명한 것과 같이, (1) 음향 신호의 방출과 (2) 음향 신호의 수신과 (3) 노이즈 평가는 논리적으로는 반드시 순서대로 진행되어야 하지만, 물리적으로는 거의 동시간에 진행될 수도 있다. 그러나 설명의 편의상, 도 3 및 도 4에서는 특정 구간의 음향 신호 수신 단계가 완료된 다음에, 비로소 그 구간의 노이즈 평가 단계가 시작되는 실시예를 도시하였다.
노이즈 회피부(200)의 음향 신호 전처리부(210)는 음향 신호 수신부(130)로부터 수신 음향 신호를 전달받아 가공할 수 있다.
음향 신호 전처리부(210)는 수신 음향 신호를 구간별로 구분하여 복수의 판단 구간으로 분할(S151)할 수 있다.
노이즈 회피부(200)의 음향 신호 전처리부(210)가 수신 음향 신호를 복수의 판단 구간으로 분할하는 과정과 관련하여, 도 5 내지 도 12에 도시된 본 발명에 따른 노이즈 회피 방법에서 수신 음향 신호를 복수의 판단 구간으로 분할하는 일례를 참조하여 살펴본다.
중심 주파수 4KHz이면서 주파수 간격이 4Hz의 17개 주파수로 구성된 복합음의 음향 신호를 방출하여 상기 도 5와 같은 수신 음향 신호(310)가 수신된 경우를 가정한다.
하나의 실시예로서, 음향 신호 전처리부(210)는 수신 음향 신호의 주기를 기초로 각 구간을 구분하여 복수의 판단 구간으로 분할할 수 있다. 예를 들어 상기 도 6과 같이 수신 음향 신호(310)의 주기를 기초로 0.25초 시간 단위로 구분하여 4개의 구간 S11(311), S12(312), S13(313), S14(314)를 판단 구간으로 분할할 수 있다. 수신 음향 신호의 분할은 주기의 배수로 적절하게 설정될 수 있다.
다른 실시예로서, 음향 신호 전처리부(210)는 기설정된 시간 단위로 수신 음향 신호의 각 구간을 구분하여 복수의 판단 구간으로 분할할 수 있다. 예를 들어 상기 도 7과 같이 수신 음향 신호(310)를 0.5초 시간 단위로 구분하여 2개의 구간 S21(311, 312), S22(313, 314)을 판단 구간으로 분할할 수 있다.
또 다른 실시예로서, 음향 신호 전처리부(210)는 음향 신호의 일부분이 중복되는 구간으로 구분하여 복수의 판단 구간을 분할할 수도 있다. 예를 들어 상기 도 8과 같이 수신 음향 신호(310)를 0.5초 시간 단위로 구분하되, 일부 구간이 중복되어 3개의 구간 S23(311, 312), S24(312, 313), S25(313, 314)을 판단 구간으로 분할할 수도 있다. 또한 상기 도 9와 같이 수신 음향 신호(310)를 0.75초 시간 단위로 구분하되, 일부 구간이 중복되어 2개의 구간 S26(311, 312, 313), S27(312, 313, 314)을 판단 구간으로 분할할 수도 있다.
수신 음향 신호의 전체 길이, 그리고 개별 판단 구간의 길이는 필요에 따라 적절하게 설정될 수 있다. 예컨대 수신 음향 신호의 전체 길이는 5분이 될 수도 있고, 24시간이 될 수도 있다.
음향 신호 전처리부(210)는 수신 음향 신호를 복수의 판단 구간으로 구분하여 분할하고 각 판단 구간을 푸리에 변환 또는 고속 푸리에 변환을 통하여 주파수 도메인상의 스펙트럼으로 변환할 수도 있다.
나아가서 시간에 따라 주파수가 변하는 단일음의 음향 신호를 방출하여 상기 도 10과 같이 1.5초 동안 수신 음향 신호(410)가 수신된 경우를 가정한다.
음향 신호 전처리부(210)는 상기 도 11과 같이 음향 신호의 주기를 기초로 0.5초 시간 단위로 구분하여 3개의 구간 S31(411), S32(412), S33(413)을 판단 구간으로 분할할 수 있다.
또는 음향 신호 전처리부(210)는 상기 도 12와 같이 음향 신호의 주기와 상관없이 0.25초 시간 단위로 구분하여 6개의 구간 S34(414), S35(415), S36(416), S37(417), S38(418), S39(419)를 판단 구간으로 분할할 수 있다.
음향 신호 전처리부(210)가 수신 음향 신호를 필요에 따라 가공하여 복수의 판단 구간으로 분할한 상태에서 노이즈 회피부(200)의 노이즈 평가부(230)는 수신 음향 신호의 각 판단 구간에 대하여 노이즈 정도를 평가하여 노이즈 레벨을 산출(S153)할 수 있다.
노이즈 평가부(230)는 판단 구간을 기준 신호와 대비하여 노이즈 레벨을 산출할 수 있다. 여기서 기준 신호는 노이즈가 없는 상태에서 음향 신호 방출부(110)에서 방출되는 음향 신호를 음향 신호 수신부(130)에서 수신한 수신 음향 신호를 기초로 설정될 수 있다.
일례로서, 도 13은 본 발명에 따른 노이즈 회피 방법에서 기준 신호의 일례를 도시한다.
상기 도 5와 같은 수신 음향 신호(310)에 대하여 상기 도 6과 같이 수신 음향 신호의 주기를 기초로 판단 구간을 분할한 경우, 이에 대응되어 상기 도 13과 같은 기준 신호(320)를 설정할 수 있다. 노이즈 평가부(230)는 이러한 기준 신호(320)를 각각의 판단 구간과 대비하여 각각의 판단 구간에 대한 노이즈를 평가할 수 있다.
또한 상기 도 14와 같은 기준 신호에 대한 포락선을 추출하여 기준 포락선(325)으로 설정할 수 있다. 노이즈 평가부(230)는 이러한 기준 포락선(325)을 각각의 판단 구간의 포락선과 대비하여 각각의 판단 구간에 대한 노이즈를 평가할 수 있다.
일례로서 노이즈 평가부(230)는 각각의 판단 구간과 기준 신호(320)를 대비하거나 각각의 판단 구간에 대한 포락선과 기준 포락선(325)를 대비하여 그 차이 정도에 따라 노이즈 레벨을 산출할 수 있다.
일례로서 음향 신호 전처리부(210)에서 각 판단 구간을 주파수 도메인상의 스펙트럼으로 변환한 경우, 노이즈 평가부(230)는 수신 음향 신호의 스펙트럼 상에 방출되는 음향 신호의 주파수 성분 이외의 주파수 성분이 일정 수준 이상의 음압으로 나타나는지를 판단하여 노이즈 레벨을 산출할 수도 있고, 또는 기준 신호를 주파수 도메인 상에서 변환한 기준 스펙트럼과 수신 음향 신호의 스펙트럼을 대비하여 노이즈 레벨을 산출할 수도 있다.
그리고 노이즈 회피부(200)의 상황 판단 구간 추출부(250)는 노이즈 평가부(230)의 평가 결과를 기초로 수신 음향 신호에서 노이즈가 없는 구간 또는 상대적으로 노이즈가 작은 구간을 상황 판단 구간을 선택(S155)하여 추출(S170)할 수 있다.
수신 음향 신호에 대하여 노이즈를 평가하여 상황 판단 구간을 추출하는 과정과 관련하여 도 15 내지 도 23을 참조하여 살펴본다.
도 15 내지 도 16은 본 발명에 따른 노이즈 회피 방법에서 지속적인 노이즈가 존재하는 수신 음향 신호에 대하여 노이즈를 회피하는 일례를 도시한다.
상기 도 15와 같이 1초 동안 수신된 수신 음향 신호(330)를 음향 신호 전처리부(210)가 주기 0.25초를 기초로 복수의 판단 구간 S41(331), S42(332), S43(333), S44(334)으로 분할할 수 있다.
각각의 판단 구간 S41(331), S42(332), S43(333), S44(334)에 대하여 노이즈 평가부(230)가 기준 신호를 기초로 노이즈를 평가하면, 상기 도 16과 같이 판단 구간 S41(331)에 지속적인 노이즈(335)가 존재하며, 판단 구간 S43(333)과 S44(334)에 걸쳐서 지속적인 노이즈(336)가 존재하는 것으로 평가될 수 있다.
여기서 각 판단 구간 S41(331), S42(332), S43(333), S44(334)에 대한 노이즈 평가는, 주파수 필터를 이용하여, 방출되는 음향신호의 주파수 대역 이외의 다른 주파수 영역에서 수신되는 음의 강도를 측정함으로써 각 판단 구간 S41(331), S42(332), S43(333), S44(334)에 대한 노이즈를 평가할 수 있다.
또는 기준 신호에 대한 포락선을 추출한 기준 포락선과 각 판단 구간 S41(331), S42(332), S43(333), S44(334)의 포락선을 대비하여 각 판단 구간 S41(331), S42(332), S43(333), S44(334)에 대한 노이즈를 평가할 수 있다.
또는 각 판단 구간에 대하여, 수신 음향 신호를 푸리에 변환 또는 고속 푸리에 변환을 하여 주파수 도메인상에서 스펙트럼으로 표현하고, 각 판단 구간의 스펙트럼 상에 방출되는 음향 신호의 주파수 성분 이외의 주파수 성분이 일정 수준 이상의 음압으로 나타나는지를 판단하여 노이즈를 평가할 수도 있다. 또는 기준 신호를 주파수 도메인상에서 변환한 기준 스펙트럼과 각 판단 구간의 스펙트럼을 대비함으로써 노이즈를 평가할 수도 있다.
나아가서, 각 판단 구간에 대하여, 위에서 살펴본 복수의 평가 방식을 선택적으로 중첩 적용하여 노이즈를 평가할 수도 있다.
이러한 노이즈 평가부(230)의 평가 결과를 기초로 상황 판단 구간 추출부(250)는 노이즈가 없거나 상대적으로 노이즈가 가장 적은 판단 구간 S42(332)를 상황 판단 구간으로 선택할 수 있다.
그리고 상기 도 17과 같이 상황 판단 구간 추출부(250)는 수신 음향 신호(330)에서 상황 판단 구간으로 S42(332)를 추출할 수 있다.
다른 실시예로서 도 18 내지 도 20은 본 발명에 따른 노이즈 회피 방법에서 일시적인 노이즈가 존재하는 수신 음향 신호에 대하여 노이즈를 회피하는 일례를 도시한다.
상기 도 18과 같이 1초 동안 수신된 수신 음향 신호(340)를 음향 신호 전처리부(210)가 주기 0.25초를 기초로 복수의 판단 구간 S51(341), S52(342), S53(343), S54(344)으로 분할할 수 있다.
각각의 판단 구간 S51(341), S52(342), S53(343), S54(344)에 대하여 노이즈 평가부(230)가 노이즈를 평가하면, 상기 도 19와 같이 판단 구간 S51(341)에 일시적 노이즈(345)가 존재하며, 판단 구간 S54(343)에 일시적 노이즈(346)가 존재하는 것으로 평가될 수 있다.
여기서 각 판단 구간 S51(341), S52(342), S53(343), S54(344)에 대한 노이즈 평가는, 앞서 상기 도 8을 통해 설명한 방식이 적용될 수 있다.
이러한 노이즈 평가부(230)의 평가 결과를 기초로 상황 판단 구간 추출부(250)는 노이즈가 없거나 상대적으로 노이즈가 가장 적은 판단 구간 S52(342)와 S53(343)을 상황 판단 구간으로 선택할 수 있다.
그리고 상기 도 20과 같이 상황 판단 구간 추출부(250)는 수신 음향 신호(330)에서 상황 판단 구간으로 S52(342)와 S53(343) 중 어느 하나 또는 둘 모두를 추출할 수 있다.
또 다른 실시예로서 도 21 내지 도 23은 본 발명에 따른 노이즈 회피 방법에서 활성화 시간 구간과 휴지 시간 구간을 갖는 수신 음향 신호를 분할하여 노이즈를 회피하는 일례를 도시한다.
상기 도 21과 같이 1.5초 동안 수신된 수신 음향 신호(350)가 활성화 시간 구간과 휴지 시간 구간을 포함하는 경우, 음향 신호 전처리부(210)는 수신 음향 신호의 주기를 고려하여 활성화 시간 구간 S62(352), S64(354), S66(356)과 휴지 시간 구간 S61(351), S63(353), S65(355)를 구분하여 판단 구간을 분할할 수 있다.
그리고 상기 22와 같이 노이즈 평가부(230)는 휴지 시간 구간인 판단 구간 S61(351), S63(353), S65(355)을 추출하여 이를 대상으로 노이즈를 평가할 수 있다. 이때는 음향 신호 방출부(110)가 음향 신호를 방출하지 않는 휴지 시간 구간이므로, 이 구간에서는 음향 신호가 수신되지 않거나, 또는 음향 신호가 수신되더라도 그 크기가 충분히 작거나, 또는 그 음향 신호의 주파수가 방출 음향 신호의 주파수와 달라서 공간의 상황 판단에 영향을 주는 정도가 기준 이하로 작다면, 전체적으로 노이즈가 없거나 작다고 평가할 수 있다.
상황 판단 구간 추출부(250)는 노이즈 평가부(230)의 평가 결과를 기초로 상황 판단 구간을 추출할 수 있는데, 활성화 시간 구간의 이전 또는 이후 휴지 시간 구간이 노이즈 구간으로 평가되는 경우, 해당 활성화 시간 구간을 노이즈 구간으로 평가할 수 있다. 즉, 활성화 시간 구간 이전의 휴지 시간 구간 또는 이후의 휴지 시간 구간에 노이즈가 존재하는 경우에는 이는 해당 활성화 시간 구간에도 노이즈가 존재할 가능성이 높으므로 해당 활성화 시간 구간을 노이즈 구간으로 간주할 수 있다.
상기 도 22의 경우, 휴지 시간 구간 S61(351)과 S63(353)은 노이즈가 존재하지 않거나 일정 수준 이하의 노이즈가 존재하는 것으로 평가될 수 있으나 휴지 시간 구간 S65(355)는 노이즈(357)가 존재하는 것으로 평가될 수 있다.
휴지 시간 구간 S65(355)가 노이즈 구간으로 평가됨에 따라 휴지 시간 구간 S65(355)의 이전 활성화 시간 구간 S64(354)는 노이즈 구간으로 간주될 수 있고, 또한 휴지 시간 구간 S65(355)의 이후 활성화 시간 구간 S66(356)도 노이즈 시간 구간으로 간주될 수 있다.
활성화 시간 구간 S62(352)는 이전 휴지 시간 구간 S61(351)과 이후 휴지 시간 구간 S63(353) 모두가 노이즈가 존재하지 않거나 일정 수준 이하의 노이즈가 존재하는 것으로 평가될 수 있으므로 상황 판단 구간 추출부(250)는 활성화 시간 구간 S62(352)를 상황 판단 구간으로 선택할 수 있다.
그리고 상기 도 23과 같이 상황 판단 구간 추출부(250)는 수신 음향 신호(350)에서 상황 판단 구간으로 S62(352)를 추출할 수 있다.
상기 도 15 내지 상기 도 23을 통해 살펴본 실시예는, 방출되는 음향 신호가 복합음인 경우를 대상으로 설명하였는데, 음향 신호 방출부(110)에서 시간에 따라 주파수가 변하는 단일음의 음향 신호를 방출하는 경우에도 상기 도 15 내지 상기 도 23의 노이즈 평가 방식을 적용하여 노이즈 구간을 평가할 수 있다.
가령, 상기 도 10과 같은 시간에 따라 주파수가 변하는 단일음의 수신 음향 신호(410)에 대하여 노이즈를 평가하는 경우, 상기 도 11 또는 상기 도 12와 같이 판단 구간을 구분하여 분할하고 각각의 판단 구간에 대하여 상기에서 설명한 노이즈 평가 방식을 도입하여 노이즈를 평가할 수 있다. 그리고 노이즈가 없거나 상대적으로 적은 판단 구간을 상황 판단 구간으로 추출할 수 있다.
나아가서 복수의 판단 구간에 대한 노이즈 평가를 통해 노이즈가 없거나 상대적으로 적은 복수의 판단 구간을 추출하고 추출된 복수의 판단 구간을 조합하여 새로운 수신 음향 신호로 합성한 상황 판단 구간을 생성할 수 있는데, 이와 관련하여 도 24 내지 도 26을 참조하여 설명한다.
상기 도 24와 같은 시간에 따라 주파수가 변하는 단일음의 수신 음향 신호(420)를 획득한 경우, 수신 음향 신호(420)를 앞서 설명한 바와 같이 복수의 판단 구간 S71(421) 내지 S76(426)으로 구분하여 분할할 수 있다.
각각의 판단 구간 S71(421) 내지 S76(426)에 대하여 앞서 설명한 바와 같은 노이즈 평가를 통해 상기 도 25와 같이 노이즈가 없거나 상대적으로 노이즈가 적은 판단 구간 S72(422), S75(425)를 추출할 수 있다.
그리고 추출된 판단 구간 S72(422), S75(425)를 음향 신호의 주기에 맞춰서 조합함으로써 상기 도 26과 같은 수신 음향 신호(430)로서 상황 판단 구간 S77(431, 432)을 생성할 수 있다.
이와 같이 노이즈가 없거나 상대적으로 노이즈가 적은 판단 구간을 추출하고 합성하여 새로운 상황 판단 구간을 생성함으로써 효과적으로 노이즈를 회피한 음향 신호를 얻을 수 있게 된다.
한편 수신 음향 신호의 전체 길이, 개별 판단 구간의 간격, 그리고 전체 수신 음향 신호에서 추출하는 상황 판단 구간의 개수는 필요에 따라서 조절할 수 있다.
한편 상기에서는 일정한 판단 구간 간격을 미리 설정한 다음에, 각 판단 구간별로 노이즈 평가를 하고, 그 중 일부를 상황 판단 구간으로 선정하는 방법을 예시하였으나, 이와 달리, 처음부터 판단 구간을 지정하지 않고, 수신된 음향 신호를 전체적으로 스캔하여 노이즈가 없는 임의 간격의 구간을 추출하여 상황 판단 구간으로 설정할 수도 있다.
이상에서 살펴본 바와 같이 본 발명에서는 수신 음향 신호에서 노이즈 구간을 회피하여 감시 대상 공간의 공간 상황을 판단할 수 있으므로 공간 감시 장치의 정확도와 신뢰성을 더욱 높일 수 있다.
나아가서 수신 음향 신호에 대하여 포락선 분석, 대역 필터링 등의 다양한 노이즈 평가 방식을 선택적으로 적용하거나 복합적으로 적용하여 보다 정밀하게 수신 음향 신호 상에서 노이즈 구간을 회피할 수 있게 된다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 기재된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상이 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의해서 해석되어야하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (9)

  1. 대상 공간으로 음향 신호를 방출하는 음향 신호 방출 단계;
    상기 대상 공간의 음향 신호를 수신하는 음향 신호 수신 단계;
    수신 음향 신호의 노이즈 구간을 판단하는 노이즈 평가 단계; 및
    상기 수신 음향 신호에서 상기 노이즈 구간을 제외한 구간을 상황 판단 구간으로 추출하는 상황 판단 구간 추출 단계를 포함하는 것을 특징으로 하는 공간 감시 장치의 노이즈 회피 방법.
  2. 제 1 항에 있어서,
    상기 노이즈 평가 단계는,
    상기 수신 음향 신호를 사전에 설정된 복수의 판단 구간별로 구분하여 노이즈를 평가하며,
    상기 상황 판단 구간 추출 단계는,
    복수의 판단 구간 중 노이즈가 없거나 상대적으로 노이즈가 적다고 판단되는 구간을 상황 판단 구간으로 추출하는 것을 특징으로 하는 공간 감시 장치의 노이즈 회피 방법.
  3. 제 1 항에 있어서,
    상기 노이즈 평가 단계는,
    수신 음향 신호를 특정한 기준 신호와의 비교를 통하여 상기 수신 음향 신호의 노이즈를 평가하는 것을 특징으로 하는 공간 감시 장치의 노이즈 회피 방법.
  4. 제 1 항에 있어서,
    상기 노이즈 평가 단계는,
    방출되는 음향 신호 주파수 이외의 다른 주파수 성분의 수신 강도를 파악하여 상기 수신 음향 신호의 노이즈를 평가하는 것을 특징으로 하는 공간 감시 장치의 노이즈 회피 방법.
  5. 제 1 항에 있어서,
    상기 음향 신호 방출 단계는,
    주기적으로 음향 신호를 방출하며,
    상기 음향 신호 수신 단계는,
    음향 신호가 방출되는 활성화 시간 구간과 음향 신호가 방출되지 않는 휴지 시간 구간을 포함하는 시간 구간에서 상기 대상 공간의 음향 신호를 수신하며,
    상기 노이즈 평가 단계는,
    활성화 시간 구간의 전후 휴지 시간 구간에서 수신된 수신 음향 신호를 기초로 상기 활성화 시간 구간의 수신 음향 신호에 대한 노이즈를 평가하는 것을 특징으로 하는 공간 감시 장치의 노이즈 회피 방법.
  6. 제 1 항에 있어서,
    상기 노이즈 평가 단계는,
    상기 수신 음향 신호를 주파수 도메인 상에서의 스펙트럼으로 변환하고 상기 수신 음향 신호의 스펙트럼을 기초로 노이즈를 평가하는 것을 특징으로 하는 공간 감시 장치의 노이즈 회피 방법.
  7. 제 3 항에 있어서,
    상기 노이즈 평가 단계는,
    상기 수신 음향 신호에 대한 포락선과 상기 기준 신호에 대한 포락선을 대비하여 노이즈를 평가하는 것을 특징으로 하는 공간 감시 장치의 노이즈 회피 방법.
  8. 제 1 항에 있어서,
    추출된 상황 판단 구간에서 수신된 음향 신호를 이용하여 상기 대상 공간에 대한 공간 상황을 판단하는 상황 판단 단계를 더 포함하는 것을 특징으로 하는 공간 감시 장치의 노이즈 회피 방법.
  9. 제 2 항에 있어서,
    추출된 복수의 상황 판단 구간을 조합하는 상황 판단 구간 조합 단계; 및
    조합된 상황 판단 구간의 음향 신호를 이용하여 상기 대상 공간에 대한 공간 상황을 판단하는 상황 판단 단계를 더 포함하는 것을 특징으로 하는 공간 감시 장치의 노이즈 회피 방법.
PCT/KR2022/014236 2021-09-23 2022-09-23 음향 신호를 이용한 공간 감시 장치의 노이즈 회피 방법 WO2023048494A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020247005389A KR20240034828A (ko) 2021-09-23 2022-09-23 음향 신호를 이용한 공간 감시 장치의 노이즈 회피 방법
EP22873198.0A EP4407343A1 (en) 2021-09-23 2022-09-23 Noise avoidance method of apparatus for spatial monitoring using sound signals
CN202280064353.0A CN118043699A (zh) 2021-09-23 2022-09-23 利用声音信号的空间监视装置的噪声规避方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/483,525 2021-09-23
US17/483,525 US11604091B1 (en) 2021-09-23 2021-09-23 Method for avoiding noise in an apparatus for space monitoring by using sound signal

Publications (1)

Publication Number Publication Date
WO2023048494A1 true WO2023048494A1 (ko) 2023-03-30

Family

ID=85480728

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/014236 WO2023048494A1 (ko) 2021-09-23 2022-09-23 음향 신호를 이용한 공간 감시 장치의 노이즈 회피 방법

Country Status (5)

Country Link
US (1) US11604091B1 (ko)
EP (1) EP4407343A1 (ko)
KR (1) KR20240034828A (ko)
CN (1) CN118043699A (ko)
WO (1) WO2023048494A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240161725A1 (en) * 2022-06-28 2024-05-16 Silentium Ltd. Apparatus, system, and method of neural-network (nn) based active acoustic control (aac)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010505153A (ja) * 2005-10-07 2010-02-18 アノクシス・アーゲー 空間を監視するための方法及びその方法を実行するための装置
KR20180087021A (ko) * 2017-01-24 2018-08-01 국방과학연구소 실내전달함수 추정 방법 및 신호 처리 방법
KR102048021B1 (ko) * 2013-11-28 2019-11-22 한국전자통신연구원 외부 소음 적응형 음장 보안 감시 방법
KR20200135709A (ko) * 2019-05-24 2020-12-03 한국전자통신연구원 멀티톤 음원을 이용한 보안 감시 방법
KR102228781B1 (ko) * 2019-09-16 2021-03-17 주식회사 시큐웍스 음장 정보를 이용한 보안 감시 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101297409B1 (ko) * 2009-12-14 2013-08-19 한국전자통신연구원 음장변화 측정을 이용한 보안 시스템 및 방법
US9240113B2 (en) * 2010-10-12 2016-01-19 Electronics And Telecommunications Research Institute Low-power security and intrusion monitoring system and method based on variation detection of sound transfer characteristic
GB2526666B (en) * 2014-03-31 2016-12-07 Electronics & Telecommunications Res Inst Security monitoring apparatus and method using correlation coefficient variation pattern of sound field spectrum
JP6827561B2 (ja) * 2017-11-29 2021-02-10 三菱電機株式会社 音響信号制御装置及び方法、並びにプログラム及び記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010505153A (ja) * 2005-10-07 2010-02-18 アノクシス・アーゲー 空間を監視するための方法及びその方法を実行するための装置
KR102048021B1 (ko) * 2013-11-28 2019-11-22 한국전자통신연구원 외부 소음 적응형 음장 보안 감시 방법
KR20180087021A (ko) * 2017-01-24 2018-08-01 국방과학연구소 실내전달함수 추정 방법 및 신호 처리 방법
KR20200135709A (ko) * 2019-05-24 2020-12-03 한국전자통신연구원 멀티톤 음원을 이용한 보안 감시 방법
KR102228781B1 (ko) * 2019-09-16 2021-03-17 주식회사 시큐웍스 음장 정보를 이용한 보안 감시 방법

Also Published As

Publication number Publication date
US20230109460A1 (en) 2023-04-06
US11604091B1 (en) 2023-03-14
EP4407343A1 (en) 2024-07-31
CN118043699A (zh) 2024-05-14
KR20240034828A (ko) 2024-03-14

Similar Documents

Publication Publication Date Title
WO2023048494A1 (ko) 음향 신호를 이용한 공간 감시 장치의 노이즈 회피 방법
WO2014204179A1 (en) Method for verifying bad pattern in time series sensing data and apparatus thereof
WO2013048173A2 (ko) 부분방전 노이즈 제거 장치 및 진단방법
WO2023234742A1 (ko) 음향 신호를 이용한 공간 감시 시스템 및 공간 감시 방법
WO2010008168A2 (ko) 전력설비의 부분방전 노이즈 제거 장치 및 부분방전 발생구간 검출 장치
WO2022240163A1 (ko) Mems 기반 보조 지진 관측망에서 지진을 감지하는 방법, 이를 수행하기 위한 기록 매체 및 장치
WO2012053792A2 (ko) 입력 장치 및 이 장치의 접촉 위치 검출 방법
WO2019182246A1 (en) Partial discharge detecting system
WO2014193041A1 (ko) 제조 설비의 센서 데이터를 활용한 수율 분석 시스템 및 방법
WO2022250219A1 (ko) 이상 음원 결정 방법 및 ai 음향 영상 카메라
WO2022119082A1 (ko) 인공지능 모델을 기반으로 재난을 감지하는 방법 및 이를 수행하는 전자 장치
WO2020059939A1 (ko) 인공지능 장치
WO2013042928A1 (ko) 부분방전 결함유형 판정 방법 및 그 장치
WO2018097620A1 (ko) 이상 음원 감지 방법 및 이를 수행하기 위한 장치
WO2019098536A1 (ko) 전자 장치 및 제어 방법
WO2020105947A1 (ko) 차량의 음향 개선 장치
WO2018164451A1 (ko) 오디오 신호를 이용하여 입력을 검출하기 위한 방법 및 그 전자 장치
WO2020138843A1 (en) Home appliance and method for voice recognition thereof
WO2013085278A1 (ko) 선택적 주의 집중 모델을 이용한 모니터링 장치 및 그 모니터링 방법
WO2020032363A1 (ko) 외부 전자 장치와의 거리에 기반하여 스피커의 출력 세기를 조정하기 위한 방법 및 전자 장치
WO2021015525A1 (en) Content reproducing electronic apparatus and controlling method thereof
WO2023022365A1 (ko) 음향 신호를 이용한 공간 감시 장치의 음향 신호 자동 설정 방법
WO2021256634A1 (ko) 하드웨어 추상화 계층을 이용하는 자원 모니터링 장치 및 방법
WO2022265408A1 (ko) 3차원 어쿠스틱 웹을 이용한 공간 감시 장치 및 방법
WO2019143122A1 (ko) 디스플레이 장치, 디스플레이 시스템 및 그 제어방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22873198

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20247005389

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1020247005389

Country of ref document: KR

ENP Entry into the national phase

Ref document number: 2024515141

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2022873198

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022873198

Country of ref document: EP

Effective date: 20240423