WO2023136113A1 - 判定装置及び判定プログラム - Google Patents

判定装置及び判定プログラム Download PDF

Info

Publication number
WO2023136113A1
WO2023136113A1 PCT/JP2022/047898 JP2022047898W WO2023136113A1 WO 2023136113 A1 WO2023136113 A1 WO 2023136113A1 JP 2022047898 W JP2022047898 W JP 2022047898W WO 2023136113 A1 WO2023136113 A1 WO 2023136113A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
person
channel state
state information
determination device
Prior art date
Application number
PCT/JP2022/047898
Other languages
English (en)
French (fr)
Inventor
雄彦 飯塚
祐馬 田邊
亮太 藤原
敬 芳賀
Original Assignee
株式会社村田製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社村田製作所 filed Critical 株式会社村田製作所
Priority to JP2023573960A priority Critical patent/JPWO2023136113A1/ja
Publication of WO2023136113A1 publication Critical patent/WO2023136113A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/04Systems determining presence of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V3/00Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation
    • G01V3/12Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation operating with electromagnetic waves

Definitions

  • the present invention relates to a determination device and determination program for determining the presence or absence of a person in a specific area.
  • Patent Document 1 the transmission device described in Patent Document 1 is known as an invention related to conventional determination devices.
  • This transmitter uses electromagnetic waves to sense the surroundings. Specifically, the transmitter uses electromagnetic waves to detect pedestrians and vehicles.
  • an object of the present invention is to provide a determination device and a determination program equipped with a new sensing technology for sensing a specific area such as the inside of an automobile.
  • the inventor of the present application studied a new sensing technology for sensing a specific area such as the inside of a car. Therefore, the inventor of the present application focused on channel state information.
  • the channel state information is information indicating the state of the electromagnetic wave transmission path. By using this channel state information, detailed information on the transmission path of electromagnetic waves can be obtained. Therefore, the inventors of the present application have found that if a specific area (hereinafter referred to as a first area) such as the interior of an automobile is sensed using channel state information, information related to the position of an object within the first area can be detected. thought it would be possible to obtain
  • the inventor of the present application has noticed that when a person moves or breathes in the first area, the state of the electromagnetic wave transmission path changes. In other words, the inventors have noticed that the channel state information changes when a person moves or breathes within the first region. Therefore, the inventors of the present application have realized that the presence or absence of a person in the first area can be determined by using the channel state information.
  • the sensing technology using the above channel state information has high sensing performance. Therefore, the inventors of the present application have noticed that the channel state information also changes when there is a person in the second area located close to the first area. Specifically, the inventors have noticed that the channel state information changes when a person moves or breathes in a second region located near the first region. Therefore, the inventor of the present application uses the sensing technology using the channel state information to determine the presence or absence of people in the second area adjacent to the first area in addition to the determination of the presence or absence of people in the first area. I realized that I could do it.
  • the inventors of the present application have developed a new sensing technology that uses a single determination device to perform determinations related to the position of an object in the first area and the presence or absence of a person in a second area adjacent to the first area. I came up with
  • a determination device includes: A determination device used in a transmitting/receiving system in which signals of first to Nth subcarriers transmitted by electromagnetic waves from first to Tth transmitting antennas are received by first to Rth receiving antennas, N, T and R are integers of 1 or more, The first to T-th transmitting antennas and the first to R-th receiving antennas are arranged in a first region, The channel state information is information indicating the state of the electromagnetic wave transmission path between the first to T-th transmitting antennas and the first to R-th receiving antennas, The determination device is an acquiring step of acquiring the channel state information calculated based on the signals of the first to Nth subcarriers received by the first to Rth receiving antennas; A determination step of determining whether or not there is a person in a second area adjacent to the first area based on the channel state information obtained in the obtaining step. and, to run.
  • a determination program is A determination program executed by a determination device of a transmission/reception system for receiving signals of first to Nth subcarriers transmitted by electromagnetic waves from first to Tth transmission antennas at first to Rth reception antennas and N, T and R are integers of 1 or more, The first to T-th transmitting antennas and the first to R-th receiving antennas are arranged in a first region, The channel state information is information indicating the state of the electromagnetic wave transmission path between the first to T-th transmitting antennas and the first to R-th receiving antennas, The determination program is an acquiring step of acquiring the channel state information calculated based on the signals of the first to Nth subcarriers received by the first to Rth receiving antennas; a determining step of determining the presence or absence of a person in a second area adjacent to the first area, and determining a position of an object within the first area based on the channel state information acquired in the acquiring step; , is executed by the determination device.
  • the determination device it is possible to provide a determination device equipped with a new sensing technology for sensing a specific area such as the inside of an automobile.
  • FIG. 1 is a block diagram of a transmission/reception system 1.
  • FIG. 2 is a perspective view showing the first area A1 and the second area A2.
  • FIG. 3 is a perspective view showing the first area A1, the second area A2, and the person M2 positioned in the second area A2.
  • FIG. 4 is a top view showing the first area A1, the second area A2, the person M1 positioned in the first area A1, and the person M2 positioned in the second area A2.
  • FIG. 5 is a graph showing the amplitude and phase of hmn during movement of the person M1 located in the first area A1.
  • FIG. 6 is a graph showing the amplitude and phase of hmn during breathing of the person M1 located in the first area A1.
  • FIG. 7 is a graph showing the amplitude of hmn during breathing of the person M2 located in the second area A2.
  • FIG. 8 is a graph showing the amplitude of hmn when the person M2 is not present in the second area A2.
  • FIG. 9 is a graph showing the result of FFT processing the waveform indicating the amplitude of hmn in FIG.
  • FIG. 10 is a graph showing the result of FFT processing the waveform indicating the amplitude of hmn in FIG.
  • FIG. 11 is a flow chart showing operations performed by the determination device 14 .
  • FIG. 12 is a block diagram of the transmission/reception system 1a.
  • FIG. 1 is a block diagram of a transmission/reception system 1.
  • FIG. 2 is a perspective view showing the first area A1 and the second area A2.
  • FIG. 3 is a perspective view showing the first area A1, the second area A2, and the person M2 positioned in the second area A2.
  • FIG. 4 is a top view showing the first area A1, the second area A2, the person M1 positioned in the first area A1, and the person M2 positioned in the second area A2.
  • the first area A1 is the cabin of the vehicle.
  • the second area A2 is outside the vehicle.
  • the second area A2 is adjacent to the first area A1.
  • the vehicle is an automobile.
  • the vehicle has windows.
  • the transmission/reception system 1 is used for a wireless LAN (Local Area Network) of automobiles.
  • the wireless LAN system is, for example, Wi-Fi (registered trademark).
  • the transmission/reception system 1 includes a transmission device 9, first transmission antennas 10-1 to T-th transmission antennas 10-T, reception device 11, first reception antennas 12-1 to R-th reception antennas 12-R, and determination device 14. ing. T and R are integers of 1 or more.
  • the determination device 14 is used in a transmission/reception system.
  • the transmitting device 9, the first transmitting antenna 10-1 to the T-th transmitting antenna 10-T, the receiving device 11 and the first receiving antenna 12-1 to the R-th receiving antenna 12-R, and the determining device 14 are shown in FIGS. , is located in the first area A1 (vehicle cabin).
  • the transmitting device 9 and the receiving device 11 are wireless LAN access points.
  • the transmission device 9 generates the first transmission signal to the Tth transmission signal.
  • the transmission device 9 causes the first transmission antenna 10-1 to the Tth transmission antenna 10-T to transmit the first transmission signal to the Tth transmission signal, respectively, by electromagnetic waves.
  • the 1st to Tth transmission signals respectively include the signals of the 1st to Nth subcarriers.
  • N is an integer of 1 or more.
  • the first subcarrier signal to the Nth subcarrier signal are carrier waves used for OFDM (Orthogonal Frequency Division Multiplexing).
  • the signals of the 1st subcarrier to the Nth subcarrier have mutually orthogonal and different frequencies.
  • the first transmission signal to the Tth transmission signal are repeatedly reflected and transmitted.
  • the first reception antenna 12-1 through the Rth reception antenna 12-R receive the first reception signal through the Rth reception signal.
  • Each of the first to Rth received signals includes a signal of the first subcarrier to a signal of the Nth subcarrier.
  • Each of the first to R-th received signals includes the first to T-th transmitted signals as components.
  • the transmitting/receiving system 1 transmits signals of the first to Nth subcarriers transmitted by electromagnetic waves from the first transmitting antennas 10-1 to the Tth transmitting antennas 10-T to the first receiving antenna 12-1. or R-th receiving antenna 12-R.
  • the determination device 14 is communicably connected to the receiving device 11 .
  • the determination device 14 is a processing circuit such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit).
  • Determining device 14 obtains channel state information (CSI: Channel State Information) is calculated.
  • the channel state information is information indicating the state of electromagnetic wave transmission paths between the first to T-th transmitting antennas 10-1 to T-th transmitting antennas 10-T and the first to R-th receiving antennas 12-1 to R-th receiving antennas 12-R. be.
  • the channel state information is described below.
  • the first to T-th transmission signals transmitted by the first to T-th transmission antennas 10-1 to T-th transmission antennas 10-T are complex numbers x1 to xT, respectively.
  • the first to R-th reception signals received by the first to R-th reception antennas 12-1 to 12-R are complex numbers y1 to yR, respectively.
  • x1 through xT and y1 through yR satisfy equations (1) through (5).
  • i is an integer of 1 or more and N or less.
  • m is an integer of 1 or more and R or less.
  • n is an integer of 1 or more and T or less.
  • is the amplitude of hmn.
  • ⁇ hmn is the phase of hmn.
  • ni is the noise vector.
  • Hi is the channel state information of the i-th subcarrier. Also, hmn, which is a component included in Hi, indicates the state of the electromagnetic wave transmission path between the m-th transmitting antenna 10-m and the n-th receiving antenna 12-n in the i-th subcarrier. Calculation of the channel state information Hi for the i-th subcarrier will now be described.
  • the transmitting device 9 transmits the first transmission signal x1 through the T-th transmission signal xT having a predetermined waveform of the i-th subcarrier from the first transmission antenna 10-1 through the T-th transmission antenna 10-T.
  • the first receiving antenna 12-1 through the R-th receiving antenna 12-R receive the first received signal y1 through the R-th received signal yR of the i-th subcarrier.
  • the determination device 14 acquires the first received signal y1 to the R-th received signal yR of the i-th subcarrier.
  • the first transmission signal x1 through T-th transmission signal xT of the i-th subcarrier transmitted by the first transmission antenna 10-1 through T-th transmission antenna 10-T are signals having predetermined waveforms. be. Therefore, if the noise ni is removed from the first receiving antenna 12-1 to the R-th receiving antenna 12-R of the i-th subcarrier, the determination device 14 uses equation (1) to determine the channel state of the i-th subcarrier Information Hi can be calculated. The decision device 14 performs this calculation for the first to Nth subcarriers. By the above operation, the determination device 14 can calculate the channel state information H1 to HN.
  • FIG. 5 is a graph showing the amplitude and phase of hmn during movement of the person M1 located in the first area A1.
  • FIG. 6 is a graph showing the amplitude and phase of hmn during breathing of the person M1 located in the first area A1.
  • the vertical axes in FIGS. 5 and 6 are amplitude or phase.
  • the horizontal axis in FIGS. 5 and 6 is time. 5 and 6 are experimental results when the person M1 is seated on the rear seat of the automobile.
  • the state of electromagnetic wave reflection in the first area A1 changes depending on the presence or absence of the person M1 in the first area A1 and the position of the person M1. Furthermore, the state of electromagnetic wave reflection in the first area A1 changes depending on whether or not the person M1 moves in the first area A1.
  • the channel state information Hi indicates the transmission paths of electromagnetic waves between the first to T-th transmitting antennas 10-1 to T-th transmitting antennas 10-T and the first to R-th receiving antennas 12-1 to R-th receiving antennas 12-R. This is information indicating the state. Therefore, the channel state information Hi changes depending on whether or not the person M1 moves in the first area A1.
  • the channel state information Hi when the person M1 is in motion differs from the channel state information Hi when the person M1 is breathing. Therefore, the hmn during movement of the person M1 shown in FIG. 5 is different from the hmn during breathing of the person M1 shown in FIG.
  • the amplitude of hmn during movement of the person M1 shown in FIG. 5 is different from the amplitude of hmn during breathing of the person M1 shown in FIG.
  • the amplitude of hmn during movement of the person M1 shown in FIG. 5 is greater than the amplitude of hmn during breathing of the person M1 shown in FIG. Therefore, by calculating the amplitude of hmn, the determination device 14 can determine whether or not the person M1 is moving in the first area A1.
  • the determination device 14 can determine the position of the person M1 within the first area A1 by calculating the amplitude of hmn and the phase of hmn.
  • the determination device 14 can perform determination related to the position of the object within the first area A1 by calculating the amplitude of hmn.
  • the determination related to the position of the object is the determination of the position of the person M1, the presence or absence of motion of the person M1, and the positions of objects other than the person M1.
  • the determination device 14 can determine the presence or absence of the person M2 in the second area A2 by analyzing the amplitude of hmn. In other words, in this embodiment, the determination device 14 can determine the presence or absence of the person M2 outside the vehicle.
  • FIG. 7 is a graph showing the amplitude of hmn during breathing of the person M2 located in the second area A2.
  • FIG. 8 is a graph showing the amplitude of hmn when the person M2 is not present in the second area A2.
  • the vertical axis in FIGS. 7 and 8 is amplitude.
  • the horizontal axis in FIGS. 7 and 8 is time. 7 and 8 show experimental results when there is no person M1 in the car.
  • FIG. 7 is a graph showing the amplitude of hmn during breathing of the person M2 located in the second area A2.
  • FIG. 8 is a graph showing the amplitude of hmn when the person M2 is not present in the second area A2.
  • FIG. 9 is a graph showing the results of FFT (Fast Fourier Transform) processing of the waveform indicating the amplitude of hmn in FIG.
  • FIG. 10 is a graph showing the result of FFT processing the waveform indicating the amplitude of hmn in FIG.
  • the horizontal axis in FIGS. 9 and 10 is frequency.
  • the vertical axis in FIGS. 9 and 10 is amplitude.
  • the state of electromagnetic waves changes depending on the presence or absence of an object in the second area A2. Specifically, when an object exists in the second area A2, the electromagnetic waves received by the first receiving antenna 12-1 to the R-th receiving antenna 12-R, and when there is no object in the second area A2, the first It is different from the electromagnetic waves received by the receiving antennas 12-1 to 12-R. A detailed description will be given below.
  • the electromagnetic wave W1 transmitted from the first transmitting antenna 10-1 to the T-th transmitting antenna 10-T reaches the window of the vehicle.
  • a window easily transmits electromagnetic waves. Therefore, the electromagnetic wave W1 travels through the window to the second area A2.
  • the electromagnetic wave W1 travels through the window to the second area A2.
  • the electromagnetic wave W1 reaches the object existing in the second area A2.
  • the electromagnetic waves W1 are reflected by objects existing in the second area A2.
  • the reflected electromagnetic wave W1 reaches the first area A1.
  • the electromagnetic waves W1 that have reached the first area A1 for example, reach the first receiving antenna 12-1 through the R-th receiving antenna 12-R by being repeatedly reflected within the first area A1.
  • the electromagnetic waves W1 are not reflected in the second area A2. Therefore, if no object exists in the second area A2, the electromagnetic waves W1 do not reach the first receiving antenna 12-1 through the R-th receiving antenna 12-R.
  • the state of the electromagnetic wave W1 changes depending on the presence or absence of an object in the second area A2. In other words, when the person M2 who is an object exists in the second area A2, the state of the electromagnetic wave W1 changes.
  • the channel state information indicates the state of electromagnetic wave transmission paths between the first to T-th transmitting antennas 10-1 to T-th transmitting antennas 10-T and the first to R-th receiving antennas 12-1 to 12-R. This is the information shown. Therefore, the channel state information Hi changes depending on the presence or absence of the person M2 in the second area A2. That is, the channel state information Hi when the person M2 exists in the second area A2 is different from the channel state information Hi when the person M2 does not exist in the second area A2. Therefore, hmn when the person M2 is present in the second area A2 shown in FIG.
  • hmn when the person is present is It is different from hmn when no one is present (hereinafter referred to as hmn when no one is present).
  • the person M2 performs periodic actions such as breathing. Therefore, when the person M2 is present in the second area A2, hmn when the person is present includes information indicating the periodic motion of the person.
  • hmn when a person is present includes, for example, a frequency component P1 indicating breathing, which is a periodic movement of a person. In this case, as shown in FIG. 9, hmn when a person is present contains a frequency component P1 of approximately 2 Hz indicating respiration.
  • hmn in the absence of a person shown in FIG. 8 does not contain information indicating periodic movements of a person. Specifically, as shown in FIG. 10, it does not contain a frequency component P1 indicating breathing, which is a periodic motion of a person.
  • the determination device 14 can determine the presence or absence of the person M2 in the second area A2 by determining whether hmn includes information indicating a person's periodic motion.
  • the determination device 14 uses hmn of the channel state information Hi to determine the position of the object within the first area A1 and the presence or absence of the person M2 in the second area A2.
  • the determination device 14 uses h11 to hRT of the channel state information H1 to HN to determine the position of the object in the first area A1 and the presence or absence of the person M2 in the second area A2.
  • the determination device 14 uses a machine learning model to determine the position of the object within the first area A1.
  • the machine learning model is used as teacher data indicating the relationship between the channel state information and the position of the object within the first area A1. Therefore, the machine learning model learns in advance the relationship between the channel state information and the position of the object within the first area A1 using teacher data indicating the relationship between the channel information and the position of the object within the first area A1. there is Then, the determination device 14 uses a machine learning model to determine the position of the object within the first area A1 corresponding to the channel state information calculated by the determination device 14 . In this embodiment, the determination device 14 has a machine learning model.
  • the determination device 14 uses a machine learning model to determine the presence or absence of the person M2 in the second area A2.
  • the machine learning model uses the relationship between the channel state information and the motion of the person M2 located in the second area A2 as teacher data. For example, the machine learning model acquires channel state information when the person M2 is breathing in the second area A2 (hereinafter referred to as breathing channel state information).
  • the machine learning model calculates feature amounts included in the respiratory channel state information.
  • the machine learning model learns the calculated feature quantity as a feature quantity indicating human breathing. In this case, the machine learning model determines whether or not the channel state information obtained in the obtaining step includes a feature quantity indicating human breathing.
  • the machine learning model determines that the person M2 is present in the second area A2 when determining that the channel state information acquired in the acquiring step includes a feature amount indicating human breathing.
  • the determination device 14 may determine the position of the object in the first area A1 and the presence or absence of the person M2 in the second area A2 using one machine learning model, or the first machine learning model may be performed using the determination of the position of the object in the first area A1, and the presence or absence of the person M2 in the second area A2 may be determined using the second machine learning model.
  • FIG. 11 is a flow chart showing operations performed by the determination device 14 .
  • a storage device (not shown) stores the judgment program of the flow chart shown in FIG.
  • the determination device 14 then reads and executes this determination program from the storage device.
  • Determining device 14 determines channel state information H1 based on the first to R-th received signals of the first to N-th subcarriers received by first to R-th receiving antennas 12-1 to R-th receiving antennas 12-R. ⁇ HN are calculated (calculation step/step S1). Since the details of the calculation step have already been explained, further explanation will be omitted. Thereby, the determination device 14 acquires the calculated channel state information H1 to HN (acquisition step/step S2). In this way, in the acquisition step of step S2, the determination device 14 obtains the first received signal or the first received signal or the Obtain channel state information H1 to HN calculated based on the R-th received signal.
  • the determination device 14 determines the position of the object in the first area A1 and the presence or absence of the person M2 in the second area A2. (judgment step/step S3). In the determination step, the determination device 14 determines the presence or absence of the person M2 in the second area A2, for example, by detecting breathing of the person M2 in the second area A2. Since the details of the determination step have already been explained, further explanation will be omitted. Thereafter, the determination device 14 displays the determination result on a display device (not shown).
  • the determination device 14 it is possible to obtain a new sensing technology for sensing a specific first region A1 such as the interior of an automobile. More specifically, the determination device 14 is based on the first to R-th received signals for each of the first to N-th subcarriers received by the first to R-th receiving antennas 12-1 to R-th receiving antennas 12-R. obtain the channel state information H1 to HN calculated by The channel state information H1 to HN is information between the first transmitting antenna 10-1 to T-th transmitting antenna 10-T and the first receiving antenna 12-1 to R-th receiving antenna 12-R in the first area A1. This is information indicating the state of the transmission path of electromagnetic waves. Therefore, the determining device 14 can make a determination related to the position of the object within the first area A1 based on the channel state information H1-HN.
  • the determination device 14 performs a determination related to the position of the object in the cabin (first area A1) of the automobile, while the second area A2 adjacent to the first area A1 It is possible to determine the presence or absence of the person M2 in .
  • the determination device 14 it is possible to obtain a new sensing technique for sensing a specific first region A1 such as the interior of an automobile.
  • FIG. 9 is a block diagram of the transmission/reception system 1a.
  • the transmission/reception system 1a differs from the transmission/reception system 1 in that it includes a determination device 14a and an arithmetic device 16 instead of the determination device 14.
  • the determination device 14a is a processing circuit such as a CPU or GPU.
  • the arithmetic device 16 is a processing circuit such as a CPU or GPU. In this way, the determination device 14a and the arithmetic device 16 are made of separate semiconductor integrated circuits.
  • Arithmetic device 16 generates channel state information H1 based on the first to R-th received signals of the first to N-th subcarriers received by first to R-th reception antennas 12-1 to R-th reception antennas 12-R. Calculate ⁇ HN.
  • the determination device 14a acquires the channel state information H1 to HN calculated by the calculation device 16.
  • FIG. As a result, the determination device 14a calculates based on the first to R-th received signals for each of the first to N-th subcarriers received by the first to R-th receiving antennas 12-1 to R-th receiving antennas 12-R. obtained channel state information H1 to HN (acquisition step).
  • the determination device 14a determines determination related to the position of the object in the first area A1 and the presence or absence of the person M2 in the second area A2 based on the channel state information H1 to HN acquired in the acquisition step. (decision step).
  • Other structures of the transmitting/receiving system 1a are the same as those of the transmitting/receiving system 1, so the description thereof is omitted.
  • the determination device 14 a has the same effects as the determination device 14 .
  • the determination device according to the present invention is not limited to the determination devices 14 and 14a, and can be modified within the scope of the gist thereof.
  • the determination devices 14 and 14a may determine the presence or absence of the person M2 in the second area A2 using a program other than the machine learning model in the determination step.
  • a program other than the machine learning model is, for example, a program related to template matching using template data.
  • the machine learning model may be a model that does not use teacher data.
  • the determination devices 14 and 14a can detect objects other than the person M2 existing in the second area A2. Objects other than the person M2 do not perform actions such as breathing, for example. Therefore, the determination devices 14 and 14a analyze hmn, for example, when the state of the electromagnetic wave W1 changes. Then, when the determination devices 14 and 14a determine that hmn does not include information indicating periodic movements of a person, it determines that the object existing in the second area A2 is not a person. As a result, the determination devices 14 and 14a can detect objects other than the person M2 existing in the second area A2. In this case, the object other than the person M2 is, for example, an inanimate object such as a utility pole or a guardrail.
  • determination devices 14 and 14a can detect creatures other than the person M2 existing in the second area.
  • the determination devices 14 and 14a may determine the presence or absence of the person M2 in the second area A2 by detecting actions other than the person's breathing.
  • Human motions other than breathing include, for example, walking and running.
  • the determination devices 14 and 14a make determinations related to the position of the object within the first region in the determination step. Therefore, the determination devices 14 and 14a may perform at least one of determination of the position of a person, determination of presence or absence of motion of a person, and determination of the position of an object other than a person as determination related to the position of an object. good.
  • part of the cabin of the vehicle may be made of a material that allows electromagnetic waves to pass through to the outside of the cabin.
  • the vehicle is equipped with a control device that controls travel.
  • the control device may perform travel control based on the determination result of the presence or absence of the person M2 in the second area A2.
  • the control device may perform traveling control so as to prevent contact between the vehicle and the person M2 based on the determination result of the presence or absence of the person M2 in the second area A2.
  • the control for preventing contact between the vehicle and the person M2 is, for example, brake control, steering wheel control, etc. by a control device.
  • the first area A1 may be the space inside the building.
  • the second area A2 is outside the building. Therefore, the determination devices 14 and 14a may determine the presence or absence of the person M2 outside the building.
  • first area A1 and the second area A2 may be in the same building.
  • the first area A1 is one of one or more rooms in the building (hereinafter referred to as the first room).
  • the second area A2 is a room adjacent to the first room (hereinafter referred to as a second room).
  • part of the first room and part of the second room may be made of a material that allows electromagnetic waves to pass therethrough.
  • the first area A1 is, for example, a closed space.
  • the first area A1 does not have to be a closed space.
  • the first area A1 and the second area A2 may be connected.
  • the first area A1 and the second area A2 are open windows or open windows. They may be connected via a door or the like.
  • first area A1 is the cabin of the vehicle and the second area A2 is outside the vehicle
  • first area A1 and the second area A2 are either an open window or an open window. may be connected via a door or the like.
  • the vehicle may be an open car without a roof.
  • the first area A1 and the second area A2 are as follows.
  • a vertical direction is defined as a direction parallel to the direction of gravity applied to the vehicle (open car).
  • the first area A1 is an area surrounded by the body of the open car when the open car is viewed in the vertical direction.
  • the second area A2 surrounds the first area A1 when the convertible is viewed vertically. At this time, the first area A1 and the second area A2 are connected.
  • the vehicle may be a vehicle other than an automobile.
  • Vehicles include, for example, trains, airplanes, rockets, helicopters, and ships.
  • the determination devices 14 and 14A can detect a suspicious person or the like approaching the vehicle, for example, when the vehicle is stored in a garage or the like.
  • the determination devices 14 and 14a output the determination result of the presence/absence of the person M2 in the second area A2 by voice through a speaker instead of displaying the determination result of the presence/absence of the person M2 in the second area A2 on the display device. good too.
  • the determination devices 14 and 14a may perform the determination step based on part of the channel state information H1 to HN among the channel state information H1 to HN. Also, the determination devices 14 and 14a may perform the determination step based on some components of the channel state information H1 to HN.
  • the determination devices 14 and 14a may perform determination steps based on the processed channel state information H1 to HN.
  • the processed channel state information H1 to HN is, for example, data obtained by removing high-frequency components from the channel state information H1 to HN so as to facilitate the determination step.
  • the determination devices 14 and 14a do not necessarily have a machine learning model.
  • a device such as a server different from the determination devices 14 and 14a may have the machine learning model.
  • the decision device 14, 14a sends channel state information to a device such as a server that has a machine learning model.
  • the determination devices 14 and 14a receive the determination result of the position of the object in the first area A1 or the determination result of the presence or absence of the person M2 in the second area A2 from a device such as a server.
  • the electromagnetic wave W1 reflected in the second area A2 can easily reach the first area A1. Therefore, by increasing the intensity of the electromagnetic wave transmitted by the transmitter 9, it becomes easier to detect the presence or absence of the person M2 in the second area A2.
  • the state of the electromagnetic wave transmission path shown in FIGS. 3 and 4 is an example. Therefore, the state of the electromagnetic wave transmission path when the determination devices 14 and 14a are actually used does not necessarily have to match the state of the transmission path shown in FIGS.
  • determination devices 14 and 14a do not necessarily have to use FFT to determine the presence or absence of the person M1 in the second area A2.
  • the determination devices 14 and 14a may determine whether or not the person M1 in the first area A1 is moving by calculating the phase of hmn. For example, the phase of hmn when the person M1 is moving may be different from the phase of hmn when the person M1 is breathing. In this case, the determination devices 14 and 14a can determine whether or not the person M1 is moving within the first area A1 by calculating the phase of hmn.
  • transmission/reception system 9 transmission devices 10-1 to 10-T: first transmission antenna to T-th transmission antenna 11: reception devices 12-1 to 12-R: first reception antenna to R-th reception antenna 14, 14a: Determining device 16: Arithmetic device A1: First area A2: Second area M1, M2: Human

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Environmental & Geological Engineering (AREA)
  • Geology (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

チャネル状態情報は、第1送信アンテナないし第T送信アンテナと第1受信アンテナないし第R受信アンテナとの間の電磁波の伝送経路の状態を示す情報である。判定装置は、第1受信アンテナないし第R受信アンテナが受信した第1サブキャリアないし第Nサブキャリア毎の信号に基づいて算出されたチャネル状態情報を取得する取得ステップと、取得ステップにおいて取得したチャネル状態情報に基づいて、第1領域内の物体の位置に関連する判定、及び、前記第1領域に隣接する第2領域における人の有無の判定を行う判定ステップと、を実行する。

Description

判定装置及び判定プログラム
 本発明は、特定の領域における人の有無を判定する判定装置及び判定プログラムに関する。
 従来の判定装置に関する発明としては、例えば、特許文献1に記載の送信装置が知られている。この送信装置は、電磁波を用いて周囲のセンシングを行う。具体的には、送信装置は、電磁波を用いて、歩行者や車両を検知する。
国際公開第2020/122220号
 ところで、特許文献1に記載の送信装置の分野では、自動車の車内等のような特定の領域をセンシングする新たなセンシング技術が望まれている。
 そこで、本発明の目的は、自動車の車内等のような特定の領域をセンシングする新たなセンシング技術を備える判定装置及び判定プログラムを提供することである。
 本願発明者は、自動車の車内等のような特定の領域をセンシングする新たなセンシング技術について検討を行った。そこで、本願発明者は、チャネル状態情報に着目した。チャネル状態情報は、電磁波の伝送経路の状態を示す情報である。このチャネル状態情報を用いれば、電磁波の伝送経路の詳細な情報が得られる。そのため、本願発明者は、チャネル状態情報を用いて、自動車の車内等のような特定の領域(以下、第1領域と称す)をセンシングすれば、第1領域内の物体の位置に関連する情報を取得できると考えた。ここで、本願発明者は、第1領域内において人が動作ないし呼吸をしたとき、電磁波の伝送経路の状態が、変化することに気が付いた。換言すれば、本願発明者は、第1領域内において人が動作ないし呼吸をしたとき、チャネル状態情報が変化することに気が付いた。従って、本願発明者は、チャネル状態情報を用いることによって、第1領域内における人の有無を判定できることに気が付いた。
 ところで、上記チャネル状態情報を用いたセンシング技術は、高いセンシング性能を有している。そのため、本願発明者は、第1領域の近くに位置している第2領域において人が存在している場合も、チャネル状態情報が変化することに気が付いた。具体的には、本願発明者は、第1領域の近くに位置している第2領域において人が動作ないし呼吸をしたとき、チャネル状態情報が変化することに気が付いた。従って、本願発明者は、上記チャネル状態情報を用いたセンシング技術によって、第1領域内の人の有無の判定に加えて、第1領域に隣接している第2領域における人の有無の判定を行えることに気が付いた。結果、本願発明者は、第1領域内の物体の位置に関連する判定、及び、第1領域に隣接する第2領域における人の有無の判定を一つの判定装置により行うという、新たなセンシング技術に思い至った。
 本発明に係る判定装置は、
 第1送信アンテナないし第T送信アンテナから電磁波により送信された第1サブキャリアないし第Nサブキャリアの信号を第1受信アンテナないし第R受信アンテナにおいて受信する送受信システムにおいて用いられる判定装置であって、
 N、T及びRは、1以上の整数であり、
 前記第1送信アンテナないし前記第T送信アンテナ及び前記第1受信アンテナないし前記第R受信アンテナは、第1領域に配置されており、
 チャネル状態情報は、前記第1送信アンテナないし前記第T送信アンテナと前記第1受信アンテナないし前記第R受信アンテナとの間の前記電磁波の伝送経路の状態を示す情報であり、
 前記判定装置は、
 前記第1受信アンテナないし前記第R受信アンテナが受信した前記第1サブキャリアないし前記第Nサブキャリア毎の信号に基づいて算出された前記チャネル状態情報を取得する取得ステップと、
 前記取得ステップにおいて取得した前記チャネル状態情報に基づいて、前記第1領域内の物体の位置に関連する判定、及び、前記第1領域に隣接する第2領域における人の有無の判定を行う判定ステップと、
 を実行する。
 本発明に係る判定プログラムは、
 第1送信アンテナないし第T送信アンテナから電磁波により送信された第1サブキャリアないし第Nサブキャリアの信号を第1受信アンテナないし第R受信アンテナにおいて受信する送受信システムの判定装置において実行される判定プログラムであって、
 N、T及びRは、1以上の整数であり、
 前記第1送信アンテナないし前記第T送信アンテナ及び前記第1受信アンテナないし前記第R受信アンテナは、第1領域に配置されており、
 チャネル状態情報は、前記第1送信アンテナないし前記第T送信アンテナと前記第1受信アンテナないし前記第R受信アンテナとの間の前記電磁波の伝送経路の状態を示す情報であり、
 前記判定プログラムは、
 前記第1受信アンテナないし前記第R受信アンテナが受信した前記第1サブキャリアないし前記第Nサブキャリア毎の信号に基づいて算出された前記チャネル状態情報を取得する取得ステップと、
 前記取得ステップにおいて取得した前記チャネル状態情報に基づいて、前記第1領域内の物体の位置に関連する判定、及び、前記第1領域に隣接する第2領域における人の有無を判定する判定ステップと、
 を前記判定装置に実行させる。
 本発明に係る判定装置によれば、自動車の車内等のような特定の領域をセンシングする新たなセンシング技術を備える判定装置を提供できる。
図1は、送受信システム1のブロック図である。 図2は、第1領域A1及び第2領域A2を示す斜視図である。 図3は、第1領域A1と第2領域A2と第2領域A2に位置している人M2とを示す斜視図である。 図4は、第1領域A1と第2領域A2と第1領域A1に位置している人M1と第2領域A2に位置している人M2とを示す上面図である。 図5は、第1領域A1に位置している人M1の動作時のhmnの振幅及び位相を示したグラフである。 図6は、第1領域A1に位置している人M1の呼吸時のhmnの振幅及び位相を示したグラフである。 図7は、第2領域A2に位置している人M2の呼吸時のhmnの振幅を示したグラフである。 図8は、第2領域A2に人M2が存在していないときのhmnの振幅を示したグラフである。 図9は、図7におけるhmnの振幅を示す波形をFFT処理した結果を示すグラフである。 図10は、図8におけるhmnの振幅を示す波形をFFT処理した結果を示すグラフである。 図11は、判定装置14が実行する動作を示したフローチャートである。 図12は、送受信システム1aのブロック図である。
(実施形態)
 以下に、本発明の一実施形態に係る判定装置14を備える送受信システム1の構造について図面を参照しながら説明する。図1は、送受信システム1のブロック図である。図2は、第1領域A1及び第2領域A2を示す斜視図である。図3は、第1領域A1と第2領域A2と第2領域A2に位置している人M2とを示す斜視図である。図4は、第1領域A1と第2領域A2と第1領域A1に位置している人M1と第2領域A2に位置している人M2とを示す上面図である。本実施形態では、第1領域A1は、ビークルのキャビンである。本実施形態では、第2領域A2は、ビークル外である。本実施形態において、第2領域A2は、第1領域A1に隣接している。本実施形態では、ビークルは、自動車である。ビークルは、窓を有している。
 送受信システム1は、自動車の無線LAN(Local Area Network)に用いられる。無線LANの方式は、例えば、Wi-Fi(登録商標)である。送受信システム1は、送信装置9、第1送信アンテナ10-1ないし第T送信アンテナ10-T、受信装置11、第1受信アンテナ12-1ないし第R受信アンテナ12-R及び判定装置14を備えている。T及びRは、1以上の整数である。このように、判定装置14は、送受信システムにおいて用いられる。送信装置9、第1送信アンテナ10-1ないし第T送信アンテナ10-T、受信装置11及び第1受信アンテナ12-1ないし第R受信アンテナ12-R及び判定装置14は、図1ないし図3に示すように、第1領域A1(ビークルのキャビン)に配置されている。送信装置9及び受信装置11は、無線LANのアクセスポイントである。
 送信装置9は、第1送信信号ないし第T送信信号を生成する。送信装置9は、第1送信信号ないし第T送信信号のそれぞれを第1送信アンテナ10-1ないし第T送信アンテナ10-Tのそれぞれに電磁波により送信させる。この際、第1送信信号ないし第T送信信号のそれぞれは、第1サブキャリアの信号ないし第Nサブキャリアの信号を含んでいる。Nは、1以上の整数である。第1サブキャリアの信号ないし第Nサブキャリアの信号は、OFDM(Orthogonal Frequency Division Multiplexing)に用いられる搬送波である。第1サブキャリアの信号ないし第Nサブキャリアの信号は、互いに直交した異なる周波数を有している。
 第1送信信号ないし第T送信信号は、反射を繰り返して伝送される。そして、第1受信アンテナ12-1ないし第R受信アンテナ12-Rは、第1受信信号ないし第R受信信号を受信する。第1受信信号ないし第R受信信号のそれぞれは、第1サブキャリアの信号ないし第Nサブキャリアの信号を含んでいる。第1受信信号ないし第R受信信号のそれぞれ(each)は、第1送信信号ないし第T送信信号を成分として含んでいる。以上のように、送受信システム1は、第1送信アンテナ10-1ないし第T送信アンテナ10-Tから電磁波により送信された第1サブキャリアないし第Nサブキャリアの信号を第1受信アンテナ12-1ないし第R受信アンテナ12-Rにおいて受信するシステムである。
 判定装置14は、受信装置11に通信可能に接続されている。判定装置14は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等の処理回路である。判定装置14は、第1受信アンテナ12-1ないし第R受信アンテナ12-Rが受信した第1サブキャリアないし第Nサブキャリアの第1受信信号ないし第R受信信号に基づいて、チャネル状態情報(CSI:Channel State Information)を算出する。チャネル状態情報は、第1送信アンテナ10-1ないし第T送信アンテナ10-Tと第1受信アンテナ12-1ないし第R受信アンテナ12-Rとの間の電磁波の伝送経路の状態を示す情報である。以下に、チャネル状態情報について説明する。
 第1送信アンテナ10-1ないし第T送信アンテナ10-Tが送信する第1送信信号ないし第T送信信号のそれぞれは、複素数であるx1ないしxTである。第1受信アンテナ12-1ないし第R受信アンテナ12-Rが受信する第1受信信号ないし第R受信信号のそれぞれは、複素数であるy1ないしyRである。このとき、x1ないしxT及びy1ないしyRは、式(1)ないし式(5)を満足している。
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
 iは、1以上N以下の整数である。 
 mは、1以上R以下の整数である。 
 nは、1以上T以下の整数である。 
 ||hmn||は、hmnの振幅である。 
 ∠hmnは、hmnの位相である。 
 niは、ノイズベクトルである。
 Hiは、第iサブキャリアのチャネル状態情報である。また、Hiに含まれる成分であるhmnは、第iサブキャリアにおける第m送信アンテナ10-mと第n受信アンテナ12-nとの間の電磁波の伝送経路の状態を示す。ここで、第iサブキャリアのチャネル状態情報Hiの算出について説明する。
 送信装置9は、第iサブキャリアの予め定められた波形を有する第1送信信号x1ないし第T送信信号xTを第1送信アンテナ10-1ないし第T送信アンテナ10-Tにより送信している。第1受信アンテナ12-1ないし第R受信アンテナ12-Rは、第iサブキャリアの第1受信信号y1ないし第R受信信号yRを受信する。これにより、判定装置14は、第iサブキャリアの第1受信信号y1ないし第R受信信号yRを取得する。
 上記のように、第1送信アンテナ10-1ないし第T送信アンテナ10-Tが送信する第iサブキャリアの第1送信信号x1ないし第T送信信号xTは、予め定められた波形を有する信号である。従って、判定装置14は、第iサブキャリアの第1受信アンテナ12-1ないし第R受信アンテナ12-Rからノイズniを除去すれば、式(1)を用いて、第iサブキャリアのチャネル状態情報Hiを算出することができる。判定装置14は、この計算を、第1サブキャリアないし第Nサブキャリアに対して行う。以上の動作により、判定装置14は、チャネル状態情報H1~HNを算出できる。
 ところで、人が呼吸及び動作を行っている時を人の動作時と呼ぶ。人が呼吸を行い、かつ、人が動作を行っていないときを人の呼吸時と呼ぶ。図5は、第1領域A1に位置している人M1の動作時のhmnの振幅及び位相を示したグラフである。図6は、第1領域A1に位置している人M1の呼吸時のhmnの振幅及び位相を示したグラフである。図5及び図6の縦軸は、振幅又は位相である。図5及び図6の横軸は、時刻である。図5及び図6は、自動車のリアシートに人M1が着席している時の実験結果である。
 第1領域A1内の人M1の有無及び人M1の位置により第1領域A1での電磁波の反射の状態が変化する。更に、第1領域A1内の人M1の動作の有無により第1領域A1での電磁波の反射の状態が変化する。前記の通り、チャネル状態情報Hiは、第1送信アンテナ10-1ないし第T送信アンテナ10-Tと第1受信アンテナ12-1ないし第R受信アンテナ12-Rとの間の電磁波の伝送経路の状態を示す情報である。従って、第1領域A1内の人M1の動作の有無により、チャネル状態情報Hiが変化する。人M1の動作時のチャネル状態情報Hiと人M1の呼吸時のチャネル状態情報Hiとは異なる。そのため、図5に示す人M1の動作時のhmnは、図6に示す人M1の呼吸時のhmnと異なる。
 より正確には、図5に示す人M1の動作時のhmnの振幅は、図6に示す人M1の呼吸時のhmnの振幅と異なる。本実施形態では、図5に示す人M1の動作時のhmnの振幅は、図6に示す人M1の呼吸時のhmnの振幅より大きい。そのため、判定装置14は、hmnの振幅を算出することにより、第1領域A1内の人M1の動作の有無を判定することができる。
 なお、第1領域A1内の物体(人M1)の位置が変化すると、チャネル状態情報Hiが変化する。従って、人M1の位置が変化すると、チャネル状態情報Hiが変化する。そこで、判定装置14は、hmnの振幅及びhmnの位相を算出することにより、第1領域A1内の人M1の位置を判定することができる。
 以上より、判定装置14は、hmnの振幅等を算出することにより、第1領域A1内の物体の位置に関連する判定を行うことができる。物体の位置に関連する判定とは、人M1の位置、人M1の動作の有無及び人M1以外の物の位置の判定である。
 また、判定装置14は、hmnの振幅等を解析することによって、第2領域A2における人M2の有無を判定することができる。換言すれば、本実施形態において、判定装置14は、ビークル外における人M2の有無を判定することができる。以下、図を参照しながら詳細に説明する。図7は、第2領域A2に位置している人M2の呼吸時のhmnの振幅を示したグラフである。図8は、第2領域A2に人M2が存在していないときのhmnの振幅を示したグラフである。図7及び図8の縦軸は、振幅である。図7及び図8の横軸は、時刻である。図7及び図8は、自動車内に人M1が存在しない時の実験結果である。図9は、図7におけるhmnの振幅を示す波形をFFT(Fast Fourier Transform)処理した結果を示すグラフである。図10は、図8におけるhmnの振幅を示す波形をFFT処理した結果を示すグラフである。図9及び図10の横軸は、周波数である。図9及び図10の縦軸は振幅である。
 まず、図2及び図3に示す様に、第2領域A2における物体の有無により電磁波の状態が変化する。具体的には、第2領域A2に物体が存在する場合に第1受信アンテナ12-1ないし第R受信アンテナ12-Rが受信する電磁波と、第2領域A2に物体が存在しない場合に第1受信アンテナ12-1ないし第R受信アンテナ12-Rが受信する電磁波とは、異なる。以下、詳細に説明する。
 図3に示す様に、第1送信アンテナ10-1ないし第T送信アンテナ10-Tから送信された電磁波W1は、ビークルの窓に到達する。窓は、電磁波を透過しやすい。従って、電磁波W1は、窓を介して第2領域A2へ進行する。ここで、第2領域A2に物体が存在する場合、電磁波W1は、第2領域A2に存在する物体に到達する。この場合、電磁波W1は、第2領域A2に存在する物体によって反射する。反射した電磁波W1は、第1領域A1へ到達する。第1領域A1に到達した電磁波W1は、例えば、第1領域A1内で反射を繰り返すことによって第1受信アンテナ12-1ないし第R受信アンテナ12-Rに到達する。一方、第2領域A2に物体が存在しない場合、電磁波W1は、第2領域A2において反射しない。従って、第2領域A2に物体が存在しない場合、電磁波W1は、第1受信アンテナ12-1ないし第R受信アンテナ12-Rに到達しない。
 上記に示す様に、第2領域A2における物体の有無により、電磁波W1の状態が変化する。換言すれば、第2領域A2に物体である人M2が存在する場合、電磁波W1の状態は、変化する。
 ここで、チャネル状態情報は、第1送信アンテナ10-1ないし第T送信アンテナ10-Tと第1受信アンテナ12-1ないし第R受信アンテナ12-Rとの間の電磁波の伝送経路の状態を示す情報である。従って、第2領域A2における人M2の有無により、チャネル状態情報Hiが変化する。すなわち、第2領域A2に人M2が存在するときのチャネル状態情報Hiと、第2領域A2に人M2が存在しないときのチャネル状態情報Hiとは異なる。そのため、図7に示す第2領域A2に人M2が存在しているときのhmn(以下、人存在時のhmnと称す)は、図8に示す第2領域A2に人M2が存在していないときのhmn(以下、人不在時のhmnと称す)と異なる。例えば、人M2は、呼吸等の周期的な動作を行う。従って、第2領域A2に人M2が存在している場合、人存在時のhmnは、人の周期的な動作を示す情報を含んでいる。人存在時のhmnは、例えば、人の周期的な動作である呼吸を示す周波数成分P1を含んでいる。この場合、図9に示すように、人存在時のhmnは、呼吸を示す約2Hzの周波数成分P1を含んでいる。
 一方、図8に示す人不存在時のhmnは、人の周期的な動作を示す情報を含んでいない。具体的には、図10に示すように、人の周期的な動作である呼吸を示す周波数成分P1を含んでいない。以上より、判定装置14は、hmnが人の周期的な動作を示す情報を含んでいるか否かを判定することによって、第2領域A2における人M2の有無を判定することができる。
 なお、上記説明では、判定装置14は、チャネル状態情報Hiのhmnを用いて、第1領域A1内の物体の位置に関する判定、及び、第2領域A2における人M2の有無を判定している。しかしながら、判定装置14は、チャネル状態情報H1~HNのh11~hRTを用いて、第1領域A1内の物体の位置に関する判定、及び、第2領域A2における人M2の有無を判定する。このように、チャネル状態情報の多くの成分が用いられることにより、判定装置14は、第1領域A1内の物体の位置に関する判定及び第2領域A2における人M2の有無を精度よく判定できる。
 本実施形態では、判定装置14は、機械学習モデルを用いて、第1領域A1内の物体の位置を判定する。具体的には、機械学習モデルは、チャネル状態情報と第1領域A1内の物体の位置との関係を示す教師データとして用いる。従って、機械学習モデルは、チャネル情報と第1領域A1内の物体の位置との関係を示す教師データにより、チャネル状態情報と第1領域A1内の物体の位置との関係を事前に学習している。そして、判定装置14は、判定装置14が算出したチャネル状態情報に対応する第1領域A1内の物体の位置を、機械学習モデルを用いて判定する。本実施形態では、判定装置14が、機械学習モデルを有している。
 更に、本実施形態では、判定装置14は、機械学習モデルを用いて、第2領域A2における人M2の有無を判定する。機械学習モデルは、チャネル状態情報と、第2領域A2に位置している人M2の動作と、の関係を教師データとして用いる。例えば、機械学習モデルは、第2領域A2において人M2が呼吸しているときのチャネル状態情報(以下、呼吸時チャネル状態情報と称す)を取得する。機械学習モデルは、呼吸時チャネル状態情報に含まれる特徴量を算出する。機械学習モデルは、算出した特徴量を、人の呼吸を示す特徴量として学習する。この場合、機械学習モデルは、取得ステップにおいて取得したチャネル状態情報に、人の呼吸を示す特徴量が含まれているか否かを判定する。機械学習モデルは、取得ステップにおいて取得したチャネル状態情報に人の呼吸を示す特徴量が含まれていると判定した場合、第2領域A2に人M2が存在すると判定する。なお、判定装置14は、1つの機械学習モデルを用いて第1領域A1内の物体の位置の判定及び第2領域A2における人M2の有無の判定を行ってもよいし、第1機械学習モデルを第1領域A1内の物体の位置の判定を用いて行い、第2機械学習モデルを用いて第2領域A2における人M2の有無の判定を行ってもよい。
 次に、判定装置14の動作について図面を参照しながら説明する。図11は、判定装置14が実行する動作を示したフローチャートである。図示しない記憶装置は、図11に示すフローチャートの判定プログラムを記憶している。そして、判定装置14は、この判定プログラムを記憶装置から読み出して実行する。
 判定装置14は、第1受信アンテナ12-1ないし第R受信アンテナ12-Rが受信した第1サブキャリアないし第Nサブキャリアの第1受信信号ないし第R受信信号に基づいて、チャネル状態情報H1~HNを算出する(算出ステップ・ステップS1)。算出ステップの詳細については、既に説明を行ったのでこれ以上の説明を省略する。これにより、判定装置14は、算出されたチャネル状態情報H1~HNを取得する(取得ステップ・ステップS2)。このように、ステップS2の取得ステップにおいて、判定装置14は、第1受信アンテナ12-1ないし第R受信アンテナ12-Rが受信した第1サブキャリアないし第Nサブキャリア毎の第1受信信号ないし第R受信信号に基づいて算出されたチャネル状態情報H1~HNを取得する。
 次に、判定装置14は、取得ステップにおいて取得したチャネル状態情報H1~HNに基づいて、第1領域A1内の物体の位置に関連する判定、及び、第2領域A2における人M2の有無を判定する(判定ステップ・ステップS3)。判定装置14は、判定ステップにおいて、例えば、第2領域A2における人M2の呼吸を検知することによって、第2領域A2における人M2の有無を判定する。判定ステップの詳細については、既に説明を行ったのでこれ以上の説明を省略する。この後、判定装置14は、図示しない表示装置に判定結果を表示する。
(効果)
 判定装置14によれば、自動車の車内等のような特定の第1領域A1をセンシングする新たなセンシング技術を得ることができる。より詳細には、判定装置14は、第1受信アンテナ12-1ないし第R受信アンテナ12-Rが受信した第1サブキャリアないし第Nサブキャリア毎の第1受信信号ないし第R受信信号に基づいて算出されたチャネル状態情報H1~HNを取得する。このチャネル状態情報H1~HNは、第1領域A1内の第1送信アンテナ10-1ないし第T送信アンテナ10-Tと第1受信アンテナ12-1ないし第R受信アンテナ12-Rとの間の電磁波の伝送経路の状態を示す情報である。従って、判定装置14は、チャネル状態情報H1~HNに基づいて、第1領域A1内の物体の位置に関連する判定を行うことができる。
 更に、第2領域A2に人M2が存在しているときのチャネル状態情報H1~HNと、第2領域A2に人M2が存在していないときのチャネル状態情報H1~HNとは異なる。従って、判定装置14は、チャネル状態情報H1~HNに基づいて、自動車のキャビン(第1領域A1)内の物体の位置に関連する判定を行いつつ、第1領域A1に隣接する第2領域A2における人M2の有無を判定できる。このように、判定装置14によれば、自動車の車内等のような特定の第1領域A1をセンシングする新たなセンシング技術を得ることができる。
(変形例)
 以下に、変形例に係る判定装置14aを備える送受信システム1aの構造について図面を参照しながら説明する。図9は、送受信システム1aのブロック図である。
 送受信システム1aは、判定装置14の代わりに判定装置14a及び演算装置16を備えている点において、送受信システム1と相違する。判定装置14aは、CPUやGPU等の処理回路である。演算装置16は、CPUやGPU等の処理回路である。このように、判定装置14aと演算装置16とは、別々の半導体集積回路により作製されている。
 演算装置16は、第1受信アンテナ12-1ないし第R受信アンテナ12-Rが受信した第1サブキャリアないし第Nサブキャリアの第1受信信号ないし第R受信信号に基づいて、チャネル状態情報H1~HNを算出する。判定装置14aは、演算装置16が演算したチャネル状態情報H1~HNを取得する。これにより、判定装置14aは、第1受信アンテナ12-1ないし第R受信アンテナ12-Rが受信した第1サブキャリアないし第Nサブキャリア毎の第1受信信号ないし第R受信信号に基づいて算出されたチャネル状態情報H1~HNを取得する(取得ステップ)。更に、判定装置14aは、取得ステップにおいて取得したチャネル状態情報H1~HNに基づいて、第1領域A1内の物体の位置に関連する判定、及び、第2領域A2における人M2の有無を判定する(判定ステップ)。送受信システム1aのその他の構造は、送受信システム1と同じであるので説明を省略する。判定装置14aは、判定装置14と同じ作用効果を奏する。
(その他の実施形態)
 本発明に係る判定装置は、判定装置14,14aに限らず、その要旨の範囲内において変更可能である。
 なお、判定装置14,14aは、判定ステップにおいて、機械学習モデル以外のプログラムを用いて、第2領域A2における人M2の有無を判定してもよい。機械学習モデル以外のプログラムとは、例えば、テンプレートデータを用いたテンプレートマッチングに係るプログラム等である。
 なお、機械学習モデルは、教師データが用いられないモデルであってもよい。
 なお、判定装置14,14aは、第2領域A2に存在している人M2以外の物体を検知することができる。人M2以外の物体は、例えば、呼吸等の動作を行わない。従って、判定装置14,14aは、例えば、電磁波W1の状態が変化したときに、hmnの解析を行う。そして、判定装置14,14aが、hmnは人の周期的な動作を示す情報を含んでいないと判定した場合、第2領域A2に存在している物体は人ではないと判定する。結果、判定装置14,14aは、第2領域A2に存在している人M2以外の物体を検知することができる。この場合、人M2以外の物体とは、例えば、電柱、ガードレール等の無生物である。
 なお、判定装置14,14aは、第2領域に存在している人M2以外の生物を検知することが出来る。
 なお、判定装置14,14aは、人の呼吸以外の動作を検知することによって、第2領域A2における人M2の有無を判定してもよい。呼吸以外の人の動作とは、例えば、歩行、走行等である。
 なお、判定装置14,14aは、判定ステップにおいて、前記第1領域内の物体の位置に関連する判定を行う。従って、判定装置14,14aは、物体の位置に関連する判定として、人の位置の判定、人の動作の有無の判定、及び、人以外の物の位置の判定の少なくとも一つを行ってもよい。
 なお、ビークルが自律走行する場合には、ビークルには窓が不要である。この場合、ビークルのキャビンの一部が電磁波をキャビン外に透過させることができる素材により作製されていればよい。
 なお、ビークルは、走行制御を行う制御装置を備えている。この場合、制御装置は、第2領域A2における人M2の有無の判定結果に基づいて、走行制御を行ってもよい。例えば、制御装置は、第2領域A2における人M2の有無の判定結果に基づいて、ビークルと人M2との接触を防ぐように走行制御を行ってもよい。ビークルと人M2との接触を防ぐような制御とは、例えば、制御装置によるブレーキ制御、ハンドル制御等である。
 なお、第1領域A1は、建物内部の空間でもよい。この場合、第2領域A2は、建物外である。従って、判定装置14,14aは、建物外における人M2の有無を判定してもよい。
 なお、第1領域A1と第2領域A2とが同じ建物内にあってもよい。例えば、第1領域A1は、建物内における1以上の部屋の内の1つ(以下、第1の部屋と称す)である。このとき、第2領域A2は、第1の部屋に隣接する部屋(以下、第2の部屋と称す)である。この場合、第1の部屋の一部と第2の部屋の一部とが、電磁波を透過させることができる素材により作製されていればよい。
 なお、第1領域A1は、例えば、閉空間である。ただし、第1領域A1は、閉空間でなくてもよい。この場合、第1領域A1と第2領域A2とは、繋がっていてもよい。例えば、第1領域A1が建物内部の空間である場合、且つ、第2領域A2が建物外である場合、第1領域A1と第2領域A2とは、開放されている窓又は開放されているドア等を介して繋がっていてもよい。
 同様にして、第1領域A1がビークルのキャビンである場合、且つ、第2領域A2がビークル外である場合、第1領域A1と第2領域A2とは、開放されている窓又は、開放されているドア等を介して繋がっていてもよい。
 なお、ビークルは、屋根を有さないオープンカーであってもよい。この場合、第1領域A1及び第2領域A2は、例えば、以下である。ビークル(オープンカー)に対して加わる重力方向に平行な方向を、上下方向と定義する。このとき、第1領域A1は、オープンカーを上下方向に見て、オープンカーの車体によって囲まれている領域である。この場合、第2領域A2は、オープンカーを上下方向に見て、第1領域A1の周囲を囲んでいる。このとき、第1領域A1と第2領域A2とは、繋がっている。
 なお、ビークルは、自動車以外の乗り物でもよい。ビークルは、例えば、電車、飛行機、ロケット、ヘリコプター、船舶等が挙げられる。この場合、判定装置14,14Aは、例えば、ビークルを車庫等に保管しているときに、ビークルに接近する不審者等を検知することができる。
 なお、判定装置14,14aは、第2領域A2における人M2の有無の判定結果を表示装置に表示する代わりに、第2領域A2における人M2の有無の判定結果をスピーカーにより音声で出力してもよい。
 なお、判定装置14,14aは、チャネル状態情報H1~HNの内の一部のチャネル状態情報H1~HNに基づいて、判定ステップを行ってもよい。また、判定装置14,14aは、チャネル状態情報H1~HNの一部の成分に基づいて、判定ステップを行ってもよい。
 なお、判定装置14,14aは、加工されたチャネル状態情報H1~HNに基づいて、判定ステップを行ってもよい。加工されたチャネル状態情報H1~HNとは、例えば、判定ステップが行いやすいように、チャネル状態情報H1~HNから高周波成分を除去したデータである。
 判定装置14,14aが必ずしも、機械学習モデルを有していなくてよい。例えば、判定装置14,14aと異なるサーバ等の装置が、機械学習モデルを有していてもよい。この場合、判定装置14,14aは、機械学習モデルを有しているサーバ等の装置へチャネル状態情報を送信する。判定装置14,14aは、第1領域A1内の物体の位置の判定結果、又は、第2領域A2における人M2の有無の判定結果をサーバ等の装置から受信する。
 なお、送信装置9によって送信される電磁波の強度を強くすることによって、第2領域A2において反射した電磁波W1が第1領域A1へ到達しやすくなる。従って、送信装置9によって送信される電磁波の強度を強くすることによって、第2領域A2における人M2の有無を検知しやすくなる。
 なお、図3及び図4に示した電磁波の伝送経路の状態は、一例である。従って、判定装置14,14aの実使用時における電磁波の伝送経路の状態は、必ずしも図3及び図4に示した伝送経路の状態と一致しなくてよい。
 なお、判定装置14,14aは、必ずしもFFTを用いて、第2領域A2における人M1の有無を判定しなくてよい。
 なお、判定装置14,14aは、hmnの位相を算出することにより、第1領域A1内の人M1の動作の有無を判定してもよい。例えば、人M1の動作時のhmnの位相と、人M1の呼吸時のhmnの位相とが異なる場合がある。この場合、判定装置14,14aは、hmnの位相を算出することによって、第1領域A1内の人M1の動作の有無を判定することが出来る。
1,1a:送受信システム
9:送信装置
10-1~10-T:第1送信アンテナないし第T送信アンテナ
11:受信装置
12-1~12-R:第1受信アンテナないし第R受信アンテナ
14,14a:判定装置
16:演算装置
A1:第1領域
A2:第2領域
M1,M2:人

Claims (10)

  1.  第1送信アンテナないし第T送信アンテナから電磁波により送信された第1サブキャリアないし第Nサブキャリアの信号を第1受信アンテナないし第R受信アンテナにおいて受信する送受信システムにおいて用いられる判定装置であって、
     N、T及びRは、1以上の整数であり、
     前記第1送信アンテナないし前記第T送信アンテナ及び前記第1受信アンテナないし前記第R受信アンテナは、第1領域に配置されており、
     チャネル状態情報は、前記第1送信アンテナないし前記第T送信アンテナと前記第1受信アンテナないし前記第R受信アンテナとの間の前記電磁波の伝送経路の状態を示す情報であり、
     前記判定装置は、
     前記第1受信アンテナないし前記第R受信アンテナが受信した前記第1サブキャリアないし前記第Nサブキャリア毎の信号に基づいて算出された前記チャネル状態情報を取得する取得ステップと、
     前記取得ステップにおいて取得した前記チャネル状態情報に基づいて、前記第1領域内の物体の位置に関連する判定、及び、前記第1領域に隣接する第2領域における人の有無の判定を行う判定ステップと、
     を実行する、
     判定装置。
  2.  前記判定装置は、
     前記第1受信アンテナないし前記第R受信アンテナが受信した前記第1サブキャリアないし前記第Nサブキャリアの信号に基づいて、前記チャネル状態情報を算出する算出ステップを、
     実行し、
     前記判定装置は、前記取得ステップにおいて、算出された前記チャネル状態情報を取得する、
     請求項1に記載の判定装置。
  3.  前記第1送信アンテナないし前記第T送信アンテナが送信する信号のそれぞれは、複素数であるx1ないしxTであり、
     前記第1受信アンテナないし前記第R受信アンテナが受信する信号のそれぞれは、複素数であるy1ないしyRで表され、
     x1ないしxT及びy1ないしyRは、式(1)ないし式(5)を満足しており、
    Figure JPOXMLDOC01-appb-M000001
    Figure JPOXMLDOC01-appb-M000002
    Figure JPOXMLDOC01-appb-M000003
    Figure JPOXMLDOC01-appb-M000004
    Figure JPOXMLDOC01-appb-M000005
     iは、1以上N以下の整数であり、
     mは、1以上R以下の整数であり、
     nは、1以上T以下の整数であり、
     Hiは、第iサブキャリアの前記チャネル状態情報であり、
     ||hmn||は、hmnの振幅であり、
     ∠hmnは、hmnの位相であり、
     niは、ノイズベクトルである、
     請求項1又は請求項2に記載の判定装置。
  4.  前記判定装置は、前記判定ステップにおいて、機械学習モデルを用いて、前記第2領域における人の有無を判定する、
     請求項1ないし請求項3のいずれかに記載の判定装置。
  5.  前記機械学習モデルは、前記チャネル状態情報と、前記第2領域に位置している人の動作と、の関係を教師データとして用いる、
     請求項4に記載の判定装置。
  6.  前記判定装置は、前記判定ステップにおいて、前記第2領域における人の呼吸を検知することによって前記第2領域における人の有無を判定する、
     請求項1ないし請求項5のいずれかに記載の判定装置。
  7.  前記第1領域内の物体の位置が変化すると、前記チャネル状態情報が変化する、
     請求項1ないし請求項6のいずれかに記載の判定装置。
  8.  前記第1領域は、ビークルのキャビンであり、
     前記第2領域は、前記ビークル外であり、
     前記判定装置は、前記ビークル外における人の有無を判定する、
     請求項1ないし請求項7のいずれかに記載の判定装置。
  9.  前記第1領域は、建物内部の空間であり、
     前記第2領域は、建物外であり、
     前記判定装置は、前記建物外における人の有無を判定する、
     請求項1ないし請求項7のいずれかに記載の判定装置。
  10.  第1送信アンテナないし第T送信アンテナから電磁波により送信された第1サブキャリアないし第Nサブキャリアの信号を第1受信アンテナないし第R受信アンテナにおいて受信する送受信システムの判定装置において実行される判定プログラムであって、
     N、T及びRは、1以上の整数であり、
     前記第1送信アンテナないし前記第T送信アンテナ及び前記第1受信アンテナないし前記第R受信アンテナは、第1領域に配置されており、
     チャネル状態情報は、前記第1送信アンテナないし前記第T送信アンテナと前記第1受信アンテナないし前記第R受信アンテナとの間の前記電磁波の伝送経路の状態を示す情報であり、
     前記判定プログラムは、
     前記第1受信アンテナないし前記第R受信アンテナが受信した前記第1サブキャリアないし前記第Nサブキャリア毎の信号に基づいて算出された前記チャネル状態情報を取得する取得ステップと、
     前記取得ステップにおいて取得した前記チャネル状態情報に基づいて、前記第1領域内の物体の位置に関連する判定、及び、前記第1領域に隣接する第2領域における人の有無を判定する判定ステップと、
     を前記判定装置に実行させる、
     判定プログラム。
PCT/JP2022/047898 2022-01-12 2022-12-26 判定装置及び判定プログラム WO2023136113A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023573960A JPWO2023136113A1 (ja) 2022-01-12 2022-12-26

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022002824 2022-01-12
JP2022-002824 2022-01-12

Publications (1)

Publication Number Publication Date
WO2023136113A1 true WO2023136113A1 (ja) 2023-07-20

Family

ID=87279049

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/047898 WO2023136113A1 (ja) 2022-01-12 2022-12-26 判定装置及び判定プログラム

Country Status (2)

Country Link
JP (1) JPWO2023136113A1 (ja)
WO (1) WO2023136113A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09274077A (ja) * 1996-04-04 1997-10-21 Maruyasu Kogyo Kk 物体移動感知装置
JP2011089812A (ja) * 2009-10-20 2011-05-06 Panasonic Corp 移動体識別装置、入退出管理システム及び移動体識別方法
CN104267439A (zh) * 2014-08-20 2015-01-07 哈尔滨工程大学 一种无监督人体检测与定位的方法
JP2019148428A (ja) * 2018-02-26 2019-09-05 三星電子株式会社Samsung Electronics Co.,Ltd. 人検出装置及び人検出方法
JP2020034511A (ja) * 2018-08-31 2020-03-05 アイシン精機株式会社 乗員検知装置
US20210135711A1 (en) * 2019-10-31 2021-05-06 Cognitive Systems Corp. Using mimo training fields for motion detection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09274077A (ja) * 1996-04-04 1997-10-21 Maruyasu Kogyo Kk 物体移動感知装置
JP2011089812A (ja) * 2009-10-20 2011-05-06 Panasonic Corp 移動体識別装置、入退出管理システム及び移動体識別方法
CN104267439A (zh) * 2014-08-20 2015-01-07 哈尔滨工程大学 一种无监督人体检测与定位的方法
JP2019148428A (ja) * 2018-02-26 2019-09-05 三星電子株式会社Samsung Electronics Co.,Ltd. 人検出装置及び人検出方法
JP2020034511A (ja) * 2018-08-31 2020-03-05 アイシン精機株式会社 乗員検知装置
US20210135711A1 (en) * 2019-10-31 2021-05-06 Cognitive Systems Corp. Using mimo training fields for motion detection

Also Published As

Publication number Publication date
JPWO2023136113A1 (ja) 2023-07-20

Similar Documents

Publication Publication Date Title
CN109557535B (zh) 用于使用毫米波雷达传感器的占用检测的***和方法
US11718255B2 (en) System and method for radar-based determination of a number of passengers inside a vehicle passenger compartment
US11012122B1 (en) Using MIMO training fields for motion detection
US20190231272A1 (en) Measuring apparatus, measuring method, and non-transitory computer-readable storage medium for storing program
JP2019518202A (ja) 物体追跡のための方法、装置、サーバ及びシステム
CN111656217A (zh) 用于虚拟孔径雷达跟踪的***和方法
US9961460B2 (en) Vibration source estimation device, vibration source estimation method, and vibration source estimation program
CN109358317B (zh) 一种鸣笛信号检测方法、装置、设备及可读存储介质
CN107811652B (zh) 自动调整参数的超声成像方法及***
CN110852200B (zh) 一种非接触式人体动作检测方法
Zhu et al. NotiFi: A ubiquitous WiFi-based abnormal activity detection system
CN114661142A (zh) 一种手势识别方法以及装置
CN108761445A (zh) 一种用于穿墙生命探测雷达的目标定位方法
US20180306917A1 (en) Method and system for spatial modeling of an interior of a vehicle
WO2023136113A1 (ja) 判定装置及び判定プログラム
JP2017211348A (ja) 軌跡推定装置、軌跡推定方法及びプログラム
CN113406613A (zh) 一种人员检测方法、装置、设备和存储介质
Kang et al. Body gesture recognition based on polarimetric micro-Doppler signature and using deep convolutional neural network
WO2023136114A1 (ja) 判定装置及び判定プログラム
Saucan et al. Marked Poisson point process PHD filter for DOA tracking
Liu et al. WiCrew: Gait-based crew identification for cruise ships using commodity WiFi
CN109425473A (zh) 一种针对轨道交通噪声的分析方法
JP2020010988A5 (ja)
JP2021071326A (ja) 信号処理システム、及びセンサシステム
WO2023136112A1 (ja) 演算装置および演算プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22920630

Country of ref document: EP

Kind code of ref document: A1