JP2019148428A

JP2019148428A - 人検出装置及び人検出方法

Info

Publication number: JP2019148428A
Application number: JP2018031485A
Authority: JP
Inventors: 利浩北島; Toshihiro Kitajima; エドワード村上; Edward Murakami
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2018-02-26
Filing date: 2018-02-26
Publication date: 2019-09-05

Abstract

【課題】CSIの振幅情報だけを用いて効果的に人検出を行う。【解決手段】複数のアンテナ、複数のアンテナに結合され、チャネル状態情報（ＣＳＩ）を含む無線ＬＡＮ規格に準拠した通信を行うよう構成された複数の送信器、及び複数の受信器、及び複数のアンテナによって受信されたＣＳＩの振幅に基づいて、近傍に人がいるかどうかの判断をする検出器を備える。【選択図】図１

Description

本開示は、人を検出する装置及び方法に関する。

人がいることを検出するさまざまな方法がある。非特許文献１は、CSI(Channel State Information、チャネル状態情報)の位相情報を用いて人検出を行う。

Liangyi Gong, Wu Yang, Dapeng Man, Guozhong Dong, Miao Yu and Jiguang Lv,"WiFi-Based Real-Time Calibration-Free Passive Human Motion Detection," Sensors, 2015

本願の発明者らはCSIの振幅情報だけを用いて効果的に人検出を行うことができることを見出した。

人検出装置は、複数のアンテナ、前記複数のアンテナに結合され、チャネル状態情報（ＣＳＩ）を含む無線ＬＡＮ規格に準拠した通信を行うよう構成された複数の送信器、及び複数の受信器、及び前記複数のアンテナによって受信された前記ＣＳＩの振幅に基づいて、近傍に人がいるかどうかの判断をする検出器を備える。

人検出方法は、複数のアンテナに結合され、チャネル状態情報（ＣＳＩ）を含む無線ＬＡＮ規格に準拠した通信を行うよう構成された複数の送信器、及び複数の受信器を用いる方法であって、前記複数のアンテナによって受信された前記ＣＳＩの振幅に基づいて、近傍に人がいるかどうかの判断をすることを含む。

CSIの振幅情報だけを用いて効果的に人検出を行うことができる。

人検出装置の構造を示す図である。各サブキャリアにおいて作成された閾値の一例を示す図である。人検出装置の構造を示す図である。各サブキャリアにおいて作成された閾値と、受信データの瞬時値の一例を示す図である。約１５分間のデータの一例を示す図である。図５のデータに対して移動和をとったデータを示す図である。図６のプロットの最小値との差分を５分間合計し、最小値で割った値のプロットを示す図である。人がいる場合の主成分分析（ＰＣＡ）の第２成分のプロットを示す図である。人がいない場合のＰＣＡの第２成分のプロットを示す図である。図８及び図９の値の二乗平均平方根の値をプロットした図である。機械学習を用いる人検出装置の構造を示す図である。

本開示による人検出では、無線LAN（ローカルエリアネットワーク）の規格であるWiFi（登録商標）の電波を用いる。具体的には、本来はビームフォーミング技術に使用されるCSIを用いて人検出を行う。

WiFiとして普及している無線LAN規格のIEEE 802.11n、IEEE 802.11acでは、送信機と受信機で複数のアンテナを用いるMIMO(Multiple Input Multiple Output)伝送の適用により通信速度を向上させている。複数のアンテナを用いることによりビームフォーミングが可能となる。ビームフォーミングは、同じ位相だと強め合い、逆の位相だと打ち消し合う電波の性質を利用する。実際の環境では、様々な物体で複雑に電波の反射、散乱、回折が生じるため、送信機では信号が受信機までどのように伝搬するかわからない。そのため、ビームフォーミング技術では受信機から受信した信号の振幅や位相といった伝搬路に関する情報、すなわちCSIを利用することで効率的な送信を実現している。OFDM(Orthogonal Frequency Division Multiplexing、直交周波数分割多重方式)により変調するとデータは複数の周波数であるサブキャリアに分割される。CSIは各サブキャリアの状態を表し、以下の数式1で表される。

H(f_k)=||H(f_k)||e^j∠H(fk)−−−(1)
ここでH(f_k)は複素数で表現され、周波数f_k, k∈[1,30]のサブキャリアにおけるCSIを表している。||H(f_k)||及び∠H(f_k)は、H(f_k)の振幅及び位相をそれぞれ表している。

図１は、人検出装置１００の構造を示す図である。人検出装置１００は、アクセスポイント１９０と無線ＬＡＮ規格（例えばWiFiのIEEE 802.11n、IEEE 802.11ac）に準拠した通信を行う。

送信機群１１０は、アンテナ群１１２を介して、一定間隔でアクセスポイント１９０に向けてデータを送信する。送信機群１１０は、複数の送信機を含み、例えば３つの送信機を含み得る。アンテナ群１１２は、複数のアンテナを含み、例えば３つのアンテナを含み得る。送信機群１１０が使用する電波の周波数帯は、WiFi規格である2.4GHz帯又は5GHz帯である。

データを受信したアクセスポイント１９０は、人検出装置１００に向けてデータを送信する。受信機群１２０は、アンテナ群１２２を介して、データを受け取る。受信機群１２０は、複数の受信機を含み、例えば３つの受信機を含み得る。アンテナ群１２２は、複数のアンテナを含み、例えば３つのアンテナを含み得る。受信機群１２０によって受信されたデータは、伝搬路に関する情報であるCSIを含む。

本実施形態では、受信機群１２０は、事前に人がいない状態でのCSIデータを取得する。記憶回路１３０は、このデータを記憶する。

検出器１４０は、受信機群１２０からの信号１２４と、記憶回路１３０によって記憶されていた信号１３４とを比較することによって、人を検出する。

本実施形態では、人がいない状態のCSI（「背景データ」という）と、人が動いている状態のCSIとの相違点を検出することによって人検出を行う。ここで背景データは、事前に取得した一定時間の長さを持ったデータである。CSIの各サブキャリアにおける振幅は、人が動いたときには大きく変化する。これは主に、人体によって電波の反射、散乱等が起きるためである。そこで、現フレームの振幅と一つ前のフレームとの振幅の差分を計算することにより、振幅の変化を検出することができ、すなわち、人がいることを検出できる。時刻tにおけるCSIをH_t(f_k)とすると差分D_t(f_k)は、以下の数式2で表される。

D_t(f_k)=√((||H_t(f_k)||-||H_t-1(f_k)||)²)−−−(2)
背景データの各サブキャリアにおいて差分値D_t(f_k)を計算し、サブキャリア毎に時系列でのばらつき具合を表す標準偏差δを算出する。各サブキャリアにおける値のばらつき具合が正規分布で近似できると仮定して、背景データの平均値±３δを閾値として採用する。正規分布における±３δは、全体の99.7%の領域を表している。

図２は、各サブキャリアにおいて作成された閾値の一例を示す図である。図２において、縦軸は振幅の変化を表し、横軸はサブキャリアを表す。図２のプロットMax及びMinは、現フレームの振幅と一つ前のフレームとの振幅の差分を、背景データの登録フェーズにおいて、５分〜１０分の平均をとったものである。背景データの登録は、例えばユーザが人検出装置１００を購入し設置した時に、１回だけ行えばよい。図２のプロットMax及びMinは、隣接フレーム間でのサブキャリアの振幅の変化に対応する。

事前に取得された背景データによる閾値と、現時刻tの差分D_t(f_k)を比較し、差分D_t(f_k)の方が閾値より大きければ、人が存在すると判断する。例えば、プロットD_t(f_k)が、図２のプロットMax及びMinの間に完全に収まっているときは人が存在しないと判断する。逆に、プロットD_t(f_k)の少なくとも一部が、図２のプロットMax及びMinの間から出ているときは人が存在すると判断する。

CSIは複数個(30〜128)のサブキャリアの情報を持っているが、使用できるデータ数は送信機と受信機のアンテナ数によって変化する。送信機が３つ、受信機が３つの場合は3×3×30=270で最大270個のデータが使用できる。上記の閾値判断処理をすべてのサブキャリアについて行い、１つのサブキャリアで閾値を超えることがあれば人が存在すると判断する。すなわち、検出器１４０は、複数のアンテナによって受信されたCSIの振幅に基づいて、近傍に人がいるかどうかの判断をする。

コントローラ１５０は、送信機群１１０によって送信されるデータの周期を決定する。コントローラ１５０は、検出器１４０による人検出の結果に応じて、送信周期を例えば20Hz、30Hz等と変化させる。例えば、人が検出されたときは、コントローラ１５０は、送信周期を短くし、人が検出されないときは、コントローラ１５０は、送信周期を長くしてもよい。これにより人が検出されないときは、人検出装置１００の消費電力を低減することができる。コントローラ１５０は、送信周期を変化させなくてもよい。

検出器１４０は、検出した結果を表す信号を出力ノード１４２から、例えば、接続されている外部機器に出力する。この信号に応じて、外部機器は、例えば、機器の状態を変化させることができる。例えば、人検出装置１００がテレビに接続されている場合、人が検出されなくなったとき（すなわちテレビの前から人がいなくなったとき）にテレビの電源をオフにする等の動作を行う。

従来技術では電波受信強度であるRSSI（Received Signal Strength Indication、受信信号強度）を使用して人検出を行っていた。しかし従来技術では、WiFi電波を送信する機器とアクセスポイントとの間を人が通過した場合しか人検出が成功しなかった。これに対して本実施形態では、伝搬路に関する情報であるCSIを利用することにより、WiFi機器（人検出装置１００）とアクセスポイントとの距離が1mと近く、かつ人が２つの装置から離れた場所にいても人を検出することができる。

図３は、人検出装置３００の構造を示す図である。人検出装置１００は、事前に人がいない状態でのデータを背景データとして登録していた。人検出装置３００は、背景データを使用せずに人検出を行う。検出器３４０及び記憶回路３３０以外は、人検出装置１００とほぼ同じである。

図４は、各サブキャリアにおいて作成された閾値と、受信データ３２４の瞬時値の一例を示す図である。図４において、縦軸は振幅の変化を表し、横軸はサブキャリアを表す。ここではサブキャリア数は５６であるが、これには限定されず使用するWiFiチップによって異なる数であってもよい。人検出装置３００では、アンテナ群１１２として２本の送信アンテナTx1、Tx2が用いられ、アンテナ群１２２として２本の受信アンテナRx1、Rx2が用いられる。アンテナの本数は、これには限定されず、任意の適切な本数のアンテナを送信及び受信に用いてよい。

プロットRx1は、送信アンテナTx1から受信アンテナRx1へのパス（Tx1:Rx1と表す）における振幅の変化（瞬時値）を表す。プロットRx2は、送信アンテナTx1から受信アンテナRx2へのパス（Tx1:Rx2と表す）における振幅の変化（瞬時値）を表す。人検出装置３００と、アクセスポイント１９０との距離は1mである。人検出装置３００が検出しようとする対象である人は、これら２つの装置から離れた場所でテレビを視聴したり、新聞を読んだりするような、比較的、動きの少ない動作を行っている。

プロットRx1max及びRx1minは、受信アンテナRx1で受信された電波の振幅変化の、所定期間における最大値及び最小値をそれぞれ表す。プロットRx2max及びRx2minは、受信アンテナRx2で受信された電波の振幅変化の、所定期間における最大値及び最小値をそれぞれ表す。振幅変化は、現在のフレームの振幅と、１フレーム前のフレームの振幅との差分をとることによって求められる。

検出器３４０は、受信した信号３２４のノイズを除去する。ノイズ除去は、時系列での過去所定数のフレーム群のデータに対して、例えばメディアンフィルタ又は平均化処理を施す。これによりスパイク状のノイズは除去され得る。加えて検出器３４０は、１〜５６の各サブキャリアの値の平均値を算出する。検出器３４０は、その平均値を信号３３４として記憶回路３３０に送る。記憶回路３３０は、信号３３４をそのフレームにおける代表値として保存する。送信アンテナ２本及び受信アンテナ２本が用いられるときは、２×２で４つのデータが存在するため、信号３３４は１フレームにつき、４つのデータを表す。記憶回路３３０は、ある程度、長い期間（例えば５分又は１５分等）にわたるデータを記憶する。

図５は、約１５分間のデータの一例を示す図である。図５で、横軸は、時間に対応するフレーム数（１フレーム＝５０ｍｓ）を表し、縦軸は、振幅を表す。アンテナ毎の４つのデータを表示している。パスTx1:Rx1及びTx2:Rx1では、人ありのプロットは、人なしのプロットよりも振幅が大きい。パスTx1:Rx2及びTx2:Rx2では、人ありのプロットは、人なしのプロットと同程度の振幅である。よってあるパスについて振幅差があるときは、人がいると判断できる。

図６は、図５のデータに対して移動和をとったデータを示す図である。図６では、人がいる場合といない場合の違いが強調できるように、１分間の振幅値の合計を求めてプロットしている。この場合は振幅データの周期は20Hzなので、1200フレーム分の振幅値の合計がプロットされている。図６では破線で表した閾値を用いて、人の有無の判断を行うことができる。図６の場合、パスTx1:Rx1及びTx2:Rx1において閾値を超えているプロットがあるので、人がいると判断できる。

図７は、図６のプロットの最小値との差分を５分間合計し、最小値で割った値のプロットを示す図である。図７の処理では、図６のグラフにおいて、人の有無による違いをより強調させる。図６のデータでは人がいる場合の方がデータの起伏が多く、山のように見える部分の面積が大きい。この山の部分の面積を算出することにより、違いを強調させる。図６のデータは１分間のデータを積算したものであるが、１５分間のデータの中で積算値の最小値を取得する。最小値はアンテナ毎に取得するので、この場合は４つ存在する。図６のデータとその最小値との差分をとり、５分間のデータ数の合計値を算出し、その合計値を最小値で割った値を順次グラフにプロットすると図７のようになる。

図６のグラフではTx1:Rx2とTx2:Rx2は閾値で分離できなかったが、図７では４つのアンテナすべてで閾値により人の有無が判断できる。さらに４つのアンテナとも同じ閾値が利用でき、閾値調整の煩雑さがなくなるという効果を奏する。図７の差を強調する処理によれば、動きが強調されるので、閾値で人の有無を判断しやすい。

図８は、人がいる場合の主成分分析（ＰＣＡ）の第２成分のプロットを示す図である。図９は、人がいない場合のＰＣＡの第２成分のプロットを示す図である。図８及び９において、縦軸は、第２成分での大きさを表し、横軸は、時間に対応するフレーム数を表す。

図８のデータを得るために、検出器３４０は、ＰＣＡを用いて次元の圧縮を行う。これにより、事前の背景データを取得することなく、人検出を行うことができる。検出器３４０は、アンテナ毎の１５分間のデータを使用する。入力データは、サブキャリア数の５６をデータ個数とし、次元数は１５分間のデータ数に相当する19000とした。これによればＰＣＡの第２成分において人の有無による違いが表れた。

図８に示されるように、人がいる場合は、人の動きによってＰＣＡの第２成分の値が変化する。これに対して、人がいない場合は、ほぼ一定で変化しない。

図８及び図９の値はバラツキがあるため、数式3を用いて二乗平均平方根を算出する。

RMS[x]=√((Σ(xi)²)/N)−−−(3)
ここでΣはi=1, ... , Nの総和である。１分間のデータを用いて平均化するため、数式3のNは1200となる。

図１０は、図８及び図９の値の二乗平均平方根の値をプロットした図である。図１０では、人がいない場合は値の変化があまりなく、グラフは平らである。これに対して人がいる場合は、値の変化する箇所が多く、その変化の幅も大きい。これらの値の１５分間の標準偏差を計算すると、人がいる場合は0.0051であり、人がいない場合は0.0012となり、明確な差が見られる。これを閾値により区別することにより、人の有無が判断できる。

この実施形態では主成分分析の第２成分を用いたが、第１成分、第３成分、第４成分、又は第５成分を用いてもよい。また、主成分分析を行うデータは１５分間のデータを用いたが、時間は、１５分より短くてもよく、長くてもよい。閾値処理をする際に標準偏差の替わりに図１０のグラフの平均勾配を用いても良い。平均勾配は起伏の激しいグラフでは値が高くなり、平らなグラフでは値が低くなるので、人の有無の判断に利用できる。

図１１は、機械学習を用いる人検出装置１１００の構造を示す図である。人検出装置１１００は、例えば深層学習のような機械学習を用いて人検出を行う。学習は、人検出を行う前に行われる。事前学習時には、学習部１１３０は、受信機群１２０からデータを受け、人がいるときの教師データ、及び人がいないときの教師データを基に学習を行う。実際に人検出を行う際には、学習部１１３０で生成されたフィルタ、又は特徴量を基に検出器１４０で人検出を行う。深層学習の手法はＣＮＮ(Convolution Neural Networks)やＲＮＮ(Recurrent Neural Networks)を用いる。ＣＮＮを用いる場合には、受信信号を図４のようにグラフにプロットすることにより画像信号として扱う。画像を入力とすることにより、画像認識で多く使用されているＣＮＮを利用することができる。ＲＮＮを用いる場合は、信号の値をそのまま入力する。機械学習を用いることにより、より高精度な人検出が可能となる。

上述の実施形態における様々な機能ブロックは、ハードウェア、ソフトウェア、又は、ハードウェア及びソフトウェアの組み合わせによって実現できる。

１００人検出装置
１１０送信機群
１１２アンテナ群
１２０受信機群
１２２アンテナ群
１２４信号
１３０記憶回路
１３４信号
１４０検出器
１４２出力ノード
１５０コントローラ
１９０アクセスポイント

Claims

複数のアンテナ、
前記複数のアンテナに結合され、チャネル状態情報（ＣＳＩ）を含む無線ＬＡＮ規格に準拠した通信を行うよう構成された複数の送信器、及び複数の受信器、及び
前記複数のアンテナによって受信された前記ＣＳＩの振幅に基づいて、近傍に人がいるかどうかの判断をする検出器
を備える人検出装置。
前記検出器は、背景データとの差分をとることによって前記判断をする請求項１に記載の人検出装置。
前記検出器は、各サブキャリアの平均値をとることによって前記判断をする請求項１に記載の人検出装置。
前記検出器は、主成分分析によって前記判断をする請求項１に記載の人検出装置。
前記検出器は、深層学習によって前記判断をする請求項１に記載の人検出装置。
複数のアンテナに結合され、チャネル状態情報（ＣＳＩ）を含む無線ＬＡＮ規格に準拠した通信を行うよう構成された複数の送信器、及び複数の受信器を用いる人検出方法であって、
前記複数のアンテナによって受信された前記ＣＳＩの振幅に基づいて、近傍に人がいるかどうかの判断をすること
を含む人検出方法。
前記判断をすることは、背景データとの差分をとることを含む、請求項６に記載の人検出方法。
前記判断をすることは、各サブキャリアの平均値をとることを含む、請求項６に記載の人検出方法。
前記判断をすることは、主成分分析をすることを含む、請求項６に記載の人検出方法。
前記判断をすることは、深層学習をすることを含む、請求項６に記載の人検出方法。