JP7456498B2 - 置き去り検知方法、置き去り検知装置、およびプログラム - Google Patents

Description

この発明は、自動車内における乳幼児の置き去りを検知する技術に関する。

近年、自動車内に置き去りにされた乳幼児の死亡事故が多く発生している。このような置き去りによる事故を防止するために、人感センサを用いた置き去り検知技術が提案されている（例えば、非特許文献１参照）。非特許文献１に記載の技術では、例えば赤外線センサや心拍センサ等により、自動車内の乳幼児の有無を検出する。自動車が停車しているときに乳幼児の存在が検出された場合には、例えば、アラームを鳴らしたり、ユーザやコールセンタへ通報したりする。

株式会社インプレス、"幼児の車内置き去り根絶へ。ヴァレオが大人やペットにも対応する専用車内レーダー開発"、［online］、［令和2年3月27日検索］、インターネット<URL: https://car.watch.impress.co.jp/docs/news/1184711.html>

しかしながら、通常、自動車内には人感センサとして用いることができるセンサは設置されていないため、新たに専用のセンサを設置する必要がある。新たなセンサの導入はコストアップに繋がるため、導入の障壁となる。

この発明の目的は、上記のような点に鑑みて、専用のセンサを設置することなく、自動車内における乳幼児の置き去りを検知することができる技術を提供することである。

上記の課題を解決するために、この発明の一態様の置き去り検知方法は、自動車内に設置されたマイクロホンにより収音された音響信号から乳幼児の泣き声を検知する置き去り検知方法であって、ピッチ抽出部が、音響信号からピッチ周波数を求め、判定部が、ピッチ周波数が予め定めた周波数帯に含まれるか否かを判定する。

この発明によれば、他の用途のために自動車内に一般的に設置されているマイクロホンを利用するため、専用のセンサを設置することなく、自動車内における乳幼児の置き去りを検知することができる。

図１は第１実施形態の置き去り検知装置の機能構成を例示する図である。 図２は第１実施形態の置き去り検知方法の処理手順を例示する図である。 図３はピッチ周期の検出を説明するための図である。 図４は変形例１の置き去り検知装置の機能構成を例示する図である。 図５は変形例１の白色化部の機能構成を例示する図である。 図６は第２実施形態の置き去り検知装置の機能構成を例示する図である。 図７は第３実施形態の置き去り検知装置の機能構成を例示する図である。 図８は第４実施形態の置き去り検知装置の機能構成を例示する図である。 図９はパワースペクトルの形状判定を説明するための図である。 図１０は変形例２の白色化部の機能構成を例示する図である。 図１１は第５実施形態の置き去り検知装置の機能構成を例示する図である。 図１２はコンピュータの機能構成を例示する図である。

以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

［第１実施形態］
この発明の第１実施形態は、自動車内に設置されたマイクロホンで収音した音響信号から乳幼児の泣き声を検出することで、自動車内における乳幼児の置き去りを検知する置き去り検知装置および方法である。ここでは、他の機能を実現するために既に自動車内に設置されているマイクロホンを利用することを想定する。他の機能とは、例えば、緊急通報やハンズフリー通話等が挙げられる。仮にマイクロホンを用いる他の機能を備えない自動車へ導入するとしても、これらの機能を想定した車載用マイクロホンは一般的に流通しているため、新たにマイクロホンを搭載することは大きなコストアップには繋がらない。

図１に示すように、第１実施形態の置き去り検知装置１００は、置き去り検知の対象とする自動車内に設置されたマイクロホンＭ１により収音された音響信号を入力とし、その音響信号に乳幼児の泣き声が含まれるか否かを示す検知結果を出力する。置き去り検知装置１００は、例えば、ピッチ抽出部１および判定部２を備える。ピッチ抽出部１は、例えば、自己相関部１１、ピーク検出部１２、および逆数計算部１３を備える。判定部２は、例えば、ピッチ判定部２１を備える。この置き去り検知装置１００が、図２に例示する各ステップの処理を行うことにより第１実施形態の置き去り検知方法が実現される。

置き去り検知装置１００は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。置き去り検知装置１００は、例えば、中央演算処理装置の制御のもとで各処理を実行する。置き去り検知装置１００に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。置き去り検知装置１００は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。

図２を参照して、第１実施形態の置き去り検知装置１００が実行する置き去り検知方法の処理手続きを説明する。

ステップＳ１において、マイクロホンＭ１は、自動車内の音を収音し、音響信号に変換する。マイクロホンＭ１で収音された音響信号は、置き去り検知装置１００へ入力される。置き去り検知装置１００に入力された音響信号（以下、「入力音響信号」とも呼ぶ）は、ピッチ抽出部１の自己相関部１１へ入力される。

ステップＳ１１において、ピッチ抽出部１の自己相関部１１は、入力音響信号から自己相関関数を求める。自己相関部１１は、求めた自己相関関数の情報をピーク検出部１２へ出力する。

ステップＳ１２において、ピッチ抽出部１のピーク検出部１２は、自己相関関数から入力音響信号のピッチ周期に相当するピークを検出する。具体的には、ピーク検出部１２は、図３に示すように、自己相関関数の値（以下、「自己相関値」とも呼ぶ）を時刻０から正の方向に順に見ていき、自己相関値が最初に０以下になった時刻以降であって、かつ、自己相関値が予め定めた閾値以上となる条件を満たす範囲で、最も時刻が早いピークを検出し、その時刻をピッチ周期として得る。ピーク検出部１２は、得たピッチ周期を逆数計算部１３へ出力する。

ステップＳ１３において、ピッチ抽出部１の逆数計算部１３は、入力されたピッチ周期の逆数を計算し、その計算結果を入力音響信号のピッチ周波数として得る。逆数計算部１３は、得たピッチ周波数を判定部２のピッチ判定部２１へ出力する。

ステップＳ２１において、判定部２のピッチ判定部２１は、入力されたピッチ周波数が予め定めた周波数帯（以下、「判定周波数帯」とも呼ぶ）に含まれる否かを判定する。ピッチ周波数が判定周波数帯に含まれる場合は、入力音響信号に乳幼児の泣き声が含まれると判定し、判定周波数帯に含まれない場合は、入力音響信号に乳幼児の泣き声が含まれないと判定する。判定周波数帯は、例えば、400Hz以上、600Hz未満に設定する。通常、大人の音声のピッチ周波数は100～300Hz程度である。そのため、判定周波数帯を上記のように設定すれば、大人の音声には反応せずに、乳幼児の泣き声や音声のみを検出することができる。ピッチ判定部２１は、判定結果を置き去り検知装置１００の出力とする。

［変形例１］
変形例１では、第１実施形態の置き去り検知装置１００において、マイクロホンＭ１が収音した音響信号を白色化した上で、乳幼児の泣き声を検出するように構成する。

図４に示すように、変形例１の置き去り検知装置１０１は、以下の点で第１実施形態の置き去り検知装置１００と異なる。ピッチ抽出部１は、白色化部１４をさらに備える。置き去り検知装置１０１に入力された音響信号は、白色化部１４へ入力される。白色化部１４の出力は、自己相関部１１へ入力される。

ピッチ抽出部１の白色化部１４は、入力音響信号の声道特性に相当する周波数を白色化する。すなわち、スペクトル包絡が白色となるように入力音響信号を処理する。このように処理することで、入力音響信号に声帯特性のみが残るため、より正確にピッチ周波数を求めることができる。白色化部１４は、ケプストラム係数の高次の係数のみを残して逆変換することで白色化を行うことができる。

白色化部１４の具体的な構成を、図５に例示する。白色化部１４は、周波数変換部１４１、二乗計算部１４２、対数計算部１４３、ケプストラム変換部１４４、高次係数抽出部１４５、ケプストラム逆変換部１４６、および指数計算部１４７を備える。

周波数変換部１４１は、入力音響信号を、数十ミリ秒から数秒程度のウインドウ長で、周波数領域へ変換する。二乗計算部１４２は、周波数領域の入力音響信号の各数値を二乗することで、パワースペクトルを得る。対数計算部１４３は、パワースペクトルを対数変換する。ケプストラム変換部１４４は、対数パワースペクトルを周波数変換することで、ケプストラムを得る。高次係数抽出部１４５は、ケプストラムの高次係数のみを抽出する。例えば、16kHzサンプリングの入力音響信号を1024サンプルのウインドウ長で、周波数変換しているときに、10次以上のケプストラム係数を高次係数として抽出する。ケプストラム逆変換部１４６は、ケプストラムの高次係数を逆周波数変換する。指数計算部１４７は、ケプストラム逆変換部１４６の出力を指数演算することで、スペクトル包絡が白色化されたパワースペクトル（以下、「白色化パワースペクトル」とも呼ぶ）を得る。指数計算部１４７は、白色化パワースペクトルを自己相関部１１へ出力する。

自己相関部１１は、白色化パワースペクトルを逆周波数変換することで、スペクトル包絡が白色化された自己相関関数を得る。

［第２実施形態］
第１実施形態では、音響信号のピッチ周波数を用いて乳幼児の泣き声を検出した。第２実施形態では、ピッチ周波数に加えて、ピッチ周期に相当する自己相関値を用いて乳幼児の泣き声を検出するように構成する。

図６に示すように、第２実施形態の置き去り検知装置１０２は、以下の点で第１実施形態の置き去り検知装置１００と異なる。ピッチ抽出部１は、ピッチ周期に相当する自己相関値（すなわち、ピーク検出部１２が検出したピークに対応する自己相関値）を出力する。判定部２は、自己相関判定部２２および論理積部２０をさらに備える。ピッチ抽出部１が出力した自己相関値は、判定部２の自己相関判定部２２へ入力される。ピッチ判定部２１および自己相関判定部２２の出力は、論理積部２０へ入力される。論理積部２０は、検知結果を出力する。ピッチ抽出部１は、白色化部１４を備えていてもよい。

自己相関判定部２２は、入力された自己相関値が予め定めた閾値（以下、「自己相関閾値」とも呼ぶ）を超えるか否かを判定する。自己相関値が自己相関閾値を超える場合は、入力音響信号に乳幼児の泣き声が含まれると判定し、自己相関閾値を超えない場合は、入力音響信号に乳幼児の泣き声が含まれないと判定する。自己相関閾値は、例えば、0.7～0.9程度に設定する。

論理積部２０は、ピッチ判定部２１の出力する判定結果と自己相関判定部２２の出力する判定結果との論理積を検知結果として出力する。すなわち、ピッチ判定部２１の判定結果と自己相関判定部２２の判定結果がいずれも入力音響信号に乳幼児の泣き声が含まれることを示すとき、入力音響信号に乳幼児の泣き声が含まれることを示す検知結果を出力する。

［第３実施形態］
第２実施形態では、音響信号のピッチ周波数およびピッチ周期に相当する自己相関値を用いて乳幼児の泣き声を検出した。第３実施形態では、さらに短時間平均パワーを用いて乳幼児の泣き声を検出するように構成する。

図７に示すように、第３実施形態の置き去り検知装置１０３は、以下の点で第２実施形態の置き去り検知装置１０２と異なる。置き去り検知装置１０３は、短時間平均パワー計算部３をさらに備える。判定部２は、パワー判定部２３をさらに備える。置き去り検知装置１０３に入力された音響信号は、短時間平均パワー計算部３へも入力される。短時間平均パワー計算部３の出力は、判定部２のパワー判定部２３へ入力される。パワー判定部２３の出力も、論理積部２０へ入力される。ピッチ抽出部１は、白色化部１４を備えていてもよい。

短時間平均パワー計算部３は、入力音響信号の短時間平均パワーを計算する。平均する時間は、予め数百ミリ秒から数秒に設定する。短時間平均パワー計算部３は、計算した短時間平均パワーをパワー判定部２３へ出力する。

パワー判定部２３は、入力された短時間平均パワーが予め定めた閾値（以下、「パワー閾値」とも呼ぶ）を超えるか否かを判定する。パワー閾値は、座席で乳幼児が泣き声を上げた際に短時間平均パワー計算部３の出力が十分に超える程度の値に設定される。短時間平均パワーがパワー閾値を超える場合は、入力音響信号に乳幼児の泣き声が含まれると判定し、パワー閾値を超えない場合は、入力音響信号に乳幼児の泣き声が含まれないと判定する。

論理積部２０は、ピッチ判定部２１の出力する判定結果と自己相関判定部２２の出力する判定結果とパワー判定部２３の出力する判定結果の論理積を検知結果として出力する。すなわち、ピッチ判定部２１の判定結果と自己相関判定部２２の判定結果とパワー判定部２３の判定結果のすべてが入力音響信号に乳幼児の泣き声が含まれることを示すとき、入力音響信号に乳幼児の泣き声が含まれることを示す検知結果を出力する。

［第４実施形態］
第２実施形態では、音響信号のピッチ周波数およびピッチ周期に相当する自己相関値を用いて乳幼児の泣き声を検出した。第４実施形態では、さらにパワースペクトルを用いて乳幼児の泣き声を検出するように構成する。

図８に示すように、第４実施形態の置き去り検知装置１０４は、以下の点で第２実施形態の置き去り検知装置１０２と異なる。置き去り検知装置１０４は、パワースペクトル計算部４をさらに備える。判定部２は、形状判定部２４をさらに備える。置き去り検知装置１０４に入力された音響信号は、パワースペクトル計算部４へも入力される。パワースペクトル計算部４の出力は、判定部２の形状判定部２４へ入力される。形状判定部２４の出力も、論理積部２０へ入力される。ピッチ抽出部１は、白色化部１４を備えていてもよい。

パワースペクトル計算部４は、入力音響信号のパワースペクトルを計算する。パワースペクトル計算部４は、計算したパワースペクトルを形状判定部２４へ出力する。

形状判定部２４は、入力されたパワースペクトルが予め定めた泣き声判定領域に含まれるか否かを判定する。パワースペクトルが泣き声判定領域に含まれる場合は、入力音響信号に乳幼児の泣き声が含まれると判定し、泣き声判定領域に含まれない場合は、入力音響信号に乳幼児の泣き声が含まれないと判定する。泣き声判定領域は、図９に示すように、パワースペクトルに含まれる異なる２つの周波数の関係から乳幼児の泣き声に相当する領域を予め定めたものである。

論理積部２０は、ピッチ判定部２１の出力する判定結果と自己相関判定部２２の出力する判定結果と形状判定部２４の出力する判定結果の論理積を検知結果として出力する。すなわち、ピッチ判定部２１の判定結果と自己相関判定部２２の判定結果と形状判定部２４の判定結果のすべてが入力音響信号に乳幼児の泣き声が含まれることを示すとき、入力音響信号に乳幼児の泣き声が含まれることを示す検知結果を出力する。

［変形例２］
第４実施形態の置き去り検知装置１０４において、ピッチ抽出部１における処理の途中で得られるパワースペクトルを用いるように構成してもよい。変形例２の置き去り検知装置は、パワースペクトル計算部４を備えず、図９に示す白色化部１５を備える。変形例２の白色化部１５は、変形例１の白色化部１４の各処理部に加えて、バンド集約部１４８を備える。バンド集約部１４８は、二乗計算部１４２の出力に対して、予め設定したバンド内で平均するバンド集約を行い、判定部２の形状判定部２４へ出力する。すなわち、白色化部１５は、白色化部１４とパワースペクトル計算部４の両方の機能を備える処理部である。

［変形例３］
第３実施形態と第４実施形態は組み合わせることが可能である。すなわち、変形例３の置き去り検知装置は、ピッチ抽出部１、判定部２、短時間平均パワー計算部３、およびパワースペクトル計算部４を備える。変形例３の判定部２は、ピッチ判定部２１、自己相関判定部２２、パワー判定部２３、および形状判定部２４を備える。変形例３の論理積部２０は、ピッチ判定部２１の出力する判定結果と自己相関判定部２２の出力する判定結果とパワー判定部２３の出力する判定結果と形状判定部２４の出力する判定結果の論理積を検知結果として出力する。すなわち、ピッチ判定部２１の判定結果と自己相関判定部２２の判定結果とパワー判定部２３の判定結果と形状判定部２４の判定結果のすべてが入力音響信号に乳幼児の泣き声が含まれることを示すとき、入力音響信号に乳幼児の泣き声が含まれることを示す検知結果を出力する。

［第５実施形態］
第５実施形態は、第１～４実施形態で求めたピッチ周波数、自己相関値、短時間平均パワー、およびパワースペクトルのすべてまたは一部を、ニューラルネットワーク等の識別器へ入力し、その出力値から判定を行うように構成する。

図１０に例示するように、第５実施形態の置き去り検知装置１０５では、判定部２がニューラルネットワーク２５および出力判定部２６を備える。ニューラルネットワーク２５は、ピッチ抽出部１の出力するピッチ周波数およびピッチ周期に相当する自己相関値と、短時間平均パワー計算部３の出力する短時間平均パワーと、パワースペクトル計算部４（またはピッチ抽出部１）の出力するパワースペクトルとのすべてまたは一部を入力とする。ニューラルネットワーク２５の出力は、出力判定部２６へ入力される。ニューラルネットワーク２５の係数は、予め自動車内で収集した音響信号を学習データとして、既知の機械学習の手法を用いて学習される。出力判定部２６は、ニューラルネットワーク２５の出力値を予め設定した閾値（以下、「識別閾値」とも呼ぶ）と比較する。ニューラルネットワーク２５の出力値が識別閾値を超える場合は、入力音響信号に乳幼児の泣き声が含まれると判定し、識別閾値を超えない場合は、入力音響信号に乳幼児の泣き声が含まれないと判定する。

ニューラルネットワーク２５が自己相関値を用いない場合、ピッチ抽出部１はピッチ周期に相当する自己相関値を出力しなくともよい。また、ニューラルネットワーク２５が短時間平均パワーまたはパワースペクトルを用いない場合、置き去り検知装置１０５は、短時間平均パワー計算部３またはパワースペクトル計算部４を備えなくともよい。

以上、この発明の実施の形態について説明したが、具体的な構成は、これらの実施の形態に限られるものではなく、この発明の趣旨を逸脱しない範囲で適宜設計の変更等があっても、この発明に含まれることはいうまでもない。実施の形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。

［プログラム、記録媒体］
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムを図１２に示すコンピュータの記憶部１０２０に読み込ませ、演算処理部１０１０、入力部１０３０、出力部１０４０などに動作させることにより、上記各装置における各種の処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体は、例えば、非一時的な記録媒体であり、磁気記録装置、光ディスク等である。

また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の非一時的な記憶装置である補助記録部１０５０に格納する。そして、処理の実行時、このコンピュータは、自己の非一時的な記憶装置である補助記録部１０５０に格納されたプログラムを一時的な記憶装置である記憶部１０２０に読み込み、読み込んだプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み込み、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (6)

1. 自動車内に設置されたマイクロホンにより収音された音響信号から乳幼児の泣き声を検知する置き去り検知方法であって、
   ピッチ抽出部が、前記音響信号からピッチ周波数を求め、
   判定部が、前記ピッチ周波数が予め定めた周波数帯に含まれるか否かを判定するものであり、
   前記ピッチ抽出部は、
   自己相関部が、前記音響信号から自己相関関数を求め、
   ピーク検出部が、前記自己相関関数の自己相関値が最初に０以下になる時刻以降、かつ、前記自己相関値が予め定めた閾値以上となる条件を満たす範囲で、最も時刻が早いピークの時刻をピッチ周期として検出し、
   逆数計算部が、前記ピッチ周期の逆数を前記ピッチ周波数として計算する、
   置き去り検知方法。
2. 請求項１に記載の置き去り検知方法であって、
   前記判定部は、前記ピッチ周期に対応する前記自己相関値が予め定めた自己相関閾値を超えるか否かをさらに判定する、
   置き去り検知方法。
3. 請求項１または２に記載の置き去り検知方法であって、
   前記判定部は、前記音響信号から計算された短時間平均パワーが予め定めたパワー閾値を超えるか否かをさらに判定する、
   置き去り検知方法。
4. 請求項１または２に記載の置き去り検知方法であって、
   前記判定部は、前記音響信号から計算されたパワースペクトルが予め定めた判定領域に含まれるか否かをさらに判定する、
   置き去り検知方法。
5. 自動車内に設置されたマイクロホンにより収音された音響信号から乳幼児の泣き声を検知する置き去り検知装置であって、
   前記音響信号からピッチ周波数を求めるピッチ抽出部と、
   前記ピッチ周波数が予め定めた周波数帯に含まれるか否かを判定する判定部と、を含み、
   前記ピッチ抽出部は、
   前記音響信号から自己相関関数を求める自己相関部と、
   前記自己相関関数の自己相関値が最初に０以下になる時刻以降、かつ、前記自己相関値が予め定めた閾値以上となる条件を満たす範囲で、最も時刻が早いピークの時刻をピッチ周期として検出するピーク検出部と、
   前記ピッチ周期の逆数を前記ピッチ周波数として計算する逆数計算部と、
   を含む置き去り検知装置。
6. 請求項１から４のいずれかに記載の置き去り検知方法の各ステップをコンピュータに実行させるためのプログラム。

Images