JP2004272048A

JP2004272048A - 運転者状態判定装置、および運転者状態判定装置用プログラム

Info

Publication number: JP2004272048A
Application number: JP2003064584A
Authority: JP
Inventors: Daisuke Saito; 大介斎藤; Okihiko Nakayama; 沖彦中山; Takeshi Ono; 健大野
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2003-03-11
Filing date: 2003-03-11
Publication date: 2004-09-30

Abstract

【課題】音声データから運転者の負荷状態を判定する。
【解決手段】取得した運転者の音声データから特徴量を抽出する音声特徴量抽出手段１００３と、音声特徴量抽出手段１００３により抽出された特徴量から運転者の負荷状態を判定する運転者状態判定手段１００６と、を有する。
【選択図】図１

Description

【０００１】
【技術分野】
本発明は、車両に搭載され、運転者の負荷を判定する運転者負荷判定装置及び運転者負荷判定装置用プログラムに関する。
【０００２】
【背景技術】
近年、運転者が行うべき車両制御や運転者に対する情報の提供は、より高度化・複雑化する傾向にある。こうした中で、運転者が正確な制御操作を行えるように、運転者の負荷が過剰とならないように監視するシステムの必要性が高まってきている。
【０００３】
運転者の精神的負荷を運転操作量（例えば、ペダル操作やハンドル操作）から求めるという方法もあるが、同一操作でも運転者が実際に感じる負荷は、運転者の運転技量等に応じて異なり、これらを一律に判断することは難しい。
【０００４】
これに対し、運転者固有の精神的負荷を判定する手段として、特開２００２−１０９９５号公報には、心拍及び呼吸等の生体信号からストレスを推定できることを利用し、心拍信号の拍動間隔（ＲＲ−Ｉｎｔｅｒｖａｌ：ＩＩＲ）の分散値及び拍動周波数比、そして呼吸周波数及び呼吸周波数分散値といった複数の生体信号を用いることにより、運転者の負荷判定を行うという装置が記載されている。
【０００５】
しかしながら、この装置では、検出対象となる拍動間隔及び心拍数に車室内で発生した別の電気的ノイズが混入し、負荷判定を正確に行うことができないという問題があった。また、運転者の姿勢に応じて検出される生体信号が変化してしまうため、運転中の生体信号を正確に検出することができないという不都合があった。
【０００６】
【従来の技術】
【特許文献１】
特開２００２−１０９９５号公報
【０００７】
【発明の開示】
本発明は、運転者の発話する音声データから、運転者の負荷を判定する運転者負荷判定装置および運転者負荷判定装置用プログラムを提供することを目的とする。
この発明によれば、取得した運転者の音声データから特徴量を抽出する音声特徴量抽出手段と、前記音声特徴量抽出手段により抽出された特徴量から運転者の負荷状態を判定する運転者状態判定手段と、を有する運転者状態判定装置および運転者負荷判定装置用プログラムを提供することができる。
この装置およびプログラムにより、運転者の個人差、および運転者の状況に応じて変化する運転者の負荷状態を正確に判定することができる。
【０００８】
【発明の実施の形態】
第１実施形態
以下、本発明の実施形態を図面に基づいて説明する。
図１は、第１実施形態の運転負荷装置１００の構成を示す図である。
本実施形態の運転者状態判定装置１００は、少なくとも、取得した運転者の音声データから特徴量を抽出する音声特徴量抽出手段１００３と、音声特徴量抽出手段１００３により抽出された特徴量から運転者の負荷状態を判定する運転者状態判定手段１００６とを有している。具体的には、少なくとも、音声の特徴量を抽出するプログラムと、運転者状態を判定するプログラムとを格納したＲＯＭと、このＲＯＭに格納されたプログラムを実行することで、音声特徴量抽出手段１００３、運転者状態判定手段１００６として機能するＣＰＵと、情報を記憶するＲＡＭとを備えている。
【０００９】
本実施形態の運転者状態判定手段１００６は、運転者の音声データの特徴量と運転者の負荷状態とを対応づけた負荷判定データ１０１０を参照して、音声特徴量抽出手段１００３により抽出された特徴量から運転者の負荷状態を判定する。
【００１０】
負荷判定データ１０１０は、音声データの特徴量または特徴変化量と運転者の負荷状態とが対応づけられたデータである。負荷判定データ１０１０は、運転者状態判定手段１００６からの読み込みを受け付ける。負荷判定データ１０１０は記憶装置３００に記憶されていてもよいし、運転者状態判定手段１００６の演算回路に実装されていてもよい。
【００１１】
また、運転者状態判定装置１００には、運転者の発話する音声入力を受け付ける音声入力部（マイク）１００１と入力された音声をディジタル信号に変換するＡ／Ｄ変換部１００２とが併設されている。
【００１２】
運転者状態判定装置１００は、運転負荷の判定結果を運転サポートシステムその他の外部装置２００へ向けて送出する。
【００１３】
以下、運転者状態判定装置１００の構成を図１に基づいて説明する。
音声特徴量抽出手段１００３は、運転者の音声データから特徴量を抽出する。本実施形態の音声特徴量抽出手段１００３は、一般的な音声認識機能を有する。すなわち、音声特徴量抽出手段１００３は、図示しない音響解析部、音響モデル、言語モデル、音声照合部を有し、ユーザが発話した音声を認識する機能を備えている。音声データ取得からマッチング、音声認識に至る処理は、一般的な音声認識処理を用いることができるとし、ここでは説明を省略する。なお、付言すると、一般的な音声認識処理では音響データから声道特性すなわちピッチ情報を破棄し、認識処理を行っているが、本実施形態ではピッチ情報を利用するため、認識用の情報とは別にピッチ情報を取得・保持する機能を有している。
【００１４】
音声特徴量抽出手段１００３は、少なくとも、音声データ取得部１００４と、特徴量抽出部１００５とを有している。
【００１５】
音声データ取得部１００４は、音声入力部１００１、Ａ／Ｄ変換部１００２を介して運転者の発話音声に係る音声データを取得する。音声データ取得部１００４は、取得した音声データを特徴量抽出部１００５に送出する。この際、本実施形態では、取得した音声データを無条件で特徴抽出部１００５に送出するのではなく、取得した音声データが後述の特徴量の抽出処理を可能にするだけの十分なパワーを持っている場合にのみ、音声データを特徴量抽出部１００５へ送出する。
【００１６】
音声入力部１００１は、少なくとも１以上のマイクロフォンによって構成され、少なくとも運転者の発話を検出する。運転者の発話を正確に検出する観点から、マイクアレー等による話者検出などの手段を備えて精度を向上させることが好ましい。本実施形態では、少なくとも運転者状態判定装置１００の運転者状態判定機能が起動している場合に音声検出を行う。その他、音声認識機能が起動している場合、音声認識機能を備えたナビゲーション機能が起動している場合に音声入力部１００１に収音処理を行わせてもよい。また、音声入力部１００１は、車室内の騒音レベルを検出するための他のマイクロフォンを備えてもよい。この場合、音声入力部１００１は、車室内の騒音レベルを基準に、運転者の発話にかかる音声データを識別することができる。Ａ／Ｄ変換部１００２は、音声入力部１００１からの入力音声信号を所定のサンプリング周波数によって、アナログ信号からディジタル信号に変換する。
【００１７】
特徴量抽出部１００５は、取得した音声データから音声データを特徴づけるとともに運転者の精神的負担によって変化する「音声データの特徴要素」をパラメータとして抽出する。本実施形態では、音声データを特徴づける特徴要素として、少なくとも「音節時間長」、「ポーズ長」、「ポーズ頻度」、「不要語頻度」、「音声エネルギー」、「音声ピッチ」を用いる。その他にも、いわゆる「言いよどみ」に属する（上記以外の）発話の特徴、発話音声の言語的な差異、発話音声の音声エネルギー的な差異、発話の音響的な差異を、特徴要素として用いることができる。
【００１８】
ここで、本実施形態で抽出する各「音声データの特徴要素」について説明する。
【００１９】
「音節長」は認識された１つの音節の時間的長さをいう。発話される音が引き伸ばされると「音節長」は長くなる。「音節長」を特徴要素としたのは、発話者（運転者）のタスク量（動作量）が増加すると、発話者の精神的負荷が重くなるため、発話に対する集中力が相対的に減少するため、発話において音の引伸ばしが多くなるという観察結果に基づく。
【００２０】
「ポーズ長」は有音区間と次の有音区間との間に形成された無音区間の長さである。発話中に無音区間の時間が長くなると、「ポーズ長」は長くなる。「ポーズ頻度」は所定発話量に対する所定時間より長い無音区間の発生回数、又は所定時間内における無音区間の発生回数である。発話中に無音区間が頻発すると「ポーズ頻度」は高くなる。「ポーズ長」「ポーズ頻度」を特徴要素としたのは、タスク量が増加すると発話者（運転者）の感じる精神的負荷が増加し、発話に対する集中力が相対的に減るため、発話中に発話が途切れ、無音区間が長くなる又は多くなるという観察結果に基づく。
【００２１】
「不要語頻度」は、「えーと」「あのー、」「あっ」などの不要な言葉が発話された頻度である。所定の発話量において不要語が発話された回数、または所定の時間内において不要語が発話された回数で示される。「不要語頻度」を特徴要素としたのは、タスク量が増加すると発話者（運転者）の感じる精神的負荷が増加し、発話に対する集中力が相対的に減るため、発話中に「えーと」「あのー」などの意味のない言葉が多く発せられるようになるという観察結果に基づく。ちなみに「不要語」とは間投詞ともいわれ、内容的に意味を有さないが、会話全体においては心的状態の表出、発話権の保持において意義を有する言語である。
【００２２】
「音声エネルギー」は音声データの音声振幅の絶対値の二乗の値をいう。「音声エネルギー」を特徴要素としたのは、発話者（運転者）のタスク量が急激に増加した場合、たとえば、突発的に発生した危険を回避するための操作をしたときには、声が大きくなり、音声エネルギーが増大する傾向があるという観察結果に基づく。
【００２３】
「音声ピッチ」は音声データの基本周波数に関する情報である。基本周波数の値は音声の高低を示す要素であり、有声音の声帯振動に応じる値である。「音声ピッチ」を特徴要素としたのは、発話者の緊張状態の変化に応じて音声ピッチが変化するという観察結果に基づく。
【００２４】
本実施形態の特徴量抽出部１００５は、以上説明した５つの特徴要素を抽出するため、音節を抽出する音節抽出部１００５１と、ポーズ抽出部１００５２と、不要語抽出部１００５３と、音声エネルギー抽出部１００５４と、ピッチ抽出部１００５５とを有している。これらについては後に詳述する。
【００２５】
運転者状態判定手段１００６は、音声特徴量抽出手段１００３により抽出された特徴量から運転者の負荷状態を判定する。運転者状態判定手段１００６は、音声データの特徴量から運転者の負荷状態を判定することもできるし、音声データの特徴量の基準特徴量に対する変化量から運転者の負荷状態を判定することもできる。すなわち、音声特徴量抽出手段１００３により抽出された特徴量の値、特徴量の大小、特徴量の変化、特徴量の変化の大小、その他の特徴量の算出結果から運転者状態を判定する。
【００２６】
運転者状態判定手段１００６は、少なくとも、音声特徴量抽出手段１００３により抽出された特徴量の、基準特徴量に対する変化量を特徴変化量として算出する特徴変化量算出部１００７と、この算出された特徴変化量から運転負荷の判定を行う運転者負荷判定部１００８とを有している。
【００２７】
本実施形態の特徴変化量算出部１００７は、基準特徴量１００９を取得する。基準特徴量１００９は記憶装置３００に記憶されていてもよいし、特徴変化量算出処理回路に実装されていてもよい。この基準特徴量は、運転者の負荷状態を判定するために予め任意に設定することができる。負荷状態を判定する観点から、基準特徴量は運転者の負荷状態がない状態における音声データの特徴量であることが好ましい。たとえば、運転者の非運転時における音声データから抽出された特徴量を基準特徴量とすることが好ましい。この基準特徴量は、運転者個人ごとに実験を行い運転者ごとの運転者別基準特徴量１００９１としてもよいし、一般的な運転者を想定した標準的基準特徴量１００９２としてもよい。
【００２８】
図２には、特徴量抽出部１００５と特徴変化量算出部１００７との関係を示した。先述したように、特徴変化量算出部１００７は、音声データの特徴量の、基準特徴量に対する変化量を算出する。
【００２９】
特徴量抽出部１００５は、抽出する特徴量（特徴要素）に応じて、音節抽出部１００５１と、ポーズ抽出部１００５２と、不要語抽出部１００５３と、音声エネルギー抽出部１００５４と、音声ピッチ抽出部１００５５とを有している。
【００３０】
音節抽出部１０５１は、音節を切り出し、音節の開始点および終了点を検出する音節検出部１００５１ａと音節の開始点から終了点までの時間的長さを算出する音節長算出部１００５１ｂとを有している。
【００３１】
ポーズ抽出部１００５２は、音節を識別し、音節と音節との間に形成される無音区間（ポーズ）を検出するポーズ検出部１００５２ａと、ポーズの時間的長さを算出するポーズ長算出部１００５２ｂと、ポーズの単位時間あたりの発生頻度（または所定音声データ量あたりの発生頻度）を算出するポーズ頻度算出部１００５２ｃとを有している。
【００３２】
不要語抽出部１００５３は、いわゆる予め定義された不要語を音声データ内から検出する不要語検出部１００５３ａと、不要語の単位時間あたりの発生頻度（または所定音声データ量あたりの発生頻度）を算出する不要語頻度算出部１００５３ｂとを有している。
【００３３】
音声エネルギー抽出部１００５４は、音声データの振幅の絶対値から音声エネルギーを検出する音声エネルギー検出部１００５４ａを有している。
【００３４】
音声ピッチ抽出部１００５５は、音声の基本周波数から音声ピッチを検出する音声ピッチ検出部１００５５ａを有している。
【００３５】
特徴変化量算出部１００７は、抽出された音声の特徴量の基準特徴量に対する変化量である「特徴変化量」を算出する。本実施形態では、特徴量抽出部１００５により抽出された「特徴量」から「基準特徴量」を差し引くことによって「特徴変化量」を算出する。この「特徴変化量」は各種特徴要素ごと算出されるため、特徴変化量算出部１００７は、上述した特徴量抽出部１００５の各構成（１００５１から１００５５）に対応する、音節長変化量算出部１００７１と、ポーズ長変化量算出部１００７２ａと、ポーズ頻度変化量算出部１００７２ａと、不要語頻度変化量算出部１００７３と、音声エネルギー変化量算出部１００７４と、ピッチ変化量算出部１００７５とを有している。
【００３６】
これら各算出部（１００７１〜１００７５）が算出する特徴変化量は、運転者の非運転時の特徴量に対する変化量、または標準的な運転者の非運転時の特徴量に対する変化量である。この変化量の算出は、抽出された「特徴量」から「運転者基準特徴量１００９１」又は「標準基準特徴量１００９２」を差し引くことにより行われる。
【００３７】
算出された特徴量の変化量は、特徴変化量算出部１００７から運転者負荷判定部１００８へ向けて送出される。
【００３８】
運転者負荷判定部１００８は、特徴変化量算出部１００７により算出された特徴変化量に基づいて、負荷判定データ１０１０を参照して運転者の負荷状態を判定する。
【００３９】
「負荷判定データ１０１０」は、運転者の負荷状態と当該運転者の音声データの特徴量または特徴変化量とを予め対応づけたデータである。
具体的には、運転者が発話した音声データの特徴変化量と、発話者が運転で実際に感受する負荷度の評価値（負荷の大きさを値で示したもの）とを対応づけたデータである。この対応関係は、実験から統計的に求めることが好ましい。例えば、運転負荷を段階的に変えながら、被験者（運転者）が発話した音声データの特徴量または特徴量の変化量を記録する。負荷の大きさは運転者が実際に感得したものであってもよいし、運転者に与えるタスク（操作）の数に応じたものであってもよい。具体例として、特徴量のうち音声ピッチに関する負荷判定データを後に説明する図１０に示す。
【００４０】
負荷判定データ１０１０には「運転者別負荷判定データ１０１１」および／または「標準負荷判定データ１０１２」が含まれる。「運転者別負荷判定データ１０１１」は、各運転者ごとのの音声データの特徴量又は特徴変化量とその運転者の負荷状態とを対応づけたデータであり、運転者個人の音節長、ポーズ長、ポーズ発生頻度、不要語の発生頻度、音声エネルギー、音声ピッチ等の特徴要素ごとに規定されている。「運転者別負荷判定データ」を参照して運転者の負荷状態を判定することにより、運転者の口調のくせなどを考慮した正確な判定を行うことができる。「標準負荷判定データ１０１２」は、特定の運転者ではなく標準的な運転者の音声データの特徴量又は特徴変化量（音節長、ポーズ長、ポーズ発生頻度、不要語の発生頻度、音声エネルギー、音声ピッチを含む）と運転者の負荷状態との関係を統計的に対応づけたデータである。「標準負荷判定データ」を参照することにより、多くのサンプルから作成された標準的な（適用範囲の広い）判定基準に基づいて運転者の負荷状態を判定することができる。なお、不要語の発生頻度、音声エネルギー量、音声ピッチは個人差が発現しやすいため、「運転者別負荷判定データ１０１１」を参照することが好ましい。一方、音節長やポーズ時間は、発話者の個人差が発現しにくいため、標準負荷判定データ１０１２」を参照することが好ましい。
【００４１】
運転者負荷判定部１００８は、判定結果を外部装置２００へ送出する。この判定結果は運転者の負荷状態を段階的な数値として示してもよいし、負荷状態を負荷が全くない状態を１００％とした指数として示してもよい。
外部装置２００は、たとえば運転サポートシステムや、警告システムや、ナビゲーション装置、オーディオ装置などの運転負荷に応じた制御を行うことのできる装置である。具体的には、運転者の負荷状態が高いと判定された場合、外部装置１００は、運転サポートシステムによるサポート体制の強化、警告システムによる警告や休憩要性の報知、駐停車できる場所（地図）の指示、リラックスできる音楽への出力切り替えなどを行う。
【００４２】
次に、以上のように構成された運転者状態判定装置１００の動作を説明する。
【００４３】
図３は、基本的な動作を説明するためのフローチャート図である。
【００４４】
ステップＳ３００１では、音声データ取得部１００４が音声入力部１００１で検出され、Ａ／Ｄ変換部１００２で変換された音声信号を取得する。ステップＳ３００２では、取得した音声データの音声エネルギー量が閾値Ａを超えるか否かを判定する。この閾値は任意に設定することができるが、Ｓ３００２以降の音声特徴量抽出の処理に必要な音声エネルギー量とする。
【００４５】
ステップＳ３００３では、特徴量抽出部１００５において、音声データの特徴要素を抽出する。本実施形態において抽出する特徴要素は、音節長、ポーズ長、ポーズ頻度、不要語頻度、音声エネルギー、および音声ピッチである。
【００４６】
ステップＳ３００４では、発話の継続を確認する。すなわち、ステップＳ３００３において抽出された音声エネルギーが閾値Ｂ未満となっていないことを確認する。発話の継続が確認できたらＳ３００５へ進む。
【００４７】
ステップＳ０３０５では、音声特徴量抽出手段１００３が各種特徴要素に関する特徴量を取得する。取得した特徴量は運転者状態判定手段１００６へ送出する。
【００４８】
ステップＳ３００６では、車両が走行状態であるか否かを確認する。車両の走行状態を確認できた場合には運転者状態の判定処理を継続し、車両が停止状態である場合には処理終了へ向かう。
【００４９】
ステップＳ３００７では、運転者状態判定手段１００６の特徴変化量算出部１００７が基準特徴量を取得する。ステップＳ３００８では、特徴変化量算出部１００７がステップＳ３００４で抽出した特徴量と、ステップＳ３００７で取得した基準特徴量とから、基準特徴量に対する抽出された特徴量の変化量（特徴変化量）を算出する。
【００５０】
本実施形態の特徴変化量算出部１００７は、音節長、ポーズ長、ポーズ頻度、不要語頻度、音声エネルギー、音声ピッチの６つの特徴量から運転負荷を総合的に判定する。具体的には、各特徴量に応じて設けられた算出部１００７１〜１００７５（図２）によって算出された、音節長変化量をｓｈｉｆｔＡ，ポーズ長変化量をｓｈｉｆｔＢ，ポーズ頻度変化量をｓｈｉｆｔＣ，不要語頻度変化量をｓｈｉｆｔＤ，音声エネルギー変化量をｓｈｉｆｔＥ，音声ピッチ変化量ｓｈｉｆｔＦから、総合変化量ｔｏｔａｌＳｈｉｆｔを下式に従い算出する。
【００５１】
【数１】

係数ａ，ｂ，ｃ，ｄ，ｅ，ｆがそれぞれの特徴量に関する重み付けであり、運転者の状態、たとえば精神的負荷に対する影響度が大きい特徴量には、大きな係数（重み付け）を与える。
【００５２】
ステップＳ３００９では、運転者負荷判定部１００８が負荷判定データ１０１０を取得する。ステップＳ３０１０では、算出された特徴変化量に基づいて負荷判定データ１０１０を参照して、運転者状態を判定し、判定結果を外部装置１００（図１）に向けて送出する。
【００５３】
続いて、特徴量抽出部１００５が有する音節抽出部１００５１、ポーズ抽出部１００５２、不要語抽出部１００５３、音声エネルギー抽出部１００５４、音声ピッチ抽出部１００５５の動作について図４〜図１１に基づいて説明する。
【００５４】
図４は、音節抽出部１００５１の動作を示すフローチャート図である。
このフローでは、音節に関する特徴量を取得する。具体的には、音節検出部１００５１ａが音節を検出し、音節長算出部１００５１ｂが音節長を算出する。
【００５５】
ステップＳ４００１では音節に関する情報を含む音声データを取得する。ステップＳ４００２では、発話された音声データから有音区間のデータを取得する。この有音区間のデータは、音声データ取得部１００４により所定の音声エネルギー以上の音声データとして選択され、送出されたものである。ステップＳ４００３では送出された音声データを順次走査し、音声データのスペクトルを音節に関する標準的な音節スペクトルとパターンマッチングする。音節スペクトルにマッチする音声データの入力があった場合には（Ｓ４００４）、音節の検出と判断し、Ｓ４００５へ進む。Ｓ４００５では、検出された音節の区間（始点から終端まで）の時間長を求める。この処理は有音区間の終端を検出するまで繰り返される（Ｓ４００６）。求めた音節長を抽出された特徴量として特徴変化量算出部１００７へ送出する。
【００５６】
この処理のよれば、たとえば、負荷のない標準時における「ちょっと待っていただけますか」という発話から、「ちょーっと待っていただけますかー」（“ー”が音節引き伸ばし）という発話に変化したことから、音声データの音節長が変化したことを検出することができる。
【００５７】
図５は、ポーズ抽出部１００５２の動作を示すフローチャート図である。
このフローでは、ポーズに関する特徴量を取得する。具体的には、ポーズ検出部１００５２ａがポーズを検出し、ポーズ長算出部１００５２ｂがポーズ長を算出する。ここでは、音声データのうち有音区間ではなく無音区間を抽出処理の対象とし、有音区間の終端を無音区間の始点として本処理を行う。
【００５８】
無音区間には、発話が行われていないために無音である区間と、発話中に言葉が詰まったために無音となる区間とがある。後者の無音区間が抽出の対象である「ポーズ」である。本形態では、無音状態の継続時間を基準として無音区間から「ポーズ」を検出する。これは、「ポーズ」は瞬間的に言葉が詰まった状態で無音区間が短いのに対し、発話がされていない「無発話」は無音区間が長いという違いを利用したものである。具体的には、無音区間が「ポーズ」であると認められる最大時間を閾値ＴＨｅｎｄと定義し、この閾値ＴＨｅｎｄよりも長い無音区間は「無発話」の無音区間であり、この閾値ＴＨｅｎｄよりも短い無音区間は「ポーズ」の無音区間であると定義する。このＴＨｅｎｄは、予め負荷状態における音声データを収集して統計的に求めた値である。
【００５９】
ステップＳ５００１では、閾値ＴＨｅｎｄを取得する。ステップＳ５００２では、ポーズ時間長を計測するためのタイマＴＨｐｏｓｅを初期化し、タイマ計測を開始する。有音区間を検出するまではポーズタイマＴＨｐｏｓｅを加算する（Ｓ５００３，Ｓ５００４）。有音区間を検出した場合は、タイムカウントを終了する（Ｓ５００５）。
【００６０】
ステップＳ５００６では、ポーズタイマＴＨｐｏｓｅの値が閾値ＴＨｅｎｄより短い場合、検出した無音区間はポーズであると判断し、ポーズタイマＴＨｐｏｓｅの値をポーズ時間として取得する（５００７）。取得したポーズ時間は抽出した特徴量として特徴変化量算出部１００７へ送出される。一方、ポーズタイマＴＨｐｏｓｅの値が閾値ＴＨｅｎｄ以下の場合、無音区間はポーズではなく発話の終了と判断し、本処理を終了する（Ｓ５５０８）。
【００６１】
この処理のよれば、たとえば、負荷のない標準時おける「ちょっと待ってください。もう一度お願いします」という発話から「ちょっと待ってください。ＸＸＸＸもう一度お願いします」（“Ｘ”がポーズ）という発話に変化したことから、音声データのポーズ長が変化したことを検出することができる。
【００６２】
図６は、ポーズ抽出部１００５２の動作のうち、ポーズ頻度を抽出する処理を示すフローチャート図である。「ポーズ」の検出等は図５における説明と同じである。ここでは異なる部分について説明する。本処理のポーズ頻度は、所定の発話数が行われるまでの間におけるポーズ発生頻度を抽出する。発話数とは、発話の回数であり、検出した発話開始から発話終了までを発話数１とする。
【００６３】
ステップＳ６００１ではポーズ回数のカウント値を初期化する。ステップＳ６００２ではポーズ検出部１００５２ａがポーズの検出を行う。ポーズが検出された場合は、検出のたびにポーズカウンタの加算を行う（Ｓ６００３）。
【００６４】
ステップＳ６００４では、発話数が所定の発話数に達しているかを判定する。達していない場合は引き続き、ポーズカウント処理を行う。所定発話数に達した場合は、ステップＳ６００７へ進む。ステップＳ６００７では、所定の発話数が検出されたところで、所定の発話数が観測されるまでの間におけるポーズ発現回数からポーズ頻度を算出する。このポーズ頻度は、所定の発話量あたりのポーズ数、または発話数あたりのポーズ数の比として求める。求めたポーズ頻度は抽出された特徴量として特徴変化量算出部１００７へ向けて送出される。
【００６５】
この処理のよれば、負荷のない標準時における「ちょっと待ってください。もう一度お願いします」との発話から「ちょっと、ＸＸＸ待ってください。ＸＸＸＸもう一度ＸＸＸお願いします」（“Ｘ”がポーズ）という発話に変化したことにより、運転者のポーズ頻度が変化したことを検出することができる。
【００６６】
図７は、不要語抽出部１００５３の動作を示すフローチャート図である。
このフローでは、不要語の頻度に関する特徴量を取得する。具体的には、不要語検出部１００５３ａが不要語を検出し、不要語頻度算出部１００５３ｂが不要語頻度を算出する。
【００６７】
ステップＳ７００１では不要語カウンタを初期化する。ステップＳ７００２では少なくとも不要語に関する音声認識処理が行われる。音響モデルに基づいて入力音声データのスペクトルの音素を判定し、得られた音素列から言語モデルに定義された単語の中からもっとも類似するものを認識結果として出力する。本実施形態では、言語モデルに、「あのー」「ええと」などの間投詞を含む不要語が登録されており、登録された不要語を認識する。
【００６８】
ステップＳ７００２で不要語が検出された場合には（Ｓ７００３）、不要語のカウンタを加算する（Ｓ７００４）。発話数が所定の発話数を越えるまでＳ７００２〜Ｓ７００４を繰り返す（Ｓ７００５）。発話数が所定発話数を越えたときの不要語の発現数から不要語の頻度を算出する（Ｓ７００６）。求められた不要語の頻度は、抽出された特徴量として特長変化量算出部１００７へ向けて送出する。
【００６９】
この処理のよれば、負荷のない標準時における「ちょっと待ってください。」という発話から、「えーと、ちょっと、待ってください。」という発話に変化したことにより、音声データの不要語の発現頻度が変化したことを検出することができる。
【００７０】
図８は、音声エネルギー抽出部１００５４の動作を示すフローチャート図である。このフローでは、音声エネルギーに関する特徴量を取得する。具体的には、音声エネルギー検出部１００５４ａが音声エネルギーを検出する。
【００７１】
ステップＳ８００１では、音声データから有音区間のデータを取得する。ステップＳ８００２では取得した音声データを順次走査し、音声エネルギーを検出する（Ｓ８００３）。検出する音声エネルギーは、得られた音声データの音声振幅の絶対値を二乗した値である。ステップＳ８００４では音声エネルギーの変化量が所定値を越えた場合、すなわち、音声エネルギーに急峻な変化があった場合はそのデータを無効にする。このような処理を行うのは、例えば、エネルギー値が急激に高くなり、直後に元に戻るという現象は、発話による音声データに起因するものではなく、車内、車外で発生した音声データ、車内の機器からのノイズ、その他の発話以外の音声データに起因するものと考えられるからである。ステップＳ８００２からステップＳ８００４までの処理は、音声データの終端を検出するまで繰り返す（Ｓ８００５）。
【００７２】
ステップＳ８００６では、音声エネルギーを平滑化する。この平滑化は、各処理フレームで検出した音声エネルギー値をバッファリングしておき、有音声区間の走査が終了した後に行う。もちろん、フレームごとに順次平滑化処理を行ってもよい。Ｓ８００７で取得した平滑化した音声エネルギーを抽出された特徴量として特徴変化量算出部１００７へ送出する。
【００７３】
この処理のよれば、負荷のない標準時における音声の大きさからより大きな音声に変化したことにより、音声エネルギーの変化を検出することができる。
【００７４】
図９は、音声ピッチ抽出部１００５５の動作を示すフローチャート図である。このフローでは、音声ピッチに関する特徴量を取得する。具体的には、音声ピッチ検出部１００５５ａが音声ピッチを検出する。音声ピッチは音声の高低をあらわし、音声信号の基本周波数として得られる。この周波数が高いほど高い音声となり、高ピッチとして検出される。本実施形態では、音声ピッチが運転負荷に応じて変化することを利用し、音声ピッチの特徴変化量から運転負荷を判定する。
【００７５】
図９のステップＳ９００１では、有音区間のデータを取得する。ステップＳ９００２では取得した音声データを順次走査し、音声ピッチを検出する（Ｓ９００３）する。ステップＳ９００４では音声ピッチの変化量が所定値よりも大きい場合、すなわち音声ピッチに急峻な変化があった場合にはそのデータを無効にする。このような処理を行うのは、例えば、音声ピッチ値が急激に高くなり、直後に元に戻るという現象は、発話による音声データに起因するものではなく、車内、車外で発生した音声データ、車内の機器からのノイズ、その他の発話以外の音声データに起因するものと考えられるからである。Ｓ９００５では音声ピッチの平滑化処理を行う。平滑化処理は処理フレームごとに行ってもよいし、フレームごとの音声ピッチを一定量バッフアリングして平滑化処理をしてもよい。音声ピッチ情報は、一般にアクセントやイントネーションを分析するために用いられるが、本実施形態では、発話全体のピッチ変化を分析することにより運転者の精神的な負荷の度合いを分析するため、発話ごとの音声ピッチを平滑化して利用する。
【００７６】
ステップＳ９００２からステップＳ９００４までの処理は、音声データの終端を検出するまで繰り返す（Ｓ９００６）。Ｓ９００７で取得した平滑化した音声ピッチを特徴変化量算出部１００７へ送出する。
【００７７】
この処理のよれば、負荷のない標準時における音声の高さから、より高い音声に変化したことにより、音声ピッチが変化したことを検出することができる。
【００７８】
以上、特徴量抽出部１００５による特長要素ごとの特徴量に関する抽出処理を説明した。ここまでの処理が図３に示す基本的処理の〜Ｓ３００３に対応する。抽出された特徴量は運転者状態判定手段１００６の特徴変化量算出部１００７へ送出される。
【００７９】
特徴変化量算出部１００７は音声ピッチに関する基準特徴量を読み込んで、この基準特徴量に対する特徴量の特徴変化量を算出する。算出された特徴量変化量は運転者負荷判定部１００８に送出され、運転者負荷判定部１００８は負荷判定データ１０１０を参照して運転者の負荷状態が判定される。
【００８０】
図１０には、基準特徴量と負荷判定データとを有するテーブルの一例を示した。
図１０は男性運転者を被験者とし、実験により求めた運転負荷と音声ピッチとの対応関係である。図１０の運転負荷は運転中に運転者が同時に行うタスクの量である。タスクには、ハンドル操作、アクセル操作、ブレーキ操作、左右の確認、インストパネルボタン操作（オーディオ操作、エアコン操作など）、ウィンカー操作などが含まれる。運転負荷は、負荷が低い第１段階から負荷の高い第５段階まで評価度が設定されている。たとえば、第１段階は非運転時（負荷なし）、第２段階は見通しのよい直線道路を走行する状況下などの、ハンドル操作のみの運転負荷を設定したものであり、最も負荷の高い第５段階は、見通しの悪い交差点左折時の、左右確認、ハンドル、アクセル操作、ブレーキ操作の運転負荷を設定したものである。この段階および負荷の程度は、任意に設定することができる。ここで、段階１は運転者の非運転時の特徴量であり「基準特徴量」として扱うことができる。
【００８１】
具体的な例により音声ピッチの特徴変化量の算出手法を説明する。音声ピッチ抽出部１００５５が運転者の音声ピッチを１３２．８Ｈｚと抽出したとする。
【００８２】
この運転者に関する負荷判定データによれば、非運転時の音声ピッチ（基準特徴量）が１２５Ｈｚであったとする。音声ピッチ変化量算出部１００７５は、ピッチの変化量を１３２．８−１２５＝７．８と算出する。または、この変化量は基準特徴量に対して０．０６２％と算出する。この算出された特徴変化量に基づいて、運転者負荷判定部１００８は図１０の負荷判定データ１０１０を参照し、運転者の負荷度が「３」であると判定する。ここでは音声ピッチを用いて説明したが、他の音声要素の負荷判定データ、特徴変化量の算出、運転者負荷判定についてもこれと同様に行うことができる。
【００８３】
運転者状態判定手段１００６により判定された運転者の状態に関する判定結果は、運転サポートシステム等の外部装置へ送出される。
【００８４】
本実施形態は、以上のように構成され、動作するので以下の効果を奏する。
【００８５】
本実施形態によれば、運転者の発話から、その運転者の状態を判定することができる。すなわち運転者に心拍数検出器等のセンサを取り付けることなく、運転者の状態を判定することができる。特に、運転者が運転中の操作等によって受ける負荷など、運転者の精神的負荷を判定することができる。
【００８６】
本実施形態では、運転者の音声データから特徴量を抽出し、この特徴量から運転者の状態を判定するため、特徴量という定量的な値に基づいて運転者の状態を正確に判定することができる。
【００８７】
本実施形態では、運転者の音声データから抽出された特徴量の、予め設定された基準特徴量に対する特徴変化量に基づいて、運転者の状態を判定するため、特徴変化量という定量的な値に基づいて運転者の状態を正確に判定することができる。この基準特徴量を、運転者の非運転時に抽出された音声データの特徴量に基づいて設定することにより、非運転時を基準とした運転者の負荷状態、すなわち運転中に受けた負荷の状態を判定することができる。
【００８８】
また、予め、音声データの特徴量または特徴変化量と運転者の負荷状態とを対応づけた負荷判定データを用いて運転者の状態を判断することにより、より正確な状態を判断することができる。負荷判定データがその運転者自身の音声データの特徴量又は特徴変化量と負荷状態とを対応づけたものである場合には、個人的な発話の癖の影響を受けることなく運転者の状態を判定することができる。
【００８９】
運転者の状態を判定するために抽出する音声データの特徴量（または特徴変化量）を、音節の長さ、ポーズの長さ、ポーズの発生頻度、不要語の発生頻度、音声エネルギー量、音声ピッチの特徴要素群から選択された１以上の特徴要素に関する特徴量（または特徴変化量）とすることにより、運転者の状態に応じて変化する要素を定量的な値として抽出することができ、運転者の状態を定量的に判定することができる。また、音声データから抽出できる特徴量を複数設定することにより、運転者の状態を多面的に判定することができる。すなわち、状態の変化が音節長の変化として表れる運転者、状態の変化が不要語の頻度として表れる運転者などの様々な態様にも対応することができる。
【００９０】
＜第２実施形態＞
第２実施形態は、第１実施形態に基準特徴量および／または負荷判定データのデータを蓄積する機能を付加したものである。第２実施形態の構成を図１１に示した。図１１に示す第２実施形態の構成は図１に示す第１実施形態と基本的に同じである。異なる点は、運転者の負荷状態を検出する負荷検出手段１０４０と、基準特徴量および／または負荷判定データの蓄積をするデータ蓄積手段１０３０とを備える点である。
【００９１】
負荷検出手段１０４０は、運転者の負荷状態を検出する。負荷状態は運転時間、走行距離、走行速度などの車両環境に基づいて検出してもよいし、運転者の負荷を申告する入力情報に基づいて検出してもよいし、運転者の車載機器に対する操作数に基づいて検出してもよい。本実施形態では運転者が同時に操作した車載機器の数に基づいて検出する。
【００９２】
負荷判定データの蓄積をするデータ蓄積手段１０３０は、負荷検出手段１０４０が検出した負荷状態と音声特徴量抽出手段１００３が抽出した運転者の特徴量を対応づけて負荷判定データに蓄積する。負荷状態と特徴量とを対応づけたデータは、そのまま又は演算処理されて負荷判定データとして利用される。
【００９３】
基準特徴量を蓄積するデータ蓄積手段１０３０は、負荷検出手段１０４０が運転者に運転負荷のない基準状態を検出した場合には、その基準状態における運転者の音声データの特徴量を基準特徴量といて蓄積する。運転者に運転負荷のない基準状態とは、基準となるべき状態として任意に設定することができ、非運転時の状態としてもよいし、見通しのよい直線道路の走行状態としてもよい。
【００９４】
データ蓄積手段１０３０の動作制御を図１２に示した。図１２に示すフローは図３に示す第１実施形態のフローと基本的に同じである。ここでは異なる点についてのみ説明する。第２実施形態では第１実施形態のＳ３００１〜Ｓ３０１０に加えて、運転者の負荷を検出するステップＳ１２００１と、音声データの特徴量を取得するステップＳ３００１と、取得した運転者の負荷と特徴量とを負荷判定データに蓄積するステップＳ１２００２とを有するフローが動作する。
【００９５】
また、メインフローのＳ３００６にて車両が走行していないという運転者の基準状態を検出した場合には、その基準状態における運転者の特徴量を基準特徴量として蓄積するステップＳ１２００３が動作する。
【００９６】
第２実施形態では、運転者状態判定とともに、基準特徴量を蓄積することにより、実際に車両を操作する運転者本人の基準特徴量を取得することができるため、個人の発話癖や負荷の感じ方の違いなどを考慮した正確な運転者の状態を音声データの特徴量から導くことができる。また、運転者状態判定とともに、負荷判定データを蓄積することにより、運転者本人の負荷状態と特徴量とを対応づけた負荷判定データを取得することができるため、個人の発話癖や負荷の感じ方の違いなどを考慮した正確な運転者の状態を導くことができる。
【００９７】
＜第３実施形態＞
第３実施形態の運転者状態判定手段１００６は、運転者の音声データの経時的な変化量から運転者の負荷状態を判定する機能を有している。
【００９８】
特徴量抽出部１００５は、タイミングＴ１、Ｔ２、Ｔ３…Ｔｎにおける特徴量を抽出する。特徴変化量算出部１００６は、特徴量抽出部１００５の抽出した特徴量ＴｎとＴｎよりも前のタイミングＴ（ｎ−１）において抽出された特徴量Ｔ（ｎ−１）とを比較する。具体的には特徴量Ｔｎから特徴量Ｔ（ｎ−１）を差し引く。この差し引き結果が特徴量の経時的な変化量（特徴変化量）である。なお、タイミングＴ１、Ｔ２、…Ｔｎは一連の発話内におけるタイミングである。
【００９９】
運転者負荷判定部１００８は、特徴変化量算出部１００７の算出した特徴変化量から運転負荷を判定する。この判定は特徴変化量大きさに応じて運転負荷の大きさを判定してもよいし、特徴変化量が所定のしきい値を超えた場合には運転負荷が大きいと判定してもよいし、運転者の音声データの特徴変化量と運転者の負荷状態とを予め対応づけた負荷判定データを参照して運転負荷を判定してもよい。
【０１００】
第３実施形態のフローを図１４に示した。第３実施形態のフローは、図３に示した第１実施形態のフローと基本的に共通する。ステップＳ３００５ではタイミングＴｎの音声データの特徴量を取得する。ステップＳ３００６では車両が走行状態であることを確認する。ステップＳ１３００７において、タイミングＴｎの前のタイミングであるタイミングＴ（ｎ−１）の特徴量を取得する。特徴変化量算出部１００７は、各タイミングにおける特徴量を少なくとも一時的に記憶してもよい。ステップＳ１３００９では特徴量Ｔｎと特徴量Ｔ（ｎ−１）の差を特徴変化量として算出する。運転者負荷判定部１００８は算出された特徴変化量から運転者負荷を判定する。
【０１０１】
第３実施形態によれば、発話中に運転者の負荷状態が変化したことを音声データの特徴変化量から判定することができる。
【０１０２】
以上第１実施形態〜第３実施形態では、運転者状態判定装置１００について説明したが、本発明の運転者状態判定用プログラムにより動作するコンピュータは、運転者状態判定装置１００と同様に作用し、同様の効果を奏する。
【０１０３】
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【図面の簡単な説明】
【図１】第１実施形態の運転者状態判定装置のブロック図である。
【図２】第１実施形態の特徴量抽出部と特徴変化量算出部のブロック図である。
【図３】第１実施形態の運転者状態判定に関する基本的な制御手順を示すフローチャート図である。
【図４】音節抽出処理手順の一例を示すフローチャート図である。
【図５】ポーズ長抽出処理手順の一例を示すフローチャート図である。
【図６】ポーズ頻度抽出処理手順の一例を示すフローチャート図である。
【図７】不要語頻度抽出処理手順の一例を示すフローチャート図である。
【図８】音声エネルギー抽出処理手順の一例を示すフローチャート図である。
【図９】音声ピッチ抽出処理手順の一例を示すフローチャート図である。
【図１０】音声ピッチを説明するための図である。
【図１１】第２実施形態の運転者状態判定装置のブロック図である。
【図１２】第２実施形態の特徴量抽出部と特徴変化量算出部のブロック図である。
【図１３】第３実施形態の運転者状態判定装置のブロック図である。
【図１４】第３実施形態の特徴量抽出部と特徴変化量算出部のブロック図である。
【符号の説明】
１００…運転者状態判定装置
１００３…音声特徴量抽出手段
１００４…音声データ取得部
１０００５…特徴量抽出部
１００６…運転者状態判定手段
１００７…特徴変化量算出部
１００８…運転者負荷判定部
１０１０…負荷判定データ
１０１１…運転者別負荷判定データ
１０１２…標準負荷判定データ
２００…外部装置

Claims

取得した運転者の音声データから特徴量を抽出する音声特徴量抽出手段と、
前記音声特徴量抽出手段により抽出された特徴量から運転者の負荷状態を判定する運転者状態判定手段と、を有する運転者状態判定装置。
取得した運転者の音声データから特徴量を抽出する音声特徴量抽出手段と、
運転者の音声データの特徴量と運転者の負荷状態とを予め対応づけた負荷判定データを参照して、前記音声特徴量抽出手段により抽出された特徴量から運転者の負荷状態を判定する運転者状態判定手段と、を有する運転者状態判定装置。
取得した運転者の音声データから特徴量を抽出する音声特徴量抽出手段と、
前記音声特徴量抽出手段により抽出された特徴量の、予め設定された基準特徴量に対する変化量を特徴変化量として算出し、この算出された特徴変化量から運転者の負荷状態を判定する運転者状態判定手段と、を有する運転者状態判定装置。
取得した運転者の音声データから特徴量を抽出する音声特徴量抽出手段と、
前記音声特徴量抽出手段により抽出された特徴量の、予め設定された基準特徴量に対する変化量を特徴変化量として算出し、運転者の音声データの特徴変化量と運転者の負荷状態とを予め対応づけた負荷判定データを参照して、この算出された特徴変化量から運転者の負荷状態を判定する運転者状態判定手段と、を有する運転者状態判定装置。
前記基準特徴量は、前記運転者の非運転時に抽出された音声データの特徴量に基づいて予め設定される請求項３または４記載の運転者状態判定装置。
運転者の負荷状態を検出する負荷検出手段と、
前記音声特徴量抽出手段により抽出された前記運転者の音声データの特徴量と前記負荷検出手段により検出された負荷状態とを対応づけて、前記負荷判定データに蓄積するデータ蓄積手段とをさらに備えた請求項３〜５のいずれかに記載の運転者状態判定装置。
運転者の負荷状態を検出する負荷検出手段と、
前記負荷検出手段が運転負荷のない運転者の基準状態を検出した場合には、当該基準状態における前記運転者の音声データの特徴量を、前記基準特徴量として蓄積するデータ蓄積手段とをさらに備えた請求項３〜５のいずれかに記載の運転者状態判定装置。
取得した運転者の音声データから特徴量を抽出する音声特徴量抽出手段と、
前記音声特徴量抽出手段により抽出された特徴量の経時的な変化量を特徴変化量として算出し、この算出された特徴変化量から運転者の負荷状態を判定する運転者状態判定手段と、を有する運転者状態判定装置。
前記音声特徴量抽出手段が抽出する音声データの特徴量は、音節の長さ、ポーズの長さ、ポーズの発生頻度、不要語の発生頻度、音声エネルギー量、音声ピッチの特徴要素群から選択された１以上の特徴要素に関する特徴量である請求項１〜８のいずれかに記載の運転者状態判定装置。
コンピュータに、
取得した運転者の音声データから特徴量を抽出するステップと、
この抽出された特徴量から運転者の負荷状態を判定するステップとを実行させるための運転者負荷判定用プログラム。
コンピュータに、
取得した運転者の音声データから特徴量を抽出するステップと、
運転者の音声データの特徴量と運転者の負荷状態とを予め対応づけた負荷判定データを参照して、前記抽出された特徴量から運転者の負荷状態を判定するステップとを実行させるための運転者負荷判定用プログラム。
コンピュータに、
取得した運転者の音声データから特徴量を抽出するステップと、
この抽出された特徴量の、予め設定された基準特徴量に対する変化量を特徴変化量として算出し、この算出された特徴変化量から運転者の負荷状態を判定するステップとを実行させるための運転者負荷判定用プログラム。
コンピュータに、
取得した運転者の音声データから特徴量を抽出するステップと、
この抽出された特徴量の、予め設定された基準特徴量に対する変化量を特徴変化量として算出し、運転者の音声データの特徴変化量と運転者の負荷状態とを予め対応づけた負荷判定データを参照して、この算出された特徴変化量から運転者の負荷状態を判定するステップとを実行させるための運転者負荷判定用プログラム。
前記基準特徴量は、前記運転者の非運転時に抽出された音声データの特徴量に基づいて予め設定された請求項１２または１３記載の運転者負荷判定用プログラム。
コンピュータに、
運転者の負荷状態を検出するステップと、
前記取得した運転者の音声データから特徴量を抽出するステップにより抽出された前記運転者の音声データの特徴量と前記検出された負荷状態とを対応づけて、前記負荷判定データに蓄積するステップとを実行させるための請求項１２〜１４のいずれかに記載の運転者状態判定用プログラム。
コンピュータに、
運転者の負荷状態を検出するステップと、
前記負荷状態を検出するステップにて運転負荷のない運転者の基準状態を検出した場合には、当該基準状態における前記運転者の音声データの特徴量を、前記基準特徴量として蓄積するステップとを有する請求項１２〜１４のいずれかに記載の運転者状態判定用プログラム。
コンピュータに、
取得した運転者の音声データから特徴量を抽出ステップと、
前記抽出された特徴量の経時的な変化量を特徴変化量として算出し、この算出された特徴変化量から運転者の負荷状態を判定するステップとを実行させるための運転者状態判定用プログラム。
前記取得した運転者の音声データから特徴量を抽出ステップにて抽出された音声データの特徴量は、音節の長さ、ポーズの長さ、ポーズの発生頻度、不要語の発生頻度、音声エネルギー量、音声ピッチの特徴要素群から選択された１以上の特徴要素に関する特徴量である請求項１０〜１７のいずれかに記載の運転者状態判定用プログラム。