以下、本発明の一実施の形態のシミュレータ制御装置11を含む列車運転シミュレーションシステム1について、図1~図15を参照しながら説明する。
図1を参照して、本発明の一実施例である列車運転シミュレーションシステム1について説明する。
シミュレーションの中で異常事象が発生した場合には、訓練生は、緊急停止と、異常事象に対応した所定の操作を行うべきであるため、シミュレーションがいったん終了されてしまう。例えば、あるシーンにおいて注視しなければいけないポイントが既に身についている、換言すれば、そのシーンで発生する可能性の高い異常事象を発見するスキルを有する訓練生が、シミュレーション開始後早い段階で発生させた異常事象に対して適切な操作(緊急停止)を行うと、シミュレーションを継続させることができないため、走行訓練が短時間で終わってしまったり、すでにスキルを有するシーンの異常事象しか訓練できない場合があり、効率の良い訓練を実施することができない。
そこで、本発明の一実施例である列車運転シミュレーションシステム1においては、訓練生であるシミュレータの操作者の視覚機能の反応結果、例えば、視線および瞳孔の開きなどを検出し、操作者の注意が向けられていない場合のみに、訓練生が見落としやすい異常事象をシミュレーションにおいて発生させる。したがって、それぞれの訓練生が発見しにくい異常事象のみを発生させることができるので、訓練生それぞれのスキルアップのために最適となるシミュレーションを提供することが可能となる。
列車運転シミュレーションシステム1は、シミュレータ制御ユニット2、列車運転シミュレータユニット3、および、ネットワーク4を含んで構成されている。シミュレータ制御ユニット2は、シミュレータ制御装置11、操作入力装置12、および、表示装置13を含んで構成される。列車運転シミュレータユニット3は、シミュレーション画面表示装置15、運転操作シミュレータ16、および、反応情報検出装置17を含んで構成される。図1の例では、列車運転シミュレータユニット3を構成するシミュレーション画面表示装置15、運転操作シミュレータ16、および、反応情報検出装置17を1セットのみ図示しているが、複数人が同時に訓練できるようにする場合には、これらを複数設けることができる。
シミュレータ制御ユニット2のシミュレータ制御装置11は、ネットワーク4を介して列車運転シミュレータユニット3と通信し、操作入力装置12から供給されるユーザ(列車運転に関する教官等)の操作入力に基づいて、列車運転シミュレータユニット3によるシミュレーションの実行を制御する。具体的には、シミュレータ制御装置11は、運転操作シミュレータ16から、シミュレータ操作者(運転技術の訓練を行う者等)の操作に関する情報を取得するとともに、反応情報検出装置17から、シミュレータ操作者のシミュレーション時の視覚機能の反応を示す情報の検出結果を取得し、それらに基づいて、シミュレーション画面表示装置15に表示される表示画像を制御する。シミュレータ制御装置11が有する機能構成の詳細については、図2を用いて後述する。
操作入力装置12は、例えば、キーボード、マウス、タッチパッドなどの入力デバイスにより構成され、ユーザ(列車運転に関する教官等)の操作入力を受け、シミュレータ制御装置11に供給する。
表示装置13は、操作入力装置12によるユーザ(列車運転に関する教官等)の操作入力を促すための情報を表示する。操作入力を促すための情報には、例えば、シミュレーション路線名、天候などの、シミュレーションの条件を選択するための情報などがある。また、表示装置13は、後述するシミュレーションの結果に対応する情報を表示する。
列車運転シミュレータユニット3のシミュレーション画面表示装置15は、シミュレータ制御ユニット2のシミュレータ制御装置11により生成されたシミュレーション画面を表示する。
運転操作シミュレータ16は、運転席または乗務員室を模擬した形態となっており、運転等のために必要なレバーやボタン、または計器等が設けられるとともに、例えば、時刻表や運行表等の列車運行のために必要な備品が備え付けられている。運転操作シミュレータ16は、シミュレータ操作者(運転技術の訓練を行う者)が実行した操作入力を、ネットワーク4を介して、シミュレータ制御装置11に供給する。また、運転操作シミュレータ16には、マイク等の音声データ取得装置を設けて、シミュレータ操作者の発声を取得し、ネットワーク4を介して、シミュレータ制御装置11に供給してもよい。
反応情報検出装置17は、シミュレータ操作者のシミュレーション時の視覚機能の反応を示す情報を検出し、シミュレータ制御装置11に供給する。ここでは、操作者のシミュレーション時の視覚機能の反応の例として、反応情報検出装置17は、シミュレータ操作者の視線の動きおよび瞳孔の大きさを検出し、シミュレータ制御装置11に供給するものとして説明する。反応情報検出装置17は、図1のようなシミュレータ操作者の正面に設置される非装着型の据え置き装置として実現することとしてもよいし、メガネやゴーグルの形態としてユーザが装着する装着型の装置として実現してもよい。また、視線の動きを検出する方法も特には問わない。例えば、反応情報検出装置17に撮像センサを備えてシミュレータ操作者を正面から撮影し、撮影画像を画像処理することにより、顔の向きや瞳の向きを判定して視線方向を演算することが可能である。また、瞳孔の大きさも、同様に、画像処理等により求めることが可能である。また、反応情報検出装置17は、撮像センサなどのセンサ部分と、演算処理部分とを一体化して構成してもよいし、異なる装置として構成してもよい。また、反応情報検出装置17としては画像センサなどのセンサ部分のみで構成し、演算処理を、シミュレータ制御装置11において実行するものとしてもよい。
次に、図2を用いて、シミュレータ制御装置11が有する機能構成について説明する。
シミュレータ制御装置11は、操作入力制御部31、シミュレーション制御部32、制御装置用表示制御部33、反応情報取得制御部34、シミュレータ操作入力取得制御部35、操作者状況判断処理部36、操作者状況記録部37、シミュレータ表示用通常状態画像データ記憶部38、シミュレータ表示用異常事象画像データ記憶部39、シミュレータ画面生成部40、および、シミュレータ画面表示制御部41を含んで構成されている。
操作入力制御部31(以下、入力制御部31と称する)は、操作入力装置12から供給されるユーザ(列車運転に関する教官等)の操作入力の取得を制御し、取得した操作入力情報を、シミュレーション制御部32に供給する。
シミュレーション制御部32は、入力制御部31から供給された操作入力に基づき、シミュレータ制御装置11の動作を制御する。具体的には、シミュレーション制御部32は、表示装置13に、操作入力装置12によるユーザ(列車運転に関する教官等)の操作入力を促すための情報を表示させるために、制御装置用表示制御部33(以下、表示制御部33と称する)を制御する。また、シミュレーション制御部32は、入力制御部31から供給された操作入力に基づき、ユーザから選択されたシミュレーションのシナリオに対応する路線、天候などに合致した表示画面をシミュレーション画面表示装置15に表示させるために、シミュレータ画面生成部40(以下、画面生成部40と称する)を制御する。
例えば、シミュレーションの開始時に、運転操作シミュレータ16において、発車のための運転操作がなされた場合、シミュレーション制御部32は、操作者状況判断処理部36(以下、判断処理部36と称する)から供給される情報に基づいて、画面生成部40を制御して、シミュレーション画面表示装置15に表示される画像を、実際の発車時に対応する動画像とする。また、シミュレーションの実行中に、運転操作シミュレータ16において、速度の変更やブレーキングなどの運転のための操作入力がなされた場合、シミュレーション制御部32は、後述する判断処理部36から供給される情報に基づいて、画面生成部40を制御して、シミュレーション画面表示装置15に表示される画像を、シミュレータ操作者が実行した運転操作に対応させる。
シミュレーション制御部32は、判断処理部36から供給される情報に基づいて、画面生成部40を制御して、シミュレータ表示用通常状態画像データ記憶部38(以下、通常画像データ記憶部38と称する)およびシミュレータ表示用異常事象画像データ記憶部39(以下、異常画像データ記憶部39と称する)から実行中のシナリオのシーンに対応する画像データを読み出させ、シミュレーション画面表示装置15に表示される画像データを生成させる。
また、シミュレーション制御部32は、表示装置13に、シミュレーションの結果に対応する情報を表示させるために、表示制御部33を制御して、操作者状況記録部37(以下、記録部37と称する)に記録されているシミュレーション中の操作者状況に関する情報を読み出させ、ユーザが求めるシミュレーションの結果に対応する表示データを生成させて、表示装置13に表示させる。
表示制御部33は、シミュレーション制御部32の制御に基づいて、表示装置13に、操作入力装置12によるユーザ(列車運転に関する教官等)の操作入力を促すための情報を表示させる。操作入力を促すための情報には、例えば、シミュレーション路線名、天候などの、シミュレーションの条件を選択するための情報などがある。また、表示制御部33は、シミュレーション制御部32の制御に基づいて、表示装置13に、後述するシミュレーションの結果に対応する情報を表示させる。
反応情報取得制御部34(以下、情報取得制御部34と称する)は、反応情報検出装置17からネットワーク4を介して供給された、シミュレータ操作者の視覚機能の反応情報、すなわち、視線の動きおよび瞳孔の大きさに関する情報を取得し、判断処理部36に供給する。
シミュレータ操作入力取得制御部35(以下、操作取得制御部35と称する)は、運転操作シミュレータ16からネットワーク4を介して供給された、シミュレータ操作者の操作入力に関する情報を取得し、判断処理部36に供給する。
判断処理部36は、情報取得制御部34から供給されたシミュレータ操作者の視線の動きおよび瞳孔の大きさに関する情報、並びに、操作取得制御部35から供給されたシミュレータ操作者の操作入力に関する情報に基づいて、操作者の状況を判断し、シミュレーション制御部32に供給する。具体的には、訓練生である操作者は、シミュレーションの進行中、図3に示されるように、シミュレーション画面表示装置15を見ていなければならず、例えば、図4に示されるように、運行表等を注視し、前方を見ていない時間が長かったり、シミュレーションの各シーンに対応して必要な個所を確認していなかったり、注意力が散漫になっている状態であってはならない。すなわち、訓練生である操作者は、前方から視線を長い時間離すことなく、さらに、シナリオ中の走行シーンに合致した領域を注視しなければならない。判断処理部36は、操作者の視線が表示画面に向けられていない状態で所定の時間(例えば、所定のT秒)以上経過した場合や、ホーム入口や踏切前など、特定の領域を注視しなければいけない特定区間に対応するシーンにおいて、確認する必要がある領域を注視していなかった場合に、操作者が、そのシーンに対応した注意を十分払っていないと判断する。また、判断処理部36は、瞳孔が開いていない、すなわち、瞳孔の大きさが所定の値(例えば、直径Nmm)より小さい状態で所定の時間(例えば、所定のT秒)以上経過した場合、操作者の注意力が散漫になっている、すなわち、操作者が、そのシーンに対応した注意を十分払っていないと判断する。また、判断処理部36は、情報取得制御部34から供給されたシミュレータ操作者の視線の動きおよび瞳孔の大きさに関する情報、ならびに、操作取得制御部35から供給されたシミュレータ操作者の操作入力に関する情報に基づいて得られる操作者の状況を、シミュレーション結果として、記録部37に供給して記録させる。
記録部37は、判断処理部36から供給されたシミュレーション結果を記録する。
通常画像データ記憶部38は、シミュレーション画面表示装置15に表示させる通常状態(異常事象ではなく、通常に列車を運行可能な状態)に対応する画像データを記憶する。
異常画像データ記憶部39は、シミュレーション画面表示装置15に表示させる異常事象(通常に列車を運行可能な状態ではなく、緊急停止などが必要となる異常事象)が発生している状態に対応する画像データを記憶する。
画面生成部40は、シミュレーション制御部32の制御に基づいて、通常画像データ記憶部38および異常画像データ記憶部39に記憶されている画像データを読み出して、シミュレーション画面表示装置15に表示させるシミュレーション用の画像データを生成し、表示制御部41に供給する。
シミュレータ画面表示制御部41(以下、表示制御部41と称する)は、画面生成部40により生成されたシミュレーション用の画像データを、ネットワーク4を介してシミュレーション画面表示装置15に供給し、その表示を制御する。
画面生成部40により生成され、表示制御部41により表示が制御されることにより、シミュレーション画面表示装置15に表示される、異常事象が発生した場合の画像の例については、図6~図9を用いて後述する。
以上説明した機能構成を有するシミュレータ制御装置11によって実行される、操作者の注意が向けられていない場合のみに、訓練生が見落としやすい異常事象をシミュレーションにおいて発生させる異常事象発生制御には、例えば、2つの形態を用いることができる。
第1の形態は、シミュレーションのシナリオにおいて、所定のシーンで異常事象が発生するものとして構成するものである。その異常事象が発生する直前のタイミングにおいて、判断処理部36は、情報取得制御部34から供給されたシミュレータ操作者の視覚機能の反応情報に基づいて、その異常事象の画像が表示された場合、操作者がその画像から異常事象を認識できる可能性が高いか否かを判断し、判断結果をシミュレーション制御部32に供給する。シミュレータ操作者が、所定のシーンで発生する予定の異常事象を発見する可能性が高い場合、シミュレーション制御部32は、画面生成部40を制御して、予定されていた異常事象の発生をスキップさせることにより、訓練生が見落としやすい異常事象のみをシミュレーションにおいて発生させる。
そして、第2の形態は、ミュレーションのシナリオにおいては異常事象の発生個所をあらかじめ定めず、判断処理部36により、シミュレータ操作者が、十分な注意を払っていないと判断されたときのみ、シミュレーション制御部32が画面生成部40を制御して、そのシーンに対応する異常事象を発生させることにより、訓練生が見落としやすい異常事象のみをシミュレーションにおいて発生させる形態である。
操作者の注意が向けられていない場合のみに、訓練生が見落としやすい異常事象をシミュレーションにおいて発生させる、すなわち、あらかじめ用意されていた異常事象の発生個所に、操作者の注意が向けられていた場合には異常事象の発生をスキップする第1の形態の実施の具体的な例については、図5~13を用いて後述する。また、ミュレーションのシナリオにおいては異常事象の発生個所をあらかじめ定めず、操作者の注意が向けられていないと判断された場合に、進行中のシーンに対応する異常事象をシミュレーションにおいて発生させるための第2の形態の実施の具体的な例については、図14および図15を用いるとともに、適宜図6~9および図11~13を参照しながら後述する。
次に、図5~図9を参照して、上述した第1の形態におけるシミュレーションの進行と、シミュレータ操作者の視線や瞳孔の開きなどの状況に対応したシミュレーション画面表示装置15における画像表示の例について説明する。
まず、第1の形態における、ユーザ(列車運転に関する教官等)から選択されたシミュレーションのシナリオ例の一部を図5に示す。
鉄道路線には、踏切、ホーム、トンネル等が存在するため、シミュレーションにおいても、図5に示されるように、対応する各シーンが存在し、それぞれの箇所に近づくにつれて、訓練生が所定の箇所を注視する必要がある特定の区間が存在する。また、鉄道路線には、図5に示されるように、上述した特定の区間以外の線路区間が存在する。ここでは、シミュレーションにおいて、図5中A~Dに示される箇所に、あらかじめ、異常が発生するシナリオであるものとする。
操作者は、前方にホームが見えているシーンにおいては、駅ホームの異常を知らせる特殊信号が点灯しているか否か、停止位置はどこであるか、ホームに異常が発生していないか、ホーム前の線路上に人や物が侵入していないかなど、様々な部分を十分注視する必要がある。シナリオの図5中のA(前方にホームが見えているシーン)においては、例えば、図6に示されるように、駅ホームの異常を知らせる特殊信号が点灯(図中61に示す)しているという異常事象が用意されているものとする。
また、操作者は、特定区間に対応するシーン以外、すなわち、線路区間のシーンであっても、前方全体を十分注視していなければならず、例えば、シミュレーション画面表示装置15の表示画面から目を離して、図4を用いて説明したように時刻表等をある一定の時間以上見ていたり、シミュレーション画面表示装置15の表示画面内のある方向のみ、具体的には、下方線路上や、上方架線部分、右方または左方のみを見ていたり、視線は前方にあっても注意力が欠けている状態、具体的には、一定時間以上瞳孔が所定の大きさよりも小さい状態が続いていてはならない。シナリオの図5中のB(通常の線路区間に対応するシーン)においては、例えば、図7に示されるように、架線にビニル等の障害物(図中62に示す)が付着しているという異常事象が用意されているものとする。
そして、また、操作者は、前方にトンネルの入り口が見えているシーンにおいては、トンネル入り口または内部に異常が発生している気配がないか、十分注視する必要があるが、トンネル入り口のみならず、その周辺、例えば、線路上や架線なども十分注視しなければならない。そこで、シナリオの図5中のC(トンネル入り口のシーン)においては、例えば、図8に示されるように、線路内に作業員が存在する(図中63に示す)という異常事象が用意されているものとする。
そして、また、操作者は、特定区間に対応するシーン以外、すなわち、線路区間のシーンであっても、天候や地形などによっては、土砂崩れや倒木などに十分注意する必要がある。このシナリオでは、図5中のD(通常の線路区間に対応するシーン)において、例えば、図9に示されるように、土砂(図中64に示す)等により線路が埋没してしまっている状態という異常事象が用意されているものとする。
いずれの区間においても、異常事象が発生する可能性があるため、訓練生は、図3に示されるように、シミュレーション画面表示装置15を注視していなければならず、例えば、図4に示されるように、運行表等を注視し、前方を見ていない時間が長かったり、注意力が散漫になっている状態であってはならない。すなわち、訓練生である操作者は、前方から視線を長い時間離すことなく、さらに、シナリオ中の走行シーンに合致した領域を注視しなければならない。シミュレータ制御装置11は、異常事象が発生する予定であるシーンから一定時間前の段階から、反応情報検出装置17からネットワーク4を介して供給された、シミュレータ操作者の視線の動きおよび瞳孔の大きさに関する情報を取得し、図3に示されるように、訓練生が、シミュレーション画面表示装置15を正しく注視し、走行シーンに合致した注意を払っている場合においては、シナリオ中の各シーンにおいて、異常事象を発生させず、図4に示されるように、訓練生が、シミュレーション画面表示装置15を正しく注視していない場合や、注意力が散漫な場合など、用意されていた異常事象を見落とす可能性が高い状態においては、シナリオ中の各シーンにおいて、異常事象を発生させる。
具体的には、判断処理部36は、情報取得制御部34から供給されたシミュレータ操作者の視線の動きおよび瞳孔の大きさに関する情報、および、操作取得制御部35から供給されたシミュレータ操作者の操作入力に関する情報に基づいて、操作者が、現在進行中のシナリオの各シーンの状況に合致した部分を注視することができていない状況や、瞳孔が小さくなっている状態、すなわち、注意力が散漫になっている状況であるか否かを判断し、判断結果を、シミュレーション制御部32に供給する。シミュレーション制御部32は、判断処理部36から供給された判断結果に基づいて、操作者が、正しい部分を注視していると判断された場合、シミュレーション画面表示装置15に表示させる表示画面に、疑似的な異常事象を発生させない。換言すれば、操作者が、シミュレーションのシナリオのそれぞれのシーンに合致した注意を十分払っていないと推定される場合において、シミュレーションのシナリオに応じた疑似的な異常事象を発生させる。
例えば、進行中のシナリオの図5中のA(前方にホームが見えているシーン)において、例えば、図6に示されるように、駅ホームの異常を知らせる特殊信号が点灯(図中61に示す)しているという異常事象が用意されている場合、判断処理部36は、シミュレーションのシナリオにおいて進行しているシーンがホーム入口より所定の距離だけ前の段階から、情報取得制御部34から供給された視線や瞳孔の開きなどの状況を示す情報に基づいて、ホーム入口に対応した視線が検出されたか否かを判断し、判断結果をシミュレーション制御部32に供給する。ホーム入口に対応した視線が検出され、操作者が、シーンに対応した十分な注意を払っていると判断された場合、換言すれば、用意されていた、特殊信号の点灯という異常事象が操作者に容易に発見されると判断された場合、シミュレーション制御部32は、画面生成部40を制御して、通常画像データ記憶部38から適した画像を取得させ、疑似的な異常事象が発生していない画像を、シミュレーション画面表示装置15に表示させるための処理を実行させる。すなわち、シミュレーションの進行において、特殊信号が点灯している異常事象の発生はスキップされる。これに対して、ホーム入口に対応した視線が検出されなかった場合、シミュレーション制御部32は、画面生成部40を制御して、異常画像データ記憶部39から供給される、駅ホームの異常を知らせる特殊信号の点灯などの疑似的な異常事象を示す画像を、シナリオ通り、シミュレーション画面表示装置15に表示させるための処理を実行させる。
また、例えば、進行中のシナリオの図5中のB(通常の線路区間に対応するシーン)において、図7に示されるように、架線にビニル等の障害物(図中62に示す)が付着しているという異常事象が用意されている場合、判断処理部36は、情報取得制御部34から供給された視線や瞳孔の開きなどの状況を示す情報に基づいて、瞳孔の縮小、前面を所定時間以上見ない、または、前面のある一点を所定時間以上見るといった動作が検出される、すなわち、正確に状況を判断可能でない可能性が大きい状態であるか否かを判断し、判断結果をシミュレーション制御部32に供給する。正確に状況を判断可能な状態である場合、換言すれば、用意されていた、架線に障害物が付着しているという異常事象が操作者に容易に発見されると判断された場合、シミュレーション制御部32は、画面生成部40を制御して、通常画像データ記憶部38から適した画像を取得させ、疑似的な異常事象が発生していない画像を、シミュレーション画面表示装置15に表示させるための処理を実行させる。すなわち、シミュレーションの進行において、架線にビニル等の障害物が付着しているという異常事象の発生はスキップされる。これに対して、正確に状況を判断可能でない可能性が大きい状態である場合、シミュレーション制御部32は、画面生成部40を制御して、異常画像データ記憶部39から供給される、架線にビニル等の障害物が付着している異常事象を示す画像を、シナリオ通り、シミュレーション画面表示装置15に表示させるための処理を実行させる。
また、例えば、進行中のシナリオの図5中のC(トンネル入り口のシーン)において、例えば、図8に示されるように、線路内に作業員が存在する(図中63に示す)という異常事象が用意されている場合、判断処理部36は、シミュレーションのシナリオにおいて進行しているシーンがトンネル入口より所定の距離だけ前の段階から、情報取得制御部34から供給された視線や瞳孔の開きなどの状況を示す情報に基づいて、トンネル入口に対応した視線が検出されたか否かを判断し、判断結果をシミュレーション制御部32に供給する。トンネル入口に対応した視線が検出された場合、換言すれば、用意されていた、トンネル入り口に作業員が存在するという異常事象が操作者に容易に発見されると判断された場合、シミュレーション制御部32は、画面生成部40を制御して、通常画像データ記憶部38から適した画像を取得させ、疑似的な異常事象が発生していない画像を、シミュレーション画面表示装置15に表示させるための処理を実行させる。すなわち、シミュレーションの進行において、線路内に作業員が存在する(図中63に示す)という異常事象の発生はスキップされる。これに対して、トンネル入口に対応した視線が検出されなかった場合、シミュレーション制御部32は、画面生成部40を制御して、異常画像データ記憶部39から供給される、例えば、図8に示されるような、線路内に作業員が存在するなどの疑似的な異常事象を示す画像を、シナリオ通り、シミュレーション画面表示装置15に表示させるための処理を実行させる。
また、例えば、進行中のシナリオの図5中のD(通常の線路区間に対応するシーン)において、図9に示されるように、土砂(図中64に示す)等により線路が埋没してしまっている状態という異常事象が用意されている場合、判断処理部36は、情報取得制御部34から供給された視線や瞳孔の開きなどの状況を示す情報に基づいて、瞳孔の縮小、前面を所定時間以上見ない、または、前面のある一点を所定時間以上見るといった動作が検出される、すなわち、正確に状況を判断可能でない可能性が大きい状態であるか否かを判断し、判断結果をシミュレーション制御部32に供給する。正確に状況を判断可能な状態である場合、換言すれば、用意されていた、土砂等により線路が埋没してしまっているという異常事象が操作者に容易に発見されると判断された場合、シミュレーション制御部32は、画面生成部40を制御して、通常画像データ記憶部38から適した画像を取得させ、疑似的な異常事象が発生していない画像を、シミュレーション画面表示装置15に表示させるための処理を実行させる。すなわち、シミュレーションの進行において、土砂(図中64に示す)等により線路が埋没してしまっている状態という異常事象の発生はスキップされる。これに対して、正確に状況を判断可能でない可能性が大きい状態である場合、シミュレーション制御部32は、画面生成部40を制御して、図9に示されるように、土砂等により線路が埋没してしまっている状態などの疑似的な異常事象を示す画像を、シナリオ通り、シミュレーション画面表示装置15に表示させるための処理を実行させる。
このように、第1の形態においては、シミュレーション制御部32は、シミュレーションのシナリオ内の各シーンに対応させて、判断処理部36から供給された操作者の運転操作の状況、および、視線や瞳孔の開きなどの状況を示す情報に基づいて、操作者の現在の状況において見落とす可能性がないと推測される場合に、疑似的な異常事象が発生していることを示す画像の表示をスキップ、すなわち、シミュレーション画面表示装置15に表示させることなく、シミュレーションを継続させることができるので、訓練生それぞれのスキルアップのために最適となるシミュレーションを提供することが可能となる。
次に、図10のフローチャートを参照して、列車運転シミュレーションシステム1において実行される、第1の形態におけるシミュレーション処理1について説明する。
ステップS1において、操作入力装置12は、ユーザ(列車運転に関する教官等)の操作入力を受け、シミュレータ制御装置11に供給する。シミュレータ制御装置11は、ユーザの操作入力に基づいた、路線、天候等の条件に合致したシミュレーションの開始準備を実行する。
ステップS2において、シミュレータ制御装置11のシミュレーション制御部32は、シミュレータ画面生成部40を制御して、シミュレーションのシナリオに応じた画像生成を開始させる。シミュレータ画面生成部40により生成された画像は、表示制御部41を介して列車運転シミュレータユニット3のシミュレーション画面表示装置15に表示される。またシミュレータ制御装置11の操作取得制御部35は、ネットワーク4を介して、運転操作シミュレータ16からの操作入力に関する情報を、判断処理部36に供給する。判断処理部36は、供給された操作入力に関する情報を、シミュレーション制御部32に供給する。シミュレーション制御部32は、判断処理部36から供給される情報に基づいて、例えば、速度の変更やブレーキングなどの運転のための操作入力がなされた場合、画面生成部40を制御して、シミュレーション画面表示装置15に表示される画像を、シミュレータ操作者が実行した運転操作に対応したものとするなどの、操作入力に基づいたシミュレーションを実行する。
ステップS3において、判断処理部36は、現在進行中のシミュレーションにおいて、異常事象が用意されているシーンより所定の距離だけ前のシーンとなったか否かを判断する。ステップS3において、異常事象が用意されているシーンより所定の距離だけ前のシーンとなっていないと判断された場合、異常事象が用意されているシーンより所定の距離だけ前のシーンとなったと判断されるまで、ステップS3の処理が繰り返される。
ステップS3において、異常事象が用意されているシーンより所定の距離だけ前のシーンとなったと判断された場合、ステップS4において、情報取得制御部34は、ネットワーク4を介して、シミュレータ操作者の視線等の情報を取得し、判断処理部36に供給する。
ステップS5において、図11~図13を用いて後述する操作者注意力判断処理1~3のうちの少なくともいずれか一つの処理、好ましくは、操作者注意力判断処理1~3の全ての処理が実行される。
ステップS6において、判断処理部36は、ステップS5において実行された、図11~図13を用いて後述する操作者注意力判断処理1~3のうちの少なくともいずれか一つの処理、好ましくは、操作者注意力判断処理1~3の全ての処理の結果に基づいて、シミュレータ操作者は、走行シーンに合致した注意を払っているか否かを判断する。ステップS6において、シミュレータ操作者の視線等の情報は、走行シーンに合致した注意を払っていないと判断された場合、判断処理部36は、判断結果をシミュレーション制御部32に供給するので、シミュレーションのシーンは、シナリオ通り、図6~図9を用いて説明したような疑似的な異常事象を含んで進行し、処理は、後述するステップS8に進む。
ステップS6において、シミュレータ操作者は、走行シーンに合致した注意を払っていると判断された場合、ステップS7において、判断処理部36は、判断結果をシミュレーション制御部32に供給する。シミュレーション制御部32は、画面生成部40を制御して、通常画像データ記憶部38から、適した画像データを取得させ、例えば、図6~図9を用いて説明したような疑似的な異常事象を示す画像を、シミュレーション画面表示装置15に表示させずに、通常運行可能な状態の画像を表示させ、シミュレーションを継続させる。
ステップS8において、判断処理部36は、操作取得制御部35から供給される情報に基づいて、シミュレータ操作者により緊急停止の操作が実行されたか否かを判断する。
ステップS8において、シミュレータ操作者により緊急停止の操作が実行されなかったと判断された場合、ステップS9において、判断処理部36は、記録部37に、シミュレーションの実行内容、シミュレーション操作者の操作入力、および、シミュレータ操作者の視線等の情報を記憶させて、処理は、ステップS3に戻り、それ以降の処理が繰り返される。
ステップS8において、シミュレータ操作者により緊急停止の操作が実行されたと判断された場合、ステップS10において、判断処理部36は、供給された操作入力に関する情報を、シミュレーション制御部32に供給する。シミュレーション制御部32は、画面生成部40を制御して、緊急停止等が実行された場合に対応する状況に対応する画像を、シミュレーション画面表示装置15に表示させるための処理を実行させて、シミュレーションを終了し、処理が終了する。
次に、図11のフローチャートを参照して、図10のステップS5において実行される第1の処理である、操作者注意力判断処理1について説明する。
ステップS21において、判断処理部36は、情報取得制御部34から供給されたシミュレータ操作者の視線の動きおよび瞳孔の大きさに関する情報に基づいて、操作者の視線は、シミュレーション画面表示装置15の表示画面に向けられているか否かを判断する。ステップS21において、操作者の視線は表示画面に向けられていると判断された場合、処理は、図10のステップS6に進む。
ステップS21において、操作者の視線は表示画面に向けられていないと判断された場合、ステップS22において、判断処理部36は、情報取得制御部34から供給されたシミュレータ操作者の視線の動きおよび瞳孔の大きさに関する情報に基づいて、操作者の視線が表示画面に向けられていない状態で、所定の時間T秒経過したか否かを判断する。ステップS22において、操作者の視線が表示画面に向けられていない状態で、所定の時間T秒経過していないと判断された場合、処理は、図10のステップS6に進む。
ステップS22において、操作者の視線が表示画面に向けられていない状態で、所定の時間T秒経過したと判断された場合、ステップS23において、判断処理部36は、操作者が、走行シーンに合致した注意を払っていないと判断し、処理は、図10のステップS6に進む。
このような処理により、判断処理部36は、例えば、シミュレーション画面表示装置15の表示画面から目を離して、図4を用いて説明したように時刻表等をある一定の時間以上見ている場合など、操作者の視線がシミュレーション画面表示装置15の表示画面に向けられていない状態を、操作者が走行シーンに合致した注意を払っていないと判断することができる。
次に、図12のフローチャートを参照して、図10のステップS5において実行される第2の処理である、操作者注意力判断処理2について説明する。
ステップS31において、判断処理部36は、現在進行しているシーンは、例えば、図5を用いて説明した踏切前、ホーム入口前、ホームからの発車前、トンネルの入り口または出口前などの、訓練生が注視しなければいけないシミュレーションの特定のシーンに対応する特定区間の走行中であるか否かを判断する。ステップS31において、特定区間の走行中ではないと判断された場合、処理は、図10のステップS6に進む。
ステップS31において、特定区間の走行中であると判断された場合、ステップS32において、判断処理部36は、情報取得制御部34から供給されたシミュレータ操作者の視線の動きおよび瞳孔の大きさに関する情報に基づいて、操作者の視線は、走行シーン、すなわち、特定区間に対応した領域に向けられているか否かを判断する。具体的には、例えば、操作者は、前方に踏切が見えているシーンにおいては、踏切に車や人が侵入していないこと、侵入しそうな車や人などが存在しないことを確認するために、踏切の内側のみならず、その左右を十分注視する必要がある。また、例えば、操作者は、前方にホームが見えているシーンにおいては、駅ホームの異常を知らせる特殊信号が点灯しているか否か、停止位置はどこであるか、ホームに異常が発生していないか、ホーム前の線路上に人や物が侵入していないかなど、様々な部分を十分注視する必要がある。また、例えば、操作者は、前方にトンネルの入り口が見えているシーンにおいては、トンネル入り口または内部に異常が発生している気配がないか、十分注視する必要がある。これ以外にも、例えば、ホームからの出発時や、トンネル出口など、それぞれの箇所に近づくにつれて、訓練生が注視しなければいけない箇所は、さまざまに存在する。ステップS32において、操作者の視線は、走行シーンに対応した領域に向けられていると判断された場合、処理は、図10のステップS6に進む。
ステップS32において、操作者の視線は、例えば、前面のある一点を所定時間以上見ているなど、走行シーンに対応した領域に向けられていないと判断された場合、ステップS33において、判断処理部36は、操作者が、走行シーンに合致した注意を払っていないと判断し、処理は、図10のステップS6に進む。
このような処理により、判断処理部36は、例えば、操作者の視線は、走行シーン、すなわち、特定区間に対応した領域に向けられていない状態を、操作者が走行シーンに合致した注意を払っていないと判断することができる。
次に、図13のフローチャートを参照して、図10のステップS5において実行される第3の処理である、操作者注意力判断処理3について説明する。
ステップS41において、判断処理部36は、情報取得制御部34から供給されたシミュレータ操作者の視線の動きおよび瞳孔の大きさに関する情報に基づいて、操作者の瞳孔が所定のNmmより大きいか否かを判断する。ステップS41において、操作者の瞳孔が所定のNmmより大きいと判断された場合、処理は、図10のステップS6に進む。
ステップS41において、操作者の瞳孔が所定のNmmより小さいと判断された場合、ステップS42において、判断処理部36は、情報取得制御部34から供給されたシミュレータ操作者の視線の動きおよび瞳孔の大きさに関する情報に基づいて、操作者の視瞳孔がNmmよりも小さい状態で、所定の時間T秒経過したか否かを判断する。ステップS42において、操作者の視瞳孔がNmmよりも小さい状態で、所定の時間T秒経過していないと判断された場合、処理は、図10のステップS6に進む。
ステップS42において、操作者の視瞳孔がNmmよりも小さい状態で、所定の時間T秒経過したと判断された場合、ステップS43において、判断処理部36は、操作者が、走行シーンに合致した注意を払っていないと判断し、処理は、図10のステップS6に進む。
このような処理により、判断処理部36は、瞳孔が開いていない状態、すなわち、注意力が散漫となっていると推測される状態を、操作者が走行シーンに合致した注意を払っていないと判断することができる。
このように、図10のステップS5において、操作者注意力判断処理1~操作者注意力判断処理3のうちの少なくともいずれか一つ、好ましくは、すべての処理が実行されることにより、操作者が走行シーンに合致した注意を払っているか否かを判断することが可能となる。
このように、列車運転シミュレータユニット3の操作者の視覚機能の反応の検出結果が取得され(例えば、図10のステップS3)、取得された操作者の反応の検出結果に基づいて、操作者が、前記列車運転シミュレータにおいて進行しているシーンに合致した注意を十分払っているか否かが判断され(例えば、図10のステップS5およびS6)、判断処理結果に基づいて、前記操作者が、列車運転シミュレータユニット3において進行しているシーンに合致した注意を十分払っていると判断された場合、疑似的な異常事象を示さない画像の生成が制御される(例えば、図10のステップS7)ようにしたので、操作者が、シミュレーションのシナリオのそれぞれのシーンに合致した注意を十分払っていると推定される場合においては、疑似的な異常事象の発生がスキップされる。したがって、操作者は、少なくともシーンに合致した注意を十分払っていないと判断されるまでシミュレーションを継続することができるので、より効率的に訓練することができる。
次に、図14を参照して、上述した第2の形態におけるシミュレーションの進行について説明する。
上述した第1の形態においては、列車運転シミュレーションシステム1が、訓練生であるシミュレータの操作者の視線および瞳孔の開きを検出し、操作者が、シミュレーションのシナリオのそれぞれのシーンに対応した正しい領域に対して注意を向けていると判断された場合、シナリオで用意されていた異常事象の発生をスキップするものとして説明したが、列車運転シミュレーションシステム1は、第2の形態として、シナリオの特定の場所にあらかじめ異常事象が発生するシーンを用意するのではなく、訓練生であるシミュレータの操作者の視線および瞳孔の開きの検出結果に基づいて、操作者が、シミュレーションのシナリオのそれぞれのシーンに対応した正しい領域に対して注意を向けていないと判断された場合に、そのシーンに対応する異常事象発生させることができる。
すなわち、第2の形態においては、図14に示されるように、シミュレーションのシナリオは、所定のシーンにおいて、異常事象が発生しているように構成されるのではない。判断処理部36は、操作者は現在進行中のシナリオの各シーンの状況に合致した部分を注視することができていない、または、瞳孔が小さい状態、すなわち、注意力が散漫になっているか否かに基づいて、操作者が、それぞれのシーンに対応する注意を十分払っているか否かを判断し、判断結果をシミュレーション制御部32に供給する。シミュレーション制御部32は、判断処理部36から、操作者が、それぞれのシーンに対応する注意を十分払っていないという判断結果の供給を受けた場合、画面生成部40を制御して、異常画像データ記憶部39からそのシーンに対応する画像データを読み出させ、疑似的な異常事象が発生した状態に対応する画像データを生成させ、シミュレーション画面表示装置15に表示させる。
シミュレータ操作者の視線や瞳孔の開きなどの状況に対応した疑似的な異常事象の表示の例については、図6~図9を用いて説明した場合と同様である。
具体的には、例えば、操作者は、図14に示される、前方に踏切が見えているシーンにおいては、踏切に車や人が侵入していないこと、侵入しそうな車や人などが存在しないことを確認するために、踏切の内側のみならず、その左右を十分注視する必要がある。判断処理部36は、シミュレーションのシナリオにおいて進行しているシーンが踏切に入るより所定の距離だけ前の段階から、情報取得制御部34から供給された視線や瞳孔の開きなどの状況を示す情報に基づいて、踏切前に対応した視線が検出されたか否かを判断し、判断結果をシミュレーション制御部32に供給する。踏切前に対応した視線が検出されなかった場合、シミュレーション制御部32は、画面生成部40を制御して、異常画像データ記憶部39から、適した画像データを取得させ、例えば、踏切に車が進入しているなどの疑似的な異常事象を示す画像を、シミュレーション画面表示装置15に表示させるための処理を実行させる。
この場合、例えば、検出された操作者の視線の向きに基づいて、操作者が注視していないと判断されている方向から踏切に車が進入しているような疑似的な異常事象を示す画像を、シミュレーション画面表示装置15に表示させるものとすることも可能である。
また、例えば、操作者は、図14に示される、前方にホームが見えているシーンにおいては、駅ホームの異常を知らせる特殊信号が点灯しているか否か、ホームに異常が発生していないか、ホーム前の線路上に人や物が侵入していないかなど、様々な部分を十分注視する必要がある。判断処理部36は、シミュレーションのシナリオにおいて進行しているシーンがホーム入口より所定の距離だけ前の段階から、情報取得制御部34から供給された視線や瞳孔の開きなどの状況を示す情報に基づいて、ホーム入口に対応した視線が検出されたか否かを判断し、判断結果をシミュレーション制御部32に供給する。ホーム入口に対応した視線が検出されなかった場合、シミュレーション制御部32は、画面生成部40を制御して、異常画像データ記憶部39から、適した画像データを取得させ、例えば、図6を用いて説明した、駅ホームの異常を知らせる特殊信号の点灯(図中61に示す)などの疑似的な異常事象を示す画像を、シミュレーション画面表示装置15に表示させるための処理を実行させる。
この場合、例えば、検出された操作者の視線の向きに基づいて、操作者がホームのみを注視している場合は、特殊信号機の点灯などの異常事象が発生していることを示す画像を、操作者が特殊信号機のみを注視している場合は、ホーム上に疑似的な異常事象が発生していることを示す画像を、シミュレーション画面表示装置15に表示させるものとすることも可能である。
また、例えば、操作者は、図14に示される、前方にトンネルの入り口が見えているシーンにおいては、トンネル入り口または内部に異常が発生している気配がないか、十分注視する必要がある。判断処理部36は、シミュレーションのシナリオにおいて進行しているシーンがトンネル入口より所定の距離だけ前の段階から、情報取得制御部34から供給された視線や瞳孔の開きなどの状況を示す情報に基づいて、トンネル入口に対応した視線が検出されたか否かを判断し、判断結果をシミュレーション制御部32に供給する。トンネル入口に対応した視線が検出されなかった場合、シミュレーション制御部32は、画面生成部40を制御して、異常画像データ記憶部39から、適した画像データを取得させ、例えば、図7を用いて説明した、線路内に作業員が存在する(図中62に示す)などの疑似的な異常事象を示す画像を、シミュレーション画面表示装置15に表示させるための処理を実行させる。
これ以外にも、図14に示される、ホームからの出発時や、トンネル出口など、それぞれの箇所に近づくにつれて、訓練生が注視しなければいけない箇所は、さまざまに存在する。例えば、トンネル出口より所定の距離だけ前に、トンネル出口に対応した視線が検出されなかった場合、シミュレーション制御部32は、画面生成部40を制御して、異常画像データ記憶部39から、適した画像データを取得させ、例えば、トンネル出口に落石が存在するなどの疑似的な異常事象を示す画像を、シミュレーション画面表示装置15に表示させるための処理を実行させる。
更に、これらの特定のシーン以外、すなわち、図14に示される線路区間のシーンであっても、判断処理部36は、情報取得制御部34から供給された視線や瞳孔の開きなどの状況を示す情報に基づいて、瞳孔の縮小、前面を所定時間以上見ない、または、前面のある一点を所定時間以上見るといった動作が検出される、すなわち、正確に状況を判断可能でない可能性が大きい状態であるか否かを判断し、判断結果をシミュレーション制御部32に供給する。正確に状況を判断可能でない可能性が大きい状態である場合、シミュレーション制御部32は、画面生成部40を制御して、異常画像データ記憶部39から、その箇所のシミュエーションのシナリオに適した画像データを取得させ、例えば、図8に示されるように、架線にビニル等の障害物(図中63に示す)が付着していたり、図9に示されるように、土砂(図中64に示す)等により線路が埋没してしまっているなどの疑似的な異常事象を示す画像を、シミュレーション画面表示装置15に表示させるための処理を実行させる。
この場合、例えば、検出された操作者の視線の向きに基づいて、例えば、操作者が表示画面上部を見ていない場合に架線に異常が発生していたり、操作者が表示画面下部を見ていない場合に線路に異常が発生していたり、操作者が表示画面左部分または右部分のいずれかを見ていない場合に線路わきの建造物等に異常が発生しているなど、操作者が注視していないと判断されている方向に疑似的な異常事象が発生していることを示す画像を、シミュレーション画面表示装置15に表示させるものとすることも可能である。
このように、シミュレーション制御部32は、第2の形態において、シミュレーションのシナリオ内の各シーンに対応させて、判断処理部36から供給された操作者の運転操作の状況、および、視線や瞳孔の開きなどの状況を示す情報に基づいて、操作者の現在の状況において見落とす可能性が多いであろうと推測される場合のみ、疑似的な異常事象が発生していることを示す画像を、シミュレーション画面表示装置15に表示させることができるので、更に、訓練生が注意を向けるべきスキルが足りない部分に対して、効率よく疑似的な異常事象を発生させて、訓練を行うことが可能となる。これにより、必要以上にシミュレーションの回数を増やすことなく、訓練生それぞれのスキルアップのために最適となるシミュレーションを提供することが可能となる。
次に、図15のフローチャートを参照して、列車運転シミュレーションシステム1において実行される、第2の形態におけるシミュレーション処理2について説明する。
ステップS61、および、ステップS62において、図10のフローチャートを用いて説明したシミュレーション処理1のステップS1、および、ステップS2と同様の処理が実行される。すなわち、ステップS61において、シミュレーションの開始準備が実行され、ステップS62において、シミュレーションの実行が開始される。
そして、ステップS63、および、ステップS64において、図10のフローチャートを用いて説明したシミュレーション処理1のステップS4、および、ステップS5と同様の処理が実行される。すなわち、ステップS63において、シミュレータ操作者の視線等の情報が取得され、ステップS64において、図11~図13を用いて説明した操作者注意力判断処理1~3のうちの少なくともいずれか一つの処理、好ましくは、操作者注意力判断処理1~3の全ての処理が実行される。
ステップS65において、判断処理部36は、ステップS64において実行された、図11~図13を用いて説明した操作者注意力判断処理1~3のうちの少なくともいずれか一つの処理、好ましくは、操作者注意力判断処理1~3の全ての処理の結果に基づいて、シミュレータ操作者の視線等の情報は、走行シーンに合致した注意を払っているか否かを判断する。ステップS65において、シミュレータ操作者の視線等の情報は、走行シーンに合致した注意を払っていると判断された場合、判断処理部36は、判断結果をシミュレーション制御部32に供給するので、シミュレーションは、図6~図9を用いて説明したような疑似的な異常事象を発生せずに進行し、処理は、後述するステップS67に進む。
ステップS65において、シミュレータ操作者は、走行シーンに合致した注意を払っていないと判断された場合、ステップS66において、判断処理部36は、判断結果をシミュレーション制御部32に供給する。シミュレーション制御部32は、画面生成部40を制御して、異常画像データ記憶部39から、適した画像データを取得させ、例えば、図6~図9を用いて説明したような疑似的な異常事象を示す画像を、シミュレーション画面表示装置15に表示させる。
ステップS67において、判断処理部36は、操作取得制御部35から供給される情報に基づいて、シミュレータ操作者により緊急停止の操作が実行されたか否かを判断する。
ステップS67において、シミュレータ操作者により緊急停止の操作が実行されなかったと判断された場合、ステップS68において、判断処理部36は、記録部37に、シミュレーションの実行内容、シミュレーション操作者の操作入力、および、シミュレータ操作者の視線等の情報を記憶させて、処理は、ステップS3に戻り、それ以降の処理が繰り返される。
ステップS67において、シミュレータ操作者により緊急停止の操作が実行されたと判断された場合、ステップS69において、判断処理部36は、供給された操作入力に関する情報を、シミュレーション制御部32に供給する。シミュレーション制御部32は、画面生成部40を制御して、緊急停止等が実行された場合に対応する状況に対応する画像を、シミュレーション画面表示装置15に表示させるための処理を実行させて、シミュレーションを終了し、処理が終了する。
このように、列車運転シミュレータユニット3の操作者の視覚機能の反応の検出結果が取得され(例えば、図15のステップS63)、取得された操作者の反応の検出結果に基づいて、操作者が、前記列車運転シミュレータにおいて進行しているシーンに合致した注意を十分払っているか否かが判断され(例えば、図15のステップS64およびS65)、判断処理結果に基づいて、前記操作者が、列車運転シミュレータユニット3において進行しているシーンに合致した注意を十分払っていないと判断された場合、疑似的な異常事象を示す画像の生成が制御される(例えば、図15のステップS66)ようにしたので、操作者が、現在進行中のシナリオの各シーンの状況に合致した注意を払っている状況においてはシミュレーションのシナリオにおいて疑似的な異常事象が発生されず、操作者が、シミュレーションのシナリオのそれぞれのシーンに合致した注意を十分払っていないと推定される場合においては、疑似的な異常事象が発生される。したがって、更に、訓練生が注意を向けるべきスキルが足りない部分に対して、効率よく疑似的な異常事象を発生させて、訓練を行うことが可能となる。これにより、必要以上にシミュレーションの回数を増やすことなく、訓練生それぞれのスキルアップのために最適となる異常事象が発生するシミュレーションを提供することが可能となる。
以上説明したように、第1の形態および第2の形態を実現可能なシミュレータ制御装置11においては、列車運転シミュレータユニット3の操作者の視覚機能の反応の検出結果を取得し(例えば、図10のステップS3、および、図15のステップS63)、取得された操作者の反応の検出結果に基づいて、操作者が、前記列車運転シミュレータにおいて進行しているシーンに合致した注意を十分払っているか否かを判断し(例えば、図10のステップS5およびS6、ならびに、図15のステップS64およびS65)、判断処理結果に基づいて、列車運転シミュレータユニット3のシミュレーション画面表示装置15に表示される表示画像の生成を制御する(例えば、図10のステップS7、および、図15のステップS66)。すなわち、表示画面の生成においては、判断処理部36により、操作者が、列車運転シミュレータユニット3において進行しているシーンに合致した注意を十分払っていないと判断された場合、換言すれば、操作者が、現在進行中のシナリオの各シーンの状況に合致した部分を注視することができていない状況や、瞳孔が小さくなっている状態、すなわち、注意力が散漫になっている状況にのみ、シミュレーションのシナリオにおいて疑似的な異常事象が発生され(例えば、図10のステップS7の処理が実行されない、または、図15のステップS66の処理が実行される)、操作者が、シミュレーションのシナリオのそれぞれのシーンに合致した注意を十分払っていると推定される場合においては、疑似的な異常事象は発生されない(例えば、図10のステップS7の処理が実行される、または、図15のステップS66の処理が実行されない)。したがって、容易に異常事象に対応できるタイミングで異常事象は発生されないので、シミュレーションを継続することができ、訓練生それぞれのスキルアップのために最適となるシミュレーションを提供することが可能となる。
また、操作者の反応として、列車運転シミュレータの操作者の視線に関する情報を取得し、反応の検出結果において、操作者が前面を所定時間以上見ていないか否かに基づいて、操作者が、列車運転シミュレータユニット3において進行しているシーンに合致した注意を十分払っているか否かを判断する(例えば、図11のステップS22)ようにしたので、前面を見ずによそ見をしているときに、異常事象を発生させることができる。
また、操作者の反応として、列車運転シミュレータの操作者の視線に関する情報を取得し、反応の検出結果において、操作者が前面のある一点を所定時間以上見ているか否かに基づいて、操作者が、列車運転シミュレータユニット3において進行しているシーンに合致した注意を十分払っているか否かを判断する(例えば、図11のステップ22または図12のステップS33)ようにしたので、前面を見ていても注意力が低下しているときに、異常事象を発生させることができる。
また、操作者の反応として、列車運転シミュレータの操作者の視線に関する情報を取得し、反応の検出結果において、操作者が列車運転シミュレータユニット3において進行しているシーンにおいて注視が必要な箇所を見ているか否かに基づいて、操作者が、列車運転シミュレータユニット3において進行しているシーンに合致した注意を十分払っているか否かを判断する(例えば、図12のステップ33)ようにしたので、前面を見ていてもそのシーンにおいて必要な注意が払われていないとき、異常事象を発生させることができる。
また、列車運転シミュレータユニット3の操作者の反応として、瞳孔の大きさに関する情報を取得し、操作者の瞳孔の大きさに基づいて、操作者が、列車運転シミュレータユニット3において進行しているシーンに合致した注意を十分払っているか否かを判断する(例えば、図13のステップ42)ようにしたので、前面またはシーンに応じた方向を見ていても注意力が低下しているときに、異常事象を発生させることができる。
また、列車運転シミュレータユニット3において進行しているシナリオのいずれかに、あらかじめ異常事象を示すシーンが用意されており、判断処理部36により、操作者が、列車運転シミュレータユニット3において進行しているシーンに合致した注意を十分払っていると判断された場合、シミュレーション制御部32は、通常運行可能なシーンの表示画像の生成を制御し、異常事象を示すシーンを表示させないようにした(例えば、図10のステップ7)ので、あらかじめシナリオで用意された異常事象に対して訓練生が適切な操作を行うとシミュレーションが終了してしまう場合でも、容易に異常事象に対応できるタイミングで異常事象は発生されないので、異常事象発見のスキルを有する訓練生は、シミュレーションを継続することができ、効率の良い訓練を実施することができる。
また、列車運転シミュレータユニット3において進行しているシナリオ内で異常事象を示すシーンをあらかじめ定めず、判断処理部36により、操作者が、列車運転シミュレータユニット3において進行しているシーンに合致した注意を十分払っていないと判断された場合、シミュレーション制御部32は、異常事象を示す表示画像の生成を制御する(例えば、図15のステップ66)ようにしたので、異常事象の発生が予定されていないシーンにおいても、注意が払われていないタイミングで異常事象を発生させることができる。
以上においては、シミュレーション時の視覚機能の反応を示す情報として、シミュレータ操作者の視線の動きおよび瞳孔の大きさに関する情報を取得し、操作者が前面を所定時間以上見ていない場合、操作者が前面のある一点を所定時間以上見ている場合、操作者が列車運転シミュレータにおいて進行しているシーンにおいて注視が必要な箇所を見ていない場合、または、操作者の瞳孔が所定の大きさよりも小さい場合において、操作者が、列車運転シミュレータにおいて進行しているシーンに合致した注意を払っていないと判断するものとして説明したが、シミュレーション時の視覚機能の反応を示す情報、および、操作者が、列車運転シミュレータにおいて進行しているシーンに合致した注意を払っているか否かを判断するための基準は、これ以外のものであっても構わない。
例えば、上述した場合と同様にして、シミュレーション時の視覚機能の反応を示す情報として、シミュレータ操作者の瞳孔の大きさに関する情報を用いる場合、瞳孔の大きさの変化を基準として、操作者が、列車運転シミュレータにおいて進行しているシーンに合致した注意を払っているか否かを判断するものとしてもよい。瞳孔は、問題を考えている間は散瞳し、問題の解発見時に縮瞳する。また、注意力が散漫となり、所謂、ぼんやりとした状態のときには、瞳孔の大きさに変化が見られない。また、眠気自覚がある状態では、瞳孔の大きさの変化に、低周波の大きな揺らぎがみられる。そこで、判断処理部36は、例えば、瞳孔の大きさの所定時間内の最大値と最小値の幅が所定の値以下の場合、瞳孔の大きさの所定値を超える変化の所定時間内における回数が所定の値以下の場合、または、瞳孔の大きさの変化のパターンが、例えば、機械学習などにより得られる所定のパターンと合致する場合、操作者が、列車運転シミュレータにおいて進行しているシーンに合致した注意を払っていないと判断することができる。
また、例えば、上述した場合と同様にして、シミュレーション時の視覚機能の反応を示す情報として、シミュレータ操作者の視線の動きに関する情報を用いる場合、視線の移動量を基準として、操作者が、列車運転シミュレータにおいて進行しているシーンに合致した注意を払っているか否かを判断するものとしてもよい。視線の移動量は、集中力が高まっているときに増加する。そこで、判断処理部36は、例えば、所定の時間内の視線の移動量が所定の値以下の場合、または、所定時間内の視線の移動量が減少傾向にある場合、もしくは、視線の移動量が所定量以下かつ減少傾向にある場合、操作者が、列車運転シミュレータにおいて進行しているシーンに合致した注意を払っていないと判断することができる。
また、例えば、シミュレーション時の視覚機能の反応を示す情報として、シミュレータ操作者の瞬きの回数を検出してもよい。瞬きの回数は、集中力が高まっているときには少なく、また、緊張状態では非常に多くなる。例えば、反応情報検出装置17に撮像センサを備えてシミュレータ操作者を正面から撮影し、撮影画像を画像処理することにより、シミュレータ操作者の瞬きの回数を検出する。判断処理部36は、シミュレーション時の反応を示す情報として、シミュレータ操作者の瞬きの回数の検出結果の供給を受け、所定時間内の瞬きの回数が第1の所定の値以上の場合、または、所定時間内の瞬きの回数が増加傾向にある場合、もしくは、瞬きの回数が所定数以下かつ増加傾向にある場合、操作者が、列車運転シミュレータにおいて進行しているシーンに合致した注意を払っていないと判断することができる。さらに、判断処理部36は、所定時間内の瞬きの回数が、第1の所定の値よりもさらに多い第2の所定の値以上の場合、極度の緊張状態であるとして、操作者が、列車運転シミュレータにおいて進行しているシーンに合致した注意を払っていないと判断することもできる。
また、以上においては、操作者が、列車運転シミュレータにおいて進行しているシーンに合致した注意を払っているか否かを判断するための基準のうちのいずれか少なくとも1つが合致する場合、操作者が、列車運転シミュレータにおいて進行しているシーンに合致した注意を払っていないと判断するものとして説明したが、複数の基準の組み合わせを用いて、操作者が、列車運転シミュレータにおいて進行しているシーンに合致した注意を払っているか否かを判断することも可能である。
例えば、判断処理部36は、上述した複数の判断基準のうちの所定数以上の判断基準が合致した場合、操作者が、列車運転シミュレータにおいて進行しているシーンに合致した注意を払っていないと判断することができる。また、判断処理部36は、上述した複数の判断基準の組み合わせパターンをあらかじめ複数定め、そのパターンに合致した基準を満たす場合、操作者が、列車運転シミュレータにおいて進行しているシーンに合致した注意を払っていないと判断することができる。具体的には、判断処理部36は、例えば、瞳孔径の変化量が低下し、かつ、視線の移動量も低下している場合や、瞳孔径の変化量は増加しているが、視線の移動量が低下し、確認する必要がある領域を注視していない場合などに、操作者が、列車運転シミュレータにおいて進行しているシーンに合致した注意を払っていないと判断することができる。
このように、操作者の視覚機能の反応として、操作者の瞳孔の大きさに関する情報を取得し、瞳孔の大きさのみならず、その変化に基づいて、操作者が、列車運転シミュレータにおいて進行しているシーンに合致した注意を払っているか否かを判断するようにしたので、操作者が、前面またはシーンに応じた方向を見ていても注意力が低下しているときに、異常事象を発生させることができる。
また、操作者の反応として、操作者の視線に関する情報を取得し、操作者の視線の移動量に基づいて、操作者が、列車運転シミュレータにおいて進行しているシーンに合致した注意を払っているか否かを判断するようにしたので、操作者の注意力が低下しているときに、異常事象を発生させることができる。
また、操作者の反応として、瞬きの回数に関する情報を取得し、操作者の瞬きの回数に基づいて、操作者が、列車運転シミュレータにおいて進行しているシーンに合致した注意を払っているか否かを判断するようにしたので、操作者の集中力が低下しているときに、異常事象を発生させることができる。
また、操作者の反応を複数取得し、反応の検出結果の複数の組み合わせを用いて、操作者が、列車運転シミュレータにおいて進行しているシーンに合致した注意を払っているか否かを判断するようにしたので、より高精度に、操作者がシーンに合致した注意を払っているか否かの判断を行うことができる。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。