JP2020106656A - Simulation evaluation device, train operation simulation system, train operation simulation evaluation method, and program - Google Patents
Simulation evaluation device, train operation simulation system, train operation simulation evaluation method, and program Download PDFInfo
- Publication number
- JP2020106656A JP2020106656A JP2018244873A JP2018244873A JP2020106656A JP 2020106656 A JP2020106656 A JP 2020106656A JP 2018244873 A JP2018244873 A JP 2018244873A JP 2018244873 A JP2018244873 A JP 2018244873A JP 2020106656 A JP2020106656 A JP 2020106656A
- Authority
- JP
- Japan
- Prior art keywords
- operator
- simulation
- voice
- simulator
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 173
- 238000011156 evaluation Methods 0.000 title claims abstract description 162
- 238000012545 processing Methods 0.000 claims abstract description 110
- 238000000034 method Methods 0.000 claims description 39
- 230000008569 process Effects 0.000 claims description 34
- 238000012549 training Methods 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 description 22
- 238000013500 data storage Methods 0.000 description 7
- 238000012854 evaluation process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000005856 abnormality Effects 0.000 description 3
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241000282994 Cervidae Species 0.000 description 1
- 241000287107 Passer Species 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Electrically Operated Instructional Devices (AREA)
Abstract
Description
本発明は、シミュレーション評価装置、列車運転シミュレーションシステム、および、列車運転シミュレーション評価方法、ならびに、プログラムに関する。 The present invention relates to a simulation evaluation device, a train operation simulation system, a train operation simulation evaluation method, and a program.
列車の運転訓練に係る技術として、列車（鉄道車両）の模擬運転をシミュレーションしてユーザの確認動作を評価する技術（例えば、特許文献１を参照）が知られている。 As a technique related to train driving training, there is known a technique of simulating a simulated operation of a train (railroad vehicle) and evaluating a confirmation operation of a user (for example, see Patent Document 1).
運転訓練のためのシミュレーションにおいて、異常事象が発見された場合、訓練生は緊急停止と、輸送指令への報告を行わなければならない。すなわち、シミュレーションにおいては、運転技術のみならず、異常事象が発見された場合の輸送指令への報告の内容についても評価されなければならない。 If an abnormal event is found in the simulation for driving training, the trainee must make an emergency stop and report to the transportation order. That is, in the simulation, not only the driving technique but also the content of the report to the transportation command when an abnormal event is discovered must be evaluated.
特許文献１の技術によれば、模擬鉄道運行区間に設定されている信号機等に対して訓練生が正しく視線を向けることができたかどうかを評価することはできる。しかしながら、特許文献１には、訓練生の発話に対する評価に関しては記載されていない。 According to the technique of Patent Document 1, it is possible to evaluate whether or not the trainee was able to correctly direct his or her line of sight to the traffic light set in the simulated railway operation section. However, Patent Document 1 does not describe the evaluation of the trainee's speech.
従来、異常事象が発見された場合の輸送指令への報告の内容についての評価は、例えば、訓練教官が、それぞれの訓練生の発話内容を聞いてメモをしたり、シミュレータにマイクなどを設置することにより訓練生の発話内容を録音し、それらの記録に基づいて行われてきた。すなわち、従来のシミュレーション訓練中の発話内容の評価は、訓練教官が、個々の訓練生の発話内容を直接聞くことにより行われており、多くの訓練生の発話内容を正しく評価するには、時間も手間もかかっていた。 Conventionally, when an abnormal event is found, evaluation of the content of the report to the transportation command is performed, for example, by a training instructor listening to the content of each trainee's utterance and taking notes, or installing a microphone etc. in the simulator. By doing so, the utterances of the trainees were recorded, and it was performed based on those records. That is, the evaluation of the utterance content during the conventional simulation training is performed by the training instructor directly listening to the utterance content of each trainee, and it takes time to correctly evaluate the utterance content of many trainees. It took time and effort.
そこで、本発明は、前記課題を解決すること、すなわち、異常事象が発見された場合の訓練生の発話内容を正しく評価することができる、シミュレーション評価装置、列車運転シミュレーションシステム、および、列車運転シミュレーション評価方法、ならびに、プログラムを提供することを目的とする。 Therefore, the present invention solves the above problem, that is, a simulation evaluation device, a train operation simulation system, and a train operation simulation that can correctly evaluate the utterance content of a trainee when an abnormal event is discovered. The purpose is to provide an evaluation method and a program.
上記課題を解決するために、本発明のシミュレーション評価装置の一側面は、列車運転シミュレータにより実行される列車運転シミュレーション実行中の列車運転シミュレータの操作者の発話音声の取得を制御する音声取得制御部と、音声取得制御部の制御により取得された操作者の発話音声を音声認識する音声認識処理部と、音声認識処理部による音声認識により得られた操作者の発話内容と、列車運転シミュレーションにおいて操作者が発話すべき基準発話内容とを比較し、操作者の発話内容を評価する評価部とを有することを特徴とする。 In order to solve the above-mentioned problems, one aspect of a simulation evaluation device of the present invention is a voice acquisition control unit that controls acquisition of a voice uttered by an operator of a train driving simulator during train driving simulation executed by a train driving simulator. And a voice recognition processing unit for recognizing the voice uttered by the operator acquired by the control of the voice acquisition control unit, the utterance content of the operator obtained by the voice recognition by the voice recognition processing unit, and the operation in the train driving simulation. And a reference utterance content to be uttered by the operator to evaluate the utterance content of the operator.
本発明のシミュレーション評価装置の他の側面は、評価部は、列車運転シミュレーションのシーンごとに、シーンに対応した基準発話内容と、音声認識処理部の処理により得られたシーンの操作者の発話内容を比較し、操作者の発話内容を評価することを特徴とする。 In another aspect of the simulation evaluation apparatus of the present invention, the evaluation unit, for each scene of the train driving simulation, the reference utterance content corresponding to the scene and the utterance content of the operator of the scene obtained by the processing of the voice recognition processing unit. Is compared with each other to evaluate the utterance content of the operator.
本発明のシミュレーション評価装置の他の側面は、評価部は、音声認識処理部の処理により得られた音声認識結果からキーワードを抽出し、抽出したキーワードと、基準発話内容に含まれるキーワードとを比較し、その比較結果基づいて、操作者の発話内容を評価することを特徴とする。 In another aspect of the simulation evaluation apparatus of the present invention, the evaluation unit extracts a keyword from the voice recognition result obtained by the process of the voice recognition processing unit and compares the extracted keyword with the keyword included in the reference utterance content. Then, the content of the utterance of the operator is evaluated based on the comparison result.
本発明のシミュレーション評価装置の他の側面は、評価部は、抽出したキーワードの分類の割合と、基準発話内容に含まれるキーワードの分類の基準発話内容における割合とを比較して、操作者の発話内容を評価することを特徴とする。 In another aspect of the simulation evaluation device of the present invention, the evaluation unit compares the extracted keyword classification ratio with the ratio of the keyword classification included in the reference utterance content to the reference utterance content, and the operator's utterance Characterized by evaluating the content.
本発明のシミュレーション評価装置の他の側面は、評価部は音声認識処理部の処理により得られた音声認識結果と、基準発話内容との一致率に基づいて、操作者の発話内容を評価することを特徴とする。 According to another aspect of the simulation evaluation apparatus of the present invention, the evaluation unit evaluates the utterance content of the operator based on the matching rate between the voice recognition result obtained by the processing of the voice recognition processing unit and the reference utterance content. Is characterized by.
本発明のシミュレーション評価装置の他の側面は、評価部は、音声認識処理部の処理により得られた音声認識結果に定量的な語があるか否かに基づいて、操作者の発話内容を更に評価することを特徴とする。 In another aspect of the simulation evaluation apparatus of the present invention, the evaluation unit further determines the utterance content of the operator based on whether or not there is a quantitative word in the voice recognition result obtained by the processing of the voice recognition processing unit. Characterized by evaluation.
本発明のシミュレーション評価装置の他の側面は、音声認識処理部は、音声取得制御部により取得が制御された操作者の発話音声の高さ、または速さの少なくともいずれか１つを数値化し、 評価部は、音声認識処理部の処理により数値化された発話音声の高さ、または、速さに基づいて、操作者の発話内容を更に評価することを特徴とする。 Another aspect of the simulation evaluation apparatus of the present invention is that the voice recognition processing unit digitizes at least one of the pitch or speed of the speech of the operator whose acquisition is controlled by the voice acquisition control unit, The evaluation unit is characterized by further evaluating the utterance content of the operator based on the height or speed of the uttered voice digitized by the processing of the voice recognition processing unit.
本発明のシミュレーション評価装置の他の側面は、列車運転シミュレータへの操作入力の取得を制御する操作取得制御部と、列車運転シミュレータへ表示出力する画像データの生成を制御する画像データ生成制御部とをさらに有し、評価部は、操作取得制御部により、緊急停止の操作入力の取得が制御された場合、画像データ生成制御部により、緊急停止が必要となるシミュレーション画像の生成が制御された場合、または、音声認識処理部の処理により得られた音声認識結果が、通信の開始を示す所定の文言である場合、そのタイミング以降で、音声認識処理部の処理により得られた操作者の発話内容の評価を開始することを特徴とする。 Another aspect of the simulation evaluation apparatus of the present invention is an operation acquisition control unit that controls acquisition of an operation input to a train driving simulator, and an image data generation control unit that controls generation of image data to be displayed and output to the train driving simulator. The evaluation unit further includes, when the operation acquisition control unit controls the acquisition of the operation input for the emergency stop, and the image data generation control unit controls the generation of the simulation image that requires the emergency stop. Or, if the voice recognition result obtained by the processing of the voice recognition processing unit is a predetermined wording indicating the start of communication, after that timing, the utterance content of the operator obtained by the processing of the voice recognition processing unit It is characterized by starting the evaluation of.
本発明のシミュレーション評価装置の他の側面は、列車運転シミュレータへの操作入力の取得を制御する操作取得制御手段と、列車運転シミュレータへ表示出力する画像データの生成を制御する画像データ生成制御部とをさらに有し、音声認識処理手段は、操作取得制御手段により、緊急停止の操作入力の取得が制御された場合、または、画像データ生成制御部により、緊急停止が必要となるシミュレーション画像の生成が制御された場合、そのタイミング以降で、音声取得制御手段により取得が制御された操作者の発話音声の音声認識を開始することを特徴とする。 Another aspect of the simulation evaluation apparatus of the present invention is an operation acquisition control unit that controls acquisition of an operation input to a train driving simulator, and an image data generation control unit that controls generation of image data to be displayed and output to the train driving simulator. Further, the voice recognition processing means, when the operation acquisition control means controls the acquisition of the operation input of the emergency stop, or the image data generation control unit generates the simulation image that requires the emergency stop. When controlled, the voice recognition of the uttered voice of the operator whose acquisition is controlled by the voice acquisition control means is started after that timing.
本発明の列車運転シミュレーションシステムの一側面は、列車運転シミュレータが、シミュレーションにおいて進行されるシナリオの各シーンに対応する表示画面を表示するシミュレーション画面表示部と、運転訓練を行う訓練生が、シミュレーション画面表示部により表示された画像を参照して、操作を行う運転操作シミュレータと、運転操作シミュレータの操作者の発話音声を集音する集音部とを有し、シミュレーション評価装置が、集音部により集音された列車運転シミュレータの操作者の発話音声の取得を制御する音声取得制御部と、音声取得制御部の制御により取得された操作者の発話音声を音声認識する音声認識処理部と、音声認識処理部による音声認識により得られた操作者の発話内容と、列車運転シミュレーションにおいて操作者が発話すべき基準発話内容とを比較し、操作者の発話内容を評価する評価部とを有することを特徴とする。 One aspect of the train driving simulation system of the present invention is that a train driving simulator displays a simulation screen display unit that displays a display screen corresponding to each scene of a scenario that is progressed in the simulation, and a trainee who performs driving training has a simulation screen. With reference to the image displayed by the display unit, a driving simulator that performs an operation, and a sound collection unit that collects the voice uttered by the operator of the driving simulator, and the simulation evaluation device uses the sound collection unit. A voice acquisition control unit that controls the acquisition of the uttered voice of the train-training simulator operator, a voice recognition processing unit that recognizes the uttered voice of the operator acquired by the control of the voice acquisition control unit, and a voice. It has an evaluation unit that compares the utterance content of the operator obtained by the voice recognition by the recognition processing unit with the reference utterance content that the operator should utter in the train driving simulation, and evaluates the utterance content of the operator. Characterize.
本発明の列車運転シミュレーション評価方法の一側面は、列車運転シミュレータにより実行される列車運転シミュレーション実行中の列車運転シミュレータの操作者の発話音声の取得を制御する音声取得制御ステップと、音声取得制御ステップの処理により取得が制御された操作者の発話音声を音声認識する音声認識処理ステップと、音声認識処理ステップの音声認識処理により得られた操作者の発話内容と、列車運転シミュレーションにおいて操作者が発話すべき基準発話内容とを比較し、操作者の発話内容を評価する評価ステップとを含むことを特徴とする。 One aspect of the train operation simulation evaluation method of the present invention is a voice acquisition control step for controlling acquisition of a voice uttered by an operator of a train driving simulator being executed by a train driving simulator, and a voice acquisition control step. The voice recognition processing step for recognizing the voice uttered by the operator whose acquisition is controlled by the processing of step 1, the utterance content of the operator obtained by the voice recognition processing in the voice recognition processing step, and the operator's utterance in the train driving simulation. And an evaluation step of comparing the utterance content of the operator with the reference utterance content to be spoken.
本発明のプログラムの一側面は、列車の運転訓練を行うための列車運転シミュレータを制御するコンピュータに、列車運転シミュレータにより実行される列車運転シミュレーション実行中の列車運転シミュレータの操作者の発話音声の取得を制御する音声取得制御ステップと、音声取得制御ステップの処理により取得が制御された操作者の発話音声を音声認識する音声認識処理ステップと、音声認識処理ステップの音声認識処理により得られた操作者の発話内容と、列車運転シミュレーションにおいて操作者が発話すべき基準発話内容とを比較し、操作者の発話内容を評価する評価ステップとを含む処理を実行させる。 One aspect of the program of the present invention is a computer that controls a train driving simulator for train training of a train, and a train driving simulator executed by the train driving simulator acquires a speech voice of an operator of the train driving simulator being executed. A voice acquisition control step for controlling a voice recognition control step for recognizing the voice uttered by the operator whose acquisition is controlled by the processing of the voice acquisition control step, and an operator obtained by the voice recognition processing of the voice recognition processing step. And a reference utterance content to be uttered by the operator in the train driving simulation, and an evaluation step of evaluating the utterance content of the operator is executed.
本発明によれば、訓練生の発話内容を正しく評価することができる。 According to the present invention, it is possible to correctly evaluate the utterance content of the trainee.
以下、本発明の一実施の形態のシミュレータ制御装置２１を含む列車運転シミュレーションシステム１について、図１〜図１３を参照しながら説明する。
Hereinafter, a train operation simulation system 1 including a
図１を参照して、本発明の一実施例である列車運転シミュレーションシステム１について説明する。 A train operation simulation system 1 according to an embodiment of the present invention will be described with reference to FIG.
シミュレーションの中で異常事象が発生した場合には、訓練生は、緊急停止と、異常事象に対応した輸送指令への報告など、所定の操作を行う。そこで、本発明の一実施例である列車運転シミュレーションシステム１においては、訓練生であるシミュレータの操作者の発話音声を取得し、音声認識を行うことにより、発話内容の評価を行うものである。 When an abnormal event occurs in the simulation, the trainee performs a predetermined operation such as an emergency stop and a report to a transportation command corresponding to the abnormal event. Therefore, in the train operation simulation system 1 which is an embodiment of the present invention, the speech content of the trainee simulator operator is acquired and the speech recognition is performed to evaluate the speech content.
列車運転シミュレーションシステム１は、シミュレータ制御ユニット１１、列車運転シミュレータユニット１２、および、ネットワーク１３を含んで構成されている。シミュレータ制御ユニット１１は、シミュレータ制御装置２１、操作入力装置２２、表示装置２３、および、プリンタ２４を含んで構成される。列車運転シミュレータユニット１２は、シミュレーション画面表示装置３１、運転操作シミュレータ３２、および、集音装置３３を含んで構成される。図１の例では、列車運転シミュレータユニット１２を構成するシミュレーション画面表示装置３１、運転操作シミュレータ３２、および、集音装置３３を１セットのみ図示しているが、複数人が同時に訓練できるようにする場合には、これらを複数設けることができる。
The train operation simulation system 1 includes a
シミュレータ制御ユニット１１のシミュレータ制御装置２１は、ネットワーク１３を介して列車運転シミュレータユニット１２と通信し、操作入力装置２２から供給されるユーザ（列車運転に関する教官等）の操作入力に基づいて、列車運転シミュレータユニット１２によるシミュレーションの実行を制御し、訓練結果を評価する。具体的には、シミュレータ制御装置２１は、運転操作シミュレータ３２から、シミュレータ操作者（運転技術の訓練を行う者等）の操作に関する情報を取得し、それらに基づいて、シミュレーション画面表示装置３１に表示される表示画像を制御する。また、シミュレータ制御装置２１は、集音装置３３から、シミュレータ操作者の発話音声を取得し、音声認識を行って、発話内容の評価を行う。
The
操作入力装置２２は、例えば、キーボード、マウス、タッチパッドなどの入力デバイスにより構成され、ユーザ（列車運転に関する教官等）の操作入力を受け、シミュレータ制御装置２１に供給する。
The
表示装置２３は、操作入力装置２２によるユーザ（列車運転に関する教官等）の操作入力を促すための情報を表示する。操作入力を促すための情報には、例えば、シミュレーション路線名、天候などの、シミュレーションの条件を選択するための情報などがある。また、表示装置２３は、シミュレータ制御装置２１から、後述する発話内容の評価結果を含むシミュレーション結果に対応する情報の供給を受け、これを表示出力する。
The
プリンタ２４は、シミュレータ制御装置２１から、後述する発話内容の評価結果を含むシミュレーション結果に対応する情報の供給を受け、これを印字出力する。
The
列車運転シミュレータユニット１２のシミュレーション画面表示装置３１は、シミュレータ制御ユニット１１のシミュレータ制御装置２１により生成されたシミュレーション画面を表示する。
The simulation
運転操作シミュレータ３２は、運転席または乗務員室を模擬した形態となっており、運転等のために必要なレバーやボタン、または計器等が設けられるとともに、例えば、時刻表や運行表等の列車運行のために必要な備品が備え付けられている。運転操作シミュレータ３２は、シミュレータ操作者（運転技術の訓練を行う者）が実行した操作入力を、ネットワーク１３を介して、シミュレータ制御装置２１に供給する。
The driving
集音装置３３は、シミュレータ操作者の発話を集音し、シミュレータ制御装置２１に供給する。集音装置３３は、例えば、図１のようなシミュレータ操作者の正面に設置される非装着型の据え置き装置であるマイクロフォンとして実現することとしてもよいし、例えば、ヘッドセットなど、ユーザが装着する装着型の装置として実現してもよい。
The
シミュレータ制御ユニット１１のシミュレータ制御装置２１について、２つの機能構成例を用いて説明する。まず、図２〜図１１を用いて、第１の構成例としてのシミュレータ制御装置２１ａについて説明する。そして、図１２および図１３を用いるとともに、適宜それ以前の図を参照して、第２の構成例としてのシミュレータ制御装置２１ｂについて説明する。
The
図２を用いて、シミュレータ制御装置２１ａが有する機能構成について説明する。
The functional configuration of the
シミュレータ制御装置２１ａは、操作入力制御部５１、シミュレータ制御部５２、制御装置用出力制御部５３、シミュレータ操作入力取得制御部５４、表示画面生成部５５、ビデオデータ記憶部５６、シミュレータ画面表示制御部５７、音声取得制御部５８、音声認識処理部５９、操作者状況記録部６０、キーワード記憶部６１、熟練者発話情報記憶部６２、および、発話内容評価部６３の機能を含んで構成されている。
The
操作入力制御部５１（以下、入力制御部５１と称する）は、操作入力装置２２から供給されるユーザ（列車運転に関する教官等）の操作入力の取得を制御し、取得した操作入力情報を、シミュレータ制御部５２に供給する。
The operation input control unit 51 (hereinafter, referred to as the input control unit 51) controls the acquisition of the operation input of the user (the instructor related to train operation) supplied from the
シミュレータ制御部５２は、入力制御部５１から供給された操作入力に基づき、シミュレータ制御装置２１ａの動作を制御する。具体的には、シミュレータ制御部５２は、表示装置２３に、操作入力装置２２によるユーザ（列車運転に関する教官等）の操作入力を促すための情報を表示させるために、制御装置用出力制御部５３（以下、出力制御部５３と称する）を制御する。また、シミュレータ制御部５２は、入力制御部５１から供給された操作入力に基づき、ユーザから選択されたシミュレーションのシナリオに対応する路線、天候などに合致した表示画面をシミュレーション画面表示装置３１に表示させるために、表示画面生成部５５を制御する。
The
シミュレータ制御部５２は、シミュレータ操作入力取得制御部５４（以下、操作取得制御部５４と称する）から供給される情報に基づいて、表示画面生成部５５を制御して、ビデオデータ記憶部５６から実行中のシナリオのシーンに対応する画像データを読み出させ、シミュレーション画面表示装置３１に表示される画像データを生成させる。例えば、シミュレーションの開始時に、運転操作シミュレータ３２において、発車のための運転操作がなされた場合、シミュレータ制御部５２は、操作取得制御部５４から供給される情報に基づいて、表示画面生成部５５を制御して、シミュレーション画面表示装置３１に表示される画像を、実際の発車時に対応する動画像とする。また、シミュレーションの実行中に、運転操作シミュレータ３２において、速度の変更やブレーキングなどの運転のための操作入力がなされた場合、シミュレータ制御部５２は、操作取得制御部５４から供給される情報に基づいて、表示画面生成部５５を制御して、シミュレーション画面表示装置３１に表示される画像を、シミュレータ操作者が実行した運転操作に対応させる。また、シミュレータ制御部５２は、実行中のシナリオにおいて、異常事象が発生するタイミングであった場合、それを、発話内容評価部６３（以下、評価部６３と称する）に通知する。
The
また、シミュレータ制御部５２は、シミュレーションの結果に対応する情報を、表示装置２３に表示出力させたり、プリンタ２４に印字出力させるために、操作者状況記録部６０（以下、記録部６０と称する）に記録されているシミュレーション中の操作者状況に関する情報、および、評価部６３による発話内容の評価結果の供給を受け、出力制御部５３に供給する。また、シミュレータ制御部５２は、表示画面生成部５５を制御し、シミュレーションの結果に対応する表示データを生成させて、表示制御部５７に供給させる。
In addition, the
出力制御部５３は、シミュレータ制御部５２の制御に基づいて、表示装置２３に、操作入力装置２２によるユーザ（列車運転に関する教官等）の操作入力を促すための情報を表示させる。操作入力を促すための情報には、例えば、シミュレーション路線名、天候などの、シミュレーションの条件を選択するための情報などがある。また、出力制御部５３は、シミュレータ制御部５２の制御に基づいて、シミュレーションの結果に対応する出力データを生成し、表示装置２３またはプリンタ２４に、発話内容の評価を含むシミュレーションの結果に対応する情報を出力させる。
Based on the control of the
操作取得制御部５４は、運転操作シミュレータ３２からネットワーク１３を介して供給された、シミュレータ操作者の操作入力に関する情報を取得し、シミュレータ制御部５２、記録部６０、および、評価部６３に供給する。
The operation
表示画面生成部５５は、シミュレータ制御部５２の制御に基づいて、ビデオデータ記憶部５６に記憶されている画像データを読み出して、シミュレーション画面表示装置３１に表示させるシミュレーション用の画像データを生成し、シミュレータ画面表示制御部５７（以下、表示制御部５７と称する）に供給する。また、表示画面生成部５５は、シミュレータ制御部５２の制御に基づいて、シミュレーションの結果に対応する表示データを生成し、表示制御部５７に供給する。
The display
ビデオデータ記憶部５６は、シミュレーション画面表示装置３１に表示させるシミュレーション用の画像データの生成のためのビデオデータを記憶している。
The video
表示制御部５７は、表示画面生成部５５により生成された画像データを、ネットワーク１３を介してシミュレーション画面表示装置３１に供給し、その表示を制御する。
The
音声取得制御部５８（以下、音声取得部５８と称する）は、集音装置３３からネットワーク１３を介して供給された、シミュレータ操作者の発話音声を取得し、音声認識処理部５９に供給する。
The voice acquisition control unit 58 (hereinafter, referred to as a voice acquisition unit 58) acquires the voice uttered by the simulator operator from the
音声認識処理部５９は、音声取得部５８から供給されたシミュレータ操作者の発話音声を音声認識して、音声データをテキストデータに変換し、シミュレーション結果として記録部６０に供給して記録させるとともに、評価部６３に供給する。また、音声認識処理部５９は、音声取得部５８から供給されたシミュレータ操作者の発話音声の高さ、および、発話の速さを数値化し、記録部６０に供給して記録させるとともに、評価部６３に供給する。
The voice
記録部６０は、操作取得制御部５４、および、音声認識処理部５９から供給されたシミュレーション結果を記録する。
The
キーワード記憶部６１は、評価部６３がシミュレータ操作者の発話内容を評価するために用いる第１の情報として、輸送指令への報告に用いられるキーワードを、所定の分類ごとに記憶する。
The
キーワード記憶部６１に記憶されているキーワードの例を図３に示す。キーワードは、例えば、場所、事故内容、自列車、乗客・通行人等、他列車、地上設備、周辺状況、および、その他などに、内容によって分類される。場所の分類に記憶されるキーワードには、例えば、A駅（Aには名称が入る）、B駅とC駅の間（BおよびCには名称が入る）、出発後、到着前、駅構内、10km300m（キロ程：数字はいかなるものであっても構わない）、第〇閉そく信号機（〇には数値等が入る）、特殊信号発光機、中継信号機、内方、外方、D踏切（Dには名称が入る）、E橋梁（Eには名称が入る）、Fトンネル（Fには名称が入る）などがある。また、事故内容の分類に記憶されるキーワードには、例えば、車、乗用車、軽乗用車、トラック、バス、バイクなどがある。また、自列車の分類に記憶されるキーワードには、例えば、200M（列車番号）、走行速度X km/h（Xには数値等が入る）、防護無線の発報、防護無線を受信、車両用信号炎管の点火、携帯用信号炎管の点火などがある。
FIG. 3 shows an example of keywords stored in the
乗客・通行人等の分類に記憶されるキーワードには、例えば、怪我人、怪我、乗客、避難誘導、お客様、運転手、歩行者、通行人、待避場所などがある。また、他列車の分類に記憶されるキーワードには、例えば、対向車線、後続列車、他列車、抑止手配、救援列車、見通し距離などがある。また、地上設備の分類に記憶されるキーワードには、例えば、ATS地上子、転てつ機、沿線電話、遮断機などがある。また、周辺状況の分類に記憶されるキーワードには、線路、踏切、踏切の中、踏切の外、架線、落石、雪崩、強風、濃霧、鹿などがある。また、その他の分類には、各分類に属さないキーワードが記憶される。キーワードの分類は、これ以外のものであってもよい。また、それぞれの分類には、これ以外のキーワードが登録されていてもよい。 The keywords stored in the classification of passengers/passengers include injured persons, injuries, passengers, evacuation guidance, customers, drivers, pedestrians, pedestrians, and shelters. The keywords stored in the classification of other trains include, for example, oncoming lanes, following trains, other trains, restraint arrangements, rescue trains, and line-of-sight distances. Further, the keywords stored in the classification of the ground equipment include, for example, the ATS ground wire, the switch machine, the wayside telephone, and the breaker. Further, the keywords stored in the classification of the surrounding situation include railroad tracks, railroad crossings, inside railroad crossings, outside railroad crossings, overhead lines, rockfalls, avalanches, strong winds, heavy fog, and deer. In addition, keywords that do not belong to each category are stored in the other categories. The classification of keywords may be other than this. In addition, keywords other than these may be registered in each category.
図２に戻り、熟練者発話情報記憶部６２は、評価部６３がシミュレータ操作者の発話内容を評価するために用いる基準発話内容である第２の情報として、熟練者の輸送指令への報告の発話内容例を、シミュレーションの所定のシーンごとに記憶する。シミュレーションの所定のシーンとは、異常事象が発生され、シミュレータ操作者が緊急停止および輸送指令への報告を行うシーンである。具体的には、シミュレーションのシナリオ中に、例えば、踏切に人や乗用車等が侵入している、架線や線路に障害物が存在する、緊急停止信号が点灯している、または、ホームの乗客等に異常が発生しているなどのシーンが発生した場合、シミュレータ操作者は緊急停止の操作、および、輸送指令への報告を行う必要がある。したがって、熟練者発話情報記憶部６２には、それらのシーンに対応した熟練者の輸送指令への報告の発話内容例が記憶される。
Returning to FIG. 2, the expert utterance
熟練者発話情報記憶部６２に記憶されている熟練者の発話内容例を図４に示す。図４においては、踏切に軽自動車が侵入し、接触したシーンにおける熟練者の発話内容例が示されている。熟練者の発話内容例のうち、図３を用いて説明した各キーワードに対応する単語または複数の単語を含む文言には、それぞれの分類が対応付けられている。例えば、「光町駅」「第１閉そく信号機」「第２閉そく信号機」などの単語には、「場所」の分類が対応付けられ、「軽乗用車」「接触」などの単語には、「事故内容」の分類が対応付けられている。そして、「２００Ｍ」「防護無線を発報」「車両用信号炎管を点火」などの単語または複数の単語を含む文言には、「自列車」の分類が対応付けられ、「ドライバ」「乗客」「けが」などの単語には、「乗客・通行人等」の分類が対応付けられている。そして、「他列車」「抑止手配」「対向車線」の単語には、「他列車」の分類が対応付けられ、「踏切の外」「救急車」の単語には、「周辺状況」の分類が対応付けられている。
FIG. 4 shows an example of the utterance contents of the expert stored in the expert utterance
図４に示される熟練者の発話内容例においては、多くの分類のキーワードが、多数、効率的に含まれている。なお、この熟練者の発話内容例では、地上設備のキーワードは含まれていないが、シミュレーションによって発生された異常事象の内容によっては、必要ではない分類も存在する。熟練者発話情報記憶部６２は、図４に示される例以外のシーンにおいても、熟練者の発話内容例を、図３を用いて説明した各キーワードに対応する分類に対応付けて記憶している。
In the example of the utterance contents of the expert shown in FIG. 4, many categories of keywords are efficiently included in large numbers. It should be noted that in this example of the utterance content of the expert, the keyword of the ground equipment is not included, but depending on the content of the abnormal event generated by the simulation, there is a classification that is not necessary. In the scenes other than the example shown in FIG. 4, the expert utterance
再び図２に戻り、評価部６３は、音声認識処理部５９から供給される音声認識結果を用いて、シミュレータ操作者の発話内容を評価する。具体的には、評価部６３は、キーワード記憶部６１、および、熟練者発話情報記憶部６２に記憶されている情報を用いて、シミュレータ操作者の発話内容を評価することができる。また、評価部６３は、音声認識処理部５９から供給される音声認識結果から定量的な語（例えば、距離、人数、台数などを示す語）を抽出することにより、シミュレータ操作者の発話内容を評価することができる。また、評価部６３は、音声認識処理部５９から供給される、シミュレータ操作者の発話音声の高さ、および、発話の速さを数値化した情報に基づいて、シミュレータ操作者の発話内容を評価することができる。
Returning to FIG. 2 again, the
評価部６３は、シミュレーションの中で異常事象が発生し、訓練生が、異常事象に対応して輸送指令への報告を開始するタイミングで、発話内容の評価を開始する。具体的には、評価部６３は、例えば、操作取得制御部５４から、緊急停止の操作入力が行われたことを示す情報の供給を受けた場合、発話内容の評価を開始することができる。また、評価部６３は、例えば、シミュレータ制御部５２から、実行中のシミュレーションのシナリオにおいて、異常事象が発生するタイミングであることを示す情報の供給を受けた場合、発話内容の評価を開始することができる。また、評価部６３は、例えば、音声認識処理部５９から供給される音声認識結果が「輸送指令、輸送指令」という、輸送指令への通信の開始を示す決まった文言である場合、発話内容の評価を開始することができる。評価部６３は、緊急停止の操作入力が行われたことを示す情報の供給があるか否か、異常事象が発生するタイミングであることを示す情報の供給があるか否か、または、音声認識結果が輸送指令への通信の開始を示す決まった文言であるか否か、のすべての条件判断を行い、いずれかの条件が合致した場合に、発話内容の評価の開始タイミングであることを決定してもよいし、いずれかの条件判断を行うことにより、発話内容の評価の開始タイミングであることを決定してもよい。
The
評価部６３によるシミュレータ操作者の発話内容の評価について、図５および図６を用いて説明する。
The evaluation of the utterance content of the simulator operator by the
図５に、図４において説明した熟練者の発話内容例と同一のシーン同一の異常事象が発生した場合における、シミュレータ操作者の発話内容の音声認識結果の例を示す。図５に示される発話内容の例では、図３を用いて説明したキーワードのうち、事故内容の分類の「車」および「接触」のキーワードと、自列車の分類の「２００Ｍ」「停止」「破損」「脱線」のキーワードは含まれているが、他の分類のキーワードは含まれていない。すなわち、図５に示されるシミュレータ操作者の発話内容の例では、図３を用いて説明したキーワードのうち、偏った分類に含まれるキーワードしか用いられていないことが分かる。また、図４を用いた熟練者の発話内容例と比較して、事故が発生した場所、乗客や通行人等、他列車、および、周辺状況に関する情報が欠落していることが分かる。 FIG. 5 shows an example of the voice recognition result of the utterance content of the simulator operator when the same abnormal event occurs in the same scene as the utterance content example of the expert described in FIG. In the example of the utterance content shown in FIG. 5, among the keywords described with reference to FIG. 3, the keywords “car” and “contact” of the accident content classification and “200M” “stop” “of the own train classification” The keywords "damaged" and "derailment" are included, but the keywords of other categories are not included. That is, in the example of the utterance content of the simulator operator shown in FIG. 5, only the keywords included in the biased classification are used among the keywords described with reference to FIG. Further, as compared with the example of the utterance content of the expert using FIG. 4, it can be seen that the information about the place where the accident occurred, passengers, passers-by, other trains, and surrounding conditions are missing.
評価部６３は、キーワード記憶部６１に記憶されているキーワード、および、熟練者発話情報記憶部６２に記憶されている同一シーンにおける熟練者の発話内容例を参照し、音声認識処理部５９から供給される音声認識結果に基づいて、シミュレータ操作者の発話内容と、熟練者の発話内容例とにおいて一致するキーワードの数を検出し、検出結果を、シミュレータ制御部５２に供給する。例えば、図５を用いて説明した音声認識結果である場合、図４を用いて説明した熟練者の発話内容例と一致するキーワードの数は６となる。また、評価部６３は、重複するキーワードは、１つとして数えるものとしてもよい。更に、評価部６３は、同一シーンにおける熟練者の発話内容例に含まれているキーワード数も算出することにより、熟練者の発話内容例と一致するキーワードの数を、例えば、６／２８と算出するものとしてもよい。
The
また、評価部６３は、キーワード記憶部６１に記憶されているキーワード、および、熟練者発話情報記憶部６２に記憶されている同一シーンにおける熟練者の発話内容例を参照し、音声認識処理部５９から供給される音声認識結果に基づいて、シミュレータ操作者の発話内容の音声認識結果、および、同一シーンにおける熟練者の発話内容例に含まれるキーワードの分類の割合を算出し、算出結果を、シミュレータ制御部５２に供給する。例えば、音声認識結果が図５を用いて説明したものであり、同一シーンにおける熟練者の発話内容例が図４を用いて説明したものである場合、キーワードの分類の割合は、シミュレータ操作者においては、自列車が８０％、事故内容が２０％となり、熟練者の発話内容例においては、自列車が３８％、場所が１８％、事故内容と乗客、通行人等が１４％、他列車が１１％、周辺状況が７％となる。また、評価部６３は、重複するキーワードは、１つとして数えて、分類の割合を算出するものとしてもよい。
Further, the
また、評価部６３は、熟練者発話情報記憶部６２に記憶されている同一シーンにおける熟練者の発話内容例を参照し、音声認識処理部５９から供給される音声認識結果に基づいて、シミュレータ操作者の発話内容の音声認識結果と、同一シーンにおける熟練者の発話内容例との一致率を算出し、算出結果を、シミュレータ制御部５２に供給する。
The
また、評価部６３は、音声認識処理部５９から供給される音声認識結果に基づいて、シミュレータ操作者の発話内容の音声認識結果に含まれる定量的な語（例えば、距離、人数、台数などを示す語）の数を検出し、検出結果を、シミュレータ制御部５２に供給する。
In addition, the
また、評価部６３は、音声認識処理部５９から供給される音声認識結果に基づいて、シミュレータ操作者の発話の速さや声の高さなどを用いて、発話の伝わりやすさを評価し、評価結果を、シミュレータ制御部５２に供給する。具体的には、評価部６３は、シミュレータ操作者の発話の速さや声の高さなどを数値化した情報を、１つまたは複数の閾値と比較し、レベル化したり、指標化することにより、発話の伝わりやすさを評価する。
In addition, the
シミュレータ制御部５２は、評価部６３から供給された情報を用いて、出力制御部５３を制御し、例えば、図６に示されるような評価結果を、表示装置２３またはプリンタ２４に供給させて出力させる。また、シミュレータ制御部５２は、表示画面生成部５５を制御し、図６に示されるような評価結果に対応する表示画像データを生成させて、表示制御部５７に供給させる。表示制御部５７は、表示画面生成部５５により生成された画像データを、ネットワーク１３を介してシミュレーション画面表示装置３１に供給し、その表示を制御する。
The
この評価結果を確認することにより、シミュレータの操作者の発話内容は、熟練者の発話例と比較して、キーワードが不足し、キーワードの分類が偏っている、すなわち、熟練者の発話例と比較して、報告内容が偏っており、他列車、乗客、通行人等、および、周辺状況の報告が欠けており、報告内容が全体的に不十分であることが分かる。 By confirming this evaluation result, the utterance content of the simulator operator is lacking in keywords and the keyword classification is biased compared with the utterance example of the expert, that is, the utterance example of the expert is compared. Then, the report contents are biased and other trains, passengers, passersby, etc., and the surrounding situation reports are missing, and it can be seen that the report contents are generally insufficient.
評価部６３は、上述した評価方法のうちの少なくとも１つ、望ましくは、すべての処理を行う。また、評価部６３は、シミュレータ制御部５２による制御に基づいて、上述した評価方法のうち、ユーザが選択した評価方法を行うようにしてもよい。
The
次に、図７のフローチャートを参照して、シミュレータ制御装置２１ａを備える列車運転シミュレーションシステム１において実行されるシミュレーション処理１について説明する。
Next, with reference to the flowchart of FIG. 7, the simulation process 1 executed in the train operation simulation system 1 including the
ステップＳ１において、操作入力装置２２は、ユーザ（列車運転に関する教官等）の操作入力を受け、シミュレータ制御装置２１ａに供給する。シミュレータ制御装置２１ａは、ユーザの操作入力に基づいた、路線、天候等の条件に合致したシミュレーションの開始準備を実行する。シミュレータ制御装置２１ａのシミュレータ制御部５２は、表示画面生成部５５を制御して、シミュレーションのシナリオに応じた画像生成を開始させる。表示画面生成部５５により生成された画像は、表示制御部５７を介して列車運転シミュレータユニット１２のシミュレーション画面表示装置３１に表示される。
In step S1, the
ステップＳ２において、シミュレータ制御装置２１ａの操作取得制御部５４は、ネットワーク１３を介して、運転操作シミュレータ３２からの操作入力に関する情報が取得されたか否かを判断する。ステップＳ２において、操作入力に関する情報が取得されていないと判断された場合、操作入力に関する情報が取得されたと判断されるまで、ステップＳ２の処理が繰り返される。
In step S2, the operation
ステップＳ２において、操作入力に関する情報が取得されたと判断された場合、ステップＳ３において、操作取得制御部５４は、取得された操作入力に関する情報を、シミュレータ制御部５２、および、評価部６３に供給する。シミュレータ制御部５２は、操作取得制御部５４から供給される情報に基づいて、表示画面生成部５５を制御して、ビデオデータ記憶部５６から実行中のシナリオのシーンに対応する画像データを読み出させ、シミュレーション画面表示装置３１に表示される画像データを生成させ、操作入力に基づいたシミュレーションを実行する。例えば、シミュレーションの開始時に、運転操作シミュレータ３２において、発車のための運転操作がなされた場合、シミュレータ制御部５２は、操作取得制御部５４から供給される情報に基づいて、表示画面生成部５５を制御して、シミュレーション画面表示装置３１に表示される画像を、実際の発車時に対応する動画像とする。また、それ以降、シミュレータ制御部５２は、操作取得制御部５４から供給される情報に基づいて、例えば、速度の変更やブレーキングなどの操作入力がなされた場合、表示画面生成部５５を制御して、シミュレーション画面表示装置３１に表示される画像を、シミュレータ操作者が実行した運転操作に対応したものとするなどの、操作入力に基づいたシミュレーションを実行する。
When it is determined in step S2 that the information regarding the operation input is acquired, the operation
ステップＳ４において、音声取得部５８は、集音装置３３からネットワーク１３を介して供給された、シミュレータ操作者の発話音声を取得し、音声認識処理部５９に供給する。
In step S4, the
ステップＳ５において、音声認識処理部５９は、音声取得部５８から供給されたシミュレータ操作者の発話音声を音声認識して、音声データをテキストデータに変換し、シミュレーション結果として記録部６０に供給して記録させるとともに、評価部６３に供給する。
In step S5, the voice
ステップＳ６において、評価部６３は、操作取得制御部５４から、緊急停止の操作入力が行われたことを示す情報の供給を受けるか、シミュレータ制御部５２から、実行中のシミュレーションのシナリオにおいて、異常事象が発生するタイミングであることを示す情報の供給を受けるか、または、音声認識結果が「輸送指令、輸送指令」などの輸送指令への通信の開始を示す決まった文言であるかなどの、発話内容の評価タイミングとなったか否かを判断する。ステップＳ６において、発話内容の評価タイミングとなっていないと判断された場合、処理は、ステップＳ３に戻り、それ以降の処理が繰り返される。
In step S6, the
ステップＳ６において、発話内容の評価タイミングとなったと判断された場合、ステップＳ７において、図８〜図１１を用いて後述する発話内容評価処理１〜４のうちのいずれか少なくとも１つ、望ましくは、発話内容評価処理１〜４のすべての処理が実行される。 When it is determined in step S6 that it is time to evaluate the utterance content, in step S7, at least one of utterance content evaluation processes 1 to 4 described later with reference to FIGS. 8 to 11, preferably, All the utterance content evaluation processes 1 to 4 are executed.
ステップＳ８において、シミュレータ制御部５２は、表示装置２３に、シミュレーションの結果に対応する情報を表示させるために、記録部６０に記録されているシミュレーション中の操作者状況に関する情報、および、評価部６３による発話内容の評価結果の供給を受け、出力制御部５３に供給する。出力制御部５３は、シミュレーションの結果に対応する表示データを生成する。また、シミュレータ制御部５２は、表示画面生成部５５を制御し、シミュレーションの結果に対応する表示データを生成させる。
In step S8, the
ステップＳ９において、表示画面生成部５５は、シミュレーションの結果に対応する表示データを表示制御部５７に供給し、ネットワーク１３を介してシミュレーション画面表示装置３１に供給させて表示させ、出力制御部５３は、表示装置２３またはプリンタ２４に、シミュレーションの結果に対応する情報を出力させて、処理が終了する。
In step S9, the display
このように、操作者の発話音声が取得され、操作者の発話音声が音声認識され、キーワード記憶部６１に記憶されているキーワード、および、熟練者発話情報記憶部６２に記憶されている熟練者の発話内容例を用いて、所定のタイミングで、音声認識結果の評価が開始されるので、ユーザ（列車運転に関する教官等）の手間や時間をかけることなく、訓練生の発話内容を、正しく評価することができる。また、評価開始のタイミングを、緊急停止の操作入力が行われたことを示す情報の供給を受けるか、シミュレータ制御部５２から、実行中のシミュレーションのシナリオにおいて、異常事象が発生するタイミングであることを示す情報の供給を受けるか、または、音声認識結果が「輸送指令、輸送指令」などの輸送指令への通信の開始を示す決まった文言であるか、のいずれかとしているので、操作者の発話の評価が必要な個所を、誤ることなく、また、無駄な処理を行うことなく実行することができる。
In this way, the uttered voice of the operator is acquired, the uttered voice of the operator is voice-recognized, and the keyword stored in the
次に、図８のフローチャートを参照して、図７のステップＳ７において実行される第１の処理である、発話内容評価処理１について説明する。 Next, the utterance content evaluation process 1, which is the first process executed in step S7 of FIG. 7, will be described with reference to the flowchart of FIG.
ステップＳ２１において、評価部６３は、キーワード記憶部６１に記憶されている、例えば、図３を用いて説明したキーワードの情報を読み込む。
In step S21, the
ステップＳ２２において、評価部６３は、シミュレータ制御部５２から、現在進行しているシミュレーションのシーン情報を取得する。
In step S22, the
ステップＳ２３において、評価部６３は、熟練者発話情報記憶部６２から、シミュレーションのシーン情報に対応する、例えば、図４を用いて説明した熟練者発話情報を読み込む。
In step S23, the
ステップＳ２４において、評価部６３は、音声認識処理部５９から供給された音声認識結果から、キーワードを抽出する。
In step S24, the
ステップＳ２５において、評価部６３は、抽出されたキーワードと熟練者発話情報に含まれるキーワードとの一致数、または、抽出されたキーワードと熟練者発話情報との分類される属性の割合の比較結果のうちの、すくなくともいずれか１つ、好ましくはこれらすべてを算出して、シミュレータ制御部５２に供給し、処理は、図７のステップＳ８に進む。
In step S25, the
このように、分類されたキーワードと、現在進行しているシミュレーションのシーンに合致した熟練者発話情報を用いて音声認識結果が評価されるので、操作者の発話内容を、熟練者の発話例と比較して、精度よく評価することができる。 In this way, since the speech recognition result is evaluated using the classified keywords and the expert utterance information that matches the scene of the simulation currently in progress, the utterance content of the operator is compared with the utterance example of the expert. It can be compared and evaluated accurately.
次に、図９のフローチャートを参照して、図７のステップＳ７において実行される第２の処理である、発話内容評価処理２について説明する。 Next, the utterance content evaluation process 2, which is the second process executed in step S7 of FIG. 7, will be described with reference to the flowchart of FIG.
ステップＳ３１において、評価部６３は、音声認識処理部５９から供給された音声認識結果から、例えば、距離、人数、台数などを示す定量的な単語を抽出する。
In step S31, the
ステップＳ３２において、評価部６３は、抽出された定量的な単語の数を算出して、シミュレータ制御部５２に供給し、処理は、図７のステップＳ８に進む。
In step S32, the
このようにして、音声認識結果に定量的な単語が含まれているかどうかを評価することができる。これにより、訓練生に、定量的な語を必要に応じて使用させることを促すための評価を行うことができる。 In this way, it is possible to evaluate whether or not the speech recognition result includes a quantitative word. Thereby, it is possible to perform an evaluation to encourage the trainee to use the quantitative word as needed.
次に、図１０のフローチャートを参照して、図７のステップＳ７において実行される第３の処理である、発話内容評価処理３について説明する。 Next, the utterance content evaluation processing 3, which is the third processing executed in step S7 of FIG. 7, will be described with reference to the flowchart of FIG.
ステップＳ５１において、評価部６３は、シミュレータ制御部５２から、現在進行しているシミュレーションのシーン情報を取得する
In step S51, the
ステップＳ５２において、評価部６３は、熟練者発話情報記憶部６２から、シミュレーションのシーン情報に対応する、熟練者発話情報を読み込む。
In step S52, the
ステップＳ５３において、評価部６３は、音声認識結果と熟練者発話情報との一致率を算出して、シミュレータ制御部５２に供給し、処理は、図７のステップＳ８に進む。
In step S53, the
このように、現在進行しているシミュレーションのシーンに合致した熟練者発話情報を用いて音声認識結果が評価されるので、操作者の発話内容を、熟練者の発話例と比較して精度よく評価することができる。 In this way, since the voice recognition result is evaluated by using the expert utterance information that matches the scene of the simulation that is currently proceeding, the operator's utterance content is evaluated with high accuracy by comparing with the expert utterance example. can do.
次に、図１１のフローチャートを参照して、図７のステップＳ７において実行される第４の処理である、発話内容評価処理４について説明する。 Next, the utterance content evaluation process 4, which is the fourth process executed in step S7 of FIG. 7, will be described with reference to the flowchart of FIG.
ステップＳ６１において、評価部６３は、音声認識処理部５９から供給された、操作者の声のトーン（高さ）、および、発話の速さに対応する数値情報を所定の閾値と比較する。
In step S61, the
ステップＳ６２において、評価部６３は、比較結果に基づいて、操作者の発話の伝わりやすさを算出して、シミュレータ制御部５２に供給し、処理は、図７のステップＳ８に進む。
In step S62, the
このように、音声認識結果を声のトーン（高さ）、および、発話の速さに対応する数値情報を所定の閾値と比較するようにしたので、操作者の発話の伝わりやすさを評価することができる。 In this way, since the voice recognition result is compared with the predetermined threshold value, the numerical information corresponding to the tone (pitch) of the voice and the speed of the utterance is compared, so that the easiness of transmitting the utterance of the operator is evaluated. be able to.
以上説明した処理において、シミュレータ制御装置２１ａの評価部６３は、緊急停止の操作入力が行われたことを示す情報の供給を受けるか、シミュレータ制御部５２から、実行中のシミュレーションのシナリオにおいて、異常事象が発生するタイミングであることを示す情報の供給を受けるか、または、音声認識結果が「輸送指令、輸送指令」などの輸送指令への通信の開始を示す決まった文言であるかなどの、発話内容の評価タイミングとなった場合、音声認識結果の評価を開始した。これに対して、所定のタイミングとなった場合に、音声認識を開始するとともに、音声認識結果の評価を開始するものとしてもよい。
In the processing described above, the
次に、図１２を用いて、第２の構成例としてのシミュレータ制御装置２１ｂが有する機能構成について説明する。
Next, the functional configuration of the
なお、図１２のシミュレータ制御装置２１ｂにおいては、図２を用いて説明したシミュレータ制御装置２１ａと同様の機能を有する部分については、同一の符号を付し、その詳細な説明は省略する。
In the
すなわち、図１２のシミュレータ制御装置２１ｂは、シミュレータ制御部５２に代わって、シミュレータ制御部７１の機能が備えられ、シミュレータ操作入力取得制御部５４に代わって、シミュレータ操作入力取得制御部７２（以下、操作取得制御部７２と称する）の機能が備えられ、音声認識処理部５９に代わって、音声認識処理部７３の機能が備えられ、発話内容評価部６３に代わって、発話内容評価部７４（以下、評価部７４と称する）の機能が備えられている。図１２のシミュレータ制御装置２１ｂは、上述した部分以外においては、シミュレータ制御装置２１ａと同様の機能を有する。
That is, the
シミュレータ制御部７１は、実行中のシナリオにおいて、異常事象が発生するタイミングであることを、音声認識処理部５９に通知する。シミュレータ制御部７１が有するその他の機能は、上述したシミュレータ制御部５２と同一である。
The
操作取得制御部７２は、運転操作シミュレータ３２からネットワーク１３を介して供給された、シミュレータ操作者の操作入力に関する情報を取得し、シミュレータ制御部７１、記録部６０、および、音声認識処理部７３に供給する。
The operation
音声認識処理部７３は、音声取得部５８から供給されたシミュレータ操作者の発話音声を音声認識して、音声データをテキストデータに変換し、シミュレーション結果として記録部６０に供給して記録させるとともに、評価部７４に供給する。音声認識処理部７３は、シミュレーションの中で異常事象が発生し、訓練生が、異常事象に対応して輸送指令への報告を開始するタイミングで、音声認識処理を開始する。具体的には、音声認識処理部７３は、例えば、操作取得制御部５４から、緊急停止の操作入力が行われたことを示す情報の供給を受けた場合、音声認識処理を開始することができる。また、音声認識処理部７３は、例えば、シミュレータ制御部５２から、実行中のシミュレーションのシナリオにおいて、異常事象が発生するタイミングであることを示す情報の供給を受けた場合、音声認識処理を開始することができる。音声認識処理部７３は、緊急停止の操作入力が行われたことを示す情報の供給があるか否か、または、異常事象が発生するタイミングであることを示す情報の供給があるか否か、のすべての条件判断を行い、いずれかの条件が合致した場合に、音声認識処理の開始タイミングであることを決定してもよいし、いずれかの条件判断を行うことにより、音声認識処理の開始タイミングであることを決定してもよい。
The voice
評価部７４は、音声認識処理部５９から供給される音声認識結果を用いて、シミュレータ操作者の発話内容を評価する。評価部７４による発話内容を評価方法は、上述した評価部６３と同様であるが、評価の開始のタイミングは、音声認識処理部５９から音声認識結果の供給を受けたときである。
The
次に、図１３のフローチャートを参照して、ミュレータ制御装置２１ｂを備える列車運転シミュレーションシステム１において実行されるシミュレーション処理２について説明する。
Next, with reference to the flowchart of FIG. 13, a simulation process 2 executed in the train operation simulation system 1 including the
ステップＳ７１において、操作入力装置２２は、ユーザ（列車運転に関する教官等）の操作入力を受け、シミュレータ制御装置２１ｂに供給する。シミュレータ制御装置２１ｂは、ユーザの操作入力に基づいた、路線、天候等の条件に合致したシミュレーションの開始準備を実行する。シミュレータ制御装置２１ｂのシミュレータ制御部７１は、表示画面生成部５５を制御して、シミュレーションのシナリオに応じた画像生成を開始させる。表示画面生成部５５により生成された画像は、表示制御部５７を介して列車運転シミュレータユニット１２のシミュレーション画面表示装置３１に表示される。
In step S71, the
ステップＳ７２において、シミュレータ制御装置２１ｂの操作取得制御部７２は、ネットワーク１３を介して、運転操作シミュレータ３２からの操作入力に関する情報が取得されたか否かを判断する。ステップＳ７２において、操作入力に関する情報が取得されていないと判断された場合、操作入力に関する情報が取得されたと判断されるまで、ステップＳ７２の処理が繰り返される。
In step S72, the operation
ステップＳ７２において、操作入力に関する情報が取得されたと判断された場合、ステップＳ７３において、操作取得制御部７２は、取得された操作入力に関する情報を、シミュレータ制御部７１、および、音声認識処理部７３に供給する。シミュレータ制御部７１は、操作取得制御部７２から供給される情報に基づいて、表示画面生成部５５を制御して、ビデオデータ記憶部５６から実行中のシナリオのシーンに対応する画像データを読み出させ、シミュレーション画面表示装置３１に表示される画像データを生成させ、操作入力に基づいたシミュレーションを実行する。例えば、シミュレーションの開始時に、運転操作シミュレータ３２において、発車のための運転操作がなされた場合、シミュレータ制御部７１は、操作取得制御部７２から供給される情報に基づいて、表示画面生成部５５を制御して、シミュレーション画面表示装置３１に表示される画像を、実際の発車時に対応する動画像とする。また、それ以降、シミュレータ制御部７１は、操作取得制御部７２から供給される情報に基づいて、例えば、速度の変更やブレーキングなどの操作入力がなされた場合、表示画面生成部５５を制御して、シミュレーション画面表示装置３１に表示される画像を、シミュレータ操作者が実行した運転操作に対応したものとするなどの、操作入力に基づいたシミュレーションを実行する。
When it is determined in step S72 that the information related to the operation input is acquired, the operation
ステップＳ７４において、音声認識処理部７３は、操作取得制御部７２から、緊急停止の操作入力が行われたことを示す情報の供給を受けるか、または、シミュレータ制御部７１から、実行中のシミュレーションのシナリオにおいて、異常事象が発生するタイミングであることを示す情報の供給を受けるかなどの、音声認識処理の開始タイミングとなったか否かを判断する。ステップＳ７４において、音声認識処理の開始タイミングとなっていないと判断された場合、処理は、ステップＳ７３に戻り、それ以降の処理が繰り返される。
In step S74, the voice
ステップＳ７４において、音声認識処理の開始タイミングとなったと判断された場合、ステップＳ７５において、音声認識処理部７３は、音声取得部５８から供給されたシミュレータ操作者の発話音声を取得する。
When it is determined in step S74 that the start timing of the voice recognition process has come, in step S75, the voice
ステップＳ７６において、音声認識処理部７３は、音声取得部５８から取得したシミュレータ操作者の発話音声を音声認識して、音声データをテキストデータに変換し、シミュレーション結果として記録部６０に供給して記録させるとともに、評価部７４に供給する。
In step S76, the voice
ステップＳ７６において、発話内容の評価タイミングとなったと判断された場合、ステップＳ７７において、図８〜図１１を用いて説明した発話内容評価処理１〜４のうちのいずれか少なくとも１つ、望ましくは、発話内容評価処理１〜４のすべての処理が実行される。 When it is determined in step S76 that it is time to evaluate the utterance content, in step S77, at least one of the utterance content evaluation processes 1 to 4 described with reference to FIGS. 8 to 11, preferably, All the utterance content evaluation processes 1 to 4 are executed.
ステップＳ７８において、シミュレータ制御部７１は、表示装置２３に、シミュレーションの結果に対応する情報を表示させるために、記録部６０に記録されているシミュレーション中の操作者状況に関する情報、および、評価部７４による発話内容の評価結果の供給を受け、出力制御部５３に供給する。出力制御部５３は、シミュレーションの結果に対応する表示データを生成する。また、シミュレータ制御部７１は、表示画面生成部５５を制御し、シミュレーションの結果に対応する表示データを生成させる。
In step S78, the
ステップＳ７９において、表示画面生成部５５は、シミュレーションの結果に対応する表示データを表示制御部５７に供給し、ネットワーク１３を介してシミュレーション画面表示装置３１に供給させて表示させ、出力制御部５３は、表示装置２３またはプリンタ２４に、シミュレーションの結果に対応する情報を出力させて、処理が終了する。
In step S79, the display
このように、操作者の発話音声が取得され、所定のタイミングで操作者の発話音声の音声認識が開始され、音声認識結果が評価されるので、訓練生の発話内容を正しく評価することができる。また、音声認識処理の開始のタイミングを、緊急停止の操作入力が行われたことを示す情報の供給を受けるか、シミュレータ制御部５２から、実行中のシミュレーションのシナリオにおいて、異常事象が発生するタイミングであることを示す情報の供給を受けるか、のいずれかとしているので、音声認識処理の実行箇所をできるだけ少なくして、ユーザ（列車運転に関する教官等）の手間や時間をかけることなく、操作者の発話の評価を実行することができる。
In this way, the uttered voice of the operator is acquired, the voice recognition of the uttered voice of the operator is started at a predetermined timing, and the voice recognition result is evaluated. Therefore, the utterance content of the trainee can be correctly evaluated. .. Further, the timing of the start of the voice recognition process is the timing at which the information indicating that the operation input for the emergency stop has been input is received, or the timing at which the abnormal event occurs in the simulation scenario being executed from the
以上説明したように、本発明の一実施例であるシミュレータ制御装置２１では、列車運転シミュレーション実行中の操作者の発話音声が取得され（例えば、図７のステップＳ４、または、図１３のステップＳ７３の処理）、取得された操作者の発話音声が音声認識され（例えば、図７のステップＳ５、または、図１３のステップＳ７４の処理）、音声認識より得られた操作者の発話内容と、列車運転シミュレーションにおいて操作者が発話すべき基準発話内容（例えば、熟練者発話情報記憶部６２に記憶された図４に示される熟練者発話情報）とを比較し、操作者の発話内容が評価される（例えば、図７のステップＳ７、または、図１３のステップＳ７７の処理）ので、ユーザ（列車運転に関する教官等）の手間や時間をかけることなく、操作者の発話の評価を実行することができる。
As described above, in the
また、列車運転シミュレーションのシーンごとに、シーンに対応した基準発話内容と（例えば、図８のステップＳ２３、または、図１０のステップＳ５２の処理）、該当するシーンの、音声認識により得られた操作者の発話内容が比較され、操作者の発話内容が評価されるようにしたのでシーンごとに操作者の発話内容を評価することができる。その結果、操作者の発話内容をより精度よく評価することができる。 Further, for each scene of the train driving simulation, the reference utterance content corresponding to the scene (for example, the processing of step S23 of FIG. 8 or the processing of step S52 of FIG. 10), and the operation obtained by voice recognition of the corresponding scene Since the utterance contents of the operator are compared and the utterance contents of the operator are evaluated, the utterance contents of the operator can be evaluated for each scene. As a result, the operator's uttered content can be evaluated more accurately.
また、音声認識処理部５９または音声認識処理部７３の処理により得られた音声認識結果からキーワード（例えば、キーワード記憶部６１により記憶されている図３に示される情報）が抽出され（例えば、図８のステップＳ２４の処理）、抽出されたキーワードと基準発話内容（例えば、熟練者発話情報記憶部６２に記憶されている熟練者発話情報）に含まれるキーワードとが比較され、その比較結果に基づいて、音声認識結果を評価する（例えば、図８のステップＳ２５の処理）ようにしたので、キーワードに基づいて、操作者の発話内容を評価できる。シーンに応じて口頭で報告すべき内容において使用される言葉（キーワード）はある程度特定されるので、操作者の発話内容に含まれるキーワードを検討すれば、発話内容を適切に評価することができる。
In addition, a keyword (for example, the information shown in FIG. 3 stored in the keyword storage unit 61) is extracted from the voice recognition result obtained by the processing of the voice
また、抽出したキーワードの分類の発話内容における割合と、基準発話内容（例えば、熟練者発話情報記憶部６２に記憶されている熟練者発話情報）に含まれるキーワードの分類の基準発話内容における割合とを比較して、操作者の発話内容を評価する（例えば、図８のステップＳ２５の処理）ようにしたので、例えば、使用されるキーワードにばらつきがあっても、操作者の発話内容を評価できる。例えば、「車」、「乗用車」は、「事故内容」に分類されるので（図３）、基準発話内容との比較において単語が完全に一致しなくても、同じことを意図する単語であれば、基準発話内容に対応しているものと判断できる。 Further, the ratio of the extracted keyword classification to the utterance content and the ratio of the keyword classification included in the reference utterance content (for example, the expert utterance information stored in the expert utterance information storage unit 62) to the reference utterance content Since the operator's utterance content is evaluated (for example, the process of step S25 of FIG. 8), the operator's utterance content can be evaluated even if the keywords used vary. .. For example, “car” and “passenger car” are classified as “accident content” (FIG. 3 ), so even if the words do not match exactly in the comparison with the reference utterance content, the words that are intended to be the same. Therefore, it can be determined that the standard utterance content is supported.
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。 The series of processes described above can be executed by hardware or software. When a series of processes is executed by software, a program that constitutes the software can execute various functions by installing a computer in which dedicated hardware is installed or various programs. It is installed from a program recording medium into a possible general-purpose personal computer or the like.
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。 The program executed by the computer may be a program in which processing is performed in time series in the order described in this specification, or in parallel, or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。 The embodiments of the present invention are not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present invention.
１…列車運転シミュレーションシステム、 １１…シミュレータ制御ユニット、１２…列車運転シミュレータユニット、１３…ネットワーク、 ２１（２１ａ，２１ｂ）…シミュレータ制御装置、 ２２…操作入力装置、 ２３…表示装置、 ２４…プリンタ、 ３１…シミュレーション画面表示装置、 ３２…運転操作シミュレータ、 ３３…集音装置、 ５１…操作入力制御部、 ５２、７１…シミュレータ制御部、 ５３…制御装置用出力制御部、 ５４、７２…シミュレータ操作入力取得制御部、 ５５…表示画面生成部、 ５６…ビデオデータ記憶部、 ５７…シミュレータ画面表示制御部、 ５８…音声取得制御部、 ５９、７３…音声認識処理部、 ６０…操作者状況記録部、 ６１…キーワード記憶部、 ６２…熟練者発話情報記憶部、 ６３、７４…発話内容評価部
DESCRIPTION OF SYMBOLS 1... Train operation simulation system, 11... Simulator control unit, 12... Train operation simulator unit, 13... Network, 21 (21a, 21b)... Simulator control device, 22... Operation input device, 23... Display device, 24... Printer, 31... Simulation screen display device, 32... Driving operation simulator, 33... Sound collecting device, 51... Operation input control unit, 52, 71... Simulator control unit, 53... Control device output control unit, 54, 72... Simulator operation input Acquisition control unit, 55... Display screen generation unit, 56... Video data storage unit, 57... Simulator screen display control unit, 58... Voice acquisition control unit, 59, 73... Voice recognition processing unit, 60... Operator situation recording unit, 61... Keyword storage unit, 62... Expert utterance information storage unit, 63, 74... Utterance content evaluation unit
Claims (12)
前記列車運転シミュレータにより実行される列車運転シミュレーション実行中の前記列車運転シミュレータの操作者の発話音声の取得を制御する音声取得制御部と、
前記音声取得制御部の制御により取得された前記操作者の発話音声を音声認識する音声認識処理部と、
前記音声認識処理部による音声認識により得られた前記操作者の発話内容と、前記列車運転シミュレーションにおいて操作者が発話すべき基準発話内容とを比較し、前記操作者の発話内容を評価する評価部と
を有することを特徴とするシミュレーション評価装置。 A simulation evaluation device for evaluating a training result by a train driving simulator for carrying out train driving training,
A voice acquisition control unit that controls the acquisition of the voice uttered by the operator of the train driving simulator being executed by the train driving simulator.
A voice recognition processing unit for voice-recognizing the voice uttered by the operator acquired by the control of the voice acquisition control unit;
An evaluation unit that compares the utterance content of the operator obtained by the voice recognition by the voice recognition processing unit with a reference utterance content that the operator should utter in the train driving simulation, and evaluates the utterance content of the operator. And a simulation evaluation device.
前記評価部は、前記列車運転シミュレーションのシーンごとに、前記シーンに対応した前記基準発話内容と、前記音声認識処理部の処理により得られた前記シーンの前記操作者の発話内容を比較し、前記操作者の発話内容を評価する
ことを特徴とするシミュレーション評価装置。 The simulation evaluation device according to claim 1, wherein
The evaluation unit, for each scene of the train driving simulation, compares the reference utterance content corresponding to the scene, the utterance content of the operator of the scene obtained by the processing of the voice recognition processing unit, the A simulation evaluation device that evaluates the content of the operator's speech.
前記評価部は、前記音声認識処理部の処理により得られた音声認識結果からキーワードを抽出し、抽出した前記キーワードと、前記基準発話内容に含まれるキーワードとを比較し、その比較結果に基づいて、前記操作者の発話内容を評価する
ことを特徴とするシミュレーション評価装置。 The simulation evaluation device according to claim 1 or 2, wherein
The evaluation unit extracts a keyword from the voice recognition result obtained by the process of the voice recognition processing unit, compares the extracted keyword and the keyword included in the reference utterance content, and based on the comparison result. A simulation evaluation device characterized by evaluating the utterance content of the operator.
前記評価部は、抽出した前記キーワードの分類の発話内容における割合と、前記基準発話内容に含まれる前記キーワードの分類の前記基準発話内容における割合とを比較して、前記操作者の発話内容を評価する
ことを特徴とするシミュレーション評価装置。 The simulation evaluation device according to claim 3,
The evaluation unit evaluates the utterance content of the operator by comparing a ratio in the utterance content of the extracted keyword classification with a ratio in the reference utterance content of the keyword classification included in the reference utterance content. A simulation evaluation device characterized by:
前記評価部は、前記音声認識処理部の処理により得られた音声認識結果と、前記基準発話内容との一致率に基づいて、前記操作者の発話内容を評価する
ことを特徴とするシミュレーション評価装置。 The simulation evaluation device according to any one of claims 1 to 4,
The simulation evaluation device, wherein the evaluation unit evaluates the utterance content of the operator based on the matching rate between the voice recognition result obtained by the processing of the voice recognition processing unit and the reference utterance content. ..
前記評価部は、前記音声認識処理部の処理により得られた音声認識結果に定量的な語があるか否かに基づいて、前記操作者の発話内容を更に評価する
ことを特徴とするシミュレーション評価装置。 The simulation evaluation device according to any one of claims 1 to 5,
The evaluation unit further evaluates the utterance content of the operator based on whether or not the speech recognition result obtained by the processing of the speech recognition processing unit has a quantitative word. apparatus.
前記音声認識処理部は、前記音声取得制御部により取得が制御された前記操作者の発話音声の高さ、または、速さの少なくともいずれか１つを数値化し、
前記評価部は、前記音声認識処理部の処理により数値化された前記発話音声の高さ、または、速さに基づいて、前記操作者の発話内容を更に評価する
ことを特徴とするシミュレーション評価装置。 The simulation evaluation device according to any one of claims 1 to 6,
The voice recognition processing unit digitizes at least one of the pitch of the utterance voice of the operator whose acquisition is controlled by the voice acquisition control unit, or the speed,
The simulation evaluation device, wherein the evaluation unit further evaluates the utterance content of the operator based on the height or speed of the uttered voice digitized by the processing of the voice recognition processing unit. ..
前記列車運転シミュレータへの操作入力の取得を制御する操作取得制御部と、
前記列車運転シミュレータへ表示出力する画像データの生成を制御する画像データ生成制御部と
をさらに有し、
前記評価部は、前記操作取得制御部により、緊急停止の操作入力の取得が制御された場合、前記画像データ生成制御部により、緊急停止が必要となるシミュレーション画像の生成が制御された場合、または、前記音声認識処理部の処理により得られた音声認識結果が、通信の開始を示す所定の文言である場合、そのタイミング以降で、前記音声認識処理部の処理により得られた前記操作者の発話内容の評価を開始する
ことを特徴とするシミュレーション評価装置。 The simulation evaluation device according to any one of claims 1 to 7,
An operation acquisition control unit that controls acquisition of operation input to the train driving simulator,
An image data generation control unit for controlling generation of image data to be displayed and output to the train driving simulator,
The evaluation unit, when the operation acquisition control unit controls the acquisition of the operation input for the emergency stop, when the image data generation control unit controls the generation of the simulation image that requires the emergency stop, or If the voice recognition result obtained by the process of the voice recognition processing unit is a predetermined wording indicating the start of communication, after that timing, the utterance of the operator obtained by the process of the voice recognition processing unit Simulation evaluation device characterized by starting evaluation of contents.
前記列車運転シミュレータへの操作入力の取得を制御する操作取得制御部と、
前記列車運転シミュレータへ表示出力する画像データの生成を制御する画像データ生成制御部と
をさらに有し、
前記音声認識処理部は、前記操作取得制御部により、緊急停止の操作入力の取得が制御された場合、または、前記画像データ生成制御部により、緊急停止が必要となるシミュレーション画像の生成が制御された場合、そのタイミング以降で、前記音声取得制御部により取得が制御された前記操作者の発話音声の音声認識を開始する
ことを特徴とするシミュレーション評価装置。 The simulation evaluation device according to any one of claims 1 to 7,
An operation acquisition control unit that controls acquisition of operation input to the train driving simulator,
An image data generation control unit for controlling generation of image data to be displayed and output to the train driving simulator,
The voice recognition processing unit, when the operation acquisition control unit controls the acquisition of the operation input for the emergency stop, or the image data generation control unit controls the generation of the simulation image that requires the emergency stop. In that case, after that timing, the voice evaluation of the voice of the operator whose acquisition is controlled by the voice acquisition control unit is started, and the simulation evaluation apparatus.
前記列車運転シミュレータは、
シミュレーションにおいて進行されるシナリオの各シーンに対応する表示画面を表示するシミュレーション画面表示部と、
前記運転訓練を行う訓練生が、前記シミュレーション画面表示部により表示された画像を参照して、操作を行う運転操作シミュレータと、
前記運転操作シミュレータの操作者の発話音声を集音する集音部と
を有し、
前記シミュレーション評価装置は、
前記集音部により集音された前記列車運転シミュレータの操作者の発話音声の取得を制御する音声取得制御部と、
前記音声取得制御部の制御により取得された前記操作者の発話音声を音声認識する音声認識処理部と、
前記音声認識処理部による音声認識により得られた前記操作者の発話内容と、前記列車運転シミュレーションにおいて操作者が発話すべき基準発話内容とを比較し、前記操作者の発話内容を評価する評価部と
を有することを特徴とする列車運転シミュレータシステム。 A train operation simulation system including a train operation simulator for performing train operation training and a simulation evaluation device for controlling the train operation simulator,
The train driving simulator,
A simulation screen display unit that displays a display screen corresponding to each scene of the scenario that is progressed in the simulation,
Trainees who perform the driving training, with reference to the image displayed by the simulation screen display unit, a driving operation simulator that performs the operation,
And a sound collection unit that collects a voice uttered by the operator of the driving operation simulator,
The simulation evaluation device,
A voice acquisition control unit that controls the acquisition of the voice uttered by the operator of the train driving simulator collected by the sound collection unit,
A voice recognition processing unit for voice-recognizing the voice uttered by the operator acquired by the control of the voice acquisition control unit;
An evaluation unit that compares the utterance content of the operator obtained by the voice recognition by the voice recognition processing unit with a reference utterance content that the operator should utter in the train driving simulation, and evaluates the utterance content of the operator. And a train driving simulator system.
前記列車運転シミュレータにより実行される列車運転シミュレーション実行中の前記列車運転シミュレータの操作者の発話音声の取得を制御する音声取得制御ステップと、
前記音声取得制御ステップの処理により取得された前記操作者の発話音声を音声認識する音声認識処理ステップと、
前記音声認識処理ステップの音声認識処理により得られた前記操作者の発話内容と、前記列車運転シミュレーションにおいて操作者が発話すべき基準発話内容とを比較し、前記操作者の発話内容を評価する評価ステップと
を含むことを特徴とする列車運転シミュレーション評価方法。 A train operation simulation evaluation method executed by a simulation evaluation device for controlling a train operation simulator for train operation training, comprising:
A voice acquisition control step for controlling the acquisition of the voice uttered by the operator of the train driving simulator being executed by the train driving simulator.
A voice recognition processing step of recognizing the voice uttered by the operator acquired by the processing of the voice acquisition control step,
Evaluation for comparing the utterance content of the operator obtained by the voice recognition processing of the voice recognition processing step and the reference utterance content to be uttered by the operator in the train driving simulation, and evaluating the utterance content of the operator A train operation simulation evaluation method comprising:
前記列車運転シミュレータにより実行される列車運転シミュレーション実行中の前記列車運転シミュレータの操作者の発話音声の取得を制御する音声取得制御ステップと、
前記音声取得制御ステップの処理により取得された前記操作者の発話音声を音声認識する音声認識処理ステップと、
前記音声認識処理ステップの音声認識処理により得られた前記操作者の発話内容と、前記列車運転シミュレーションにおいて操作者が発話すべき基準発話内容とを比較し、前記操作者の発話内容を評価する評価ステップと
を含む処理を実行させるプログラム。 A computer that controls a train driving simulator for train driving training,
A voice acquisition control step for controlling the acquisition of the voice uttered by the operator of the train driving simulator being executed by the train driving simulator.
A voice recognition processing step of recognizing the voice uttered by the operator acquired by the processing of the voice acquisition control step,
Evaluation for comparing the utterance content of the operator obtained by the voice recognition processing of the voice recognition processing step and the reference utterance content to be uttered by the operator in the train driving simulation, and evaluating the utterance content of the operator A program that executes processing including steps and.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018244873A JP7092656B2 (en) | 2018-12-27 | 2018-12-27 | Simulation evaluation device, train operation simulation system, train operation simulation evaluation method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018244873A JP7092656B2 (en) | 2018-12-27 | 2018-12-27 | Simulation evaluation device, train operation simulation system, train operation simulation evaluation method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020106656A true JP2020106656A (en) | 2020-07-09 |
| JP7092656B2 JP7092656B2 (en) | 2022-06-28 |
Family
ID=71450770
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018244873A Active JP7092656B2 (en) | 2018-12-27 | 2018-12-27 | Simulation evaluation device, train operation simulation system, train operation simulation evaluation method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7092656B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114170864A (en) * | 2021-11-11 | 2022-03-11 | 卡斯柯信号有限公司 | Scene comprehensive management and verification method and device for full-automatic operation of intelligent subway |
| CN114283649A (en) * | 2022-01-14 | 2022-04-05 | 成都运达科技股份有限公司 | Train inspection simulation training system and method, training equipment and using method |
| CN115953931A (en) * | 2023-03-14 | 2023-04-11 | 成都运达科技股份有限公司 | Rail transit practical training examination objective evaluation system and method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS556307A (en) * | 1978-06-28 | 1980-01-17 | Hitachi Electronics | Training simulator |
| JP2004157253A (en) * | 2002-11-05 | 2004-06-03 | Kawasaki Steel Systems R & D Corp | Contact center operator training system |
| JP2014071319A (en) * | 2012-09-28 | 2014-04-21 | Mitsubishi Precision Co Ltd | Railroad simulator and method for simulating driving of railroad |
| US20160189562A1 (en) * | 2013-08-01 | 2016-06-30 | The Provost, Fellows, Foundation Scholars, & the Other Members of Board, of The College of the Holy | Method and System for Measuring Communication Skills of Crew Members |
-
2018
- 2018-12-27 JP JP2018244873A patent/JP7092656B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS556307A (en) * | 1978-06-28 | 1980-01-17 | Hitachi Electronics | Training simulator |
| JP2004157253A (en) * | 2002-11-05 | 2004-06-03 | Kawasaki Steel Systems R & D Corp | Contact center operator training system |
| JP2014071319A (en) * | 2012-09-28 | 2014-04-21 | Mitsubishi Precision Co Ltd | Railroad simulator and method for simulating driving of railroad |
| US20160189562A1 (en) * | 2013-08-01 | 2016-06-30 | The Provost, Fellows, Foundation Scholars, & the Other Members of Board, of The College of the Holy | Method and System for Measuring Communication Skills of Crew Members |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114170864A (en) * | 2021-11-11 | 2022-03-11 | 卡斯柯信号有限公司 | Scene comprehensive management and verification method and device for full-automatic operation of intelligent subway |
| CN114170864B (en) * | 2021-11-11 | 2024-03-29 | 卡斯柯信号有限公司 | Scene comprehensive management and verification method and device for intelligent subway full-automatic operation |
| CN114283649A (en) * | 2022-01-14 | 2022-04-05 | 成都运达科技股份有限公司 | Train inspection simulation training system and method, training equipment and using method |
| CN114283649B (en) * | 2022-01-14 | 2023-10-27 | 成都运达科技股份有限公司 | Train inspection simulation training system and method, training equipment and using method |
| CN115953931A (en) * | 2023-03-14 | 2023-04-11 | 成都运达科技股份有限公司 | Rail transit practical training examination objective evaluation system and method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7092656B2 (en) | 2022-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7092656B2 (en) | Simulation evaluation device, train operation simulation system, train operation simulation evaluation method, and program | |
| US7616128B2 (en) | Audio identifying device, audio identifying method, and program | |
| CN105416340B (en) | Train reminding and pre-warning system | |
| JP5984605B2 (en) | Railway simulator and method for simulating railway operation | |
| CN112071309B (en) | Network appointment vehicle safety monitoring device and system | |
| JP2014091480A (en) | Operation arrangement device and method | |
| CN112951267A (en) | Passenger health monitoring method and vehicle-mounted terminal | |
| JP2020154996A (en) | Information processing system, agent system, information processing method, and program | |
| JP6729494B2 (en) | Information management system and information management method | |
| JPH09146585A (en) | Voice recognition and translation system | |
| CN114332712A (en) | Tunnel worker monitoring system and method based on face recognition | |
| JP3195716U (en) | Road inspection assistance system | |
| Meng et al. | A reporting assistant for railway security staff | |
| CN111348074A (en) | Railway dispatching method and system | |
| KR102269620B1 (en) | System for monitoring Car Movement Information and Driving method thereof | |
| WO2023112668A1 (en) | Sound analysis device, sound analysis method, and recording medium | |
| CN113470329B (en) | Multi-point triggering monitoring early warning system based on emergency platform | |
| JP2004234554A (en) | Patrol inspection data monitoring device and its monitoring method | |
| JP2006030282A (en) | Interaction understanding device | |
| JP4468716B2 (en) | Audio data output control device | |
| CN107564362A (en) | The full-automatic training component of train driving in a kind of urban track traffic | |
| JP2023084315A (en) | Information gathering system, information gathering metho and program | |
| CN114255455A (en) | Railway vehicle warning system | |
| Fatkhulin et al. | Development and Research of Neural Network Methods for Recognizing Noisy Speech Audio Files | |
| CN115392011A (en) | Single-track overhead district evacuation rescue test system based on VR |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210205 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211224 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220104 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220218 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220329 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220427 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220614 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220616 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7092656 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |