JP7141938B2 - Voice recognition input device, voice recognition input program and medical imaging system - Google Patents
Voice recognition input device, voice recognition input program and medical imaging system Download PDFInfo
- Publication number
- JP7141938B2 JP7141938B2 JP2018229984A JP2018229984A JP7141938B2 JP 7141938 B2 JP7141938 B2 JP 7141938B2 JP 2018229984 A JP2018229984 A JP 2018229984A JP 2018229984 A JP2018229984 A JP 2018229984A JP 7141938 B2 JP7141938 B2 JP 7141938B2
- Authority
- JP
- Japan
- Prior art keywords
- voice
- command
- input
- recognition
- voice recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002059 diagnostic imaging Methods 0.000 title claims description 9
- 238000012545 processing Methods 0.000 claims description 54
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 230000001186 cumulative effect Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 description 13
- 238000000034 method Methods 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 230000003749 cleanliness Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001755 vocal effect Effects 0.000 description 3
- 210000001015 abdomen Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007257 malfunction Effects 0.000 description 2
- 238000011022 operating instruction Methods 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 108010014172 Factor V Proteins 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002594 fluoroscopy Methods 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- RVRCFVVLDHTFFA-UHFFFAOYSA-N heptasodium;tungsten;nonatriacontahydrate Chemical compound O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.[Na+].[Na+].[Na+].[Na+].[Na+].[Na+].[Na+].[W].[W].[W].[W].[W].[W].[W].[W].[W].[W].[W] RVRCFVVLDHTFFA-UHFFFAOYSA-N 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Description
本発明は、音声認識入力装置、音声認識入力プログラム及び医用画像撮像システムに関し、特に、医用画像撮像装置等の医療機器に接続され、当該医療機器に対してコマンドを出力する音声認識入力装置、音声認識入力プログラム及び医用画像撮像システムに関する。 TECHNICAL FIELD The present invention relates to a speech recognition input device, a speech recognition input program, and a medical imaging system, and more particularly, to a speech recognition input device, which is connected to a medical device such as a medical imaging device and outputs a command to the medical device. The present invention relates to a recognition input program and a medical imaging system.
近年、インターベンション治療の高度化に伴い、X線透視撮影下および軟性内視鏡操作下で血管や消化管の検査又は治療を行うケースが増えている。これら検査又は治療では術者の清潔性が担保される必要があり、手動による機器操作はその清潔性を維持できない。
また、例えば、X線透視撮影装置を用いた検査では、しばしば検査手技を施行する術者の口頭指示のもと、それを補助する術者サポートの医療従事者が機器操作を行うことがある。このような場合、術者から補助役の医療従事者に対する口頭指示等の意思疎通に手間取り、術者の意図通りの機器操作まで時間がかかることがあり、術者が医療従事者による補助がなくとも直接口頭指示によって医療機器の操作を行うことが望まれる。
そこで、手術や検査等に利用される医療機器において、清潔性の確保や操作性向上のために音声認識による操作が望まれている。
In recent years, with the advancement of interventional treatment, there are an increasing number of cases in which blood vessels and gastrointestinal tracts are examined or treated under X-ray fluoroscopy and flexible endoscope manipulation. In these examinations or treatments, it is necessary to ensure the cleanliness of the operator, and manual operation of the equipment cannot maintain the cleanliness.
Further, for example, in an examination using an X-ray fluoroscope, equipment is often operated by a medical worker who assists the operator under verbal instructions of the operator who performs the examination procedure. In such a case, communication such as verbal instructions from the operator to the supporting medical staff takes time, and it may take time for the operator to operate the equipment as intended, and the operator is not assisted by the medical staff. It is desired that both medical devices are operated by direct verbal instructions.
Therefore, in medical equipment used for surgery, examination, etc., it is desired to operate by voice recognition in order to ensure cleanliness and improve operability.
一方、昨今、音声認識技術は、従来から存在する隠れマルコフモデルを用いた手法に加え、Deep Learningを用いた手法が出現し単語認識のみならず文章としての音声認識処理が可能になるなど認識精度が向上してきている。また、音声認識処理にはサーバやCloudを用いた大規模な機械学習を行いて逐次的に性能を向上させるものがあるが、医療機器は秘匿性を考慮して設計される必要があることから、医療機器に適用される音声認識入力装置は、Cloudやサーバに接続せず非ネットワーク環境下で音声認識処理を行う必要がある。 On the other hand, in recent years, in addition to conventional methods using hidden Markov models, methods using deep learning have emerged in speech recognition technology. is improving. In addition, there are voice recognition processes that perform large-scale machine learning using servers and clouds to sequentially improve performance, but medical equipment must be designed with confidentiality in mind. A speech recognition input device applied to medical equipment needs to perform speech recognition processing in a non-network environment without connecting to Cloud or a server.
そして、音声認識により操作を行う医療機器の例として、特許文献1には、X線画像診断装置において、操作者の負担を軽減するために、誤作動によって被検者に危害を与える虞のある機能は操作者による手動の操作に基づいて制御し、誤作動によっても被検者に危害を与える虞のない機能については操作者が発生する音声を認識することによって制御することが開示されている。 As an example of a medical device operated by voice recognition, Patent Document 1 discloses an X-ray image diagnostic apparatus that may harm a subject due to malfunction in order to reduce the burden on the operator. It is disclosed that the functions are controlled based on the manual operation by the operator, and the functions that are not likely to harm the subject even if they malfunction are controlled by recognizing the voice generated by the operator. .
しかしながら、音声認識処理に用いるデータベースに、例えば、互いに類似した音素を持つ音声操作コマンドが複数個登録されていた場合には、音声認識処理において誤検出を生じさせる可能性がある。すなわち、術者が発した音声が、類似した音素からなる複数の音声操作コマンドのうち何れの音声操作コマンドに該当するか判別ができず、誤検出となる虞がある。この場合、音声認識処理によって操作を行うことができず、結果的に術者はサポートを行う医療従事者に機器操作を指示することとなり、術者の意図通りの機器操作に要する時間を短縮することができない。また、その場合は音声操作コマンドの認識率の向上が必要となるが、その手段は明示されていない。 However, if, for example, a plurality of voice operation commands having similar phonemes are registered in the database used for voice recognition processing, there is a possibility of false detection occurring in voice recognition processing. That is, it is not possible to determine to which voice manipulation command the voice uttered by the operator corresponds to among a plurality of voice manipulation commands made up of similar phonemes, and there is a risk of erroneous detection. In this case, the operation cannot be performed by voice recognition processing, and as a result, the operator instructs the medical staff who provides support to operate the equipment, shortening the time required to operate the equipment as intended by the operator. I can't. Also, in that case, it is necessary to improve the recognition rate of voice operation commands, but the means for doing so is not specified.
本発明は、上記事情に鑑みてなされたものであり、音声認識処理において、術者の音声による操作指示を正確に認識し、誤検出を低減させることを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of the above circumstances, and an object of the present invention is to accurately recognize operating instructions by voice of an operator and reduce erroneous detection in voice recognition processing.
上記課題を解決するために、本発明は以下の手段を提供する。
本発明の一態様は、外部機器に対し操作コマンドを入力する音声認識入力装置であって、1の操作コマンドについて複数の音声コマンドを対応付けて記録すると共に、音声コマンド毎に当該音声コマンドの使用頻度に応じた重み係数を記録した音声認識データテーブルを記憶した記憶部と、音声入力を受け付け、該音声入力を認識対象として音声認識処理を行って前記音声入力に対応する音声コマンドを音声認識処理の結果として出力する音声認識部と、前記音声認識データテーブルを参照して、前記音声コマンドを該音声コマンドに対応して記録された操作コマンドに変換するコマンド変換部と、前記操作コマンドを前記外部機器に出力する操作決定部と、を備え、前記音声認識部が、前記音声入力に相当し得る音声コマンド候補を複数選出し、これら複数の音声コマンド候補夫々に前記重み係数を乗じることにより最も確からしい音声コマンドを前記音声入力に対する音声認識処理の結果として出力する、音声認識入力装置を提供する。
本発明によれば、音声コマンド毎に使用頻度に応じた重み係数を記録したデータテーブルを用いて音声認識処理を行うので、音声による操作指示において音声認識処理の精度を向上させることができる。
In order to solve the above problems, the present invention provides the following means.
One aspect of the present invention is a voice recognition input device for inputting an operation command to an external device, in which a plurality of voice commands are associated with one operation command and recorded, and the voice command is used for each voice command. A storage unit storing a voice recognition data table in which weighting coefficients according to frequency are recorded, a voice input is received, voice recognition processing is performed using the voice input as a recognition target, and a voice command corresponding to the voice input is voice recognized. a command conversion unit for converting the voice command into an operation command recorded corresponding to the voice command by referring to the voice recognition data table; and converting the operation command to the external and an operation determination unit for outputting to a device, wherein the voice recognition unit selects a plurality of voice command candidates that can correspond to the voice input, and multiplies each of the plurality of voice command candidates by the weighting factor. To provide a voice recognition input device that outputs a voice command that seems to be a voice command as a result of voice recognition processing for the voice input.
According to the present invention, voice recognition processing is performed using a data table that records a weighting factor corresponding to the frequency of use for each voice command, so that the accuracy of voice recognition processing can be improved for operation instructions by voice.
本発明によれば、音声認識処理において、誤検出を低減させ、術者の音声による操作指示を正確に認識することができる。 According to the present invention, it is possible to reduce erroneous detection in voice recognition processing, and to accurately recognize operating instructions by the voice of the operator.
本発明の実施形態に係る音声認識入力装置は、当該音声認識入力装置に接続された医用画像撮像装置等の外部機器に対して入力を行うものである。 A voice recognition input device according to an embodiment of the present invention performs input to an external device such as a medical imaging device connected to the voice recognition input device.
(第1の実施形態)
以下、本発明の第1の実施形態に係る音声認識入力装置について、図面を参照してより詳細に説明する。図1に本実施形態に係る音声認識入力装置の概略構成図を示す。
音声認識入力装置10は、音声認識入力装置10全体を制御する中央処理装置(CPU)11、マイク等の音声入力を受け付ける音声入力I/F(インターフェイス)12、マウスやキーボードなどからなり手動入力を受け付ける手動入力I/F(インターフェイス)13、メモリ14、音声認識アルゴリズムや音声認識処理に必要なデータを格納した音声認識DB15及び音声入力に関するログを収集し記録するログ収集DB16を備え、これらの各構成はシステムバスを介して互いに接続されている。
(First embodiment)
Hereinafter, the speech recognition input device according to the first embodiment of the present invention will be described in more detail with reference to the drawings. FIG. 1 shows a schematic configuration diagram of a speech recognition input device according to this embodiment.
The voice
本実施形態において、音声認識入力装置10は、画像撮像装置20と通信可能に接続され、画像撮像装置20に対する種々の入力指示を行う。また、音声認識入力装置10は、画像撮像装置20を介してディスプレイ30と接続され、画像撮像装置20において取得した画像等をディスプレイ30に表示させ、表示させた画像に対して拡大や縮小等の所望の操作指示を行う。画像撮像装置20としては、X線装置、MRI装置、CT装置、PET装置など、医用画像取得のためのハードウェアを適用することができる。
In this embodiment, the voice
音声認識入力装置10によって画像撮像装置等に対して音声による入力指示を行うために、図1に示すように、CPU11は、音声操作処理部120、手動操作処理部130及びシステム操作決定部140の機能を実現する。特に、音声操作処理部120は、音声認識部111、コマンド変換部112及びコマンド解析部113の機能を実現する。
As shown in FIG. 1, the
なお、CPU11が実現するこれら各部の機能は、図示しない磁気ディスク等のメモリに格納されたプログラムをCPUが予め読み込んで実行することによりソフトウエアとして実現することができる。なお、CPU11に含まれる各部が実行する動作の一部又は全部を、ASIC(application specific integrated circuit)やFPGA(field-programmable gate array)により実現することもできる。
The functions of these units realized by the
音声操作処理部120は、マイク等の音声入力I/F12を介して入力された音声による操作指示(音声入力)を認識して、画像撮像装置20に対して操作指示を行うものであり、音声認識部111、コマンド変換部112及びコマンド解析部113の機能を実現する。
The voice
音声認識部111は、予め音声認識DB15等に記憶された音声認識アルゴリズムに従って、音声入力I/F12を介して入力された音声による操作指示に対して音声認識処理を行い、認識結果である音声コマンドをコマンド変換部112に出力する。ここで、音声認識処理に際して音声認識部111は、後述する音声認識DB15に格納された音声認識データテーブル(図2参照)を用い、所定の音声認識アルゴリズムに従って音声認識処理を行い、認識結果として音声コマンドを選出する。音声認識部111による音声認識処理の詳細は後述する。
The
コマンド変換部112は、音声認識部111における音声認識処理を経て選出された音声コマンドに対応する操作コマンドに変換し、当該操作コマンドを術者による操作指示としてシステム操作決定部140及びコマンド解析部113に出力する。
The
コマンド解析部113は、コマンド変換部112から、術者による操作指示に係る操作コマンドに関する情報を取得し、操作履歴を生成してログ収集DB16に記録させると共に、当該操作履歴を解析する。ここで、操作コマンドに関する情報として、操作コマンドのみならず、当該操作コマンドに変換される前の音声コマンド等を含めることができる。また、コマンド解析部113は、操作履歴の解析結果に基づいて音声認識データテーブルの重み係数を更新する。重み係数の更新についての詳細は後述する。
The
手動操作処理部130は、手動での操作を行う場合に、マウスやキーボード等の手動入力I/F13を介して入力された操作指示に基づいて当該操作指示に係る操作コマンドを生成し、システム操作決定部140に出力する。
システム操作決定部140は、音声操作処理部120又は手動操作処理部130から入力された操作コマンドを画像撮像装置20に出力すると共に、コマンド解析部113に出力する。
When a manual operation is performed, the manual
The system
音声入力I/F12は、術者等の操作者の発話を音声による操作指示(音声入力)として受け付けて電気信号の音声データに変換し、音声データを音声操作処理部120に出力するものであり、例えばマイク等を適用することができる。
手動入力I/F13は、術者等による手動の操作指示を受け付け、受け付けた操作指示を電気信号に変換して手動操作処理部130に出力するものであり、例えば、マウス、キーボード、タッチパネルなどの入力装置を適用することができる。
The voice input I/F 12 receives speech of an operator such as an operator as a voice operation instruction (voice input), converts it into voice data of an electric signal, and outputs the voice data to the voice
The manual input I/
メモリ14は、CPU11が実行するプログラムや演算処理の途中経過を記憶したり、音声や手動による操作指示を一時的に記憶したりする。
音声認識DB15は、予め定められた音声認識アルゴリズムを格納すると共に、音声認識処理に用いる音声認識データテーブルを記録している。音声認識データテーブルの詳細については後述する。
ログ収集DB16は、コマンド解析部113によって生成された操作履歴などの操作指示に関する情報を取得して記録する。
The
The
The
(音声認識処理及び音声認識データテーブルについて)
音声認識データテーブルは、図2に示すように、音声コマンドに関するデータを示す音声コマンドデータdb1と、操作コマンドに関するデータを示す操作コマンドデータdb2と、音声コマンド毎に定められた重み係数を示す重み係数データdb3から構成される。
(Regarding voice recognition processing and voice recognition data table)
As shown in FIG. 2, the voice recognition data table includes voice command data db1 indicating data relating to voice commands, operation command data db2 indicating data relating to operation commands, and weighting factors indicating weighting factors determined for each voice command. It consists of data db3.
図2に示すように、音声認識データテーブルにおいて、同一の操作コマンドdb21に対して複数の音声コマンドdb11が対応付けて記録されている。このようにすることで、同一の操作指示に対して術者毎に異なる口癖や発話による指示がなされた場合であっても、音声認識処理を経て同一の操作を実現させることができる。また、音声コマンドデータdb1の各音声コマンドに対して、夫々コマンド読みdb12及び音声コマンドコードdb13が対応付けて記録されている。操作コマンドdb21についても、同様に操作コマンド毎に操作コマンドコードdb22が対応付けられて記憶されている。 As shown in FIG. 2, in the voice recognition data table, a plurality of voice commands db11 are recorded in association with the same operation command db21. In this way, even when the same operation instruction is given by different operators using different phrases or utterances, the same operation can be realized through voice recognition processing. Also, a command reading db12 and a voice command code db13 are recorded in association with each voice command of the voice command data db1. As for the operation command db21, similarly, an operation command code db22 is associated with each operation command and stored.
ところで、音声認識部111は、次のように音声認識処理を行う。すなわち、音声認識部111は、まず、音声入力I/Fを介して入力された音声データを音波に変換し、音波から音声データの1文字ずつを音素に分解して特定する。続いて、隠れマルコフモデルに則った統計的機械学習や深層学習モデルを用いた機械学習等の音声認識アルゴリズムを用いて、音声データの音素とコマンド読みdb12の音素との照合を行う。この照合により、音声認識部111は、音声データと類似するコマンド読みdb12を選出し、選出されたコマンド読みに対応する音声コマンドdb11の候補とその確からしさの指標となる得点を出力する。
By the way, the
ここで、音声認識処理の一例として、術者が「画像縮小」と発話して操作指示を行う場合について検討する。術者が「画像縮小」と発話した場合、音声認識データテーブルのコマンド読みdb12において「がぞうしゅくしょう」と「がぞうしゅうしゅう」とは途中まで音素が一致している。このため、音声認識部11は、入力される音声データの品質に依存して「がぞうしゅくしょう」を、「画像収集」と誤って認識する虞がある。この場合、術者は操作コマンドdb21の画像縮小を指示したにも拘らず、音声認識の誤認識によって音声コマンドdb11の「がぞうしゅうしゅう」に対応した操作コマンドdb21の「透視記録」が操作コマンドとして選択され、術者の意図しない操作が行われてしまう。
Here, as an example of voice recognition processing, a case in which the operator utters "reduce image" to give an operation instruction will be considered. When the operator utters "reduce image", the phonemes of "gazoshukusho" and "gazoshushuu" match halfway in the command reading db12 of the speech recognition data table. For this reason, the
そこで、音声認識データテーブルでは、このような誤認識を回避するために重み係数データdb3を音声コマンド毎に対応付けて記録している。重み係数データdb3は、音声認識処理の過程において出力される1以上の音声コマンド候補の各々に付帯した得点に対して乗算する重み係数である。重み係数データdb3に記録された重み係数は、各音声コマンドに対応し、当該音声コマンドの使用頻度等に応じて定められた値である。 Therefore, in order to avoid such erroneous recognition, the voice recognition data table records the weighting factor data db3 in association with each voice command. The weighting factor data db3 is a weighting factor to be multiplied by the score attached to each of the one or more voice command candidates output in the process of speech recognition processing. The weighting factor recorded in the weighting factor data db3 is a value that corresponds to each voice command and is determined according to the frequency of use of the voice command.
また、重み係数は、ログ収集DB16に記録された操作履歴をコマンド解析部113が解析した結果に基づいて更新することができる。すなわち、コマンド解析部113が、操作履歴を解析することにより、一定期間内における操作コマンド毎の使用回数を算出し、使用回数に基づいて重み係数を更新するためのオフセット係数Tを算出する。
Also, the weighting factor can be updated based on the result of analysis of the operation history recorded in the
オフセット係数Tは、例えば、図3に示すグラフに従って各操作コマンドに対応する操作コマンドコードが発行された積算回数によって定めることができる。この他、オフセット係数Tは、予め定めた期間における操作コマンドコードの発行総数に対する各操作コマンドの割合に基づいて算出することもできる。コマンド解析部113は、算出されたオフセット係数Tを操作コマンドに対応して記録される各重み係数に乗じることにより重み係数を更新する。
The offset coefficient T can be determined, for example, by the accumulated number of times the operation command code corresponding to each operation command is issued according to the graph shown in FIG. In addition, the offset coefficient T can also be calculated based on the ratio of each operation command to the total number of issued operation command codes in a predetermined period. The
なお、コマンド解析部113による操作履歴の解析は、自動的に行うことができる他、術者や装置提供者による操作指示に従って行う等任意のタイミングで行うことができる。また、コマンド解析部113は、音声認識部111の音声認識処理において誤検出が生じた場合には、操作コマンドの使用回数から減算するなどして、重み係数を更新することができる。
The analysis of the operation history by the
以下、このように構成された音声認識入力装置10による音声入力処理の流れについて図4のフローチャートに従って説明する。
図4に示すように、音声認識入力装置10が作動すると、音声入力を待機状態となる。音声入力I/Fにおいて音声入力があった場合には(ステップS101)、ステップS102に進み、音声認識部111が音声入力I/F12から音声データの入力を受け付け当該音声データの音素と音声認識DB15に登録された各コマンド読みの音素との照合を行い、コマンド読みに対応して記録された音声コマンドの候補を選出する。この候補の選出は、音声認識の確からしさの指標となる得点に基づいて判断することができる。
The flow of speech input processing by the speech
As shown in FIG. 4, when the voice
次のステップS103では、ステップS102によって選出された音声コマンドの候補が1以上あるか否かを判定し、音声コマンドの候補数が1つ以上ない場合にはステップS104に進み音声コマンドなしとしてステップS101に戻る。音声コマンドの候補数が1以上ある場合にはステップS105に進み、音声コマンドの各候補に付与されている得点と、音声認識データテーブルに当該音声コマンドに対応して記録されている重み係数とを乗算する。 In the next step S103, it is determined whether or not there is one or more voice command candidates selected in step S102. back to If the number of voice command candidates is one or more, the process advances to step S105 to calculate the score assigned to each voice command candidate and the weighting factor recorded corresponding to the voice command in the voice recognition data table. Multiply.
ステップS106では、ステップS105における得点と重み係数との乗算の結果、最高得点となる音声コマンド候補を選出する。次のステップS107では、最高得点、すなわち、選出された音声コマンド候補の得点が予め定めた閾値より大きいか否かを判定し、最高得点が予め定めた閾値より小さい場合には音声コマンドがなかったとしてステップS104を経て、音声による操作を実行せずに、ステップS101に戻り、音声認識入力装置10は、再度、音声入力を待機する状態となる。このとき、術者へ音声操作を実行しない旨の通知を、例えば合成された音声、アラーム、ディスプレイを用いて行うことができる。
In step S106, the voice command candidate with the highest score is selected as a result of the multiplication of the score and the weighting factor in step S105. In the next step S107, it is determined whether the highest score, that is, the score of the selected voice command candidate is greater than a predetermined threshold. If the highest score is less than the predetermined threshold, there is no voice command. After passing through step S104, the process returns to step S101 without executing the voice operation, and the voice
最高得点が予め定めた閾値より大きい場合には、ステップS108に進み最高得点を示した音声コマンドを音声認識処理の結果として決定する。決定された音声コマンドはコマンド変換部112に出力され、コマンド変換部112において、音声認識データテーブルを用いて、決定された音声コマンドを、当該音声コマンドに対応する操作コマンドに変換する(S109)。
If the highest score is greater than the predetermined threshold, the process proceeds to step S108 to determine the voice command indicating the highest score as the result of voice recognition processing. The determined voice command is output to the
次のステップS110において、コマンド変換部112は、変換された操作コマンドをコマンド解析部113及びシステム操作決定部140に出力する。コマンド解析部113では、入力された操作コマンドを含めて操作履歴を更新生成し、ログ収集DB16に記録させる。システム操作決定部140では、入力された操作コマンドを画像撮像装置20に出力する。画像撮像装置20では、入力された操作コマンドに応じた操作が実行される。
In the next step S<b>110 , the
このように本実施形態によれば、操作コマンドに対して複数の音声コマンドを対応付けて記録し、かつ、各操作コマンドについて使用頻度の高い順に高い重み係数を持たせ音声認識処理用いることで、術者毎に異なる発話の癖や好みに依存せず精度よく音声認識処理を行うことができる。また、操作コマンドの使用頻度を記録し、当該使用頻度に応じて重み係数を更新することで、経時的に術者の使用頻度の高い操作コマンドについて音声認識処理の精度を向上させることができ、術者の音声による操作指示を正確に認識することができる。 As described above, according to the present embodiment, a plurality of voice commands are associated with an operation command and recorded, and each operation command is given a weighting factor in descending order of frequency of use, and voice recognition processing is performed. It is possible to accurately perform speech recognition processing without depending on the utterance habits and preferences that differ from operator to operator. In addition, by recording the frequency of use of the operation command and updating the weighting factor according to the frequency of use, it is possible to improve the accuracy of voice recognition processing for the operation command that is frequently used by the operator over time. It is possible to accurately recognize operation instructions by the voice of the operator.
(変形例)
上述した第1の実施形態では、コマンド解析部113が操作コマンドの使用頻度に基づいて重み係数を更新する例について説明した。本変形例では、入力された音声コマンドに基づいて重み係数を更新する例について説明する。
(Modification)
In the first embodiment described above, an example has been described in which the
コマンド解析部113は、操作履歴を解析することにより、コマンド変換部112から入力された操作コマンド変換される前の音声コマンドについて、一定期間内における音声コマンド毎の検出頻度を算出する。そして、算出された音声コマンドの検出頻度に基づいて重み係数を更新するためのオフセット係数Vを算出する。
The
オフセット係数Vは、例えば、図5に示すグラフに従って、各音声コマンドに対応する音声コマンドコードが発行された積算回数によって定めることができる。この他、ある期間の音声コマンドコードの発行総数に対する各音声コマンドの割合に基づいてオフセット係数Vを決定しても良い。 The offset coefficient V can be determined, for example, according to the graph shown in FIG. 5, based on the accumulated number of times the voice command code corresponding to each voice command has been issued. Alternatively, the offset coefficient V may be determined based on the ratio of each voice command to the total number of voice command codes issued during a certain period.
コマンド解析部113は、算出されたオフセット係数Vを操作コマンドに対応して記録される各重み係数に乗じることにより重み係数を更新する。この場合にも、コマンド解析部113は、音声認識部111の音声認識処理において誤検出が生じた場合には、音声コマンドの積算回数から減算するなどして、重み係数を更新することが好ましい。
The
このように本変形例では、術者の発話に基づく音声コマンドについて検出頻度の高い順に高い重み係数を持たせ、当該重み係数を音声認識処理用いることで、術者毎に異なる発話の癖や好みに依存せず精度よく音声認識処理を行うことができる。また、音声コマンドの検出回数を記録し、当該検出回数に応じて重み係数を更新することで、経時的に術者の検出頻度の高い音声コマンドについて音声認識の精度を向上させることができる。上述の第1の実施形態に比して更に音声認識の精度を向上させることができ、術者の音声による操作指示を正確に認識することができる。 As described above, in this modified example, a higher weighting factor is given to voice commands based on the operator's utterances in descending order of detection frequency. It is possible to accurately perform speech recognition processing without depending on In addition, by recording the number of voice command detections and updating the weighting factor according to the number of detections, it is possible to improve the accuracy of voice recognition over time for voice commands that are frequently detected by the operator. The accuracy of speech recognition can be further improved as compared with the above-described first embodiment, and the operator's voice operation instructions can be accurately recognized.
なお、上述の操作コマンドの使用頻度に基づくオフセット係数T及び音声コマンドの検出頻度に基づくオフセット係数Vを共に乗じた結果を重み係数に乗じることにより更新することもできる。この場合には、使用頻度の高い操作コマンド且つ検出頻度の高い音声コマンドの音声認識精度がより向上する。この場合にも、コマンド解析部113は、音声認識部111の音声認識処理において誤検出が生じた場合には、操作コマンドの使用回数及び音声コマンドの積算回数から減算するなどして、重み係数を更新することが好ましい。
It is also possible to update by multiplying the result of multiplying both the offset coefficient T based on the frequency of use of the operation command and the offset coefficient V based on the detection frequency of the voice command by the weighting coefficient. In this case, the accuracy of voice recognition for frequently used operation commands and frequently detected voice commands is further improved. In this case as well, when an erroneous detection occurs in the voice recognition processing of the
(第2の実施形態)
上述した第1の実施形態及びその変形例においては、音声認識DB15内に1の音声認識データテーブルが格納されている例について説明した。本実施形態においては、音声認識DB15に、音声認識入力装置10が適用される外部装置の運用状況に依存して、図2に示すような音声認識データテーブルが複数格納されており、外部装置の運用状況に応じて音声認識処理に用いるデータテーブルを切り替える。
(Second embodiment)
In the first embodiment and its modified example described above, an example in which one voice recognition data table is stored in the
装置の運用状況として、例えば、検査開始前後、検査種別、X線出力の有無等が考えられ、音声認識DBには、予めこれらの状況に応じて複数の音声認識データテーブルtg001~tg***を格納しておく。音声認識データテーブルの一例は、図2に示した通りである。また、音声認識DBには、図6に示すような装置の運用状況を示すデータテーブルが格納され、これらのデータテーブルを参照して適切な音声認識データテーブルを選択する。なお、図6(A)は、検査開始情報の状態を示すデータテーブル、(B)は、検査種別の状態を示すデータテーブル、(C)はX線照射情報の状態を示すデータテーブル、(D)は装置運用状況と音声認識データベースの分類を示すデータテーブルである。 As the operation status of the apparatus, for example, before and after the start of examination, examination type, presence/absence of X-ray output, etc. can be considered. store. An example of the voice recognition data table is as shown in FIG. Further, the speech recognition DB stores data tables showing the operational status of the apparatus as shown in FIG. 6, and an appropriate speech recognition data table is selected by referring to these data tables. 6(A) is a data table showing the state of examination start information, (B) is a data table showing the state of examination types, (C) is a data table showing the state of X-ray irradiation information, (D ) is a data table showing the device operation status and the classification of the speech recognition database.
以下、音声認識データテーブルtg001~tg***の切り替えの流れについて、図7のフローチャートに従って説明する。
音声認識入力装置10が起動すると、システム操作決定部14が画像撮像装置20から逐次的に装置運用状況に係る情報を取得する(ステップS201)。本実施形態においては、システム操作決定部14が、例えば、検査開始情報、検査種別情報及びX線照射情報を取得する。装置運用状況に係る情報を取得すると、システム操作決定部14は、取得した情報それぞれについて従前の状態と比べて変化があったか否かを判定する(ステップS202)。
The switching flow of the speech recognition data tables tg001 to tg*** will be described below with reference to the flowchart of FIG.
When the voice
ステップS202の判定において、検査開始情報、検査種別情報及びX線照射情報のうち何れか少なくとも1つの情報に変化があった場合にステップS203に進み、装置運用状況コマンドStを生成する。装置運用状況コマンドStは、図6(D)に示すように、検査開始情報、検査種別及びX線照射情報の3つの情報からなり、これらの組み合わせに応じて適用すべき音声認識データテーブルが定まるようになっている。 If it is determined in step S202 that at least one of the examination start information, examination type information, and X-ray irradiation information has changed, the process advances to step S203 to generate an apparatus operation status command St. As shown in FIG. 6D, the apparatus operation status command St consists of three pieces of information: examination start information, examination type, and X-ray irradiation information. It's like
システム操作決定部14は、生成された装置運用状況コマンドStを音声認識部111へ出力し(ステップS205)、音声認識部111は、入力された装置運用状況コマンドStに従って音声認識データテーブルを選択し、切り替える。装置運用状況コマンドStの各情報、例えば、検査開始情報が「検査開始後」を示すao1、検査種別が「Abdomen(腹部)」を示す1001、X線照射情報が「照射中」を示すc01である場合には、音声認識データベースtg003が選択される。
The system
上述のように音声認識DBに音声認識データテーブルが複数格納されている場合においても、第1の実施形態及びその変形例と同様に、重み係数の更新を行うことができる。 Even when a plurality of speech recognition data tables are stored in the speech recognition DB as described above, weighting factors can be updated in the same manner as in the first embodiment and its modification.
コマンド解析部113は、操作履歴を生成する際に、操作コマンドを示す操作コマンドコードや音声コマンドを示す音声コマンドコードと共に、検査開始の有無や検査種別に係るコマンドコード(図6参照)を記録する。このようにすることで、更新が必要な音声認識データベースの重み係数についてのみ更新を行うことができる。
When generating the operation history, the
このように本実施形態によれば、音声認識入力装置を適用する装置の運用状況に応じて音声認識処理に用いる音声認識データテーブルを切り替えることができる。各音声認識データテーブルは、装置運用状況毎に使用頻度の高い操作、使用頻度の高い音声コマンドに比重を置いた重み係数を定めることができるため、音声認識処理の精度を向上させることができる。 As described above, according to the present embodiment, it is possible to switch the speech recognition data table used for the speech recognition process according to the operational status of the device to which the speech recognition input device is applied. Each voice recognition data table can define a weighting factor that places a weight on frequently used operations and frequently used voice commands for each device operation status, thereby improving the accuracy of voice recognition processing.
10・・・音声認識入力装置、11・・・CPU、12・・・音声入力I/F、13・・・手動入力I/F、14・・・メモリ、15・・・音声認識DB、16・・・ログ収集DB、20・・・画像撮像装置、30・・・ディスプレイ、111・・・音声認識部、112・・・コマンド変換部、113・・・コマンド解析部、120・・・音声操作処理部、130・・・手動操作処理部、140・・・システム操作決定部、20・・・画像撮像装置、30・・・ディスプレイ
DESCRIPTION OF
Claims (6)
1の操作コマンドについて複数の音声コマンドを対応付けて記録すると共に、音声コマンド毎に当該音声コマンドの使用頻度に応じた重み係数を記録した音声認識データテーブルを記憶した記憶部と、
音声入力を受け付け、該音声入力を認識対象として音声認識処理を行って前記音声入力に対応する音声コマンドを音声認識処理の結果として出力する音声認識部と、
前記音声認識データテーブルを参照して、前記音声コマンドを該音声コマンドに対応して記録された操作コマンドに変換するコマンド変換部と、
前記操作コマンドを前記外部機器に出力する操作決定部と、を備え、
前記音声認識部が、前記音声認識データテーブルを参照して前記音声入力に相当し得る音声コマンド候補を複数選出するとともに音声認識の確からしさの指標を算出し、これら複数の音声コマンド候補夫々について、前記指標と前記重み係数とを乗じることにより最も確からしい音声コマンドを選出し、当該選出した音声コマンドを前記音声入力に対する音声認識処理の結果として出力する、音声認識入力装置。 A voice recognition input device for inputting an operation command to an external device,
a storage unit storing a voice recognition data table in which a plurality of voice commands are associated with one operation command and recorded, and a weighting factor corresponding to the frequency of use of the voice command is recorded for each voice command;
a voice recognition unit that receives a voice input, performs voice recognition processing on the voice input as a recognition target, and outputs a voice command corresponding to the voice input as a result of the voice recognition processing;
a command conversion unit that refers to the voice recognition data table and converts the voice command into an operation command recorded in correspondence with the voice command;
an operation determination unit that outputs the operation command to the external device;
The speech recognition unit refers to the speech recognition data table, selects a plurality of speech command candidates that can correspond to the speech input, and calculates an index of likelihood of speech recognition, and for each of these plurality of speech command candidates : A voice recognition input device for selecting the most probable voice command by multiplying the index and the weighting factor, and outputting the selected voice command as a result of voice recognition processing for the voice input.
前記音声認識部が、前記外部機器の運用状況に応じて音声認識処理に用いる前記音声認識データテーブルを切り替える請求項1乃至請求項4の何れか1項記載の音声認識入力装置。 the storage unit stores a plurality of voice recognition data tables corresponding to the operation status of the external device;
5. The speech recognition input device according to claim 1, wherein the speech recognition unit switches the speech recognition data table used for speech recognition processing according to the operational status of the external device.
1の操作コマンドについて複数の音声コマンドを対応付けて記録すると共に、音声コマンド毎に当該音声コマンドの使用頻度に応じた重み係数を記録した音声認識データテーブルを参照して、ユーザからの音声入力を認識対象として音声認識処理を行って前記音声入力に対応する音声コマンドを音声認識処理の結果として出力する音声認識ステップと、
前記音声認識データテーブルを参照して、前記音声コマンドを該音声コマンドに対応して記録された操作コマンドに変換するコマンド変換ステップと、
前記医用画像撮像装置に前記操作コマンドを出力する操作決定ステップと、を備え、
前記音声認識ステップにおいて、前記音声認識データテーブルを参照して前記音声入力に相当し得る音声コマンド候補を複数選出するとともに音声認識の確からしさの指標を算出し、これら複数の音声コマンド候補夫々について、前記指標と前記重み係数とを乗じることにより最も確からしい音声コマンドを選出し、当該選出した音声コマンドを前記音声入力に対する音声認識処理の結果として出力させる、音声認識入力プログラム。 A voice recognition input program that causes a computer to input an operation command by voice to a medical imaging device,
A plurality of voice commands are associated with one operation command and recorded, and a voice input from the user is recognized by referring to a voice recognition data table in which a weighting factor corresponding to the frequency of use of each voice command is recorded. a speech recognition step of performing speech recognition processing as a recognition target and outputting a speech command corresponding to the speech input as a result of the speech recognition processing;
a command conversion step of referring to the voice recognition data table and converting the voice command into an operation command recorded corresponding to the voice command;
an operation decision step of outputting the operation command to the medical imaging device;
In the voice recognition step, referring to the voice recognition data table, a plurality of voice command candidates that can correspond to the voice input are selected and an index of likelihood of voice recognition is calculated, and for each of the plurality of voice command candidates , A voice recognition input program for selecting the most probable voice command by multiplying the index and the weighting factor, and outputting the selected voice command as a result of voice recognition processing for the voice input.
外部機器として医用画像撮像装置と、を備え
請求項1乃至請求項4の何れか1項記載の音声認識入力装置が、前記医用画像撮像装置に対して音声認識入力により操作指示を行う医用画像撮像システム。 a speech recognition input device according to any one of claims 1 to 4;
5. A medical device, comprising a medical imaging device as an external device, wherein the voice recognition input device according to any one of claims 1 to 4 issues operation instructions to the medical imaging device by voice recognition input. Image capture system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018229984A JP7141938B2 (en) | 2018-12-07 | 2018-12-07 | Voice recognition input device, voice recognition input program and medical imaging system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018229984A JP7141938B2 (en) | 2018-12-07 | 2018-12-07 | Voice recognition input device, voice recognition input program and medical imaging system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020089641A JP2020089641A (en) | 2020-06-11 |
JP7141938B2 true JP7141938B2 (en) | 2022-09-26 |
Family
ID=71011904
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018229984A Active JP7141938B2 (en) | 2018-12-07 | 2018-12-07 | Voice recognition input device, voice recognition input program and medical imaging system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7141938B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190113693A (en) * | 2019-09-18 | 2019-10-08 | 엘지전자 주식회사 | Artificial intelligence apparatus and method for recognizing speech of user in consideration of word usage frequency |
JP6807621B1 (en) | 2020-08-05 | 2021-01-06 | 株式会社インタラクティブソリューションズ | A system for changing images based on audio |
DE102020216040A1 (en) * | 2020-12-16 | 2022-06-23 | Siemens Healthcare Gmbh | Method of determining an adjustment to an imaging study |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004157919A (en) | 2002-11-08 | 2004-06-03 | Nec Corp | Input device, and voice input method, device and program |
JP2006137366A (en) | 2004-11-15 | 2006-06-01 | Honda Motor Co Ltd | Instrument control device for vehicle |
JP2006149909A (en) | 2004-12-01 | 2006-06-15 | Toshiba Corp | X-ray image diagnostic apparatus |
JP2007226388A (en) | 2006-02-22 | 2007-09-06 | Konica Minolta Medical & Graphic Inc | Command input device and program |
JP2009109587A (en) | 2007-10-26 | 2009-05-21 | Panasonic Electric Works Co Ltd | Voice recognition control device |
JP2013134431A (en) | 2011-12-27 | 2013-07-08 | Toyota Motor Corp | Device, method, and program for processing command |
JP2014081441A (en) | 2012-10-15 | 2014-05-08 | Sharp Corp | Command determination device, determination method thereof, and command determination program |
JP2014170185A (en) | 2013-03-05 | 2014-09-18 | Nec Corp | Speech command recognition system |
US20150379993A1 (en) | 2014-06-30 | 2015-12-31 | Samsung Electronics Co., Ltd. | Method of providing voice command and electronic device supporting the same |
JP2016128924A (en) | 2010-05-19 | 2016-07-14 | サノフィ−アベンティス・ドイチュラント・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング | Interaction and/or change of operation data of instruction determination process |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61122781A (en) * | 1984-11-20 | 1986-06-10 | Fujitsu Ltd | Speech word processor |
JPS6491199A (en) * | 1987-10-02 | 1989-04-10 | Toshiba Corp | Operation controller using voice recognizing function |
-
2018
- 2018-12-07 JP JP2018229984A patent/JP7141938B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004157919A (en) | 2002-11-08 | 2004-06-03 | Nec Corp | Input device, and voice input method, device and program |
JP2006137366A (en) | 2004-11-15 | 2006-06-01 | Honda Motor Co Ltd | Instrument control device for vehicle |
JP2006149909A (en) | 2004-12-01 | 2006-06-15 | Toshiba Corp | X-ray image diagnostic apparatus |
JP2007226388A (en) | 2006-02-22 | 2007-09-06 | Konica Minolta Medical & Graphic Inc | Command input device and program |
JP2009109587A (en) | 2007-10-26 | 2009-05-21 | Panasonic Electric Works Co Ltd | Voice recognition control device |
JP2016128924A (en) | 2010-05-19 | 2016-07-14 | サノフィ−アベンティス・ドイチュラント・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング | Interaction and/or change of operation data of instruction determination process |
JP2013134431A (en) | 2011-12-27 | 2013-07-08 | Toyota Motor Corp | Device, method, and program for processing command |
JP2014081441A (en) | 2012-10-15 | 2014-05-08 | Sharp Corp | Command determination device, determination method thereof, and command determination program |
JP2014170185A (en) | 2013-03-05 | 2014-09-18 | Nec Corp | Speech command recognition system |
US20150379993A1 (en) | 2014-06-30 | 2015-12-31 | Samsung Electronics Co., Ltd. | Method of providing voice command and electronic device supporting the same |
Also Published As
Publication number | Publication date |
---|---|
JP2020089641A (en) | 2020-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7141938B2 (en) | Voice recognition input device, voice recognition input program and medical imaging system | |
US10896763B2 (en) | System and method for providing model-based treatment recommendation via individual-specific machine learning models | |
KR100586286B1 (en) | Eye gaze for contextual speech recognition | |
JP6754184B2 (en) | Voice recognition device and voice recognition method | |
JP6013951B2 (en) | Environmental sound search device and environmental sound search method | |
US9055861B2 (en) | Apparatus and method of diagnosing health by using voice | |
EP1974671B1 (en) | Ultrasound system | |
US20050033144A1 (en) | Biological-sound data processing system, program, and recording medium | |
CN109313900A (en) | Information processing equipment and information processing method | |
US20070106501A1 (en) | System and method for subvocal interactions in radiology dictation and UI commands | |
US20110015938A1 (en) | Preoperative surgical time out procedure feature incorporated into a surgical specialty instrument | |
CN109259800A (en) | Ultrasonic imaging control system | |
JP6744175B2 (en) | Medical image display device and interpretation report creation support device | |
KR20220005232A (en) | Method, apparatur, computer program and computer readable recording medium for providing telemedicine service based on speech recognition | |
CN116884648A (en) | Voice interaction optimization method, device, equipment and medium based on traditional Chinese medicine inquiry | |
JP6290111B2 (en) | Electronic record recording support apparatus and electronic record recording support method | |
US20220130533A1 (en) | Medical support device, operation method of medical support device, and medical support system | |
US10265052B2 (en) | Method of displaying ultrasound image and ultrasound diagnosis apparatus | |
KR20170031718A (en) | Remote apparatus with interworking between smart device and sonographer | |
JP6345502B2 (en) | Medical diagnostic imaging equipment | |
JP2022509666A (en) | Touchless input ultrasonic control method | |
JP2008129961A (en) | Examination result recording program | |
US20220310099A1 (en) | Surgical Microscope System and Corresponding System, Method and Computer Program for a Surgical Microscope System | |
JP2005284834A (en) | Document input system, document input program, recording medium with document input program recorded, and document input method | |
JP3592803B2 (en) | Voice recognition device and voice recognition method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210618 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20211013 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220422 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220426 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220613 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220823 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220912 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7141938 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |