JP7482459B2 - システム、支援方法、サーバ装置及び通信プログラム - Google Patents
システム、支援方法、サーバ装置及び通信プログラム Download PDFInfo
- Publication number
- JP7482459B2 JP7482459B2 JP2022140702A JP2022140702A JP7482459B2 JP 7482459 B2 JP7482459 B2 JP 7482459B2 JP 2022140702 A JP2022140702 A JP 2022140702A JP 2022140702 A JP2022140702 A JP 2022140702A JP 7482459 B2 JP7482459 B2 JP 7482459B2
- Authority
- JP
- Japan
- Prior art keywords
- communication
- terminal
- text data
- worker
- server device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006854 communication Effects 0.000 title claims description 322
- 238000000034 method Methods 0.000 title description 35
- 238000004891 communication Methods 0.000 claims description 310
- 230000007613 environmental effect Effects 0.000 claims description 137
- 230000006866 deterioration Effects 0.000 claims description 21
- 230000007257 malfunction Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000007423 decrease Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 description 105
- 238000012545 processing Methods 0.000 description 66
- 230000006870 function Effects 0.000 description 42
- 238000010586 diagram Methods 0.000 description 35
- 230000008569 process Effects 0.000 description 20
- 238000000926 separation method Methods 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 15
- 230000005856 abnormality Effects 0.000 description 13
- 230000015654 memory Effects 0.000 description 13
- 238000012937 correction Methods 0.000 description 12
- 238000013500 data storage Methods 0.000 description 10
- 230000004044 response Effects 0.000 description 9
- 238000013523 data management Methods 0.000 description 7
- 230000015556 catabolic process Effects 0.000 description 6
- 238000006731 degradation reaction Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000013518 transcription Methods 0.000 description 1
- 230000035897 transcription Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/01—Assessment or evaluation of speech recognition systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Telephonic Communication Services (AREA)
Description
音声データをテキストデータに変換するシステムであって、
1または複数の制御部は、
音声データの取得中に、取得中の音声データをテキストデータに変換できるか否か、または、取得中の音声データを変換した変換後のテキストデータの品質が低下するか否かを判定し、
判定結果を出力する。
前記1または複数の制御部は、
前記判定結果を、テキストデータに変換できない原因、または、変換後のテキストデータの品質が低下する原因を明示して出力する。
前記原因には、前記音声データを取得する音声取得装置の周囲の環境音の影響、または、前記音声取得装置の故障のいずれかが含まれる。
前記1または複数の制御部は、
前記音声データの取得中に取得される環境音データの大きさが所定の閾値以上となった場合に、前記環境音の影響が原因で、変換後のテキストデータの品質が低下すると判定する。
前記1または複数の制御部は、
前記取得中の音声データ及び前記音声データの取得中に取得される環境音データの大きさのいずれもが所定の閾値未満となった場合に、前記音声取得装置の故障が原因で、テキストデータに変換できないと判定する。
前記原因には、双方向通信の通信状態の悪化が含まれる。
前記1または複数の制御部は、
前記音声データの取得中に双方向通信が切断した場合に、前記通信状態の悪化が原因で、テキストデータに変換できないと判定する。
作業者が利用する作業者端末と、前記作業者を遠隔支援する支援者が利用する支援者端末と、前記作業者端末と前記支援者端末との間の双方向通信を実現するサーバ装置とを有し、
前記サーバ装置が有する制御部は、
音声データをテキストデータに変換する。
前記サーバ装置が有する制御部は、
前記音声データの取得中に、取得中の音声データをテキストデータに変換できるか否か、または、取得中の音声データを変換した変換後のテキストデータの品質が低下するか否かを判定し、
前記支援者端末が有する制御部は、
前記判定結果を出力する。
前記作業者端末は、前記音声データを取得する音声取得装置を有し、
前記サーバ装置の制御部は、
前記音声データの取得中に取得される環境音データの大きさが所定の閾値以上となった場合に、前記音声取得装置の周囲の環境音の影響が原因で、変換後のテキストデータの品質が低下すると判定する。
前記作業者端末は、前記音声データを取得する音声取得装置を有し、
前記サーバ装置の制御部は、
前記取得中の音声データの大きさ及び前記音声データの取得中に取得される環境音データの大きさのいずれもが所定の閾値未満となった場合に、前記音声取得装置の故障が原因で、テキストデータに変換できないと判定する。
前記サーバ装置が有する制御部は、
前記作業者端末から一定期間、音声データが送信されず、双方向通信が切断したと判定した場合に、前記双方向通信の通信状態の悪化が原因で、前記作業者端末が有する制御部により取得中の音声データをテキストデータに変換できないと判定する。
前記支援者端末が有する制御部は、
前記判定結果を、テキストデータに変換できない原因、または、変換後のテキストデータの品質が低下する原因を明示するアイコンを用いて表示する。
前記作業者端末が有する制御部は、
前記音声データの取得中に、取得中の音声データをテキストデータに変換できるか否か、または、取得中の音声データを変換した変換後のテキストデータの品質が低下するか否かを判定し、
前記判定結果を、音声、光、振動の少なくともいずれか1つにより報知する。
前記サーバ装置の制御部は、
前記テキストデータと、前記判定結果とを対応付けて格納する。
前記支援者端末が有する制御部は、
格納された前記テキストデータを読み出し、対応する前記判定結果に応じた表示態様で表示する。
前記サーバ装置が有する制御部は、
テキストデータに変換できなかった箇所、または、品質が低下した箇所について、前後のテキストデータを用いて修正する。
前記サーバ装置が有する制御部は、
前記作業者端末により撮影された画像から、前記作業者の作業内容を特定し、特定した作業内容を前記判定結果と対応付けて格納する。
前記作業者端末が有する制御部は、
取得した音声データを格納し、前記サーバ装置から要求があった場合に、前記要求に応じた範囲の音声データを前記サーバ装置に送信する。
音声データをテキストデータに変換するシステムによる支援方法であって、
音声データの取得中に、取得中の音声データをテキストデータに変換できるか否か、または、取得中の音声データを変換した変換後のテキストデータの品質が低下するか否かを判定する判定工程と、
判定結果を出力する出力工程とを有する。
作業者が利用する作業者端末と、前記作業者を遠隔支援する支援者が利用する支援者端末との間の双方向通信を実現する制御部を有するサーバ装置であって、
前記制御部は、
音声データをテキストデータに変換し、
前記作業者端末または前記支援者端末による音声データの取得中に、取得中の音声データをテキストデータに変換できるか否か、または、取得中の音声データを変換した変換後のテキストデータの品質が低下するか否かを判定した場合に、判定結果に応じた指示を前記作業者端末または前記支援者端末に送信する。
作業者が利用する作業者端末と、前記作業者を遠隔支援する支援者が利用する支援者端末との間の双方向通信を実現するサーバ装置の制御部に、
音声データをテキストデータに変換する変換工程と、
前記作業者端末または前記支援者端末による音声データの取得中に、取得中の音声データをテキストデータに変換できるか否か、または、取得中の音声データを変換した変換後のテキストデータの品質が低下するか否かを判定した場合に、判定結果に応じた指示を前記作業者端末または前記支援者端末に送信する送信工程とを実行させる。
<双方向通信システムのシステム構成>
はじめに、第1の実施形態に係るシステムの一例である双方向通信システムのシステム構成について説明する。図1は、双方向通信システムのシステム構成の一例を示す第1の図である。図1に示すように、双方向通信システム100は、サーバ装置110とクライアント端末(作業者端末120、支援者端末130)とを有する。
・作業現場で作業する作業者150と、
・作業者150に対して遠隔から各種作業指示を行うことで、作業者150を遠隔支援する支援者160と、
が、双方向通信システム100を用いてコミュニケーションを行うケースについて説明する。このため、上述したように、本実施形態において双方向通信システム100を構成するクライアント端末には、作業者150が用いる作業者端末120と、支援者160が用いる支援者端末130とが含まれる。ただし、双方向通信システム100を構成するクライアント端末は、作業者端末120と支援者端末130との組み合わせに限定されない。
・作業者端末120から受信した動画像データ及び音データを、支援者端末130に送信し、
・作業者端末120において検知された検知結果(詳細は後述)等に基づく表示指示を、支援者端末130に送信し、
・支援者端末130から受信した音データを、作業者端末120に送信し、
・支援者端末130において検知された検知結果(詳細は後述)に基づく表示指示を、支援者端末130に送信する。
・作業者端末120において取得中の作業者150の発話に基づく音声データを、テキストデータに変換できるか否か、または、
・作業者端末120において取得中の作業者150の発話に基づく音声データを変換した変換後のテキストデータの品質が低下するか否か、
を、作業者端末120において検知された検知結果等に基づいて判定し、判定結果に応じた表示指示を支援者端末130に送信する。
・支援者端末130において取得中の支援者160の発話に基づく音声データを、テキストデータに変換できるか否か、または、
・支援者端末130において取得中の支援者160の発話に基づく音声データを変換した変換後のテキストデータの品質が低下するか否か、
を、支援者端末130において検知された検知結果に基づいて判定し、判定結果に応じた表示指示を支援者端末130に送信する。
・作業者150の発話に基づく音声データをテキストデータに変換すること、または、
・変換後のテキストデータの品質、
に影響を与える「環境音の状態」、「マイクの状態」、「通信の状態」を検知し、検知結果を作業者150に報知するとともに、「環境音の状態」、「マイクの状態」についての検知結果をサーバ装置110に送信する。
・支援者160の発話に基づく音声データをテキストデータに変換すること、または、
・変換後のテキストデータの品質、
に影響を与える「環境音の状態」、「マイクの状態」、「通信の状態」を検知し、このうち、「環境音の状態」、「マイクの状態」についての検知結果をサーバ装置110に送信する。
次に、双方向通信システム100を構成する各装置(サーバ装置110、作業者端末120、支援者端末130)のハードウェア構成について説明する。図2は、サーバ装置のハードウェア構成の一例、及び、作業者端末及び支援者端末のハードウェア構成の一例を示す図である。
次に、作業者端末120の機能構成について説明する。図3は、作業者端末の機能構成の一例を示す第1の図である。上述したように、作業者端末120には、クライアントプログラムがインストールされている。そして、作業者端末120は、当該プログラムが実行されることで、図3に示すように、音データ取得部310、音声分離部320、音圧レベル算出部330、第1検知部340、第2検知部350、通信部360、判定部370、音声出力部380として機能する。なお、図3の例では、説明の簡略化のため、動画像データの処理に関する機能は省略し、音データの処理に関する機能のみを抜粋して示している(以降、音データの処理に関して説明する)。
・作業者端末120において取得中の作業者150の発話に基づく音声データを、テキストデータに変換できるか否か、または、
・作業者端末120において取得中の作業者150の発話に基づく音声データを変換した変換後のテキストデータの品質が低下するか否か、
を判定する。
次に、サーバ装置110の機能構成の詳細について説明する。上述したように、サーバ装置110には双方向通信プログラムがインストールされており、当該プログラムが実行されることで、双方向通信部111及びテキストデータ管理部112として機能する。
・作業者端末120において取得中の作業者150の発話に基づく音声データを、テキストデータに変換できるか否か、または、
・作業者端末120において取得中の作業者150の発話に基づく音声データを変換した変換後のテキストデータの品質が低下するか否か、
を判定し、判定結果に応じた表示内容(環境音の状態、マイクの状態、通信の状態)を決定する。
・支援者端末130において取得中の支援者160の発話に基づく音声データを、テキストデータに変換できるか否か、または、
・支援者端末130において取得中の支援者160の発話に基づく音声データを変換した変換後のテキストデータの品質が低下するか否か、
を判定し、判定結果に応じた表示内容(環境音の状態、マイクの状態)を決定する。
次に、支援者端末130の機能構成について説明する。図5は、支援者端末の機能構成の一例を示す第1の図である。上述したように、支援者端末130には、クライアントプログラムがインストールされている。そして、支援者端末130は、当該プログラムが実行されることで、図5に示すように、音データ取得部510、音声分離部520、音圧レベル算出部530、第1検知部540、第2検知部550、通信部560として機能する。更に、支援者端末130は、音声出力部570、表示制御部580、判定部590として機能する。
・作業者端末120についての検知結果(環境音の状態、マイクの状態、通信の状態)に対応する表示指示と、
・支援者端末130についての検知結果(環境音の状態、マイクの状態)に対応する表示指示と、
が含まれる。
・作業者端末120において取得中の作業者150の発話に基づく音声データを、テキストデータに変換できるか否か、または、
・作業者端末120において取得中の作業者150の発話に基づく音声データを変換した変換後のテキストデータの品質が低下するか否か、
を判定し、判定結果に応じた表示内容(通話の状態)を決定する。また、判定部590は、決定した表示内容(通信の状態)を含む表示指示を表示制御部580に通知する。
次に、双方向通信システム100による通信処理であって、作業者150の発話に基づく音声データが含まれる音データを、作業者端末120から支援者端末130に送信する場合の通信処理の流れについて説明する。図6は、双方向通信システムにおいて、作業者端末から支援者端末へ音データを送信する場合の通信処理の流れを示す第1のシーケンス図である。
次に、双方向通信システム100による通信処理であって、支援者160の発話に基づく音声データが含まれる音データを、支援者端末130から作業者端末120に送信する場合の通信処理の流れについて説明する。図7は、双方向通信システムにおいて、支援者端末から作業者端末へ音データを送信する場合の通信処理の流れを示す第1のシーケンス図である。
次に、支援者端末130の表示装置231に表示される表示画面の例について説明する。図8は、支援者端末の表示画面例を示す図である。図8に示すように、表示画面800には、作業者端末120より送信された動画像データを表示する領域810と、作業者端末120の状況を表示する領域820と、支援者端末130の状況を表示する領域830とを有する。
・作業者端末120が、作業者150の発話に基づく音声データを音声認識するのに適した状況にあるのか、
・作業者端末120において、音声認識するのに適さない状況が発生したのか、
を把握することができる。
・支援者端末130が、自身の発話に基づく音声データを音声認識するのに適した状況にあるのか、
・支援者端末130において、自身の発話を音声認識するのに適さない状況が発生したのか、
を把握することができる。
以上の説明から明らかなように、第1の実施形態に係るシステムの一例である双方向通信システム100は、
・音声データの取得中に、取得中の音声データの音圧データ及び音声データ以外の環境音データの音圧データを算出する。これにより、取得中の音声データをテキストデータに変換できるか否か、または、取得中の音声データを変換した変換後のテキストデータの品質が低下するか否かを判定する。
・判定結果を作業者に報知する、または、判定結果に応じた表示内容を支援者端末に表示する。
上記第1の実施形態では、音声データをテキストデータに変換する処理を、サーバ装置110において一括して行う場合について説明した。しかしながら、音声データをテキストデータに変換する処理は、作業者端末120及び支援者端末130の各クライアント端末において実行されるように構成してもよい。以下、第2の実施形態について、上記第1の実施形態との相違点を中心に説明する。
はじめに、第2の実施形態における作業者端末120の機能構成について説明する。図9は、作業者端末の機能構成の一例を示す第2の図である。上記第1の実施形態において、図3を用いて説明した機能構成との相違点は、テキストデータ生成部910を有する点、及び、通信部920の機能が、図3の通信部360の機能とは異なる点である。
次に、第2の実施形態におけるサーバ装置110の機能構成の詳細について説明する。図10は、サーバ装置の機能構成の詳細の一例を示す第2の図である。図4を用いて説明した機能構成の詳細との相違点は、通信部1010の機能が、図4の通信部410の機能とは異なる点、及び、音声データ取得部420とテキストデータ生成部440とを有していない点である。
・作業者端末120より送信されたテキストデータを受信し、受信したテキストデータを、判定部430により判定された判定結果と対応付けて、テキストデータ格納部450に格納する機能、及び、
・支援者端末130より送信されたテキストデータを受信し、受信したテキストデータを、判定部430により判定された判定結果と対応付けて、テキストデータ格納部450に格納する機能、
を有する。
次に、第2の実施形態における支援者端末130の機能構成について説明する。図11は、支援者端末の機能構成の一例を示す第2の図ある。図5を用いて説明した機能構成との相違点は、テキストデータ生成部1110を有する点、及び、通信部1120の機能が、図5の通信部560の機能とは異なる点である。
次に、第2の実施形態における双方向通信システム100による通信処理であって、作業者150の発話に基づく音声データが含まれる音データを、作業者端末120から支援者端末130に送信する場合の通信処理の流れについて説明する。図12は、双方向通信システムにおいて、作業者端末から支援者端末へ音データを送信する場合の通信処理の流れを示す第2のシーケンス図である。図6を用いて説明した第1のシーケンス図との相違点は、ステップS1201及びステップS1210である。
次に、第2の実施形態における双方向通信システム100による通信処理であって、支援者160の発話に基づく音声データが含まれる音データを、支援者端末130から作業者端末120に送信する場合の通信処理の流れについて説明する。図13は、双方向通信システムにおいて、支援者端末から作業者端末へ音データを送信する場合の通信処理の流れを示す第2のシーケンス図である。図7を用いて説明した第1のシーケンス図との相違点は、ステップS1301及びステップS1310である。
以上の説明から明らかなように、第2の実施形態に係るシステムの一例である双方向通信システム100は、上記第1の実施形態と同様の機能を有する。更に、第2の実施形態システムの一例である双方向通信システム100は、音声データに対する音声認識処理を、サーバ装置110にて一括して実行する代わりに、各クライアント端末にて実行する構成とした。
上記第1及び第2の実施形態では、
・作業現場で作業する作業者150と、
・作業者150に対して遠隔から各種作業指示を行うことで、作業者150を遠隔支援する支援者160と、
が、コミュニケーションを行うシーンに双方向通信システムを適用するケースについて説明した。しかしながら、双方向通信システムの適用先はこれに限定されず、例えば、遠隔でコミュニケーションを行うシーンであれば、他のシーンにおいて適用してもよい。第3の実施形態では、遠隔にいるユーザが、会議を行うシーンに双方向通信システムを適用するケースについて説明する。
はじめに、第3の実施形態に係るシステムの一例である双方向通信システムのシステム構成について説明する。図14は、双方向通信システムのシステム構成の一例を示す第2の図である。図14に示すように、双方向通信システム1400は、サーバ装置110と、クライアント端末(Web端末1420、1430)とを有する。
・ユーザ1450と、
・ユーザ1460と、
が、会議を行うシーンに、双方向通信システムに適用するケースについて説明する。
次に、第3の実施形態に係るシステムの一例である双方向通信システム1400におけるテキストデータの利用例について説明する。図15は、テキストデータの利用例を示す図である。図15に示す利用例の場合、テキストデータ管理部112は、更に、テキストデータ補正部1510を有する。
・テキストデータに、所定の判定結果の原因(音声取得装置227の故障、環境音の影響有り、通信悪化)を示すマークを付加することで判定結果を可視化する機能、及び、
・テキストデータのうち、所定の判定結果(音声取得装置227の故障、環境音の影響有り、通信悪化)が対応付けられた箇所について、前後のテキストデータを用いて修正する機能、
が含まれる。
・符号1532~符号1534に示す各テキストデータを、
・符号1531に示すテキストデータに、
修正することができる。コミュニケーション中に判定結果が表示される構成となっているため、音声認識に適さない状況が発生している時間範囲を短くすることができる(前後のテキストデータを用いて修正可能な時間範囲におさめることができる)からである。
以上の説明から明らかなように、第3の実施形態に係るシステムの一例である双方向通信システム1400は、上記第1または第2の実施形態と同様の機能を有しつつ、更に、
・テキストデータに対応付けられた判定結果の原因を可視化する機能、
・判定結果が対応付けられた箇所について、前後のテキストデータを用いて修正する機能、
を有する。
上記第1及び第2の実施形態では、動画像データを支援者端末130に送信する場合の通信処理の説明を割愛したが、動画像データは、例えば、テキストデータと対応付けて格納してもよい。その際、例えば、動画像データを解析することで、作業者150の作業内容を特定することで文字情報に変換し、特定した作業内容を、テキストデータと対応付けて格納してもよい。
上記第1及び第2の実施形態では、作業者端末120が、判定結果を、音声出力装置228を介して作業者150に報知するものとして説明した。しかしながら、判定結果を作業者150に報知する方法は、これに限定されない。例えば、作業者端末120にLED等を配し、判定結果に応じた色で発光させるように構成してもよい。あるいは、作業者端末120に振動子等を配し、判定結果に応じた周波数または振幅で振動させるように構成してもよい。
110 :サーバ装置
111 :双方向通信部
112 :テキストデータ管理部
120 :作業者端末
130 :支援者端末
310 :音データ取得部
320 :音声分離部
330 :音圧レベル算出部
340 :第1検知部
350 :第2検知部
360 :通信部
370 :判定部
380 :音声出力部
410 :通信部
420 :音声データ取得部
430 :判定部
440 :テキストデータ生成部
510 :音データ取得部
520 :音声分離部
530 :音圧レベル算出部
540 :第1検知部
550 :第2検知部
560 :通信部
570 :音声出力部
580 :表示制御部
590 :判定部
800 :表示画面
910 :テキストデータ生成部
920 :通信部
1010 :通信部
1110 :テキストデータ生成部
1120 :通信部
1400 :双方向通信システム
1420 :Web端末
1430 :Web端末
1510 :テキストデータ補正部
1610 :作業内容特定部
Claims (12)
- 作業者が利用する作業者端末と、前記作業者を遠隔支援する支援者が利用する支援者端末と、前記作業者端末と前記支援者端末との間の双方向通信を実現するサーバ装置とを有し、前記サーバ装置が有する制御部が、音声データをテキストデータに変換するシステムであって、
前記サーバ装置が有する制御部は、
コミュニケーションが終了する前に、前記作業者端末が有する制御部によりコミュニケーション中に取得された音声データをテキストデータに変換できるか否か判定し、
前記作業者端末から一定期間、音声データが送信されず、双方向通信が切断したと判定した場合に、前記双方向通信の通信状態の悪化が原因で、前記コミュニケーション中に取得された音声データをテキストデータに変換できないと判定し、
前記支援者端末が有する制御部は、
判定結果を出力する、
システム。 - 前記サーバ装置が有する制御部は、
前記コミュニケーションが終了する前に、前記作業者端末が有する制御部によりコミュニケーション中に取得された音声データを変換した変換後のテキストデータの品質が低下するか否かを判定し、
前記コミュニケーション中に取得された環境音データの大きさが所定の閾値以上となった場合に、または、前記コミュニケーション中に取得された音声データの大きさと環境音データの大きさとの比が所定の条件を満たした場合に、前記作業者端末が有する音声取得装置の周囲の環境音の影響が原因で、変換後のテキストデータの品質が低下すると判定する、
請求項1に記載のシステム。 - 前記サーバ装置が有する制御部は、
前記コミュニケーションが終了する前に、前記作業者端末が有する制御部によりコミュニケーション中に取得された音声データをテキストデータに変換できるか否かを判定し、
前記コミュニケーション中に取得された音声データ及び環境音データの大きさのいずれもが所定の閾値未満となった場合に、前記作業者端末が有する音声取得装置の故障が原因で、テキストデータに変換できないと判定する、
請求項1に記載のシステム。 - 前記支援者端末が有する制御部は、
前記判定結果を、テキストデータに変換できない原因、または、変換後のテキストデータの品質が低下する原因を明示するアイコンを用いて表示する、請求項1乃至3のいずれか1項に記載のシステム。 - 前記作業者端末が有する制御部は、
前記判定結果を、音声、光、振動の少なくともいずれか1つにより報知する、請求項1乃至3のいずれか1項に記載のシステム。 - 前記サーバ装置が有する制御部は、
前記テキストデータと、前記判定結果とを対応付けて格納する、請求項1に記載のシステム。 - 前記支援者端末が有する制御部は、
格納された前記テキストデータを読み出し、対応する前記判定結果に応じた表示態様で表示する、請求項6に記載のシステム。 - 前記サーバ装置が有する制御部は、
テキストデータに変換できなかった箇所、または、品質が低下した箇所について、前後のテキストデータを用いて修正する、請求項6に記載のシステム。 - 前記サーバ装置が有する制御部は、
前記作業者端末により撮影された画像から、前記作業者の作業内容を特定し、特定した作業内容を前記判定結果と対応付けて格納する、請求項6に記載のシステム。 - 前記作業者端末が有する制御部は、
前記コミュニケーション中に取得された音声データを格納し、前記サーバ装置から要求があった場合に、前記要求に応じた範囲の音声データを前記サーバ装置に送信する、請求項6に記載のシステム。 - 作業者が利用する作業者端末と、前記作業者を遠隔支援する支援者が利用する支援者端末との間の双方向通信を実現する制御部が、音声データをテキストデータに変換するサーバ装置であって、
前記制御部は、
コミュニケーションが終了する前に、前記作業者端末が有する制御部によりコミュニケーション中に取得された音声データをテキストデータに変換できるか否か判定し、
前記作業者端末から一定期間、音声データが送信されず、双方向通信が切断したと判定した場合に、前記双方向通信の通信状態の悪化が原因で、前記コミュニケーション中に取得された音声データをテキストデータに変換できないと判定し、
判定結果に応じた指示を前記作業者端末または前記支援者端末に送信する、
サーバ装置。 - 作業者が利用する作業者端末と、前記作業者を遠隔支援する支援者が利用する支援者端末との間の双方向通信を実現し、音声データをテキストデータに変換するサーバ装置の制御部に、
コミュニケーションが終了する前に、前記作業者端末が有する制御部によりコミュニケーション中に取得された音声データをテキストデータに変換できるか否か判定する工程と、
前記作業者端末から一定期間、音声データが送信されず、双方向通信が切断したと判定した場合に、前記双方向通信の通信状態の悪化が原因で、前記コミュニケーション中に取得された音声データをテキストデータに変換できないと判定する工程と、
判定結果に応じた指示を前記作業者端末または前記支援者端末に送信する工程と
を実行させるための通信プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022140702A JP7482459B2 (ja) | 2022-09-05 | 2022-09-05 | システム、支援方法、サーバ装置及び通信プログラム |
PCT/JP2023/031135 WO2024053476A1 (ja) | 2022-09-05 | 2023-08-29 | システム、支援方法、サーバ装置及び通信プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022140702A JP7482459B2 (ja) | 2022-09-05 | 2022-09-05 | システム、支援方法、サーバ装置及び通信プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2024036013A JP2024036013A (ja) | 2024-03-15 |
JP7482459B2 true JP7482459B2 (ja) | 2024-05-14 |
Family
ID=90191174
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022140702A Active JP7482459B2 (ja) | 2022-09-05 | 2022-09-05 | システム、支援方法、サーバ装置及び通信プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7482459B2 (ja) |
WO (1) | WO2024053476A1 (ja) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006227954A (ja) | 2005-02-18 | 2006-08-31 | Pioneer Electronic Corp | 情報処理装置及び情報処理方法等 |
JP2012078650A (ja) | 2010-10-04 | 2012-04-19 | Nec Corp | 音声入力支援装置 |
WO2017168936A1 (ja) | 2016-03-31 | 2017-10-05 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
WO2018016139A1 (ja) | 2016-07-19 | 2018-01-25 | ソニー株式会社 | 情報処理装置、および情報処理方法 |
JP2019174784A (ja) | 2018-03-29 | 2019-10-10 | パナソニック株式会社 | 音声翻訳装置、音声翻訳方法及びそのプログラム |
JP2020101822A (ja) | 2014-05-13 | 2020-07-02 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 音声認識機能を用いた情報提供方法および機器の制御方法 |
WO2021100331A1 (ja) | 2019-11-20 | 2021-05-27 | ダイキン工業株式会社 | 遠隔作業支援システム |
JP2021089576A (ja) | 2019-12-04 | 2021-06-10 | 株式会社東芝 | 情報処理装置、情報処理方法およびプログラム |
-
2022
- 2022-09-05 JP JP2022140702A patent/JP7482459B2/ja active Active
-
2023
- 2023-08-29 WO PCT/JP2023/031135 patent/WO2024053476A1/ja unknown
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006227954A (ja) | 2005-02-18 | 2006-08-31 | Pioneer Electronic Corp | 情報処理装置及び情報処理方法等 |
JP2012078650A (ja) | 2010-10-04 | 2012-04-19 | Nec Corp | 音声入力支援装置 |
JP2020101822A (ja) | 2014-05-13 | 2020-07-02 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 音声認識機能を用いた情報提供方法および機器の制御方法 |
WO2017168936A1 (ja) | 2016-03-31 | 2017-10-05 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
WO2018016139A1 (ja) | 2016-07-19 | 2018-01-25 | ソニー株式会社 | 情報処理装置、および情報処理方法 |
JP2019174784A (ja) | 2018-03-29 | 2019-10-10 | パナソニック株式会社 | 音声翻訳装置、音声翻訳方法及びそのプログラム |
WO2021100331A1 (ja) | 2019-11-20 | 2021-05-27 | ダイキン工業株式会社 | 遠隔作業支援システム |
JP2021089576A (ja) | 2019-12-04 | 2021-06-10 | 株式会社東芝 | 情報処理装置、情報処理方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2024036013A (ja) | 2024-03-15 |
WO2024053476A1 (ja) | 2024-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8462681B2 (en) | Method and apparatus for adaptive transmission of sensor data with latency controls | |
JP5192414B2 (ja) | 音声情報表示システム | |
CN111063054A (zh) | 故障信息发送方法和装置、车辆故障处理方法和装置 | |
KR20200046142A (ko) | IoT 플랫폼과 증강현실을 이용한 도시가스 시설물 유지보수 작업지시 시스템의 제어방법 | |
US11743150B2 (en) | Automated root cause analysis of underperforming video streams by using language transformers on support ticket systems | |
US7903579B2 (en) | Self-optimization and self-healing of voice quality problems utilizing service oriented architecture | |
JP7482459B2 (ja) | システム、支援方法、サーバ装置及び通信プログラム | |
CN110289991B (zh) | 一种故障网关检测方法、装置、存储介质及终端 | |
CN115391422A (zh) | 车辆感知信息生成方法、装置、设备、介质和程序产品 | |
JP2007156856A (ja) | 測位情報処理装置、情報処理装置、測位情報処理方法、プログラム | |
JP7346261B2 (ja) | 監視装置、監視方法、監視プログラム、および監視システム | |
CN115938013B (zh) | 用于监控数据的方法、装置、设备和计算机可读介质 | |
EP4231200A1 (en) | Distributed machine learning inference | |
US11538475B2 (en) | Information processing apparatus and information processing method | |
CN115658500A (zh) | 一种混合开发中基于vue的前端错误日志上传方法及*** | |
JP2023168879A (ja) | 通信システム、クライアント端末、通信方法及び通信プログラム | |
JP7357611B2 (ja) | 動作監視装置、動作監視方法、動作監視プログラム、および動作監視システム | |
CN113111215A (zh) | 一种用户行为分析方法、装置、电子设备和存储介质 | |
JP7073120B2 (ja) | 映像送信装置、情報処理装置、システム、情報処理方法及びプログラム | |
JP2007036360A (ja) | バーチャル映像用信号生成方法および送受信端末 | |
JP2015132973A (ja) | 情報処理装置、復旧支援方法、復旧支援プログラム、復旧支援システムおよび復旧支援サーバー | |
JP3870957B2 (ja) | 無停電電源装置の制御システム | |
US20230308392A1 (en) | Linked Packet Tracing for Software Load Balancers | |
JP7441202B2 (ja) | 通信装置、通信装置の制御方法及び制御プログラム | |
EP4354434A1 (en) | Audio quality conversion device and control method therefor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240319 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240418 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7482459 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |