JP2020135667A - Method, system, and device for creating report - Google Patents
Method, system, and device for creating report Download PDFInfo
- Publication number
- JP2020135667A JP2020135667A JP2019031018A JP2019031018A JP2020135667A JP 2020135667 A JP2020135667 A JP 2020135667A JP 2019031018 A JP2019031018 A JP 2019031018A JP 2019031018 A JP2019031018 A JP 2019031018A JP 2020135667 A JP2020135667 A JP 2020135667A
- Authority
- JP
- Japan
- Prior art keywords
- voice
- communication device
- voice communication
- report
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 111
- 238000004891 communication Methods 0.000 claims abstract description 226
- 238000012545 processing Methods 0.000 claims abstract description 73
- 230000006870 function Effects 0.000 claims description 90
- 230000008569 process Effects 0.000 claims description 50
- 230000010365 information processing Effects 0.000 claims description 41
- 238000002360 preparation method Methods 0.000 claims description 31
- 230000004044 response Effects 0.000 claims description 25
- 230000004913 activation Effects 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 description 6
- 238000010276 construction Methods 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 3
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012946 outsourcing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、報告書作成するための方法、システム、及び装置に関する。より具体的には音声認識を利用して報告書作成するための方法、システム、及び装置に関する。 The present invention relates to methods, systems, and devices for producing reports. More specifically, it relates to a method, a system, and a device for creating a report using voice recognition.
工事現場、建築現場、倉庫のピッキング作業現場等では、オペレータ（例：指揮者、現場監督等）と、作業員とが連絡を取り合いながら作業を進める。しかし、物理的な空間の広さゆえ、両者が対面して連絡を取り合うことは現実的ではない。そこで、通常は、特定の通信機器を使用して両者は連絡を取り合っている。 At construction sites, construction sites, warehouse picking work sites, etc., operators (eg, conductors, site supervisors, etc.) and workers work in contact with each other. However, due to the size of the physical space, it is not realistic for both parties to face each other and communicate with each other. Therefore, usually, both parties are in contact with each other using a specific communication device.
また、作業員は、しばしば、現場での作業内容を記録した作業報告書の作成を要求される。通常であれば、スマートフォン、タブレット、パソコンなどの種々の情報処理装置を使用して、文章をテキスト入力して作業報告書を作成する。この作業報告書の作成において、報告内容をテキスト入力ではなく、音声で入力する試みがなされている。特許文献１では、保守員が携帯端末を通じて音声で選択した報告書の種類と当該報告書の作成に必要な各項目に関する音声情報を認識する音声認識装置が開示されている。 In addition, workers are often required to create work reports that record the work done on site. Normally, various information processing devices such as smartphones, tablets, and personal computers are used to input texts into texts to create work reports. In the preparation of this work report, an attempt is made to input the content of the report by voice instead of text input. Patent Document 1 discloses a voice recognition device that recognizes a type of report selected by a maintenance person by voice through a mobile terminal and voice information related to each item necessary for creating the report.
現場の作業員は忙しいため、作業報告書の作成によって、他の仕事に支障がでることは回避したいという要求がある。パソコンなどを利用して作業報告書を作成する場合、いったん現場から引き揚げる必要があり、他の作業を一切行うことができない。また、スマートフォン、又はタブレット端末を使用する場合にも、作業を一時中断する必要がある。特許文献１では、音声認識によって、ある程度の改善は見込めるが、それでも、携帯端末を手で持つ必要があり、作業員にとっては、片手又は両手が一時的に塞がれてしまう。 Since on-site workers are busy, there is a demand to avoid interfering with other work by creating work reports. When creating a work report using a personal computer or the like, it is necessary to withdraw from the site once, and no other work can be performed. Also, when using a smartphone or tablet terminal, it is necessary to suspend the work. In Patent Document 1, although some improvement can be expected by voice recognition, it is still necessary to hold the mobile terminal by hand, and for the worker, one or both hands are temporarily blocked.
以上の理由から、本発明では、作業員にとって、手を塞がれることなく作業報告書を作成できる手段を提供することを目的とする。 For the above reasons, an object of the present invention is to provide a means for a worker to create a work report without blocking his / her hands.
本発明者が鋭意検討した結果、作業報告書には現場の写真を掲載する場合があり、この時にはカメラを用いて撮影を行う。カメラで撮影するためには、スマートフォン又はタブレット端末をかざしてシャッター操作を行う必要があった。そこで、カメラをウェアラブル端末に組み込み、且つ音声コマンドでカメラの操作を行えるように実装することで、よりスムーズに作業を行うことができるようになった。 As a result of diligent studies by the present inventor, a photograph of the site may be posted in the work report, and in this case, a photograph is taken using a camera. In order to take a picture with a camera, it was necessary to hold a smartphone or a tablet terminal to perform a shutter operation. Therefore, by incorporating the camera into a wearable terminal and implementing it so that the camera can be operated by voice commands, it has become possible to perform work more smoothly.
本発明は、上記知見に基づいて完成され、一側面において、以下の発明を包含する。 The present invention has been completed based on the above findings, and includes the following inventions in one aspect.
（発明１）
システムを利用して報告書を作成する方法であって、
前記システムは、作業員とオペレータとのコミュニケーションを仲介するシステムであり、
前記システムは、
作業員が使用するための音声通信装置と、
ボットと
を備え、
前記音声通信装置は、
カメラを備えるウェアラブル端末と、
音声処理モジュールと、
通信モジュールと、
マイクロフォンと、
音声出力モジュールと、
を備え、
前記方法は、
前記作業員の第一音声コマンドに対して、前記音声処理モジュールが音声認識を行う工程と、
当該認識結果に基づいて、報告書作成モードを起動するコマンドを、前記音声処理モジュールが生成し、且つ、前記報告書作成モードを起動するコマンドを前記通信モジュールが前記ボットに送信する工程と、
前記作業員の第二音声コマンドに対して、前記音声処理モジュールが音声認識を行う工程と、
当該認識結果に基づいて、前記カメラの操作を実行するコマンドを、前記音声処理モジュールが生成し、前記カメラに送信する工程と、
前記カメラが撮影を実行し、撮影データを生成する工程と、
前記撮影データを、前記通信モジュールが、前記ボットに送信する工程と、
前記ボットが、前記撮影データを利用して、電子報告書を作成する工程と、
を含む、該方法。
(Invention 1)
It ’s a method of creating a report using the system.
The system is a system that mediates communication between workers and operators.
The system
A voice communication device for use by workers,
With a bot,
The voice communication device is
A wearable device equipped with a camera and
With voice processing module
Communication module and
With a microphone
Audio output module and
With
The method is
A process in which the voice processing module performs voice recognition in response to the worker's first voice command,
Based on the recognition result, the voice processing module generates a command to activate the report creation mode, and the communication module transmits a command to activate the report creation mode to the bot.
A process in which the voice processing module performs voice recognition in response to the worker's second voice command,
A process in which the voice processing module generates a command to execute an operation of the camera based on the recognition result and transmits the command to the camera.
The process in which the camera executes shooting and generates shooting data,
A process in which the communication module transmits the shooting data to the bot, and
A process in which the bot creates an electronic report using the photographed data,
The method comprising.
（発明２）
発明１の方法であって、
前記第二音声コマンドの音声認識を行う工程が、前記音声処理モジュールによってスタンドアロンで実行され、
前記カメラの操作を実行するコマンドが、前記カメラの起動操作からシャッター操作までの一連の操作を少なくとも含む、該方法。
(Invention 2)
The method of invention 1
The process of performing voice recognition of the second voice command is executed standalone by the voice processing module.
The method, wherein the command for executing the operation of the camera includes at least a series of operations from the activation operation of the camera to the shutter operation.
（発明３）
発明１又は２の方法であって、
前記音声通信装置が、気圧センサ、温度センサ、湿度センサ、輝度センサ、ガスセンサ、振動センサ、及び生体センサのうち少なくとも１以上のセンサを備え、
前記方法が、
前記センサから取得されたセンサデータを、前記通信モジュールが、前記ボットに送信する工程と、
前記ボットが、前記センサデータを利用して、電子報告書を作成する工程と
を更に含む、該方法。
(Invention 3)
The method of invention 1 or 2,
The voice communication device includes at least one of a barometric pressure sensor, a temperature sensor, a humidity sensor, a brightness sensor, a gas sensor, a vibration sensor, and a biosensor.
The above method
The process of the communication module transmitting the sensor data acquired from the sensor to the bot, and
The method, wherein the bot further comprises the step of creating an electronic report using the sensor data.
（発明４）
発明１〜３のいずれか１つに記載の方法であって、
前記システムが、オペレータが使用するための情報処理端末を更に備え、
前記方法が、
前記情報処理端末が、報告書作成リクエストを、前記音声通信装置に送信する工程と、
前記情報処理端末が、前記報告書作成リクエストに対応する、報告書作成準備リクエストを、前記ボットに送信する工程と、
前記音声通信装置が、前記報告書作成リクエストを、前記音声通信装置内のメモリに記録する工程と、
前記ボットが、前記報告書作成準備リクエストに応答して、所定の報告書テンプレートを準備する工程と、
前記ボットが、前記音声通信装置から生成されたデータと、前記所定の報告書テンプレートとを少なくとも利用して、電子報告書を作成する工程と、
を更に含む、該方法。
(Invention 4)
The method according to any one of the inventions 1 to 3.
The system further comprises an information processing terminal for use by the operator.
The above method
A process in which the information processing terminal transmits a report creation request to the voice communication device, and
A process in which the information processing terminal sends a report creation preparation request corresponding to the report creation request to the bot.
A step in which the voice communication device records the report creation request in a memory in the voice communication device, and
A process in which the bot prepares a predetermined report template in response to the report preparation preparation request.
A step of creating an electronic report by the bot using at least the data generated from the voice communication device and the predetermined report template.
The method further comprising.
（発明５）
発明４の方法であって、
前記方法が、
前記音声通信装置が、複数の報告書作成リクエストを受信する工程と、
前記音声通信装置が、複数の報告書作成リクエストを、前記音声通信装置内のメモリに記録する工程と、
を更に含み、
前記第一音声コマンドが、複数の報告書作成リクエストのうちのいずれか１つを指定するコマンドを含む、
該方法。
(Invention 5)
The method of invention 4,
The above method
The process in which the voice communication device receives a plurality of report creation requests, and
A step in which the voice communication device records a plurality of report creation requests in a memory in the voice communication device, and
Including
The first voice command includes a command that specifies any one of a plurality of report creation requests.
The method.
（発明６）
発明５の方法であって、
前記方法が、
前記作業員の第三音声コマンドに対して、前記音声処理モジュールが音声認識を行う工程と、
当該認識結果に基づいて、前記メモリ内に登録されている複数の報告書作成リクエストを再生する工程と、
を更に含む、該方法。
(Invention 6)
The method of invention 5,
The above method
A process in which the voice processing module performs voice recognition in response to the worker's third voice command,
Based on the recognition result, the process of reproducing a plurality of report creation requests registered in the memory, and
The method further comprising.
（発明７）
発明４〜６のいずれか１つに記載の方法であって、
前記システムは、第一音声通信装置と第二音声通信装置とを備え、前記方法が、
前記報告書作成リクエスト受信後、第一音声通信装置が、報告書作成委託リクエストを送信する工程と、
第二音声通信装置が、報告書作成受託コマンドを送信する工程と、
前記第一音声通信装置が、前記報告書作成リクエストを、前記第二音声通信装置に送信する工程と、
前記報告書作成リクエストの授受を、前記情報処理端末に通知する工程と、
前記第二音声通信装置が、前記ボットに、報告書作成に必要な情報を送信する工程と、
を更に含む、該方法。
(Invention 7)
The method according to any one of the inventions 4 to 6.
The system includes a first voice communication device and a second voice communication device.
After receiving the report creation request, the first voice communication device sends a report creation consignment request, and
The process in which the second voice communication device sends a report creation contract command,
A step in which the first voice communication device transmits the report creation request to the second voice communication device, and
The process of notifying the information processing terminal of the sending and receiving of the report creation request, and
A process in which the second voice communication device transmits information necessary for creating a report to the bot, and
The method further comprising.
（発明８）
作業員とオペレータとのコミュニケーションを仲介するシステムであって、
前記システムは、
作業員が使用するための音声通信装置と、
ボットと、
を備え、
前記音声通信装置は、
カメラを備えるウェアラブル端末と、
音声処理モジュールと、
通信モジュールと、
マイクロフォンと、
音声出力モジュールと、
を備え、
前記音声処理モジュールは、
前記作業員の第一音声コマンドに対して、音声認識を行う機能と、
当該認識結果に基づいて、報告書作成モードを起動するコマンドを生成する機能と、
前記作業員の第二音声コマンドに対して、音声認識を行う機能と、
当該認識結果に基づいて、前記カメラの操作を実行するコマンドを生成し、前記カメラに送信する機能と、
を備え、
前記カメラは、撮影を実行し、撮影データを生成する機能を備え、
前記通信モジュールは、
前記報告書作成モードを起動するコマンドを前記ボットに送信する機能と、
前記撮影データを前記ボットに送信する機能と、
を備え、
前記ボットが、前記撮影データを利用して、電子報告書を作成する機能を備える、
該システム。
(Invention 8)
A system that mediates communication between workers and operators.
The system
A voice communication device for use by workers,
With a bot
With
The voice communication device is
A wearable device equipped with a camera and
With voice processing module
Communication module and
With a microphone
Audio output module and
With
The voice processing module
A function to perform voice recognition for the worker's first voice command,
A function to generate a command to activate the report creation mode based on the recognition result,
A function to perform voice recognition for the worker's second voice command,
Based on the recognition result, a function to generate a command to execute the operation of the camera and send it to the camera, and
With
The camera has a function of executing shooting and generating shooting data.
The communication module
A function to send a command to activate the report creation mode to the bot, and
The function of transmitting the shooting data to the bot and
With
The bot has a function of creating an electronic report using the photographed data.
The system.
（発明９）
発明８のシステムであって、
前記音声処理モジュールは、前記第二音声コマンドの音声認識をスタンドアロンで実行する機能を備え、
前記カメラは、前記カメラの操作を実行するコマンドに応答して、起動からシャッター操作までの一連の操作を少なくとも実行する、
該システム。
(Invention 9)
The system of invention 8
The voice processing module has a function of performing voice recognition of the second voice command standalone.
The camera performs at least a series of operations from activation to shutter operation in response to a command to execute the operation of the camera.
The system.
（発明１０）
発明８又は９のシステムであって、
前記音声通信装置が、気圧センサ、温度センサ、湿度センサ、輝度センサ、ガスセンサ、振動センサ、及び生体センサのうち少なくとも１以上のセンサを備え、
前記通信モジュールが、前記センサから取得されたセンサデータを、前記ボットに送信する機能を備え、
前記ボットが、前記センサデータを利用して、電子報告書を作成する機能を備える、
該システム。
(Invention 10)
The system of invention 8 or 9,
The voice communication device includes at least one of a barometric pressure sensor, a temperature sensor, a humidity sensor, a brightness sensor, a gas sensor, a vibration sensor, and a biosensor.
The communication module has a function of transmitting sensor data acquired from the sensor to the bot.
The bot has a function of creating an electronic report using the sensor data.
The system.
（発明１１）
発明８〜１０のいずれか１つに記載のシステムであって、
前記システムは、オペレータが使用するための情報処理端末を更に備え、
前記情報処理端末が、
報告書作成リクエストを、前記音声通信装置に送信する機能と、
前記報告書作成リクエストに対応する、報告書作成準備リクエストを、前記ボットに送信する機能と、
を備え、
前記音声通信装置が、前記報告書作成リクエストを、前記音声通信装置内のメモリに記録する機能を備え、
前記ボットが、
前記報告書作成準備リクエストに応答して、所定の報告書テンプレートを準備する機能と、
前記音声通信装置から生成されたデータと、前記所定の報告書テンプレートとを少なくとも利用して、電子報告書を作成する機能と、
を備える、該システム。
(Invention 11)
The system according to any one of the inventions 8 to 10.
The system further comprises an information processing terminal for use by the operator.
The information processing terminal
A function to send a report creation request to the voice communication device, and
A function to send a report preparation preparation request corresponding to the report creation request to the bot, and
With
The voice communication device has a function of recording the report creation request in a memory in the voice communication device.
The bot
A function to prepare a predetermined report template in response to the report preparation preparation request, and
A function of creating an electronic report by using at least the data generated from the voice communication device and the predetermined report template.
The system comprising.
（発明１２）
発明１１のシステムであって、
前記音声通信装置が、
複数の報告書作成リクエストを受信する機能と、
複数の報告書作成リクエストを、メモリに記録する機能と、
を含み、
前記第一音声コマンドが、複数の報告書作成リクエストのうちのいずれか１つを指定するコマンドを含む、
該システム。
(Invention 12)
The system of invention 11
The voice communication device
Ability to receive multiple report creation requests and
Ability to record multiple report creation requests in memory,
Including
The first voice command includes a command that specifies any one of a plurality of report creation requests.
The system.
（発明１３）
発明１２のシステムであって、
前記音声処理モジュールが、
前記作業員の第三音声コマンドに対して、音声認識を行う機能と、
当該認識結果に基づいて、前記メモリ内に登録されている複数の報告書作成リクエストを再生する機能と、
を更に含む、該システム。
(Invention 13)
The system of invention 12
The voice processing module
A function to perform voice recognition for the worker's third voice command,
A function to reproduce a plurality of report creation requests registered in the memory based on the recognition result, and
The system further comprising.
（発明１４）
発明１１〜１３のいずれか１つに記載のシステムであって、
前記システムは、第一音声通信装置と第二音声通信装置とを備え、
前記第一音声通信装置は、
前記報告書作成リクエスト受信後、報告書作成委託リクエストを送信する機能と、
前記報告書作成リクエストを、前記第二音声通信装置に送信する機能と、
を備え、
前記第二音声通信装置は、
報告書作成受託コマンドを送信する機能と、
前記ボットに、報告書作成に必要な情報を送信する機能と、
を備え、
前記報告書作成リクエストの授受が前記情報処理端末に通知される、
該システム。
(Invention 14)
The system according to any one of the inventions 11 to 13.
The system includes a first voice communication device and a second voice communication device.
The first voice communication device is
After receiving the report creation request, the function to send the report creation consignment request and
A function of transmitting the report creation request to the second voice communication device, and
With
The second voice communication device is
Ability to send report creation contract commands and
A function to send the information necessary for creating a report to the bot,
With
The information processing terminal is notified of the transfer of the report creation request.
The system.
（発明１５）
作業員とオペレータとのコミュニケーションを行うために作業員が使用するための音声通信装置であって、
前記音声通信装置は、
カメラを備えるウェアラブル端末と、
音声処理モジュールと、
通信モジュールと、
マイクロフォンと、
音声出力モジュールと、
を備え、
前記通信モジュールは、ボット及び／又はオペレータが使用するための情報処理端末と通信する機能を備え、
前記音声処理モジュールは、
前記作業員の第一音声コマンドに対して、音声認識を行う機能と、
当該認識結果に基づいて、報告書作成モードを起動するコマンドを生成する機能と、
前記作業員の第二音声コマンドに対して、音声認識を行う機能と、
当該認識結果に基づいて、前記カメラの操作を実行するコマンドを生成し、前記カメラに送信する機能と、
を備え、
前記カメラは、撮影を実行し、撮影データを生成する機能を備え、
前記通信モジュールは、
前記報告書作成モードを起動するコマンドを前記ボットに送信する機能と、
前記撮影データを前記ボットに送信する機能と、
を備える、
該音声通信装置。
(Invention 15)
A voice communication device used by a worker to communicate between the worker and the operator.
The voice communication device is
A wearable device equipped with a camera and
With voice processing module
Communication module and
With a microphone
Audio output module and
With
The communication module has a function of communicating with an information processing terminal for use by a bot and / or an operator.
The voice processing module
A function to perform voice recognition for the worker's first voice command,
A function to generate a command to activate the report creation mode based on the recognition result,
A function to perform voice recognition for the worker's second voice command,
Based on the recognition result, a function to generate a command to execute the operation of the camera and send it to the camera, and
With
The camera has a function of executing shooting and generating shooting data.
The communication module
A function to send a command to activate the report creation mode to the bot, and
The function of transmitting the shooting data to the bot and
To prepare
The voice communication device.
（発明１６）
発明１５の音声通信装置であって、
前記音声処理モジュールは、前記第二音声コマンドの音声認識をスタンドアロンで実行する機能を備え、
前記カメラは、前記カメラの操作を実行するコマンドに応答して、起動からシャッター操作までの一連の操作を少なくとも実行する、
該音声通信装置。
(Invention 16)
The voice communication device of the invention 15.
The voice processing module has a function of performing voice recognition of the second voice command standalone.
The camera performs at least a series of operations from activation to shutter operation in response to a command to execute the operation of the camera.
The voice communication device.
（発明１７）
発明１５又は１６の音声通信装置であって、
前記音声通信装置が、気圧センサ、温度センサ、湿度センサ、輝度センサ、ガスセンサ、振動センサ、及び生体センサのうち少なくとも１以上のセンサを備え、
前記通信モジュールが、前記センサから取得されたセンサデータを、前記ボットに送信する機能を備える、
該音声通信装置。
(Invention 17)
The voice communication device of the invention 15 or 16.
The voice communication device includes at least one of a barometric pressure sensor, a temperature sensor, a humidity sensor, a brightness sensor, a gas sensor, a vibration sensor, and a biosensor.
The communication module has a function of transmitting sensor data acquired from the sensor to the bot.
The voice communication device.
（発明１８）
発明１５〜１７のいずれか１つに記載の音声通信装置であって、
前記音声通信装置が、前記情報処理端末が生成した報告書作成リクエストを、前記音声通信装置内のメモリに記録する機能を備える、
該音声通信装置。
(Invention 18)
The voice communication device according to any one of the inventions 15 to 17.
The voice communication device has a function of recording a report creation request generated by the information processing terminal in a memory in the voice communication device.
The voice communication device.
（発明１９）
発明１８の音声通信装置であって、
前記音声通信装置が、
複数の報告書作成リクエストを受信する機能と、
複数の報告書作成リクエストを、メモリに記録する機能と、
を含み、
前記第一音声コマンドが、複数の報告書作成リクエストのうちのいずれか１つを指定するコマンドを含む、
該音声通信装置。
(Invention 19)
The voice communication device of the invention 18.
The voice communication device
Ability to receive multiple report creation requests and
Ability to record multiple report creation requests in memory,
Including
The first voice command includes a command that specifies any one of a plurality of report creation requests.
The voice communication device.
（発明２０）
発明１９の音声通信装置であって、
前記音声処理モジュールが、
前記作業員の第三音声コマンドに対して、音声認識を行う機能と、
当該認識結果に基づいて、前記メモリ内に登録されている複数の報告書作成リクエストを再生する機能と、
を更に含む、該音声通信装置。
(Invention 20)
The voice communication device of the invention 19.
The voice processing module
A function to perform voice recognition for the worker's third voice command,
A function to reproduce a plurality of report creation requests registered in the memory based on the recognition result, and
The voice communication device further comprising.
（発明２１）
発明１８〜２０のいずれか１つに記載の音声通信装置であって、
前記音声通信装置は、
前記報告書作成リクエスト受信後、報告書作成委託リクエストを送信する機能と、
報告書作成受託コマンドを送信する機能と、
前記報告書作成リクエストを、別の音声通信装置に送信する機能と、
前記ボットに、報告書作成に必要な情報を送信する機能と、
前記報告書作成リクエストの授受を、前記情報処理端末に通知する機能と
を備える、該音声通信装置。
(Invention 21)
The voice communication device according to any one of the inventions 18 to 20.
The voice communication device is
After receiving the report creation request, the function to send the report creation consignment request and
Ability to send report creation contract commands and
A function to send the report creation request to another voice communication device, and
A function to send the information necessary for creating a report to the bot,
The voice communication device including a function of notifying the information processing terminal of the transmission / reception of the report creation request.
一側面において、上記発明は、ウェアラブル端末上のカメラを用いて撮影データを生成し、且つ作業員の第二音声コマンドの認識結果に基づいてカメラの操作を実行する。これにより、作業者は手を塞がれることなく画像データ入りの作業報告書を作成することができる。 In one aspect, the present invention uses a camera on a wearable terminal to generate shooting data and executes a camera operation based on the recognition result of a second voice command of a worker. As a result, the worker can create a work report containing image data without blocking his / her hands.
以下、本発明を実施するための具体的な実施形態について説明する。以下の説明は、本発明の理解を促進するためのものである。即ち、本発明の範囲を限定することを意図するものではない。 Hereinafter, specific embodiments for carrying out the present invention will be described. The following description is for facilitating the understanding of the present invention. That is, it is not intended to limit the scope of the present invention.
１．システムの概要
図１〜図３に、一実施形態におけるシステムの概要を示す。いずれのシステムも、作業員とオペレータとのコミュニケーションを仲介する機能を有する。なお、本明細書において、作業員とは、広義に解釈するものとする。例えば、建設現場、及び工事現場の作業員等に限定されず、フロントで接客業務を行う従業員等も含まれる。また、図１〜図３に示すシステムにおいては、作業員は１名しか記載されていないが、複数の作業員が存在し、各作業員に専用の音声通信装置が割り当てられてもよい。同様に、オペレータについても、図１〜図３に示すシステムにおいては、１名しか記載されていないが、複数のオペレータが存在してもよい。例えば、現場監督と副監督がオペレータとして存在する場合などが挙げられる。典型的には１名であることが多い。
1. 1. Outline of the system FIGS. 1 to 3 show an outline of the system in one embodiment. Both systems have the function of mediating communication between workers and operators. In this specification, the term "worker" shall be construed in a broad sense. For example, it is not limited to construction sites and workers at construction sites, but also includes employees who perform customer service at the front desk. Further, in the system shown in FIGS. 1 to 3, only one worker is described, but there may be a plurality of workers, and a dedicated voice communication device may be assigned to each worker. Similarly, as for the operator, in the system shown in FIGS. 1 to 3, only one operator is described, but a plurality of operators may exist. For example, there may be a case where a site supervisor and a deputy supervisor exist as operators. Typically, there is only one person.
図１〜図３に例示される一実施形態において、システムは、オペレータが使用するための情報処理端末と、作業員が使用するための音声通信装置と、ボットとを備えることができる。更には、システムは、チャット支援装置を更に備えてもよい。 In one embodiment illustrated in FIGS. 1 to 3, the system can include an information processing terminal for use by an operator, a voice communication device for use by an operator, and a bot. Furthermore, the system may further include a chat support device.
１−１．チャット支援装置
チャット支援装置は、作業員とオペレータとの通信を仲介する役割を果たす。典型的には、サーバー等のハードウェア装置であってもよい。また、チャット支援装置は、１台のサーバーで構成されてもよいが、必ずしも１台のみで構成されているとは限らない。例えば、チャット支援装置が備える機能ごとに応じて複数のサーバーに分散させた構成を採用してもよい。あるいは、別の例として、負荷を分散させる目的で同一の機能を有する複数のサーバーに分散させた構成を採用してもよい。
1-1. Chat support device The chat support device plays a role of mediating communication between a worker and an operator. Typically, it may be a hardware device such as a server. Further, the chat support device may be composed of one server, but is not necessarily composed of only one device. For example, a configuration in which the chat support device is distributed to a plurality of servers may be adopted according to the function provided. Alternatively, as another example, a configuration in which the load is distributed to a plurality of servers having the same function may be adopted for the purpose of distributing the load.
また、チャット支援装置は、システム構成上では、様々な構成要素のハブとなる役割を果たすことができる。例えば、作業員が使用する複数の音声通信装置と、オペレータが使用する１又は複数のテキスト通信装置とのハブとなることができる。更には、処理の一部を既存のクラウドサービスに委託する場合には、そのインターフェースとなることができる。 In addition, the chat support device can play a role of a hub of various components in the system configuration. For example, it can be a hub between a plurality of voice communication devices used by workers and one or more text communication devices used by operators. Furthermore, when part of the processing is outsourced to an existing cloud service, it can be an interface.
チャット支援装置は、仮想のトークルームを設けることができ、当該トークルームを通して作業員とオペレータとが会話を行うことができる。 The chat support device can be provided with a virtual talk room, through which a worker and an operator can have a conversation.
１−２．ボット
「ボット」とは、一定のタスクや処理を自動化するためのソフトウェア、ハードウェア又はこれらの組み合わせのことである。本発明の一実施形態におけるシステムでは、ボットは、電子報告書の作成の自動化に関与する。例えば、音声通信装置から生成された情報を利用して電子報告書の作成する機能を有する。また、音声通信装置に、所定のメッセージを送信して、報告書の作成を促すことができる。所定のメッセージの例としては、「作業報告者の名前を入力してください」「作業内容を入力してください」「作業場所を入力してください」などのメッセージが挙げられる。
1-2. Bot A "bot" is software, hardware, or a combination thereof for automating certain tasks or processes. In the system of one embodiment of the invention, the bot is involved in automating the production of electronic reports. For example, it has a function of creating an electronic report using information generated from a voice communication device. In addition, a predetermined message can be sent to the voice communication device to prompt the preparation of a report. Examples of predetermined messages include messages such as "Enter the name of the work reporter", "Enter the work content", and "Enter the work location".
なお、ボットの存在場所については、特に限定されず、例えば、図１に示すように音声通信装置の一部として組み込まれてもよい。或いは、図２に示すように、音声通信装置、チャット支援装置、情報処理端末とは独立した、スタンドアロンのハードウェア内に組み込まれてもよい。或いは、図３に示すように、クラウドサービスの一つとして、存在してもよい。 The location of the bot is not particularly limited, and may be incorporated as a part of the voice communication device as shown in FIG. 1, for example. Alternatively, as shown in FIG. 2, it may be incorporated in stand-alone hardware independent of the voice communication device, the chat support device, and the information processing terminal. Alternatively, as shown in FIG. 3, it may exist as one of the cloud services.
ボットは、種々のテンプレートを備えることができる。そして、ボットは、当該テンプレートの各項目に、音声通信装置から送信されてきた情報を入力することによって電子報告書を作成することができる。 The bot can include various templates. Then, the bot can create an electronic report by inputting the information transmitted from the voice communication device into each item of the template.
１−３．情報処理端末
情報処理端末は、オペレータが利用する装置である。通常は、指示を出すオペレータ側が１人に対して、複数の作業員が存在する業務形態が多い。情報処理端末は、１台存在する。しかし、場合によっては複数台の情報処理端末が存在してもよい。
1-3. Information processing terminal An information processing terminal is a device used by an operator. Usually, there are many work forms in which a plurality of workers exist for one operator who issues an instruction. There is one information processing terminal. However, in some cases, there may be a plurality of information processing terminals.
情報処理端末としては、限定されないが、パソコン、タブレット端末、スマートフォンなどが挙げられる。通常は、テキスト入力することで、音声通信装置に指示内容等を送信することができる。その際に、テキストを音声に変換することができる。 The information processing terminal includes, but is not limited to, a personal computer, a tablet terminal, a smartphone, and the like. Normally, the instruction content or the like can be transmitted to the voice communication device by inputting text. At that time, the text can be converted into voice.
また、音声通信装置とのコミュニケーションの際には、上述したチャット支援装置等を介して行うことができる。そして、情報処理端末は、そのための専用のソフトウェア及び／又はハードウェア構成を備えてもよい。或いは、専用のソフトウェア及び／又はハードウェア構成に加えて又はこれらに代えて、情報処理端末は、ブラウザ等を介して、チャット支援装置及び／又は音声通信装置とコミュニケーションを行うことができる。 Further, when communicating with the voice communication device, it can be performed via the chat support device or the like described above. Then, the information processing terminal may be provided with dedicated software and / or hardware configuration for that purpose. Alternatively, in addition to or in place of the dedicated software and / or hardware configuration, the information processing terminal can communicate with the chat support device and / or the voice communication device via a browser or the like.
２．音声通信装置の構成
また、上記システムは、音声通信装置を更に備える。音声通信装置は、作業員が使用するための物である。音声通信装置は、少なくともウェアラブル端末を備える。また、音声通信装置は、カメラと、音声処理モジュールと、通信モジュールと、マイクロフォンと、音声出力モジュールとを備える。
2. 2. Configuration of Voice Communication Device The system further includes a voice communication device. The voice communication device is for use by workers. The voice communication device includes at least a wearable terminal. Further, the voice communication device includes a camera, a voice processing module, a communication module, a microphone, and a voice output module.
図４〜６に、一実施形態における音声通信装置を示す。 FIGS. 4 to 6 show the voice communication device according to the embodiment.
図４では、ウェアラブル端末内に、カメラと、マイクロフォンと、音声出力モジュール（例えばイヤホン）とが組み込まれている。そして、それ以外の構成である音声処理モジュール、通信モジュール及びボットについては、別途携帯端末内に組み込まれている。 In FIG. 4, a camera, a microphone, and an audio output module (for example, earphones) are incorporated in the wearable terminal. The voice processing module, communication module, and bot, which have other configurations, are separately incorporated in the mobile terminal.
図５では、ウェアラブル端末内に、カメラと、マイクロフォンとが組み込まれている。そして、それ以外の構成である音声処理モジュールと、音声出力モジュール（例えばスピーカー）、通信モジュール及びボットについては、別途携帯端末内に組み込まれている。 In FIG. 5, a camera and a microphone are incorporated in the wearable terminal. The voice processing module, the voice output module (for example, a speaker), the communication module, and the bot, which have other configurations, are separately incorporated in the mobile terminal.
図６では、すべての構成要素が、ウェアラブル端末内に組み込まれている。 In FIG. 6, all the components are incorporated in the wearable terminal.
上記図４〜６に示す実施形態に限定されず、種々の構成要素は、適宜任意の場所に組み込まれてもよい。 Not limited to the embodiments shown in FIGS. 4 to 6, various components may be incorporated in any place as appropriate.
ウェアラブル端末は、着用出来る端末を意味し、例えば、腕時計型、眼鏡型、指輪型、靴型、懐中型、ペンダント型、ヘッドセット型などが挙げられる。 The wearable terminal means a terminal that can be worn, and examples thereof include a wristwatch type, an eyeglass type, a ring type, a last type, a pocket type, a pendant type, and a headset type.
携帯端末は、持ち運び可能な端末を意味し、ウェアラブル端末も包含する概念である。従って、上述したウェアラブル端末の例に加えて、スマートフォン、タブレット端末、シングルボードコンピューターなども包含する。 A mobile terminal means a portable terminal, and is a concept including a wearable terminal. Therefore, in addition to the above-mentioned examples of wearable terminals, smartphones, tablet terminals, single board computers, and the like are also included.
従って、図４〜図６に示した携帯端末は、第二のウェアラブル端末であってもよい（例えば、ウェアラブル端末としてのヘッドセットと携帯端末（第二のウェアラブル端末）としてのスマートウォッチの組み合わせ）。 Therefore, the mobile terminal shown in FIGS. 4 to 6 may be a second wearable terminal (for example, a combination of a headset as a wearable terminal and a smart watch as a mobile terminal (second wearable terminal)). ..
なお、ウェアラブル端末と携帯端末とは、公知の手段で接続することができる。両者は有線で接続されてもよいし、無線（例えばＢｌｕｅｔｏｏｔｈ（登録商標））で接続されてもよい。 The wearable terminal and the mobile terminal can be connected by known means. The two may be connected by wire or wirelessly (for example, Bluetooth®).
２−１．カメラ
カメラは、電子報告書の中に掲載する画像データ（動画、及び静止画のうち少なくともいずれか）を取得するための物である。カメラはウェアラブル端末に組み込まれる。これによって、作業員は、手を塞がれることなく撮影を行うことができる。もしも、スマートフォンなどの端末で撮影して報告書を作成しようとすると、作業員は手でスマートフォンを持って撮影対象に向ける必要があるため、手が塞がれることとなる。
2-1. Camera A camera is for acquiring image data (at least one of a moving image and a still image) to be posted in an electronic report. The camera is built into the wearable device. As a result, the worker can take a picture without blocking his / her hand. If you try to take a picture with a terminal such as a smartphone and create a report, the worker must hold the smartphone with his hand and point it at the shooting target, which will block his hand.
しかし、例えば、ヘッドセットのようなウェアラブル端末にカメラが組み込まれる場合、作業員は、頭部を撮影対象に向けるだけで良いので、手は他の作業を行うことができる。また、腕時計型のウェアラブル端末にカメラが組み込まれる場合であっても、作業員は、腕を一定の位置に固定して撮影対象に向ける必要はあるものの、手自体は塞がれているわけではないので、他の作業（例えばスマートフォン操作など）を行うことができる。 However, when the camera is incorporated into a wearable terminal such as a headset, the worker only needs to turn his head toward the object to be photographed, and the hand can perform other work. Also, even when the camera is built into a wristwatch-type wearable terminal, the worker needs to fix his arm in a fixed position and point it at the shooting target, but his hand is not blocked. Since there is no such thing, other work (for example, smartphone operation) can be performed.
２−２．マイクロフォン
マイクロフォンは、作業員の発話内容を取得するための物である。マイクロフォンは、ウェアラブル端末に組み込まれてもよい。典型的には、ヘッドセット型のウェアラブル端末に組み込まれてもよい。発話した内容は、音声処理モジュールに送信される。発話した内容の中には、音声コマンド、及び電子報告書の記載内容等が含まれる。
2-2. Microphone A microphone is for acquiring the utterance contents of a worker. The microphone may be incorporated into the wearable terminal. Typically, it may be incorporated in a headset-type wearable terminal. The uttered content is transmitted to the voice processing module. The uttered content includes voice commands, the content described in the electronic report, and the like.
２−３．音声処理モジュール
音声処理モジュールは、マイクロフォンから取得された音声を処理する機能を有する。例えば、マイクロフォンから取得された音声に対して、音声認識処理を行う機能を有する。更には、音声処理モジュールは、認識結果に基づいて、コマンドを生成する機能を有する。コマンドの中には、報告書作成モードを起動するコマンド、カメラの操作を実行するコマンド等が含まれる。カメラの操作を実行するコマンドには、カメラの起動、撮影対象へのフォーカスの調整、シャッター等に関連するコマンドが含まれる。更に好ましくは、カメラの操作を実行するコマンドには、カメラの起動からシャッターまでの一連の操作を含めた１つのコマンドが含まれる（つまり、１つの音声コマンドで、カメラの起動からシャッターまでの一連の操作が実行される）。更に好ましくは、カメラの操作を実行するコマンドには、カメラの起動からシャッターまでの一連の操作に加えて、画像データ（静止画及び／又は動画）を送信する操作を含めた１つのコマンドが含まれる。
2-3. Voice processing module The voice processing module has a function of processing the voice acquired from the microphone. For example, it has a function of performing voice recognition processing on the voice acquired from the microphone. Further, the voice processing module has a function of generating a command based on the recognition result. The commands include a command to activate the report creation mode, a command to execute a camera operation, and the like. The commands for executing camera operations include commands related to starting the camera, adjusting the focus on the shooting target, the shutter, and the like. More preferably, the command to execute the camera operation includes one command including a series of operations from the camera activation to the shutter (that is, one voice command is a series from the camera activation to the shutter). Operation is performed). More preferably, the command for executing the operation of the camera includes one command including an operation of transmitting image data (still image and / or moving image) in addition to a series of operations from the activation of the camera to the shutter. Is done.
また、音声処理モジュールは、音声をテキストに変換する機能を備えてもよい。例えば、音声処理モジュールが、音声コマンドを受け付けるモードではなく、テキスト入力するモードの場合には、発話内容をテキストに変換することができる。一方で、音声コマンドを受け付けるモードの場合には、音声処理モジュールは、所定の辞書を備え、作業員の発話内容と、当該辞書とを対比させて、該当するキーワードが辞書内に存在するかどうかを判定する。そして、存在する場合には、対応する音声コマンドを生成する。 In addition, the voice processing module may have a function of converting voice into text. For example, when the voice processing module is not in the mode of accepting voice commands but in the mode of inputting text, the utterance content can be converted into text. On the other hand, in the mode of accepting voice commands, the voice processing module is provided with a predetermined dictionary, and whether or not the corresponding keyword exists in the dictionary by comparing the utterance content of the worker with the dictionary. To judge. Then, if it exists, the corresponding voice command is generated.
音声コマンドを受け付けるモードのときに、音声処理モジュールは、音声コマンドの生成処理をスタンドアロンで実行することができる。従って、非常に速いレスポンスを実現することができる。これらの処理の一部を、ネットワーク経由でアウトソーシングしてしまうと、レスポンスが遅くなる（少なくとも数秒以上のタイムラグが生じる）。従って、こうした点で有利となる。特に、カメラを使って撮影を行う場合には、こうしたタイムラグは重要である。カメラでシャッター操作を音声で命じた後、例えば１０秒後にシャッターを切るのでは、非常に使いにくいし、場合によってはシャッターチャンスを逃す可能性がある。 In the mode of accepting voice commands, the voice processing module can execute the voice command generation process standalone. Therefore, a very fast response can be realized. If some of these processes are outsourced over the network, the response will be slow (with a time lag of at least a few seconds). Therefore, it is advantageous in this respect. In particular, such a time lag is important when shooting with a camera. If the shutter is released 10 seconds after the camera commands the shutter operation by voice, it is very difficult to use, and in some cases, a photo opportunity may be missed.
一方で、テキスト入力するモードの場合、音声をテキストに変換する処理は、スタンドアロンで行うことは必須ではなく、例えば、音声処理モジュールが窓口となって、ネットワーク経由でアウトソーシングしてもよい。例えば、ＳｐｅｅｃｈｔｏＴｅｘｔ（Ｍｉｃｒｏｓｏｆｔ Ａｚｕｒｅ）などのクラウドサービスを利用してもよい。この理由として、報告書に記載する内容については、多少レスポンスが遅くても致命的にはならないからである。 On the other hand, in the text input mode, the process of converting voice into text is not essential to be performed standalone. For example, the voice processing module may serve as a window for outsourcing via a network. For example, a cloud service such as SpeechtoText (Microsoft Azure) may be used. The reason for this is that the content of the report should not be fatal even if the response is a little slow.
２−４．通信モジュール
通信モジュールは、音声通信装置の内部の様々な構成要素、及び音声通信装置の外部の様々な構成要素とのデータの送受信を行う機能を有する。例えば、通信モジュールは、音声処理モジュールが生成した音声コマンドを送信する機能を有する。送信先としては、ボット、チャット支援装置等が挙げられる。また、送信する内容としては、マイクが取得した作業員の発話内容のデータ、音声処理モジュールが生成した音声コマンド、カメラが取得した撮影データ等が挙げられる。これらのマイクが取得した作業員の発話内容のデータ、音声処理モジュールが生成した音声コマンド、カメラが取得した撮影データ等については、ボットに送信されてもよい。
2-4. Communication module The communication module has a function of transmitting and receiving data to and from various components inside the voice communication device and various components outside the voice communication device. For example, the communication module has a function of transmitting a voice command generated by the voice processing module. Examples of the destination include a bot, a chat support device, and the like. Further, as the contents to be transmitted, data of the utterance contents of the worker acquired by the microphone, voice commands generated by the voice processing module, shooting data acquired by the camera, and the like can be mentioned. The data of the utterance contents of the worker acquired by these microphones, the voice commands generated by the voice processing module, the shooting data acquired by the camera, and the like may be transmitted to the bot.
また、通信モジュールは、チャット支援装置との通信を行う機能を有してもよい。例えば、オペレータと作業員とがチャットを行うときに、チャットルームに投稿する内容を、チャット支援装置に送信してもよい。 Further, the communication module may have a function of communicating with the chat support device. For example, when the operator and the worker chat, the content to be posted in the chat room may be sent to the chat support device.
２−５．音声出力モジュール
音声出力モジュールは、音声を発するためのモジュールであり、例えば、スピーカー、及びイヤホンなどが挙げられる（骨伝導の原理を利用した物を含む）。ヘッドセット型のウェアラブル端末側に音声出力モジュールが組み込まれている場合には、イヤホンなどが挙げられる。また、腕時計型のウェアラブル端末側に音声出力モジュールが組み込まれている場合には、スピーカーが挙げられる。更には、携帯端末側に音声出力モジュールが組み込まれている場合には、スピーカーが挙げられる。音声出力モジュールは、ボット、及び／又はチャット支援装置からの通信内容を再生する機能を有する。
2-5. Audio output module The audio output module is a module for emitting audio, and examples thereof include speakers and earphones (including those using the principle of bone conduction). If the audio output module is built into the headset-type wearable terminal, earphones and the like can be mentioned. Further, when the audio output module is incorporated in the wristwatch type wearable terminal side, a speaker can be mentioned. Further, when the audio output module is incorporated in the mobile terminal side, a speaker can be mentioned. The voice output module has a function of reproducing the communication content from the bot and / or the chat support device.
２−６．その他のモジュール
音声通信装置は、上記以外に更に別のモジュールを備えてもよい。また、当該別のモジュールは、ウェアラブル端末に内に組み込まれてもよい。別のモジュールの例として、センサが挙げられる。センサの例として、気圧センサ、温度センサ、湿度センサ、輝度センサ、ガスセンサ、振動センサ、及び生体センサ（例えば、体温センサ、脈拍センサ、心臓の拍動のセンサ、血圧センサ、指紋センサ、呼気センサ等）等が挙げられる。更に、これ以外のセンサとして、位置情報のセンサ（ＧＰＳ）も利用してもよい。センサが取得した情報は、通信モジュールを経由して、ボットに送信することができる。ボットは、これらの情報を利用して電子報告書を作成することができる。
2-6. Other modules The voice communication device may include another module other than the above. Further, the other module may be incorporated in the wearable terminal. An example of another module is a sensor. Examples of sensors include pressure sensors, temperature sensors, humidity sensors, brightness sensors, gas sensors, vibration sensors, and biosensors (eg, body temperature sensors, pulse sensors, heartbeat sensors, blood pressure sensors, fingerprint sensors, breath sensors, etc. ) Etc. can be mentioned. Further, as a sensor other than this, a position information sensor (GPS) may also be used. The information acquired by the sensor can be transmitted to the bot via the communication module. The bot can use this information to create an electronic report.
３．報告書作成方法
以下では、上述した一実施形態におけるシステム及び／又は音声通信装置を使用して、報告書を作成する方法を、説明する。
3. 3. Report Creation Method The method for creating a report will be described below using the system and / or voice communication device according to the above-described embodiment.
前記方法は、少なくとも以下の工程を含む。
・作業員の第一音声コマンドに対して、音声処理モジュールが音声認識を行う工程。
・当該認識結果に基づいて、報告書作成モードを起動するコマンドを、音声処理モジュールが生成し、且つ、報告書作成モードを起動するコマンドを通信モジュールがボットに送信する工程。
・作業員の第二音声コマンドに対して、音声処理モジュールが音声認識を行う工程。
・当該認識結果に基づいて、カメラの操作を実行するコマンドを、音声処理モジュールが生成し、カメラに送信する工程。
・カメラが撮影を実行し、撮影データを生成する工程。
・撮影データを、通信モジュールが、ボットに送信する工程。
・ボットが、撮影データを利用して、電子報告書を作成する工程。
The method includes at least the following steps.
-The process in which the voice processing module performs voice recognition for the worker's first voice command.
-A process in which the voice processing module generates a command to activate the report creation mode based on the recognition result, and the communication module sends a command to activate the report creation mode to the bot.
-The process in which the voice processing module performs voice recognition for the worker's second voice command.
-A process in which the voice processing module generates a command to execute a camera operation based on the recognition result and sends it to the camera.
-The process in which the camera executes shooting and generates shooting data.
-The process by which the communication module sends the shooting data to the bot.
-The process by which a bot creates an electronic report using shooting data.
まず、作業員は、報告書を作成するモードを起動する。起動するためには、手で操作する必要はなく、所定の音声コマンドを発話するだけでよい。図７では、「報告書作成モード起動」という発話内容を例示しているが、他の発話内容であってもよい。 First, the worker activates a mode for creating a report. In order to activate it, it is not necessary to operate it by hand, it is only necessary to utter a predetermined voice command. In FIG. 7, the utterance content of "starting the report creation mode" is illustrated, but other utterance contents may be used.
作業員の発話内容はマイクロフォンによって取得され、音声処理モジュールに送信される。音声処理モジュールは、音声認識処理を実行する。具体的には、受信した音声信号のなかから、音声コマンドに該当するものを抽出し、当該コマンドに対応した処理命令を出力する機能を有する。こうした機能を実現するためのモジュールとしては特に限定されない。例えば、Ｊｕｌｉｕｓを使用することができる。Ｊｕｌｉｕｓは、音声認識システムの開発・研究のためのオープンソースの高性能な汎用大語彙連続音声認識エンジンである。Ｊｕｌｉｕｓを使用するためには、あらかじめ、語彙を辞書登録しておく。このときに、所定の音声コマンドに該当する語彙を辞書登録しておくことで、音声コマンドに対応した命令を出力させることができる。 The utterance content of the worker is acquired by the microphone and transmitted to the voice processing module. The voice processing module executes voice recognition processing. Specifically, it has a function of extracting a voice command corresponding to the received voice signal and outputting a processing command corresponding to the command. The module for realizing such a function is not particularly limited. For example, Julius can be used. Julius is an open source, high-performance, general-purpose large-vocabulary continuous speech recognition engine for the development and research of speech recognition systems. In order to use Julius, the vocabulary is registered in the dictionary in advance. At this time, by registering the vocabulary corresponding to the predetermined voice command in the dictionary, the command corresponding to the voice command can be output.
辞書の例を図８に示す。音声処理モジュールは、辞書を備え、辞書に登録したキーワードと、発話内容とを対比させる。そして、一致するものが辞書に存在するかどうかを判定する。なお、一致するかどうかの判断については、完全一致であってもよいし、部分一致であってもよい。例えば、部分一致の場合には、「報告書作成モード起動して」と、作業員が発話したとしても、「報告書作成モード起動」の部分一致が生じているため、一致するものが辞書に存在すると判定することができる。 An example of a dictionary is shown in FIG. The voice processing module is provided with a dictionary, and the keywords registered in the dictionary are compared with the utterance contents. Then, it is determined whether or not a match exists in the dictionary. Regarding the determination of whether or not there is a match, it may be an exact match or a partial match. For example, in the case of partial match, even if the worker says "Start report creation mode", there is a partial match of "Start report creation mode", so the match is in the dictionary. It can be determined that it exists.
一致するものが存在する場合には、対応する音声コマンドを生成する。生成する際には、辞書中にある、対応する音声コマンドを参照してもよい（例「ＢＯＯＴ ＲＥＰＯＲＴ＿ＭＯＤＥ」）。また、音声コマンドを送信する先についても辞書に登録された送信先を参照してもよい。この場合には、送信先はボットとなる。 If there is a match, generate the corresponding voice command. When generating, the corresponding voice command in the dictionary may be referred to (eg "BOOT REPORT_MODE"). Further, the destination registered in the dictionary may be referred to as the destination to which the voice command is transmitted. In this case, the destination is a bot.
生成したコマンドは、ボットに送信される。ボットは、所定のコマンドを受信した後、報告書作成に必要な情報をヒアリングするメッセージを送信するようにプログラムされている。従って、上記音声コマンドを受信した後は、音声通信装置に向かって、メッセージを送信し、音声通信装置は、音声出力モジュールを通してメッセージを再生することができる。 The generated command is sent to the bot. After receiving a given command, the bot is programmed to send a message to hear the information needed to write the report. Therefore, after receiving the voice command, a message is transmitted to the voice communication device, and the voice communication device can reproduce the message through the voice output module.
これを受けて、音声処理モジュールは、コマンドを受け付けるモードから、テキスト入力モードに切り替える。そして、作業者は、報告書作成に必要な記載内容を発話することができる。発話内容は、音声処理モジュールによって認識処理が行われ、テキストに変換されて、ボットに送信される。ボットは受信したテキストを利用して、報告書を作成することができる。テキスト入力すべき内容を発話し終えた後、作業者は、「以上」、「テキスト入力終了」などの所定のキーワードを発話する。音声処理モジュールは、これらのキーワードを、テキスト入力すべき内容を発話し終えたことを示すキーワードとして認識し、モードを、コマンドを受け付けるモードに戻すためのコマンドを生成する。そして、当該コマンドをボットに送信する。 In response to this, the voice processing module switches from the mode for accepting commands to the text input mode. Then, the worker can utter the description contents necessary for creating the report. The utterance content is recognized by the voice processing module, converted into text, and sent to the bot. The bot can use the received text to create a report. After uttering the content to be input as text, the worker utters a predetermined keyword such as "above" or "end of text input". The voice processing module recognizes these keywords as keywords indicating that the content to be input as text has been spoken, and generates a command for returning the mode to the mode for accepting the command. Then, the command is sent to the bot.
また、作業者は、カメラを利用した撮影操作を、音声操作で行うことができる。例えば、「写真撮影」と発話すると、マイクロフォンが当該発話内容を音声処理モジュールに送信する。音声処理モジュールは、上述した仕組みで、音声コマンドに該当するか否かの判定を行う。そして、音声コマンドに該当すると判定し、対応するコマンドを生成する（「ＢＯＯＴ ＣＡＭＥＲＡ＿ＭＯＤＥ」）。そして、コマンドをカメラに送信する。 In addition, the operator can perform a shooting operation using the camera by voice operation. For example, when the utterance "photograph" is spoken, the microphone transmits the utterance content to the voice processing module. The voice processing module determines whether or not it corresponds to a voice command by the mechanism described above. Then, it is determined that the command corresponds to the voice command, and the corresponding command is generated ("BOOT CAMERA_MODE"). Then send the command to the camera.
カメラは、当該コマンドを受信し、起動される。そして、写真撮影が行われる。そして、撮影データを、通信モジュール経由でボットに送信することができる。 The camera receives the command and is activated. Then, a photograph is taken. Then, the shooting data can be transmitted to the bot via the communication module.
ボットは、受信した撮影データを利用して、報告書を作成することができる。 The bot can use the received shooting data to create a report.
以上の処理により作成された報告書は、任意の記憶媒体に記憶することができる。 The report created by the above processing can be stored in any storage medium.
好ましい実施形態においては、作業員の発話内容に対する音声認識を行う工程が音声処理モジュールによってスタンドアロンで実行されてもよい。そして、当該好ましい実施形態においては、カメラの操作を実行するコマンドが、前記カメラの起動操作からシャッター操作までの一連の操作を少なくとも含んでもよい。 In a preferred embodiment, the step of performing voice recognition for the utterance content of the worker may be performed standalone by the voice processing module. Then, in the preferred embodiment, the command for executing the operation of the camera may include at least a series of operations from the activation operation of the camera to the shutter operation.
好ましい実施形態においては、前記方法は、音声通信装置が、ボットにセンサの情報を送信する工程、及び、ボットが、センサの情報を利用して、電子報告書を作成する工程を含んでもよい。センサは、上述した各種センサが含まれる。 In a preferred embodiment, the method may include a step of the voice communication device transmitting sensor information to the bot, and a step of the bot using the sensor information to create an electronic report. The sensor includes various sensors described above.
４．オペレータからの指示方法
別の一実施形態におけるシステムでは、オペレータからの指示に応じて報告書を作成することができる。
4. Instruction method from the operator In the system according to another embodiment, a report can be created in response to an instruction from the operator.
業務上、報告書を作成する場合、２つのケースに大別される。１つはルーチンワークとしての報告書作成である。例えば、日報の作成などがこれに該当する。この場合、直接オペレータ等からの指示がなくとも、作業員が、作業終了時に報告書の作成を行う。 When preparing a report for business purposes, it is roughly divided into two cases. One is to create a report as a routine work. For example, creating a daily report corresponds to this. In this case, the worker prepares a report at the end of the work even if there is no direct instruction from the operator or the like.
２つめは、臨時に行われる報告書作成である。例えば、オペレータは中央制御室などで、各種モニターを参照し、ある特定のセンサが警報を発したとする。この場合、オペレータは、現場の作業員に状況を確認するよう指示を出し、そして、現状を報告書にまとめるように指示を出すことがある。 The second is the extraordinary report preparation. For example, suppose that an operator refers to various monitors in a central control room or the like, and a specific sensor issues an alarm. In this case, the operator may instruct field workers to confirm the situation and then summarize the current situation in a report.
４−１．音声通信装置の構成
図９に、一実施形態における音声通信装置の構成を示す。上述した音声通信装置との主要な違いは、メモリを備える点である。当該メモリは、オペレータからの指示内容に対応した報告書作成リクエストを記憶することができる。
4-1. Configuration of Voice Communication Device FIG. 9 shows the configuration of the voice communication device in one embodiment. The main difference from the above-mentioned voice communication device is that it has a memory. The memory can store a report creation request corresponding to the content of the instruction from the operator.
４−２．報告書作成リクエストのフロー
以下では、一実施形態におけるオペレータからの指示に応じて報告書を作成する方法の例を図１０に示す。前記方法は、少なくとも以下の工程を含む：
・情報処理端末が、報告書作成リクエストを、音声通信装置に送信する工程。
・情報処理端末が、報告書作成リクエストに対応する、報告書作成準備リクエストを、ボットに送信する工程。
・音声通信装置が、報告書作成リクエストを、音声通信装置内のメモリに記録する工程。
・ボットが、報告書作成準備リクエストに応答して、所定の報告書テンプレートを準備する工程。
・ボットが、音声通信装置から生成されたデータと、所定の報告書テンプレートとを少なくとも利用して、電子報告書を作成する工程。
4-2. Flow of Report Creation Request Below, FIG. 10 shows an example of a method of creating a report in response to an instruction from an operator in one embodiment. The method comprises at least the following steps:
-A process in which an information processing terminal sends a report creation request to a voice communication device.
-The process in which the information processing terminal sends a report creation preparation request to the bot in response to the report creation request.
-A process in which a voice communication device records a report creation request in a memory in the voice communication device.
-The process by which a bot prepares a given report template in response to a report preparation request.
-A process in which a bot creates an electronic report using at least the data generated from a voice communication device and a predetermined report template.
オペレータの情報処理端末は、ある作業者の音声通信装置に、報告書作成リクエストを送信することができる。また、これに加えて、オペレータの情報処理端末は、ボットにも、報告書作成準備リクエスト（必要に応じて作業指示内容）を送信することができる。これらの送信は、チャット支援装置を介して行われてもよい。また、ボットが音声通信装置内に組み込まれている場合には、報告書作成リクエスト及び報告書作成準備リクエストが、音声通信装置に送信される。 The information processing terminal of the operator can send a report creation request to a voice communication device of a certain worker. In addition to this, the information processing terminal of the operator can also send a report creation preparation request (work instruction content if necessary) to the bot. These transmissions may be made via the chat support device. Further, when the bot is incorporated in the voice communication device, a report creation request and a report preparation preparation request are transmitted to the voice communication device.
音声通信装置は、報告書作成リクエストを受信後、報告書作成リクエストを音声通信装置内のメモリに記録する。この時に、音声通信装置は、音声出力モジュールを通して、報告書作成リクエスト受信通知を行ってもよい（例えば、イヤホンに「新規の報告書作成リクエストがあります」と出力）。また、ボットは、報告書作成準備リクエストに応答して、報告書テンプレートを準備する。テンプレートが複数種類ある場合には、オペレータが情報処理端末を通してテンプレートの指定を行い、報告書作成準備リクエストの中に、テンプレートの指示に関する情報が含まれてもよい。そして、当該指示に従って、ボットがテンプレートを選択してもよい。また、これに代えて、デフォルトのテンプレートを利用してもよい（即ち、テンプレートの選択を行わなくてもよい）。 After receiving the report creation request, the voice communication device records the report creation request in the memory in the voice communication device. At this time, the voice communication device may send a report creation request reception notification through the voice output module (for example, the earphone outputs "There is a new report creation request"). The bot also prepares the report template in response to the report preparation preparation request. When there are a plurality of types of templates, the operator may specify the templates through the information processing terminal, and the report creation preparation request may include information regarding the instructions of the templates. The bot may then select the template according to the instructions. Alternatively, a default template may be used (ie, no template selection is required).
また、ボットは、必要に応じて、作業指示内容を情報処理端末より受信し、そして、作業指示内容をテンプレートに入力することができる。 In addition, the bot can receive the work instruction content from the information processing terminal and input the work instruction content into the template as needed.
音声通信装置は、上述した操作（「３．報告書作成方法」）によって報告書に必要な情報をボットに送信することができる。ボットは、音声通信装置が生成したデータを利用して、報告書を作成する。 The voice communication device can transmit the information necessary for the report to the bot by the above-mentioned operation (“ 3. Report preparation method ”). The bot uses the data generated by the voice communication device to create a report.
上記の様にして、作業者からの情報を利用して（場合によっては、オペレータ及び作業員双方からの情報を利用して）報告書を作成することができる。 As described above, the report can be prepared by using the information from the worker (in some cases, using the information from both the operator and the worker).
４−３．複数の報告書作成リクエスト
上述した、報告書作成リクエストは、作業員１人あたり１つとは限らない。例えば、オペレータから複数の報告書作成リクエストが、１人の作業員に割り当てられる可能性がある。報告書作成リクエストが割り当てられた場合、音声通信装置のメモリには、報告書作成リクエストが記憶される（同様に、ボットにも、複数の報告書作成準備リクエストが記憶される）。
4-3. Multiple Report Creation Requests The above-mentioned report creation request is not limited to one per worker. For example, a plurality of report creation requests from an operator may be assigned to one worker. When a report creation request is assigned, the report creation request is stored in the memory of the voice communication device (similarly, the bot also stores a plurality of report preparation preparation requests).
現場の作業員は、報告書作成リクエストが到着しても、すぐに報告書作成に取り掛かれない場合がある。その場合に、更なる報告書作成リクエストが到着して、複数の報告書作成リクエストが滞留案件となることがある。 On-site workers may not be able to start writing a report immediately when a request to write a report arrives. In that case, further report preparation requests may arrive, and a plurality of report preparation requests may become stagnant cases.
複数の報告書作成リクエストが存在する場合、作業員が報告書の作成に着手する場合、到着順に着手するとは限らない。様々な事情から着手順序が前後することは往々にしてありうる。 When there are multiple report preparation requests, and when a worker starts to prepare a report, it is not always started in the order of arrival. It is often possible that the starting order will change due to various reasons.
そこで、作業員は、報告書作成に関する発話を行う際に、報告書作成リクエストを特定する情報を共に発話する（例えば、「報告書作成モード起動、作業コードＣ」）。音声処理モジュールは、上述した仕組みで、報告書作成モード起動のコマンドを生成する。これと共に、音声処理モジュールは、発話内容を分析して、報告書作成リクエストを特定する情報を抽出することができる。抽出するために、報告書作成リクエストを特定する情報に該当するキーワードを予め辞書に登録してもよい（例えば「作業コードＡ」「作業コードＢ」「作業コードＣ」）。 Therefore, when the worker makes an utterance regarding report creation, he / she also utters information that identifies the report creation request (for example, "report creation mode activation, work code C"). The voice processing module generates a command for starting the report creation mode by the mechanism described above. At the same time, the voice processing module can analyze the utterance content and extract information that identifies the report creation request. In order to extract, the keyword corresponding to the information specifying the report creation request may be registered in the dictionary in advance (for example, "work code A", "work code B", "work code C").
そして、音声処理モジュールは、通信モジュールを通して、報告書作成リクエストを特定する情報を含む報告書作成モードを起動するコマンドをボットに送信することができる（例えば、「ＢＯＯＴ ＲＥＰＯＲＴ＿ＭＯＤＥ ＣＯＤＥ＿Ｃ」）。 Then, the voice processing module can send a command to the bot to activate the report creation mode including information identifying the report creation request through the communication module (for example, "BOOT REPORT_MODE CODE_C").
ボットは、作業コードＣに対応する報告書に、音声通信装置からの情報を入力して、報告書を作成することができる。 The bot can create a report by inputting information from the voice communication device into the report corresponding to the work code C.
また、メモリは、報告書の作成が完了した報告書作成リクエストを削除することができる。 In addition, the memory can delete the report creation request for which the report creation is completed.
４−４．複数の報告書作成リクエストの確認
上述したように、複数の報告書作成リクエストが存在する場合には、作業員は、今現在自分に割り当てられている報告書作成リクエストを確認したい場合が存在する。
4-4. Confirmation of Multiple Report Creation Requests As described above, when there are multiple report creation requests, the worker may want to confirm the report creation request currently assigned to him / her.
一実施形態において、作業員は、複数の報告書作成リクエストを再生するためのコマンドを発話することができる（例えば、「タスクを教えて」）。音声処理モジュールは、当該作業員の発話内容に対応して、音声認識処理を行い、対応する音声コマンド生成する（例えば、「ＳＨＯＷ ＲＥＰＯＲＴ＿ＬＩＳＴ」）。そして、当該コマンドに応答して、メモリを参照し、メモリ内に記憶されている複数の報告書作成リクエストを抽出することができる。 In one embodiment, the worker can utter a command to replay multiple reporting requests (eg, "tell me the task"). The voice processing module performs voice recognition processing according to the utterance content of the worker and generates a corresponding voice command (for example, "SHOW REPORT_LIST"). Then, in response to the command, the memory can be referenced and a plurality of report creation requests stored in the memory can be extracted.
抽出した後は、複数の報告書作成リクエストを再生することができる。再生内容は、件数と、報告書作成リクエストを特定する情報であってもよい。例えば、「現在三件のタスクがあります。作業コードＡ、作業コードＢ、作業コードＣです」という音声メッセージを、音声出力モジュールに送信して、再生することができる。 After extraction, multiple report creation requests can be played. The reproduced content may be information that identifies the number of cases and the report creation request. For example, a voice message "There are currently three tasks. Work code A, work code B, and work code C" can be sent to the voice output module for playback.
作業員は、再生されたメッセージを確認し、どのタスクに関する報告書を作成するかを決定することができる。例えば、作業員が、作業コードＣに関する報告書を作成する旨を決定した時には、上述したように、複数の報告書作成リクエストのうちのいずれか１つを指定するコマンドを含む、報告書作成モード起動コマンドを発話することができる（例えば、「報告書作成モード起動、作業コードＣ」）。 Workers can review the played messages and decide which task to report on. For example, when a worker decides to create a report for work code C, a report creation mode that includes a command to specify any one of a plurality of report creation requests, as described above. A start command can be spoken (for example, "report creation mode start, work code C").
４−５．報告書作成リクエストの交換
一実施形態において、複数の作業員がいる場合には、報告書作成リクエストを、作業員同士で交換することができる。
4-5. Exchange of Report Creation Requests In one embodiment, when there are a plurality of workers, the report creation request can be exchanged between the workers.
例えば、オペレータが、報告書作成リクエスト（作業コードＡ）を、作業員Ａに割りあてたとする。この場合、原則としては、作業員Ａが作業報告を実施すべきところではあるが、作業報告を行うべき現場にたまたま作業員Ｂが近くにいる場合、あるいは作業員Ａが忙しくて手が回らず、作業員Ｂに依頼したい場合などが考えられる（図１１）。 For example, suppose an operator assigns a report creation request (work code A) to worker A. In this case, as a general rule, the worker A should carry out the work report, but if the worker B happens to be near the site where the work report should be made, or the worker A is busy and cannot handle it. , There may be a case where you want to ask worker B (Fig. 11).
この場合、例えば、作業員Ａは、以下の内容を発話する。
・報告書作成リクエストを委託する音声
・委託する対象となる報告書作成リクエストを指定する音声
・作業員を特定する音声
例えば、「報告書委託、作業コードＡ、作業員Ｂ」と発話する。
In this case, for example, the worker A utters the following contents.
-Voice for entrusting a report creation request-Voice for specifying a report creation request to be entrusted-Voice for identifying a worker For example, say "report consignment, work code A, worker B".
音声処理モジュールは、上述した仕組みと同様の仕組みで、これに対応する報告書作成委託リクエストの音声コマンドを生成する（「ＤＥＰＯＳＩＴ ＣＯＤＥ＿Ａ ＭＥＭＢＥＲ＿Ｂ」）。 The voice processing module generates a voice command of a report creation consignment request corresponding to the same mechanism as described above (“DEPOSIT CODE_A MEMBER_B”).
生成したコマンドは、通信モジュール等によって、作業員Ａの音声通信装置のボットに送信される。作業員Ａの音声通信装置のボットは、作業員Ｂの音声通信装置（例えば、作業員Ｂの音声通信装置内のボット）に、報告書作成リクエストを委託するメッセージを送信することができる（例えば、「作業員Ａより、報告書作成委託するメッセージが届いています。受託しますか？」）。作業員Ｂの音声通信装置は、当該メッセージを受信後、音声出力モジュールを通して再生してもよい。受託する場合、作業員Ｂは、受託する旨の音声を発話することができる。発話内容は、シンプルに「ＯＫ」「はい」でもよいし、「受託します」でもよい。作業員Ｂの音声通信装置の音声処理モジュールが上述した仕組みで、音声コマンドを生成し、報告書作成受託コマンドを、作業員Ｂの音声通信装置のボットに送信することができる。作業員Ｂの音声通信装置のボットは、その後、作業員Ａの音声通信装置のボットに、作業コードＡに該当する報告書作成リクエストを、作業員Ｂの音声通信装置に送信するようリクエストすることができる。これを受けて、作業員Ａの音声通信装置のボットは、作業コードＡに該当する報告書作成リクエストを、作業員Ｂの音声通信装置のボットに送信することができる。そして、作業員Ｂの音声通信装置のボットは、報告書作成リクエストを作業員Ｂの音声通信装置のメモリに記憶させる。 The generated command is transmitted to the bot of the voice communication device of the worker A by the communication module or the like. The bot of the voice communication device of the worker A can send a message entrusting the report creation request to the voice communication device of the worker B (for example, the bot in the voice communication device of the worker B) (for example). , "I received a message from worker A to entrust the report creation. Do you accept it?"). After receiving the message, the voice communication device of the worker B may reproduce the message through the voice output module. In the case of consignment, the worker B can utter a voice to the effect that the consignment is made. The content of the utterance may be simply "OK", "Yes", or "Accept". The voice processing module of the voice communication device of the worker B can generate a voice command by the mechanism described above, and can send the report creation contract command to the bot of the voice communication device of the worker B. The bot of the voice communication device of the worker B then requests the bot of the voice communication device of the worker A to send a report creation request corresponding to the work code A to the voice communication device of the worker B. Can be done. In response to this, the bot of the voice communication device of the worker A can send a report creation request corresponding to the work code A to the bot of the voice communication device of the worker B. Then, the bot of the voice communication device of the worker B stores the report creation request in the memory of the voice communication device of the worker B.
その後、作業員Ｂの音声通信装置は、上述した仕組みで報告書を作成することができる。 After that, the voice communication device of the worker B can create a report by the mechanism described above.
また、オペレータ側の立場からすると、作業員Ａに割り当てた報告書作成リクエストが、作業員Ｂに変更になったことを何かしらの形で知る必要がある。このための仕組みとして、例えば、以下の４つの方法が考えられる。 Also, from the operator's point of view, it is necessary to know in some way that the report creation request assigned to worker A has been changed to worker B. As a mechanism for this, for example, the following four methods can be considered.
１つめは、作業員Ａの音声通信装置から報告書作成リクエストを受信した後で、作業員Ｂの音声通信装置が、オペレータの情報処理端末に、通知する方法である。 The first is a method in which the voice communication device of the worker B notifies the information processing terminal of the operator after receiving the report creation request from the voice communication device of the worker A.
２つめは、作業員Ｂの音声通信装置へ報告書作成リクエストを送信した後で、作業員Ａの音声通信装置が、オペレータの情報処理端末に、通知する方法である。 The second method is a method in which the voice communication device of the worker A notifies the information processing terminal of the operator after sending the report creation request to the voice communication device of the worker B.
３つめは、ボットが、作業員Ａの音声通信装置と、作業員Ｂの音声通信装置との間で、報告書作成リクエストの委託及び受託が成立したことを検知した後で、ボットが、オペレータの情報処理端末に、通知する方法である。 Third, after the bot detects that the consignment and consignment of the report creation request has been established between the voice communication device of worker A and the voice communication device of worker B, the bot operates the operator. This is a method of notifying the information processing terminal of.
４つめは、当該報告書作成リクエストが、作業員Ａの音声通信装置から、作業員Ｂの音声通信装置に変更されたことを、ボットが、報告書の中に追加記載する方法である。直接オペレータの情報処理端末に知らせなかったとしても、オペレータが報告書に目を通せば、作業員が変更なったことを知ることができる。 The fourth method is a method in which the bot additionally describes in the report that the report creation request has been changed from the voice communication device of the worker A to the voice communication device of the worker B. Even if the operator does not notify the information processing terminal directly, the operator can know that the worker has changed by reading the report.
通知方法は、上記４つに限定されず、任意の方法が採用可能である。 The notification method is not limited to the above four, and any method can be adopted.
以上、本発明の具体的な実施形態について説明してきた。上記実施形態は、本発明の具体例に過ぎず、本発明は上記実施形態に限定されない。例えば、上述の実施形態の１つに開示された技術的特徴は、他の実施形態に適用することができる。また、特記しない限り、特定の方法については、一部の工程を他の工程の順序と入れ替えることも可能であり、特定の２つの工程の間に更なる工程を追加してもよい。本発明の範囲は、特許請求の範囲によって規定される。 The specific embodiment of the present invention has been described above. The above-described embodiment is merely a specific example of the present invention, and the present invention is not limited to the above-described embodiment. For example, the technical features disclosed in one of the above embodiments can be applied to other embodiments. Further, unless otherwise specified, for a specific method, it is possible to replace some steps with the order of other steps, and an additional step may be added between the two specific steps. The scope of the present invention is defined by the claims.
Claims (21)
前記システムは、作業員とオペレータとのコミュニケーションを仲介するシステムであり、
前記システムは、
作業員が使用するための音声通信装置と、
ボットと
を備え、
前記音声通信装置は、
カメラを備えるウェアラブル端末と、
音声処理モジュールと、
通信モジュールと、
マイクロフォンと、
音声出力モジュールと、
を備え、
前記方法は、
前記作業員の第一音声コマンドに対して、前記音声処理モジュールが音声認識を行う工程と、
当該認識結果に基づいて、報告書作成モードを起動するコマンドを、前記音声処理モジュールが生成し、且つ、前記報告書作成モードを起動するコマンドを前記通信モジュールが前記ボットに送信する工程と、
前記作業員の第二音声コマンドに対して、前記音声処理モジュールが音声認識を行う工程と、
当該認識結果に基づいて、前記カメラの操作を実行するコマンドを、前記音声処理モジュールが生成し、前記カメラに送信する工程と、
前記カメラが撮影を実行し、撮影データを生成する工程と、
前記撮影データを、前記通信モジュールが、前記ボットに送信する工程と、
前記ボットが、前記撮影データを利用して、電子報告書を作成する工程と、
を含む、該方法。 It ’s a method of creating a report using the system.
The system is a system that mediates communication between workers and operators.
The system
A voice communication device for use by workers,
With a bot,
The voice communication device is
A wearable device equipped with a camera and
With voice processing module
Communication module and
With a microphone
Audio output module and
With
The method is
A process in which the voice processing module performs voice recognition in response to the worker's first voice command,
Based on the recognition result, the voice processing module generates a command to activate the report creation mode, and the communication module transmits a command to activate the report creation mode to the bot.
A process in which the voice processing module performs voice recognition in response to the worker's second voice command,
A process in which the voice processing module generates a command to execute an operation of the camera based on the recognition result and transmits the command to the camera.
The process in which the camera executes shooting and generates shooting data,
A process in which the communication module transmits the shooting data to the bot, and
A process in which the bot creates an electronic report using the photographed data,
The method comprising.
前記第二音声コマンドの音声認識を行う工程が、前記音声処理モジュールによってスタンドアロンで実行され、
前記カメラの操作を実行するコマンドが、前記カメラの起動操作からシャッター操作までの一連の操作を少なくとも含む、該方法。 The method of claim 1
The process of performing voice recognition of the second voice command is executed standalone by the voice processing module.
The method, wherein the command for executing the operation of the camera includes at least a series of operations from the activation operation of the camera to the shutter operation.
前記音声通信装置が、気圧センサ、温度センサ、湿度センサ、輝度センサ、ガスセンサ、振動センサ、及び生体センサのうち少なくとも１以上のセンサを備え、
前記方法が、
前記センサから取得されたセンサデータを、前記通信モジュールが、前記ボットに送信する工程と、
前記ボットが、前記センサデータを利用して、電子報告書を作成する工程と
を更に含む、該方法。 The method of claim 1 or 2,
The voice communication device includes at least one of a barometric pressure sensor, a temperature sensor, a humidity sensor, a brightness sensor, a gas sensor, a vibration sensor, and a biosensor.
The above method
The process of the communication module transmitting the sensor data acquired from the sensor to the bot, and
The method, wherein the bot further comprises the step of creating an electronic report using the sensor data.
前記システムが、オペレータが使用するための情報処理端末を更に備え、
前記方法が、
前記情報処理端末が、報告書作成リクエストを、前記音声通信装置に送信する工程と、
前記情報処理端末が、前記報告書作成リクエストに対応する、報告書作成準備リクエストを、前記ボットに送信する工程と、
前記音声通信装置が、前記報告書作成リクエストを、前記音声通信装置内のメモリに記録する工程と、
前記ボットが、前記報告書作成準備リクエストに応答して、所定の報告書テンプレートを準備する工程と、
前記ボットが、前記音声通信装置から生成されたデータと、前記所定の報告書テンプレートとを少なくとも利用して、電子報告書を作成する工程と、
を更に含む、該方法。 The method according to any one of claims 1 to 3.
The system further comprises an information processing terminal for use by the operator.
The above method
A process in which the information processing terminal transmits a report creation request to the voice communication device, and
A process in which the information processing terminal sends a report creation preparation request corresponding to the report creation request to the bot.
A step in which the voice communication device records the report creation request in a memory in the voice communication device, and
A process in which the bot prepares a predetermined report template in response to the report preparation preparation request.
A step of creating an electronic report by the bot using at least the data generated from the voice communication device and the predetermined report template.
The method further comprising.
前記方法が、
前記音声通信装置が、複数の報告書作成リクエストを受信する工程と、
前記音声通信装置が、複数の報告書作成リクエストを、前記音声通信装置内のメモリに記録する工程と、
を更に含み、
前記第一音声コマンドが、複数の報告書作成リクエストのうちのいずれか１つを指定するコマンドを含む、
該方法。 The method of claim 4
The above method
The process in which the voice communication device receives a plurality of report creation requests, and
A step in which the voice communication device records a plurality of report creation requests in a memory in the voice communication device, and
Including
The first voice command includes a command that specifies any one of a plurality of report creation requests.
The method.
前記方法が、
前記作業員の第三音声コマンドに対して、前記音声処理モジュールが音声認識を行う工程と、
当該認識結果に基づいて、前記メモリ内に登録されている複数の報告書作成リクエストを再生する工程と、
を更に含む、該方法。 The method of claim 5.
The above method
A process in which the voice processing module performs voice recognition in response to the worker's third voice command,
Based on the recognition result, the process of reproducing a plurality of report creation requests registered in the memory, and
The method further comprising.
前記システムは、第一音声通信装置と第二音声通信装置とを備え、前記方法が、
前記報告書作成リクエスト受信後、第一音声通信装置が、報告書作成委託リクエストを送信する工程と、
第二音声通信装置が、報告書作成受託コマンドを送信する工程と、
前記第一音声通信装置が、前記報告書作成リクエストを、前記第二音声通信装置に送信する工程と、
前記報告書作成リクエストの授受を、前記情報処理端末に通知する工程と、
前記第二音声通信装置が、前記ボットに、報告書作成に必要な情報を送信する工程と、
を更に含む、該方法。 The method according to any one of claims 4 to 6.
The system includes a first voice communication device and a second voice communication device.
After receiving the report creation request, the first voice communication device sends a report creation consignment request, and
The process in which the second voice communication device sends a report creation contract command,
A step in which the first voice communication device transmits the report creation request to the second voice communication device, and
The process of notifying the information processing terminal of the sending and receiving of the report creation request, and
A process in which the second voice communication device transmits information necessary for creating a report to the bot, and
The method further comprising.
前記システムは、
作業員が使用するための音声通信装置と、
ボットと、
を備え、
前記音声通信装置は、
カメラを備えるウェアラブル端末と、
音声処理モジュールと、
通信モジュールと、
マイクロフォンと、
音声出力モジュールと、
を備え、
前記音声処理モジュールは、
前記作業員の第一音声コマンドに対して、音声認識を行う機能と、
当該認識結果に基づいて、報告書作成モードを起動するコマンドを生成する機能と、
前記作業員の第二音声コマンドに対して、音声認識を行う機能と、
当該認識結果に基づいて、前記カメラの操作を実行するコマンドを生成し、前記カメラに送信する機能と、
を備え、
前記カメラは、撮影を実行し、撮影データを生成する機能を備え、
前記通信モジュールは、
前記報告書作成モードを起動するコマンドを前記ボットに送信する機能と、
前記撮影データを前記ボットに送信する機能と、
を備え、
前記ボットが、前記撮影データを利用して、電子報告書を作成する機能を備える、
該システム。 A system that mediates communication between workers and operators.
The system
A voice communication device for use by workers,
With a bot
With
The voice communication device is
A wearable device equipped with a camera and
With voice processing module
Communication module and
With a microphone
Audio output module and
With
The voice processing module
A function to perform voice recognition for the worker's first voice command,
A function to generate a command to activate the report creation mode based on the recognition result,
A function to perform voice recognition for the worker's second voice command,
Based on the recognition result, a function to generate a command to execute the operation of the camera and send it to the camera, and
With
The camera has a function of executing shooting and generating shooting data.
The communication module
A function to send a command to activate the report creation mode to the bot, and
The function of transmitting the shooting data to the bot and
With
The bot has a function of creating an electronic report using the photographed data.
The system.
前記音声処理モジュールは、前記第二音声コマンドの音声認識をスタンドアロンで実行する機能を備え、
前記カメラは、前記カメラの操作を実行するコマンドに応答して、起動からシャッター操作までの一連の操作を少なくとも実行する、
該システム。 The system of claim 8.
The voice processing module has a function of performing voice recognition of the second voice command standalone.
The camera performs at least a series of operations from activation to shutter operation in response to a command to execute the operation of the camera.
The system.
前記音声通信装置が、気圧センサ、温度センサ、湿度センサ、輝度センサ、ガスセンサ、振動センサ、及び生体センサのうち少なくとも１以上のセンサを備え、
前記通信モジュールが、前記センサから取得されたセンサデータを、前記ボットに送信する機能を備え、
前記ボットが、前記センサデータを利用して、電子報告書を作成する機能を備える、
該システム。 The system according to claim 8 or 9.
The voice communication device includes at least one of a barometric pressure sensor, a temperature sensor, a humidity sensor, a brightness sensor, a gas sensor, a vibration sensor, and a biosensor.
The communication module has a function of transmitting sensor data acquired from the sensor to the bot.
The bot has a function of creating an electronic report using the sensor data.
The system.
前記システムは、オペレータが使用するための情報処理端末を更に備え、
前記情報処理端末が、
報告書作成リクエストを、前記音声通信装置に送信する機能と、
前記報告書作成リクエストに対応する、報告書作成準備リクエストを、前記ボットに送信する機能と、
を備え、
前記音声通信装置が、前記報告書作成リクエストを、前記音声通信装置内のメモリに記録する機能を備え、
前記ボットが、
前記報告書作成準備リクエストに応答して、所定の報告書テンプレートを準備する機能と、
前記音声通信装置から生成されたデータと、前記所定の報告書テンプレートとを少なくとも利用して、電子報告書を作成する機能と、
を備える、該システム。 The system according to any one of claims 8 to 10.
The system further comprises an information processing terminal for use by the operator.
The information processing terminal
A function to send a report creation request to the voice communication device, and
A function to send a report preparation preparation request corresponding to the report creation request to the bot, and
With
The voice communication device has a function of recording the report creation request in a memory in the voice communication device.
The bot
A function to prepare a predetermined report template in response to the report preparation preparation request, and
A function of creating an electronic report by using at least the data generated from the voice communication device and the predetermined report template.
The system comprising.
前記音声通信装置が、
複数の報告書作成リクエストを受信する機能と、
複数の報告書作成リクエストを、メモリに記録する機能と、
を含み、
前記第一音声コマンドが、複数の報告書作成リクエストのうちのいずれか１つを指定するコマンドを含む、
該システム。 The system of claim 11.
The voice communication device
Ability to receive multiple report creation requests and
Ability to record multiple report creation requests in memory,
Including
The first voice command includes a command that specifies any one of a plurality of report creation requests.
The system.
前記音声処理モジュールが、
前記作業員の第三音声コマンドに対して、音声認識を行う機能と、
当該認識結果に基づいて、前記メモリ内に登録されている複数の報告書作成リクエストを再生する機能と、
を更に含む、該システム。 The system of claim 12
The voice processing module
A function to perform voice recognition for the worker's third voice command,
A function to reproduce a plurality of report creation requests registered in the memory based on the recognition result, and
The system further comprising.
前記システムは、第一音声通信装置と第二音声通信装置とを備え、
前記第一音声通信装置は、
前記報告書作成リクエスト受信後、報告書作成委託リクエストを送信する機能と、
前記報告書作成リクエストを、前記第二音声通信装置に送信する機能と、
を備え、
前記第二音声通信装置は、
報告書作成受託コマンドを送信する機能と、
前記ボットに、報告書作成に必要な情報を送信する機能と、
を備え、
前記報告書作成リクエストの授受が前記情報処理端末に通知される、
該システム。 The system according to any one of claims 11 to 13.
The system includes a first voice communication device and a second voice communication device.
The first voice communication device is
After receiving the report creation request, the function to send the report creation consignment request and
A function of transmitting the report creation request to the second voice communication device, and
With
The second voice communication device is
Ability to send report creation contract commands and
A function to send the information necessary for creating a report to the bot,
With
The information processing terminal is notified of the transfer of the report creation request.
The system.
前記音声通信装置は、
カメラを備えるウェアラブル端末と、
音声処理モジュールと、
通信モジュールと、
マイクロフォンと、
音声出力モジュールと、
を備え、
前記通信モジュールは、ボット及び／又はオペレータが使用するための情報処理端末と通信する機能を備え、
前記音声処理モジュールは、
前記作業員の第一音声コマンドに対して、音声認識を行う機能と、
当該認識結果に基づいて、報告書作成モードを起動するコマンドを生成する機能と、
前記作業員の第二音声コマンドに対して、音声認識を行う機能と、
当該認識結果に基づいて、前記カメラの操作を実行するコマンドを生成し、前記カメラに送信する機能と、
を備え、
前記カメラは、撮影を実行し、撮影データを生成する機能を備え、
前記通信モジュールは、
前記報告書作成モードを起動するコマンドを前記ボットに送信する機能と、
前記撮影データを前記ボットに送信する機能と、
を備える、
該音声通信装置。 A voice communication device used by a worker to communicate between the worker and the operator.
The voice communication device is
A wearable device equipped with a camera and
With voice processing module
Communication module and
With a microphone
Audio output module and
With
The communication module has a function of communicating with an information processing terminal for use by a bot and / or an operator.
The voice processing module
A function to perform voice recognition for the worker's first voice command,
A function to generate a command to activate the report creation mode based on the recognition result,
A function to perform voice recognition for the worker's second voice command,
Based on the recognition result, a function to generate a command to execute the operation of the camera and send it to the camera, and
With
The camera has a function of executing shooting and generating shooting data.
The communication module
A function to send a command to activate the report creation mode to the bot, and
The function of transmitting the shooting data to the bot and
To prepare
The voice communication device.
前記音声処理モジュールは、前記第二音声コマンドの音声認識をスタンドアロンで実行する機能を備え、
前記カメラは、前記カメラの操作を実行するコマンドに応答して、起動からシャッター操作までの一連の操作を少なくとも実行する、
該音声通信装置。 The voice communication device according to claim 15.
The voice processing module has a function of performing voice recognition of the second voice command standalone.
The camera performs at least a series of operations from activation to shutter operation in response to a command to execute the operation of the camera.
The voice communication device.
前記音声通信装置が、気圧センサ、温度センサ、湿度センサ、輝度センサ、ガスセンサ、振動センサ、及び生体センサのうち少なくとも１以上のセンサを備え、
前記通信モジュールが、前記センサから取得されたセンサデータを、前記ボットに送信する機能を備える、
該音声通信装置。 The voice communication device according to claim 15 or 16.
The voice communication device includes at least one of a barometric pressure sensor, a temperature sensor, a humidity sensor, a brightness sensor, a gas sensor, a vibration sensor, and a biosensor.
The communication module has a function of transmitting sensor data acquired from the sensor to the bot.
The voice communication device.
前記音声通信装置が、前記情報処理端末が生成した報告書作成リクエストを、前記音声通信装置内のメモリに記録する機能を備える、
該音声通信装置。 The voice communication device according to any one of claims 15 to 17.
The voice communication device has a function of recording a report creation request generated by the information processing terminal in a memory in the voice communication device.
The voice communication device.
前記音声通信装置が、
複数の報告書作成リクエストを受信する機能と、
複数の報告書作成リクエストを、メモリに記録する機能と、
を含み、
前記第一音声コマンドが、複数の報告書作成リクエストのうちのいずれか１つを指定するコマンドを含む、
該音声通信装置。 The voice communication device according to claim 18.
The voice communication device
Ability to receive multiple report creation requests and
Ability to record multiple report creation requests in memory,
Including
The first voice command includes a command that specifies any one of a plurality of report creation requests.
The voice communication device.
前記音声処理モジュールが、
前記作業員の第三音声コマンドに対して、音声認識を行う機能と、
当該認識結果に基づいて、前記メモリ内に登録されている複数の報告書作成リクエストを再生する機能と、
を更に含む、該音声通信装置。 The voice communication device according to claim 19.
The voice processing module
A function to perform voice recognition for the worker's third voice command,
A function to reproduce a plurality of report creation requests registered in the memory based on the recognition result, and
The voice communication device further comprising.
前記音声通信装置は、
前記報告書作成リクエスト受信後、報告書作成委託リクエストを送信する機能と、
報告書作成受託コマンドを送信する機能と、
前記報告書作成リクエストを、別の音声通信装置に送信する機能と、
前記ボットに、報告書作成に必要な情報を送信する機能と、
前記報告書作成リクエストの授受を、前記情報処理端末に通知する機能と
を備える、該音声通信装置。 The voice communication device according to any one of claims 18 to 20.
The voice communication device is
After receiving the report creation request, the function to send the report creation consignment request and
Ability to send report creation contract commands and
A function to send the report creation request to another voice communication device, and
A function to send the information necessary for creating a report to the bot,
The voice communication device including a function of notifying the information processing terminal of the transmission / reception of the report creation request.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019031018A JP6671524B1 (en) | 2019-02-22 | 2019-02-22 | Method, system, and apparatus for generating a report |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019031018A JP6671524B1 (en) | 2019-02-22 | 2019-02-22 | Method, system, and apparatus for generating a report |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6671524B1 JP6671524B1 (en) | 2020-03-25 |
| JP2020135667A true JP2020135667A (en) | 2020-08-31 |
Family
ID=70000894
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019031018A Active JP6671524B1 (en) | 2019-02-22 | 2019-02-22 | Method, system, and apparatus for generating a report |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6671524B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6995273B1 (en) | 2021-02-10 | 2022-01-14 | 株式会社エクサウィザーズ | Business support methods, systems and programs |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000333144A (en) * | 1999-05-14 | 2000-11-30 | Shimadzu Corp | Information service system |
| JP2004101372A (en) * | 2002-09-10 | 2004-04-02 | Mitsubishi Heavy Ind Ltd | Working support device |
| JP2011125095A (en) * | 2009-12-08 | 2011-06-23 | Blue Globe Protect Co Ltd | System for management of green building |
| JP2012103840A (en) * | 2010-11-09 | 2012-05-31 | Sony Corp | Information processor, program and command generation method |
| JP2012208740A (en) * | 2011-03-30 | 2012-10-25 | Sharp Corp | E-mail-based automated report system |
| JP2014191237A (en) * | 2013-03-27 | 2014-10-06 | Brother Ind Ltd | Information storage device and information storage program |
| WO2018185830A1 (en) * | 2017-04-04 | 2018-10-11 | 株式会社オプティム | Information processing system, information processing method, information processing device, and program |
-
2019
- 2019-02-22 JP JP2019031018A patent/JP6671524B1/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000333144A (en) * | 1999-05-14 | 2000-11-30 | Shimadzu Corp | Information service system |
| JP2004101372A (en) * | 2002-09-10 | 2004-04-02 | Mitsubishi Heavy Ind Ltd | Working support device |
| JP2011125095A (en) * | 2009-12-08 | 2011-06-23 | Blue Globe Protect Co Ltd | System for management of green building |
| JP2012103840A (en) * | 2010-11-09 | 2012-05-31 | Sony Corp | Information processor, program and command generation method |
| JP2012208740A (en) * | 2011-03-30 | 2012-10-25 | Sharp Corp | E-mail-based automated report system |
| JP2014191237A (en) * | 2013-03-27 | 2014-10-06 | Brother Ind Ltd | Information storage device and information storage program |
| WO2018185830A1 (en) * | 2017-04-04 | 2018-10-11 | 株式会社オプティム | Information processing system, information processing method, information processing device, and program |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6995273B1 (en) | 2021-02-10 | 2022-01-14 | 株式会社エクサウィザーズ | Business support methods, systems and programs |
| JP2022122726A (en) * | 2021-02-10 | 2022-08-23 | 株式会社エクサウィザーズ | Business support method and system, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6671524B1 (en) | 2020-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11688399B2 (en) | Computerized intelligent assistant for conferences | |
| US11496827B2 (en) | Microphone natural speech capture voice dictation system and method | |
| US20230014971A1 (en) | Automated clinical documentation system and method | |
| US10244111B1 (en) | System for providing data to an interactive response system | |
| US12002464B2 (en) | Systems and methods for recognizing a speech of a speaker | |
| JP2019040603A (en) | Music recommendation method, device, equipment and program | |
| US20170171121A1 (en) | Device and method for providing user-customized content | |
| US10673788B2 (en) | Information processing system and information processing method | |
| TWI619115B (en) | Meeting minutes device and method thereof for automatically creating meeting minutes | |
| JP2016103081A (en) | Conversation analysis device, conversation analysis system, conversation analysis method and conversation analysis program | |
| JP7427408B2 (en) | Information processing device, information processing method, and information processing program | |
| WO2019026617A1 (en) | Information processing device and information processing method | |
| KR20200013774A (en) | Pair a Voice-Enabled Device with a Display Device | |
| US9305551B1 (en) | Scribe system for transmitting an audio recording from a recording device to a server | |
| WO2016206646A1 (en) | Method and system for urging machine device to generate action | |
| JP6671524B1 (en) | Method, system, and apparatus for generating a report | |
| WO2019187521A1 (en) | Voice information transmission device, voice information transmission method, voice information transmission program, voice information analysis system, and voice information analysis server | |
| CN112597912A (en) | Conference content recording method, device, equipment and storage medium | |
| US20230260505A1 (en) | Information processing method, non-transitory recording medium, information processing apparatus, and information processing system | |
| JP2021018664A (en) | Information processing system, information processing method and program | |
| JP2008059077A (en) | Speech distribution system and speech retrieval device | |
| US11632346B1 (en) | System for selective presentation of notifications | |
| JP2013118488A (en) | Audio data utilization system | |
| US20150161986A1 (en) | Device-based personal speech recognition training | |
| JP2021173880A (en) | Information processing unit, program and information processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20190322 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190903 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190903 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190917 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191015 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191122 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200225 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200303 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6671524 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |