WO2023042277A1 - 操作訓練装置、操作訓練方法、およびコンピュータ読み取り可能な記憶媒体 - Google Patents
操作訓練装置、操作訓練方法、およびコンピュータ読み取り可能な記憶媒体 Download PDFInfo
- Publication number
- WO2023042277A1 WO2023042277A1 PCT/JP2021/033810 JP2021033810W WO2023042277A1 WO 2023042277 A1 WO2023042277 A1 WO 2023042277A1 JP 2021033810 W JP2021033810 W JP 2021033810W WO 2023042277 A1 WO2023042277 A1 WO 2023042277A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- operation image
- screen
- images
- unit
- Prior art date
Links
- 238000012549 training Methods 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims description 14
- 230000004044 response Effects 0.000 claims description 6
- 230000007704 transition Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 15
- 238000012423 maintenance Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000007689 inspection Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000004397 blinking Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
Definitions
- the present disclosure relates to an operation training device, an operation training method, and a computer-readable storage medium.
- Patent Document 1 a control device with a guide function that guides how to operate an industrial machine is known.
- Patent Document 1 a guide function that guides how to operate an industrial machine.
- An object of the present disclosure is to provide an operation training device, an operation training method, and a computer-readable storage medium that enable effective training of operations on industrial machines.
- the operation training device comprises: a first storage unit storing a plurality of operation images; one operation region included in the first operation image among the plurality of operation images stored in the first storage unit; a second storage unit for storing related information associated with a second operation image among the operation images; a voice recognition unit for recognizing voice information of an uttered voice; display for displaying a second operation image associated with the one operation image after emphasizing the first operation region and displaying the first operation image when it is recognized that the operation image is designated and
- the operation training method includes storing a plurality of operation images, one operation region included in a first operation image among the plurality of stored operation images, and a second operation image among the plurality of operation images. recognizing the voice information of the uttered voice; and displaying a second operation image associated with the one operation image after displaying the first operation image with emphasis.
- a computer-readable storage medium storing a plurality of operation images; one operation region included in a first operation image among the plurality of stored operation images and a second operation image among the plurality of operation images; storing related information associated with the second operation image; recognizing voice information of the uttered voice; After displaying the first operation image by emphasizing the operation area, a command for causing the computer to display a second operation image associated with the one operation image is stored.
- FIG. 10 is a diagram illustrating an example of transition of operation images
- FIG. 10 is a diagram illustrating an example of transition of operation images
- FIG. 11 is a diagram illustrating another example of transition of operation images
- FIG. 11 is a diagram illustrating another example of transition of operation images
- FIG. 11 is a diagram illustrating another example of transition of operation images
- It is a flowchart which shows an example of the flow of the process performed with an operation training apparatus.
- FIG. 10 is a diagram showing an example of recognition candidates displayed on the display screen;
- FIG. 10 is a diagram showing an example of recognition candidates displayed on the display screen;
- the operation training device is a device used for training for operators to learn how to operate industrial machinery.
- Industrial machinery is a concept that includes numerical controllers and teaching pendants.
- the operation training device can also be said to be a device used for training to learn how to operate the numerical control device and the teaching pendant.
- the numerical control device is a device that executes numerical control of the machine tool.
- a teaching pendant is a device for teaching the operation of an industrial robot such as a manipulator.
- FIG. 1 is a block diagram showing an example of the hardware configuration of the operation training device.
- the manipulation training device 1 is implemented in, for example, a PC (Personal Computer) and a mobile terminal.
- Mobile terminals are, for example, tablets and smartphones.
- the manipulation training device 1 may be mounted on a numerical controller and a teaching pendant.
- the operation training device 1 includes, for example, a hardware processor 11, a bus 12, a ROM (Read Only Memory) 13, a RAM (Random Access Memory) 14, a nonvolatile memory 15, an interface 16, and an input/output device 17. and
- the hardware processor 11 is a processor that controls the entire operation training device 1 according to the system program.
- the hardware processor 11 reads a system program or the like stored in the ROM 13 via the bus 12 and performs various processes based on the system program.
- the hardware processor 11 is, for example, a CPU (Central Processing Unit).
- the bus 12 is a communication path that connects each piece of hardware within the operation training device 1 to each other. Each piece of hardware in the operation training device 1 exchanges data via the bus 12 .
- the ROM 13 is a storage device that stores a system program and the like for controlling the operation training device 1 as a whole.
- ROM 13 is a computer-readable storage medium.
- the RAM 14 is a storage device that temporarily stores various data.
- the RAM 14 functions as a work area for the hardware processor 11 to process various data.
- the nonvolatile memory 15 is a storage device that retains data even when the operation training device 1 is powered off and power is not supplied to the operation training device 1 .
- the nonvolatile memory 15 stores, for example, image data of a plurality of operation images.
- the nonvolatile memory 15 is composed of, for example, an SSD (Solid State Drive).
- Non-volatile memory 15 is a computer-readable storage medium.
- the interface 16 connects the bus 12 and the input/output device 17 .
- the interface 16 sends various data processed by the hardware processor 11 to the input/output device 17, for example.
- the input/output device 17 is a device that receives various data via the interface 16 and displays various data. Also, the input/output device 17 receives input of various data and sends the various data to the hardware processor 11 via the interface 16 .
- the input/output device 17 is, for example, a touch panel.
- the touch panel is, for example, a capacitive touch panel. Note that the touch panel is not limited to the capacitive type, and may be a touch panel of another type.
- the operation training device 1 is a device used for training for operators to learn how to operate industrial machines. Learning how to operate an industrial machine means, for example, learning what kind of operation image will be displayed when a button or icon displayed on a numerical control device or a teaching pendant display device is operated. That is. Furthermore, it is to learn how the operation images should be transitioned to reach the target operation image.
- the operation image is an image displayed on the entire screen of the display device of the numerical controller or an image displayed on a pop-up screen of the display device.
- the operation image includes an operation area in which soft keys and the like are displayed.
- FIG. 2 is a block diagram showing an example of the functions of the operation training device 1.
- the manipulation training device 1 includes, for example, a first storage unit 101, a second storage unit 102, a speech recognition unit 103, a specifying unit 104, and a display unit 105.
- the first storage unit 101 and the second storage unit 102 are implemented, for example, by storing information received via a network (not shown) in the RAM 14 or the nonvolatile memory 15 .
- the speech recognition unit 103, the identification unit 104, and the display unit 105 are operated by the hardware processor 11 using, for example, a system program stored in the ROM 13 and various data stored in the nonvolatile memory 15. It is realized by
- the first storage unit 101 stores a plurality of operation images.
- the plurality of operation images are, for example, the same images as the operation image displayed on the display device of the numerical controller or the operation image displayed on the display device of the teaching pendant. The term same does not necessarily refer to exactly the same.
- the plurality of operation images stored in the first storage unit 101 are similar enough to be recognized as corresponding to the plurality of operation images displayed on the numerical control device or the display device of the teaching pendant. All you have to do is
- the plurality of operation images include, for example, an operation image showing the home screen, an operation image showing the setup screen, an operation image showing the external interface screen, and an operation image showing the machine status output setting screen.
- the operation images indicating the setup screens include, for example, operation images respectively indicating the first setup screen, the second setup screen, and the third setup screen.
- the plurality of operation images further include an operation image showing a PC operation screen, an operation image showing a tool information management screen, an operation image showing a network screen, an operation image showing an NC operation screen, an operation image showing a production control screen, an accuracy adjustment
- the second storage unit 102 stores one operation area included in the first operation image among the plurality of operation images stored in the first storage unit 101 and the second operation image among the plurality of operation images. and stores related information associated with.
- the operation area is the area where the soft keys included in the operation image are displayed. Soft keys are, for example, operation buttons and icons.
- the second operation image is an operation image specified based on audio information, as will be described later. In other words, it is an operation image specified based on the voice uttered by the operator, and is an image that the operator wants to display on the display screen.
- related information is information that defines an operation image to be displayed next in response to operation of each operation area included in a plurality of operation images.
- the related information associates and stores the operation area and the operation image that will be displayed next when the operation area is operated.
- the related information is information indicating the order of transition of a plurality of operation images.
- FIG. 3 is a diagram explaining related information.
- Each block in FIG. 3 represents an operation image.
- a blank block indicates an arbitrary operation image.
- a line connecting each block indicates that each block is related.
- the operation image showing the home screen A1 is associated with the operation image showing the first setup screen A2, the operation image showing the PC operation screen A3, and the operation image showing the tool information management screen A4.
- the home screen A1 includes a first setup key for transitioning to the first setup screen A2, a PC operation key for transitioning to the PC operation screen A3, and a key for transitioning to the tool information management screen A4.
- Tool information management screen key is displayed.
- the operation images showing the home screen A1 include an operation image showing the network screen, an operation image showing the NC operation screen, an operation image showing the production control screen, an operation image showing the accuracy adjustment screen, An operation image showing the maintenance information management screen, an operation image showing the maintenance inspection screen, an operation image showing the servo viewer screen, an operation image showing the setting screen, an operation image showing the file manager screen, an operation image showing the manual screen, and a memo screen. and the operation image showing the browser screen.
- the home screen further includes a network key for transitioning to the network screen, an NC operation key for transitioning to the NC operation screen, a production control key for transitioning to the production control screen, and a precision adjustment screen.
- maintenance information management key for transitioning to the maintenance information management screen, maintenance inspection key for transitioning to the maintenance inspection screen, servo viewer key for transitioning to the servo viewer screen, and transition to the setting screen
- a setting key a file manager key for transitioning to the file manager screen, a manual key for transitioning to the manual screen, a memo key for transitioning to the memo screen, and a browser key for transitioning to the browser screen are displayed.
- the operation image showing the first setup screen A2 is associated with the operation image showing the second setup screen A5 and the operation image showing the third setup screen A6.
- the first setup screen A2 displays a second setup key for transitioning to the second setup screen A5 and a third setup key for transitioning to the third setup screen A6.
- the operation image showing the second setup screen A5 is associated with operation images showing a plurality of operation screens. In this case, soft keys for transitioning to each operation image are displayed on the second setup screen A5.
- the operation image showing the third setup screen A6 is associated with, for example, the operation image showing the external interface screen A7, the operation image showing the custom operation panel screen A8, and the operation image showing the I/O setting screen A9.
- the third setup screen A6 includes an external interface key for transitioning to the external interface screen A7, a custom operation panel key for transitioning to the custom operation panel screen A8, and a transition to the I/O setting screen A9. I/O setting keys for
- the operation image showing the external interface screen A7 is associated with, for example, an operation image showing the machine status output setting screen A10, an operation image showing the M code setting screen A11, and an operation image showing the output signal screen A12.
- the external interface screen A7 includes a machine state output setting key for transitioning to the machine state output setting screen A10, an M code setting key for transitioning to the M code setting screen A11, and a transition to the output signal screen A12.
- the output signal key for is displayed.
- the operation image showing the custom operation panel screen A8 and the operation image showing the I/O setting screen A9 are respectively associated with the operation images showing multiple operation screens.
- the custom operation panel screen A8 and the I/O setting screen A9 each display a plurality of soft keys for transitioning to other operation screens.
- the operation image showing the PC operation screen A3 and the operation image showing the tool information management screen A4 are each associated with the operation images showing a plurality of operation screens.
- the PC operation screen A3 and the tool information management screen A4 each display soft keys for transitioning to a plurality of operation screens. Note that FIG. 3 shows only part of the related information. Now, return to the description of FIG.
- the voice recognition unit 103 recognizes the voice information of the uttered voice. In other words, the speech recognition unit 103 recognizes what kind of words the uttered speech indicates.
- the voice recognition unit 103 acquires voice information of the voice uttered by the operator from a microphone (not shown) connected to the manipulation training device 1 . Audio information is an electrical signal produced by a microphone.
- the speech recognition unit 103 recognizes speech information using a speech recognition model.
- a speech recognition model is used to determine phonemes contained in speech information.
- a speech recognition model is generated, for example, by performing machine learning using speech information of speech uttered by a speaker as training data.
- a spoken voice is, for example, a voice spoken by an operator.
- the operator wants to display a desired operation image on the display screen, the operator speaks the name of the operation image to be displayed. For example, when the operator wants to display the machine status output setting screen on the display screen, the operator speaks "machine status output setting screen”.
- the operator may utter a desired operation, such as "I want to set the machine status output.”
- the voice recognition device may convert the uttered voice into the "machine state output setting screen" and recognize it by a predetermined voice recognition program.
- the specifying unit 104 When the speech recognition unit 103 recognizes that the speech information designates the second operation image, the specifying unit 104 performs speech recognition based on the related information stored in the second storage unit 102 . The order of image transition from the operation image displayed on the display screen to the second operation image is specified. Based on the related information, the specifying unit 104 also specifies an operation region to be highlighted when the operation image displayed on the display screen to the second operation image are displayed in order.
- the display unit 105 displays the images on the display screen in the order of the image transition specified by the specifying unit 104.
- the operation image to the second operation image are displayed in order on the display screen.
- the display screen is the display screen of the input/output device 17 .
- the operation image displayed immediately before the second operation image is called the first operation image.
- the display unit 105 displays the second operation image associated with the one operation image after emphasizing the one operation region and displaying the first operation image. In other words, the display unit 105 transitions from displaying the first operation image to displaying the second operation image.
- the display unit 105 transitions from the first operation image to the second operation image in response to displaying the first operation image for a predetermined period. That is, in the first operation image, one operation area is maintained in a state of being highlighted for a predetermined period.
- Emphasizing and displaying one operation area means displaying to prompt the user to operate the one operation area. That is, one operation area is displayed more conspicuously than the other areas.
- the highlighting is, for example, displaying the operation area in which the soft key is displayed with the brightness higher than that of other areas.
- the highlighting may be a blinking display of only one operation area. Also, the highlighting may be displaying an arrow pointing to one operation area.
- FIG. 4A and 4B are diagrams illustrating an example of transition of operation images displayed by the display unit 105.
- FIG. When the voice recognition unit 103 recognizes that the voice information designates the setup screen while the operation image indicating the home screen is displayed, the display unit 105 highlights the setup key included in the home screen. (See Figure 4A).
- the display unit 105 transitions from the state in which the setup key is highlighted to the state in which the operation image showing the first setup screen is displayed (see FIG. 4B). For example, display unit 105 displays an operation image showing a first setup screen after maintaining a state in which the setup key is highlighted on the home screen for a predetermined period of time.
- the predetermined period is, for example, two seconds.
- the image representing the home screen corresponds to the first operation image
- the operation image representing the first setup screen corresponds to the second operation image.
- FIG. 5A to 5D are diagrams illustrating other examples of transition of operation images displayed by the display unit 105.
- FIG. When the speech recognition unit 103 recognizes that the speech information designates the machine status output setting screen while the operation image showing the first setup screen is displayed, the display unit 105 displays the first setup screen. Highlight the included external device key (see Figure 5A).
- the display unit 105 transitions from the state in which the external device key is highlighted to the state in which the image showing the third setup screen is displayed (see FIG. 5B).
- Display unit 105 highlights the external interface key when displaying the operation image showing the third setup screen.
- display unit 105 displays an operation image showing an external interface screen (see FIG. 5C).
- the display unit 105 highlights the machine state output setting key when displaying the external interface screen. After maintaining the state in which the machine state output setting key is highlighted for a predetermined period of time, the display unit 105 displays an operation image showing the machine state output setting screen on a pop-up screen (see FIG. 5D).
- the operation image showing the external interface screen corresponds to the first operation image
- the operation image showing the machine state output setting screen corresponds to the second operation image.
- FIG. 6 is a flowchart showing an example of the flow of processing executed by the manipulation training device 1.
- the first storage unit 101 stores, for example, a plurality of operation images received from an external server (step SA1).
- the second storage unit 102 stores, for example, related information received from the external server (step SA2).
- the speech recognition unit 103 recognizes the speech information of the speech acquired by the microphone (step SA3).
- the specifying unit 104 specifies the order of image transition from the operation image displayed on the display screen to the second operation image at the time when the voice information of the voice information is recognized based on the related information (step SA4). Further, the specifying unit 104 specifies an operation region to be highlighted when the operation image displayed on the display screen to the second operation image are displayed in order.
- the display unit 105 highlights one operation area included in the operation image displayed on the display screen based on the information indicating the operation area specified by the specifying unit 104 (step SA5).
- the display unit 105 displays an operation image to be displayed next to the operation image displayed on the display screen (step SA6).
- the operation training device 1 ends the process.
- the manipulation training device 1 may wait for the speech recognition unit 103 to perform speech recognition again.
- step SA7 If the operation image displayed on the display screen is not the second operation image (No in step SA7), the process returns to step SA5.
- the operation training device 1 includes the first storage unit 101 that stores a plurality of operation images, and the first operation image among the plurality of operation images stored in the first storage unit 101.
- a second storage unit 102 that stores related information that associates one included operation area with a second operation image out of a plurality of operation images, and a voice recognition unit 103 that recognizes voice information of an uttered voice.
- the speech recognition unit 103 recognizes that the speech information designates the second operation image
- the first operation image is displayed with the first operation area emphasized, and then the first operation image is displayed.
- a display unit 105 that displays the associated second operation image.
- the operation training device 1 can sequentially display from the operation image displayed on the display screen when the voice recognition unit 103 recognizes the voice information to the operation image specified by the voice information. Also, one operation area included in the sequentially displayed operation images is highlighted. Therefore, the operation training device 1 can effectively train the operation of the industrial machine. In other words, the operator can effectively learn the procedure for displaying a desired operation image on the display screen.
- the operation image is an operation image displayed on the display device of the numerical controller or the display device of the teaching pendant.
- the operation image is not limited to this example, and may be an image of part or the whole of the operation panel of the numerical controller, or an image of part or the whole of the teaching pendant.
- the operation panel or the area where the hard keys of the teaching pendant are displayed is the operation area.
- the manipulation training device 1 can train not only the manipulation image displayed on the display device of the numerical control device but also the manipulation of the buttons or switches of the control panel.
- the operation training device 1 can train not only the operation of the operation image displayed on the display device of the teaching pendant, but also the operation of the buttons or switches of the teaching pendant.
- the specifying unit 104 For example, in a state where the image showing the I/O setting screen A9 is displayed, when the speech recognition unit 103 recognizes that the speech information designates the machine state output setting screen A10, the specifying unit 104 For example, the order of image transition can be set to the operation image showing the I/O setting screen A9, the operation image showing the third setup screen A6, the operation image showing the external interface screen A7, and the operation image showing the machine status output setting screen A10. Identify in the order of
- the operation image showing the I/O setting screen A9 includes, for example, a "return button” for transitioning from the left block to the right block in FIG.
- the display unit 105 may highlight the “return button” when transitioning from the operation image showing the I/O setting screen A9 to the operation image showing the third setup screen A6.
- the display unit 105 automatically transitions the operation image being displayed to the next operation image after a predetermined period of time.
- the operation training device 1 may transition to the next operation image in response to receiving an operation on the highlighted operation area.
- the operation training device 1 further includes a first reception section, and the first reception section receives an operation on the operation area.
- FIG. 7 is a block diagram showing an example of the functions of the manipulation training device 1 including the first receiving section.
- the manipulation training device 1 shown in FIG. 7 differs from the manipulation training device 1 shown in FIG. Therefore, description of functions other than the first reception unit 106 will be omitted as appropriate.
- the first reception unit 106 is realized, for example, by the hardware processor 11 performing arithmetic processing using the system program stored in the ROM 13 and various data stored in the non-volatile memory 15 .
- the first reception unit 106 receives an operation for one operation area displayed by the display unit 105 .
- the first receiving unit 106 receives an operation for one operation area included in the operation image displayed on the display screen. If the input/output device 17 is a touch panel, the reception unit receives a touch operation on one operation area displayed on the display screen of the touch panel.
- the display unit 105 displays the second operation image in response to the first reception unit 106 having received an operation on the one operation area.
- the display unit 105 highlight the setup key contained in the home screen A1 (see FIG. 4A).
- the display unit 105 displays an operation image showing the first setup screen A2 (see FIG. 4B).
- first accepting unit 106 does not accept an operation for the setup key
- display unit 105 maintains the display of the operation image showing the home screen with the setup key highlighted.
- FIG. 8 is a flowchart showing an example of the flow of processing executed by the manipulation training device 1.
- the first storage unit 101 stores, for example, a plurality of operation images received from an external server (step SB1).
- the second storage unit 102 stores, for example, related information received from the external server (step SB2).
- the speech recognition unit 103 recognizes the speech information of the speech acquired by the microphone (step SB3).
- the specifying unit 104 specifies the order of image transition from the operation image displayed on the display screen to the second operation image when the voice information is recognized based on the related information (step SB4). Further, the specifying unit 104 specifies an operation region to be highlighted when the operation image displayed on the display screen to the second operation image are displayed in order.
- the display unit 105 highlights one operation area included in the operation image displayed on the display screen based on the information indicating the operation area identified by the identification unit 104 (step SB5).
- step SB6 When the first receiving unit 106 receives an operation for the one operation area while the one operation area is highlighted by the display unit 105 (Yes in step SB6), the display unit 105 displays the An operation image to be displayed next to the displayed operation image is displayed (step SB7). On the other hand, when first accepting unit 106 does not accept an operation for one operation area (No in step SB6), display unit 105 maintains the one operation area highlighted.
- step SB8 the operation training device 1 ends the process.
- step SB8 if the operation image displayed on the display screen is not the second operation image (No in step SB8), the process returns to step SB5.
- the operation training device 1 further includes the first reception unit 106 that receives an operation on one operation area displayed by the display unit 105.
- the display unit 105 has the first reception unit 106 A second operation image is displayed in response to receiving an operation on the operation area.
- the operation training device 1 can make the operator actually operate the operation image. As a result, the operation training device 1 can effectively train the operation of the industrial machine.
- the speech recognition unit 103 may analyze the speech information, calculate recognition candidates, and receive an operation on the calculated recognition candidates before recognizing the speech information.
- the manipulation training device 1 further includes a second reception unit that receives manipulations for the calculated recognition candidates.
- FIG. 9 is a block diagram showing an example of the functions of the manipulation training device 1 including the second receiving section. Among the functions of the manipulation training device 1 shown in FIG. 9, the description of the same functions as those of the manipulation training device 1 shown in FIG. 2 will be omitted as appropriate.
- the second reception unit 107 is realized, for example, by the hardware processor 11 performing arithmetic processing using the system program stored in the ROM 13 and various data stored in the non-volatile memory 15 .
- the speech recognition unit 103 analyzes speech information and calculates recognition candidates. For example, when the voice uttered by the operator is "I want to set the machine state output", the voice recognition unit 103 analyzes voice information using a predetermined voice recognition program and calculates an analysis result.
- the analysis result is, for example, "machine state output setting”.
- the display unit 105 displays a candidate image indicating the calculated recognition candidate on the display screen.
- the display unit 105 displays the candidate images on, for example, a pop-up screen.
- FIG. 10 is a diagram showing an example of candidate images displayed on the display screen.
- the display unit 105 causes the pop-up screen to display candidate images including the characters "machine state output setting", "yes", and "no".
- the areas marked with "yes” and “no" are softkeys, respectively.
- the second reception unit 107 receives operations on candidate images.
- the candidate image displayed on the display screen displays soft keys with characters "Yes” and "No"
- the second accepting unit 107 accepts an operation for any of the soft keys. .
- the voice recognition unit 103 recognizes voice information based on the operation on the candidate image received by the second receiving unit 107 .
- the voice recognition unit 103 recognizes that the voice information indicates "machine state output setting". .
- the subsequent processing is the same as that of the embodiment described above.
- the voice recognition unit 103 recognizes that the voice information does not indicate "machine state output setting".
- the display unit 105 may, for example, again display a message prompting the operator to input voice.
- FIG. 11 is a diagram showing an example of candidate images displayed on the display screen.
- the display unit 105 causes the pop-up screen to display a candidate image including characters “Machine status output setting?” and “External interface?”.
- the areas where these characters are displayed are soft keys.
- the second reception unit 107 receives operations on candidate images.
- the candidate image displayed on the display screen displays soft keys with characters “Machine status output setting?” and “External interface?” Accepts softkey operations.
- the voice recognition unit 103 recognizes voice information based on the operation on the candidate image received by the second receiving unit 107 .
- the voice recognition unit 103 recognizes that the voice information indicates "external interface". .
- the display unit 105 may display, for example, a soft key with the characters "Others" drawn on the display screen.
- the voice recognition unit 103 recognizes that the voice information indicates "machine status output setting" and "external interface". recognize that it is not.
- the display unit 105 may, for example, again display a message prompting the operator to input voice.
- the operation training device 1 further includes the second receiving unit 107, and the voice recognition unit 103 analyzes voice information and calculates recognition candidates.
- the display unit 105 displays candidate images indicating the calculated recognition candidates.
- a second receiving unit 107 receives an operation on the candidate image.
- the voice recognition unit 103 recognizes voice information based on the operation on the candidate image received by the second receiving unit 107 .
- the speech recognition device can reliably recognize the voice uttered by the operator.
- operation training device 11 hardware processor 12 bus 13 ROM 14 RAMs 15 nonvolatile memory 16 interface 17 input/output device 101 first storage unit 102 second storage unit 103 speech recognition unit 104 identification unit 105 display unit 106 first reception unit 107 second reception unit
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
操作訓練装置が、複数の操作画像を記憶する第1の記憶部と、第1の記憶部に記憶された複数の操作画像のうちの第1の操作画像に含まれる一の操作領域と複数の操作画像のうちの第2の操作画像とを関連付けた関連情報を記憶する第2の記憶部と、発話された音声の音声情報を認識する音声認識部と、音声認識部によって音声情報が第2の操作画像を指定するものであると認識された場合、一の操作領域を強調して第1の操作画像を表示した後に、一の操作画像に関連付けられた第2の操作画像を表示する表示部と、を備える。
Description
本開示は、操作訓練装置、操作訓練方法、およびコンピュータ読み取り可能な記憶媒体に関する。
従来、産業機械の操作方法をガイドするガイド機能を備えた制御装置が知られている(特許文献1)。このようなガイド機能を利用することにより、経験の浅いオペレータであっても、産業機械の操作を適切に行うことができる。
しかし、ガイド機能を利用する場合、オペレータは、ガイド情報を参照しながら操作を行う必要がある。そのため、オペレータは、産業機械に対する操作を迅速に行うことができない。このような事情により、ガイド機能を利用しなくても産業機械に対する操作をオペレータが迅速に行うことができるように、オペレータを訓練することが望まれる。
本開示は、産業機械に対する操作の訓練を効果的に行うことが可能な操作訓練装置、操作訓練方法、およびコンピュータ読み取り可能な記憶媒体を提供することを目的とする。
操作訓練装置が、複数の操作画像を記憶する第1の記憶部と、第1の記憶部に記憶された複数の操作画像のうちの第1の操作画像に含まれる一の操作領域と複数の操作画像のうちの第2の操作画像とを関連付けた関連情報を記憶する第2の記憶部と、発話された音声の音声情報を認識する音声認識部と、音声認識部によって音声情報が第2の操作画像を指定するものであると認識された場合、一の操作領域を強調して第1の操作画像を表示した後に、一の操作画像に関連付けられた第2の操作画像を表示する表示部と、を備える。
操作訓練方法が、複数の操作画像を記憶することと、記憶された複数の操作画像のうちの第1の操作画像に含まれる一の操作領域と複数の操作画像のうちの第2の操作画像とを関連付けた関連情報を記憶することと、発話された音声の音声情報を認識することと、音声情報が第2の操作画像を指定するものであると認識された場合、一の操作領域を強調して第1の操作画像を表示した後に、一の操作画像に関連付けられた第2の操作画像を表示することと、を含む。
コンピュータ読み取り可能な記憶媒体が、複数の操作画像を記憶することと、記憶された複数の操作画像のうちの第1の操作画像に含まれる一の操作領域と複数の操作画像のうちの第2の操作画像とを関連付けた関連情報を記憶することと、発話された音声の音声情報を認識することと、音声情報が第2の操作画像を指定するものであると認識された場合、一の操作領域を強調して第1の操作画像を表示した後に、一の操作画像に関連付けられた第2の操作画像を表示することと、をコンピュータに実行させる命令を記憶する。
本開示の一態様により、産業機械に対する操作の訓練を効果的に行うことが可能となる。
以下、本開示の実施形態に係る操作訓練装置について図面を用いて説明する。なお、以下の実施形態で説明する特徴のすべての組み合わせが課題解決に必ずしも必要であるとは限らない。また、必要以上の詳細な説明を省略する場合がある。また、以下の実施形態の説明、および図面は、当業者が本開示を十分に理解するために提供されるものであり、請求の範囲を限定することを意図していない。
操作訓練装置は、オペレータが産業機械の操作を学ぶための訓練に利用される装置である。産業機械は、数値制御装置、およびティーチングペンダントを含む概念である。つまり、操作訓練装置は、数値制御装置、およびティーチングペンダントの操作を学ぶための訓練に利用される装置ということもできる。ここで、数値制御装置は、工作機械の数値制御を実行する装置である。ティーチングペンダントは、マニピュレータなどの産業用ロボットの動作を教示するための装置である。
図1は、操作訓練装置のハードウェア構成の一例を示すブロック図である。操作訓練装置1は、例えば、PC(Personal Computer)、および携帯端末に実装される。携帯端末は、例えば、タブレット、およびスマートフォンである。操作訓練装置1は、数値制御装置、およびティーチングペンダントに実装されてもよい。
操作訓練装置1は、例えば、ハードウェアプロセッサ11と、バス12と、ROM(Read Only Memory)13と、RAM(Random Access Memory)14と、不揮発性メモリ15と、インタフェース16と、入出力装置17とを備えている。
ハードウェアプロセッサ11は、システムプログラムに従って操作訓練装置1全体を制御するプロセッサである。ハードウェアプロセッサ11は、バス12を介してROM13に格納されたシステムプログラムなどを読み出し、システムプログラムに基づいて各種処理を行う。ハードウェアプロセッサ11は、例えば、CPU(Central Processing Unit)である。
バス12は、操作訓練装置1内の各ハードウェアを互いに接続する通信路である。操作訓練装置1内の各ハードウェアはバス12を介してデータをやり取りする。
ROM13は、操作訓練装置1全体を制御するためのシステムプログラムなどを記憶する記憶装置である。ROM13は、コンピュータ読み取り可能な記憶媒体である。
RAM14は、各種データを一時的に格納する記憶装置である。RAM14は、ハードウェアプロセッサ11が各種データを処理するための作業領域として機能する。
不揮発性メモリ15は、操作訓練装置1の電源が切られ、操作訓練装置1に電力が供給されていない状態でもデータを保持する記憶装置である。不揮発性メモリ15は、例えば、複数の操作画像の画像データを記憶する。不揮発性メモリ15は、例えば、SSD(Solid State Drive)で構成される。不揮発性メモリ15は、コンピュータ読み取り可能な記憶媒体である。
インタフェース16は、バス12と入出力装置17とを接続する。インタフェース16は、例えば、ハードウェアプロセッサ11が処理した各種データを入出力装置17に送る。
入出力装置17は、インタフェース16を介して各種データを受け、各種データを表示する装置である。また、入出力装置17は、各種データの入力を受け付けてインタフェース16を介して各種データをハードウェアプロセッサ11に送る。入出力装置17は、例えば、タッチパネルである。入出力装置17がタッチパネルである場合、タッチパネルは、例えば、静電容量方式のタッチパネルである。なお、タッチパネルは、静電容量方式に限らず、他の方式のタッチパネルであってもよい。
次に、操作訓練装置1の機能について説明する。上述したとおり、操作訓練装置1は、オペレータが産業機械の操作を学ぶための訓練に利用される装置である。産業機械の操作を学ぶとは、例えば、数値制御装置、またはティーチングペンダントの表示装置に表示されるどのボタン、またはアイコンに対する操作を行えば、次にどのような操作画像が表示されるかを学ぶことである。さらに、操作画像をどのように遷移させれば、目的の操作画像に到達するかを学ぶことである。ここで、操作画像とは、数値制御装置が有する表示装置の画面全体に表示される画像、または表示装置のポップアップ画面に表示される画像である。操作画像は、ソフトキーなどが表示される操作領域を含む。
図2は、操作訓練装置1の機能の一例を示すブロック図である。操作訓練装置1は、例えば、第1の記憶部101と、第2の記憶部102と、音声認識部103と、特定部104と、表示部105とを備える。第1の記憶部101、および第2の記憶部102は、例えば、ネットワーク(不図示)を介して受け付けた情報が、RAM14、または不揮発性メモリ15に記憶されることにより実現される。音声認識部103、特定部104、および表示部105は、例えば、ハードウェアプロセッサ11が、ROM13に記憶されているシステムプログラムならびに不揮発性メモリ15に記憶されている各種データを用いて演算処理することにより実現される。
第1の記憶部101は、複数の操作画像を記憶する。複数の操作画像は、例えば、数値制御装置の表示装置に表示される操作画像、または、ティーチングペンダントの表示装置に表示される操作画像と同じ画像である。同じという用語は、必ずしも完全に同じということを指すものではない。第1の記憶部101が記憶する複数の操作画像は、それぞれ、数値制御装置、またはティーチングペンダントの表示装置に表示される複数の操作画像に対応するものであると認識される程度に類似していればよい。
複数の操作画像は、例えば、ホーム画面を示す操作画像、セットアップ画面を示す操作画像、外部インタフェース画面を示す操作画像、および機械状態出力設定画面を示す操作画像を含む。セットアップ画面を示す操作画像は、例えば、第1のセットアップ画面と第2のセットアップ画面と第3のセットアップ画面とをそれぞれ示す操作画像を含む。
複数の操作画像は、さらに、PCオペレーション画面を示す操作画像、工具情報管理画面を示す操作画像、ネットワーク画面を示す操作画像、NCオペレーション画面を示す操作画像、生産管理画面を示す操作画像、精度調整画面を示す操作画像、保守情報管理画面を示す操作画像、保守点検画面を示す操作画像、サーボビューワ画面を示す操作画像、設定画面を示す操作画像、ファイルマネージャ画面を示す操作画像、マニュアル画面を示す操作画像、メモ画面を示す操作画像、ブラウザ画面を示す操作画像を含む。
第2の記憶部102は、第1の記憶部101に記憶された複数の操作画像のうちの第1の操作画像に含まれる一の操作領域と複数の操作画像のうちの第2の操作画像とを関連付けた関連情報を記憶する。
操作領域とは、操作画像に含まれるソフトキーが表示される領域である。ソフトキーは、例えば、操作ボタン、およびアイコンである。第2の操作画像は、後述するように、音声情報に基づいて特定される操作画像である。言い換えれば、オペレータが発話する音声に基づいて特定される操作画像であり、オペレータが表示画面に表示させたい画像である。
関連情報について別の言い方をすれば、関連情報は、複数の操作画像に含まれるそれぞれの操作領域が操作されることに応じて、次に表示される操作画像を規定する情報である。つまり、関連情報は、操作領域と、操作領域が操作されることによって次に表示される操作画像とを関連付けて記憶する。関連情報について、さらに別の言い方をすれば、関連情報は、複数の操作画像の遷移の順番を示す情報である。
図3は、関連情報について説明する図である。図3の各ブロックは、操作画像を示している。空欄のブロックは、任意の操作画像を示している。各ブロックを連結する線は、各ブロックが関連付けられていることを示している。
例えば、ホーム画面A1を示す操作画像は、第1のセットアップ画面A2を示す操作画像、PCオペレーション画面A3を示す操作画像、および工具情報管理画面A4を示す操作画像に関連付けられている。この場合、ホーム画面A1には、第1のセットアップ画面A2に遷移させるための第1のセットアップキー、PCオペレーション画面A3に遷移させるためのPCオペレーションキー、および工具情報管理画面A4に遷移させるための工具情報管理画面キーが表示される。
また、図示は省略されているが、ホーム画面A1を示す操作画像は、ネットワーク画面を示す操作画像、NCオペレーション画面を示す操作画像、生産管理画面を示す操作画像、精度調整画面を示す操作画像、保守情報管理画面を示す操作画像、保守点検画面を示す操作画像、サーボビューワ画面を示す操作画像、設定画面を示す操作画像、ファイルマネージャ画面を示す操作画像、マニュアル画面を示す操作画像、メモ画面を示す操作画像、およびブラウザ画面を示す操作画像に関連付けられていてもよい。
この場合、ホーム画面には、さらに、ネットワーク画面に遷移させるためのネットワークキー、NCオペレーション画面に遷移させるためのNCオペレーションキー、生産管理画面に遷移させるための生産管理キー、精度調整画面に遷移させるため精度調整キー、保守情報管理画面に遷移させるための保守情報管理キー、保守点検画面に遷移させるための保守点検キー、サーボビューワ画面に遷移させるためのサーボビューワキー、設定画面に遷移させるための設定キー、ファイルマネージャ画面に遷移させるためのファイルマネージャキー、マニュアル画面に遷移させるためのマニュアルキー、メモ画面に遷移させるためのメモキー、およびブラウザ画面に遷移させるためのブラウザキーが表示される。
第1のセットアップ画面A2を示す操作画像は、第2のセットアップ画面A5を示す操作画像、および第3のセットアップ画面A6を示す操作画像に関連付けられている。この場合、第1のセットアップ画面A2には、第2のセットアップ画面A5に遷移させるための第2のセットアップキーおよび第3のセットアップ画面A6に遷移させるための第3のセットアップキーが表示される。
第2のセットアップ画面A5を示す操作画像は、詳細な説明は省略するが、複数の操作画面を示す操作画像に関連付けられている。この場合、第2のセットアップ画面A5には、各操作画像に遷移させるためのソフトキーが表示される。
第3のセットアップ画面A6を示す操作画像は、例えば、外部インタフェース画面A7を示す操作画像、カスタム操作盤画面A8を示す操作画像、およびI/O設定画面A9を示す操作画像に関連付けられている。この場合、第3のセットアップ画面A6には、外部インタフェース画面A7に遷移させるための外部インタフェースキー、カスタム操作盤画面A8に遷移させるためのカスタム操作盤キー、およびI/O設定画面A9に遷移させるためのI/O設定キーが表示される。
外部インタフェース画面A7を示す操作画像は、例えば、機械状態出力設定画面A10を示す操作画像、Mコード設定画面A11を示す操作画像、および出力信号画面A12を示す操作画像に関連付けられている。この場合、外部インタフェース画面A7には、機械状態出力設定画面A10に遷移させるための機械状態出力設定キー、Mコード設定画面A11に遷移させるためのMコード設定キー、および出力信号画面A12に遷移させるための出力信号キーが表示される。
同様に、カスタム操作盤画面A8を示す操作画像、およびI/O設定画面A9を示す操作画像はそれぞれ、複数の操作画面を示す操作画像に関連付けられている。この場合、カスタム操作盤画面A8、およびI/O設定画面A9にはそれぞれ、その他の操作画面に遷移させるための複数のソフトキーが表示される。
同様に、PCオペレーション画面A3を示す操作画像、および工具情報管理画面A4を示す操作画像はそれぞれ、複数の操作画面を示す操作画像に関連付けられている。この場合、PCオペレーション画面A3、および工具情報管理画面A4にはそれぞれ、複数の操作画面に遷移させるためのソフトキーが表示される。なお、図3には、関連情報の一部のみが描かれている。ここで、図2の説明に戻る。
音声認識部103は、発話された音声の音声情報を認識する。つまり、音声認識部103は、発話された音声がどのような文言を示すものであるのかを認識する。音声認識部103は、操作訓練装置1に接続されたマイクロフォン(不図示)から、オペレータによって発話された音声の音声情報を取得する。音声情報は、マイクロフォンによって生成された電気信号である。
音声認識部103は、音声認識モデルを利用して音声情報を認識する。音声認識モデルは、音声情報に含まれる音素を判別するために利用される。音声認識モデルは、例えば、発話者によって発話された音声の音声情報を教師データとして機械学習が行われることにより生成される。
発話された音声とは、例えば、オペレータによって発話された音声である。オペレータは、所望の操作画像を表示画面に表示させたい場合、表示させたい操作画像の名称を発話する。例えば、オペレータが機械状態出力設定画面を表示画面に表示させたい場合、オペレータは、「機械状態出力設定画面」と発話する。
あるいは、オペレータは、「機械状態出力の設定をしたい。」などと、所望の操作について発話してもよい。この場合、音声認識装置は、所定の音声認識プログラムにより、発話された音声を「機械状態出力設定画面」に変換して認識してよい。
特定部104は、音声認識部103によって音声情報が第2の操作画像を指定するものであると認識された場合、第2の記憶部102に記憶された関連情報に基づいて、音声認識がされた時点で表示画面に表示されている操作画像から第2の操作画像までの画像遷移の順番を特定する。また、特定部104は、関連情報に基づいて、表示画面に表示されている操作画像から第2の操作画像までを順番に表示させるときに強調表示させる操作領域を特定する。
表示部105は、音声認識部103によって音声情報が第2の操作画像を指定するものであると認識された場合、特定部104によって特定された画像遷移の順番で、表示画面に表示されている操作画像から第2の操作画像までを順番に表示画面に表示させる。ここで、表示画面とは、入出力装置17の表示画面である。
ここで、第2の操作画像の直前に表示される操作画像を第1の操作画像と称する。この場合、表示部105は、一の操作領域を強調して第1の操作画像を表示した後に、一の操作画像に関連付けられた第2の操作画像を表示する。言い換えれば、表示部105は、第1の操作画像を表示した状態から第2の操作画像を表示した状態に遷移させる。
表示部105は、第1の操作画像を所定期間表示させたことに応じて、第1の操作画像から第2の操作画像に遷移させる。つまり、第1の操作画像では、一の操作領域が所定期間強調表示された状態で維持される。
一の操作領域を強調して表示するとは、一の操作領域に対する操作を促す表示をすることである。つまり、一の操作領域を他の領域よりも目立つように表示させる。強調表示は、例えば、ソフトキーが表示されている操作領域の輝度を他の領域の輝度よりも高くして表示することである。強調表示は、一の操作領域のみを点滅表示させることであってもよい。また、強調表示は、一の操作領域を指し示す矢印を表示することであってもよい。
図4Aおよび図4Bは、表示部105によって表示される操作画像の遷移の一例を説明する図である。ホーム画面を示す操作画像が表示されている状態において、音声認識部103によって音声情報がセットアップ画面を指定するものと認識された場合、表示部105は、ホーム画面に含まれるセットアップキーを強調表示する(図4A参照)。
その後、表示部105は、セットアップキーが強調表示された状態から、第1のセットアップ画面を示す操作画像が表示された状態に遷移させる(図4B参照)。表示部105は、例えば、ホーム画面においてセットアップキーを強調表示した状態を所定期間維持した後に、第1のセットアップ画面を示す操作画像を表示する。所定期間は、例えば、2秒間である。図4Aおよび図4Bに示す例において、ホーム画面を示す画像が第1の操作画像、第1のセットアップ画面を示す操作画像が第2の操作画像に相当する。
図5A~図5Dは、表示部105によって表示される操作画像の遷移の他の例を説明する図である。第1のセットアップ画面を示す操作画像が表示されている状態において、音声認識部103によって音声情報が機械状態出力設定画面を指定するものと認識された場合、表示部105は、第1セットアップ画面に含まれる外部装置キーを強調表示する(図5A参照)。
その後、表示部105は、外部装置キーが強調表示された状態から、第3のセットアップ画面を示す画像が表示された状態に遷移させる(図5B参照)。表示部105は、第3のセットアップ画面を示す操作画像を表示させるとき、外部インタフェースキーを強調表示する。表示部105は、外部インタフェースキーを強調表示した状態を所定期間維持した後に、外部インタフェース画面を示す操作画像を表示する(図5C参照)。
表示部105は、外部インタフェース画面を表示させるとき、機械状態出力設定キーを強調表示する。表示部105は、機械状態出力設定キーを強調表示した状態を所定期間維持した後に、機械状態出力設定画面を示す操作画像をポップアップ画面に表示する(図5D参照)。図5A~図5Dに示す例において、外部インタフェース画面を示す操作画像が第1の操作画像、機械状態出力設定画面を示す操作画像が第2の操作画像に相当する。
次に、操作訓練装置1で実行される処理の流れの一例について説明する。
図6は、操作訓練装置1で実行される処理の流れの一例を示すフローチャートである。
まず、第1の記憶部101は、例えば、外部サーバから受け付けた複数の操作画像を記憶する(ステップSA1)。
次に、第2の記憶部102は、例えば、外部サーバから受け付けた関連情報を記憶する(ステップSA2)。
次に、音声認識部103は、マイクロフォンによって取得された音声の音声情報を認識する(ステップSA3)。
次に、特定部104は、関連情報に基づいて、音声情報の音声認識がされた時点で表示画面に表示されている操作画像から第2の操作画像までの画像遷移の順番を特定する(ステップSA4)。また、特定部104は、表示画面に表示されている操作画像から第2の操作画像までを順番に表示させるときに強調表示させる操作領域を特定する。
次に、表示部105は、特定部104によって特定された操作領域を示す情報に基づいて、表示画面に表示されている操作画像に含まれる一の操作領域を強調表示する(ステップSA5)。
一の操作領域を強調表示してから所定期間が経過すると、表示部105は、表示画面に表示されている操作画像の次に表示される操作画像を表示させる(ステップSA6)。
表示画面に表示されている操作画像が第2の操作画像である場合(ステップSA7においてYesの場合)、操作訓練装置1は処理を終了する。あるいは、操作訓練装置1は、音声認識部103によって再び音声認識が実行されるのを待機してもよい。
表示画面に表示されている操作画像が第2の操作画像ではない場合(ステップSA7においてNoの場合)、ステップSA5に戻る。
以上説明したように、操作訓練装置1は、複数の操作画像を記憶する第1の記憶部101と、第1の記憶部101に記憶された複数の操作画像のうちの第1の操作画像に含まれる一の操作領域と複数の操作画像のうちの第2の操作画像とを関連付けた関連情報を記憶する第2の記憶部102と、発話された音声の音声情報を認識する音声認識部103と、音声認識部103によって音声情報が第2の操作画像を指定するものであると認識された場合、一の操作領域を強調して第1の操作画像を表示した後に、一の操作画像に関連付けられた第2の操作画像を表示する表示部105と、を備える。
したがって、操作訓練装置1は、音声認識部103が音声情報を認識したときに表示画面に表示されている操作画像から、音声情報によって指定された操作画像までを順次を表示することができる。また、順次表示される操作画像に含まれる一の操作領域は、強調して表示される。したがって、操作訓練装置1は、産業機械に対する操作の訓練を効果的に行うことが可能となる。つまり、オペレータは所望の操作画像を表示画面に表示させる手順を効果的に学ぶことができる。
上述した実施形態において、操作画像は、数値制御装置の表示装置、またはティーチングペンダントの表示装置に表示される操作画像である。しかし、この例に限らず、操作画像は、数値制御装置の操作盤の一部または全体の画像、または、ティーチングペンダントの一部または全体の画像であってもよい。操作画像のうち、操作盤、またはティーチングペンダントのハードキーが表示される領域は操作領域となる。この場合、操作訓練装置1は、数値制御装置の表示装置に表示される操作画像に対する操作の訓練だけではなく、操作盤のボタン、またはスイッチに対する操作の訓練を行うことができる。また、操作訓練装置1は、ティーチングペンダントの表示装置に表示される操作画像に対する操作の訓練だけではなく、ティーチングペンダントのボタン、またはスイッチに対する操作の訓練を行うことができる。
上述した実施形態では、図3の左側からの右側に操作画像を遷移させる例について説明した。しかし、操作画像の遷移順はこれに限らない。
例えば、I/O設定画面A9を示す画像が表示されている状態において、音声認識部103によって音声情報が機械状態出力設定画面A10を指定するものであると認識された場合、特定部104は、画像遷移の順番を、例えば、I/O設定画面A9を示す操作画像、第3のセットアップ画面A6を示す操作画像、外部インタフェース画面A7を示す操作画像、および機械状態出力設定画面A10を示す操作画像の順で特定する。
また、I/O設定画面A9を示す操作画像には、例えば、図3の左側のブロックから右側のブロックに遷移させるための「戻るボタン」が含まれるようにする。この場合、表示部105は、I/O設定画面A9を示す操作画像から第3のセットアップ画面A6を示す操作画像に遷移させる際、「戻るボタン」を強調表示させればよい。
上述した実施形態では、表示部105は、所定期間が経過すると、表示中の操作画像を自動的に次の操作画像に遷移させる。しかし、操作訓練装置1は、強調表示されている操作領域に対する操作を受け付けたことに応じて、次の操作画像に遷移させるようにしてもよい。この場合、操作訓練装置1は、第1の受付部をさらに備え、第1の受付部が操作領域に対する操作を受け付ける。
図7は、第1の受付部を備える操作訓練装置1の機能の一例を示すブロック図である。図7に示す操作訓練装置1は、第1の受付部106を備えている点で、図2に示す操作訓練装置1とは異なる。したがって、第1の受付部106以外の機能については、適宜説明を省略する。
第1の受付部106は、例えば、ハードウェアプロセッサ11が、ROM13に記憶されているシステムプログラムならびに不揮発性メモリ15に記憶されている各種データを用いて演算処理することにより実現される。
第1の受付部106は、表示部105によって表示される一の操作領域に対する操作を受け付ける。第1の受付部106は、表示画面に表示された操作画像に含まれる一の操作領域に対する操作を受け付ける。入出力装置17がタッチパネルである場合、受付部は、タッチパネルの表示画面に表示された一の操作領域に対するタッチ操作を受け付ける。
表示部105は、第1の受付部106が一の操作領域に対する操作を受け付けたことに応じて、第2の操作画像を表示させる。
例えば、入出力装置17の表示画面にホーム画面A1を示す操作画像が表示された状態において、音声認識部103によって音声情報がセットアップ画面を指定するものであると認識された場合、表示部105は、ホーム画面A1に含まれるセットアップキーを強調表示する(図4A参照)。
次に、第1の受付部106がホーム画面A1に含まれるセットアップキーに対する操作を受け付けた場合、表示部105は、第1のセットアップ画面A2を示す操作画像を表示する(図4B参照)。第1の受付部106がセットアップキーに対する操作を受け付けない場合、表示部105は、セットアップキーを強調表示させた状態でホーム画面を示す操作画像の表示を維持する。
次に、第1の受付部106を有する操作訓練装置1が実行する処理の流れについて説明する。
図8は、操作訓練装置1で実行される処理の流れの一例を示すフローチャートである。
まず、第1の記憶部101は、例えば、外部サーバから受け付けた複数の操作画像を記憶する(ステップSB1)。
次に、第2の記憶部102は、例えば、外部サーバから受け付けた関連情報を記憶する(ステップSB2)。
次に、音声認識部103は、マイクロフォンによって取得された音声の音声情報を認識する(ステップSB3)。
次に、特定部104は、関連情報に基づいて、音声情報が認識された時点で表示画面に表示されている操作画像から第2の操作画像までの画像遷移の順番を特定する(ステップSB4)。また、特定部104は、表示画面に表示されている操作画像から第2の操作画像までを順番に表示させるときに強調表示させる操作領域を特定する。
次に、表示部105は、特定部104によって特定された操作領域を示す情報に基づいて、表示画面に表示されている操作画像に含まれる一の操作領域を強調表示する(ステップSB5)。
表示部105によって一の操作領域が強調表示されている状態において、第1の受付部106が一の操作領域に対する操作を受け付けると(ステップSB6においてYesの場合)、表示部105は、表示画面に表示されている操作画像の次に表示される操作画像を表示させる(ステップSB7)。一方、第1の受付部106が一の操作領域に対する操作を受け付けない場合(ステップSB6においてNoの場合)、表示部105は、一の操作領域の強調表示を維持する。
表示画面に表示されている操作画像が第2の操作画像である場合(ステップSB8)、操作訓練装置1は処理を終了する。
一方、表示画面に表示されている操作画像が第2の操作画像ではない場合(ステップSB8においてNoの場合)、ステップSB5に戻る。
以上説明したように、操作訓練装置1は、表示部105によって表示される一の操作領域に対する操作を受け付ける第1の受付部106をさらに備え、表示部105は、第1の受付部106が一の操作領域に対する操作を受け付けたことに応じて、第2の操作画像を表示させる。
したがって、操作訓練装置1は、オペレータに対して操作画像に対する操作を実際に行わせることができる。その結果、操作訓練装置1は、産業機械に対する操作の訓練を効果的に行うことができる。
なお、音声認識部103は、音声情報を認識する前に、音声情報を解析して認識候補を算出し、算出された認識候補に対する操作を受け付けてもよい。この場合、操作訓練装置1は、算出された認識候補に対する操作を受け付ける第2の受付部をさらに備える。
図9は、第2の受付部を備える操作訓練装置1の機能の一例を示すブロック図である。なお、図9に示す操作訓練装置1が有する各機能のうち、図2に示す操作訓練装置1が有する機能と同じ機能については適宜説明を省略する。
第2の受付部107は、例えば、ハードウェアプロセッサ11が、ROM13に記憶されているシステムプログラムならびに不揮発性メモリ15に記憶されている各種データを用いて演算処理することにより実現される。
音声認識部103は、音声情報を解析して認識候補を算出する。例えば、オペレータによって発話された音声が「機械状態出力の設定をしたい。」である場合、音声認識部103は、所定の音声認識プログラムを用いて音声情報を解析して解析結果を算出する。ここで、解析結果は、例えば、「機械状態出力設定」である。
表示部105は、算出された認識候補を示す候補画像を表示画面に表示させる。表示部105は、候補画像を、例えば、ポップアップ画面に表示させる。
図10は、表示画面に表示された候補画像の一例を示す図である。表示部105は、ポップアップ画面に「機械状態出力設定」、「はい」、および「いいえ」との文字を含む候補画像を表示させる。「はい」および「いいえ」が描かれた領域は、それぞれソフトキーとなっている。
第2の受付部107は、候補画像に対する操作を受け付ける。表示画面に表示された候補画像に「はい」、および「いいえ」との文字が描かれたソフトキーが表示されている場合、第2の受付部107は、いずれかのソフトキーに対する操作を受け付ける。
音声認識部103は、第2の受付部107が受け付けた候補画像に対する操作に基づいて音声情報を認識する。第2の受付部107が、「はい」との文字が描かれたソフトキーに対する操作を受け付けた場合、音声認識部103は、音声情報が「機械状態出力設定」を示すものであると認識する。また、その後の処理については、上述した実施形態と同様である。
第2の受付部107が「いいえ」との文字が描かれたソフトキーに対する操作を受け付けた場合、音声認識部103は、音声情報が「機械状態出力設定」を示すものではないと認識する。この場合、表示部105は、例えば、再度、オペレータに音声の入力を促すメッセージを表示させてもよい。
図11は、表示画面に表示された候補画像の一例を示す図である。表示部105は、ポップアップ画面に「機械状態出力設定?」、および「外部インタフェース?」との文字を含む候補画像を表示させる。これらの文字が表示された領域は、それぞれ、ソフトキーとなっている。
第2の受付部107は、候補画像に対する操作を受け付ける。表示画面に表示された候補画像に「機械状態出力設定?」、および「外部インタフェース?」との文字が描かれたソフトキーが表示されている場合、第2の受付部107は、いずれかのソフトキーに対する操作を受け付ける。
音声認識部103は、第2の受付部107が受け付けた候補画像に対する操作に基づいて音声情報を認識する。
第2の受付部107が、「機械状態出力設定?」との文字が描かれたソフトキーに対する操作を受け付けた場合、音声認識部103は、音声情報が「機械状態出力設定」を示すものであると認識する。
第2の受付部107が、「外部インタフェース?」との文字が描かれたソフトキーに対する操作を受け付けた場合、音声認識部103は、音声情報が「外部インタフェース」を示すものであると認識する。
なお、表示部105は、例えば、「その他」との文字が描かれたソフトキーを表示画面に表示させてもよい。第2の受付部107が「その他」との文字が描かれたソフトキーに対する操作を受け付けた場合、音声認識部103は、音声情報が「機械状態出力設定」、および「外部インタフェース」を示すものではないと認識する。この場合、表示部105は、例えば、再度、オペレータに音声の入力を促すメッセージを表示させてもよい。
以上説明したように、操作訓練装置1は、第2の受付部107をさらに備え、音声認識部103は、音声情報を解析して認識候補を算出する。表示部105は、算出された認識候補を示す候補画像を表示させる。第2の受付部107は、候補画像に対する操作を受け付ける。音声認識部103は、第2の受付部107が受け付けた候補画像に対する操作に基づいて音声情報を認識する。
したがって、音声認識装置は、オペレータが発話した音声を確実に認識することができる。
なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。本開示では、実施形態の組み合わせ、任意の構成要素の変形、もしくは任意の構成要素の省略が可能である。
1 操作訓練装置
11 ハードウェアプロセッサ
12 バス
13 ROM
14 RAM
15 不揮発性メモリ
16 インタフェース
17 入出力装置
101 第1の記憶部
102 第2の記憶部
103 音声認識部
104 特定部
105 表示部
106 第1の受付部
107 第2の受付部
11 ハードウェアプロセッサ
12 バス
13 ROM
14 RAM
15 不揮発性メモリ
16 インタフェース
17 入出力装置
101 第1の記憶部
102 第2の記憶部
103 音声認識部
104 特定部
105 表示部
106 第1の受付部
107 第2の受付部
Claims (5)
- 複数の操作画像を記憶する第1の記憶部と、
前記第1の記憶部に記憶された前記複数の操作画像のうちの第1の操作画像に含まれる一の操作領域と前記複数の操作画像のうちの第2の操作画像とを関連付けた関連情報を記憶する第2の記憶部と、
発話された音声の音声情報を認識する音声認識部と、
前記音声認識部によって前記音声情報が前記第2の操作画像を指定するものであると認識された場合、前記一の操作領域を強調して前記第1の操作画像を表示した後に、前記一の操作画像に関連付けられた前記第2の操作画像を表示する表示部と、
を備える操作訓練装置。 - 前記表示部によって表示された前記一の操作領域に対する操作を受け付ける第1の受付部をさらに備え、
前記表示部は、前記第1の受付部が前記一の操作領域に対する操作を受け付けたことに応じて、前記第2の操作画像を表示する請求項1に記載の操作訓練装置。 - 第2の受付部をさらに備え、
前記音声認識部は、前記音声情報を解析して認識候補を算出し、
前記表示部は、算出された前記認識候補を示す候補画像を表示させ、
前記第2の受付部は、前記候補画像に対する操作を受け付け、
前記音声認識部は、前記第2の受付部が受け付けた前記候補画像に対する操作に基づいて前記音声情報を認識する請求項1または2に記載の操作訓練装置。 - 複数の操作画像を記憶することと、
記憶された前記複数の操作画像のうちの第1の操作画像に含まれる一の操作領域と前記複数の操作画像のうちの第2の操作画像とを関連付けた関連情報を記憶することと、
発話された音声の音声情報を認識することと、
前記音声情報が前記第2の操作画像を指定するものであると認識された場合、前記一の操作領域を強調して前記第1の操作画像を表示した後に、前記一の操作画像に関連付けられた前記第2の操作画像を表示することと、
を含む操作訓練方法。 - 複数の操作画像を記憶することと、
記憶された前記複数の操作画像のうちの第1の操作画像に含まれる一の操作領域と前記複数の操作画像のうちの第2の操作画像とを関連付けた関連情報を記憶することと、
発話された音声の音声情報を認識することと、
前記音声情報が前記第2の操作画像を指定するものであると認識された場合、前記一の操作領域を強調して前記第1の操作画像を表示した後に、前記一の操作画像に関連付けられた前記第2の操作画像を表示することと、
をコンピュータに実行させる命令を記憶するコンピュータ読み取り可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023547982A JPWO2023042277A1 (ja) | 2021-09-14 | 2021-09-14 | |
PCT/JP2021/033810 WO2023042277A1 (ja) | 2021-09-14 | 2021-09-14 | 操作訓練装置、操作訓練方法、およびコンピュータ読み取り可能な記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2021/033810 WO2023042277A1 (ja) | 2021-09-14 | 2021-09-14 | 操作訓練装置、操作訓練方法、およびコンピュータ読み取り可能な記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023042277A1 true WO2023042277A1 (ja) | 2023-03-23 |
Family
ID=85602008
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/033810 WO2023042277A1 (ja) | 2021-09-14 | 2021-09-14 | 操作訓練装置、操作訓練方法、およびコンピュータ読み取り可能な記憶媒体 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2023042277A1 (ja) |
WO (1) | WO2023042277A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7442242B1 (ja) | 2023-08-24 | 2024-03-04 | 日研トータルソーシング株式会社 | 半導体搬送演習装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002318597A (ja) * | 2001-02-15 | 2002-10-31 | Alpine Electronics Inc | 音声入力案内方法及び装置 |
JP2013006472A (ja) * | 2011-06-23 | 2013-01-10 | Denso Corp | 表示装置 |
JP2013015732A (ja) * | 2011-07-05 | 2013-01-24 | Clarion Co Ltd | ナビゲーション装置、ナビゲーション装置を用いた音声認識方法、および、プログラム |
US20140343950A1 (en) * | 2013-05-15 | 2014-11-20 | Maluuba Inc. | Interactive user interface for an intelligent assistant |
WO2015128960A1 (ja) * | 2014-02-26 | 2015-09-03 | 三菱電機株式会社 | 車載制御装置および車載制御方法 |
WO2015162638A1 (ja) * | 2014-04-22 | 2015-10-29 | 三菱電機株式会社 | ユーザインターフェースシステム、ユーザインターフェース制御装置、ユーザインターフェース制御方法およびユーザインターフェース制御プログラム |
JP2020052515A (ja) * | 2018-09-25 | 2020-04-02 | 富士ゼロックス株式会社 | 操作画面制御装置及び操作画面制御プログラム |
JP2020155030A (ja) * | 2019-03-22 | 2020-09-24 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
JP2020201911A (ja) * | 2019-06-13 | 2020-12-17 | キヤノン株式会社 | 情報処理システム、情報処理装置、情報処理方法 |
-
2021
- 2021-09-14 JP JP2023547982A patent/JPWO2023042277A1/ja active Pending
- 2021-09-14 WO PCT/JP2021/033810 patent/WO2023042277A1/ja active Application Filing
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002318597A (ja) * | 2001-02-15 | 2002-10-31 | Alpine Electronics Inc | 音声入力案内方法及び装置 |
JP2013006472A (ja) * | 2011-06-23 | 2013-01-10 | Denso Corp | 表示装置 |
JP2013015732A (ja) * | 2011-07-05 | 2013-01-24 | Clarion Co Ltd | ナビゲーション装置、ナビゲーション装置を用いた音声認識方法、および、プログラム |
US20140343950A1 (en) * | 2013-05-15 | 2014-11-20 | Maluuba Inc. | Interactive user interface for an intelligent assistant |
WO2015128960A1 (ja) * | 2014-02-26 | 2015-09-03 | 三菱電機株式会社 | 車載制御装置および車載制御方法 |
WO2015162638A1 (ja) * | 2014-04-22 | 2015-10-29 | 三菱電機株式会社 | ユーザインターフェースシステム、ユーザインターフェース制御装置、ユーザインターフェース制御方法およびユーザインターフェース制御プログラム |
JP2020052515A (ja) * | 2018-09-25 | 2020-04-02 | 富士ゼロックス株式会社 | 操作画面制御装置及び操作画面制御プログラム |
JP2020155030A (ja) * | 2019-03-22 | 2020-09-24 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
JP2020201911A (ja) * | 2019-06-13 | 2020-12-17 | キヤノン株式会社 | 情報処理システム、情報処理装置、情報処理方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7442242B1 (ja) | 2023-08-24 | 2024-03-04 | 日研トータルソーシング株式会社 | 半導体搬送演習装置 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2023042277A1 (ja) | 2023-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100457509B1 (ko) | 터치스크린과 음성인식을 통해 동작 제어되는 정보단말기 및 그의 명령 실행 방법 | |
JP4006338B2 (ja) | 情報処理装置及びその方法、プログラム | |
US12042937B2 (en) | Robot programming device and robot programming method | |
CN110534109B (zh) | 语音识别方法、装置、电子设备及存储介质 | |
WO2023042277A1 (ja) | 操作訓練装置、操作訓練方法、およびコンピュータ読み取り可能な記憶媒体 | |
TW202013298A (zh) | 用於與智慧型工業輔助及工業機器通訊的方法、系統、及電腦程式產品 | |
US20200338737A1 (en) | Robot teaching device | |
CN111844085B (zh) | 机器人示教装置 | |
Norda et al. | Evaluating the efficiency of voice control as human machine interface in production | |
US20200338736A1 (en) | Robot teaching device | |
JP2001268669A (ja) | 移動電話端末を利用した機器制御装置、方法、及び記録媒体 | |
TW202032445A (zh) | 以具有一組預定命令的智慧型工業輔助來協調工業機器的方法、系統及電腦程式產品 | |
JP2006011641A (ja) | 情報入力方法及びその装置 | |
US11847148B2 (en) | Information processing device and setting device | |
KR101591867B1 (ko) | 음성명령 조합 기능을 갖는 인터랙티브 보드 및 이의 운용방법 | |
JP2000250587A (ja) | 音声認識装置及び音声認識翻訳装置 | |
WO2022269760A1 (ja) | 音声認識装置 | |
JPH08129476A (ja) | 音声データ入力装置 | |
JP6767102B2 (ja) | 情報処理装置、および、情報処理プログラム | |
JPS60146327A (ja) | 計算機対話方法 | |
US20080256071A1 (en) | Method And System For Selection Of Text For Editing | |
KR101809047B1 (ko) | 단축키 안내 장치 및 안내 방법 | |
WO2023152803A9 (ja) | 音声認識装置、及びコンピュータが読み取り可能な記録媒体 | |
WO2023100236A9 (ja) | 音声認識装置、およびコンピュータ読み取り可能な記憶媒体 | |
WO2023139770A1 (ja) | 文法作成支援装置、及びコンピュータが読み取り可能な記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21957461 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2023547982 Country of ref document: JP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |