WO2023042277A1 - 操作訓練装置、操作訓練方法、およびコンピュータ読み取り可能な記憶媒体 - Google Patents

操作訓練装置、操作訓練方法、およびコンピュータ読み取り可能な記憶媒体 Download PDF

Info

Publication number
WO2023042277A1
WO2023042277A1 PCT/JP2021/033810 JP2021033810W WO2023042277A1 WO 2023042277 A1 WO2023042277 A1 WO 2023042277A1 JP 2021033810 W JP2021033810 W JP 2021033810W WO 2023042277 A1 WO2023042277 A1 WO 2023042277A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
operation image
screen
images
unit
Prior art date
Application number
PCT/JP2021/033810
Other languages
English (en)
French (fr)
Inventor
桂祐 渡邊
Original Assignee
ファナック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファナック株式会社 filed Critical ファナック株式会社
Priority to JP2023547982A priority Critical patent/JPWO2023042277A1/ja
Priority to PCT/JP2021/033810 priority patent/WO2023042277A1/ja
Publication of WO2023042277A1 publication Critical patent/WO2023042277A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass

Definitions

  • the present disclosure relates to an operation training device, an operation training method, and a computer-readable storage medium.
  • Patent Document 1 a control device with a guide function that guides how to operate an industrial machine is known.
  • Patent Document 1 a guide function that guides how to operate an industrial machine.
  • An object of the present disclosure is to provide an operation training device, an operation training method, and a computer-readable storage medium that enable effective training of operations on industrial machines.
  • the operation training device comprises: a first storage unit storing a plurality of operation images; one operation region included in the first operation image among the plurality of operation images stored in the first storage unit; a second storage unit for storing related information associated with a second operation image among the operation images; a voice recognition unit for recognizing voice information of an uttered voice; display for displaying a second operation image associated with the one operation image after emphasizing the first operation region and displaying the first operation image when it is recognized that the operation image is designated and
  • the operation training method includes storing a plurality of operation images, one operation region included in a first operation image among the plurality of stored operation images, and a second operation image among the plurality of operation images. recognizing the voice information of the uttered voice; and displaying a second operation image associated with the one operation image after displaying the first operation image with emphasis.
  • a computer-readable storage medium storing a plurality of operation images; one operation region included in a first operation image among the plurality of stored operation images and a second operation image among the plurality of operation images; storing related information associated with the second operation image; recognizing voice information of the uttered voice; After displaying the first operation image by emphasizing the operation area, a command for causing the computer to display a second operation image associated with the one operation image is stored.
  • FIG. 10 is a diagram illustrating an example of transition of operation images
  • FIG. 10 is a diagram illustrating an example of transition of operation images
  • FIG. 11 is a diagram illustrating another example of transition of operation images
  • FIG. 11 is a diagram illustrating another example of transition of operation images
  • FIG. 11 is a diagram illustrating another example of transition of operation images
  • It is a flowchart which shows an example of the flow of the process performed with an operation training apparatus.
  • FIG. 10 is a diagram showing an example of recognition candidates displayed on the display screen;
  • FIG. 10 is a diagram showing an example of recognition candidates displayed on the display screen;
  • the operation training device is a device used for training for operators to learn how to operate industrial machinery.
  • Industrial machinery is a concept that includes numerical controllers and teaching pendants.
  • the operation training device can also be said to be a device used for training to learn how to operate the numerical control device and the teaching pendant.
  • the numerical control device is a device that executes numerical control of the machine tool.
  • a teaching pendant is a device for teaching the operation of an industrial robot such as a manipulator.
  • FIG. 1 is a block diagram showing an example of the hardware configuration of the operation training device.
  • the manipulation training device 1 is implemented in, for example, a PC (Personal Computer) and a mobile terminal.
  • Mobile terminals are, for example, tablets and smartphones.
  • the manipulation training device 1 may be mounted on a numerical controller and a teaching pendant.
  • the operation training device 1 includes, for example, a hardware processor 11, a bus 12, a ROM (Read Only Memory) 13, a RAM (Random Access Memory) 14, a nonvolatile memory 15, an interface 16, and an input/output device 17. and
  • the hardware processor 11 is a processor that controls the entire operation training device 1 according to the system program.
  • the hardware processor 11 reads a system program or the like stored in the ROM 13 via the bus 12 and performs various processes based on the system program.
  • the hardware processor 11 is, for example, a CPU (Central Processing Unit).
  • the bus 12 is a communication path that connects each piece of hardware within the operation training device 1 to each other. Each piece of hardware in the operation training device 1 exchanges data via the bus 12 .
  • the ROM 13 is a storage device that stores a system program and the like for controlling the operation training device 1 as a whole.
  • ROM 13 is a computer-readable storage medium.
  • the RAM 14 is a storage device that temporarily stores various data.
  • the RAM 14 functions as a work area for the hardware processor 11 to process various data.
  • the nonvolatile memory 15 is a storage device that retains data even when the operation training device 1 is powered off and power is not supplied to the operation training device 1 .
  • the nonvolatile memory 15 stores, for example, image data of a plurality of operation images.
  • the nonvolatile memory 15 is composed of, for example, an SSD (Solid State Drive).
  • Non-volatile memory 15 is a computer-readable storage medium.
  • the interface 16 connects the bus 12 and the input/output device 17 .
  • the interface 16 sends various data processed by the hardware processor 11 to the input/output device 17, for example.
  • the input/output device 17 is a device that receives various data via the interface 16 and displays various data. Also, the input/output device 17 receives input of various data and sends the various data to the hardware processor 11 via the interface 16 .
  • the input/output device 17 is, for example, a touch panel.
  • the touch panel is, for example, a capacitive touch panel. Note that the touch panel is not limited to the capacitive type, and may be a touch panel of another type.
  • the operation training device 1 is a device used for training for operators to learn how to operate industrial machines. Learning how to operate an industrial machine means, for example, learning what kind of operation image will be displayed when a button or icon displayed on a numerical control device or a teaching pendant display device is operated. That is. Furthermore, it is to learn how the operation images should be transitioned to reach the target operation image.
  • the operation image is an image displayed on the entire screen of the display device of the numerical controller or an image displayed on a pop-up screen of the display device.
  • the operation image includes an operation area in which soft keys and the like are displayed.
  • FIG. 2 is a block diagram showing an example of the functions of the operation training device 1.
  • the manipulation training device 1 includes, for example, a first storage unit 101, a second storage unit 102, a speech recognition unit 103, a specifying unit 104, and a display unit 105.
  • the first storage unit 101 and the second storage unit 102 are implemented, for example, by storing information received via a network (not shown) in the RAM 14 or the nonvolatile memory 15 .
  • the speech recognition unit 103, the identification unit 104, and the display unit 105 are operated by the hardware processor 11 using, for example, a system program stored in the ROM 13 and various data stored in the nonvolatile memory 15. It is realized by
  • the first storage unit 101 stores a plurality of operation images.
  • the plurality of operation images are, for example, the same images as the operation image displayed on the display device of the numerical controller or the operation image displayed on the display device of the teaching pendant. The term same does not necessarily refer to exactly the same.
  • the plurality of operation images stored in the first storage unit 101 are similar enough to be recognized as corresponding to the plurality of operation images displayed on the numerical control device or the display device of the teaching pendant. All you have to do is
  • the plurality of operation images include, for example, an operation image showing the home screen, an operation image showing the setup screen, an operation image showing the external interface screen, and an operation image showing the machine status output setting screen.
  • the operation images indicating the setup screens include, for example, operation images respectively indicating the first setup screen, the second setup screen, and the third setup screen.
  • the plurality of operation images further include an operation image showing a PC operation screen, an operation image showing a tool information management screen, an operation image showing a network screen, an operation image showing an NC operation screen, an operation image showing a production control screen, an accuracy adjustment
  • the second storage unit 102 stores one operation area included in the first operation image among the plurality of operation images stored in the first storage unit 101 and the second operation image among the plurality of operation images. and stores related information associated with.
  • the operation area is the area where the soft keys included in the operation image are displayed. Soft keys are, for example, operation buttons and icons.
  • the second operation image is an operation image specified based on audio information, as will be described later. In other words, it is an operation image specified based on the voice uttered by the operator, and is an image that the operator wants to display on the display screen.
  • related information is information that defines an operation image to be displayed next in response to operation of each operation area included in a plurality of operation images.
  • the related information associates and stores the operation area and the operation image that will be displayed next when the operation area is operated.
  • the related information is information indicating the order of transition of a plurality of operation images.
  • FIG. 3 is a diagram explaining related information.
  • Each block in FIG. 3 represents an operation image.
  • a blank block indicates an arbitrary operation image.
  • a line connecting each block indicates that each block is related.
  • the operation image showing the home screen A1 is associated with the operation image showing the first setup screen A2, the operation image showing the PC operation screen A3, and the operation image showing the tool information management screen A4.
  • the home screen A1 includes a first setup key for transitioning to the first setup screen A2, a PC operation key for transitioning to the PC operation screen A3, and a key for transitioning to the tool information management screen A4.
  • Tool information management screen key is displayed.
  • the operation images showing the home screen A1 include an operation image showing the network screen, an operation image showing the NC operation screen, an operation image showing the production control screen, an operation image showing the accuracy adjustment screen, An operation image showing the maintenance information management screen, an operation image showing the maintenance inspection screen, an operation image showing the servo viewer screen, an operation image showing the setting screen, an operation image showing the file manager screen, an operation image showing the manual screen, and a memo screen. and the operation image showing the browser screen.
  • the home screen further includes a network key for transitioning to the network screen, an NC operation key for transitioning to the NC operation screen, a production control key for transitioning to the production control screen, and a precision adjustment screen.
  • maintenance information management key for transitioning to the maintenance information management screen, maintenance inspection key for transitioning to the maintenance inspection screen, servo viewer key for transitioning to the servo viewer screen, and transition to the setting screen
  • a setting key a file manager key for transitioning to the file manager screen, a manual key for transitioning to the manual screen, a memo key for transitioning to the memo screen, and a browser key for transitioning to the browser screen are displayed.
  • the operation image showing the first setup screen A2 is associated with the operation image showing the second setup screen A5 and the operation image showing the third setup screen A6.
  • the first setup screen A2 displays a second setup key for transitioning to the second setup screen A5 and a third setup key for transitioning to the third setup screen A6.
  • the operation image showing the second setup screen A5 is associated with operation images showing a plurality of operation screens. In this case, soft keys for transitioning to each operation image are displayed on the second setup screen A5.
  • the operation image showing the third setup screen A6 is associated with, for example, the operation image showing the external interface screen A7, the operation image showing the custom operation panel screen A8, and the operation image showing the I/O setting screen A9.
  • the third setup screen A6 includes an external interface key for transitioning to the external interface screen A7, a custom operation panel key for transitioning to the custom operation panel screen A8, and a transition to the I/O setting screen A9. I/O setting keys for
  • the operation image showing the external interface screen A7 is associated with, for example, an operation image showing the machine status output setting screen A10, an operation image showing the M code setting screen A11, and an operation image showing the output signal screen A12.
  • the external interface screen A7 includes a machine state output setting key for transitioning to the machine state output setting screen A10, an M code setting key for transitioning to the M code setting screen A11, and a transition to the output signal screen A12.
  • the output signal key for is displayed.
  • the operation image showing the custom operation panel screen A8 and the operation image showing the I/O setting screen A9 are respectively associated with the operation images showing multiple operation screens.
  • the custom operation panel screen A8 and the I/O setting screen A9 each display a plurality of soft keys for transitioning to other operation screens.
  • the operation image showing the PC operation screen A3 and the operation image showing the tool information management screen A4 are each associated with the operation images showing a plurality of operation screens.
  • the PC operation screen A3 and the tool information management screen A4 each display soft keys for transitioning to a plurality of operation screens. Note that FIG. 3 shows only part of the related information. Now, return to the description of FIG.
  • the voice recognition unit 103 recognizes the voice information of the uttered voice. In other words, the speech recognition unit 103 recognizes what kind of words the uttered speech indicates.
  • the voice recognition unit 103 acquires voice information of the voice uttered by the operator from a microphone (not shown) connected to the manipulation training device 1 . Audio information is an electrical signal produced by a microphone.
  • the speech recognition unit 103 recognizes speech information using a speech recognition model.
  • a speech recognition model is used to determine phonemes contained in speech information.
  • a speech recognition model is generated, for example, by performing machine learning using speech information of speech uttered by a speaker as training data.
  • a spoken voice is, for example, a voice spoken by an operator.
  • the operator wants to display a desired operation image on the display screen, the operator speaks the name of the operation image to be displayed. For example, when the operator wants to display the machine status output setting screen on the display screen, the operator speaks "machine status output setting screen”.
  • the operator may utter a desired operation, such as "I want to set the machine status output.”
  • the voice recognition device may convert the uttered voice into the "machine state output setting screen" and recognize it by a predetermined voice recognition program.
  • the specifying unit 104 When the speech recognition unit 103 recognizes that the speech information designates the second operation image, the specifying unit 104 performs speech recognition based on the related information stored in the second storage unit 102 . The order of image transition from the operation image displayed on the display screen to the second operation image is specified. Based on the related information, the specifying unit 104 also specifies an operation region to be highlighted when the operation image displayed on the display screen to the second operation image are displayed in order.
  • the display unit 105 displays the images on the display screen in the order of the image transition specified by the specifying unit 104.
  • the operation image to the second operation image are displayed in order on the display screen.
  • the display screen is the display screen of the input/output device 17 .
  • the operation image displayed immediately before the second operation image is called the first operation image.
  • the display unit 105 displays the second operation image associated with the one operation image after emphasizing the one operation region and displaying the first operation image. In other words, the display unit 105 transitions from displaying the first operation image to displaying the second operation image.
  • the display unit 105 transitions from the first operation image to the second operation image in response to displaying the first operation image for a predetermined period. That is, in the first operation image, one operation area is maintained in a state of being highlighted for a predetermined period.
  • Emphasizing and displaying one operation area means displaying to prompt the user to operate the one operation area. That is, one operation area is displayed more conspicuously than the other areas.
  • the highlighting is, for example, displaying the operation area in which the soft key is displayed with the brightness higher than that of other areas.
  • the highlighting may be a blinking display of only one operation area. Also, the highlighting may be displaying an arrow pointing to one operation area.
  • FIG. 4A and 4B are diagrams illustrating an example of transition of operation images displayed by the display unit 105.
  • FIG. When the voice recognition unit 103 recognizes that the voice information designates the setup screen while the operation image indicating the home screen is displayed, the display unit 105 highlights the setup key included in the home screen. (See Figure 4A).
  • the display unit 105 transitions from the state in which the setup key is highlighted to the state in which the operation image showing the first setup screen is displayed (see FIG. 4B). For example, display unit 105 displays an operation image showing a first setup screen after maintaining a state in which the setup key is highlighted on the home screen for a predetermined period of time.
  • the predetermined period is, for example, two seconds.
  • the image representing the home screen corresponds to the first operation image
  • the operation image representing the first setup screen corresponds to the second operation image.
  • FIG. 5A to 5D are diagrams illustrating other examples of transition of operation images displayed by the display unit 105.
  • FIG. When the speech recognition unit 103 recognizes that the speech information designates the machine status output setting screen while the operation image showing the first setup screen is displayed, the display unit 105 displays the first setup screen. Highlight the included external device key (see Figure 5A).
  • the display unit 105 transitions from the state in which the external device key is highlighted to the state in which the image showing the third setup screen is displayed (see FIG. 5B).
  • Display unit 105 highlights the external interface key when displaying the operation image showing the third setup screen.
  • display unit 105 displays an operation image showing an external interface screen (see FIG. 5C).
  • the display unit 105 highlights the machine state output setting key when displaying the external interface screen. After maintaining the state in which the machine state output setting key is highlighted for a predetermined period of time, the display unit 105 displays an operation image showing the machine state output setting screen on a pop-up screen (see FIG. 5D).
  • the operation image showing the external interface screen corresponds to the first operation image
  • the operation image showing the machine state output setting screen corresponds to the second operation image.
  • FIG. 6 is a flowchart showing an example of the flow of processing executed by the manipulation training device 1.
  • the first storage unit 101 stores, for example, a plurality of operation images received from an external server (step SA1).
  • the second storage unit 102 stores, for example, related information received from the external server (step SA2).
  • the speech recognition unit 103 recognizes the speech information of the speech acquired by the microphone (step SA3).
  • the specifying unit 104 specifies the order of image transition from the operation image displayed on the display screen to the second operation image at the time when the voice information of the voice information is recognized based on the related information (step SA4). Further, the specifying unit 104 specifies an operation region to be highlighted when the operation image displayed on the display screen to the second operation image are displayed in order.
  • the display unit 105 highlights one operation area included in the operation image displayed on the display screen based on the information indicating the operation area specified by the specifying unit 104 (step SA5).
  • the display unit 105 displays an operation image to be displayed next to the operation image displayed on the display screen (step SA6).
  • the operation training device 1 ends the process.
  • the manipulation training device 1 may wait for the speech recognition unit 103 to perform speech recognition again.
  • step SA7 If the operation image displayed on the display screen is not the second operation image (No in step SA7), the process returns to step SA5.
  • the operation training device 1 includes the first storage unit 101 that stores a plurality of operation images, and the first operation image among the plurality of operation images stored in the first storage unit 101.
  • a second storage unit 102 that stores related information that associates one included operation area with a second operation image out of a plurality of operation images, and a voice recognition unit 103 that recognizes voice information of an uttered voice.
  • the speech recognition unit 103 recognizes that the speech information designates the second operation image
  • the first operation image is displayed with the first operation area emphasized, and then the first operation image is displayed.
  • a display unit 105 that displays the associated second operation image.
  • the operation training device 1 can sequentially display from the operation image displayed on the display screen when the voice recognition unit 103 recognizes the voice information to the operation image specified by the voice information. Also, one operation area included in the sequentially displayed operation images is highlighted. Therefore, the operation training device 1 can effectively train the operation of the industrial machine. In other words, the operator can effectively learn the procedure for displaying a desired operation image on the display screen.
  • the operation image is an operation image displayed on the display device of the numerical controller or the display device of the teaching pendant.
  • the operation image is not limited to this example, and may be an image of part or the whole of the operation panel of the numerical controller, or an image of part or the whole of the teaching pendant.
  • the operation panel or the area where the hard keys of the teaching pendant are displayed is the operation area.
  • the manipulation training device 1 can train not only the manipulation image displayed on the display device of the numerical control device but also the manipulation of the buttons or switches of the control panel.
  • the operation training device 1 can train not only the operation of the operation image displayed on the display device of the teaching pendant, but also the operation of the buttons or switches of the teaching pendant.
  • the specifying unit 104 For example, in a state where the image showing the I/O setting screen A9 is displayed, when the speech recognition unit 103 recognizes that the speech information designates the machine state output setting screen A10, the specifying unit 104 For example, the order of image transition can be set to the operation image showing the I/O setting screen A9, the operation image showing the third setup screen A6, the operation image showing the external interface screen A7, and the operation image showing the machine status output setting screen A10. Identify in the order of
  • the operation image showing the I/O setting screen A9 includes, for example, a "return button” for transitioning from the left block to the right block in FIG.
  • the display unit 105 may highlight the “return button” when transitioning from the operation image showing the I/O setting screen A9 to the operation image showing the third setup screen A6.
  • the display unit 105 automatically transitions the operation image being displayed to the next operation image after a predetermined period of time.
  • the operation training device 1 may transition to the next operation image in response to receiving an operation on the highlighted operation area.
  • the operation training device 1 further includes a first reception section, and the first reception section receives an operation on the operation area.
  • FIG. 7 is a block diagram showing an example of the functions of the manipulation training device 1 including the first receiving section.
  • the manipulation training device 1 shown in FIG. 7 differs from the manipulation training device 1 shown in FIG. Therefore, description of functions other than the first reception unit 106 will be omitted as appropriate.
  • the first reception unit 106 is realized, for example, by the hardware processor 11 performing arithmetic processing using the system program stored in the ROM 13 and various data stored in the non-volatile memory 15 .
  • the first reception unit 106 receives an operation for one operation area displayed by the display unit 105 .
  • the first receiving unit 106 receives an operation for one operation area included in the operation image displayed on the display screen. If the input/output device 17 is a touch panel, the reception unit receives a touch operation on one operation area displayed on the display screen of the touch panel.
  • the display unit 105 displays the second operation image in response to the first reception unit 106 having received an operation on the one operation area.
  • the display unit 105 highlight the setup key contained in the home screen A1 (see FIG. 4A).
  • the display unit 105 displays an operation image showing the first setup screen A2 (see FIG. 4B).
  • first accepting unit 106 does not accept an operation for the setup key
  • display unit 105 maintains the display of the operation image showing the home screen with the setup key highlighted.
  • FIG. 8 is a flowchart showing an example of the flow of processing executed by the manipulation training device 1.
  • the first storage unit 101 stores, for example, a plurality of operation images received from an external server (step SB1).
  • the second storage unit 102 stores, for example, related information received from the external server (step SB2).
  • the speech recognition unit 103 recognizes the speech information of the speech acquired by the microphone (step SB3).
  • the specifying unit 104 specifies the order of image transition from the operation image displayed on the display screen to the second operation image when the voice information is recognized based on the related information (step SB4). Further, the specifying unit 104 specifies an operation region to be highlighted when the operation image displayed on the display screen to the second operation image are displayed in order.
  • the display unit 105 highlights one operation area included in the operation image displayed on the display screen based on the information indicating the operation area identified by the identification unit 104 (step SB5).
  • step SB6 When the first receiving unit 106 receives an operation for the one operation area while the one operation area is highlighted by the display unit 105 (Yes in step SB6), the display unit 105 displays the An operation image to be displayed next to the displayed operation image is displayed (step SB7). On the other hand, when first accepting unit 106 does not accept an operation for one operation area (No in step SB6), display unit 105 maintains the one operation area highlighted.
  • step SB8 the operation training device 1 ends the process.
  • step SB8 if the operation image displayed on the display screen is not the second operation image (No in step SB8), the process returns to step SB5.
  • the operation training device 1 further includes the first reception unit 106 that receives an operation on one operation area displayed by the display unit 105.
  • the display unit 105 has the first reception unit 106 A second operation image is displayed in response to receiving an operation on the operation area.
  • the operation training device 1 can make the operator actually operate the operation image. As a result, the operation training device 1 can effectively train the operation of the industrial machine.
  • the speech recognition unit 103 may analyze the speech information, calculate recognition candidates, and receive an operation on the calculated recognition candidates before recognizing the speech information.
  • the manipulation training device 1 further includes a second reception unit that receives manipulations for the calculated recognition candidates.
  • FIG. 9 is a block diagram showing an example of the functions of the manipulation training device 1 including the second receiving section. Among the functions of the manipulation training device 1 shown in FIG. 9, the description of the same functions as those of the manipulation training device 1 shown in FIG. 2 will be omitted as appropriate.
  • the second reception unit 107 is realized, for example, by the hardware processor 11 performing arithmetic processing using the system program stored in the ROM 13 and various data stored in the non-volatile memory 15 .
  • the speech recognition unit 103 analyzes speech information and calculates recognition candidates. For example, when the voice uttered by the operator is "I want to set the machine state output", the voice recognition unit 103 analyzes voice information using a predetermined voice recognition program and calculates an analysis result.
  • the analysis result is, for example, "machine state output setting”.
  • the display unit 105 displays a candidate image indicating the calculated recognition candidate on the display screen.
  • the display unit 105 displays the candidate images on, for example, a pop-up screen.
  • FIG. 10 is a diagram showing an example of candidate images displayed on the display screen.
  • the display unit 105 causes the pop-up screen to display candidate images including the characters "machine state output setting", "yes", and "no".
  • the areas marked with "yes” and “no" are softkeys, respectively.
  • the second reception unit 107 receives operations on candidate images.
  • the candidate image displayed on the display screen displays soft keys with characters "Yes” and "No"
  • the second accepting unit 107 accepts an operation for any of the soft keys. .
  • the voice recognition unit 103 recognizes voice information based on the operation on the candidate image received by the second receiving unit 107 .
  • the voice recognition unit 103 recognizes that the voice information indicates "machine state output setting". .
  • the subsequent processing is the same as that of the embodiment described above.
  • the voice recognition unit 103 recognizes that the voice information does not indicate "machine state output setting".
  • the display unit 105 may, for example, again display a message prompting the operator to input voice.
  • FIG. 11 is a diagram showing an example of candidate images displayed on the display screen.
  • the display unit 105 causes the pop-up screen to display a candidate image including characters “Machine status output setting?” and “External interface?”.
  • the areas where these characters are displayed are soft keys.
  • the second reception unit 107 receives operations on candidate images.
  • the candidate image displayed on the display screen displays soft keys with characters “Machine status output setting?” and “External interface?” Accepts softkey operations.
  • the voice recognition unit 103 recognizes voice information based on the operation on the candidate image received by the second receiving unit 107 .
  • the voice recognition unit 103 recognizes that the voice information indicates "external interface". .
  • the display unit 105 may display, for example, a soft key with the characters "Others" drawn on the display screen.
  • the voice recognition unit 103 recognizes that the voice information indicates "machine status output setting" and "external interface". recognize that it is not.
  • the display unit 105 may, for example, again display a message prompting the operator to input voice.
  • the operation training device 1 further includes the second receiving unit 107, and the voice recognition unit 103 analyzes voice information and calculates recognition candidates.
  • the display unit 105 displays candidate images indicating the calculated recognition candidates.
  • a second receiving unit 107 receives an operation on the candidate image.
  • the voice recognition unit 103 recognizes voice information based on the operation on the candidate image received by the second receiving unit 107 .
  • the speech recognition device can reliably recognize the voice uttered by the operator.
  • operation training device 11 hardware processor 12 bus 13 ROM 14 RAMs 15 nonvolatile memory 16 interface 17 input/output device 101 first storage unit 102 second storage unit 103 speech recognition unit 104 identification unit 105 display unit 106 first reception unit 107 second reception unit

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

操作訓練装置が、複数の操作画像を記憶する第１の記憶部と、第１の記憶部に記憶された複数の操作画像のうちの第１の操作画像に含まれる一の操作領域と複数の操作画像のうちの第２の操作画像とを関連付けた関連情報を記憶する第２の記憶部と、発話された音声の音声情報を認識する音声認識部と、音声認識部によって音声情報が第２の操作画像を指定するものであると認識された場合、一の操作領域を強調して第１の操作画像を表示した後に、一の操作画像に関連付けられた第２の操作画像を表示する表示部と、を備える。

Description

操作訓練装置、操作訓練方法、およびコンピュータ読み取り可能な記憶媒体
　本開示は、操作訓練装置、操作訓練方法、およびコンピュータ読み取り可能な記憶媒体に関する。
　従来、産業機械の操作方法をガイドするガイド機能を備えた制御装置が知られている（特許文献１）。このようなガイド機能を利用することにより、経験の浅いオペレータであっても、産業機械の操作を適切に行うことができる。
特開平５－３２４０３８号公報
　しかし、ガイド機能を利用する場合、オペレータは、ガイド情報を参照しながら操作を行う必要がある。そのため、オペレータは、産業機械に対する操作を迅速に行うことができない。このような事情により、ガイド機能を利用しなくても産業機械に対する操作をオペレータが迅速に行うことができるように、オペレータを訓練することが望まれる。
　本開示は、産業機械に対する操作の訓練を効果的に行うことが可能な操作訓練装置、操作訓練方法、およびコンピュータ読み取り可能な記憶媒体を提供することを目的とする。
　操作訓練装置が、複数の操作画像を記憶する第１の記憶部と、第１の記憶部に記憶された複数の操作画像のうちの第１の操作画像に含まれる一の操作領域と複数の操作画像のうちの第２の操作画像とを関連付けた関連情報を記憶する第２の記憶部と、発話された音声の音声情報を認識する音声認識部と、音声認識部によって音声情報が第２の操作画像を指定するものであると認識された場合、一の操作領域を強調して第１の操作画像を表示した後に、一の操作画像に関連付けられた第２の操作画像を表示する表示部と、を備える。
　操作訓練方法が、複数の操作画像を記憶することと、記憶された複数の操作画像のうちの第１の操作画像に含まれる一の操作領域と複数の操作画像のうちの第２の操作画像とを関連付けた関連情報を記憶することと、発話された音声の音声情報を認識することと、音声情報が第２の操作画像を指定するものであると認識された場合、一の操作領域を強調して第１の操作画像を表示した後に、一の操作画像に関連付けられた第２の操作画像を表示することと、を含む。
　コンピュータ読み取り可能な記憶媒体が、複数の操作画像を記憶することと、記憶された複数の操作画像のうちの第１の操作画像に含まれる一の操作領域と複数の操作画像のうちの第２の操作画像とを関連付けた関連情報を記憶することと、発話された音声の音声情報を認識することと、音声情報が第２の操作画像を指定するものであると認識された場合、一の操作領域を強調して第１の操作画像を表示した後に、一の操作画像に関連付けられた第２の操作画像を表示することと、をコンピュータに実行させる命令を記憶する。
　本開示の一態様により、産業機械に対する操作の訓練を効果的に行うことが可能となる。
操作訓練装置のハードウェア構成の一例を示すブロック図である。 操作訓練装置の機能の一例を示すブロック図である。 関連情報について説明する図である。 操作画像の遷移の一例を説明する図である。 操作画像の遷移の一例を説明する図である。 操作画像の遷移の他の例を説明する図である。 操作画像の遷移の他の例を説明する図である。 操作画像の遷移の他の例を説明する図である。 操作画像の遷移の他の例を説明する図である。 操作訓練装置で実行される処理の流れの一例を示すフローチャートである。 操作訓練装置の機能の一例を示すブロック図である。 操作訓練装置で実行される処理の流れの一例を示すフローチャートである。 操作訓練装置の機能の一例を示すブロック図である。 表示画面に表示された認識候補の一例を示す図である。 表示画面に表示された認識候補の一例を示す図である。
　以下、本開示の実施形態に係る操作訓練装置について図面を用いて説明する。なお、以下の実施形態で説明する特徴のすべての組み合わせが課題解決に必ずしも必要であるとは限らない。また、必要以上の詳細な説明を省略する場合がある。また、以下の実施形態の説明、および図面は、当業者が本開示を十分に理解するために提供されるものであり、請求の範囲を限定することを意図していない。
　操作訓練装置は、オペレータが産業機械の操作を学ぶための訓練に利用される装置である。産業機械は、数値制御装置、およびティーチングペンダントを含む概念である。つまり、操作訓練装置は、数値制御装置、およびティーチングペンダントの操作を学ぶための訓練に利用される装置ということもできる。ここで、数値制御装置は、工作機械の数値制御を実行する装置である。ティーチングペンダントは、マニピュレータなどの産業用ロボットの動作を教示するための装置である。
　図１は、操作訓練装置のハードウェア構成の一例を示すブロック図である。操作訓練装置１は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、および携帯端末に実装される。携帯端末は、例えば、タブレット、およびスマートフォンである。操作訓練装置１は、数値制御装置、およびティーチングペンダントに実装されてもよい。
　操作訓練装置１は、例えば、ハードウェアプロセッサ１１と、バス１２と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１３と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１４と、不揮発性メモリ１５と、インタフェース１６と、入出力装置１７とを備えている。
　ハードウェアプロセッサ１１は、システムプログラムに従って操作訓練装置１全体を制御するプロセッサである。ハードウェアプロセッサ１１は、バス１２を介してＲＯＭ１３に格納されたシステムプログラムなどを読み出し、システムプログラムに基づいて各種処理を行う。ハードウェアプロセッサ１１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）である。
　バス１２は、操作訓練装置１内の各ハードウェアを互いに接続する通信路である。操作訓練装置１内の各ハードウェアはバス１２を介してデータをやり取りする。
　ＲＯＭ１３は、操作訓練装置１全体を制御するためのシステムプログラムなどを記憶する記憶装置である。ＲＯＭ１３は、コンピュータ読み取り可能な記憶媒体である。
　ＲＡＭ１４は、各種データを一時的に格納する記憶装置である。ＲＡＭ１４は、ハードウェアプロセッサ１１が各種データを処理するための作業領域として機能する。
　不揮発性メモリ１５は、操作訓練装置１の電源が切られ、操作訓練装置１に電力が供給されていない状態でもデータを保持する記憶装置である。不揮発性メモリ１５は、例えば、複数の操作画像の画像データを記憶する。不揮発性メモリ１５は、例えば、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）で構成される。不揮発性メモリ１５は、コンピュータ読み取り可能な記憶媒体である。
　インタフェース１６は、バス１２と入出力装置１７とを接続する。インタフェース１６は、例えば、ハードウェアプロセッサ１１が処理した各種データを入出力装置１７に送る。
　入出力装置１７は、インタフェース１６を介して各種データを受け、各種データを表示する装置である。また、入出力装置１７は、各種データの入力を受け付けてインタフェース１６を介して各種データをハードウェアプロセッサ１１に送る。入出力装置１７は、例えば、タッチパネルである。入出力装置１７がタッチパネルである場合、タッチパネルは、例えば、静電容量方式のタッチパネルである。なお、タッチパネルは、静電容量方式に限らず、他の方式のタッチパネルであってもよい。
　次に、操作訓練装置１の機能について説明する。上述したとおり、操作訓練装置１は、オペレータが産業機械の操作を学ぶための訓練に利用される装置である。産業機械の操作を学ぶとは、例えば、数値制御装置、またはティーチングペンダントの表示装置に表示されるどのボタン、またはアイコンに対する操作を行えば、次にどのような操作画像が表示されるかを学ぶことである。さらに、操作画像をどのように遷移させれば、目的の操作画像に到達するかを学ぶことである。ここで、操作画像とは、数値制御装置が有する表示装置の画面全体に表示される画像、または表示装置のポップアップ画面に表示される画像である。操作画像は、ソフトキーなどが表示される操作領域を含む。
　図２は、操作訓練装置１の機能の一例を示すブロック図である。操作訓練装置１は、例えば、第１の記憶部１０１と、第２の記憶部１０２と、音声認識部１０３と、特定部１０４と、表示部１０５とを備える。第１の記憶部１０１、および第２の記憶部１０２は、例えば、ネットワーク（不図示）を介して受け付けた情報が、ＲＡＭ１４、または不揮発性メモリ１５に記憶されることにより実現される。音声認識部１０３、特定部１０４、および表示部１０５は、例えば、ハードウェアプロセッサ１１が、ＲＯＭ１３に記憶されているシステムプログラムならびに不揮発性メモリ１５に記憶されている各種データを用いて演算処理することにより実現される。
　第１の記憶部１０１は、複数の操作画像を記憶する。複数の操作画像は、例えば、数値制御装置の表示装置に表示される操作画像、または、ティーチングペンダントの表示装置に表示される操作画像と同じ画像である。同じという用語は、必ずしも完全に同じということを指すものではない。第１の記憶部１０１が記憶する複数の操作画像は、それぞれ、数値制御装置、またはティーチングペンダントの表示装置に表示される複数の操作画像に対応するものであると認識される程度に類似していればよい。
　複数の操作画像は、例えば、ホーム画面を示す操作画像、セットアップ画面を示す操作画像、外部インタフェース画面を示す操作画像、および機械状態出力設定画面を示す操作画像を含む。セットアップ画面を示す操作画像は、例えば、第１のセットアップ画面と第２のセットアップ画面と第３のセットアップ画面とをそれぞれ示す操作画像を含む。
　複数の操作画像は、さらに、ＰＣオペレーション画面を示す操作画像、工具情報管理画面を示す操作画像、ネットワーク画面を示す操作画像、ＮＣオペレーション画面を示す操作画像、生産管理画面を示す操作画像、精度調整画面を示す操作画像、保守情報管理画面を示す操作画像、保守点検画面を示す操作画像、サーボビューワ画面を示す操作画像、設定画面を示す操作画像、ファイルマネージャ画面を示す操作画像、マニュアル画面を示す操作画像、メモ画面を示す操作画像、ブラウザ画面を示す操作画像を含む。
　第２の記憶部１０２は、第１の記憶部１０１に記憶された複数の操作画像のうちの第１の操作画像に含まれる一の操作領域と複数の操作画像のうちの第２の操作画像とを関連付けた関連情報を記憶する。
　操作領域とは、操作画像に含まれるソフトキーが表示される領域である。ソフトキーは、例えば、操作ボタン、およびアイコンである。第２の操作画像は、後述するように、音声情報に基づいて特定される操作画像である。言い換えれば、オペレータが発話する音声に基づいて特定される操作画像であり、オペレータが表示画面に表示させたい画像である。
　関連情報について別の言い方をすれば、関連情報は、複数の操作画像に含まれるそれぞれの操作領域が操作されることに応じて、次に表示される操作画像を規定する情報である。つまり、関連情報は、操作領域と、操作領域が操作されることによって次に表示される操作画像とを関連付けて記憶する。関連情報について、さらに別の言い方をすれば、関連情報は、複数の操作画像の遷移の順番を示す情報である。
　図３は、関連情報について説明する図である。図３の各ブロックは、操作画像を示している。空欄のブロックは、任意の操作画像を示している。各ブロックを連結する線は、各ブロックが関連付けられていることを示している。
　例えば、ホーム画面Ａ１を示す操作画像は、第１のセットアップ画面Ａ２を示す操作画像、ＰＣオペレーション画面Ａ３を示す操作画像、および工具情報管理画面Ａ４を示す操作画像に関連付けられている。この場合、ホーム画面Ａ１には、第１のセットアップ画面Ａ２に遷移させるための第１のセットアップキー、ＰＣオペレーション画面Ａ３に遷移させるためのＰＣオペレーションキー、および工具情報管理画面Ａ４に遷移させるための工具情報管理画面キーが表示される。
　また、図示は省略されているが、ホーム画面Ａ１を示す操作画像は、ネットワーク画面を示す操作画像、ＮＣオペレーション画面を示す操作画像、生産管理画面を示す操作画像、精度調整画面を示す操作画像、保守情報管理画面を示す操作画像、保守点検画面を示す操作画像、サーボビューワ画面を示す操作画像、設定画面を示す操作画像、ファイルマネージャ画面を示す操作画像、マニュアル画面を示す操作画像、メモ画面を示す操作画像、およびブラウザ画面を示す操作画像に関連付けられていてもよい。
　この場合、ホーム画面には、さらに、ネットワーク画面に遷移させるためのネットワークキー、ＮＣオペレーション画面に遷移させるためのＮＣオペレーションキー、生産管理画面に遷移させるための生産管理キー、精度調整画面に遷移させるため精度調整キー、保守情報管理画面に遷移させるための保守情報管理キー、保守点検画面に遷移させるための保守点検キー、サーボビューワ画面に遷移させるためのサーボビューワキー、設定画面に遷移させるための設定キー、ファイルマネージャ画面に遷移させるためのファイルマネージャキー、マニュアル画面に遷移させるためのマニュアルキー、メモ画面に遷移させるためのメモキー、およびブラウザ画面に遷移させるためのブラウザキーが表示される。
　第１のセットアップ画面Ａ２を示す操作画像は、第２のセットアップ画面Ａ５を示す操作画像、および第３のセットアップ画面Ａ６を示す操作画像に関連付けられている。この場合、第１のセットアップ画面Ａ２には、第２のセットアップ画面Ａ５に遷移させるための第２のセットアップキーおよび第３のセットアップ画面Ａ６に遷移させるための第３のセットアップキーが表示される。
　第２のセットアップ画面Ａ５を示す操作画像は、詳細な説明は省略するが、複数の操作画面を示す操作画像に関連付けられている。この場合、第２のセットアップ画面Ａ５には、各操作画像に遷移させるためのソフトキーが表示される。
　第３のセットアップ画面Ａ６を示す操作画像は、例えば、外部インタフェース画面Ａ７を示す操作画像、カスタム操作盤画面Ａ８を示す操作画像、およびＩ／Ｏ設定画面Ａ９を示す操作画像に関連付けられている。この場合、第３のセットアップ画面Ａ６には、外部インタフェース画面Ａ７に遷移させるための外部インタフェースキー、カスタム操作盤画面Ａ８に遷移させるためのカスタム操作盤キー、およびＩ／Ｏ設定画面Ａ９に遷移させるためのＩ／Ｏ設定キーが表示される。
　外部インタフェース画面Ａ７を示す操作画像は、例えば、機械状態出力設定画面Ａ１０を示す操作画像、Ｍコード設定画面Ａ１１を示す操作画像、および出力信号画面Ａ１２を示す操作画像に関連付けられている。この場合、外部インタフェース画面Ａ７には、機械状態出力設定画面Ａ１０に遷移させるための機械状態出力設定キー、Ｍコード設定画面Ａ１１に遷移させるためのＭコード設定キー、および出力信号画面Ａ１２に遷移させるための出力信号キーが表示される。
　同様に、カスタム操作盤画面Ａ８を示す操作画像、およびＩ／Ｏ設定画面Ａ９を示す操作画像はそれぞれ、複数の操作画面を示す操作画像に関連付けられている。この場合、カスタム操作盤画面Ａ８、およびＩ／Ｏ設定画面Ａ９にはそれぞれ、その他の操作画面に遷移させるための複数のソフトキーが表示される。
　同様に、ＰＣオペレーション画面Ａ３を示す操作画像、および工具情報管理画面Ａ４を示す操作画像はそれぞれ、複数の操作画面を示す操作画像に関連付けられている。この場合、ＰＣオペレーション画面Ａ３、および工具情報管理画面Ａ４にはそれぞれ、複数の操作画面に遷移させるためのソフトキーが表示される。なお、図３には、関連情報の一部のみが描かれている。ここで、図２の説明に戻る。
　音声認識部１０３は、発話された音声の音声情報を認識する。つまり、音声認識部１０３は、発話された音声がどのような文言を示すものであるのかを認識する。音声認識部１０３は、操作訓練装置１に接続されたマイクロフォン（不図示）から、オペレータによって発話された音声の音声情報を取得する。音声情報は、マイクロフォンによって生成された電気信号である。
　音声認識部１０３は、音声認識モデルを利用して音声情報を認識する。音声認識モデルは、音声情報に含まれる音素を判別するために利用される。音声認識モデルは、例えば、発話者によって発話された音声の音声情報を教師データとして機械学習が行われることにより生成される。
　発話された音声とは、例えば、オペレータによって発話された音声である。オペレータは、所望の操作画像を表示画面に表示させたい場合、表示させたい操作画像の名称を発話する。例えば、オペレータが機械状態出力設定画面を表示画面に表示させたい場合、オペレータは、「機械状態出力設定画面」と発話する。
　あるいは、オペレータは、「機械状態出力の設定をしたい。」などと、所望の操作について発話してもよい。この場合、音声認識装置は、所定の音声認識プログラムにより、発話された音声を「機械状態出力設定画面」に変換して認識してよい。
　特定部１０４は、音声認識部１０３によって音声情報が第２の操作画像を指定するものであると認識された場合、第２の記憶部１０２に記憶された関連情報に基づいて、音声認識がされた時点で表示画面に表示されている操作画像から第２の操作画像までの画像遷移の順番を特定する。また、特定部１０４は、関連情報に基づいて、表示画面に表示されている操作画像から第２の操作画像までを順番に表示させるときに強調表示させる操作領域を特定する。
　表示部１０５は、音声認識部１０３によって音声情報が第２の操作画像を指定するものであると認識された場合、特定部１０４によって特定された画像遷移の順番で、表示画面に表示されている操作画像から第２の操作画像までを順番に表示画面に表示させる。ここで、表示画面とは、入出力装置１７の表示画面である。
　ここで、第２の操作画像の直前に表示される操作画像を第１の操作画像と称する。この場合、表示部１０５は、一の操作領域を強調して第１の操作画像を表示した後に、一の操作画像に関連付けられた第２の操作画像を表示する。言い換えれば、表示部１０５は、第１の操作画像を表示した状態から第２の操作画像を表示した状態に遷移させる。
　表示部１０５は、第１の操作画像を所定期間表示させたことに応じて、第１の操作画像から第２の操作画像に遷移させる。つまり、第１の操作画像では、一の操作領域が所定期間強調表示された状態で維持される。
　一の操作領域を強調して表示するとは、一の操作領域に対する操作を促す表示をすることである。つまり、一の操作領域を他の領域よりも目立つように表示させる。強調表示は、例えば、ソフトキーが表示されている操作領域の輝度を他の領域の輝度よりも高くして表示することである。強調表示は、一の操作領域のみを点滅表示させることであってもよい。また、強調表示は、一の操作領域を指し示す矢印を表示することであってもよい。
　図４Ａおよび図４Ｂは、表示部１０５によって表示される操作画像の遷移の一例を説明する図である。ホーム画面を示す操作画像が表示されている状態において、音声認識部１０３によって音声情報がセットアップ画面を指定するものと認識された場合、表示部１０５は、ホーム画面に含まれるセットアップキーを強調表示する（図４Ａ参照）。
　その後、表示部１０５は、セットアップキーが強調表示された状態から、第１のセットアップ画面を示す操作画像が表示された状態に遷移させる（図４Ｂ参照）。表示部１０５は、例えば、ホーム画面においてセットアップキーを強調表示した状態を所定期間維持した後に、第１のセットアップ画面を示す操作画像を表示する。所定期間は、例えば、２秒間である。図４Ａおよび図４Ｂに示す例において、ホーム画面を示す画像が第１の操作画像、第１のセットアップ画面を示す操作画像が第２の操作画像に相当する。
　図５Ａ～図５Ｄは、表示部１０５によって表示される操作画像の遷移の他の例を説明する図である。第１のセットアップ画面を示す操作画像が表示されている状態において、音声認識部１０３によって音声情報が機械状態出力設定画面を指定するものと認識された場合、表示部１０５は、第１セットアップ画面に含まれる外部装置キーを強調表示する（図５Ａ参照）。
　その後、表示部１０５は、外部装置キーが強調表示された状態から、第３のセットアップ画面を示す画像が表示された状態に遷移させる（図５Ｂ参照）。表示部１０５は、第３のセットアップ画面を示す操作画像を表示させるとき、外部インタフェースキーを強調表示する。表示部１０５は、外部インタフェースキーを強調表示した状態を所定期間維持した後に、外部インタフェース画面を示す操作画像を表示する（図５Ｃ参照）。
　表示部１０５は、外部インタフェース画面を表示させるとき、機械状態出力設定キーを強調表示する。表示部１０５は、機械状態出力設定キーを強調表示した状態を所定期間維持した後に、機械状態出力設定画面を示す操作画像をポップアップ画面に表示する（図５Ｄ参照）。図５Ａ～図５Ｄに示す例において、外部インタフェース画面を示す操作画像が第１の操作画像、機械状態出力設定画面を示す操作画像が第２の操作画像に相当する。
　次に、操作訓練装置１で実行される処理の流れの一例について説明する。
　図６は、操作訓練装置１で実行される処理の流れの一例を示すフローチャートである。
　まず、第１の記憶部１０１は、例えば、外部サーバから受け付けた複数の操作画像を記憶する（ステップＳＡ１）。
　次に、第２の記憶部１０２は、例えば、外部サーバから受け付けた関連情報を記憶する（ステップＳＡ２）。
　次に、音声認識部１０３は、マイクロフォンによって取得された音声の音声情報を認識する（ステップＳＡ３）。
　次に、特定部１０４は、関連情報に基づいて、音声情報の音声認識がされた時点で表示画面に表示されている操作画像から第２の操作画像までの画像遷移の順番を特定する（ステップＳＡ４）。また、特定部１０４は、表示画面に表示されている操作画像から第２の操作画像までを順番に表示させるときに強調表示させる操作領域を特定する。
　次に、表示部１０５は、特定部１０４によって特定された操作領域を示す情報に基づいて、表示画面に表示されている操作画像に含まれる一の操作領域を強調表示する（ステップＳＡ５）。
　一の操作領域を強調表示してから所定期間が経過すると、表示部１０５は、表示画面に表示されている操作画像の次に表示される操作画像を表示させる（ステップＳＡ６）。
　表示画面に表示されている操作画像が第２の操作画像である場合（ステップＳＡ７においてＹｅｓの場合）、操作訓練装置１は処理を終了する。あるいは、操作訓練装置１は、音声認識部１０３によって再び音声認識が実行されるのを待機してもよい。
　表示画面に表示されている操作画像が第２の操作画像ではない場合（ステップＳＡ７においてＮｏの場合）、ステップＳＡ５に戻る。
　以上説明したように、操作訓練装置１は、複数の操作画像を記憶する第１の記憶部１０１と、第１の記憶部１０１に記憶された複数の操作画像のうちの第１の操作画像に含まれる一の操作領域と複数の操作画像のうちの第２の操作画像とを関連付けた関連情報を記憶する第２の記憶部１０２と、発話された音声の音声情報を認識する音声認識部１０３と、音声認識部１０３によって音声情報が第２の操作画像を指定するものであると認識された場合、一の操作領域を強調して第１の操作画像を表示した後に、一の操作画像に関連付けられた第２の操作画像を表示する表示部１０５と、を備える。
　したがって、操作訓練装置１は、音声認識部１０３が音声情報を認識したときに表示画面に表示されている操作画像から、音声情報によって指定された操作画像までを順次を表示することができる。また、順次表示される操作画像に含まれる一の操作領域は、強調して表示される。したがって、操作訓練装置１は、産業機械に対する操作の訓練を効果的に行うことが可能となる。つまり、オペレータは所望の操作画像を表示画面に表示させる手順を効果的に学ぶことができる。
　上述した実施形態において、操作画像は、数値制御装置の表示装置、またはティーチングペンダントの表示装置に表示される操作画像である。しかし、この例に限らず、操作画像は、数値制御装置の操作盤の一部または全体の画像、または、ティーチングペンダントの一部または全体の画像であってもよい。操作画像のうち、操作盤、またはティーチングペンダントのハードキーが表示される領域は操作領域となる。この場合、操作訓練装置１は、数値制御装置の表示装置に表示される操作画像に対する操作の訓練だけではなく、操作盤のボタン、またはスイッチに対する操作の訓練を行うことができる。また、操作訓練装置１は、ティーチングペンダントの表示装置に表示される操作画像に対する操作の訓練だけではなく、ティーチングペンダントのボタン、またはスイッチに対する操作の訓練を行うことができる。
　上述した実施形態では、図３の左側からの右側に操作画像を遷移させる例について説明した。しかし、操作画像の遷移順はこれに限らない。
　例えば、Ｉ／Ｏ設定画面Ａ９を示す画像が表示されている状態において、音声認識部１０３によって音声情報が機械状態出力設定画面Ａ１０を指定するものであると認識された場合、特定部１０４は、画像遷移の順番を、例えば、Ｉ／Ｏ設定画面Ａ９を示す操作画像、第３のセットアップ画面Ａ６を示す操作画像、外部インタフェース画面Ａ７を示す操作画像、および機械状態出力設定画面Ａ１０を示す操作画像の順で特定する。
　また、Ｉ／Ｏ設定画面Ａ９を示す操作画像には、例えば、図３の左側のブロックから右側のブロックに遷移させるための「戻るボタン」が含まれるようにする。この場合、表示部１０５は、Ｉ／Ｏ設定画面Ａ９を示す操作画像から第３のセットアップ画面Ａ６を示す操作画像に遷移させる際、「戻るボタン」を強調表示させればよい。
　上述した実施形態では、表示部１０５は、所定期間が経過すると、表示中の操作画像を自動的に次の操作画像に遷移させる。しかし、操作訓練装置１は、強調表示されている操作領域に対する操作を受け付けたことに応じて、次の操作画像に遷移させるようにしてもよい。この場合、操作訓練装置１は、第１の受付部をさらに備え、第１の受付部が操作領域に対する操作を受け付ける。
　図７は、第１の受付部を備える操作訓練装置１の機能の一例を示すブロック図である。図７に示す操作訓練装置１は、第１の受付部１０６を備えている点で、図２に示す操作訓練装置１とは異なる。したがって、第１の受付部１０６以外の機能については、適宜説明を省略する。
　第１の受付部１０６は、例えば、ハードウェアプロセッサ１１が、ＲＯＭ１３に記憶されているシステムプログラムならびに不揮発性メモリ１５に記憶されている各種データを用いて演算処理することにより実現される。
　第１の受付部１０６は、表示部１０５によって表示される一の操作領域に対する操作を受け付ける。第１の受付部１０６は、表示画面に表示された操作画像に含まれる一の操作領域に対する操作を受け付ける。入出力装置１７がタッチパネルである場合、受付部は、タッチパネルの表示画面に表示された一の操作領域に対するタッチ操作を受け付ける。
　表示部１０５は、第１の受付部１０６が一の操作領域に対する操作を受け付けたことに応じて、第２の操作画像を表示させる。
　例えば、入出力装置１７の表示画面にホーム画面Ａ１を示す操作画像が表示された状態において、音声認識部１０３によって音声情報がセットアップ画面を指定するものであると認識された場合、表示部１０５は、ホーム画面Ａ１に含まれるセットアップキーを強調表示する（図４Ａ参照）。
　次に、第１の受付部１０６がホーム画面Ａ１に含まれるセットアップキーに対する操作を受け付けた場合、表示部１０５は、第１のセットアップ画面Ａ２を示す操作画像を表示する（図４Ｂ参照）。第１の受付部１０６がセットアップキーに対する操作を受け付けない場合、表示部１０５は、セットアップキーを強調表示させた状態でホーム画面を示す操作画像の表示を維持する。
　次に、第１の受付部１０６を有する操作訓練装置１が実行する処理の流れについて説明する。
　図８は、操作訓練装置１で実行される処理の流れの一例を示すフローチャートである。
　まず、第１の記憶部１０１は、例えば、外部サーバから受け付けた複数の操作画像を記憶する（ステップＳＢ１）。
　次に、第２の記憶部１０２は、例えば、外部サーバから受け付けた関連情報を記憶する（ステップＳＢ２）。
　次に、音声認識部１０３は、マイクロフォンによって取得された音声の音声情報を認識する（ステップＳＢ３）。
　次に、特定部１０４は、関連情報に基づいて、音声情報が認識された時点で表示画面に表示されている操作画像から第２の操作画像までの画像遷移の順番を特定する（ステップＳＢ４）。また、特定部１０４は、表示画面に表示されている操作画像から第２の操作画像までを順番に表示させるときに強調表示させる操作領域を特定する。
　次に、表示部１０５は、特定部１０４によって特定された操作領域を示す情報に基づいて、表示画面に表示されている操作画像に含まれる一の操作領域を強調表示する（ステップＳＢ５）。
　表示部１０５によって一の操作領域が強調表示されている状態において、第１の受付部１０６が一の操作領域に対する操作を受け付けると（ステップＳＢ６においてＹｅｓの場合）、表示部１０５は、表示画面に表示されている操作画像の次に表示される操作画像を表示させる（ステップＳＢ７）。一方、第１の受付部１０６が一の操作領域に対する操作を受け付けない場合（ステップＳＢ６においてＮｏの場合）、表示部１０５は、一の操作領域の強調表示を維持する。
　表示画面に表示されている操作画像が第２の操作画像である場合（ステップＳＢ８）、操作訓練装置１は処理を終了する。
　一方、表示画面に表示されている操作画像が第２の操作画像ではない場合（ステップＳＢ８においてＮｏの場合）、ステップＳＢ５に戻る。
　以上説明したように、操作訓練装置１は、表示部１０５によって表示される一の操作領域に対する操作を受け付ける第１の受付部１０６をさらに備え、表示部１０５は、第１の受付部１０６が一の操作領域に対する操作を受け付けたことに応じて、第２の操作画像を表示させる。
　したがって、操作訓練装置１は、オペレータに対して操作画像に対する操作を実際に行わせることができる。その結果、操作訓練装置１は、産業機械に対する操作の訓練を効果的に行うことができる。
　なお、音声認識部１０３は、音声情報を認識する前に、音声情報を解析して認識候補を算出し、算出された認識候補に対する操作を受け付けてもよい。この場合、操作訓練装置１は、算出された認識候補に対する操作を受け付ける第２の受付部をさらに備える。
　図９は、第２の受付部を備える操作訓練装置１の機能の一例を示すブロック図である。なお、図９に示す操作訓練装置１が有する各機能のうち、図２に示す操作訓練装置１が有する機能と同じ機能については適宜説明を省略する。
　第２の受付部１０７は、例えば、ハードウェアプロセッサ１１が、ＲＯＭ１３に記憶されているシステムプログラムならびに不揮発性メモリ１５に記憶されている各種データを用いて演算処理することにより実現される。
　音声認識部１０３は、音声情報を解析して認識候補を算出する。例えば、オペレータによって発話された音声が「機械状態出力の設定をしたい。」である場合、音声認識部１０３は、所定の音声認識プログラムを用いて音声情報を解析して解析結果を算出する。ここで、解析結果は、例えば、「機械状態出力設定」である。
　表示部１０５は、算出された認識候補を示す候補画像を表示画面に表示させる。表示部１０５は、候補画像を、例えば、ポップアップ画面に表示させる。
　図１０は、表示画面に表示された候補画像の一例を示す図である。表示部１０５は、ポップアップ画面に「機械状態出力設定」、「はい」、および「いいえ」との文字を含む候補画像を表示させる。「はい」および「いいえ」が描かれた領域は、それぞれソフトキーとなっている。
　第２の受付部１０７は、候補画像に対する操作を受け付ける。表示画面に表示された候補画像に「はい」、および「いいえ」との文字が描かれたソフトキーが表示されている場合、第２の受付部１０７は、いずれかのソフトキーに対する操作を受け付ける。
　音声認識部１０３は、第２の受付部１０７が受け付けた候補画像に対する操作に基づいて音声情報を認識する。第２の受付部１０７が、「はい」との文字が描かれたソフトキーに対する操作を受け付けた場合、音声認識部１０３は、音声情報が「機械状態出力設定」を示すものであると認識する。また、その後の処理については、上述した実施形態と同様である。
　第２の受付部１０７が「いいえ」との文字が描かれたソフトキーに対する操作を受け付けた場合、音声認識部１０３は、音声情報が「機械状態出力設定」を示すものではないと認識する。この場合、表示部１０５は、例えば、再度、オペレータに音声の入力を促すメッセージを表示させてもよい。
　図１１は、表示画面に表示された候補画像の一例を示す図である。表示部１０５は、ポップアップ画面に「機械状態出力設定？」、および「外部インタフェース？」との文字を含む候補画像を表示させる。これらの文字が表示された領域は、それぞれ、ソフトキーとなっている。
　第２の受付部１０７は、候補画像に対する操作を受け付ける。表示画面に表示された候補画像に「機械状態出力設定？」、および「外部インタフェース？」との文字が描かれたソフトキーが表示されている場合、第２の受付部１０７は、いずれかのソフトキーに対する操作を受け付ける。
　音声認識部１０３は、第２の受付部１０７が受け付けた候補画像に対する操作に基づいて音声情報を認識する。
　第２の受付部１０７が、「機械状態出力設定？」との文字が描かれたソフトキーに対する操作を受け付けた場合、音声認識部１０３は、音声情報が「機械状態出力設定」を示すものであると認識する。
　第２の受付部１０７が、「外部インタフェース？」との文字が描かれたソフトキーに対する操作を受け付けた場合、音声認識部１０３は、音声情報が「外部インタフェース」を示すものであると認識する。
　なお、表示部１０５は、例えば、「その他」との文字が描かれたソフトキーを表示画面に表示させてもよい。第２の受付部１０７が「その他」との文字が描かれたソフトキーに対する操作を受け付けた場合、音声認識部１０３は、音声情報が「機械状態出力設定」、および「外部インタフェース」を示すものではないと認識する。この場合、表示部１０５は、例えば、再度、オペレータに音声の入力を促すメッセージを表示させてもよい。
　以上説明したように、操作訓練装置１は、第２の受付部１０７をさらに備え、音声認識部１０３は、音声情報を解析して認識候補を算出する。表示部１０５は、算出された認識候補を示す候補画像を表示させる。第２の受付部１０７は、候補画像に対する操作を受け付ける。音声認識部１０３は、第２の受付部１０７が受け付けた候補画像に対する操作に基づいて音声情報を認識する。
　したがって、音声認識装置は、オペレータが発話した音声を確実に認識することができる。
　なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。本開示では、実施形態の組み合わせ、任意の構成要素の変形、もしくは任意の構成要素の省略が可能である。
　　１　　　　　操作訓練装置
　　１１　　　　ハードウェアプロセッサ
　　１２　　　　バス
　　１３　　　　ＲＯＭ
　　１４　　　　ＲＡＭ
　　１５　　　　不揮発性メモリ
　　１６　　　　インタフェース
　　１７　　　　入出力装置
　　１０１　　　第１の記憶部
　　１０２　　　第２の記憶部
　　１０３　　　音声認識部
　　１０４　　　特定部
　　１０５　　　表示部
　　１０６　　　第１の受付部
　　１０７　　　第２の受付部

Claims (5)

  1. 　複数の操作画像を記憶する第１の記憶部と、
    　前記第１の記憶部に記憶された前記複数の操作画像のうちの第１の操作画像に含まれる一の操作領域と前記複数の操作画像のうちの第２の操作画像とを関連付けた関連情報を記憶する第２の記憶部と、
    　発話された音声の音声情報を認識する音声認識部と、
    　前記音声認識部によって前記音声情報が前記第２の操作画像を指定するものであると認識された場合、前記一の操作領域を強調して前記第１の操作画像を表示した後に、前記一の操作画像に関連付けられた前記第２の操作画像を表示する表示部と、
    を備える操作訓練装置。
  2. 　前記表示部によって表示された前記一の操作領域に対する操作を受け付ける第１の受付部をさらに備え、
    　前記表示部は、前記第１の受付部が前記一の操作領域に対する操作を受け付けたことに応じて、前記第２の操作画像を表示する請求項１に記載の操作訓練装置。
  3. 　第２の受付部をさらに備え、
    　前記音声認識部は、前記音声情報を解析して認識候補を算出し、
    　前記表示部は、算出された前記認識候補を示す候補画像を表示させ、
    　前記第２の受付部は、前記候補画像に対する操作を受け付け、
    　前記音声認識部は、前記第２の受付部が受け付けた前記候補画像に対する操作に基づいて前記音声情報を認識する請求項１または２に記載の操作訓練装置。
  4. 　複数の操作画像を記憶することと、
    　記憶された前記複数の操作画像のうちの第１の操作画像に含まれる一の操作領域と前記複数の操作画像のうちの第２の操作画像とを関連付けた関連情報を記憶することと、
    　発話された音声の音声情報を認識することと、
    　前記音声情報が前記第２の操作画像を指定するものであると認識された場合、前記一の操作領域を強調して前記第１の操作画像を表示した後に、前記一の操作画像に関連付けられた前記第２の操作画像を表示することと、
    を含む操作訓練方法。
  5. 　複数の操作画像を記憶することと、
    　記憶された前記複数の操作画像のうちの第１の操作画像に含まれる一の操作領域と前記複数の操作画像のうちの第２の操作画像とを関連付けた関連情報を記憶することと、
    　発話された音声の音声情報を認識することと、
    　前記音声情報が前記第２の操作画像を指定するものであると認識された場合、前記一の操作領域を強調して前記第１の操作画像を表示した後に、前記一の操作画像に関連付けられた前記第２の操作画像を表示することと、
    をコンピュータに実行させる命令を記憶するコンピュータ読み取り可能な記憶媒体。
PCT/JP2021/033810 2021-09-14 2021-09-14 操作訓練装置、操作訓練方法、およびコンピュータ読み取り可能な記憶媒体 WO2023042277A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023547982A JPWO2023042277A1 (ja) 2021-09-14 2021-09-14
PCT/JP2021/033810 WO2023042277A1 (ja) 2021-09-14 2021-09-14 操作訓練装置、操作訓練方法、およびコンピュータ読み取り可能な記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/033810 WO2023042277A1 (ja) 2021-09-14 2021-09-14 操作訓練装置、操作訓練方法、およびコンピュータ読み取り可能な記憶媒体

Publications (1)

Publication Number Publication Date
WO2023042277A1 true WO2023042277A1 (ja) 2023-03-23

Family

ID=85602008

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/033810 WO2023042277A1 (ja) 2021-09-14 2021-09-14 操作訓練装置、操作訓練方法、およびコンピュータ読み取り可能な記憶媒体

Country Status (2)

Country Link
JP (1) JPWO2023042277A1 (ja)
WO (1) WO2023042277A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7442242B1 (ja) 2023-08-24 2024-03-04 日研トータルソーシング株式会社 半導体搬送演習装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002318597A (ja) * 2001-02-15 2002-10-31 Alpine Electronics Inc 音声入力案内方法及び装置
JP2013006472A (ja) * 2011-06-23 2013-01-10 Denso Corp 表示装置
JP2013015732A (ja) * 2011-07-05 2013-01-24 Clarion Co Ltd ナビゲーション装置、ナビゲーション装置を用いた音声認識方法、および、プログラム
US20140343950A1 (en) * 2013-05-15 2014-11-20 Maluuba Inc. Interactive user interface for an intelligent assistant
WO2015128960A1 (ja) * 2014-02-26 2015-09-03 三菱電機株式会社 車載制御装置および車載制御方法
WO2015162638A1 (ja) * 2014-04-22 2015-10-29 三菱電機株式会社 ユーザインターフェースシステム、ユーザインターフェース制御装置、ユーザインターフェース制御方法およびユーザインターフェース制御プログラム
JP2020052515A (ja) * 2018-09-25 2020-04-02 富士ゼロックス株式会社 操作画面制御装置及び操作画面制御プログラム
JP2020155030A (ja) * 2019-03-22 2020-09-24 富士ゼロックス株式会社 情報処理装置及びプログラム
JP2020201911A (ja) * 2019-06-13 2020-12-17 キヤノン株式会社 情報処理システム、情報処理装置、情報処理方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002318597A (ja) * 2001-02-15 2002-10-31 Alpine Electronics Inc 音声入力案内方法及び装置
JP2013006472A (ja) * 2011-06-23 2013-01-10 Denso Corp 表示装置
JP2013015732A (ja) * 2011-07-05 2013-01-24 Clarion Co Ltd ナビゲーション装置、ナビゲーション装置を用いた音声認識方法、および、プログラム
US20140343950A1 (en) * 2013-05-15 2014-11-20 Maluuba Inc. Interactive user interface for an intelligent assistant
WO2015128960A1 (ja) * 2014-02-26 2015-09-03 三菱電機株式会社 車載制御装置および車載制御方法
WO2015162638A1 (ja) * 2014-04-22 2015-10-29 三菱電機株式会社 ユーザインターフェースシステム、ユーザインターフェース制御装置、ユーザインターフェース制御方法およびユーザインターフェース制御プログラム
JP2020052515A (ja) * 2018-09-25 2020-04-02 富士ゼロックス株式会社 操作画面制御装置及び操作画面制御プログラム
JP2020155030A (ja) * 2019-03-22 2020-09-24 富士ゼロックス株式会社 情報処理装置及びプログラム
JP2020201911A (ja) * 2019-06-13 2020-12-17 キヤノン株式会社 情報処理システム、情報処理装置、情報処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7442242B1 (ja) 2023-08-24 2024-03-04 日研トータルソーシング株式会社 半導体搬送演習装置

Also Published As

Publication number Publication date
JPWO2023042277A1 (ja) 2023-03-23

Similar Documents

Publication Publication Date Title
KR100457509B1 (ko) 터치스크린과 음성인식을 통해 동작 제어되는 정보단말기 및 그의 명령 실행 방법
JP4006338B2 (ja) 情報処理装置及びその方法、プログラム
US12042937B2 (en) Robot programming device and robot programming method
CN110534109B (zh) 语音识别方法、装置、电子设备及存储介质
WO2023042277A1 (ja) 操作訓練装置、操作訓練方法、およびコンピュータ読み取り可能な記憶媒体
TW202013298A (zh) 用於與智慧型工業輔助及工業機器通訊的方法、系統、及電腦程式產品
US20200338737A1 (en) Robot teaching device
CN111844085B (zh) 机器人示教装置
Norda et al. Evaluating the efficiency of voice control as human machine interface in production
US20200338736A1 (en) Robot teaching device
JP2001268669A (ja) 移動電話端末を利用した機器制御装置、方法、及び記録媒体
TW202032445A (zh) 以具有一組預定命令的智慧型工業輔助來協調工業機器的方法、系統及電腦程式產品
JP2006011641A (ja) 情報入力方法及びその装置
US11847148B2 (en) Information processing device and setting device
KR101591867B1 (ko) 음성명령 조합 기능을 갖는 인터랙티브 보드 및 이의 운용방법
JP2000250587A (ja) 音声認識装置及び音声認識翻訳装置
WO2022269760A1 (ja) 音声認識装置
JPH08129476A (ja) 音声データ入力装置
JP6767102B2 (ja) 情報処理装置、および、情報処理プログラム
JPS60146327A (ja) 計算機対話方法
US20080256071A1 (en) Method And System For Selection Of Text For Editing
KR101809047B1 (ko) 단축키 안내 장치 및 안내 방법
WO2023152803A9 (ja) 音声認識装置、及びコンピュータが読み取り可能な記録媒体
WO2023100236A9 (ja) 音声認識装置、およびコンピュータ読み取り可能な記憶媒体
WO2023139770A1 (ja) 文法作成支援装置、及びコンピュータが読み取り可能な記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21957461

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023547982

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE