WO2017119127A1 - 作業支援装置、作業学習装置及び作業支援システム - Google Patents

作業支援装置、作業学習装置及び作業支援システム Download PDF

Info

Publication number
WO2017119127A1
WO2017119127A1 PCT/JP2016/050543 JP2016050543W WO2017119127A1 WO 2017119127 A1 WO2017119127 A1 WO 2017119127A1 JP 2016050543 W JP2016050543 W JP 2016050543W WO 2017119127 A1 WO2017119127 A1 WO 2017119127A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
work
line
sight
skill level
Prior art date
Application number
PCT/JP2016/050543
Other languages
English (en)
French (fr)
Inventor
隼也 大澤
相川　勇之
裕介 伊谷
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to US16/061,581 priority Critical patent/US20180374026A1/en
Priority to PCT/JP2016/050543 priority patent/WO2017119127A1/ja
Priority to JP2017560014A priority patent/JP6366862B2/ja
Priority to TW105105828A priority patent/TW201725462A/zh
Publication of WO2017119127A1 publication Critical patent/WO2017119127A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/024—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for determining the visual field, e.g. perimeter types
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0267—Fault communication, e.g. human machine interface [HMI]
    • G05B23/0272—Presentation of monitored results, e.g. selection of status reports to be displayed; Filtering information to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/24—Use of tools
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Definitions

  • the present invention relates to an information processing technique for supporting an operator's inspection work, and more particularly, to an information processing technique for providing an inspection work support in accordance with an operator's skill.
  • inspection work for maintenance or quality maintenance is indispensable when operating the mechanical equipment.
  • the operator periodically checks the maintenance state or operating state of the mechanical equipment based on the work procedure manual or the work procedure screen displayed on the information processing terminal, and the inspection result. Must be recorded accurately.
  • the inspection result is incomplete, the worker must take measures such as repairing the mechanical equipment or adjusting the operation state as necessary.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2012-234406 discloses a work support apparatus that automatically determines the skill level of an operator and displays instruction contents according to the determination result. This work support device measures the distribution of the line-of-sight movement speed of the worker, and determines that the skill level of the worker is high when the peak of the distribution appears noticeably in a specific speed range.
  • JP 2012-234406 A (for example, paragraphs 0038 to 0052)
  • Patent Document 1 can accurately determine the skill level based on the measurement value of the gaze movement speed distribution of the worker when the worker is stationary.
  • the worker performs not only the line-of-sight movement necessary for the inspection work but also the line-of-sight movement necessary for moving his / her head or body.
  • the speed of line-of-sight movement necessary for the movement of the worker becomes a noise component and the accuracy of skill level determination is lowered.
  • an object of the present invention is to provide a work support device, a work learning device, and a work support system that can determine the skill level of a worker with high accuracy even when the worker performs an inspection work while moving.
  • the work support apparatus includes a line-of-sight measurement unit that measures the line-of-sight information of an operator, and a measurement amount of the line-of-sight movement direction by measuring a line-of-sight movement direction based on a measurement result by the line-of-sight measurement unit.
  • a line-of-sight movement direction measuring unit that outputs a skill level determination unit that compares the measured amount with a reference amount prepared in advance and determines a skill level indicating the skill level of the worker according to the comparison result;
  • an output control unit that outputs from the information output unit work support information having contents corresponding to the skill level determined by the skill level determination unit.
  • the work learning device is a work learning that causes the information output unit to display and output guidance information that prompts the operator to switch the line of sight from a checked work item to a next work item to be checked.
  • Output direction control unit, gaze measurement unit for work learning that measures the gaze information of the worker according to the display output of the guidance information, and the gaze movement direction is measured based on the measurement results by the gaze measurement unit for work learning
  • a line-of-sight movement direction measurement unit for work learning that outputs a measurement amount in the line-of-sight movement direction
  • a reference data calculation unit that calculates a reference amount corresponding to the guidance information based on the measurement amount.
  • a work support system includes the work support apparatus according to the first aspect and the work learning apparatus according to the second aspect.
  • the skill level is determined using the measurement amount in the direction of the eye movement of the worker. Therefore, even when the worker performs the inspection work while moving, the skill level can be determined with high accuracy. . Therefore, by using the determination result, it is possible to perform efficient work support according to the skill level of the worker.
  • FIG. 1 is a block diagram illustrating a schematic configuration of a work support device according to Embodiment 1.
  • FIG. It is a figure for demonstrating an example of the content of work procedure data. It is a figure which shows an example of the display content using an output data file. It is a figure which shows the other example of the display content using an output data file.
  • FIG. 7A is a diagram illustrating a manner in which an operator switches the line of sight
  • FIG. 7B is a diagram illustrating an example of guidance information that prompts the user to switch the line of sight.
  • FIG. 1 is a block diagram illustrating a schematic configuration of a content editing device according to Embodiment 1.
  • FIG. It is a flowchart which shows an example of the procedure of the output data file production
  • 1 is a block diagram illustrating a schematic configuration of a work learning device according to Embodiment 1.
  • FIG. 1 is a block diagram showing a schematic configuration of a work support system 1 according to the first embodiment of the present invention.
  • the work support system 1 includes a work support apparatus 10 that performs work support processing for supporting inspection work for maintenance of machine equipment or quality maintenance, and a reference data file Fc used for the work support processing.
  • a content editing device 30 for supplying an output data file group Fd including work support information to the work support device 10, and further includes a sensor group 11, an acoustic input / output unit 12, and a display device. 13 is provided.
  • the acoustic input / output unit 12 includes a microphone MK as an acoustic input unit that converts an acoustic wave into an electrical signal, and a speaker SP as an acoustic output unit that outputs the acoustic wave to space.
  • the sensor group 11, the sound input / output unit 12, and the display device 13 constitute a wearable device that can be worn on the operator's head or body.
  • FIG. 2A, 2B, and 2C are diagrams showing examples of the glasses-type wearable device 5.
  • FIG. 2A is a diagram illustrating a state where the glasses-type wearable device 5 and the sound input / output unit (headset) 12 are detachably attached to the head of the worker 4.
  • the worker 4 can visually recognize the light transmitted through the glasses part of the glasses-type wearable device 5 and recognize the work target 6.
  • the glasses-type wearable device 5 includes a display device 13 that constitutes an optically transmissive HMD (Head-Mounted Display), and a front imaging unit 11D.
  • the glasses-type wearable device 5 is connected to the work support apparatus 10 via a cable. The line-of-sight detection imaging unit, position detection sensor, and direction sensor will be described later.
  • the front imaging unit 11D shown in FIG. 2B is composed of a solid-state imaging device such as a CCD image sensor or a CMOS image sensor.
  • the front imaging unit 11D electrically detects an optical image representing the work target 6 positioned in front of the worker 4 to generate a front image signal, and outputs the front image signal to the work support device 10.
  • the glasses-type display device 13 projects the digital image on the augmented reality (AR) space generated by the work support device 10 onto the inner surface of the glasses portion, so that the projected image is visually displayed to the worker 4. Can be recognized.
  • AR augmented reality
  • the skill level of the present embodiment is a value indicating the skill level of the inspection work by the worker.
  • the output data file group Fd includes a plurality of output data files (for example, output data files indicating display contents or sound output contents for beginners, and expert data for each skilled person). Output data file indicating display contents or sound output contents).
  • the content editing device 30 is a device used by an editor to create an output data file group Fd in advance.
  • the reference data file Fc includes data indicating a reference amount in the direction of movement of the line of sight of the worker and data indicating a reference value of timing at which the movement of the line of sight of the worker starts.
  • the work learning device 20 has a function of automatically generating a reference data file Fc by learning actual inspection work by a plurality of workers including beginners and skilled workers.
  • the work support device 10 determines the skill level of the worker using the reference data file Fc. In addition, the work support device 10 supplies the work support information having contents corresponding to the skill level to the display device 13, the speaker SP, or both the display device 13 and the speaker SP using the output data file group Fd. Thus, the worker can recognize the work support information visually, audibly, or audiovisually.
  • the speaker SP and the display device 13 constitute an information output unit that outputs work support information.
  • the work performed using the work support system 1 of the present embodiment is divided into an online work (that is, an inspection work) performed at the inspection site and an offline work performed in advance prior to the online work.
  • the work learning device 20 and the content editing device 30 are used for offline work, and the work support device 10 is used for online work.
  • FIG. 3 is a block diagram illustrating a schematic configuration of the work support apparatus 10 according to the first embodiment.
  • the work support apparatus 10 includes a main control unit 101, an output control unit 102, a worker information acquisition unit 103, a work target information acquisition unit 104, a recording medium 105, a communication unit 106, and an interface unit (I / F section) 107 is provided.
  • the work support apparatus 10 further includes a timing acquisition unit 110, a line-of-sight measurement unit 111, a line-of-sight movement direction measurement unit 112, a line-of-sight movement timing measurement unit 113, and a skill level determination unit 114 as components for skill level determination.
  • the recording medium 105 stores work procedure data Fa together with the output data file group Fd and the reference data file Fc described above.
  • the main control unit 101 controls the output contents of the output control unit 102 according to the procedure defined by the work procedure data Fa.
  • the communication unit 106 can communicate with the work learning device 20 to acquire the reference data file Fc from the work learning device 20 and record the reference data file Fc on the recording medium 105.
  • the communication unit 106 can also communicate with the content editing apparatus 30 to acquire the output data file group Fd from the content editing apparatus 30 and record the output data file group Fd on the recording medium 105.
  • the work learning device 20 and the content editing device 30 may store the output data file group Fd and the reference data file Fc in the information distribution server.
  • the communication unit 106 of the work support device 10 can acquire the output data file group Fd and the reference data file Fc by transmitting a distribution request to the information distribution server.
  • the recording medium 105 is configured as a detachable recording medium
  • the reference data file Fc is moved from the work learning device 20 to the work support device 10 via the recording medium 105, and the content editing device 30
  • the output data file group Fd may be moved to the work support apparatus 10.
  • the I / F unit 107 is configured to transmit / receive data to / from each of the sensor group 11, the sound input / output unit 12, and the display device 13.
  • the I / F unit 107 according to the present embodiment is connected to the sensor group 11, the sound input / output unit 12, and the display device 13 through a cable as shown in FIG. 2B, but is not limited thereto.
  • the sensor group 11, the sound input / output unit 12, and the display device 13 may be connected using wireless communication technology.
  • Sensor group 11 includes a line-of-sight detection imaging unit 11A, a position detection sensor 11B, a direction sensor 11C, and a front imaging unit 11D.
  • the line-of-sight detection imaging unit 11 ⁇ / b> A captures the eyeball of the worker, generates captured image data representing the eyeball, and supplies the captured image data CD to the line-of-sight measurement unit 111 via the I / F unit 107.
  • the line-of-sight measurement unit 111 can measure a worker's line of sight in real time by analyzing a captured image representing the eyeball.
  • the position detection sensor 11B is, for example, a GNSS (Global Navigation System) sensor such as a GPS (Global Positioning System) sensor, a radio wave sensor that detects a radio wave transmitted from a wireless LAN base station, or an RFID (Radio Frequency IDentification) sensor. Can be mentioned.
  • the position detection sensor 11B is not particularly limited as long as it is a sensor used for position detection of the worker and the work target.
  • the direction sensor 11C is a sensor used for detecting the orientation of the operator's face, and can be composed of, for example, a gyro sensor and an acceleration sensor.
  • the front imaging unit 11D captures an object located in front of the worker and generates a digital image.
  • the front imaging unit 11D is configured by a solid-state imaging device such as a CCD image sensor or a CMOS image sensor. Sensor data SD composed of outputs from the position detection sensor 11B, the direction sensor 11C, and the front imaging unit 11D is sent to the worker information acquisition unit 103 and the work target information acquisition unit 104 via the I / F unit 107, respectively. Supplied.
  • the microphone MK detects an input acoustic wave such as a voice and supplies the input acoustic data VD as a detection result to the worker information acquisition unit 103 via the I / F unit 107.
  • the speaker SP converts the output acoustic data AD input from the output control unit 102 via the I / F unit 107 into an acoustic wave and outputs the acoustic wave.
  • the display device 13 has a function of converting display data DD input from the output control unit 102 via the I / F unit 107 into a display image and outputting the display image.
  • the worker information acquisition unit 103 includes a position detection unit 103P that detects the current position of the worker, a motion detection unit 103M that detects a movement pattern of the worker, a voice recognition unit 103A that recognizes a specific voice pattern, A direction detection unit 103D that detects a direction in which the person's face is facing (hereinafter, also simply referred to as “the face direction of the worker”).
  • the worker information is information including at least one of the worker's current position, face orientation, motion pattern, and sound pattern. This worker information is supplied to the main control unit 101. Further, the detection result of the orientation of the worker's face and the current position is also supplied to the work target information acquisition unit 104.
  • the position detection unit 103P detects the current position of the worker in real time based on the detection output of the position detection sensor 11B. For example, when the worker is outdoors, the current position of the worker can be detected using the GNSS sensor. On the other hand, when the worker is indoors, the current position of the worker (for example, the current position in units of buildings, floors, or rooms) is detected using the detection output of the radio wave sensor or the detection output of the RFID sensor. Is possible. Note that the position detection unit 103P may acquire information on the current position of the worker from a management system such as a separate entrance / exit management system.
  • the direction detection unit 103D can detect the orientation of the operator's face in real time based on the detection output of the direction sensor 11C.
  • the motion detection unit 103M analyzes the moving image data output from the front imaging unit 11D and detects a specific motion pattern of a part of the worker's body (for example, a hand).
  • a specific motion pattern for example, a motion pattern in which the index finger moves up and down
  • the motion detection unit 103M can detect the motion pattern by moving image analysis.
  • the motion detection unit 103M may detect the motion pattern using not only moving image data but also distance information (depth information) obtained by a distance sensor (not shown).
  • a distance sensor is a sensor which has a function which detects the distance to each part of a worker's body surface by a publicly known pattern irradiation system or a publicly known TOF (Time Of Flight) system.
  • the voice recognition unit 103A analyzes the input sound data VD to recognize the worker's voice and the recognized voice matches the registered voice (for example, “end of inspection” or “next inspection”). The recognition result is output to.
  • the voice recognition method is not particularly limited, and a known voice recognition technique may be used.
  • the work target information acquisition unit 104 acquires the detection result of the current position and face orientation of the worker from the worker information acquisition unit 103, and acquires a front image signal from the sensor data SD.
  • the work target information acquisition unit 104 analyzes the forward image signal using the detection result, thereby recognizing a work target candidate existing ahead of the worker's line of sight and recognizing a work item candidate within the work target. These recognition results can be output to the main control unit 101.
  • the work target information acquisition unit 104 can recognize a work target candidate and a work item candidate existing at a specific position in the direction in which the worker's face is facing from the front image signal by, for example, a known pattern matching method. .
  • FIG. 4 is a diagram for explaining an example of the contents of the work procedure data Fa.
  • “work location”, “work target”, “work item”, “normal value”, “AR display”, “current work end condition”, “display text”, and “work item position (four points) A combination of “coordinates” ”is determined for each procedure ID (procedure identifier).
  • “Working place” is the place where the operator should perform the inspection work
  • “Working object” is the object to be worked such as the switchboard placed at that place
  • “Work item” is the working object.
  • “normal value” defines a numerical value or a symbol when the operation state of the work item is normal.
  • default display information for the work item specified by each procedure ID is defined.
  • “work item position (four-point coordinates)” in FIG. 4 defines position information for specifying the arrangement range occupied by the work item in each work target.
  • combinations of four two-dimensional coordinates that specify the positions of four points in each work item are defined.
  • the main control unit 101 can recognize a work item from among the work item candidates recognized by the work target information acquisition unit 104 using the position information.
  • the method of specifying the arrangement range of each work item is not limited to the combination of two-dimensional coordinates shown in FIG.
  • the arrangement position of each work item may be specified by a combination of three-dimensional coordinates.
  • the “current work end condition” in FIG. 4 defines a condition for ending the inspection work for the current work target or work item, and specifically, the contents to be voice input by the operator. For example, with respect to P1 to P3, it is determined that the operator should speak “next inspection” as a condition for ending the work on the work target (switchboard A).
  • the voice recognition unit 103A can recognize the utterance content.
  • a specific movement pattern of a part of the body may be defined as a condition for terminating the inspection work.
  • the motion detection unit 103M can recognize such an operation pattern.
  • the end of response input of the inspection result may be defined as a condition for ending the inspection work.
  • AR display In the “AR display” of FIG. 4, display information on the augmented reality (AR) space to be displayed after completion of the inspection work is defined. For example, for P1 to P3, after the work on the work items specified by these procedure IDs (breaker A, breaker B, and power transmission panel power supply A) is completed, the next check position (position of the next work item to be checked) ) Is indicated by an arrow.
  • “arrow” is display information.
  • the output control unit 102 shown in FIG. 3 acquires an output data file corresponding to the skill level determined by the skill level determination unit 114 from the output data file group Fd in accordance with the control by the main control unit 101. Then, the output control unit 102 supplies work support information having the contents indicated by the output data file to the speaker SP, the display device 13 or both via the I / F unit 107.
  • FIG. 5 is a diagram showing an example of work support information using an output data file for beginners corresponding to the lowest skill level.
  • the worker visually recognizes the image representing the work target 6 in the real space through the glasses unit 13V of the display device 13 and simultaneously on the AR space projected on the inner surface of the glasses unit 13V.
  • the image messages M1, M2, and M3 can be visually recognized.
  • This work object 6 has three work items 7A, 7B, and 7C.
  • the image messages M1, M2, and M3 display the contents to be inspected for these three work items 7A, 7B, and 7C, respectively.
  • FIG. 6 is a diagram showing an example of work support information using an output data file for skilled workers corresponding to a relatively high skill level.
  • the worker visually recognizes an image representing the work target 6 in the real space through the glasses unit 13V, and at the same time, the image message M4 in the AR space projected on the inner surface of the glasses unit 13V.
  • M5 and M6 can be visually recognized.
  • These image messages M4, M5, and M6 indicate contents obtained by simplifying the contents of the image messages M1, M2, and M3 shown in FIG.
  • the output control unit 102 switches the line of sight from the inspected work item to the next work item to be inspected according to the control by the main control unit 101.
  • the prompt guidance information is output as display data DD.
  • the inspection work is completed when the worker speaks “next inspection”. .
  • the output control unit 102 supplies the display data DD having the content defined by “AR display” (an arrow indicating the direction of the next inspection position) to the display device 13 as guidance information.
  • FIG. 7A is a diagram schematically showing how the worker 4 switches the line of sight from the work item in the work target 6A to the work item in the work target 6B.
  • FIG. 7B shows an arrow symbol that prompts the user to switch the line of sight. It is a figure which shows the example of the guidance information GA to represent.
  • the output control unit 102 displays the image messages M7, M8, and M9 for the three work items during the inspection work, and displays the guidance information GA according to the end of the inspection work.
  • the main control unit 101 notifies the timing acquisition unit 110 of the switching timing according to the display output of the guidance information. For example, the main control unit 101 can notify the timing acquisition unit 110 of the switching timing immediately after the output control unit 102 outputs the guidance information.
  • the timing acquisition unit 110 causes the line-of-sight measurement unit 111 to start measuring line-of-sight information in response to the notification.
  • the line-of-sight measurement unit 111 can analyze the captured image data CD acquired by the line-of-sight detection imaging unit 11A and measure the operator's line-of-sight information (including line-of-sight coordinates and time information) in real time.
  • the line-of-sight movement direction measurement unit 112 uses line-of-sight coordinates included in the line-of-sight information
  • the line-of-sight movement timing measurement unit 113 uses time information included in the line-of-sight information.
  • a known image analysis method such as a corneal reflection method may be used for the gaze measurement method.
  • the line-of-sight measurement unit 111 analyzes the movement of the pupil appearing in the eyeball image based on the eyeball image captured by the line-of-sight detection imaging unit 11A, and determines the pupil center coordinates.
  • the position coordinates of the corneal reflection image position coordinates of an optical image called a Purkinje image
  • the line-of-sight measurement unit 111 can calculate a line-of-sight vector indicating the line-of-sight direction in a three-dimensional virtual space based on the pupil center coordinates and the position coordinates of the cornea reflection image.
  • the line-of-sight measurement unit 111 can calculate the line-of-sight coordinates on the two-dimensional image coordinate system indicating the position where the operator is gazing based on the line-of-sight vector.
  • An eye gaze measurement algorithm using such a cornea reflection method is disclosed in, for example, International Publication No. 2012/137801.
  • the line-of-sight measurement unit 111 can measure the line-of-sight information of the worker using only the captured image data CD including the eyeball image of the worker.
  • the line-of-sight information may be measured using the face direction detected by the direction detection unit 103D in addition to the captured image data CD. Thereby, it becomes possible to measure the line-of-sight information with higher reliability.
  • the configuration of the line-of-sight measurement unit 111 may be changed so that the line-of-sight information is measured based only on the face direction detected by the direction detection unit 103D. In this case, the gaze direction is estimated from the direction of the face. Therefore, since it is not necessary to use an advanced sensing technique for identifying the position of the line of sight based on the captured image data CD and the line-of-sight detection imaging unit 11A, the configuration of the sensor group 11 and the configuration of the line-of-sight measurement unit 111 can be reduced in cost. Can be realized.
  • the line-of-sight movement direction measurement unit 112 measures the line-of-sight movement direction of the worker immediately after the guidance information is displayed based on the measurement result (line-of-sight coordinates) by the line-of-sight measurement unit 111, and skillfully determines the measurement amount Dm of the line-of-sight movement direction. Output to the degree determination unit 114.
  • This measurement amount Dm can be calculated as, for example, an angle or a vector amount.
  • the line-of-sight movement timing measurement unit 113 measures the timing at which the line-of-sight movement of the worker starts immediately after the guidance information is displayed based on the measurement result of the line-of-sight measurement unit 111, and the measured value (time Information) Tm is output to the skill level determination unit 114.
  • the skill level determination unit 114 accesses the recording medium 105 and acquires the reference data file Fc.
  • the reference data file Fc includes data indicating a reference amount in the line-of-sight movement direction (hereinafter also referred to as “direction reference amount”), and a reference value for timing at which the worker's line-of-sight movement starts (hereinafter also referred to as “timing reference value”). .) Is included. As many combinations of the direction reference amount and the timing reference value are prepared as many skill levels as possible for each work item switching point.
  • FIG. 8 is a diagram showing an example of the contents of a reference data file Fc having two types of reference data sets for beginners and skilled users. In the example of FIG.
  • the switching point of the work item the reference value (unit: second) for the beginner's eye movement timing, the reference amount (unit: angle (deg)) for the beginner's eye movement direction, and the expert
  • the reference value (unit: second) of the visual line movement timing for the user and the reference amount (unit: angle (deg)) of the visual line movement direction for the expert are shown.
  • the timing reference values Tb1 and Ts1 and the direction reference amounts Db1 and Ds1 are used for skill level determination.
  • FIG. 9 is a diagram schematically showing an example of the movement of the line of sight of the worker 4 immediately after the guidance information is displayed.
  • the next work item to be checked is set to the work item 8A in the work target 6B.
  • a work item 8A exists ahead of the indicated arrow direction GD.
  • the line of sight of the worker 4 has moved to the work item 9A in the work target 6C.
  • the measured amount Dm of the operator 4 in the line-of-sight movement direction ED may be calculated as a relative amount based on the arrow direction GD.
  • the difference between the arrow direction GD indicating the position of the next work item 8A to be inspected and the line-of-sight movement direction ED becomes small. If the user is an expert, the line of sight movement to the next work item 8A starts from the moment the guidance information is displayed. In other words, the skilled person has a short time difference from the moment until the eye movement starts.
  • the skill level determination unit 114 determines the skill level based on a combination of a comparison result obtained by comparing the measurement amount Dm with the direction reference amount and a comparison result obtained by comparing the measurement value Tm with the timing reference value. be able to. Specifically, the skill level determination unit 114 selects a combination that is most similar to the combination of the actual measurement amount Dm and the measurement value Tm from among the combinations of the direction reference amount and the timing reference value, and sets the selected combination as the selected combination. The corresponding similarity is output as a determination result. It is also possible to determine the skill level based only on the comparison result obtained by comparing the measured amount Dm with the directional reference amount or only on the comparison result obtained by comparing the measured value Tm with the reference value. A specific example of the skill level determination method will be described later.
  • FIG. 10 is a flowchart showing an example of a procedure of work support processing by the work support device 10
  • FIG. 11 is a flowchart showing an example of a procedure of skill level determination processing (step ST23) in the work support processing shown in FIG. It is.
  • worker information acquisition section 103 detects the current position of the worker and the orientation of the face of the worker as described above, and outputs the detection result to main control section 101 (step ST10). .
  • the main control unit 101 tries to recognize the work place based on the detection result (step ST11). That is, the main control unit 101 determines whether or not the worker's current position corresponds to a position in the work place registered in the work procedure data Fa. As a result, when the work place is not recognized (NO in step ST12), the process returns to step ST10.
  • step ST12 when the work place is recognized (YES in step ST12), the main control unit 101 should check the work target registered in the work procedure data Fa using the recognition result by the work target information acquiring unit 104. An attempt is made to recognize the work item (step ST13). As a result, when the work item to be checked is not recognized (NO in step ST14), the process returns to step ST13. Note that the flowchart of FIG. 10 may be changed so that the process returns to step ST10 when a state in which a work item to be checked is not recognized has elapsed for a certain period of time.
  • the skill level determination unit 114 determines the current skill level (step ST15). More specifically, the output control unit 102 requests the skill level determination unit 114 to determine the skill level according to the control by the main control unit 101, and the skill level determination unit 114 responds to the request to the current skill level. Determine the degree.
  • the skill level determination unit 114 performs, for example, the last consecutive N times (N is an integer equal to or greater than 2). ), The maximum number of determination results can be determined as the current skill level.
  • the number of determinations of the skill level j is the same as the number of determinations of the skill level i (i ⁇ j)
  • the skill level of the lower skill level of the two skill levels j and i is determined. What is necessary is just to determine with the present skill level.
  • the proficiency level determination unit 114 determines the most recent consecutive N level of proficiency level. If the skill level 2 is determined more than M times (M is a positive integer; M ⁇ N) among the results, the skill level 2 can be determined as the current skill level. On the other hand, when the determination of the skill level 2 is less than M times, the skill level determination unit 114 may determine the skill level 1 as the current skill level.
  • the output control unit 102 accesses the recording medium 105, selects an output data file corresponding to the skill level from the output data file group Fd, and sets the work support information indicated by the output data file as I / O. It outputs to F section 107 (step ST16). As a result, the worker can recognize the work support information visually, audibly, or audiovisually through the speaker SP, the display device 13, or both of them.
  • the work support apparatus 10 waits until a predetermined response input such as a voice or an operation pattern defined in the work procedure data Fa is received from the worker (NO in step ST17). For example, the operator can speak “There is an abnormality in the circuit breaker A”, “No abnormality”, and “Next inspection”. If there is no predetermined response input even after a predetermined time has elapsed (NO in step ST17 and YES in step ST18), the process proceeds to the next step ST20.
  • a predetermined response input such as a voice or an operation pattern defined in the work procedure data Fa is received from the worker. For example, the operator can speak “There is an abnormality in the circuit breaker A”, “No abnormality”, and “Next inspection”. If there is no predetermined response input even after a predetermined time has elapsed (NO in step ST17 and YES in step ST18), the process proceeds to the next step ST20.
  • the main control unit 101 records the result of the response input as an inspection result (step ST19).
  • the main control unit 101 may store data indicating the inspection result in the communication unit 106, or may transmit data indicating the inspection result to the external device via the communication unit 106. Inspection results may be recorded.
  • the main control unit 101 determines whether there is a next work item to be inspected (step ST20). That is, the main control unit 101 determines whether there is a next work item to be checked with reference to the work procedure data Fa.
  • the output control unit 102 displays and outputs guidance information for guiding to the next work item from the display device 13 (step ST21).
  • the output control unit 102 may display the guide information GA indicated by the arrow symbol in FIG. 7B on the display device 13, for example.
  • the main control unit 101 notifies the timing acquisition unit 110 of the switching timing according to the display output of the guidance information (step ST22). Thereafter, skill level determination processing is executed (step ST23).
  • the timing acquisition unit 110 is on standby until the switching timing is notified. Upon receiving the notification of the switching timing from the main control unit 101, the timing acquisition unit 110 instructs the line-of-sight measurement unit 111 to perform line-of-sight measurement in response to this notification (step ST30 in FIG. 11).
  • the line-of-sight measurement unit 111 measures line-of-sight information immediately after the guidance information is displayed in response to the instruction (step ST31).
  • the line-of-sight movement direction measurement unit 112 calculates a measurement amount (direction measurement amount) Dm in the line-of-sight movement direction based on the measurement result by the line-of-sight measurement unit 111 (step ST32).
  • the line-of-sight movement direction measurement unit 112 can calculate the direction measurement amount Dm of the angle or the vector amount based on the amount of change in the line-of-sight coordinates calculated by the line-of-sight measurement unit 111. Further, the line-of-sight movement timing measurement unit 113 calculates a measurement value (timing measurement value) Tm of timing at which the worker's line-of-sight movement starts based on the measurement result by the line-of-sight measurement unit 111 (step ST33). A set of the direction measurement amount Dm and the timing measurement value Tm is supplied to the skill level determination unit 114. Note that steps ST32 and ST33 need not be executed in this order, and may be executed in the reverse order or may be executed in parallel.
  • the skill level determination unit 114 accesses the recording medium 105 to acquire the reference data file Fc (step ST34). Then, the skill level determination unit 114 sets the direction reference amount D k corresponding to the skill level k to the set (Dm, Tm) of the measurement amount Dm and the measurement value Tm for the similarity k set in the reference data file Fc. The timing reference value T k is compared with the set (D k , T k ) (steps ST35 to ST37).
  • , (1A) SD (k) a / ⁇ D (k) (1B)
  • the measurement amount Dm in the above formula (1A) is an angle between the direction indicated by the guidance information and the operator's line-of-sight movement direction.
  • the degree of difference ⁇ D (k) means the absolute value of the difference between the measured amount Dm and the direction reference amount Dk .
  • the measured amount Dm and the direction reference amount D k are vector amounts, for example, the difference between the measured amount Dm and the direction reference amount D k is used instead of the absolute difference value of the above equation (1A).
  • the norm of the vector may be calculated as the degree of difference ⁇ D (k). In general, the norm of a vector refers to the length of the vector.
  • the skill level determination unit 114 compares the measured value Tm with the timing reference value T k corresponding to the skill level k, and calculates the difference ⁇ T (k) or the similarity ST (k) as the comparison result ( Step ST37).
  • the difference ⁇ T (k) or the similarity ST (k) can be calculated by the following equation (b is a positive coefficient).
  • ⁇ T (k)
  • , (2A) ST (k) b / ⁇ T (k) (2B)
  • the dissimilarity ⁇ T in the formula (2A) (k) means a difference absolute value between the measured value Tm and the timing reference value T k.
  • step ST38 when the skill level number k has not reached the maximum number Q (YES in step ST38), the skill level determination unit 114 increments the skill level number k by 1 (step ST39), and steps ST36 and ST37 are performed. Execute.
  • the skill level determination unit 114 determines the degree of difference ⁇ D (k), ⁇ T (k) or the degree of similarity SD (k), ST (k ) To determine the skill level of the worker (step ST40).
  • the skill level determination unit 114 can use, as the determination result, the skill level k that minimizes the norm of the dissimilarity vectors ( ⁇ D (k), ⁇ T (k)) among the skill levels 1 to Q.
  • the skill level determination unit 114 can also use the skill level k having the maximum norm of the similarity vectors (SD (k), ST (k)) among the skill levels 1 to Q as the determination result.
  • the skill level determination unit 114 determines the skill level when the following condition A is satisfied. 2 can be the determination result, and when the condition A is not satisfied, the skill level 1 can be the determination result.
  • Condition A ⁇ D (1)> ⁇ D (2) and ⁇ T (1)> ⁇ T (2)
  • step ST40 After execution of step ST40 described above, the process returns to step ST13 in FIG. Finally, when it is determined that there is no next work item to be inspected (NO in step ST20), the main control unit 101 ends the work support process.
  • FIG. 12 is a block diagram illustrating a schematic configuration of the content editing device 30.
  • the content editing apparatus 30 includes a content editing processing unit 301, an interface unit (I / F unit) 302, a recording medium 303, and a communication unit 304.
  • the content editing apparatus 30 can be realized using a computer device such as a personal computer or a workstation, for example.
  • the work procedure data Fa described above is recorded on the recording medium 303.
  • the content editing processing unit 301 can display on the display device 310 via the I / F unit 302 an editing screen that allows editing of the contents of the work procedure data Fa to create the output data file group Fd.
  • the editor edits the contents of the work procedure data Fa to create the output data file group Fd by operating the operation input unit 311 and inputting information to the content editing processing unit 301 while viewing the editing screen. can do.
  • the output data file group Fd is composed of a plurality of output data files F 1 ,..., F N corresponding to a plurality of skill levels.
  • the communication unit 304 can communicate with the work support apparatus 10 and supply the output data file group Fd to the work support apparatus 10.
  • FIG. 13 is a flowchart illustrating an example of a procedure of output data file generation processing executed by the content editing processing unit 301.
  • the content editing processing unit 301 is on standby until an editing start instruction is received by an operation input by the editor (NO in step ST51).
  • the content editing processing unit 301 reads the work procedure data Fa (step ST51) and relates to the work target or one or more work items specified by the editing start instruction.
  • the editing screen is displayed on display device 310 (step ST53).
  • a content editing process corresponding to the operation input by the editor is executed (step ST54).
  • the user can edit information registered in the work procedure data Fa (for example, the contents of the display text in FIG. 4) to create information according to the skill level.
  • the content editing processing unit 301 After the content editing process is completed, the content editing processing unit 301 generates an output data file corresponding to the skill level (step ST55), and records the output data file on the recording medium 303 (step ST56).
  • step ST53 executes step ST53 and subsequent steps. Execute.
  • no editing end instruction is received and no editing instruction is received for another editing screen (NO in step ST57 and NO in step ST58)
  • this situation does not elapse for a certain period of time (step The content editing processing unit 301 is on standby. If the situation has passed for a certain period of time (YES in step ST59), or if an editing end instruction has been accepted (YES in step ST57), the above output data file generation process ends.
  • FIG. 14 is a block diagram illustrating a schematic configuration of the work learning device 20.
  • the configuration of the work learning device 20 is the same as the configuration of the work support device 10 except that the work learning device 20 includes a main control unit 101A, an output control unit 102A, and a reference data calculation unit 201.
  • the main control unit 101A has the same function as the main control unit 101 of the work support apparatus 10 except that the output content of the output control unit 102A is controlled only for the set skill level.
  • the output control unit 102A also has the same function as the output control unit 102 of the work support device 10 except that it operates only for the set skill level. That is, the output control unit 102A acquires an output data file corresponding to the set skill level from the output data file group Fd according to control by the main control unit 101A. Then, the output control unit 102A supplies work support information having the contents indicated by the output data file to the speaker SP, the display device 13 or both via the I / F unit 107.
  • the set skill level is a known skill level of the worker who uses the work learning device 20.
  • the main control unit 101A can set the skill level based on the skill level setting information input to the microphone MK by using the voice recognition function of the voice recognition unit 103A.
  • the skill level may be set based on skill level setting information input via the communication unit 106.
  • the reference data calculation unit 201 can calculate the direction reference amount based on the measurement amount calculated by the line-of-sight movement direction measurement unit 112. For example, an average of a plurality of measurement amounts for one or a plurality of workers having the same skill level can be calculated as the direction reference amount. Further, the reference data calculation unit 201 can calculate the timing reference value based on the measurement value calculated by the line-of-sight movement timing measurement unit 113. For example, an average of a plurality of measurement values for one or a plurality of workers having the same skill level can be calculated as a timing reference value. A reference data file Fc including these direction reference amount and timing reference value is stored in the recording medium 105. The communication unit 106 can communicate with the work support apparatus 10 and supply the reference data file Fc to the work support apparatus 10.
  • FIG. 15 is a flowchart illustrating an example of the procedure of the task learning process executed by the task learning device 20
  • FIG. 16 illustrates an example of the procedure of the reference data calculation process (step ST66) in the task learning process illustrated in FIG. It is a flowchart which shows.
  • the work learning device 20 executes the same processing as steps ST10 to ST14 shown in FIG.
  • the output control unit 102A accesses the recording medium 105, selects an output data file corresponding to the skill level from the output data file group Fd, and the work support information indicated by the output data file. Is output to the I / F unit 107 (step ST60).
  • the worker can recognize the work support information visually, audibly, or audiovisually through the speaker SP, the display device 13, or both of them.
  • the work learning device 20 waits until a predetermined response input such as a voice or an action pattern defined in the work procedure data Fa is received from the worker (NO in step ST61). For example, the operator can speak “There is an abnormality in the circuit breaker A”, “No abnormality”, and “Next inspection”. If there is no predetermined response input even after a predetermined time has elapsed (NO in step ST61 and YES in step ST62), the process proceeds to the next step ST63.
  • a predetermined response input such as a voice or an action pattern defined in the work procedure data Fa is received from the worker. For example, the operator can speak “There is an abnormality in the circuit breaker A”, “No abnormality”, and “Next inspection”. If there is no predetermined response input even after a predetermined time has elapsed (NO in step ST61 and YES in step ST62), the process proceeds to the next step ST63.
  • main controller 101A determines whether there is a next work item to be inspected (step ST63). .
  • the output control unit 102A displays guidance information for guiding to the next work item as in the case of step ST21. 13 is displayed and output (step ST64). Then, the main control unit 101A notifies the timing acquisition unit 110 of the switching timing according to the display output of the guidance information (step ST65). Thereafter, reference data calculation processing is executed (step ST66).
  • the timing acquisition unit 110 Upon receiving the notification of the switching timing from the main control unit 101, the timing acquisition unit 110 instructs the line-of-sight measurement unit 111 to perform line-of-sight measurement in response to this notification (step ST70 in FIG. 16).
  • the line-of-sight measurement unit 111 measures line-of-sight information immediately after the guidance information is displayed in response to the instruction (step ST71).
  • the line-of-sight movement direction measurement unit 112 calculates a measurement amount Dm in the line-of-sight movement direction based on the measurement result by the line-of-sight measurement unit 111 (step ST72).
  • the line-of-sight movement timing measurement unit 113 calculates a measurement value Tm of the timing at which the worker's line-of-sight movement starts based on the measurement result by the line-of-sight measurement unit 111 (step ST73).
  • a set of the direction measurement amount Dm and the timing measurement value Tm is supplied to the reference data calculation unit 201. Note that steps ST72 and ST73 need not be executed in this order, and may be executed in the reverse order, or may be executed in parallel.
  • the reference data calculation unit 201 accesses the recording medium 105 and reads a past reference data file Fc (step ST74). Then, the reference data calculation unit 201 calculates an average of a plurality of measurement amounts including past times as a new direction reference amount based on the past direction reference amount and the measurement amount Dm in the reference data file Fc. (Step ST75). Further, the reference data calculation unit 201 calculates an average of a plurality of measurement values including past times as a new timing reference value based on the past timing reference value and the measurement value Tm in the reference data file Fc. (Step ST76). Then, the reference data calculation unit 201 newly creates a reference data file by using the newly calculated direction reference amount and timing reference value (step ST77), and the newly created reference data file is recorded on the recording medium 105. (Step ST78).
  • step ST66 After execution of step ST66 described above, the process returns to step ST13 in FIG. Finally, when it is determined that there is no next work item to be checked (NO in step ST63), the main control unit 101 ends the work learning process.
  • the hardware configuration of the work support device 10 and the work learning device 20 described above can be realized by an information processing device having a computer configuration with a built-in CPU (Central Processing Unit) such as a workstation or a mainframe.
  • the hardware configuration of the work support device 10 and the work learning device 20 may include DSP (Digital Signal Processor), ASIC (Application Specific Integrated i Circuit), or FPGA (Field-Programmable Gate Array LSI). It may be realized by an information processing apparatus having DSP (Digital Signal Processor), ASIC (Application Specific Integrated i Circuit), or FPGA (Field-Programmable Gate Array LSI). It may be realized by an information processing apparatus having DSP (Digital Signal Processor), ASIC (Application Specific Integrated i Circuit), or FPGA (Field-Programmable Gate Array LSI). It may be realized by an information processing apparatus having DSP (Digital Signal Processor), ASIC (Application Specific Integrated i Circuit), or FPGA (Field-Programmable Gate Array LSI
  • FIG. 17 is a block diagram showing a schematic configuration of an information processing apparatus 3A, which is a hardware configuration example of the work support apparatus 10 or the work learning apparatus 20.
  • the information processing apparatus 3A includes a signal processing circuit 40, an interface (I / F) circuit 41, a communication circuit 42, a fixed recording medium 43, a memory interface unit 44, and a recording medium 45 made of an LSI such as a DSP, ASIC, or FPGA. It is configured with.
  • the signal processing circuit 40, I / F circuit 41, communication circuit 42, recording medium 43, and memory interface unit 44 are connected to each other via a signal path 46 such as a bus circuit.
  • the recording medium 45 is a detachable recording medium that is detachably attached to the memory interface unit 44.
  • the unit 110, the line-of-sight measurement unit 111, the line-of-sight movement direction measurement unit 112, the line-of-sight movement timing measurement unit 113, and the skill level determination unit 114 can be realized by the signal processing circuit 40 illustrated in FIG.
  • the communication unit 106 can be configured by the communication circuit 42 in FIG. 17, and the I / F unit 107 can be configured by the I / F circuit 41 in FIG. 17.
  • the recording medium 105 can be composed of the recording media 43 and 45 shown in FIG.
  • the timing acquisition unit 110, the gaze measurement unit 111, the gaze movement direction measurement unit 112, the gaze movement timing measurement unit 113, and the reference data calculation unit 201 can be realized by the signal processing circuit 40 illustrated in FIG.
  • the communication unit 106 can be configured by the communication circuit 42 in FIG. 17, and the I / F unit 107 can be configured by the I / F circuit 41 in FIG. 17.
  • the recording medium 105 can be composed of the recording media 43 and 45 shown in FIG.
  • FIG. 18 is a block diagram showing a schematic configuration of an information processing apparatus 3B which is another example of the hardware configuration of the work support apparatus 10 or the work learning apparatus 20.
  • the information processing apparatus 3B includes a processor 50 including a CPU 50c, a RAM (Random Access Memory) 51, a ROM (Read Only Memory) 52, an interface (I / F) circuit 53, a communication circuit 54, a fixed recording medium 55, a memory An interface unit 56 and a recording medium 57 are provided.
  • the processor 50, RAM 51, ROM 52, I / F circuit 53, communication circuit 54, recording medium 55, and memory interface unit 56 are connected to each other via a signal path 58 such as a bus circuit.
  • the recording medium 57 is a detachable recording medium that is detachably attached to the memory interface unit 56.
  • the processor 50 can realize the functions of the work support device 10 or the work learning device 20 by operating according to the computer program read from the ROM 52.
  • the unit 110, the line-of-sight measurement unit 111, the line-of-sight movement direction measurement unit 112, the line-of-sight movement timing measurement unit 113, and the skill level determination unit 114 can be realized by the processor 50 and the computer program illustrated in FIG.
  • the communication unit 106 can be configured by the communication circuit 54 in FIG. 18, and the I / F unit 107 can be configured by the I / F circuit 53 in FIG.
  • the recording medium 105 can be composed of the recording media 55 and 57 shown in FIG.
  • the timing acquisition unit 110, the gaze measurement unit 111, the gaze movement direction measurement unit 112, the gaze movement timing measurement unit 113, and the reference data calculation unit 201 can be realized by the processor 50 and the computer program illustrated in FIG.
  • the communication unit 106 can be configured by the communication circuit 54 in FIG. 18, and the I / F unit 107 can be configured by the I / F circuit 53 in FIG.
  • the recording medium 105 can be composed of the recording media 55 and 57 shown in FIG.
  • an HDD hard disk drive
  • SSD solid state drive
  • a flash memory such as an SD card (registered trademark) can be used.
  • the communication circuits 42 and 54 shown in FIGS. 17 and 18 may have a function capable of communicating with other communication devices in a wired or wireless manner.
  • the communication circuits 42 and 54 may have a configuration capable of communicating with other communication devices via a wide-area communication network such as a wired cable, a wired LAN (Local Area Network), a wireless LAN, or the Internet.
  • the communication circuit 42 may have a communication function using a short-range wireless communication technology such as Bluetooth (registered trademark).
  • the present embodiment automatically determines the skill level of the worker using the measurement value of the eye movement timing at the time of switching the inspection item, the measurement amount in the eye movement direction, or both measurement results. Therefore, it is possible to quickly determine the skill level even when there is an operation involving movement. Therefore, effective work support can be performed by using this determination result and presenting work support information having contents corresponding to the skill level of the worker to the worker.
  • the worker 4 wears the glasses-type wearable device 5 and performs work as in the case of the present embodiment, a situation occurs in which line-of-sight movement easily occurs due to the movement of the worker 4.
  • the present embodiment uses the measurement value of the eye movement timing at the time of switching the inspection item, the measurement amount in the eye movement direction, or the measurement results of both of them, and the skill level of the operator. Is automatically determined, thereby obtaining an effect that the determination accuracy of the skill level is high. Note that the same effect can be obtained even when another type of wearable device is used instead of the glasses-type wearable device 5 of the present embodiment.
  • the output control unit 102 of the work learning device 20 determines the skill level determined by the skill level determination unit 114 from the output data files F 1 to F N corresponding to the skill levels of a plurality of stages.
  • the output data file corresponding to is selected.
  • the editor can individually edit the output data files F 1 to F N using the content editing device 30. With such a configuration, the contents of the work support information can be finely and flexibly customized according to the skill level, and the work efficiency of the worker 4 can be improved.
  • the work support device and the work support system according to the present invention can be applied to support of work performed according to a certain procedure, for example, maintenance or inspection of machine equipment or repair or assembly of machine equipment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Automation & Control Theory (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • General Factory Administration (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

作業支援装置（１０）は、作業者の視線情報を計測する視線計測部（１１１）と、視線計測部（１１１）による計測結果を基に視線移動方向を測定して当該視線移動方向の測定量を出力する視線移動方向測定部（１１２）と、前記測定量を予め用意された基準量と比較し、その比較結果に応じて前記作業者の技量レベルを示す熟練度を判定する熟練度判定部（１１４）と、熟練度判定部（１１４）で判定された熟練度に応じた内容の作業支援情報を情報出力部（ＳＰ，１３）から出力させる出力制御部（１０２）とを備える。

Description

作業支援装置、作業学習装置及び作業支援システム
　本発明は、作業者の点検作業を支援するための情報処理技術に関し、特に、作業者の技量に応じた点検作業支援を行うための情報処理技術に関する。
　水処理設備、プラント設備及び発電設備などの機械設備では、その機械設備の運用時に、保守または品質維持などのための点検作業が欠かせない。その種の点検作業では、作業者は、たとえば、作業手順書、または情報処理端末に表示された作業手順画面に基づいて、機械設備の保守状態または稼働状態を定期的に点検し、その点検結果を正確に記録する必要がある。また、作業者は、その点検結果に不備があれば、必要に応じて機械設備の修理またはその動作状態の調整といった対策をとらなければならない。
　しかしながら、前述の作業手順書または作業手順画面における指示内容は、作業者の熟練度に関係なく共通した内容であることが多い。このため、その指示内容が熟練度の高い者に合わせた簡潔な内容である場合には、初心者は、その指示内容が情報不足または理解困難な内容と感じて、非効率で誤った点検作業を行うおそれがある。逆に、その指示内容が熟練度の低い者に合わせた内容である場合には、熟練者は、その指示内容が冗長と感じることがある。この場合には、熟練者の作業効率が低下するおそれがある。
　したがって、作業手順書または作業手順画面における指示内容は、作業者の熟練度に応じた内容に切り替えられることが好ましい。たとえば、特許文献１（特開２０１２－２３４４０６号公報）には、作業者の熟練度を自動的に判定し、その判定結果に応じた指示内容を表示する作業支援装置が開示されている。この作業支援装置は、作業者の視線移動速度の分布を計測し、その分布のピークが特定の速度範囲に顕著に現れたときに当該作業者の熟練度が高いと判定するものである。
特開２０１２－２３４４０６号公報（たとえば、段落００３８～００５２）
　特許文献１の従来技術は、作業者が静止しているときには、作業者の視線移動速度分布の計測値に基づいて熟練度を正確に判定することができる。しかしながら、作業者が動きながら点検作業を行うと、作業者は、この点検作業に必要な視線移動だけでなく、自己の頭部または身体を動かすために必要な視線移動も行う。このような作業者の動きに必要な視線移動の速度がノイズ成分となって熟練度の判定精度を低下させるという問題がある。
　上記に鑑みて本発明の目的は、作業者が動きながら点検作業を行う場合でも、その作業者の熟練度を高い精度で判定することを可能とする作業支援装置、作業学習装置及び作業支援システムを提供する点にある。
　本発明の第１の態様による作業支援装置は、作業者の視線情報を計測する視線計測部と、前記視線計測部による計測結果を基に視線移動方向を測定して当該視線移動方向の測定量を出力する視線移動方向測定部と、前記測定量を予め用意された基準量と比較し、その比較結果に応じて前記作業者の技量レベルを示す熟練度を判定する熟練度判定部と、前記熟練度判定部で判定された熟練度に応じた内容の作業支援情報を情報出力部から出力させる出力制御部とを備えることを特徴とする。
　本発明の第２の態様による作業学習装置は、作業者に対して点検済みの作業項目から点検すべき次の作業項目への視線の切り替えを促す案内情報を情報出力部から表示出力させる作業学習用出力制御部と、当該案内情報の表示出力に応じて前記作業者の視線情報を計測する作業学習用視線計測部と、前記作業学習用視線計測部による計測結果を基に視線移動方向を測定して前記視線移動方向の測定量を出力する作業学習用視線移動方向測定部と、前記測定量に基づいて前記案内情報に対応する基準量を算出する基準データ算出部とを備えることを特徴とする。
　本発明の第３の態様による作業支援システムは、上記第１の態様による作業支援装置と、上記第２の態様による作業学習装置とを備えることを特徴とする。
　本発明によれば、作業者の視線移動方向の測定量を用いて熟練度が判定されるため、作業者が動きながら点検作業を行う場合でも、高い精度で熟練度の判定を行うことができる。したがって、その判定結果を利用することで、作業者の熟練度に応じた効率的な作業支援を行うことが可能となる。
本発明に係る実施の形態１の作業支援システムの概略構成を示すブロック図である。 図２Ａ，図２Ｂ及び図２Ｃは、メガネ型ウェアラブルデバイスの例を示す図である。 実施の形態１における作業支援装置の概略構成を示すブロック図である。 作業手順データの内容の一例を説明するための図である。 出力データファイルを用いた表示内容の一例を示す図である。 出力データファイルを用いた表示内容の他の例を示す図である。 図７Ａは、作業者が視線を切り替える様子を示す図であり、図７Ｂは、その視線の切り替えを促す案内情報の一例を示す図である。 基準データファイルの内容の一例を示す図である。 視線の切り替えを促す案内情報で示される方向と視線移動方向とを例示する図である。 実施の形態１に係る作業支援処理の手順の一例を示すフローチャートである。 実施の形態１に係る作業支援処理における熟練度判定処理の手順の一例を示すフローチャートである。 実施の形態１におけるコンテンツ編集装置の概略構成を示すブロック図である。 コンテンツ編集装置により実行される出力データファイル生成処理の手順の一例を示すフローチャートである。 実施の形態１における作業学習装置の概略構成を示すブロック図である。 作業学習装置により実行される作業学習処理の手順の一例を示すフローチャートである。 実施の形態１に係る作業学習処理における基準データ算出処理の手順の一例を示すフローチャートである。 作業支援装置または作業学習装置のハードウェア構成例である情報処理装置の概略構成を示すブロック図である。 作業支援装置または作業学習装置の他のハードウェア構成例である情報処理装置の概略構成を示すブロック図である。
　以下、図面を参照しつつ、本発明に係る実施の形態について詳細に説明する。なお、図面全体において同一符号を付された構成要素は、同一構成及び同一機能を有するものとする。
実施の形態１．
　図１は、本発明に係る実施の形態１の作業支援システム１の概略構成を示すブロック図である。この作業支援システム１は、機械設備の保守または品質維持のための点検作業を支援する作業支援処理を行う作業支援装置１０と、その作業支援処理に使用される基準データファイルＦｃを作業支援装置１０に供給する作業学習装置２０と、作業支援情報を含む出力データファイル群Ｆｄを作業支援装置１０に供給するコンテンツ編集装置３０とを備えるとともに、更に、センサ群１１、音響入出力部１２及びディスプレイ装置１３を備えている。
　音響入出力部１２は、音響波を電気信号に変換する音響入力部としてのマイクロフォンＭＫと、音響波を空間に出力する音響出力部としてのスピーカＳＰとで構成されている。本実施の形態では、これらのセンサ群１１、音響入出力部１２及びディスプレイ装置１３は、作業者の頭部または身体に装着可能なウェアラブルデバイス（Ｗｅａｒａｂｌｅ　Ｄｅｖｉｃｅ）を構成している。
　図２Ａ，図２Ｂ及び図２Ｃは、メガネ型ウェアラブルデバイス５の例を示す図である。図２Ａは、メガネ型ウェアラブルデバイス５及び音響入出力部（ヘッドセット）１２が作業者４の頭部に着脱自在に装着された状態を示す図である。作業者４は、メガネ型ウェアラブルデバイス５のメガネ部を透過した光を視覚で感じて作業対象６を認識することができる。
　また、図２Ｂは、メガネ型ウェアラブルデバイス５及び作業支援装置１０の外観を例示する図であり、図２Ｃは、音響入出力部１２の外観を例示する図である。図２Ｂに示されるように、メガネ型ウェアラブルデバイス５は、光学透過型ＨＭＤ（Ｈｅａｄ－Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）を構成するディスプレイ装置１３と、前方撮像部１１Ｄとを有し、更に、図示されていない視線検出用撮像部、位置検出用センサ及び方向センサを有する。メガネ型ウェアラブルデバイス５は、ケーブルを介して作業支援装置１０と接続されている。視線検出用撮像部、位置検出用センサ及び方向センサについては後述する。
　図２Ｂに示される前方撮像部１１Ｄは、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサなどの固体撮像素子で構成されている。この前方撮像部１１Ｄは、作業者４の前方に位置する作業対象６を表す光学像を電気的に検出して前方画像信号を生成し、この前方画像信号を作業支援装置１０に出力する。メガネ型ディスプレイ装置１３は、作業支援装置１０で生成された拡張現実（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ，ＡＲ）空間上のディジタル画像をメガネ部の内面に投影することで、その投影像を作業者４に視覚的に認識させることができる。
　本実施の形態の熟練度は、作業者による点検作業の技量レベルを示す値である。図１を参照すると、出力データファイル群Ｆｄは、複数段階の熟練度にそれぞれ対応する複数の出力データファイル（たとえば、初心者用の表示内容または音響出力内容を示す出力データファイル、及び熟練者用の表示内容または音響出力内容を示す出力データファイル）で構成されている。コンテンツ編集装置３０は、編集者が事前に出力データファイル群Ｆｄを作成するために使用する装置である。一方、基準データファイルＦｃは、作業者の視線移動方向の基準量を示すデータと、作業者の視線移動が始まるタイミングの基準値を示すデータとを含むものである。作業学習装置２０は、初心者及び熟練者を含む複数の作業者による実際の点検作業を学習することにより基準データファイルＦｃを自動生成する機能を有している。
　作業支援装置１０は、基準データファイルＦｃを用いて作業者の熟練度を判定する。また、作業支援装置１０は、出力データファイル群Ｆｄを用いて当該熟練度に応じた内容を有する作業支援情報をディスプレイ装置１３、スピーカＳＰ、またはこれらディスプレイ装置１３及びスピーカＳＰの双方に供給する。これにより、作業者は、視覚的、聴覚的または視聴覚的に作業支援情報を認識することができる。なお、スピーカＳＰ及びディスプレイ装置１３によって、作業支援情報を出力する情報出力部が構成される。
　本実施の形態の作業支援システム１を用いて行われる作業は、点検の現場で行われるオンライン作業（すなわち点検作業）と、このオンライン作業に先立って事前に行われるオフライン作業とに分けられる。作業学習装置２０とコンテンツ編集装置３０とは、オフライン作業に使用され、作業支援装置１０は、オンライン作業に使用される。
　先ず、作業支援装置１０について説明する。図３は、実施の形態１における作業支援装置１０の概略構成を示すブロック図である。
　図３に示されるように作業支援装置１０は、主制御部１０１、出力制御部１０２、作業者情報取得部１０３、作業対象情報取得部１０４、記録媒体１０５、通信部１０６及びインタフェース部（Ｉ／Ｆ部）１０７を備えている。作業支援装置１０は、更に、熟練度判定用の構成要素として、タイミング取得部１１０、視線計測部１１１、視線移動方向測定部１１２、視線移動タイミング測定部１１３及び熟練度判定部１１４を備える。
　記録媒体１０５には、上記した出力データファイル群Ｆｄ及び基準データファイルＦｃとともに、作業手順データＦａが格納されている。主制御部１０１は、作業手順データＦａで定められた手順に従って出力制御部１０２の出力内容を制御する。通信部１０６は、作業学習装置２０と通信して作業学習装置２０から基準データファイルＦｃを取得し、この基準データファイルＦｃを記録媒体１０５に記録することができる。また、通信部１０６は、コンテンツ編集装置３０と通信してコンテンツ編集装置３０から出力データファイル群Ｆｄを取得し、この出力データファイル群Ｆｄを記録媒体１０５に記録することもできる。
　たとえば、通信ネットワーク環境が存在する場所では、作業学習装置２０及びコンテンツ編集装置３０は、出力データファイル群Ｆｄ及び基準データファイルＦｃを情報配信サーバに格納してもよい。作業支援装置１０の通信部１０６は、この情報配信サーバに配信要求を送信して出力データファイル群Ｆｄ及び基準データファイルＦｃを取得することができる。あるいは、記録媒体１０５が着脱自在の記録媒体として構成される場合には、この記録媒体１０５を介して、作業学習装置２０から作業支援装置１０に基準データファイルＦｃを移動させ、コンテンツ編集装置３０から作業支援装置１０に出力データファイル群Ｆｄを移動させてもよい。
　一方、Ｉ／Ｆ部１０７は、センサ群１１、音響入出力部１２及びディスプレイ装置１３の各々との間でデータの送受信を行うように構成されている。本実施の形態のＩ／Ｆ部１０７は、図２Ｂに示したようにケーブルを介してセンサ群１１、音響入出力部１２及びディスプレイ装置１３と有線で接続されているが、これに限定されずに、無線通信技術を利用してセンサ群１１、音響入出力部１２及びディスプレイ装置１３と接続されてもよい。
　センサ群１１は、視線検出用撮像部１１Ａ、位置検出用センサ１１Ｂ、方向センサ１１Ｃ及び前方撮像部１１Ｄを含む。視線検出用撮像部１１Ａは、作業者の眼球を撮像して当該眼球を表す撮像画像データを生成し、その撮像画像データＣＤをＩ／Ｆ部１０７を介して視線計測部１１１に供給する。視線計測部１１１は、その眼球を表す撮像画像を解析して作業者の視線をリアルタイムに計測することができる。
　位置検出用センサ１１Ｂは、たとえば、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）センサなどのＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）センサ、無線ＬＡＮ基地局の発信電波を検出する電波センサ、または、ＲＦＩＤ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ　ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）センサが挙げられる。ただし、位置検出用センサ１１Ｂは、作業者及び作業対象の位置検出のために使用されるセンサであれば、特に限定されるものではない。また、方向センサ１１Ｃは、作業者の顔の向き検出のために使用されるセンサであり、たとえば、ジャイロセンサ及び加速度センサで構成することができる。前方撮像部１１Ｄは、作業者の前方に位置する物体を撮像してディジタル画像を生成する。前方撮像部１１Ｄは、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサなどの固体撮像素子で構成されている。位置検出用センサ１１Ｂ、方向センサ１１Ｃ及び前方撮像部１１Ｄのそれぞれの出力からなるセンサデータＳＤは、Ｉ／Ｆ部１０７を介して、作業者情報取得部１０３と作業対象情報取得部１０４とにそれぞれ供給される。
　マイクロフォンＭＫは、音声などの入力音響波を検出し、その検出結果である入力音響データＶＤをＩ／Ｆ部１０７を介して作業者情報取得部１０３に供給する。スピーカＳＰは、出力制御部１０２からＩ／Ｆ部１０７を介して入力された出力音響データＡＤを音響波に変換して出力する。一方、ディスプレイ装置１３は、出力制御部１０２からＩ／Ｆ部１０７を介して入力された表示データＤＤを表示画像に変換して出力する機能を有する。
　作業者情報取得部１０３は、作業者の現在位置を検出する位置検出部１０３Ｐと、作業者の動作パターンを検出する動き検出部１０３Ｍと、特定の音声パターンを認識する音声認識部１０３Ａと、作業者の顔の向いている方向（以下、単に「作業者の顔の向き」ともいう。）を検出する方向検出部１０３Ｄとを有している。作業者情報は、作業者の現在位置、顔の向き、動作パターン及び音声パターンのうちの少なくとも１つを含む情報である。この作業者情報は、主制御部１０１に供給される。また、作業者の顔の向き及び現在位置の検出結果は、作業対象情報取得部１０４にも供給される。
　位置検出部１０３Ｐは、位置検出用センサ１１Ｂの検出出力に基づいて作業者の現在位置をリアルタイムに検出する。たとえば、作業者が屋外にいる場合は、上記ＧＮＳＳセンサを使用して作業者の現在位置を検出することができる。一方、作業者が屋内にいる場合には、上記電波センサの検出出力またはＲＦＩＤセンサの検出出力を用いて作業者の現在位置（たとえば、建物単位、階単位または部屋単位での現在位置）を検出することが可能である。なお、位置検出部１０３Ｐは、別途設けられている入退室管理システムなどの管理システムから作業者の現在位置の情報を取得してもよい。方向検出部１０３Ｄは、方向センサ１１Ｃの検出出力に基づいて作業者の顔の向きをリアルタイムに検出することができる。
　動き検出部１０３Ｍは、前方撮像部１１Ｄから出力される動画像データを解析して作業者の身体の一部（たとえば、手）の特定の動作パターンを検出する。作業者が自己の身体の一部を特定の動作パターン（たとえば、人差し指が上下に移動する動作パターン）で動かすと、動き検出部１０３Ｍは、動画像解析によりその動作パターンを検出することができる。ここで、動き検出部１０３Ｍは、動画像データだけでなく、距離センサ（図示せず）により得られる距離情報（ｄｅｐｔｈ　ｉｎｆｏｒｍａｔｉｏｎ）を用いて動作パターンを検出してもよい。距離センサは、公知のパターン照射方式または公知のＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）方式により作業者の身体表面各部までの距離を検出する機能を有するセンサである。また、音声認識部１０３Ａは、入力音響データＶＤを解析して作業者の音声を認識し、この認識された音声が登録音声（たとえば、「点検終了」または「次の点検」）と合致するときにその認識結果を出力する。音声認識方法は、特に限定されるものではなく、公知の音声認識技術を使用すればよい。
　一方、作業対象情報取得部１０４は、作業者の現在位置及び顔の向きの検出結果を作業者情報取得部１０３から取得し、また、センサデータＳＤから前方画像信号を取得する。作業対象情報取得部１０４は、その検出結果を用いて前方画像信号を解析することにより、作業者の視線の先に存在する作業対象候補を認識するとともに、この作業対象内の作業項目候補を認識し、それら認識結果を主制御部１０１に出力することができる。作業対象情報取得部１０４は、たとえば、公知のパターンマッチング法により、作業者の顔が向いている方向の特定の位置に存在する作業対象候補及び作業項目候補を前方画像信号から認識することができる。
　主制御部１０１は、記録媒体１０５に格納されている作業手順データＦａで定められた手順に従って出力制御部１０２の出力内容を制御する。図４は、作業手順データＦａの内容の一例を説明するための図である。図４の例では、「作業場所」、「作業対象」、「作業項目」、「正常値」、「ＡＲ表示」、「現在作業終了条件」、「表示テキスト」及び「作業項目位置（四点座標）」の組み合わせが手順ＩＤ（手順識別子）ごとに定められている。「作業場所」は、作業者が点検作業を行うべき場所を、「作業対象」は、その場所に配置されている配電盤などの作業対象となる物体を、「作業項目」は、その作業対象において点検対象となる作業項目を、「正常値」は、当該作業項目の動作状態が正常状態であるときの数値または記号をそれぞれ定めている。また、図４の「表示テキスト」には、各手順ＩＤで指定される作業項目についてのデフォルトの表示情報が定められている。
　また、図４の「作業項目位置（四点座標）」には、各作業対象において作業項目が占める配置範囲を特定するための位置情報が定められている。図４の例では、各作業項目における４点の位置をそれぞれ特定する４つの２次元座標の組み合わせが定められている。主制御部１０１は、この位置情報を用いて、作業対象情報取得部１０４で認識された作業項目候補の中から作業項目を認識することができる。なお、各作業項目の配置範囲の特定方法は、図４に示した２次元座標の組み合わせに限定されるものではない。たとえば、３次元座標の組み合わせで各作業項目の配置位置が特定されてもよい。
　また、図４の「現在作業終了条件」は、現在の作業対象または作業項目に対する点検作業を終了させる条件を定めており、具体的には、作業者が音声入力すべき内容を定めている。たとえば、Ｐ１～Ｐ３については、作業対象（配電盤Ａ）に対する作業を終了させる条件として、作業者は「次の点検」と発話すべきことが定められている。音声認識部１０３Ａは、その発話内容を認識することができる。
　なお、点検作業を終了させる条件として、身体の一部の特定の動作パターンが定められていてもよい。動き検出部１０３Ｍは、このような動作パターンを認識することができる。あるいは、点検結果の応答入力終了が、点検作業を終了させる条件として定められてもよい。
　そして、図４の「ＡＲ表示」には、点検作業終了後に表示されるべき拡張現実（ＡＲ）空間上の表示情報が定められている。たとえば、Ｐ１～Ｐ３については、これら手順ＩＤで指定される作業項目（遮断器Ａ，遮断器Ｂ及び送電盤電源Ａ）に対する作業終了後に、次の点検位置（点検すべき次の作業項目の位置）の方向を矢印で表示することが定められている。ここでは「矢印」が表示情報である。
　図３に示される出力制御部１０２は、主制御部１０１による制御に従い、出力データファイル群Ｆｄの中から、熟練度判定部１１４で判定された熟練度に対応する出力データファイルを取得する。そして、出力制御部１０２は、この出力データファイルで示される内容を有する作業支援情報を、Ｉ／Ｆ部１０７を介してスピーカＳＰ、ディスプレイ装置１３またはこれらの両方に供給する。
　図５は、最も低い熟練度に対応する初心者用の出力データファイルを用いた作業支援情報の一例を示す図である。図５に示されるように、作業者は、ディスプレイ装置１３のメガネ部１３Ｖを介して実空間上の作業対象６を表す画像を視認すると同時に、メガネ部１３Ｖの内面に投影されたＡＲ空間上の画像メッセージＭ１，Ｍ２，Ｍ３を視認することができる。この作業対象６は、３つの作業項目７Ａ，７Ｂ，７Ｃを有している。画像メッセージＭ１，Ｍ２，Ｍ３は、それぞれ、これら３つの作業項目７Ａ，７Ｂ，７Ｃについて点検すべき内容を表示するものである。
　一方、図６は、比較的高い熟練度に対応する熟練者用の出力データファイルを用いた作業支援情報の一例を示す図である。図６に示されるように、作業者は、メガネ部１３Ｖを介して実空間上の作業対象６を表す画像を視認すると同時に、メガネ部１３Ｖの内面に投影されたＡＲ空間上の画像メッセージＭ４，Ｍ５，Ｍ６を視認することができる。これら画像メッセージＭ４，Ｍ５，Ｍ６は、それぞれ、図５に示した画像メッセージＭ１，Ｍ２，Ｍ３の内容が簡略化された内容を示すものである。
　上記の現在作業終了条件（図４）により点検作業が終了すると、出力制御部１０２は、主制御部１０１による制御に従い、点検済みの作業項目から点検すべき次の作業項目への視線の切り替えを促す案内情報を表示データＤＤとして出力する。図４の例の場合、Ｐ１～Ｐ３に対応する作業項目（遮断器Ａ、遮断器Ｂ及び送電盤電源Ａ）については、作業者が「次の点検」と発話することにより点検作業が終了する。その後、出力制御部１０２は、「ＡＲ表示」で定められた内容（次の点検位置の方向を表示する矢印）を有する表示データＤＤを案内情報としてディスプレイ装置１３に供給する。
　図７Ａは、作業者４が作業対象６Ａ内の作業項目から作業対象６Ｂ内の作業項目へ視線を切り替える様子を概略的に示す図であり、図７Ｂは、その視線の切り替えを促す矢印記号を表す案内情報ＧＡの例を示す図である。図７Ｂに示されるように、出力制御部１０２は、点検作業中は、３つの作業項目について画像メッセージＭ７，Ｍ８，Ｍ９を表示させ、点検作業の終了に応じて案内情報ＧＡを表示させる。
　主制御部１０１は、上記案内情報の表示出力に応じて切替タイミングをタイミング取得部１１０に通知する。たとえば、主制御部１０１は、出力制御部１０２から上記案内情報の表示出力がなされた直後に、切替タイミングをタイミング取得部１１０に通知することができる。タイミング取得部１１０は、その通知に応じて視線計測部１１１に視線情報の計測を開始させる。視線計測部１１１は、視線検出用撮像部１１Ａで取得された撮像画像データＣＤを解析して作業者の視線情報（視線座標及び時間情報を含む。）をリアルタイムに計測することができる。その計測結果を示すデータは、視線移動方向測定部１１２及び視線移動タイミング測定部１１３にそれぞれ供給される。視線移動方向測定部１１２は、視線情報に含まれる視線座標を利用し、視線移動タイミング測定部１１３は、視線情報に含まれる時間情報を利用する。
　視線の計測方法には、角膜反射法などの公知の画像解析法を使用すればよい。角膜反射法を使用する場合には、たとえば、視線計測部１１１は、視線検出用撮像部１１Ａにより撮像された眼球画像に基づいて、当該眼球画像に現れる瞳孔の動きを解析して瞳孔中心座標と角膜反射像の位置座標（プルキニエ像と呼ばれる光学像の位置座標）とを推定する。視線計測部１１１は、当該瞳孔中心座標と当該角膜反射像の位置座標とに基づいて、３次元の仮想空間上の視線方向を示す視線ベクトルを算出することができる。視線計測部１１１は、この視線ベクトルを基に、作業者が注視する位置を示す、２次元画像座標系上の視線座標を算出することが可能である。このような角膜反射法を用いた視線計測アルゴリズムは、たとえば、国際公開第２０１２／１３７８０１号に開示されている。
　なお、視線計測部１１１は、作業者の眼球画像を含む撮像画像データＣＤのみを用いて作業者の視線情報を計測することができる。あるいは、撮像画像データＣＤに加えて、方向検出部１０３Ｄで検出された顔の向きを用いて視線情報を計測してもよい。これにより、より信頼性の高い視線情報の計測を行うことが可能となる。
　なお、方向検出部１０３Ｄで検出された顔の向きのみに基づいて視線情報を計測するように視線計測部１１１の構成を変更してもよい。この場合、当該顔の向きから視線方向が推定される。よって、撮像画像データＣＤに基づいて視線の位置を特定する高度なセンシング技術と視線検出用撮像部１１Ａとを用いる必要がないので、センサ群１１の構成と視線計測部１１１の構成とを低コストで実現することができる。
　視線移動方向測定部１１２は、視線計測部１１１による計測結果（視線座標）に基づき、案内情報が表示された直後における作業者の視線移動方向を測定して当該視線移動方向の測定量Ｄｍを熟練度判定部１１４に出力する。この測定量Ｄｍは、たとえば、角度またはベクトル量として算出可能である。並行して、視線移動タイミング測定部１１３は、視線計測部１１１による計測結果を基に、案内情報が表示された直後における作業者の視線移動が始まるタイミングを測定して当該タイミングの測定値（時間情報）Ｔｍを熟練度判定部１１４に出力する。
　熟練度判定部１１４は、記録媒体１０５にアクセスして基準データファイルＦｃを取得する。この基準データファイルＦｃには、視線移動方向の基準量（以下「方向基準量」ともいう。）を示すデータと、作業者の視線移動が始まるタイミングの基準値（以下「タイミング基準値」ともいう。）を示すデータとが含まれている。方向基準量及びタイミング基準値の組み合わせは、作業項目の切り替え箇所ごとに、判定可能な熟練度の数だけ用意されている。図８は、初心者用及び熟練者用の２種類の基準データセットを有する基準データファイルＦｃの内容の一例を示す図である。図８の例では、作業項目の切り替え箇所と、初心者用の視線移動タイミングの基準値（単位：秒）と、初心者用の視線移動方向の基準量（単位：角度（ｄｅｇ））と、熟練者用の視線移動タイミングの基準値（単位：秒）と、熟練者用の視線移動方向の基準量（単位：角度（ｄｅｇ））とが示されている。たとえば、作業手順がＰ３からＰ４に切り替わる場合には、タイミング基準値Ｔｂ１，Ｔｓ１と、方向基準量Ｄｂ１，Ｄｓ１とが熟練度判定に使用される。
　図９は、案内情報が表示された直後における作業者４の視線移動の例を概略的に示す図である。図９の例では、作業対象６Ａ内の作業項目７Ｃに対する点検作業が終了した後は、点検すべき次の作業項目は、作業対象６Ｂ内の作業項目８Ａに設定されているので、案内情報で示された矢印方向ＧＤの先には作業項目８Ａが存在する。しかしながら、作業者４の視線は、作業対象６Ｃ内の作業項目９Ａへ移動している。作業者４の視線移動方向ＥＤの測定量Ｄｍは、矢印方向ＧＤを基準とした相対的な量として算出されればよい。このとき、熟練者であれば、作業手順を熟知しているため、点検すべき次の作業項目８Ａの位置を指し示す矢印方向ＧＤと視線移動方向ＥＤとの差分が小さくなる。また、熟練者であれば、案内情報が表示された瞬間から、次の作業項目８Ａへの視線移動が始まるタイミングも早い。言い換えれば、熟練者は、その瞬間からその視線移動が開始されるまでの時間差が短い。
　熟練度判定部１１４は、測定量Ｄｍを方向基準量と比較して得られる比較結果と、測定値Ｔｍをタイミング基準値と比較して得られる比較結果との組み合わせに基づいて熟練度を判定することができる。具体的には、熟練度判定部１１４は、方向基準量及びタイミング基準値の組み合わせのうち、実際の測定量Ｄｍ及び測定値Ｔｍの組み合わせと最も類似する組み合わせを選択し、この選択された組み合わせに対応する類似度を判定結果として出力する。なお、測定量Ｄｍを方向基準量と比較して得られる比較結果のみ、または、測定値Ｔｍを基準値と比較して得られる比較結果のみに基づいて熟練度を判定することも可能である。熟練度の判定方法の具体例については後述する。
　次に、図１０及び図１１を参照しつつ、上記作業支援装置１０の動作について説明する。図１０は、作業支援装置１０による作業支援処理の手順の一例を示すフローチャートであり、図１１は、図１０に示した作業支援処理における熟練度判定処理（ステップＳＴ２３）の手順の一例を示すフローチャートである。
　図１０を参照すると、作業者情報取得部１０３は、上述したように作業者の現在位置と作業者の顔の向きとを検出し、その検出結果を主制御部１０１に出力する（ステップＳＴ１０）。主制御部１０１は、その検出結果に基づいて作業場所の認識を試みる（ステップＳＴ１１）。すなわち、主制御部１０１は、作業者の現在位置が、作業手順データＦａに登録されている作業場所内の位置に該当するか否かを判定する。その結果、作業場所が認識されないときは（ステップＳＴ１２のＮＯ）、処理はステップＳＴ１０に戻る。
　一方、作業場所が認識されると（ステップＳＴ１２のＹＥＳ）、主制御部１０１は、作業対象情報取得部１０４による認識結果を用いて、作業手順データＦａに登録されている作業対象の点検すべき作業項目の認識を試みる（ステップＳＴ１３）。その結果、点検すべき作業項目が認識されないときは（ステップＳＴ１４のＮＯ）、処理はステップＳＴ１３に戻る。なお、点検すべき作業項目が認識されない状態が一定時間経過したときには、ステップＳＴ１０に処理が戻るように図１０のフローチャートが変更されてもよい。
　点検すべき作業項目が認識されたきは（ステップＳＴ１４のＹＥＳ）、熟練度判定部１１４は、現在の熟練度を判定する（ステップＳＴ１５）。より具体的に説明すると、出力制御部１０２は、主制御部１０１による制御に従って熟練度判定部１１４に対して熟練度判定を要求し、熟練度判定部１１４は、この要求に応じて現在の熟練度を判定する。
　具体的には、Ｑ段階（Ｑは２以上の整数）の熟練度１～Ｑが判定可能である場合、熟練度判定部１１４は、たとえば、直近の連続したＮ回（Ｎは２以上の整数）の熟練度判定結果のうち、最大多数の判定結果を現在の熟練度であると判定することができる。このとき、熟練度ｊの判定回数と熟練度ｉの判定回数とが同数であったとき（ｉ≠ｊ）には、これら２つの熟練度ｊ，ｉのうち技量レベルの低い方の熟練度を現在の熟練度と判定すればよい。
　あるいは、初心者用の熟練度１と熟練者用の熟練度２との２段階の熟練度だけが用意されている場合には、熟練度判定部１１４は、直近の連続したＮ回の熟練度判定結果のうち熟練度２の判定がＭ回以上（Ｍは正整数；Ｍ≦Ｎ）なされている場合には、熟練度２を現在の熟練度と判定することができる。一方、熟練度２の判定がＭ回未満の場合には、熟練度判定部１１４は、熟練度１を現在の熟練度と判定すればよい。
　次に、出力制御部１０２は、記録媒体１０５にアクセスして出力データファイル群Ｆｄの中から当該熟練度に対応する出力データファイルを選択し、この出力データファイルで示される作業支援情報をＩ／Ｆ部１０７に出力する（ステップＳＴ１６）。この結果、作業者は、スピーカＳＰ、ディスプレイ装置１３またはこれらの両方を通じて、視覚的、聴覚的または視聴覚的に作業支援情報を認識することができる。
　その後、作業支援装置１０は、作業者から、作業手順データＦａに定められている音声または動作パターンなどの所定の応答入力があるまで待機する（ステップＳＴ１７のＮＯ）。たとえば、作業者は、「遮断器Ａについて異常有り」，「異常無し」，「次の点検」と発話することができる。一定時間が経過しても所定の応答入力が無い場合は（ステップＳＴ１７のＮＯ、及びステップＳＴ１８のＹＥＳ）、次のステップＳＴ２０に処理が移行する。
　一方、一定時間内に所定の応答入力があった場合は（ステップＳＴ１８のＮＯ，及びステップＳＴ１７のＹＥＳ）、主制御部１０１は、その応答入力の結果を点検結果として記録する（ステップＳＴ１９）。たとえば、主制御部１０１は、通信部１０６に点検結果を示すデータを格納してもよいし、あるいは、通信部１０６を介して外部機器に点検結果を示すデータを送信することでその外部機器に点検結果を記録してもよい。
　その後、主制御部１０１は、点検すべき次の作業項目の有無を判定する（ステップＳＴ２０）。すなわち、主制御部１０１は、作業手順データＦａを参照して点検すべき次の作業項目が存在するかどうかを判定する。点検すべき次の作業項目が有ると判定された場合（ステップＳＴ２０のＹＥＳ）、出力制御部１０２は、次の作業項目へ案内するための案内情報をディスプレイ装置１３から表示出力させる（ステップＳＴ２１）。ここでは、出力制御部１０２は、たとえば、図７Ｂの矢印記号で示される案内情報ＧＡをディスプレイ装置１３に表示させればよい。そして、主制御部１０１は、案内情報の表示出力に応じて切替タイミングをタイミング取得部１１０に通知する（ステップＳＴ２２）。その後は、熟練度判定処理が実行される（ステップＳＴ２３）。
　タイミング取得部１１０は、切替タイミングが通知されるまで待機している。主制御部１０１から切替タイミングの通知を受けると、タイミング取得部１１０は、この通知に応じて視線計測部１１１に視線計測を指示する（図１１のステップＳＴ３０）。視線計測部１１１は、その指示に応じて、案内情報が表示された直後における視線情報を計測する（ステップＳＴ３１）。視線移動方向測定部１１２は、視線計測部１１１による計測結果を基に視線移動方向の測定量（方向測定量）Ｄｍを算出する（ステップＳＴ３２）。ここで、視線移動方向測定部１１２は、視線計測部１１１で算出された視線座標の変化量に基づいて角度またはベクトル量の方向測定量Ｄｍを算出することができる。また、視線移動タイミング測定部１１３は、視線計測部１１１による計測結果を基に、作業者の視線移動が始まるタイミングの測定値（タイミング測定値）Ｔｍを算出する（ステップＳＴ３３）。これら方向測定量Ｄｍとタイミング測定値Ｔｍの組は、熟練度判定部１１４に供給される。なお、ステップＳＴ３２，ＳＴ３３は、この順番で実行される必要はなく、逆の順番で実行されてもよいし、あるいは、同時並行に実行されてもよい。
　その後、熟練度判定部１１４は、記録媒体１０５にアクセスして基準データファイルＦｃを取得する（ステップＳＴ３４）。そして、熟練度判定部１１４は、基準データファイルＦｃに設定されている類似度ｋについて、測定量Ｄｍ及び測定値Ｔｍの組（Ｄｍ，Ｔｍ）を、熟練度ｋに対応する方向基準量Ｄｋ及びタイミング基準値Ｔｋの組（Ｄｋ，Ｔｋ）と比較する（ステップＳＴ３５～ＳＴ３７）。
　具体的には、熟練度判定部１１４は、先ず、熟練度番号ｋ（ｋは１～Ｑの範囲内の整数）を「１」に設定する（ステップＳＴ３５）。次いで、熟練度判定部１１４は、測定量Ｄｍを熟練度ｋに対応する方向基準量Ｄｋと比較してその比較結果である相違度ΔＤ（ｋ）または類似度ＳＤ（ｋ）を算出する（ステップＳＴ３６）。たとえば、次式（１Ａ），（１Ｂ）により、相違度ΔＤ（ｋ）または類似度ＳＤ（ｋ）を算出することができる（ａは正の係数）。
　　　ΔＤ（ｋ）＝｜Ｄｍ－Ｄｋ｜，　　　　　　　　　　（１Ａ）
　　　ＳＤ（ｋ）＝ａ／ΔＤ（ｋ）　　　　　　　　　　　（１Ｂ）
　ここで、上式（１Ａ）中の測定量Ｄｍは、案内情報で示された方向と作業者の視線移動方向との間の角度である。相違度ΔＤ（ｋ）は、測定量Ｄｍと方向基準量Ｄｋとの間の差分絶対値を意味している。なお、測定量Ｄｍと方向基準量Ｄｋとがベクトル量である場合には、上式（１Ａ）の差分絶対値に代えて、たとえば、測定量Ｄｍと方向基準量Ｄｋとの間の差分ベクトルのノルムが相違度ΔＤ（ｋ）として算出されてもよい。一般に、ベクトルのノルムとは、当該ベクトルの長さをいう。
　また、熟練度判定部１１４は、測定値Ｔｍを熟練度ｋに対応するタイミング基準値Ｔｋと比較してその比較結果である相違度ΔＴ（ｋ）または類似度ＳＴ（ｋ）を算出する（ステップＳＴ３７）。たとえば、次式により、相違度ΔＴ（ｋ）または類似度ＳＴ（ｋ）を算出することができる（ｂは正の係数）。
　　　ΔＴ（ｋ）＝｜Ｔｍ－Ｔｋ｜，　　　　　　　　　　（２Ａ）
　　　ＳＴ（ｋ）＝ｂ／ΔＴ（ｋ）　　　　　　　　　　　（２Ｂ）
　ここで、上式（２Ａ）中の相違度ΔＴ（ｋ）は、測定値Ｔｍとタイミング基準値Ｔｋとの間の差分絶対値を意味している。
　次に、熟練度番号ｋが最大番号Ｑに到達していない場合（ステップＳＴ３８のＹＥＳ）、熟練度判定部１１４は、熟練度番号ｋを１だけインクリメントし（ステップＳＴ３９）、ステップＳＴ３６，ＳＴ３７を実行する。
　その後、熟練度番号ｋが最大番号Ｑに到達した場合（ステップＳＴ３８のＮＯ）、熟練度判定部１１４は、相違度ΔＤ（ｋ），ΔＴ（ｋ）または類似度ＳＤ（ｋ），ＳＴ（ｋ）に基づいて作業者の熟練度を判定する（ステップＳＴ４０）。
　たとえば、熟練度判定部１１４は、熟練度１～Ｑのうち、相違度ベクトル（ΔＤ（ｋ），ΔＴ（ｋ））のノルムが最小となる熟練度ｋを判定結果とすることができる。また、熟練度判定部１１４は、熟練度１～Ｑのうち、類似度ベクトル（ＳＤ（ｋ），ＳＴ（ｋ））のノルムが最大となる熟練度ｋを判定結果とすることもできる。
　あるいは、熟練度判定部１１４は、熟練度１～Ｑのうち、合成相違度Δ（ｋ）（＝ΔＤ（ｋ）＋ΔＴ（ｋ））が最小となる熟練度ｋを判定結果とすることができる。また、熟練度判定部１１４は、熟練度１～Ｑのうち、合成類似度Ｓ（ｋ）（＝ＳＤ（ｋ）＋ＳＴ（ｋ））が最大となる熟練度ｋを判定結果とすることもできる。
　あるいは、初心者用の熟練度１と熟練者用の熟練度２との２つだけが用意されている場合には、熟練度判定部１１４は、以下の条件Ａが満たされる場合には、熟練度２を判定結果とすることができ、条件Ａが満たされない場合には、熟練度１を判定結果とすることができる。
　条件Ａ：ΔＤ（１）＞ΔＤ（２）、且つ、ΔＴ（１）＞ΔＴ（２）
　上記したステップＳＴ４０の実行後は、図１０のステップＳＴ１３に処理が戻る。最終的に、点検すべき次の作業項目が無いと判定した場合（ステップＳＴ２０のＮＯ）、主制御部１０１は、作業支援処理を終了させる。
　次に、コンテンツ編集装置３０について説明する。図１２は、コンテンツ編集装置３０の概略構成を示すブロック図である。
　図１２に示されるように、コンテンツ編集装置３０は、コンテンツ編集処理部３０１、インタフェース部（Ｉ／Ｆ部）３０２、記録媒体３０３及び通信部３０４を備えて構成されている。このコンテンツ編集装置３０は、たとえば、パーソナルコンピュータまたはワークステーションなどのコンピュータ機器を用いて実現することが可能である。
　記録媒体３０３には、上記した作業手順データＦａが記録されている。コンテンツ編集処理部３０１は、作業手順データＦａの内容を編集して出力データファイル群Ｆｄを作成可能とする編集用画面をＩ／Ｆ部３０２を介してディスプレイ装置３１０に表示させることができる。編集者は、その編集用画面を視認しつつ操作入力部３１１を操作してコンテンツ編集処理部３０１に情報を入力することにより、作業手順データＦａの内容を編集して出力データファイル群Ｆｄを作成することができる。出力データファイル群Ｆｄは、複数段階の熟練度に応じた複数の出力データファイルＦ１，…，ＦＮで構成されている。通信部３０４は、作業支援装置１０と通信して出力データファイル群Ｆｄを作業支援装置１０に供給することが可能である。
　次に、図１３を参照しつつ、このコンテンツ編集装置３０の動作について説明する。図１３は、コンテンツ編集処理部３０１により実行される出力データファイル生成処理の手順の一例を示すフローチャートである。
　コンテンツ編集処理部３０１は、編集者の操作入力により編集開始指示を受け付けるまで待機している（ステップＳＴ５１のＮＯ）。編集開始指示を受け付けたとき（ステップＳＴ５１のＹＥＳ）、コンテンツ編集処理部３０１は、作業手順データＦａを読み込み（ステップＳＴ５１）、当該編集開始指示で指定された作業対象または１個以上の作業項目に関する編集用画面をディスプレイ装置３１０に表示させる（ステップＳＴ５３）。次いで、編集者の操作入力に応じたコンテンツ編集処理を実行する（ステップＳＴ５４）。このコンテンツ編集処理により、ユーザは、作業手順データＦａに登録されている情報（たとえば、図４の表示テキストの内容）を編集して熟練度に応じた情報を作成することができる。
　コンテンツ編集処理の終了後は、コンテンツ編集処理部３０１は、当該熟練度に対応する出力データファイルを生成し（ステップＳＴ５５）、この出力データファイルを記録媒体３０３に記録する（ステップＳＴ５６）。
　その後、編集終了指示を受けない状態で、別の編集用画面について編集指示を受け付けている場合は（ステップＳＴ５７のＮＯ、及び、ステップＳＴ５８のＹＥＳ）、コンテンツ編集処理部３０１は、ステップＳＴ５３以後を実行する。一方、編集終了指示を受けていない状態で、別の編集用画面について編集指示を受け付けていない場合（ステップＳＴ５７のＮＯ、及び、ステップＳＴ５８のＮＯ）、この状況が一定時間経過しない間は（ステップＳＴ５９のＮＯ）、コンテンツ編集処理部３０１は待機している。その状況が一定時間経過した場合（ステップＳＴ５９のＹＥＳ）、または、編集終了指示が受け付けられた場合は（ステップＳＴ５７のＹＥＳ）、以上の出力データファイル生成処理は終了する。
　次に、作業学習装置２０について説明する。図１４は、作業学習装置２０の概略構成を示すブロック図である。この作業学習装置２０の構成は、主制御部１０１Ａ、出力制御部１０２Ａ及び基準データ算出部２０１を備える点を除いて、上記作業支援装置１０の構成と同じである。
　主制御部１０１Ａは、設定された熟練度のみについて出力制御部１０２Ａの出力内容を制御する点を除いて、作業支援装置１０の主制御部１０１と同じ機能を有する。また、出力制御部１０２Ａも、設定された熟練度のみについて動作する点を除いて、作業支援装置１０の出力制御部１０２と同じ機能を有する。すなわち、出力制御部１０２Ａは、主制御部１０１Ａによる制御に従い、出力データファイル群Ｆｄの中から、その設定された熟練度に対応する出力データファイルを取得する。そして、出力制御部１０２Ａは、この出力データファイルで示される内容を有する作業支援情報を、Ｉ／Ｆ部１０７を介してスピーカＳＰ、ディスプレイ装置１３またはこれらの両方に供給する。
　ここで、設定された熟練度は、作業学習装置２０を使用する作業者の既知の熟練度である。たとえば、主制御部１０１Ａは、音声認識部１０３Ａの音声認識機能を利用して、マイクロフォンＭＫに音声入力された熟練度設定情報を基に熟練度を設定することができる。あるいは、通信部１０６を介して入力された熟練度設定情報を基に熟練度が設定されてもよい。
　基準データ算出部２０１は、視線移動方向測定部１１２で算出された測定量に基づいて方向基準量を算出することができる。たとえば、同じ熟練度を有する一人または複数人の作業者についての複数回分の測定量の平均を方向基準量として算出することができる。また、基準データ算出部２０１は、視線移動タイミング測定部１１３で算出された測定値に基づいてタイミング基準値を算出することができる。たとえば、同じ熟練度を有する一人または複数人の作業者についての複数回分の測定値の平均をタイミング基準値として算出することができる。これら方向基準量及びタイミング基準値を含む基準データファイルＦｃは、記録媒体１０５に格納される。通信部１０６は、作業支援装置１０と通信して基準データファイルＦｃを作業支援装置１０に供給することが可能である。
　次に、図１５及び図１６を参照しつつ、この作業学習装置２０の動作について説明する。図１５は、作業学習装置２０により実行される作業学習処理の手順の一例を示すフローチャートであり、図１６は、図１５に示した作業学習処理における基準データ算出処理（ステップＳＴ６６）の手順の一例を示すフローチャートである。
　図１５を参照すると、作業学習装置２０は、図１０に示したステップＳＴ１０～ＳＴ１４と同じ処理を実行する。ステップＳＴ１４の実行後、出力制御部１０２Ａは、記録媒体１０５にアクセスして出力データファイル群Ｆｄの中から当該熟練度に対応する出力データファイルを選択し、この出力データファイルで示される作業支援情報をＩ／Ｆ部１０７に出力する（ステップＳＴ６０）。この結果、作業者は、スピーカＳＰ、ディスプレイ装置１３またはこれらの両方を通じて、視覚的、聴覚的または視聴覚的に作業支援情報を認識することができる。
　次に、作業学習装置２０は、作業者から、作業手順データＦａに定められている音声または動作パターンなどの所定の応答入力があるまで待機する（ステップＳＴ６１のＮＯ）。たとえば、作業者は、「遮断器Ａについて異常有り」，「異常無し」，「次の点検」と発話することができる。一定時間が経過しても所定の応答入力が無い場合は（ステップＳＴ６１のＮＯ、及びステップＳＴ６２のＹＥＳ）、次のステップＳＴ６３に処理が移行する。
　一方、一定時間内に所定の応答入力があった場合は（ステップＳＴ６２のＮＯ、及びステップＳＴ６１のＹＥＳ）、主制御部１０１Ａは、点検すべき次の作業項目の有無を判定する（ステップＳＴ６３）。点検すべき次の作業項目が有ると判定された場合（ステップＳＴ６３のＹＥＳ）、出力制御部１０２Ａは、上記ステップＳＴ２１の場合と同様に、次の作業項目へ案内するための案内情報をディスプレイ装置１３から表示出力させる（ステップＳＴ６４）。そして、主制御部１０１Ａは、案内情報の表示出力に応じて切替タイミングをタイミング取得部１１０に通知する（ステップＳＴ６５）。その後は、基準データ算出処理が実行される（ステップＳＴ６６）。
　主制御部１０１から切替タイミングの通知を受けると、タイミング取得部１１０は、この通知に応じて視線計測部１１１に視線計測を指示する（図１６のステップＳＴ７０）。視線計測部１１１は、その指示に応じて、案内情報が表示された直後における視線情報を計測する（ステップＳＴ７１）。視線移動方向測定部１１２は、視線計測部１１１による計測結果を基に視線移動方向の測定量Ｄｍを算出する（ステップＳＴ７２）。また、視線移動タイミング測定部１１３は、視線計測部１１１による計測結果を基に、作業者の視線移動が始まるタイミングの測定値Ｔｍを算出する（ステップＳＴ７３）。これら方向測定量Ｄｍとタイミング測定値Ｔｍの組は、基準データ算出部２０１に供給される。なお、ステップＳＴ７２，ＳＴ７３は、この順番で実行される必要はなく、逆の順番で実行されてもよいし、あるいは、同時並行に実行されてもよい。
　次に、基準データ算出部２０１は、記録媒体１０５にアクセスして過去の基準データファイルＦｃを読み込む（ステップＳＴ７４）。そして、基準データ算出部２０１は、この基準データファイルＦｃ内の過去の方向基準量と測定量Ｄｍとに基づいて、過去の回を含む複数回分の測定量の平均を新たな方向基準量として算出する（ステップＳＴ７５）。また、基準データ算出部２０１は、この基準データファイルＦｃ内の過去のタイミング基準値と測定値Ｔｍとに基づいて、過去の回を含む複数回分の測定値の平均を新たなタイミング基準値として算出する（ステップＳＴ７６）。そして、基準データ算出部２０１は、新たに算出された方向基準量とタイミング基準値を用いて基準データファイルを新たに作成し（ステップＳＴ７７）、この新たに作成された基準データファイルを記録媒体１０５に記録する（ステップＳＴ７８）。
　上記したステップＳＴ６６の実行後は、図１５のステップＳＴ１３に処理が戻る。最終的に、点検すべき次の作業項目が無いと判定した場合（ステップＳＴ６３のＮＯ）、主制御部１０１は、作業学習処理を終了させる。
　以上に説明した作業支援装置１０及び作業学習装置２０のハードウェア構成は、たとえば、ワークステーションまたはメインフレームなどの、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）内蔵のコンピュータ構成を有する情報処理装置により実現可能である。あるいは、上記作業支援装置１０及び作業学習装置２０のハードウェア構成は、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）などのＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｅｄ　ｃｉｒｃｕｉｔ）を有する情報処理装置により実現されてもよい。
　図１７は、上記作業支援装置１０または作業学習装置２０のハードウェア構成例である情報処理装置３Ａの概略構成を示すブロック図である。この情報処理装置３Ａは、ＤＳＰ、ＡＳＩＣまたはＦＰＧＡなどのＬＳＩからなる信号処理回路４０、インタフェース（Ｉ／Ｆ）回路４１、通信回路４２、固定式の記録媒体４３、メモリインタフェース部４４及び記録媒体４５を備えて構成されている。これら信号処理回路４０、Ｉ／Ｆ回路４１、通信回路４２、記録媒体４３及びメモリインタフェース部４４は、バス回路などの信号路４６を介して相互に接続されている。また、記録媒体４５は、メモリインタフェース部４４と着脱自在に装着された着脱式の記録媒体である。
　図１７の情報処理装置３Ａを用いて図３の作業支援装置１０が構成される場合は、主制御部１０１、出力制御部１０２、作業者情報取得部１０３、作業対象情報取得部１０４、タイミング取得部１１０、視線計測部１１１、視線移動方向測定部１１２、視線移動タイミング測定部１１３及び熟練度判定部１１４は、図１７に示した信号処理回路４０により実現することができる。また、通信部１０６は、図１７の通信回路４２で構成することができ、Ｉ／Ｆ部１０７は、図１７のＩ／Ｆ回路４１で構成することができる。更に、記録媒体１０５は、図１７の記録媒体４３，４５で構成することが可能である。
　一方、図１７の情報処理装置３Ａを用いて図１４の作業学習装置２０が構成される場合は、主制御部１０１Ａ、出力制御部１０２Ａ、作業者情報取得部１０３、作業対象情報取得部１０４、タイミング取得部１１０、視線計測部１１１、視線移動方向測定部１１２、視線移動タイミング測定部１１３及び基準データ算出部２０１は、図１７に示した信号処理回路４０により実現することができる。また、通信部１０６は、図１７の通信回路４２で構成することができ、Ｉ／Ｆ部１０７は、図１７のＩ／Ｆ回路４１で構成することができる。更に、記録媒体１０５は、図１７の記録媒体４３，４５で構成することが可能である。
　図１８は、上記作業支援装置１０または作業学習装置２０の他のハードウェア構成例である情報処理装置３Ｂの概略構成を示すブロック図である。この情報処理装置３Ｂは、ＣＰＵ５０ｃを含むプロセッサ５０、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）５１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）５２、インタフェース（Ｉ／Ｆ）回路５３、通信回路５４、固定式の記録媒体５５、メモリインタフェース部５６及び記録媒体５７を備えて構成されている。これらプロセッサ５０、ＲＡＭ５１、ＲＯＭ５２、Ｉ／Ｆ回路５３、通信回路５４、記録媒体５５及びメモリインタフェース部５６は、バス回路などの信号路５８を介して相互に接続されている。記録媒体５７は、メモリインタフェース部５６と着脱自在に装着される着脱式の記録媒体である。プロセッサ５０は、ＲＯＭ５２から読み出されたコンピュータプログラムに従って動作することにより、作業支援装置１０または作業学習装置２０の機能を実現することができる。
　図１８の情報処理装置３Ｂを用いて図３の作業支援装置１０が構成される場合は、主制御部１０１、出力制御部１０２、作業者情報取得部１０３、作業対象情報取得部１０４、タイミング取得部１１０、視線計測部１１１、視線移動方向測定部１１２、視線移動タイミング測定部１１３及び熟練度判定部１１４は、図１８に示したプロセッサ５０及びコンピュータプログラムにより実現することができる。また、通信部１０６は、図１８の通信回路５４で構成することができ、Ｉ／Ｆ部１０７は、図１８のＩ／Ｆ回路５３で構成することができる。更に、記録媒体１０５は、図１８の記録媒体５５，５７で構成することが可能である。
　一方、図１８の情報処理装置３Ｂを用いて図１４の作業学習装置２０が構成される場合は、主制御部１０１Ａ、出力制御部１０２Ａ、作業者情報取得部１０３、作業対象情報取得部１０４、タイミング取得部１１０、視線計測部１１１、視線移動方向測定部１１２、視線移動タイミング測定部１１３及び基準データ算出部２０１は、図１８に示したプロセッサ５０及びコンピュータプログラムにより実現することができる。また、通信部１０６は、図１８の通信回路５４で構成することができ、Ｉ／Ｆ部１０７は、図１８のＩ／Ｆ回路５３で構成することができる。更に、記録媒体１０５は、図１８の記録媒体５５，５７で構成することが可能である。
　　図１７及び図１８に示した固定式の記録媒体４３，５５としては、たとえば、ＨＤＤ（ハードディスクドライブ）またはＳＳＤ（ソリッドステートドライブ）を使用することが可能である。また、着脱式の記録媒体４５，５７としては、たとえば、ＳＤカード（登録商標）などのフラッシュメモリを使用することが可能である。
　また、図１７及び図１８に示した通信回路４２，５４は、他の通信装置と有線または無線で通信可能な機能を有していればよい。通信回路４２，５４は、たとえば、有線ケーブル、有線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、無線ＬＡＮ、またはインターネットなどの広域通信網を介して他の通信装置と通信可能な構成を有することができる。また、通信回路４２は、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ；登録商標）などの近距離無線通信技術を用いた通信機能を有していてもよい。
　以上に説明したように本実施の形態は、点検項目の切り替え時の視線移動タイミングの測定値、視線移動方向の測定量またはこれらの双方の測定結果を使用して作業者の熟練度を自動判定することができるため、動きを伴う作業があっても迅速に熟練度の判定を行うことができる。したがって、この判定結果を利用して、作業者の熟練度に応じた内容の作業支援情報を当該作業者に提示することで、効果的な作業支援を行うことができる。また、本実施の形態の場合のように作業者４がメガネ型ウェアラブルデバイス５を装着して作業を行うと、当該作業者４の動きに伴う視線移動が生じやすい状況が生ずる。このような状況であっても、本実施の形態は、点検項目の切り替え時の視線移動タイミングの測定値、視線移動方向の測定量またはこれらの双方の測定結果を使用して作業者の熟練度を自動判定するので、熟練度の判定精度が高いという効果を得る。なお、本実施の形態のメガネ型ウェアラブルデバイス５に代えて、他の種類のウェアラブルデバイスが使用されても、同様の効果を得ることが可能である。
　また、上述したように、作業学習装置２０の出力制御部１０２は、複数段階の熟練度にそれぞれ対応する出力データファイルＦ１～ＦＮの中から、熟練度判定部１１４で判定された熟練度に対応する出力データファイルを選択している。編集者は、コンテンツ編集装置３０を用いて出力データファイルＦ１～ＦＮを個別に編集可能である。このような構成により、熟練度に応じて作業支援情報の内容を細かく且つ柔軟にカスタマイズすることができ、作業者４の作業効率を向上させることが可能となる。
　以上、図面を参照して本発明に係る実施の形態１について述べたが、この実施の形態は本発明の例示であり、この実施の形態以外の様々な形態を採用することもできる。なお、本発明の範囲内において、上記実施の形態の構成要素の自由な組み合わせ、上記実施の形態の任意の構成要素の変形、または上記実施の形態の任意の構成要素の省略が可能である。
　この発明に係る作業支援装置及び作業支援システムは、たとえば、機械設備の保守もしくは点検、または機械設備の修理もしくは組み立てといった、一定の手順に従って行われる作業の支援に適用することができるものである。
　１　作業支援システム、２　作業支援システム、３Ａ，３Ｂ　情報処理装置、４　作業者、５　メガネ型ウェアラブルデバイス、１０　作業支援装置、１１　センサ群、１１Ａ　視線検出用撮像部、１１Ｂ　位置検出用センサ、１１Ｃ　方向センサ、１１Ｄ　前方撮像部、１２　音響入出力部、１３　ディスプレイ装置、１３Ｖ　メガネ部、２０　作業学習装置、３０　コンテンツ編集装置、４０　信号処理回路、４１　インタフェース（Ｉ／Ｆ）回路、４１　Ｉ／Ｆ回路、４２　通信回路、４３　記録媒体、４４　メモリインタフェース、４５　記録媒体、４６　信号路、５０　プロセッサ、５１　ＲＡＭ、５２　ＲＯＭ、５３　インタフェース（Ｉ／Ｆ）回路、５４　通信回路、５５　記録媒体、５６　メモリインタフェース、５７　記録媒体、５８　信号路、１０１，１０１Ａ　主制御部、１０２，１０２Ａ　出力制御部、１０３　作業者情報取得部、１０３Ｐ　位置検出部、１０３Ｍ　動き検出部、１０３Ａ　音声認識部、１０３Ｄ　方向検出部、１０４　作業対象情報取得部、１０５　記録媒体、１０６　通信部、１０７　インタフェース部（Ｉ／Ｆ部）、１１０　タイミング取得部、１１１　視線計測部、１１２　視線移動方向測定部、１１３　視線移動タイミング測定部、１１４　熟練度判定部、２０１　基準データ算出部、３０１　コンテンツ編集処理部、３０２　インタフェース部（Ｉ／Ｆ部）、３０３　記録媒体、３０４　通信部、３１０　ディスプレイ装置、３１１　操作入力部。

Claims (10)

  1. 　作業者の視線情報を計測する視線計測部と、
    　前記視線計測部による計測結果を基に視線移動方向を測定して当該視線移動方向の測定量を出力する視線移動方向測定部と、
    　前記測定量を予め用意された基準量と比較し、その比較結果に応じて前記作業者の技量レベルを示す熟練度を判定する熟練度判定部と、
    　前記熟練度判定部で判定された熟練度に応じた内容の作業支援情報を情報出力部から出力させる出力制御部と
    を備えることを特徴とする作業支援装置。
  2. 　請求項１記載の作業支援装置であって、
    　前記出力制御部は、前記作業者に対して点検済みの作業項目から点検すべき次の作業項目への視線の切り替えを促す案内情報を前記情報出力部から表示出力させ、
    　前記視線計測部は、当該案内情報の表示出力に応じて前記視線移動の計測を開始することを特徴とする作業支援装置。
  3. 　請求項２記載の作業支援装置であって、前記視線計測部による計測結果に基づいて視線移動が始まるタイミングを測定して当該タイミングの測定値を出力する視線移動タイミング測定部を更に備え、
    　前記熟練度判定部は、前記測定量を前記基準量と比較して得られる当該比較結果と、前記測定値を予め用意された基準値と比較して得られる比較結果との組み合わせに応じて前記熟練度を判定することを特徴とする作業支援装置。
  4. 　請求項１記載の作業支援装置であって、前記出力制御部は、複数段階の熟練度にそれぞれ対応する複数の出力データファイルの中から、前記熟練度判定部で判定された熟練度に対応する出力データファイルを選択し、当該選択された出力データファイルで示される情報を前記作業支援情報として前記情報出力部から出力させることを特徴とする作業支援装置。
  5. 　請求項１記載の作業支援装置であって、前記情報出力部は、前記作業者の頭部または身体に装着されるウェアラブルデバイスを構成することを特徴とする作業支援装置。
  6. 　作業者に対して点検済みの作業項目から点検すべき次の作業項目への視線の切り替えを促す案内情報を情報出力部から表示出力させる出力制御部と、
    　当該案内情報の表示出力に応じて前記作業者の視線情報を計測する視線計測部と、
    　前記視線計測部による計測結果に基づいて視線移動が始まるタイミングを測定して当該タイミングの測定値を出力する視線移動タイミング測定部と、
    　前記測定値を予め用意された基準値と比較し、その比較結果に応じて前記作業者の技量レベルを示す熟練度を判定する熟練度判定部と
    を備え、
    　前記出力制御部は、前記熟練度判定部で判定された熟練度に応じた内容の作業支援情報を前記情報出力部から出力させることを特徴とする作業支援装置。
  7. 　請求項６記載の作業支援装置であって、前記出力制御部は、複数段階の熟練度にそれぞれ対応する複数の出力データファイルの中から、前記熟練度判定部で判定された熟練度に対応する出力データファイルを選択し、当該選択された出力データファイルで示される情報を前記作業支援情報として前記情報出力部から出力させることを特徴とする作業支援装置。
  8. 　請求項６記載の作業支援装置であって、前記情報出力部は、前記作業者の頭部または身体に装着されるウェアラブルデバイスを構成することを特徴とする作業支援装置。
  9. 　作業者に対して点検済みの作業項目から点検すべき次の作業項目への視線の切り替えを促す案内情報を情報出力部から表示出力させる作業学習用出力制御部と、
    　当該案内情報の表示出力に応じて前記作業者の視線情報を計測する作業学習用視線計測部と、
    　前記作業学習用視線計測部による計測結果を基に視線移動方向を測定して前記視線移動方向の測定量を出力する作業学習用視線移動方向測定部と、
    　前記測定量に基づいて前記案内情報に対応する基準量を算出する基準データ算出部と
    を備えることを特徴とする作業学習装置。
  10. 　請求項１記載の作業支援装置と、
    　請求項９記載の作業学習装置と
    を備えることを特徴とする作業支援システム。
PCT/JP2016/050543 2016-01-08 2016-01-08 作業支援装置、作業学習装置及び作業支援システム WO2017119127A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/061,581 US20180374026A1 (en) 2016-01-08 2016-01-08 Work assistance apparatus, work learning apparatus, and work assistance system
PCT/JP2016/050543 WO2017119127A1 (ja) 2016-01-08 2016-01-08 作業支援装置、作業学習装置及び作業支援システム
JP2017560014A JP6366862B2 (ja) 2016-01-08 2016-01-08 作業支援装置、作業学習装置及び作業支援システム
TW105105828A TW201725462A (zh) 2016-01-08 2016-02-26 作業支援裝置、作業學習裝置以及作業支援系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/050543 WO2017119127A1 (ja) 2016-01-08 2016-01-08 作業支援装置、作業学習装置及び作業支援システム

Publications (1)

Publication Number Publication Date
WO2017119127A1 true WO2017119127A1 (ja) 2017-07-13

Family

ID=59273567

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/050543 WO2017119127A1 (ja) 2016-01-08 2016-01-08 作業支援装置、作業学習装置及び作業支援システム

Country Status (4)

Country Link
US (1) US20180374026A1 (ja)
JP (1) JP6366862B2 (ja)
TW (1) TW201725462A (ja)
WO (1) WO2017119127A1 (ja)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019026130A1 (ja) * 2017-07-31 2019-02-07 日本電気株式会社 作業支援装置、作業支援方法、プログラム
JP2019091201A (ja) * 2017-11-14 2019-06-13 アズビル株式会社 検査作業支援装置、方法、およびプログラム
JP2019141260A (ja) * 2018-02-19 2019-08-29 株式会社吉田製作所 情報表示システム、情報表示装置、情報表示方法および情報表示プログラム
JP2020009276A (ja) * 2018-07-11 2020-01-16 三菱電機株式会社 作業支援システム、作業支援システム用のサーバ装置およびプログラム
JP2020080147A (ja) * 2018-11-13 2020-05-28 株式会社東芝 保全活動サポートシステムおよび保全活動サポート方法
JP2020086627A (ja) * 2018-11-19 2020-06-04 東京電力ホールディングス株式会社 作業補助装置、表示装置、作業補助システム、及びプログラム
JP2020086980A (ja) * 2018-11-27 2020-06-04 中国電力株式会社 設備点検支援端末、設備点検支援システム及びプログラム
JP2020149138A (ja) * 2019-03-11 2020-09-17 株式会社Ｎｔｔファシリティーズ 作業支援システム、作業支援方法、及びプログラム
WO2020202720A1 (ja) * 2019-03-29 2020-10-08 パナソニックＩｐマネジメント株式会社 投影システム、投影装置及び投影方法
JPWO2020213074A1 (ja) * 2019-04-16 2020-10-22
JP2021086225A (ja) * 2019-11-25 2021-06-03 コベルコ建機株式会社 作業支援サーバおよび作業支援システム
JPWO2022014443A1 (ja) * 2020-07-16 2022-01-20
JP2022104410A (ja) * 2020-12-28 2022-07-08 横河電機株式会社 装置、方法及びプログラム
WO2022190455A1 (ja) * 2021-03-09 2022-09-15 三菱電機株式会社 Ａｒコンテンツ表示装置、ａｒコンテンツ表示システム、ａｒコンテンツ表示方法およびプログラム
EP4138006A1 (en) * 2018-06-29 2023-02-22 Hitachi Systems, Ltd. Content creation system
WO2023074148A1 (ja) * 2021-10-26 2023-05-04 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
JP7444730B2 (ja) 2020-08-13 2024-03-06 株式会社日立製作所 作業支援装置及び作業支援方法
JP7453300B2 (ja) 2018-11-29 2024-03-19 株式会社日立製作所 表示制御システム、表示装置、及び表示制御方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7020490B2 (ja) * 2017-09-20 2022-02-16 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JP7173024B2 (ja) * 2017-09-29 2022-11-16 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
JP6946241B2 (ja) * 2018-07-11 2021-10-06 株式会社東芝 電子機器、システムおよび体調推定方法
CN111381629B (zh) * 2018-12-29 2024-05-14 玳能本股份有限公司 作业支援***及作业支援方法
JP7165108B2 (ja) * 2019-09-06 2022-11-02 株式会社日立ビルシステム 作業訓練システム及び作業訓練支援方法
KR102243259B1 (ko) * 2019-10-07 2021-04-21 주식회사 한화 시선 추적 기술을 기반으로 하는 작업자의 작업을 학습 및 평가하기 위한 장치 및 그 방법
IT202000031907A1 (it) * 2020-12-23 2022-06-23 Ineltec S R L Dispositivo indossabile e relativo metodo per la certificazione delle skill in campo
JP2022100660A (ja) * 2020-12-24 2022-07-06 セイコーエプソン株式会社 ロボットの制御プログラムを作成する処理をプロセッサーに実行させるコンピュータープログラム、並びに、ロボットの制御プログラムを作成する方法及びシステム
CN113379943A (zh) * 2021-06-16 2021-09-10 国网山西省电力公司 一种基于5g通讯的ar巡检***
TWI808669B (zh) * 2022-03-04 2023-07-11 國眾電腦股份有限公司 多點同步指導偕同作業系統及其方法
WO2023205502A1 (en) * 2022-04-22 2023-10-26 Meta Platforms Technologies, Llc Task optimization in an extended reality environment

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1185442A (ja) * 1997-09-03 1999-03-30 Sanyo Electric Co Ltd 情報出力装置
JP2002312030A (ja) * 2001-04-13 2002-10-25 Nippon Soda Co Ltd プラントの運転状況管理用通信システム
JP2012234406A (ja) * 2011-05-02 2012-11-29 Kawasaki Heavy Ind Ltd 作業支援装置および作業支援方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1185442A (ja) * 1997-09-03 1999-03-30 Sanyo Electric Co Ltd 情報出力装置
JP2002312030A (ja) * 2001-04-13 2002-10-25 Nippon Soda Co Ltd プラントの運転状況管理用通信システム
JP2012234406A (ja) * 2011-05-02 2012-11-29 Kawasaki Heavy Ind Ltd 作業支援装置および作業支援方法

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2019026130A1 (ja) * 2017-07-31 2020-02-27 日本電気株式会社 作業支援装置、作業支援方法、プログラム
WO2019026130A1 (ja) * 2017-07-31 2019-02-07 日本電気株式会社 作業支援装置、作業支援方法、プログラム
JP2019091201A (ja) * 2017-11-14 2019-06-13 アズビル株式会社 検査作業支援装置、方法、およびプログラム
JP7121968B2 (ja) 2018-02-19 2022-08-19 株式会社吉田製作所 情報表示システム、情報表示装置、情報表示方法および情報表示プログラム
JP2019141260A (ja) * 2018-02-19 2019-08-29 株式会社吉田製作所 情報表示システム、情報表示装置、情報表示方法および情報表示プログラム
EP4138006A1 (en) * 2018-06-29 2023-02-22 Hitachi Systems, Ltd. Content creation system
JP2020009276A (ja) * 2018-07-11 2020-01-16 三菱電機株式会社 作業支援システム、作業支援システム用のサーバ装置およびプログラム
JP7138499B2 (ja) 2018-07-11 2022-09-16 三菱電機株式会社 作業支援システム、作業支援システム用のサーバ装置およびプログラム
JP2020080147A (ja) * 2018-11-13 2020-05-28 株式会社東芝 保全活動サポートシステムおよび保全活動サポート方法
JP7337654B2 (ja) 2018-11-13 2023-09-04 株式会社東芝 保全活動サポートシステムおよび保全活動サポート方法
JP2020086627A (ja) * 2018-11-19 2020-06-04 東京電力ホールディングス株式会社 作業補助装置、表示装置、作業補助システム、及びプログラム
JP7154501B2 (ja) 2018-11-19 2022-10-18 東京電力ホールディングス株式会社 作業補助装置、表示装置、作業補助システム、及びプログラム
JP2020086980A (ja) * 2018-11-27 2020-06-04 中国電力株式会社 設備点検支援端末、設備点検支援システム及びプログラム
JP7453300B2 (ja) 2018-11-29 2024-03-19 株式会社日立製作所 表示制御システム、表示装置、及び表示制御方法
JP2020149138A (ja) * 2019-03-11 2020-09-17 株式会社Ｎｔｔファシリティーズ 作業支援システム、作業支援方法、及びプログラム
JP7149506B2 (ja) 2019-03-29 2022-10-07 パナソニックＩｐマネジメント株式会社 投影システム、投影装置及び投影方法
WO2020202720A1 (ja) * 2019-03-29 2020-10-08 パナソニックＩｐマネジメント株式会社 投影システム、投影装置及び投影方法
US11937024B2 (en) 2019-03-29 2024-03-19 Panasonic Intellectual Property Management Co., Ltd. Projection system, projection device and projection method
JPWO2020202720A1 (ja) * 2019-03-29 2021-12-02 パナソニックＩｐマネジメント株式会社 投影システム、投影装置及び投影方法
JPWO2020213074A1 (ja) * 2019-04-16 2020-10-22
WO2020213074A1 (ja) * 2019-04-16 2020-10-22 株式会社 日立物流 整備サポート拡張現実出力システム、コンピュータ、端末、整備サポート拡張現実出力方法及びプログラム
JP7189332B2 (ja) 2019-04-16 2022-12-13 株式会社日立物流 整備サポート拡張現実出力システム、コンピュータ、端末、整備サポート拡張現実出力方法及びプログラム
JP7415480B2 (ja) 2019-11-25 2024-01-17 コベルコ建機株式会社 作業支援サーバおよび作業支援システム
JP2021086225A (ja) * 2019-11-25 2021-06-03 コベルコ建機株式会社 作業支援サーバおよび作業支援システム
JP7260839B2 (ja) 2020-07-16 2023-04-20 コニカミノルタ株式会社 プラント管理方法、プラント管理装置およびプラント管理プログラム
WO2022014443A1 (ja) * 2020-07-16 2022-01-20 コニカミノルタ株式会社 プラント管理方法、プラント管理装置およびプラント管理プログラム
JPWO2022014443A1 (ja) * 2020-07-16 2022-01-20
JP7444730B2 (ja) 2020-08-13 2024-03-06 株式会社日立製作所 作業支援装置及び作業支援方法
JP7347409B2 (ja) 2020-12-28 2023-09-20 横河電機株式会社 装置、方法及びプログラム
JP2022104410A (ja) * 2020-12-28 2022-07-08 横河電機株式会社 装置、方法及びプログラム
WO2022190455A1 (ja) * 2021-03-09 2022-09-15 三菱電機株式会社 Ａｒコンテンツ表示装置、ａｒコンテンツ表示システム、ａｒコンテンツ表示方法およびプログラム
JP7361985B2 (ja) 2021-03-09 2023-10-16 三菱電機株式会社 Ａｒコンテンツ表示装置、ａｒコンテンツ表示システム、ａｒコンテンツ表示方法およびプログラム
WO2023074148A1 (ja) * 2021-10-26 2023-05-04 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
US20180374026A1 (en) 2018-12-27
JP6366862B2 (ja) 2018-08-01
TW201725462A (zh) 2017-07-16
JPWO2017119127A1 (ja) 2018-03-01

Similar Documents

Publication Publication Date Title
JP6366862B2 (ja) 作業支援装置、作業学習装置及び作業支援システム
US10381003B2 (en) Voice acquisition system and voice acquisition method
US6583723B2 (en) Human interface system using a plurality of sensors
US20210224752A1 (en) Work support system and work support method
US20170344110A1 (en) Line-of-sight detector and line-of-sight detection method
JP5242597B2 (ja) インストラクタ支援システム
US20210196174A1 (en) Apparatus, method and program for determining a cognitive state of a user of a mobile device
CN108681399A (zh) 一种设备控制方法、装置、控制设备及存储介质
US20220126190A1 (en) Electronic device for providing feedback for specific movement using machine learning model and operating method thereof
CN108646925B (zh) 一种分体式头戴显示器***及交互方法
JP2007272534A (ja) 省略語補完装置、省略語補完方法、及びプログラム
JP2008065675A (ja) 複合現実感システムとそのイベント入力方法及びヘッドマウントディスプレイ
JP2019200651A (ja) 情報処理装置、情報処理方法およびプログラム
JP3689285B2 (ja) 入力装置および入力装置用ヘッドマウントディスプレイ
JP2009206924A (ja) 情報処理装置、情報処理システム及び情報処理プログラム
JPWO2019142295A1 (ja) 機器操作装置、機器操作システムおよび機器操作方法
CN112951236A (zh) 一种语音翻译设备及方法
JP2019202131A (ja) 情報処理装置、情報処理方法およびプログラム
JP7094759B2 (ja) システム、情報処理方法及びプログラム
JP6620420B2 (ja) 頭部装着型表示装置、表示システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
KR20180116044A (ko) 증강현실용 디바이스와 그 증강현실 출력 방법
KR102356165B1 (ko) 영상에서의 얼굴 인덱싱 방법 및 장치
JP2005267380A (ja) 表示文字翻訳装置及びコンピュータプログラム
US20230120092A1 (en) Information processing device and information processing method
JP7418711B1 (ja) 注意抽出システム、及び注意抽出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16883630

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017560014

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16883630

Country of ref document: EP

Kind code of ref document: A1