WO2018123599A1 - 作業システムおよび作業方法 - Google Patents

作業システムおよび作業方法 Download PDF

Info

Publication number
WO2018123599A1
WO2018123599A1 PCT/JP2017/044775 JP2017044775W WO2018123599A1 WO 2018123599 A1 WO2018123599 A1 WO 2018123599A1 JP 2017044775 W JP2017044775 W JP 2017044775W WO 2018123599 A1 WO2018123599 A1 WO 2018123599A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
rework
user
actuator
satisfaction
Prior art date
Application number
PCT/JP2017/044775
Other languages
English (en)
French (fr)
Inventor
里志 羽根田
誠 山村
貴正 宇田川
将人 藤原
聖 小野寺
木全　隆一
Original Assignee
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 本田技研工業株式会社 filed Critical 本田技研工業株式会社
Priority to US16/473,301 priority Critical patent/US11209814B2/en
Priority to EP17886472.4A priority patent/EP3549422B1/en
Priority to CN201780079117.5A priority patent/CN110087450A/zh
Publication of WO2018123599A1 publication Critical patent/WO2018123599A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D34/00—Mowers; Mowing apparatus of harvesters
    • A01D34/006—Control or measuring arrangements
    • A01D34/008—Control or measuring arrangements for automated or remotely controlled operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/005—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with signals other than visual, e.g. acoustic, haptic
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0219—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D2101/00—Lawn-mowers

Definitions

  • the present invention relates to a work system and a work method having a work machine capable of performing work automatically.
  • Patent Document 1 a work machine that performs lawn mowing work by autonomously traveling in a work area defined by an area wire.
  • the working machine described in Patent Document 1 includes a magnetic sensor that detects a magnetic field intensity generated by a current flowing through an area wire, and specifies its own position based on a detection value of the magnetic sensor, thereby leaving uncut grass. Work while traveling autonomously throughout the work area.
  • Patent Document 1 the technique for instructing the rework.
  • One aspect of the present invention is a work system having a work machine that performs work automatically, and a work mode actuator provided in the work machine, and a user mode detection unit that detects a user mode that changes according to work satisfaction After the predetermined work is performed by the work implement, a rework determination unit that determines whether or not rework is necessary based on the user mode detected by the user mode detection unit, and the rework determination unit needs to rework
  • the actuator controller for controlling the working actuator so as to perform the rework.
  • Another aspect of the present invention is a work method that performs work using a work machine that automatically performs work, detects a user's aspect that changes according to work satisfaction, and based on the detected user's aspect, It is determined whether or not rework is necessary after a predetermined work is performed by the work machine, and when it is determined that rework is necessary, the work actuator provided in the work machine is controlled so as to perform the rework. including.
  • FIG. 2 is a plan view showing an example of a work area in which work is performed by a work machine constituting the work system of FIG. 1.
  • the flowchart which shows an example of the process performed with CPU of FIG. 2A.
  • FIGS. 1-10 a work system according to an embodiment of the present invention will be described with reference to FIGS.
  • the work system of the present invention can be applied to various work machines, an example in which the work system is applied to a lawn mower capable of performing lawn mowing work while traveling autonomously will be described below.
  • FIG. 1 is a diagram showing a schematic configuration of a work system 100 according to an embodiment of the present invention, and is a side view showing a schematic configuration of a work machine (lawn mower) 1 that constitutes the work system 100 in particular.
  • the work machine 1 includes a vehicle body 2 and a pair of left and right front wheels 3 and a rear wheel 4, and has a weight and dimensions that can be carried by the user himself / herself.
  • the working machine 1 has a total length of about 500 mm, a total width of about 300 mm, and a height of about 300 mm.
  • a charging terminal 6 for charging a battery (FIG. 2A) mounted on the vehicle body 2 is provided at the front end portion of the vehicle body 2.
  • FIG. 2A is a block diagram showing a schematic configuration of the work machine 1 (work system 100).
  • the work machine 1 includes an ECU (electronic control unit) 10, a camera 21, a microphone 22, a thermography 23, a sensor group 24, a speaker 25, a work actuator 26, and a traveling device connected to the ECU 10.
  • the actuator 27, the communication unit 28, the battery 29, and the charging unit 30 are all provided in the vehicle body 2.
  • the ECU 10 includes a CPU (processor) 10A, a memory 10B such as ROM and RAM, and other peripheral circuits.
  • the camera 21, the microphone 22, and the thermography 23 constitute a biological information detection unit 20 that detects the biological information of the user. That is, the camera 21 images the upper body including the user's face, and detects the facial expression and behavior of the user.
  • the microphone 22 acquires the voice spoken by the user.
  • the voice acquired by the microphone 22 is recognized by a voice recognition unit (not shown) of the ECU 10.
  • the thermography 23 detects the surface temperature of the user's face.
  • the biological information detection unit 20 (21 to 23) is used to detect the user's mode such as the user's behavior (spoken behavior) and facial expression.
  • the sensor group 24 includes a pair of magnetic sensors 24a that are spaced apart in the vehicle width direction, and the magnetic field strength is detected by the magnetic sensors 24a. Although illustration is omitted, the sensor group 24 includes a Yaw sensor that detects an angular velocity generated around the height axis of the work machine 1, a G sensor that detects acceleration acting on the work machine 1, and an orientation of the work machine 1. Azimuth sensor that detects whether the work machine 1 is in contact with an obstacle, a wheel speed sensor that detects the wheel speed of the left and right rear wheels 4, a GPS sensor that detects the position of the work machine 1, and A voltage sensor for detecting the remaining voltage of the battery 29 is also included.
  • the speaker 25 outputs sound to the user, and the work machine 1 can interact with the user by providing the microphone 22 and the speaker 25.
  • the work actuator 26 is constituted by an electric motor connected to the rotary shaft 5 a, and the blade 5 is rotationally driven by the drive of the work actuator 26.
  • the travel actuator 27 is disposed on the left and right inner sides of the left and right rear wheels 4 and is composed of a pair of electric motors that independently drive the left and right rear wheels 4. By generating a speed difference in the rotation of the left and right rear wheels 4, the work implement 1 can turn in any direction.
  • the communication unit 28 includes a transmission / reception antenna and a signal processing circuit that processes a signal transmitted / received via the transmission / reception antenna, and the work machine 1 is connected to an external device (for example, a relay disposed in the same site) via the communication unit 28. Wireless communication with a device, a server, a portable terminal carried by a user, or the like.
  • the battery 29 is used as a power source for supplying power to each electrical component of the work machine 1.
  • the charging unit 30 is connected to the charging terminal 6 and the battery 29, and stores the electric power supplied from the charging station (FIG. 3) via the charging terminal 6 in the battery 29.
  • FIG. 3 is a plan view showing an example of the work area AR.
  • the work area AR is demarcated by an area wire 7 laid in advance in the garden (for example, buried at a predetermined depth from the ground), and the travel range of the work implement 1 is defined by the area wire 7.
  • a current flows through the area wire 7, a magnetic field is generated in the work area AR.
  • the magnetic field intensity in the work area AR is detected by the magnetic sensor 24a.
  • the magnetic field strength changes according to the distance from the area wire 7.
  • the ECU 10 (CPU 10A) determines whether or not the work implement 1 has reached the area wire 7 based on a signal from the magnetic sensor 24a. If it is determined that the area wire 7 has been reached, a control signal is output to the travel actuator 27 and the work implement 1 is turned toward the inside of the work area AR as indicated by the arrow in FIG. In this way, the ECU 10 outputs a control signal to the travel actuator 27 in accordance with the signal from the magnetic sensor 24a, whereby the work implement 1 travels autonomously within the work area AR. At this time, the ECU 10 also outputs a control signal to the work actuator 26, whereby the work implement 1 automatically performs the lawn mowing work while traveling in the work area AR.
  • the charging station 8 for charging the battery 29 is disposed on the area wire 7.
  • the ECU 10 When the voltage of the battery 29 is detected by the sensor group 24 (for example, a voltage sensor) at the time of work, the ECU 10 outputs a control signal to the travel actuator 27 and, for example, connects the work machine 1 along the area wire 7 to the charging station. The battery 29 is charged by returning to 8.
  • the ECU 10 When the charging of the battery 29 is completed, the ECU 10 outputs a control signal to the traveling actuator 27 to release the work implement 1 from the charging station 8, and then drives the working actuator 26 to resume the work.
  • the work area AR is set by laying the area wire 7 and the work machine 1 (ECU 10) recognizes the work area AR by the signal from the magnetic sensor 24a.
  • the method of setting and recognizing the region is not limited to the above.
  • the ECU 10 may receive a beacon signal or the like via the communication unit 28 and recognize the work area using the received signal, thereby performing work in the work area.
  • a work area map may be stored in advance in the memory 10B of the ECU 10, and work may be performed in the work area while detecting its own position using a GPS sensor or the like. That is, the work area may be set using a work area setting unit other than the area wire 7 and the work area may be recognized using a position detector other than the magnetic sensor.
  • the work machine 1 is configured to automatically perform the rework.
  • the working machine 1 is configured as follows in the present embodiment.
  • FIG. 2B is a block diagram showing a functional configuration of the ECU 10.
  • the ECU 10 includes a rework determination unit 11, a work content determination unit 14, and an actuator control unit 15.
  • the rework determination unit 11 includes a pattern storage unit 12 and a satisfaction level estimation unit 13.
  • the satisfaction estimation unit 13, the work content determination unit 14, and the actuator control unit 15 are functions performed by the CPU 10A
  • the pattern storage unit 12 is a function performed by the memory 10B.
  • the pattern storage unit 12 stores data corresponding to facial expression, behavior, voice, and facial temperature patterns that have a correlation with the user's work satisfaction in advance, that is, data corresponding to facial expression patterns, behavior patterns, voice patterns, and facial temperature patterns.
  • the facial expression patterns include facial expression patterns that are expected to occur when work satisfaction is high (eg, joyful facial expressions) and facial expression patterns that are expected to occur when work satisfaction is low (eg, angry facial expressions). It is.
  • the pattern storage unit 12 stores image data corresponding to these facial expression patterns.
  • the expression of joy and anger is characterized by mouth corners and eyes.
  • Behavior patterns include behavior patterns that are expected to occur when work satisfaction is high (for example, actions such as shaking your head vertically or raising your thumb) and actions that are expected to occur when work satisfaction is low. Patterns (for example, actions such as shaking a neck or hand or touching the grass with a hand) are included.
  • the pattern storage unit 12 stores image data corresponding to these behavior patterns.
  • the audio pattern includes an audio pattern that is expected to be generated when the work satisfaction is high (for example, “OK”), and an audio pattern that is expected to be generated when the work satisfaction is low (for example, “redo”). Voice).
  • the pattern storage unit 12 stores audio data corresponding to these audio patterns.
  • the face temperature pattern includes a face temperature pattern that is expected to occur when work satisfaction is high (for example, a face temperature distribution in which the average or maximum face temperature is equal to or lower than a predetermined temperature), and occurs when work satisfaction is low.
  • An expected face temperature pattern (for example, a face temperature distribution in which the average or maximum face temperature is equal to or higher than a predetermined temperature) is included.
  • the pattern storage unit 12 stores temperature data corresponding to these facial temperature patterns.
  • Each of the above patterns is given points corresponding to work satisfaction in advance. That is, +1 points are given to patterns with high work satisfaction and -1 points are given to low patterns.
  • the positive point may be increased as the work satisfaction level is increased, and the negative point may be decreased (the absolute value is increased) as the work satisfaction level is decreased.
  • the pattern storage unit 12 stores a plurality of patterns (referred to as work satisfaction degree correspondence patterns) representing the user's aspect according to the work satisfaction degree together with points.
  • the pattern storage unit 12 further stores a plurality of patterns corresponding to the contents of the rework (referred to as work content correspondence patterns). Specifically, image data corresponding to an action pattern indicating an area to be reworked, for example, an action indicating a specific direction such as east, west, north and south, front and rear, left and right, or an action indicating the entire work area is stored. Furthermore, voice data indicating a region to be reworked, for example, voice data corresponding to a voice representing a specific direction such as east, west, north and south, front and rear, left and right, or a voice representing the entire work area such as “redo all” is stored. Audio corresponding to image data corresponding to an action pattern (for example, beckoning action) indicating an automatic follow-up driving instruction to a user, or an audio pattern indicating an automatic follow-up driving instruction (eg, "follow me”) Data is also stored.
  • image data corresponding to an action pattern indicating an area to be reworked
  • the satisfaction level estimation unit 13 estimates the user's work satisfaction level for the work result after the lawn mowing work is once completed based on the signal from the biological information detection unit 20. More specifically, the user's facial expression, behavior, voice, and facial temperature detected by the biological information detection unit 20 and the facial expression, behavior, voice, and facial temperature patterns stored in the pattern storage unit 12 (work satisfaction) Degree correspondence pattern) to identify which work satisfaction degree correspondence pattern the user's aspect applies to. Then, the work satisfaction is quantified based on the points included in the specified work satisfaction correspondence pattern. When the user's aspect applies to a plurality of work satisfaction correspondence patterns, the points of each work satisfaction correspondence pattern are added to calculate the work satisfaction.
  • the satisfaction level estimation unit 13 may estimate the work satisfaction level by estimating the user's emotion.
  • the occupant's emotions are eight basic emotions (expectation, joy, acceptance, anxiety, surprise, sadness, disgust, anger) and applied emotions by combining two adjacent emotions.
  • it may be determined based on a signal from the camera 21 or the microphone 22 whether the user's emotion applies to the pattern of emotions, thereby estimating the work satisfaction.
  • the rework determination unit 11 determines the necessity of rework according to the work satisfaction estimated by the satisfaction estimation unit 13. For example, when the estimated work satisfaction is a predetermined value (for example, ⁇ 1) or less, it is determined that rework is necessary.
  • a predetermined value for example, ⁇ 1
  • the work content determination unit 14 determines the content of the rework based on the signal input from the biological information detection unit 20. More specifically, the user's behavior and voice detected by the biological information detection unit 20 are compared with the user's behavior and voice pattern (work content correspondence pattern) stored in the pattern storage unit 12, and the user's behavior and voice are compared. It is specified to which work content correspondence pattern the aspect applies. Then, the identified work content correspondence pattern is determined as the work content of the work machine 1.
  • the actuator control unit 15 outputs control signals to the work actuator 26 and the travel actuator 27, and controls the operation of the work implement 1 so as to perform lawn mowing work while autonomously traveling in the work area AR. Further, once the work is completed, the traveling operation of the work machine 1 is controlled so that the work machine 1 moves to a position where the biological information detection unit 20 can detect the user's aspect. Thereafter, when the rework determination unit 11 determines that rework is necessary, control signals are sent to the work actuator 26 and the travel actuator 27 so that the work implement 1 performs the work determined by the work content determination unit 14. Is output. When the rework determination unit 11 determines that rework is unnecessary, the operation of the work machine 1 is controlled so as to execute a predetermined work completion operation such as returning to the charging station 8 and starting charging. .
  • FIG. 4 is a flowchart showing an example of processing executed by the CPU 10A in accordance with a program stored in advance. The process shown in this flowchart is started, for example, after the work machine 1 autonomously travels and completes a predetermined work.
  • step S1 the biological information detection unit 20 detects the user's mode, that is, the user's facial expression, behavior, voice, and facial temperature, and reads the detection signal.
  • step S2 the satisfaction level of the user is estimated based on the detection signal in step S1 by processing in the satisfaction level estimation unit 13.
  • step S3 it is determined by the processing in the rework determination unit 11 whether or not rework is necessary, that is, whether or not the estimated work satisfaction is below a predetermined value.
  • step S3 If the result is affirmative in step S3, the process proceeds to step S4, and the content of the rework is determined based on the detection signal in step S1 by the processing in the work content determination unit 14.
  • step S5 a control signal is output to the work actuator 26 and the travel actuator 27 so as to perform the rework according to the work content determined in step S4 by the processing in the actuator control unit 15.
  • the process returns to step S1 and the same processing is repeated.
  • step S3 If it is determined in step S3 that rework is unnecessary, the process proceeds to step S6.
  • step S ⁇ b> 6 a predetermined work completion operation such as returning the work machine 1 to the charging station 8 is executed by the process in the actuator control unit 15, and the series of processes ends.
  • FIG. 5 is a plan view showing an example of the operation of the work system 100.
  • the work machine 1 approaches the user 200 as shown in part A of FIG. 5, and the biometric information detection unit 20 such as the camera 21 or the microphone 22 changes the mode of the user 200. Detect (step S1). Note that the user 200 may approach the work machine 1.
  • the work machine 1 determines that rework is necessary, and the user's 200 behavior (actions) , Voice) to determine the work content (step S3 ⁇ step S4). Then, the work machine 1 performs the rework according to the work content (step S5). For example, when the user 200 indicates the predetermined work area AR1 with a finger or instructs the predetermined work area AR1 by voice, the work machine 1 autonomously travels as shown in the arrow AW1 in FIG. (Part B in FIG. 5), the work is performed again in the work area AR1.
  • the work machine 1 when the user 200 instructs the work machine 1 to automatically follow, the work machine 1 follows the movement of the user 200 indicated by the dotted arrow AW2 in FIG. 5, and as indicated by the arrow AW3 in FIG. It moves to a predetermined work area AR2 (C section in FIG. 5). Thereafter, when the user 200 commands the work in the work area AR2, the work machine 1 performs the work again in the work area AR2. Note that when the user 200 instructs to rework the entire work area AR by action or voice, the work machine 1 reworks the entire work area AR.
  • the work machine 1 detects the user's mode again after the completion of the rework, and estimates the work satisfaction (step S5 ⁇ step S1 ⁇ step S2). If the work satisfaction is below a predetermined value, the rework is executed again. When the work satisfaction exceeds a predetermined value, a work completion operation is performed to complete the work (step S3 ⁇ step S6).
  • a work system 100 having a work machine 1 that automatically performs work includes a work actuator 26 provided in the work machine 1 and a biological information detection unit 20 that detects a user's aspect that changes according to work satisfaction. After the camera 21, the microphone 22, and the thermography 23, and the work machine 1 perform a predetermined work (lawn mowing work while autonomously traveling), the work information is re-based based on the user's aspect detected by the biological information detection unit 20.
  • a rework determination unit 11 that determines whether or not work is necessary, and an actuator control unit 15 that controls the work actuator 26 to perform rework when the rework determination unit 11 determines that rework is necessary.
  • FIG. 2A, FIG. 2B Provide
  • the work machine 1 itself determines whether or not reworking is necessary based on the user's aspect detected by the biological information detection unit 20 after the lawn mowing work is once performed. Then, the rework is automatically performed according to the determination result. Thereby, it is not necessary for the user to separately perform a complicated operation for instructing the work machine 1 to perform the rework, and the work machine 1 can easily perform the rework as necessary.
  • the rework determination unit 11 includes a satisfaction estimation unit 13 that estimates the user's work satisfaction based on the user's aspect detected by the biological information detection unit 20 (FIG. 2B), and the satisfaction estimation unit 13.
  • the work satisfaction estimated by the above is below a predetermined value, it is determined that rework is necessary.
  • the work machine 1 can be made to rework automatically, As a result, The user's work satisfaction can be increased.
  • the work system 100 further includes a work content determination unit 14 that determines the work content based on the user's aspect detected by the biological information detection unit 20 (FIG. 2B).
  • the actuator control unit 15 controls the work actuator 26 to perform rework according to the work content determined by the work content determination unit 14.
  • the work machine 1 is provided with a camera 21, a microphone 22, and a thermography 23 (FIG. 2A).
  • a user's facial expression, action, voice, and face temperature can be recognized. Therefore, the user's work satisfaction can be estimated well, and the necessity of rework can be determined accurately.
  • the work system 100 further includes a travel actuator 27 provided in the work machine 1 (FIG. 2A).
  • the actuator control unit 15 controls the work actuator 26 and the travel actuator 27 so that the work implement 1 performs rework while traveling. By configuring the work machine 1 to be movable in this manner, the work machine 1 can be automatically operated over the entire work area.
  • the work machine 1 configuring the work system 100 is configured as a lawn mower that performs lawn mowing work while autonomously traveling in the work area AR (FIG. 1). In such a working machine 1, there is a possibility that uncut grass or the like may occur, and the probability that rework is necessary increases. For this reason, the usefulness of applying the work system 100 according to the present embodiment is high.
  • step S1 As a work method for performing work using the work machine 1 that performs work automatically, a user aspect that changes in accordance with the degree of work satisfaction is detected (step S1), and work is performed based on the detected user aspect. It is determined whether or not a rework is necessary after a predetermined work is performed by the machine 1 (step S3), and if it is determined that a rework is necessary, the work machine 1 provided for the work machine 1 to perform the rework is determined. The actuator 26 is controlled (step S5). Thereby, it is possible to cause the work machine 1 to easily perform rework as necessary.
  • FIG. 6 is a diagram showing a work system 100A as a modification of FIG.
  • the work machine 1 and the server 101 are configured to be capable of wireless communication with each other via a communication unit.
  • the ECU 10 of the work machine 1 can acquire data from the server 101 as necessary. Therefore, a part of the ECU 10 (for example, the pattern storage unit 12) can be provided in the server 101.
  • the camera 21 as the imaging device, the microphone 22 as the sound collecting device, and the thermography 23 as the temperature capturing device detect the user's aspect that changes according to the degree of work satisfaction.
  • the configuration of the aspect detection unit is not limited to this.
  • the imaging device, the sound collection device, and the temperature capturing device at least one of them may detect the user's aspect, that is, the user's facial expression, speech and the like.
  • You may provide a user mode detection part other than a working machine (for example, the wall of a building, etc.).
  • the satisfaction degree estimation unit 13 quantifies and estimates the user's work satisfaction based on the user's aspect detected by the biological information detection unit 20.
  • the configuration of the satisfaction estimation unit is not limited to that described above.
  • the work content determination unit 14 determines the work content based on the user's aspect detected by the biological information detection unit 20, but for example, according to the work satisfaction estimated by the satisfaction level estimation unit.
  • the work content may be determined, and the configuration of the work content determination unit is not limited to that described above.
  • the rework determination unit 11 determines whether or not the rework is necessary based on the user's aspect detected by the camera 21, the microphone 22, or the like.
  • the configuration of the rework determination unit is not limited to this. For example, a question such as “Is rework necessary?” May be asked to the user by voice output from the speaker 25, and the user's response to this may be recognized by voice to determine whether rework is necessary.
  • the necessity of rework may be determined from the content of the conversation.
  • Sensors for detecting weather such as a solar radiation sensor, a temperature / humidity sensor, and a rain sensor may be provided on the work implement, and the necessity of rework may be determined in consideration of information from these sensors.
  • the work satisfaction of the user is improved even though the work machine 1 performs the work again after the work determination unit 11 determines whether or not the work needs to be reworked. May not be. In this case, it may be determined that there is some problem in the work machine 1 itself, and the work machine 1 may contact the dealer via the communication unit 28 to request maintenance. That is, the rework determination unit may determine not only the necessity of rework but also the necessity of a maintenance request. Regardless of the degree of work satisfaction, whether or not rework is necessary may be determined based on whether or not a predetermined mode of the user has been detected. Therefore, the satisfaction degree estimation unit can be omitted. When the rework is performed, the content of the rework may be fixed, for example, always in the entire work area AR. Therefore, the work content determination unit may be omitted.
  • the actuator control unit 15 controls the work actuator 26 and the travel actuator 27 to perform rework. What is necessary is just to comprise so that a working actuator may be controlled to perform a rework at least, and the structure of an actuator control part is not restricted to what was mentioned above.
  • a mobile lawn mower is used as the work machine 1, but a mobile work machine other than the lawn mower (eg, a work machine used indoors) or a fixed work machine (eg, a watering machine). Can be used as a working machine. Therefore, the configuration of the traveling actuator and the working actuator provided in the working machine is not limited to the above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Environmental Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Harvester Elements (AREA)
  • Guiding Agricultural Machines (AREA)

Abstract

作業システム（１００）は、作業機（１）に設けられた作業用アクチュエータ（２６）と、作業満足度に応じて変化するユーザの態様を検出するカメラ（２１）およびマイク（２２）と、作業機（１）により所定の作業が行われた後に、検出されたユーザの態様に基づき再作業の要否を判定する再作業判定部（１１）と、再作業判定部（１１）により再作業が必要と判定されると、再作業を行うように作業用アクチュエータ（２６）を制御するアクチュエータ制御部（１５）とを備える。

Description

作業システムおよび作業方法
　本発明は、自動で作業を行うことが可能な作業機を有する作業システムおよび作業方法に関する。
　この種の作業機として、従来、エリアワイヤによって画定された作業領域を自律走行して芝刈り作業を行う作業機が知られている（例えば特許文献１参照）。この特許文献１記載の作業機は、エリアワイヤを流れる電流によって生じる磁界強度を検出する磁気センサを有しており、磁気センサの検出値に基づき自己の位置を特定することで、芝の刈り残しがないように作業領域を満遍なく自律走行しながら作業を行う。
特開２０１６－１４８９３７号公報
　ところで、作業機が作業を行った後の状態を、ユーザが満足しない場合がある。この場合、作業機に再作業を行わせる必要があるが、再作業を指令する手法については、上記特許文献１に何ら記載されていない。
　本発明の一態様は、自動で作業を行う作業機を有する作業システムであり、作業機に設けられた作業用アクチュエータと、作業満足度に応じて変化するユーザの態様を検出するユーザ態様検出部と、作業機により所定の作業が行われた後に、ユーザ態様検出部により検出されたユーザの態様に基づき再作業の要否を判定する再作業判定部と、再作業判定部により再作業が必要と判定されると、再作業を行うように作業用アクチュエータを制御するアクチュエータ制御部と、を備える。
　本発明の他の態様は、自動で作業を行う作業機を用いて作業を行う作業方法であり、作業満足度に応じて変化するユーザの態様を検出し、検出されたユーザの態様に基づき、作業機により所定の作業が行われた後の再作業の要否を判定し、再作業が必要と判定されると、再作業を行うように作業機に設けられた作業用アクチュエータを制御することを含む。
　本発明によれば、作業機が作業を行った後の再作業を必要に応じて容易に作業機に指令することができる。
本発明の実施形態に係る作業システムの概略構成を示す図。 図１の作業システムの概略構成を示すブロック図。 図２ＡのＥＣＵの機能的構成を示すブロック図。 図１の作業システムを構成する作業機により作業を行う作業領域の一例を示す平面図。 図２ＡのＣＰＵで実行される処理の一例を示すフローチャート。 本発明の実施形態に係る作業システムの動作の一例を示す図。 図１の変形例を示す図。
　以下、図１～図６を参照して本発明の実施形態に係る作業システムについて説明する。本発明の作業システムは種々の作業機に適用することができるが、以下では、特に自律走行しながら芝刈り作業を行うことが可能な芝刈り機に適用する例を説明する。
　図１は、本発明の実施形態に係る作業システム１００の概略構成を示す図であり、特に作業システム１００を構成する作業機（芝刈り機）１の概略構成を示す側面図である。図１に示すように、作業機１は、車体２と、左右一対の前輪３および後輪４とを備え、ユーザ自身が手で持って搬送可能な重量および寸法を有する。一例を挙げると、作業機１の全長は５００ｍｍ程度、全幅は３００ｍｍ程度、高さは３００ｍｍ程度である。
　車体２の底面からは、地面（芝地）ＧＲに向けて回転軸５ａに支持された芝刈り用の円盤形状のブレード５が突設され、作業機１は、ブレード５の回転により、地面ＧＲを走行しながら芝刈り作業を行うことができる。車体２の前端部には、車体２に搭載されたバッテリ（図２Ａ）を充填するための充電端子６が設けられる。
　図２Ａは、作業機１（作業システム１００）の概略構成を示すブロック図である。図２Ａに示すように、作業機１は、ＥＣＵ（電子制御ユニット）１０と、ＥＣＵ１０にそれぞれ接続されたカメラ２１、マイク２２、サーモグラフィ２３、センサ群２４、スピーカ２５、作業用アクチュエータ２６、走行用アクチュエータ２７、通信ユニット２８、バッテリ２９、および充電ユニット３０とを有し、これらは全て車体２に設けられる。ＥＣＵ１０は、ＣＰＵ（プロセッサ）１０Ａと、ＲＯＭ，ＲＡＭなどのメモリ１０Ｂと、その他の周辺回路などを有する。
　カメラ２１、マイク２２およびサーモグラフィ２３は、それぞれユーザの生体情報を検出する生体情報検出部２０を構成する。すなわち、カメラ２１は、ユーザの顔を含む上半身を撮像し、ユーザの顔の表情や行動を検出する。マイク２２は、ユーザの発話した音声を取得する。マイク２２で取得した音声は、ＥＣＵ１０の音声認識部（不図示）で音声認識される。サーモグラフィ２３は、ユーザの顔の表面温度を検出する。生体情報検出部２０（２１～２３）は、ユーザの挙動（言動）や表情等のユーザの態様を検出するために用いられる。
　センサ群２４は、車幅方向に離間して配置された一対の磁気センサ２４ａを含み、磁気センサ２４ａにより磁界強度が検出される。なお、図示は省略するが、センサ群２４は、作業機１の高さ方向の軸線回りに生じる角速度を検出するＹａｗセンサ、作業機１に作用する加速度を検出するＧセンサ、作業機１の方位を検出する方位センサ、作業機１と障害物との接触の有無を検出する接触センサ、左右の後輪４の車輪速を検出する車輪速センサ、作業機１の位置を検出するＧＰＳセンサ、およびバッテリ２９の残電圧を検出する電圧センサ等も含む。スピーカ２５は、ユーザに対し音声を出力し、マイク２２とスピーカ２５とを設けることで作業機１はユーザと対話することができる。
　作業用アクチュエータ２６は、回転軸５ａに連結された電動モータにより構成され、作業用アクチュエータ２６の駆動によりブレード５が回転駆動される。走行用アクチュエータ２７は、左右の後輪４の左右内側に配置されて、左右の後輪４を独立に駆動する一対の電動モータにより構成される。左右の後輪４の回転に速度差を生じさせることで、作業機１は任意の方向に旋回することができる。
　通信ユニット２８は、送受信アンテナと、送受信アンテナを介して送受信した信号を処理する信号処理回路とを含み、通信ユニット２８を介して作業機１が外部機器（例えば同一の敷地内に配置された中継装置やサーバ、ユーザが携帯する携帯端末等）と無線で通信することができる。バッテリ２９は、作業機１の各電気部品に電力を供給するための電力源として用いられる。充電ユニット３０は、充電端子６とバッテリ２９とに接続され、充電端子６を介して充電ステーション（図３）で供給された電力をバッテリ２９に蓄電する。
　以上のように構成された作業機１は、予め定められた作業領域内を自律走行して作業を行う。図３は、作業領域ＡＲの一例を示す平面図である。作業領域ＡＲは、予め庭に敷設（例えば地面から所定深さに埋設）されたエリアワイヤ７によって画定され、エリアワイヤ７により作業機１の走行範囲が規定される。エリアワイヤ７に電流が流されることで、作業領域ＡＲに磁界が発生する。作業領域ＡＲの磁界強度は、磁気センサ２４ａにより検出される。
　磁界強度は、エリアワイヤ７からの距離に応じて変化する。ＥＣＵ１０（ＣＰＵ１０Ａ）は、磁気センサ２４ａからの信号に基づき、作業機１がエリアワイヤ７に到達したか否かを判定する。そして、エリアワイヤ７に到達したと判定すると、走行用アクチュエータ２７に制御信号を出力し、図３の矢印に示すように、作業機１を作業領域ＡＲの内側に向けて旋回させる。このようにＥＣＵ１０は、磁気センサ２４ａからの信号に応じて走行用アクチュエータ２７に制御信号を出力し、これにより作業機１が作業領域ＡＲ内を自律走行する。このときＥＣＵ１０は、作業用アクチュエータ２６にも制御信号を出力し、これにより作業機１は、作業領域ＡＲ内を走行しながら自動的に芝刈り作業を行う。
　エリアワイヤ７上には、バッテリ２９を充電するための充電ステーション８が配置される。作業時に、センサ群２４（例えば電圧センサ）によってバッテリ２９の電圧不足が検出されると、ＥＣＵ１０は、走行用アクチュエータ２７に制御信号を出力し、例えばエリアワイヤ７に沿って作業機１を充電ステーション８まで帰還させ、バッテリ２９を充電する。バッテリ２９の充電が完了すると、ＥＣＵ１０は、走行用アクチュエータ２７に制御信号を出力して作業機１を充電ステーション８から離脱させ、その後、作業用アクチュエータ２６を駆動して作業を再開する。
　なお、以上では、エリアワイヤ７を敷設して作業領域ＡＲを設定するとともに、磁気センサ２４ａからの信号により作業機１（ＥＣＵ１０）が作業領域ＡＲを認識しながら作業を行うようにしたが、作業領域の設定および認識の手法は上述したものに限らない。例えば、通信ユニット２８を介してＥＣＵ１０がビーコン信号等を受信し、この受信信号を用いて作業領域を認識することにより、作業領域で作業を行うようにしてもよい。予めＥＣＵ１０のメモリ１０Ｂに作業領域のマップを記憶し、ＧＰＳセンサ等により自位置を検出しながら、作業領域で作業を行うようにしてもよい。すなわち、エリアワイヤ７以外の作業領域設定部を用いて作業領域を設定するとともに、磁気センサ以外の位置検出器を用いて作業領域を認識し、作業を行うようにしても良い。
　ところで、作業領域ＡＲでの作業機１の作業が完了した場合に、芝の刈り残しがあったり芝の高さが不揃いであったりすると、ユーザは作業結果に満足しないおそれがある。この場合には、作業機１に再作業を行わせる必要があるが、ユーザの負担を軽減するためには、煩雑な設定操作による再作業を指令する手間を省いて、ユーザの作業満足度に応じて作業機１に自動的に再作業を実行させるように構成することが好ましい。この点を考慮して、本実施形態では以下のように作業機１を構成する。
　図２Ｂは、ＥＣＵ１０の機能的構成を示すブロック図である。図２Ｂに示すように、ＥＣＵ１０は、再作業判定部１１と、作業内容決定部１４と、アクチュエータ制御部１５とを有する。再作業判定部１１は、パターン記憶部１２と、満足度推定部１３とを有する。このうち、満足度推定部１３、作業内容決定部１４およびアクチュエータ制御部１５は、ＣＰＵ１０Ａが担う機能であり、パターン記憶部１２は、メモリ１０Ｂが担う機能である。
　パターン記憶部１２は、予めユーザの作業満足度と相関関係を有する表情、行動、音声および顔面温度の各パターンに対応するデータ、すなわち表情パターン、行動パターン、音声パターンおよび顔面温度パターンに対応するデータを記憶する。
　表情パターンには、作業満足度が高いときに生じると予想される表情パターン（例えば喜びの表情）と、作業満足度が低いときに生じると予想される表情パターン（例えば怒りの表情）とが含まれる。パターン記憶部１２には、これら表情パターンに対応する画像データが記憶される。なお、喜びや怒りの表情は口角や目つきにより特徴付けられる。
　行動パターンには、作業満足度が高いときに生じると予想される行動パターン（例えば首を縦に振る、あるいは親指を立てるなどの行動）と、作業満足度が低いときに生じると予想される行動パターン（例えば首や手を横に振る、あるいはユーザが芝を手で触るなどの行動）とが含まれる。パターン記憶部１２には、これら行動パターンに対応する画像データが記憶される。
　音声パターンには、作業満足度が高いときに生じると予想される音声パターン（例えば「オッケー」などの音声）と、作業満足度が低いときに生じると予想される音声パターン（例えば「やり直し」などの音声）とが含まれる。パターン記憶部１２には、これら音声パターンに対応する音声データが記憶される。
　顔面温度パターンには、作業満足度が高いときに生じると予想される顔面温度パターン（例えば平均または最大の顔面温度が所定温度以下である顔面温度分布）と、作業満足度が低いときに生じると予想される顔面温度パターン（例えば平均または最大の顔面温度が所定温度以上である顔面温度分布）が含まれる。パターン記憶部１２には、これら顔面温度パターンに対応する温度データが記憶される。
　以上の各パターンには、予め作業満足度に対応するポイントが付与される。すなわち、作業満足度が高いパターンには＋１のポイント、低いパターンには－１のポイントが付与される。なお、作業満足度が大きいほどプラスのポイントを大きくし、作業満足度が低いほどマイナスのポイントを小さく（絶対値は大きく）してもよい。このようにパターン記憶部１２は、作業満足度に応じたユーザの態様を表す複数のパターン（作業満足度対応パターンと呼ぶ）をポイントとともに記憶する。
　パターン記憶部１２は、さらに再作業の内容に対応した複数のパターン（作業内容対応パターンと呼ぶ）も記憶する。具体的には、再作業すべき領域を示す行動パターン、例えば東西南北や前後左右等の特定の方向を指先で示す行動や、作業領域全体を示す行動に対応する画像データが記憶される。さらに、再作業すべき領域を示す音声パターン、例えば東西南北や前後左右等の特定の方向を表す音声や、「全てやり直し」などの作業領域全体を表す音声に対応する音声データが記憶される。ユーザへの自動追従走行指令を示す行動パターン（例えば手招きする行動）に対応する画像データや、自動追従走行指令を示す音声パターン（例えば「私の後についてきなさい」などの音声）に対応する音声データも記憶される。
　満足度推定部１３は、生体情報検出部２０からの信号に基づき、芝刈り作業が一旦完了した後の作業結果についてのユーザの作業満足度を推定する。より具体的には、生体情報検出部２０により検出されたユーザの表情、行動、音声、顔面温度と、パターン記憶部１２に記憶されたユーザの表情、行動、音声、顔面温度のパターン（作業満足度対応パターン）とを比較し、ユーザの態様がどの作業満足度対応パターンに当てはまるかを特定する。そして、特定された作業満足度対応パターンが有するポイントにより、作業満足度を数値化する。ユーザの態様が複数の作業満足度対応パターンに当てはまるときは、各作業満足度対応パターンが有するポイントを加算して、作業満足度を算出する。
　作業満足度はユーザの感情に対応する。したがって、満足度推定部１３は、ユーザの感情を推定することで作業満足度を推定してもよい。例えば、Plutchikの感情の輪を用いて、乗員感情を８つの基本感情（期待、喜び、受容、不安、驚き、悲しみ、嫌悪、怒り）と、それらの隣り合う２つの感情の組み合わせによる応用感情とに分類し、カメラ２１やマイク２２からの信号に基づいて、ユーザの感情が感情の輪のいずれのパターンに当てはまるかを判定し、これにより作業満足度を推定するようにしてもよい。
　再作業判定部１１は、満足度推定部１３で推定された作業満足度に応じて再作業の要否を判定する。例えば、推定された作業満足度が所定値（例えば－１）以下のとき、再作業が必要と判定する。
　作業内容決定部１４は、生体情報検出部２０から入力された信号に基づき、再作業の内容を決定する。より具体的には、生体情報検出部２０により検出されたユーザの行動や音声と、パターン記憶部１２に記憶されたユーザの行動や音声のパターン（作業内容対応パターン）とを比較し、ユーザの態様がどの作業内容対応パターンに当てはまるかを特定する。そして、特定された作業内容対応パターンを、作業機１の作業内容として決定する。
　アクチュエータ制御部１５は、作業用アクチュエータ２６と走行用アクチュエータ２７とに制御信号を出力し、作業領域ＡＲ内を自律走行しながら芝刈り作業を行うように作業機１の動作を制御する。さらに、一旦作業が完了した後には、生体情報検出部２０によりユーザの態様を検出可能な位置に作業機１が移動するように作業機１の走行動作を制御する。その後、再作業判定部１１により再作業が必要と判定されると、作業機１が作業内容決定部１４で決定された作業を行うように、作業用アクチュエータ２６と走行用アクチュエータ２７とに制御信号を出力する。なお、再作業判定部１１により再作業が不要と判定されると、例えば充電ステーション８に帰還して充電を開始するなどの所定の作業完了動作を実行するように作業機１の動作を制御する。
　図４は、予め記憶されたプログラムに従いＣＰＵ１０Ａで実行される処理の一例を示すフローチャートである。このフローチャートに示す処理は、例えば作業機１が自律走行して所定の作業を完了した後に開始される。
　まず、ステップＳ１で、生体情報検出部２０によりユーザの態様、すなわちユーザの表情、行動、音声、顔面温度を検出し、その検出信号を読み込む。次いで、ステップＳ２で、満足度推定部１３での処理により、ステップＳ１の検出信号に基づきユーザの作業満足度を推定する。次いで、ステップＳ３で、再作業判定部１１での処理により、再作業が必要か否か、すなわち推定された作業満足度が所定値以下か否かを判定する。
　ステップＳ３で肯定されるとステップＳ４に進み、作業内容決定部１４での処理により、ステップＳ１の検出信号に基づき再作業の内容を決定する。次いでステップＳ５で、アクチュエータ制御部１５での処理により、ステップＳ４で決定された作業内容に応じた再作業を行うように作業用アクチュエータ２６と走行用アクチュエータ２７とに制御信号を出力する。再作業が完了するとステップＳ１に戻り、同様の処理を繰り返す。
　ステップＳ３で再作業が不要と判定されると、ステップＳ６に進む。ステップＳ６では、アクチュエータ制御部１５での処理により、作業機１を充電ステーション８に帰還させるなどの所定の作業完了動作を実行し、一連の処理を終了する。
　本実施形態に係る作業システム１００の動作をより具体的に説明する。図５は、作業システム１００の動作の一例を示す平面図である。作業機１は、作業領域ＡＲ内の芝刈り作業が完了すると、図５のＡ部に示すようにユーザ２００に接近してカメラ２１やマイク２２等の生体情報検出部２０によりユーザ２００の態様を検出する（ステップＳ１）。なお、ユーザ２００から作業機１に接近するようにしてもよい。
　芝の刈り残しがある、あるいは芝の高さが不揃いである等により、ユーザ２００の作業満足度が所定値以下になると、作業機１は再作業が必要と判定し、ユーザ２００の言動（行動、音声）に基づき作業内容を決定する（ステップＳ３→ステップＳ４）。そして、作業機１は作業内容に応じて再作業を実行する（ステップＳ５）。例えばユーザ２００が所定の作業領域ＡＲ１を指で示す、あるいは所定の作業領域ＡＲ１を音声で指令した場合、作業機１は、図５の矢印ＡＷ１に示すように、自律走行しながらその作業領域ＡＲ１に移動し（図５のＢ部）、作業領域ＡＲ１で再作業を行う。
　一方、ユーザ２００が作業機１に自動追従走行するように指令した場合、作業機１は、図５の点線矢印ＡＷ２で示すユーザ２００の動きに追従し、図５の矢印ＡＷ３に示すように、所定の作業領域ＡＲ２まで移動する（図５のＣ部）。その後、ユーザ２００がその作業領域ＡＲ２での作業を指令すると、作業機１は、作業領域ＡＲ２で再作業を行う。なお、ユーザ２００が行動または音声で作業領域ＡＲ全体を再作業するように指令した場合、作業機１は作業領域ＡＲ全体を再作業する。
　作業機１は、再作業完了後に再びユーザの態様を検出し、作業満足度を推定する（ステップＳ５→ステップＳ１→ステップＳ２）。作業満足度が所定値以下であれば、再び再作業を実行する。作業満足度が所定値を上回ると、作業完了動作を行い、作業を完了する（ステップＳ３→ステップＳ６）。
　本実施形態によれば以下のような作用効果を奏することができる。
（１）自動で作業を行う作業機１を有する作業システム１００は、作業機１に設けられた作業用アクチュエータ２６と、作業満足度に応じて変化するユーザの態様を検出する生体情報検出部２０（カメラ２１、マイク２２およびサーモグラフィ２３）と、作業機１により所定の作業（自律走行しながらの芝刈り作業）が行われた後に、生体情報検出部２０により検出されたユーザの態様に基づき再作業の要否を判定する再作業判定部１１と、再作業判定部１１により再作業が必要と判定されると、再作業を行うように作業用アクチュエータ２６を制御するアクチュエータ制御部１５と、を備える（図２Ａ、図２Ｂ）。
　このように本実施形態に係る作業システム１００では、芝刈り作業が一旦行われた後の生体情報検出部２０により検出されたユーザの態様に基づき、作業機１自体が再作業の要否を判定し、その判定結果に応じて再作業を自動的に行う。これにより、ユーザが作業機１に再作業を指令するための煩雑な操作を別途行う必要がなく、必要に応じて作業機１に再作業を容易に実行させることができる。
（２）再作業判定部１１は、生体情報検出部２０により検出されたユーザの態様に基づきユーザの作業満足度を推定する満足度推定部１３を有し（図２Ｂ）、満足度推定部１３により推定された作業満足度が所定値以下のとき、再作業が必要と判定する。このようにユーザの作業満足度に応じて再作業を行うように構成したので、ユーザが作業結果に満足しない場合に、作業機１に自動的に再作業を行わせることができ、その結果、ユーザの作業満足度を高めることができる。
（３）作業システム１００は、生体情報検出部２０により検出されたユーザの態様に基づき作業内容を決定する作業内容決定部１４をさらに備える（図２Ｂ）。アクチュエータ制御部１５は、再作業判定部１１により再作業が必要と判定されると、作業内容決定部１４により決定された作業内容に応じた再作業を行うように作業用アクチュエータ２６を制御する。この構成により、例えば作業領域ＡＲのうちの特定の作業領域ＡＲ１，ＡＲ２のみ再作業を行わせることが可能となり、再作業を効率よく行わせることができる。
（４）生体情報検出部２０として、作業機１にカメラ２１、マイク２２およびサーモグラフィ２３を設けるようにした（図２Ａ）。これによりユーザの表情、行動、音声、および顔面温度を認識することができる。したがって、ユーザの作業満足度を良好に推定することができ、再作業の要否を適確に判定することができる。
（５）作業システム１００は、作業機１に設けられた走行用アクチュエータ２７をさらに備える（図２Ａ）。アクチュエータ制御部１５は、再作業判定部１１により再作業が必要と判定されると、作業機１が走行しながら再作業を行うように作業用アクチュエータ２６と走行用アクチュエータ２７とを制御する。このように作業機１を移動可能に構成することで、作業領域全般にわたって作業機１に自動的に作業を行わせることができる。
（６）作業システム１００を構成する作業機１を、作業領域ＡＲを自律走行しながら芝刈り作業を行う芝刈り機として構成する（図１）。このような作業機１にあっては、芝の刈り残し等が生じるおそれがあり、再作業が必要となる蓋然性が高まる。このため、本実施形態に係る作業システム１００を適用することの有用性が高い。
（７）自動で作業を行う作業機１を用いて作業を行う作業方法として、作業満足度に応じて変化するユーザの態様を検出し（ステップＳ１）、検出されたユーザの態様に基づき、作業機１により所定の作業が行われた後の再作業の要否を判定し（ステップＳ３）、再作業が必要と判定されると、再作業を行うように作業機１に設けられた作業用アクチュエータ２６を制御するようにした（ステップＳ５）。これにより、必要に応じて作業機１に再作業を容易に実行させることができる。
　上記実施形態は、種々の形態に変形することができる。以下、変形例について説明する。図６は、図１の変形例としての作業システム１００Ａを示す図である。図６では、作業機１とサーバ１０１とが通信ユニットを介して互いに無線通信可能に構成される。このような構成によれば、作業機１のＥＣＵ１０が必要に応じてサーバ１０１からデータを取得することができる。したがって、ＥＣＵ１０の一部（例えばパターン記憶部１２）をサーバ１０１に設けることができる。
　なお、上記実施形態では、撮像装置としてのカメラ２１、集音装置としてのマイク２２および撮温装置としてのサーモグラフィ２３により作業満足度に応じて変化するユーザの態様を検出するようにしたが、ユーザ態様検出部の構成はこれに限らない。例えば、撮像装置、集音装置および撮温装置の全てではなく、これらの少なくとも１つでユーザの態様、すなわちユーザの表情や言動等を検出するようにしてもよい。ユーザ態様検出部を作業機以外（例えば建造物の壁等）に設けてもよい。
　上記実施形態では、生体情報検出部２０により検出されたユーザの態様に基づき満足度推定部１３がユーザの作業満足度を数値化して推定するようにしたが、単に作業満足度が得られたか否かを推定するようにしてもよく、満足度推定部の構成は上述したものに限らない。上記実施形態では、生体情報検出部２０により検出されたユーザの態様に基づき作業内容決定部１４が作業内容を決定するようにしたが、例えば満足度推定部で推定された作業満足度に応じて作業内容を決定するようにしてもよく、作業内容決定部の構成は上述したものに限らない。
　上記実施形態では、作業機１により芝刈り作業が行われた後に、カメラ２１やマイク２２等により検出されたユーザの態様に基づき再作業判定部１１が再作業の要否を判定するようにしたが、再作業判定部の構成はこれに限らない。例えば、スピーカ２５からの音声出力によりユーザに「再作業は必要ですか？」などの質問を投げかけ、これに対するユーザの応答を音声認識して再作業の要否を判定するようにしてもよい。ユーザが誰かと会話している場合、その会話内容から再作業の要否を判定するようにしてもよい。作業機に日射センサ、温度湿度センサ、レインセンサ等の天候を検出するセンサを設け、これらセンサからの情報を勘案して再作業の要否を判定してもよい。
　作業装置としてのブレード５が損傷している場合等、再作業判定部１１が再作業の要否を判定して作業機１が再作業を行ったにもかかわらず、ユーザの作業満足度が改善されない場合がある。この場合には、作業機１自体に何らかの不具合があると判断し、作業機１が通信ユニット２８を介してディーラーへ連絡して、メンテナンスを依頼するようにしてもよい。すなわち、再作業判定部は、再作業の要否だけでなく、メンテナンス依頼の要否等を判定するようにしてもよい。作業満足度に拘らず、ユーザの所定の態様が検出されたか否かにより再作業の要否を判定するようにしてよく、したがって、満足度推定部を省略することもできる。再作業を行うときは常に作業領域ＡＲの全体で行う等、再作業の内容を固定してもよく、したがって、作業内容決定部を省略することもできる。
　上記実施形態では、再作業判定部１１により再作業が必要と判定されると、アクチュエータ制御部１５が作業用アクチュエータ２６と走行用アクチュエータ２７とを制御して再作業を行わせるようにしたが、少なくとも作業用アクチュエータを制御して再作業を行わせるように構成すればよく、アクチュエータ制御部の構成は上述したものに限らない。
　上記実施形態では、移動式の芝刈り機を作業機１として用いたが、芝刈り機以外の移動式の作業機（例えば屋内で用いられる作業機）あるいは固定式の作業機（例えば散水機）を作業機として用いることができる。したがって、作業機に設けられる走行用アクチュエータおよび作業用アクチュエータの構成は上述したものに限らない。
　すなわち、以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施形態および変形例により本発明が限定されるものではない。上記実施形態と変形例の１つまたは複数を任意に組み合わせることも可能である。
１　作業機、１１　再作業判定部、１３　満足度推定部、１４　作業内容決定部、１５　アクチュエータ制御部、２０　生体情報検出部、２１　カメラ、２２　マイク、２３　サーモグラフィ、２６　作業用アクチュエータ、２７　走行用アクチュエータ、１００、１００Ａ　作業システム

Claims (7)

  1. 　自動で作業を行う作業機を有する作業システムであって、
    　前記作業機に設けられた作業用アクチュエータと、
    　作業満足度に応じて変化するユーザの態様を検出するユーザ態様検出部と、
    　前記作業機により所定の作業が行われた後に、前記ユーザ態様検出部により検出されたユーザの態様に基づき再作業の要否を判定する再作業判定部と、
    　前記再作業判定部により再作業が必要と判定されると、再作業を行うように前記作業用アクチュエータを制御するアクチュエータ制御部と、を備えることを特徴とする作業システム。
  2. 　請求項１に記載の作業システムにおいて、
    　前記再作業判定部は、前記ユーザ態様検出部により検出されたユーザの態様に基づきユーザの作業満足度を推定する満足度推定部を有し、前記満足度推定部により推定された作業満足度が所定値以下のとき、再作業が必要であると判定することを特徴とする作業システム。
  3. 　請求項１または２に記載の作業システムにおいて、
    　前記ユーザ態様検出部により検出されたユーザの態様に基づき作業内容を決定する作業内容決定部をさらに備え、
    　前記アクチュエータ制御部は、前記再作業判定部により再作業が必要であると判定されると、前記作業内容決定部により決定された作業内容に応じた再作業を行うように前記作業用アクチュエータを制御することを特徴とする作業システム。
  4. 　請求項１～３のいずれか１項に記載の作業システムにおいて、
    　前記ユーザ態様検出部は、前記作業機に設けられた撮像装置、集音装置および撮温装置の少なくとも１つを有することを特徴とする作業システム。
  5. 　請求項１～４のいずれか１項に記載の作業システムにおいて、
    　前記作業機に設けられた走行用アクチュエータをさらに備え、
    　前記アクチュエータ制御部は、前記再作業判定部により再作業が必要であると判定されると、前記作業機が走行しながら再作業を行うように前記作業用アクチュエータと前記走行用アクチュエータとを制御することを特徴とする作業システム。
  6. 　請求項５に記載の作業システムにおいて、
    　前記作業機は、作業領域を自律走行しながら芝刈り作業を行う芝刈り機であることを特徴とする作業システム。
  7. 　自動で作業を行う作業機を用いて作業を行う作業方法であって、
    　作業満足度に応じて変化するユーザの態様を検出し、
    　検出されたユーザの態様に基づき、前記作業機により所定の作業が行われた後の再作業の要否を判定し、
    　再作業が必要と判定されると、再作業を行うように前記作業機に設けられた作業用アクチュエータを制御することを含むことを特徴とする作業方法。
PCT/JP2017/044775 2016-12-27 2017-12-13 作業システムおよび作業方法 WO2018123599A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/473,301 US11209814B2 (en) 2016-12-27 2017-12-13 Working system and working method
EP17886472.4A EP3549422B1 (en) 2016-12-27 2017-12-13 Work system and work method
CN201780079117.5A CN110087450A (zh) 2016-12-27 2017-12-13 工作***以及工作方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016253720A JP6681326B2 (ja) 2016-12-27 2016-12-27 作業システムおよび作業方法
JP2016-253720 2016-12-27

Publications (1)

Publication Number Publication Date
WO2018123599A1 true WO2018123599A1 (ja) 2018-07-05

Family

ID=62707279

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/044775 WO2018123599A1 (ja) 2016-12-27 2017-12-13 作業システムおよび作業方法

Country Status (5)

Country Link
US (1) US11209814B2 (ja)
EP (1) EP3549422B1 (ja)
JP (1) JP6681326B2 (ja)
CN (1) CN110087450A (ja)
WO (1) WO2018123599A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021192259A1 (ja) * 2020-03-27 2021-09-30 本田技研工業株式会社 作業管理装置、作業管理プログラム及び作業管理方法
JP7288417B2 (ja) * 2020-03-31 2023-06-07 本田技研工業株式会社 自律作業システム、自律作業設定方法、およびプログラム
JP2022155099A (ja) 2021-03-30 2022-10-13 本田技研工業株式会社 作業機システム
EP4165973A1 (en) * 2021-10-12 2023-04-19 Iseki & Co., Ltd. Work management system for work vehicle
WO2023181188A1 (ja) * 2022-03-23 2023-09-28 本田技研工業株式会社 自律芝刈り機

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003310026A (ja) * 2002-04-22 2003-11-05 Fuji Heavy Ind Ltd 草刈り作業車
JP2006048472A (ja) * 2004-08-06 2006-02-16 Sharp Corp 自走式移動車
JP2016095661A (ja) * 2014-11-13 2016-05-26 ヤンマー株式会社 無人作業システム
JP2016148937A (ja) 2015-02-10 2016-08-18 本田技研工業株式会社 自律走行作業車の制御装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61282897A (ja) * 1985-06-07 1986-12-13 井関農機株式会社 音声制御装置における音声命令の確認装置
JPH10289006A (ja) * 1997-04-11 1998-10-27 Yamaha Motor Co Ltd 疑似感情を用いた制御対象の制御方法
JP2001277163A (ja) 2000-04-03 2001-10-09 Sony Corp ロボットの制御装置及び制御方法
US7429843B2 (en) * 2001-06-12 2008-09-30 Irobot Corporation Method and system for multi-mode coverage for an autonomous robot
US8706297B2 (en) * 2009-06-18 2014-04-22 Michael Todd Letsky Method for establishing a desired area of confinement for an autonomous robot and autonomous robot implementing a control system for executing the same
CN102811604B (zh) * 2010-03-17 2016-03-30 胡斯华纳有限公司 用于将机器人园林工具引导至预定位置的方法和***
IT1401368B1 (it) * 2010-07-28 2013-07-18 Active Srl Metodo e sistema per il controllo di un dispositivo robotizzato semovente
US9405294B2 (en) * 2010-10-01 2016-08-02 Husqvarna Ab Method and system for guiding a robotic garden tool
US9471063B2 (en) * 2011-08-11 2016-10-18 Chien Ouyang Robotic lawn mower with network sensors
DE102011082416A1 (de) * 2011-09-09 2013-03-14 Robert Bosch Gmbh Autonomes Arbeitsgerät
US8869115B2 (en) * 2011-11-23 2014-10-21 General Electric Company Systems and methods for emotive software usability
DE102012109004A1 (de) * 2012-09-24 2014-03-27 RobArt GmbH Roboter und Verfahren zur autonomen Inspektion oder Bearbeitung von Bodenflächen
JP6240384B2 (ja) * 2012-11-29 2017-11-29 ヤンマー株式会社 自律走行作業システム
CN103891464B (zh) * 2012-12-28 2016-08-17 苏州宝时得电动工具有限公司 自动割草***
US9241440B2 (en) * 2013-03-01 2016-01-26 Cnh Industrial Canada Ltd. Control system for a disc cutterbar using stubble cut quality feedback
US20150314454A1 (en) * 2013-03-15 2015-11-05 JIBO, Inc. Apparatus and methods for providing a persistent companion device
EP2884364B1 (en) * 2013-12-12 2018-09-26 Hexagon Technology Center GmbH Autonomous gardening vehicle with camera
US9510505B2 (en) * 2014-10-10 2016-12-06 Irobot Corporation Autonomous robot localization
US9516806B2 (en) * 2014-10-10 2016-12-13 Irobot Corporation Robotic lawn mowing boundary determination
US9538702B2 (en) * 2014-12-22 2017-01-10 Irobot Corporation Robotic mowing of separated lawn areas
US10034421B2 (en) * 2015-07-24 2018-07-31 Irobot Corporation Controlling robotic lawnmowers
JP6067157B2 (ja) * 2016-02-09 2017-01-25 小橋工業株式会社 リモコンホルダ
CN106092091B (zh) * 2016-08-10 2019-07-02 京东方科技集团股份有限公司 电子机器设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003310026A (ja) * 2002-04-22 2003-11-05 Fuji Heavy Ind Ltd 草刈り作業車
JP2006048472A (ja) * 2004-08-06 2006-02-16 Sharp Corp 自走式移動車
JP2016095661A (ja) * 2014-11-13 2016-05-26 ヤンマー株式会社 無人作業システム
JP2016148937A (ja) 2015-02-10 2016-08-18 本田技研工業株式会社 自律走行作業車の制御装置

Also Published As

Publication number Publication date
US20200150647A1 (en) 2020-05-14
JP6681326B2 (ja) 2020-04-15
CN110087450A (zh) 2019-08-02
US11209814B2 (en) 2021-12-28
EP3549422A1 (en) 2019-10-09
EP3549422A4 (en) 2020-01-01
JP2018106527A (ja) 2018-07-05
EP3549422B1 (en) 2021-07-21

Similar Documents

Publication Publication Date Title
WO2018123599A1 (ja) 作業システムおよび作業方法
US10627822B2 (en) Moving robot and control method thereof
WO2018123598A1 (ja) 感情改善装置および感情改善方法
US20170374277A1 (en) Image pickup apparatus, image pickup method, and recording medium for imaging plural subjects or a single subject
EP3238523A1 (en) Moving robot and control method thereof
CN105823478A (zh) 一种自主避障导航信息共享和使用方法
CN105058389A (zh) 一种机器人***、机器人控制方法及机器人
JP2004299025A (ja) 移動ロボット制御装置、移動ロボット制御方法及び移動ロボット制御プログラム
JPWO2020110247A1 (ja) 制御システム、制御装置、自律作業機、制御装置の動作方法、自律作業機の制御方法及びプログラム
CN105406556B (zh) 一种辅助设备充电***及方法
CN108027609A (zh) 管家机器人及控制方法
US20190039750A1 (en) Aerial vehicle charging method and device
CN204423154U (zh) 一种基于自主导航的自动充电玩具机器人
CN114937258B (zh) 割草机器人的控制方法、割草机器人以及计算机存储介质
US20180329424A1 (en) Portable mobile robot and operation thereof
US11835957B2 (en) Self-propelled device system and boundary wire break detection method thereof
JP2017004158A (ja) 自律走行装置
WO2020008754A1 (ja) 情報処理装置、最適時間推定方法、自己位置推定方法及びプログラムを記録した記録媒体
US20220137631A1 (en) Autonomous work machine, control device, autonomous work machine control method, control device operation method, and storage medium
WO2019024010A1 (zh) 一种图像处理方法、***以及智能导盲装置
CN110687922B (zh) 一种无人机的视觉跟踪方法及具有视觉跟踪功能的无人机
KR101762236B1 (ko) 주행 장치 및 주행 장치의 주행 제어 시스템
WO2020105101A1 (ja) 自律走行作業機の制御装置
KR20170088012A (ko) 초음파 센서를 이용한 청소 로봇의 청소 방법
US20210263529A1 (en) Autonomous work machine, control method of autonomous work machine, and storage medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17886472

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017886472

Country of ref document: EP

Effective date: 20190703