WO2021241487A1 - タイミング予測方法、タイミング予測装置、タイミング予測システム、プログラム及び建設機械システム - Google Patents

タイミング予測方法、タイミング予測装置、タイミング予測システム、プログラム及び建設機械システム Download PDF

Info

Publication number
WO2021241487A1
WO2021241487A1 PCT/JP2021/019585 JP2021019585W WO2021241487A1 WO 2021241487 A1 WO2021241487 A1 WO 2021241487A1 JP 2021019585 W JP2021019585 W JP 2021019585W WO 2021241487 A1 WO2021241487 A1 WO 2021241487A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion
data
primitive
unit
timing
Prior art date
Application number
PCT/JP2021/019585
Other languages
English (en)
French (fr)
Inventor
和則 大野
健斗 山田
龍之介 濱田
Original Assignee
国立大学法人東北大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人東北大学 filed Critical 国立大学法人東北大学
Priority to JP2022527021A priority Critical patent/JPWO2021241487A1/ja
Priority to US17/998,986 priority patent/US20230213908A1/en
Publication of WO2021241487A1 publication Critical patent/WO2021241487A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2616—Earth moving, work machine

Definitions

  • the present invention relates to timing prediction methods, timing prediction devices, timing prediction systems, programs and construction machinery systems. This application claims priority based on Japanese Patent Application No. 2020-090968 filed in Japan on May 25, 2020, the contents of which are incorporated herein by reference.
  • a timing prediction method may acquire motion data for a plurality of locations in an observed object that performs a predetermined motion motion.
  • feature data may be generated by frequency analysis of the acquired motion data.
  • the generated feature amount data may be segmented and a transition sequence of primitive motion may be extracted.
  • the timing prediction method is determined based on the extracted transition sequence and the motion model obtained by learning the transition sequence of the primitive motion obtained by segmenting the motion state of the teaching object performing the motion motion. By analyzing the appearance frequency of the primitive motion in the motion motion and extracting the pattern of the primitive motion, the end timing of the predetermined motion motion may be predicted.
  • the timing prediction method divides the predetermined motion motion performed by the observed object into a plurality of motions, and based on the extracted transition sequence and the motion model for each segmented motion, the primitive motion in the motion.
  • the frequency of appearance of the above is analyzed to extract the pattern of the primitive movement, the extracted pattern is evaluated stepwise to calculate the certainty, and the end of the predetermined movement according to the calculated certainty. You may predict the timing.
  • the timing prediction method selects a frequency band including a frequency component generated by the predetermined motion operation by frequency analysis of the acquired motion data, and generates feature amount data in the selected frequency band. You can do it.
  • the hidden Markov model is applied to the motion model, and the feature quantity data may be segmented and the transition sequence of the primitive motion may be extracted by the calculation process to which the hidden Markov model is applied. ..
  • the motion data may include angular velocity data and acceleration data.
  • the timing prediction device may include a motion model storage unit that stores the motion model obtained by learning the transition sequence of the primitive motion that can be obtained by segmenting the motion state of the teaching object that performs the motion motion.
  • the timing prediction device may include a motion data acquisition unit that acquires motion data for a plurality of locations in an observation object that performs a predetermined motion motion.
  • the timing prediction device may include a feature amount generation unit that generates feature amount data by frequency-analyzing the motion data acquired by the motion data acquisition unit.
  • the timing prediction device may include a motion analysis unit that segments the feature data generated by the feature generation unit and extracts a transition sequence of primitive motions.
  • the timing prediction device analyzes the appearance frequency of the primitive motion in the predetermined motion motion based on the transition sequence extracted by the motion analysis unit and the motion model stored in the motion model storage unit.
  • a prediction unit for predicting the end timing of the predetermined motion motion may be provided by extracting the pattern of the primitive motion.
  • the timing prediction system may include a motion measurement device that measures motion data for a plurality of locations in an observation object that performs a predetermined motion motion, and a timing prediction device.
  • the timing prediction device may include a motion model storage unit that stores a motion model obtained by learning a transition sequence of a primitive motion that can be obtained by segmenting the motion state of a teaching object that performs a motion motion.
  • the timing prediction device may include a motion data acquisition unit that acquires the motion data from the motion measurement device.
  • the timing prediction device may include a feature amount generation unit that generates feature amount data by frequency-analyzing the motion data acquired by the motion data acquisition unit.
  • the timing prediction device may include a motion analysis unit that segments the feature data generated by the feature generation unit and extracts a transition sequence of primitive motions.
  • the timing prediction device analyzes the appearance frequency of the primitive motion in the predetermined motion motion based on the transition sequence extracted by the motion analysis unit and the motion model stored in the motion model storage unit.
  • a prediction unit for predicting the end timing of the predetermined motion motion may be provided by extracting the pattern of the primitive motion.
  • the program may be processed by a computer including a motion model storage unit that stores a motion model obtained by learning a transition sequence of a primitive motion that can be obtained by segmenting the motion state of a teaching object that performs a motion motion. ..
  • the computer may execute a process of acquiring motion data for a plurality of locations in an observation object that performs a predetermined motion motion.
  • the computer may execute a process of generating feature data by frequency analysis of the acquired motion data.
  • the computer may execute a process of segmenting the generated feature amount data and extracting a transition sequence of primitive operations.
  • the computer analyzes the appearance frequency of the primitive motion in the predetermined motion motion based on the extracted transition sequence and the motion model stored in the motion model storage unit, and obtains the primitive motion pattern. By extracting, a process of predicting the end timing of the predetermined exercise motion may be executed.
  • the construction machine system may include a motion measuring device for measuring motion data of a plurality of locations in a construction machine performing a predetermined motion motion, and a timing prediction device.
  • the timing prediction device may include a motion model storage unit that stores a motion model obtained by learning a transition sequence of a primitive motion that can be obtained by segmenting a motion state of a teaching construction machine that performs a motion motion.
  • the timing prediction device may include a motion data acquisition unit that acquires the motion data from the motion measurement device.
  • the timing prediction device may include a feature amount generation unit that generates feature amount data by frequency-analyzing the motion data acquired by the motion data acquisition unit.
  • the timing prediction device may include a motion analysis unit that segments the feature data generated by the feature generation unit and extracts a transition sequence of primitive motions.
  • the timing prediction device analyzes the appearance frequency of the primitive motion in the predetermined motion motion based on the transition sequence extracted by the motion analysis unit and the motion model stored in the motion model storage unit.
  • a prediction unit for predicting the end timing of the predetermined motion motion may be provided by extracting the pattern of the primitive motion.
  • Timing prediction system 100 schematically. It is a figure which shows an example of the schematic functional structure of a timing prediction system 100. It is a flowchart which shows the example of the outline procedure of the learning process of the operation model executed by the timing prediction system 100. It is the first graph which shows the example of the motion data recorded by the recording unit 143 of a motion measuring apparatus 140. The graph is a graph of acceleration data on the x-axis with respect to the elapsed time for each of the motion measuring device 140A, the motion measuring device 140B, and the motion measuring device 140C. 2 is a second graph showing an example of motion data recorded by the recording unit 143 of the motion measuring device 140.
  • the graph is a graph of angular velocity data around the yaw angle with respect to the elapsed time for each of the motion measuring device 140A, the motion measuring device 140B, and the motion measuring device 140C. It is a graph which shows the example of the frequency intensity obtained by performing the fast Fourier transform process by the feature quantity generation part 114. It is a graph which shows the example of the transition of the primitive operation in the operation model stored in the operation model storage part 116. It is a flowchart which shows the example of the outline procedure of the timing prediction processing in the actual operation, which is executed by the timing prediction system 100. It is a graph which shows the example of the transition of the primitive motion by the motion model trained based on the momentum data for learning.
  • a flowchart illustrating an example of the flow of processing executed in the pattern acquisition processing, the certainty degree acquisition processing, and the loading timing estimation processing in the modified example.
  • the backhoe operated by the passenger performs leveling work such as leveling the feet of the own machine and sorting out the earth and sand, scoops the earth and sand, and loads the scooped earth and sand into a dump truck close to the own machine. It is a construction machine that performs a series of work up to.
  • the end timing of the motion motion (hereinafter referred to as the preparatory work motion) of the backhoe from the time of scooping the earth and sand after the leveling work to the time when the preparation for loading the scooped earth and sand into the dump truck is completed.
  • a timing prediction method, a timing prediction device, a timing prediction system, a program, and a construction machine system will be described.
  • FIG. 1 is a diagram schematically showing an example of a timing prediction system 100.
  • the timing prediction system 100 is a system that predicts the end timing of the preparatory work movement in the backhoe 300 that performs various movement movements.
  • the backhoe 300 is equipped with a backhoe attachment 320 on the main body 310.
  • the backhoe 300 scoops up an object to be scooped such as earth and sand while pulling the bucket 324 attached to the tip of the backhoe attachment 320 toward the main body 310, and loads the scooped object into a dump truck (not shown).
  • the main body 310 is a lower traveling body 311 with an upper swivel body 312 attached.
  • the lower traveling body 311 is a lower mechanism of the backhoe 300 having a traveling function for moving the own machine and a function for supporting the upper turning body 312.
  • the upper swivel body 312 is a part of the backhoe 300 composed of various mechanisms including the swivel frame 312A and the cab 312B mounted on the swivel frame 312A.
  • the upper swivel body 312 is swiveled by the swivel device.
  • the swivel frame 312A is a frame on which various devices constituting the upper swivel body 312 are mounted.
  • the cab 312B is a cockpit installed in the upper swivel body 312.
  • the backhoe attachment 320 includes a boom 321 and an arm 322, a bucket link 323 and a bucket 324, and is mounted on the main body 310.
  • the boom 321 is a support column attached to the front portion of the swivel frame 312A with a pin to support the arm 322, the bucket 324, and the like.
  • the arm 322 is an arm that connects the bucket 324 and the tip of the boom 321.
  • the bucket link 323 is a link mechanism for operating the bucket 324 with the bucket cylinder 325.
  • the bucket cylinder 325 is a hydraulic cylinder for operating the bucket 324.
  • the bucket 324 is a container provided with a cutting edge or the like for directly excavating the construction target or scooping the scooping target.
  • the timing prediction system 100 includes a timing prediction device 110, a motion measurement device 140A, a motion measurement device 140B, a motion measurement device 140C, and a foot switch 150.
  • the motion measuring device 140A, the motion measuring device 140B, and the motion measuring device 140C are devices for measuring the amount of exercise and time.
  • the motion measuring device 140 detects, for example, the rotational motion of each of the three orthogonal axes and the translational motion of each of the three orthogonal axes, and measures the angular velocity from the rotational motion and the acceleration from the translational motion.
  • the motion measuring device 140 measures the inertial momentum of ⁇ 250 [deg / s] as the measurement range of the angular velocity and ⁇ 16 [G] as the measurement range of the acceleration in the measurement band 200 [Hz].
  • the time measured by the motion measuring device 140 may be the elapsed time from the start of measurement or the time at the time of measurement.
  • the motion measuring device 140 outputs angular velocity data, acceleration data, and motion data associated with time information for each of the three axes.
  • the motion measuring device 140 includes, as a sensor, a gyroscope (gyro sensor) for measuring the angular velocity and an acceleration sensor for measuring the acceleration.
  • a gyroscope gyro sensor
  • an acceleration sensor for measuring the acceleration.
  • An example of the motion measuring device 140 is an inertial measurement unit (IMU).
  • IMU inertial measurement unit
  • the type, number of dimensions, measurement band, or measurement range of the momentum measured by the motion measuring device 140 is not limited to the above example. These specifications may be appropriately determined according to the teaching object, the observation object, the teaching construction machine, the motion operation of the construction machine, the cost, and the like.
  • the motion measuring device 140 measures the angular velocity and the acceleration of each of the three orthogonal axes as the momentum.
  • the motion measuring device 140A is provided on the top surface of the cab 312B and is communicated with the timing prediction device 110. When the motion measuring device 140A detects the momentum such as when the upper swing body 312 turns, the motion measuring device 140A records the detected motion data in its own device. Alternatively, the motion measuring device 140A transmits the detected motion data to the timing prediction device 110.
  • the motion measuring device 140B is provided on the side surface of the boom 321 and is communicated with the timing prediction device 110. When the motion measuring device 140B detects the amount of motion such as when the boom 321 rises or falls, the motion measuring device 140B records the detected motion data in its own device. Alternatively, the motion measuring device 140B transmits the detected motion data to the timing prediction device 110.
  • the motion measuring device 140C is provided on the side surface of the arm 322 and is communicated with the timing prediction device 110. When the motion measuring device 140C detects the amount of motion such as when the arm 322 is pushed out or pulled back, the motion measuring device 140C records the detected motion data in its own device. Alternatively, the motion measuring device 140C transmits the detected motion data to the timing prediction device 110.
  • the foot switch 150 is provided on the floor of the cab 312B and is communicated with the timing prediction device 110.
  • the foot switch 150 outputs a switch signal (for example, a pulse signal) indicating the pressed timing by a pressing operation by the foot of the passenger of the backhoe 300.
  • the foot switch 150 is an example of a switch, and instead of the foot switch 150, a button switch that outputs a switch signal by operation by the passenger's hand or finger may be provided near the control stick of the cab 312B.
  • the posture of the backhoe 300 changes when the upper swing body 312, the boom 321 and the arm 322 operate when excavating or loading earth and sand.
  • the timing prediction device 110 predicts the end timing of the preparatory work operation of the backhoe 300 by analyzing the motion data obtained from the motion measurement device 140 with the change in the posture of the backhoe 300 in time series.
  • the timing prediction device 110 may be provided at a location distant from the backhoe 300 or may be mounted on the backhoe 300 within a range in which communication with the motion measuring device 140 and the foot switch 150 is possible.
  • the backhoe 300 is an example of a teaching object, an observation object, a teaching construction machine, and a construction machine.
  • Other specific examples of teaching objects, observation objects, teaching construction machinery and construction machinery are loading shovels.
  • the backhoe 300 is a type of excavator that moves the bucket 324 toward the main body 310 to perform scooping work, while the loading shovel is a type that holds the bucket forward and moves it in the pushing direction to perform scooping work. It is a shovel.
  • the excavator may be of a type in which the movement of the bucket is different from that of the backhoe 300.
  • the object or construction machine including excavation machine
  • it is used as a teaching object, an observation object, a construction machine, and a teaching construction machine.
  • FIG. 2 is a diagram showing an example of a schematic functional configuration of the timing prediction system 100.
  • the timing prediction system 100 includes a timing prediction device 110, a motion measurement device 140, and a foot switch 150.
  • the timing prediction system 100 can operate by switching between the learning mode and the actual operation mode.
  • the learning mode is an operation mode in which the timing prediction device 110 is made to learn an operation model described later by using a teaching object or a teaching construction machine. In the learning mode, the timing prediction device 110 executes the learning process of the motion model.
  • the actual operation mode is an operation mode for predicting the end timing of the preparatory work operation using an observation object or a construction machine. In the actual operation mode, the timing prediction device 110 executes the timing prediction process in the actual operation.
  • the timing prediction device 110 includes a switch signal reception unit 111, a timing designation unit 112, a motion data acquisition unit 113, a feature amount generation unit 114, an operation analysis unit 115, an operation model storage unit 116, and a prediction unit 117. And an output unit 118.
  • the timing prediction device 110 is a main body for selecting whether to operate the timing prediction system 100 in the learning mode or the actual operation mode, and controlling the entire system by the selected operation mode.
  • a control unit may be provided.
  • the main body control unit has an interface for switching between a learning mode and an actual operation mode by an operation of an operator from the outside or a remote control by an information processing device.
  • the switch signal receiving unit 111 When the switch signal receiving unit 111 receives the switch signal transmitted from the foot switch 150, the switch signal receiving unit 111 outputs switch information indicating that the switch signal has been received to the timing specifying unit 112.
  • the timing designation unit 112 When the timing designation unit 112 inputs the switch information from the switch signal reception unit 111, the timing designation unit 112 outputs the timing designation signal to the motion measuring device 140. Further, the timing designation unit 112 outputs a measurement start instruction signal indicating a measurement start instruction to the motion measurement device 140 according to the setting of the main body control unit to any operation mode.
  • the motion data acquisition unit 113 acquires motion data from the motion measurement device 140, and outputs the acquired motion data to the feature amount generation unit 114.
  • the motion data acquisition unit 113 acquires motion data for each of the cab 312B, boom 321 and arm 322 of the backhoe 300 that performs motion motion, and outputs the acquired motion data to the feature amount generation unit 114. do.
  • the feature amount generation unit 114 generates time-series feature amount data by frequency-analyzing the motion data input from the motion data acquisition unit 113, and outputs the generated feature amount data to the motion analysis unit 115.
  • the motion analysis unit 115 segments the time-series feature data input from the feature amount generation unit 114, and extracts a transition sequence (also referred to as a state transition sequence) of the primitive motion. Primitive behavior is behavior as an element.
  • the motion analysis unit 115 segments feature data based on, for example, a hidden Markov model (HMM: Hidden Markov Model), and extracts a transition sequence of primitive motion.
  • HMM Hidden Markov Model
  • the hidden Markov model is one of the methods for segmenting states, but in the basic hidden Markov model, it is necessary to determine the number of states in advance.
  • the motion motion of the backhoe 300 in the present embodiment may differ depending on the passenger of the backhoe 300, such as how to level the feet and how to scoop the earth and sand.
  • NPHMM Non-Parametric Bays Hidden Markov Model
  • BP-HMM Beta-
  • Process Hidden Markov Model may be applied to the motion analysis unit 115.
  • a hierarchical Dirichlet process HMM Hidden Markov Model
  • a convolutional neural network CNN may be applied to the motion analysis unit 115 to segment the feature quantity data of the time series and extract the transition sequence of the primitive motion.
  • the motion analysis unit 115 inputs the transition sequence of the primitive motion into the motion model stored in the motion model storage unit 116, and trains the motion model.
  • the motion analysis unit 115 outputs the transition sequence of the primitive motion to the prediction unit 117.
  • the motion analysis unit 115 stores the learning result, merges the feature amount data input from the feature amount generation unit 114 with the stored learning result, performs analysis, and extracts a transition sequence of the primitive motion. ..
  • the motion model storage unit 116 stores a motion model obtained by learning a transition sequence of a primitive motion that can segment the motion state of a backhoe 300 (an example of a teaching object or a teaching construction machine) that performs a motion motion.
  • the prediction unit 117 appears of a primitive operation in the preparatory work operation of the backhoe 300 based on the transition sequence input from the operation analysis unit 115 and the operation model stored in the operation model storage unit 116. Analyze the frequency to extract patterns of primitive movements. Then, the prediction unit 117 predicts the end timing of the preparatory work operation based on the extracted primitive operation pattern. The prediction unit 117 outputs timing information indicating the predicted end timing to the output unit 118.
  • the timing information includes, for example, information on the advance time and certainty from the predicted end timing.
  • the output unit 118 outputs the timing information input from the prediction unit 117 to the outside.
  • the motion measuring device 140 includes a measuring unit 141, a control unit 142, and a recording unit 143.
  • the measuring unit 141 measures the momentum related to the own device.
  • the control unit 142 controls the entire motion measuring device 140. Further, the control unit 142 has a timekeeping function, measures the elapsed time from the time when the measurement start instruction signal is received from the timing designation unit 112 of the timing prediction device 110, and acquires the time information.
  • the control unit 142 may have a clock function, clock the time, and acquire time information.
  • the motion measuring device 140 records the motion data in which the momentum measured by the measuring unit 141 and the time information obtained by timing are related to the recording unit 143 under the control of the control unit 142. Further, when the motion measuring device 140 receives the timing designation signal from the timing designation unit 112 of the timing prediction device 110, the control unit 142 records the timing at which the timing designation signal is received in the recording unit 143.
  • the recording unit 143 is configured by, for example, a semiconductor storage device.
  • the semiconductor storage device is, for example, a non-volatile memory capable of rewriting data.
  • the motion measuring device 140 In the actual operation mode, the motion measuring device 140 outputs the motion data in which the momentum measured by the measuring unit 141 and the time information obtained by timekeeping are related to the timing prediction device 110 under the control of the control unit 142. do.
  • timing prediction system 100 Next, the operation of the timing prediction system 100 according to the present embodiment will be described separately for the learning process of the operation model in the learning mode and the timing prediction process in the actual operation mode.
  • the learning process of the motion model will be described.
  • the backhoe 300 in the description of this learning process is an example of a teaching object or a teaching construction machine.
  • the passenger of the backhoe 300 performs a teaching work (maneuvering for teaching) for teaching the same motion motion as the actual work.
  • the main body control unit of the timing prediction device 110 When the power of the timing prediction device 110 and the motion measurement device 140 is turned on, the main body control unit of the timing prediction device 110 initializes the timing prediction device 110, and the control unit 142 of the motion measurement device 140 initializes the motion measurement device 140. do.
  • the main body control unit When the main body control unit is set to the learning mode by an external operation, the main body control unit executes the learning process of the motion model in cooperation with the control unit 142.
  • FIG. 3 is a flowchart showing an example of a schematic procedure of the learning process of the motion model executed by the timing prediction system 100.
  • the passenger of the backhoe 300 has a leveling work for leveling the feet of the lower traveling body 311 and a preparatory work for scooping the earth and sand with the bucket 324 and taking a posture to start loading on the dump truck. Perform a signal work to notify the completion of the horn with a horn.
  • the passenger honks when the backhoe 300 begins to scoop the earth and sand (denoted as "S") and when the backhoe 300 begins to load the earth and sand on the dump truck (denoted as "L”).
  • S scoop the earth and sand
  • L the backhoe 300 begins to load the earth and sand on the dump truck
  • the exercise measuring device 140 measures the momentum related to the own device and also measures the time (for example, the elapsed time from the time when the measurement start instruction signal is received), and relates the momentum and the time information. Record the attached exercise data in your own device. At that time, when the motion measuring device 140 inputs the timing designation signal output from the timing prediction device 110 when the foot switch 150 is pressed, the motion measuring device 140 also records the timing when the timing designation signal is input in its own device ( Step S101).
  • control unit 142 of the motion measuring device 140 records the motion data in which the momentum measured by the measuring unit 141 and the timed time information are related to the recording unit 143.
  • the foot switch 150 when the passenger presses the foot switch 150 at the timings of S, L, and H, the foot switch 150 outputs a switch signal.
  • the switch signal receiving unit 111 of the timing prediction device 110 receives the switch signal from the foot switch 150
  • the switch signal receiving unit 111 outputs switch information indicating that the switch signal has been received to the timing specifying unit 112.
  • the timing designation unit 112 inputs the switch information from the switch signal reception unit 111
  • the timing designation unit 112 outputs the timing designation signal to the motion measuring device 140.
  • the control unit 142 records the timing at which the timing designation signal is received in the recording unit 143.
  • the exercise data recorded in the recording unit 143 can be maintained after the teaching work. Specifically, for example, the state of the operation of the entire backhoe 300 during the teaching work is photographed (including recording) with a video camera, and the scene corresponding to the timing of S, L, and H in the photographed video and the recorded sound is captured. It is also possible to confirm and correct the matching between the time and the designated timings of S, L, and H by the foot switch 150, and label the exercise data to indicate S, L, and H. These maintenances may be performed manually by an operator, or may be automatically performed by causing a computer to perform image recognition processing and voice recognition processing of captured video and recorded voice.
  • the timing recording process itself to the recording unit 143 by pressing the foot switch 150 is omitted, and the S, L, and H are labeled by the captured video and recorded audio obtained by the above video camera. May be done.
  • FIGS. 4A and 4B are graphs showing an example of motion data recorded by the recording unit 143 of the motion measuring device 140.
  • FIG. 4A is a graph of x-axis acceleration data [m / s 2 ] with respect to the elapsed time [s] for each of the motion measuring device 140A, the motion measuring device 140B, and the motion measuring device 140C.
  • FIG. 4B is a graph of angular velocity data [deg / s] around the yaw angle with respect to the elapsed time [s] for each of the motion measuring device 140A, the motion measuring device 140B, and the motion measuring device 140C.
  • the elapsed time is the elapsed time after the start of the teaching work.
  • FIGS. 4A the elapsed time after the start of the teaching work.
  • the uppermost stage “A” corresponds to the motion measuring device 140A
  • the middle row “B” corresponds to the motion measuring device 140B
  • the lowermost row “C” corresponds to the motion data of the motion measuring device 140C.
  • the straight line (dashed-dotted line) perpendicular to the time axis (horizontal axis) shown in each graph of FIGS. 4A and 4B is when the motion measuring device 140 receives the timing designation signal, that is, the foot switch 150 is pressed. Shows the timing of the time. Further, L, S and H written in the vicinity of each straight line represent labels given by maintenance.
  • the control unit 142 of the exercise measuring device 140 controls to output the exercise data recorded in the recording unit 143.
  • the motion data acquisition unit 113 of the timing prediction device 110 acquires motion data from the motion measurement device 140
  • the acquired motion data is output to the feature amount generation unit 114.
  • the feature amount generation unit 114 frequency-analyzes the motion data input from the motion data acquisition unit 113 to generate time-series feature amount data, and outputs the generated feature amount data to the motion analysis unit 115 (step S102). ..
  • FIG. 5 is a graph showing an example of the frequency intensity obtained by the feature amount generation unit 114 by executing the fast Fourier transform process.
  • the graph of FIG. 5 shows three frequency components obtained by performing a high-speed Fourier transform process on the x-axis acceleration data measured by the motion measuring device 140B provided on the boom 321 of the backhoe 300 by the feature quantity generator 114.
  • the horizontal axis is the elapsed time [s] after the start of the teaching work.
  • the dotted line is a graph of frequency intensity when the frequency component is 0 [Hz].
  • the broken line is a graph of frequency intensity when the frequency component is 1.5625 [Hz].
  • the solid line is a graph of frequency intensity when the frequency component is 3.1250 [Hz].
  • the movement of the cab 312B, the boom 321 and the arm 322 of the backhoe 300 is stopped during the period of the elapsed time of about 160 [s] to about 175 [s].
  • a gravity component appears in the frequency intensity of the frequency components of 0 [Hz] and 1.5625 [Hz].
  • the frequency intensity due to this gravity component changes depending on the direction of the boom 321 and the arm 322. That is, the feature amount generation unit 114 detects the feature amount of different acceleration depending on the posture of the backhoe 300 in the stationary state. This is not desirable because the rest state may be segmented into a plurality of primitive motions in the segmentation process of the feature amount data by the motion analysis unit 115, which is a post-processing.
  • a superposed component may appear in the frequency intensity depending on the frequency component.
  • the feature amount generation unit 114 accelerates the frequency intensity of the frequency component (3.1250 [Hz] in the example of FIG. 5) at which the frequency intensity is the smallest in the stationary state of the backhoe 300. It is extracted as the feature amount data of. Further, the feature amount generation unit 114 compares the frequency components of the backhoe 300 at rest and during operation, selects a frequency band including the frequency components generated by the preparatory work operation of the backhoe 300, and selects the selected frequency band. The frequency intensity is extracted in.
  • the feature amount generation unit 114 selects a frequency band including a frequency component in which the features based on the motion motion of the cab 312B, the boom 321 and the arm 322 are more than the features based on the vibration component peculiar to the back hoe 300. Extract the frequency intensity in the selected frequency band.
  • the motion analysis unit 115 segments the feature amount data, extracts a transition sequence of primitive motion, and uses the extracted transition sequence to store an motion model.
  • the operation model stored in 116 is trained (step S103).
  • the motion analysis unit 115 segmentes time-series feature data based on, for example, NPHMM, extracts a transition sequence of primitive motion, and trains a motion model using the extracted transition sequence.
  • the turning motion of the backhoe 300 is sandwiched between the action of scooping the earth and sand of the backhoe 300 and the action of loading the scooped earth and sand onto the dump truck, and this turning motion can be a guide for switching the work. Therefore, in order to use the change in turning speed for timing prediction, the transition trains are rearranged and used using the feature amount data based on the angular velocity around the yaw angle measured by the motion measuring device 140A installed on the top surface of the cab 312B as a key. You may.
  • FIG. 6 is a graph showing an example of the transition of the primitive operation in the operation model stored in the operation model storage unit 116.
  • the graph of FIG. 6 shows a state transition in which the motion of the backhoe 300 is segmented into 18 states.
  • the horizontal axis is the elapsed time [s] after the start of the teaching work, and the vertical axis is the ID (identification number) indicating the primitive operation.
  • the straight line (dashed-dotted line) perpendicular to the time axis (horizontal axis) shown in the graph of FIG. 6 indicates the timing when the motion measuring device 140 receives the timing designation signal, that is, when the foot switch 150 is pressed. show. Further, L, S and H written in the vicinity of each straight line represent labels given by maintenance.
  • Timing prediction processing in actual operation The timing prediction processing in the actual operation of the timing prediction system 100 in which the timing prediction device 110 that has finished learning the motion model is used will be described.
  • the backhoe 300 in the description of the timing prediction process is an example of an observation object or a construction machine. The passenger of the backhoe 300 controls the actual work related to the preparatory work operation.
  • the main body control unit of the timing prediction device 110 When the power of the timing prediction device 110 and the motion measurement device 140 is turned on, the main body control unit of the timing prediction device 110 initializes the timing prediction device 110, and the control unit 142 of the motion measurement device 140 initializes the motion measurement device 140. do.
  • the main body control unit When the main body control unit is set to the actual operation mode by an external operation, the main body control unit executes timing prediction processing in the actual operation in cooperation with the control unit 142.
  • FIG. 7 is a flowchart showing an example of a schematic procedure of timing prediction processing in actual operation executed by the timing prediction system 100.
  • the motion measuring device 140 measures the momentum related to the own device and also measures the time (for example, the elapsed time from the time when the measurement start instruction signal is received) to measure the momentum. And the motion data associated with the time information is output to the timing prediction device 110 (step S111).
  • the motion data acquisition unit 113 of the timing prediction device 110 acquires motion data from the motion measurement device 140
  • the acquired motion data is output to the feature amount generation unit 114.
  • the feature amount generation unit 114 frequency-analyzes the motion data input from the motion data acquisition unit 113 to generate time-series feature amount data, and outputs the generated feature amount data to the motion analysis unit 115 (step S112). ..
  • the motion analysis unit 115 segments the feature amount data output by the feature amount generation unit 114, extracts a transition sequence of primitive motion, and outputs the extracted transition sequence to the prediction unit 117 (step S113).
  • the prediction unit 117 analyzes the appearance frequency of the primitive operation in the preparatory work operation of the backhoe 300 based on the transition sequence input from the operation analysis unit 115 and the operation model stored in the operation model storage unit 116. Extract primitive behavior patterns. Then, the prediction unit 117 predicts the end timing of the preparatory work operation based on the extracted primitive operation pattern, and outputs the timing information indicating the predicted end timing to the output unit 118 (step S114).
  • the process of predicting the end timing of the preparatory work operation by the prediction unit 117 will be specifically described.
  • the primitive actions contained in the transition sequence may appear in common in a series of work processes. For example, since the work of scooping the earth and sand and the work of leveling the earth and sand at the feet both include the operation of scooping up the earth and sand, the primitive movement included in the common movement appears in both work processes. Therefore, the prediction unit 117 predicts the timing at which the preparatory work operation ends by classifying the preparatory work operation into, for example, the following three stages and gradually grasping the primitive operation that characterizes the operation of each stage.
  • labels are given before, during, and after loading the soil.
  • the label may be added based on the switch signal input from the foot switch 150 pressed by the passenger of the backhoe 300 at the timing of starting loading.
  • the preparation operation of the backhoe 300 is divided into three stages of operation f 1 ⁇ operation f 3 based on the assigned labels.
  • Operation f 1 Scoop the earth and sand.
  • Operation f 2 While lifting the scooped soil, turn toward the planned loading position.
  • Operation f 3 Gradually slow down the turning speed toward the planned loading position.
  • the prediction unit 117 extracts the primitive motion q k that characterizes each motion f k from the transition sequence related to the preparatory work motion.
  • the number of actions f k in which i appears is n (f k , i), and the total number of preparatory work actions is N A.
  • the prediction unit 117 extracts a pattern S (bold body) key for specifying the end timing of the preparatory work operation by using the primitive operation q k that characterizes the operation f k of each stage of the preparatory work operation. ..
  • "(bold body)” means that the character "S" immediately before that is represented by a bold body.
  • the condition O (q k , q k + 1 ) for connecting the primitive movements in the pattern S (bold body) key may be obtained by state-analyzing the transition sequence output by the movement analysis unit 115, or by observing it. May be good.
  • the pattern S (bold body) key is expressed as the equation (4).
  • the prediction unit 117 determines the certainty pconf (k) for each step g (k).
  • the prediction unit 117 defines a stage for capturing a primitive motion in the pattern S (bold body) key using a positive integer i as follows.
  • Step g (1) q 1 is detected.
  • the output unit 118 outputs the timing information input from the prediction unit 117 to the outside (step S115).
  • the information processing device may be connected to the output unit 118, and the information processing device may be made to acquire the timing information output by the output unit 118.
  • the information processing device is, for example, a computer, a mobile information terminal, or the like. Based on the acquired timing information, the information processing device may calculate the predicted time for the preparatory work operation to end and the time until the end, and present this information to the user of the information processing device. good.
  • FIG. 8 is a graph showing an example of the transition of primitive motion by the motion model trained based on the learning momentum data.
  • This graph shows a state transition in which the motion related to the preparatory work operation of the backhoe 300 is segmented into 14 states.
  • the horizontal axis is the elapsed time [s] after the start of the teaching work, and the vertical axis is the ID (identification number) indicating the primitive operation.
  • ID identity number
  • condition O (q k , q k + 1 ) between the primitive movements q k was observed as follows.
  • FIG. 9 is a graph showing an example of the relationship between the advance time from the end timing of the preparatory work operation and the degree of certainty.
  • the horizontal axis is the advance time [s] when the end timing (at the end) is 0 (zero), and the vertical axis is the degree of certainty.
  • the pattern S (bold body) key that reflects the condition O (q k , q k + 1 ) based on the learning momentum data is the relationship between the preparatory time from the end of the preparatory work operation and the certainty as shown by the broken line in FIG. It became.
  • the timing prediction device 110 has a certainty of about 0.6 (about 60%) from about 4.5 [s] before the end to about just before the end.
  • the end time was predicted by (probability of).
  • the timing prediction device 110 has a certainty of about 0.67 (about 0.67) from about 6 [s] before the end to about 0.8 [s] before the end, based on the evaluation momentum data. 67% probability), the end time was predicted with a certainty of 1 (100% probability) from about 0.8 [s] before the end time to almost immediately before the end time.
  • motion data is acquired for three points in the back hoe 300 (observed object) for which the preparatory work operation is performed, and feature quantity data is generated by frequency analysis of the motion data.
  • feature quantity data is generated by frequency analysis of the motion data.
  • the preparatory work operation performed by the backhoe is divided into three operations, and each of the divided operations is based on the extracted transition sequence and the operation model, and the primitive operation in the operation is performed.
  • the frequency of appearance is analyzed to extract the pattern of primitive movement, the pattern is evaluated step by step to calculate the certainty, and the end timing of the preparatory work movement is predicted according to the certainty.
  • the number of divisions required for analysis for predicting the end timing of the preparatory work operation is not limited to 3. It is not necessary to classify, or the number of classifications may be determined according to the characteristic movement included in the work, the structure related to the movement of the backhoe 300, and the like.
  • a frequency band including a frequency component generated due to the preparatory work operation is selected, and feature quantity data is generated in the selected frequency band.
  • the influence of the gravity component and the natural vibration of the backhoe 300 can be eliminated or suppressed, and the frequency analysis of the momentum of the backhoe 300 can be performed accurately and with high quality.
  • the hidden Markov model is applied to the motion model, and the feature quantity data is segmented and the transition sequence of the primitive motion is extracted by the calculation process to which the hidden Markov model is applied.
  • the motion data includes the angular velocity data and the acceleration data.
  • the inertial data of the operation of the backhoe 300 can be acquired, and the characteristics of the operation can be efficiently and effectively extracted.
  • the object to be scooped up by the backhoe 300 is mainly earth and sand, but the operation of the backhoe 300, particularly the operation of the bucket 324, may be slightly different depending on the type of earth and sand to be handled. For example, when handling an object to be scooped that has a relatively large mass per unit volume or resistance to scooping, such as crushed stone, the mass per unit volume or resistance to scooping, such as wood chips, is compared.
  • the operation of the arm 322 and the bucket 324 may differ from those in the case of handling a small object to be picked up. In such a case, the motion characterized by the scooping object is segmented and extracted as a primitive motion.
  • the prediction unit 117 extracts the feature of a large (basic / principle) movement of scooping and turning the scooping object, and fine-tunes the movement according to the difference of the scooping object.
  • the analysis process may be performed so as to ignore small (auxiliary) actions.
  • the prediction unit 117 can predict the end timing of the preparatory work operation without being affected by the difference in the object to be scooped. For example, regardless of whether or not light soil is mixed in earth and sand such as gravel, and regardless of the amount of mixed light soil, the end timing of the preparatory work operation is predicted with a stable certainty. be able to.
  • the timing prediction device 110 may be mounted on a dump truck that loads earth and sand from the backhoe 300 to form a construction machinery system.
  • the cab 312B of the back ho 300 which is an example of a construction machine
  • the construction machinery system including the 110 may have the following configurations.
  • the information processing device Connect the information processing device to the output unit 118 of the timing prediction device 110.
  • An output device is connected to the information processing device. Based on the timing information acquired from the timing prediction device 110, the information processing device calculates the predicted time at which the preparatory work operation ends and the time until the end at the timing according to the certainty, and outputs the calculated time information.
  • the device may be used to present to the driver of the dump truck.
  • this construction machinery system realizes a reminder system (warning system) that notifies the driver of the dump truck of the prediction information that "loading from the backhoe 300 will start after a few seconds".
  • a display device is connected to the information processing device, and information such as texts and figures is displayed based on the calculated time information and the announcement information indicating that the loading preparation is completed. It may be displayed on the device.
  • the timing prediction device 110 may be mounted on the backhoe 300, and the information processing device and the output device may be mounted on the dump truck.
  • [Modification 3] A series of operations in which the backhoe 300 smoothes the earth and sand, scoops the earth and sand, turns and loads the earth and sand is a repetitive operation. Therefore, a series of motion data from the motion measuring device 140 is acquired by the information processing device, and the information processing device statistically analyzes and recognizes the postures of the boom 321 and the arm 322 based on the series of motion data, and recognizes the boom 321 and the arm 322. If the position of the bucket 324 is calculated based on the posture, the loading position of the bucket 324 can be predicted.
  • the motion measuring device 140 may be equipped with a GPS, and the position of the own device may be measured by having the GPS receive the positioning data from the satellite, and the measured position data may be output.
  • the position data includes, for example, latitude, longitude and altitude information.
  • the information processing apparatus may acquire the position data and calculate the position of the bucket 324 based on the position data.
  • the dump truck may also be equipped with GPS.
  • the motion measuring device 140 and the dump track measure their respective positions, and the measured position data is output to the information processing device, whereby the information processing device acquires the relative distance and direction between the bucket 324 and the dump track. be able to.
  • the information processing apparatus can estimate the state during loading on the dump truck by the backhoe 300 based on the acquired relative distance and direction. As a result, the accuracy of the end timing of the preparatory work operation can be further improved.
  • the backhoe 300 moves the dump truck to the loading position until the loading preparation is completed in the operation of leveling the earth and sand, scooping the earth and sand, and turning to complete the loading preparation. It is possible to easily stop the vehicle and realize efficient loading work.
  • the motion measuring device 140 is installed at three locations of the cab 312B, the boom 321 and the arm 322 to measure the motion of the backhoe 300, but the motion measuring device 140 is installed in this example. Not limited to.
  • the motion measuring device 140 may be installed at a location such as the outer side surface of the bucket 324 that does not interfere with excavation or scooping. Further, the motion measuring device 140 may be further installed at a position between the bucket link 323 and the bucket 324 in addition to the three positions of the cab 312B, the boom 321 and the arm 322.
  • FIG. 10 is a diagram showing an example of a schematic hardware configuration of a computer 1000 that functions as a timing prediction device 110.
  • the computer 1000 according to the present embodiment is provided by a CPU peripheral portion having a CPU (Central Processing Unit) 1200, a RAM (Random Access Memory) 1300 and a graphic controller 1400, which are interconnected by a host controller 1100, and an input / output controller 1500. It includes an input / output unit having a ROM (Read Only Memory) 1600, a communication I / F (interface) 1700, a hard disk drive 1800, and an input / output chip 1900 connected to the host controller 1100.
  • ROM Read Only Memory
  • the CPU 1200 operates based on the programs stored in the ROM 1600 and the RAM 1300, and controls each part.
  • the graphic controller 1400 acquires image data generated on a frame buffer provided in the RAM 1300 by the CPU 1200 or the like, and displays the image data on the display.
  • the graphic controller 1400 may internally include a frame buffer for storing image data generated by the CPU 1200 or the like.
  • Communication I / F1700 communicates with other devices via a network by wire or wirelessly. Further, the communication I / F 1700 functions as hardware for communication.
  • the hard disk drive 1800 stores programs and data used by the CPU 1200.
  • the ROM 1600 stores a boot program executed by the computer 1000 at startup, a program depending on the hardware of the computer 1000, and the like.
  • the input / output chip 1900 connects various input / output devices to the input / output controller 1500 via, for example, a parallel port, a serial port, a keyboard port, a mouse port, and the like.
  • the program provided to the hard disk drive 1800 via the RAM 1300 is stored in a recording medium such as an IC (Integrated Circuit) card and provided by the user.
  • the program is read from the recording medium, installed in the hard disk drive 1800 via the RAM 1300, and executed in the CPU 1200.
  • a program installed in the computer 1000 and causing the computer 1000 to function as the timing prediction device 110 may act on the CPU 1200 or the like to cause the computer 1000 to function as each part of the timing prediction device 110.
  • the information processing code described in these programs is read into the computer 1000, and the switch signal receiving unit 111, the timing specifying unit 112, which are specific means in which the software and the various hardware resources described above cooperate with each other. It functions as a motion data acquisition section 113, a feature amount generation section 114, a motion analysis section 115, a motion model storage section 116, a prediction section 117, and an output section 118. Then, by realizing the calculation or processing of information according to the purpose of use of the computer 1000 in the present embodiment by these specific means, a unique timing prediction device 110 according to the purpose of use is constructed.
  • the host controller 1100, the CPU 1200, the RAM 1300, the graphic controller 1400, the input / output controller 1500, and the ROM 1600 may be mounted as the control unit 1001.
  • FIG. 11 is a diagram showing an example of the configuration of the control unit 1001 in the modified example.
  • the control unit 1001 includes a host controller 1100, a CPU 1200, a RAM 1300, a graphic controller 1400, an input / output controller 1500, and a ROM 1600.
  • the CPU 1200, the graphic controller 1400, and the input / output controller 1500 read the programs stored in the RAM 1300, the ROM 1600, and the hard disk drive 1800, and execute the read programs to control the computer 1000 (that is, the timing prediction device 110). It functions as a device including 1001, communication I / F 1700, hard disk drive 1800, and input / output chip 1900.
  • the CPU 1200, the graphic controller 1400 and the input / output controller 1500 read the program stored in the RAM 1300, the ROM 1600 and the hard disk drive 1800, and execute the read program, so that the control unit 1001 acquires the timing designation unit 112 and the motion data. It functions as a device including a unit 113, a feature amount generation unit 114, an operation analysis unit 115, and a prediction unit 117. That is, the control unit 1001 includes a timing designation unit 112, a motion data acquisition unit 113, a feature amount generation unit 114, an motion analysis unit 115, and a prediction unit 117.
  • the input / output chip 1900 and the communication I / F 1700 are examples of the switch signal receiving unit 111.
  • the hard disk drive 1800 is an example of the operation model storage unit 116.
  • the hard disk drive 1800 is a computer-readable storage medium device such as a magnetic hard disk device or a semiconductor storage device.
  • the motion model is obtained by learning the transition sequence of the primitive motion as described above. Further, as described above, the hidden Markov model is applied to the motion model, and the motion model is calculated by applying the hidden Markov model to segment the feature data and extract the transition sequence of the primitive motion. Further, as described above, in the learning mode, the motion analysis unit 115 inputs the transition sequence of the primitive motion into the motion model and trains the motion model. The motion analysis unit 115 segments the feature amount data of the time series in the actual motion mode and extracts the transition sequence of the primitive motion.
  • the hidden Markov model is an example of the method used to segment the feature quantity data of the time series and extract the transition sequence of the primitive operation. Therefore, the motion model is a mathematical model showing the relationship between the time-series feature data and the transition sequence of the primitive motion, and in the learning mode, the mathematical model updated by the machine learning method (that is, the learning model).
  • an example of a method for extracting a transition sequence of primitive motion is time-series feature quantity data by using a Markov chain Monte Carlo method (MCMC) algorithm to which a hidden Markov model is applied. Is a way to segment.
  • Hidden Markov models model transition probabilities between primitive actions.
  • the motion model is a learning model that estimates the transition sequence of the primitive motion based on the feature quantity data of the time series.
  • the method of machine learning may be learning without a teacher or learning with a teacher.
  • the above-mentioned hidden Markov model may be a hidden Markov model without a teacher.
  • the training data that is, the data on the explanatory variable side
  • the correct answer data that is, the data on the objective variable side
  • the data set that is the transition sequence of the primitive operation. Used for.
  • the motion analysis unit 115 estimates the transition sequence of the primitive motion based on the input time-series feature data using the trained motion model in the actual motion mode. Therefore, the transition sequence of the primitive motion estimated by the motion analysis unit 115 is the transition sequence of the extracted primitive motion described above.
  • the trained learning model means that a predetermined end condition for learning is satisfied.
  • the predetermined end condition is, for example, a condition that learning has been performed a predetermined number of times.
  • the predetermined end condition may be, for example, a condition that the change in the learning model due to learning is smaller than the predetermined change.
  • updating the learning model means adjusting the values of the parameters in the learning model appropriately.
  • the process for preferably adjusting is, for example, a process for reducing a predetermined loss.
  • the loss is information indicating the difference between the estimation result using the learning model and the correct answer data, for example.
  • the update of the learning model also means that the circuits such as electronic circuits, electric circuits, optical circuits, integrated circuits, etc. that express the learning model and that express the learning model are updated by learning.
  • the circuit is updated by learning, it means that the values of the parameters of the circuit are updated.
  • the parameter values of the learning model represented by the circuit are updated.
  • the timing prediction device 110 does not necessarily have to execute the operation in the learning mode.
  • the timing prediction device 110 may be a device that does not execute the operation in the learning mode but executes the operation in the actual operation mode by using the learned operation model generated by the external device. Further, the timing prediction device 110 does not necessarily have to execute the operation in the actual operation mode.
  • the timing prediction device 110 may be a device that does not execute the operation in the actual operation mode but executes the operation in the learning mode.
  • the motion measuring device 140 outputs the angular velocity data, the acceleration data, and the motion data associated with the time information for each of the three axes. Therefore, the feature amount data generated by the feature amount generation unit 114 is, for example, 18 types of feature amount data obtained from each motion data of the 18-dimensional motion data.
  • the 18-dimensional motion data is a total of 18 types of motion data showing angular velocities and accelerations in orthogonal three axes for each of the arm 322, the boom 321 and the cab 312B.
  • a set of 18 types of feature data obtained from each motion data of 18-dimensional motion data is hereinafter referred to as an 18-dimensional feature data set.
  • each element of the 18-dimensional feature data set will be explained more concretely.
  • Six of the eighteen types are feature quantity data of six types obtained from each of the total of six types of motion data of the angular velocity and the acceleration in each of the three orthogonal axial directions of the arm 322.
  • each of the six types of feature data obtained from each of the total six types of motion data of the angular velocity and the acceleration in each of the three orthogonal axial directions of the arm 322 is referred to as the arm six-dimensional feature data.
  • each of the 18 types are 6 types of feature data obtained from each of the total of 6 types of motion data of angular velocity and acceleration in each of the three orthogonal axial directions of the boom 321.
  • each of the 6 types of feature data obtained from each of the total 6 types of motion data of the angular velocity and the acceleration in each of the three orthogonal axial directions of the boom 321 is referred to as a boom 6-dimensional feature data.
  • Six of the 18 types are 6 types of feature data obtained from each of the total of 6 types of motion data of the angular velocity and acceleration in each of the three orthogonal axial directions of the cab 312B.
  • each of the six types of feature data obtained from each of the total six types of motion data of the angular velocity and the acceleration in each of the three orthogonal axial directions of the cab 312B is referred to as cab 6-dimensional feature data.
  • the 18-dimensional feature data set is a set of 6 types of arm 6-dimensional feature data, 6 types of boom 6-dimensional feature data, and 6 types of cab 6-dimensional feature data.
  • the 18-dimensional feature amount data is represented by, for example, a tensor having a total of 18 elements having the values of each of 18 types of feature amount data as elements.
  • a tensor with a total of 18 elements is, for example, an 18-dimensional vector.
  • the feature amount data generated by the feature amount generation unit 114 does not necessarily have to be 18 types of feature amount data of the 18-dimensional feature amount data set.
  • the feature amount data generated by the feature amount generation unit 114 may be three types of feature amount data of the basic feature amount data set.
  • the basic feature data set is a set of three types of feature data, that is, arm one-dimensional feature data, boom one-dimensional feature data, and cab one-dimensional feature data.
  • the arm one-dimensional feature amount data is feature amount data obtained from motion data indicating the angular velocity of the arm 322 in the Z-axis direction.
  • the boom one-dimensional feature amount data is feature amount data obtained from motion data indicating the angular velocity of the boom 321 in the Z-axis direction.
  • the cab one-dimensional feature amount data is feature amount data obtained from motion data indicating the angular velocity of the cab 312B in the Z-axis direction.
  • the Z-axis direction of the arm 322 is a direction parallel to the rotation axis of the joint between the arm 322 and the boom 321.
  • the central axis of the arm 322 is an axis connecting the joints at both ends of the arm 322.
  • the angular velocity of the arm 322 in the Z-axis direction is the angular velocity corresponding to the joint angle of the arm 322.
  • the Z-axis direction of the boom 321 is a direction parallel to the rotation axis of the joint between the boom 321 and the upper swing body 312.
  • the central axis of the boom 321 is an axis connecting the joints at both ends of the boom 321.
  • the angular velocity of the boom 321 in the Z-axis direction is the angular velocity corresponding to the joint angle of the boom 321.
  • the Z-axis direction of the cab 312B is parallel to the rotation axis of the upper swivel body 312.
  • the central axis of the cab 312B is the direction perpendicular to the ground surface where the backhoe 300 is located.
  • the angular velocity of the cab 312B in the Z-axis direction is the angular velocity corresponding to the joint angle of the cab 312B.
  • the total three types of angular velocities of the arm 322, the boom 321 and the cab 312B in the Z-axis direction are the three-dimensional angular velocities coaxial with the joint.
  • the angular velocities of the arm 322, the boom 321 and the cab 312B in the Z-axis direction are the angular velocities of the movement caused by the motion of the backhoe 300 and the rotational movement around the joint axis corresponding to the motion. be.
  • the corresponding joint axis is the Z-axis direction of the arm 322 for the arm 322.
  • the Z-axis direction of the arm 322 is a direction parallel to the rotation axis of the joint between the arm 322 and the boom 321.
  • the corresponding joint axis is the Z-axis direction of the boom 321 for the boom 321.
  • the Z-axis direction of the boom 321 is the direction parallel to the axis of rotation of the joint between the boom 321 and the cab 312B.
  • the corresponding joint axis is the Z-axis direction of the cab 312B for the cab 312B.
  • the Z-axis direction of the cab 312B is the direction perpendicular to the ground surface where the backhoe 300 is located, or the direction parallel to the rotation axis of the joint between the cab 312B and the lower traveling body 311.
  • the angular velocity of the arm 322 in the Z-axis direction is the angular velocity of the rotational movement of the arm 322 around the joint axis caused by the motion of the backhoe 300.
  • the angular velocity of the boom 321 in the Z-axis direction is the angular velocity of the rotational movement of the boom 321 around the joint axis caused by the motion of the backhoe 300.
  • the angular velocity of the cab 312B in the Z-axis direction is the angular velocity of the rotational movement of the cab 312B around the joint axis caused by the movement of the backhoe 300.
  • the preparatory work movement is an example of an exercise movement. Therefore, the three types of feature data of the basic feature data set generated by the feature generation unit 114 are the angular velocities of the movement caused by the motion motion and having a component in the movement around the rotation axis of the corresponding joint. It may be the feature amount data obtained from the motion data showing. That is, the three types of feature amount data of the basic feature amount data set generated by the feature amount generation unit 114 are the angular velocities of rotational movement around each joint axis of the arm 322, the boom 321 and the cab 312B generated by the motion motion. May be good.
  • the angular velocities of the arms 322, the boom 321 and the cab 312B in the Z-axis directions are the angular velocities of movement having components in the vertical direction
  • the angular velocities of the arms 322, the boom 321 and the cab 312B in the Z-axis directions are affected by the maneuvering motion. Is more often received than the angular velocity in other directions.
  • the feature quantity that strongly reflects the influence of the maneuvering motion strengthens the dependence of the maneuvering motion on the motion model, and has the effect of preventing gravity and the shaking of the aircraft from segmenting the motion.
  • the timing prediction device 110 ends the preparatory work operation with higher accuracy when using the three types of feature data of the basic feature data set than when using the 18 types of feature data of the 18-dimensional feature data set. Sometimes the timing can be predicted. The reason is as follows.
  • the noise information may be larger than the information on the influence of the maneuvering operation.
  • the number of feature quantity data used for prediction of the timing prediction device 110 is large. For this reason, it is not the case that the feature amount data used for the prediction of the timing prediction device 110 is less than 18 types of feature amount data such as 3 types of feature amount data of the basic feature amount data set. It may be preferable to the case.
  • the feature data obtained from the acceleration of the 18 types of feature data in the 18-dimensional feature data set is more affected by the posture of the back ho 300 and the posture of the motion measuring device 140 than the angular velocity. Therefore, the feature amount generation unit 114 does not necessarily have to generate the feature amount data obtained from the acceleration.
  • 18 types of motion data are input to the feature amount generation unit 114.
  • only three types of exercise data may be input.
  • At least motion data indicating each of the three types of angular velocities of the arm 322, the boom 321 and the cab 312B in the Z-axis direction may be input to the feature amount generation unit 114.
  • the feature amount generation unit 114 uses only the motion data showing each of the three types of angular velocities in the Z-axis direction of the arm 322, the boom 321 and the cab 312B.
  • Three types of feature amount data of the basic feature amount data set may be generated.
  • Timing prediction device 110 An example of the experimental result of the first evaluation experiment conducted using the timing prediction device 110 is shown.
  • the timing prediction device 110 is used when 18 types of feature data of the 18-dimensional feature data set are used as feature data and when 3 types of feature data of basic feature data are used. It was an experiment to compare the accuracy of the prediction by.
  • FIG. 12 is a diagram showing an example of the experimental results of the first evaluation experiment in the modified example.
  • FIG. 12 shows three experimental results of result D101, result D102 and result D103.
  • the result D101 shows the certainty of the result that the timing prediction device 110 predicts the end timing of the preparatory work operation when the experienced operator A operates the small aircraft ⁇ .
  • the result D102 shows the certainty of the result that the timing prediction device 110 predicts the end timing of the preparatory work operation when the experienced operator A operates the large aircraft ⁇ .
  • the result D103 shows the certainty of the result that the timing prediction device 110 predicts the end timing of the preparatory work operation when the inexperienced operator B operates the large aircraft ⁇ .
  • Both the small aircraft ⁇ and the large aircraft ⁇ are examples of the backhoe 300.
  • Experienced driver A was a driver with a cumulative maneuvering time of 90 hours and an average pre-loading motion time of (19.5 ⁇ 3.3) seconds.
  • the inexperienced operator B had a cumulative operating time of 35 hours and an average pre-loading operation time of (31.35 ⁇ 13.0) seconds.
  • the small aircraft ⁇ has an arm length of 10.1 meters and a bucket volume of 1.4 cubic meters, and the shaking during work is less than that of the large aircraft ⁇ .
  • the large body ⁇ has an arm length of 12.6 meters and a bucket volume of 2.8 cubic meters, and the shaking during work is larger than that of the small body ⁇ .
  • D 3 indicates that the feature amount data used by the timing prediction device 110 was three types of feature amount data of the basic feature amount data set.
  • D 18 indicates that the feature amount data used by the timing prediction device 110 was 18 types of feature amount data of the 18-dimensional feature amount data set.
  • the four data sets of data set A, data set B, data set C, and data set D will be described.
  • the four datasets are all part of the data for 16 loading operations performed in combination with the same operator and the same backhoe.
  • the data of 16 times was divided into 4 groups of 1st group, 2nd group, 3rd group and 4th group with 4 times of data. That is, the 1st set, the 2nd set, the 3rd set, and the 4th set each contained the data of 4 times, and the different sets did not have the same data.
  • One of the four datasets was a dataset in which the data of the third set, the fourth set and the first set were used for training, and the data of the second set was used for evaluation.
  • the remaining one of the four datasets was a dataset in which the 4th, 1st and 2nd sets of data were used for training and the 3rd set of data was used for evaluation.
  • the degree of certainty 1 is the maximum value, and the closer it is to 1, the higher the degree of certainty. That is, the degree of certainty indicates that the closer it is to 1, the higher the possibility that the prediction is correct.
  • the result D102 indicates that when the feature amount data is 18 kinds of feature amount data of the 18-dimensional feature amount data set, the timing prediction device 110 could not make a prediction with a certainty of 1.0. On the other hand, the result D102 indicates that the timing prediction device 110 was able to make a prediction with a certainty of 1.0 when the feature amount data is three types of feature amount data of the basic feature amount data set.
  • results D101 to D103 when the feature amount data used by the timing prediction device 110 is three types of feature amount data of the basic feature amount data, all of the result D101 to the result D103 have a certainty of 1.0. Indicates that the prediction was made.
  • FIG. 12 shows that the number of types of feature data does not necessarily have to be large.
  • FIGS. 13 to 15 are explanatory views illustrating the second evaluation experiment.
  • FIG. 13 is a first explanatory diagram illustrating a second evaluation experiment in a modified example.
  • FIG. 13 shows an inertial measurement unit D1 and an inertial measurement unit D2.
  • the arrangement of the inertial measurement unit D1 is an example of the arrangement of the inertial measurement unit on the cab at the time of acquisition of the motion data used for learning in the learning mode.
  • the arrangement of the inertial measurement unit D2 is an example of the arrangement of the inertial measurement unit on the cab at the time of acquisition of the motion data used in the actual operation mode.
  • the orientations of the inertial measurement unit D1 and the inertial measurement unit D2 are different by 135 °.
  • FIG. 14 is a second explanatory diagram illustrating the second evaluation experiment in the modified example.
  • FIG. 14 shows an inertial measurement unit D3 and an inertial measurement unit D4.
  • the arrangement of the inertial measurement unit D3 is an example of the arrangement of the inertial measurement unit on the side surface of the boom when the motion data used for learning in the learning mode is acquired.
  • the arrangement of the inertial measurement unit D4 is an example of the arrangement of the inertial measurement unit on the side surface of the boom when the motion data used in the actual operation mode is acquired.
  • the orientations of the inertial measurement unit D3 and the inertial measurement unit D4 are different by 135 °.
  • FIG. 15 is a third explanatory diagram illustrating the second evaluation experiment in the modified example.
  • FIG. 15 shows an inertial measurement unit D5 and an inertial measurement unit D6.
  • the arrangement of the inertial measurement unit D5 is an example of the arrangement of the inertial measurement unit on the side surface of the arm when the motion data used for learning in the learning mode is acquired.
  • the arrangement of the inertial measurement unit D6 is an example of the arrangement of the inertial measurement unit on the side surface of the arm when the motion data used in the actual operation mode is acquired.
  • the positions of the inertial measurement unit D5 and the inertial measurement unit D6 are different. Specifically, the inertial measurement unit D6 is arranged at a position 1 meter away from the inertial measurement unit D5.
  • FIG. 16 is a diagram showing an example of the experimental results of the second evaluation experiment in the modified example. More specifically, FIG. 16 shows an example of the result when the arrangement of the inertial measurement unit at the time of acquiring the motion data is different between the learning mode and the actual operation mode.
  • the loading time is the time when the backhoe 300 is ready to load the earth and sand into the dump truck. Therefore, the loading time is the timing at which the dump truck is directed to the backhoe 300, which is the timing to be predicted. Therefore, the three loading times mean the three times to be predicted.
  • the result of FIG. 16 is a result showing the performance when the timing prediction device 110 predicts the loading time by the degree of certainty.
  • FIG. 16 shows that the certainty was 1.0 for all of the datasets A to D.
  • FIG. 16 shows that when the basic feature amount data is used as the feature amount data, the timing prediction device 110 can predict with high certainty even if there is a difference in the arrangement of the inertial measurement unit between the learning mode and the actual operation mode. show. This is because the feature amount data that reflects the posture is reduced as described above. In addition, reducing means not using it. Therefore, FIG. 16 shows that the robustness of the timing prediction unit 110 with respect to the difference in the arrangement of the inertial measurement unit between the learning mode and the actual operation mode is enhanced by reducing the feature amount data reflecting the posture.
  • the prediction unit 117 is the following key operation extraction process as a process of extracting the primitive operation q k (hereinafter referred to as “key operation q k ”) that characterizes the operation from the transition sequence of the primitive operation extracted by the operation analysis unit 115. May be executed.
  • key operation q k defined by the following equation (6) is extracted as the key operation q k.
  • NL represents the total number of operations before loading in the training data.
  • n L (q k ) represents the total number of key actions q k that appear before loading.
  • (I) t qk represents the time when the key operation q k appears in the i-th operation before loading.
  • the prediction unit 117 estimates q k that satisfies the equation (6) based on the transition sequence of the primitive operation.
  • the prediction unit 117 acquires the q k estimated in this way as a key operation.
  • the prediction unit 117 executes the pattern acquisition process next to the key action extraction process.
  • the pattern acquisition process is a process of acquiring the time average S (bold body) of the appearance probability of the transition between the key operations in order to specify the transition satisfying the following constraint conditions as the end timing of the preparatory work operation.
  • the minimum value th qk qk + 1 and the time average (i) S qk qk + 1 (t) are defined by the following equations (7) to (10).
  • F qk qk + 1 (j, k) is a matrix indicating whether or not a transition from the operation of the operation identifier j to the operation of the operation identifier k appears in the period from the time (i) t qk to the time (i) t qk + 1.
  • the operation identifier is an identifier that distinguishes key operations from each other.
  • the definition of z t0 is the primitive operation detected at time t0.
  • the definition of z t0 + 1 is the primitive action detected at time (t0 + 1).
  • n qk qk + 1 (j, k) is the total number of appearances of transitions from the operation of the operation identifier j to the operation of the operation identifier k in the period from time (i) t qk to time (i) t qk + 1.
  • the prediction unit 117 provides l qk + 1 qk in order to cope with the case where a primitive operation not included in the model is sandwiched between the key operation q k and the key operation q k + 1 .
  • the provision after obtaining the time of transition to the key operation q k + 1 based on the loading on the key operation q k obtained by segmentation, sets the maximum value of the time as a threshold value, it means that.
  • Setting information means that the information is recorded in a storage device such as RAN1300, ROM1600, or a hard disk drive 1800. Recording is performed by, for example, the CPU 1200.
  • Correspondence means that pre-load forecasting works. Note that functioning means that the process is executed by the prediction unit 117.
  • the prediction unit 117 discovers a key operation in the motif at the same time as in the model, a process of determining that the same pre-loading operation is performed is executed.
  • a process of determining that the same pre-loading operation is performed is executed.
  • the section is the period during which the key operation in the motif discovered by the prediction unit 117 occurs.
  • the definition of l qk + 1 qk is the maximum time from the detection of the key operation q k to the detection of the key operation q ('k + 1).
  • the definition of the key operation q k + 1 is the definition of the key operation that appears next to the key operation q k in the time series.
  • search time a threshold value l qk + 1 qk of the time for searching for these corresponding key operations.
  • setting information means that the information is recorded in a storage device such as RAN1300, ROM1600, or a hard disk drive 1800. Recording is performed by, for example, the CPU 1200.
  • the prediction unit 117 searches for the corresponding key operation within that time (that is, the search time) based on the threshold value l qk + 1 qk. Next, in the pattern acquisition process, the prediction unit 117 predicts the pre-loading operation.
  • the constraint condition is that the time average (i) S qk qk + 1 (t) of the appearance probabilities of the primitive motion between the key motion q k and the key motion q k + 1 is larger than the minimum value th qk qk + 1.
  • the prediction unit 117 observes transitions that do not match the model in excess of the maximum time length l qk + 1 qk between key operations. When there are many transitions of primitive operations, the observed operations are loaded. Judge that it is not the previous work process. Taking a large number of transitions means that transitions occur so as to satisfy the condition that the time average S is larger than the minimum value th.
  • the prediction unit 117 Determines in the pattern acquisition process that the constraints apply to the observed behavior in the pre-loading work process. It should be noted that the fact that the transition of the primitive operation is close to that between the key operations means that the degree to which the time average S of the appearance probability of the primitive operation is larger than th is small. By using the constraint condition in the pattern acquisition process by the prediction unit 117 in this way, the timing prediction device 110 can handle a work process before loading that is longer than the model.
  • the prediction unit 117 acquires the transition satisfying the constraint condition as the pattern S (bold body) in this way.
  • the prediction unit 117 executes the certainty acquisition process after executing the key operation extraction process and the pattern acquisition process.
  • the certainty acquisition process is a process of acquiring the certainty based on the pattern S (bold body) acquired in the pattern acquisition process.
  • the certainty degree acquired by the certainty degree acquisition process may be expressed by the above-mentioned equation (5) or, for example, the following equation (11).
  • n p (P 1 ) represents the number when q k is detected at the time of waiting or collecting soil.
  • n p (P 2 ) represents the number when q k is detected immediately before the loading time of the prediction target.
  • N p (P 2 ) represents the total number of loading times to be predicted.
  • the prediction unit 117 estimates that the current timing is the loading time when the certainty level is equal to or higher than a predetermined value. The present is when the prediction unit 117 determines that the certainty level is equal to or higher than a predetermined value.
  • the predetermined value is 1, for example, when the certainty is defined by the equation (5) or the equation (11).
  • the prediction unit 117 executes the key operation extraction process, the pattern acquisition process, the certainty degree acquisition process, and the loading timing estimation process in the learning mode and the actual operation mode.
  • FIG. 17 is a flowchart illustrating an example of the flow of processing executed in the pattern acquisition processing, the certainty degree acquisition processing, and the loading timing estimation processing in the modified example.
  • the processing executed in the pattern acquisition processing, the certainty acquisition processing, and the loading timing estimation processing is performed by taking the case where the certainty degree is the certainty degree defined by the equation (11) as an example.
  • the certainty degree is the certainty degree defined by the equation (11) as an example.
  • the prediction unit 117 updates the time to t + 1 (step S201). Next, the prediction unit 117 acquires the primitive z t (step S202). The definition of primitive z t is the primitive behavior estimated at time t. Then the prediction unit 117, k determines 1 or higher and l qk t is greater than l q qk + 1, whether the (step S203).
  • step S203 When k is 1 or more and l qk t is larger than l qk qk + 1 (step S203: YES), the prediction unit 117 determines whether S qk qk + 1 (t) is th qk qk + 1 or more (step S204). When S qk qk + 1 (t) is th qk qk + 1 or more (step S204: YES), the prediction unit 117 determines whether or not z t is equal to q k + 1 (step S205). When z t is equal to q k + 1 (step S205: YES), the prediction unit 117 updates the value of the key operation identifier k to k + 1 (step S206).
  • step S207 determines whether or not the certainty is equal to 1 (step S207).
  • step S207: YES the prediction unit 117 estimates that the timing when the certainty satisfies 1 is the loading time (step S208). After step S208, the process returns to the process of step S201.
  • step S203 if the condition that k is 1 or more and l qk t is larger than l qk qk + 1 is not satisfied (step S203: NO), the process proceeds to step S205. If the condition that S qk qk + 1 (t) is th qk qk + 1 or more is not satisfied (step S204: NO), the prediction unit 117 updates the value of the key operation identifier k to 0 (step S209). If z t is not equal to q k + 1 (step S205: NO), the process returns to step S201. If the certainty is not equal to 1 (step S207: NO), the process returns to step S201.
  • the processing flow of FIG. 17 ends when a predetermined end condition is satisfied.
  • the predetermined termination condition is, for example, that the power of the timing prediction system 100 of FIG. 17 is turned off.
  • the third evaluation experiment was an experiment for evaluating the prediction accuracy of the timing prediction device 110.
  • the prediction unit 117 in the third evaluation experiment executed the key operation extraction process, the pattern acquisition process, the certainty degree acquisition process, and the loading timing estimation process in the modified example.
  • three types of feature data of the basic feature data set were used as the feature data.
  • four data sets were used in the third evaluation experiment.
  • FIG. 18 is a diagram showing an example of the experimental results of the third evaluation experiment in the modified example.
  • FIG. 18 shows the results of prediction by the timing prediction device 110 in the modified example and the results of prediction by the three methods to be compared.
  • One of the three methods to be compared was the threshold method, one was LSTM (pattern recognition), and one was LSTM (regression prediction).
  • the row of "method" is the column of "timing prediction device".
  • FIG. 18 shows the accuracy, reproducibility, and certainty for each of the prediction results by these four methods.
  • the certainty used in the experiment was the certainty defined in equation (11).
  • FIG. 18 shows that the timing prediction device 110 in the modified example can make predictions with an accuracy more than twice as high as that of other methods.
  • FIG. 18 shows that the reproducibility of the timing prediction device 110 in the modified example is about the same as that of other methods.
  • FIG. 18 shows that the certainty of the timing prediction device 110 in the modified example is more than twice as high as that of other methods.
  • the numerical values in FIG. 18 are average values obtained from the prediction results for the four data sets used in the third evaluation experiment.
  • the prediction accuracy and certainty of the timing prediction device 110 of the modified example are higher than those of other methods, and the reproducibility is about the same as that of other methods. Therefore, the timing prediction device 110 of the modified example configured in this way can perform prediction with high accuracy.
  • Timing prediction system 110 Timing prediction device, 111 Switch signal reception unit, 112 Timing designation unit, 113 Motion data acquisition unit, 114 Feature quantity generation unit, 115 Motion analysis unit, 116 Motion model storage unit, 117 Prediction unit, 118 output Unit, 140 motion measuring device, 140A motion measuring device, 140B motion measuring device, 140C motion measuring device, 141 measuring section, 142 control section, 143 recording section, 150 foot switch, 300 back ho, 310 main body, 311 lower running body, 312 Upper swivel body, 312A swivel frame, 312B cab, 320 back hoof attachment, 321 boom, 322 arm, 323 bucket link, 324 bucket, 325 bucket cylinder, 1001 control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

所定の運動動作を行う観測物体における複数個所についての運動データを取得し、運動データを周波数解析することにより特徴量データを生成し、特徴量データを分節して原始的動作の遷移列を抽出し、遷移列と、運動動作を行う教示物体の運動状態を分節し得られる原始的動作の遷移列を学習することによって得られる動作モデルとに基づいて、所定の運動動作における原始的動作の出現頻度を解析して原始的動作のパターンを抽出することにより、所定の運動動作の終了タイミングを予測する。

Description

タイミング予測方法、タイミング予測装置、タイミング予測システム、プログラム及び建設機械システム
　本発明は、タイミング予測方法、タイミング予測装置、タイミング予測システム、プログラム及び建設機械システムに関する。
　本願は、２０２０年５月２５日に、日本に出願された特願２０２０－０９０９６８号に基づき優先権を主張し、その内容をここに援用する。
　土木分野において、バックホウがバケットで掬った土砂をダンプトラックに積み込む作業を自動化するための研究が行われている。この種の研究によれば、バックホウ及びダンプトラックの動作を解析し、土砂の積み込み作業を行う際の停車位置の関係を予測することができる（例えば、非特許文献１、非特許文献２参照）。
永谷圭司、今野陽太、大野和則、鈴木高宏、鈴木太郎、柴田幸則、浅野公隆、小松智広、小栗裕治、「中小建設会社が導入可能な六輪ダンプトラックの自動走行に関する研究開発」、第１８回システムインテグレーション部門講演会（ＳＩ２０１７）、２０１７年、ｐ．１０１３～１０１６ 大野和則、濱田龍之介、水野直希、山口竣平、星達也、鈴木太郎、柴田幸則、浅野公隆、鈴木高宏、田所諭、「六輪ダンプトラックとバックホーの協調作業の計測」、ロボティクス・メカトロニクス講演会２０１８、２０１８年６月、ｐ．２Ａ２－Ｂ０６（１）～２Ａ２－Ｂ０６（３）
　バックホウからダンプトラックへの積み込み作業の自動化を実現するためには、バックホウに対するダンプトラックの停車位置を予測するだけでなく、バックホウが積み込みの準備を完了するタイミングを予測する必要がある。すなわち、運動動作を行う物体の所定の運動動作の終了タイミングを予測する技術の開発が望まれる。
　本発明の第１の態様によれば、タイミング予測方法が提供される。タイミング予測方法は、所定の運動動作を行う観測物体における複数個所についての運動データを取得してよい。上記タイミング予測方法は、取得した上記運動データを周波数解析することにより特徴量データを生成してよい。上記タイミング予測方法は、生成した上記特徴量データを分節して原始的動作の遷移列を抽出してよい。上記タイミング予測方法は、抽出した上記遷移列と、運動動作を行う教示物体の運動状態を分節し得られる原始的動作の遷移列を学習することによって得られる動作モデルとに基づいて、上記所定の運動動作における原始的動作の出現頻度を解析して上記原始的動作のパターンを抽出することにより、上記所定の運動動作の終了タイミングを予測してよい。
　上記タイミング予測方法は、上記観測物体が行う上記所定の運動動作を複数の動作に区分し、区分した動作毎に、抽出した上記遷移列と上記動作モデルとに基づいて、上記動作における原始的動作の出現頻度を解析して上記原始的動作のパターンを抽出し、抽出した上記パターンを段階的に評価して確信度を算出し、算出した上記確信度に応じて、上記所定の運動動作の終了タイミングを予測してよい。
　上記タイミング予測方法は、取得した上記運動データを周波数解析することにより、上記所定の運動動作に起因して生ずる周波数成分が含まれる周波数帯域を選択し、選択した上記周波数帯域において特徴量データを生成してよい。
　上記タイミング予測方法は、上記動作モデルには隠れマルコフモデルが適用されるとともに、上記隠れマルコフモデルを適用した計算処理により、上記特徴量データを分節して原始的動作の遷移列を抽出してよい。
　上記タイミング予測方法は、上記運動データは、角速度データ及び加速度データを含んでよい。
　本発明の第２の態様によれば、タイミング予測装置が提供される。タイミング予測装置は、運動動作を行う教示物体の運動状態を分節し得られる原始的動作の遷移列を学習することによって得られる動作モデルを格納する動作モデル格納部を備えてよい。上記タイミング予測装置は、所定の運動動作を行う観測物体における複数個所についての運動データを取得する運動データ取得部を備えてよい。上記タイミング予測装置は、上記運動データ取得部が取得した上記運動データを周波数解析することにより特徴量データを生成する特徴量生成部を備えてよい。上記タイミング予測装置は、上記特徴量生成部が生成した上記特徴量データを分節して原始的動作の遷移列を抽出する動作解析部を備えてよい。上記タイミング予測装置は、上記動作解析部が抽出した上記遷移列と上記動作モデル格納部に格納された上記動作モデルとに基づいて、上記所定の運動動作における原始的動作の出現頻度を解析して上記原始的動作のパターンを抽出することにより、上記所定の運動動作の終了タイミングを予測する予測部を備えてよい。
　本発明の第３の態様によれば、タイミング予測システムが提供される。タイミング予測システムは、所定の運動動作を行う観測物体における複数個所についての運動データを計測する運動計測装置と、タイミング予測装置とを備えてよい。上記タイミング予測装置は、運動動作を行う教示物体の運動状態を分節し得られる原始的動作の遷移列を学習することによって得られる動作モデルを格納する動作モデル格納部を備えてよい。上記タイミング予測装置は、上記運動計測装置から上記運動データを取得する運動データ取得部を備えてよい。上記タイミング予測装置は、上記運動データ取得部が取得した上記運動データを周波数解析することにより特徴量データを生成する特徴量生成部を備えてよい。上記タイミング予測装置は、上記特徴量生成部が生成した上記特徴量データを分節して原始的動作の遷移列を抽出する動作解析部を備えてよい。上記タイミング予測装置は、上記動作解析部が抽出した上記遷移列と上記動作モデル格納部に格納された上記動作モデルとに基づいて、上記所定の運動動作における原始的動作の出現頻度を解析して上記原始的動作のパターンを抽出することにより、上記所定の運動動作の終了タイミングを予測する予測部を備えてよい。
　本発明の第４の態様によれば、プログラムが提供される。プログラムは、運動動作を行う教示物体の運動状態を分節し得られる原始的動作の遷移列を学習することによって得られる動作モデルを格納する動作モデル格納部を備えるコンピュータが処理するものであってよい。上記コンピュータは、所定の運動動作を行う観測物体における複数個所についての運動データを取得する処理を実行してよい。上記コンピュータは、取得した上記運動データを周波数解析することにより特徴量データを生成する処理を実行してよい。上記コンピュータは、生成した上記特徴量データを分節して原始的動作の遷移列を抽出する処理を実行してよい。上記コンピュータは、抽出した上記遷移列と上記動作モデル格納部に格納された上記動作モデルとに基づいて、上記所定の運動動作における原始的動作の出現頻度を解析して上記原始的動作のパターンを抽出することにより、上記所定の運動動作の終了タイミングを予測する処理を実行してよい。
　本発明の第５の態様によれば、建設機械システムが提供される。建設機械システムは、所定の運動動作を行う建設機械における複数個所についての運動データを計測する運動計測装置と、タイミング予測装置とを備えてよい。上記タイミング予測装置は、運動動作を行う教示建設機械の運動状態を分節し得られる原始的動作の遷移列を学習することによって得られる動作モデルを格納する動作モデル格納部を備えてよい。上記タイミング予測装置は、上記運動計測装置から上記運動データを取得する運動データ取得部を備えてよい。上記タイミング予測装置は、上記運動データ取得部が取得した上記運動データを周波数解析することにより特徴量データを生成する特徴量生成部を備えてよい。上記タイミング予測装置は、上記特徴量生成部が生成した上記特徴量データを分節して原始的動作の遷移列を抽出する動作解析部を備えてよい。上記タイミング予測装置は、上記動作解析部が抽出した上記遷移列と上記動作モデル格納部に格納された上記動作モデルとに基づいて、上記所定の運動動作における原始的動作の出現頻度を解析して上記原始的動作のパターンを抽出することにより、上記所定の運動動作の終了タイミングを予測する予測部を備えてよい。
　なお、上記の発明の概要は、本発明に必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となり得る。
　本発明の上記の態様によれば、運動動作を行う物体の所定の運動動作の終了タイミングを予測することができる。
タイミング予測システム１００の一例を概略的に示す図である。 タイミング予測システム１００の概略の機能構成の一例を示す図である。 タイミング予測システム１００が実行する動作モデルの学習処理の概略の手順の例を示すフローチャートである。 運動計測装置１４０の記録部１４３が記録した運動データの例を示す第１のグラフである。グラフは、運動計測装置１４０Ａ、運動計測装置１４０Ｂ及び運動計測装置１４０Ｃそれぞれについての、経過時間に対するｘ軸の加速度データのグラフである。 運動計測装置１４０の記録部１４３が記録した運動データの例を示す第２のグラフである。グラフは、運動計測装置１４０Ａ、運動計測装置１４０Ｂ及び運動計測装置１４０Ｃそれぞれについての、経過時間に対するヨー角周りの角速度データのグラフである。 特徴量生成部１１４が高速フーリエ変換処理を実行して得る周波数強度の例を示すグラフである。 動作モデル格納部１１６に格納された動作モデルにおける原始的動作の遷移の例を示すグラフである。 タイミング予測システム１００が実行する、実動作におけるタイミング予測処理の概略の手順の例を示すフローチャートである。 学習用運動量データに基づき学習させた動作モデルによる、原始的動作の遷移の例を示すグラフである。 準備作業動作の終了タイミングからの事前時間と確信度との関係の例を示すグラフである。 タイミング予測装置１１０として機能するコンピュータ１０００の概略のハードウェア構成の一例を示す図である。 変形例における制御部１００１の構成の一例を示す図。 変形例における第１評価実験の実験結果の一例を示す図。 変形例における第２評価実験を説明する第１の説明図。 変形例における第２評価実験を説明する第２の説明図。 変形例における第２評価実験を説明する第３の説明図。 変形例における第２評価実験の実験結果の一例を示す図。 変形例におけるパターン取得処理と、確信度取得処理と、積み込みタイミングの推定の処理で実行される処理の流れの一例を説明するフローチャート。 変形例における第３評価実験の実験結果の一例を示す図。
　以下、発明の実施の形態を通して本発明を説明するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。また、実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　実施の形態において、搭乗者により操縦されるバックホウは、自機の足元の均しや土砂の整理等の均し作業を行い、土砂を掬い、掬った土砂を自機に接近したダンプトラックに積み込むまでの一連の作業を行う建設機械である。
　本実施の形態では、バックホウの、均し作業後の土砂を掬うときから掬った土砂のダンプトラックへの積み込み準備が完了するときまでの運動動作（以下、準備作業動作と言う。）の終了タイミングを予測するタイミング予測方法、タイミング予測装置、タイミング予測システム、プログラム及び建設機械システムについて説明する。
　図１は、タイミング予測システム１００の一例を概略的に示す図である。タイミング予測システム１００は、様々な運動動作を行うバックホウ３００における準備作業動作の終了タイミングを予測するシステムである。
　図１に示すように、バックホウ３００は、本体３１０にバックホウアタッチメント３２０を装備している。バックホウ３００は、バックホウアタッチメント３２０の先端に取付けられたバケット３２４を本体３１０側に引き寄せながら土砂等の掬取対象物を掬い取り、掬った掬取対象物を図示しないダンプトラックに積み込む作業を行う。
　本体３１０は、下部走行体３１１に上部旋回体３１２を取り付けたものである。下部走行体３１１は、自機を移動させるための走行機能と、上部旋回体３１２を支持する機能とを備えたバックホウ３００の下部機構である。上部旋回体３１２は、旋回フレーム３１２Ａと、旋回フレーム３１２Ａに架装されたキャブ３１２Ｂとを含む諸機構からなるバックホウ３００の一部分である。上部旋回体３１２は、旋回装置によって旋回される。旋回フレーム３１２Ａは、上部旋回体３１２を構成する諸装置を搭載するフレームである。キャブ３１２Ｂは、上部旋回体３１２に設置された操縦室である。
　バックホウアタッチメント３２０は、ブーム３２１、アーム３２２、バケットリンク３２３及びバケット３２４を備え、本体３１０に架装される。ブーム３２１は、旋回フレーム３１２Ａの前部にピンで取り付けられた、アーム３２２やバケット３２４等を支持する支柱である。アーム３２２は、バケット３２４とブーム３２１の先端とを連結する腕である。バケットリンク３２３は、バケット３２４をバケットシリンダ３２５で作動させるためのリンク機構である。バケットシリンダ３２５は、バケット３２４を作動させるための油圧シリンダである。バケット３２４は、工事対象を直接掘削したり、掬取対象物を掬ったりするための切刃等が設けられた容器である。
　タイミング予測システム１００は、タイミング予測装置１１０、運動計測装置１４０Ａ、運動計測装置１４０Ｂ、運動計測装置１４０Ｃ及びフットスイッチ１５０を備える。
　運動計測装置１４０Ａ、運動計測装置１４０Ｂ及び運動計測装置１４０Ｃ（以下、これらを区別しない場合は、運動計測装置１４０と称することがある。）は、運動量及び時間を計測する装置である。運動計測装置１４０は、例えば、直交３軸それぞれの回転運動と、直交３軸それぞれの並進運動とを検知し、回転運動から角速度、並進運動から加速度を計測する。例えば、運動計測装置１４０は、角速度の計測レンジとして±２５０［ｄｅｇ／ｓ］、加速度の計測レンジとして±１６［Ｇ］の慣性運動量を、計測帯域２００［Ｈｚ］で計測する。運動計測装置１４０が計測する時間は、計測開始時からの経過時間であってもよいし、計測時の時刻であってもよい。運動計測装置１４０は、３軸それぞれの角速度データ及び加速度データ並びに時間情報を関係付けた運動データを出力する。
　例えば、運動計測装置１４０は、センサとして、角速度を計測するためのジャイロスコープ（ジャイロセンサ）と、加速度を計測するための加速度センサとを備える。運動計測装置１４０の一例は、慣性計測装置（ＩＭＵ：Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ）である。詳細は後述するが、運動計測装置１４０は、計測により得た運動データを自装置に記録することができる。
　なお、運動計測装置１４０が計測する運動量の種類、次元数、計測帯域又は計測レンジは、上記の例に限定されない。これらの仕様は、教示物体、観測物体、教示建設機械又は建設機械の運動動作やコスト等に応じて適宜決められるものであってよい。
　以下、運動計測装置１４０が、運動量として、直交３軸それぞれの角速度及び加速度を計測する例について説明する。
　運動計測装置１４０Ａは、キャブ３１２Ｂの天面に設けられ、タイミング予測装置１１０と通信接続される。運動計測装置１４０Ａは、上部旋回体３１２が旋回するとき等の運動量を検出すると、検出して得た運動データを自装置に記録する。または、運動計測装置１４０Ａは、検出して得た運動データをタイミング予測装置１１０に送信する。
　運動計測装置１４０Ｂは、ブーム３２１の側面に設けられ、タイミング予測装置１１０と通信接続される。運動計測装置１４０Ｂは、ブーム３２１が上昇したり下降したりするとき等の運動量を検出すると、検出して得た運動データを自装置に記録する。または、運動計測装置１４０Ｂは、検出して得た運動データをタイミング予測装置１１０に送信する。
　運動計測装置１４０Ｃは、アーム３２２の側面に設けられ、タイミング予測装置１１０と通信接続される。運動計測装置１４０Ｃは、アーム３２２が押し出されたり引き戻されたりするとき等の運動量を検出すると、検出して得た運動データを自装置に記録する。または、運動計測装置１４０Ｃは、検出して得た運動データをタイミング予測装置１１０に送信する。
　フットスイッチ１５０は、キャブ３１２Ｂの床面に設けられ、タイミング予測装置１１０と通信接続される。フットスイッチ１５０は、バックホウ３００の搭乗者の足による押下操作により、押されたタイミングを示すスイッチ信号（例えば、パルス信号）を出力する。
　なお、フットスイッチ１５０はスイッチの一例であり、フットスイッチ１５０の代わりとして、搭乗者の手や手指による操作によってスイッチ信号を出力するボタンスイッチをキャブ３１２Ｂの操縦桿付近に設けてもよい。
　バックホウ３００は、掘削しているときや土砂を積み込んでいるとき等に、上部旋回体３１２、ブーム３２１、アーム３２２等が動作することで、姿勢が変化する。タイミング予測装置１１０は、バックホウ３００の姿勢の変化に伴って運動計測装置１４０から得られる運動データを時系列に解析することにより、バックホウ３００の準備作業動作の終了タイミングを予測する。
　タイミング予測装置１１０は、運動計測装置１４０及びフットスイッチ１５０と通信可能な範囲内において、バックホウ３００から離間した場所に設けられてもよいし、バックホウ３００に搭載されていてもよい。
　以下の説明において、バックホウ３００は、教示物体、観測物体、教示建設機械及び建設機械の一例である。教示物体、観測物体、教示建設機械及び建設機械の他の具体例として、ローディングショベルがある。バックホウ３００は、バケット３２４を本体３１０側に引き寄せる方向に動かして掬取作業を行うタイプのショベルであるが、ローディングショベルは、バケットを前向きに構え、押し出す方向に動かして掬取作業を行うタイプのショベルである。このようにバケットの動きがバックホウ３００と異なるタイプのショベルであってもよい。このように、自機の姿勢が変化する物体又は建設機械（掘削機械を含む。）であれば、教示物体、観測物体、建設機械及び教示建設機械として用いられる。
　図２は、タイミング予測システム１００の概略の機能構成の一例を示す図である。タイミング予測システム１００は、タイミング予測装置１１０、運動計測装置１４０及びフットスイッチ１５０を備える。
　タイミング予測システム１００は、学習モードと実動作モードとを切り替えて動作することができる。学習モードは、教示物体又は教示建設機械を用いて、タイミング予測装置１１０に、後述する動作モデルを学習させる動作モードである。学習モードにおいては、タイミング予測装置１１０は、動作モデルの学習処理を実行する。
　実動作モードは、観測物体又は建設機械を用いて、準備作業動作の終了タイミングを予測する動作モードである。実動作モードにおいては、タイミング予測装置１１０は、実動作におけるタイミング予測処理を実行する。
　図２に示すように、タイミング予測装置１１０は、スイッチ信号受信部１１１、タイミング指定部１１２、運動データ取得部１１３、特徴量生成部１１４、動作解析部１１５、動作モデル格納部１１６、予測部１１７及び出力部１１８を備える。
　なお、図２には図示しないが、タイミング予測装置１１０は、タイミング予測システム１００を学習モード又は実動作モードのいずれで動作させるかを選択し、選択した動作モードによりシステム全体を制御するための本体制御部を備えてもよい。例えば、本体制御部は、外部からのオペレータの操作や情報処理装置による遠隔操作により、学習モードと実動作モードとを切り替えるインターフェースを有する。
　スイッチ信号受信部１１１は、フットスイッチ１５０から送信されるスイッチ信号を受信すると、スイッチ信号を受信したことを示すスイッチ情報をタイミング指定部１１２に出力する。
　タイミング指定部１１２は、スイッチ信号受信部１１１からスイッチ情報を入力すると、タイミング指定信号を運動計測装置１４０に出力する。また、タイミング指定部１１２は、本体制御部がいずれかの動作モードに設定されたことに応じて、計測開始の指示を示す計測開始指示信号を運動計測装置１４０に出力する。
　運動データ取得部１１３は、運動計測装置１４０から運動データを取得し、取得した運動データを特徴量生成部１１４に出力する。本実施の形態においては、運動データ取得部１１３は、運動動作を行うバックホウ３００のキャブ３１２Ｂ、ブーム３２１及びアーム３２２それぞれについての運動データを取得し、取得した運動データを特徴量生成部１１４に出力する。
　特徴量生成部１１４は、運動データ取得部１１３から入力される運動データを周波数解析することにより、時系列の特徴量データを生成し、生成した特徴量データを動作解析部１１５に出力する。
　動作解析部１１５は、特徴量生成部１１４から入力される時系列の特徴量データを分節し、原始的動作の遷移列（状態遷移列とも言う。）を抽出する。原始的動作は、要素としての動作である。動作解析部１１５は、例えば、隠れマルコフモデル（ＨＭＭ：Ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　Ｍｏｄｅｌ）に基づき特徴量データを分節し、原始的動作の遷移列を抽出する。隠れマルコフモデルは状態を分節する方法の一つであるが、基本的な隠れマルコフモデルでは、状態数を予め決定しておく必要がある。しかしながら、本実施の形態におけるバックホウ３００の運動動作は、例えば足元の均し方や土砂の掬い方等、バックホウ３００の搭乗者毎に動作の違いがあり得る。つまり、準備作業動作における分節数は、搭乗者毎に異なる場合がある。したがって、動作解析部１１５に適用される隠れマルコフモデルとしては、状態の分節数を初期値から更新することが可能なＮＰＨＭＭ（Ｎｏｎ－Ｐａｒａｍｅｔｒｉｃ　Ｂａｙｓ　Ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　Ｍｏｄｅｌ）がある。
　なお、時系列の特徴量データを分節して原始的動作の遷移列を抽出する手法として、例えば、時系列毎にｄａｔａ－ｄｒｉｖｅｎで原始的動作を推定することが可能なＢＰ－ＨＭＭ（Ｂｅｔａ－Ｐｒｏｃｅｓｓ　Ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　Ｍｏｄｅｌ）を動作解析部１１５に適用してもよい。
　また、状態数を予め決定する必要がない階層ディリクレ過程ＨＭＭ（Ｈｉｅｒａｒｃｈｉｃａｌ　Ｄｉｒｉｃｈｌｅｔ　Ｐｒｏｃｅｓｓ　Ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　Ｍｏｄｅｌ）を動作解析部１１５に適用してもよい。
　また、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）を動作解析部１１５に適用し、時系列の特徴量データを分節して原始的動作の遷移列を抽出させてもよい。
　学習モードにおいて、動作解析部１１５は、原始的動作の遷移列を動作モデル格納部１１６に格納された動作モデルに入力し、動作モデルを学習させる。
　実動作モードにおいて、動作解析部１１５は、原始的動作の遷移列を予測部１１７に出力する。
　動作解析部１１５は、学習結果を記憶しておき、特徴量生成部１１４から入力した特徴量データと、記憶された学習結果とをマージして解析を行い、原始的動作の遷移列を抽出する。
　動作モデル格納部１１６は、運動動作を行うバックホウ３００（教示物体又は教示建設機械の例）の運動状態を分節し得られる原始的動作の遷移列を学習することによって得られる動作モデルを格納する。
　実動作モードにおいて、予測部１１７は、動作解析部１１５から入力される遷移列と、動作モデル格納部１１６に格納された動作モデルとに基づいて、バックホウ３００の準備作業動作における原始的動作の出現頻度を解析して原始的動作のパターンを抽出する。そして、予測部１１７は、抽出した原始的動作のパターンに基づいて準備作業動作の終了タイミングを予測する。予測部１１７は、予測した終了タイミングを示すタイミング情報を出力部１１８に出力する。タイミング情報は、例えば、予測した終了タイミングからの事前時間及び確信度の情報を含む。
　実動作モードにおいて、出力部１１８は、予測部１１７から入力されるタイミング情報を外部に出力する。
　運動計測装置１４０は、計測部１４１、制御部１４２及び記録部１４３を備える。
　計測部１４１は、自装置に係る運動量を計測する。
　制御部１４２は、運動計測装置１４０全体を制御する。また、制御部１４２は、計時機能を有し、タイミング予測装置１１０のタイミング指定部１１２から計測開始指示信号を受信したときからの経過時間を計測して時間情報を取得する。または、制御部１４２は時計機能を有し、時刻を計時して時間情報を取得してもよい。
　学習モードにおいて、運動計測装置１４０は、制御部１４２による制御のもと、計測部１４１が計測した運動量と、計時して得た時間情報とを関係付けた運動データを記録部１４３に記録する。また、運動計測装置１４０がタイミング予測装置１１０のタイミング指定部１１２からタイミング指定信号を受信すると、制御部１４２は、タイミング指定信号を受信したタイミングを記録部１４３に記録する。記録部１４３は、例えば、半導体記憶装置により構成される。半導体記憶装置は、例えば、データ書き換えが可能な不揮発性メモリである。
　実動作モードにおいて、運動計測装置１４０は、制御部１４２による制御のもと、計測部１４１が計測した運動量と、計時して得た時間情報とを関係付けた運動データをタイミング予測装置１１０に出力する。
　次に、本実施の形態によるタイミング予測システム１００の動作を、学習モードにおける動作モデルの学習処理と、実動作モードにおけるタイミング予測処理とに分けて説明する。
　［動作モデルの学習処理］
　動作モデルの学習処理について説明する。本学習処理の説明におけるバックホウ３００は、教示物体又は教示建設機械の一例である。バックホウ３００の搭乗者は、実作業と同じ運動動作を教示するための教示作業（教示のための操縦）を行う。
　タイミング予測装置１１０及び運動計測装置１４０の電源が投入されると、タイミング予測装置１１０の本体制御部がタイミング予測装置１１０を初期化し、運動計測装置１４０の制御部１４２が運動計測装置１４０を初期化する。外部からの操作により本体制御部が学習モードに設定されると、本体制御部は、制御部１４２と協働して動作モデルの学習処理を実行する。
　図３は、タイミング予測システム１００が実行する動作モデルの学習処理の概略の手順の例を示すフローチャートである。
　バックホウ３００の搭乗者は、教示作業として、下部走行体３１１の足元を均すための均し作業と、バケット３２４で土砂を掬ってダンプトラックへの積み込み開始の姿勢をとる準備作業と、準備作業が完了したことをクラクションで知らせる合図作業とを行う。
　この教示作業において、搭乗者は、バックホウ３００が土砂を掬い始めるとき（“Ｓ”と表記する。）、バックホウ３００がダンプトラックに土砂を積み始めるとき（“Ｌ”と表記する。）、クラクションで合図を送るとき（“Ｈ”と表記する。）それぞれにおいて、フットスイッチ１５０を押下する操作を行う。
　教示作業が開始されると、運動計測装置１４０は、自装置に係る運動量を計測するとともに時間（例えば、計測開始指示信号を受信したときからの経過時間）を計時し、運動量及び時間情報を関係付けた運動データを自装置に記録する。その際に、運動計測装置１４０は、フットスイッチ１５０が押下されたことによってタイミング予測装置１１０から出力されるタイミング指定信号を入力すると、タイミング指定信号を入力したときのタイミングも自装置に記録する（ステップＳ１０１）。
　具体的に、教示作業中、運動計測装置１４０の制御部１４２は、計測部１４１が計測する運動量と、計時した時間情報とを関係付けた運動データを記録部１４３に記録する。
　当該教示作業において、上記Ｓ、Ｌ及びＨのタイミングで搭乗者がフットスイッチ１５０を押下すると、フットスイッチ１５０はスイッチ信号を出力する。タイミング予測装置１１０のスイッチ信号受信部１１１は、フットスイッチ１５０からのスイッチ信号を受信すると、スイッチ信号を受信したことを示すスイッチ情報をタイミング指定部１１２に出力する。タイミング指定部１１２は、スイッチ信号受信部１１１からのスイッチ情報を入力すると、タイミング指定信号を運動計測装置１４０に出力する。
　運動計測装置１４０がタイミング予測装置１１０のタイミング指定部１１２からタイミング指定信号を受信すると、制御部１４２は、タイミング指定信号を受信したタイミングを記録部１４３に記録する。
　記録部１４３に記録された運動データは、教示作業後にメンテナンスが可能である。具体的に、例えば、教示作業中のバックホウ３００全体の動作の様子をビデオカメラで撮影（録音を含む。）しておき、撮影映像及び録音音声におけるＳ、Ｌ及びＨのタイミングに該当するシーンの時刻と、フットスイッチ１５０によるＳ、Ｌ及びＨの指定タイミングとの整合の確認、修正等を行い、運動データにＳ、Ｌ及びＨを示すラベル付けを行うようにしてもよい。これらのメンテナンスを、オペレータによるマニュアル操作により行ってもよいし、コンピュータに撮影映像及び録音音声の画像認識処理及び音声認識処理を実行させることにより自動的に行ってもよい。
　なお、教示作業において、フットスイッチ１５０を押下することによる記録部１４３へのタイミングの記録処理自体を省略し、上記のビデオカメラで得られた撮影映像及び録音音声によるＳ，Ｌ及びＨのラベル付けを行うようにしてもよい。
　図４Ａ及び図４Ｂは、運動計測装置１４０の記録部１４３が記録した運動データの例を示すグラフである。
　図４Ａは、運動計測装置１４０Ａ、運動計測装置１４０Ｂ及び運動計測装置１４０Ｃそれぞれについての、経過時間［ｓ］に対するｘ軸の加速度データ［ｍ／ｓ２］のグラフである。
　図４Ｂは、運動計測装置１４０Ａ、運動計測装置１４０Ｂ及び運動計測装置１４０Ｃそれぞれについての、経過時間［ｓ］に対するヨー角周りの角速度データ［ｄｅｇ／ｓ］のグラフである。
　図４Ａ及び図４Ｂとも、経過時間は、教示作業開始後の経過時間である。図４Ａ及び図４Ｂそれぞれにおいて、最上段「Ａ」が運動計測装置１４０Ａ、中段「Ｂ」が運動計測装置１４０Ｂ、最下段「Ｃ」が運動計測装置１４０Ｃの運動データに対応する。
　図４Ａ及び図４Ｂの各グラフ中に示した、時間軸（横軸）に垂直な直線（一点鎖線）は、運動計測装置１４０がタイミング指定信号を受信したとき、すなわちフットスイッチ１５０が押されたときのタイミングを示す。また、各直線の近傍に表記されたＬ、Ｓ及びＨは、メンテナンスによって付与されたラベルを表す。
　図４Ａ及び図４Ｂによれば、バックホウ３００が土砂を掬う動作、掬った土砂を積み込む動作、合図を送って待機する動作それぞれにおけるキャブ３１２Ｂ、ブーム３２１及びアーム３２２の各運動に特徴が現出していることが分かる。
　図３のフローチャートの説明に戻る。
　教示用の運動データを記録部１４３に記録し、必要に応じてメンテナンスを終了すると、運動計測装置１４０の制御部１４２は、記録部１４３に記録された運動データを出力させるように制御する。タイミング予測装置１１０の運動データ取得部１１３が運動計測装置１４０から運動データを取得すると、取得した運動データを特徴量生成部１１４に出力する。特徴量生成部１１４は、運動データ取得部１１３から入力される運動データを周波数解析して時系列の特徴量データを生成し、生成した特徴量データを動作解析部１１５に出力する（ステップＳ１０２）。
　具体的に、特徴量生成部１１４は、取得した運動量について種類毎かつ軸毎に、データを窓間隔６４（０．３２秒間）で動作窓長Ｎ＝１２８（０．６４秒間）の時間窓に分割し、式（１）の窓関数ハンウィンドウを適用して高速フーリエ変換処理を実行する。
Figure JPOXMLDOC01-appb-M000001
　図５は、特徴量生成部１１４が高速フーリエ変換処理を実行して得る周波数強度の例を示すグラフである。
　図５のグラフは、バックホウ３００のブーム３２１に設けられた運動計測装置１４０Ｂが計測したｘ軸の加速度データを、特徴量生成部１１４が高速フーリエ変換処理を実行して得た、３つの周波数成分における周波数強度である。横軸は、教示作業開始後の経過時間［ｓ］である。
　図５のグラフにおいて、点線は、周波数成分が０［Ｈｚ］である場合の周波数強度のグラフである。破線は、周波数成分が１．５６２５［Ｈｚ］である場合の周波数強度のグラフである。実線は、周波数成分が３．１２５０［Ｈｚ］である場合の周波数強度のグラフである。
　図５のグラフにおいて、経過時間が約１６０［ｓ］～約１７５［ｓ］の期間では、バックホウ３００のキャブ３１２Ｂ、ブーム３２１及びアーム３２２の運動動作は停止している。この運動動作停止期間中に、０［Ｈｚ］及び１．５６２５［Ｈｚ］の周波数成分の周波数強度には、重力成分が現れている。この重力成分による周波数強度は、ブーム３２１やアーム３２２の向きによって変化するものである。つまり、バックホウ３００の静止状態の姿勢によって、特徴量生成部１１４は、異なる加速度の特徴量を検出してしまう。これは、後処理である動作解析部１１５による特徴量データの分節処理において、静止状態が複数の原始的動作に分節されることになり得るため望ましくない。
　また、バックホウ３００に搭載されたエンジンの駆動により発生する振動とバックホウ３００が持つ固有の共振周波数との関係によっても、周波数成分によっては、周波数強度に重畳成分が現れることがある。
　そこで、静止状態の分節を防ぐために、特徴量生成部１１４は、バックホウ３００の静止状態において周波数強度が最も小さくなる周波数成分（図５の例では、３．１２５０［Ｈｚ］）の周波数強度を加速度の特徴量データとして抽出する。
　また、特徴量生成部１１４は、バックホウ３００の静止時及び動作時の周波数成分を比較し、バックホウ３００の準備作業動作に起因して生ずる周波数成分が含まれる周波数帯域を選択し、選択した周波数帯域において周波数強度を抽出する。
　つまり、特徴量生成部１１４は、キャブ３１２Ｂ、ブーム３２１及びアーム３２２の運動動作に基づく特徴がバックホウ３００固有の振動成分に基づく特徴よりも多く出ている周波数成分が含まれる周波数帯域を選択し、選択した周波数帯域において周波数強度を抽出する。
　また、角速度については、上述したような重力の影響を受けないため、バックホウ３００の運動動作を大きく反映する０［Ｈｚ］の周波数成分の周波数強度を、角速度の特徴量データとして抽出する。
　再び、図３のフローチャートの説明に戻る。
　特徴量生成部１１４が時系列の特徴量データを生成すると、動作解析部１１５は、特徴量データを分節して原始的動作の遷移列を抽出し、抽出した遷移列を用いて動作モデル格納部１１６に格納された動作モデルを学習させる（ステップＳ１０３）。
　具体的に、動作解析部１１５は、例えばＮＰＨＭＭに基づき時系列の特徴量データを分節して原始的動作の遷移列を抽出し、抽出した遷移列を用いて動作モデルを学習させる
　ここで、バックホウ３００の土砂を掬う動作と、掬った土砂をダンプトラックに積み込む動作との間には、バックホウ３００の旋回動作が挟まれており、この旋回動作が作業の切り換えの目安となり得る。よって、旋回速度の変化をタイミング予測に用いるため、キャブ３１２Ｂの天面に設置された運動計測装置１４０Ａが計測したヨー角周りの角速度に基づく特徴量データをキーとして、遷移列を並び替えて用いてもよい。
　図６は、動作モデル格納部１１６に格納された動作モデルにおける原始的動作の遷移の例を示すグラフである。
　図６のグラフは、バックホウ３００の運動が１８個の状態に分節された状態遷移を示している。横軸は、教示作業開始後の経過時間［ｓ］、縦軸は、原始的動作を示すＩＤ（識別番号）である。
　図６のグラフ中に示した、時間軸（横軸）に垂直な直線（一点鎖線）は、運動計測装置１４０がタイミング指定信号を受信したとき、すなわちフットスイッチ１５０が押下されたときのタイミングを示す。また、各直線の近傍に表記されたＬ、Ｓ及びＨは、メンテナンスによって付与されたラベルを表す。
　［実動作におけるタイミング予測処理］
　動作モデルの学習を終えたタイミング予測装置１１０が用いられるタイミング予測システム１００の、実動作におけるタイミング予測処理について説明する。本タイミング予測処理の説明におけるバックホウ３００は、観測物体又は建設機械の一例である。バックホウ３００の搭乗者は、準備作業動作に係る実作業の操縦を行う。
　タイミング予測装置１１０及び運動計測装置１４０の電源が投入されると、タイミング予測装置１１０の本体制御部がタイミング予測装置１１０を初期化し、運動計測装置１４０の制御部１４２が運動計測装置１４０を初期化する。外部からの操作により本体制御部が実動作モードに設定されると、本体制御部は、制御部１４２と協働して実動作におけるタイミング予測処理を実行する。
　図７は、タイミング予測システム１００が実行する、実動作におけるタイミング予測処理の概略の手順の例を示すフローチャートである。
　準備作業動作に係る実作業が開始されると、運動計測装置１４０は、自装置に係る運動量を計測するとともに時間（例えば、計測開始指示信号を受信したときからの経過時間）を計時し、運動量及び時間情報を関係付けた運動データをタイミング予測装置１１０に出力する（ステップＳ１１１）。
　タイミング予測装置１１０の運動データ取得部１１３が運動計測装置１４０から運動データを取得すると、取得した運動データを特徴量生成部１１４に出力する。特徴量生成部１１４は、運動データ取得部１１３から入力される運動データを周波数解析して時系列の特徴量データを生成し、生成した特徴量データを動作解析部１１５に出力する（ステップＳ１１２）。
　動作解析部１１５は、特徴量生成部１１４が出力した特徴量データを分節して原始的動作の遷移列を抽出し、抽出した遷移列を予測部１１７に出力する（ステップＳ１１３）。
　予測部１１７は、動作解析部１１５から入力される遷移列と、動作モデル格納部１１６に格納された動作モデルとに基づいて、バックホウ３００の準備作業動作における原始的動作の出現頻度を解析して原始的動作のパターンを抽出する。そして、予測部１１７は、抽出した原始的動作のパターンに基づいて準備作業動作の終了タイミングを予測し、予測した終了タイミングを示すタイミング情報を出力部１１８に出力する（ステップＳ１１４）。
　予測部１１７による準備作業動作の終了タイミングの予測の処理について具体的に説明する。
　遷移列に含まれる原始的動作は、一連の作業過程の中に共通して出現することがある。例えば、土砂を掬う作業と、足元の土砂を均す作業とは、共に土砂を掬い寄せる動作を含むため、その共通する動作に含まれる原始的動作は両方の作業過程に現れる。そこで、予測部１１７は、準備作業動作を、例えば下記の３段階に区分し、各段階の動作を特徴付ける原始的動作を段階的に捉えることにより、準備作業動作が終了するタイミングを予測する。
　まず、土砂の積み込み前、土砂の積み込み中及びその他の作業それぞれにおいて、ラベルが付与される。
　なお、ラベル付与は、積み込みを開始するタイミングにおいてバックホウ３００の搭乗者により押下されるフットスイッチ１５０から入力されるスイッチ信号を基準として行ってもよい。
　バックホウ３００の準備作業動作を、付与されたラベルに基づいて動作ｆ１～動作ｆ３の３段階に区分する。
　動作ｆ１：土砂を掬う。
　動作ｆ２：掬った土砂を持ち上げながら、積み込み予定位置に向けて旋回する。
　動作ｆ３：積み込み予定位置に向けて徐々に旋回速度を遅くする。
　予測部１１７は、それぞれの動作ｆｋを特徴付ける原始的動作ｑｋを、準備作業動作に係る遷移列から抽出する。全ての準備作業動作に共通する予測パターンを抽出するため、式（２）の出現度ｐａｐｐｅ（ｆｋ，ｉ）＝１を満たすｉを原始的動作ｑｋとして抽出する。ただし、ｉが出現する動作ｆｋの数をｎ（ｆｋ，ｉ）、準備作業動作が行われる総数をＮＡとする。
Figure JPOXMLDOC01-appb-M000002
　次に、予測部１１７は、準備作業動作の各段階の動作ｆｋを特徴付ける原始的動作ｑｋを用いて、準備作業動作の終了タイミングを特定するためのパターンＳ（ボールド体）ｋｅｙを抽出する。なお、“（ボールド体）”は、その直前の文字“Ｓ”がボールド体で表されることを意味する。パターンＳ（ボールド体）ｋｅｙ内の原始的動作を繋ぐ条件Ｏ（ｑｋ，ｑｋ＋１）は、動作解析部１１５が出力した遷移列を状態解析して得ても良いし、観察して得てもよい。式（３）により表される原始的動作ｒｋｕを用いると、パターンＳ（ボールド体）ｋｅｙは式（４）として表される。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　パターンＳ（ボールド体）ｋｅｙについて、準備作業動作の終了タイミング予測の正確性を評価するために、予測部１１７は、段階ｇ（ｋ）毎の確信度ｐｃｏｎｆ（ｋ）を定める。
　具体的に、予測部１１７は、正整数ｉを用いてパターンＳ（ボールド体）ｋｅｙ内の原始的動作を捉える段階を以下のように定める。
　段階ｇ（１）：ｑ１を検出する。
　段階ｇ（２ｉ）：段階ｇ（２ｉ－１）の後にＯ（ｑｉ，ｑｉ＋１）を満たす原始的動作を検出し続ける。
　段階ｇ（２ｉ＋１）：段階ｇ（２ｉ）の後に、ｑｉ＋１を満たす原始的動作を検出する。
　段階ｇ（ｋ）に進んだ土砂を均す過程の数をｎＢ（ｋ）とすると、段階毎に準備作業動作の終了時を捉える確信度ｐｃｏｎｆ（ｋ）は式（５）として表される。
Figure JPOXMLDOC01-appb-M000005
　出力部１１８は、予測部１１７から入力されるタイミング情報を外部に出力する（ステップＳ１１５）。例えば、情報処理装置を出力部１１８に接続しておき、出力部１１８が出力するタイミング情報を情報処理装置に取得させてもよい。情報処理装置は、例えば、コンピュータ、携帯情報端末等である。情報処理装置は、取得したタイミング情報に基づき、確信度に応じたタイミングによって、準備作業動作が終了する予測時刻や終了までの時間を算出し、この情報を情報処理装置のユーザに提示させてもよい。
　次に、１２セットの準備作業動作に係る学習用運動量データを用いて動作モデルを作成・学習し、別の４セットの準備作業動作に係る評価用運動量データを用いてパターンＳ（ボールド体）ｋｅｙの抽出を行った実験の結果について説明する。なお、全１６セットの準備作業動作において、１セットあたり４，５回の土砂の積み込み動作を含む。
　学習用運動量データに基づき動作モデルを学習させたことにより、準備作業動作に係る時系列の特徴量データから、図８に示すように１４個の原始的動作が分節された。
　図８は、学習用運動量データに基づき学習させた動作モデルによる、原始的動作の遷移の例を示すグラフである。このグラフは、バックホウ３００の準備作業動作に係る運動が１４個の状態に分節された状態遷移を表している。横軸は教示作業開始後の経過時間［ｓ］、縦軸は原始的動作を示すＩＤ（識別番号）である。図８のグラフに示すとおり、１２セットの本作業において、各動作ｆｋにおける出現率ｐａｐｐｅ（ｆｋ，ｉ）＝１を満たす原始的動作ｑ１、ｑ２及びｑ３のＩＤは、６，２及び１１（図８中のＦ（１）、Ｆ（２）及びＦ（３））であることが検出された。
　原始的動作ｑｋ間の条件Ｏ（ｑｋ，ｑｋ＋１）は、以下のように観察された。
　条件Ｏ（ｑ１，ｑ２）：原始的動作ｒ１ｕのＩＤはｑ１より小さくならない。
　条件Ｏ（ｑ１，ｑ２）：ｑ２を複数回検出する。原始的動作のＩＤがｑ２よりも２以上小さくなると、原始的動作ｒ２ｕのＩＤは、ｑ３まで下降し続ける。
　図９は、準備作業動作の終了タイミングからの事前時間と確信度との関係の例を示すグラフである。図９のグラフにおいて、横軸は終了タイミング（終了時）を０（ゼロ）とした場合の事前時間［ｓ］、縦軸は確信度である。
　学習用運動量データに基づく条件Ｏ（ｑｋ，ｑｋ＋１）を反映したパターンＳ（ボールド体）ｋｅｙは、図９の破線に示すとおりの準備作業動作終了時からの事前時間と確信度との関係となった。図９の破線グラフによれば、タイミング予測装置１１０は、学習用運動量データに基づく場合、終了時前約４．５［ｓ］から略終了時直前まで約０．６の確信度（約６０％の確率）で終了時を予測した。
　また、評価用運動量データに基づき抽出したパターンＳ（ボールド体）ｋｅｙを用いて４回の準備作業動作終了時を予測した結果は、図９の実線に示すとおりとなった。図９の実線グラフによれば、タイミング予測装置１１０は、評価用運動量データに基づく場合、終了時約６［ｓ］前から約０．８［ｓ］前まで約０．６７の確信度（約６７％の確率）、終了時約０．８［ｓ］前から略終了時直前まで１の確信度（１００％の確率）で終了時を予測した。
　以上、説明したように、本実施の形態では、準備作業動作を行うバックホウ３００（観測物体）における３個所についての運動データを取得し、運動データを周波数解析することにより特徴量データを生成し、特徴量データを分節して原始的動作の遷移列を抽出し、遷移列と、運動動作を行うバックホウ３００（教示物体）の運動状態を分節し得られる原始的動作の遷移列を学習することによって得られる動作モデルとに基づいて、準備作業動作における原始的動作の出現頻度を解析して原始的動作のパターンを抽出することにより、準備作業動作の終了タイミングを予測する。
　このような構成によれば、運動動作を行うバックホウ３００（観測物体）の準備作業動作の終了タイミングを予測することができる。
　また、本実施の形態では、バックホウ（観測物体）が行う準備作業動作を３つの動作に区分し、区分した動作毎に、抽出した遷移列と動作モデルとに基づいて、動作における原始的動作の出現頻度を解析して原始的動作のパターンを抽出し、パターンを段階的に評価して確信度を算出し、確信度に応じて、準備作業動作の終了タイミングを予測する。
　このように、区分された複数の動作に着目してパターンを段階的に評価することにより、準備作業動作の終了タイミングの予測の精度が向上する。
　なお、準備作業動作の終了タイミングを予測するための解析に要する区分数は３に限定されない。区分しなくてもよいし、当該作業に含まれる特徴的な動作やバックホウ３００の運動に係る構造等に応じて区分数を決めてもよい。
　また、本実施の形態では、取得した運動データを周波数解析することにより、準備作業動作に起因して生ずる周波数成分が含まれる周波数帯域を選択し、選択した周波数帯域において特徴量データを生成する。
　このような構成によれば、例えば、重力成分やバックホウ３００が持つ固有振動等の影響を排除し又は抑えて、バックホウ３００の運動量の周波数解析を正確かつ高品質に行うことができる。
　また、本実施の形態では、動作モデルには隠れマルコフモデルが適用されるとともに、隠れマルコフモデルを適用した計算処理により、特徴量データを分節して原始的動作の遷移列を抽出する。
　このような構成によれば、バックホウ３００の準備作業動作に含まれる細かな動作要素を抽出し、その遷移を詳しく捉えることができる。
　また、本実施の形態では、運動データは、角速度データ及び加速度データを含む。
　このような構成によれば、バックホウ３００の動作の慣性データを取得することができ、動作の特徴を効率的・効果的に抽出させることができる。
　［変形例１］
　バックホウ３００の掬取対象物は主に土砂であるが、バックホウ３００の動作、特にバケット３２４の動作は、扱う土砂の種類によって微妙に異なることがある。例えば、砕石のような単位体積当たりの質量や掬取に係る抵抗力が比較的大きな掬取対象物を扱う場合と、木材チップのような単位体積当たりの質量や掬取に係る抵抗力が比較的小さな掬取対象物を扱う場合とでは、アーム３２２やバケット３２４の動作に違いが生じ得る。このような場合、掬取対象物に特徴付けられた動作が分節されて原始的動作として抽出されることになる。
　そこで、予測部１１７は、掬取対象物を掬い取って旋回させるという大きな（基本的・原則的な）動作の特徴を抽出し、掬取対象物の違いに応じて動きを微調整するような小さな（補助的な）動作を無視するように解析処理を実行してもよい。
　このような解析処理を実行することにより、予測部１１７は、掬取対象物の違いに影響を受けずに準備作業動作の終了タイミングを予測することができる。例えば、砂利等の土砂に軽土が混入しているか否かによらず、また、混入した軽土の割合の大きさによらず、準備作業動作の終了タイミングを、安定した確信度で予測することができる。
　［変形例２］
　タイミング予測装置１１０を、バックホウ３００から土砂を積み受けるダンプトラックに搭載して建設機械システムを構成してもよい。具体的に、建設機械の一例であるバックホウ３００のキャブ３１２Ｂ、ブーム３２１及びアーム３２２に設置された運動計測装置１４０Ａ、運動計測装置１４０Ｂ及び運動計測装置１４０Ｃと、ダンプトラックに搭載されたタイミング予測装置１１０とを含む建設機械システムは、以下の構成としてもよい。
　タイミング予測装置１１０の出力部１１８に情報処理装置を接続する。情報処理装置には出力装置を接続する。情報処理装置は、タイミング予測装置１１０から取得したタイミング情報に基づき、確信度に応じたタイミングによって、準備作業動作が終了する予測時刻や終了までの時間を算出し、算出した時間の情報を、出力装置を用いてダンプトラックの運転者に提示するようにしてもよい。
　つまりこの建設機械システムは、“何秒後にバックホウ３００からの積み込みが開始される”という予測情報を、ダンプトラックの運転者に通知するリマインドシステム（警報システム）を実現するものである。
　具体例として、情報処理装置に音声出力装置を接続しておき、算出された時間の情報と、積み込み準備が完了することを示すアナウンス情報とを音声認識処理することによって、例えば、「○秒後に積み込み準備が完了します。」という音声による予告情報を、音声出力装置から出力させてもよい。
　また、別の具体例として、情報処理装置に表示装置を接続しておき、算出された時間の情報と、積み込み準備が完了することを示すアナウンス情報とに基づく、テキストや図形等の情報を表示装置に表示させてもよい。
　また、この建設機械システムにおいて、タイミング予測装置１１０をバックホウ３００に搭載し、情報処理装置及び出力装置をダンプトラックに搭載してもよい。
　［変形例３］
　バックホウ３００が土砂を均し、土砂を掬い、旋回して積み込む一連の動作は反復動作である。よって、運動計測装置１４０からの一連の運動量データを情報処理装置に取得させ、情報処理装置が、一連の運動量データに基づいてブーム３２１やアーム３２２の姿勢を統計的に解析して認識し、認識した姿勢に基づいてバケット３２４の位置を算出するようにすれば、バケット３２４の積み込み位置を予測することができる。
　これにより、バックホウ３００の積み込み準備の終了タイミングと、バケット３２４の積み込み位置とを予測することができ、ダンプトラックの自動運転化を支援することができる。
　なお、運動計測装置１４０にＧＰＳを備え、ＧＰＳに衛星からの測位データを受信させることによって自装置の位置を計測し、計測して得た位置データを出力するようにしてもよい。位置データは、例えば、緯度、経度及び高度の情報を含む。情報処理装置が位置データを取得することにより、位置データに基づいてバケット３２４の位置を算出してもよい。
　また、ダンプトラックにもＧＰＳを備えてもよい。運動計測装置１４０及びダンプトラックがそれぞれの位置を計測し、計測して得た位置データを情報処理装置に出力することにより、情報処理装置がバケット３２４とダンプトラックとの相対距離及び方向を取得することができる。そして、情報処理装置が、取得した相対距離及び方向に基づいて、バックホウ３００によるダンプトラックへの積み込み中の状態を推定することができる。
　これにより、準備作業動作の終了タイミングの精度をより向上させることができる。
　上記の建設機械システムによれば、バックホウ３００が土砂を均し、土砂を掬い、旋回して積み込み準備を完了させる動作の中で、積み込み準備が完了するまでにダンプトラックを移動させて積み込み位置に停車させることを容易にし、効率的な積み込み作業を実現することができる。
　［変形例４］
　また、本実施の形態では、運動計測装置１４０をキャブ３１２Ｂ、ブーム３２１及びアーム３２２の３個所に設置してバックホウ３００の運動を計測する例としたが、運動計測装置１４０の設置場所は本例に限定されない。例えば、運動計測装置１４０は、バケット３２４の外側側面等の掘削や掬取に支障がない個所に設置されてもよい。また、運動計測装置１４０は、キャブ３１２Ｂ、ブーム３２１及びアーム３２２の３個所に加えて、バケットリンク３２３とバケット３２４との間の位置に更に設置されてもよい。
　これにより、バケット３２４の微妙な動作を捉えた運動動作の解析を行うことができる。
　図１０は、タイミング予測装置１１０として機能するコンピュータ１０００の概略のハードウェア構成の一例を示す図である。本実施の形態に係るコンピュータ１０００は、ホストコントローラ１１００により相互に接続されるＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１２００、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１３００及びグラフィックコントローラ１４００を有するＣＰＵ周辺部と、入出力コントローラ１５００によりホストコントローラ１１００に接続されるＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１６００、通信Ｉ／Ｆ（ｉｎｔｅｒｆａｃｅ）１７００、ハードディスクドライブ１８００及び入出力チップ１９００を有する入出力部と、を備える。
　ＣＰＵ１２００は、ＲＯＭ１６００及びＲＡＭ１３００に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィックコントローラ１４００は、ＣＰＵ１２００等がＲＡＭ１３００内に設けたフレーム・バッファ上に生成する画像データを取得し、ディスプレイ上に表示させる。これに代えて、グラフィックコントローラ１４００は、ＣＰＵ１２００等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
　通信Ｉ／Ｆ１７００は、有線又は無線によりネットワークを介して他の装置と通信する。また、通信Ｉ／Ｆ１７００は、通信を行うハードウェアとして機能する。ハードディスクドライブ１８００は、ＣＰＵ１２００が使用するプログラム及びデータを格納する。
　ＲＯＭ１６００は、コンピュータ１０００が起動時に実行するブート・プログラム、及びコンピュータ１０００のハードウェアに依存するプログラム等を格納する。入出力チップ１９００は、例えば、パラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ１５００へと接続する。
　ＲＡＭ１３００を介してハードディスクドライブ１８００に提供されるプログラムは、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）カード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ１３００を介してハードディスクドライブ１８００にインストールされ、ＣＰＵ１２００において実行される。
　コンピュータ１０００にインストールされ、コンピュータ１０００をタイミング予測装置１１０として機能させるプログラムは、ＣＰＵ１２００等に働きかけて、コンピュータ１０００を、タイミング予測装置１１０の各部としてそれぞれ機能させてよい。これらのプログラムに記述された情報処理コードは、コンピュータ１０００に読み込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段であるスイッチ信号受信部１１１、タイミング指定部１１２、運動データ取得部１１３、特徴量生成部１１４、動作解析部１１５、動作モデル格納部１１６、予測部１１７及び出力部１１８として機能する。そして、これらの具体的手段によって、本実施の形態におけるコンピュータ１０００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有のタイミング予測装置１１０が構築される。
　なお、コンピュータ１０００において、ホストコントローラ１１００、ＣＰＵ１２００、ＲＡＭ１３００、グラフィックコントローラ１４００、入出力コントローラ１５００及びＲＯＭ１６００は、制御部１００１として実装されてもよい。
　図１１は、変形例における制御部１００１の構成の一例を示す図である。制御部１００１は、ホストコントローラ１１００、ＣＰＵ１２００、ＲＡＭ１３００、グラフィックコントローラ１４００、入出力コントローラ１５００及びＲＯＭ１６００を備える。
　ＣＰＵ１２００、グラフィックコントローラ１４００及び入出力コントローラ１５００がＲＡＭ１３００、ＲＯＭ１６００及びハードディスクドライブ１８００に記憶されたプログラムを読み出し、読み出したプログラムを実行することによって、コンピュータ１０００（すなわちは、タイミング予測装置１１０）は、制御部１００１、通信Ｉ／Ｆ１７００、ハードディスクドライブ１８００及び入出力チップ１９００を備える装置として機能する。
　また、ＣＰＵ１２００、グラフィックコントローラ１４００及び入出力コントローラ１５００がＲＡＭ１３００、ＲＯＭ１６００及びハードディスクドライブ１８００に記憶されたプログラムを読み出し、読み出したプログラムを実行することによって、制御部１００１は、タイミング指定部１１２、運動データ取得部１１３、特徴量生成部１１４、動作解析部１１５、予測部１１７を備える装置として機能する。すなわち、制御部１００１は、タイミング指定部１１２、運動データ取得部１１３、特徴量生成部１１４、動作解析部１１５、予測部１１７を備える。なお、入出力チップ１９００と通信Ｉ／Ｆ１７００とは、スイッチ信号受信部１１１の一例である。
　ハードディスクドライブ１８００は、動作モデル格納部１１６の一例である。なお、ハードディスクドライブ１８００は、磁気ハードディスク装置や半導体記憶装置などのコンピュータ読み出し可能な記憶媒体装置である。
　なお、動作モデルとは、上述したように原始的動作の遷移列を学習することによって得られる。また、上述したように動作モデルには隠れマルコフモデルが適用され、動作モデルは隠れマルコフモデルを適用した計算処理により、特徴量データを分節して原始的動作の遷移列を抽出する。また上述したように、動作解析部１１５は、学習モードにおいて、原始的動作の遷移列を動作モデルに入力し、動作モデルを学習させる。動作解析部１１５は、実動作モードにおいて時系列の特徴量データを分節して原始的動作の遷移列を抽出する。
　そして、隠れマルコフモデルは、上述したように、時系列の特徴量データを分節して原始的動作の遷移列を抽出することに用いられる手法の一例である。そのため、動作モデルは、時系列の特徴量データと原始的動作の遷移列との関係を示す数理モデルであって、学習モードにおいては、機械学習の方法により更新される数理モデル（すなわち学習モデル）である。なおより詳しくは、原始的動作の遷移列を抽出する手法の一例は、隠れマルコフモデルを適用したマルコフ連鎖モンテカルロ法（Ｍａｒｋｏｖ　ｃｈａｉｎ　Ｍｏｎｔｅ　Ｃａｒｌｏ　ｍｅｔｈｏｄｓ；ＭＣＭＣ）アルゴリズムを用いることで、時系列の特徴量データを分節する方法である。隠れマルコフモデルは、原始的動作間の遷移確率をモデル化する。
　したがって、より具体的には、動作モデルは時系列の特徴量データに基づき原始的動作の遷移列を推定する学習モデルである。機械学習の方法は、教師無しの学習であってもよいし、教師ありの学習であってもよい。例えば上述の隠れマルコフモデルは、教師無しの隠れマルコフモデルであってもよい。教師ありの場合には、学習データ（すなわち説明変数側のデータ）が時系列の特徴量データであり、正解データ（すなわち目的変数側のデータ）が原始的動作の遷移列であるデータセットが学習に用いられる。
　動作解析部１１５は、実動作モードにおいて、学習済みの動作モデルを用いて、入力された時系列の特徴量データに基づき原始的動作の遷移列を推定する。したがって、動作解析部１１５によって推定された原始的動作の遷移列が、上述の抽出された原始的動作の遷移列である。なお学習済みの学習モデルとは、学習について所定の終了条件が満たされたことを意味する。所定の終了条件は、例えば所定の回数の学習が行われたという条件である。所定の終了条件は、例えば学習による学習モデルの変化が所定の変化よりも小さい、という条件であってもよい。
　なお、学習モデルの更新とは、学習モデルにおけるパラメータの値を好適に調整することを意味する。好適に調整する処理は、例えば予め定められた損失を小さくする処理である。損失は、例えば学習モデルを用いた推定の結果と正解データとの違いを示す情報である。
　また、学習モデルの更新とは、学習モデルを表現する電子回路、電気回路、光回路、集積回路等の回路であって学習モデルを表現する回路、が学習によって更新されることでもある。学習によって回路が更新されるとは、回路のパラメータの値が更新されることを意味する。学習モデルを表現する回路のパラメータの値を更新することで、回路が表現する学習モデルのパラメータの値が更新される。
　なお、タイミング予測装置１１０は、必ずしも学習モードの動作を実行する必要は無い。タイミング予測装置１１０は、学習モードの動作を実行せず、外部の装置が生成した学習済みの動作モデルを用いて実動作モードの動作を実行する装置であってもよい。また、タイミング予測装置１１０は、必ずしも実動作モードの動作を実行する必要は無い。タイミング予測装置１１０は、実動作モードの動作を実行せず、学習モードの動作を実行する装置であってもよい。
　上述したように運動計測装置１４０は、３軸それぞれの角速度データ及び加速度データ並びに時間情報を関係付けた運動データを出力する。そのため特徴量生成部１１４が生成する特徴量データは、例えば、１８次元運動データの各運動データから得られる１８種の特徴量データである。１８次元運動データは、アーム３２２、ブーム３２１及びキャブ３１２Ｂのそれぞれについての直交する３軸方向の角速度及び加速度を示す合計１８種の運動データである。以下、１８次元運動データの各運動データから得られる１８種の特徴量データの集合を以下、１８次元特徴量データ集合という。
　１８次元特徴量データ集合の各要素の内容をより具体的に説明する。１８種のうちの６種は、アーム３２２の直交する３軸方向それぞれについての角速度と加速度との合計６種の運動データそれぞれから得られる６種の特徴量データである。以下、アーム３２２の直交する３軸方向それぞれについての角速度と加速度との合計６種の運動データそれぞれから得られる６種の各特徴量データを、アーム６次元特徴量データという。
　１８種のうちの６種は、ブーム３２１の直交する３軸方向それぞれについての角速度と加速度との合計６種の運動データそれぞれから得られる６種の特徴量データである。以下、ブーム３２１の直交する３軸方向それぞれについての角速度と加速度との合計６種の運動データそれぞれから得られる６種の各特徴量データを、ブーム６次元特徴量データという。
　１８種のうちの６種は、キャブ３１２Ｂの直交する３軸方向それぞれについての角速度と加速度との合計６種の運動データそれぞれから得られる６種の特徴量データである。以下、キャブ３１２Ｂの直交する３軸方向それぞれについての角速度と加速度との合計６種の運動データそれぞれから得られる６種の各特徴量データを、キャブ６次元特徴量データという。
　このように、１８次元特徴量データ集合は、６種のアーム６次元特徴量データと、６種のブーム６次元特徴量データと、６種のキャブ６次元特徴量データとの集合である。
　１８次元特徴量データは、例えば１８種の各特徴量データの値をそれぞれ要素とする合計１８の要素を有するテンソルで表現される。合計１８の要素を有するテンソルは、例えば１８次元のベクトルである。
　なお特徴量生成部１１４が生成する特徴量データは、必ずしも１８次元特徴量データ集合の１８種の特徴量データである必要は無い。特徴量生成部１１４が生成する特徴量データは、基本特徴量データ集合の３種の特徴量データであってもよい。基本特徴量データ集合は、アーム１次元特徴量データと、ブーム１次元特徴量データと、キャブ１次元特徴量データとの３種の特徴量データの集合である。
　アーム１次元特徴量データは、アーム３２２のＺ軸方向の角速度を示す運動データから得られる特徴量データである。ブーム１次元特徴量データは、ブーム３２１のＺ軸方向の角速度を示す運動データから得られる特徴量データである。キャブ１次元特徴量データは、キャブ３１２ＢのＺ軸方向の角速度を示す運動データから得られる特徴量データである。
　アーム３２２のＺ軸方向は、アーム３２２とブーム３２１との間の関節の回転軸に平行な方向である。アーム３２２の中心軸とは、アーム３２２の両端のジョイントとジョイントとを結ぶ軸である。このようにアーム３２２のＺ軸方向の角速度とは、アーム３２２の関節角に対応する角速度である。
　ブーム３２１のＺ軸方向は、ブーム３２１と上部旋回体３１２との間の関節の回転軸に平行な方向である。ブーム３２１の中心軸とは、ブーム３２１の両端のジョイントとジョイントとを結ぶ軸である。このように、ブーム３２１のＺ軸方向の角速度とは、ブーム３２１の関節角に対応する角速度である。
　キャブ３１２ＢのＺ軸方向とは、上部旋回体３１２の回転軸に平行である。キャブ３１２Ｂの中心軸とは、バックホウ３００が位置する地表面に垂直な方向である。このように、キャブ３１２ＢのＺ軸方向の角速度とは、キャブ３１２Ｂの関節角に対応する角速度である。
　そのため、アーム３２２、ブーム３２１及びキャブ３１２Ｂの各Ｚ軸方向の角速度の合計３種の角速度は、ジョイントと同軸の３次元の角速度である。このように、アーム３２２、ブーム３２１及びキャブ３１２Ｂの各Ｚ軸方向の角速度は、バックホウ３００の運動動作によって生じた移動であって、その運動動作に対応する関節軸周りの回転移動、の角速度である。
　なお対応する関節軸は、アーム３２２については、アーム３２２のＺ軸方向である。アーム３２２のＺ軸方向とは、アーム３２２とブーム３２１との間のジョイントの回転軸に平行な方向である。なお対応する関節軸は、ブーム３２１については、ブーム３２１のＺ軸方向である。ブーム３２１のＺ軸方向とは、ブーム３２１とキャブ３１２Ｂとの間のジョイントの回転軸に平行な方向である。なお対応する関節軸は、キャブ３１２Ｂについては、キャブ３１２ＢのＺ軸方向である。キャブ３１２ＢのＺ軸方向は、バックホウ３００が位置する地表面に垂直な方向、又は、キャブ３１２Ｂと下部走行体３１１との間のジョイントの回転軸に平行な方向、である。
　すなわち、アーム３２２のＺ軸方向の角速度は、バックホウ３００の運動動作によって生じたアーム３２２の関節軸周りの回転移動の角速度である。ブーム３２１のＺ軸方向の角速度は、バックホウ３００の運動動作によって生じたブーム３２１の関節軸周りの回転移動の角速度である。キャブ３１２ＢのＺ軸方向の角速度は、バックホウ３００の運動動作によって生じたキャブ３１２Ｂの関節軸周りの回転移動の角速度である。
　なお、準備作業動作は運動動作の一例である。したがって、特徴量生成部１１４が生成する基本特徴量データ集合の３種の特徴量データは、運動動作によって生じた移動であって対応するジョイントの回転軸周りの移動に成分を有する移動、の角速度を示す運動データから得られる特徴量データであってもよい。すなわち、特徴量生成部１１４が生成する基本特徴量データ集合の３種の特徴量データは、運動動作によって生じたアーム３２２、ブーム３２１及びキャブ３１２Ｂの各関節軸周りの回転移動の角速度であってもよい。
　アーム３２２、ブーム３２１及びキャブ３１２Ｂの各Ｚ軸方向の角速度は鉛直方向に成分を有する移動の角速度であるため、アーム３２２、ブーム３２１及びキャブ３１２Ｂの各Ｚ軸方向の角速度は、操縦動作の影響を他の方向の角速度よりも強く受ける頻度が高い。操縦動作の影響を強く反映した特徴量は、動作モデルへの操縦動作の依存を強化し、重力や機体の揺れ等が動作を分節することを防ぐ効果を奏する。
　バックホウ３００は採掘を行う装置であるためＺ軸方向の動作を行う頻度が他の方向の動作を行う頻度よりも高い。したがってタイミング予測装置１１０は、１８次元特徴量データ集合の１８種の特徴量データを用いる場合よりも基本特徴量データ集合の３種の特徴量データを用いる方がより高い精度で準備作業動作の終了タイミングを予測できる場合がある。その理由は以下の通りである。
　特徴量データとして１８次元特徴量データ集合の１８種の特徴量データを用いる場合、タイミング予測装置１１０の予測には、重力の影響が相対的に弱い情報も用いられる。１８次元特徴量データ集合の１８種の特徴量データを用いる方が基本特徴量データ集合の３種の特徴量データを用いるよりも情報の量自体は多い。しかしながら情報にはノイズが混じるものである。このため、情報の数が多くなるほど操縦動作の影響の情報よりもノイズの情報の方が多くなる場合がある。
　操縦動作の影響の情報よりもノイズの情報の方が多くなる場合があるため、タイミング予測装置１１０の予測に用いられる特徴量データの種数については、必ずしも数が多い方が好ましいわけではない。この理由により、タイミング予測装置１１０の予測に用いられる特徴量データは、基本特徴量データ集合の３種の特徴量データ等の１８種よりも少ない種類の特徴量データである方が、そうではない場合よりも好ましい場合がある。
　なお、１８次元特徴量データ集合の１８種の特徴量データのうちの加速度から得られる特徴量データについては、バックホウ３００の姿勢と運動計測装置１４０の姿勢との影響を角速度よりも強く受ける。そのため、特徴量生成部１１４は、必ずしも、加速度から得られる特徴量データを生成する必要は無い。
　なお、１８次元特徴量データ集合の１８種の特徴量データに代えて基本特徴量データ集合の３種の特徴量データが用いられる場合、特徴量生成部１１４には１８種の運動データが入力されてもよいし、３種の運動データだけが入力されてもよい。特徴量生成部１１４には、アーム３２２、ブーム３２１及びキャブ３１２Ｂの各Ｚ軸方向の角速度の合計３種の各角速度を示す運動データが少なくとも入力されればよい。仮に１８種の運動データが入力されても、特徴量生成部１１４はそのうちのアーム３２２、ブーム３２１及びキャブ３１２Ｂの各Ｚ軸方向の角速度の合計３種の各角速度を示す運動データだけを用いて、基本特徴量データ集合の３種の特徴量データを生成すればよい。
　タイミング予測装置１１０を用いて行われた第１評価実験の実験結果の一例を示す。第１評価実験は、特徴量データとして１８次元特徴量データ集合の１８種の特徴量データが用いられる場合と、基本特徴量データの３種の特徴量データが用いられる場合とのタイミング予測装置１１０による予測の精度を比較する実験であった。
　図１２は、変形例における第１評価実験の実験結果の一例を示す図である。図１２は、結果Ｄ１０１、結果Ｄ１０２及び結果Ｄ１０３の３つの実験結果を示す。結果Ｄ１０１は、経験豊富な操縦者Ａが小さな機体αを操縦する場合の準備作業動作の終了タイミングをタイミング予測装置１１０が予測した結果の確信度を示す。結果Ｄ１０２は、経験豊富な操縦者Ａが大きな機体βを操縦する場合の準備作業動作の終了タイミングをタイミング予測装置１１０が予測した結果の確信度を示す。結果Ｄ１０３は、経験の浅い操縦者Ｂが大きな機体βを操縦する場合の準備作業動作の終了タイミングをタイミング予測装置１１０が予測した結果の確信度を示す。小さな機体αと大きな機体βとはどちらもバックホウ３００の一例である。
　経験豊富な操縦者Ａは、累計操縦時間が９０時間であって、積み込み前動作の平均時間が（１９．５±３．３）秒の操縦者であった。経験の浅い操縦者Ｂは、累計操縦時間が３５時間であって、積み込み前動作の平均時間が（３１．３５±１３．０）秒の操縦者であった。
　小さな機体αは、アーム長が１０．１メートルであり、バケット体積が１．４立方メートルであり、作業時のゆれは大きな機体βよりも少ない。大きな機体βは、アーム長が１２．６メートルであり、バケット体積が２．８立方メートルであり、作業時のゆれは小さな機体αよりも大きい。
　Ｄ３は、タイミング予測装置１１０の用いた特徴量データが基本特徴量データ集合の３種の特徴量データであったことを示す。Ｄ１８は、タイミング予測装置１１０の用いた特徴量データが１８次元特徴量データ集合の１８種の特徴量データであったことを示す。
　データセットＡ、データセットＢ、データセットＣ及びデータセットＤの４つのデータセットについて説明する。４つのデータセットは、いずれも同じ操縦者と同じバックホウとの組合せ行われた１６回の積み込み作業のデータの一部である。実験では、１６回のデータは４回のデータずつ第１組、第２組、第３組及び第４組の４つの組に分けられた。すなわち、第１組、第２組、第３組及び第４組はそれぞれ４回のデータを含み、異なる組は同一のデータを有さなかった。
　実験では、第１組～第４組のうちの３組のデータが学習に用いるデータとして用いられ、残りの１組のデータが評価に用いられた。４つのデータセットの違いは、この学習に用いられた３組と、評価に用いられた１組との組み合わせの違いである。すなわち、４つのデータセットの１つは、第１組、第２組及び第３組のデータが学習に用いられ、第４組のデータが評価に用いられるデータセットであった。４つのデータセットの他の１つは、第２組、第３組及び第４組のデータが学習に用いられ、第１組のデータが評価に用いられるデータセットであった。４つのデータセットの１つは、第３組、第４組及び第１組のデータが学習に用いられ、第２組のデータが評価に用いられるデータセットであった。４つのデータセットの残りの１つは、第４組、第１組及び第２組のデータが学習に用いられ、第３組のデータが評価に用いられるデータセットであった。
　確信度は、１が最大値であり、１に近いほど確信の度合が高いことを示す。すなわち確信度は、１に近いほど予測が正しい可能性が高いことを示す。
　結果Ｄ１０２は、特徴量データが１８次元特徴量データ集合の１８種の特徴量データである場合には、タイミング予測装置１１０は確信度が１．０である予測をできなかったことを示す。一方結果Ｄ１０２は、特徴量データが基本特徴量データ集合の３種の特徴量データである場合には、タイミング予測装置１１０は確信度が１．０である予測をできたことを示す。
　結果Ｄ１０１～結果Ｄ１０３は、タイミング予測装置１１０の用いた特徴量データが基本特徴量データの３種の特徴量データである場合には、結果Ｄ１０１～結果Ｄ１０３の全てで、確信度１．０の予測が行われたことを示す。
　このように図１２は、特徴量データの種数は必ずしも大きければよい、というものではないことを示す。
　タイミング予測装置１１０を用いて行われた第２評価実験の実験結果の一例を示す。第２評価実験では、特徴量データとして、基本特徴量データ集合の３種の特徴量データが用いられた。第２評価実験は、実動作モードの慣性計測装置の位置姿勢と学習モードで学習に用いられたデータの取得時の慣性計測装置の位置姿勢とが異なる場合について、タイミング予測装置１１０による予測の精度を評価する実験であった。慣性計測装置は、具体的には運動計測装置１４０である。以下、慣性計測装置とは運動計測装置１４０を意味する。以下の図１３～図１５は、第２評価実験を説明する説明図である。
　図１３は、変形例における第２評価実験を説明する第１の説明図である。図１３は、慣性計測装置Ｄ１と慣性計測装置Ｄ２とを示す。慣性計測装置Ｄ１の配置は、学習モードで学習に用いられた運動データの取得時のキャブ上の慣性計測装置の配置の一例である。慣性計測装置Ｄ２の配置は、実動作モードで用いられた運動データの取得時のキャブ上の慣性計測装置の配置の一例である。慣性計測装置Ｄ１と慣性計測装置Ｄ２とは向きが１３５°異なる。
　図１４は、変形例における第２評価実験を説明する第２の説明図である。図１４は、慣性計測装置Ｄ３と慣性計測装置Ｄ４とを示す。慣性計測装置Ｄ３の配置は、学習モードで学習に用いられた運動データの取得時のブーム側面の慣性計測装置の配置の一例である。慣性計測装置Ｄ４の配置は、実動作モードで用いられた運動データの取得時のブーム側面の慣性計測装置の配置の一例である。慣性計測装置Ｄ３と慣性計測装置Ｄ４とは向きが１３５°異なる。
　図１５は、変形例における第２評価実験を説明する第３の説明図である。図１５は、慣性計測装置Ｄ５と慣性計測装置Ｄ６とを示す。慣性計測装置Ｄ５の配置は、学習モードで学習に用いられた運動データの取得時のアーム側面の慣性計測装置の配置の一例である。慣性計測装置Ｄ６の配置は、実動作モードで用いられた運動データの取得時のアーム側面の慣性計測装置の配置の一例である。慣性計測装置Ｄ５と慣性計測装置Ｄ６とは配置された位置が異なる。具体的には、慣性計測装置Ｄ６は慣性計測装置Ｄ５から１メートル離れた位置に配置された。
　図１６は、変形例における第２評価実験の実験結果の一例を示す図である。より具体的には、図１６は、運動データの取得時の慣性計測装置の配置が学習モードと実動作モードとで異なる場合の結果の一例を示す。第２評価実験では３回の積み込み時期であった。なお、積み込み時期は、バックホウ３００がダンプトラックへ土砂を積み込める状態になった時期である。そのため、積み込み時期はダンプトラックをバックホウ３００へ向かわせるタイミングであり、予測すべきタイミングである。したがって、３回の積み込み時期は、３回の予測すべきタイミングを意味する。図１６の結果は、タイミング予測装置１１０が積み込み時期を予測した際の性能を確信度で表わした結果である。図１６は、データセットＡ～Ｄの全てで確信度が１．０であったことを示す。
　図１６は、特徴量データとして基本特徴量データが用いられた場合、学習モードと実動作モードとで慣性計測装置の配置に違いがあっても、タイミング予測装置１１０は高い確信度で予測できることを示す。これは、上述したように姿勢を反映する特徴量データを削減したためである。なお、削減するとは、用いない、ということを意味する。そのため図１６は、姿勢を反映する特徴量データを削減したことで、学習モードと実動作モードとの間の慣性計測装置の配置の違いに対するタイミング予測装置１１０のロバスト性が高まったことを示す。
　予測部１１７は、動作を特徴づける原始的動作ｑｋ（以下「キー動作ｑｋ」という。）を動作解析部１１５が抽出した原始的動作の遷移列から抽出する処理として以下のキー動作抽出処理を実行してもよい。キー動作抽出処理では、以下の式（６）で定義されるｑｋがキー動作ｑｋとして抽出される。
Figure JPOXMLDOC01-appb-M000006
　ＮＬは、学習データ内の積み込み前の動作の総数を表す。ｎＬ（ｑｋ）は、積み込み前にキー動作ｑｋが出現する総数を表す。（ｉ）ｔｑｋは、積み込み前の動作のうちｉ番目の動作でキー動作ｑｋが出現した時刻を表す。
　予測部１１７は、キー動作抽出処理において、原始的動作の遷移列に基づき式（６）を満たすｑｋを推定する。予測部１１７は、このようにして推定したｑｋをキー動作として取得する。
　予測部１１７は、キー動作抽出処理の次に、パターン取得処理を実行する。パターン取得処理は、以下の制約条件を満たす遷移を準備作業動作の終了タイミングとして特定するためにキー動作間の遷移の出現確率の時間平均Ｓ（ボールド体）を取得する処理である。
　パターン取得処理のより具体的な説明のため、キー動作間の最大時間長ｌｑｋ ｑｋ＋１と、キー動作間の遷移の出現確率の時間平均（ｉ）Ｓｑｋ ｑｋ＋１（ｔ）の最小値ｔｈｑｋ ｑｋ＋１とを説明する。
　最小値ｔｈｑｋ ｑｋ＋１と時間平均（ｉ）Ｓｑｋ ｑｋ＋１（ｔ）とは、以下の式（７）～式（１０）で定義される。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
　（ｉ）Ｆｑｋ ｑｋ＋１（ｊ、ｋ）は時刻（ｉ）ｔｑｋから時刻（ｉ）ｔｑｋ＋１までの期間において動作識別子ｊの動作から動作識別子ｋの動作への遷移の出現の有無を示す行列である。動作識別子はキー動作同士を区別する識別子である。ｚｔ０の定義は、時刻t0に検出された原始的動作である。ｚｔ０＋１の定義は、時刻（ｔ０＋１）に検出された原始的動作、である。
　（ｉ）ｎｑｋ ｑｋ＋１（ｊ、ｋ）は時刻（ｉ）ｔｑｋから時刻（ｉ）ｔｑｋ＋１までの期間において動作識別子ｊの動作から動作識別子ｋの動作への遷移の出現の総数である。
　パターン取得処理において予測部１１７は、キー動作ｑｋからキー動作ｑｋ＋１の間でモデル内に含まれない原始的動作を挟んだ際にも対応するためにｌｑｋ＋１ ｑｋを設ける。設けるとは、積み込みを分節化して得られたキー動作ｑｋに基づきキー動作ｑｋ＋１に遷移する時刻を得た後に、その時刻の最大値を閾値として設定する、ことを意味する。情報を設定するとは、ＲＡＮ１３００やＲＯＭ１６００やハードディスクドライブ１８００等の記憶装置に情報が記録されることを意味する。記録は、例えばＣＰＵ１２００が行う。
　対応するとは積み込み前予測が機能することを意味する。なお機能するとは、予測部１１７によって処理が実行されることを意味する。パターン取得処理において予測部１１７は次に、モデル内と同等の時間でモチーフ内のキー動作を発見すれば、同様の積み込み前動作を行っていると判定する処理が実行される。以下、その区間を時刻（ｉ）ｔｑｋから時刻（ｉ）ｔｑｋ＋１までの期間と定義する。その区間とは、予測部１１７によって発見されたモチーフ内のキー動作が生じた期間である。
　なお、ｌｑｋ＋１ ｑｋの定義はキー動作ｑｋを検出してから、キー動作ｑ（‘ｋ＋１）を検出するまでの最大時間である。キー動作ｑｋ＋１の定義は、時系列において、キー動作ｑｋの次に出現するキー動作、という定義である。パターン取得処理において予測部１１７は次に、これらの対応するキー動作を探す時間（以下「探索時間」という。）の閾値ｌｑｋ＋１ ｑｋを設定する。上述したように、情報を設定するとは、ＲＡＮ１３００やＲＯＭ１６００やハードディスクドライブ１８００等の記憶装置に情報が記録されることを意味する。記録は、例えばＣＰＵ１２００が行う。パターン取得処理において予測部１１７は次に、閾値ｌｑｋ＋１ ｑｋに基づいて、その時間（すなわち探索時間）内で対応するキー動作を探す。パターン取得処理において予測部１１７は次に、積み込み前動作を予測する。
　制約条件について説明する。制約条件は、キー動作ｑｋからキー動作ｑｋ＋１の間の原始的動作の出現確率の時間平均（ｉ）Ｓｑｋ ｑｋ＋１（ｔ）が最小値ｔｈｑｋ ｑｋ＋１よりも大きい、という条件である。
　パターン取得処理において予測部１１７は、キー動作間の最大時間長ｌｑｋ＋１ ｑｋを超えてモデル内と一致しない遷移を観察される原始的動作の遷移が多く取る場合には、観察された動作は積み込み前の作業過程ではないと判定する。遷移を多く取るとは、時間平均Ｓが最小値ｔｈより大きいという条件を満たすように、遷移が生じることを意味する。
　逆に、時刻ｔｑｋ＋ｌｑｋ＋１ ｑｋを超えてキー動作qk+1が学習データをもとにしたＨＭＭモデルによって検出されない場合でも、原始的動作の遷移がキー動作間と近ければ、予測部１１７はパターン取得処理において、制約条件は観察された動作を積み込み前の作業過程に当てはまると判定する。なお、原始的動作の遷移がキー動作間と近いとは、原始的動作の出現確率の時間平均Ｓがｔｈより大きい度合が小さいことを意味する。このように予測部１１７が制約条件をパターン取得処理において用いることで、タイミング予測装置１１０はモデルより長い積み込み前の作業過程にも対応することができる。
　予測部１１７は、パターン取得処理において、このようにして制約条件を満たす遷移をパターンＳ（ボールド体）として取得する。
　予測部１１７は、キー動作抽出処理及びパターン取得処理の実行後に、確信度取得処理を実行する。確信度取得処理は、パターン取得処理で取得されたパターンＳ（ボールド体）に基づき確信度を取得する処理である。確信度取得処理で取得される確信度は、上述の式（５）で表されてもよいし、例えば以下の式（１１）で表されてもよい。
Figure JPOXMLDOC01-appb-M000011
　ｎｐ（Ｐ１）は、ｑｋが検出された時刻が、待機又は土集めの時刻であった場合の数を表す。ｎｐ（Ｐ２）は、ｑｋが検出された時刻が、予測の対象の積み込み時期の直前であった場合の数を表す。Ｎｐ（Ｐ２）は、予測の対象の積み込み時期の総数を表す。
　予測部１１７は、確信度が所定の値以上である場合に、現在のタイミングを積み込み時期であると推定する。現在とは、確信度が所定の値以上であると予測部１１７に判定されたときである。所定の値は、例えば確信度が式（５）又は式（１１）で定義される場合、１である。なお、予測部１１７は、キー動作抽出処理と、パターン取得処理と、確信度取得処理と、積み込みタイミングの推定の処理とを、学習モードと実動作モードとで実行する。
　図１７は、変形例におけるパターン取得処理と、確信度取得処理と、積み込みタイミングの推定の処理で実行される処理の流れの一例を説明するフローチャートである。図１７では、説明の簡単のため確信度が式（１１）で定義された確信度である場合を例にパターン取得処理と、確信度取得処理と、積み込みタイミングの推定の処理で実行される処理の流れを説明する。
　予測部１１７が、時刻をｔ＋１に更新する（ステップＳ２０１）。次に、予測部１１７は、primitive ztを取得する（ステップＳ２０２）。primitive ztの定義は時刻tに推定された原始的動作である。次に予測部１１７は、ｋが１以上でありｌｑｋ ｔがｌｑ ｑｋ＋１より大きい、か否かを判定する（ステップＳ２０３）。
　ｋが１以上でありｌｑｋ ｔがｌｑｋ ｑｋ＋１より大きい（ステップＳ２０３：ＹＥＳ）場合、予測部１１７は、Ｓｑｋ ｑｋ＋１（ｔ）がｔｈｑｋ ｑｋ＋１以上か否かを判定する（ステップＳ２０４）。Ｓｑｋ ｑｋ＋１（ｔ）がｔｈｑｋ ｑｋ＋１以上である（ステップＳ２０４：ＹＥＳ）場合、予測部１１７は、ｚｔがｑｋ＋１に等しいか否かを判定する（ステップＳ２０５）。ｚｔがｑｋ＋１に等しい（ステップＳ２０５：ＹＥＳ）場合、予測部１１７はキー動作の識別子ｋの値をｋ＋１に更新する（ステップＳ２０６）。次に予測部１１７は、確信度が１に等しいか否かを判定する（ステップＳ２０７）。確信度が１に等しい（ステップＳ２０７：ＹＥＳ）場合、予測部１１７は、確信度が１を満たしたタイミングを積み込み時期であると推定する（ステップＳ２０８）。ステップＳ２０８の次にステップＳ２０１の処理に戻る。
　一方、ｋが１以上でありｌｑｋ ｔがｌｑｋ ｑｋ＋１より大きい、という条件がみたされない（ステップＳ２０３：ＮＯ）場合、ステップＳ２０５の処理に進む。また、Ｓｑｋ ｑｋ＋１（ｔ）がｔｈｑｋ ｑｋ＋１以上であるという条件が満たされない（ステップＳ２０４：ＮＯ）場合、予測部１１７はキー動作の識別子ｋの値を０に更新する（ステップＳ２０９）。また、ｚｔがｑｋ＋１に等しくない（ステップＳ２０５：ＮＯ）場合、ステップＳ２０１の処理に戻る。また、確信度が１に等しくない場合（ステップＳ２０７：ＮＯ）、ステップＳ２０１の処理に戻る。
　なお、図１７の処理の流れは、所定の終了条件が満たされた時点で終了する。所定の終了条件は、例えば図１７タイミング予測システム１００の電源が落とされた、という条件である。
　タイミング予測装置１１０を用いて行われた第３評価実験の実験結果の一例を示す。第３評価実験はタイミング予測装置１１０の予測の精度を評価する実験であった。第３評価実験における予測部１１７は、変形例におけるキー動作抽出処理と、パターン取得処理と、確信度取得処理と、積み込みタイミングの推定の処理とを予測部１１７が実行した。第３評価実験では、特徴量データとして、基本特徴量データ集合の３種の特徴量データが用いられた。また、第３評価実験では、４通りのデータセットが用いられた。
　図１８は、変形例における第３評価実験の実験結果の一例を示す図である。図１８は、変形例におけるタイミング予測装置１１０による予測の結果と、比較対象の３種の方法による予測の結果とを示す。比較対象の３種の方法は、１つが閾値法であり、１つＬＳＴＭ（pattern recognition）であり、１つがＬＳＴＭ（regression prediction）であった。なお、変形例におけるタイミング予測装置１１０による予測についての情報は、“方法”の行が“タイミング予測装置”の列である。
　図１８は、これら４つの方法による予測の結果それぞれについて精度と、再現率と、確信度とを示す。実験で用いられた確信度は、式（１１）で定義される確信度であった。図１８は、変形例におけるタイミング予測装置１１０は、他の方法よりも２倍以上高い精度で予測ができることを示す。図１８は、変形例におけるタイミング予測装置１１０の再現度は、他の方法と同程度であることを示す。図１８は、変形例におけるタイミング予測装置１１０の確信度、他の方法よりも２倍以上高いことを示す。なお、図１８の数値は、第３評価実験で用いられた４通りのデータセットに対する予測の結果から得られた値の平均値である。
　このように、変形例のタイミング予測装置１１０の予測の精度及び確信度は他の方法よりも高いく、再現度は他の方法と同程度である。そのため、このように構成された変形例のタイミング予測装置１１０は、高い精度で予測を行うことができる。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
　特許請求の範囲、明細書及び図面中において示した装置、システム、プログラム及び方法における動作、手順、ステップ及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理を後の処理で用いるのでない限り、任意の順序で実現し得ることに留意すべきである。特許請求の範囲、明細書及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
　１００　タイミング予測システム、１１０　タイミング予測装置、１１１　スイッチ信号受信部、１１２　タイミング指定部、１１３　運動データ取得部、１１４　特徴量生成部、１１５　動作解析部、１１６　動作モデル格納部、１１７　予測部、１１８　出力部、１４０　運動計測装置、１４０Ａ　運動計測装置、１４０Ｂ　運動計測装置、１４０Ｃ　運動計測装置、１４１　計測部、１４２　制御部、１４３　記録部、１５０　フットスイッチ、３００　バックホウ、３１０　本体、３１１　下部走行体、３１２　上部旋回体、３１２Ａ　旋回フレーム、３１２Ｂ　キャブ、３２０　バックホウアタッチメント、３２１　ブーム、３２２　アーム、３２３　バケットリンク、３２４　バケット、３２５　バケットシリンダ、１００１　制御部

Claims (10)

  1. 　所定の運動動作を行う観測物体における複数個所についての運動データを取得し、
    　取得した前記運動データを周波数解析することにより特徴量データを生成し、
    　生成した前記特徴量データを分節して原始的動作の遷移列を抽出し、
    　抽出した前記遷移列と、運動動作を行う教示物体の運動状態を分節し得られる原始的動作の遷移列を学習することによって得られる動作モデルとに基づいて、前記所定の運動動作における原始的動作の出現頻度を解析して前記原始的動作のパターンを抽出することにより、前記所定の運動動作の終了タイミングを予測する、
    　タイミング予測方法。
  2. 　前記観測物体が行う前記所定の運動動作を複数の動作に区分し、区分した動作毎に、抽出した前記遷移列と前記動作モデルとに基づいて、前記動作における原始的動作の出現頻度を解析して前記原始的動作のパターンを抽出し、抽出した前記パターンを段階的に評価して確信度を算出し、算出した前記確信度に応じて、前記所定の運動動作の終了タイミングを予測する、
    　請求項１に記載のタイミング予測方法。
  3. 　取得した前記運動データを周波数解析することにより、前記所定の運動動作に起因して生ずる周波数成分が含まれる周波数帯域を選択し、選択した前記周波数帯域において特徴量データを生成する、
    　請求項１又は２に記載のタイミング予測方法。
  4. 　前記動作モデルには隠れマルコフモデルが適用されるとともに、前記隠れマルコフモデルを適用した計算処理により、前記特徴量データを分節して原始的動作の遷移列を抽出する、
    　請求項１～３のいずれか一項に記載のタイミング予測方法。
  5. 　前記運動データは、角速度データ及び加速度データを含む、
    　請求項１～４のいずれか一項に記載のタイミング予測方法。
  6. 　運動動作を行う教示物体の運動状態を分節し得られる原始的動作の遷移列を学習することによって得られる動作モデルを格納する動作モデル格納部と、
    　所定の運動動作を行う観測物体における複数個所についての運動データを取得する運動データ取得部と、
    　前記運動データ取得部が取得した前記運動データを周波数解析することにより特徴量データを生成する特徴量生成部と、
    　前記特徴量生成部が生成した前記特徴量データを分節して原始的動作の遷移列を抽出する動作解析部と、
    　前記動作解析部が抽出した前記遷移列と前記動作モデル格納部に格納された前記動作モデルとに基づいて、前記所定の運動動作における原始的動作の出現頻度を解析して前記原始的動作のパターンを抽出することにより、前記所定の運動動作の終了タイミングを予測する予測部と、
    　を備えるタイミング予測装置。
  7. 　所定の運動動作を行う観測物体における複数個所についての運動データを計測する運動計測装置と、タイミング予測装置とを備えるタイミング予測システムであって、
    　前記タイミング予測装置は、
    　運動動作を行う教示物体の運動状態を分節し得られる原始的動作の遷移列を学習することによって得られる動作モデルを格納する動作モデル格納部と、
    　前記運動計測装置から前記運動データを取得する運動データ取得部と、
    　前記運動データ取得部が取得した前記運動データを周波数解析することにより特徴量データを生成する特徴量生成部と、
    　前記特徴量生成部が生成した前記特徴量データを分節して原始的動作の遷移列を抽出する動作解析部と、
    　前記動作解析部が抽出した前記遷移列と前記動作モデル格納部に格納された前記動作モデルとに基づいて、前記所定の運動動作における原始的動作の出現頻度を解析して前記原始的動作のパターンを抽出することにより、前記所定の運動動作の終了タイミングを予測する予測部と、
    　を備えるタイミング予測システム。
  8. 　運動動作を行う教示物体の運動状態を分節し得られる原始的動作の遷移列を学習することによって得られる動作モデルを格納する動作モデル格納部を備えるコンピュータが、
    　所定の運動動作を行う観測物体における複数個所についての運動データを取得し、
    　取得した前記運動データを周波数解析することにより特徴量データを生成し、
    　生成した前記特徴量データを分節して原始的動作の遷移列を抽出し、
    　抽出した前記遷移列と前記動作モデル格納部に格納された前記動作モデルとに基づいて、前記所定の運動動作における原始的動作の出現頻度を解析して前記原始的動作のパターンを抽出することにより、前記所定の運動動作の終了タイミングを予測する、
    　処理を実行するためのプログラム。
  9. 　所定の運動動作を行う建設機械における複数個所についての運動データを計測する運動計測装置と、タイミング予測装置とを備える建設機械システムであって、
    　前記タイミング予測装置は、
    　運動動作を行う教示建設機械の運動状態を分節し得られる原始的動作の遷移列を学習することによって得られる動作モデルを格納する動作モデル格納部と、
    　前記運動計測装置から前記運動データを取得する運動データ取得部と、
    　前記運動データ取得部が取得した前記運動データを周波数解析することにより特徴量データを生成する特徴量生成部と、
    　前記特徴量生成部が生成した前記特徴量データを分節して原始的動作の遷移列を抽出する動作解析部と、
    　前記動作解析部が抽出した前記遷移列と前記動作モデル格納部に格納された前記動作モデルとに基づいて、前記所定の運動動作における原始的動作の出現頻度を解析して前記原始的動作のパターンを抽出することにより、前記所定の運動動作の終了タイミングを予測する予測部と、
    　を備える建設機械システム。
  10. 　生成される前記特徴量データは、前記運動動作によって生じたアーム、ブーム及びキャブの各関節軸周りの回転移動に成分を有する移動、の角速度を示す運動データから得られる特徴量データである、
    　請求項１に記載のタイミング予測方法。
PCT/JP2021/019585 2020-05-25 2021-05-24 タイミング予測方法、タイミング予測装置、タイミング予測システム、プログラム及び建設機械システム WO2021241487A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022527021A JPWO2021241487A1 (ja) 2020-05-25 2021-05-24
US17/998,986 US20230213908A1 (en) 2020-05-25 2021-05-24 Timing prediction method, timing prediction device, timing prediction system, program, and construction machinery system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-090968 2020-05-25
JP2020090968 2020-05-25

Publications (1)

Publication Number Publication Date
WO2021241487A1 true WO2021241487A1 (ja) 2021-12-02

Family

ID=78744385

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/019585 WO2021241487A1 (ja) 2020-05-25 2021-05-24 タイミング予測方法、タイミング予測装置、タイミング予測システム、プログラム及び建設機械システム

Country Status (3)

Country Link
US (1) US20230213908A1 (ja)
JP (1) JPWO2021241487A1 (ja)
WO (1) WO2021241487A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7419348B2 (ja) * 2019-04-04 2024-01-22 株式会社小松製作所 作業機械を含むシステム、コンピュータによって実行される方法、および学習済みの姿勢推定モデルの製造方法
US20230106822A1 (en) * 2021-10-04 2023-04-06 Caterpillar Trimble Control Technologies Llc Implement-on-ground detection using vibration signals

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150322647A1 (en) * 2006-01-18 2015-11-12 Board Of Regents Of The Nevada System Of Higher Education, On Behalf Of The University Of Nevada, Coordinated joint motion control system with position error correction
JP2019052499A (ja) * 2017-09-15 2019-04-04 日立建機株式会社 作業機械
CN110276784A (zh) * 2019-06-03 2019-09-24 北京理工大学 基于记忆机制与卷积特征的相关滤波运动目标跟踪方法
JP2019208629A (ja) * 2018-05-31 2019-12-12 国立大学法人岩手大学 嚥下機能評価法及び嚥下機能評価装置
JP2020021292A (ja) * 2018-08-01 2020-02-06 ルネサスエレクトロニクス株式会社 情報処理装置、情報処理システム、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150322647A1 (en) * 2006-01-18 2015-11-12 Board Of Regents Of The Nevada System Of Higher Education, On Behalf Of The University Of Nevada, Coordinated joint motion control system with position error correction
JP2019052499A (ja) * 2017-09-15 2019-04-04 日立建機株式会社 作業機械
JP2019208629A (ja) * 2018-05-31 2019-12-12 国立大学法人岩手大学 嚥下機能評価法及び嚥下機能評価装置
JP2020021292A (ja) * 2018-08-01 2020-02-06 ルネサスエレクトロニクス株式会社 情報処理装置、情報処理システム、及びプログラム
CN110276784A (zh) * 2019-06-03 2019-09-24 北京理工大学 基于记忆机制与卷积特征的相关滤波运动目标跟踪方法

Also Published As

Publication number Publication date
US20230213908A1 (en) 2023-07-06
JPWO2021241487A1 (ja) 2021-12-02

Similar Documents

Publication Publication Date Title
Rashid et al. Window-warping: a time series data augmentation of imu data for construction equipment activity identification
WO2021241487A1 (ja) タイミング予測方法、タイミング予測装置、タイミング予測システム、プログラム及び建設機械システム
JP6831414B2 (ja) 測位のための方法、測位のための装置、デバイス及びコンピュータ読み取り可能な記憶媒体
Kim et al. Action recognition of earthmoving excavators based on sequential pattern analysis of visual features and operation cycles
US20200209874A1 (en) Combined virtual and real environment for autonomous vehicle planning and control testing
JP7219910B2 (ja) コンクリートの最適締固め判定施工システム
CA3097767C (en) Mixed reality method and system for precision mining
US11713059B2 (en) Autonomous control of heavy equipment and vehicles using task hierarchies
JP7169328B2 (ja) 自律走行車両ためのニューラル・タスク計画部
EP3836126A1 (en) Information processing device, mediation device, simulate system, and information processing method
CN112880674A (zh) 一种行驶设备的定位方法、装置、设备及存储介质
AU2022287567B2 (en) Autonomous control of on-site movement of powered earth-moving construction or mining vehicles
Mathur et al. Automated cycle time measurement and analysis of excavator’s loading operation using smart phone-embedded IMU sensors
Kim et al. Hybrid kinematic–visual sensing approach for activity recognition of construction equipment
JP2022512165A (ja) 交差点検出、ニューラルネットワークトレーニング及びインテリジェント走行方法、装置及びデバイス
Mahamedi et al. Automating excavator productivity measurement using deep learning
CN114692425A (zh) 数字孪生技术的焊接机器人仿真方法、***、设备及介质
Akhavian et al. Construction activity recognition for simulation input modeling using machine learning classifiers
US20160104391A1 (en) Method of training an operator of machine
Rashid et al. Construction equipment activity recognition from IMUs mounted on articulated implements and supervised classification
US20240093464A1 (en) Autonomous Control Of Operations Of Earth-Moving Vehicles Using Trained Machine Learning Models
KR102519715B1 (ko) 도로 정보 제공 시스템 및 도로 정보 제공 방법
CN115384521A (zh) 驾驶员操作水平评价方法、装置、工程车辆及存储介质
JP7446416B2 (ja) 時空間ポーズ／オブジェクトデータベース
CN110216675B (zh) 智能机器人的控制方法、装置、智能机器人及计算机设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21813760

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022527021

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21813760

Country of ref document: EP

Kind code of ref document: A1